JP2001091253A - 測距装置の地図座標検出システム - Google Patents

測距装置の地図座標検出システム

Info

Publication number
JP2001091253A
JP2001091253A JP27253299A JP27253299A JP2001091253A JP 2001091253 A JP2001091253 A JP 2001091253A JP 27253299 A JP27253299 A JP 27253299A JP 27253299 A JP27253299 A JP 27253299A JP 2001091253 A JP2001091253 A JP 2001091253A
Authority
JP
Japan
Prior art keywords
map
distance
subject
image
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP27253299A
Other languages
English (en)
Other versions
JP2001091253A5 (ja
JP3875817B2 (ja
Inventor
Nobuhiro Tani
信博 谷
Shuzo Seo
修三 瀬尾
Shinichi Kakiuchi
伸一 垣内
Kiyoshi Yamamoto
山本  清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Asahi Kogaku Kogyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kogaku Kogyo Co Ltd filed Critical Asahi Kogaku Kogyo Co Ltd
Priority to JP27253299A priority Critical patent/JP3875817B2/ja
Priority to US09/669,756 priority patent/US6346980B1/en
Publication of JP2001091253A publication Critical patent/JP2001091253A/ja
Publication of JP2001091253A5 publication Critical patent/JP2001091253A5/ja
Application granted granted Critical
Publication of JP3875817B2 publication Critical patent/JP3875817B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】 画素毎に被写体までの距離を検出するカメラ
型の測距装置において、任意の画素に対応する被写体の
地図上の座標を得る。 【解決手段】 被写体に測距光を照射して、被写体から
の反射光をCCD28で受光し、その受光量からCCD
28の各画素に対応する被写体までの距離を検出する。
GPSアンテナ50およびGPS受信回路22、方位セ
ンサー46、傾斜角度センサー48を備える。衛星から
の信号を受信してカメラの経緯度を検出する。画素毎に
検出された被写体までの距離と、方位センサー46によ
り検出されたカメラの方位と、傾斜角度センサー48に
より検出されたカメラの傾きとから、任意の画素に対応
する被写体の相対位置をカメラを基点に求める。被写体
のカメラからの相対位置とカメラの経緯度とから、任意
の画素に対応する被写体の経緯度を検出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、光伝播時間測定法
を用いて被写体の3次元形状等を検出する測距装置の地
図座標検出システムに関する。
【0002】
【従来の技術】従来被写体までの距離を画素毎に検出す
る測距装置としては、「MeasurementScience and Techn
ology」(S. Christie 他、vol.6, p1301-1308, 1995
年)に記載されたものや、国際公開97/01111号公報に開
示されたものなどが知られている。これらの測距装置で
は、パルス変調されたレーザ光が被写体に照射され、そ
の反射光が2次元CCDセンサーによって受光され、電
気信号に変換される。このとき2次元CCDのシャッタ
動作を制御することにより、被写体までの距離に相関す
る電気信号をCCDの各画素毎に検出することができ
る。この電気信号からCCDの各画素毎に対応する被写
体までの距離が検出される。
【0003】
【発明が解決しようとする課題】これらの測距装置で
は、測距装置と被写体までの相対的な距離をCCDの各
画素毎に求めることはできるが、被写体の地図上の絶対
座標を求めることはできない。
【0004】本発明は、画素毎に被写体までの距離を検
出する測距装置において、被写体の地図上の座標を検出
する測距装置の地図座標検出システムを得ることを目的
としている。
【0005】
【課題を解決するための手段】本発明の測距装置の地図
座標検出システムは、撮影された画像の各画素に対応す
る被写体までの距離を検出する測距装置において、測距
装置の地図上における絶対座標を検出する座標検出手段
と、測距装置の方位を検出する方位検出手段と、被写体
までの距離と測距装置の絶対座標と方位とから、画像の
任意の画素に対応する被写体の地図上の座標である地図
座標を算出する被写体位置算出手段とを備えることを特
徴としている。
【0006】測距装置の地図座標検出システムは好まし
くは、画像を表示するための画像表示手段と、画像表示
手段により表示される画像の任意の画素を選択するため
の入力手段と、被写体位置算出手段で算出される画像の
任意の画素に対応する被写体の地図座標から任意の画素
に対応する被写体を地図に関連する情報と対応づける地
図情報対応付手段と、地図情報対応付手段により、入力
手段を駆動して選択された画素に対応する被写体の地図
に関連する情報を求め、選択された画素付近に地図に関
連する情報を重ねて表示するスーパーインポーズ手段と
を備える。
【0007】例えば、入力手段はタッチパネルを利用し
ている。例えば地図に関連する情報は、地図座標に存在
する施設等の名称である。
【0008】好ましくは地図座標は、経緯と緯度の絶対
座標である。
【0009】測距装置の地図座標検出システムは好まし
くは、傾斜角を検出する傾斜角検出手段を備え、被写体
位置算出手段が、被写体までの距離と、測距装置の絶対
座標と、測距装置の方位と傾斜角とを用いて被写体の地
図座標を算出する。
【0010】例えば座標検出手段は、GPS(Ground P
ositioning System )を利用して絶対座標を検出する。
【0011】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図1は、本発明の一実施形態であ
るカメラ型の3次元画像検出装置の斜視図である。
【0012】カメラ本体10の前面において、撮影レン
ズ11の左上にはファインダ窓12が設けられ、右上に
はストロボ13が設けられている。カメラ本体10の上
面において、撮影レンズ11の真上には、測距光である
レーザ光を照射する発光装置14が配設されている。発
光装置14の左側にはレリーズスイッチ15、液晶表示
パネル16が設けられ、右側にはモード切替ダイヤル1
7が設けられている。カメラ本体10の側面には、IC
メモリカード等の記録媒体を挿入するためのカード挿入
口19が形成され、また、ビデオ出力端子20、インタ
ーフェースコネクタ21、GPS(Ground Positioning
System )アンテナ用コネクタ18が設けられている。
また、カメラ本体10の背面(図10参照)には画像表
示LCD液晶パネル37と、撮像モードと再生モードを
切り替えるREC/PLAY切替スイッチ29が設けら
れている。
【0013】図2は図1に示すカメラの回路構成を示す
ブロック図である。撮影レンズ11の中には絞り25が
設けられている。絞り25の開度はアイリス駆動回路2
6によって調整される。撮影レンズ11の焦点調節動作
およびズーミング動作はレンズ駆動回路27によって制
御される。
【0014】撮影レンズ11の光軸上には撮像素子(C
CD)28が配設されている。CCD28には、撮影レ
ンズ11によって被写体像が形成され、被写体像に対応
した電荷が発生する。CCD28における電荷の蓄積動
作、電荷の読出動作等の動作はCCD駆動回路30によ
って制御される。CCD28から読み出された電荷信号
すなわち画像信号はアンプ31において増幅され、A/
D変換器32においてアナログ信号からデジタル信号に
変換される。デジタルの画像信号は撮像信号処理回路3
3においてガンマ補正等の処理を施され、画像メモリ3
4に一時的に格納される。アイリス駆動回路26、レン
ズ駆動回路27、CCD駆動回路30、撮像信号処理回
路33はシステムコントロール回路35によって制御さ
れる。
【0015】画像信号は画像メモリ34から読み出さ
れ、LCD駆動回路36に供給される。LCD駆動回路
36は画像信号に応じて動作し、これにより画像表示L
CDパネル37には、画像信号に対応した画像が表示さ
れる。
【0016】カメラをカメラ本体10の外部に設けられ
たモニタ装置39とケーブルで接続すれば、画像メモリ
34から読み出された画像信号はTV信号エンコーダ3
8、ビデオ出力端子20を介してモニタ装置39に伝送
可能である。またシステムコントロール回路35はイン
ターフェース回路40に接続されており、インターフェ
ース回路40はインターフェースコネクタ21に接続さ
れている。したがってカメラをカメラ本体10の外部に
設けられたコンピュータ41とインターフェースケーブ
ルを介して接続すれば、画像メモリ34から読み出され
た画像信号をコンピュータ41に伝送可能である。ま
た、システムコントロール回路35は、記録媒体制御回
路42を介して画像記録装置43に接続されている。し
たがって画像メモリ34から読み出された画像信号は、
画像記録装置43に装着されたICメモリカード等の記
録媒体Mに記録可能である。
【0017】発光装置14は発光素子14aと照明レン
ズ14bにより構成され、発光素子14aの発光動作は
発光素子制御回路44によって制御される。発光素子1
4aはレーザダイオード(LD)であり、照射されるレ
ーザ光は被写体の距離を検出するための測距光として用
いられる。このレーザ光は照明レンズ14bを介して被
写体の全体に照射される。被写体で反射したレーザ光が
撮影レンズ11に入射し、CCD28で検出されること
により被写体までの距離情報が検出される。
【0018】GPSアンテナ50はGPSアンテナ用コ
ネクタ18を介してGPS受信回路22に接続されお
り、GPS受信回路22はシステムコントロール回路3
5に接続されている。したがって、カメラは衛星からの
信号を受信することにより、そのときの経度、緯度、高
度を検出でき、検出された経度、緯度、高度はシステム
コントロール回路35へ出力される。またカメラには方
位センサー46、傾斜角度センサー48が備えられてお
り、カメラのレンズが向けられている方位およびカメラ
の傾斜角が、方位センサー46、傾斜角度センサー48
からの信号に基いて、方位検出回路47、傾斜角度検出
回路49により検出される。方位検出回路47、傾斜角
度検出回路49はシステムコントロール回路35にそれ
ぞれ接続されており、検出された方位および傾斜角度
は、システムコントロール回路35へ出力される。
【0019】スーパーインポーズ回路24は、LCD駆
動回路36、TV信号エンコーダ38、システムコント
ロール回路35に接続されており、文字情報などを画像
表示LCDパネル37やモニター装置39に表示される
画像に重畳する。重畳される文字情報は、インターフェ
ース回路40を介してコンピュータ41からシステムコ
ントロール回路35へ送られたもので、地図情報に関す
るものである。
【0020】システムコントロール回路35には、レリ
ーズスイッチ15、モード切替ダイヤル17、REC/
PLAY切替スイッチ29から成るスイッチ群45と、
液晶表示パネル(表示素子)16、タッチパネル23と
が接続されている。
【0021】次に図3および図4を参照して、本実施形
態における距離測定の原理について説明する。なお図4
において横軸は時間tである。
【0022】距離測定装置Bから出力された測距光は被
写体Sにおいて反射し、図示しないCCDによって受光
される。測距光は所定のパルス幅Hを有するパルス状の
光であり、したがって被写体Sからの反射光も、同じパ
ルス幅Hを有するパルス状の光である。また反射光のパ
ルスの立ち上がりは、測距光のパルスの立ち上がりより
も時間δ・t(δは遅延係数)だけ遅れる。測距光と反
射光は距離測定装置Bと被写体Sの間の2倍の距離rを
進んだことになるから、その距離rは r=δ・t・C/2 ・・・(1) により得られる。ただしCは光速である。
【0023】例えば測距光のパルスの立ち上がりから反
射光を検知可能な状態に定め、反射光のパルスが立ち下
がる前に検知不可能な状態に切換えるようにすると、す
なわち反射光検知期間Tを設けると、この反射光検知期
間Tにおける受光量Aは距離rの関数である。すなわち
受光量Aは、距離rが大きくなるほど(時間δ・tが大
きくなるほど)小さくなる。
【0024】本実施形態では上述した原理を利用して、
CCD28に設けられ、2次元的に配列された複数のフ
ォトダイオード(撮像素子)においてそれぞれ受光量A
を検出することにより、カメラ本体10から被写体Sの
表面の各点までの距離をそれぞれ検出し、被写体Sの表
面形状に関する3次元画像のデータを一括して入力して
いる。
【0025】図5は、CCD28に設けられるフォトダ
イオード51と垂直転送部52の配置を示す図である。
図6は、CCD28を基板53に垂直な平面で切断して
示す断面図である。このCCD28は従来公知のインタ
ーライン型CCDであり、不要電荷の掃出しにVOD
(縦型オーバーフロードレイン)方式を用いたものであ
る。
【0026】フォトダイオード51と垂直転送部52は
n型基板53の面に沿って形成されている。フォトダイ
オード51は2次元的に格子状に配列され、垂直転送部
52は所定の方向(図5において上下方向)に1列に並
ぶフォトダイオード51に隣接して設けられている。垂
直転送部52は、1つのフォトダイオード51に対して
4つの垂直転送電極52a,52b,52c,52dを
有している。したがって垂直転送部52では、4つのポ
テンシャルの井戸が形成可能であり、従来公知のよう
に、これらの井戸の深さを制御することによって、信号
電荷をCCD28から出力することができる。なお、垂
直転送電極の数は目的に応じて自由に変更できる。
【0027】基板53の表面に形成されたp型井戸の中
にフォトダイオード51が形成され、p型井戸とn型基
板53の間に印加される逆バイアス電圧によってp型井
戸が完全空乏化される。この状態において、入射光(被
写体からの反射光)の光量に応じた電荷がフォトダイオ
ード51において蓄積される。基板電圧Vsub を所定値
以上に大きくすると、フォトダイオード51に蓄積した
電荷は、基板53側に掃出される。これに対し、転送ゲ
ート部54に電荷転送信号(電圧信号)が印加されたと
き、フォトダイオード51に蓄積した電荷は垂直転送部
52に転送される。すなわち電荷掃出信号によって電荷
を基板53側に掃出した後、フォトダイオード51に蓄
積した信号電荷が、電荷転送信号によって垂直転送部5
2側に転送される。このような動作を繰り返すことによ
り、垂直転送部52において信号電荷が積分され、いわ
ゆる電子シャッタ動作が実現される。
【0028】図7は距離情報検出動作におけるタイミン
グチャートであり、図1、図2、図5〜図7を参照して
本実施形態における距離情報検出動作について説明す
る。なお本実施形態の距離情報検出動作では、図4を参
照して行なった距離測定の原理の説明とは異なり、外光
の影響による雑音を低減するために測距光のパルスの立
ち下がりから反射光を検知可能な状態に定め、反射光の
パルスが立ち下がった後に検知不可能な状態に切換える
ようにタイミングチャートを構成しているが原理的には
何ら異なるものではない。
【0029】垂直同期信号(図示せず)の出力に同期し
て電荷掃出し信号(パルス信号)S1が出力され、これ
によりフォトダイオード51に蓄積していた不要電荷が
基板53の方向に掃出され、フォトダイオード51にお
ける蓄積電荷量はゼロになる(符号S2)。電荷掃出し
信号S1の出力の開始の後、一定のパルス幅を有するパ
ルス状の測距光S3が出力される。測距光S3が出力さ
れる期間(パルス幅)は調整可能であり、図示例では、
電荷掃出し信号S1の出力と同時に測距光S3がオフす
るように調整されている。
【0030】測距光S3は被写体において反射し、CC
D28に入射する。すなわちCCD28によって被写体
からの反射光S4が受光されるが、電荷掃出し信号S1
が出力されている間は、フォトダイオード51において
電荷は蓄積されない(符号S2)。電荷掃出し信号S1
の出力が停止されると、フォトダイオード51では、反
射光S4の受光によって電荷蓄積が開始され、反射光S
4と外光とに起因する信号電荷S5が発生する。反射光
S4が消滅すると(符号S6)フォトダイオード51で
は、反射光に基く電荷蓄積は終了するが(符号S7)、
外光のみに起因する電荷蓄積が継続する(符号S8)。
【0031】その後、電荷転送信号S9が出力される
と、フォトダイオード51に蓄積された電荷が垂直転送
部52に転送される。この電荷転送は、電荷転送信号の
出力の終了(符号S10)によって完了する。すなわ
ち、外光が存在するためにフォトダイオード51では電
荷蓄積が継続するが、電荷転送信号の出力が終了するま
でフォトダイオード51に蓄積されていた信号電荷S1
1が垂直転送部52へ転送される。電荷転送信号の出力
終了後に蓄積している電荷S14は、そのままフォトダ
イオード51に残留する。
【0032】このように電荷掃出し信号S1の出力の終
了から電荷転送信号S9の出力が終了するまでの期間T
U1の間、フォトダイオード51には、被写体までの距離
に対応した信号電荷が蓄積される。そして、反射光S4
の受光終了(符号S6)までフォトダイオード51に蓄
積している電荷が、被写体の距離情報と対応した信号電
荷S12(斜線部)として垂直転送部52へ転送され、
その他の信号電荷S13は外光のみに起因するものであ
る。
【0033】電荷転送信号S9の出力から一定時間が経
過した後、再び電荷掃出し信号S1が出力され、垂直転
送部52への信号電荷の転送後にフォトダイオード51
に蓄積された不要電荷が基板53の方向へ掃出される。
すなわち、フォトダイオード51において新たに信号電
荷の蓄積が開始する。そして、上述したのと同様に、電
荷蓄積期間TU1が経過したとき、信号電荷は垂直転送部
52へ転送される。
【0034】このような信号電荷S11の垂直転送部5
2への転送動作は、次の垂直同期信号が出力されるま
で、繰り返し実行される。これにより垂直転送部52に
おいて、信号電荷S11が積分され、1フィールドの期
間(2つの垂直同期信号によって挟まれる期間)に積分
された信号電荷S11は、その期間被写体が静止してい
ると見做せれば、被写体までの距離情報に対応してい
る。なお信号電荷S13は信号電荷S12に比べ微小で
あるため信号電荷S11は信号電荷S12と等しいと見
なすことができる。
【0035】以上説明した信号電荷S11の検出動作は
1つのフォトダイオード51に関するものであり、全て
のフォトダイオード51においてこのような検出動作が
行なわれる。1フィールドの期間における検出動作の結
果、各フォトダイオード51に隣接した垂直転送部52
の各部位には、そのフォトダイオード51によって検出
された距離情報が保持される。この距離情報は垂直転送
部52における垂直転送動作および図示しない水平転送
部における水平転送動作によってCCD28から出力さ
れる。
【0036】次に3次元画像検出動作のフローチャート
である図8を参照して3次元画像検出動作について説明
する。なお3次元画像検出動作は、撮像モードと再生モ
ードを切り替えるREC/PLAY切替スイッチ29を
REC(撮像モード)に設定して行われる。
【0037】ステップ101においてレリーズスイッチ
15が全押しされていることが確認されるとステップ1
02が実行され、垂直同期信号が出力されるとともに測
距光制御が開始される。すなわち発光装置14が駆動さ
れ、パルス状の測距光S3が断続的に出力される。次い
でステップ103が実行され、CCD28による検知制
御が開始される。すなわち図7を参照して説明した距離
情報検出動作が開始され、電荷掃出信号S1と電荷転送
信号S9が交互に出力されて、距離情報の信号電荷S1
1が垂直転送部52において積分される。
【0038】ステップ104では、距離情報検出動作の
開始から1フィールド期間が終了したか否か、すなわち
新たに垂直同期信号が出力されたか否かが判定される。
1フィールド期間が終了するとステップ105へ進み、
垂直転送部52において積分された距離情報の信号電荷
がCCD28から出力される。この信号電荷はステップ
106において画像メモリ34に一時的に記憶される。
【0039】ステップ107では測距光制御がオフ状態
に切換えられ、発光装置14の発光動作が停止する。ス
テップ108では、距離データの演算処理が行なわれ、
ステップ109において距離データが画像メモリ34に
一時的に記憶される。
【0040】ステップ110では、CCD28による通
常の撮影動作(CCDビデオ制御)がオン状態に定めら
れ、距離情報検出動作において撮像された被写体と同一
の被写体の画像が撮像され画像データとして検出され
る。検出された画像データは、ステップ111において
画像メモリ34に一時的に記憶される。
【0041】ステップ112では、方位センサー46に
より撮像レンズの向いている方位が検出され、ステップ
113では、カメラの傾斜角度が傾斜角度センサー48
により検出される。ステップ114では、GPSアンテ
ナ50で受信された衛星からの信号をGPS受信回路2
2で解析して、カメラの位置座標である経度、緯度、高
度を求める。ステップ114では、ステップ109、ス
テップ111においてメモリ34に一時的に記憶された
距離データおよび画像データがステップ112〜ステッ
プ113で得られた方位データ、傾斜角度データ、位置
座標データ(経度、緯度、高度)とともに1つのファイ
ルとして記録倍媒体Mに記録されこのルーチンは終了す
る。
【0042】次にステップ108において実行される演
算処理の内容を図7を参照して説明する。
【0043】反射率Rの被写体が照明され、この被写体
が輝度Iの2次光源と見做されてCCDに結像された場
合を想定する。このとき、電荷蓄積時間tの間にフォト
ダイオードに発生した電荷が積分されて得られる出力S
nは、 Sn=k・R・I・t ・・・(2) で表される。ここでkは比例定数で、撮影レンズのFナ
ンバーや倍率等によって変化する。
【0044】図7に示されるように電荷蓄積時間を
U1、測距光S3のパルス幅をTS 、距離情報の信号電
荷S12のパルス幅をTD とし、1フィールド期間中の
その電荷蓄積時間がN回繰り返されるとすると、得られ
る出力SM10は、 SM10=Σk・R・I・TD =k・N・R・I・TD ・・・(3) となる。なお、パルス幅TD は TD =δ・t =2r/C ・・・(4) と表せる。このとき被写体までの距離rは r=C・SM10/(2・k・N・R・I) ・・・(5) で表せる。したがって比例定数k、反射率R、輝度Iを
予め求めておけば距離rが求められる。
【0045】図9は、REC/PLAY切替スイッチを
再生(PLAY)モードに設定して、撮影された画像を
LCD等に表示し、被写体の地図上の座標を検出するプ
ログラムのフローチャートである。
【0046】ステップ201において、REC/PLA
Y切替スイッチが再生(PLAY)モードに設定されて
いることが確認されると、処理はステップ202へ進
む。ステップ202では、図8のステップ115におい
て記録媒体Mに記録されたデータから画像データが読み
出され、LCDパネル37に再生表示される。
【0047】ステップ203では、タッチパネル23か
ら再生画像中の特定の被写体を選択するための入力があ
ったか否かが判定される。タッチパネル23からの入力
がないとステップ207でREC/PLAY切替スイッ
チが切り替えられ、再生(PLAY)モードが解除され
ていないかが判定される。再生(PLAY)モードが解
除されていなければ、再びステップ203へ戻り、タッ
チパネルへの入力待ち状態が継続する。ステップ207
で再生(PLAY)モードが解除されていると判定され
たとき、このルーチンは終了する。
【0048】タッチパネル23は、LCDパネル37の
表面にシート状に重ねて配置されており、図10のよう
にLCDパネル37に表示された画像の特定の位置を指
またはポインティングペンで触れると、触れられた点の
タッチパネル23上の位置(アドレス)が検出される。
ステップ203において、画面上の特定の被写体が指ま
たはポインティングペンで指定され、タッチパネル23
からの入力があると、処理はステップ204に移る。
【0049】ステップ204では、検出されたタッチパ
ネルのアドレス値に対応する画素を求め、この画素を中
心に所定の距離内にある画素に対応する距離データの平
均値を算出する。この距離データの平均値を指またはポ
インティングペン等で選択された被写体までの距離情報
Dとする。
【0050】ステップ205では、距離情報Dと方位デ
ータ、位置座標データから、選択された被写体の地図上
の位置が求められ、コンピュータ41のメモリ41Mに
記憶された地図に関する情報である地図データから、求
められた位置の場所データが取得される。場所データは
例えば、その位置にある施設などの名称である。ステッ
プ206では、ステップ205で得られた場所データを
再生画像中の選択された被写体付近に重ねて表示する。
その後処理は再びステップ202に戻り、同様の処理が
再生(PLAY)モードが解除されるまで繰り返し実行
される。
【0051】次に図11〜図14を参照してステップ2
05において、被写体の地図上の位置を求める方法につ
いて説明する。
【0052】図11は、CCD28の受光面を正面から
見た図である。CCD28の横の長さは2×W0 であ
り、点PはCCD28の受光面の中心から横にWP の距
離にある画素を表している。図12は、CCD28の受
光面と焦点Pf との関係を表した図であり、fは焦点距
離、角θ0 は画角である。角θp は点Pと焦点Pf を結
ぶ線分PPf が光軸Lp となす角である。このとき画角
θ0 とθp は、 θ0 =2×tan-1(W0 /f) ・・・(6) θp =tan-1(Wp /f) ・・・(7) で表される。
【0053】図13は、カメラの位置を原点Oとして、
点Pの画素に対応する被写体の地図上の位置(点)Sp
を2次元的に図示したものである。X軸は東西軸に対応
し、Y軸は南北軸に対応しており、東向きおよび北向き
を正にとっている。半直線(破線)Lp は、カメラの光
軸でありカメラの向いている向きに一致する。光軸L p
がY軸となす角をθn とし、Pの画素に対応する被写体
までの距離をDp (点Pを中心とする距離情報D)とす
ると、点Sp の座標(Δx,Δy)は、 Δx=Dp ×sin(θn +θp ) ・・・(8) Δy=Dp ×cos(θn +θp ) ・・・(9) で表される。
【0054】GPSにより得られたカメラの経度をφ、
緯度をψとすると、点Sp の経緯度(φp ,ψp )は、 φp =φ+α・Δx ・・・(10) ψp =ψ+β・Δy ・・・(11) により求められる。ここでα、βは、経緯度(φ,ψ)
での距離を経緯度角に変換するための係数である。
【0055】したがって式(8)〜式(11)から、点
p の経緯度(φp ,ψp )は φp =φ+Dp ×sin(θn +tan-1(Wp /f)) ・・・(12) ψp =ψ+Dp ×cos(θn +tan-1(Wp /f)) ・・・(13) で算出される。
【0056】次に図14を参照して、カメラが傾斜して
いる場合における図11の点Pに対応する被写体の経緯
度(φp ’,ψp ’)を求める方法について説明する。
【0057】図14は、カメラの位置を原点Oとして、
点Pに対応する被写体の位置(点)Sp を3次元的に図
示したものである。X軸は東西軸にY軸は南北軸に対応
しており、Z軸は鉛直方向に対応している。図13と同
様、X軸とY軸に関しては東向きおよび北向きが正であ
る。Z軸に関しては鉛直上向きを正にとっている。半直
線(破線)Lp は、カメラの向いている向きでありカメ
ラの光軸に一致する。点Sp ’は点をSp を水平面へ射
影した点であり、半直線Lp ’は光軸Lp を水平面に射
影したものである。被写体までの距離Dp は、線分OS
p の長さに対応しており、Dp ’は線分OSp を水平面
に射影した線分OSp ’の長さ(距離)である。角θZ
は、線分OSp と線分OSp ’のなす角であるが、ここ
では光軸Lp が水平面となす角に等しく、カメラの傾斜
角度に一致する。角θp は、半直線Lp ’と線分O
p ’のなす角であり、θn ’は半直線Lp ’がY軸と
なす角である。
【0058】 点Pに対応する被写体の経緯度(φp ’,ψp ’)は、式(12)、(13) のDp にDp ’を、θn にθn ’を代入した式 φp ’=φ+Dp ’×sin(θn ’+tan-1(Wp /f)) ・・・(14) ψp ’=ψ+Dp ’×cos(θn ’+tan-1(Wp /f)) ・・・(15) によって求められる。ここでDp ’は、 Dp ’=Dp ×cosθZ ・・・(16) で表されるので、経緯度(φp ’,ψp ’)は φp ’=φ+Dp ×cosθZ ×sin(θn ’+tan-1(Wp /f)) ・・・(17) ψp ’=ψ+Dp ×cosθZ ×cos(θn ’+tan-1(Wp /f)) ・・・(18) によって算出される。
【0059】以上のように本実施形態によれば、撮像さ
れた画像の任意の被写体の経緯度を検出できる3次元画
像装置が得られる。また、地図に関する情報を収めた地
図データを利用することにより、撮像された画像中の任
意の被写体の施設名称などを検索表示することができ
る。
【0060】本実施形態では、カメラ本体10をコンピ
ュータ41に接続し、地図データはコンピュータから読
み出されて用いられたが、予めカメラのメモリに記憶す
るか、記録媒体Mに記録して用いてもよい。またカメラ
本体10で検出された、画像データ、距離データ、方位
データ、位置座標データ、傾斜角度データなどを接続さ
れたコンピュータ41へ転送し、コンピュータ41のデ
ィスプレイに表示された画像においてマウス等の入力装
置を用いて被写体を選択し、場所情報等を表示してもよ
い。
【0061】本実施形態では、GPSアンテナ50は、
ケーブルを介してカメラ本体10の外部に設けられてい
るが、カメラ本体10の内部に設けられてもよい。
【0062】
【発明の効果】以上のように本発明によれば、画素毎に
被写体までの距離を検出する測距装置において、被写体
の地図上の座標を検出できる測距装置の地図座標検出シ
ステムを得ることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態であるカメラ型の測距
装置の斜視図である。
【図2】図1に示すカメラの回路構成を示すブロック図
である。
【図3】測距光による距離測定の原理を説明するための
図である。
【図4】測距光、反射光、ゲートパルス、およびCCD
が受光する光量分布を示す図である。
【図5】CCDに設けられるフォトダイオードと垂直転
送部の配置を示す図である。
【図6】CCDを基板に垂直な平面で切断して示す断面
図である。
【図7】被写体までの距離に関するデータを検出する距
離情報検出動作のタイミングチャートである。
【図8】3次元画像検出動作のフローチャートである。
【図9】再生(PLAY)モードのときに実行されるプ
ログラムのフローチャートである。
【図10】カメラの背面に設けられたLCDパネルの画
像表示例とREC/PLAY切替スイッチの図である。
【図11】CCD受光面とタッチパネルにより選択され
た画素点との関係を示す図である。
【図12】CCD受光面と画角との関係を示す図であ
る。
【図13】カメラを原点とした座標系で画素に対応する
被写体の位置と光軸との関係を2次元的に表した図であ
る。
【図14】カメラの傾斜を考慮して、画素に対応する被
写体の位置と光軸との関係をカメラを原点として表した
図である。
【符号の説明】
22 GPS受信回路 46 方位センサー
フロントページの続き (72)発明者 垣内 伸一 東京都板橋区前野町2丁目36番9号 旭光 学工業株式会社内 (72)発明者 山本 清 東京都板橋区前野町2丁目36番9号 旭光 学工業株式会社内 Fターム(参考) 5C022 AA13 AB00 AB62 AB68 AC00 AC01 AC13 AC42 AC69

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 撮影された画像の各画素に対応する被写
    体までの距離を検出する測距装置において、 前記測距装置の地図上における絶対座標を検出する座標
    検出手段と、 前記測距装置の方位を検出する方位検出手段と、 前記距離と前記絶対座標と前記方位とから、前記画像の
    任意の画素に対応する前記被写体の地図上の座標である
    地図座標を算出する被写体位置算出手段とを備えること
    を特徴とする測距装置の地図座標検出システム。
  2. 【請求項2】 前記画像を表示するための画像表示手段
    と、 前記画像表示手段により表示される前記画像の任意の画
    素を選択するための入力手段と、 前記被写体位置算出手段で算出される前記画像の任意の
    画素に対応する被写体の地図座標から、前記任意の画素
    に対応する前記被写体を地図に関連する情報と対応づけ
    る地図情報対応付手段と、 前記地図情報対応付手段により、前記入力手段を駆動し
    て選択された画素に対応する前記被写体の地図に関連す
    る情報を求め、選択された前記画素付近に前記地図に関
    連する情報を重ねて表示するスーパーインポーズ手段と
    を備えることを特徴とする請求項1に記載の測距装置の
    地図座標検出システム。
  3. 【請求項3】 前記入力手段がタッチパネルを利用して
    いることを特徴とする請求項2に記載の測距装置の地図
    座標検出システム。
  4. 【請求項4】 前記地図に関連する情報が、地図座標に
    存在する施設等の名称であることを特徴とする請求項2
    に記載の測距装置の地図座標検出システム。
  5. 【請求項5】 前記地図座標が、経緯と緯度の絶対座標
    であることを特徴とする請求項1に記載の測距装置の地
    図座標検出システム。
  6. 【請求項6】 3次元画像検出装置の傾斜角を検出する
    傾斜角検出手段を備え、前記被写体位置算出手段が、前
    記3次元計測手段を駆動することにより得られた各画素
    に対応する距離と、前記絶対座標と、前記方位と、前記
    傾斜角とを用いて前記被写体の地図座標を算出すること
    を特徴とする請求項1に記載の測距装置の地図座標検出
    システム。
  7. 【請求項7】 前記座標検出手段が、GPS(Ground P
    ositioning System)を利用して前記絶対座標を検出す
    ることを特徴とする請求項1に記載の測距装置の地図座
    標検出システム。
JP27253299A 1999-09-27 1999-09-27 測距装置の地図座標検出システム Expired - Fee Related JP3875817B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP27253299A JP3875817B2 (ja) 1999-09-27 1999-09-27 測距装置の地図座標検出システム
US09/669,756 US6346980B1 (en) 1999-09-27 2000-09-26 Ground positioning system applied in a distance measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27253299A JP3875817B2 (ja) 1999-09-27 1999-09-27 測距装置の地図座標検出システム

Publications (3)

Publication Number Publication Date
JP2001091253A true JP2001091253A (ja) 2001-04-06
JP2001091253A5 JP2001091253A5 (ja) 2005-05-12
JP3875817B2 JP3875817B2 (ja) 2007-01-31

Family

ID=17515217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27253299A Expired - Fee Related JP3875817B2 (ja) 1999-09-27 1999-09-27 測距装置の地図座標検出システム

Country Status (2)

Country Link
US (1) US6346980B1 (ja)
JP (1) JP3875817B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006153772A (ja) * 2004-11-30 2006-06-15 Matsushita Electric Works Ltd 測量装置
JP2007248156A (ja) * 2006-03-14 2007-09-27 Topcon Corp 地理データ収集装置
US7389735B2 (en) 2005-09-15 2008-06-24 Yamaha Hatsudoki Kubushiki Kaisha Docking supporting apparatus, and marine vessel including the apparatus
US7647197B2 (en) 2002-08-09 2010-01-12 Surveylab Group Limited Mobile instrument, viewing device, and methods of processing and storing information
JP2010200274A (ja) * 2009-02-27 2010-09-09 National Institute Of Information & Communication Technology 撮影位置及び撮影姿勢を記録する画像撮影装置とその処理方法
JP4560128B1 (ja) * 2009-08-13 2010-10-13 株式会社パスコ 地図画像統合データベース生成システム及び地図画像統合データベース生成プログラム
JP2011193061A (ja) * 2010-03-11 2011-09-29 Hitachi Computer Peripherals Co Ltd 撮像装置および監視装置
US8280677B2 (en) 2008-03-03 2012-10-02 Kabushiki Kaisha Topcon Geographical data collecting device
US8319952B2 (en) 2005-07-11 2012-11-27 Kabushiki Kaisha Topcon Geographic data collecting system
JP2013502593A (ja) * 2009-08-24 2013-01-24 サムスン エレクトロニクス カンパニー リミテッド モバイル機器及びモバイル機器と情報を送受信するサーバ
JP2013234946A (ja) * 2012-05-10 2013-11-21 Kawasaki Heavy Ind Ltd 目標位置特定装置、目標位置特定システム、および目標位置特定方法
US8717432B2 (en) 2008-03-04 2014-05-06 Kabushiki Kaisha Topcon Geographical data collecting device
US8934009B2 (en) 2010-09-02 2015-01-13 Kabushiki Kaisha Topcon Measuring method and measuring device
WO2018061175A1 (ja) * 2016-09-30 2018-04-05 株式会社オプティム 画面共有システム、画面共有方法及びプログラム

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999061948A1 (fr) * 1998-05-25 1999-12-02 Matsushita Electric Industrial Co., Ltd. Telemetre et appareil photographique
US20110308130A1 (en) * 1999-03-08 2011-12-22 Larry Holmberg Range finder
US6578022B1 (en) * 2000-04-18 2003-06-10 Icplanet Corporation Interactive intelligent searching with executable suggestions
WO2001080065A2 (en) * 2000-04-18 2001-10-25 Icplanet Acquisition Corporation Method, system, and computer program product for propagating remotely configurable posters of host site content
US6681255B1 (en) 2000-04-19 2004-01-20 Icplanet Corporation Regulating rates of requests by a spider engine to web sites by creating instances of a timing module
AU2001255611A1 (en) * 2000-04-25 2001-11-07 Icplanet Acquisition Corporation System and method for scheduling execution of cross-platform computer processes
WO2001082029A2 (en) * 2000-04-25 2001-11-01 Icplanet Acquisition Corporation Method, system, and computer program product for employment market statistics generation and analysis
WO2001082112A2 (en) * 2000-04-25 2001-11-01 Icplanet Acquisition Corporation System and method related to generating and tracking an email campaign
AU2001253784A1 (en) * 2000-04-25 2001-11-07 Icplanet Acquisition Corporation System and method for proximity searching position information using a proximity parameter
JP4040825B2 (ja) * 2000-06-12 2008-01-30 富士フイルム株式会社 画像撮像装置及び距離測定方法
DE10055510B4 (de) * 2000-11-09 2004-02-26 Hilti Ag Optoelektronisches Laserdistanzmessgerät
US6661500B1 (en) * 2002-03-15 2003-12-09 National Semiconductor Corporation Integrated range finder and imager
US6924887B2 (en) * 2002-03-27 2005-08-02 Sarnoff Corporation Method and apparatus for generating charge from a light pulse
JP3781016B2 (ja) * 2002-06-18 2006-05-31 カシオ計算機株式会社 電子カメラ、撮影方向取得方法及びプログラム
US7176974B2 (en) * 2003-01-21 2007-02-13 Chen Shu-Fen Method of positioning by using image
DE102004009541A1 (de) * 2004-02-23 2005-09-15 Iris-Gmbh Infrared & Intelligent Sensors Benutzersteuerbares Erfassungssystem
GB2427293B (en) * 2004-03-24 2008-10-15 A9 Com Inc System and method for collecting ground view images
CA2559726C (en) 2004-03-24 2015-10-20 A9.Com, Inc. System and method for displaying images in an online directory
US8942483B2 (en) 2009-09-14 2015-01-27 Trimble Navigation Limited Image-based georeferencing
US8379929B2 (en) 2009-01-08 2013-02-19 Trimble Navigation Limited Methods and apparatus for performing angular measurements
DE112010000812T5 (de) 2009-01-08 2012-06-06 Trimble Navigation Limited Verfahren und Systeme zum Bestimmen von Winkeln und Orten von Punkten
JP5347144B2 (ja) * 2009-02-03 2013-11-20 リコーイメージング株式会社 定点撮影が可能なカメラ
TWI382150B (zh) * 2009-07-06 2013-01-11 Htc Corp 目標物距離偵測方法與裝置及其電腦程式產品
US8897541B2 (en) * 2009-09-14 2014-11-25 Trimble Navigation Limited Accurate digitization of a georeferenced image
US9324003B2 (en) 2009-09-14 2016-04-26 Trimble Navigation Limited Location of image capture device and object features in a captured image
WO2011041618A2 (en) * 2009-09-30 2011-04-07 Darby George Derrick Jr Visual organization of information via associated geospatial data
DE102009047387A1 (de) * 2009-12-02 2011-06-09 Robert Bosch Gmbh Entfernungsmessgerät zur berührungslosen Abstandsmessung mit integriertem Winkelmesser
US9497581B2 (en) * 2009-12-16 2016-11-15 Trimble Navigation Limited Incident reporting
US8768667B2 (en) 2010-10-25 2014-07-01 Trimble Navigation Limited Water erosion management incorporating topography, soil type, and weather statistics
US9213905B2 (en) 2010-10-25 2015-12-15 Trimble Navigation Limited Automatic obstacle location mapping
US9058633B2 (en) 2010-10-25 2015-06-16 Trimble Navigation Limited Wide-area agricultural monitoring and prediction
US9846848B2 (en) 2010-10-25 2017-12-19 Trimble Inc. Exchanging water allocation credits
US10115158B2 (en) 2010-10-25 2018-10-30 Trimble Inc. Generating a crop recommendation
US8855937B2 (en) 2010-10-25 2014-10-07 Trimble Navigation Limited Crop characteristic estimation
US20120101784A1 (en) 2010-10-25 2012-04-26 Trimble Navigation Limited Wide-area agricultural monitoring and prediction
US8671741B2 (en) 2011-06-29 2014-03-18 Trimble Navigation Limited Extendable moisture content sensing system
US20200005832A1 (en) * 2018-06-28 2020-01-02 Getac Technology Corporation Method for calculating position coordinates and electronic device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4497065A (en) * 1982-07-12 1985-01-29 Westinghouse Electric Corp. Target recognition system enhanced by active signature measurements
US5200793A (en) * 1990-10-24 1993-04-06 Kaman Aerospace Corporation Range finding array camera
US5361217A (en) * 1992-05-07 1994-11-01 Fuji Photo Optical Co., Ltd. Position measuring/plotting apparatus
US5682229A (en) * 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
CN1101056C (zh) 1995-06-22 2003-02-05 3Dv系统有限公司 生成距景物距离的图象的方法和装置
US5859693A (en) * 1997-08-26 1999-01-12 Laser Technology, Inc. Modularized laser-based survey system
JPH1169280A (ja) 1998-04-16 1999-03-09 Toshiba Corp 方位情報を記録可能なスチルカメラおよび再生方法
US6108076A (en) * 1998-12-21 2000-08-22 Trimble Navigation Limited Method and apparatus for accurately positioning a tool on a mobile machine using on-board laser and positioning system
US6137566A (en) * 1999-02-24 2000-10-24 Eoo, Inc. Method and apparatus for signal processing in a laser radar receiver

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8024151B2 (en) 2002-08-09 2011-09-20 Surveylab Group Ltd. Mobile instrument, viewing device, and methods of processing and storing information
US7647197B2 (en) 2002-08-09 2010-01-12 Surveylab Group Limited Mobile instrument, viewing device, and methods of processing and storing information
JP2006153772A (ja) * 2004-11-30 2006-06-15 Matsushita Electric Works Ltd 測量装置
US8319952B2 (en) 2005-07-11 2012-11-27 Kabushiki Kaisha Topcon Geographic data collecting system
US7389735B2 (en) 2005-09-15 2008-06-24 Yamaha Hatsudoki Kubushiki Kaisha Docking supporting apparatus, and marine vessel including the apparatus
JP2007248156A (ja) * 2006-03-14 2007-09-27 Topcon Corp 地理データ収集装置
US8280677B2 (en) 2008-03-03 2012-10-02 Kabushiki Kaisha Topcon Geographical data collecting device
US8717432B2 (en) 2008-03-04 2014-05-06 Kabushiki Kaisha Topcon Geographical data collecting device
JP2010200274A (ja) * 2009-02-27 2010-09-09 National Institute Of Information & Communication Technology 撮影位置及び撮影姿勢を記録する画像撮影装置とその処理方法
JP2011038944A (ja) * 2009-08-13 2011-02-24 Pasuko:Kk 地図画像統合データベース生成システム及び地図画像統合データベース生成プログラム
WO2011019071A1 (ja) * 2009-08-13 2011-02-17 株式会社パスコ 地図画像統合データベース生成システム及び地図画像統合データベース生成プログラム
JP4560128B1 (ja) * 2009-08-13 2010-10-13 株式会社パスコ 地図画像統合データベース生成システム及び地図画像統合データベース生成プログラム
US9001203B2 (en) 2009-08-13 2015-04-07 Pasco Corporation System and program for generating integrated database of imaged map
JP2013502593A (ja) * 2009-08-24 2013-01-24 サムスン エレクトロニクス カンパニー リミテッド モバイル機器及びモバイル機器と情報を送受信するサーバ
US9344841B2 (en) 2009-08-24 2016-05-17 Samsung Electronics Co., Ltd Mobile device and server exchanging information with mobile apparatus
JP2011193061A (ja) * 2010-03-11 2011-09-29 Hitachi Computer Peripherals Co Ltd 撮像装置および監視装置
US8934009B2 (en) 2010-09-02 2015-01-13 Kabushiki Kaisha Topcon Measuring method and measuring device
JP2013234946A (ja) * 2012-05-10 2013-11-21 Kawasaki Heavy Ind Ltd 目標位置特定装置、目標位置特定システム、および目標位置特定方法
WO2018061175A1 (ja) * 2016-09-30 2018-04-05 株式会社オプティム 画面共有システム、画面共有方法及びプログラム

Also Published As

Publication number Publication date
US6346980B1 (en) 2002-02-12
JP3875817B2 (ja) 2007-01-31

Similar Documents

Publication Publication Date Title
JP3875817B2 (ja) 測距装置の地図座標検出システム
US8339477B2 (en) Digital camera capable of detecting name of captured landmark and method thereof
US20080069406A1 (en) Surveying Apparatus
US20060187333A1 (en) Still image pickup device
US6320611B1 (en) Method and device for air-ground recognition for optoelectronic equipment
JP3986748B2 (ja) 3次元画像検出装置
US6683676B1 (en) Three-dimensional image capturing device
US6437853B2 (en) Three-dimensional image capturing device
US6822681B1 (en) Image capturing device for capturing a shape of a measurement subject
JP2001116516A (ja) 3次元画像検出装置
JP2001124544A (ja) 測距装置
US6721007B1 (en) Three-dimensional image capturing device
JP6639832B2 (ja) 撮像装置,撮像方法,撮像プログラム
US20130293732A1 (en) Imaging systems and methods
JP2000298005A (ja) 3次元画像入力装置
JP2001145126A (ja) 3次元画像検出装置
JP2001119721A (ja) 3次元画像検出装置
JP2001119722A (ja) 3次元画像検出システムと3次元画像検出装置
JP2000341720A (ja) 3次元画像入力装置および記録媒体
JP2009008842A (ja) 撮影システム、撮影装置、方法およびプログラム
JP2001148867A (ja) 3次元画像検出装置
JP2001148868A (ja) 3次元画像検出装置
JP4413343B2 (ja) 3次元画像検出装置
JP3892632B2 (ja) 静止物体画像検出装置と静止物体画像検出方法
JP2001275132A (ja) 3次元画像検出装置と撮像素子駆動回路

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040628

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040628

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061027

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131102

Year of fee payment: 7

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees