JP2002034055A - 移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システム - Google Patents
移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システムInfo
- Publication number
- JP2002034055A JP2002034055A JP2000213134A JP2000213134A JP2002034055A JP 2002034055 A JP2002034055 A JP 2002034055A JP 2000213134 A JP2000213134 A JP 2000213134A JP 2000213134 A JP2000213134 A JP 2000213134A JP 2002034055 A JP2002034055 A JP 2002034055A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- acquisition device
- image acquisition
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Input (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
際に、樹木や電柱等の遮蔽物が前面に存在しても目的の
像を確実に精度よく広範囲に取得できるマルチラインカ
メラ及び移動体用の画像取得装置並びに移動搭載型の画
像取得システムを得る。 【解決手段】 半球状に形成された魚眼レンズ34及び
ラインセンサ35を組み合わせてなるラインカメラ3
1,32,33をそれぞれ水平方向に異なる角度で3方
向に配置してなるマルチラインカメラ3を車両の後部ル
ーフ上の架台1の左右両側に設ける。また、レーザスキ
ャナ2を3台設けると共に、DGPS5を設ける。ま
た、慣性航法装置9を設け、撮影指示の入力に伴ってD
GPS5からのPPS信号、GPSデータに基づいてこ
れらが内部同期を取りながら撮影時刻、位置、姿勢を求
めてマルチラインカメラからの画像データを取得する。
Description
木等の地物を光学的像として取り込んで三次元画像を取
得する画像取得装置に関するものである。
得する場合に、レーザスキャナやカメラ等の機材を地上
に固定して周辺の建物等の画像を取得する方法がある。
述の機材を運搬して設置し、目的の建物を撮影すること
になる。このため、広範囲に複数の画像を取得するの
は、その都度建物まで移動して行って機材を設置しなけ
ればならないので、多大な時間、労力、費用を要する。
また、交通量の多い道路上では渋滞や事故を引き起こす
可能性もある。
マミラーとCCDカメラ(エリアセンサ)とを一体化し
た画像取得器と、レーザスキャナとからなる空間情報取
部を、それぞれ所定角度ずらして架台に数台設け、この
架台を車の後方に取り付けて走行することによって通り
の建物等の画像データを取得させていた。
ンズの焦点面に3本のラインセンサを平行に配置してな
る機材を航空機に搭載して3方向の線画像を図6の
(a)に示すように同時に取得している。
センサを用いる方式は、エリアは画素数でn×mの数十
万画素(※動画用エリアCCDのサイズは記録装置(速
度)の関係から、数百程度(例640×480)。ライ
ンセンサの場合、数千画素で高速に記録可能。)の処理
速度が非常に高速であることを要する。特に、走行しな
がら画像を取得する方式では、さらに処理速度が高速で
あることを要求するが、十分に記録できない。
アは画素数でn×mの数十万画素となる。
度が低くなり、結果として詳細な画像を得ることができ
なくなり、後日画像処理によってレーザで取得した地図
データと合わせようとしても容易には合わせることがで
きなくなるという課題があった。
と3本のラインセンサを用いる方式は、航空機は空の上
にあって地上とは十分に遠い距離にあり、十分に広い視
野の映像を一度にとれる。
搭載して走行しながら周囲を撮影したとしても、距離を
稼げないので広い視野の画像を得ることができない。
れたもので、車両等を走行させながら目的の像を取得す
る際に、樹木や電柱等の遮蔽物が前面に存在しても目的
の像を確実に精度よく広範囲に取得できる移動体用広視
野角多方向画像取得装置並びに移動体用広視野角多方向
画像取得システムを得ることを目的とする。
素の配列方向が鉛直方向になるようにラインセンサを設
けて、該ラインセンサを駆動して被写体を撮像し、該撮
像信号を送出するカメラを、それぞれの撮像軸が水平に
なるように3台併設し、中央の前記カメラを挟んで、両
脇のカメラの撮像方向が前記中央のカメラの撮像方向に
対して所定挟角になるようにされて、一体化されたマル
チラインカメラを備えたことを特徴とする。
は、45度にされていることを特徴とする。
されて搭載される移動体用の画像取得装置において、魚
眼レンズの後方に、画素の配列方向が鉛直方向になるよ
うにラインセンサを設けて、該ラインセンサを駆動して
被写体を撮像し、該撮像信号を送出するカメラを、それ
ぞれの撮像軸が水平になるように所定の挟角で3台一体
で併設し、中央の前記カメラが前記移動体の進行方向に
対して直角になるように前記平面板に固定されたマルチ
ラインカメラを前記移動体の進行方向に対して平行とな
る前記平面板の両辺に固定し、前記平面板に設けられ、
アンテナ面が天頂方向にされ、該アンテナが受信したG
PS信号と補正信号とによって現在位置及びGPS時刻
を求めると共に、PPS信号を送出する受信器と、テー
パ面を有して回転するスキャナヘッドを有し、このスキ
ャナヘッドに対してレーザ光を地物に照射して、該地物
までの距離及びそのレーザ光の角度を求めて送出するレ
ーザスキャナを前記平面板上に3台備え、これらの内の
いずれかのレーザスキャナは、前記移動体の進行方向に
対して前記平面板の辺が直角となる辺の中央に固定さ
れ、他の2台のレーザスキャナは、前記中央のレーザス
キャナと前記マルチラインカメラとの間に、一定の挟み
角度を有して前記平面板の隅に固定されていることを特
徴とする。
してなる画像取得装置を設け、この画像取得装置からの
各出力をカメラ制御・取得装置、慣性航法装置制御・取
得装置及びレーザスキャナ制御・取得装置で制御、取得
する移動搭載型の画像取得システムであって、前記画像
取得装置は、魚眼レンズとラインセンサとを組み合わせ
たカメラを水平に3台併設したマルチラインカメラを前
記移動体の進行方向に対して平行となる前記平面板の両
脇にそれぞれ設け、かつGPS信号と補正信号とによっ
て現在位置及びGPS時刻を求めると共に、PPS信号
を送出する受信器を設ける一方、スキャナヘッドに対し
てレーザ光を地物に照射して、該地物までの距離及びそ
のレーザ光の角度並びに計測時刻を前記PPS信号と同
期をとって求め、これらを送出するレーザスキャナを前
記平面板上に3台備え、前記カメラ制御・取得装置は、
前記移動体が移動中に、前記マルチラインカメラの各カ
メラに対して撮影指令を第1の一定間隔で送出して前記
各カメラからの画像データを取得すると共に、前記GP
Sデータとの同期を取って前記撮影時刻を計測し、該計
測した撮影時刻と前記現在位置及び画像データとを組み
合わせて送出し、前記慣性航法装置は、前記撮影指令の
入力に伴って、第2の一定間隔で前記GPSデータと同
期をとって慣性位置及び測定時刻並びに前記移動体の姿
勢を求めて順次記憶し、前記レーザスキャナ制御・取得
装置は、前記撮影指令の入力に伴って、第3の一定間隔
で前記GPSデータと同期をとって前記各レーザスキャ
ナからレーザ光を照射させると共に、得られた地物まで
の距離及びそのレーザ光の角度に対して前記同期を取っ
た時刻に基づいて、その計測時刻を求め、これを組み合
わせて順次記憶することを特徴とする。
らのデータを前記マルチラインカメラのカメラの番号に
対応させて順次蓄積するデータ記憶装置とを有すること
を特徴とする。
一定間隔及び第3の一定間隔は、第1の一定間隔<第2
の一定間隔<第3の一定間隔の関係になっていることを
特徴とする。
画像取得装置のレイアウトを示す平面図、図2は画像取
得装置による都市内の地物の画像取得の一例を示す平面
図、図3は画像取得装置の要部であるマルチラインカメ
ラの平面図、図4はマルチラインカメラの正面図、図5
はマルチラインカメラの側面図である。
方向の幅が車両の幅とほぼ同じ長さに形成された四辺形
状の架台1(後方の両方の隅を欠けさせるのが好まし
い)と、この架台1に設置された3台のレーザスキャナ
2A,2B,2C及びそれぞれ所定角度ずらして配置し
た3個の魚眼レンズ、ラインセンサを有してなる2台の
マルチラインカメラ3と、架台1のほぼ中央部に設置さ
れたDGPSアンテナ4とを備えている。
の屋根の後部ルーフ上に例えば防振ダンパ(図示せず)
を介して取り付(固定)けられている。
ぞれテーパ面(円錐)が回転自在なスキャナヘッド2
a,2b,2cを有し、車両後部上の架台1の両側の角
度とその中央部にそれぞれ取り付けられている。
ナ2Aと配置し、このレーザスキャナ2Aに対して水平
に45度傾いて取り付けられている。この3台のレーザ
スキャナ2A,2B,2Cは、パルス幅の非常に短い赤
外線レーザをスキャナヘッド2a,2b,2cから照射
し、このレーザが建物や樹木等の地物から反射して戻っ
て来るまでの時間から距離を求めると共に、レーザを発
信したときのスキャナヘッド2a,2b,2cの回転角
度と合わせて360度方向の断面プロファイル測定を行
い、距離データとレーザ角度データと得る。
進行方向に対して左右両側の地物を撮影できるように架
台1の両側に左右対称に設置されている。
して単にマルチラインカメラ3ともいう)の構成を図3
及び図4を用いて説明する。マルチラインカメラ3は、
図3及び図4に示すように、ベースフレーム部36とこ
のベースフレーム部36に装着された第1ラインカメラ
31、第2ラインカメラ32及び第3ラインカメラ33
とで構成されている(図3及び図4参照)。中央部の第
2ラインカメラ32は撮像方向が車両の進行方向に対し
て直角方向に取り付けられている。
3は、第2のラインカメラ32を挟んで左右対称にそれ
ぞれ第2のラインカメラ32に対して撮像方向がそれぞ
れ水平方向に45度傾いて設けられている。
に示すように半球が視野範囲となる魚眼レンズ34と垂
直方向に画素配列されたラインセンサ35(2048画
素)とを備えている。
信器14に接続され、DGPS受信器14がDGPSア
ンテナ4が受信したGPS衛星から送信されるGPS信
号及び補正情報からの3次元位置をハイブリット慣性航
法装置9に送出する。
載されている原子時計に同期する内部タイマーを内蔵
し、100msec(10Hz)毎にその時刻を計測し
GPS時刻として送出する。
一体化したラインカメラを、進行方向に直角に1台設
け、これを挟んで水平方向に45度の角度傾けたライン
カメラを2台設けることによって、図6に示すように、
スリーラインセンサを用いた方式(図6の(a))は1
個のセンサ(スリーライン)で3方向からの映像を取得
するからどうしてもそれぞれの取得範囲が狭くなる。
(b)の方式は、各魚眼レンズ毎にラインセンサを設け
る方式であるから、それぞれの映像の取得範囲は広範囲
である。
を車の屋根に搭載して走行すると、図2に示すように、
例えばマルチラインカメラ3Bの中央のラインカメラ3
1の前に樹木があった場合は、樹木を含んだ建物の映像
が撮影されるが、走行しているので、樹木位置をすぎた
ときに第2のラインカメラ32で撮影できなかった樹木
の裏の映像を第1のラインカメラ31が得ることにな
る。また、それぞれのラインセンサは垂直方向に取り付
けているので、魚眼レンズから得る映像は垂直方向で1
80度以上の線画像となる。
て、周囲の地物の各点の車との距離が取得される。
成を図7に基づいて説明する。図7は本発明の実施の形
態に係る画像取得システム構成を示すブロック回路図で
ある。なお、本実施の形態ではGPSによる位置データ
及び時刻を総称してGPSデータという。
ルチラインカメラ3A,3Bを制御及びそのデータを取
得するためのカメラ制御・取得装置7と、レーザスキャ
ナ2A,2B,2Cを制御すると共にそのレーザデータ
を取得するレーザスキャナ制御・取得装置8と、ハイブ
リット慣性航法制御取得装置9(以下単にINS制御装
置という)と、これらのデータを記憶するデータ記憶装
置13とを備えている。また、カメラ制御・取得装置7
にはモニタ用のパソコン12が接続され、レーザスキャ
ナ制御・取得装置8にはモニタ用のパソコン11が接続
されている。
始指令(モニター側のキーボード、マウス等による操
作)の投入に伴って、2組のマルチラインカメラ3を同
時に起動し、図8の(a)に示すように、カメラスター
トパルス(例えば10msec:100Hz)が入力す
る毎にカメラクロック信号(例えば数MHz)をカウン
トし、このカウント値が所定値になる毎に、マルチライ
ンカメラからの画像データDi(D11,D12,D1
3,D21,D22,D23,…)を取得してこれを画
像記憶装置13に記憶する。
8の(b)に示すように、GPS時刻(RS232Cイ
ンターフェース)と内部タイマーが正確に時刻合わせを
行った後に、PPS信号の入力に伴って、1μsカウン
ターをカウントし、該カウント値DtiとGPS時刻T
giと、カメラスタートパルス入力時の時刻Dtsとを
取得した画像データDi(D11,D12,D13,D
21,D22,D23,…)のヘッダに付加する。但
し、図8は1個のラインセンサの画像データの取り込み
を示しており、左右6個ではこれらのタイミングは6個
分ある。
タイマーを備え、予めGPS時計と正確に時刻合わせを
行った後、PPS信号のパルスが入力される毎に(毎正
秒に)時刻合わせを行い(GPS時刻に合わせる)、シ
ャッタスタート信号が入力する毎に、50msec(2
0Hz)毎にレーザスキャナ2A,2B,2Cから、レ
ーザを発射させて、その距離データ(Ahi:Ah1、
Ah2…)とレーザ角度データAri(Ar1、Ar
2…)と測定時刻(PPSGPS時刻に基づいた内部タ
イマーの時刻)とGPS時刻Tigとを磁気ディスクに
記憶する。具体的なタイミングはほぼ図8と同様であ
る。
イロと加速度演算部(図示せず)から3軸の回転レート
と加速度とを検出して自立航法により車両の現在位置を
測定する。そして、電波航法と自立航法により測定した
2つの現在位置の誤差が最小になるようにハイブリット
航法により高精度に現在位置と姿勢・方位角を推定し、
シャッタスタータ信号が入力されてから時間Tp以内に
現在位置データと姿勢・方位角データθi(ψ、k、
w)を出力する。
の分解能)を有し、PPS信号のパルスが入力される毎
に(毎正秒に)時刻合わせを行う。また、RS232C
インターフェースを経由して、DGPS受信器から基準
位置データが入力される。このデータをもとに、シャッ
タスタート信号が入力する毎に20msec経過する毎
に内部タイマーから出力タイミング(20msec:5
0Hz)で、3軸のリングレーザジャイロ、加速度計、
および車速計(後述する車速エンコーダ)による測位
(推測航法測位)を行って、得られた車両の位置座標B
i、角度データθiを出力する(具体的なタイミングは
ほぼ図8と同様である)。
示すようにシャッタスタート信号が入力する毎にマルチ
ラインカメラからパラレルで送出されるラインセンサ3
個分の画像データを取り込み、ラインセンサの番号順に
従って図9の(b)に示すように順次記憶する。
以上の互いに異なる角度のラインセンサの各画像データ
及び取得時間が10msec毎に取得される。また、画
像データの取得に伴って、20msec毎に慣性航法装
置による位置及び姿勢が取得されるので、GPSデータ
を受信できない箇所でも精度の良い位置、姿勢データを
得ている。
msec毎にレーザによる距離データ及びその角度が取
得される。
h、位置データBi、姿勢データθiは、図10に示す
ように取得される。但し、本説明では画像データDi
は、片側のマルチラインカメラ(実際は3個)からの画
像データDiとして説明する。また、距離データAi
は、一台のレーザスキャナからの距離データAhとして
説明する。
ラインカメラによって取得されたものであり、マルチラ
インカメラ制御装置が内部タイマーを予めGPS時刻と
時刻合わせを行って時刻を計測し、カメラスタートパル
スが10msec(100Hz)で入力する毎に、ライ
ンセンサを駆動させて撮像させていると共に、撮影時の
GPS時刻Tgと、PPS信号からカメラスタートパル
スの計測時刻Dtと、カメラスタートパルスが入力した
ときの内部タイマーの時刻Dts(撮影時刻という)と
を対応させて記憶される。
0Hz周期(100msec毎)で取得された3ライン
分の画像データDiがGPS時刻Tgと計測時刻Dtと
撮影時刻Dtsとが対応させれたレコード単位で記憶さ
れる。また、このレコードには年月日が付加される場合
もある。むろん、レコード単位ではなく、1走行あたり
のファイルのヘッダとして付加してもよい。
番号、画像データ番号、レンズ焦点距離、レンズ絞り、
撮影幅、ルート名、測定者、照度、発注先などが付加さ
れているのが好ましい。
によって計測された地物の点までの距離データAhであ
り、レーザ制御装置がレーザスキャナーに対して各種指
令及び距離データAhを読み込む。
タイマーを予めGPS時刻に合わせ、PPS信号が入力
する毎に内部タイマーの同期をとり、20Hz毎にレー
ザを発射データ取得させると共に、レーザスキャナのス
キャンヘッドを回転させている。(50msecで一回
転)。
刻Tg(レーザを発射したときにGPS時刻が入力する
と、そのGPS時刻、レーザを発射したときにGPS時
刻が入力しない場合は、前のGPS時刻)と、測定時の
レーザの内部タイマー時刻At(距離測定時刻)とレー
ザ測定角度Ar(スキャンヘッドの回転角度):Ar=
Arp1、Arp2…360)とレーザが当たった点ま
での距離Ahとを求めて記憶している。
は、図10(b)に示すように、20Hz周期(50m
sec毎)で取得されたレーザの測定角Arと、測定距
離Ahと、測定時のGPS時刻Tgと距離計測時刻At
とが対応されたレコード単位で記憶される。また、この
レコードには年月日が付加される場合もある。むろん、
レコード単位ではなく、1走行あたりのファイルのヘッ
ダとして付加してもよい。
は、図10の(c)に示すように20msec毎の位置
データBi、姿勢データθi、GPS時刻Tg、測定時
刻INTと対応させられて記憶される。
置を車両に搭載して三次元画像の情報を取得するように
したが、鉄道車両に本装置を搭載して建物等の地物の三
次元画像を取得するようにしてもよい。
行しながら3方向の線画像を連続的に撮影すると共に、
現在位置データと姿勢・方位角データ及び距離データと
角度データを所定のタイミングで取得するようにしたの
で、三次元画像を高効率に取得することが可能になり、
時間と労力を飛躍的に低減できるという効果がある。
ようにしたので、前方に遮蔽物等が存在してもその裏側
の部分を確実に撮影できるという効果がある。
代表的な用途例について説明する。
り、上空からでは捉えられない地物も存在するが、本発
明の画像情報取得装置は、都市構造物の空間的な配置や
3次元形状を正確に再現させることが可能となるため、
災害時の避難・誘導シミュレーションや被害予測システ
ムを構築する上で極めて有効な情報を提供できる。
イン網が複雑に入り組んでいる。既に、公共企業が独自
の管理システムを構築しているが、情報の相互運用を図
るための基準情報や不足情報の新規取得に効力を発揮す
る。この情報を利用すれば、3次元地図画像で電柱と建
物の位置関係を見て工事の場所を決めたり、既設設備の
位置や劣化状況を正確に把握させることが可能となる。
ラを有する移動体用広視野角多方向画像取得装置によれ
ば、これを移動体に搭載して固定すると、一度にそれぞ
れ異なる方向で垂直方向の線画像データがそれぞれ単独
のラインセンサに順次取得される。
180度以上の線画像がそれぞれ異なる方向で取得され
るから非常に解像度が良くなると共に、単独のラインセ
ンサでそれぞれの方向の画像データを取得できるので広
範囲に渡って地物の画像を高解像度で取得できるという
効果が得られている。
は45度にされているから、例えば移動体に搭載した場
合は、走行の経過によっていずれかのカメラが樹木の裏
側の建物の映像を取得することになる。
ば、移動体が走行すると、両脇のマルチラインカメラに
よって、垂直方向が180度以上の線画像がそれぞれ異
なる方向で取得されるので、走行中において360度で
かつ広範囲に渡って地物の画像を高解像度で取得できる
という効果が得られている。
は45度にされているから、例えば移動体に搭載した場
合は、走行の経過によっていずれかのカメラが樹木の裏
側の建物の映像を取得することになる。
れ、PPS信号とGPSデータ(GPS時刻、GPS位
置)が送出され、かつ3台のレーザスキャナによって地
物までの点距離及びそのときのレーザ角度が送出され
る。
像度、かつ樹木、電柱等の裏の地物の画像データを取得
できると共に、地物までの点距離データ及びレーザ角度
を一度に取得できることになるという効果が得られてい
る。
よれば、移動体の上に画像取得装置を搭載し、撮影指令
信号の入力に伴ってこの画像取得装置の各マルチライン
カメラをカメラ制御・取得装置が制御し、かつ各レーザ
スキャナをレーザスキャナ制御・取得装置が制御して、
GPSデータに基づく同期をとった撮影時刻、距離デー
タ、測定角度を取得する。この撮影時刻は画像データと
共にカメラ番号順に従って順次記憶される。
って、GPSデータと同期をとって慣性位置及び測定時
刻並びに前記移動体の姿勢を求めて記憶する。
像度の線画像が順次時刻と共に記憶されていくので、こ
の画像から容易に何時の画像かを解読できる。
憶され、かつ慣性航法装置によって精度の高い位置及び
姿勢が順次記憶されるので、これらの取得データを解析
すると、画像データとレーザによるデータとの対応付け
を精度よく行うことができるという効果が得られてい
る。従って、時間と労力を飛躍的に低減できる。
ャン制御・取得装置及び慣性航法装置の内部タイマーの
特性に応じたタイミング(第1の一定間隔<第2の一定
間隔<第3の一定間隔)でそれぞれデータを取得して時
間合わせ及び位置合わせを行うので、従来のものを改良
しなくとも、精度良く撮影、測距離時の時刻、位置を得
ることができている。
アウトを示す平面図である。
一例を示す平面図である。
の平面図である。
み合わせたことによる効果を説明する説明図である。
テム構成を示すブロック回路図である。
作を示すタイミングチャートである。
ミングチャートである。
ある。
Claims (6)
- 【請求項1】 魚眼レンズの後方に、画素の配列方向が
鉛直方向になるようにラインセンサを設けて、該ライン
センサを駆動して被写体を撮像し、該撮像信号を送出す
るカメラを、それぞれの撮像軸が水平になるように3台
併設し、 中央の前記カメラを挟んで、両脇のカメラの撮像方向が
前記中央のカメラの撮像方向に対して所定挟角になるよ
うにされて、一体化されたマルチラインカメラを備えた
ことを特徴とする移動体用広視野角多方向画像取得装
置。 - 【請求項2】 前記各両脇のカメラの挟角は、45度に
されていることを特徴とする請求項1記載の移動体用広
視野角多方向画像取得装置。 - 【請求項3】 移動体の上に、平面板に固定されて搭載
される移動体用の画像取得装置において、 魚眼レンズの後方に、画素の配列方向が鉛直方向になる
ようにラインセンサを設けて、該ラインセンサを駆動し
て被写体を撮像し、該撮像信号を送出するカメラを、そ
れぞれの撮像軸が水平になるように所定の挟角で3台一
体で併設し、中央の前記カメラが前記移動体の進行方向
に対して直角になるように前記平面板に固定されたマル
チラインカメラを前記移動体の進行方向に対して平行と
なる前記平面板の両辺に固定し、 前記平面板に設けられ、アンテナ面が天頂方向にされ、
該アンテナが受信したGPS信号と補正信号とによって
現在位置及びGPS時刻を求めると共に、PPS信号を
送出する受信器と、 テーパ面を有して回転するスキャナヘッドを有し、この
スキャナヘッドに対してレーザ光を地物に照射して、該
地物までの距離及びそのレーザ光の角度を求めて送出す
るレーザスキャナを前記平面板上に3台備え、 これらの内のいずれかのレーザスキャナは、前記移動体
の進行方向に対して前記平面板の辺が直角となる辺の中
央に固定され、他の2台のレーザスキャナは、前記中央
のレーザスキャナと前記マルチラインカメラとの間に、
一定の挟み角度を有して前記平面板の隅に固定されてい
ることを特徴とする移動体用広視野角多方向画像取得装
置。 - 【請求項4】 移動体の上に、平面板に固定してなる画
像取得装置を設け、この画像取得装置からの各出力をカ
メラ制御・取得装置、慣性航法装置制御・取得装置及び
レーザスキャナ制御・取得装置で制御、取得する移動搭
載型の画像取得システムであって、 前記画像取得装置は、 魚眼レンズとラインセンサとを組み合わせたカメラを水
平に3台併設したマルチラインカメラを前記移動体の進
行方向に対して平行となる前記平面板の両脇にそれぞれ
設け、かつGPS信号と補正信号とによって現在位置及
びGPS時刻を求めると共に、PPS信号を送出する受
信器を設ける一方、スキャナヘッドに対してレーザ光を
地物に照射して、該地物までの距離及びそのレーザ光の
角度並びに計測時刻を前記PPS信号と同期をとって求
め、これらを送出するレーザスキャナを前記平面板上に
3台備え、 前記カメラ制御・取得装置は、 前記移動体が移動中に、前記マルチラインカメラの各カ
メラに対して撮影指令を第1の一定間隔で送出して前記
各カメラからの画像データを取得すると共に、前記GP
Sデータとの同期を取って前記撮影時刻を計測し、該計
測した撮影時刻と前記現在位置及び画像データとを組み
合わせて送出し、 前記慣性航法装置は、 前記撮影指令の入力に伴って、第2の一定間隔で前記G
PSデータと同期をとって慣性位置及び測定時刻並びに
前記移動体の姿勢を求めて順次記憶し、 前記レーザスキャナ制御・取得装置は、 前記撮影指令の入力に伴って、第3の一定間隔で前記G
PSデータと同期をとって前記各レーザスキャナからレ
ーザ光を照射させると共に、得られた地物までの距離及
びそのレーザ光の角度に対して前記同期を取った時刻に
基づいて、その計測時刻を求め、これを組み合わせて順
次記憶することを特徴とする移動体用広視野角多方向画
像取得システム。 - 【請求項5】 前記カメラ制御・取得装置からのデータ
を前記マルチラインカメラのカメラの番号に対応させて
順次蓄積するデータ記憶装置とを有することを特徴とす
る請求項4記載の移動体用広視野角多方向画像取得シス
テム。 - 【請求項6】 前記第1の一定間隔、第2の一定間隔及
び第3の一定間隔は、第1の一定間隔<第2の一定間隔
<第3の一定間隔の関係になっていることを特徴とする
請求項4または請求項5記載の移動体用広視野角多方向
画像取得システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000213134A JP4469471B2 (ja) | 2000-07-13 | 2000-07-13 | 移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000213134A JP4469471B2 (ja) | 2000-07-13 | 2000-07-13 | 移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002034055A true JP2002034055A (ja) | 2002-01-31 |
JP4469471B2 JP4469471B2 (ja) | 2010-05-26 |
Family
ID=18708937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000213134A Expired - Lifetime JP4469471B2 (ja) | 2000-07-13 | 2000-07-13 | 移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4469471B2 (ja) |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040035892A (ko) * | 2002-10-12 | 2004-04-30 | 한국전자통신연구원 | 레이저 스캐너를 갖는 이동 차량의 공간 모델링 장치 및이동 차량의 레이저 스캐너 제어 방법 |
JP2005191962A (ja) * | 2003-12-25 | 2005-07-14 | Sharp Corp | 移動体周囲監視装置および移動体 |
KR100502075B1 (ko) * | 2002-11-18 | 2005-07-25 | 한국전자통신연구원 | 가로수 관리 정보 추출 시스템 |
WO2006052057A1 (en) * | 2004-11-11 | 2006-05-18 | Electronics And Telecommunications Research Institute | Method for capturing convergent-type multi-view image |
JP2006171224A (ja) * | 2004-12-14 | 2006-06-29 | Mitsubishi Electric Corp | 撮影映像処理システム |
JP2007006051A (ja) * | 2005-06-23 | 2007-01-11 | Alpine Electronics Inc | 立体画像表示システムおよび車両運転支援装置 |
CN1320829C (zh) * | 2003-07-31 | 2007-06-06 | 佳能株式会社 | 图像处理方法及装置 |
WO2008099915A1 (ja) * | 2007-02-16 | 2008-08-21 | Mitsubishi Electric Corporation | 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ |
JP2009010906A (ja) * | 2007-05-31 | 2009-01-15 | Hitachi Information & Communication Engineering Ltd | 車両底面監視装置及び車両底面監視方法 |
JP2009264983A (ja) * | 2008-04-25 | 2009-11-12 | Mitsubishi Electric Corp | 位置標定装置、位置標定システム、位置標定システムのユーザインタフェース装置、位置標定システムの標定サーバ装置および位置標定方法 |
US7908106B2 (en) | 2004-12-21 | 2011-03-15 | Electronics And Telecommunications Research Institute | Apparatus for correcting position and attitude information of camera and method thereof |
WO2013140603A1 (ja) * | 2012-03-23 | 2013-09-26 | 三菱電機株式会社 | 配線ボックスおよびカバーポールユニット |
JP5309291B2 (ja) * | 2005-04-25 | 2013-10-09 | 株式会社ジオ技術研究所 | 撮影位置解析方法 |
CN103528572A (zh) * | 2012-07-06 | 2014-01-22 | 中国石油化工股份有限公司 | 工程测量放线装置 |
KR20160002518A (ko) * | 2014-06-30 | 2016-01-08 | 현대엠엔소프트 주식회사 | 3차원 내비게이션을 위한 식생 구간 추출 장치와 방법 |
WO2015187435A3 (en) * | 2014-06-06 | 2016-03-17 | Faro Technologies, Inc. | Metrology instrument system and method of operating |
KR20160043138A (ko) * | 2012-03-09 | 2016-04-20 | 가부시키가이샤 리코 | 화상 캡처링 장치, 화상 캡처 시스템, 화상 처리 방법, 정보 처리 장치, 및 컴퓨터-판독 가능 저장 매체 |
JP2016223862A (ja) * | 2015-05-29 | 2016-12-28 | 株式会社トプコン | 3dモデル作成用計測装置およびシステム |
CN108267096A (zh) * | 2017-12-25 | 2018-07-10 | 中铁科学技术开发公司 | 铁路隧道衬砌表面病害快速检测系统 |
CN109212554A (zh) * | 2017-07-03 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 车载信息采集系统及其控制方法和装置 |
CN109803125A (zh) * | 2019-01-31 | 2019-05-24 | 上海睿哈智能科技有限公司 | 一种船载监控记录仪 |
CN110906879A (zh) * | 2019-12-05 | 2020-03-24 | 淄博职业学院 | 一种基于数字媒体的三维扫描设备 |
CN111462495A (zh) * | 2020-04-18 | 2020-07-28 | 福建农林大学 | 一种基于单目相机及组合定位的道路信息采集设备 |
CN113607395A (zh) * | 2021-07-19 | 2021-11-05 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种飞机座舱盖抛放试验系统及其分析方法 |
CN113650561A (zh) * | 2020-05-12 | 2021-11-16 | 丰田自动车株式会社 | 车辆用传感器搭载构造 |
JP2021181285A (ja) * | 2020-05-20 | 2021-11-25 | トヨタ自動車株式会社 | 車両用センサ搭載構造及び車両センサ用ブラケットセット |
JP2022002909A (ja) * | 2020-06-23 | 2022-01-11 | 株式会社デンソー | 計測装置ユニット |
WO2022102995A1 (ko) * | 2020-11-16 | 2022-05-19 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN114677842A (zh) * | 2022-03-13 | 2022-06-28 | 党荣斌 | 一种货运道路安全数据采集用夜间地面信息拍摄装置 |
CN114710602A (zh) * | 2022-03-21 | 2022-07-05 | 西北大学 | 一种基于多采集视角的城市地理数据采集系统 |
CN114815280A (zh) * | 2022-06-29 | 2022-07-29 | 深圳市信润富联数字科技有限公司 | 多面聚焦成像的方法和系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104515498B (zh) * | 2014-09-26 | 2017-06-30 | 华通信安(北京)科技发展有限公司 | 激光测量系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0631657A (ja) * | 1992-07-16 | 1994-02-08 | Fujitsu Ltd | 移動ロボット制御方式 |
JPH1097015A (ja) * | 1996-09-19 | 1998-04-14 | Hoei:Kk | 移動撮影装置 |
JPH11220645A (ja) * | 1998-02-02 | 1999-08-10 | Nippon Telegr & Teleph Corp <Ntt> | ラインセンサカメラによる画像入力装置および方法 |
JPH11257953A (ja) * | 1998-03-06 | 1999-09-24 | Koa:Kk | トンネル壁面観察装置 |
JP2000029523A (ja) * | 1989-12-11 | 2000-01-28 | Caterpillar Inc | ビ―クル経路内の物体を検出する方法 |
JP2000171249A (ja) * | 1998-12-03 | 2000-06-23 | Asia Air Survey Co Ltd | 位置取得装置 |
-
2000
- 2000-07-13 JP JP2000213134A patent/JP4469471B2/ja not_active Expired - Lifetime
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000029523A (ja) * | 1989-12-11 | 2000-01-28 | Caterpillar Inc | ビ―クル経路内の物体を検出する方法 |
JPH0631657A (ja) * | 1992-07-16 | 1994-02-08 | Fujitsu Ltd | 移動ロボット制御方式 |
JPH1097015A (ja) * | 1996-09-19 | 1998-04-14 | Hoei:Kk | 移動撮影装置 |
JPH11220645A (ja) * | 1998-02-02 | 1999-08-10 | Nippon Telegr & Teleph Corp <Ntt> | ラインセンサカメラによる画像入力装置および方法 |
JPH11257953A (ja) * | 1998-03-06 | 1999-09-24 | Koa:Kk | トンネル壁面観察装置 |
JP2000171249A (ja) * | 1998-12-03 | 2000-06-23 | Asia Air Survey Co Ltd | 位置取得装置 |
Cited By (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040035892A (ko) * | 2002-10-12 | 2004-04-30 | 한국전자통신연구원 | 레이저 스캐너를 갖는 이동 차량의 공간 모델링 장치 및이동 차량의 레이저 스캐너 제어 방법 |
KR100502075B1 (ko) * | 2002-11-18 | 2005-07-25 | 한국전자통신연구원 | 가로수 관리 정보 추출 시스템 |
CN1320829C (zh) * | 2003-07-31 | 2007-06-06 | 佳能株式会社 | 图像处理方法及装置 |
JP2005191962A (ja) * | 2003-12-25 | 2005-07-14 | Sharp Corp | 移動体周囲監視装置および移動体 |
US7190259B2 (en) | 2003-12-25 | 2007-03-13 | Sharp Kabushiki Kaisha | Surrounding surveillance apparatus and mobile body |
US8159523B2 (en) | 2004-11-11 | 2012-04-17 | Electronics And Telecommunications Research Institute | Method for capturing convergent-type multi-view image |
WO2006052057A1 (en) * | 2004-11-11 | 2006-05-18 | Electronics And Telecommunications Research Institute | Method for capturing convergent-type multi-view image |
JP2006171224A (ja) * | 2004-12-14 | 2006-06-29 | Mitsubishi Electric Corp | 撮影映像処理システム |
US7908106B2 (en) | 2004-12-21 | 2011-03-15 | Electronics And Telecommunications Research Institute | Apparatus for correcting position and attitude information of camera and method thereof |
JP5309291B2 (ja) * | 2005-04-25 | 2013-10-09 | 株式会社ジオ技術研究所 | 撮影位置解析方法 |
JP4650935B2 (ja) * | 2005-06-23 | 2011-03-16 | アルパイン株式会社 | 車両運転支援装置 |
JP2007006051A (ja) * | 2005-06-23 | 2007-01-11 | Alpine Electronics Inc | 立体画像表示システムおよび車両運転支援装置 |
US8571265B2 (en) | 2007-02-16 | 2013-10-29 | Mitsubishi Electric Corporation | Measurement apparatus, measurement method, and feature identification apparatus |
US8483442B2 (en) | 2007-02-16 | 2013-07-09 | Mitsubishi Electric Corporation | Measurement apparatus, measurement method, and feature identification apparatus |
JPWO2008099915A1 (ja) * | 2007-02-16 | 2010-05-27 | 三菱電機株式会社 | 計測装置 |
WO2008099915A1 (ja) * | 2007-02-16 | 2008-08-21 | Mitsubishi Electric Corporation | 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ |
US8625851B2 (en) | 2007-02-16 | 2014-01-07 | Mitsubishi Electric Corporation | Measurement apparatus, measurement method, and feature identification apparatus |
JP2009010906A (ja) * | 2007-05-31 | 2009-01-15 | Hitachi Information & Communication Engineering Ltd | 車両底面監視装置及び車両底面監視方法 |
JP2009264983A (ja) * | 2008-04-25 | 2009-11-12 | Mitsubishi Electric Corp | 位置標定装置、位置標定システム、位置標定システムのユーザインタフェース装置、位置標定システムの標定サーバ装置および位置標定方法 |
KR20160043138A (ko) * | 2012-03-09 | 2016-04-20 | 가부시키가이샤 리코 | 화상 캡처링 장치, 화상 캡처 시스템, 화상 처리 방법, 정보 처리 장치, 및 컴퓨터-판독 가능 저장 매체 |
KR101692194B1 (ko) | 2012-03-09 | 2017-01-02 | 가부시키가이샤 리코 | 화상 캡처링 장치, 화상 캡처 시스템, 화상 처리 방법, 정보 처리 장치, 및 컴퓨터-판독 가능 저장 매체 |
WO2013140603A1 (ja) * | 2012-03-23 | 2013-09-26 | 三菱電機株式会社 | 配線ボックスおよびカバーポールユニット |
CN103528572A (zh) * | 2012-07-06 | 2014-01-22 | 中国石油化工股份有限公司 | 工程测量放线装置 |
WO2015187435A3 (en) * | 2014-06-06 | 2016-03-17 | Faro Technologies, Inc. | Metrology instrument system and method of operating |
KR20160002518A (ko) * | 2014-06-30 | 2016-01-08 | 현대엠엔소프트 주식회사 | 3차원 내비게이션을 위한 식생 구간 추출 장치와 방법 |
KR102067034B1 (ko) | 2014-06-30 | 2020-01-17 | 현대엠엔소프트 주식회사 | 3차원 내비게이션을 위한 식생 구간 추출 장치와 방법 |
JP2016223862A (ja) * | 2015-05-29 | 2016-12-28 | 株式会社トプコン | 3dモデル作成用計測装置およびシステム |
CN109212554B (zh) * | 2017-07-03 | 2024-05-10 | 百度在线网络技术(北京)有限公司 | 车载信息采集系统及其控制方法和装置 |
CN109212554A (zh) * | 2017-07-03 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 车载信息采集系统及其控制方法和装置 |
CN108267096B (zh) * | 2017-12-25 | 2024-06-04 | 中铁科学技术开发有限公司 | 铁路隧道衬砌表面病害快速检测系统 |
CN108267096A (zh) * | 2017-12-25 | 2018-07-10 | 中铁科学技术开发公司 | 铁路隧道衬砌表面病害快速检测系统 |
CN109803125A (zh) * | 2019-01-31 | 2019-05-24 | 上海睿哈智能科技有限公司 | 一种船载监控记录仪 |
CN109803125B (zh) * | 2019-01-31 | 2021-06-29 | 上海睿哈智能科技有限公司 | 一种船载监控记录仪 |
CN110906879A (zh) * | 2019-12-05 | 2020-03-24 | 淄博职业学院 | 一种基于数字媒体的三维扫描设备 |
CN111462495A (zh) * | 2020-04-18 | 2020-07-28 | 福建农林大学 | 一种基于单目相机及组合定位的道路信息采集设备 |
CN113650561A (zh) * | 2020-05-12 | 2021-11-16 | 丰田自动车株式会社 | 车辆用传感器搭载构造 |
JP2021178538A (ja) * | 2020-05-12 | 2021-11-18 | トヨタ自動車株式会社 | 車両用センサ搭載構造 |
US11760274B2 (en) | 2020-05-12 | 2023-09-19 | Toyota Jidosha Kabushiki Kaisha | Vehicular sensor mounting structure |
CN113650561B (zh) * | 2020-05-12 | 2023-12-26 | 丰田自动车株式会社 | 车辆用传感器搭载构造 |
JP7354921B2 (ja) | 2020-05-12 | 2023-10-03 | トヨタ自動車株式会社 | 車両用センサ搭載構造 |
JP2021181285A (ja) * | 2020-05-20 | 2021-11-25 | トヨタ自動車株式会社 | 車両用センサ搭載構造及び車両センサ用ブラケットセット |
JP2022002909A (ja) * | 2020-06-23 | 2022-01-11 | 株式会社デンソー | 計測装置ユニット |
JP7456305B2 (ja) | 2020-06-23 | 2024-03-27 | 株式会社デンソー | 計測装置ユニット |
WO2022102995A1 (ko) * | 2020-11-16 | 2022-05-19 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN113607395B (zh) * | 2021-07-19 | 2023-09-05 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种飞机座舱盖抛放试验系统及其分析方法 |
CN113607395A (zh) * | 2021-07-19 | 2021-11-05 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种飞机座舱盖抛放试验系统及其分析方法 |
CN114677842A (zh) * | 2022-03-13 | 2022-06-28 | 党荣斌 | 一种货运道路安全数据采集用夜间地面信息拍摄装置 |
CN114710602A (zh) * | 2022-03-21 | 2022-07-05 | 西北大学 | 一种基于多采集视角的城市地理数据采集系统 |
CN114815280A (zh) * | 2022-06-29 | 2022-07-29 | 深圳市信润富联数字科技有限公司 | 多面聚焦成像的方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
JP4469471B2 (ja) | 2010-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4469471B2 (ja) | 移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システム | |
JP6930616B2 (ja) | 制御装置、制御方法および飛行体デバイス | |
US20220207824A1 (en) | System and method for determining geo-location(s) in images | |
ES2758558T3 (es) | Sistema de gestión de plataforma móvil en tiempo real | |
JP2002031528A (ja) | モービルマッピング用空間情報生成装置 | |
US7126630B1 (en) | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method | |
EP2154542B1 (en) | GPS-installed all-azimuth camera and spatial data collecting device | |
CN105700547B (zh) | 一种基于导航飞艇的空中立体视频街景系统及实现方法 | |
JP2023039993A (ja) | 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム | |
WO2002065786A1 (en) | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method | |
EP3287988B1 (en) | Modelling system and method | |
WO2019230604A1 (ja) | 検査システム | |
JP2016177640A (ja) | 映像監視システム | |
JP2007206099A (ja) | 地図作成支援システム | |
Nagai et al. | UAV borne mapping by multi sensor integration | |
JP2011095112A (ja) | 三次元位置測定装置、飛翔体のマッピングシステム、およびコンピュータプログラム | |
CN104792313A (zh) | 无人侦查系统的测绘控制方法、装置及系统 | |
US20220049956A1 (en) | Method for water level measurement and method for obtaining 3d water surface spatial information using unmanned aerial vehicle and virtual water control points | |
US20190253635A1 (en) | Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium | |
KR20160078724A (ko) | 카메라 감시 영역 표시 방법 및 장치 | |
CN113984019A (zh) | 测量系统、测量方法以及测量用程序 | |
JP2023100642A (ja) | 検査システム | |
JP2001317915A (ja) | 3次元計測装置 | |
JP6681101B2 (ja) | 検査システム | |
CN110166653B (zh) | 摄像机位置和姿态的跟踪系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070614 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100223 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4469471 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140305 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |