JP2001195565A - 移動物体画像検索方法、及び、装置 - Google Patents
移動物体画像検索方法、及び、装置Info
- Publication number
- JP2001195565A JP2001195565A JP2000171984A JP2000171984A JP2001195565A JP 2001195565 A JP2001195565 A JP 2001195565A JP 2000171984 A JP2000171984 A JP 2000171984A JP 2000171984 A JP2000171984 A JP 2000171984A JP 2001195565 A JP2001195565 A JP 2001195565A
- Authority
- JP
- Japan
- Prior art keywords
- image
- object image
- aerial
- moving object
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
ら、検索キーとなる未知移動物体と同一の移動物体が撮
影された空中画像を検索し、検索された空中画像中の物
体間の空間的、時間的関係を把握できる方法を提供す
る。 【解決手段】移動物体を撮影した空中画像と該空中画像
の撮影時間、撮影位置情報とを画像データベースに登録
する手段と、これらの空中画像から物体を切り出して物
体画像を作成する物体画像切り出し手段と、物体画像か
ら特徴量を抽出する物体画像特徴量抽出手段と、物体画
像とその特徴量とを画像データベースに登録する手段
と、検索キーとなる物体画像から物体画像特徴量を抽出
する手段と、画像データベースに登録された物体画像特
徴量と検索キーとなる物体画像の特徴量とを照合して該
検索キー物体画像と同一物体を撮影した物体画像を検索
する手段と、検索された物体画像の切り出し元の空中画
像を、物体の位置の基準となる地物が含まれるよう空中
画像の領域を変更して表示する手段により構成する。
Description
定方法に関し、さらに詳しくは、航空機や衛星により地
域を撮影した画像を利用し、当該地域における未知移動
物体が、他の時期に存在した地域を特定することによ
り、未知移動物体の過去の動向を把握する方法に関す
る。
には、衛星画像を利用して艦船を探知し、種類を識別す
る装置に関する従来技術が開示されている。
号公報に開示の従来技術では、移動物体画像の輝度特徴
量の関し、撮影位置の違いによる輝度の変化を考慮した
輝度分布の抽出方法については言及されているが、撮影
位置の違いによる輝度の変化を考慮した輝度分布の照合
方法については言及されていない。
影位置に影響されずに、移動物体を撮影した空中画像を
画像データベースから検索できる移動物体検索、表示方
法を提供することにある。
画像特徴量の照合により画像データベースから検索され
た物体画像を、画像特徴量以外の情報を利用して絞り込
むことができる移動物体検索、表示方法を提供すること
にある。
撮影した空中画像の表示方法に関して、検索された空中
画像中の移動物体自身の位置や、移動物体間の位置関
係、時間関係、移動物体の移動経路を表示できる移動物
体検索、表示方法を提供することにある。
るために、一対のステレオ画像を利用して移動物体の高
さ特徴量を抽出できる物体画像特徴量抽出手段を設けて
いる。また、画素特徴量の物体画像の輝度分布において
動的計画法に則ってエッジ位置を対応付ける物体画像特
徴量の照合手段を設けている。
画像の撮影時間、撮影位置と移動物体の移動速度から、
検索キーとなる移動物体の移動不可能な位置に存在する
ため、検索キー移動物体とは同一でないと判定できる物
体を撮影した画像を検索された物体画像から除くことが
できる物体画像絞り込み手段を、設けている。
検索された物体画像の切り出し元の空中画像において、
物体の位置の基準となる地物が含まれるよう領域を変更
する手段と、四隅の座標情報を元に、画像の位置合わせ
を行い接合して、或いは、地図上に配置して、表示する
手段と、撮影時間順に移動物体を矢印でつなぐことによ
り移動物体の移動経路を表示する手段を設けている。
動物体の撮影位置に影響されずに、検索キーとなる移動
物体画像と同一の物体を撮影した空中画像を画像データ
ベースから検索できる。
動物体画像を絞り込み、検索精度を向上させることがで
きる。
物体の位置を把握し易くなる。また、移動物体間の位置
関係、時間関係、移動経路を把握し易くなる。
形態を説明する。
知の船舶と同一の船舶を撮影した空中画像を画像データ
ベースより検索し、検索した空中画像より未知船舶が他
の時期に存在した地域を特定することにより、未知船舶
の過去の動向を把握することにある。
物体検出、表示装置の機能構成例である。移動物体検
出、表示装置は登録部101、検索部102、表示部103、画
像データベース104からなる。
期的にユーザー着目地域を撮影した画像データである。
空中画像属性データ106とは、名称、撮影位置、撮影時
間、種別などの空中画像に付随するデータである。空中
画像登録手段107は、空中画像105およびその空中画像属
性データ106を画像データベース104に登録する。物体画
像切出し手段108は、空中画像105より、移動物体を切出
して物体画像109を作成する。物体画像特徴量抽出手段1
10は、物体画像109より、物体の形状、輝度の特徴、エ
ッジ位置、港湾との位置関係などの物体画像特徴量デー
タ111を抽出する。物体画像登録手段112は、物体画像10
9およびその物体画像特徴量データ111を画像データベー
ス104に登録する画像データベース104は、本発明が作用
するシステムの内部、或いは接続しているネットワーク
上に存在する。画像データベース104は、空中画像登録
手段107と物体画像登録手段112によって登録された空中
画像113、空中画像属性データ114、物体画像115、物体
画像特徴量データ116を格納する。
像属性データ118を伴う新たに撮影された空中画像117か
ら、画像データベース104の検索キーとなる検索キー物
体画像119、及び、その検索キー物体画像特徴量データ1
20を作成する。この検索キー物体画像119は、画像デー
タベース104に既に登録されている物体画像115より選択
しても良い。物体画像特徴量照合手段121は、検索キー
物体画像特徴量データ120と、画像データベース104に登
録されている物体画像特徴量データ116の照合を行い、
画像データベース104より検索キー物体画像119と同一の
物体を撮影した物体画像を検索、抽出する。物体画像絞
込み手段122は、検索された物体画像を、物体の位置、
撮影時間、ユーザーの指定条件により絞り込む。
ータベース104より検索された検索結果物体画像124、あ
るいは、それらの物体の切出し元の空中画像である検索
結果空中画像125を、画像範囲を物体の位置の基準とな
る地物が含まれるよう変更し、位置関係、時間関係に応
じて表示する図2から図4の処理解説図に従い、移動物
体検出、表示方法における物体画像と物体画像特徴量デ
ータの登録処理を説明する。なお、これらの処理解説図
において、移動物体の代表例として船舶を用いて説明し
ているが、以下の処理は船舶に限定されない。
などの空中画像をシステムに入力し、デジタル画像デー
タとして画像データベースに登録する。衛星画像を利用
した場合、着目領域の定期的な撮影が可能になるので、
空中画像の定期的なシステムへの入力が可能になる。
タをもシステムに入力し、画像データベースに登録す
る。空中画像の属性データの代表例として以下の項目が
挙げられる。
定の基準値物)の有無、位置 (Step 1.3):移動物体抽出(図2) 入力された空中画像より船舶画像を抽出する。空中画像
201において、背景である水面に浮かんでいる船舶203で
あれば、輝度のしきい値処理により背景の水面を識別す
ることにより船舶203を抽出することが可能である。ま
た、港湾停泊中に接岸している船舶202など、輝度のし
きい値処理で船舶の抽出が完全に行えない場合は、ユー
ザーのマニュアル処理により抽出することとする。抽出
した船舶について、船舶の長軸が縦軸または横軸に一致
するよう回転し、船舶画像204、205を作成する。以下、
説明のため、船舶の長軸をx軸、短軸をy軸とする。
図4) 船舶画像から、船舶特徴量を抽出する。船舶画像の特徴
量データの代表例として以下の項目が挙げられる。
さ分布) ・周囲のとの関係(港湾との距離、船団を組んでいるか
単船か) これらの各特徴量を船舶画像より計測する。特徴量のう
ち、長/短軸方向輝度分布、長/短軸方向エッジ強度分布
を図3を用いて、また、長軸方向高さ分布を図4を用い
て、それぞれ以下に説明する。
に沿った画素の輝度分布図306をx軸(長軸)方向輝度分布
とする。船舶のロール、ピッチによる姿勢の変化に伴う
輝度の変化を抑えるため、x軸に直交するy軸方向に一定
幅をとり、この幅において輝度の平均値をとり、x軸方
向の輝度分布とする。輝度分布の局所的な変化を減少さ
せ大局的な変化のみを表すため、輝度分布に対して移動
平均をとっても良い。
(長軸)方向エッジ強度分布307とする。
直接抽出しても良いが、ミクセルレベルの情報を推定す
るために、船舶画像を拡大してから特徴抽出をしても良
い。
(高木幹雄,下田陽久監修,東京大学出版会,東京,19
91)などに解説されている3次たたみ込み内挿法などを
利用すれば、船舶画像の局所的な変化を減少させ、大局
的な特徴のみを表すことが可能になる。
に沿った画素の輝度分布図308をx軸(短軸)方向輝度分布
とし、その勾配の絶対値をy軸(短軸)エッジ強度分布309
とする。x軸に沿った特徴量は、船舶画像の重心を通るy
2軸304からのみを抽出しても良いし、船首側のy3軸305
や船尾側のy1軸303から併せて抽出しても良い。
布を以下に説明する。なお、高さ分布は、画像データベ
ースに入力された画像において、ステレオペアとなる画
像対がある場合のみ可能である。
アの船舶左画像401、船舶右画像402において、そのi軸4
03(画像水平軸)がエピポーララインに一致するように、
座標変換しておく。
おいて艦橋などの甲板上構造物の対応点が明確な場合、
マニュアル処理などにより甲板上構造物の対応点を求め
れば、前述画像解析ハンドブックに記載の方法により、
これらの対応点と空中画像属性データとにより、各対応
点における高さが計算可能であり、甲板上構造物は船舶
y軸方向に高さ一定と仮定することで、船舶のx軸405方
向の高さ分布を求められる。
画像の解像度が船舶の大きさに対して十分でなく、船舶
の対応点が精度良く求まらない場合は、以下のように考
える。
をとる。こららの輝度分布408、409の局所的な変化を抑
えるため、j軸404(画像垂直軸)に方向に一定幅をとり、
この幅において輝度の平均値をとっても良く、さらに、
分布に対して移動平均をとっても良い。
り、差分分布414をつくる。ステレオペア画像の左画像4
01において、 i軸403に沿った輝度分布408の座標iの最
大値をilmax410、座標iにおける輝度の値をgl(i) 411と
し、右画像402において、i軸403に沿った輝度分布409の
座標iの最大値をirmax412、座標iにおける輝度の値をgr
(i) 413とする。さらに、i1=max(ilmax , irmax)である
i1に対応するgl(i)、gr(i)の何れかをg1(i)とし、i2=mi
n(ilmax , irmax)であるi2に対応するgl(i)、gr(i)の何
れかをg2(i)とする。このとき、i軸に沿った差分分布41
4の座標iにおける値d(i) 415は、
の小さい方の輝度分布を補完し、左右のi軸輝度分布幅
を一致させるための写像関数であり、
417は、ステレオペア画像401、402において視点が異な
るために見え方の異なる部分、つまり、甲板上構造物の
壁の部分といったなどの鉛直方向の面406、407にそれぞ
れ相当する。
における差分分布d(i) 414をj軸404方向に並べ、一定し
きい値で2値化し、しきい値以上の値を持つ座標をつな
ぐ線で形成される面419が、甲板より高位置にある面と
する。i-j平面418において、船舶のx軸420に沿った分布
421をx軸方向高さ分布とする。このとき、x軸に沿って
甲板より高い面の高さの値はわからないが、位置は把握
可能である。
ースに登録する。
画像データベースに登録する。
検索処理を説明する。なお、これらの処理解説図におい
ては、登録処理の説明時と同様に、移動物体の代表例と
して船舶を用いているが、以下の処理は船舶に限定され
ない。
入力、登録 登録部における(Step 1.1)の処理と同様にして、画像デ
ータベースの検索キーとなる未知船舶を含む衛星画像や
航空写真などの空中画像をシステムに入力し、デジタル
画像データとして画像データベースに登録する。
属性データ登録 登録部における(Step 1.2)の処理と同様にして、検索キ
ーとなる未知船舶を含む空中画像の属性データを画像デ
ータベースに登録する。
ー船舶を含む空中画像より検索キー船舶を抽出する。
ー船舶画像から、検索キー船舶画像特徴量を抽出する。
おいては、新たに撮影された空中画像から検索キー船舶
画像を選択した場合について述べたが、、検索キー船舶
画像は、画像データベースに既に登録されている船舶画
像より選択することも可能である。
特徴量の照合方法の実現を目的とする。
録された船舶画像との特徴量の照合を行う場合、まず、
検索キー船舶画像と、長さ、幅、重心位置が、しきい値
より異なるデータベース内船舶画像は、照合対象としな
い。また、長軸方向の高さ分布の差分をとり、長軸に沿
った甲板上構造物の範囲がしきい値以上異なるデータベ
ース内船舶画像についても、照合対象としない。
向高さ分布の差分がしきい値以内である船舶画像につい
て、検索キー船舶画像と輝度特徴量の照合を行う。
録された船舶画像との長/短軸輝度分布の照合を行う場
合、一般に長/短軸輝度分布の差分量を利用することが
多い。しかし、同一船舶を撮影した画像から求めた輝度
特徴量においても、撮影位置が異なると輝度分布が変化
するため、差分量が0とはならず、正しい照合ができな
い。
を実現するために、動的計画法に従ってエッジ位置を対
応付ける手法を取る。以下、図5を利用しながらこの手
法を説明する。
から撮影された画像を検索キー船舶画像とし、撮影位置
502と異なる撮影位置503から撮影された画像を照合
対象となる画像データベース内の船舶画像とする。以
下、撮影位置502から撮影された検索キー船舶画像に
おける長軸(x軸515)方向輝度分布504と撮影位置503か
ら撮影された画像データベース内船舶画像における長軸
(x軸)方向輝度分布505の照合を行う。ここで、記号を次
のように定義する。
度分布におけるしきい値以上の値を持つ座標(エッジ位
置座標、検索キー船舶画像長軸方向輝度分布504におけ
る勾配の大きな個所の座標に相当)列の指標 (m=0,1,
…,M) 506 n:画像データベース内船舶画像の長軸方向エッジ強度
分布におけるしきい値以上の値を持つ座標(エッジ位置
座標、画像データベース内船舶画像長軸方向輝度分布50
5における勾配の大きな個所の座標に相当)列の指標
(n=0,1,…,N) 507c (k)=(m,n):検索キー船舶画像のエッジ位置座標と画像
データベース内船舶画像のエッジ位置座標の対応付け、
m-n平面516上の格子点に相当 (k=0,1,…,K)、(c(0)=
(0,0),…,c(K)=(M,N))、c(k)列(c(0),c(1), …,c(k),
…,c(K))は、m-n平面516上のc(0)=(0,0) 508とc(K)=(M,
N) 511を結ぶ折れ線(パス)512 d(k-1, k):m-n平面516上の格子点c(k-1) 509から格子
点c(k) 510に至るパスにおける検索キー船舶画像長軸方
向輝度分布504と画像データベース内船舶画像長軸方向
輝度分布505との間の距離尺度(コスト)。以下のように
定義する。
に至るパスにおける検索キー船舶画像長軸方向輝度分布
504の輝度値513 bj (j=0, …,J):格子点c(k-1) 509から格子点c(k) 510
に至るパスにおける画像データベース内船舶画像長軸方
向輝度分布505の輝度値514 Ai (i=0, …, I1):I1=max(I,J)であるI1に対応するai
(i=0, …,I) 513、bj (j=0, …,J) 514の何れか Bi (j=0, …,J1):J1=min(I,J)であるJ1に対応するai
(i=0, …,I) 513、bj (j=0, …,J) 514の何れかであ
る。
ら、c(1),…,c(k-1)を通り、格子点c(k)510に至るパス
における検索キー船舶画像長軸方向輝度分布504と画像
データベース内船舶画像長軸方向輝度分布505との間の
距離尺度(コスト) D(K)の値は、検索キー船舶画像長軸方向輝度分布504と
画像データベース内船舶画像長軸方向輝度分布505との
間のコストとなる。コストが小さいほど、輝度分布間の
類似度が高くなる。
(K)) (m-n平面516上のc(0)=(0,0) 508とc(K)=(M,N) 51
1を結ぶパス512)に対して次のような制限を設ける。
510に至るパスは、m-n平面516上を単調増加する。
ない。これは、あるエッジを無視したパスを許すという
ことである。撮影位置が異なる場合、同じエッジが撮影
位置の異なる画像に必ずしも表れるとは限らないからで
ある。また、c(k)=(m,n)であるとき、
(K) 511をつなぐm-n平面516上の対角線から、一定幅内
に限定される。定数rには、撮影位置が異なることによ
るエッジ位置のづれの大きさの最大値を用いる。
ス(c(k)列:(c(0),c(1),…,c(k),…,c(K)))を以下の
漸化式で求める。
輝度分布504と画像データベース内船舶画像長軸方向輝
度分布505との間のコスト(D(K))を最小にする最適な
パス(c(k)列:(c(0),c(1),…,c(k),…,c(K)))を自動
的に求められる。また、このときのコストを検索キー船
舶画像長軸方向輝度分布504の面積s1のm-n平面516対角
線への投影値Sで正規化した値をとすると
504の面積 h1:検索キー船舶画像の長軸方向輝度分布504の幅 h2:画像データベース内船舶画像の長軸方向輝度分布50
5の幅 である。このを、検索キー船舶画像の長軸方向輝度分布
504と画像データベース内船舶画像の長軸方向輝度分布5
05との相違度とする。
撮影位置が異なるために船舶の見え方が変化し輝度分布
が異なる場合に、輝度分布の差異を最小に押さえる照合
が可能である。従って、船舶の撮影位置に影響されにく
い輝度分布照合方法が実現される。
を述べたが、短軸方向輝度分布の場合も同様である。
長、短軸の複数の軸に沿った輝度分布を利用する場合、
検索キー船舶画像と画像データベース内船舶画像との相
違度は、全ての軸でのコストの加算値ΣD(k)を、検索キ
ー船舶画像輝度分布のm-n平面対角線への投影値の加算
値ΣSで正規化した値、
タベース内船舶画像の輝度分布との相違度とする。この
輝度分布間の相違度を画像特徴量の相違度とする。
6) この処理では、船舶の画像から特徴量を元に照合された
結果をさらに絞り込み、検索精度を向上させることを目
的とする。
を特徴量と共にリスト601に表す。
いて、位置(差)603、撮影時間(差)604と船舶の移動速度
から、検索キーとなる船舶の移動不可能な位置に存在す
るため、検索キー船舶とは同一でないと判定できる船舶
を撮影した画像605を、検索された画像から除くことに
より照合結果を絞り込み、船舶画像検索結果とする。こ
れにより、船舶画像の検索精度の向上を図ることが可能
になる。
602の順に並べてあるが、ユーザーの指示に応じて、位
置差603や撮影時間差604などの順に並べ替えて表示する
ことも可能である。
動物体検出、表示方法における検索された物体画像の表
示処理を説明する。なお、移動物体の代表例として船舶
を用いているが、以下の処理は船舶に限定されない。
去の位置、移動経路を把握しやすいような表示方法を実
現することを目的とする。
把握しやすいよう、検索された船舶画像が属する空中画
像に対し、位置の基準となる地物が含まれるよう領域変
更して表示する場合を説明する。
1、702、703を図7のように表示した場合、撮影時間T1
(704)、T2(705)、T3(706)順に並べられているので、船
舶間の時間関係は把握しやすいが、画像内に位置の基準
となる地物が含まれていないと、一見して船舶の位置を
把握することは難しい。そこで、画像をデータベース内
の空中画像属性情報を利用して、検索結果空中画像に隣
接する空中画像のうち、灯台710、海岸線711、市街地71
2といった船舶の位置の基準となる地物を含む画像を検
索し、幾何変換して検索結果空中画像に接合する。これ
により、検索結果画像は位置の基準値物を含むよう領域
変更された画像707、708、709とすることができる。
舶713、714、715を見失うことが無いよう、つねに空中
画像の中央に船舶が位置するようにしても良いし、船舶
に対してマーキングを施しても良い。
の位置、時間関係、移動経路を把握しやすくするため、
検索船舶の位置合わせを行って表示する場合を説明す
る。
1、802、803、804、および、検索キー船舶画像の切出し
元空中画像805において、それぞれの撮影時間T1(806)、
T2(807)、T3(808)、T4(809)、T(810)、および、船舶の
座標(x1,y1)811、(x2,y2)812、(x3,y3)813、(x4,y4)81
4、(x,y)815が示されていても、これら船舶の位置、時
間関係を把握することは容易ではない。そこで、これら
の空中画像を、その属性情報内の四隅の座標情報をもと
に接合し、一つのモザイク画像816とする。さらに、撮
影時間順に船舶を矢印817でつなぐことにより、移動経
路を示してもよい。
画像領域がオーバーラップしている場合であるが、検索
結果空中画像の位置が離れており、オーバーラップ部分
がない場合は、図9に示すように、各空中画像の位置の
基準とできる地図901あるいは、位置の基準とできる領
域の撮影された画像を表示し、その上に各画像902、90
3、904、905、906を位置決めして配置する。そして、図
8と同様に、撮影時間順に船舶907を矢印908でつなぐこ
とにより、移動経路を示すことが可能である。
ステレオペアからなる物体画像の輝度分布の差分を取る
ことにより、画像の解像度が物体の大きさに対して十分
でなくステレオペア画像における物体間の対応点が精度
良く求まらない場合においても、移動物体の高さ特徴量
を抽出でき、物体画像照合時に異なる高さ特徴量を有す
る物体画像を除外できる。また、移動物体の長/短軸方
向の輝度分布を動的計画法に従って照合することによ
り、輝度分布の単純な差分量を利用する場合より精度良
く照合でき、移動物体の撮影位置に影響されずに、検索
キーとなる移動物体画像と同一の物体を撮影した物体画
像を画像データベースから検索することが可能になる。
体の移動速度から、検索キーとなる移動物体の移動不可
能な位置に存在するため、検索キー移動物体とは同一で
ないと判定できる物体を撮影した画像を、検索された物
体画像から除くことにより、検索された物体画像を絞り
込み、検索精度を向上させることができる。
空中画像において、物体位置の基準となる地物を含むよ
うに領域変更することにより、検索された空中画像中の
物体の位置を把握し易くすることが可能になる。また、
検索された空中画像を接合して一つのモザイク画像とし
たり、地図上に配置して、さらに、撮影時間順に移動物
体を矢印でつなぎ移動経路を示すことにより、検索され
た空中画像における物体間の位置、時間関係、物体の移
動経路を表示でき、移動物体の過去の動向を把握し易く
することが可能になる。
ムの機能構成図である。
ある。
……表示部 104……画像データベース 1
05……空中画像 106……空中画像属性データ
107……空中画像登録手段 108……物
体画像切出し手段 109……物体画像 11
0……物体画像特徴量抽手段 111……物体画像
特徴量データ 112……物体画像登録手段
113……空中画像 114……空中画像属性データ
115……物体画像 116……物体画像特徴量
データ 117……空中画像 118……空中画像
属性データ 119……検索キー物体画像 120
……検索キー物体画像特徴量データ 121……物体
画像特徴量照合手段 122……物体画像絞込み手段
123……検索結果物体画像表示手段 124…
…検索結果物体画像 125……検索結果空中画像。
の撮影時間と位置情報、該空中画像から切り出した物体
画像、及び、該物体画像の特徴量を登録した画像データ
ベースを備えた画像検索装置を用いて実行する画像検索
方法であって、 検索キーとなる物体画像を入力し、該検索キーとなる物
体画像から抽出した特徴量と前記画像データベースに登
録された物体画像の特徴量との相違度が所定値以下の物
体画像を抽出し、抽出した該物体画像を含む空中画像の
位置情報を用いて、抽出した空中画像を地図上に配置し
て表示することを特徴とする移動物体画像検索方法。
て、さらに、抽出した物体画像を相違度順、或いはユー
ザが指定した順に並べて表示することを特徴とする移動
物体画像検索方法。
報、該空中画像から物体を切り出した物体画像、及び、
該物体画像から抽出した特徴量を登録した画像データベ
ースと、検索キーとなる物体画像から物体画像特徴量を
抽出する特徴抽出手段と、前記画像データベースに登録
された物体画像特徴量と検索キーとなる物体画像の特徴
量とを照合してこれらの相違度が所定値以下の物体画像
を抽出する画像特徴量照合手段と、抽出した該物体画像
の切り出し元の空中画像の位置情報を用いて、抽出した
空中画像を地図上に配置して表示する検索結果物体画像
表示手段とを有することを特徴とする移動物体画像検索
装置。
て、前記検索物体画像表示手段は、さらに、抽出した物
体画像を相違度順、或いは、ユーザが指定した順に並べ
て表示することを特徴とする移動物体画像検索装置。
おいて、前記特徴抽出手段は、ステレオペアからなる物
体画像の輝度分布の差分を取ることにより、物体の高さ
特徴量を抽出することを特徴とする移動物体画像検索装
置。
おいて、前記特徴抽出手段は、物体画像の輝度分布を特
徴量として抽出し、前記画像特徴量照合手段は、該輝度
分布を動的計画法に則ってエッジ位置を対応付けること
により照合を行うことを特徴とする移動物体画像検索装
置。
おいて、さらに、抽出した物体画像の切り出し元の空中
画像の撮影時間、撮影位置とから検索キー移動物体とは
同一でないと判定できる物体画像を抽出結果から除く物
体画像絞込み手段を備えることを特徴とする移動物体画
像検索装置。
おいて、前記検索結果物体画像表示手段は、さらに、検
索された物体画像の切り出し元の空中画像をこれらの位
置情報を用いて位置合わせてして接合して表示すること
を特徴とする移動物体画像検索装置。
おいて、記検索結果物体画像表示手段は、地図上に配置
した該空中画像中の物体画像の移動経路を前記撮影時間
を用いて矢印表示することを特徴とする移動物体画像検
索装置。
Claims (16)
- 【請求項1】移動物体を撮影した空中画像と空中画像の
撮影時間、位置情報と、これらの空中画像から切り出し
た物体画像と該物体画像の特徴量とを登録した画像デー
タベースを有する画像検索装置を用いて実行する画像検
索方法であって、検索キーとなる物体画像を入力し、該
検索キーとなる物体画像から抽出した特徴量と上記画像
データベースに登録された物体画像特徴量とを照合して
該検索キー物体画像が撮影された空中画像を検索し、検
索された空中画像を対応する撮影時間、位置情報を用い
て合成して該物体画像の位置の基準となる地物が含まれ
るようにして表示することを特徴とする移動物体画像検
索方法。 - 【請求項2】移動物体を撮影した空中画像と該空中画像
の撮影時間、撮影位置情報とを画像データベースに登録
する手段と、これらの空中画像から物体を切り出して物
体画像を作成する物体画像切り出し手段と、物体画像か
ら特徴量を抽出する物体画像特徴量抽出手段と、物体画
像とその特徴量とを画像データベースに登録する手段
と、検索キーとなる物体画像から物体画像特徴量を抽出
する手段と、画像データベースに登録された物体画像特
徴量と検索キーとなる物体画像の特徴量とを照合して該
検索キー物体画像と同一物体を撮影した物体画像を検索
する手段と、検索された物体画像の切り出し元の空中画
像を、物体の位置の基準となる地物が含まれるよう空中
画像の領域を変更して表示する手段を、具備することを
特徴とする移動物体画像検索装置。 - 【請求項3】請求項2に記載の移動物体画像検索装置に
おいて、上記物体特徴抽出手段は、ステレオペアからな
る物体画像の輝度分布の差分を取ることにより、物体の
高さ特徴量を抽出することを特徴とする移動物体画像検
索装置。 - 【請求項4】請求項2に記載の移動物体画像検索装置に
おいて、物体画像の特徴量である輝度分布において動的
計画法に則ってエッジ位置を対応付ける物体画像特徴量
照合手段を、さらに具備したことを特徴とする移動物体
画像検索装置。 - 【請求項5】請求項2に記載の移動物体画像検索装置に
おいて、さらに、検索された物体画像を撮影時間、撮影
位置と移動物体の移動速度から、検索キー移動物体とは
同一でないと判定できる物体を撮影した物体画像を、検
索された物体画像から除く画像を絞り込む手段をさらに
具備することを特徴とする移動物体画像検索装置。 - 【請求項6】請求項2に記載の移動物体画像検索装置に
おいて、検索された物体画像の切り出し元の空中画像を
位置合わせてして接合し、或いは、地図上に配置し、上
記移動物体の地理的位置がわかるように表示する手段
を、さらに具備したことを特徴とする移動物体画像検索
装置。 - 【請求項7】請求項2に記載の移動物体画像検索、表示
装置において、検索された物体画像の切り出し元の空中
画像を位置合わせして接合し、或いは、地図上に配置
し、該空中画像中の移動物体を撮影時間順に矢印でつな
ぐことにより移動物体の移動経路を表示する手段を、さ
らに具備したことを特徴とする移動物体画像検索装置。 - 【請求項8】移動物体を撮影した空中画像、該空中画像
の撮影時間と位置情報、該空中画像から切り出した物体
画像、及び、該物体画像の特徴量を登録した画像データ
ベースを備えた画像検索装置を用いて実行する画像検索
方法であって、検索キーとなる物体画像を入力し、該検
索キーとなる物体画像から抽出した特徴量と前記画像デ
ータベースに登録された物体画像の特徴量との相違度が
所定値以下の物体画像を抽出し、抽出した該物体画像を
含む空中画像の位置情報を用いて、抽出した空中画像を
地図上に配置して表示することを特徴とする移動物体画
像検索方法。 - 【請求項9】請求項8に記載の物体画像検索方法であっ
て、さらに、抽出した物体画像を相違度順、或いはユー
ザが指定した順に並べて表示することを特徴とする移動
物体画像検索方法。 - 【請求項10】空中画像、該空中画像の撮影時間と位置
情報、該空中画像から物体を切り出した物体画像、及
び、該物体画像から抽出した特徴量を登録した画像デー
タベースと、検索キーとなる物体画像から物体画像特徴
量を抽出する特徴抽出手段と、前記画像データベースに
登録された物体画像特徴量と検索キーとなる物体画像の
特徴量とを照合してこれらの相違度が所定値以下の物体
画像を抽出する画像特徴量照合手段と、抽出した該物体
画像の切り出し元の空中画像の位置情報を用いて、抽出
した空中画像を地図上に配置して表示する検索結果物体
画像表示手段とを有することを特徴とする移動物体画像
検索装置。 - 【請求項11】請求項10に記載の物体画像検索装置で
あって、前記検索物体画像表示手段は、さらに、抽出し
た物体画像を相違度順、或いは、ユーザが指定した順に
並べて表示することを特徴とする移動物体画像検索装
置。 - 【請求項12】請求項10に記載の移動物体画像検索装
置において、前記特徴抽出手段は、ステレオペアからな
る物体画像の輝度分布の差分を取ることにより、物体の
高さ特徴量を抽出することを特徴とする移動物体画像検
索装置。 - 【請求項13】請求項10に記載の移動物体画像検索装
置において、前記特徴抽出手段は、物体画像の輝度分布
を特徴量として抽出し、前記画像特徴量照合手段は、該
輝度分布を動的計画法に則ってエッジ位置を対応付ける
ことにより照合を行うことを特徴とする移動物体画像検
索装置。 - 【請求項14】請求項10に記載の移動物体画像検索装
置において、さらに、抽出した物体画像の切り出し元の
空中画像の撮影時間、撮影位置とから検索キー移動物体
とは同一でないと判定できる物体画像を抽出結果から除
く物体画像絞込み手段を備えることを特徴とする移動物
体画像検索装置。 - 【請求項15】請求項10に記載の移動物体画像検索装
置において、前記検索結果物体画像表示手段は、さら
に、検索された物体画像の切り出し元の空中画像をこれ
らの位置情報を用いて位置合わせてして接合して表示す
ることを特徴とする移動物体画像検索装置。 - 【請求項16】請求項10に記載の移動物体画像検索装
置において、記検索結果物体画像表示手段は、地図上に
配置した該空中画像中の物体画像の移動経路を前記撮影
時間を用いて矢印表示することを特徴とする移動物体画
像検索装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000171984A JP3436235B2 (ja) | 1999-11-05 | 2000-06-05 | 移動物体画像検索方法、及び、装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11-314747 | 1999-11-05 | ||
JP31474799 | 1999-11-05 | ||
JP2000171984A JP3436235B2 (ja) | 1999-11-05 | 2000-06-05 | 移動物体画像検索方法、及び、装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001195565A true JP2001195565A (ja) | 2001-07-19 |
JP3436235B2 JP3436235B2 (ja) | 2003-08-11 |
Family
ID=26568056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000171984A Expired - Lifetime JP3436235B2 (ja) | 1999-11-05 | 2000-06-05 | 移動物体画像検索方法、及び、装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3436235B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008269101A (ja) * | 2007-04-17 | 2008-11-06 | Matsushita Electric Works Ltd | 盗難車両検索システムおよび盗難車両検索システムにおける検索方法 |
WO2014112138A1 (ja) * | 2013-01-17 | 2014-07-24 | 株式会社日立ソリューションズ | 情報処理装置、情報処理システム及び情報処理プログラム |
CN105554480A (zh) * | 2016-03-01 | 2016-05-04 | 深圳市大疆创新科技有限公司 | 无人机拍摄图像的控制方法、装置、用户设备及无人机 |
JP2016539398A (ja) * | 2013-10-04 | 2016-12-15 | クアルコム,インコーポレイテッド | 未知の対象物に対する拡張現実コンテンツの生成 |
CN107257440A (zh) * | 2017-07-31 | 2017-10-17 | 深圳回收宝科技有限公司 | 一种检测视频跟踪拍摄的方法、设备以及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4532973B2 (ja) * | 2004-04-22 | 2010-08-25 | 社団法人漁業情報サービスセンター | 構造特徴抽出装置及び同一目標判定装置及び構造特徴抽出方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム |
-
2000
- 2000-06-05 JP JP2000171984A patent/JP3436235B2/ja not_active Expired - Lifetime
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008269101A (ja) * | 2007-04-17 | 2008-11-06 | Matsushita Electric Works Ltd | 盗難車両検索システムおよび盗難車両検索システムにおける検索方法 |
WO2014112138A1 (ja) * | 2013-01-17 | 2014-07-24 | 株式会社日立ソリューションズ | 情報処理装置、情報処理システム及び情報処理プログラム |
JP2014137750A (ja) * | 2013-01-17 | 2014-07-28 | Hitachi Solutions Ltd | 情報処理装置、情報処理システム及び情報処理プログラム |
EP2879089A4 (en) * | 2013-01-17 | 2016-03-23 | Hitachi Solutions Ltd | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING PROGRAM |
JP2016539398A (ja) * | 2013-10-04 | 2016-12-15 | クアルコム,インコーポレイテッド | 未知の対象物に対する拡張現実コンテンツの生成 |
CN105554480A (zh) * | 2016-03-01 | 2016-05-04 | 深圳市大疆创新科技有限公司 | 无人机拍摄图像的控制方法、装置、用户设备及无人机 |
CN105554480B (zh) * | 2016-03-01 | 2018-03-16 | 深圳市大疆创新科技有限公司 | 无人机拍摄图像的控制方法、装置、用户设备及无人机 |
CN107257440A (zh) * | 2017-07-31 | 2017-10-17 | 深圳回收宝科技有限公司 | 一种检测视频跟踪拍摄的方法、设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP3436235B2 (ja) | 2003-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Robertson et al. | An Image-Based System for Urban Navigation. | |
US6597818B2 (en) | Method and apparatus for performing geo-spatial registration of imagery | |
Soheilian et al. | Detection and 3D reconstruction of traffic signs from multiple view color images | |
US7965904B2 (en) | Position and orientation measuring apparatus and position and orientation measuring method, mixed-reality system, and computer program | |
US20130243250A1 (en) | Location of image capture device and object features in a captured image | |
US20090304271A1 (en) | Object region extracting device | |
US8666170B2 (en) | Computer system and method of matching for images and graphs | |
KR101261409B1 (ko) | 영상 내 노면표시 인식시스템 | |
KR101638173B1 (ko) | 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법 | |
JP2008107860A (ja) | 画像対間の変換を推定する方法、画像を表現する方法、並びにこの方法のための装置、制御装置、及びコンピュータプログラム | |
CN108830224B (zh) | 一种基于深度学习的高分辨率遥感影像舰船目标检测方法 | |
JP4521568B2 (ja) | 対応点探索方法、相互標定方法、3次元画像計測方法、対応点探索装置、相互標定装置、3次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP4517003B2 (ja) | 道路標識自動認識システム | |
JP4131930B2 (ja) | 地図更新プログラム及び地図更新装置 | |
JPH05181411A (ja) | 地図情報照合更新方式 | |
Collins et al. | Site model acquisition and extension from aerial images | |
JP2001195565A (ja) | 移動物体画像検索方法、及び、装置 | |
CN114358133A (zh) | 一种基于语义辅助双目视觉slam检测回环帧的方法 | |
JPH08255245A (ja) | ランドマーク認識装置およびランドマーク認識方法 | |
CN114898321A (zh) | 道路可行驶区域检测方法、装置、设备、介质及系统 | |
JP2007140729A (ja) | 物品の位置及び姿勢を検出する方法および装置 | |
JP4850161B2 (ja) | 道路地図データ作成装置 | |
JP7095574B2 (ja) | 画像処理プログラム、画像処理方法、および画像処理装置 | |
CN111738253B (zh) | 叉车托盘定位方法、装置、设备和可读存储介质 | |
WO2023286360A1 (ja) | 学習用データ収集装置、学習用データ収集方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
R151 | Written notification of patent or utility model registration |
Ref document number: 3436235 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080606 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080606 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090606 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100606 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100606 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130606 Year of fee payment: 10 |
|
EXPY | Cancellation because of completion of term |