JP2000311244A - 画像のマッチング方法 - Google Patents

画像のマッチング方法

Info

Publication number
JP2000311244A
JP2000311244A JP11119198A JP11919899A JP2000311244A JP 2000311244 A JP2000311244 A JP 2000311244A JP 11119198 A JP11119198 A JP 11119198A JP 11919899 A JP11919899 A JP 11919899A JP 2000311244 A JP2000311244 A JP 2000311244A
Authority
JP
Japan
Prior art keywords
image
corresponding point
point
picture
uncorresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11119198A
Other languages
English (en)
Other versions
JP3794199B2 (ja
Inventor
Kazunori Nakano
和典 中野
Junichi Taguchi
順一 田口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP11919899A priority Critical patent/JP3794199B2/ja
Publication of JP2000311244A publication Critical patent/JP2000311244A/ja
Application granted granted Critical
Publication of JP3794199B2 publication Critical patent/JP3794199B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】従来技術では、基準の画像からもう一方の画像
の対応点を求めるマッチングを行っていた。このため、
基準の画像を換えると得られる対応点が異なる結果にな
り、精度よく対応点を探索することができなかった。 【解決手段】複数の画像から各画像を基準とした対応点
の候補となる位置を求め、対応点候補から一致した点の
みを対応点として決定する.この手段により、精度よく
対応点を探索できる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像から地図を作
成する分野や、撮影画像をもとに画像を加工処理する分
野に関する。
【0002】
【従来の技術】本発明に関する複数の画像から対応点を
求める画像マッチング技術の従来技術は、高木幹雄、下
田陽久監修「画像解析ハンドブック」、707頁から712
頁、(東京大学出版会、平成3年1月発行)に記載され
ているように、テンプレートマッチング(チップマッチ
ングとも言う、以下チップマッチングと記す)が、一般
的によく知られている。チップマッチングは、基準の画
像から小領域のチップ画像を切り出し、もう一方の画像
中に設定した探索領域(サーチエリア)内で類似度(マ
ッチ度)の大きな所を求め、対応点として算出するもの
である。マッチ度は、小領域での差の絶対値の平均、あ
るいは相互相関係数を用いて算出する。
【0003】チップ画像の切り出しでは、基準となる画
像の着目画素I(x,y)を中心としたmxm(mは任意の定数)
の領域の画素にて作成する。また、着目画素I(x,y)をx:
0〜x軸の最大値、y:0〜y軸の最大値として、順次処理す
ることにより、基準画像の全点に対応するもう一方の画
像の対応点を求めることができる。
【0004】
【発明が解決しようとする課題】前記従来技術では、基
準の画像からチップ画像をとり、もう一方の画像の対応
点を求めるマッチングを行っていた。このため、基準の
画像を換えると得られる対応点が異なる結果になった。
【0005】例として、左視点から撮影した画像(左画
像)と右視点から撮影した画像(右画像)との対応点を
求めるマッチングを以下に述べる。
【0006】左画像を基準としてチップ画像を切り出
し、右画像でマッチング度の大きな場所を求めると、仮
に、左画像で映っているビルディングの側面が右画像で
は映ってない場合には、間違った対応点を算出してしま
う可能性がある。右画像を基準としたとき、右画像で映
っていないビルディングの側面はチップ画像として切り
出されることはなく、対応点として算出されることはな
い。しかし、右画像に映っている場所が左画像では映っ
ていない場合もあり、上記左画像を基準としたときと同
様のことが言える。
【0007】以上、従来技術のマッチングでは、基準画
像を中心に対応点を求めていたため、精度よく対応点を
探索することができなかった。
【0008】
【課題を解決するための手段】上記課題を解決するため
に、以下の手段を考案した。
【0009】複数の画像を撮影し、各々画像に映った物
体あるいは場所をもとに画像間の対応位置を求めるマッ
チング処理において、各々の画像を基準画像として基準
以外の画像との対応点候補を探索する対応点候補探索処
理と、対応点候補から、すべての画像における対応点を
決定する対応点決定処理を設け、対応点候補探索処理
は、各々基準の画像の小領域と基準以外の画像の探索領
域を決定し、小領域および探索領域内での類似度の大き
な場所を対応点として求め、対応点決定処理は、各々画
像の対応点候補を比較し、一致した対応点候補のみを対
応点として決定する。
【0010】このことにより、精度よく対応点を探索す
ることができる。
【0011】
【発明の実施の形態】(実施の形態1)複数の画像の対
応位置を求めるマッチングについて、実施の形態を述べ
る。マッチング処理の構成を図1に示す。本実施の形態
では、2枚の画像を入力とした例を示す。以下、図に従
い説明する。
【0012】図に示すマッチング処理100は、左視点
の画像L110と右視点の画像R120を入力とし、各
々の画像の対応位置を示す対応点150を出力する。マ
ッチング処理100は、対応点候補探索処理101およ
び対応点決定処理102よりなる。本発明の実施の形態
1では、マッチング処理100を前記2つの処理で構成
したことに特徴がある。
【0013】以下、マッチング処理100の詳細を
(1.1)および(1.2)にて述べる。
【0014】(1.1)対応点候補探索処理101 入力した画像をもとに、各々の画像に対する対応点候補
を求める。本実施の形態では、画像L110および画像
R120を入力としたため、対応点候補探索処理101
は、画像Lを基準としたチップマッチング103および
画像Rを基準としたチップマッチング104よりなる。
チップマッチングの詳細は以下に示す文献に記載されて
おり、本発明の実施の形態では省略する。
【0015】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、707頁から712頁、(東京大学出版会、平成3
年1月発行) 図2に画像Lを基準としたチップマッチング103およ
び画像Rを基準としたチップマッチング104の概要を
示す。以下、順に説明する。
【0016】(1.1.1)画像Lを基準としたチップ
マッチング103 図2に示すように、画像L110では、チップ画像21
0を作成する。チップ画像210は、着目点を中心とし
たmxm(mは定数)近傍の切り出し画像となる。
【0017】画像R120では、サーチエリア220を
設定する。サーチエリア220は、画像L110の着目
点の座標をもとに、画像R120上にnxn(nは定
数、m<n)の領域として設定される。
【0018】上記設定したチップ画像210およびサー
チエリア220をもとに、チップ画像に対するサーチエ
リア内の類似度の大きな場所を算出する。算出した場所
を画像Lに対する対応点候補130とする。
【0019】画像Lの着目点を順次移動させることで、
画像L上の全画素に対する対応点候補130を求める。
対応点候補130は、図3に示すように座標位置を表す
表形式で出力する。
【0020】(1.1.2)画像Rを基準としたチップ
マッチング104 図2に示すように、画像R120では、チップ画像23
0を作成する。チップ画像230は、着目点を中心とし
たmxm(mは定数)近傍の切り出し画像となる。
【0021】画像L110では、サーチエリア240を
設定する。サーチエリア240は、画像R120の着目
点の座標をもとに、画像L110上にnxn(nは定
数、m<n)の領域として設定される。
【0022】上記設定したチップ画像230およびサー
チエリア240をもとに、チップ画像に対するサーチエ
リア内の類似度の大きな場所を算出する。算出した場所
を画像Rに対する対応点候補140とする。
【0023】画像Rの着目点を順次移動させることで、
画像R上の全画素に対する対応点候補140を求める。
対応点候補140は、図3に示すように座標位置を表す
表形式で出力する。
【0024】(1.2)対応点決定処理102 この処理は、画像Lに対する対応点候補130と画像R
に対する対応点候補140から、対応点203を求め
る。
【0025】図4のフローチャートに基づき、図番号を
ステップ番号として、手順を以下に説明する。
【0026】ステップ401:対応点候補の入力 画像Lに対する対応点候補130および画像Rに対する
対応点候補140を入力する。
【0027】ステップ402:画像Lに対する対応点候
補の取り出し 画像Lに対する対応点候補130から1つの対応点候補
を順に取り出す。
【0028】ステップ403:画像Rに対する対応点候
補の検索 前記ステップで取り出した対応点候補において画像Rの
対応点位置LR(xr,yr)に着目し、この画像Rの対応点位
置LR(xr,yr)と同一の点を、画像Rに対する対応点候補
から検索する。
【0029】ここで、画像Lに対する対応点候補をLL
(xl,yl)およびLR(xr,yr)、画像Rに対する対応点候補
をRR(xr,yr)およびRL(xl,yl)とおく。
【0030】ステップ404:検索分岐 画像Lに対する対応点候補LR(xr,yr)と同一の位置であ
る画像Rに対する対応点候補RR(xr,yr)が見つかったと
き、ステップ405を実行する。見つからなかったとき
は、ステップ408へ分岐する。
【0031】ステップ405:両対応点候補の比較 上記ステップで用いた画像Lに対する対応点候補と画像
Rに対する対応点候補で、LL(xl,yl)およびRL(xl,yl)
の座標が一致するか判断する。
【0032】ステップ406:一致分岐 上記ステップで一致した場合、ステップ407を実行す
る。不一致の場合には、ステップ408へ分岐する。
【0033】ステップ407:対応点の登録 一致した対応点候補を対応点150として登録する。 ステップ408:ループ終了 対応点候補の全てが処理されるまで、ステップ402か
らステップ407を繰り返し実行する。
【0034】以上、実施の形態1では、各画像を基準と
した対応点候補をあらかじめ探索し、各々画像の対応点
候補を比較し、一致した対応点候補のみを対応点として
決定する。このことにより、精度よく対応点を探索する
ことができる。
【0035】(実施の形態1の変更例) (変更例1)本実施の形態1では、2枚の入力画像を用
いたが、n枚(nは2以上)の画像を入力してもよい。
この場合、対応点候補探索処理101では、各画像を基
準としたマッチングを行い、対応点決定処理102で
は、全画像の座標が一致する対応点150のみを選択す
ればよい。
【0036】(変更例2)対応点候補探索処理101で
は、画像Lを基準としたマッチング103と画像Rを基
準としたマッチング104を独立に行っていたが、両処
理を同期しながら実行することもできる。この場合、
(1.1.2)で述べた、チップ画像230の着目点
は、サーチエリア220のマッチング位置とし、サーチ
エリア240は、チップ画像210の着目点の座標をも
とにした領域とする。
【0037】以後、実施の形態1と同様の処理を実行す
る。
【0038】(変更例3)対応点決定処理102では、
複数の対応点候補を処理するものであったが、1組の対
応点候補を処理することもできる。この場合、ステップ
405からステップ407の手順のみを実行する。
【0039】以上の変更例により、実施の形態1と同様
の効果が得られる。
【0040】(実施の形態2)実施の形態1の代替案と
して、未対応点決定処理を伴うマッチング処理の実施の
形態を示す。以下、変更点のみを述べる。
【0041】図5に実施の形態2の構成を示す。以下、
図に従い説明する。
【0042】(2.1)マッチング処理100 マッチング処理100は、実施の形態1と同様である。
画像L110および画像R120を入力し、対応点15
0を出力する。
【0043】(2.2)未対応点決定処理500 図6のデータフローに基づき、図番号をステップ番号と
して、手順を以下に説明する。
【0044】ステップ601:画像変換 対応点150において、画像Lの座標(xl,yl)に基づ
き、画像Rの座標(xr、yr)の数値を各々データ値として埋
め込み、座標データによる欠損画像610および620
として作成する。
【0045】ステップ602:補間 補間では、上記穴空き画像の欠損データを周囲のデータ
をもとに復元する。復元の方法は、欠損部分の境界値を
もとに距離による加重平均して求める。この方法は、数
学的な解釈であるディリクレ問題の解法として一般的に
知られている。ディリクレ問題の解法の詳細は以下に示
す文献に記載されており、本発明の実施の形態では省略
する。
【0046】黒田成俊、「関数解析」、83頁から88頁、
(共立出版株式会社、1985年10月発行) このステップにて欠損部分が補間され、対応点画像63
0および640として出力する。
【0047】ステップ603:表変換 上記ステップにて得られた補間画像から新対応点510
へ変換する。画像Lの座標(xl,yl)の位置のデータ値を画
像Rの座標(xr,yr)とすることで、新対応点510を作
成することができる。
【0048】以上、実施の形態2では、各画像を基準と
した対応点候補をあらかじめ探索し、各々画像の対応点
候補を比較し、一致した対応点候補のみを対応点として
決定する。未対応点の部分は未対応点決定処理により対
応位置を推定する。このことにより、精度よく対応点を
探索することができる。
【0049】(実施の形態2の変更例) (変更例1)未対応点決定処理500では、ステップ6
02の補間にて欠損部分の未対応点を補間して求めた
が、欠損部分の未対応点を再度マッチングすることで、
対応点として求めることができる。この場合、未対応点
による画像Lのチップ画像210の着目画素および画像
Rのチップ画像230の着目画素をもとに、サーチエリ
ア220およびサーチエリア240をpxp(pは定
数、m<p<n)の領域として設定しマッチングを実行
する。
【0050】(変更例2)上記変更例では、サーチエリ
ア220およびサーチエリア240を、未対応点による
画像Lのチップ画像210の着目画素および画像Rのチ
ップ画像230の着目画素をもとに設定したが、補間画
像をもとに設定することもできる。この場合、補間画像
の座標(xl,yl)の位置のデータ値を画像Rの着目点(xr,
yr)とし、この着目点を中心にpxp(pは定数、m<
p<n)の領域として設定しマッチングを実行する。
【0051】以上の変更例により、実施の形態2と同様
の効果が得られる。
【0052】
【発明の効果】本発明によれば、以下の効果がある。
【0053】複数の画像から各画像を基準とした対応点
の候補となる位置を求め、対応点候補から一致した点の
みを対応点として決定することにより、確信度の高い対
応点のみを決定することができ、また、未対応点を補間
あるいは再探索することにより、欠損部分の対応点を求
めることができ、対応点探索の精度を向上することがで
きる。
【図面の簡単な説明】
【図1】本実施の形態1のマッチング処理を示す図であ
る。
【図2】本実施の形態1の対応点候補探索処理の概要を
示す図である。
【図3】本実施の形態1の対応点を示す図である。
【図4】本実施の形態1の対応点決定処理のフローチャ
ート示す図である。
【図5】本実施の形態2のマッチング処理および未対応
点決定処理を示す図である。
【図6】本実施の形態2の未対応点決定処理のデータフ
ローを示す図である。
【符号の説明】
100…マッチング処理、101…対応点候補探索処
理、102…対応点決定処理、103…画像Lを基準と
したマッチング、104…画像Rを基準としたマッチン
グ、 110…画像L、120…画像R、 1
30…画像Lに対する対応点候補、140…画像Rに対
する対応点候補、 150…対応点、210…画
像Lのチップ画像、 220…画像Rのサ
ーチエリア、230…画像Rのチップ画像、
240…画像Lのサーチエリア、310…対応点ま
たは対応点候補、 401…対応点候補の入
力、402…画像Lに対する対応点候補の取り出し、4
03…画像Rに対する対応点候補の検索、 404…検
索分岐、405…両対応点候補の比較、
406…一致分岐、407…対応点の登録、408…ル
ープ終了、500…未対応点決定処理、510…新対応
点、 601…画像変換、 602…補間、603…
表変換、 610…欠損画像(データ値xr)、62
0…欠損画像(データ値yr)、630…補間画像(デー
タ値xr)、640…補間画像(データ値yr)。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2F112 BA06 FA38 5B057 DA07 DB03 DC33 5L096 AA09 EA33 FA69 HA08 9A001 HH23 HH28

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】複数の画像を撮影し、各々画像に映った物
    体あるいは場所をもとに、画像間の対応位置を求めるマ
    ッチング処理において、各々の画像を基準画像として基
    準以外の画像との対応点候補を探索する対応点候補探索
    処理と、該対応点候補から、すべての画像における対応
    点を決定する対応点決定処理を設け、該対応点候補探索
    処理は、各々基準の画像の小領域と基準以外の画像の探
    索領域を決定し、小領域および探索領域内での類似度の
    大きな場所を対応点として求め、該対応点決定処理は、
    各々画像の該対応点候補を比較し、一致した対応点候補
    のみを対応点として決定することを特徴とする画像のマ
    ッチング方法。
  2. 【請求項2】複数の画像を撮影し、各々画像に映った物
    体あるいは場所をもとに、画像間の対応位置を求めるマ
    ッチング処理において、各々の画像を基準画像として基
    準以外の画像との対応点候補を探索する対応点候補探索
    処理と、該対応点候補から、すべての画像における対応
    点を決定する対応点決定処理と、各々画像中の未対応点
    を対応点として決定する未対応点決定処理を設け、該未
    対応点決定処理は、各々画像の該未対応点の近傍の該対
    応点を複数用意し、該複数の対応点から該未対応点を補
    間することを特徴とする画像のマッチング方法。
  3. 【請求項3】請求項2の未対応点決定処理の代替案とし
    て、各々画像の該未対応点の近傍の該対応点を複数用意
    し、該複数の対応点から基準以外の画像の再探索領域を
    決め、該未対応点を再探索することを特徴とする画像の
    マッチング方法。
  4. 【請求項4】請求項3の未対応点決定処理において、各
    々画像の該未対応点の近傍の該対応点を複数用意し、該
    複数の対応点から該未対応点を補間し、さらに補間した
    点を中心として基準以外の画像の再探索領域を決め、該
    未対応点を再探索することを特徴とする画像のマッチン
    グ方法。
JP11919899A 1999-04-27 1999-04-27 画像のマッチング方法 Expired - Fee Related JP3794199B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11919899A JP3794199B2 (ja) 1999-04-27 1999-04-27 画像のマッチング方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11919899A JP3794199B2 (ja) 1999-04-27 1999-04-27 画像のマッチング方法

Publications (2)

Publication Number Publication Date
JP2000311244A true JP2000311244A (ja) 2000-11-07
JP3794199B2 JP3794199B2 (ja) 2006-07-05

Family

ID=14755361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11919899A Expired - Fee Related JP3794199B2 (ja) 1999-04-27 1999-04-27 画像のマッチング方法

Country Status (1)

Country Link
JP (1) JP3794199B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005106505A (ja) * 2003-09-29 2005-04-21 Pentax Corp 画像間対応点検出装置および画像間対応点検出方法
KR101256194B1 (ko) 2010-10-26 2013-04-19 이태경 이종영상정합 또는 좌표동기화를 위한 참조점 추출방법
JP2014197314A (ja) * 2013-03-29 2014-10-16 ソニー株式会社 画像処理装置及び画像処理方法
CN109141372A (zh) * 2018-09-05 2019-01-04 武汉理工大学 一种用于港口起重机械摄影测量的模糊匹配方法
JP2020042661A (ja) * 2018-09-12 2020-03-19 株式会社東芝 画像処理装置、及び、画像処理プログラム、並びに、運転支援システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005106505A (ja) * 2003-09-29 2005-04-21 Pentax Corp 画像間対応点検出装置および画像間対応点検出方法
JP4540322B2 (ja) * 2003-09-29 2010-09-08 Hoya株式会社 画像間対応点検出装置および画像間対応点検出方法
KR101256194B1 (ko) 2010-10-26 2013-04-19 이태경 이종영상정합 또는 좌표동기화를 위한 참조점 추출방법
JP2014197314A (ja) * 2013-03-29 2014-10-16 ソニー株式会社 画像処理装置及び画像処理方法
US9684964B2 (en) 2013-03-29 2017-06-20 Sony Corporation Image processing apparatus and image processing method for determining disparity
CN109141372A (zh) * 2018-09-05 2019-01-04 武汉理工大学 一种用于港口起重机械摄影测量的模糊匹配方法
JP2020042661A (ja) * 2018-09-12 2020-03-19 株式会社東芝 画像処理装置、及び、画像処理プログラム、並びに、運転支援システム
JP7005458B2 (ja) 2018-09-12 2022-01-21 株式会社東芝 画像処理装置、及び、画像処理プログラム、並びに、運転支援システム

Also Published As

Publication number Publication date
JP3794199B2 (ja) 2006-07-05

Similar Documents

Publication Publication Date Title
US6714689B1 (en) Image synthesizing method
US6970593B2 (en) Stereo image processing apparatus and method of processing stereo image
JP2000011133A (ja) 移動物体検出装置及びその方法
CN112598735B (zh) 一种融合三维模型信息的单张图像物体位姿估计方法
JPH05181411A (ja) 地図情報照合更新方式
JP3794199B2 (ja) 画像のマッチング方法
IL123566A (en) Detection of prominent contours in a pair of stereoscopic figures
JP3066173B2 (ja) パターンマッチング方法
KR20010014871A (ko) 윤곽을 따르는 트래커를 자동적으로 결정하기 위한 방법및 그 방법을 실시하는 프로그램을 기억한 기억 매체
JP3299671B2 (ja) 画像の動き検出装置
JPH10269347A (ja) 地理画像上の影成分の除去方法及び地理画像処理装置、記録媒体
JPH10111946A (ja) 画像追跡装置
JP2003022442A (ja) 物体検出/位置測定方法およびその装置、ならびにこの方法の実行プログラムおよびその記録媒体
JPH0921610A (ja) 画像処理装置及び画像処理方法
CN116309034A (zh) 一种超大文件遥感图像的最优拼接线获取方法
JPH0792651A (ja) 画像切り抜き装置
JP2005182098A (ja) 合成画像を生成・表示する装置及び方法
JPH1139477A (ja) 対応点探索装置
JP2000197061A (ja) 動きベクトル推定装置および動きベクトル推定方法
JPH1021403A (ja) 対応点抽出方法及び装置
JP3625245B2 (ja) 画像処理方法及び画像処理装置
JPH05225335A (ja) 物体の領域切り出し装置
JPH09330404A (ja) 物体検出装置
JPH04241684A (ja) 画像整合方法及び装置
JP2002319022A (ja) 画像処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051018

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060404

LAPS Cancellation because of no payment of annual fees