JP2000311244A - 画像のマッチング方法 - Google Patents
画像のマッチング方法Info
- Publication number
- JP2000311244A JP2000311244A JP11119198A JP11919899A JP2000311244A JP 2000311244 A JP2000311244 A JP 2000311244A JP 11119198 A JP11119198 A JP 11119198A JP 11919899 A JP11919899 A JP 11919899A JP 2000311244 A JP2000311244 A JP 2000311244A
- Authority
- JP
- Japan
- Prior art keywords
- image
- corresponding point
- point
- picture
- uncorresponding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
の対応点を求めるマッチングを行っていた。このため、
基準の画像を換えると得られる対応点が異なる結果にな
り、精度よく対応点を探索することができなかった。 【解決手段】複数の画像から各画像を基準とした対応点
の候補となる位置を求め、対応点候補から一致した点の
みを対応点として決定する.この手段により、精度よく
対応点を探索できる。
Description
成する分野や、撮影画像をもとに画像を加工処理する分
野に関する。
求める画像マッチング技術の従来技術は、高木幹雄、下
田陽久監修「画像解析ハンドブック」、707頁から712
頁、(東京大学出版会、平成3年1月発行)に記載され
ているように、テンプレートマッチング(チップマッチ
ングとも言う、以下チップマッチングと記す)が、一般
的によく知られている。チップマッチングは、基準の画
像から小領域のチップ画像を切り出し、もう一方の画像
中に設定した探索領域(サーチエリア)内で類似度(マ
ッチ度)の大きな所を求め、対応点として算出するもの
である。マッチ度は、小領域での差の絶対値の平均、あ
るいは相互相関係数を用いて算出する。
像の着目画素I(x,y)を中心としたmxm(mは任意の定数)
の領域の画素にて作成する。また、着目画素I(x,y)をx:
0〜x軸の最大値、y:0〜y軸の最大値として、順次処理す
ることにより、基準画像の全点に対応するもう一方の画
像の対応点を求めることができる。
準の画像からチップ画像をとり、もう一方の画像の対応
点を求めるマッチングを行っていた。このため、基準の
画像を換えると得られる対応点が異なる結果になった。
像)と右視点から撮影した画像(右画像)との対応点を
求めるマッチングを以下に述べる。
し、右画像でマッチング度の大きな場所を求めると、仮
に、左画像で映っているビルディングの側面が右画像で
は映ってない場合には、間違った対応点を算出してしま
う可能性がある。右画像を基準としたとき、右画像で映
っていないビルディングの側面はチップ画像として切り
出されることはなく、対応点として算出されることはな
い。しかし、右画像に映っている場所が左画像では映っ
ていない場合もあり、上記左画像を基準としたときと同
様のことが言える。
像を中心に対応点を求めていたため、精度よく対応点を
探索することができなかった。
に、以下の手段を考案した。
体あるいは場所をもとに画像間の対応位置を求めるマッ
チング処理において、各々の画像を基準画像として基準
以外の画像との対応点候補を探索する対応点候補探索処
理と、対応点候補から、すべての画像における対応点を
決定する対応点決定処理を設け、対応点候補探索処理
は、各々基準の画像の小領域と基準以外の画像の探索領
域を決定し、小領域および探索領域内での類似度の大き
な場所を対応点として求め、対応点決定処理は、各々画
像の対応点候補を比較し、一致した対応点候補のみを対
応点として決定する。
ることができる。
応位置を求めるマッチングについて、実施の形態を述べ
る。マッチング処理の構成を図1に示す。本実施の形態
では、2枚の画像を入力とした例を示す。以下、図に従
い説明する。
の画像L110と右視点の画像R120を入力とし、各
々の画像の対応位置を示す対応点150を出力する。マ
ッチング処理100は、対応点候補探索処理101およ
び対応点決定処理102よりなる。本発明の実施の形態
1では、マッチング処理100を前記2つの処理で構成
したことに特徴がある。
(1.1)および(1.2)にて述べる。
を求める。本実施の形態では、画像L110および画像
R120を入力としたため、対応点候補探索処理101
は、画像Lを基準としたチップマッチング103および
画像Rを基準としたチップマッチング104よりなる。
チップマッチングの詳細は以下に示す文献に記載されて
おり、本発明の実施の形態では省略する。
ブック」、707頁から712頁、(東京大学出版会、平成3
年1月発行) 図2に画像Lを基準としたチップマッチング103およ
び画像Rを基準としたチップマッチング104の概要を
示す。以下、順に説明する。
マッチング103 図2に示すように、画像L110では、チップ画像21
0を作成する。チップ画像210は、着目点を中心とし
たmxm(mは定数)近傍の切り出し画像となる。
設定する。サーチエリア220は、画像L110の着目
点の座標をもとに、画像R120上にnxn(nは定
数、m<n)の領域として設定される。
チエリア220をもとに、チップ画像に対するサーチエ
リア内の類似度の大きな場所を算出する。算出した場所
を画像Lに対する対応点候補130とする。
画像L上の全画素に対する対応点候補130を求める。
対応点候補130は、図3に示すように座標位置を表す
表形式で出力する。
マッチング104 図2に示すように、画像R120では、チップ画像23
0を作成する。チップ画像230は、着目点を中心とし
たmxm(mは定数)近傍の切り出し画像となる。
設定する。サーチエリア240は、画像R120の着目
点の座標をもとに、画像L110上にnxn(nは定
数、m<n)の領域として設定される。
チエリア240をもとに、チップ画像に対するサーチエ
リア内の類似度の大きな場所を算出する。算出した場所
を画像Rに対する対応点候補140とする。
画像R上の全画素に対する対応点候補140を求める。
対応点候補140は、図3に示すように座標位置を表す
表形式で出力する。
に対する対応点候補140から、対応点203を求め
る。
ステップ番号として、手順を以下に説明する。
対応点候補140を入力する。
補の取り出し 画像Lに対する対応点候補130から1つの対応点候補
を順に取り出す。
補の検索 前記ステップで取り出した対応点候補において画像Rの
対応点位置LR(xr,yr)に着目し、この画像Rの対応点位
置LR(xr,yr)と同一の点を、画像Rに対する対応点候補
から検索する。
(xl,yl)およびLR(xr,yr)、画像Rに対する対応点候補
をRR(xr,yr)およびRL(xl,yl)とおく。
る画像Rに対する対応点候補RR(xr,yr)が見つかったと
き、ステップ405を実行する。見つからなかったとき
は、ステップ408へ分岐する。
Rに対する対応点候補で、LL(xl,yl)およびRL(xl,yl)
の座標が一致するか判断する。
る。不一致の場合には、ステップ408へ分岐する。
らステップ407を繰り返し実行する。
した対応点候補をあらかじめ探索し、各々画像の対応点
候補を比較し、一致した対応点候補のみを対応点として
決定する。このことにより、精度よく対応点を探索する
ことができる。
いたが、n枚(nは2以上)の画像を入力してもよい。
この場合、対応点候補探索処理101では、各画像を基
準としたマッチングを行い、対応点決定処理102で
は、全画像の座標が一致する対応点150のみを選択す
ればよい。
は、画像Lを基準としたマッチング103と画像Rを基
準としたマッチング104を独立に行っていたが、両処
理を同期しながら実行することもできる。この場合、
(1.1.2)で述べた、チップ画像230の着目点
は、サーチエリア220のマッチング位置とし、サーチ
エリア240は、チップ画像210の着目点の座標をも
とにした領域とする。
る。
複数の対応点候補を処理するものであったが、1組の対
応点候補を処理することもできる。この場合、ステップ
405からステップ407の手順のみを実行する。
の効果が得られる。
して、未対応点決定処理を伴うマッチング処理の実施の
形態を示す。以下、変更点のみを述べる。
図に従い説明する。
画像L110および画像R120を入力し、対応点15
0を出力する。
して、手順を以下に説明する。
き、画像Rの座標(xr、yr)の数値を各々データ値として埋
め込み、座標データによる欠損画像610および620
として作成する。
をもとに復元する。復元の方法は、欠損部分の境界値を
もとに距離による加重平均して求める。この方法は、数
学的な解釈であるディリクレ問題の解法として一般的に
知られている。ディリクレ問題の解法の詳細は以下に示
す文献に記載されており、本発明の実施の形態では省略
する。
(共立出版株式会社、1985年10月発行) このステップにて欠損部分が補間され、対応点画像63
0および640として出力する。
へ変換する。画像Lの座標(xl,yl)の位置のデータ値を画
像Rの座標(xr,yr)とすることで、新対応点510を作
成することができる。
した対応点候補をあらかじめ探索し、各々画像の対応点
候補を比較し、一致した対応点候補のみを対応点として
決定する。未対応点の部分は未対応点決定処理により対
応位置を推定する。このことにより、精度よく対応点を
探索することができる。
02の補間にて欠損部分の未対応点を補間して求めた
が、欠損部分の未対応点を再度マッチングすることで、
対応点として求めることができる。この場合、未対応点
による画像Lのチップ画像210の着目画素および画像
Rのチップ画像230の着目画素をもとに、サーチエリ
ア220およびサーチエリア240をpxp(pは定
数、m<p<n)の領域として設定しマッチングを実行
する。
ア220およびサーチエリア240を、未対応点による
画像Lのチップ画像210の着目画素および画像Rのチ
ップ画像230の着目画素をもとに設定したが、補間画
像をもとに設定することもできる。この場合、補間画像
の座標(xl,yl)の位置のデータ値を画像Rの着目点(xr,
yr)とし、この着目点を中心にpxp(pは定数、m<
p<n)の領域として設定しマッチングを実行する。
の効果が得られる。
の候補となる位置を求め、対応点候補から一致した点の
みを対応点として決定することにより、確信度の高い対
応点のみを決定することができ、また、未対応点を補間
あるいは再探索することにより、欠損部分の対応点を求
めることができ、対応点探索の精度を向上することがで
きる。
る。
示す図である。
ート示す図である。
点決定処理を示す図である。
ローを示す図である。
理、102…対応点決定処理、103…画像Lを基準と
したマッチング、104…画像Rを基準としたマッチン
グ、 110…画像L、120…画像R、 1
30…画像Lに対する対応点候補、140…画像Rに対
する対応点候補、 150…対応点、210…画
像Lのチップ画像、 220…画像Rのサ
ーチエリア、230…画像Rのチップ画像、
240…画像Lのサーチエリア、310…対応点ま
たは対応点候補、 401…対応点候補の入
力、402…画像Lに対する対応点候補の取り出し、4
03…画像Rに対する対応点候補の検索、 404…検
索分岐、405…両対応点候補の比較、
406…一致分岐、407…対応点の登録、408…ル
ープ終了、500…未対応点決定処理、510…新対応
点、 601…画像変換、 602…補間、603…
表変換、 610…欠損画像(データ値xr)、62
0…欠損画像(データ値yr)、630…補間画像(デー
タ値xr)、640…補間画像(データ値yr)。
Claims (4)
- 【請求項1】複数の画像を撮影し、各々画像に映った物
体あるいは場所をもとに、画像間の対応位置を求めるマ
ッチング処理において、各々の画像を基準画像として基
準以外の画像との対応点候補を探索する対応点候補探索
処理と、該対応点候補から、すべての画像における対応
点を決定する対応点決定処理を設け、該対応点候補探索
処理は、各々基準の画像の小領域と基準以外の画像の探
索領域を決定し、小領域および探索領域内での類似度の
大きな場所を対応点として求め、該対応点決定処理は、
各々画像の該対応点候補を比較し、一致した対応点候補
のみを対応点として決定することを特徴とする画像のマ
ッチング方法。 - 【請求項2】複数の画像を撮影し、各々画像に映った物
体あるいは場所をもとに、画像間の対応位置を求めるマ
ッチング処理において、各々の画像を基準画像として基
準以外の画像との対応点候補を探索する対応点候補探索
処理と、該対応点候補から、すべての画像における対応
点を決定する対応点決定処理と、各々画像中の未対応点
を対応点として決定する未対応点決定処理を設け、該未
対応点決定処理は、各々画像の該未対応点の近傍の該対
応点を複数用意し、該複数の対応点から該未対応点を補
間することを特徴とする画像のマッチング方法。 - 【請求項3】請求項2の未対応点決定処理の代替案とし
て、各々画像の該未対応点の近傍の該対応点を複数用意
し、該複数の対応点から基準以外の画像の再探索領域を
決め、該未対応点を再探索することを特徴とする画像の
マッチング方法。 - 【請求項4】請求項3の未対応点決定処理において、各
々画像の該未対応点の近傍の該対応点を複数用意し、該
複数の対応点から該未対応点を補間し、さらに補間した
点を中心として基準以外の画像の再探索領域を決め、該
未対応点を再探索することを特徴とする画像のマッチン
グ方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11919899A JP3794199B2 (ja) | 1999-04-27 | 1999-04-27 | 画像のマッチング方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11919899A JP3794199B2 (ja) | 1999-04-27 | 1999-04-27 | 画像のマッチング方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000311244A true JP2000311244A (ja) | 2000-11-07 |
JP3794199B2 JP3794199B2 (ja) | 2006-07-05 |
Family
ID=14755361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11919899A Expired - Fee Related JP3794199B2 (ja) | 1999-04-27 | 1999-04-27 | 画像のマッチング方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3794199B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005106505A (ja) * | 2003-09-29 | 2005-04-21 | Pentax Corp | 画像間対応点検出装置および画像間対応点検出方法 |
KR101256194B1 (ko) | 2010-10-26 | 2013-04-19 | 이태경 | 이종영상정합 또는 좌표동기화를 위한 참조점 추출방법 |
JP2014197314A (ja) * | 2013-03-29 | 2014-10-16 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
CN109141372A (zh) * | 2018-09-05 | 2019-01-04 | 武汉理工大学 | 一种用于港口起重机械摄影测量的模糊匹配方法 |
JP2020042661A (ja) * | 2018-09-12 | 2020-03-19 | 株式会社東芝 | 画像処理装置、及び、画像処理プログラム、並びに、運転支援システム |
-
1999
- 1999-04-27 JP JP11919899A patent/JP3794199B2/ja not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005106505A (ja) * | 2003-09-29 | 2005-04-21 | Pentax Corp | 画像間対応点検出装置および画像間対応点検出方法 |
JP4540322B2 (ja) * | 2003-09-29 | 2010-09-08 | Hoya株式会社 | 画像間対応点検出装置および画像間対応点検出方法 |
KR101256194B1 (ko) | 2010-10-26 | 2013-04-19 | 이태경 | 이종영상정합 또는 좌표동기화를 위한 참조점 추출방법 |
JP2014197314A (ja) * | 2013-03-29 | 2014-10-16 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
US9684964B2 (en) | 2013-03-29 | 2017-06-20 | Sony Corporation | Image processing apparatus and image processing method for determining disparity |
CN109141372A (zh) * | 2018-09-05 | 2019-01-04 | 武汉理工大学 | 一种用于港口起重机械摄影测量的模糊匹配方法 |
JP2020042661A (ja) * | 2018-09-12 | 2020-03-19 | 株式会社東芝 | 画像処理装置、及び、画像処理プログラム、並びに、運転支援システム |
JP7005458B2 (ja) | 2018-09-12 | 2022-01-21 | 株式会社東芝 | 画像処理装置、及び、画像処理プログラム、並びに、運転支援システム |
Also Published As
Publication number | Publication date |
---|---|
JP3794199B2 (ja) | 2006-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6714689B1 (en) | Image synthesizing method | |
US6970593B2 (en) | Stereo image processing apparatus and method of processing stereo image | |
JP2000011133A (ja) | 移動物体検出装置及びその方法 | |
CN112598735B (zh) | 一种融合三维模型信息的单张图像物体位姿估计方法 | |
JPH05181411A (ja) | 地図情報照合更新方式 | |
JP3794199B2 (ja) | 画像のマッチング方法 | |
IL123566A (en) | Detection of prominent contours in a pair of stereoscopic figures | |
JP3066173B2 (ja) | パターンマッチング方法 | |
KR20010014871A (ko) | 윤곽을 따르는 트래커를 자동적으로 결정하기 위한 방법및 그 방법을 실시하는 프로그램을 기억한 기억 매체 | |
JP3299671B2 (ja) | 画像の動き検出装置 | |
JPH10269347A (ja) | 地理画像上の影成分の除去方法及び地理画像処理装置、記録媒体 | |
JPH10111946A (ja) | 画像追跡装置 | |
JP2003022442A (ja) | 物体検出/位置測定方法およびその装置、ならびにこの方法の実行プログラムおよびその記録媒体 | |
JPH0921610A (ja) | 画像処理装置及び画像処理方法 | |
CN116309034A (zh) | 一种超大文件遥感图像的最优拼接线获取方法 | |
JPH0792651A (ja) | 画像切り抜き装置 | |
JP2005182098A (ja) | 合成画像を生成・表示する装置及び方法 | |
JPH1139477A (ja) | 対応点探索装置 | |
JP2000197061A (ja) | 動きベクトル推定装置および動きベクトル推定方法 | |
JPH1021403A (ja) | 対応点抽出方法及び装置 | |
JP3625245B2 (ja) | 画像処理方法及び画像処理装置 | |
JPH05225335A (ja) | 物体の領域切り出し装置 | |
JPH09330404A (ja) | 物体検出装置 | |
JPH04241684A (ja) | 画像整合方法及び装置 | |
JP2002319022A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051018 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060404 |
|
LAPS | Cancellation because of no payment of annual fees |