JP2000331160A - 画像マッチング装置、画像マッチング方法及び画像マッチング用プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ステレオ対応探索範囲を削減し、対応点探索
時間を短縮することができる画像マッチング装置を提供
する。 【解決手段】 ステレオ画像を撮影するステレオカメラ
の位置関係から対応点出現位置算出部１１が対応点出現
位置を算出し、投影部１２が対応点出現位置の第３のシ
ルエット画像上での投影点を算出し、その投影点がシル
エット画像上におけるシルエット領域内にあるか領域外
にあるかを判定部１３が判定する。そして、領域内であ
れると判定された対応点出現位置に関してのみステレオ
対応探索を行うことにより、ステレオ対応探索を高速に
行うことが可能となり、誤対応点を削減することができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の画像間のス
テレオマッチングをとる画像マッチング装置、画像マッ
チング方法及び画像マッチング用プログラムを記録した
記録媒体に関し、特に、ステレオ画像のステレオ対応点
探索範囲に、ステレオ画像とは異なる別方向から撮影し
た画像による制約条件を付加することで、ステレオ対応
点探索範囲を削減する画像マッチング装置、画像マッチ
ング方法及び画像マッチング用プログラムを記録した記
録媒体を提供することを目的とする。

【０００２】

【従来の技術】従来、複数の画像を用いて画像間のマッ
チングを行い三次元情報の再構成処理を行う「三角測量
の原理」に関しては、例えばホーン著「ロボットビジョ
ン」（朝倉書店刊）の第１３章に解説されている。

【０００３】第１の従来の技術としての画像マッチング
方式は、図９に示すように２台のカメラで物体を撮影し
たステレオ画像（以下、それぞれＬ画像、Ｒ画像と呼
ぶ）、もしくは１台のカメラで物体を回転させて異なる
２方向から撮影したステレオ画像を用い、特徴点抽出部
１０３により両画像から特徴点（エッジ、色など）を抽
出してステレオ対応探索部１０４によりステレオ対応点
を探索する。以下では、ピンホールカメラモデルを用い
て説明する。

【０００４】このときステレオ対応点は、図１０の白丸
１０６に示すように、Ｌ画像、Ｒ画像それぞれの画素と
カメラ焦点を結ぶ半直線群の交点に存在する。このた
め、ステレオ対応探索範囲は、前記半直線群の交点の数
だけ存在する。

【０００５】第２の従来の技術としての画像マッチング
方式は、さらに画像を１枚増やして、三眼視としてマッ
チングを行う。このときステレオ対応点は、Ｌ画像、Ｒ
画像、第３の画像それぞれの画素とカメラ焦点を結ぶ半
直線群の交点のうち、３つの半直線が交わる点に存在す
る。このため、ステレオ対応探索範囲が限定され、測定
精度が向上することが知られている。

【０００６】

【発明が解決しようとする課題】第１の従来の技術での
第１の問題点は、対応点探索に時間がかかるということ
である。その理由は、対応点探索範囲が半直線群の組み
合せの数だけ存在するためである。

【０００７】第１の従来の技術での第２の問題点は、誤
った対応点を探索してしまうということである。その理
由は、画像マッチングにおいて特徴量抽出に失敗した、
あるいは偶然誤った対応点が最良な評価となった、など
の原因による。

【０００８】第２の従来の技術での問題点は、対応点探
索が困難であるということである。その理由は、３直線
が交わるためには、カメラ位置に関する測定精度が非常
に高くなければならないためである。測定精度が低いと
３直線が交わる可能性が低くなり、本来あるべき対応点
が算出されないといったことが起こる。

【０００９】本発明は上記事情に鑑みてなされたもので
あり、ステレオ対応探索時に、さらに別の方向から撮影
した画像による制約条件を付加することで対応点探索範
囲を削減し、対応点探索時間を短縮することのできる画
像マッチング装置、画像マッチング方法及び画像マッチ
ング用プログラムを記録した記録媒体を提供することを
目的とする。

【００１０】また、本発明は、ステレオ対応探索時に、
さらに別の方向から撮影した画像による制約条件を付加
することで対応点探索範囲を削減し、誤対応点を算出し
ないようにする画像マッチング装置、画像マッチング方
法及び画像マッチング用プログラムを記録した記録媒体
を提供することを目的とする。

【００１１】

【課題を解決するための手段】かかる目的を達成するた
めに本発明の画像マッチング装置は、対象物のステレオ
画像を撮影するステレオ画像入力手段と、ステレオ画像
入力手段により撮影したステレオ画像からステレオ対応
をとるための特徴点を抽出する特徴点抽出手段と、制約
条件により限定されたステレオ対応探索範囲内でステレ
オ対応探索を行う画像マッチング手段と、画像マッチン
グ手段によるマッチング結果を保存するデータ蓄積手段
とを有することを特徴とする。

【００１２】上記の画像マッチング手段は、ステレオ画
像入力手段によるステレオ画像撮影方向とは異なる方向
からの第３画像を撮影する第３画像入力手段と、第３画
像のシルエット画像を抽出するシルエット抽出手段と、
ステレオ画像入力手段のステレオ画像撮影の位置関係か
らステレオ対応点の存在する位置となる、ステレオ対応
点出現位置を算出する対応点出現位置算出手段と、ステ
レオ対応点出現位置の、第３画像上での投影点を算出す
る投影手段と、第３画像上に投影された投影点がシルエ
ット画像のシルエット領域内に存在するかどうかを判定
する判定手段と、シルエット領域内に存在するステレオ
対応点出現位置に関してのみステレオ画像からステレオ
対応を行うステレオ対応探索手段とを有することを特徴
とする。

【００１３】上記の画像マッチング手段は、ステレオ画
像入力手段によるステレオ画像撮影方向とは異なる方向
からの第３画像を撮影する第３画像入力手段と、第３画
像のシルエット画像を抽出するシルエット抽出手段と、
特徴点抽出手段により抽出された、ステレオ画像の特徴
点からスレテオ対応点の探索を行う第２のステレオ対応
探索手段と、第２のステレオ対応探索手段により算出さ
れたステレオ対応点の、第３画像上での投影点を算出す
る投影手段と、第３画像上に投影された投影点がシルエ
ット画像のシルエット領域内に存在するかどうかを判定
する判定手段とを有することを特徴とする。

【００１４】本発明の画像マッチング方法は、撮像手段
により撮像された対象物のステレオ画像を入力するステ
レオ画像入力工程と、ステレオ画像入力工程により撮影
したステレオ画像からステレオ対応をとるための特徴点
を抽出する特徴点抽出工程と、制約条件により限定され
たステレオ対応探索範囲内でステレオ対応探索を行う画
像マッチング工程と、画像マッチング工程によるマッチ
ング結果を保存するデータ蓄積工程とを有することを特
徴とする。

【００１５】上記の画像マッチング工程は、撮像手段に
よるステレオ画像撮影方向とは異なる方向からの第３画
像を撮影する第３画像入力工程と、第３画像のシルエッ
ト画像を抽出するシルエット抽出工程と、撮像手段のス
テレオ画像撮影の位置関係からステレオ対応点の存在す
る位置となる、ステレオ対応点出現位置を算出する対応
点出現位置算出工程と、ステレオ対応点出現位置の、第
３画像上での投影点を算出する投影工程と、第３画像上
に投影された投影点がシルエット画像のシルエット領域
内に存在するかどうかを判定する判定工程と、シルエッ
ト領域内に存在するステレオ対応点出現位置に関しての
みステレオ画像からステレオ対応を行うステレオ対応探
索工程とを有することを特徴とする。

【００１６】上記の画像マッチング工程は、撮像手段に
よるステレオ画像撮影方向とは異なる方向からの第３画
像を撮影する第３画像入力工程と、第３画像のシルエッ
ト画像を抽出するシルエット抽出工程と、特徴点抽出工
程により抽出された、ステレオ画像の特徴点からスレテ
オ対応点の探索を行う第２のステレオ対応探索工程と、
第２のステレオ対応探索工程により算出されたステレオ
対応点の、第３画像上での投影点を算出する投影工程
と、第３画像上に投影された投影点がシルエット画像の
シルエット領域内に存在するかどうかを判定する判定工
程とを有することを特徴とする。

【００１７】本発明の画像マッチング用プログラムを記
録した記録媒体は、撮像手段により撮影されたステレオ
画像からステレオ対応をとるための特徴点を抽出する特
徴点抽出処理と、制約条件により限定されたステレオ対
応探索範囲内でステレオ対応探索を行う画像マッチング
処理と、画像マッチング処理によるマッチング結果を保
存するデータ蓄積処理とを実行するためのプログラムを
記録したことを特徴とする。

【００１８】上記の画像マッチング処理は、撮像手段に
よるステレオ画像撮影方向とは異なる方向から撮影され
た第３画像のシルエット画像を抽出するシルエット抽出
処理と、撮像手段のステレオ画像撮影の位置関係からス
テレオ対応点の存在する位置となる、ステレオ対応点出
現位置を算出する対応点出現位置算出処理と、ステレオ
対応点出現位置の、第３画像上での投影点を算出する投
影処理と、第３画像上に投影された投影点がシルエット
画像のシルエット領域内に存在するかどうかを判定する
判定処理と、シルエット領域内に存在するステレオ対応
点出現位置に関してのみステレオ画像からステレオ対応
を行うステレオ対応探索処理とを有することを特徴とす
る。

【００１９】上記の画像マッチング処理は、撮像手段に
よるステレオ画像撮影方向とは異なる方向から撮影され
た第３画像のシルエット画像を抽出するシルエット抽出
処理と、特徴点抽出処理により抽出された、ステレオ画
像の特徴点からスレテオ対応点の探索を行う第２のステ
レオ対応探索処理と、第２のステレオ対応探索処理によ
り算出されたステレオ対応点の、第３画像上での投影点
を算出する投影処理と、第３画像上に投影された投影点
がシルエット画像のシルエット領域内に存在するかどう
かを判定する判定処理とを有することを特徴とする。

【００２０】本発明による作用を述べる。本発明は、撮
像手段の位置関係から対応点出現位置を算出し、その点
が第３のシルエット画像上でどの部分に投影されるかを
算出し、対応点出現位置がシルエット画像上においてシ
ルエット領域内にあるか領域外にあるかを判定する。そ
して、領域内であると判定された対応点出現位置に関し
てのみステレオ対応探索を行うことにより、ステレオ対
応探索を高速に行うことが可能となり、誤対応点を削減
することができる。

【００２１】また、特徴点抽出手段により抽出された、
ステレオ画像の特徴点からスレテオ対応点の探索を行
い、算出されたステレオ対応点の、第３画像上での投影
点を算出し、第３画像上に投影された投影点がシルエッ
ト画像のシルエット領域内に存在するかどうかを判定す
ることにより、ステレオ探索を高速に行うことができ、
誤対応点を削減することができる。

【００２２】ここで言葉の定義を明確にしておく。対応
点出現位置とは、ステレオカメラの位置関係により生成
される、理論的にステレオ対応をとることが可能な実空
間上の点のことである。また、ステレオ対応点とは、上
記対応点出現位置のうち、対応点探索により最もステレ
オ対応しているであろうと判定された点のことである。

【００２３】

【発明の実施の形態】次に添付図面を参照して本発明の
画像マッチング装置、画像マッチング方法及び画像マッ
チング用プログラムを記録した記録媒体に係る実施の形
態を詳細に説明する。図１〜図８を参照すると、本発明
の画像マッチング装置、画像マッチング方法及び画像マ
ッチング用プログラムを記録した記録媒体に係る実施形
態が示されている。

【００２４】まず、図１を参照しながら本発明に係る第
１の実施形態を説明する。図１には、本発明に係る第１
の実施形態の構成を表すブロック図が示されている。

【００２５】図１に示されるように本発明に係る第１の
実施形態は、ステレオ画像を入力するＬ画像入力部１
と、もう一方のステレオ画像を入力するＲ画像入力部２
と、ステレオ画像からステレオ対応をとるための特徴点
（エッジ、色等）を抽出する特徴点抽出部４と、キャリ
ブレーション等により予め求められた、ステレオ画像を
撮影するカメラのカメラ位置を記憶しているカメラ位置
情報部６と、ステレオ画像とは異なる方向から被写体を
撮影した画像（以下、第３画像という）を利用してステ
レオ対応点探索を行う画像マッチング部７と、画像マッ
チング部７によるマッチング結果を蓄積するデータ蓄積
部８とを有して構成される。

【００２６】さらに、画像マッチング部７には、ステレ
オ画像とは異なる方向から撮影された第３画像を入力す
る第３画像入力部３と、第３画像から二値化やラベル付
け等の手法により被写体のシルエット情報を抽出しシル
エット画像を生成するシルエット抽出部５と、カメラ位
置情報６から得た、ステレオ画像を撮影するＲカメラ、
Ｌカメラのカメラ位置の相互関係からステレオ対応点が
出現する位置を算出する対応点出現位置算出部１１と、
各対応点出現位置が第３画像上のどの位置に投影される
かを逆算する投影部１２と、逆算して得られた第３画像
上の投影点が第３画像のシルエット領域内に存在するか
しないかを判定する判定部１３と、シルエット領域内に
存在する対応点出現位置のみをステレオ対応探索範囲と
して残す探索範囲記憶部１４と、ステレオ対応探索範囲
のみに関して対応点探索を行うステレオ対応探索部１５
とを有して構成される。

【００２７】本発明は、２方向から撮影したステレオ画
像（以下、Ｌ画像、Ｒ画像という）を用いてステレオ対
応を求める。この際、図２に示されるように、これら２
方向とは異なる第３の方向から撮影した画像（以下、第
３画像という）のシルエット情報をステレオ対応探索範
囲を求める際の制約条件として利用する。なお、Ｌ画像
を撮影する手段をＬカメラ、Ｒ画像を撮影する手段をＲ
カメラ、第３画像を撮影する手段を第３カメラと呼ぶ。

【００２８】上述した２台のステレオカメラの位置関係
から対応点出現位置を算出し、その点が第３画像上でど
の部分に投影されるかを算出して、対応点出現位置がシ
ルエット領域内にあるか領域外にあるかを判定する。即
ち、第３画像のシルエット情報を制約条件として利用す
ることにより、ステレオ対応点探索範囲を削減して、対
応点探索時間を短縮することを目的とする。なお、Ｌカ
メラ及びＲカメラのカメラ位置に関する情報はキャリブ
レーション等でカメラ位置情報部６に予め記憶されてい
る。

【００２９】ここで、対応点出現位置について詳細に説
明する。本実施形態においては、ステレオ対応をとるた
めの特徴点は画像の画素（ピクセル）単位で行うことを
前提としている。そのため、被写体上のある１点は、
Ｌ、Ｒカメラ画像のある１画素に投影される。逆にいえ
ば、Ｌ、Ｒ両カメラ焦点から前記画素を通過する直線の
交点に被写体上のある１点が存在することになる。この
とき、Ｌ、Ｒ画像の全ての画素に関してカメラ焦点から
引いた半直線が交わる交点がいくつか存在する。この交
点のことを対応点出現位置と呼ぶことにする。

【００３０】次に、図１に示された画像マッチング装置
の具体的な動作について詳細に説明する。

【００３１】３つの観測位置を同一水平面上に設置すれ
ば、エポピーラ拘束条件が利用できる。このためステレ
オ対応点探索はエポピーラ水平線上のみで行えばよく、
探索時間を大幅に削減することができる。この方法は、
ステレオ対応を求める際によく利用される従来から知ら
れた技術である。以下では、条件を簡単にするために、
エポピーラ拘束条件が適用できるように撮影した２枚の
画像間のステレオ対応をとる例を示す。

【００３２】図３は画像マッチング方法を説明するため
の説明図である。図３に示されるように、Ｌ画像のエポ
ピーラ線上の１画素ごとにＬカメラ焦点から引いた半直
線をＬ０，Ｌ１，・・・，Ｌｎ、また、Ｒ画像のエポピ
ーラ線上の１画素ごとにＲカメラ焦点から引いた半直線
をＲ０，Ｒ１，・・・，Ｒｎとする。さらに、第３画像
から二値化やラベル付け等の手法により被写体のシルエ
ットを抽出した際のシルエット画像のエッジと第３カメ
ラ焦点から引いた半直線をＥ１，Ｅ２とする。

【００３３】まず、キャリブレーションなどにより予め
求められているステレオ画像の撮影位置関係により、対
応点出現位置を算出する。ここでは、対応点出現位置
は、図３におけるＬ、Ｒの半直線（Ｌ０，Ｌ１…．，Ｌ
ｎとＲ０，Ｒ１，…，Ｒｎ）の交点となる。

【００３４】ここで、対応点出現位置から、第３カメラ
焦点に向けて直線を引く。この直線は第３画像上の１点
として観測される。このとき、観測点が第３画像のシル
エット画像のエッジの内側か外側かどちらにあるかを判
定することで、対応点の出現位置を限定する。

【００３５】次に、図４および図５を参照しながら、対
応点出現位置を第３画像上に投影させた点が、シルエッ
ト領域内に存在するか否かの判定方法を説明する。な
お、図４は、図３に示された対応点出現位置Ｇ１，Ｇ２
が、第３画像のシルエット領域内に存在するか否かの判
定方法を詳細に説明するための図であり、図５は、図４
の第３画像の撮像面３１である。

【００３６】対応点の出現位置Ｇ１から第３カメラの焦
点に引いた直線２１が第３カメラの撮像面３１と交わる
点（投影点）４１は、半直線Ｅ１と第３カメラの撮像面
３１の交わる点４２と、半直線Ｅ２と第３カメラの撮像
面３１の交わる点４４との外側にあり、第３画像のシル
エット領域３２内に存在しない。このため、この対応点
出現位置Ｇ１を対応点探索範囲から除外する。

【００３７】これに対して、対応点の出現位置Ｇ２から
第３カメラの焦点に引いた直線２２が第３カメラの撮像
面３１と交わる点４３は、半直線Ｅ１と第３カメラの撮
像面３１の交わる点４２と、半直線Ｅ２と第３カメラの
撮像面３１の交わる点４４との内側にあり、第３画像の
シルエット領域３２内に存在する。このため、この対応
点出現位置Ｇ２を対応点探索範囲とする。

【００３８】以上の操作を全ての対応点出現位置に関し
て算出することにより、対応点探索の範囲を制限する。
図３において、対応点出現位置にあるマークのうち、黒
丸５０で表されるものが対応点探索の範囲外であり、白
丸５１で表されるものが対応点探索の範囲内となる。

【００３９】ステレオ対応探索部１５は、上述の如き手
法で求められた探索範囲内の対応点出現位置に関しての
み、Ｌ、Ｒ画像からステレオ対応探索を行う。

【００４０】次に、図６のフローチャートを参照しなが
ら上述した第１の実施形態による全体の動作について詳
細に説明する。

【００４１】まず、ステレオ対応を求める２枚の画像
（Ｌ画像、Ｒ画像）を取り込む（ステップＳ１）。次
に、特徴点抽出部４が、入力したＬ、Ｒ画像からステレ
オ対応を求めるための特徴点（エッジ、色など）を抽出
する（ステップＳ２）。

【００４２】これとは別に、第３画像入力部３により、
ステレオ画像とは異なる方向から撮影された第３画像を
取り込む（ステップＳ３）。次に、シルエット抽出部５
が、入力した第３画像から二値化やラベル付け等の手法
により被写体のシルエット情報を抽出しシルエット画像
を生成する（ステップＳ４）。

【００４３】次に、キャリブレーション等により予め算
出され、カメラ位置情報部６に記憶されているステレオ
画像の撮影位置関係を用いて、対応点出現位置算出部１
１が、全てのステレオ対応点出現位置を算出する（ステ
ップＳ５）。

【００４４】次に、投影部１２が、任意のステレオ対応
点出現位置に関し、対応点出現位置が第３画像上のどの
位置（画素）に投影されるかを算出する（ステップＳ
６）。

【００４５】次に、投影された位置（画素）がステップ
Ｓ４で求められたシルエット画像のシルエット領域内に
あるかどうかを判定する（ステップＳ７）。もし、シル
エット領域内であれば、検索範囲記憶部１４がステレオ
対応探索範囲であるとして対応点出現位置を保存する
（ステップＳ９）。また、シルエット領域外であれば、
ステレオ対応探索範囲外とする（ステップＳ８）。な
お、ステップＳ６からステップＳ９までの操作は全ての
対応点出現位置に関して算出される（ステップＳ１
０）。

【００４６】最後に、全ての対応点出現位置のうちステ
ップＳ９にて得られた対応点出現位置のみを残すことで
探索範囲を限定し、ステレオ対応検索部１５が、限定し
た探索範囲内でＬ、Ｒ画像からステレオ対応を探索し
（ステップＳ１１）、データ蓄積部８が、検索されたス
テレオ対応関係を保存する（ステップＳ１２）。

【００４７】上述した実施形態は、第３画像のシルエッ
ト情報によりステレオ対応探索範囲を制限するように構
成されているため、ステレオ対応探索を高速に、かつ誤
対応点を削減することができる。

【００４８】また、上述した第１の実施形態の変形例と
して、第３画像の枚数を１枚から複数枚に増加して、ス
テレオ対応探索を行うものであってもよい。

【００４９】この場合、第３画像を、スレテオ画像の撮
影方向とは異なる複数の方向から撮影するものとし、撮
影された複数の第３画像のシルエット画像を生成して、
シルエット領域を抽出する。そして、複数の第３画像に
よる対応点出現位置の削減を上述した第１の実施形態と
同様に行う。

【００５０】複数の第３画像を用いて対応点出現位置を
削減することにより、より探索範囲を狭めることがで
き、ステレオ対応探索の高速化および誤対応点の削減を
行うことができる。

【００５１】また、上述した第１の実施形態及びその変
形例において、ステレオ対応探索に動的計画法（ＤＰ：
Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）を利用する
場合は、動的計画法の制約条件に、探索範囲の限定条件
を付加することで、同様の効果を得ることができる。

【００５２】次に、図７を参照しながら本発明に係る第
２の実施形態について説明する。図２には、本発明に係
る第２の実施形態が示されている。

【００５３】図７に示されるように第２の実施形態は、
上述した第１の実施形態とは画像マッチング部の構成に
おいて異なる。第２の実施形態の画像マッチング部９
は、ステレオ対応探索部１５が第２のステレオ対応探索
部１６に変更され、探索範囲記憶部１４が削除されてい
る。これに伴い、対応点出現位置算出部１１と、判定部
１３の入力、出力先が変更されている。

【００５４】これらの手段はそれぞれ概略つぎのように
動作する。第２のステレオ対応探索部１６は、Ｌ、Ｒ画
像の特徴点抽出結果からステレオ対応点探索を行う。即
ち、特徴点抽出部４により特徴点として抽出されたＬ及
びＲの両画像の画素についてステレオ対応点探索を行
う。対応点探索が正しく行われた場合は、物体面に最も
近い交点が選ばれる。

【００５５】対応点出現位置算出部１１は、第２のステ
レオ対応探索部１６が算出したステレオ対応関係と、カ
メラ位置情報６とから、対応点の対応点出現位置を算出
する。算出された対応点出現位置は図３における対応点
出現位置５０、５１のいずれか１点となる。

【００５６】判定部１３は、投影部１２により得られた
対応点出現位置の第３画像上の投影点が第３画像のシル
エット領域内に存在するか否かを判定する。判定の結
果、第３画像上の投影点がシルエット領域内に存在すれ
ば、その対応点を有効な対応点とし、データ蓄積部８に
保存する。逆に、第３画像上の投影点がシルエット領域
外に存在すれば、その対応点を無効な対応点とし、その
対応点は以降の処理で使用しないこととする。

【００５７】次に、本第２の実施形態の具体的な処理に
ついて図４及び図５を参照しながら説明する。

【００５８】図４に示すように、例えば、特徴点抽出部
４により抽出された特徴点（エッジ、色など）のうち、
Ｌ画像上の画素ＰＬ１とＲ画像上の画素ＰＲ１、及び、
Ｌ画像上の画素ＰＬ２とＲ画像上の画素ＰＲ２が対応点
として探索されたとする。なお、Ｌ画像上の画素ＰＬ１
及びＰＬ２と、Ｒ画像上の画素ＰＲ１及びＰＲ２は、エ
ピポーラ線上の画素である。また、図４に示されるよう
に画素ＰＬ１と画素ＰＲ１との対応点出現位置はＧ１で
あり、画素ＰＬ２と画素ＰＲ２との対応点出現位置はＧ
２である。

【００５９】第１の実施形態の動作と同様、対応点出現
位置Ｇ１、Ｇ２に関する第３画像上の投影点が、第３画
像のシルエット領域内に存在するか否かの判定方法を図
４及び図５を参照しながら詳細に説明する。

【００６０】第１の実施形態と異なるのは、対応点出現
位置Ｇ１、Ｇ２は、第１の実施形態においては対応点候
補でしかないが、第２の実施形態においては、特徴点抽
出部４において抽出されたＬとＲの両画像の特徴点に対
してステレオ対応点を探索した点であるということであ
る。

【００６１】対応点出現位置Ｇ１から第３カメラ焦点に
引いた半直線２１が第３カメラの撮像面３１と交わる点
（投影点）４１は、半直線Ｅ１と第３カメラの撮像面３
１の交わる点４２と、半直線Ｅ２と第３カメラの撮像面
３１の交わる点４４とに挟まれる領域の外側にある。こ
れは、第３画像のシルエット領域３２内に存在しないこ
とを示す。このため、この対応点出現位置Ｇ１は、無効
な対応点として除外する。

【００６２】これに対して、対応点出現位置Ｇ２から第
３カメラ焦点に引いた半直線２２が第３カメラの撮像面
３１と交わる点４３は、半直線Ｅ１と第３カメラの撮像
面３１の交わる点４２と、半直線Ｅ２と第３カメラの撮
像面３１の交わる点４４とに挟まれる領域の内側にあ
り、第３画像のシルエット領域３２内に存在する。この
ため、この対応点出現位置Ｇ２は、有効な対応点である
とする。

【００６３】ステレオ対応点探索以降の操作を、Ｌ、Ｒ
両画像の特徴点として抽出された、エピポーラ線上の全
ての画素に関して算出することにより、探索されたステ
レオ対応点のうち第３画像で制限された有効な対応点の
みを結果として残す。

【００６４】次に、図８のフローチャートを参照しなが
ら本発明の第２の実施形態の全体の動作について詳細に
説明する。

【００６５】まず、Ｌ、Ｒ画像の取り込み（ステップＳ
２１）から、第３画像からのシルエット抽出（ステップ
Ｓ２４）までは、図６のフローチャートにおける、ステ
ップＳ１からステップＳ４までと同じ動作をする。

【００６６】次に、特徴点抽出部４で抽出されたＬ、Ｒ
画像の特徴点のうち、ある１点についてステレオ対応点
の探索を行う（ステップＳ２５）。算出されたステレオ
対応点が第３画像上のどの位置に投影されるかを算出し
（ステップＳ２６）、投影点がシルエット領域内かどう
かを判定する（ステップＳ２７）。もし、シルエット領
域内であれば、その対応点は有効であるとして対応点の
位置を保存する（ステップＳ２９）。もし、シルエット
領域外であれば、その対応点は無効であるとする（ステ
ップＳ２８）。ステップＳ２５からステップＳ２９まで
の操作をステレオ対応探索された全ての対応点に関して
算出する（ステップＳ３０）。最後に、ステップＳ２９
にて有効と判定されたステレオ対応点のみを保存する
（ステップＳ３１）。

【００６７】上述した第２の実施形態は、Ｌ、Ｒ画像の
特徴点から探索されたステレオ対応点が、第３画像によ
り有効な対応点かどうか判定するように構成されている
ため、ステレオ対応探索における誤対応点を削減するこ
とができる。

【００６８】なお、上述した第２の実施形態の変形例と
して、第３画像の枚数を１枚から複数枚に増加して、ス
テレオ対応探索を行うものであってもよい。

【００６９】複数の第３画像により対応点出現位置の妥
当性を判定することにより、より誤対応点を削減するこ
とができる。

【００７０】なお、上述した第１の実施形態、および第
２の実施形態においては、エピポーラ拘束条件を用いる
ことにより制約条件を付加し、説明を簡略化したが、第
３画像をエピポーラ拘束条件外で撮影しても、同様の効
果を得ることができる。その理由は、第３画像のシルエ
ット領域内判定は、第３画像の観測方向によらないた
め、同様の手順で算出することが可能だからである。

【００７１】

【発明の効果】以上の説明より明らかなように本発明
は、撮像手段の位置関係から対応点出現位置を算出し、
その点が第３のシルエット画像上でどの部分に投影され
るかを算出し、対応点出現位置がシルエット画像上にお
いてシルエット領域内にあるか領域外にあるかを判定す
る。そして、領域内であれると判定された対応点出現位
置に関してのみステレオ対応探索を行うことにより、ス
テレオ対応探索を高速に行うことが可能となり、誤対応
点を削減することができる。

【００７２】また、特徴点抽出手段により抽出された、
ステレオ画像の特徴点からスレテオ対応点の探索を行
い、算出されたステレオ対応点の、第３画像上での投影
点を算出し、第３画像上に投影された投影点がシルエッ
ト画像のシルエット領域内に存在するかどうかを判定す
ることにより、ステレオ探索をより高速に行うことがで
き、誤対応点をさらに削減することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の構成を示す示すブ
ロック図である。

【図２】本発明に使用するステレオ画像および第３画像
の撮影に関する説明図である。

【図３】第１の実施形態の動作の具体例を示す説明図で
ある。

【図４】第１の実施形態の動作の具体例を示す説明図で
ある。

【図５】第３画像のシルエット画像を表す図である。

【図６】第１の実施形態の動作を示す流れ図である。

【図７】本発明の第２の実施形態の構成を示すプロック
図である。

【図８】第２の実施の形態の動作を示す流れ図である。

【図９】従来技術を示すブロック図である。

【図１０】従来技術を示す説明図である。

【符号の説明】

１ Ｌ画像入力部 ２ Ｒ画像入力部 ３ 第３画像入力部 ４ 特徴点抽出部 ５ シルエット抽出部 ６ カメラ位置情報部 ７、９ 画像マッチング部 ８ データ蓄積部 １１ 対応点出現位置算出部 １２ 投影部 １３ 判定部 １４ 検索範囲記憶部 １５ ステレオ対応探索部 ２１ 投影線（Ｇ１−第３カメラ焦点） ２２ 投影線（Ｇ２−第３カメラ焦点） ３１ 撮像面 ３２ シルエット領域 ４１ 投影点（Ｇ１−第３カメラ焦点） ４２ 投影点（第３画像シルエットのエッジ右側−第３
カメラ焦点） ４３ 投影点（Ｇ２−第３カメラ焦点） ４４ 投影点（第３画像シルエットのエッジ左側−第３
カメラ焦点） ５０ 対応点出現位置（探索範囲外） ５１ 対応点出現位置（探索範囲内） Ｅ１ 第３画像シルエットのエッジ左側 Ｅ１ 第３画像シルエットのエッジ右側 Ｇ１ 対応点出現位置（ＰＬ１とＰＲ１の対応点） Ｇ２ 対応点出現位置（ＰＬ２とＰＲ２の対応点） ＰＬ１ Ｌ画像上の画素 ＰＬ２ Ｌ画像上の画素 ＰＲ１ Ｒ画像上の画素 ＰＲ２ Ｒ画像上の画素 Ｌ 投影線（Ｌ画像の各画素−Ｌカメラ焦点） Ｒ 投影線（Ｒ画像の各画素−Ｒカメラ焦点）

フロントページの続き Ｆターム(参考） 2F112 AC03 AC06 BA05 CA12 DA02 FA21 FA31 5B057 DA07 DB03 DB06 DC05 DC16 DC25 DC32 5L096 AA09 CA05 FA14 FA15 FA69 HA08 JA18 JA20 9A001 BB03 BB04 FF03 GG09 HH19 HH21 HH28 HH29 HH31 KK16 KK37 KK42

Claims (9)

【特許請求の範囲】
1. 【請求項１】 対象物のステレオ画像を撮影するステレ
   オ画像入力手段と、 前記ステレオ画像入力手段により撮影したステレオ画像
   からステレオ対応をとるための特徴点を抽出する特徴点
   抽出手段と、 制約条件により限定されたステレオ対応探索範囲内でス
   テレオ対応探索を行う画像マッチング手段と、 前記画像マッチング手段によるマッチング結果を保存す
   るデータ蓄積手段と、を有することを特徴とする画像マ
   ッチング装置。
2. 【請求項２】 前記画像マッチング手段は、 前記ステレオ画像入力手段によるステレオ画像撮影方向
   とは異なる方向からの第３画像を撮影する第３画像入力
   手段と、 前記第３画像のシルエット画像を抽出するシルエット抽
   出手段と、 前記ステレオ画像入力手段のステレオ画像撮影の位置関
   係からステレオ対応点の存在する位置となる、ステレオ
   対応点出現位置を算出する対応点出現位置算出手段と、 前記ステレオ対応点出現位置の、前記第３画像上での投
   影点を算出する投影手段と、 前記第３画像上に投影された投影点が前記シルエット画
   像のシルエット領域内に存在するかどうかを判定する判
   定手段と、 前記シルエット領域内に存在するステレオ対応点出現位
   置に関してのみ前記ステレオ画像からステレオ対応を行
   うステレオ対応探索手段と、 を有することを特徴とする請求項１記載の画像マッチン
   グ装置。
3. 【請求項３】 前記画像マッチング手段は、 前記ステレオ画像入力手段によるステレオ画像撮影方向
   とは異なる方向からの第３画像を撮影する第３画像入力
   手段と、 前記第３画像のシルエット画像を抽出するシルエット抽
   出手段と、 前記特徴点抽出手段により抽出された、前記ステレオ画
   像の特徴点からスレテオ対応点の探索を行う第２のステ
   レオ対応探索手段と、 前記第２のステレオ対応探索手段により算出されたステ
   レオ対応点の、前記第３画像上での投影点を算出する投
   影手段と、 前記第３画像上に投影された投影点が前記シルエット画
   像のシルエット領域内に存在するかどうかを判定する判
   定手段と、 を有することを特徴とする請求項１記載の画像マッチン
   グ装置。
4. 【請求項４】 撮像手段により撮像された対象物のステ
   レオ画像を入力するステレオ画像入力工程と、 前記ステレオ画像入力工程により撮影したステレオ画像
   からステレオ対応をとるための特徴点を抽出する特徴点
   抽出工程と、 制約条件により限定されたステレオ対応探索範囲内でス
   テレオ対応探索を行う画像マッチング工程と、 前記画像マッチング工程によるマッチング結果を保存す
   るデータ蓄積工程と、 を有することを特徴とする画像マッチング方法。
5. 【請求項５】 前記画像マッチング工程は、 前記撮像手段によるステレオ画像撮影方向とは異なる方
   向からの第３画像を撮影する第３画像入力工程と、 前記第３画像のシルエット画像を抽出するシルエット抽
   出工程と、 前記撮像手段のステレオ画像撮影の位置関係からステレ
   オ対応点の存在する位置となる、ステレオ対応点出現位
   置を算出する対応点出現位置算出工程と、 前記ステレオ対応点出現位置の、前記第３画像上での投
   影点を算出する投影工程と、 前記第３画像上に投影された投影点が前記シルエット画
   像のシルエット領域内に存在するかどうかを判定する判
   定工程と、 前記シルエット領域内に存在するステレオ対応点出現位
   置に関してのみ前記ステレオ画像からステレオ対応を行
   うステレオ対応探索工程と、 を有することを特徴とする請求項４記載の画像マッチン
   グ方法。
6. 【請求項６】 前記画像マッチング工程は、 前記撮像手段によるステレオ画像撮影方向とは異なる方
   向からの第３画像を撮影する第３画像入力工程と、 前記第３画像のシルエット画像を抽出するシルエット抽
   出工程と、 前記特徴点抽出工程により抽出された、前記ステレオ画
   像の特徴点からスレテオ対応点の探索を行う第２のステ
   レオ対応探索工程と、 前記第２のステレオ対応探索工程により算出されたステ
   レオ対応点の、前記第３画像上での投影点を算出する投
   影工程と、 前記第３画像上に投影された投影点が前記シルエット画
   像のシルエット領域内に存在するかどうかを判定する判
   定工程と、 を有することを特徴とする請求項４記載の画像マッチン
   グ方法。
7. 【請求項７】 撮像手段により撮影されたステレオ画像
   からステレオ対応をとるための特徴点を抽出する特徴点
   抽出処理と、 制約条件により限定されたステレオ対応探索範囲内でス
   テレオ対応探索を行う画像マッチング処理と、 前記画像マッチング処理によるマッチング結果を保存す
   るデータ蓄積処理と、 を実行するためのプログラムを記録したことを特徴とす
   る画像マッチング用プログラムを記録した記録媒体。
8. 【請求項８】 前記画像マッチング処理は、 前記撮像手段によるステレオ画像撮影方向とは異なる方
   向から撮影された第３画像のシルエット画像を抽出する
   シルエット抽出処理と、 前記撮像手段のステレオ画像撮影の位置関係からステレ
   オ対応点の存在する位置となる、ステレオ対応点出現位
   置を算出する対応点出現位置算出処理と、 前記ステレオ対応点出現位置の、前記第３画像上での投
   影点を算出する投影処理と、 前記第３画像上に投影された投影点が前記シルエット画
   像のシルエット領域内に存在するかどうかを判定する判
   定処理と、 前記シルエット領域内に存在するステレオ対応点出現位
   置に関してのみ前記ステレオ画像からステレオ対応を行
   うステレオ対応探索処理と、 を有することを特徴とする請求項７記載の画像マッチン
   グ用プログラムを記録した記録媒体。
9. 【請求項９】 前記画像マッチング処理は、 前記撮像手段によるステレオ画像撮影方向とは異なる方
   向から撮影された第３画像のシルエット画像を抽出する
   シルエット抽出処理と、 前記特徴点抽出処理により抽出された、前記ステレオ画
   像の特徴点からスレテオ対応点の探索を行う第２のステ
   レオ対応探索処理と、 前記第２のステレオ対応探索処理により算出されたステ
   レオ対応点の、前記第３画像上での投影点を算出する投
   影処理と、 前記第３画像上に投影された投影点が前記シルエット画
   像のシルエット領域内に存在するかどうかを判定する判
   定処理と、 を有することを特徴とする請求項７記載の画像マッチン
   グ用プログラムを記録した記録媒体。