JP2001153633A - 立体形状検出方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 繰り返しパターン部の対応を安定に得ること
ができ、画像全体から正しい対応を得ることができるよ
うにすること。 【解決手段】 一対のテレビカメラなどの撮像手段１−
１，１−２を用いて対象情景を撮像して２つの画像を得
て、画像補正部３で画像補正を行ない、特徴抽出部４で
２つの画像毎に特徴画像を抽出する。ついで、ステレオ
対応付け部５の小領域分割手段５ａで小領域に分割し、
対応度計算部５ｂにおいて、対応の求まっていない小領
域毎に探索領域内での類似度の分布を作成し、該類似度
の分布から対応可能性を決める対応度を求める。次い
で、処理順序決定部５ｃで対応度のよいものから順番に
並べ、小領域対応付け部５ｄにおいて安定した対応が得
られる部分から順に対応を求めていく。２つの画像間で
の位置のずれ（両眼視差) が求まったら、距離変換部６
においてカメラ１−１からの３次元位置を定める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、立体映像通信や、
立体映像放送、立体画像生成、３次元形状計測、３次元
物体認識、移動ロボット用ナビゲーションなど、ステレ
オ画像に基づく３次元情報の抽出を行なう広範囲の産業
分野で利用することができる、両眼視差を用いて立体の
３次元位置や形状を安定に検出する立体形状検出方法お
よび装置に関する。

【０００２】

【従来の技術】従来より、２つあるいは３つ以上の撮像
手段により得た２つあるいは３つ以上の画像による両眼
視差を利用して立体の形状を検出する方法が各種提案さ
れている。この種の立体形状検出方法の原理を、最も基
本となる２つの撮像手段による場合について図１４を用
いて説明する。テレビカメラのような一対の撮像手段
（以下カメラという）１−１，１−２の撮像面Ｉ１、Ｉ
２に対してレンズＬ１、Ｌ２を通じて物体上の同一点Ｐ
が投影されている。ここで、撮像面Ｉ１、Ｉ２は互いに
同一平面上に配置され、各撮像面から対応するレンズ間
での焦点距離ｆは等しく、さらにカメラ１−１，１−２
の光軸は互いに平行でｂだけ離れて設置してあるとす
る。

【０００３】もし、一対の撮像手段１−１，１−２が任
意の配置となっていても、カメラ間の幾何関係をあらか
じめ測定しておくことで、撮像された画像を上記状態で
得られた画像に変換することは可能である。したがっ
て、上記状態を基準に話を進める。このとき、物体上の
点Ｐは撮像された画像ではそれぞれｐ1 （ｐ1x，ｐ1
y）、ｐ2 （ｐ2x，ｐ2y）の位置で観測される。ここ
で、両画像で対応する点の画像上での位置のずれを視差
ｄとよぶ。ここでは、ｄ＝ｐ2x−ｐ1xとなる。一方のカ
メラ（ここではカメラ１−１とする) から見た時の物体
点ｐの３次元座標（Ｘ１，Ｙ１，Ｚ１）は以下の式(1a)
〜(1c)のように表される。

【０００４】Ｚ１＝ｆ・（ｂ／ｄ） …(1a) Ｘ１＝ｐ1x・（ｂ／ｄ）…(1b) Ｙ１＝ｐ1y・（ｂ／ｄ）…(1c)

【０００５】ここで、Ｚ１はカメラ１−１からの距離、
ｆはカメラの焦点距離、ｂは両カメラ間距離、ｄは視
差、Ｘ１はカメラ１−１からの３次元Ｘ座標、ｐ1xは画
像中心からのＸ座標、Ｙ１はカメラ１−１からの３次元
ｙ座標, ｐ1yは画像中心からのＹ座標である。このよう
に、３次元情景中の任意の点に対する両画像での投影点
を定めれば、投影点の画像での座標値と視差値が求めら
れるので、上式(1a)〜(1c)により３次元位置を求めるこ
とができる。これが両眼視による３次元位置算出の原理
である。なお、３つ以上の撮像手段を用いた場合でも、
任意の２つの撮像手段を考えれば、上記と同じとなる。

【０００６】上記原理より明らかなように、視差を用い
て３次元位置を求めるためには、両画像で対応する同一
物体の投影点を求めることが必要である。これを「対応
探索問題」と呼ぶ。以下、「対応探索問題」についてさ
らに詳しく説明する。いま、一対の撮像手段により得ら
れたステレオ画像を考える。一方の画像( ここでは左画
像とする) のある点ｐ1 に着目する。このとき、他方画
像（ここでは右画像とする) でのｐ1 に対応する点ｐ2
は、２つのカメラの位置関係より決定されるエピポーラ
線と呼ばれる拘束線上に位置する。

【０００７】ここでは２つのカメラの光軸は互いに平行
と等価な場合に画像変換を行なうので、エピポーラ線は
同一走査線( 同一ｙ座標) で、かつ、ｐ2 はｐ1 を他方
画像へ写した位置より左方に位置する。したがって、対
応点探索には左画像の各位贋（ｐ1 ）に対して、右画像
での同一走査線上を、ｐ1 のｘ座標より左方に向けてあ
る探索範囲Ｒだけ走査しながら最も類似した箇所を定め
ることで対応する組みが得られる。このとき、点のみで
類似度を定めるのは困難なため、点を含む一定の範囲の
情報を利用して類似度を求める。一般には、探索範囲に
は複数の対応候補が存在するので、真の対応箇所を定め
ることは容易ではなく、いかに正しく対応箇所を得るか
が両眼視差を用いる３次元距離計測の要点である。

【０００８】これまで提案された代表的な方式としては
以下のものに大別できる。 (1) 画像の各位置で独立に対応を求める方法。 (2) 画像の各位置で周囲の一定範囲あるいは画像全体で
の何らかの支持を元に対応を求める方法。 上記(1) の代表的なものとしては、一方の画像を一定の
大きさを持つ小領域に区切り各小領域に対して、あるい
は一方の画像の各画素に対して、あるいは一方の画像の
特徴点に対して、他方画像を走査して小領域内の輝度分
布の類似性を、正規化相関、輝度差の絶対値和（ＳＡ
Ｄ）、輝度値の差の２乗和（ＳＳＤ）などで評価して最
も類似した部分と対応を付けるものがある。

【０００９】上記(2) では以下のものなどがある。 (a) 近傍の距離変化は小さいとして視差変化の大きさに
制限を設ける方法。 (b) 局所的な領域で求めた対応度合（対応エネルギー）
と隣り合う領域の視差の違いで定義される歪みエネルギ
ーの画像全体の総和を弛緩的に最小化することで全体で
最も良い対応を得るエネルギー最小化法。 (c) 対応付ける特徴量の信頼性に着目して高信頼なエッ
ジ点から順に対応を求めていき、より信頼性が低いエッ
ジ点の対応に既に求まったより信頼性の高いエッジ点の
対応情報を利用するもの。

【００１０】ここでは、(c) 特徴の信頼性に基づく方法
（山口・中山・白井・浅田「信頼性の高い対応を優先し
た多段階ステレオ法」電子情報通信学会論文誌、Vo1,J7
4-D-II、No.7,1991 ）について説明する。これによれ
ば、輝度値の急変する部分（エッジ点) を対応付ける特
徴点とするとき、次の２つの特長を持つ。 i)エッジ点の位置情報は輝度変化（コントラスト）が大
きいほど確かで逆に低いほど不安定なる。 ii) 画像においてコントラストが大きいエッジ点の個数
は少ないので対応候補が少なく容易に対応付けられる。 これら特長に着目し、あらかじめエッジをコントラスト
値の大きさで複数のグループに分類しておき、まず、最
もコントラストの高いグループに属す信頼が高く容易に
対応付けられるエッジ点の対応を求め、順によりコント
ラストの低いグループのエッジ点を対応付ける。

【００１１】

【発明が解決しようとする課題】まず、前記(1) の画像
の各位置で独立に対応を求める方法では、画像の各位置
で独立に対応を求めている。しかし、独立に対応付けた
のでは、対象情景中に類似した形状の立体が複数あった
り繰り返し模様を含む物体があると、真に対応する部分
と偽の対応の部分との類似度の違いはわずかであるた
め、画像のノイズや照明の影響により容易に誤った部分
と対応してしまう。実際には物体のない位置の距離を示
すことがある。次に、前記(2) の周囲の何らかの支持を
元に対応を求める方法の問題について述べる。

【００１２】まず、前記(a) の方法では、着目部分の対
応を独立に求めるのではなく、近接領域との視差変化の
大きさに制限を設けて周囲の対応状況を反映させること
で安定した対応を得ている。しかし、画像中に設けた着
目部分をあらかじめ決められた順序で走査して、対応付
けの難易度に無関係に処理するものがほとんどであり、
繰り返しパターンがあるなど対応付けが困難な部分を先
に対応付けてしまい、もしその部分が誤対応となれば、
その影響が後段に伝わり、結果として広い範囲で誤った
対応を生じる。

【００１３】次に前記(b) の方法では、エネルギー最小
化により画像の部分でなく全体の対応の一貫性を考える
ことで、矛盾のない対応を得ているが、一般にエネルギ
ー最小化には多くの繰り返し演算が必要であり実用的で
ない。また前記(c) の方法では、グループ分けはコント
ラストの大きさにより分けているが、同一コントラスト
群に属すエッジ点については、従来の固定的な順序で対
応を求めているので、繰り返しパターンでの順序性によ
る誤対応伝播の問題がある。しかも、高コントラストの
エッジの対応に誤りを生じると、その情報が後段のより
コントラストの低いエッジ点への対応付けに利用され、
結果として誤った情報が広範囲に伝播して誤対応が増加
する。さらに、対応付けの初期段階では高コントラスト
の少量のエッジ点しか用いないので、視差のヒストグラ
ムに投票するエッジ点の個数が少なくヒストグラム形状
が不安定となり、繰り返しパターンにより弱くなるとい
う問題もある。

【００１４】本発明は上記した事情を考慮してなされた
ものであって、従来では対応付けが困難であった繰り返
しパターン部の対応を安定に得ることができ、画像全体
から正しい対応を得ることができる立体形状検出方法お
よび装置を提供することである。

【００１５】

【課題を解決するための手段】立体の３次元情報獲得す
る方法を基本である２つの撮像装置を用いた場合につい
て本発明を説明する。２次元の配列で各要素に値を持つ
形式の情報を画像と定義する。図１に示すように、一対
のテレビカメラなどの撮像手段１−１，１−２を用いて
対象情景を撮像して２つの画像を得る。これをステレオ
画像と呼ぶ。もし、一対の撮像手段１−１，１−２の光
軸が互いに平行でかつ撮像面が同一平面上にないなら
ば、画像補正部３で取得したカメラの外部（幾何）パラ
メータおよびカメラ内部パラメータを用いて、互いに平
行に置かれた一対の撮像手段１−１，１−２で得られた
画像と等価となるように画像補正を行ない、特徴抽出部
４において２つの画像毎に特徴画像を抽出する。

【００１６】次いで、上記特徴画像を入力とし、ステレ
オ対応付け部５で情景中にある立体２の２つの画像での
投影点を定めることで２つの画像を対応付け、２つの画
像間での位置のずれ（両眼視差：以下では単に視差と呼
ぶ) を求め、距離変換部６において前記した式(1a)〜(1
c)によりカメラ１−１からの３次元位置を定める。２つ
の画像での同一立体２の投影点は、一方の画像のある部
分ついて他方面像中から似通った部分を探索することで
得る。ここで、対象情景中に類似した形状の立体が複数
あったり、繰り返し模様を含む物体があると、それら類
似パターンのために似通った部分が複数存在して対応が
曖昧となる。このような場合に、最も似通った部分と対
応付けると、画像のノイズや照明の影響により容易に誤
った部分と対応して、実際とは異なった３次元位置を算
出する可能性がある。

【００１７】そこで、本発明では、両画像間での対応の
唯一性を対応の安定度の指標として、対象領域の位置に
よらず、対応の安定度（唯一度）の高い順序で対応付け
ることで、従来手法の問題である固定の走査順序による
誤った対応情報の伝播を防ぐ。これにより繰り返しパタ
ーンの存在下でも安定な対応は他の影響を受けず正しい
対応を得ることを可能とする。また、繰り返しパターン
部など局所的には類似したパターンがあり安定度が低い
部分の対応を求めるときには、周囲にある既に対応の求
まった安定度の高い部分の視差値の助けを得ることで対
応情報を伝播していき、徐々に安定した対応を得る。こ
のように、対応が唯一で曖昧性がないという意味で最適
な順序で対応を求めているので、繰り返しパターンの存
在下でも安定した対応が得られる。上記対応の唯一性は
次のように求める。一方の画像の着目領域と他方画像で
の対応候補領域とで定義される何らかの類似度を、候補
領域を走査しながら求めた類似度分布について、類似度
が最も高い部分が次に高い部分に比べて突出しているほ
ど唯一性が高いとする。

【００１８】すなわち、本発明においては、図１に示す
ように、ステレオ対応付け部５に、撮像した同じ物体を
含む情景の画像を小領域に分割する小領域分割手段５ａ
と、一方の画像の各小領域に対して、他方画像の探索範
囲内における局所画像の対応の唯一性を評価して対応度
を定める対応度計算部５ｂと、上記対応度に基づき処理
順序を決定する処理順序決定部５ｃと、上記処理順序で
上記両小領域を対応付ける小領域対応付け部５ｄを設け
る。そして、対応度計算部５ｂにおいて、対応の求まっ
ていない小領域毎に探索領域内での類似度の分布を作成
し、該類似度の分布から対応可能性を決める対応度を求
める。次いで、処理順序決定部５ｃで対応度のよいもの
から順番に並べ、小領域対応付け部５ｄにおいて安定し
た対応が得られる部分から順に対応を求めていく。ま
た、類似パターンなどで局所的には対応が求まらない部
分については、周囲にある既に対応が求まった部分の対
応情報を利用することで徐々に安定した対応を得る。

【００１９】対応付ける特徴量としては、エッジを用い
る場合にはコントラストによらず着目領域内の全てのエ
ッジ点を用い、輝度値を用いる場合には、着目領域内の
輝度値分布をそのまま利用することで、十分な数の特徴
により安定した類似度分布を得て、正しい対応の取得を
可能となる。これにより、対応が明らかな部分は他に影
響されず安定に対応が求まり、繰り返しパターンなどで
対応が不明確な部分は周囲からの既に対応の求まった小
領域の対応情報を使用することで安定した対応を得るこ
とができる。したがって、画像全体に渡って安定して正
しい視差が得られるので、立体の３次元位置や形状を正
しく求めることが可能となる。また、上記において、一
方の画像から同一画像へ対応を求めた場合の自己対応度
と、一方の画像から他方の画像へ対応を求めた場合の他
己対応度を用いて小領域の対応度を求めてもよい。

【００２０】

【発明の実施の形態】図２は本発明の実施例のシステム
の構成例を示す図である。同図において、１１はＣＰ
Ｕ、１２はＣＲＴ、液晶ディスプレイ等の表示装置、キ
ーボード、マウス等の入力装置から構成される入出力装
置、１３はＲＯＭ、ＲＡＭ等から構成されるメモリ、１
４はプログラム、データ等を記憶する外部記憶装置、１
５は電話回線を使用してデータ通信をするためのモデ
ム、ＬＡＮ等のネットワークを使用してデータ通信を行
うためのネットワークカード等を含む通信インタフェー
スである。

【００２１】撮像装置（以下カメラという）１−１，１
−２で撮像された対象情景は、インタフェースＩ／Ｆを
介してＣＰＵ１１に入力される。外部記憶装置１４には
本発明の処理を行うためのプログラムが格納されてお
り、ＣＰＵ１１に入力された対象情景は上記プログラム
で処理されて立体形状が検出され、処理結果が外部記憶
装置１４に格納され、また入出力装置１１から出力され
る。また、第３のカメラ１−３を設け、第３のカメラ１
−３で撮像された対象情景をＣＰＵ１１に入力し、上記
カメラ１−１，１−２で撮像された対象情景に加えて、
カメラ１−３で撮像された対象情景を利用して立体形状
を検出するようにしてもよい。

【００２２】次に本発明の第１の実施例の対応付け処理
の概略を図３により説明する。なお、ここでは２台のカ
メラを用いて対象情景を撮像した場合について説明する
が、上記のように３台以上のカメラを用い、これらのカ
メラで撮像された対象情景のそれぞれの対応を取り、よ
り対応度の高いものを用いて立体形状を検出するように
してもよい。図３において、カメラ１−１，１−２によ
り対象情景を撮像し、その結果であるａ，ｂの２つの濃
淡画像（左右濃淡画像) を得る。ここで、一対のカメラ
１−１，１−２間の位置関係は任意とするが、あらかじ
め何らかの手段によって２つのカメラ間の幾何的な関係
は求まっているものとする。なお、ここでは便宜上カメ
ラ１−１を左カメラ、カメラ１−２を右カメラと呼ぶ。
以下ではこの規則にのっとり、左と右の接頭文字を付け
て２つのカメラの出力を区別する。

【００２３】次に、画像補正部３では、２つのカメラ１
−１，１−２で撮像された２つの画像について、２つの
カメラ１−１，１−２の光軸が平行で、しかも撮像面が
同一平面となるような関係（基準配置) にしたときに観
測できる画像となるように、画像補正部３においてカメ
ラ間の幾何関係を用いて２つの濃淡画像ａ、ｂを補正
し、左右補正濃淡画像ｃ，ｄを得る。上記補正は、任意
位置でのカメラに対する基準配置のカメラのＸ，Ｙ，Ｚ
軸それぞれの回転角度をθ、φ、ξとし、２次歪み係数
をκとすると、基準配置での画像の座標ｐc （ｘc ，ｙ
c ）は、任意位置で撮像された画像の座標ｐo （ｘo，
ｙo ）を用いて以下の式(2a)，（2b) のように表され
る。

【００２４】

【数１】

【００２５】この関係式により任意配置のカメラで撮像
された両画像を基準配置のカメラで撮像した画像に変換
できる。これら補正濃淡画像ｃ，ｄより特徴抽出部４で
２つの画像毎に特徴画像ｅ，ｆ（エッジ点、エッジ強
度、エッジ方向) を求める。エッジ点、エッジ強度、エ
ッジ方向を求める手段についてはここでは言及しない
が、例えばエッジ点は濃淡画像にラプラシアンガウシア
ンを積和的に作用させたもののゼロ交差点から得られ、
エッジ強度は濃淡画像にグラーディエントガウシアンを
積和的に作用させて得られたベクトルの大きさで、ま
た、エッジ方向はそのベクトルの方向でそれぞれ得るこ
ともできる。ステレオ対応付け部５では、これら特徴画
像ｅ，ｆを入力として２つの画像のエッジ点間の対応付
け処理を行ない、各エッジ点位置について視差値を持つ
視差画像ｇを得る。この視差画像ｇより距離変換部６で
前記式(1a)〜(1c)で示した関係式を用いて対象物の距離
ｈを算出する。

【００２６】次に、図３におけるステレオ対応付け処理
部５の詳細について図４により説明する。ステレオ対応
付け処理部５では、図４に示すように、まず左特徴画像
を、小領域分割部５ａにおいて一定の大きさの小領域に
分割する。このとき、小領域は互いに重ならないように
配置しても良いし、互いにある程度重なるように小領域
を配置しても良い。ここでは、小領域の一辺の大きさの
１／２だけずらしながら配置したものを考える。次に、
対応度計算部５ｂでは、対応の求まっていない小領域
（以下では未対応小領域と呼ぶ) 毎に、属するエッジ点
と、その対応候補点を用いて対応可能性の善し悪しを決
める対応度を求める。ここで、対応候補点とは、他方特
徴画像（右特徴画像) のエピポーラ線上で対応探索範囲
にあるエッジ点群でエッジの属性（エッジ強度とエッジ
方向) が対応付ける対象のエッジと類似しているものを
指す。また、対応度を求めるとは、小領域を代表する視
差（代表視差と呼ぶ) を求めるとともに、その視差がど
れだけ安定しているかを定めることを意味する。

【００２７】これに続き、対応度による処理順序決定部
５ｃでは、未対応小領域について対応度の良いものから
順に並べ、その上位α％を「対応付け処理対象小領域」
とする。ここで、上位α％の代わりに、上位β個として
も良い。次に、上記「対応付け処理対象小領域」とされ
た各小領域について、小領域対応付け部５ｄにおいて、
小領域に属す各エッジ点について、他方特徴画像を調
べ。そして、小領域の代表視差に相当する位置に実際に
エッジ点があれば、それらエッジ点対を対応付ける。こ
れにより、各エッジ点毎の視差値が求まる。それを前記
した視差画像ｇに書き込む。さらに、実際に対応付けた
エッジ点があれば、その旨を記録しておく。次いで、対
応点が一点以上求まったかを調べ、対応点が一点以上求
まった場合には、前記対応度計算部５ｂに戻り、その周
囲の未対応小領域に周囲伝播（後述する）させ、さらに
対応度の良いものから悪いものへの一連の処理を繰り返
す。そして対応点が求まらなくなったら処理を終了す
る。

【００２８】次に、上記対応度計算部５ｂについて図５
を用いて説明する。対応度計算部５ｂにおいては、ま
ず、小領域の中から未対応であってまだ対応度を計算し
ていないものがあるかを調べ、未対応領域を求める（５
ｂ−１）。そして、未対応領域について視差のヒストグ
ラムを作成し、対応の類似度分布を求める（５ｂ−
２）。続いて対応度計算処理部５ｂ−３で小領域の代表
視差および対応度を実際に計算する。この操作を対応度
を求めていない未対応小領域について繰り返す。

【００２９】ここで、上述した視差のヒストグラムの作
成方法について図６により説明する。ここでは左画像の
ある小領域について考える。左画像の小領域に属す全て
のエッジ点について次の操作を行なう。まず、あるエッ
ジ点ＰＬi に着目する。ここでは、左右補正画像は光軸
が平行で撮像面が同一平面に位置するカメラで撮像され
た場合と同じとなるように補正されているので、ＰＬi
のエピポーラ線は水平線となり、ＰＬi を右画像に投影
するとＰＬi'の位置となる。ＰＬi の対応点はＰＬi'と
同一水平線上で、かつ、ＰＬi'よりも左側に位置する。
ここで、探索範囲をＲとして、ＰＬi'から左に最大Ｒま
で走査していき、得られたエッジ点の中で、ＰＬi と属
性値であるエッジ強度とエッジ方向が類似したエッジ点
を対応候補点として抽出する。そして、これら対応点対
とで定義される視差値でもって、横軸を視差値とし縦軸
を頻度とする視差のヒストグラムに投票する。

【００３０】図６では、ＰＲ１〜ＰＲ３がＰＬi のエピ
ポーラ線上から得られ、ＰＲ２、ＰＲ３は属性値が類似
していたので対応候補となったが、ＰＲ１は属性値が異
なっていたので対応候補とならなかった場合を示してい
る。対応候補点ＰＲ２、ＰＲ３については、同図に示す
ようにそれぞれ視差がｄ１，ｄ２となり、これを視差の
ヒストグラムに投票する。同様の操作を、左小領域内の
各エッジ点について行なうことにより、図６に示すよう
な類似度分布として視差のヒストグラムが得られる。

【００３１】次に、図５に示した対応度計算処理部５ｂ
−３について図７により説明する。まず、図６に示した
類似度分布に基づいて対応度算出部５ｂ−３１で対応度
を計算する。対応度が閾値以下ならば周囲視差伝播部５
ｂ−３２で周囲の小領域の対応情報を元に代表視差を決
定するとともに対応度を再計算する。もし、対応度が閾
値以上ならばその対応度を採用する。以下、対応度算出
部５ｂ−３１について更に詳述する。ここで、図８に示
すような類似度分布があったとする。ここでは、類似度
分布のピークの大きさの大きい順にＰ１，Ｐ２，…と
し、それを与える視差値をｄ１，ｄ２…とし、最大ピー
クＰ１の左右それぞれでの谷の位置をｖ１，ｖ２として
いる。ここで、最大ピーク値（Ｐｍ）、ピーク比（Ｐ
ｒ）、尖度（Ｐｋ）、対応集中度（Ｐｃ）を以下のよう
に定義する。

【００３２】 Ｐｍ＝Ｐ１／（小領域の一辺の大きさ）…(3a) Ｐｒ＝１−Ｐ２／Ｐ１…(3b) Ｐｋ＝ｍ（４）／〔ｍ（２）・ｍ（２）〕−３…(3c) Ｐｃ＝（ｖ１〜ｖ２までの面積）／（少領域内のエッジ点の個数）…(3d)

【００３３】ただし、ｍ（ｋ）は以下の式(3e)(3f)に示
すように、視差値をｄとしてｖ１〜ｖ２までの値を用い
た視差頻度のｋ次モーメントを表す。なお、式(3e)(3f)
において、ｄは視差値、ｄｖは視差値の平均、Ｐ（ｄ）
は視差ｄでの頻度、ｖ１は最小視差値、ｖ２は最大視差
値を表す。

【００３４】

【数２】

【００３５】そして、対応度Ｓｍは、Ｐｍ，Ｐｒ，Ｐ
ｋ，Ｐｃと任意の混合関数ｆ（・）を用いて以下の式(3
g)のように定義する。 Ｓｍ＝ｆ（Ｐｍ，Ｐｒ，Ｐｋ，Ｐｃ）…(3g) ここで、ｆ（・）は任意であるが、一例として、次の式
(3h)のように定義できる。ただし、ｋ１〜ｋ４は任意の
混合係数である。

【００３６】次に、図７に示した周囲視差伝播部５ｂ−
３２について説明する。図９に示すように着目小領域の
周囲のある一定範囲に存在するＮｗ個の小領域をＷｎ
（ｉ）｛ｉ：ｊ＝１〜Ｎｗ｝、その中で既に対応の求ま
ったＮｍ個の小領域群（図９の斜線を付した領域）をＷ
ｍ（ｉ）｛ｉ：ｊ＝１〜Ｎｍ｝とし、Ｗｍ（ｉ）が持つ
代表視差値をｄｍ（ｉ）｛ｉ：ｊ＝１〜Ｎｍ｝とする。
次に、図１０に示すように周囲領域視差ｄｍ（ｉ）を横
軸にとり、縦軸に頻度を取った周囲小領域の視差差ｄｍ
（ｉ）のヒストグラムを作成する。このヒストグラムの
最大ピークをＰｄ１、次ピークをＰｄ２として、最大ピ
ークを与える視差をｄｎとする。ここで、対応率Ｎｍ／
Ｎｗが閾値以上で、かつ、図１０に示すｄｍ（ｉ）のヒ
ストグラムの最大ピークが次ピークに比べ十分大きいな
ら、そのピークを与える視差値ｄｎを周囲代表視差とす
る。

【００３７】次に、図１１に示すように、着目小領域の
視差のヒストグラムについて、第１、第２、第３ピーク
それぞれの左右の谷部を求め、それに挟まれる領域を第
１山（ｖ１１〜ｖ１２）、第２山（ｖ２１〜ｖ２２）、
第３山（ｖ３１〜ｖ３２）とする。周囲の小領域から求
めた代表視差ｄｎが第１山、第２山、第３山のいずれか
に含まれるなら、その山の最大値を与える視差を代表視
差とする。また、その時の対応度をＷｍ（ｉ）の対応度
の平均値とする。

【００３８】以上説明したように、本実施例において
は、対応度、代表視差を求めて対応度の順に処理順序を
決定して２つの画像のエッジ点を対応付け、各エッジ点
位置について視差値を持つ視差画像を得ているので、従
来手法の問題である固定の走査順序による誤った対応情
報の伝播を防ぐことができ、正しい対応を得ることがで
きる。また、局所的には対応が求まらない部分について
は、周囲にある既に対応が求まった部分の対応情報を利
用して、徐々に安定した対応を得ているので、繰り返し
パターンなどの存在下でも安定した対応を得ることがで
きる。

【００３９】上述した第１の実施例では、類似度をエッ
ジを用いて求めているが、類似度として輝度の正規化相
関値、輝度差の絶対値和（ＳＡＤ) 、輝度値の差の２乗
和（ＳＳＤ）のいずれかの値を用いることもできる。以
下、輝度の正規化相関値、輝度差の絶対値和（ＳＡＤ)
、輝度値の差の２乗和（ＳＳＤ）を用いる本発明の第
２に実施例について説明する。本実施例の処理は、前記
図２〜図１１により説明した第１の実施例の処理と基本
的には同じであるが、前記図８に示した類似度分布を、
輝度の正規化相関値、輝度差の絶対値和（ＳＡＤ) もし
くは輝度値の差の２乗和（ＳＳＤ）を用いて求める。

【００４０】すなわち、図１２に示すように、一方画像
の対応付け対象の小領域Ａに対して、他方画像の探索領
域に設けた同形状の小領域Ｂとで計算される輝度の正規
化相関値、輝度差の絶対値和（ＳＡＤ) 、輝度値の差の
２乗和（ＳＳＤ）のいずれかの値をＶとするとき、（Ｃ
−Ｖ）を類似度として、探索領域内での小領域を走査し
ながら類似度分布を作成する。なお、Ｃは類似度を負値
にしないための任意の定数である。それ以外の処理は、
第１の実施例と同様であり、上記類似度に基づき対応度
を計算して処理順序を決定し対応付けを行う。

【００４１】以下に、上記正規化相関値、輝度差の絶対
値和（ＳＡＤ) 、輝度値の差の２乗和（ＳＳＤ）につい
て説明する。 正規化相関 左画像の小領域内の各位置（ｉ，ｊ）での輝度値をｑ_L
（ｉ，ｊ）、右画像の小領域Ｂの各位置（ｉ，ｊ）での
輝度値をｑ_R （ｉ，ｊ）、小領域の一辺の大きさをｗと
して、正規化相関値は次の式(4a)〜(4c)で表される。

【００４２】

【数３】

【００４３】輝度値の絶対和（ＳＡＤ） 上記と同じ記号を用いると輝度差の絶対値和Ｅ２は次
の式(5a)で表される。

【００４４】

【数４】

【００４５】輝度差の２乗和（ＳＳＤ） 上記と同じ記号を用いると輝度差の２乗和Ｅ３は次の
式(6a)で表される。

【００４６】

【数５】

【００４７】以上の実施例では、図７に示した対応度算
出部５ｂ−３１で対応度を計算する際、一方の画像から
他方の画像への対応を求めた場合の他己対応度を用いて
いるが、他己対応度に加え、一方の画像から同一画像へ
対応を求めた場合の自己対応度を用い、その両者から対
応度を求めることもできる。以下、上記自己対応度を用
いた本発明の第３の実施例について説明する。本実施例
の処理は、前記図２〜図１１により説明した第１の実施
例の処理と基本的には同じであるが、上記したように他
己対応度Ｓ１に加え、自己対応度Ｓ２を導入する。自己
対応度Ｓ２は図１３（ａ）に示すように左画像中の小領
域Ａと同一左画像の左探索範囲内の候補領域Ｃとで定め
られる類似度ヒストグラムより同様に計算される。図１
３（ａ）に示す左探索範囲は、着目小領域Ａを挟んで左
右に同じだけ右画像の探索範囲分の幅を持つ。また、他
己対応度Ｓ１は図１３（ｂ）に示すように左画像での小
領域Ａと右画像の右探索範囲内の候補領域Ｂとで定めら
れる類似度ヒストグラムより前記実施例で定義された方
法で計算される。

【００４８】対応度算出部５ｂ−３１における対象小領
域Ａの対応度の算出は、上記２つの対応度Ｓ１，Ｓ２か
らｆ２（Ｓ１，Ｓ２）の混合関数を用いた値として算出
される。ここで、ｆ（・）は任意であるが、例えば以下
のようなものが考えられる。 ｆ２（Ｓ１，Ｓ２）＝Ｃ１・Ｓ１＋Ｃ２・Ｓ２ ここで、Ｃ１，Ｃ２は任意の混合係数である。本実施例
においては、以上のようにして算出された対応度を用い
て、前記第１の実施例で説明した手法により対応付け処
理を行い、以下第１の実施例と同様な処理を行って視差
画像を得る。

【００４９】

【発明の効果】以上のように本発明においては、以下の
効果を得ることができる。 （１）両画像間の対応付けを、画像の位置によらず対応
の唯一性に基づいて正しい対応が得られる順序で行うこ
とにより、従来方式の問題であった、固定の走査順序に
よる誤った対応情報の伝播を防ぐことができる。さら
に、類似パターンなどで安定度が低く対応付けが困難な
部分については、周囲にある安定度の高い対応の視差値
を参考に対応を求めることで、 従来では対応付けが困
難であった繰り返しパターン部の対応を安定に得ること
ができ、画像全体について正しい対応を得ることができ
る。 （２）対応付ける特徴量としては、エッジを用いる場合
にはコントラストによらず着目領域内の全てのエッジ点
を用い、輝度値を用いる場合には着目領域内の輝度値分
布をそのまま利用することで、十分な数の特徴を使用し
て安定した類似度分布形状を得ることができる。 これにより、高コントラストのエッジ点など一部の特徴
を用いた際に起こり得る少量の偽の部分による顕著な類
似度ピークの形成の阻害がなくなり、画像全体から正し
い対応を得ることができる。

【図面の簡単な説明】

【図１】本発明の原理を説明する図である。

【図２】本発明の実施例のシステムの構成例を示す図で
ある。

【図３】第１の実施例の対応付け処理の概略を示す図で
ある。

【図４】図３に示したステレオ対応付け処理部の詳細を
示す図である。

【図５】図４に示した対応度計算部の詳細を示す図であ
る。

【図６】視差のヒストグラムの作成方法を説明する図で
ある。

【図７】図５に示した対応度計算処理部の詳細を示す図
である。

【図８】類似度分布とピークとの関係を示す図である。

【図９】対象小領域と周囲小領域の関係を示す図であ
る。

【図１０】周囲小領域の視差のヒストグラムを示す図で
ある。

【図１１】対象少領域の視差のヒストグラムと山との関
係を示す図である。

【図１２】相関値／ＳＳＤ値／ＳＡＤ値を用いた類似度
分布の作成を説明する図である。

【図１３】自己対応度と他己対応度の関係を示す図であ
る。

【図１４】ステレオ距離計測の原理を説明する図であ
る。

【符号の説明】

１−１〜１−３ 撮像手段（カメラ） ２ 立体 ３ 画像補正部 ４ 特徴抽出部 ５ ステレオ対応付け部 ５ａ 小領域分割手段 ５ｂ 対応度計算部 ５ｃ 処理順序決定部 ５ｄ 小領域対応付け部 ６ 距離変換部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA06 BB05 DD03 FF05 FF42 JJ03 JJ05 JJ08 JJ26 KK02 PP22 QQ05 QQ21 QQ25 QQ38 QQ42 QQ43 RR07 UU05 5B057 BA02 CD11 DA07 DB03 DC16 DC32 5L096 AA09 BA08 CA05 EA45 FA06 FA14 FA26 FA66 FA67 HA01 JA03

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ２以上の撮像手段により同じ物体を含む
   情景の画像を撮像したステレオ画像について、 一方の画像の各局所領域に対して、他方画像の探索範囲
   内における局所画像の対応の唯一性を評価して対応度を
   定め、 上記対応度に基づき、対応が容易に得られる順序で一方
   の画像の各局所領域と他方の画像の局所領域を対応付
   け、該対応付けに基づき立体形状を検出することを特徴
   とする立体形状検出方法。
2. 【請求項２】 一方の画像に設けた小領域内のエッジ点
   に対して、他方画像上の探索範囲内にあり、上記エッジ
   点に対する対応点が存在すべき拘束線上に位置したエッ
   ジ点の中で、上記一方の画像の小領域内のエッジ点との
   属性値が似かよったエッジ点を対応候補点とし、 上記一方の画像の小領域内のエッジ点と上記対応候補点
   との視差値を対応の正否にかかわらず投票した視差のヒ
   ストグラムを求めて類似度の分布とし、該類似度分布に
   基づき対応付けを行うことを特徴とする請求項１の立体
   形状検出方法。
3. 【請求項３】 一方画像の対応付け対象の小領域に対し
   て、他方画像の探索領域に設けた同形状の小領域とで計
   算される輝度の正規化相関値、輝度差の絶対値和、輝度
   値の差の２乗和のいずれかの値を類似度として、探索領
   域内で小領域を走査しながら類似度分布を作成し、該類
   似度分布に基づき対応付けを行うことを特徴とする請求
   項１の立体形状検出方法。
4. 【請求項４】 ２以上の撮像手段と、 上記撮像手段により撮像した同じ物体を含む情景の画像
   を小領域に分割する小領域分割手段と、 一方の画像の各小領域に対して、他方画像の探索範囲内
   における局所画像の探索範囲内における小領域の画像の
   対応の唯一性を評価して対応度を定める対応度計算部
   と、 上記対応度に基づき処理順序を決定する処理順序決定部
   と、 上記処理順序で上記両小領域を対応付ける小領域対応付
   け部と、 上記対応付けられた画像から視差値を求め距離画像を算
   出することを特徴とする立体形状検出装置。