JP2009186228A - ３次元計測装置 - Google Patents

Abstract

【課題】左右画像の位置ズレから距離を計測する装置において、ロバストかつ精度良く位置ズレを求めるとともに、処理の複雑な位相情報を用いる対応点探索を最小限にする。
【解決手段】ステレオカメラ３，４からの左右画像上のエッジをエッジ抽出部１１で抽出し、等距離にある等で類似した複数のエッジをエッジグルーピング部１２でグループ化してエッジ集合を定義した上、２つの画像の対応領域を対応領域設定部１３で設定する。その領域内で対応領域相関部１４が、エッジ配列情報を抽出して比較を行い、類似度を演算して、その類似度の高いペアに対してサブピクセル単位の高精度な対応位置を求め、その結果から、距離計算部１５が距離を演算する。したがって、左右画像のエッジ集合同士の位置ズレをエッジ配置の類似性とともに評価することで、ロバストかつ精度良く求めることができるとともに、対応点探索処理を行う箇所を最小限にすることができる。
【選択図】図３

Description

本発明は、特に車両などの移動体に搭載され、いわゆるステレオカメラの撮像画像から測距を行う装置などとして実現される３次元計測装置に関する。

車両の安全性を高める取り組みとして、前方の障害物を検出して危険を警告したり、先行車との距離を測って車間距離を一定に保つ装置がある。そのような装置において、距離を計測するのに、超音波やレーザ光など電磁波の反射を利用すると、距離は比較的正確に測定できるものの、誤った計測対象を捉えることもある。このため、前記のステレオカメラ（立体視法）を用いて、その撮像画像から物体を認識して測距を行う装置が提案されている。

特許文献１では、前方の物体の縦エッジ部までの距離を求め、横方向の所定範囲（車両を想定した幅）内にほぼ等距離のエッジがあれば、その間は物体と認識する、いわゆるエッジベースステレオ法で、前方物体までの距離を計測している。前記エッジベースステレオ法は、エッジ単体同士の対応付けによって３次元計測しており、対応付けが明確なため、精度が得られ易いと言われているが、エッジ部のみの情報を用いているので、画像ノイズなどの雑音の影響を受け易く、正確な距離が得られないという問題がある。また、等距離エッジの間が車両であるとは限らず、たとえば前方に２台の車が並走するような場合には２台を並べて１台の車両と誤判定してしまうので、別途車両判定手段を必要とするという問題もある。

一方、前記距離を計測するにあたっては、２つの画像の対応点探索が行われる。そして、たとえば車載用測距装置では、遠方の先行車までの距離を高精度に測定したいというニーズとともに、小型化による設置し易さが求められる。このような高精度化の方法として、焦点距離を大きくする、或いは基線長を大きくするという方法が考えられるが、前者では視野範囲が狭くなり、後者では装置が大型化するという欠点がある。

そこで、このような欠点の無い高精度化の方法として、対応付けのサブピクセル化がある。ステレオ画像の対応付け演算を画素単位以下の分解能で行うことによって、ステレオ３次元計測の分解能を向上させることができる。そして、特許文献２のステレオ画像処理装置では、ステレオ画像のサブピクセル処理例が示されている。
特開平７−２２５１２７号公報 特開２００５−２５０９９４号公報

前記対応付けのサブピクセル化に有効な対応付け手法として、ＰＯＣ（位相限定相関法）があるが、処理コストがかかり、実時間処理を行うために、ハードウエアの規模が大きくなるという課題があった。

本発明の目的は、ロバストかつ精度の良い距離測定を簡単な処理で行うことができる３次元計測装置を提供することである。

本発明の３次元計測装置は、相互に異なる視点位置の画像を撮像手段によって基準画像および参照画像として取得し、それらの撮像画像から対象物の各部の３次元座標を計測する３次元計測装置において、前記基準画像および参照画像上のエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段で抽出された基準画像および参照画像上でのエッジの内、類似したエッジをグループ化するエッジ集合設定手段と、前記エッジ集合設定手段でグループ化されたエッジグループのエッジ配列情報を抽出するエッジ配列情報抽出手段と、前記エッジ配列情報抽出手段で抽出された基準画像および参照画像間のエッジ配列情報同士の比較を行い、類似度を演算する類似度演算手段と、前記類似度演算手段で求められた類似度の高いエッジグループペアに対して、サブピクセル対応位置を演算する対応位置演算手段と、前記対応位置演算手段で求められたサブピクセル対応位置から、注目点の位置にある対象物の３次元座標を演算する３次元演算手段とを含むことを特徴とする。

上記の構成によれば、相互に異なる視点位置の画像を撮像手段によって基準画像および参照画像として取得し、それらの撮像画像から対象物の各部の３次元座標を計測するエッジステレオなどと称される３次元計測装置において、先ずエッジ抽出手段で基準画像および参照画像上のエッジを抽出し、抽出された基準画像および参照画像上でのエッジの内、エッジ集合設定手段で、等距離にある等で類似した複数のエッジを集めて（グループ化して）エッジ集合を定義する。そして、それぞれのエッジ集合（グループ）におけるエッジ配列情報をエッジ配列情報抽出手段で抽出し、類似度演算手段で、抽出された基準画像および参照画像間のエッジ配列情報同士の比較を行い、類似度を演算して、その類似度の高いエッジグループペアに対して、対応位置演算手段がサブピクセル単位の高精度な対応位置を求め、その結果から、３次元演算手段で注目点の位置にある対象物の３次元座標を演算する。

したがって、左右画像のエッジ集合同士の位置ズレを、エッジ配置の類似性とともに評価することによって、エッジ集合の対応を判断しながら、ロバストかつ精度良く位置ズレを求めることができる。特に、位置ズレおよび類似性を、位相情報に基づいて計算することで、さらにロバストな距離測定を行うことができる。また、前記位置ズレをサブピクセル単位の高精度に求めることができるが、演算処理の複雑な前記位相情報を用いる対応点探索処理を行う箇所を、その処理の得意な部分に限定し、処理を最小限にすることができる。

また、本発明の３次元計測装置では、前記エッジ集合設定手段は、エッジの長さおよび端点の座標に基づいて前記グループ化を行うことを特徴とする。

上記の構成によれば、前記対象物として車両の場合は、概略長方形の形状をしているので、長さや端点の揃ったエッジをグループ化することで、同一車両に由来するエッジを効果的にグループ化することができる。

さらにまた、本発明の３次元計測装置では、前記エッジ集合設定手段は、エッジまでの空間距離に基づいてグループ化を行うことを特徴とする。

上記の構成によれば、同一物体由来のエッジは、ほぼ同一の距離にあることを利用して、同一物体のエッジを効果的にグループ化することができる。

また、本発明の３次元計測装置では、前記エッジ配列情報は、前記基準画像および参照画像に定められたウインドウ内のエッジの数・間隔・長さ情報であり、前記類似度演算手段は、これらのエッジ情報に基づき、前記類似度を演算することを特徴とする。

上記の構成によれば、エッジ配列情報を明確に定義することができる。

さらにまた、本発明の３次元計測装置では、前記エッジ配列情報は、前記基準画像および参照画像に定められたウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号であることを特徴とする。

上記の構成によれば、ＦＦＴ演算などの従来からある周波数解析手法を用いて、簡便に配列情報を得ることができる。

また、本発明の３次元計測装置では、前記対応位置演算手段は、対応位置候補周辺のパターン類似度に基づいて対応位置を演算することを特徴とする。

上記の構成によれば、対応位置候補周辺のパターン類似度を用いて、補間演算することによって、前記サブピクセル精度での対応位置を求めることができる。

さらにまた、本発明の３次元計測装置では、前記対応位置演算手段は、ＰＯＣ（位相限定相関法）でサブピクセル対応位置を演算することを特徴とする。

上記の構成によれば、振幅成分を抑制した位相成分のみの比較を行うことによって、画質に依存せず、高精度にパターンの類似度および位置ズレを計算することができる。

また、本発明の３次元計測装置では、前記撮像手段は２眼平行ステレオカメラであり、前記エッジ抽出手段が抽出するエッジは、ベースラインに垂直方向のエッジのみであることを特徴とする。

上記の構成によれば、撮像手段が２眼平行ステレオカメラの場合、ベースラインに垂直なエッジが位置ズレ演算に大きく寄与するので、そのベースラインに垂直なエッジに注目することで、対応位置演算手段でサブピクセル単位の高精度な位置ズレ量を求めるにあたって、精度を向上することができる。

本発明の３次元計測装置は、以上のように、エッジステレオなどと称される３次元計測装置において、撮像手段で取得された基準画像および参照画像上のエッジをエッジ抽出手段で抽出し、抽出されたエッジの内、等距離にある等で類似した複数のエッジをエッジ集合設定手段で集めて（グループ化して）エッジ集合を定義した上、それぞれのエッジ集合（グループ）におけるエッジ配列情報をエッジ配列情報抽出手段で抽出し、類似度演算手段で、抽出された基準画像および参照画像間のエッジ配列情報同士の比較を行い、類似度を演算して、その類似度の高いエッジグループペアに対して、対応位置演算手段がサブピクセル単位の高精度な対応位置を求め、その結果から、３次元演算手段で注目点の位置にある対象物の３次元座標を演算する。

それゆえ、左右画像のエッジ集合同士の位置ズレを、エッジ配置の類似性とともに評価することによって、エッジ集合の対応を判断しながら、ロバストかつ精度良く位置ズレを求めることができる。特に、位置ズレおよび類似性を、位相情報に基づいて計算することで、さらにロバストな距離測定を行うことができる。また、前記位置ズレをサブピクセル単位の高精度に求めることができるが、演算処理の複雑な前記位相情報を用いる対応点探索処理を行う箇所を、その処理の得意な部分に限定し、処理を最小限にすることができる。

［実施の形態１］
図１は、本発明の実施の第１の形態に係る３次元計測装置である測距装置１の概略構成を示す図である。この測距装置１は、車両に搭載され、（先行車や路上障害物等）の２次元入力画像を得るステレオカメラ３，４と、それらのステレオカメラ３，４の出力画像からの各部までの距離を演算する演算処理装置５と、その演算処理結果から、危険度合いを計算して、先行車への接近警告や、自動的（予防安全）な制動などを行う警告表示部６とを備えて構成される。前記警告表示部６によるドライバへの報知は、オーディオ部からの音声出力、カーナビ画面への表示、メーターパネルへの表示等で行うことができる。

撮像手段である前記ステレオカメラ３，４は、車体左右に設けられて同じタイミングで撮影した左右一対の画像（基準画像と参照画像）を出力する２眼平行ステレオカメラである。本実施の形態においては、説明の簡単化の為に、ステレオカメラ３，４の収差は良好に補正されており、かつ相互に平行に設置されているものとする。また、実際のハードがこのような条件に無くても、画像処理によって、同等の画像に変換することも可能である。

図２は、前記ステレオカメラ３，４の出力画像に対する演算処理装置５での３次元演算（距離演算）の手法を説明するための図である。前記ステレオカメラ３，４としては、少なくとも焦点距離（ｆ）、撮像面（ＣＣＤ）３ｂ，４ｂの画素数、１画素の大きさ（μ）が相互に等しいものを用い、所定の基線（ベースライン）長（Ｂ）だけ前記左右に離間させて光軸３ａ，４ａを相互に平行に配置して対象物２を撮影したとき、撮像面３ｂ，４ｂ上の視差（ずれ画素数）がΔｄ（＝ｄ１＋ｄ２）であると、対象物２までの距離（Ｄ）は、
Ｄ＝ｆ・Ｂ／Δｄ・・・（１）
で求めることができる。

また、対象物２の各部の３次元位置（Ｘ，Ｙ，Ｚ）は、ｘ、ｙを画素上での位置とすると、以下で計算される。

Ｘ＝ｘ・Ｄ／ｆ・・・（２）
Ｙ＝ｙ・Ｄ／ｆ・・・（３）
Ｚ＝Ｄ・・・（４）
ここで、たとえば車載用のステレオカメラには、前述のように遠方の先行車までの距離を高精度に測定したいというニーズとともに、小型化による設置し易さも求められる。
ステレオカメラの奥行き方向分解能ΔＺは、
ΔＺ＝（Ｄ^２／Ｂ）・（１／ｆ）・Δｄ・・・（５）
で表されることから、高精度化の方法として、焦点距離ｆを大きくする、基線長Ｂを大きくするという方法が考えられる。ところが、前述のように前者では視野範囲が狭くなり、後者では装置が大型化するという欠点がある。上記欠点の無い高精度化の方法として、対応付けのサブピクセル化がある。対応付け演算を画素単位以下の分解能で行うことで、視差の分解能Δｄを小さくして、ステレオ３次元計測の分解能を細かくできるからである。

そこで、図３に、前記３次元位置（Ｘ，Ｙ，Ｚ）を演算する演算処理装置５のブロック図を示す。前記ステレオカメラ３，４での撮像画像（基準画像と参照画像）は、エッジ抽出部１１に入力されて、後述するようにしてエッジが抽出される。得られたエッジ情報は、エッジ集合設定手段であり、エッジ配列情報抽出手段であるエッジグルーピング部１２に入力され、前記エッジ抽出部１１で抽出された基準画像および参照画像上でのエッジの内、後述するようにして類似したエッジがグループ化され、処理対象の領域が設定される。

前記エッジグルーピング部１２でグループ化されたエッジグループの情報は対応領域設定部１３に入力され、この対応領域設定部１３は、前記エッジグループの情報に従って、後述するようにして左右画像のエッジグループ同士の対応ペア候補を設定する。設定された対応ペア候補は、前記ステレオカメラ３，４からの撮像画像が入力されている対応領域相関部１４に入力され、後述するようにして対応グループペアのエッジ配列情報同士の相関演算が行われて類似度と相互の位置ズレ量とが求められ、求められた類似度の高いエッジグループペアに対して、さらにサブピクセル対応位置が演算される。こうして求められたサブピクセル対応位置から、距離計算部１５は、後述するようにしてステレオ法で対象物２の各部の３次元座標を演算する。

前記エッジ抽出部１１は、前記ステレオカメラ３，４での撮像画像にフィルタ処理を施し、エッジの検出を行う。前記フィルタ処理の手法は既知で多数あり、たとえばｐｒｅｗｉｔｔフィルタ、Ｓｏｂｅｌフィルタ、ラプラシアンフィルタなどが挙げられる。図４はラプラシアンフィルタのカーネルを示すもので、図４（ａ）は縦横両方のエッジを検出する場合、図４（ｂ）は縦方向のエッジのみを検出する場合の例を示している。本実施の形態では、前述のように２眼平行ステレオカメラ３，４を用いており、その場合、ベースラインに垂直なエッジが位置ズレ演算に大きく寄与するので、このエッジ抽出部１１が抽出するエッジは、ベースラインに垂直方向のエッジのみであり、横方向のエッジのみは検出しない。これによって、対応領域相関部１４でサブピクセル単位の高精度な位置ズレ量を求めるにあたって、精度を向上することができる。図５（ａ）および図５（ｂ）は、それぞれ前記図４（ａ）および図４（ｂ）のフィルタによるエッジ抽出画像の例である。

前記エッジグルーピング部１２は、エッジ情報を元に対応点探索を適用する領域を設定するものである。車両のような対象物が画像上にあると、遮蔽輪郭や内部構造に由来するエッジが画像に表れる。そこで、同じ対象物に由来するエッジ情報は、互いに類似していると想定できるので、このエッジグルーピング部１２は、近接する類似したエッジ情報をグルーピングすることで、同じ対象物に由来するエッジ情報を集める。以下、２つの手法を説明するが、それぞれの手法を単独で適用し、または両方を組み合わせて適用してもよい。

先ず図６の第１の手法では、同じ方向で長さが等しく、縦横の端部位置が揃っているエッジ対で挟まれる領域を前記グルーピングする。すなわちこれは、同一路面上の先行車であれば、撮像画像上に左右対称に等長のエッジ対が投影されることを想定した選択手法であり、図６は、前記エッジ抽出部１１において、前記図４（ｂ）および図５（ｂ）で示すような縦エッジを検出するフィルタを用いた例を示す。先ず、図６（ａ）で示すように、前方に１台のトラックが走行している画像に対して縦エッジ検出処理を行うと、図６（ｂ）で示すようになり、同じ方向に高さ（開始位置）の揃ったエッジを順に見て行くと、図中のａ，ｂ，ｃ点は高さが等しく、ｄ，ｅ，ｆ，ｇ点も高さが等しいことが検出される。そのような高さ（開始位置）の揃った２つ以上のエッジがあれば、終端が揃っているかチェックされ、たとえばａ，ｂ，ｃ点については、ａとｂ、ｂとｃ、ａとｃの組み合わせそれぞれでチェックが行われる。終端が揃っていれば、図６（ｃ）で示すように同一グループとされ、図中では合計で２領域が候補とされている。詳しくは、端部が揃い、長さが等しいエッジ対を用いるので、領域はすべて矩形になる。そして、大きい領域に含まれる小領域を大きい領域に包含すると、前記図６（ｃ）で示すように、最終的な対応領域探索の候補領域は２つとなる。このようにエッジの長さおよび端点の座標に基づいてグループ化を行うことで、前記対象物として車両の場合は、概略長方形の形状をしているので、同一車両に由来するエッジを効果的にグループ化することができる。

次に、第２の候補領域の切出し手法では、一般的なエッジベースステレオ法を用いて、エッジ部分までの空間距離を求め、等距離にあるエッジ同士をグルーピングする。すなわちこれは、同一車両由来のエッジは、同じ距離にあることを用いた選択方法である。前記エッジ抽出部１１において、前記図４（ｂ）および図５（ｂ）で示すような縦エッジを検出するフィルタを用いた場合、フィルタ処理の図は、前記図６と同様になる。先ず、前記図６（ａ）で示すように、前方に１台のトラックが走行している画像に対して縦エッジ検出処理を行うと、前記図６（ｂ）で示すようになり、エッジと同じ方向に距離の揃ったエッジを順に見て行くと、図中のａ，ｂ，ｃ点は距離が等しく、ｄ，ｅ，ｆ，ｇ点も距離が等しいことが検出される。そのような距離の揃った２つ以上のエッジがあれば、終端が揃っているかチェックされ、たとえばａ，ｂ，ｃ点については、ａとｂ、ｂとｃ、ａとｃの組み合わせそれぞれでチェックが行われる。終端が揃っていれば、前記図６（ｃ）で示すように同一グループとされ、図中では合計で２領域が候補とされている。このようにエッジまでの空間距離に基づいてグループ化を行うことでも、同一物体由来のエッジは、ほぼ同一の距離にあることを利用して、効果的にグループ化することができる。

図７は、前記対応領域設定部１３での基準画像と参照画像とにおける対応領域の設定動作を説明するための図である。前記エッジグルーピング部１２によってグループ化（候補領域の設定）が行われると、たとえば基準画像が図７（ａ）のようになり、参照画像が図７（ｂ）のようになる。そこでこの対応領域設定部１３は、基準画像および参照画像上のエッジグループ領域同士のペアを設定する。この図７では、基準画像および参照画像共に２つのエッジグループ領域が設定されているので、それらを参照符号Ａ１，Ｂ１；Ａ２，Ｂ２とすると、前記ペアには、（Ａ１−Ａ２），（Ａ１−Ｂ２），（Ｂ１−Ａ２），（Ｂ１−Ｂ２）の４つが選択される。或いは、ペア同士の面積を比較することによって、ペア数を絞り込んでもよい。図７の例では、最終的なペアは、（Ａ１−Ａ２），（Ｂ１−Ｂ２）の２つである。

図８は、前記対応領域相関部１４の機能ブロック図である。前記対応領域設定部１３で求められた対応領域のペアに対して、この対応領域相関部１４では、エッジグループ領域同士の相関演算が行われる。それにあたって、領域パターンがエッジの集合であるという性質から、領域に含まれるエッジ配列情報を用いて相関をとるのが効果的であり、この図８で示すように、エッジ配列情報抽出部２１がエッジ配列情報をそれぞれ抽出し、類似度評価部２２が、対応グループペアのエッジ配列情報同士の相関演算を行い、その類似度から、正しい領域ペアであるかどうか判定し、正しい領域ペアと判断された場合は、位相比較部２３において、領域ペア間の位置ズレ量が求められる。

前記エッジ配列情報抽出部２１は、前記エッジ配列情報として、エッジの本数、エッジ間の距離、および対応エッジの長さを抽出する。たとえば、前記図７の各エッジグループは、以下の配列情報を持つ。このようにウインドウ内のエッジの数・間隔・長さ情報から類似度を演算することで、エッジ配列情報を明確に定義することができる。

そして、前記類似度評価部２２は、領域ペア同士の類似度の比較を、図９のフローに基づいて行う。ステップＳ１では、エッジの数が相互に等しいか否かが判断され、そうでないときには類似しないと判断され、そうであるときにはステップＳ２に移る。ステップＳ２では、エッジの長さが比較されてその差分ΔＬが求められ、ステップＳ３では、前記差分ΔＬが予め定める閾値ｔｈ１以上であると類似しないと判断され、閾値ｔｈ１未満であるとステップＳ４に移る。ステップＳ４では、エッジの間隔が比較されてその差分ΔＤが求められ、ステップＳ５では、前記差分ΔＬが予め定める閾値ｔｈ２以上であると類似しないと判断され、閾値ｔｈ未満であると類似していると判定される。こうして、前記図７の場合は、（Ａ１−Ａ２），（Ｂ１−Ｂ２）が類似度の高いペアであるという結果が得られる。

図１０は、前記位相比較部２３の動作を説明するための図である。対応領域相関部１４では、類似度の高い領域ペアに対して、位置ズレの計測を行う。それには、前記位相比較部２３は、先ず類似度のピークを探索する。前記基準画像３ｃ上の画像が参照画像４ｃ上のどこにあるのかを探索するにあたって、前記基準画像３ｃ上で、縦横方向にそれぞれＷ画素分の大きさを持つウインドウを設定し、同様に、参照画像４ｃ上にも同じ大きさを持つウインドウを設定し、参照画像４ｃ上において、基準画像３ｃ上におけるウインドウと同じ位置ｄを中心として、−ｄ，＋ｄの３箇所で、パターンの間の距離を求める。パターン間の距離は、それぞれの位置で相関値、ＳＡＤ値、ＳＳＤ値の演算を以下のように行って求められる。それらの演算には、ウインドウの同じ対応画素の明るさＩ_１，Ｉ_２が用いられる。

先ず、相関値の計算は、以下である。

次に、ＳＡＤ値の計算は、以下である。

続いて、ＳＳＤ値の計算は、以下である。

そして、パターン間距離から、類似度値への変換は、パターン間距離が近い程、類似度が高いので、パターン間距離が０のときに類似度値１となるように、次式で変換する。

Ｓ（ｄ）＝１／（Ｄ（ｄ）＋１）・・・（９）
前記距離計算部１５は、前記位相比較部２３において類似度ピーク演算時に既に計算された、類似度ピーク位置周辺の対応点候補位置およびその類似度から、サブピクセル対応位置の演算を行う。具体的方法として、パラボラフィッティング法を説明する。図１１は、そのパラボラフィッティングを説明するもので、パラボラフィッティングでは、前記式９で求めた類似度Ｓ（ｄ）の最大値Ｓ（ｄｍａｘ）の画素ｄｍａｘ（整数値）と、その前後１画素ｄｍａｘ−１，ｄｍａｘ＋１の類似度Ｓ（ｄｍａｘ−１），Ｓ（ｄｍａｘ＋１）とを用い、前記最大値Ｓ（ｄｍａｘ）の近傍では、類似度Ｓ（ｄ）は放物線Ｓｐ（ｄ）で近似可能として、その係数を類似度Ｓ（ｄｍａｘ−１），Ｓ（ｄｍａｘ），Ｓ（ｄｍａｘ＋１）から求める。具体的には、図１１で示すように、それら３点Ｓ（ｄｍａｘ−１），Ｓ（ｄｍａｘ＋１）を通る放物線Ｓｐ（ｄ）を描き、そのピーク位置のサブピクセルレベルでの画素位置ｄが直ちに求まり、それをサブピクセル対応位置ｄｓｕｂの推定値とする。

このように構成することで、相互に異なる視点位置の画像をステレオカメラ３，４によって基準画像３ｃおよび参照画像４ｃとして取得し、それらの撮像画像３ｃ、４ｃから対象物までの距離を求める測距装置１において、先ずエッジ抽出部１１で基準画像３ｃおよび参照画像４ｃ上のエッジを抽出し、抽出された基準画像３ｃおよび参照画像４ｃ上でのエッジの内、エッジグルーピング部１２で、等距離にある等で類似した複数のエッジを集めて（グループ化して）エッジ集合を定義した上、それぞれのエッジ集合（グループ）におけるエッジ配列情報をエッジ配列情報抽出部２１で抽出し、類似度評価部２２で、抽出された基準画像３ｃおよび参照画像４ｃ間のエッジ配列情報同士の比較を行い、類似度を演算して、その類似度の高いエッジグループペアに対して、位相比較部２３がサブピクセル単位の高精度な対応位置を求め、その結果から、距離計算部１５で注目点の位置にある対象物までの距離を演算するので、左右画像のエッジ集合同士の位置ズレを、エッジ配置の類似性とともに評価することによって、エッジ集合の対応を判断しながら、ロバストかつ精度良く位置ズレを求めることができる。

［実施の形態２］
図１２は、本発明の実施の第２の形態に係る測距装置における対応領域相関部１４’の機能ブロック図である。本実施の形態では、この対応領域相関部１４’が前述の図８で示す対応領域相関部１４に代えて用いられる以外は、図１や図３で示す構成を用いることができる。この対応領域相関部１４’も、前記対応領域設定部１３で求められた対応領域のペアに対して、エッジグループ領域同士の相関演算を行うものであり、エッジ配列情報抽出部２１’と、類似度評価部２２’と、位相比較部２３’とを備えて構成される。

本実施の形態では、前記エッジ配列情報抽出部２１’で得られるエッジ配列情報を、前記対応領域を周波数分解し、周波数毎の位相情報で表現する方法を示す。パターンの周波数分解信号を計算する手法として、フーリエ変換、離散コサイン（サイン）変換、ウエーブレット変換、アダマール変換などが知られている。領域パターンに上記変換を施すことで、エッジパターンの配列周期毎の位相関係を演算することができる。前記エッジグループ領域Ａ１のパターンをｆ、Ａ２のパターンをｇとすると、たとえばＤＦＴ（離散フーリエ変換）処理は、以下で表すことができる。

画像サイズＮ_１×Ｎ_２ピクセルの２つの画像をｆ（ｎ_１，ｎ_２），ｇ（ｎ_１，ｎ_２）とし、定式化の便宜上、離散空間のインデックスをｎ_１＝−Ｍ_１，・・・Ｍ_１，ｎ_２＝−Ｍ_２，・・・Ｍ_２とし、画像サイズをＮ_１＝２Ｍ_１＋１ピクセル，Ｎ_２＝２Ｍ_２＋１ピクセルとすると、これらの画像の２次元フーリエ変換（２Ｄ ＤＦＴ）は、それぞれ下式で与えられる。
ここで、ｋ_１＝−Ｍ_１，・・・Ｍ_１，ｋ_２＝−Ｍ_２，・・・Ｍ_２
であり、Σ_ｎ１ｎ２は、
である。また、Ａ_Ｆ（ｋ_１，ｋ_２），Ａ_Ｇ（ｋ_１，ｋ_２）は振幅成分であり、ｅ^{ｊθＦ（ｋ１，ｋ２）}，ｅ^{ｊθＧ（ｋ１，ｋ２）}は位相成分である。

それぞれのフーリエ変換結果を、図１３に示す。周波数毎の位相情報が演算できる。

前記類似度評価部２２’としては、ロバストなパターン類似度演算手法として知られている振幅成分を抑制した相関法を用いる。そのような相関法は、パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行うので、画像の左右カメラ３，４の撮影条件の差や、ノイズなどの影響を受けにくく、前記ロバストな相関演算が実現可能である。また、濃淡データを用いた従来の２次元相関法や特徴抽出法とは異なり、外乱に強く、明るさやコントラストの低い画像でも、精度良く演算ができるという特徴を有している。その一例の位相限定相関法（ＰＯＣ）は、変換にフーリエ変換を用い、フーリエ級数の振幅成分を抑制した位相成分のみの相関演算を行う。以下に、その位相限定相関法（ＰＯＣ）を例に詳細を説明する。

先ず、パターンｆ，ｇの合成位相スペクトル＾Ｒ（ｋ_１，ｋ_２）は、下記のように定義される。
ここで、Ｇ（ｋ_１，ｋ_２）の複素共役は、上線を付して示す。また、θ（ｋ_１，ｋ_２）＝θ_Ｆ（ｋ_１，ｋ_２）−θ_Ｇ（ｋ_１，ｋ_２）である。その合成位相スペクトルの位相と振幅成分とを図１４に示す。

この合成位相スペクトル＾Ｒ（ｋ_１，ｋ_２）を逆フーリエ変換することで、相関演算を行うことができる。すなわち、前述のように、θ（ｋ_１，ｋ_２）＝θ_Ｆ（ｋ_１，ｋ_２）−θ_Ｇ（ｋ_１，ｋ_２）であり、ＰＯＣ関数＾ｒ（ｎ_１，ｎ_２）はＲ（ｋ_１，ｋ_２）の２次元離散フーリエ逆変換（２Ｄ ＩＤＦＴ）であり、次式で定義される。
ここで、Σ_ｎ１ｎ２は、前記
である。

上記式１３の処理で得られるＰＯＣ値は、図１５に示すように、画像間（基準ウインドウと参照ウインドウ）の移動量の座標に急峻な類似度ピークを持つことが知られており、画像マッチングにおけるロバスト性が高い。そのＰＯＣのピークの高さが、パターン類似度を示す。そして、位相比較部２３’が、ＰＯＣのピーク位置を推定することにより位置ズレ量（＝視差ｄｓｕｂ）の推定を行う。このとき、ＰＯＣは離散的に求まるので、ピーク位置をサブピクセルで補間推定することによって、高分解な対応領域座標を求めることができる。ピーク位置の補間推定方法としては、前記図１１で示すように、放物線などの関数をフィッティングして行うことができる。そして、候補領域間の位置ズレ量ｄは、候補領域間のピクセルレベルの位置ズレ量ｄｐｉｘｅｌに、ＰＯＣ法で求めたサブピクセルの位置ズレ量ｄｓｕｂを加えた量となる。

このように構成してもまた、左右画像のエッジ集合同士の位置ズレを、エッジ配置の類似性とともに評価することによって、エッジ集合の対応を判断しながら、ロバストかつ精度良く位置ズレを求めることができるとともに、演算処理の複雑な前記位相情報を用いる対応点探索処理を行う箇所を、その処理の得意な部分に限定し、処理を最小限にすることができる。

また、前記配列情報抽出部２１’が、エッジ配列情報として、前記基準画像３ｃおよび参照画像４ｃに定められたウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号を作成することで、ＦＦＴ演算などの従来からある周波数解析手法を用いて、簡便に配列情報を得ることができる。

さらにまた、類似度評価部２２’は、ＰＯＣ（位相限定相関法）でサブピクセル対応位置を演算するので、振幅成分を抑制した位相成分のみの比較を行うことによって、画質に依存せず、高精度にパターンの類似度および位置ズレを計算することができる。特に、位置ズレおよび類似性を、位相情報に基づいて計算することで、さらにロバストな距離測定を行うことができる。また、前記位置ズレをサブピクセル単位の高精度に求めることができるが、演算処理の複雑な前記位相情報を用いる対応点探索処理を行う箇所を、その処理の得意な部分に限定し、処理を最小限にすることができる。

なお、本件における撮像装置は、複数の視点から撮影された画像から形状を復元する技術を指し、２眼のみでなく、３眼以上のカメラを持ったものや、単眼カメラを移動させて撮影する場合も含む。

本発明の実施の第１の形態に係る３次元計測装置である測距装置の概略構成を示す図である。 ステレオカメラの出力画像に対する演算処理装置での３次元距離演算の手法を説明するための図である。 前記測距装置における演算処理装置のブロック図である。 エッジ検出に使用されるラプラシアンフィルタのカーネルを示す図である。 図４で示すフィルタによるエッジ抽出の画像例を示す図である。 物体が存在している可能性のある候補領域の抽出方法を説明するための図である。 基準画像と参照画像とにおける前記候補領域の対応付け動作を説明するための図である。 前記演算処理装置における対応領域相関部の一例を示す機能ブロック図である。 類似度の比較動作を説明するためのフローチャートである。 位相比較動作を説明するための図である。 パラボラフィッティング法を説明するためのグラフである。 本発明の実施の第２の形態に係る測距装置の演算処理装置における対応領域相関部の一例を示す機能ブロック図である。 基準画像および参照画像のフーリエ変換結果を示すグラフである。 基準画像および参照画像の合成位相スペクトルを示すグラフである。 ＰＯＣ値の一例を示す図である。

符号の説明

１ 測距装置
２ 対象物
３，４ ステレオカメラ
５ 演算処理装置
６ 警告表示部
３ｂ，４ｂ 撮像面
１１ エッジ抽出部
１２ エッジグルーピング部
１３ 対応領域設定部
１４，１４’ 対応領域相関部
１５ 距離計算部
２１，２１’ エッジ配列情報抽出部
２２，２２’ 類似度評価部
２３，２３’ 位相比較部

Claims (8)

1. 相互に異なる視点位置の画像を撮像手段によって基準画像および参照画像として取得し、それらの撮像画像から対象物の各部の３次元座標を計測する３次元計測装置において、
   前記基準画像および参照画像上のエッジを抽出するエッジ抽出手段と、
   前記エッジ抽出手段で抽出された基準画像および参照画像上でのエッジの内、類似したエッジをグループ化するエッジ集合設定手段と、
   前記エッジ集合設定手段でグループ化されたエッジグループのエッジ配列情報を抽出するエッジ配列情報抽出手段と、
   前記エッジ配列情報抽出手段で抽出された基準画像および参照画像間のエッジ配列情報同士の比較を行い、類似度を演算する類似度演算手段と、
   前記類似度演算手段で求められた類似度の高いエッジグループペアに対して、サブピクセル対応位置を演算する対応位置演算手段と、
   前記対応位置演算手段で求められたサブピクセル対応位置から、注目点の位置にある対象物の３次元座標を演算する３次元演算手段とを含むことを特徴とする３次元計測装置。
2. 前記エッジ集合設定手段は、エッジの長さおよび端点の座標に基づいて前記グループ化を行うことを特徴とする請求項１記載の３次元計測装置。
3. 前記エッジ集合設定手段は、エッジまでの空間距離に基づいてグループ化を行うことを特徴とする請求項１記載の３次元計測装置。
4. 前記エッジ配列情報は、前記基準画像および参照画像に定められたウインドウ内のエッジの数・間隔・長さ情報であり、前記類似度演算手段は、これらのエッジ情報に基づき、前記類似度を演算することを特徴とする請求項１〜３のいずれか１項に記載の３次元計測装置。
5. 前記エッジ配列情報は、前記基準画像および参照画像に定められたウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号であることを特徴とする請求項１〜３のいずれか１項に記載の３次元計測装置。
6. 前記対応位置演算手段は、対応位置候補周辺のパターン類似度に基づいて対応位置を演算することを特徴とする請求項１〜５のいずれか１項に記載の３次元計測装置。
7. 前記対応位置演算手段は、ＰＯＣ（位相限定相関法）でサブピクセル対応位置を演算することを特徴とする請求項１〜６のいずれか１項に記載の３次元計測装置。
8. 前記撮像手段は２眼平行ステレオカメラであり、前記エッジ抽出手段が抽出するエッジは、ベースラインに垂直方向のエッジのみであることを特徴とする請求項１〜７のいずれか１項に記載の３次元計測装置。