JP2005251123A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 ステレオ画像における画像間の対応関係を特定するにあたり、その計測誤差を効果的に補整する。
【解決手段】 基準撮像点抽出部２０８は基準画像に映し出された物体表面から複数の基準撮像点を特定する。変換制御部２１２は、複数の基準撮像点および比較画像上の画像対応点の各座標に基づくアフィン変換関数により、測距処理対象となる基準撮像点の座標を比較画像の座標に変換した変換対応点を特定する。測距部２２０、基準撮像点の座標と変換対応点の座標に基づいて物体までの距離を測定する。この際、係数計算部２１４は、アフィン変換関数の仮の係数を計算し、変換対応点計算部２１６は仮の係数に基づくアフィン変換関数により仮の変換対応点の座標を計算する。誤差判定部は、画像対応点の座標と仮の変換対応点の座標のずれに基づいて、基準点を再特定したあとアフィン変換関数の係数を再計算する。
【選択図】 図４

Description

この発明はステレオ画像による三次元計測技術に関し、特に、ステレオ画像において特定された座標の対応関係を補整する技術に関する。

コンピュータの画像表現力の向上や、ネットワークのブロードバンド化により、三次元デジタルコンテンツを取り扱うための土壌は整いつつある。このような時代背景の中、視覚によって感知される外界情報を三次元画像データに変換する技術が求められている。そのためには、対象物体を精確に三次元計測する技術を確立することが重要である。

対象物体までの距離やその形状を測定するための三次元計測技術は、アクティブ型とパッシブ型に大別される。アクティブ型の三次元計測装置は、対象物体に図柄模様などを投影して、対象物体までの距離を計測（以下、単に「測距」とよぶ）する。代表的なものとしては、レーザービームを対象物体に投影してできる輝いたスポットを異なった角度からカメラで捉え、スポットの三次元位置を求めるスポット光投影法、スリット光を対象物体に投影し、投影線上の奥行を計測するスリット光投影法、複数のパターン光を対象物体に投影し、パターンの組み合わせにより特徴づけをおこなう空間コード化パターン光投影法などがある。

一方、パッシブ型の三次元計測装置は、対象物体に測距のための目印となるべき図柄模様等を投影しない。この装置は、対象物体を異なる角度から撮像した複数の画像において、対象物体上の所定点がそれぞれの画像に映し出された位置を輝度情報などにより特定する。パッシブ型は、アクティブ型と比べて、対象物体表面の色情報をより正確に取得できるという優位性がある。その反面、両画像の対応関係を特定するに際しては、カメラの個体差や照明環境の違いに基づくノイズの影響を受けやすい。このような問題点に対処するために、特許文献１はアフィン変換処理によりこのノイズの影響を低減するための技術を開示する。

特許文献１に記載の発明は、画像から抽出される線分であるセグメントの連結性に基づいて平面拘束定理により両画像の対応関係を特定する。ここでいうセグメントとは、たとえば、輝度変化が特に大きい部分として画像から抽出されるエッジ線を、その局所的形状に基づいて複数に分割した線分である（特許文献１参照）。
特開２００３−２４８８１４号公報 特開平５−３４１１７号公報

対象物体が複雑な形状である場合やノイズの影響が大きい場合には、エッジ線はなめらかになりにくくなる。この場合、エッジ線が短いセグメントに分割されやすくなるため、アフィン変換の前提となる平面を精度よく定義するのが難しくなる。このような場合に特許文献１に記載の発明を応用すると処理が複雑となる。また、特許文献１に記載の発明は、等輝度線ステレオ法のように、そもそもセグメントベースではない三次元計測技術に対する応用を想定したものではない。

本発明は、このような課題に鑑みてなされたものであり、その目的は、セグメントではなく画像上の点群を処理対象として、両画像の対応関係を特定して三次元計測するための技術を提供することである。

上記課題を解決するために、本発明のある態様の画像処理装置は、まず、物体を異なる角度から撮像した基準画像と比較画像を取得し、基準画像に映し出された物体表面から複数の基準点を特定し、比較画像においてこれら複数の基準点に対応する画像対応点を特定する。この装置は、これら複数の基準点および画像対応点の各座標に基づくアフィン変換関数により、測距処理対象となる基準点の座標を比較画像の座標に変換した変換対応点を特定する。そして、この装置は、基準点の座標と変換対応点の座標に基づいて物体までの距離を測定する。

また、本発明の他の態様の画像処理装置は、アフィン変換関数の仮の係数を計算し、仮の係数に基づくアフィン変換関数により仮の変換対応点の座標を計算する。そして、画像対応点の座標と仮の変換対応点の座標のずれに基づいて、基準点を再特定したあとアフィン変換関数の係数を再計算する。

画像対応点の座標と変換対応点の座標のずれに基づいて最適なアフィン変換関数を決定するため、画像対応点からかけ離れない範囲で好適に変換対応点を特定できる。また、アフィン変換関数の係数を特定するために、基準点を単位として基準画像上における変換対象範囲を決定するので、複雑な形状の対象物体を好適に三次元画像として再現しやすい。

この装置は、測距処理対象となる基準点の近傍に位置する複数の基準点のうち画像対応点の特定に成功した所定個数の基準点の各座標に基づいてアフィン変換関数の係数を計算してもよい。

本発明によれば、ステレオ画像における画像間の対応関係を特定するにあたり、その計測誤差を効果的に補整できる。

（第１の実施の形態）
まず、三次元計測の原理を簡単に説明する。そのあと、等輝度線ステレオ法に基づいて、本実施例を説明する。

図１は、標準カメラモデルにおいて三角測量の原理により対象物体１００を測距する原理を説明するための図である。点Ｐは対象物体１００の表面上に存在する測距対象となる点（以下、「対象点」とよぶ）である。この対象点Ｐは異なる角度から撮像される。基準画像１０２および比較画像１０４がその撮像画像面である。同図は、図示しないカメラが対象物体１００を撮像する態様を上から示す図である。撮像焦点位置１０６は、基準画像１０２および比較画像１０４を撮像するカメラの焦点が存在する位置である。これらのカメラは、対象物体１００に対して左右水平に配置される。また、各カメラの光軸１０８および光軸１１０は平行である。ｆは、基準画像１０２および比較画像１０４から撮像焦点位置１０６までの距離である。

点Ｐ_Ｌは、基準画像１０２において対象点Ｐが撮像される位置である。以下、点Ｐ_Ｌのような基準画像１０２上の点のことを「基準撮像点」とよぶ。点Ｏ_Ｌは、基準画像１０２を撮像するカメラ（以下、「基準画像カメラ」とよぶ）の焦点である。点Ｐ_Ｒは、比較画像１０４において対象点Ｐが撮像される位置である。以下、点Ｐ_Ｒのような比較画像１０４上の点のことを「比較撮像点」とよぶ。点Ｏ_Ｒは、比較画像１０４を撮像するカメラ（以下、「比較画像カメラ」とよぶ）の焦点である。

すなわち、基準撮像点Ｐ_Ｌと焦点Ｏ_Ｌを結ぶ直線と、比較撮像点Ｐ_Ｒと焦点Ｏ_Ｒを結ぶ直線の交点が対象点Ｐとなる。基準画像カメラと比較画像カメラの光軸間距離を２ａ、基準撮像点Ｐ_Ｌと比較撮像点Ｐ_Ｒの視差をＤとすると、対象物体１００上の対象点Ｐまでの距離Ｚは、Ｚ＝２ａｆ／Ｄとして求まる。

以下、比較撮像点Ｐ_Ｒは基準撮像点Ｐ_Ｌの対応点であるという。あるいは、基準撮像点Ｐ_Ｌは比較撮像点Ｐ_Ｒの対応点であるという。対象物体１００の表面上の各点について測距処理することにより、対象物体１００までの距離や形状を求めることができる。ここで、距離Ｚを正確に測距するためには、基準画像１０２における基準撮像点の比較画像１０４における対応点を正確に特定する必要がある。以下、各画像上における座標に関しては、標準カメラモデルに変換された上で処理されるものとする。

図２は、等輝度線を用いて対応点を特定する原理を説明するための模式図である。同図は、対象点Ｐが基準画像１０２に撮像された基準撮像点ＰＬの比較画像１０４における対応点である比較撮像点Ｐ_Ｒを求める場合を示す。基準画像１０２と比較画像１０４は左右水平であるので、基準撮像点Ｐ_Ｌについてのエピポーラ線１１２は、基準撮像点Ｐ_Ｌと同じ走査線上に存在する。すなわち、比較撮像点Ｐ_Ｒはエピポーラ線１１２上のいずれかに存在する。ここで、基準画像１０２および比較画像１０４における各画素の輝度値は０〜２５５までの２５６階調に分類される。輝度値０は黒に対応し、輝度値２５５は白に対応する。

同図において基準撮像点Ｐ_Ｌが位置する画素の輝度値は「１００」である。このとき、比較画像１０４は、輝度値が「１００」以上の領域と「１００」より小さい領域に分離される。同図では、領域１３２は輝度値が「１００」以上の画素の集合により形成される領域である。一方、領域１１８は輝度値が「１００」より小さい画素の集合により形成される領域である。等輝度線１１４はこの領域１３２と領域１１８の境界線となる輝度値「１００」に関しての等輝度線である。

対象点Ｐに関する比較撮像点Ｐ_Ｒの輝度値は、基準撮像点Ｐ_Ｌの輝度値である「１００」と等しいと考えられる。比較撮像点Ｐ_Ｒは、等輝度線１１４かつエピポーラ線１１２の上、すなわち、両線の交点上に存在すると考えられる。これにより、比較画像点Ｐ_Ｒが特定される。なお、基準画像１０２と比較画像１０４においてはそれぞれのカメラの光学特性や撮像時の照明環境が一致するとは限らない。この場合には、グレースケールのテストパターンを用いて同じ明るさに対して等しい輝度値となるように、両画像における各画素の輝度値を調整してもよい。以下、このようにして特定された比較撮像点のことを「画像対応点」とよび、後述のアフィン変換によって特定された比較撮像点のことを「変換対応点」とよんで、両者を区別する。

図３は、画像対応点と変換対応点の関係を示す模式図である。画像対応点Ｐ_Ｒが基準撮像点Ｐ_Ｌに対して比較画像１０４における真の比較撮像点であるならば、対象点Ｐまでの距離は正確に測定される。しかし、通常はカメラレンズの歪曲収差による画像のゆがみや照明環境などの様々なノイズ要因により、比較撮像点Ｐ_Ｒの位置を正確に特定することは難しい。同図において等輝度線１２０は、基準画像１０２における輝度値「１００」の等輝度線である。この等輝度線１２０上に所定の間隔で抽出されるＡ（ｉ−３）からＡ（ｉ＋２）の６つの基準撮像点に対して、比較画像１０４においてはＢ（ｉ−３）からＢ（ｉ＋２）の６つの画像対応点がそれぞれ等輝度線ステレオ法により特定されている。同図では、各画像対応点はノイズの影響を受けて左右にばらつきを生じている。このようにばらついた画像対応点に基づいて対象物体１００を測距し、その距離情報に基づいて対象物体１００を三次元画像として再現しても、良好な再現画像が得られない。

本実施例では、このような問題に対処するために平面拘束定理に基づくアフィン変換により比較撮像点の位置を特定する。まず、平面拘束定理について説明する。平面拘束定理とは、「標準カメラモデルにおいて、平面上の任意の図形の一方のカメラ画像上の投影像と、他方のカメラ画像上の投影像とはアフィン変換可能である。」という定理である。すなわち、現実空間において同一平面上に存在する対象点を撮像した基準撮像点のグループは、それぞれをアフィン変換することにより比較画像１０４上において対応する点を求めることができるとされる。「数１」は、基準撮像点と変換対応点の関係を示す式である。

ここで行列Ａは、アフィン変換関数の係数行列であり、ａ、ｂ、ｃはその特定されるべき係数である。行列Ａは、現実空間における同一平面上であれば同一係数にて定義されるアフィン変換のための行列である。ここでは、ある平面を撮像した基準画像１０２からその平面上に存在する対象点としてｎ個の基準撮像点が抽出されている場合を示す。

座標Ｐ_Ｌｋは、この平面上に存在する対象点を撮像したｎ個の基準撮像点の座標である。座標Ｐ_Ｌｋは、基準画像１０２の座標系における座標である。座標Ｐ_Ｒｋは、Ｐ_Ｌｋを行列Ａによりアフィン変換することにより得られる変換対応点の座標である。座標Ｐ_Ｒｋは、比較画像１０４の座標系における座標である。したがって、変換対応点の座標Ｐ_Ｒｋ＝（ｘ_Ｒｋ'、ｙ_Ｒｋ'）は、それぞれ「数２」により表される。

行列Ａによるアフィン変換は、基準撮像点と画像撮像点に基づいて定義される。このように定義されたアフィン変換により、Ａ（ｉ−３）からＡ（ｉ＋２）のそれぞれの基準撮像点に対してＣ（ｉ−３）からＣ（ｉ＋２）の６つの変換対応点が特定される。このとき、変換対応点を結ぶ線であるアフィン線１２２は、画像対応点のばらつきを平準化する線となる。つぎに、アフィン変換関数の係数ａ、ｂ、ｃの特定方法について述べる。

アフィン変換の前提としては、Ａ（ｉ−３）からＡ（ｉ＋２）の基準撮像点が現実空間における同一平面上に存在する対象点を撮像した基準撮像点である必要がある。また、変換対応点と画像対応点のそれぞれの座標がなるべくかけ離れないことが望ましい。このような観点から、アフィン変換関数の係数ａ、ｂ、ｃは特定される必要がある。
係数を決定する方法の一例を以下に説明する。まず、変換対応点の座標と画像対応点の座標の位置のずれとして、誤差Ｕを「数３」により定義する。

誤差Ｕが最小となるときには、ｄＵ／ｄａ、ｄＵ／ｄｂおよびｄＵ／ｄｃがそれぞれ０になるため、

「数４」が成立し、この式により係数ａ、ｂ、ｃが特定される。「数４」においては、ｎが大きいほど、平面拘束定理に基づいて好適に係数を算出できるが、その一方、ｎが大きくなりすぎると、そもそもの前提である平面拘束条件が満たされなくなるというトレードオフがある。

図４は、本実施例における画像処理装置２００の機能ブロック図である。ここに示す各ブロックは、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。

画像処理装置２００は、ユーザインタフェース処理部２０２、制御部２０４、画像取得部２０６、基準撮像点抽出部２０８、画像対応点特定部２１０、変換制御部２１２、測距部２２０およびデータ格納部２２２を含む。データ格納部２２２は、対象物体１００を測距するために必要な各種データを格納する。データ格納部２２２は撮像画像格納部２２４、係数格納部２２６および座標情報格納部２２８を含む。撮像画像格納部２２４は、対象物体１００の基準画像と比較画像を一対のステレオ画像として格納する。係数格納部２２６は、アフィン変換関数の係数ａ、ｂ、ｃを格納する。座標情報格納部２２８は対象物体１００の表面上の各対象点について基準撮像点、画像撮像点、変換対応点の各座標、および各対象点について測距した結果である距離情報を格納する。この距離情報に基づいて、対象物体１００は既知の方法により、コンピュータグラフィクスの三次元画像として再現されてもよい。

ユーザインタフェース処理部２０２は、ユーザからの操作入力を取得すると共に、ユーザに対して各種情報を表示する。制御部２０４は、ユーザインタフェース処理部２０２などからの指示により画像処理装置２００の各機能ブロックを統括的に制御する。画像取得部２０６は、対象物体１００を異なる角度から撮像した基準画像と比較画像の一対からなるステレオ画像をカメラから取得する。画像取得部２０６は、取得したこれらの撮像画像を対象物体１００に対する撮影位置や角度と対応づけて撮像画像格納部２２４に格納する。基準撮像点抽出部２０８は、基準画像１０２に映し出された物体表面から複数の基準撮像点を抽出する。

画像対応点特定部２１０は、複数の基準撮像点に対応する画像対応点を比較画像１０４において特定する。このとき、画像対応点特定部２１０は、まず基準画像１０２や比較画像１０４から輝度に応じて分類された領域の境界線を等輝度線として抽出する。画像対応点特定部２１０は、所定の基準撮像点に対応して比較画像１０４からエピポーラ線１１２を抽出する。そして、画像対応点特定部２１０は、等輝度線とエピポーラ線１１２に基づいて、基準撮像点に対する画像対応点を比較画像１０４上から特定する。画像対応点の候補がいくつかある場合には、基準撮像点の周りの画素の輝度値との類似度に基づくなど、既知の方法によって対応画素を特定する。

変換制御部２１２は、複数の基準撮像点と複数の画像対応点の各座標に基づくアフィン変換関数により変換対応点を特定する。変換制御部２１２は、係数計算部２１４、変換対応点計算部２１６を含む。係数計算部２１４は、複数の基準撮像点と複数の画像対応点の各座標に基づいて、アフィン変換関数の係数を計算する。変換対応点計算部２１６は、測距処理対象となる基準撮像点の座標を係数計算部２１４にて計算された係数に基づくアフィン変換関数により変換して変換対応点の座標を計算する。

測距部２２０は、測距処理対象となる基準撮像点の座標と変換対応点の座標に基づいて対象物体１００までの距離を測定する。測距部２２０は、基準撮像点と画像対応点、変換対応点の座標、および対象物体１００の対象点までの距離を対応づけて座標情報格納部２２８に格納する。
「背景技術」の特許文献１では、ステレオ画像上のエッジを特定の特徴点（エッジが分岐する点、法線方向が大きく変わる点、曲線の凹凸が変わる点など）で分割したセグメントを処理の対象としていた。しかし、輝度変化の大きい部分を抽出したエッジに比べ、等輝度線はノイズを多く含むために短いセグメントに分割されてしまい、平面を精度よく定義することができない。本発明は、セグメントを処理の単位とするのではなく、等輝度線上の連続する任意の点数の点群を処理の単位とすることを特徴としている。このことにより、特に等輝度線ステレオ法における画像間の対応関係の特定がより正確なものとなるという効果を奏しうる。

（第２の実施の形態）
上記の基準撮像点抽出部２０８は抽出した基準撮像点のうち、測距対象となる基準撮像点や、変換対応点を求めるべき基準撮像点を選択するものであっても良い。以下、基準撮像点抽出部２０８が基準撮像点のうちアフィン変換により変換対応点を特定すべき点として選択する基準撮像点のことを「選択対象点」とよぶ。
図５は、選択対象点の選択方法を示すための模式図である。同図のＡ（ｉ−６）からＡ（ｉ＋６）までの１３個の点は、基準撮像点抽出部２０８が等輝度線１２０上において所定間隔で抽出する基準撮像点である。基準撮像点抽出部２０８は、これらの基準撮像点から複数個の基準撮像点を選択対象点として選択し、変換制御部２１２はこの選択対象点に基づいて変換対応点を特定する。

同図では、Ａ（ｉ）が、測距対象である対象点についての基準撮像点である。画像撮像時のノイズ要因により、すべての基準撮像点に対して画像撮像点が特定可能とはいえない。同図において、黒丸で示す、Ａ（ｉ−４）、Ａ（ｉ−２）、Ａ（ｉ−１）、Ａ（ｉ＋１）、Ａ（ｉ＋３）、Ａ（ｉ＋５）およびＡ（ｉ＋６）にＡ（ｉ）を加えた合計８つの基準撮像点は、画像対応点特定部２１０によりそれぞれの画像対応点が特定されている。したがって、同図に示す１３個の基準撮像点のうち８つの基準撮像点が選択対象点となり得る。一方、白丸で示すそれ以外の５つの基準撮像点は、画像対応点特定部２１０により画像対応点が特定されていない基準撮像点である。したがって、基準撮像点抽出部２０８はこれらの白丸で示す基準撮像点を選択対象点として選択しない。係数計算部２１４は、測距処理対象となる基準撮像点の近傍に位置する複数の基準撮像点のうち画像対応点の特定に成功した所定個数の基準撮像点の各座標に基づいて係数を計算する。

以上の状況をふまえて、基準撮像点抽出部２０８による選択対象点の選択方法として３つの方法を示す。以下、画像対応点が特定されている基準撮像点のことを「特定基準撮像点」とよび、画像対応点が特定されていない基準撮像点のことを「非特定基準撮像点」とよぶ。特定基準撮像点のみが選択対象点となり得る。

第１の方法においては二つの閾値を定める。一つ目の閾値は第１基準数である。等輝度線１２０上において、Ａ（ｉ）近傍の基準撮像点のうち、選択対象点となり得る基準撮像点の最大数が第１基準数である。たとえば、第１基準数を５とすれば、Ａ（ｉ）に近い位置から、５つ以内の基準撮像点であるＡ（ｉ−５）からＡ（ｉ＋５）までの基準撮像点が選択対象点となり得る。二つ目の閾値は第２基準数である。Ａ（ｉ）から第１基準数以内に位置する基準撮像点のうち、特定基準撮像点の数が第２基準数以上であれば、第１基準数内の特定基準撮像点が選択対象点となる。すなわち、第１の方法とは、「測距対象となる基準撮像点の近傍に位置する基準撮像点のうち、第１基準数内において第２基準数以上の特定基準撮像点が存在すれば、第１基準数内に存在する特定基準撮像点を選択対象点とする」方法である。この条件が満たされなければ、Ａ（ｉ）を対象として測距を実行しないとしてもよいし、後述の他の方法にて選択対象点を決定してもよい。

たとえば、第２基準数を２とすれば、Ａ（ｉ）のとなりのＡ（ｉ−１）からＡ（ｉ−５）の５つの基準撮像点のうち、Ａ（ｉ−１）、Ａ（ｉ−２）およびＡ（ｉ−４）の３つの基準撮像点が特定基準撮像点である。したがって、第２基準数を超える特定基準撮像点が第１基準数以内において特定されている。一方、Ａ（ｉ）のとなりのＡ（ｉ＋１）からＡ（ｉ＋５）の５つの基準撮像点のうち、Ａ（ｉ＋１）、Ａ（ｉ＋３）、およびＡ（ｉ＋５）の３つの基準撮像点が特定基準撮像点である。したがって、第２基準数を超える数の特定基準撮像点が第１基準数以内において特定されている。すなわち、第１基準数内においてそれぞれ第２基準数に関する条件が満足されている。

したがって、第１の方法においては、基準撮像点抽出部２０８は、第１基準数内に存在するＡ（ｉ−４）、Ａ（ｉ−２）、Ａ（ｉ−１）、Ａ（ｉ）、Ａ（ｉ＋１）、Ａ（ｉ＋３）およびＡ（ｉ＋５）の７つの基準撮像点を選択対象点として選択する。係数計算部２１４は、測距処理対象となる基準点から第１基準個数以内の複数の基準撮像点のうち画像対応点の特定に成功した基準撮像点の数が第２基準個数以上であれば、第１基準個数以内で画像対応点の特定に成功した複数の基準撮像点の各座標に基づいて係数を計算する。第１基準数は平面拘束定理を成立させるための歯止めとなる数といえる。等輝度線ステレオ法においては基準撮像点は一定間隔で抽出されてもよいので、このように数による制限をかけている。

第２の方法においても２つの閾値を定める。これら二つの閾値は第１基準数と第２基準数である。第１の方法においては、第１基準数内で、第２基準数を超える特定基準撮像点が存在すれば、第１基準数内の特定基準撮像点をすべて選択対象点としたが、第２の方法においては、第１基準数内で第２基準数の特定基準撮像点を選択対象点とする点が異なる。すなわち、第２の方法とは、「測距対象となる基準撮像点の近傍に位置する基準撮像点のうち、第１基準数内において第２基準数以上の特定基準撮像点が存在すれば、第１基準数内に存在する特定基準撮像点のうち、測距対象となる基準撮像点の近くから第２基準数の特定基準撮像点を選択対象点とする」方法である。この条件が満たされなければ、Ａ（ｉ）を対象として測距を実行しないとしてもよいし、他の方法にて選択対象点を決定してもよい。

たとえば、第１基準数を５とすれば、Ａ（ｉ）に近い位置から、５つ以内の基準撮像点であるＡ（ｉ−５）からＡ（ｉ＋５）までの基準撮像点が選択対象点となり得る。第２基準数を２とすれば、第１基準数内においてそれぞれ第２基準数に関する条件が満たされている。したがって、第２の方法においては、基準撮像点抽出部２０８は、第１基準数内に存在するＡ（ｉ−２）、Ａ（ｉ−１）、Ａ（ｉ）、Ａ（ｉ＋１）およびＡ（ｉ＋３）の５つの基準撮像点を選択対象点として選択する。

第３の方法においては１つの閾値を定める。この閾値は第２基準数である。第３の方法においては、測距対象となる基準撮像点の近傍から第２基準数の特定基準撮像点を選択対象点とする。すなわち、第３の方法とは、「測距対象となる基準撮像点の近傍に位置する基準撮像点のうち、測距対象となる基準撮像点の近くから第２基準数の特定基準撮像点を選択対象点とする」方法である。この条件が満たされなければ、Ａ（ｉ）を対象として測距を実行しないとしてもよいし、他の方法にて選択対象点を決定してもよい。

たとえば、第２基準数を３とすれば、基準撮像点抽出部２０８は、Ａ（ｉ）に近い位置から、３つの特定基準撮像点であるＡ（ｉ−４）、Ａ（ｉ−２）、Ａ（ｉ−１）、Ａ（ｉ）、Ａ（ｉ＋１）、Ａ（ｉ＋３）およびＡ（ｉ＋５）の７つの基準撮像点を選択対象点として選択する。
このように、上記の画像処理装置２００は、抽出した基準撮像点のうち、測距対象となる基準撮像点や、変換対応点を求めるべき基準撮像点を選択することを特徴とする。したがって、第２の実施の形態に係る画像処理装置２００によれば、等輝度線の形状の複雑度や物体の面の形状により基準撮像点を選択することができるので、複雑な形状の対象物体をより好適に三次元画像として再現できるという効果を奏しうる。

（第３の実施の形態）
上記の変換制御部２１２は、係数計算部２１４、変換対応点計算部２１６に加え、図示しない誤差判定部を含んでも良い。誤差判定部は、画像対応点と変換対応点の座標の誤差Ｕを「数３」に基づいて計算する。誤差判定部は、画像対応点の座標と変換対応点の座標のずれに基づいて基準撮像点抽出部２０８が新たに複数の基準点を再抽出するよう制御部２０４に要求する。たとえば、誤差Ｕが減少傾向にあれば、誤差判定部はより多くの選択対象点を選択するように制御部２０４に指示する。誤差Ｕが拡大傾向にあれば、誤差判定部はより少ない選択対象点を選択するように制御部２０４に指示する。係数計算部２１４は、指示に基づいて新たに再抽出された複数の選択対象点とそれらに対応する複数の画像対応点の各座標に基づいて、アフィン変換関数の係数を再計算する。
いま、図３のＡ（ｉ）が測距の対象となる基準撮像点であるとする。このとき、Ａ（ｉ−１）からＡ（ｉ＋１）までの３つの基準撮像点に基づいて計算された誤差Ｕに比べて、Ａ（ｉ−２）からＡ（ｉ＋２）までの５つの基準撮像点に基づいて計算された誤差Ｕが小さければ、誤差判定部は更に多くの選択対象点を選択するよう制御部２０４に要求する。基準撮像点抽出部２０８は、制御部２０４からの指示にしたがって、更に多くの基準撮像点を選択対象点として選択する。このような処理により、係数計算部２１４は、画像対応点の座標と変換対応点の座標の誤差Ｕが最も小さくなるときの係数を確定させる。変換対応点計算部２１６は、測距対象となる基準撮像点の座標を係数を確定されたアフィン変換関数により変換して変数対応点の座標を確定させる。
図６は、画像処理装置２００が対象物体１００を測距する過程を示すフローチャートである。まず、画像取得部２０６は、対象物体１００を撮像した基準画像１０２をカメラから取得し、撮像画像格納部２２４に格納する（Ｓ１０）。画像取得部２０６は、対象物体１００を別の角度から撮像した比較画像１０４をカメラから取得し撮像画像格納部２２４に格納する（Ｓ１２）。画像対応点特定部２１０は基準画像１０２および比較画像１０４から等輝度線を抽出する（Ｓ１４）。基準撮像点抽出部２０８は、この等輝度線に基づいて基準撮像点を抽出する（Ｓ１６）。基準撮像点は等輝度線上からｙ軸方向に所定の間隔で抽出される。基準撮像点抽出部２０８は、抽出した基準撮像点に対応して等輝度ステレオ法に基づき画像対応点を特定する（Ｓ１８）。基準撮像点抽出部２０８は、図５に関連して説明したいずれかの方法に基づいて選択対象点を選択する（Ｓ２０）。

係数計算部２１４は、選択対象点と画像対応点のそれぞれの座標に基づいて、「数４」で示した計算式によりアフィン変換関数の係数を計算する（Ｓ２２）。変換対応点計算部２１６は、この係数に基づくアフィン変換関数により、選択対象点の変換対応点を特定する（Ｓ２４）。誤差判定部は、画像対応点と変換対応点の誤差Ｕを「数３」によって計算する（Ｓ２６）。なお、誤差Ｕは初期値として任意の値、たとえば、０があらかじめ設定されていてもよい。誤差判定部は、Ｓ２６において算出した誤差Ｕが拡大傾向にあるか否かを判定する（Ｓ２８）。拡大傾向になければ（Ｓ２８のＮ）、処理はＳ２０に戻り、基準撮像点抽出部２０８は選択対象点を再抽出する。拡大傾向にあれば（Ｓ２８のＹ）、測距部２２０は測距処理する（Ｓ３０）。測距部２２０は、この測距処理によって取得した距離情報を座標情報格納部２２８に格納する。Ｓ１６において抽出されたすべての基準撮像点のうち測距すべきすべての基準撮像点について以上の処理が完了していれば（Ｓ３２のＹ）、処理は終了する。完了していなければ（Ｓ３２のＮ）、処理はＳ２０に戻り、基準撮像点抽出部２０８は次の選択対象点を選択する。

Ｓ２８において、誤差Ｕが減少傾向にある場合には、基準撮像点抽出部２０８は第１基準数や第２基準数を増加させてもよい。これにより、より好適に選択対象点が特定される。また、Ｓ２６とＳ２８の処理を省略した場合には、処理速度の高速化をはかる上でより好適である。
このように、第３の実施の形態の画像処理装置２００は、アフィン変換関数の係数を特定するために、基準点を単位として基準画像上における変換対象範囲を動的に決定するので、複雑な形状の対象物体をより好適に三次元画像として再現できるという効果を奏しうる。

以上に示した画像処理装置２００によれば、ノイズの影響を緩和して好適に対象物体１００の三次元画像再現しやすくなる。対象物体１００の表面がゆるやかでなめらかな局面である場合には、その表面が局所的に平面に近い形状となるため、平面拘束定理に基づくアフィン変換の適用がその局所平面において適用可能である。

以上、実施例をもとに本発明を説明した。なお本発明はこの実施の形態に限定されることなく、そのさまざまな変形例もまた、本発明の態様として有効である。

本実施例では、等輝度線ステレオ法に基づいて説明したが、本発明はセグメントベースの三次元計測技術にも適用可能であることは言うまでもない。複雑な形状のエッジ線を含む対象物体を三次元計測する場合には、エッジ線が細分化されてしまうが、本発明における画像処理装置は、点群を単位としてアフィン変換を実行するので、このような状況おいても特許文献１に記載の装置よりも対応しやすい。また、アフィン変換の代わりに、２次変換などのより高次の座標変換関数を用いることにより、より複雑な曲面などにも対応できる。

標準カメラモデルにおいて三角測量の原理により対象物体を測距する原理を説明するための図である。 等輝度線を用いて対応点を特定する原理を説明するための模式図である。 画像対応点と変換対応点の関係を示す模式図である。 画像処理装置の機能ブロック図である。 選択対象点を選択する方法を示すための模式図である。 画像処理装置が対象物体を測距する過程を示すフローチャートである。

符号の説明

１００ 対象物体、１０２ 基準画像、１０４ 比較画像、１２２ アフィン線、２００ 画像処理装置、２０２ ユーザインタフェース処理部、２０４ 制御部、２０６ 画像取得部、２０８ 基準撮像点抽出部、２１０ 画像対応点特定部、２１２ 変換制御部、２１４ 係数計算部、２１６ 変換対応点計算部、２２０ 測距部、２２２ データ格納部、２２４ 撮像画像格納部、２２６ 係数格納部、２２８ 座標情報格納部。

Claims (8)

1. 物体を異なる角度から撮像した基準画像と比較画像を取得するステレオ画像取得部と、
   前記基準画像に映し出された物体表面から複数の基準点を抽出する基準点抽出部と、
   前記比較画像において前記複数の基準点に対応する画像対応点を特定する画像対応点特定部と、
   前記複数の基準点と画像対応点の各座標に基づいて、アフィン変換関数の係数を計算する係数計算部と、
   測距処理対象となる基準点の座標を前記アフィン変換関数により変換して変換対応点の座標を計算する対応点計算部と、
   前記測距処理対象となる基準点の座標と前記変換対応点の座標に基づいて前記物体までの距離を測定する測距部と、
   を備えることを特徴とする画像処理装置。
2. 物体を異なる角度から撮像した基準画像と比較画像を取得するステレオ画像取得部と、
   前記基準画像及び比較画像から輝度に応じて分類された領域の境界線を等輝度線として抽出する等輝度線抽出部と、
   前記基準画像の等輝度線から複数の基準点を抽出する基準点抽出部と、
   前記比較画像において前記複数の基準点に対応する画像対応点を特定する画像対応点特定部と、
   前記複数の基準点と画像対応点の各座標に基づいて、アフィン変換関数の係数を計算する係数計算部と、
   測距処理対象となる基準点の座標を前記アフィン変換関数により変換して変換対応点の座標を計算する対応点計算部と、
   前記測距処理対象となる基準点の座標と前記変換対応点の座標に基づいて前記物体までの距離を測定する測距部と、
   を備えることを特徴とする画像処理装置。
3. 物体を異なる角度から撮像した基準画像と比較画像を取得するステレオ画像取得部と、
   前記基準画像に映し出された物体表面から複数の基準点を抽出する基準点抽出部と、
   前記比較画像において前記複数の基準点に対応する画像対応点を特定する画像対応点特定部と、
   測距処理対象となる基準点の近傍に位置する複数の基準点のうち画像対応点の特定に成功した所定個数の基準点を選択する基準点選択部と、
   前記複数の基準点と画像対応点の各座標に基づいて、アフィン変換関数の係数を計算する係数計算部と、
   前記測距処理対象となる基準点の座標を前記アフィン変換関数により変換して変換対応点の座標を計算する対応点計算部と、
   前記測距処理対象となる基準点の座標と前記変換対応点の座標に基づいて前記物体までの距離を測定する測距部と、
   を備えることを特徴とする画像処理装置。
4. 前記基準点選択部は、前記測距処理対象となる基準点から第１基準個数以内の複数の基準点のうち画像対応点の特定に成功した基準点の数が第２基準個数以上であれば、前記第１基準個数以内で前記画像対応点の特定に成功した複数の基準点を選択することを特徴とする請求項３に記載の画像処理装置。
5. 物体を異なる角度から撮像した基準画像と比較画像を取得するステレオ画像取得部と、
   前記基準画像に映し出された物体表面から複数の基準点を抽出する基準点抽出部と、
   前記比較画像において前記複数の基準点に対応する画像対応点を特定する画像対応点特定部と、
   前記複数の基準点と画像対応点の各座標に基づいて、アフィン変換関数の仮の係数を計算する仮係数計算部と、
   測距処理対象となる基準点の座標を仮の係数に基づくアフィン変換関数により変換して仮の変換対応点の座標を計算する仮対応点計算部と、
   画像対応点の座標と仮の変換対応点の座標のずれに基づいて前記基準点抽出部に新たに複数の基準点を再抽出するよう指示する再抽出指示部と、
   前記指示に基づいて新たに再抽出された複数の基準点とそれらに基づいて特定された複数の画像対応点の各座標に基づいて、アフィン変換関数の係数を再計算して確定させる係数特定部と、
   測距対象となる基準点の座標を係数を確定されたアフィン変換関数により変換して変数対応点の座標を確定させる対応点特定部と、
   前記複数の基準点と画像対応点の各座標に基づくアフィン変換関数により、前記複数の基準点のうち測距処理対象となる基準点の座標を前記比較画像の座標に変換した変換対応点を特定する対応点処理部と、
   前記測距処理対象となる基準点の座標と前記変換対応点の座標に基づいて前記物体までの距離を測定する測距部と、を備えることを特徴とする画像処理装置。
6. 前記係数特定部は、画像対応点の座標と仮の変換対応点の座標のずれが最も小さくなるときの係数を確定させることを特徴とする請求項５に記載の画像処理装置。
7. 物体を異なる角度から撮像した基準画像と比較画像を取得するステップと、
   前記基準画像に映し出された物体表面から複数の基準点を抽出するステップと、
   前記比較画像において前記複数の基準点に対応する画像対応点を特定するステップと、
   測距処理対象となる基準点の近傍に位置する複数の基準点の各座標に基づいてアフィン変換関数の係数を計算するステップと、
   前記測距処理対象となる基準点の座標を前記アフィン変換関数により変換して変換対応点の座標を計算するステップと、
   前記測距処理対象となる基準点の座標と前記変換対応点の座標に基づいて前記物体までの距離を測定するステップと、
   を備えることを特徴とする画像処理方法。
8. 物体を異なる角度から撮像した基準画像と比較画像を取得する機能と、
   前記基準画像に映し出された物体表面から複数の基準点を抽出する機能と、
   前記比較画像において前記複数の基準点に対応する画像対応点を特定する機能と、
   測距処理対象となる基準点の近傍に位置する複数の基準点の各座標に基づいてアフィン変換関数の係数を計算する機能と、
   前記測距処理対象となる基準点の座標を前記アフィン変換関数により変換して変換対応点の座標を計算する機能と、
   前記測距処理対象となる基準点の座標と前記変換対応点の座標に基づいて前記物体までの距離を測定する機能と、
   をコンピュータに発揮させることを特徴とする画像処理プログラム。

Images