JP2012141964A - 画像処理装置、画像処理装置の制御方法、距離計測装置、およびプログラム - Google Patents

Abstract

【課題】パターン投影と簡便な画像処理で多重反射光領域の検出を行うことにより、多重反射によるノイズの影響を低減することを目的とする。
【解決手段】投影部によりエピポーララインと略平行な方向のラインパターンが投影された撮像対象物を撮像する撮像部と、撮像された画像からラインの方向を算出するライン方向算出部と、ラインの方向と、投影部と撮像部との相対的な位置関係を示す幾何配置に基づいて決定されるエピポーラライン方向との角度差に基づいて多重反射光領域を検出する検出部と、を備える。
【選択図】図１

Description

本発明は、画像処理装置、画像処理装置の制御方法、距離計測装置、およびプログラムに関し、特に撮像対象物の表面特性、形状、および、配置により発生する多重反射によるノイズの影響を低減する画像処理装置、画像処理装置の制御方法、距離計測装置、およびプログラムに関する。

撮像対象物の光沢性が高く、形状や配置が複雑な場合、撮像対象物間で複数回の反射、すなわち、多重反射が起こる。多重反射は撮像対象間で相互に発生するため、相互反射とも呼ばれる。多重反射が起こると撮像対象物中に本来は存在しないはずの写り込みが生じる。このような撮像画像に対して、画像処理を適用すると、写り込みがノイズとして作用するため、正常に機能せず問題となることがある。

特に、撮像対象物の距離を測定するために、パターン光を用いるパターン投影法では写り込みの影響が顕著になる。パターン投影法の原理を述べた後に、その影響について説明する。

パターン投影法では、パターン光の照明装置からの出射角、計測対象物で反射されたパターン光の撮像装置への入射角、および、照明装置と撮像装置との間の距離に基づいた三角測量で、計測対象物の三次元的な距離を算出する。撮像装置への入射角は撮像素子のピクセル座標と入射角との対応関係をキャリブレーションすることで容易に得ることができる。パターン光の出射角を得る方法として光切断法、空間符号化法など種々の手法が提案されている。

空間符号化法では、複数本のライン光から成るパターン光が計測対象物へ投影される。複数本のライン光のライン番号を各種符号化法で識別する。ライン番号を識別するための符号化法としてはグレーコード法、レインボー法などが知られている。グレーコード法では周期の異なる２値パターン光を順番に投影し、時間方向の符号化を用いてライン番号を識別する。ライン番号と出射角とは予めキャリブレーションされているので出射角を得ることができる。

パターン投影法では、計測対象物の表面散乱性が高く、形状や配置が単純であるという条件下では、計測対象物からの反射光は１次反射光が支配的となるため、有効に機能する。しかし、計測対象物の光沢性が高く、形状や配置が複雑であるという条件下では、計測対象物間で多重反射が起こる。多重反射が起こると、投影装置から出射した角度とは異なる角度へ反射される。この多重反射光が撮像装置に入射すると光線の出射角を誤検出し、距離計測に誤差が生じる。

この問題に対する先行技術として、特許文献１に記載の方法がある。特許文献１では、反射が起こると像が反転する性質を利用する方法が開示されている。すなわち、多重反射光が発生する領域ではライン番号の増減が逆転するため、それを手掛かりに多重反射光領域を検出する。

特許０３８００８４２号公報

特許文献１に記載の方法では、偶数回の多重反射による計測誤りは検出可能だが、奇数回の多重反射による計測誤りは検出できない。また、１次反射光と多重反射光が混在する領域の判定に誤りを生じる可能性もある。さらに、階段状の計測対象物の場合、反射が生じなくてもライン番号の増減が逆向きとなるケースも起こり得る。上述のように、計測対象間で生じる多重反射が発生する領域を効果的に検出可能な距離計測技術は提案されていないという課題がある。

上記の課題に鑑み、本発明は、パターン投影と簡便な画像処理で多重反射光領域の検出を行うことにより、多重反射によるノイズの影響を低減することを目的とする。

上記の目的を達成する本発明に係る画像処理装置は、
投影手段によりエピポーララインと略平行な方向のラインパターンが投影された撮像対象物を撮像する撮像手段と、
前記撮像された画像からラインの方向を算出するライン方向算出手段と、
前記ラインの方向と、前記投影手段と前記撮像手段との相対的な位置関係を示す幾何配置に基づいて決定されるエピポーラライン方向との角度差に基づいて多重反射光領域を検出する検出手段と、
を備えることを特徴とする。

本発明によれば、パターン投影と簡便な画像処理で多重反射光領域の検出を効果的に行うことにより、多重反射によるノイズの影響を低減できる。

第１実施形態の画像処理装置（距離計測装置）の構成例を示す図。 三角測量法による距離計測の原理説明図。 多重反射光による計測誤差発生のメカニズムの説明図。 エピポーラ幾何の説明図。 多重反射光領域検出の原理説明図。 第１実施形態の処理の流れを示すフローチャート。 多重反射光領域検出用パターンの例を示す図。 エッジ検出フィルタによるライン方向検出の説明図。 撮像画像上のエピポーラライン方向の例を示す図。 ライン方向検出結果に基づくラベル付けの例を示す図。 Ｓ６の処理フローと距離計測用パターンの説明図。 第２実施形態の処理の流れを示すフローチャート。 空間周波数解析によるライン方向検出の説明図。 第４実施形態の処理の流れを示すフローチャート。

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

（第１実施形態）
まず、図１を参照して、第１実施形態に係る画像処理装置（距離計測装置）の概略構成図を示す。距離計測装置は、投影部１と、撮像部２と、制御・計算処理部３とを備える。

投影部１はパターン光、例えばラインパターン光を計測対象物５に投影する。撮像部２はパターン光が投影された計測対象物５を撮像する。制御・計算処理部３は、投影部１と撮像部２とを制御し、撮像された画像データを計算処理して計測対象物５までの距離を計測する。

投影部１は、光源１１と、照明光学系１２と、表示素子１３と、投影光学系１４とを備える。光源１１は、例えばハロゲンランプ、ＬＥＤなど各種の発光素子である。照明光学系１２は、光源１１から出射された光を表示素子１３へと導く機能を有する。光源から出射された光が表示素子１３に入射する際に、入射輝度が均一である方がよい。そのため、照明光学系１２には、例えば、ケーラー照明や拡散板など輝度の均一化に適した光学系が用いられる。表示素子１３は、例えば透過型ＬＣＤや反射型のＬＣＯＳ・ＤＭＤなどである。表示素子１３は、照明光学系１２からの光を投影光学系１４に導く際に、透過率、または、反射率を空間的に制御する機能を有する。投影光学系１４は、表示素子１３を計測対象物５の特定位置に結像させるように構成された光学系である。本実施形態では表示素子と投影光学系とを備える投影装置の構成を示したが、スポット光と２次元走査光学系とを備える投影装置を用いることも可能である。

撮像部２は、撮像レンズ２１と、撮像素子２２とを備える。撮像レンズ２１は、計測対象物５の特定位置を撮像素子２２上に結像させるよう構成された光学系である。撮像素子２２は、例えばＣＭＯＳセンサ、ＣＣＤセンサなど各種光電変換素子である。

なお、図１では投影部１と撮像部２とが略平行に配置されている構成が示されている。

制御・計算処理部３は、投影パターン制御部３１と、画像取得部３２と、多重反射領域検出部３３と、距離算出部３４と、パラメータ記憶部３５とを備える。制御・計算処理部３のハードウェアは、ＣＰＵ、メモリ、ハードディスクなどの記憶装置、入出力用の各種インタフェース等を具備する汎用のコンピュータ（ハードウェア）から構成される。また、制御・計算処理部３のソフトウェアは、本発明に係る距離計測方法をコンピュータに実行させる距離計測プログラムを備える。

ＣＰＵが距離計測プログラムを実行することにより、投影パターン制御部３１、画像取得部３２、多重反射領域検出部３３、距離算出部３４、およびパラメータ記憶部３５の各部を実現している。

投影パターン制御部３１は、後述する投影パターンを生成して、記憶装置に予め記憶する。また、必要に応じて記憶した投影パターンのデータを読み出し、例えば、ＤＶＩのような汎用的なディスプレイ用インタフェースを介して投影パターンデータを投影部１に伝送する。さらにＲＳ２３２ＣやＩＥＥＥ４８８などの汎用の通信インタフェースを介して投影部１の動作を制御する機能を有する。なお、投影部１では、伝送された投影パターンデータに基づいて表示素子１３に投影パターンを表示する。

画像取得部３２は、撮像部２で標本化ならびに量子化されたデジタルの画像信号を取り込む。さらに、取り込んだ画像信号から各画素の輝度（濃度値）で表される画像データを取得してメモリに記憶する機能を有する。なお、画像取得部３２は、ＲＳ２３２ＣやＩＥＥＥ４８８などの汎用の通信インタフェースを介して撮像部２の動作（撮像のタイミングなど）を制御する機能を有する。

画像取得部３２と投影パターン制御部３１とは互いに連携して動作する。表示素子１３へのパターン表示が完了すると、投影パターン制御部３１は、画像取得部３２に信号を送信する。画像取得部３２は、投影パターン制御部３１から信号を受信すると撮像部２を動作させ、画像撮像を実施する。画像撮像が完了すると、画像取得部３２は投影パターン制御部３１に信号を送信する。投影パターン制御部３１は画像取得部３２から信号を受信すると、表示素子１３に表示する投影パターンを次の投影パターンに切り替える。これを順次繰り返すことで、全ての投影パターンの撮像を実施する。

多重反射領域検出部３３は、投影部１により投影された多重反射領域検出用パターンの撮像画像に基づいて多重反射領域を検出する。多重反射とは、例えば撮像対象物において複数回反射が生じることをいう。詳細は後述する。

距離算出部３４では、距離計測用パターンの撮像画像、パラメータ記憶部３５に格納されているパラメータ、および、多重反射領域検出部３３での検出結果、を用いて計測対象物５までの距離を算出する。

パラメータ記憶部３５は、三次元的な距離を算出するのに必要なパラメータを格納する。パラメータとしては、投影部１と撮像部２との機器パラメータ、投影部１と撮像部２との内部パラメータ、投影部１と撮像部２との外部パラメータ、投影パターンのパラメータがある。

投影部１と撮像部２との機器パラメータは、表示素子の画素数、撮像素子の画素数である。投影部１と撮像部２との内部パラメータは、焦点距離、画像中心、ディストーションによる画像歪みの係数などである。投影部１と撮像部２との外部パラメータは、投影部１と撮像部２との相対位置関係を表す並進行列と回転行列である。投影パターンのパラメータは、距離計測用パターン、多重反射領域検出用パターンに関する情報である。

本実施形態では、投影部１、撮像部２ともにピンホールカメラモデルで近似されるものとして説明する。ただし、本発明が適用できるカメラモデルはピンホールカメラに限られるものではない。

図２を参照して、三角測量法による距離計測の原理を説明する。撮像部のレンズ中心をＣｃ、画像平面をＩｃ、焦点距離をｆｃ、画像中心ｃｃのピクセル座標を（ｕｃｏ、ｖｃｏ）、撮像素子の画素サイズをＰｓｃとすると、撮像部の内部行列Ａｃは以下の式（１）のように記述される。

また、投影部のレンズ中心をＣｐ、画像平面をＩｐ、焦点距離をｆｐ、画像中心ｃｐのピクセル座標を（ｕｐｏ、ｖｐｏ）、表示素子の画素サイズをＰｓｐとすると、投影部の内部行列Ａｐは以下の式（２）のように記述される。

撮像部の内部行列Ａｃと投影部の内部行列Ａｐは公知の技術である内部パラメータのキャリブレーション方法を用いることで算出される。

撮像部のカメラ座標系ＸＹＺと投影部のカメラ座標系ＸｐＹｐＺｐ間の相対位置関係を表す外部パラメータは回転行列Ｒと並進行列Ｔである。回転行列Ｒは３×３の行列であり、並進行列Ｔは３×１の行列である。回転行列Ｒと並進行列Ｔとは公知の技術である外部パラメータのキャリブレーション方法を用いることにより算出される。

撮像部のカメラ座標系を原点とする３次元空間中の点Ｍの座標を（Ｘ、Ｙ、Ｚ）とする。点Ｍを撮像部の画像平面Ｉｃに射影した点ｍｃのピクセル座標を（ｕｃ、ｖｃ）とする。その対応関係は以下の式（３）で記述される。

ｓはスカラーである。また、同一点Ｍを投影部の画像平面Ｉｐに射影した点ｍｐのピクセル座標を（ｕｐ、ｖｐ）とする。その対応関係は以下の式（４）で記述される。

ｓ’はスカラーである。上記を式（３）、式（４）を展開すると以下の式（５）で示す４つの連立方程式となる。

点ｍｃのピクセル座標（ｕｃ、ｖｃ）と点ｍｐのピクセル座標（ｕｐ、ｖｐ）とは、背景技術で説明した種々のパターン投影法を用いることで求められる。また、Ｃｉｊ（ｉ＝１〜３, ｊ＝１〜３）、Ｐｉｊ（ｉ＝１〜３,ｊ＝１〜３）は、内部行列と外部パラメータとから算出されるため、予めキャリブレーションにより求められている。式（５）において点Ｍの座標値（Ｘ、Ｙ、Ｚ）のみが未知数であり、連立方程式を解くことでこれを求めることができる。なお、求める未知数である点Ｍの座標値は（Ｘ、Ｙ、Ｚ）の３つであるため、投影部のピクセル座標値（ｕｐ、ｖｐ）のいずれか一方を求めれば、点Ｍの座標値を算出することができる。以上が三角測量法に基づく距離計測の原理である。

多重反射光が発生しない、あるいは、発生しても影響が顕在化しない場合には、上述の三角測量法で計測対象物の距離計測を行うことができる。しかし、多重反射光が発生して影響が顕在化すると計測誤差を生じる。

図３を参照して、多重反射光による計測誤差発生のメカニズムを説明する。図３では、簡単のためにＸ軸とＺ軸の２次元断面図の形式で説明する。

投影部１のレンズ中心Ｃｐから画像平面Ｉｐ上の点ｕｐ１を通過する方向に出射した光線Ｌ１は計測対象物５上の点Ｐ１に入射する。点Ｐ１で反射された光は撮像部２の画像座標と点ｕｃ１で交わり、レンズ中心Ｃｃへと入射する。

投影部１のレンズ中心Ｃｐから画像平面Ｉｐ上の点ｕｐ２を通過する方向に出射した光線Ｌ２は計測対象物５上の点Ｐ２に入射する。点Ｐ２で反射された光は点Ｐ１で２次反射される。その後、撮像部２の画像座標上の点ｕｃ１で交わり、撮像部１のレンズ中心Ｃｃへと入射する。２次反射が起こると、本来は投影部１のレンズ中心Ｃｐから出射した光が、点Ｐ２から出射したかのように振舞う。

被写体の光沢性が低く、多重反射の影響が少ない場合には、撮像部２で観測される輝度はＬ１による反射光が支配的となる。ピクセル座標値がｕｐ１であると正しく検出されるため、距離計測結果も正しいＺｔとなる。

一方、被写体の光沢性が高く、多重反射の影響が大きい場合には、Ｌ２による反射光が支配的となる。このとき、ピクセル座標値がｕｐ２であると誤検出されるため、計測点がＰｅにあるものとして計測されてしまう。距離計測結果はＺｅとなり、ΔＺ＝Ｚｔ−Ｚｅだけの誤差を生じる。

実際には、図３で示した２次反射光だけでなく、３次以上の反射光も存在し、より複雑な計測誤差が発生することある。以上が多重反射光による計測誤差発生のメカニズムの説明である。

これに対し本発明では、エピポーラ幾何の性質を利用したパターンの投影により、多重反射光が発生する領域の検出を行う。

図４を参照して、エピポーラ幾何について説明する。図４では、エピポーラ幾何の性質がわかりやすいように、投影部１と撮像部２との各配置が図１に比べて傾けて示されている。３次元空間中の点Ｍ、投影部１のレンズ中心Ｃｐ、撮像部２のレンズ中心Ｃｃは１つの平面上にある。この平面をエピポーラ平面ＥＰという。エピポーラ平面ＥＰとそれぞれの画像平面Ｉｃ、Ｉｐとの交線をそれぞれのエピポーララインＥＬｃ、ＥＬｐという。また、画像平面Ｉｃと画像平面Ｉｐにおいてエピポーララインが交わる点をエピポールｅｃ、ｅｐという。

エピポーラ幾何には次の性質がある。投影部１と撮像部２と撮像対象物との相対的な位置関係を示す幾何配置が既知の場合、撮像部２の画像平面Ｉｃ上の点を１点決めると、投影部１の画像平面Ｉｐ上のエピポーララインＥＬｐが決まる。同様に、投影部１の画像平面Ｉｐ上の点を１点決めると、撮像部２の画像平面Ｉｃ上のエピポーララインＥＬｃが決まる。そこで、投影部1
の画像平面Ｉｐ上のエピポーララインＥＬｐと略平行なラインパターンを計測対象物５に投影する。すると、撮像部２においては、撮像部２の画像平面Ｉｃ上のエピポーララインＥＬｃと平行なラインパターンが撮像される。ここで、エピポーララインＥＬｐと略平行なラインパターンとは、エピポーララインＥＬｐと平行な方向または当該平行な方向から所定の角度範囲である方向のライン成分を有するパターン光である。

図５を参照して、この性質を利用して多重反射光領域を検出する原理を説明する。図５（ａ）は計測装置、計測対象物５、および、投影部１により投影されるラインパターンの位置関係を示す。また、図５（ｂ）は撮像部２による撮像画像を示す。

投影部１からは投影部１のエピポーララインＥＬｐと略平行な方向のラインパターンＬＰを投影している。計測対象物５としては、散乱性物体５１、光沢性物体５２、背景板５３の３つである。なお、背景板５３の散乱性は高いものとする。

散乱性物体５１では、投影されたラインパターンの１次反射光が観測されるため、エピポーラ幾何が成立し、撮像部２のエピポーララインＥＬｃと略平行なラインＬＰｓが観測される。光沢性物体５２では、図５（ａ）に示した配置のとき、投影部１から投影されたラインパターンの反射光よりも背景板５３からの反射光による光の方が強くなる。背景板５３からの反射光においては、エピポーラ幾何が成立しないため、撮像部２のエピポーララインＥＬｃと略平行ではない方向のラインＬＰｒが観測される。

つまり、撮像部２のエピポーララインＥＬｃと略平行でない方向のラインの有無を判定すれば、多重反射光領域の有無の検出が可能になる。

以上が、本発明のエピポーラ幾何を利用した多重反射光領域の検出方法の説明である。

図６のフローチャートを参照して、第１実施形態に係る多重反射光領域の検出処理の流れを説明する。

Ｓ１では、投影部１が多重反射光領域検出用パターンを計測対象物５に投影する。多重反射光検出用パターンは、投影部１の画像平面Ｉｐにおけるエピポールｅｐを求めることにより決定される。エピポーララインはエピポールを通過するという性質を持つため、投影部１の画像平面Ｉｐにおけるエピポールｅｐを求めることにより、エピポーララインＥＬｐの方向を決定できる。エピポールｅｐはＦ行列（fundamental matrix）Ｆから求められる。Ｆ行列Ｆは投影部１の内部行列Ａｐ、撮像部２の内部行列Ａｃ、投影部１と撮像部２との間の回転行列Ｒ、並進行列Ｔから以下の式（６）で求められる。

なお、式（６）の[]×は以下の式（７）の変換を表す。

投影部１のエピポールｅｐはＦＦ^Ｔの最も小さい固有値に対応する固有ベクトルとして算出される。

図７に多重反射光領域検出用パターンの例を示す。図７（ａ）は、エピポールが無限遠方に存在するときのパターンである。図１に示す投影部１と撮像部２とが平行配置された状態のとき、このようなパターンになる。図７（ｂ）は、エピポールが画像平面の下方に存在するときの例であり、図７（ｃ）は、エピポールが画像平面の上方に存在するときの例である。投影部１と撮像部２とが平行配置でない場合には、このようなパターンになる。

Ｓ２では、撮像部２が、多重反射光領域検出用パターンが投影された計測対象物５を撮像する。

Ｓ３では、画像取得部３２がＳ２で撮像された画像を取得し、多重反射領域検出部３３が当該画像からライン方向を算出する（ライン方向算出処理）。この際、図８（ａ）に示すように画像を特定サイズの小領域ＳＲに区切り、それぞれの小領域でライン方向を検出する。また、図８（ａ）の点線矢印のように小領域ＳＲを画面上で２次元的に走査する。第１実施形態ではエッジ検出フィルタによるライン方向の検出を行う。

次に図８（ｂ）、図８（ｃ）、および図８（ｄ）を参照して、エッジ検出フィルタによるライン方向検出の原理を説明する。

図８（ｂ）はエッジ検出フィルタの例である。エッジ検出フィルタは特定の角度刻みで複数用意する。図８（ｂ）では１５°刻みのフィルタを図示したが、これに限られるものではない。また、図中では３×３ピクセルのエッジ検出フィルタの例を示した。画像中の投影ラインの幅が１ピクセルの場合、３×３のフィルタサイズが最適となる。画像中の投影ラインの幅が１ピクセルよりも大きい場合には、それに合わせてフィルタのサイズを大きくすると良い。エッジ検出フィルタを用いると、小領域ＳＲのライン方向とフィルタのライン方向の角度が近い場合に、高い出力値が出力される。散乱性物体５１上の小領域ＳＲ１では、図８（ｃ）に示すように、０°のときの出力が最大となる。一方、光沢性物体５２上の小領域ＳＲ２では、図８（ｄ）に示すように、−３０°のとき出力が最大となる。Ｓ３では、出力が最大となる角度をライン方向として出力する。

Ｓ４では、多重反射領域検出部３３が、Ｓ３で検出された小領域ＳＲごとのライン方向と、その小領域ＳＲに対応する撮像部２の画像平面上のエピポーラライン方向とを比較する。Ｓ３で検出されたライン方向とエピポーラライン方向との差が所定値以下であると判定された場合（Ｓ４；ＹＥＳ）、Ｓ５に進む（閾値判定処理）。Ｓ５において、多重反射領域検出部３３は、その小領域が多重反射光非存在領域（パターン光が１回のみ反射された１次反射光領域；第一の領域）であるとラベル付けする。一方、Ｓ３で検出されたライン方向とエピポーラライン方向との差が所定値よりも大きいと判定された場合（Ｓ４；ＮＯ）、Ｓ５’に進む。Ｓ５’において、多重反射領域検出部３３は、その小領域が多重反射光存在領域（第二の領域）であるとラベル付けする。

撮像部２のエピポーララインＥＬｃの方向は撮像部２のエピポールｅｃを求めることにより算出される。撮像部２のエピポールｅｃはＦ^ＴＦの最も小さい固有値に対応する固有ベクトルとして算出される。

図９に撮像画像上のエピポーラライン方向の例を示す。図９（ａ）はエピポールが無限遠方に存在するときの画像である。図１に示す投影部１と撮像部２とが平行に配置された状態のとき、このようになる。図９（ｂ）はエピポールが画像平面の下方に存在するときの例であり、図９（ｃ）はエピポールが画像平面の上方に存在するときの例である。投影部１と撮像部２とが平行配置でない場合には、このようなパターンになる。

図１０（ａ）は、エピポーララインＥＬｃを点線で示し、検出されたライン方向ＬＤを実線で示した図である。散乱性物体５１と背景板５３においては、検出ライン方向ＬＤとエピポーラライン方向ＥＬｃとが一致する。従って、散乱性物体５１と背景板５３とは、多重反射光非存在領域である。一方、光沢性物体５２においては、検出ライン方向ＬＤとエピポーラライン方向ＥＬｃとが一致しない。従って、光沢性物体５２は多重反射光領域である。図１０（ｂ）は、多重反射光非存在領域と多重反射光領域との各ラベル付け後の結果を示す。多重反射光非存在領域を左下がりの斜線で、多重反射光領域を右下がりの斜線で示す。

Ｓ６では、投影パターン制御部３１が投影部１および撮像部２を制御し、投影部１および撮像部２が距離計測用パターンの投影および撮像を行う。第１実施形態ではパターン投影法としてグレーコード法を用いた例を示すが、本発明に適用できるパターン投影法はグレーコード法に限られるものではない。Ｓ６の詳細なフローを図１１（ａ）に示す。また、距離計測用パターンを図１１（ｂ）に示す。ここでは、符号化のビット数を１０ビットであるものとして説明する。

Ｓ６１では、投影パターン制御部３１が制御変数ｉを１に設定する。

Ｓ６２では、投影部１がｉビットのポジティブ距離計測用パターンを計測対象物５へ投影する。

Ｓ６３では、撮像部２がｉビットのポジティブ画像を撮像する。

Ｓ６４では、投影部１がｉビットのネガティブ距離計測用パターンを計測対象物５へ投影する。

Ｓ６５では、撮像部２がｉビットのネガティブ画像を撮像する。

Ｓ６６では、投影パターン制御部３１が、制御変数ｉがＮよりも小さいか否かを判定する。制御変数ｉが整数Ｎよりも小さいと判定された場合（Ｓ６６；ＹＥＳ）、Ｓ６７へ進む。Ｓ６７では、投影パターン制御部３１が制御変数ｉに１を加算する。Ｎは符号化のビット数に対応する整数である。今回の場合、Ｎ＝１０である。一方、制御変数ｉがＮよりも小さいという関係が成立しないと判定された場合（すなわちｉ＝１０の場合）（Ｓ６６；ＮＯ）、Ｓ６の処理を終了して、Ｓ７に進む。

Ｓ７では、多重反射領域検出部３３が、Ｓ４、Ｓ５、Ｓ５’で付与された撮像画像小領域ごとの多重反射光領域ラベルに基づいて、小領域が多重反射光領域であるか否かを判定する。小領域が多重反射光領域であると判定された場合には（Ｓ７；ＹＥＳ）、Ｓ８’へ進み、距離算出部３４は距離計測処理を行わない。一方、小領域が多重反射光非存在領域であると判定された場合には（Ｓ７；ＮＯ）、Ｓ８へ進み、距離算出部３４は距離計測処理を行う。 距離計測処理では、距離算出部３４はｉ＝１〜１０のポジティブ画像とネガティブ画像とを用いて投影部１のピクセル座標値を求める。その具体的な方法を説明する。距離算出部３４は、撮像画像の全ピクセルで、ビットごとにポジティブ画像とネガティブ画像との輝度値の大小比較を行う。ポジティブ画像の輝度値がネガティブ画像の輝度値よりも大きい場合１とし、ポジティブ画像の輝度値がネガティブ像の輝度値よりも小さい場合０とする。この０または１の値をｉ＝１からｉ＝１０まで順番に並べたものがグレーコード符号値であり、これを空間コード値に変換したものが投影部１のピクセル座標となる。撮像部２のピクセル座標も撮像画像から判明するため、前述した三角測量法が適用できる。以上で処理が終了する。

第１実施形態によれば、多重反射光領域を検出し、その領域には距離計測処理を適用しないため、多重反射光により生じる誤差の無い距離計測結果を得ることができる。

第１実施形態では、エピポーラライン方向以外の様々な方向のエッジ検出フィルタを用いてライン方向を検出後、エピポーラライン方向のラインの有無を判定する例を紹介した。本発明はこの例に限られるものでなく、エピポーラライン方向のみのエッジ検出フィルタの出力値でエピポーラライン方向のラインの有無を判定しても良い。

以上が、本発明の第１実施形態に係る距離計測装置の説明である。

（第２実施形態）
第２実施形態に係る距離計測装置の概略構成は、第１実施形態で説明した図１と同様であるため、説明を省略する。図１２のフローチャートを参照して、第２実施形態に係る距離計測装置の処理の流れを説明する。Ｓ１からＳ７までの各処理は第１実施形態の対応する各処理と同一であるため、説明を省略する。

第１実施形態の場合には、多重反射光非存在領域に対してのみ、Ｓ８の距離計測処理を適用したが、第２実施形態の場合には、多重反射光領域にも距離計測処理を適用する。ただし、小領域が多重反射光非存在領域である場合には、Ｓ８の後にＳ９に進み、計測結果の信頼度を高信頼度とする。一方、小領域が多重反射光存在領域である場合には、Ｓ８’の後にＳ９’に進み、計測結果の信頼度を低信頼度とする。

第２実施形態によれば、多重反射光領域の検出結果に基づいた信頼度を与えることで、計測結果を渡された後段の処理で各信頼度に基づいて計測結果を取捨選択できる。

以上が、本発明の第２実施形態に係る距離計測装置の説明である。

（第３実施形態）
第３実施形態に係る距離計測装置の概略構成は、第１実施形態で説明した図１と同様であるため、説明を省略する。第３実施形態に係る距離計測装置の処理の流れは、第１実施形態の図６で説明したＳ１からＳ７までの各処理と同様である。

ただし、Ｓ３のライン方向の検出に適用される処理に、空間周波数解析を用いる点、およびそれに伴うＳ４の処理が異なっている。

図１３を参照して、空間周波数解析に基づくライン方向検出の詳細を説明する。図１３（ａ）に示すように、空間周波数解析を用いる場合も、撮像画像を特定サイズの小領域ＳＲに区切り、それぞれの小領域でライン方向を検出する。第１実施形態と同様に、画像中の小領域ＳＲを画面上で２次元的に走査し、それぞれでライン方向を検出する。

第３実施形態では、小領域ＳＲに対して２次元離散フーリエ変換を施す。図１３（ｂ）、（ｃ）に、それぞれ小領域ＳＲ１の拡大図と小領域ＳＲ１に対する２次元離散フーリエ変換の結果とを示す。同様に、図１３（ｄ）、（ｅ）にそれぞれ小領域ＳＲ２の拡大図と小領域ＳＲ２に対する２次元離散フーリエ変換の結果とを示す。

図１３（ｃ）、（ｅ）は画像を空間周波数領域で表現したもので、横軸がｕ方向の空間周波数成分、縦軸がｖ方向の空間周波数成分である。また、グラフ上の点は２次元離散フーリエ変換の絶対値のピーク点を表している。

図１３（ｂ）の拡大図で示すように、縦方向のラインが大部分を占める小領域ＳＲ１では、図１３（ｃ）のように、原点Ｏと、ｕ軸上にピーク点Ｆ１、Ｆ１’とが現れる。すなわちピーク点と原点Ｏとのなす角θ１は０となる。

一方、図１３（ｄ）の拡大図で示すように、斜め線が大部分を示す小領域ＳＲ２では、図１３（ｅ）のように、原点Ｏと、原点Ｏを中心に角度θ２だけ回転させた直線上にピーク点Ｆ２、Ｆ２’が現れる。空間周波数解析に基づくライン方向検出では、このピーク点と原点とを結ぶ直線と、横軸とのなす角をライン方向として出力する。

Ｓ４においては、エピポーララインＥＬｃ方向の空間周波数領域におけるピーク点と原点とを結ぶ直線と、横軸とのなす角を予め算出しておく。そして、Ｓ３で出力されたライン方向とエピポーラライン方向との差が所定値以下であるか否かを判定する。

なお、第１実施形態および第２実施形態では、エッジ検出フィルタによるライン方向検出の例を示し、第３実施形態では、空間周波数解析によるライン方向検出の例を示したが、本発明に適用できるライン方向検出法は上記２つの方法に限られるものではない。

以上が、第３実施形態に係る距離計測装置の説明である。

（第４実施形態）
第４実施に係る距離計測装置の概略構成は、第１実施形態で説明した図１と同様であるため、説明を省略する。第４の実施形態では、ライン方向とエピポーラライン方向の角度差と画像輝度情報に基づいて多重反射光領域度を算出する例を示す。第４実施形態に係る画像処理装置の処理の流れを図１４に示す。

Ｓ１０１では、投影部１が多重反射光領域検出用パターンを計測対象物５に投影する。

Ｓ１０２では、撮像部２が、多重反射光領域検出用パターンが投影された計測対象物５を撮像する。

Ｓ１０３では、画像取得部３２がＳ２で撮像された画像を取得し、多重反射領域検出部３３が当該画像からライン方向を検出（抽出）する。この際、図８（ａ）に示すように画像を特定サイズの小領域ＳＲに区切り、それぞれの小領域でライン方向を検出する。ライン方向の算出には、第１実施形態で用いたエッジ検出フィルタ、第４実施形態で用いた空間周波数解析などを用いることができる。

Ｓ１０４では、多重反射領域検出部３３が、Ｓ３で検出された小領域ＳＲごとのライン方向と、その小領域ＳＲに対応する撮像部２の画像平面上のエピポーラライン方向との角度差Δθを算出する。

検出されたライン方向をθｌ、エピポーラライン方向をθｅとすると角度差Δθは以下の式（８）で算出される。

Δθ＝ａｂｓ（θｌ−θｅ）・・・（８）
ここで、ａｂｓ（）はカッコ内の符号付きの値の絶対値を出力する関数である。

Ｓ１０５では、多重反射領域度Ｄｒを算出する（多重反射光領域度算出処理）。多重反射光領域度は多重反射光領域らしさを表す値であり、値が大きいほど、多重反射領域である可能性は高くなる。多重反射領域度Ｄｒは以下の式（９）に示すようにＳ１０４で算出された角度差Δθと画像輝度情報Ｌｕｍの関数である。

Ｄｒ＝ｇ（Ｌｕｍ，Δθ）・・・（９）
関数ｇ（Ｌｕｍ，Δθ）としては例えばＬｕｍ×Δθを用いることができる。角度差Δθが大きいほど、多重反射光領域である可能性は高いので、それを利用したものである。

画像輝度情報Ｌｕｍとしては小領域の画像輝度の平均値Ｌａｖｅを用いることができる。小領域内の画像輝度平均値が低い場合、ライン方向の検出精度が下がるため、角度差Δθの精度が低下する。多重反射領域度の算出において、画像輝度情報を併用することで、画像輝度の低下に伴うライン方向の検出誤差を補うことができる。画像輝度情報としては平均値以外にも画像輝度の分散Ｌｖａｒ、小領域内の画像輝度の最大値と最小値の差Ｌｍａｘ−ｍｉｎ、小領域内のコントラストＬｃｏｎなどを用いることができる。小領域内の分散、最大値―最小値、コントラストの値が大きいほど、ラインが画像中で明瞭に観測され、ライン方向の検出精度は向上する傾向にある。

第４実施形態ではライン方向とエピポーラライン方向の角度差以外の情報として画像輝度情報を用いる例を示したが、用いることができる情報はそれに限られない。例えば、画像の空間周波数情報なども同様に用いることができる。ラインの空間周波数情報は画像中でほぼ一定であるため、そのスペクトルが他の周波数スペクトルに比べて大きいほどライン方向の検出精度は向上する。

Ｓ１０６では、多重反射領域度Ｄｒに基づいて、多重反射光領域を検出する。

Ｓ１０７では、投影パターン制御部３１が投影部１および撮像部２を制御し、投影部１および撮像部２が距離計測用パターンの投影および撮像を行う。ここでは第１実施形態でＳ６として示したフローと同様の処理を行う。

Ｓ１０８では、距離算出部３４が距離計測処理を行う。ここでは第１実施形態でＳ８として示したフローと同様の処理を行う。

Ｓ１０９では、距離計測信頼度を出力する。多重反射領域度はＤｒの関数ｈ（Ｄｒ）で求める。多重反射領域度Ｄｒが大きいほど距離計測信頼度は低いので、ｈ（Ｄｒ）としては多重反射領域度Ｄｒの逆数１／Ｄｒを用いることができる。以上が、第４実施形態に係る距離計測装置の説明である。

第１乃至第４実施形態では、距離算出部を持つ距離計測装置として説明したが、距離算出部を持たない構成でも効果がある。つまり、画像中から多重反射光領域を検出し、その検出結果に基づいて計測対象物の認識処理等を適用することで、多重反射光によるノイズの影響を低減した画像処理を行うことができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 投影手段によりエピポーララインと略平行な方向のラインパターンが投影された撮像対象物を撮像する撮像手段と、
   前記撮像された画像からラインの方向を算出するライン方向算出手段と、
   前記ラインの方向と、前記投影手段と前記撮像手段との相対的な位置関係を示す幾何配置に基づいて決定されるエピポーラライン方向との角度差に基づいて多重反射光領域を検出する検出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記検出手段は、前記角度差の閾値判定を行うことにより多重反射光領域を検出することを特徴とする請求項１記載の画像処理装置。
3. 前記検出手段は、前記多重反射光領域について、多重反射光領域らしさを表す多重反射光領域度を算出する多重反射光領域度算出手段をさらに備えることを特徴とする請求項１記載の画像処理装置。
4. 前記多重反射光領域度算出手段は、前記角度差と前記画像の画像輝度情報とに基づいて前記多重反射光領域度を算出することを特徴とする請求項３記載の画像処理装置。
5. 前記多重反射光領域度算出手段は、前記角度差と前記画像の空間周波数情報とに基づいて前記多重反射光領域度を算出することを特徴とする請求項３記載の画像処理装置。
6. 請求項３に記載の画像処理装置と、
   前記撮像対象物までの距離を計測する計測手段と、
   を備えることを特徴とする距離計測装置。
7. 前記計測手段は、前記検出手段により前記多重反射光領域ではないとして検出された領域に対して前記撮像対象物までの距離を計測することを特徴とする請求項６に記載の距離計測装置。
8. 前記計測手段は、前記多重反射光領域度算出手段により算出された多重反射光領域度に基づいて距離計測結果の信頼度を出力することを特徴とする請求項６に記載の距離計測装置。
9. 前記ライン方向算出手段は、エッジ検出フィルタを用いて前記ラインの方向を算出することを特徴とする請求項１に記載の画像処理装置。
10. 前記ライン方向算出手段は、空間周波数解析を用いて前記ラインの方向を算出することを特徴とする請求項１に記載の画像処理装置。
11. 撮像手段と、ライン方向算出手段と、検出手段と、を備える画像処理装置の制御方法であって、
    前記撮像手段が、投影手段によりエピポーララインと略平行な方向のラインパターンが投影された撮像対象物を撮像する撮像工程と、
    前記ライン方向算出手段が、前記画像からラインの方向を算出するライン方向算出工程と、
    前記検出手段が、前記ラインの方向と、前記投影手段と前記撮像手段との相対的な位置関係を示す幾何配置に基づいて決定されるエピポーラライン方向との角度差に基づいて多重反射光領域を検出する検出工程と、
    を有することを特徴とする画像処理装置の制御方法。
12. 請求項１１に記載の画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。