JP2015179077A - 視差演算システム、情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】 視差演算の精度を向上させる。
【解決手段】 複数の撮像部により撮影された撮影画像について視差演算を行う情報処理装置であって、前記複数の撮像部の撮影方向に電磁波を出射した場合の反射波に基づいて、該電磁波の反射位置までの距離を示す距離情報を取得する距離情報取得部４０１と、前記距離情報に基づき、前記撮影画像についての視差を決定する視差演算部４２０とを有することを特徴とする。
【選択図】図４

Description

本発明は視差演算を行う視差演算システム、情報処理装置、情報処理方法及びプログラムに関する。

従来より、ステレオカメラ等の複数の撮像部を用いて撮影した撮影画像（ステレオ画像）について視差演算を行うことで、撮影対象のオブジェクトまでの距離を算出するステレオ測距技術が知られている（例えば、特許文献１乃至４等参照）。

当該ステレオ測距技術によれば、撮影画像内にオブジェクト画像として描画されている各オブジェクト（つまり、撮影対象の各オブジェクト）について、撮像部からの距離を算出することができる。

しかしながら、上記ステレオ測距技術に用いられる視差演算の場合、その演算精度が、撮影画像の特性の影響を受けやすいという問題がある。

例えば、撮影画像内にテクスチャの低い領域が含まれていた場合、当該領域では、視差演算の際に誤差が発生しやすい。また、撮影画像内に繰り返しパターンが含まれていた場合も、視差演算の際に誤差が発生しやすい。

このようなことから、ステレオ測距技術に用いられる視差演算においては、撮影画像に含まれる誤差の発生しやすい領域について誤差の発生頻度を抑え、視差演算の精度向上を図ることが求められている。

本発明は上記課題に鑑みてなされたものであり、視差演算の精度向上を図ることを目的とする。

本発明の実施形態に係る情報処理装置は、以下のような構成を有する。すなわち、
複数の撮像部により撮影された撮影画像について視差演算を行う情報処理装置であって、
前記複数の撮像部の撮影方向に電磁波を出射した場合の反射波に基づいて算出された、該電磁波の反射位置までの距離を示す距離情報を取得する取得手段と、
前記距離情報に基づき、前記撮影画像についての視差を決定する決定手段とを有することを特徴とする。

本発明の各実施形態によれば、視差演算の精度向上を図ることが可能となる。

実施形態に係る視差演算システムの全体構成を示す図である。 視差演算システムを車載用に適用した場合のレーザレーダ測距部及び撮像部の配置例ならびにレーザレーダ測距部によるレーザ光の出射方向及び撮像部による撮影範囲を示す図である。 視差演算システムを構成する情報処理装置のハードウェア構成を示す図である。 視差画像生成部の機能構成を示す図である。 繰り返しパターンが含まれている撮影画像の一例を示す図である。 繰り返しパターンが含まれている撮影画像の所定の画素における、シフト位置と類似度との関係を示す図である。 低テクスチャ領域が含まれている撮影画像の一例を示す図である。 低テクスチャ領域が含まれている撮影画像の所定の画素における、シフト位置と類似度との関係を示す図である。 視差演算システムにおける視差演算処理の流れを示すフローチャートである。 情報処理装置によるステレオ画像処理の流れを示すフローチャートである。 レーザレーダ測距部によるレーザ光の出射方向を示す図である。 視差演算システムをＦＡ用に適用した場合のレーザレーダ測距部及び撮像部の配置例を示す図である。 繰り返しパターンが含まれている撮影画像の一例を示す図である。 繰り返しパターンが含まれている撮影画像の所定の画素における、シフト位置と類似度との関係を示す図である。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
＜１．視差演算システムの全体構成＞
はじめに、本実施形態に係る視差演算システムの全体構成について説明する。図１は、本実施形態に係る視差演算システム１００の全体構成を示す図である。図１に示すように、視差演算システム１００は、レーザレーダ測距部１１０と、ステレオ撮像部１２０と、情報処理装置１３０とを備える。

レーザレーダ測距部１１０は、パルス状のレーザ光を投受光することで、該レーザ光が照射されたオブジェクトを検出する。また、該レーザ光が照射されたオブジェクトまでの距離を算出し、距離情報を情報処理装置１３０に送信する。

ステレオ撮像部１２０は、単眼の撮像部１２１と単眼の撮像部１２２とを備える。撮像部１２１、１２２は、それぞれ、所定のフレーム周期で撮影を行い、撮影画像を情報処理装置１３０に送信する。

情報処理装置１３０は、ステレオ撮像部１２０より送信された撮影画像について視差演算を行い、視差画像を生成する。なお、情報処理装置１３０は、当該視差演算を行うにあたり、レーザレーダ測距部１１０より送信された距離情報を参照するように構成されている（詳細は後述）。

＜２．視差演算システムを構成するレーザレーダ測距部及び撮像部の配置＞
次に、視差演算システム１００を車載用に適用した場合のレーザレーダ測距部１１０及び撮像部１２１、１２２の配置例ならびにレーザレーダ測距部によるレーザ光の出射方向及び撮像部による撮影範囲について説明する。図２は、視差演算システム１００を車載用に適用した場合のレーザレーダ測距部１１０及び撮像部１２１、１２２の配置例ならびにレーザレーダ測距部によるレーザ光の出射方向及び撮像部による撮影範囲を示す図である。

図２に示すように、レーザレーダ測距部１１０及び撮像部１２１、１２２は、車両２００内の天井部分のフロントガラス近傍であって、車両２００の幅方向の中央位置に取り付けられる。

かかる取り付け位置のもとで、レーザレーダ測距部１１０は、車両２００の進行方向前方に向けてレーザ光を出射する。また、撮像部１２１、１２２は、車両２００の進行方向前方を撮影する。

なお、レーザレーダ測距部１１０によるレーザ光の出射方向は、出射されたレーザ光により照射される照射範囲が、撮像部１２１、１２２による撮影範囲内に含まれるように調整されているものとする。

また、レーザレーダ測距部１１０は、撮像部１２１、１２２が１フレーム分の撮影画像を撮影する間に、レーザ光を複数回出射するように構成されているものとする。図２は、撮像部１２１、１２２が１フレーム分の撮影画像を撮影する間に、レーザレーダ測距部１１０が、パルス状のレーザ光を５回出射した例を示している。

このように、１フレーム分の撮影画像を撮影する間に、レーザ光を複数回出射する構成とすることで、情報処理装置１３０では、１フレーム分の撮影画像について視差演算を行うにあたり、距離情報を参照する回数を増やすことができる。これにより、視差演算における誤差の発生を、より抑えることが可能となる。なお、レーザ光の出射回数は５回に限定されるものではないことはいうまでもなく、出射回数は１回でもよい。

＜３．情報処理装置の構成＞
次に、情報処理装置１３０のハードウェア構成について説明する。上述したように、情報処理装置１３０は、ステレオ撮像部１２０より送信された撮影画像について視差演算を行い、視差画像を生成する。そして、情報処理装置１３０が生成した視差画像は、例えば、撮影により撮影画像内にオブジェクト画像として描画された各オブジェクトまでの距離を算出するために用いられる。

そこで、以下では、情報処理装置１３０のハードウェア構成を説明するにあたり、はじめに、情報処理装置１３０により生成された視差画像を用いて、各オブジェクトまでの距離を算出するステレオ測距技術の概要について簡単に説明する。

＜３．１ ステレオ測距技術の概要＞
一般的に、ステレオ測距技術では、左右に配置された２台の単眼の撮像部より送信される１対の撮影画像について相関（類似度）を求めることで同一点を抽出し、抽出した同一点に対する視差を演算することで、三角測量の要領で当該同一点までの距離を算出する。

具体的には、２台の単眼の撮像部より送信される１対の撮影画像から、同一のオブジェクトが描画されている部分を抽出する。２台の単眼の撮像部が左右に設置されている場合、１対の撮影画像間において、同一のオブジェクトが描画されている位置は左右にずれる。そこで、一方の撮影画像を他方の撮影画像に対して左右方向に、１画素ずつシフトさせていき、最も重なり合う位置（類似度が最も高い位置）を求めることで、１対の撮影画像間における当該同一のオブジェクト内の同一点を抽出する。そして、抽出した同一点間のシフト量（視差）を演算し、２台の単眼の撮像部の光軸間の距離を用いて、当該同一点までの距離を算出する。

なお、このときシフトさせた画素数をｎ、単眼の撮像部のカメラレンズの焦点距離をｆ、基線長（単眼の撮像部の光軸間距離）をＢ、画素ピッチをｄとすると、同一のオブジェクト内の同一点までの距離Ｚは、下式により算出することができる。

なお、式１の分母（ｎ×ｄ）が視差である。

＜３．２ ステレオ測距技術を実現するための視差演算を行う情報処理装置の構成＞
次に、上記ステレオ測距技術を実現するための視差演算を行う情報処理装置１３０の構成について説明する。図３は、上記ステレオ測距技術を実現するための視差演算を行う情報処理装置１３０の構成を示す図である。

図３に示すように、情報処理装置１３０は、ＣＰＵ（Central Processing Unit）３０１、ＲＡＭ（Random Access Memory）３０２、記憶装置３０３、入出力部３０４を備える。なお、情報処理装置１３０の各部は、バス３０５を介して相互に接続されているものとする。

ＣＰＵ３０１は、記憶装置３０３に格納されたプログラム（視差画像生成部３１０として機能するためのプログラム）を実行するコンピュータである。ＣＰＵ３０１が当該プログラムを実行することにより、情報処理装置１３０では、ステレオ撮像部１２０より送信された撮影画像について視差演算を行い、視差画像を生成する。

つまり、一方の撮影画像を他方の撮影画像に対して左右方向に１画素ずつシフトさせていくことで類似度を求めつつ、レーザレーダ測距部１１０より送信された距離情報を参照することで、１対の撮影画像間における該同一のオブジェクト内の同一点を抽出する。そして、抽出した同一点間のシフト量（視差）を演算し、視差画像を生成する。

ＲＡＭ３０２は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＲＡＭ３０２は、記憶装置３０３に格納されたプログラムがＣＰＵ３０１によって実行される際に展開される、作業領域として機能する。

記憶装置３０３は、ＥＰＲＯＭやＥＥＰＲＯＭ等のメモリであり、ＣＰＵ３０１を、視差画像生成部３１０として機能させるためのプログラムを格納する。

入出力部３０４は、レーザレーダ測距部１１０やステレオ撮像部１２０（撮像部１２１、１２２）と通信するためのインタフェース部である。

＜４．視差画像生成部の機能構成＞
次に、視差画像生成部３１０の機能構成について説明する。図４は、視差画像生成部３１０の機能構成を示す図である。

図４に示すように、視差画像生成部３１０は、距離情報取得部４０１、参照視差算出部４０２、撮影画像取得部４１１、撮影画像補正部４１２、視差演算部４２０を備える。

距離情報取得部４０１は、撮像部１２１、１２２が１フレーム分の撮影画像を撮影する間にレーザ光が投受光されることでレーザレーダ測距部１１０により検出されたオブジェクト（反射位置）までの距離を示す距離情報を、レーザレーダ測距部１１０より取得する。

参照視差算出部４０２は、距離情報取得部４０１において取得された距離情報（Ｚ）と、撮像部１２１、１２２のカメラレンズの焦点距離（ｆ）、基線長（撮像部１２１、１２２の光軸間距離（Ｂ））とに基づいて、上記式１を用いて視差（ｎ×ｄ）を逆算する。なお、以下では、参照視差算出部４０２において、距離情報（Ｚ）に基づいて逆算された視差を"参照視差"と称す。参照視差算出部４０２では、算出した参照視差を視差演算部４２０に出力する。

撮影画像取得部４１１は、撮像部１２１、１２２により撮影された撮影画像（ステレオ画像）を、所定のフレーム周期で取得する。撮影画像補正部４１２は、撮影画像取得部４１１により取得された撮影画像に対して、ガンマ補正や歪み補正等の各種補正処理を実行する。

視差演算部４２０は、撮影画像補正部４１２において各種補正処理が実行された撮影画像について視差演算を行い、視差画像を生成する。なお、視差演算に際して、視差演算部４２０では、参照視差算出部４０２において距離情報に基づいて算出された参照視差を参照することで、撮影画像間の同一点を抽出する。

＜５．繰り返しパターンが含まれている撮影画像の一例＞
次に、車載用に適用された視差演算システム１００の撮像部１２１、１２２により撮影された撮影画像について説明する。図５は、車載用に適用された視差演算システム１００の撮像部１２１、１２２により撮影された撮影画像のうち、視差演算において誤差の発生しやすい、繰り返しパターンが含まれている撮影画像の一例を示す図である。

図５（ａ）に示すように、車両２００が路面上を走行した場合、撮像部１２１、１２２では、路面上に付された横断歩道５０１等の路面標示を撮影することとなる。撮像部１２１、１２２により撮影された横断歩道５０１は、図５（ｂ）に示すように、撮影画像５１０、５２０において、左右方向の繰り返しパターンである、横断歩道画像５１１、５２１として描画される。

ここで、撮影画像５１０は、撮像部１２１により撮影された撮影画像であり、撮影画像５２０は、撮像部１２２により撮影された撮影画像である。

なお、図５（ａ）において、照射範囲５０２は、撮影画像５１０及び撮影画像５２０が撮影される間に、レーザレーダ測距部１１０により出射された複数回のレーザ光のうちの１つの照射範囲を示している。また、図５（ｂ）の撮影画像５１０内に示す矩形領域５１２は、レーザレーダ測距部１１０により出射された当該レーザ光が照射された路面上の照射範囲に対応する撮影画像５１０内の領域を示している。なお、以下では、矩形領域５１２に含まれる画素を、"照射範囲画素"と称す。

＜６．視差演算部の機能の説明（その１）＞
次に、視差演算部４２０の機能について説明する。図６は、撮影画像５１０を参照画像とし、撮影画像５２０を基準画像として、撮影画像５１０を撮影画像５２０に対して１画素ずつシフトさせた場合の、撮影画像５１０の所定の定義（注目画素）についての類似度を示した図である。図６（ａ）、（ｂ）において、横軸は、撮影画像５１０をシフトさせた際の各シフト位置を示しており、縦軸は、各シフト位置における類似度を示している。なお、縦軸は、類似度が高いほど小さい値となり、類似度が低いほど大きい値になるように規格化されているものとする。以下、図６（ａ）、（ｂ）を参照しながら、視差演算部４２０の機能について説明する。

上述したように、撮影画像５１０、５２０には、左右方向の繰り返しパターンである横断歩道画像５１１、５２１が描画されている。このため、撮影画像（参照画像）５１０を撮影画像（基準画像）５２０に対して１画素ずつシフトさせた場合、図６（ａ）に示すように、撮影画像５１０の注目画素についての類似度は、複数の極値点（極小点６０１、６０２、６０３）を有することとなる。更に、これらの極値点はいずれも、類似度の値が所定の閾値よりも小さい値となる。

視差演算部４２０では、視差演算を行うにあたり、まず、類似度の値が極値（図６（ａ）の例では極小値）となる点であって、類似度が予め定められた類似度よりも高い点（図６（ａ）の例では類似度の値が所定の閾値よりも小さい点）を抽出する。このため、視差演算部４２０では、極小点６０１〜６０３を抽出する。そして、当該抽出した極小点６０１〜６０３のシフト位置を視差候補（視差候補１〜視差候補３）とする。

ここで、従来の視差演算では、抽出した複数の極小点６０１〜６０３のうち、類似度が最も高い点（つまり、類似度の値が最も小さい点）を撮影画像間の同一点として抽出していた。そして、そのシフト位置を視差演算に用いていた（図６（ａ）の例では、視差候補３である極小点６０３のシフト位置）。

これに対して、本実施形態に係る情報処理装置１３０の視差演算部４２０では、複数の極小点６０１〜６０３が抽出された場合、参照視差算出部４０２において算出された参照視差を参照する。そして、当該極小点６０１〜６０３のシフト位置と参照視差により特定されるシフト位置との関係に基づいて、撮影画像間の同一点を抽出することで視差候補１〜視差候補３の中から、視差演算に用いる視差候補を抽出し、視差を決定する。

図６（ｂ）を用いて具体的に説明する。図６（ｂ）の矢印６１０は、参照視差算出部４０２において距離情報に基づいて逆算された参照視差により特定されるシフト位置を示している。視差演算部４２０では、抽出した極小点６０１〜６０３のシフト位置のうち、参照視差により特定されたシフト位置に最も近い位置にある、極小点６０１を撮影画像間の同一点として抽出する。そして、極小点６０１のシフト位置（視差候補１）を視差演算に用いることで、視差を決定する。

このように、視差演算部４２０では、レーザレーダ測距部１１０において算出された距離情報を利用することにより、複数の視差候補の中から、最も確からしい視差候補を視差演算に用いることが可能となる。つまり、撮影画像内に、誤差の発生しやすい左右方向の繰り返しパターンが含まれていた場合であっても、適切な極小点を抽出し、当該抽出した極小点をシフト位置を視差演算に用いることができるようになるため、誤差の発生頻度を抑えることが可能となる。この結果、視差演算の精度を向上させることが可能となる。

＜７．低テクスチャ領域が含まれている撮影画像の一例＞
次に、車載用に適用された視差演算システム１００の撮像部１２１、１２２により撮影された他の撮影画像について説明する。図７は、車載用に適用された視差演算システム１００の撮像部１２１、１２２により撮影された撮影画像のうち、視差演算において誤差の発生しやすい、低テクスチャ領域が含まれている撮影画像の一例を示す図である。

図７（ａ）に示すように、車両２００が路面上を走行した場合、撮像部１２１、１２２では、路面を撮影することとなる。撮像部１２１、１２２により撮影された路面は、低テクスチャ領域である路面画像７１１、７２１として描画される。

ここで、撮影画像７１０は、撮像部１２１により撮影された撮影画像であり、撮影画像７２０は、撮像部１２２により撮影された撮影画像である。

なお、図７（ａ）において、照射範囲７０２は、撮影画像７１０及び撮影画像７２０が撮影される間に、レーザレーダ測距部１１０により出射された複数回のレーザ光のうちの１つの照射範囲を示している。また、図７（ｂ）の撮影画像７１０内に示す矩形領域７１２は、レーザレーダ測距部１１０により出射された当該レーザ光が照射された路面上の照射範囲に対応する撮影画像７１０内の領域を示している。なお、以下では、矩形領域７１２に含まれる画素を、"照射範囲画素"と称す。

＜８．視差演算部の機能の説明（その２）＞
次に、視差演算部４２０の機能について更に説明する。図８は、撮影画像７１０を参照画像とし、撮影画像７２０を基準画像として、撮影画像７１０を撮影画像７２０に対して１画素ずつシフトさせた場合の、撮影画像７１０の所定の画素（注目画素）についての類似度を示した図である。図８（ａ）、（ｂ）において、横軸は、撮影画像７１０をシフトさせた際の各シフト位置を示しており、縦軸は、各シフト位置における類似度を示している。なお、縦軸は、類似度が高いほど小さい値となり、類似度が低いほど大きい値になるように規格化されているものとする。以下、図８（ａ）、（ｂ）を参照しながら、視差演算部４２０の機能について更に説明する。

上述したように、撮影画像７１０、７２０には、低テクスチャ領域である路面画像７１１、７２１が描画されている。このため、撮影画像（参照画像）７１０を撮影画像（基準画像）７２０に対して１画素ずつシフトさせた場合、図８（ａ）に示すように、撮影画像５１０の注目画素についての類似度は平坦となる。また、類似度の値は常に所定の閾値以上となる。

上述したように、視差演算部４２０では、視差演算を行うにあたり、まず、類似度の値が極値（図８（ａ）の例では極小値）となる点であって、類似度が予め定められた類似度よりも高い点（図８（ａ）の例では類似度の値が所定の閾値よりも小さい点）を抽出する。しかしながら、図８（ａ）の例では、類似度の値が常に所定の閾値以上であるため、抽出される点が存在しない。このため、視差候補が抽出されない。

ここで、従来の視差演算では、視差候補が抽出されない場合、例えば、エラー出力等を行い視差演算を終了していた。これに対して、本実施形態に係る情報処理装置１３０の視差演算部４２０では、視差候補が抽出されない場合でも、参照視差算出部４０２において算出された参照視差を参照する。そして、参照視差により特定されるシフト位置に最も近い極小点を撮影画像間の同一点として抽出し、当該抽出した極小点のシフト位置を視差演算に用いることで、視差を決定する。

図８（ｂ）を用いて具体的に説明する。図８（ｂ）の矢印８１０は、参照視差算出部４０２において、距離情報に基づいて逆算された参照視差により特定されるシフト位置を示している。また、極小点８０１は、参照視差により特定されるシフト位置に最も近い位置にある極小点を示している。そして、視差演算部４２０では、参照視差により特定されるシフト位置に最も近い位置にある極小点８０１を撮影画像間の同一点として抽出する。そして、極小点８０１のシフト位置を視差演算に用いることで、視差を決定する。

このように、レーザレーダ測距部１１０において算出された距離情報を利用することにより、視差演算部４２０では、視差候補が抽出されなかった場合でも、最も確からしい極小点を視差演算に用いることが可能となる。つまり、撮影画像内に、誤差の発生しやすい低テクスチャ領域が含まれていた場合であっても、適切な極小点を抽出し、当該抽出した極小点のシフト位置を視差演算に用いることができるようになるため、誤差の発生頻度が抑えることができる。この結果、視差演算の精度を向上させることが可能となる。

＜９．視差演算システムにおける視差演算処理の流れ＞
次に、視差演算システム１００における視差演算処理の流れについて説明する。図９は、視差演算システム１００における視差演算処理の流れを示すフローチャートである。

視差演算システム１００による視差演算処理が開始されると、ステップＳ９０１では、情報処理装置１３０からの指示に基づいて、撮像部１２１、１２２が互いに同期して撮影を行う撮影処理を実行する。更に、ステップＳ９０２では、レーザレーダ測距部１１０がレーザ光の投受光に基づく距離情報の算出を行うレーザ測距処理を実行する。

なお、ステップＳ９０１における撮影処理と、ステップＳ９０２におけるレーザ測距処理とは、並行して実行される。すなわち、撮像部１２１、１２２が１フレーム分の撮影画像の撮影を行う間に、レーザレーダ測距部１１０では、パルス状のレーザ光の投受光を行う。

ステップＳ９０３では、情報処理装置１３０が１フレーム分の撮影画像に基づいて視差演算を行い、視差画像を生成するステレオ画像処理を実行する。このとき、情報処理装置１３０では、当該フレームの撮影処理と並行して実行されたレーザ測距処理において算出された距離情報に基づいて参照視差を算出し、当該算出した参照視差を、視差演算に用いる。

ステップＳ９０４では、視差演算処理の終了指示が入力されたか否かを判定し、入力されていないと判定された場合には、ステップＳ９０１及びステップＳ９０２に戻る。そして、次のフレームについて撮影処理を実行するとともに、次のパルス状のレーザ光の投受光を行うことで、レーザ測距処理を実行する。

以降、視差演算処理の終了指示が入力されるまで、フレーム単位で撮影処理を実行し、各フレームごとにレーザ測距処理を実行しながら、フレーム単位でステレオ画像処理を実行していく。

一方、ステップＳ９０４において、視差演算処理の終了指示が入力されたと判定された場合には、処理を終了する。

＜１０．情報処理装置によるステレオ画像処理＞
次に、情報処理装置１３０によるステレオ画像処理（ステップＳ９０３）の詳細な流れについて図１０を参照しながら説明する。図１０は、情報処理装置１３０によるステレオ画像処理（ステップＳ９０３）の詳細な流れを示すフローチャートである。

なお、上述したように、撮影画像において誤差の発生しやすい領域の場合、視差候補が複数抽出されるケースと、視差候補が抽出されないケースとがある。そこで、いずれのケースにも対応できるよう、下記ステレオ画像処理では、視差候補を抽出する処理を省略し、極値点と参照視差とを用いて、撮影画像間における同一点を抽出する場合の処理について説明する。

ステップＳ１００１では、撮影画像取得部４１１が、撮影された１フレーム分の撮影画像（１対の撮影画像（参照画像と基準画像））を、撮像部１２１、１２２それぞれより取得する。

ステップＳ１００２では、ステップＳ１００１において取得された１フレーム分の撮影画像（１対の撮影画像（参照画像と基準画像））について、撮影画像補正部４１２が、ガンマ補正や歪み補正等の補正処理を行う。

ステップＳ１００３では、視差演算部４２０が、参照画像に含まれる画素のうち、視差演算を行う対象となる注目画素Ｐｎを設定する。

ステップＳ１００４では、設定された注目画素Ｐｎの各シフト位置での類似度を算出し、ステップＳ１００５では、ステップＳ１００４において算出された類似度の値が極小値となる極小点を抽出する。

ステップＳ１００６では、ステップＳ１００３において設定された注目画素Ｐｎが、レーザ光が照射された照射範囲に対応する参照画像内の画素（照射範囲画素）近傍の画素であるか否かを、視差演算部４２０が判定する。

ここで、照射範囲画素近傍の画素とは、レーザ光が照射されたオブジェクトが描画されている参照画像内のオブジェクト画像を構成している各画素のうち、照射範囲画素以外の画素を指す。

なお、参照画像内における照射範囲画素の座標は予め設定されているものとする。このため、ステップＳ１００６では、ステップＳ１００３において設定された注目画素Ｐｎが、当該予め設定されている画素近傍の所定の範囲内の画素であるか否かを、当該座標に基づいて判定する。

注目画素Ｐｎが、照射範囲画素近傍の画素であると判定された場合には、ステップＳ１００７に進む。

ステップＳ１００７では、距離情報取得部４０１が、照射範囲画素の距離情報を取得する。ステップＳ１００８では、参照視差算出部４０２が、ステップＳ１００７において取得された距離情報を用いて参照視差を導出し、視差演算部４２０に出力する。更に、視差演算部４２０が参照視差算出部４０２より出力された参照視差により特定されるシフト位置を導出する。

ステップＳ１００９では、ステップＳ１００５において抽出された極小点のうち、ステップＳ１００８において導出されたシフト位置に最も近い極小点を抽出し、シフト位置を求めた後、ステップＳ１０１１に進む。

このように、視差演算部４２０では、注目画素Ｐｎが、照射範囲画素近傍の画素であると判定された場合に、参照視差を利用する。これにより、照射範囲画素が、誤差の発生頻度が高い領域に含まれていた場合に、当該領域における誤差の発生頻度を低減させることが可能となる。

一方、ステップＳ１００６において、注目画素Ｐｎが、照射範囲画素近傍の画素ではないと判定された場合には、ステップＳ１０１０に進む。

ステップＳ１０１０では、視差演算部４２０が、ステップＳ１００５において抽出された極小点のうち、類似度の値が最小値となる極小点を抽出し、抽出した極小点のシフト位置を求めた後、ステップＳ１０１１に進む。

ステップＳ１０１１では、ステップＳ１００９またはステップＳ１０１０において求めたシフト位置を、注目画素Ｐｎについての視差演算に用いる。

ステップＳ１０１２では、視差演算部４２０が、ステップＳ１００１において取得した１フレーム分の撮影画像内の画素すべてについて、視差演算を行ったか否かを判定する。ステップＳ１０１２において視差演算を行っていない画素があると判定された場合には、ステップＳ１０１３に進む。そして、ステップＳ１０１３にて、カウンタｎをインクリメントした後、ステップＳ１００３に戻り、次の画素を注目画素Ｐｎに設定したうえで、ステップＳ１００４からステップＳ１０１１までの処理を実行する。

一方、ステップＳ１０１２において、すべての画素について視差演算を行ったと判定された場合には、ステップＳ１０１４に進み、当該撮影画像についての視差画像を生成する。

＜１１．まとめ＞
以上の説明から明らかなように、本実施形態に係る視差演算システム１００では、
・ステレオ撮像部の撮影方向である車両の進行方向前方に向けてレーザ光を出射し、当該レーザ光が照射されたオブジェクト（レーザ光の反射位置）までの距離を示す距離情報を、レーザレーダ測距部が算出する構成とした。

更に、視差演算システム１００を構成する情報処理装置１３０では、
・レーザレーダ測距部により算出された距離情報と、撮像部のカメラレンズの焦点距離と、基線長とに基づいて、参照視差を導出する構成とした。
・視差演算に際して撮影画像間の同一点を求めるために、各シフト位置における類似度を算出する構成とした。
・類似度の値が極値となる極値点のうち、算出した参照視差により特定されるシフト位置に最も近い極値点を抽出することができるため、該抽出した極値点のシフト位置を用いて視差演算を行う構成とした。

これにより、撮影画像内に、誤差の発生しやすい左右方向の繰り返しパターンや低テクスチャ領域が含まれ、視差候補が複数抽出されたり、抽出されなかったりした場合であっても、適切な極値点を抽出し、適切な視差を算出することが可能となる。

この結果、誤差の発生頻度が抑えられ、視差演算の精度を向上させることが可能となる。

［第２の実施形態］
上記第１の実施形態では、複数回出射されたパルス状のレーザ光が、それぞれ、車両が走行する路面に対して略等しい角度で照射されるように構成した。つまり、車両が走行する路面が平坦で、かつカーブもない場合にあっては、レーザレーダ測距部１１０からの距離が略等しい位置に照射されるように構成した（図２）。しかしながら、本発明はこれに限定されない。

例えば、複数回出射されたパルス状のレーザ光のうち、所定回数分のパルス状のレーザ光については、車両が走行する路面に対して、所定回数分のパルス状のレーザ光以外のレーザ光とは異なる角度で照射されるように構成してもよい。つまり、車両が走行する路面が平坦で、カーブがない場合であっても、所定回数分のパルス状のレーザ光については、所定回数分のパルス状のレーザ光以外のレーザ光とはレーザレーダ測距部１１０からの距離が異なる位置に照射されるように構成してもよい。

図１１は、撮像部１２１、１２２が１フレーム分の撮影画像を撮影する間にレーザレーダ測距部１１０により１０回のパルス状のレーザ光が出射された場合を示している。このうち、図１１（ａ）は、はじめの５回のパルス状のレーザ光が出射された様子を示しており、図１１（ｂ）は、残りの５回のパルス状のレーザ光が出射された様子を示している。

なお、図１１（ａ）は、図２と同じであるため、ここでは説明を省略する。図１１（ｂ）は、図１１（ａ）と同じ出射方向であって、図１１（ａ）よりも離れた位置にレーザ光が照射されるようにレーザ光の出射方向の仰角が調整された場合を示している。

このように、奥行き方向に複数の照射範囲が設定されることにより、図１１（ｃ）の撮影画像１１００に示すように、レーザレーダ測距部１１０により出射されたレーザ光が照射された路面上の照射範囲に対応する撮影画像１１００内の矩形領域の数が増加する。

この結果、参照視差を算出する回数が増加するため、誤差の発生頻度をより抑えることが可能となる。

［第３の実施形態］
上記第１及び第２の実施形態では、視差演算システム１００を車載用に適用した場合について説明したが、本発明はこれに限定されない。例えば、ＦＡ（Factory Automation）用に適用し、生産工場内において搬送される生産物等をピッキングする際の、ピッキング対象までの距離を算出するのに用いるようにしてもよい。以下、本実施形態の詳細について説明する。

＜１．視差演算システムを構成するレーザレーダ測距部及び撮像部の配置＞
はじめに、本実施形態に係る視差演算システム１００をＦＡ用に適用した場合の、レーザレーダ測距部１１０及び撮像部１２１、１２２の配置例について説明する。図１２は、視差演算システム１００をＦＡ用に適用した場合の、レーザレーダ測距部１１０及び撮像部１２１、１２２の配置例を示す図である。

図１２に示すように、レーザレーダ測距部１１０は、撮像部１２１、１２２の間に配置され、生産物（例えば、金属製のパイプ）１２００が搬送されるベルトコンベア１２１０の上部に配置される。なお、撮像部１２１、１２２は、ベルトコンベア１２１０により搬送される生産物１２００が撮影されるように撮影範囲が調整されているものとする。また、レーザレーダ測距部１１０は、レーザ光が当該生産物１２００に照射されるように調整されているものとする。

＜２．オブジェクトの配置と視差との関係、ならびに視差演算部の機能＞
次に、撮影画像内にオブジェクト画像として描画されたオブジェクト（生産物１２００）の配置と、視差との関係、ならびに視差演算部４２０の機能について説明する。図１３は、撮像部１２１により撮影された撮影画像（参照画像）１３１０と撮像部１２２により撮影された撮影画像（基準画像）１３２０とを示す図である。

図１３において、撮影画像１３１０内に描画されているオブジェクト画像（生産物画像１２１１）は、撮影画像１３２０内に描画されているオブジェクト画像（生産物画像１２２１）に対応しているものとする。また、撮影画像１３１０内に描画されているオブジェクト画像（生産物画像１２１２）は、撮影画像１３２０内に描画されているオブジェクト画像（生産物画像１２２２）に対応しているものとする。

つまり、図１３の例では、生産物画像１２１１内の点１３１１と、生産物画像１２２１の点１３２１とが同一点となる。また、生産物画像１２１２内の点１３１２と、生産物画像１２２２内の点１３２２とが同一点となる。換言すると、撮影画像１３１０と撮影画像１３２０の各同一点の画素は、生産物１２００の搬送方向にｄ２だけずれている（視差ｄ２を有している）。

ここで、ベルトコンベア１２１０上の生産物１２００は、同じ材質及び同じ形状を有しており、互いに連なって搬送される。このため、図１３に示すように、例えば、撮影画像１３２０内に描画されている生産物画像１２２２の左側には、同じ材質及び同じ形状の生産物画像１２２１が描画されることとなる。

つまり、視差演算システム１００をＦＡ用に適用した場合に撮像部１２１、１２２により撮影される撮影画像１３１０、１３２０にも、繰り返しパターンが含まれることとなり、誤差の発生頻度が高まる。

特に、撮影画像１３１０、１３２０において、視差ｄ２が大きい場合、例えば、点１３１２の同一点である点１３２２を探索しても、誤って点１３２１が同一点として抽出される可能性が高い。

本実施形態では、かかる事態を回避すべく、上記第１の実施形態と同様に、視差演算部４２０が、複数の視差候補の中から視差演算に用いる視差候補を抽出するにあたり、参照視差算出部４０２において算出された参照視差を参照する。

図１４は、撮影画像１３１０を参照画像とし、撮影画像１３２０を基準画像として、撮影画像１３１０を撮影画像１３２０に対して１画素ずつシフトさせた場合の、撮影画像１３１０の注目画素についての各シフト位置での類似度を示した図である。

図１４（ａ）、（ｂ）において、横軸は、撮影画像１３１０をシフトさせた際の各シフト位置を示しており、縦軸は、各シフト位置における類似度を示している。なお、縦軸は、類似度が高いほど小さい値となり、類似度が低いほど大きい値になるように規格化されているものとする。以下、図１４（ａ）、（ｂ）を参照しながら、視差演算部４２０の機能について説明する。

上述したように、撮影画像１３１０、１３２０には、同じ材質及び同じ形状の生産物１２００が生産物画像として複数描画されている。このため、撮影画像１３１０を撮影画像１３２０に対して１画素ずつシフトさせた場合、図１４（ａ）に示すように、撮影画像１３１０の所定の画素（注目画素）についての類似度は、複数の極小点１４０１、１４０２を有することとなる。更に、これらの極小点はいずれも、類似度の値が所定の閾値よりも小さい値となる。

視差演算部４２０では、視差演算を行うにあたり、まず、類似度の値が極値（図１４（ａ）の例では極小値）となる点であって、類似度が予め定められた類似度よりも高い点（図１４（ａ）の例では類似度の値が所定の閾値よりも小さい点）を抽出する。このため、視差演算部４２０では、極小点１４０１、１４０２を抽出する。そして、当該抽出した極小点１４０１、１４０２のシフト位置を視差候補（視差候補１、視差候補２）とする。

ここで、従来の視差演算では、抽出した複数の極小点１４０１、１４０２のうち、類似度が最も高い点（つまり、類似度の値が最も小さい点）を撮影画像間の同一点として抽出していた。そして、そのシフト位置を視差演算に用いていた（図１４（ａ）の例では、視差候補１である極小点１４０１のシフト位置）。

これに対して、本実施形態に係る情報処理装置１３０の視差演算部４２０では、複数の極小点１４０１、１４０２が抽出された場合、参照視差算出部４０２において算出された参照視差を参照する。そして、当該極小点１４０１〜１４０２のシフト位置と参照視差により特定されるシフト位置との関係に基づいて撮影画像間の同一点を抽出することで、視差候補１、視差候補２の中から、視差演算に用いる視差候補を抽出し、視差を決定する。

図１４（ｂ）を用いて具体的に説明する。図１４（ｂ）の矢印１４１０は、参照視差算出部４０２において距離情報に基づいて逆算された参照視差により特定されるシフト位置を示している。視差演算部４２０では、抽出した複数の極小点１４０１、１４０２のシフト位置のうち、参照視差により特定されたシフト位置に最も近い位置にある、極小点１４０２を撮影画像間の同一点として抽出する。そして、極小点１４０２のシフト位置（視差候補２）を視差演算に用いることで、視差を決定する。

このように、視差演算部４２０では、レーザレーダ測距部１１０において算出された距離情報を利用することにより、複数の視差候補の中から、最も確からしい視差候補を視差演算に用いることが可能となる。つまり、撮影画像内に、誤差の発生しやすい左右方向の繰り返しパターンが含まれていた場合であっても、適切な極小点を抽出し、当該抽出した極小点のシフト位置を視差演算に用いることができるようになるため、誤差の発生頻度を抑えることが可能となる。この結果、視差演算の精度を向上させることが可能となる。

［第４の実施形態］
上記各実施形態では、視差演算の詳細な手法について特に言及しなかったが、視差演算の手法は、任意の方法を用いることができる。

例えば、ＥＢＭ（Edge-Based Matching）のようにテクスチャの強い部分（エッジの強い部分）について視差を演算する方法であってもよい。あるいは、サブピクセル推定手法（等角直線、パラボラ、高次多項式等によるフィッティング）を用いることで、撮影画像全体の各画素の視差を演算する方法であってもよい。なお、サブピクセル推定手法とは、ＳＧＭ（Semi Global Matching）のように各ピクセル周囲からマッチング指標値を漸化式により伝播させ、最小の指標値を与える整数視差とそれに隣接する視差の指標値から小数視差を算出する手法である。

また、上記各実施形態では、レーザレーダ測距部１１０よりレーザ光を出射した場合の反射光に基づいて距離情報を算出する構成としたが本発明はこれに限定されない。レーザレーダ測距部以外の電磁波測距部より電磁波を照射した場合の反射波に基づいて、距離情報を算出する構成としてもよい。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：視差演算システム
１１０ ：レーザレーダ測距部
１２０ ：ステレオ撮像部
１２１、１２２ ：撮像部
１３０ ：情報処理装置
３１０ ：視差画像生成部
４０１ ：距離情報取得部
４０２ ：参照視差算出部
４１１ ：撮影画像取得部
４１２ ：撮影画像補正部
４２０ ：視差演算部

特開２００３−３４６１３０号公報 国際公開第２０１１／０９６２５１号 特開２０１３−１１４４７７号公報 特開２０１３−１７４４９４号公報

Claims (11)

1. 複数の撮像部により撮影された撮影画像について視差演算を行う情報処理装置であって、
   前記複数の撮像部の撮影方向に電磁波を出射した場合の反射波に基づいて算出された、該電磁波の反射位置までの距離を示す距離情報を取得する取得手段と、
   前記距離情報に基づき、前記撮影画像についての視差を決定する決定手段と
   を有することを特徴とする情報処理装置。
2. 前記決定手段は、前記距離情報に基づく視差を導出し、該導出した視差を参照することで、前記撮影画像についての視差を決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記距離情報と、前記撮像部の焦点距離と、前記撮像部の光軸間距離とを用いて、前記決定手段により参照される視差を導出することを特徴とする請求項２に記載の情報処理装置。
4. 前記決定手段は、
   前記複数の撮像部により撮影された撮影画像のうち、第１の撮影画像を第２の撮影画像に対してシフトさせた場合の、各シフト位置での該第１の撮影画像と該第２の撮影画像との類似度を算出し、
   算出した該類似度を用いて前記撮影画像についての視差を決定する際に、前記距離情報に基づく視差を参照することを特徴とする請求項２または３に記載の情報処理装置。
5. 前記決定手段は、
   前記算出した類似度の値が極値となる極値点を抽出し、
   該抽出した極値点のうち、前記距離情報に基づく視差により特定されるシフト位置を参照することで抽出した一の極値点のシフト位置を用いることで、前記撮影画像についての視差を決定することを特徴とする請求項４に記載の情報処理装置。
6. 前記決定手段は、
   前記算出した類似度が予め定められた類似度よりも高い極値点を抽出することを特徴とする請求項５に記載の情報処理装置。
7. 前記決定手段は、
   前記抽出した極値点のうち、前記距離情報に基づく視差により特定されるシフト位置に最も近い極値点のシフト位置を用いて、前記撮影画像についての視差を決定することを特徴とする請求項５または６に記載の情報処理装置。
8. 前記決定手段は、
   前記撮影画像に含まれる画素のうち、前記取得手段により前記距離情報が取得された画素近傍の画素について、前記導出した視差を参照することで、前記視差を決定することを特徴とする請求項２乃至６のいずれか１項に記載の情報処理装置。
9. 複数の撮像部と、電磁波測距部と、該複数の撮像部により撮影された撮影画像に基づいて視差演算を行う情報処理装置と、を有する視差演算システムであって、
   前記複数の撮像部の撮影方向に電磁波を出射した場合の反射波に基づいて算出された、該電磁波の反射位置までの距離を示す距離情報を取得する取得手段と、
   前記距離情報に基づき、前記撮影画像についての視差を決定する決定手段と
   を有することを特徴とする視差演算システム。
10. 複数の撮像部により撮影された撮影画像に基づいて視差演算を行う情報処理装置における情報処理方法であって、
    前記複数の撮像部の撮影方向に電磁波を出射した場合の反射波に基づいて算出された、該電磁波の反射位置までの距離を示す距離情報を取得する取得工程と、
    前記距離情報に基づき、前記撮影画像に基づく視差を決定する決定工程と
    を有することを特徴とする情報処理方法。
11. 複数の撮像部により撮影された撮影画像に基づいて視差演算を行う情報処理装置のコンピュータに、
    前記複数の撮像部の撮影方向に電磁波を出射した場合の反射波に基づいて算出された、該電磁波の反射位置までの距離を示す距離情報を取得する取得工程と、
    前記距離情報に基づき、前記撮影画像についての視差を決定する決定工程と
    を実行させるためのプログラム。