JP2020118697A - 視差演算システム、情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】 誤った視差候補の抽出を回避することで、視差演算の精度を向上させる。【解決手段】 複数の撮像部により撮影された撮影画像に基づいて視差演算を行う情報処理装置であって、前記複数の撮像部の撮影方向に向けてレーザ光を出射した場合の反射光に基づいて算出された、該撮影方向のオブジェクトまでの距離を示す距離情報を取得する距離情報取得部４０１と、距離情報取得部４０１により取得された前記距離情報と、予め定められた距離を示す距離情報との対比結果に応じて、前記視差演算における視差探索範囲を変更する視差演算部４２０とを有することを特徴とする。【選択図】図４

Description

本発明は視差演算を行う視差演算システム、情報処理装置、情報処理方法及びプログラムに関する。

従来より、ステレオカメラ等の複数の撮像部により撮影された撮影画像（ステレオ画像）について視差演算を行うことで、撮影対象のオブジェクトまでの距離を算出する測距技術が知られている（例えば、特許文献１乃至４等参照）。

当該測距技術によれば、撮影画像内にオブジェクト画像として描画されているすべてのオブジェクト（つまり、撮影対象のすべてのオブジェクト）について、撮像部からの距離を算出することができる。

しかしながら、撮影画像内にオブジェクト画像として描画されるオブジェクトには、通常、撮像部に近い位置に存在するオブジェクトから、遠い位置に存在するオブジェクトまで、互いに距離の異なる複数のオブジェクトが含まれる。

このため、撮影画像内の全ての画素について、オブジェクトまでの距離とは無関係に一律に視差演算を行おうとすると、視差探索の際に誤った視差候補を抽出することとなり、視差演算の精度低下の原因となりうる。

本発明は上記課題に鑑みてなされたものであり、誤った視差候補の抽出を回避し、視差演算の精度向上を図ることを目的とする。

本発明の実施形態に係る情報処理装置は、以下のような構成を有する。すなわち、
複数の撮像部により撮影された撮影画像に基づいて視差演算を行う情報処理装置であって、
前記複数の撮像部の撮影方向に向けて電磁波を出射した場合の反射波に基づいて算出された、該撮影方向のオブジェクトまでの距離を示す距離情報を取得する取得手段と、
前記取得手段により取得された前記距離情報と、予め定められた距離を示す距離情報との対比結果に応じて、前記視差演算における視差探索範囲を変更する変更手段とを有することを特徴とする。

本発明の各実施形態によれば、誤った視差候補の抽出を回避し、視差演算の精度向上を図ることが可能となる。

実施形態に係る視差演算システムの全体構成を示す図である。 視差演算システムを車載用に適用した場合のレーザレーダ測距部及び撮像部の配置例を示す図である。 視差演算システムを構成する情報処理装置のハードウェア構成を示す図である。 視差画像生成部の機能構成を示す図である。 撮像部から離れた位置に存在するオブジェクトを撮影することで得られた撮影画像に含まれるオブジェクト画像における所定の画素の視差を示す図である。 撮像部に近い位置に存在するオブジェクトを撮影することで得られた撮影画像に含まれるオブジェクト画像における所定の画素の視差を示す図である。 視差探索範囲の設定例を示す図である。 撮像部からオブジェクトまでの距離と視差探索範囲の幅との関係を示す図である。 視差演算システムにおける視差演算処理の流れを示すフローチャートである。 第１の実施形態に係る情報処理装置によるステレオ画像処理の流れを示すフローチャートである。 各シフト位置における類似度と視差探索範囲との関係を示す図である。 第２の実施形態に係る情報処理装置によるステレオ画像処理の流れを示すフローチャートである。 視差探索範囲の他の設定例を示す図である。 視差演算システムをＦＡ用に適用した場合のレーザレーダ測距部及び撮像部の配置例を示す図である。 撮影画像に含まれるオブジェクト画像の所定の画素の視差を示す図である。 視差探索範囲の設定例を示す図である。 各シフト位置における類似度と視差探索範囲との関係を示す図である。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
＜１．視差演算システムの全体構成＞
はじめに、本実施形態に係る視差演算システムの全体構成について説明する。図１は、本実施形態に係る視差演算システム１００の全体構成を示す図である。図１に示すように、視差演算システム１００は、レーザレーダ測距部１１０と、ステレオ撮像部１２０と、情報処理装置１３０とを備える。

レーザレーダ測距部１１０は、レーザ光を投受光することで生成されたレーザ受光信号に基づいてオブジェクトを検出し、当該レーザ光が照射されたオブジェクトまでの距離を算出することで、距離情報を情報処理装置１３０に送信する。

ステレオ撮像部１２０は、単眼の撮像部１２１と単眼の撮像部１２２とを備える。撮像部１２１、１２２は、それぞれが所定のフレーム周期で撮影を行うことで、撮影画像を情報処理装置１３０に送信する。

情報処理装置１３０は、ステレオ撮像部１２０より送信された撮影画像について視差演算を行い、視差画像を生成する。なお、情報処理装置１３０では、視差演算を行うにあたり、レーザレーダ測距部１１０より送信される距離情報に応じた視差演算を行う（詳細は後述）。

＜２．視差演算システムを構成するレーザレーダ測距部及び撮像部の配置＞
次に、視差演算システム１００を車載用に適用した場合のレーザレーダ測距部１１０及び撮像部１２１、１２２の配置例について説明する。図２は、視差演算システム１００を車載用に適用した場合のレーザレーダ測距部１１０及び撮像部１２１、１２２の配置例を示す図である。

図２に示すように、レーザレーダ測距部１１０及び撮像部１２１、１２２は、車両２００内の天井部分のフロントガラス近傍であって、車両２００の幅方向の中央位置に取り付けられる。

かかる取り付け位置のもとで、レーザレーダ測距部１１０は、車両２００の進行方向前方に向けてレーザ光を出射する。また、撮像部１２１、１２２は、車両２００の進行方向前方を撮影する。なお、視差演算システム１００においてレーザレーダ測距部１１０のレーザ光の出射方向と、撮像部１２１の光軸ならびに撮像部１２２の光軸は、互いに平行となるように調整されているものとする。

＜３．情報処理装置の構成＞
次に、情報処理装置１３０のハードウェア構成について説明する。上述したように、情報処理装置１３０は、ステレオ撮像部１２０より送信された撮影画像について視差演算を行い、視差画像を生成する。そして、情報処理装置１３０が生成した視差画像は、例えば、撮影画像内においてオブジェクト画像として描画された各オブジェクトまでの距離を算出するために用いられる。

そこで、以下では、情報処理装置１３０のハードウェア構成を説明するにあたり、はじめに、情報処理装置１３０により生成された視差画像を用いて、各オブジェクトまでの距離を算出する測距技術（ステレオ測距技術）の概要について簡単に説明する。

＜３．１ ステレオ測距技術の概要＞
一般的に、ステレオ測距技術では、左右に配置された２台の単眼の撮像部より送信される１対の撮影画像について相関（類似度）を求めることで同一点を抽出し、抽出した同一点に対する視差を演算することで、三角測量の要領で当該同一点までの距離を算出する。

具体的には、２台の単眼の撮像部より送信される１対の撮影画像から、同一のオブジェクトが描画されている部分を抽出する。２台の単眼の撮像部が左右に設置されている場合、１対の撮影画像間において、同一のオブジェクトが描画されている位置は左右にずれる。そこで、一方の撮影画像を他方の撮影画像に対して左右方向に、所定の範囲（視差探索範囲）をシフト範囲として１画素ずつシフトさせていき、最も重なり合う位置（類似度が最も高い位置）を求めることで、１対の撮影画像間で当該同一のオブジェクト内の同一点を抽出する。そして、抽出した同一点間のシフト量（視差）を演算し、２台の単眼の撮像部の光軸間の距離を用いて、当該同一点までの距離を算出する。

なお、このときシフトさせた画素数をｎ、単眼の撮像部のカメラレンズの焦点距離をｆ、基線長（単眼の撮像部の光軸間距離）をＢ、画素ピッチをｄとすると、同一のオブジェクト内の同一点までの距離Ｚは、下式により算出することができる。

なお、式１の分母（ｎ×ｄ）が視差である。

＜３．２ ステレオ測距技術を実現するための視差演算を行う情報処理装置の構成＞
次に、上記ステレオ測距技術を実現するための視差演算を行う情報処理装置の構成について説明する。図３は、上記ステレオ測距技術を実現するための視差演算を行う情報処理装置１３０の構成を示す図である。

図３に示すように、情報処理装置１３０は、ＣＰＵ（Central Processing Unit）３０１、ＲＡＭ（Random Access Memory）３０２、記憶装置３０３、入出力部３０４を備える。なお、情報処理装置１３０の各部は、バス３０５を介して相互に接続されているものとする。

ＣＰＵ３０１は、記憶装置３０３に格納されたプログラム（視差画像生成部３１０として機能するためのプログラム）を実行するコンピュータである。ＣＰＵ３０１が当該プログラムを実行することにより、情報処理装置１３０では、ステレオ撮像部１２０より送信された撮影画像について視差演算を行い、視差画像を生成する。

ＲＡＭ３０２は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＲＡＭ３０２は、記憶装置３０３に格納されたプログラムがＣＰＵ３０１によって実行される際に展開される、作業領域として機能する。

記憶装置３０３は、ＥＰＲＯＭやＥＥＰＲＯＭ等のメモリであり、ＣＰＵ３０１を、視差画像生成部３１０として機能させるためのプログラムを格納する。

入出力部３０４は、レーザレーダ測距部１１０やステレオ撮像部１２０（撮像部１２１、１２２）と通信するためのインタフェース部である。

＜４．視差画像生成部の機能構成＞
次に、視差画像生成部３１０の機能構成について説明する。図４は、視差画像生成部３１０の機能構成を示す図である。

図４に示すように、視差画像生成部３１０は、距離情報取得部４０１、視差探索範囲選択部４０２、撮影画像取得部４１１、撮影画像補正部４１２、視差演算部４２０を備える。

距離情報取得部４０１は、撮像部１２１、１２２が１フレーム分の撮影画像を撮影する間にレーザ光が投受光されることでレーザレーダ測距部１１０により検出されたオブジェクトまでの距離を示す距離情報をレーザレーダ測距部１１０より取得する。

視差探索範囲選択部４０２は、撮像部１２１、１２２により撮影された撮影画像について視差演算を行う際に設定される視差探索範囲であって、互いに幅の異なる複数の視差探索範囲の中から、取得された距離情報に応じた視差探索範囲を選択する。また、選択した視差探索範囲を、視差演算部４２０に設定する。

撮影画像取得部４１１は、撮像部１２１、１２２により撮影された撮影画像（ステレオ画像）を、所定のフレーム周期で取得する。撮影画像補正部４１２は、撮影画像取得部４１１により取得された撮影画像に対して、ガンマ補正や歪み補正等の各種補正処理を実行する。

視差演算部４２０は、撮影画像補正部４１２において各種補正処理が実行された撮影画像について視差演算を行い、視差画像を生成する。なお、視差演算に際しては、視差探索範囲選択部４０２により設定された視差探索範囲について視差探索を行う。

＜５．オブジェクトまでの距離と視差との関係＞
次に、撮影画像内においてオブジェクト画像として描画されたオブジェクトまでの距離と、該オブジェクト画像を構成する所定の画素の撮影画像間における視差との関係について説明する。

図５は、撮像部１２１、１２２から離れた位置に存在するオブジェクトを撮影することで得られた撮影画像に含まれるオブジェクト画像の所定の画素の視差を示す図である。図５において、撮影画像５１０は、撮像部１２１による撮影により得られた撮影画像（参照画像）であり、撮影画像５２０は、撮像部１２２による撮影により得られた撮影画像（基準画像）である。

図２で示したように、撮像部１２１と撮像部１２２とは、互いに左右に設置されているため、図５に示すように、同一のオブジェクト画像（図５の例では前方車両画像５３０）を構成する同一点（前方車両画像５３０のナンバープレート部分）の画素は左右方向にｄ１だけずれる。つまり、視差ｄ１を有する。

一方、図６は、撮像部１２１、１２２に近い位置に存在するオブジェクトを撮影することで得られた撮影画像に含まれるオブジェクト画像の所定の画素の視差を示す図である。図６において、撮影画像６１０は、撮像部１２１による撮影により得られた撮影画像（参照画像）であり、撮影画像６２０は、撮像部１２２による撮影により得られた撮影画像（基準画像）である。

図５と同様に、図６においても、同一のオブジェクト画像（図６の例では前方車両画像６３０）を構成する同一点（前方車両画像６３０のナンバープレート部分）の画素は左右方向にｄ２だけずれる。つまり、視差ｄ２を有する。

ここで、撮影画像６１０、６２０において前方車両画像６３０として描画されている前方車両は、撮影画像５１０、５２０において前方車両画像５３０として描画されている前方車両よりも、撮像部１２１、１２２に近い位置に存在している。このため、視差ｄ１＜視差ｄ２の関係が成り立つ。

このように、撮影画像内においてオブジェクト画像として描画されているオブジェクトは、撮像部１２１、１２２に近い位置にあるほど、視差が大きくなり、撮像部１２１、１２２から離れた位置にあるほど、視差が小さくなる。

＜６．視差探索範囲の一例＞
このように、撮影画像に含まれるオブジェクト画像を構成する各画素の視差は、当該オブジェクト画像として撮影画像内に描画されたオブジェクトの、撮像部１２１、１２２からの距離に応じて変化する。

このため、視差演算部４２０において、撮影画像５１０、５２０及び撮影画像６１０、６２０について、それぞれ前方車両画像５３０、６３０を構成する所定の画素の視差探索を行うにあたっては、互いに幅の異なる視差探索範囲を設定することが望ましい。適切な幅を有する視差探索範囲を設定することで、視差探索において撮影画像間の同一点を抽出するにあたり、誤った視差候補を同一点として抽出してしまうといった事態を回避することが可能となるからである。

図７は、図５に示す撮影画像５１０、５２０について視差探索を行う場合に設定される視差探索範囲と、図６に示す撮影画像６１０、６２０について視差探索を行う場合に設定される視差探索範囲とを示した図である。

図７において、横軸は同一点を抽出するための撮影画像間のシフト量を示している。ここで、シフト量＝ｄ１により特定されるシフト位置は、撮影画像５１０をシフトさせた場合に、撮影画像５１０と撮影画像５２０の同一点（前方車両画像５３０のナンバープレート部分）が当該位置で重なり合うことを示している。また、シフト量＝ｄ２により特定されるシフト位置は、撮影画像６１０をシフトさせた場合に、撮影画像６１０と撮影画像６２０の同一点（前方車両画像６３０のナンバープレート部分）が当該位置で重なり合うことを示している。

このため、撮影画像５１０、５２０間において、同一点（前方車両画像５３０のナンバープレート部分）を抽出するためには、例えば、シフトの開始点をＤａ、終了点をＤｂ１とする幅Ｗ１の視差探索範囲を視差演算部４２０に設定することが望ましい。これにより、視差ｄ１を確実に抽出することができるからである。

一方、撮影画像６１０、６２０間において、同一点（前方車両画像６３０のナンバープレートの部分）を抽出するためには、例えば、開始点をＤａ、終了点をＤｂ２とする幅Ｗ２（ただしＷ１＜Ｗ２）の視差探索範囲を視差演算部４２０に設定することが望ましい。これにより、視差ｄ２を確実に抽出することができるからである。

＜７．視差探索範囲選択部の機能＞
次に、視差演算部４２０に設定される視差探索範囲を選択する視差探索範囲選択部４０２の機能について説明する。

図８は、視差探索範囲を選択する視差探索範囲選択部４０２の機能を説明するための図であり、撮像部１２１、１２２からオブジェクトまでの距離と視差探索範囲選択部４０２により選択される視差探索範囲の幅との関係を示している。

上記式１で示したように、オブジェクトまでの距離Ｚと視差（ｎ×ｄ）とは反比例の関係にあることから、視差探索に際しての視差探索範囲の幅も、図８に示すように、オブジェクトまでの距離と反比例の関係になる。

図８によれば、距離情報取得部４０１により取得される距離情報がＬ１の場合、視差探索範囲選択部４０２により選択される視差探索範囲の幅はＷ１となる。また、距離情報取得部４０１により取得される距離情報がＬ２の場合、視差探索範囲選択部４０２により選択される視差探索範囲の幅はＷ２となる。更に、距離情報取得部４０１により取得される距離情報がＬ０の場合、視差探索範囲選択部４０２により選択される視差探索範囲の幅はＷ０となる。

なお、本実施形態における視差探索範囲選択部４０２では、距離情報取得部４０１において取得された距離情報が所定の条件を満たしたタイミングで、視差探索範囲の選択が行われる。

具体的には、レーザ光が照射されるオブジェクトまでの距離として基準距離を予め規定しておき、更に、基準距離に対応する視差探索範囲として基準視差探索範囲を予め規定しておく。そして、視差探索範囲選択部４０２では、距離情報取得部４０１において取得された距離情報が、当該基準距離と異なっているか否かを判定し、異なっていると判定したタイミングで、基準視差探索範囲以外の視差探索範囲を選択する。

図８の例では、基準距離をＬ０としており、距離情報取得部４０１において取得された距離情報が、基準距離Ｌ０に略等しい間は、視差演算部４２０には、基準視差探索範囲である、幅Ｗ０の視差探索範囲が設定される。

一方、距離情報取得部４０１において取得された距離情報が、基準距離Ｌ０よりも短い場合には、視差探索範囲選択部４０２では、基準視差探索範囲（幅Ｗ０）よりも広い視差探索範囲として、幅Ｗ２の視差探索範囲を選択する。

また、距離情報取得部４０１において取得された距離情報が、基準距離Ｌ０よりも長い場合には、視差探索範囲選択部４０２では、基準視差探索範囲（幅＝Ｗ０）よりも狭い視差探索範囲として、幅＝Ｗ１の視差探索範囲を選択する。

このように、本実施形態における視差探索範囲選択部４０２は、基準距離Ｌ０との対比に基づいて動作し、対比結果に応じた幅を有する視差探索範囲を選択するよう構成されている。

＜８．視差演算システムにおける視差演算処理の流れ＞
次に、視差演算システム１００における視差演算処理の流れについて説明する。図９は、視差演算システム１００における視差演算処理の流れを示すフローチャートである。

視差演算システム１００による視差演算処理が開始されると、ステップＳ９０１では、情報処理装置１３０からの指示に基づいて、撮像部１２１、１２２が互いに同期して撮影を行う撮影処理を実行する。更に、ステップＳ９０２では、レーザレーダ測距部１１０がレーザ測距処理を実行する。

なお、ステップＳ９０１における撮影処理と、ステップＳ９０２におけるレーザ測距処理とは、並行して実行される。すなわち、撮像部１２１、１２２が１フレーム分の撮影画像の撮影を行う間に、レーザレーダ測距部１１０では、パルス状のレーザ光の投受光を行う。

ステップＳ９０３では、情報処理装置１３０が１フレーム分の撮影画像に基づいて視差演算を行い、視差画像を生成するステレオ画像処理を実行する。このとき、情報処理装置１３０では、当該フレームの撮影処理と並行して実行されたレーザ測距処理において算出された距離情報に基づいて、視差探索範囲を選択する。

ステップＳ９０４では、視差演算処理の終了指示が入力されたか否かを判定し、入力されていないと判定された場合には、ステップＳ９０１及びステップＳ９０２に戻る。そして、次のフレームについて撮影処理を実行するとともに、次のパルス状のレーザ光の投受光を行うことで、レーザ測距処理を実行する。

以降、視差演算処理の終了指示が入力されるまで、フレーム単位で撮影処理を実行し、各フレームごとにレーザ測距処理を実行しながら、フレーム単位でステレオ画像処理を実行していく。

一方、ステップＳ９０４において、視差演算処理の終了指示が入力されたと判定された場合には、処理を終了する。

＜９．情報処理装置によるステレオ画像処理＞
次に、情報処理装置１３０によるステレオ画像処理（ステップＳ９０３）の詳細な流れについて図１０及び図１１を参照しながら説明する。図１０は、情報処理装置１３０によるステレオ画像処理（ステップＳ９０３）の詳細な流れを示すフローチャートである。また、図１１は、撮影画像間の各画素について同一点を抽出するために算出した、各シフト位置における類似度と、視差探索範囲との関係を示す図である。なお、図１１に示す縦軸は、類似度が高いほど小さい値となり、類似度が低いほど大きい値になるように規格化されているものとする。

図１０において、ステップＳ１００１では、撮影画像取得部４１１が、撮影された１フレーム分の撮影画像を、撮像部１２１、１２２それぞれより取得する。

ステップＳ１００２では、ステップＳ１００１において取得された１フレーム分の撮影画像（１対の撮影画像（参照画像と基準画像））について、撮影画像補正部４１２が、ガンマ補正や歪み補正等の補正処理を行う。

ステップＳ１００３では、視差演算部４２０が、参照画像に含まれる画素のうち、視差演算を行う対象となる注目画素Ｐｎを設定する。

ステップＳ１００４では、ステップＳ１００３において設定された注目画素Ｐｎが、レーザ光が照射された照射範囲に対応する参照画像内の画素（照射範囲画素と称す）近傍の画素であるか否かを、視差演算部４２０が判定する。

ここで、照射範囲画素近傍の画素とは、レーザ光が照射されたオブジェクトが描画されている参照画像内のオブジェクト画像を構成している画素のうち、照射範囲画素以外の画素を指す。

なお、参照画像内における照射範囲画素の座標は予め設定されているものとし、ステップＳ１００４では、ステップＳ１００３において設定された注目画素Ｐｎが、当該設定されている画素近傍の所定の範囲内の画素であるか否かを、当該座標に基づいて判定する。

注目画素Ｐｎが、照射範囲画素近傍の画素であると判定された場合には、ステップＳ１００５に進む。

ステップＳ１００５では、距離情報取得部４０１が、距離情報を取得する。ステップＳ１００６では、視差探索範囲選択部４０２が、ステップＳ１００６において取得された距離情報が、基準距離Ｌ０に略等しいか否かを判定する。ステップＳ１００６において、基準距離Ｌ０に略等しいと判定した場合には、視差演算部４２０における基準視差探索範囲（幅Ｗ０）の設定を維持する。

一方、ステップＳ１００６において、基準距離Ｌ０とは異なると判定した場合には、ステップＳ１００７に進む。ステップＳ１００７では、視差探索範囲選択部４０２が、ステップＳ１００５において取得された距離情報が、基準距離Ｌ０よりも短いか否かを判定する。

ステップＳ１００７において、基準距離Ｌ０よりも短いと判定した場合には、ステップＳ１００８に進み、視差探索範囲として、幅Ｗ２の視差探索範囲を選択し、視差演算部４２０に設定する。

一方、ステップＳ１００７において、基準距離Ｌ０よりも長いと判定した場合には、ステップＳ１００９に進み、視差探索範囲として、幅Ｗ１の視差探索範囲を選択し、視差演算部４２０に設定する。

ここで、ステップＳ１００８またはＳ１００９において視差探索範囲を変更することによる効果について、図１１を参照しながら説明する。従来は、オブジェクトまでの距離とは無関係に視差探索範囲を固定していた（図１１（ｂ）の視差探索範囲１１１０参照）。このため、図１１（ｂ）に示すように、複数の極小点が存在していた（複数の視差候補が存在していた）場合、抽出されるべき視差候補（図１１（ｂ）の視差候補１）とは異なる視差候補（図１１（ｂ）の視差候補２）が抽出される可能性があった。

これに対して、本実施形態では、視差探索範囲選択部４０２が、距離情報に基づく対比結果に応じた幅を有する視差探索範囲を設定する（図１１（ａ）の視差探索範囲１１００参照）。このため抽出されるべき視差候補（図１１（ａ）の視差候補１）とは異なる視差候補（図１１（ａ）の視差候補２）が抽出されるといった事態を回避することが可能となる。

図１０に戻る。ステップＳ１００４において、注目画素Ｐｎが、照射範囲画素近傍の画素ではないと判定された場合には、ステップＳ１０１０に進む。

ステップＳ１０１０では、視差演算部４２０における基準視差探索範囲（幅Ｗ０）の設定を維持する。

ステップＳ１０１１では、視差演算部４２０が、ステップＳ１００８〜ステップＳ１０１０において設定された視差探索範囲を用いて視差探索を行い、抽出した視差候補に基づいて注目画素Ｐｎの視差を演算する。

ステップＳ１０１２では、視差演算部４２０が、ステップＳ１００１において取得した１フレーム分の撮影画像内の画素すべてについて、視差演算を行ったか否かを判定する。ステップＳ１００９において視差演算を行っていない画素があると判定された場合には、ステップＳ１０１３に進む。そして、ステップＳ１０１３にて、カウンタｎをインクリメントした後、ステップＳ１００３に戻り、次の画素を注目画素Ｐｎに設定し、ステップＳ１００４からステップＳ１０１１の処理を実行する。

一方、ステップＳ１０１２において、すべての画素について視差演算を行ったと判定された場合には、ステップＳ１０１４に進み、当該撮影画像についての視差画像を生成する。

＜１０．まとめ＞
以上の説明から明らかなように、本実施形態に係る視差演算システム１００では、
・ステレオ撮像部の撮影方向である車両の進行方向前方に向けて、レーザレーダ測距部１１０がレーザ光を出射し、当該レーザ光が照射されたオブジェクトまでの距離を示す距離情報を算出する構成とした。
・レーザ光の投受光により算出された距離情報が、基準距離と異なっていた場合に、予め設定された基準視差探索範囲とは幅の異なる視差探索範囲を選択する構成とした。

これにより、撮影画像内においてオブジェクト画像として描画されたオブジェクトのうち、撮像部に近い位置に存在しているものと、離れた位置に存在しているものとで、視差探索範囲を分けて設定することが可能となる。この結果、誤った視差候補を抽出するといった事態を回避することが可能となり、視差演算の精度向上を図ることが可能となる。

［第２の実施形態］
上記第１の実施形態では、基準距離及び基準視差探索範囲を規定し、取得された距離情報と当該基準距離との対比結果に応じた幅を有する視差探索範囲を選択する構成としたが、本発明はこれに限定されない。

例えば、図８に示すグラフをテーブル化または関数化しておき、取得された距離情報に対応する視差探索範囲の幅を、当該テーブルまたは関数を参照することで導出する構成としてもよい。当該構成によれば、距離情報が取得されるごとに、視差探索範囲選択部４０２が動作することとなり、取得された距離情報に対応する幅を有する視差探索範囲を設定することが可能となる。

以下、本実施形態に係る情報処理装置１３０によるステレオ画像処理の流れについて説明する。

図１２は、本実施形態に係る情報処理装置１３０によるステレオ画像処理の流れを示すフローチャートである。なお、ステップＳ１００１〜ステップＳ１００５、Ｓ１０１０〜Ｓ１０１４までの処理は、図１０を用いて説明したステレオ画像処理のステップＳ１００１〜ステップＳ１００５、Ｓ１０１０〜Ｓ１０１４までの処理と同じであるため、ここでは説明を省略する。

ステップＳ１２０１では、視差探索範囲選択部４０２が、ステップＳ１００５において取得された距離情報に対応する幅を有する視差探索範囲を導出し、視差演算部４２０に設定する。

これにより、ステップＳ１０１１では、距離情報に対応する幅を有する視差探索範囲を用いて、視差探索を行うことが可能となる。

［第３の実施形態］
上記第１及び第２の実施形態では、視差探索範囲の幅を変更するにあたり、視差探索の開始点を固定し、視差探索範囲の終了点を変更する構成としたが、本発明はこれに限定されない。

例えば、図１３（ａ）に示すように、視差探索範囲の終了点（Ｄｂ）を固定し、視差探索範囲の開始点（Ｄａ）を変更する構成としてもよい。

あるいは、図１３（ｂ）に示すように、視差探索範囲の幅、視差探索範囲の開始点（Ｄａ）、終了点（Ｄｂ）をすべて変更する構成としてもよい。

［第４の実施形態］
上記第１乃至第３の実施形態では、視差演算システム１００を車載用に適用した場合について説明したが、本発明はこれに限定されない。例えば、ＦＡ（Factory Automation）用に適用し、生産工場内において搬送される生産物等をピッキングする際の、ピッキング対象までの距離を算出するのに用いるようにしてもよい。以下、本実施形態の詳細について説明する。

＜１．視差演算システムを構成するレーザレーダ測距部及び撮像部の配置＞
はじめに、本実施形態に係る視差演算システム１００をＦＡ用に適用した場合の、レーザレーダ測距部１１０及び撮像部１２１、１２２の配置例について説明する。図１４は、視差演算システム１００をＦＡ用に適用した場合の、レーザレーダ測距部１１０及び撮像部１２１、１２２の配置例を示す図である。

図１４に示すように、レーザレーダ測距部１１０は、撮像部１２１、１２２の間に配置され、生産物（例えば、金属製のパイプ）１４００が搬送されるベルトコンベア１４１０の上部に配置される。なお、撮像部１２１、１２２は、ベルトコンベア１４１０により搬送される生産物１４００が撮影されるように撮影範囲が調整されているものとする。また、レーザレーダ測距部１１０は、レーザ光が当該生産物１４００に照射されるように調整されているものとする。

＜２．オブジェクトの配置と視差との関係、ならびに視差探索範囲の設定方法＞
次に、撮影画像内においてオブジェクト画像として描画されたオブジェクト（生産物１４００）の配置と、視差との関係、ならびに視差探索範囲の設定方法について説明する。図１５は、撮像部１２１により撮影された撮影画像（参照画像）１５１０と撮像部１２２により撮影された撮影画像（基準画像）１５２０とを示す図である。

図１５において、撮影画像１５１０内において描画されているオブジェクト画像（生産物画像１４１１）は、撮影画像１５２０内において描画されているオブジェクト画像（生産物画像１４２１）に対応しているものとする。また、撮影画像１５１０内において描画されているオブジェクト画像（生産物画像１４１２）は、撮影画像１５２０内において描画されているオブジェクト画像（生産物画像１４２２）に対応しているものとする。

つまり、図１５の例では、生産物画像１４１１内の点１５１１と、生産物画像１４２１の点１５２１とが同一点となる。また、生産物画像１４１２内の点１５１２と、生産物画像１４２２内の点１５２２とが同一点となる。換言すると、撮影画像１５１０と撮影画像１５２０の各同一点の画素は、生産物１４００の搬送方向にｄ２だけずれている（視差ｄ２を有している）。

ここで、ベルトコンベア１４１０上の生産物１４００は、同じ材質及び同じ形状を有しており、互いに連なって搬送される。このため、図１５に示すように、例えば、撮影画像１５２０内において描画されている生産物画像１４２２の左側には、同じ材質及び同じ形状の生産物画像１４２１が描画されることとなる。

このため、視差ｄ２が大きい場合、例えば、点１５１２の同一点である点１５２２を探索するにあたり、視差探索範囲の開始点をシフト量＝ゼロのシフト位置とすると、誤って点１５２１が同一点として抽出されることとなる。

本実施形態では、かかる事態を回避すべく、距離情報取得部４０１において取得された生産物１４００までの距離を示す距離情報に基づいて視差探索範囲を設定する処理を、以下の手順に従って行うこととした。
１）距離情報取得部４０１において取得された距離情報Ｚと、基線長（撮像部１２１、１２２の光軸間距離）Ｂと、撮像部１２１、１２２のカメラレンズの焦点距離ｆとを用いて、式１により視差（同一点のシフト量）を算出する。
２）視差探索範囲の幅を、隣接する生産物間の距離よりも短い固定値に設定する。
３）上記２）で設定した幅を有し、上記１）で算出したシフト量により特定されるシフト位置の画素を含むように視差探索範囲の開始点、終了点を決定する。

図１６（ａ）は、上記手順に従って設定された視差探索範囲１６００を示す図である。図１６（ａ）に示すように、距離情報に基づいて点１５２２の視差としてｄ２が算出され、視差探索範囲の幅としてＷが設定されることで、開始点Ｄａ２及び終了点Ｄｂ２が決定される。これにより、隣接する生産物画像１４２１の点１５２１を、視差探索範囲外とすることができる。

図１７（ａ）は、図１６（ａ）に示す視差探索範囲１６００を用いて視差探索を行った様子を示した図であり、各シフト位置における類似度と視差探索範囲１６００との関係を示している。

図１７（ａ）の例では、点１５２１と点１５２２に対応するシフト位置が極小点となるため、２つの視差候補（視差候補１及び視差候補２）が存在するが、視差探索範囲１６００が設定されることで、視差候補２のみを抽出することができる。

一方、図１６（ｂ）は、上記処理との比較のため、視差探索範囲の開始点を固定し、距離情報取得部４０１において取得された距離情報に応じた幅を有する視差探索範囲を選択した場合の視差探索範囲を示した図である。

図１６（ｂ）に示すように、視差探索範囲の開始点Ｄａ１を固定にしたまま、視差探索範囲の幅をＷ２にすると、視差探索範囲の終了点はＤｂ１となり、視差探索範囲内に、点１５２１及び点１５２２の両方が含まれることとなる。

図１７（ｂ）は、図１６（ｂ）に示す視差探索範囲１６１０を用いて視差探索を行った様子を示した図であり、各シフト位置における類似度と視差探索範囲１６１０との関係を示している。

図１７（ｂ）に示すように、距離情報に応じた幅を有する視差探索範囲を選択すると、視差探索範囲１６１０に２つの視差候補（視差候補１及び視差候補２）が存在することとなり、視差候補１（点１５２１）が誤って抽出される可能性があることがわかる。

＜３．まとめ＞
以上の説明から明らかなように、本実施形態に係る視差演算システム１００では、
・レーザ光の投受光により取得された距離情報に基づいて、撮影画像間の視差を逆算することで、視差探索すべきシフト位置を算出する構成とした。
・幅が固定された視差探索範囲に、算出したシフト位置の画素が含まれるように、視差探索範囲の開始点及び終了点を決定する構成とした。

これにより、同じ材質及び同じ形状を有するオブジェクトが隣接して配置された状態で撮影された撮影画像について視差演算を行う場合であっても、誤った視差候補を抽出するといった事態を回避することが可能となる。この結果、視差演算の精度向上を図ることが可能となる。

［第５の実施形態］
上記各実施形態では、視差演算の詳細な手法について特に言及しなかったが、視差演算の手法は、任意の方法を用いることができる。

例えば、ＥＢＭ（Edge-Based Matching）のようにテクスチャの強い部分（エッジの強い部分）について視差を演算する方法であってもよい。あるいは、サブピクセル推定手法（等角直線、パラボラ、高次多項式等によるフィッティング）を用いることで、撮影画像全体の各画素の視差を演算する方法であってもよい。なお、サブピクセル推定手法とは、ＳＧＭ（Semi Global Matching）のように各ピクセル周囲からマッチング指標値を漸化式により伝播させ、最小の指標値を与える整数視差とそれに隣接する視差の指標値から小数視差を算出する手法である。

また、上記各実施形態では、レーザレーダ測距部１１０よりレーザ光を出射した場合の反射光に基づいて距離情報を算出する構成としたが本発明はこれに限定されない。レーザレーダ測距部以外の電磁波測距部より電磁波を照射した場合の反射波に基づいて、距離情報を算出する構成としてもよい。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：視差演算システム
１１０ ：レーザレーダ測距部
１２０ ：ステレオ撮像部
１２１、１２２ ：撮像部
１３０ ：情報処理装置
３１０ ：視差画像生成部
４０１ ：距離情報取得部
４０２ ：視差探索範囲選択部
４０３ ：撮影画像取得部
４０４ ：撮影画像補正部
４０５ ：視差演算部

特開２００３−３４６１３０号公報 国際公開第２０１１−０９６２５１号 特開２０１３−１１４４７７号公報 特開２０１３−１７４４９４号公報

本発明の実施形態に係る情報処理装置は、以下のような構成を有する。すなわち、
複数の撮像部により撮影された撮影画像に基づいて視差演算を行う情報処理装置であって、
前記複数の撮像部の撮影方向に向けて電磁波を出射した場合の反射波に基づいて算出された、該撮影方向のオブジェクトまでの距離を示す距離情報を取得する取得手段と、
前記視差演算を行う対象となる注目画素が、前記電磁波が照射された照射範囲に対応する前記撮影画像内のオブジェクト画像を構成している画素のうち、照射範囲に対応する画素以外の画素である、照射範囲画素近傍の画素であるか否かを判定する判定手段と、
前記判定手段により照射範囲画素近傍の画素でないと判定された場合には、前記視差演算における視差範囲として、基準距離に対応する視差探索範囲を設定し、前記判定手段により照射範囲画素近傍の画素であると判定された場合には、前記視差演算における視差範囲として、前記基準距離と前記距離情報との対比結果に応じた視差探索範囲を設定する設定手段とを有する。

Claims (9)

1. 複数の撮像部により撮影された撮影画像に基づいて視差演算を行う情報処理装置であって、
   前記複数の撮像部の撮影方向に向けて電磁波を出射した場合の反射波に基づいて算出された、該撮影方向のオブジェクトまでの距離を示す距離情報を取得する取得手段と、
   前記取得手段により取得された前記距離情報と、予め定められた距離を示す距離情報との対比結果に応じて、前記視差演算における視差探索範囲を変更する変更手段と
   を有することを特徴とする情報処理装置。
2. 前記変更手段は、
   前記オブジェクトまでの距離が、前記予め定められた距離よりも長い場合には、前記視差演算における視差探索範囲を、予め定められた距離に対応して設定された視差探索範囲よりも狭くし、
   前記オブジェクトまでの距離が、前記予め定められた距離よりも短い場合には、前記視差演算における視差探索範囲を、予め定められた距離に対応して設定された視差探索範囲よりも広くすることを特徴とする請求項１に記載の情報処理装置。
3. 前記変更手段は、
   前記視差演算における視差探索範囲の幅を、前記取得手段により取得された距離情報に応じた幅に変更することを特徴とする請求項１に記載の情報処理装置。
4. 前記変更手段は、
   前記視差探索範囲の開始点及び終了点のうちのいずれか一方または両方を変更することで、前記視差探索範囲を変更することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記変更手段は、
   前記取得手段により取得された前記オブジェクトまでの距離と、前記複数の撮像部の光軸間距離とに基づいて算出される前記撮影画像の視差に対応する位置の画素が、前記視差探索範囲に含まれるように、前記視差探索範囲の開始点及び終了点を変更することを特徴とする請求項１に記載の情報処理装置。
6. 前記変更手段は、
   前記視差探索範囲の幅を、前記取得手段により取得された距離情報に応じた幅よりも狭い固定値として、前記視差探索範囲の開始点及び終了点を変更することを特徴とする請求項５に記載の情報処理装置。
7. 複数の撮像部と、電磁波測距部と、該複数の撮像部により撮影された撮影画像に基づいて視差演算を行う情報処理装置と、を有する視差演算システムであって、
   前記複数の撮像部の撮影方向に向けて前記電磁波測距部が電磁波を出射した場合の反射波に基づいて算出された、該撮影方向のオブジェクトまでの距離を示す距離情報を取得する取得手段と、
   前記取得手段により取得された前記距離情報と、予め定められた距離を示す距離情報との対比結果に応じて、前記視差演算における視差探索範囲を変更する変更手段と
   を有することを特徴とする視差演算システム。
8. 複数の撮像部により撮影された撮影画像に基づいて視差演算を行う情報処理装置における情報処理方法であって、
   前記複数の撮像部の撮影方向に向けて電磁波を出射した場合の反射波に基づいて算出された、該撮影方向のオブジェクトまでの距離を示す距離情報を取得する取得工程と、
   前記取得工程において取得された前記距離情報と、予め定められた距離を示す距離情報との対比結果に応じて、前記視差演算における視差探索範囲を変更する変更工程と
   を有することを特徴とする情報処理方法。
9. 複数の撮像部により撮影された撮影画像に基づいて視差演算を行う情報処理装置のコンピュータに、
   前記複数の撮像部の撮影方向に向けて電磁波を出射した場合の反射波に基づいて算出された、該撮影方向のオブジェクトまでの距離を示す距離情報を取得する取得工程と、
   前記取得工程において取得された前記距離情報と、予め定められた距離を示す距離情報との対比結果に応じて、前記視差演算における視差探索範囲を変更する変更工程と
   を実行させるためのプログラム。

Images