JP2020041891A - 画像処理装置 - Google Patents

Abstract

【課題】視差の計算に要する計算量を抑制する。【解決手段】画像処理装置１０は、カメラ２０により撮影されたステレオカメラ画像に基づいて視差を算出する。画像処理装置１０は、ステレオカメラ画像における計算対象画素を決定するための条件を設定する条件設定部１０１と、条件設定部１０１により設定された条件に基づいて、ステレオカメラ画像の中で計算対象画素を決定し、計算対象画素の情報を用いて視差を算出する視差算出部１０２とを備える。条件設定部１０１は、ステレオカメラ画像をスキャンするスキャンラインの数を決定するライン数決定部１１１を有する。視差算出部１０２は、ライン数決定部１１１により決定された数のスキャンラインをステレオカメラ画像に対して設定し、スキャンライン上にあるステレオカメラ画像の画素を、計算対象画素に決定する。【選択図】図２

Description

本発明は、画像処理装置に関する。

一対のカメラを有するステレオカメラで撮影されたステレオ画像に基づき、カメラ視野内に存在する物体までの距離を三角測量の原理で計測する位置測定装置が知られている。三角測量の原理とはすなわち、左右のカメラによって撮影された同一の物体の像の位置のずれ（視差）を用いて、カメラからその物体までの距離を算出するものである。視差の導出は、物体の一方の画像上における像が、他方の画像上のどこに存在するかを特定することによって実現する。

視差の導出としては様々な手法が提案されている。古典的手法では、一方の画像中の複数画素からなる領域に対して、他方の画像中で最も非類似度の低い領域を探索するブロックマッチングが知られている。さらにマッチングの過程で画像中の局所的な情報のみならず画像全体の情報を含めることにより、ミスマッチングを減らして精度を高める手法として、例えばSGM(Semi-Global Matching)と呼ばれる手法なども提案されている。こうした手法では、高い精度が見込める一方で、古典的手法に比べて計算量が増大するという課題がある。

ステレオカメラを用いた視差の計算における計算量の抑制に関して、例えば特許文献１に記載の技術が知られている。特許文献１には、障害物までの距離をステレオ画像による視差算出で計測する障害物計測方法であって、低解像度画像により求めた距離情報に基づいて、高解像度画像における前記視差算出のための相関演算の対象となる画素のサンプリング間隔を近距離において大きく遠距離において小さく設定することを特徴とする障害物計測方法が開示されている。

特開２００８−２９８５３３号公報

特許文献１の方法では、適切なサンプリング間隔を設定することで必要な領域のみ高精度な距離情報を取得でき、また、不必要な演算を抑制でき、必要な領域のみ高精度な距離情報を取得できるとともに、演算時間の短縮、装置の回路規模の削減を実現できるとしている。しかしながら、低解像度画像と高解像度画像から視差をそれぞれ算出する必要があるため、全体の計算量をあまり低減することができず、計算量の抑制に関してさらなる改善の余地がある。

本発明による画像処理装置は、ステレオカメラにより撮影されたステレオカメラ画像に基づいて視差を算出するものであって、前記ステレオカメラ画像における計算対象画素を決定するための条件を設定する条件設定部と、前記条件設定部により設定された条件に基づいて、前記ステレオカメラ画像の中で前記計算対象画素を決定し、前記計算対象画素の情報を用いて前記視差を算出する視差算出部と、を備える。

本発明によれば、視差の計算に要する計算量を抑制することができる。

本発明の一実施形態に係る画像処理装置の基本構成を示すブロック図 本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図 本発明の第１の実施形態に係る画像処理装置における視差計算のアルゴリズムを示すフローチャート 本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図 本発明の第２の実施形態に係る画像処理装置における視差計算のアルゴリズムを示すフローチャート 本発明の第３の実施形態に係る画像処理装置の構成を示すブロック図 本発明の第３の実施形態に係る画像処理装置におけるスキャンライン数決定の例を示す図 本発明の第４の実施形態に係る画像処理装置の構成を示すブロック図 本発明の第５の実施形態に係る画像処理装置の構成を示すブロック図 本発明の第５の実施形態に係る画像処理装置において平滑化計算に用いられる画素の間引きの説明図 本発明の第５の実施形態に係る画像処理装置において平滑化計算に用いられる画素の配置の説明図 本発明の第６の実施形態に係る画像処理装置の構成を示すブロック図

（基本構成）
始めに、本発明の実施形態の基本構成について説明する。図１は、本発明の一実施形態に係る画像処理装置の基本構成を示すブロック図である。図１に示す画像処理装置１０は、カメラ２０およびプロセッサ３０と接続されており、条件設定部１０１および視差算出部１０２を備える。画像処理装置１０は、例えば車両に搭載されることで、車両周囲に存在する他車両や障害物等の物体を検知および認識するのに利用される。

カメラ２０は、左右に所定間隔を空けて設置されたステレオカメラであり、左右一対のステレオカメラ画像を撮影してその撮影データを画像処理装置１０に出力する。画像処理装置１０は、カメラ２０から入力された撮影データに基づいて、視差算出部１０２によりステレオカメラ画像における視差を算出する。このとき視差算出部１０２は、条件設定部１０１により設定される条件に基づいて、ステレオカメラ画像の中で計算対象画素を決定し、その計算対象画素の情報を用いて、例えばＳＧＭと呼ばれる演算手法により視差を算出する。なお、ＳＧＭ以外の演算手法を用いて視差の算出を行ってもよい。

視差算出部１０２による視差の算出結果は、画像処理装置１０からプロセッサ３０へ出力される。プロセッサ３０は、画像処理装置１０から入力された視差の情報を用いて、物体検知や物体認識などの処理を実行する。

続いて、上記の基本構成を用いた本発明の各実施形態について説明する。

（第１の実施形態）
図２は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。図２に示すように、本実施形態に係る画像処理装置１０は、ＦＰＧＡ１１およびメモリ１２を備える。ＦＰＧＡ１１は、多数の論理回路を組み合わせて構成された演算処理装置であり、その機能として、図１で説明した条件設定部１０１および視差算出部１０２を有している。なお、ＦＰＧＡ１１以外のもの、例えばＡＳＩＣ等の他の論理回路や、ＣＰＵで実行されるソフトウェア等を利用して、画像処理装置１０において条件設定部１０１および視差算出部１０２を実装してもよい。メモリ１２は、ＲＡＭやＨＤＤ、フラッシュメモリ等の読み書き可能な記録媒体を用いて構成された記憶装置であり、その機能として、ステレオカメラ撮影画像保存部１０３および視差画像保存部１０４を有する。

カメラ２０から画像処理装置１０に入力されたステレオカメラ画像を表す撮影データは、フレーム単位でメモリ１２内のステレオカメラ撮影画像保存部１０３に格納される。ＦＰＧＡ１１内の視差算出部１０２は、ステレオカメラ撮影画像保存部１０３から各フレームのステレオカメラ画像の画素データを読み出し、これを用いて視差の演算を行うことで、画素単位で視差を表した視差画像をフレームごとに生成する。視差算出部１０２が生成した視差画像は、プロセッサ３０へ出力されるとともに、メモリ１０２内の視差画像保存部１０４に格納される。

視差算出部１０２は、ステレオカメラ画像を用いた視差の演算において、平滑化計算および非類似度の計算を実施する。平滑化計算とは、ステレオカメラ画像内の各画素の画素値を、その周囲にある複数の画素の画素値と合わせて平滑化（平均化）することで、画素間の画素値の変動を滑らかにする演算処理のことである。非類似度の計算とは、ステレオカメラ画像の一方に映っている物体と他方の画像に映っている物体とが同一物ではないことの確からしさ、すなわちどの程度かけ離れているかを表す非類似度を求める演算処理のことである。

本実施形態では、条件設定部１０１はライン数決定部１１１を有している。ライン数決定部１１１は、前フレームのステレオカメラ画像から視差算出部１０２が生成して視差画像保存部１０４に格納された視差画像を読み出し、その視差画像に基づいて、視差算出部１０２が実施する平滑化処理において用いられるスキャンラインの数を決定する。すなわち、本実施形態のライン数決定部１１１は、過去に視差算出部１０２により算出された視差に基づいて、現フレームのステレオカメラ画像をスキャンするスキャンラインの数を決定する。そして、決定したスキャンラインの数を視差算出部１０２に通知する。本実施形態における条件設定部１０１は、このようにしてライン数決定部１１１により決定されたスキャンラインの数を通知することで、視差算出部１０２に対する条件設定を行う。

ライン数決定部１１１からスキャンライン数の通知が行われると、視差算出部１０２は、ステレオカメラ撮影画像保存部１０３から読み出した現フレームのステレオカメラ画像に対して、画素ごとに通知された数のスキャンラインを設定する。そして、設定した各スキャンライン上にあるステレオカメラ画像の画素を計算対象画素として、平滑化計算を実施する。その後、平滑化計算後のステレオカメラ画像に対して非類似度の計算を画素ごとに実施し、その計算結果に基づいて、各画素の視差を演算する。こうして得られた画素単位の視差の算出結果を、視差算出部１０２は視差画像としてプロセッサ３０へ出力するとともに、視差画像保存部１０４に格納する。

図３は、本発明の第１の実施形態に係る画像処理装置における視差計算のアルゴリズムを示すフローチャートである。図３のフローチャートに示す視差計算は、カメラ２０によって新たに撮影されたステレオカメラ画像が現フレームのステレオカメラ画像としてステレオカメラ撮影画像保存部１０３に格納されると、ＦＰＧＡ１１において実施される。

ステップＳ１０において、視差算出部１０２は、ステレオカメラ撮影画像保存部１０３から現フレームのステレオカメラ画像を読み出し、画面端にある画素から順に選択する。

ステップＳ２０において、ライン数決定部１１１は、前フレームで視差算出部１０２が算出した視差画像のうち、ステップＳ１０で選択された画素の視差を視差画像保存部１０４から読み出して参照する。

ステップＳ３０において、ライン数決定部１１１は、ステップＳ２０で参照した視差が所定の閾値ｄｔｈよりも大きいか否かを判定する。視差が閾値ｄｔｈよりも大きい場合はステップＳ４０に進み、閾値ｄｔｈ以下の場合はステップＳ５０に進む。

ステップＳ４０において、ライン数決定部１１１は、ステップＳ１０で選択された画素は近距離の像に対応すると判断し、当該画素に対するスキャンラインの数を少なく設定する。本実施形態では、例えばスキャンラインの数を４本に決定する。

ステップＳ５０において、ライン数決定部１１１は、ステップＳ１０で選択された画素は遠距離の像に対応すると判断し、当該画素に対するスキャンラインの数を多く設定する。本実施形態では、例えばスキャンラインの数を８本に決定する。

ステップＳ４０またはＳ５０でライン数決定部１１１によりスキャンラインの数が決定されたら、ステップＳ６０において視差算出部１０２は、ステップＳ１０で選択した画素に対して、決定されたスキャンライン数に基づく視差の演算を行う。ここでは、決定されたスキャンライン数による平滑化計算を当該画素に対して行うとともに、非類似度の最適化を行い、視差を算出する。これにより、現フレームのステレオカメラ画像における視差が画素単位で算出される。

ステップＳ７０において、視差算出部１０２は、全画素に対する演算が終了したか否かを判定する。まだ演算を実施していない画素がある場合はステップＳ１０に戻って次の画素を選択した後、上記の処理を繰り返す。全画素に対する演算を終了した場合は、得られた現フレームの視差画像を視差画像保存部１０４に格納した後、図３のフローチャートに示す視差計算を終了する。

なお、上記ステップＳ４０、Ｓ５０では、設定するスキャンライン数の数を４本、８本としてそれぞれ例示したが、これらは一例であり、本発明を限定するものではない。また、ステップＳ３０の判定に用いられる閾値ｄｔｈに複数の値を設定し、前フレームで求められた視差とそれぞれ比較することで、３種類以上のスキャンライン数を設定できるようにしてもよい。いずれの場合でも、前フレームで求められた視差の値が小さいほど、像までの距離が遠いと判断してスキャンラインの数を増大させるようにすることが好ましい。

（第２の実施形態）
次に本発明の第２の実施形態について説明する。本実施形態では、ライン数決定部１１１においてスキャンラインの数を決定する際に、プロセッサ３０で行われた物体検知の結果に基づく領域ごとの距離レンジを利用する例を説明する。

図４は、本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。図４に示すように、本実施形態に係る画像処理装置１０は、図２で説明した第１の実施形態と比べて、メモリ１２に視差画像保存部１０４が設けられていない点と、プロセッサ３０から出力された領域情報がライン数決定部１１１へ入力される点が異なっている。この領域情報は、プロセッサ３０で行われた物体検知の結果に基づいて物体毎に設定される情報であり、当該物体がステレオカメラ画像内のどの領域に対応するかを表す情報と、当該物体までの距離が近距離と遠距離のどちらの距離レンジに分類されるかを表す情報とを含んでいる。

本実施形態において、ライン数決定部１１１は、前フレームのステレオカメラ画像から計算された視差に応じてプロセッサ３０から出力される領域情報を入力し、その領域情報における領域ごとの距離レンジの情報に基づいて、視差算出部１０２が実施する平滑化処理において用いられるスキャンラインの数を決定する。すなわち、本実施形態のライン数決定部１１１は、過去に視差算出部１０２により算出された視差に基づき判定された距離レンジの情報を取得し、取得した距離レンジの情報に基づいて、スキャンラインの数を決定する。これ以外の点では、第１の実施形態と同様である。

図５は、本発明の第２の実施形態に係る画像処理装置における視差計算のアルゴリズムを示すフローチャートである。図５のフローチャートに示す視差計算は、カメラ２０によって新たに撮影されたステレオカメラ画像が現フレームのステレオカメラ画像としてステレオカメラ撮影画像保存部１０３に格納されると、ＦＰＧＡ１１において実施される。

ステップＳ１０Ａにおいて、ライン数決定部１１１は、前フレームのステレオカメラ画像に対する視差に基づいてプロセッサ３０が判定した領域ごとの距離レンジの判定結果を、プロセッサ３０から読み込む。ここでは、プロセッサ３０から出力される前述の領域情報を取得することで、前フレームのステレオカメラ画像から検知された各物体に対応する各領域の距離レンジが近距離と遠距離のどちらに該当するかを示す情報を読み込む。

ステップＳ２０Ａにおいて、視差算出部１０２は、ステレオカメラ撮影画像保存部１０３から現フレームのステレオカメラ画像を読み出し、画面端にある画素から順に選択する。

ステップＳ３０Ａにおいて、ライン数決定部１１１は、ステップＳ１０Ａで読み込んだ前フレームでの距離レンジの判定結果のうち、ステップＳ２０Ａで選択した画素に対応する領域の距離レンジの判定結果に基づいて、当該画素に対して前フレームで検知された物体が近距離領域内にあったか否かを判定する。距離レンジの判定結果が近距離である場合は、当該物体が前フレームで近距離領域内にあったと判断してステップＳ４０に進み、距離レンジの判定結果が遠距離である場合は、当該物体が前フレームで近距離領域内にはなかったと判断してステップＳ５０に進む。

ステップＳ４０において、ライン数決定部１１１は、ステップＳ２０Ａで選択された画素は近距離の像に対応すると判断し、当該画素に対するスキャンラインの数を少なく設定する。本実施形態では、第１の実施形態と同様に、例えばスキャンラインの数を４本に決定する。

ステップＳ５０において、ライン数決定部１１１は、ステップＳ２０Ａで選択された画素は遠距離の像に対応すると判断し、当該画素に対するスキャンラインの数を多く設定する。本実施形態では、第１の実施形態と同様に、例えばスキャンラインの数を８本に決定する。

ステップＳ４０またはＳ５０でライン数決定部１１１によりスキャンラインの数が決定されたら、視差算出部１０２はステップＳ６０以降において、第１の実施形態で説明した図３のフローチャートと同様の処理をそれぞれ実施する。すなわち、ステップＳ６０では、ステップＳ２０Ａで選択した画素に対して、決定されたスキャンライン数に基づく視差の演算を行い、ステップＳ７０では、全画素に対する演算が終了したか否かを判定する。まだ演算を実施していない画素がある場合はステップＳ２０Ａに戻って次の画素を選択した後、上記の処理を繰り返す。全画素に対する演算を終了した場合は、図５のフローチャートに示す視差計算を終了する。

なお、本実施形態でも第１の実施形態と同様に、ステップＳ４０、Ｓ５０でそれぞれ設定するスキャンラインの数は４本、８本に限定されない。また、プロセッサ３０から出力される領域情報が表す各領域の距離レンジの分類数を３つ以上とすることで、３種類以上のスキャンライン数を設定できるようにしてもよい。いずれの場合でも、遠距離に存在する物体ほど、当該物体に対応する画素に対して設定するスキャンラインの数を増大させるようにすることが好ましい。

さらに、上記の説明ではスキャンライン数の決定に用いる情報として直前１フレームのステレオカメラ画像から求められた領域情報を用いる例を示したが、これは本発明を限定するものではない。例えば、前フレームと前々フレームのそれぞれの領域情報を元に、現フレームの領域情報を予測して用いることも可能である。また，画像処理装置１０が搭載されている車両の走行情報、例えばステアリングの情報を元に、現フレームで予測される領域情報を補正することも可能である。

前述の第１の実施形態では、画素単位または画素周辺の画素群単位の視差情報に基づいてスキャンライン数を判断しているのに対して、本実施形態では、物体検知により求められた領域単位の距離レンジの情報を用いてスキャンライン数を判断している。そのため、第１の実施形態と比べて、より大域的な情報を元にスキャンライン数を判断できる効果がある。

（第３の実施形態）
次に本発明の第３の実施形態について説明する。本実施形態では、ライン数決定部１１１においてスキャンラインの数を決定する際に、プロセッサ３０で行われた物体検知の結果を利用する例を説明する。

図６は、本発明の第３の実施形態に係る画像処理装置の構成を示すブロック図である。図６に示すように、本実施形態に係る画像処理装置１０は、図４で説明した第２の実施形態と比べて、プロセッサ３０から出力された物体検知結果の情報がライン数決定部１１１へ入力される点が異なっている。この情報は、プロセッサ３０で行われた物体検知の結果を表す情報であり、ステレオカメラ画像内のどの領域に対して物体が検知されたかを表す情報を含んでいる。

本実施形態において、ライン数決定部１１１は、前フレームのステレオカメラ画像から計算された視差に応じてプロセッサ３０から出力される物体検知結果の情報を入力し、その情報に基づいて、視差算出部１０２が実施する平滑化処理において用いられるスキャンラインの数を決定する。例えば、既に検知済みの物体の像と判定した画素に対しては少ないライン数を採用し、物体検知済みでない像と判定した画素に対しては多いライン数を採用する。すなわち、本実施形態のライン数決定部１１１は、過去に視差算出部１０２により算出された視差に基づき検知された物体の情報を取得し、取得した物体の情報に基づいて、スキャンラインの数を決定する。これ以外の点では、第１、第２の実施形態と同様である。

図７は、本発明の第３の実施形態に係る画像処理装置におけるスキャンライン数決定の例を示す図である。図７に示すように、前フレームで物体検知済みの車両の像９０１の領域内画素に対する視差計算では、遠距離であってもライン数９１１を少なく設定する。一方、前フレームの時点では物体検知されていない車両の像９０２に対しては、ライン数９１２を多く設定することで、より精度の高い視差計算を行うようにする。また、物体検知済みの路面９０３に対しては、より少ないライン数９１３を設定する。

本実施形態では、前フレームでの物体検知の結果を用いてスキャンライン数を設定することで、過去に距離情報を得たことの無い像に対しては、より精度の高い視差計算を実施することができる。

（第４の実施形態）
次に本発明の第４の実施形態について説明する。本実施形態では、ライン数決定部１１１においてスキャンラインの数を決定する際に、他のセンサで測定した距離情報を利用する例を説明する。

図８は、本発明の第４の実施形態に係る画像処理装置の構成を示すブロック図である。図８に示すように、本実施形態に係る画像処理装置１０は、図４、６図でそれぞれ説明した第２、第３の実施形態と比べて、距離情報を取得可能なセンサの一例であるＬＩＤＡＲ（Light Detection And Ranging）４０から出力された距離情報がライン数決定部１１１へ入力される点が異なっている。なお、図８のＬＩＤＡＲ４０は距離情報を取得可能な他のセンサの一例であり、本発明ではこれに限定されない。他にも、例えば赤外線デプスセンサ、超音波センサ、ミリ波レーダー、他のカメラ映像などから出力される距離情報を利用してもよい。

本実施形態において、ライン数決定部１１１は、カメラ２０が撮影するステレオカメラ画像の範囲に対してＬＩＤＡＲ４０から出力される距離情報を入力し、この距離情報に基づいて、第１の実施形態と同様に、視差算出部１０２が実施する平滑化処理において用いられるスキャンラインの数を決定する。すなわち、距離情報が表す各画素の距離を所定の閾値と比較して、距離が閾値よりも大きい画素に対してはスキャンラインの数を少なく設定し、距離が閾値以下の画素に対してはスキャンラインの数を多く設定する。これ以外の点では、第１〜第３の実施形態と同様である。

（第５の実施形態）
次に本発明の第５の実施形態について説明する。本実施形態では、第１〜第４の実施形態で説明したライン数決定部１１１の代わりに、平滑化計算において間引く画素の割合を表す疎密度を決定する疎密度決定部１１２を有する画像処理装置の例を説明する。

図９は、本発明の第５の実施形態に係る画像処理装置の構成を示すブロック図である。図９に示すように、本実施形態に係る画像処理装置１０は、図２で説明した第１の実施形態と比べて、ＦＰＧＡ１１の条件設定部１０１がライン数決定部１１１の代わりに疎密度決定部１１２を有する点が異なっている。疎密度決定部１１２は、前フレームのステレオカメラ画像から視差算出部１０２が生成して視差画像保存部１０４に格納された視差画像を読み出し、その視差画像に基づいて、視差算出部１０２が実施する平滑化処理における疎密度を決定する。すなわち、本実施形態の疎密度決定部１１２は、過去に視差算出部１０２により算出された視差に基づいて、疎密度を決定する。そして、決定した疎密度を視差算出部１０２に通知する。本実施形態における条件設定部１０１は、このようにして疎密度決定部１１２により決定された疎密度を通知することで、視差算出部１０２に対する条件設定を行う。

疎密度決定部１１２から疎密度の通知が行われると、視差算出部１０２は、ステレオカメラ撮影画像保存部１０３から読み出した現フレームのステレオカメラ画像に対して、通知された疎密度に応じた割合で画素の間引きを行う。そして、間引かれなかった残りのステレオカメラ画像の画素を計算対象画素として、平滑化計算を実施する。その後は第１の実施形態と同様に、平滑化計算後のステレオカメラ画像に対して非類似度の計算を画素ごとに実施し、その計算結果に基づいて、画素ごとの視差を演算する。こうして得られた画素単位の視差の算出結果を、視差算出部１０２は視差画像としてプロセッサ３０へ出力するとともに、視差画像保存部１０４に格納する。

図１０は、本発明の第５の実施形態に係る画像処理装置において平滑化計算に用いられる画素の間引きの説明図である。図１０（ａ）は、遠距離の像に対応する画素の平滑化計算で用いられる画素の例を示す図である。前フレームの視差画像で表された視差が小さく、そのため遠距離の像に対応すると判断された画素については、図１０（ａ）に示すように、各スキャンライン上の画素を間引かずに、画像上の狭い範囲で密な平滑化演算が実施されるようにする。一方、図１０（ｂ）は、近距離の像に対応する画素の平滑化計算で用いられる画素の例を示す図である。前フレームの視差画像で表された視差が大きく、そのため近距離の像に対応すると判断された画素については、図１０（ｂ）に示すように、各スキャンライン上の画素を間引いて、画像上の広い範囲で少ない画素を用いて平滑化演算が実施されるようにする。このように、本実施形態の疎密度決定部１１２では、前フレームで求められた視差の値が大きいほど、像までの距離が近いと判断してステレオカメラ画像から間引く画素の割合が増大するように、疎密度を決定することが好ましい。

なお、図１０では平滑化演算に用いる画素がスキャンライン上に並んでいる例を説明したが、ライン上に並ぶものに限る必要はない。図１１は、本発明の第５の実施形態に係る画像処理装置において平滑化計算に用いられる画素の配置の説明図である。図１１（ａ）は、８本のスキャンライン上に並んで配置された各画素を平滑化計算に採用する例を示している。一方、図１１（ｂ）は、スキャンライン上には並んでおらず、所定の配置パターンに従って配置された各画素を平滑化計算に採用する例を示している。図１１（ａ）、図１１（ｂ）いずれの配置例においても、疎密度決定部１１２により決定された疎密度に基づいて前述のような画素の間引きを行い、平滑化演算を実施することができる。このときどの画素を間引くかについては、予め決定しておくことができる。ただし、図１１に示した画素の配置は一例であり、平滑化計算に用いる画素の配置はこれに限定されない。

また、本実施形態では疎密度決定部１１２において、第１の実施形態で説明したライン数決定部１１１におけるスキャンライン数の決定と同様に、過去に視差算出部１０２により算出された視差に基づいて疎密度を決定する例を説明したが、本発明はこれに限定されない。例えば、第２の実施形態におけるスキャンライン数の決定と同様に、過去に視差算出部１０２により算出された視差に基づき判定された距離レンジの情報をプロセッサ３０から取得し、取得した距離レンジの情報に基づいて疎密度を決定してもよい。また、第３の実施形態におけるスキャンライン数の決定と同様に、過去に視差算出部１０２により算出された視差に基づき検知された物体の情報をプロセッサ３０から取得し、取得した物体の情報に基づいて疎密度を決定してもよい。あるいは、第４の実施形態におけるスキャンライン数の決定と同様に、他のセンサで測定されたステレオカメラ画像の範囲に対応する距離情報を取得し、取得した距離情報に基づいて疎密度を決定してもよい。これ以外にも、任意の方法で疎密度を決定することができる。

（第６の実施形態）
次に本発明の第６の実施形態について説明する。本実施形態では、第１〜第４の実施形態で説明したライン数決定部１１１と、第５の実施形態で説明した疎密度決定部１１２とを条件設定部１０１が有する画像処理装置の例を説明する。

図１２は、本発明の第６の実施形態に係る画像処理装置の構成を示すブロック図である。図１２に示すように、本実施形態に係る画像処理装置１０は、図２で説明した第１の実施形態と比べて、ＦＰＧＡ１１の条件設定部１０１がライン数決定部１１１に加えて疎密度決定部１１２をさらに有する点が異なっている。この疎密度決定部１１２は、第５の実施形態で説明したのと同様である。なお、図１２ではメモリ１２が視差画像保存部１０４を有している例を示しているが、ライン数決定部１１１や疎密度決定部１１２が第２〜第４の各実施形態と同様の手法でスキャンライン数や疎密度の決定を行う場合には、視差画像保存部１０４をメモリ１２に設けずに省略してもよい。また、第４の実施形態で説明したように、他のセンサで測定した距離情報を利用してスキャンライン数や疎密度の決定を行う場合には、当該センサからの距離情報をライン数決定部１１１や疎密度決定部１１２へ入力すればよい。

以上説明した本発明の実施形態によれば、以下の作用効果が得られる。

（１）画像処理装置１０は、カメラ２０により撮影されたステレオカメラ画像に基づいて視差を算出する。画像処理装置１０は、ステレオカメラ画像における計算対象画素を決定するための条件を設定する条件設定部１０１と、条件設定部１０１により設定された条件に基づいて、ステレオカメラ画像の中で計算対象画素を決定し、計算対象画素の情報を用いて視差を算出する視差算出部１０２とを備える。このようにしたので、視差の計算に要する計算量を抑制することができる。

（２）第１〜第４、第６の各実施形態において、条件設定部１０１は、ステレオカメラ画像をスキャンするスキャンラインの数を決定するライン数決定部１１１を有する。視差算出部１０２は、ライン数決定部１１１により決定された数のスキャンラインをステレオカメラ画像に対して設定し、スキャンライン上にあるステレオカメラ画像の画素を、計算対象画素に決定する。このようにしたので、条件に応じた計算対象画素を適切に決定することができる。

（３）第１の実施形態において、ライン数決定部１１１は、過去に視差算出部１０２により算出された視差に基づいて、スキャンラインの数を決定する。このときライン数決定部１１１は、視差の値が小さいほどスキャンラインの数を増大させるようにする。このようにしたので、過去の視差情報から画素ごとの距離に応じた最適なスキャンラインの数を決定することができる。

（４）第２の実施形態において、ライン数決定部１１１は、過去に視差算出部１０２により算出された視差に基づき判定された距離レンジの情報を取得し、取得した距離レンジの情報に基づいて、スキャンラインの数を決定する。このようにしたので、過去の視差情報から物体ごとの距離に応じた最適なスキャンラインの数を決定することができる。

（５）第３の実施形態において、ライン数決定部１１１は、過去に視差算出部１０２により算出された視差に基づき検知された物体の情報を取得し、取得した物体の情報に基づいて、スキャンラインの数を決定する。このようにしたので、過去の視差情報から物体ごとに最適なスキャンラインの数を決定することができる。

（６）第４の実施形態において、ライン数決定部１１１は、ステレオカメラ画像の範囲に対する距離情報を取得し、取得した距離情報に基づいて、スキャンラインの数を決定する。このようにしたので、過去のステレオカメラ画像から視差を算出できなかった場合でも、画素ごとの距離に応じた最適なスキャンラインの数を決定することができる。

（７）第５、第６の各実施形態において、条件設定部１０１は、ステレオカメラ画像から間引く画素の割合を表す疎密度を決定する疎密度決定部１１２を有する。視差算出部１０２は、疎密度決定部１１２により決定された疎密度に基づいてステレオカメラ画像から間引いた残りの画素を、計算対象画素に決定する。このようにしたので、条件に応じた計算対象画素を適切に決定することができる。

（８）第５、第６の各実施形態において、疎密度決定部１１２は、過去に視差算出部１０２により算出された視差に基づいて、疎密度を決定することができる。このとき疎密度決定部１１２は、視差の値が大きいほどステレオカメラ画像から間引く画素の割合が増大するように疎密度を決定する。このようにしたので、過去の視差情報から画素ごとの距離に応じた最適な疎密度を決定することができる。

（９）第５、第６の各実施形態において、疎密度決定部１１２は、過去に視差算出部１０２により算出された視差に基づき判定された距離レンジの情報を取得し、取得した距離レンジの情報に基づいて、疎密度を決定することもできる。また、過去に視差算出部１０２により算出された視差に基づき検知された物体の情報を取得し、取得した物体の情報に基づいて、疎密度を決定することもできる。さらに、ステレオカメラ画像の範囲に対する距離情報を取得し、取得した距離情報に基づいて、疎密度を決定することもできる。このようにすれば、状況に応じて最適な疎密度を決定することができる。

以上、本発明の実施形態について述べたが、本発明は前述の実施形態に限定されるものでなく、特許請求の範囲に記載された範囲を逸脱しない範囲で種々の変更を行うことができる。例えば、上記の各実施形態では車両に搭載されて使用される画像処理装置１０について説明したが、他のシステムで用いられる画像処理装置においても本発明を適用可能である。

以上説明した実施形態や変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記では種々の実施形態や変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１０…画像処理装置、１１…ＦＰＧＡ、１２…メモリ、２０…カメラ、３０…プロセッサ、４０…ＬＩＤＡＲ、１０１…条件設定部、１０２…視差算出部（ＳＧＭ演算）、１０３…ステレオカメラ撮影画像保存部、１０４…視差画像保存部、１１１…ライン数決定部、１１２…疎密度決定部

Claims (13)

1. ステレオカメラにより撮影されたステレオカメラ画像に基づいて視差を算出する画像処理装置であって、
   前記ステレオカメラ画像における計算対象画素を決定するための条件を設定する条件設定部と、
   前記条件設定部により設定された条件に基づいて、前記ステレオカメラ画像の中で前記計算対象画素を決定し、前記計算対象画素の情報を用いて前記視差を算出する視差算出部と、を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記条件設定部は、前記ステレオカメラ画像をスキャンするスキャンラインの数を決定するライン数決定部を有し、
   前記視差算出部は、前記ライン数決定部により決定された数の前記スキャンラインを前記ステレオカメラ画像に対して設定し、前記スキャンライン上にある前記ステレオカメラ画像の画素を、前記計算対象画素に決定する画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記ライン数決定部は、過去に前記視差算出部により算出された前記視差に基づいて、前記スキャンラインの数を決定する画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記ライン数決定部は、前記視差の値が小さいほど前記スキャンラインの数を増大させる画像処理装置。
5. 請求項２に記載の画像処理装置において、
   前記ライン数決定部は、過去に前記視差算出部により算出された前記視差に基づき判定された距離レンジの情報を取得し、取得した前記距離レンジの情報に基づいて、前記スキャンラインの数を決定する画像処理装置。
6. 請求項２に記載の画像処理装置において、
   前記ライン数決定部は、過去に前記視差算出部により算出された前記視差に基づき検知された物体の情報を取得し、取得した前記物体の情報に基づいて、前記スキャンラインの数を決定する画像処理装置。
7. 請求項２に記載の画像処理装置において、
   前記ライン数決定部は、前記ステレオカメラ画像の範囲に対する距離情報を取得し、取得した前記距離情報に基づいて、前記スキャンラインの数を決定する画像処理装置。
8. 請求項１から請求項７のいずれか一項に記載の画像処理装置において、
   前記条件設定部は、前記ステレオカメラ画像から間引く画素の割合を表す疎密度を決定する疎密度決定部を有し、
   前記視差算出部は、前記疎密度決定部により決定された前記疎密度に基づいて前記ステレオカメラ画像から間引いた残りの画素を、前記計算対象画素に決定する画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記疎密度決定部は、過去に前記視差算出部により算出された前記視差に基づいて、前記疎密度を決定する画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記疎密度決定部は、前記視差の値が大きいほど前記ステレオカメラ画像から間引く画素の割合が増大するように前記疎密度を決定する画像処理装置。
11. 請求項８に記載の画像処理装置において、
    前記疎密度決定部は、過去に前記視差算出部により算出された前記視差に基づき判定された距離レンジの情報を取得し、取得した前記距離レンジの情報に基づいて、前記疎密度を決定する画像処理装置。
12. 請求項８に記載の画像処理装置において、
    前記疎密度決定部は、過去に前記視差算出部により算出された前記視差に基づき検知された物体の情報を取得し、取得した前記物体の情報に基づいて、前記疎密度を決定する画像処理装置。
13. 請求項８に記載の画像処理装置において、
    前記疎密度決定部は、前記ステレオカメラ画像の範囲に対する距離情報を取得し、取得した前記距離情報に基づいて、前記疎密度を決定する画像処理装置。

Images