JP2021033345A

JP2021033345A - 画像処理装置

Info

Publication number: JP2021033345A
Application number: JP2019148804A
Authority: JP
Inventors: 春樹的野; Haruki Matono; 青木　利幸; Toshiyuki Aoki; 利幸青木; 琢馬大里; Takuma Osato
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-08-14
Filing date: 2019-08-14
Publication date: 2021-03-01
Anticipated expiration: 2039-08-14
Also published as: WO2021029206A1; EP4015990A4; EP4015990A1; JP7269130B2

Abstract

【課題】撮像素子とレンズのずれを少ない計算量でかつ精度よく検出して補正することのできる画像処理装置を提供する。【解決手段】一対のカメラから一対の画像を取得し、前記一対の画像のうちの一方の画像から第１の一方領域を決定し、他方の画像から前記第１の一方領域と対応した第１の他方領域を探索し、前記第１の一方領域と前記第１の他方領域との第１のずれを取得し、前記一方の画像から前記第１の一方領域とは異なる第２の一方領域を決定し、前記他方の画像から前記第２の一方領域と対応した第２の他方領域を探索し、前記第２の一方領域と前記第２の他方領域との第２のずれを取得し、前記第１のずれ及び前記第２のずれから、前記画像の画素ごとの幾何補正値を決定する。【選択図】図３

Description

本発明は、画像処理装置、それを利用したカメラシステム、幾何補正値データの生産方法、幾何補正値を得るためのプログラムに関する。

本技術分野の背景技術として、特許文献１がある。この公報には、課題として「３次元計測等を行うステレオ画像を撮影する撮影装置のキャリブレーションずれを、簡易に定量的に且つ絶対値として補正することが可能なキャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステムを提供することである。」と記載され、解決手段として、「ステレオ画像を撮影する撮影装置のキャリブレーションずれを補正するキャリブレーションずれ補正装置に於いて、撮影装置１１に関するキャリブレーションデータがキャリブレーションデータ記憶装置８に記憶されている。上記撮影装置１１が撮影したステレオ画像から特徴抽出装置５で特徴が抽出される。そして、上記特徴抽出装置５で抽出された特徴に基づいて、上記キャリブレーションデータ記録装置８に記憶されたキャリブレーションデータに関するキャリブレーションずれが、キャリブレーションデータ補正装置１で補正される。」と記載されている。

特開２００４−３５４２５７号公報

前記特許文献１では、３次元計測等を行うステレオ画像を撮影する撮影装置のキャリブレーションが、経年変化や衝撃振動などの機械ずれによっても、ステレオ画像を解析することにより、キャリブレーションずれを定量的に且つ絶対値として補正することができる。しかし、撮像装置のＣＭＯＳセンサやＣＣＤセンサ等の撮像素子とレンズのずれを少ない演算量で補正できない課題がある。

本発明は、上記課題に鑑みてなされたもので、その目的とするところは、撮像素子とレンズのずれを少ない計算量でかつ精度よく検出して補正することのできる画像処理装置を提供することにある。

上記目的を達成するために、本発明に係る画像処理装置は、一対のカメラから一対の画像を取得し、前記一対の画像のうちの一方の画像から第１の一方領域を決定し、他方の画像から前記第１の一方領域と対応した第１の他方領域を探索し、前記第１の一方領域と前記第１の他方領域との第１のずれを取得し、前記一方の画像から前記第１の一方領域とは異なる第２の一方領域を決定し、前記他方の画像から前記第２の一方領域と対応した第２の他方領域を探索し、前記第２の一方領域と前記第２の他方領域との第２のずれを取得し、前記第１のずれ及び前記第２のずれから、前記画像の画素ごとの幾何補正値を決定することを特徴とする。

本発明によれば、ＣＭＯＳやＣＣＤ等の撮像素子とレンズのずれを少ない計算量でかつ精度よく検出して補正することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

ステレオカメラに垂直方向のずれが生じた場合の視差誤差に関する説明図。実施例１における画像処理装置を利用した障害物検知システム（車載ステレオカメラシステム）の全体構成を示す説明図。実施例１における画像処理装置の構成を示す説明図。処理領域の説明図。実施例２における、信頼度を設けた画像処理装置の構成を示す説明図。実施例３における、蓄積部を設けた画像処理装置の構成を示す説明図。実施例４における画像処理装置の構成を示す説明図。

以下、本発明の実施形態を図面を参照して説明する。

［実施例１］
本実施例の画像処理装置の説明に先立ち、画像処理装置を利用したカメラシステム（ステレオカメラシステム）、及びそのカメラシステムで発生する視差誤差・距離誤差について概説する。

対象の三次元位置を推定する手段として、ステレオカメラシステムが良く知られている。ステレオカメラシステムは、撮影装置としてのカメラを複数の位置に配置して同一対象物を異なる複数の視点から撮像し、得られた画像における見え方のずれ、すなわち視差から対象物体までの距離を算出する。２台の（一対の）カメラからなるステレオカメラを用いた一般的なステレオカメラシステムでは、この変換は以下の数式１で表される。

ここで、Z[mm]は対象物体までの距離、f[mm]は焦点距離、w[mm/px]は画素ピッチ、B[mm]はカメラ間の距離（基線長）、D[px]は視差を表す。

視差を算出するにあたっては、複数の位置から撮像された画像を水平に並べ、例えば左画像内の特定の点に対して右画像内で同一の点が撮像されている位置を探索する。この探索を効率よく実施するため、一般には平行化処理を事前に実施する。

平行化とは、画像の縦方向の位置合わせを意味する。すなわち、平行化処理は、左右画像で同一の点は同一の高さに撮像されているように画像を校正する処理である。平行化された画像では、対応点を探索する際に、ある横一列のみを探索すればよく、処理効率が高い。しかしながら、組み立て時の誤差や経年劣化によって平行化するためのパラメータに変化が生じ、平行化処理を実施した左右画像であっても垂直方向（上下方向）にずれ（垂直ずれや高さずれともいう）を有することがある。このとき、特に斜め方向の直線が撮像されているような領域においては、異なる高さに良く似たテクスチャが撮像されているため、誤った対応点を検出し、三次元位置に誤差が生じてしまう。

図１は、垂直方向にdj[px]のずれ（画素ずれ）が生じたときの視差誤差dD[px]の説明図である。図１の上段図は、左画像１００ＬＡ（左カメラから取得した画像に平行化処理を実施した画像）と右画像１００ＲＡ（右カメラから取得した画像に平行化処理を実施した画像）に高さずれが発生していない場合を示す。左画像１００ＬＡにおける探索対象１２１に対して、同一の物体が撮像されている位置を右画像１００ＲＡから探索してマッチングしたマッチング対象１２２との画像位置のずれ量が視差として得られる。

一方、図１の下段図は、左画像１００ＬＢと右画像１００ＲＢに高さずれが発生した場合を示す。同様の探索対象１２１に対してマッチング対象１２３との画像位置のずれ量が視差として得られる。このとき、マッチング対象１２２とマッチング対象１２３の位置のずれが視差誤差dD[px]として発生する。水平に対する直線１１０の傾きをθ[rad]とすれば、視差誤差dDは以下の数式２で表される。

すなわち、ある垂直ずれdjが発生したとき、視差誤差dDは直線１１０の傾きθの関数となり、θが0に近づく、すなわち水平に近づくほどdDは大きくなることがわかる。

また、ここで数式１より、視差誤差dDが発生したときの距離誤差dZ[mm]は以下の数式３で表される。

f、B、wはカメラによって固定であるから、視差誤差dDに伴う距離誤差dZは、視差Dが小さいほど大きくなることがわかる。

前述したステレオカメラシステムが車両に適用された障害物検知システム（車載ステレオカメラシステム）を例に、本実施例の画像処理装置を説明する。なお、本例の画像処理装置は、当該分野に限らず、例えば不審者の侵入や異常を監視する監視システム等の様々なシステムに適用可能であることは当然である。

＜障害物検知システム（車載ステレオカメラシステム）＞
図２は、障害物検知システム１の全体構成図で、車両２００のフロントガラスに、ステレオカメラを構成する左右一対のカメラ１００Ａ、１００Ｂ及び画像処理装置３００が設置されている。

カメラ１００Ａ、１００Ｂは、ＣＭＯＳやＣＣＤ等の撮像素子を有し、車両２００の周囲（本例では、前方）を撮像するように横並びで（詳しくは、光軸中心が平行となるように）配設されている。なお、以下では、カメラ１００Ａを左カメラ、カメラ１００Ｂを右カメラと称することがある。

画像処理装置３００は、カメラ１００Ａ、１００Ｂで撮像（取得）した一対の画像に所定の画像処理を施すもので、ＣＰＵ（Central Processing Unit、中央演算処理装置）やメモリ等を備えるマイクロコンピュータ（以下、マイコンという）として構成され、ＣＰＵは、メモリに格納されているプログラムの指示に従って、以下で説明する各種処理を実行する。

また、車両２００には、車両情報ＥＣＵ２０２が設置されている。車両情報ＥＣＵ２０２は、車両２００に搭載された各種センサ等から車両情報を取得して車両２００の動作を統括的に制御する制御装置であり、前記画像処理装置３００と同様、ＣＰＵやメモリ等を備えるマイコンとして構成される。

本例では、画像処理装置３００は、車両情報ＥＣＵ２０２に接続され、操舵装置２０４、ブレーキ制御装置２０５は、車両情報ＥＣＵ２０２の指示によって操舵制御および加減速制御することができる。例えばカメラ１００Ａ、１００Ｂ（の画像）で障害物２１０（例えば電信柱や他車両等）を検出した場合、その障害物２１０の位置の検出を画像処理装置３００で行い、障害物２１０との距離を測定した結果を画像処理装置３００から車両情報ＥＣＵ２０２に送信する。検出した障害物２１０に車両２００が衝突しそうであれば、車両情報ＥＣＵ２０２は、ブレーキ制御装置２０５または操舵装置２０４に対してブレーキ指示または操舵指示することで、衝突の被害を軽減することが可能である。

＜画像処理装置＞
図３は、本実施例１における画像処理装置３００の構成を示す。

画像処理装置３００は、図３に示すように、ＣＰＵ３１０、メモリ３２０、画像入力部３９０、平行化部３３０、視差算出部３４０、左右の上下ずれ算出部３６０、物体検知部３７０、外部入出力部３５０で構成される。画像処理装置３００を構成する各構成要素は、通信ライン３０１を介して通信可能に接続されている。

画像入力部３９０は、外部の映像データ出力装置であるカメラ１００Ａ、１００Ｂが出力したデータ（画像）を入力するためのインターフェースである。ステレオカメラの場合、左右カメラが同一の時刻で撮影されるように同期された映像が入力されると、映像に映る物体（対象物体）までの距離をより正確に求めることができる。

画像入力部３９０で入力されたデータ（画像）は、メモリ３２０に格納される。

平行化部３３０は、画像入力部３９０で入力された左右画像（左カメラ１００Ａで撮像した左画像と右カメラ１００Ｂで撮像した右画像）が平行になるように取付位置やレンズによるひずみなどを補正する処理を実施する。なお、ここでの平行化処理方法は、公知の方法を利用することができる。

視差算出部３４０は、平行化部３３０が出力する左右の平行化後画像（補正後画像）に対して、ブロックマッチングを行い、画素毎の視差を算出する。

物体検知部３７０は、視差算出部３４０から出力される視差データと、平行化部３３０の出力結果を使用して、物体の領域を抽出する。物体の領域抽出方法は、視差データから距離データに変換し、距離の近い領域をグルーピングする方式や、平行化部３３０の画像データから人や車のパターンを検出する方法などがある。距離の近い領域をグルーピングする方式の場合、各画像の距離が正確に計測できていないとグルーピングできずに物体を検出できなくなる。これは、カメラの設置位置や撮像素子とレンズの位置のずれなどにより、平行化部３３０で補正する補正値と物理的な位置に差異が生じて発生する。ここで、ひずみの大きいレンズを使用した場合、ひずみの補正量が大きくなることに伴い、レンズと撮像素子の位置がずれたことによる影響が大きくなる。一例として、ひずみの大きいレンズは平行化時に画像周辺部で画像中央部の２倍の拡大補正値だったとすると、レンズと撮像素子が１画素分ずれると、２画素ずれることになってしまう。

そこで、本実施例では、撮像素子とレンズの位置のずれを正確かつ簡易に求める手段として、左右の上下ずれ算出部３６０を実装する。

左右の上下ずれ算出部３６０は、右画像の一部の領域に対応する領域を左画像で探索し、上下方向（垂直方向）のずれ量（画素ずれ）を算出する。詳しくは、左右の上下ずれ算出部３６０は、画像入力部３９０で入力され、平行化部３３０で平行化された左右の平行化後画像のうちの右画像（一方の画像）から所定形状の複数の領域（一方領域）を決定し、左画像（他方の画像）から前記右画像の領域（一方領域）と対応した所定形状の複数の領域（他方領域）を探索し、前記右画像の各領域（一方領域）と前記左画像の各領域（他方領域）との上下方向（垂直方向）のずれ（画素ずれ）を取得し、取得した複数のずれ（画素ずれ）から、左右画像の画素ごとの幾何補正値（ひずみ補正テーブルに対応）を決定する。

なお、ここでの左右の上下ずれ算出部３６０の処理は、右画像を基準にしているが、逆（つまり、左画像を基準）にしてもよい。

前記ずれ量を算出する領域（処理領域）について図４で説明する。図４中、４００は平行化後の右画像を表している。４０１から４０５は５箇所の領域のおよその位置を表している。４０１、４０２、４０４、４０５は、画像の周辺部分の領域（換言すれば、光軸中心周りの四方４箇所を含む領域）で、４０３は、画像の光軸中心部分の領域（換言すれば、光軸中心を含む領域）である。周辺部分が光軸中心部分に比べて半分に縮小されて撮影されるレンズの例で説明する。平行化部３３０では、ひずみを補正するため、周辺部分では約２倍拡大する補正を実施する。光軸の中心部分はひずみがないため、拡大は不要で、等倍である。ここで、撮像素子とレンズが水平方向右に一画素ずれた例を説明する。ひずみ補正テーブルは同じなので、撮像素子とレンズが水平方向右にずれたことによる上下ずれは、光軸の中心部分である４０３は０、４０１は上方向、４０２は下方向、４０４は下方向、４０５は上方向となる（ずれる）。これは、ひずみ補正テーブルが光軸を中心に放射状に補正値が変化し、特に周囲では補正値が大きくなることに依る。撮像素子とレンズがずれると、補正位置がずれるため、前述のようにずれが発生する。同様に撮像素子とレンズが垂直方向と水平方向およびレンズと撮像素子の間隔がずれる方向（つまり、略光軸中心方向）にずれた場合、それぞれにずれるパターンが異なる。したがって、４０１から４０５の領域のずれのパターンで撮像素子とレンズのずれの方向が特定でき、ひずみ補正の補正値とずれ量から、撮像素子とレンズの位置関係の変位量が計測できる。

例えば、４０１から４０５の領域のずれと左右画像の画素ごとの幾何補正値（ひずみ補正テーブルに対応）の関係を示すパターンを予め計測しておけば、そのパターンに基づいて、前記複数の処理領域のずれから、左右画像の画素ごとの幾何補正値を決定することができる。

ここで、左右の上下ずれ算出方法は、片方の領域に対して、他方の画像名でＳＡＤ（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）により類似度を評価することができ、相関関係が明らかにできるのであれば、本実施例は、その方法は限定しない。

以上のように左右画像の垂直ずれを複数の領域で観測し、例えば予め計測したパターンと比較・照合することで、垂直及び水平方向両方においてひずみ補正テーブルを補正することができる。水平方向の補正は、既知の距離のマーカを撮影し、距離のずれでひずみ補正テーブルを補正することもできる。しかし、自動車などの走行中は補正できないため、被写体に依存しない補正方法がよい。本実施例の補正方法は、任意の被写体でひずみ補正テーブルを補正することができるため、走行中でも対応できる。

なお、幾何補正値とは、撮像素子のひずみ、カメラ１００Ａ、１００Ｂの焦点距離の誤差、画像上の光軸位置の誤差、取付誤差が０であるときの画像に補正するための値である。

外部入出力部３５０は、物体検知部３７０で物体検知した結果を出力（例えば車両情報ＥＣＵ２０２に出力）し、これにより、車両２００が障害物２１０（例えば電信柱や他車両等）にぶつかりそうなったと判断した場合に、ブレーキをかける、ステアリングを切るなどの制御が可能である。

以上で説明したように、本実施例１によれば、前述した左右の上下ずれ算出部３６０での処理を実施することにより、ＣＭＯＳやＣＣＤ等の撮像素子とレンズのずれを少ない計算量でかつ精度よく検出して補正することができ、カメラの取付後にカメラが変形した場合にも距離精度を維持できる。特にひずみが大きいレンズを使用する場合に効果が大きい。

［実施例２］
次に、実環境にロバストな補正方法を実施する実施例２について、図５を参照して説明する。

本実施例２の画像処理装置５００の基本構成は、上述した実施例１の画像処理装置３００とほぼ同じであるが、実施例１の構成に信頼度算出部５８０を追加する。信頼度算出部５８０は、左右の上下ずれ算出部３６０のマッチングがどの程度信頼できるか（すなわち、左右画像の各領域のずれの信頼度）を計算するブロックである。左右の上下ずれ算出部３６０は、信頼度算出部５８０が算出する信頼度を参照し、信頼度算出部５８０が出力する信頼度が高い時に平行化部３３０のための幾何補正値を更新し、そうでない場合は更新しない、または、信頼度に応じて重みをつけて更新することで、走行中画像が一時劣化した場合の誤補正を防止することができる。ここでの信頼度の算出方法は、左右の上下ずれ算出部３６０のマッチングに使用する部分の輝度分布の分散値やエッジの強度、マッチング位置の相関値を使用してもよい。

このように、本実施例２によれば、信頼度算出部５８０が算出するずれの信頼度に応じて左右画像の画素ごとの幾何補正値（ひずみ補正テーブルに対応）を決定することにより、ＣＭＯＳやＣＣＤ等の撮像素子とレンズのずれをより精度よく検出して補正することができ、より高い距離精度を維持できる。

［実施例３］
次に、実環境において温度変化などの短期的な変形ではなく、構造上の変形をロバストに検出する実施例３について、図６を参照して説明する。

図４では、５箇所の領域に対してずれ量を算出する例を示した。しかし、この領域の数が多いほど、ずれの傾向を把握しやすくなり、例えば領域の一つがノイズなどの影響でそのずれ量が正しく算出されなかった場合に、ノイズとしてその領域を計算の対象から除外することで、ロバスト性が向上する。また、図４の領域が、常時ずれ量を算出しやすい状態とは限らない。例えば、高速道を走行している際には、周辺の環境が単調であるため、常に画面の上部は空が映っている状態である。すると、空は画像の濃淡が小さく上下ずれを算出することが難しい。このような場合に、領域をずらしてずれ量を測定することで、早期に上下ずれを算出することが可能になる。

このような処理を実現するために、本実施例３では、実施例２の構成に蓄積部６９０を追加する。なお、本実施例３の画像処理装置６００のその他の構成は、上述した実施例２の画像処理装置５００とほぼ同じである。蓄積部６９０は、左右の上下ずれ算出部３６０で算出した処理対象の画像座標ごとのずれ量を保持し、保持したずれ量の信頼度（信頼度算出部５８０にて算出）が一定値（所定の閾値）を超えた場合に、左右の上下ずれ算出部３６０に対し、ずれ量が保持されていない領域（又は、ずれ量の信頼度が一定値以下の領域）へ処理領域（つまり、ずれを取得する領域）の変更を指示する。あるいは、蓄積部６９０は、各領域のずれ量の信頼度が長時間増加しない場合は、左右の上下ずれ算出部３６０に対し、処理領域の変更を指示する。

このように、本実施例３によれば、蓄積部６９０に保持したずれの信頼度が所定の閾値を超えた場合に、処理領域（ずれを取得する領域）を異なる領域に変更することにより、長い時間のずれ量を、数多くの領域で取得することができ、精度の高い幾何補正値を算出することができる。また、高速道路の直線路の走行や停車時などの画面の濃淡が常に変化しないような状況でも、上下ずれ算出の期間を短縮することが可能となる。

［実施例４］
次に、実施例４について、図７を参照して説明する。

本実施例４の画像処理装置７００の基本構成は、上述した実施例１〜３の画像処理装置３００、５００、６００とほぼ同じであるが、本実施例４では、外部入出力部３５０が、前述した平行化部３３０もしくは左右の上下ずれ算出部３６０の前記幾何補正値又はずれ量を出力する。

外部入出力部３５０に通信可能に接続される別の解析部９００によって、複数台の画像処理装置の出力結果である幾何補正値を収集・保持し、その統計結果によって（例えば分散値などを算出して）異常値を検出したカメラに対して動作停止などを指示する。例えば、解析部９００が、当該画像処理装置７００に画像を入力するカメラ１００Ａ、１００Ｂの異常を検出した場合（換言すれば、所定のばらつきの閾値を超えた画像処理装置７００を検出した場合）、解析部９００は、画像処理装置７００に対してカメラ１００Ａ、１００Ｂの動作停止などを指示し、画像処理装置７００（のＣＰＵ３１０）は、外部入出力部３５０を介した解析部９００からの入力に応じて、システムを停止するとともに、外部入出力部３５０からシステムが停止した信号を出力して、ユーザに通知する、他の画像処理装置を含むシステム全体を停止する、または、代替センサに切り替えるなどする。

このように、本実施例４によれば、複数の画像処理装置の出力結果を保持する解析部９００が所定のばらつきの閾値を超えた画像処理装置７００を検出した場合、画像処理装置７００が、外部入出力部３５０を介した解析部９００からの入力に応じて、システム停止などを行うことにより、複数の画像処理装置（のステレオカメラ）を連携しつつ、予期しないカメラの構造の変形を検出し、安全にシステムを停止することができる。

また、本実施例４において、画像処理装置７００（の左右の上下ずれ算出部３６０）が、外部入出力部３５０を介した解析部９００からの入力に応じて、（システムを停止する代わりに）処理領域（つまり、ずれを取得する領域）を変更するようにしてもよい。

［実施例５］
次に、実施例５について説明する。

本実施例５の基本構成は、上述した実施例１〜４とほぼ同じであるので、図示は省略するが、本実施例５では、（左右の上下ずれ算出部３６０ではなく）視差算出部３４０にて視差を求める際に上下方向のずれ量を同時に算出し、上下ずれマップ（画像座標ごとの上下方向のずれ量）を作成する。この上下ずれマップによって（を参照して）、左右の上下ずれ算出部３６０は、平行化部３３０のための幾何補正値を決定する。

このように、本実施例５によれば、ずれを取得する際に、一対のカメラ１００Ａ、１００Ｂから取得した一対の画像の視差を算出するとともに、視差算出と同時にその一対の画像の垂直ずれ量を出力する視差算出部３４０の前記垂直ずれ量を参照することで、つまり、視差算出部３４０をＦＰＧＡの回路に実装することで、よりＣＰＵ３１０の計算負荷を削減でき（換言すれば、処理を効率化でき）、低コストなデバイスでも補正処理を実行できる。

なお、本発明の対象は、上述した画像処理装置や、それを利用したカメラシステムに加えて、幾何補正値データの生産方法や、幾何補正値を得るためのプログラムにも及ぶものである。本発明の幾何補正値データの生産方法は、一例として、一対のカメラから一対の画像を取得するステップと、前記一対の画像のうちの一方の画像から第１の一方領域を決定し、他方の画像から前記第１の一方領域と対応した第１の他方領域を探索し、前記第１の一方領域と前記第１の他方領域との第１のずれを取得するステップと、前記一方の画像から前記第１の一方領域とは異なる第２の一方領域を決定し、前記他方の画像から前記第２の一方領域と対応した第２の他方領域を探索し、前記第２の一方領域と前記第２の他方領域との第２のずれを取得するステップと、前記第１のずれ及び前記第２のずれから、前記画像の画素ごとの幾何補正値を決定するステップと、を備える方法を含む。

また、本発明の幾何補正値を得るためのプログラムは、一例として、コンピュータに、一対のカメラから一対の画像を取得するステップ（処理）と、前記一対の画像のうちの一方の画像から第１の一方領域を決定し、他方の画像から前記第１の一方領域と対応した第１の他方領域を探索し、前記第１の一方領域と前記第１の他方領域との第１のずれを取得するステップ（処理）と、前記一方の画像から前記第１の一方領域とは異なる第２の一方領域を決定し、前記他方の画像から前記第２の一方領域と対応した第２の他方領域を探索し、前記第２の一方領域と前記第２の他方領域との第２のずれを取得するステップ（処理）と、前記第１のずれ及び前記第２のずれから、前記画像の画素ごとの幾何補正値を決定するステップ（処理）と、を実行させるプログラムを含む。

なお、上述したすべての処理ステップが必須の関係にあるわけではない。

また、上記実施例では、撮像装置としてのカメラを２台有するステレオカメラシステムを例示して説明したが、本発明は、撮像装置を複数有するシステムに適用可能であり、例えば、撮像装置を３個以上有するシステムに適用してもよく、必ずしもステレオ処理は必須ではない。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、以上の各構成は、それらの一部又は全部が、例えば集積回路で設計する等によりハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１障害物検知システム（車載ステレオカメラシステム）、１００Ａ，１００Ｂカメラ、２００車両、２１０障害物、３００画像処理装置（実施例１）、３０１通信ライン、３１０ＣＰＵ、３２０メモリ、３３０平行化部、３４０視差算出部、３５０外部入出力部、３６０左右の上下ずれ算出部、３７０物体検知部、３９０画像入力部、５００画像処理装置（実施例２）、５８０信頼度算出部、６００画像処理装置（実施例３）、６９０蓄積部、７００画像処理装置（実施例４）、９００解析部

Claims

一対のカメラから一対の画像を取得し、
前記一対の画像のうちの一方の画像から第１の一方領域を決定し、他方の画像から前記第１の一方領域と対応した第１の他方領域を探索し、前記第１の一方領域と前記第１の他方領域との第１のずれを取得し、
前記一方の画像から前記第１の一方領域とは異なる第２の一方領域を決定し、前記他方の画像から前記第２の一方領域と対応した第２の他方領域を探索し、前記第２の一方領域と前記第２の他方領域との第２のずれを取得し、
前記第１のずれ及び前記第２のずれから、前記画像の画素ごとの幾何補正値を決定することを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
前記第１のずれ及び前記第２のずれとして、前記画像の垂直方向のずれを取得することを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
予め計測した前記第１のずれ及び前記第２のずれと前記画像の画素ごとの幾何補正値の関係を示すパターンに基づいて、前記第１のずれ及び前記第２のずれから、前記幾何補正値を決定することを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
すくなくとも前記画像の光軸の中心を含む領域と該光軸の中心周りの四方４箇所を含む領域から、前記第１及び第２の一方領域並びに前記第１及び第２の他方領域が構成されており、すくなくとも前記画像の光軸の中心を含む領域と該光軸の中心周りの四方４箇所を含む領域におけるずれ量を算出し、前記幾何補正値を算出することを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
前記第１のずれと前記第２のずれの信頼度を算出する信頼度算出部を備え、
前記信頼度に応じて前記幾何補正値を決定することを特徴とする画像処理装置。
請求項５に記載の画像処理装置であって、
前記第１のずれと前記第２のずれを保持する蓄積部を備え、
前記蓄積部に保持した前記第１のずれ又は前記第２のずれの前記信頼度が所定の閾値を超えた場合に、前記第１のずれ又は前記第２のずれを取得する領域を異なる領域に変更することを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
複数の画像処理装置の出力結果を保持する解析部と接続される外部入出力部を備え、
前記外部入出力部を介した前記解析部からの入力に応じて、前記第１のずれ又は前記第２のずれを取得する領域を変更することを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
複数の画像処理装置の出力結果を保持する解析部と接続される外部入出力部を備え、
前記解析部が所定のばらつきの閾値を超えた画像処理装置を検出した場合、
前記外部入出力部を介した前記解析部からの入力に応じて、システムを停止し、前記外部入出力部からシステムが停止した信号を出力して、ユーザに通知する、または、システム全体を停止する、または、代替センサに切り替えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
前記一対の画像の視差を算出するとともに、視差算出と同時に前記一対の画像の垂直ずれ量を出力する視差算出部を備え、
前記第１のずれと前記第２のずれを取得する際に、前記垂直ずれ量を参照することを特徴とする画像処理装置。