JP2021033605A - 画像処理装置、および、画像処理方法 - Google Patents

Abstract

【課題】移動体に搭載されるカメラの撮影画像から、所望の特徴点の抽出精度を高めつつ、なるべく多くの特徴点を抽出することができる技術を提供する。【解決手段】画像処理装置は、移動体に搭載されるカメラから撮影画像を取得する取得部と、前記撮影画像に設定される抽出領域から特徴点を抽出する抽出部と、前記カメラの撮影方向における前記移動体の外部環境に基づき前記抽出領域の設定および変更を行う設定部と、を備える。【選択図】図９

Description

本発明は、画像処理装置および画像処理方法に関する。

従来、形状や寸法が既知の図形を用いることなく車載カメラの現在の取り付け角度を求めることができる技術が知られる（例えば、特許文献１参照）。

特許文献１に開示される方法は、車両に取り付けられたカメラが車両の周囲を撮像するステップと、カメラにより撮像された画像内の路面画像にもとづいて動きベクトルを検出するステップと、検出された動きベクトルを、真上視点の動きベクトルとなるように車両の進行方向軸、路面法線方向軸ならびに進行方向軸および路面法線方向軸に直交する路面平行方向軸の３軸の各軸周りに独立に回転補正させるための式である真上視点の動きベクトルへの変換式を作成するステップと、真上視点の動きベクトルへの変換式からカメラの車両に対する取り付け角度を求めるステップと、を有する。

なお、動きベクトルを検出するステップは、カメラにより撮像された画像内の路面画像が特徴点を含む路面画像であるか否かを判定するステップと、路面画像が特徴点を含む路面画像であると判定されると、この特徴点を含む路面画像にもとづいて動きベクトルを検出するステップと、を有する。

特開２０１３−７４３２５号公報

ところで、カメラにより撮影された画像から特徴点を抽出する場合、画像の広い範囲から特徴点を抽出する構成とした方が、多くの特徴点を抽出することができるという利点がある。しかしながら、特徴点の抽出範囲を単に広く設定するだけであると、例えば、狙いの特徴点（路面上の特徴点）に絞って特徴点を抽出したい場合に、路面上に存在する他車両等の物体の存在により、処理負担が大きくなったり、特徴点の抽出精度が低下したりすることが懸念される。

また、特徴点の抽出範囲を単に広く設定すると、カメラを搭載する車両の速度が速くなった場合に、例えば撮影画像の車両の近い側において映像のブレの影響等により、特徴点の抽出精度が低下する可能性がある。また、レンズの外縁部ではレンズ歪が大きくなり易く、撮影画像の外縁側においては中央側よりも特徴点の抽出精度が低くなる傾向がある。このような傾向の影響も加わって、撮影画像の外縁側では、カメラを搭載する車両の速度が速くなった場合に特徴点の抽出精度が低下する虞がある。

本発明は、上記の課題に鑑み、移動体に搭載されるカメラの撮影画像から、所望の特徴点の抽出精度を高めつつ、なるべく多くの特徴点を抽出することができる技術を提供することを目的とする。

上記目的を達成するために本発明の画像処理装置は、移動体に搭載されるカメラから撮影画像を取得する取得部と、前記撮影画像に設定される抽出領域から特徴点を抽出する抽出部と、前記カメラの撮影方向における前記移動体の外部環境に基づき前記抽出領域の設定および変更を行う設定部と、を備える構成（第１の構成）になっている。

また、上記第１の構成の画像処理装置は、基準抽出領域をデータとして記憶する記憶部を更に備え、前記設定部は、前記基準抽出領域を変動させて前記抽出領域を設定する構成（第２の構成）であることが好ましい。

また、上記第２の構成の画像処理装置において、前記設定部は、前記カメラの撮影方向において前記移動体から離れて存在する物体の位置に基づき前記基準抽出領域を変動させて、前記抽出領域を設定する構成（第３の構成）であることが好ましい。

また、上記第３の構成の画像処理装置において、前記設定部は、前記物体が所定距離以内に存在する場合に、前記撮影画像において前記移動体に近づく方向に前記基準抽出領域の幅を狭くして前記抽出領域を設定するか、又は、前記物体が所定距離以内に存在しない場合に、前記撮影画像において前記移動体から離れる方向に前記基準抽出領域の幅を広くして前記抽出領域を設定する構成（第４の構成）であることが好ましい。

また、上記第１から第４のいずれかの構成の画像処理装置において、前記設定部は、前記移動体の速度に基づき前記抽出領域の設定および変更を行う構成（第５の構成）であることが好ましい。

また、上記第５の構成の画像処理装置は、前記記憶部を備え、前記設定部は、前記移動体の速度が第１速度以上になると、前記撮影画像において前記移動体から離れる方向に前記基準抽出領域の幅を狭くして前記抽出領域を設定するか、又は、前記移動体の速度が第１速度より小さくなると、前記撮影画像において前記移動体に近づく方向に前記基準抽出領域の幅を広くして前記抽出領域を設定する構成（第６の構成）であることが好ましい。

また、上記第５又は第６の構成の画像処理装置は、前記記憶部を備え、前記設定部は、前記移動体の速度が第２速度以上になると、前記撮影画像において前記移動体から離れる方向と交差する方向における前記基準抽出領域の幅を狭くして、前記抽出領域を設定するか、又は、前記移動体の速度が第２速度より小さくなると、前記撮影画像において前記移動体から離れる方向と交差する方向における前記基準抽出領域の幅を広くして、前記抽出領域を設定する構成（第７の構成）であってよい。

また、上記第１から第７のいずれかの構成の画像処理装置は、前記特徴点に基づき前記カメラの姿勢を推定する推定部を更に備える構成（第８の構成）であってよい。

また、上記目的を達成するために本発明の画像処理方法は、移動体に搭載されるカメラから撮影画像を取得する取得工程と、前記撮影画像に設定される抽出領域から特徴点を抽出する抽出工程と、前記カメラの撮影方向における前記移動体の外部環境に基づき前記抽出領域の設定および変更を行う設定工程と、を備える構成（第９の構成）になっている。

本発明によれば、移動体に搭載されるカメラの撮影画像から、所望の特徴点の抽出精度を高めつつ、なるべく多くの特徴点を抽出することができる。

画像処理装置の構成を説明するための図 画像処理装置において実行されるカメラの姿勢推定処理の一例を示すフローチャート 特徴点の抽出について説明するための図 オプティカルフローの導出について説明するための図 オプティカルフローから仮想的に形成される四角形を示す図 所定の平面との交線が互いに平行になる面の組を２組特定する手法を説明するための図 特定した面の組の一方に基づき、面同士の交線の方向を求める手法を説明するための図 特定した面の組の他方に基づき、面同士の交線の方向を求める手法を説明するための図 設定部による抽出領域の設定および変更について説明するための第１図 設定部による抽出領域の設定および変更について説明するための第２図 設定部による抽出領域の設定および変更について説明するための第３図 設定部による抽出領域の設定および変更について説明するための第４図 画像処理装置における抽出領域の設定処理の一例を示すフローチャート 図１３のフローチャートの捕捉説明用の図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、移動体として車両を例にとり説明するが、移動体は車両に限定されない。車両には、例えば自動車、電車、無人搬送車等の車輪のついた乗り物が広く含まれる。車両以外の移動体として、例えば船舶や航空機等が挙げられる。

また以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。

＜１．画像処理装置の構成概要＞
図１は、本発明の実施形態に係る画像処理装置１の構成を説明するための図である。図１には、画像処理装置１に情報を入力する撮影部２、舵角センサ３、および、速度センサ４も示されている。画像処理装置１は、撮影部２が搭載される車両ごとに備えられる。以下、画像処理装置１が備えられる車両のことを自車両と表現することがある。

撮影部２は、車両外部の状況を監視する目的で車両に設けられる。撮影部２は、少なくとも１つのカメラ２１を備える。カメラ２１は、いわゆる車載カメラであり、車両に固定配置される。カメラ２１は、画像処理装置１に有線又は無線により接続され、撮影画像を画像処理装置１に出力する。

なお、撮影部２が車両の周囲の状況を監視する目的で設けられる場合には、撮影部２は、好ましくは、フロントカメラと、バックカメラと、左サイドカメラと、右サイドカメラとの４つのカメラ２１を備える。フロントカメラは、車両の前方を撮影するカメラである。バックカメラは、車両の後方を撮影するカメラである。左サイドカメラは、車両の左方を撮影するカメラである。右サイドカメラは、車両の右方を撮影するカメラである。これら４つのカメラ２１は、例えば魚眼レンズを用いて構成され、水平方向の画角θは１８０度以上とされる。これにより、４つのカメラ２１によって、車両の水平方向における全周囲を撮影することができる。

舵角センサ３は、画像処理装置１および撮影部２が搭載される車両に備えられ、当該車両のステアリングホイール（ハンドル）の回転角を検出する。舵角センサ３の出力は、ＣＡＮ（Controller Area Network）バス等の通信バスＢ１を介して画像処理装置１に入力される。

速度センサ４は、画像処理装置１および撮影部２が搭載される車両に備えられ、当該車両の速度を検出する。速度センサ４の出力は、通信バスＢ１を介して画像処理装置１に入力される。

画像処理装置１は、本実施形態では、カメラ２１の姿勢を推定する姿勢推定装置である。カメラ２１は、例えば、経年劣化や外部からの衝撃等によって取付け姿勢が変化することがある。姿勢推定装置として機能する本実施形態の画像処理装置１は、カメラ２１の姿勢推定を行うことにより、カメラ２１の取付け姿勢の変化（異常）を検出することができる。

図１に示すように、画像処理装置１は、取得部１１と、制御部１２と、記憶部１３と、を備える。

取得部１１は、車両（移動体）に搭載されるカメラ２１から撮影画像を取得する。取得部１１は、カメラ２１からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。すなわち、取得部１１によって取得される撮影画像の集合体がカメラ２１で撮影された動画像である。そして、取得した撮影画像がアナログの場合には、取得部１１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。取得部１１は、取得した撮影画像、或いは、取得及び変換した撮影画像を制御部１２に出力する。取得部１１から出力される１つの撮影画像が１つのフレーム画像となる。

制御部１２は、例えばマイクロコンピュータであり、画像処理装置１の全体を統括的に制御する。制御部１２は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。記憶部１３は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１３は、ファームウェアとしてのプログラムや各種のデータを記憶する。

なお、記憶部１３は、基準抽出領域をデータ（基準抽出領域情報１３１）として記憶する。基準抽出領域は、後述する抽出領域の設定に利用される。基準抽出領域情報１３１は、不変でもよいが、変更可能な構成や適宜更新される構成等であってもよい。

図１に示す抽出部１２１、設定部１２２、および、推定部１２３は、制御部１２のＣＰＵが記憶部１３に記憶されるプログラムに従って演算処理を実行することにより実現される制御部１２の機能である。言い換えると、画像処理装置１は、抽出部１２１と、設定部１２２と、推定部１２３とを備える。

なお、制御部１２の抽出部１２１、設定部１２２、および、推定部１２３の少なくともいずれか一つは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、抽出部１２１、設定部１２２、および、推定部１２３は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてよい。また、取得部１１は、制御部１２のＣＰＵがプログラムに従って演算処理を行うことによって実現される構成でもよい。

抽出部１２１は、撮影画像から特徴点を抽出する。特徴点は、撮影画像中のエッジの交点など、撮影画像において際立って検出できる点である。特徴点は、例えば路面に描かれた白線のエッジ、路面上のひび、路面上のしみ、路面上の砂利などである。本実施形態では、好ましい形態として、コーナーらしさを示すコーナー度が高い特徴点を抽出する。コーナーとは２つのエッジが交わる部分である。コーナー度は、例えばＨａｒｒｉｓオペレータやＫＬＴ（Kanade-Lucas-Tomasi）トラッカーなどの公知の検出手法を用いて求めることができる。

詳細には、抽出部１２１は、撮影画像に設定される抽出領域から特徴点を抽出する。抽出領域は、撮影画像から所望の特徴点を効率良く抽出する等の目的で設定される。本実施形態において、所望の特徴点は、自車両が走行する路面上の特徴点である。このために、抽出領域は、撮影画像の路面が映る領域に設定される。

設定部１２２は、抽出領域の設定および変更を行う。すなわち、抽出領域は一定ではなく、変動する。設定部１２２は、例えば、画像毎に抽出領域の設定の変更を行うか否かを判断してもよい。また、設定部１２２は、所定のフレーム数ごとに抽出領域の設定の変更を行うか否かを判断してもよい。

詳細には、設定部１２２は、カメラ２１の撮影方向における自車両（移動体）の外部環境に基づき抽出領域の設定および変更を行う。例えば、カメラ２１が上述のフロントカメラである場合、設定部１２２は、自車両の前方の外部環境に基づき抽出領域の設定および変更を行う。このような構成とすれば、自車両の外部に存在する物体の位置に応じて抽出領域を変動させることができる。例えば、路面上に存在する物体が抽出領域に入らないように抽出領域を変動させることができる。路面上の物体が抽出領域に入らないようにできるために、路面上の特徴点を精度良く抽出することができる。また、路面上の物体が抽出領域に入らない範囲で抽出領域を広げることができ、なるべく多くの特徴点を抽出することが可能になる。

なお、本実施形態では、物体は立体物であり、路面上に描かれる標識等の路面と高さが同等とみなされるものは物体に含まない。物体は、例えば、他車両（自動車、オートバイ、自転車等を含む）、歩行者、動物、又は、壁等の静止物である。

設定部１２２は、記憶部１３にデータとして記憶される基準抽出領域を変動させて抽出領域を設定する。これによれば、既にあるデータを基準として抽出領域を決めることができるために、抽出領域の設定に要する負担を軽減することができる。設定部１２２は、詳細には、基準抽出領域を拡大したり、縮小したりさせて抽出領域を設定する。なお、設定部１２２は、基準抽出領域を利用することなく、抽出領域を求める構成であってもよい。設定部１２２による抽出領域の設定および変更の詳細について後述する。

推定部１２３は、特徴点に基づきカメラ２１の姿勢を推定する。設定部１２２の機能により、特徴点を精度良く抽出できるために、カメラ２１の姿勢を精度良く推定することができる。また、設定部１２２の機能により、特徴点の抽出数をなるべく多くすることができ、推定部１２３による姿勢推定の結果を増やすことができる。この結果、カメラ２１の姿勢推定の信頼性を向上することができる。

なお、推定部１２３は、例えば、特徴点の位置の時間変化に基づき自車両の移動量推定を行う構成であってもよい。推定部１２３により求められた移動量と、例えば速度センサ４等から得られる自車両の移動量とを比較して、カメラ２１の姿勢が推定される構成であってもよい。

＜２．姿勢推定処理＞
次に、画像処理装置１によって実行されるカメラ２１の姿勢推定処理について説明する。図２は、画像処理装置１において実行されるカメラ２１の姿勢推定処理の一例を示すフローチャートである。なお、撮影部２が複数のカメラ２１を備える場合には、画像処理装置１は、各カメラ２１に対して、図２に示す姿勢推定処理を実行する。ここでは、カメラ２１がフロントカメラである場合を例に、画像処理装置１によって実行されるカメラ２１の姿勢推定処理について説明する。

図２に示すように、まず、制御部１２は、カメラ２１を搭載する自車両が直進しているか否かを監視する（ステップＳ１）。自車両が直進しているか否かは、例えば、舵角センサ３から得られるステアリングホイールの回転角情報に基づいて判断することができる。例えば、ステアリングホイールの回転角がゼロのときに自車両が完全にまっすぐに進むとした場合に、回転角がゼロの場合だけでなく、回転角がプラス方向とマイナス方向の一定範囲内の値である場合を含めて、自車両が直進していると判断してよい。なお、直進には、前方方向の直進と、後退方向の直進との両方が含まれる。

制御部１２は、自車両の直進を検出するまで、ステップＳ１の監視を繰り返す。言い換えると、制御部１２は、自車両が直進しない限り、姿勢の推定処理を進めない。これによれば、直進移動中における特徴点の位置変化を用いて姿勢の推定が行われることになり、自車両の進行方向が曲がっている場合の情報を用いて姿勢の推定が行われないので、姿勢の推定処理が複雑になることを避けることができる。ただし、自車両の進行方向が曲がっているときの特徴点の位置変化を用いて、姿勢の推定処理が進められる構成としてもよい。

なお、自車両が直進走行しているか否かの判断に加えて、制御部１２は、自車両の速度が所定の速度範囲内であるか否かの判断を行う構成とすることが好ましい。自車両の速度が遅すぎると、特徴点の動きが少なくオプティカルフローの導出の精度が低下する可能性がある。一方、自車両の速度が速すぎると、特徴点の動きが速すぎて特徴点を追従できない可能性がある。自車両の速度が所定の速度範囲内である場合にのみ姿勢の推定処理を進めることにより、このような不具合の発生を抑制することができる。なお、所定の速度範囲は、例えば、時速１０ｋｍ以上、時速４０ｋｍ以下等であってよい。自車両の速度は、速度センサ４を利用して取得されてよい。

自車両が直進していると判断される場合（ステップＳ１でＹｅｓ）、制御部１２は、取得部１１を介してカメラ２１から撮影画像を取得する（ステップＳ２）。制御部１２は、例えば数フレームから数十フレームの撮影画像を取得する。

次に、抽出部１２１は、各フレーム画像に対して特徴点の抽出を行う（ステップＳ３）。抽出部１２１は、各フレーム画像に対して、設定部１２２によって設定された抽出領域から特徴点を抽出する。本実施形態では、一例として、ステップＳ２で取得した複数のフレーム画像に対して、同一位置に同一形状の抽出領域が設定される。抽出領域の設定の詳細については後述する。なお、フレーム画像毎に抽出領域が設定されてもよい。

図３は、抽出部１２１による特徴点の抽出について説明するための図である。図３は、カメラ２１で撮影された撮影画像Ｐを模式的に示している。撮影画像Ｐは、自車両のボディが映り込む領域ＢＯを含む。図３において、破線で囲われた領域５は、抽出領域である。抽出部１２１は、抽出領域５から特徴点を抽出する。抽出領域５の設定により、路面ＲＳから効率良く特徴点を抽出することができる。図３に示す例では、抽出領域５は矩形状であるが、抽出領域５の形状は、例えば円形状や楕円状等、矩形状以外であってもよい。図３に示す例では、路面ＲＳに描かれている制限速度を示す数字の部分にコーナー度が高い第１特徴点ＦＰ１及び第２特徴点ＦＰ２が存在する。このために、抽出部１２１は、路面ＲＳ上に存在する第１特徴点ＦＰ１及び第２特徴点ＦＰ２を抽出する。

なお、図３では、便宜的に２つの特徴点ＦＰ１、ＦＰ２のみが示されているが、コーナー度が所定の特徴点閾値を超える特徴点が存在すれば、これ以外にも特徴点は抽出される。逆に、コーナー度が所定の特徴点閾値を超える特徴点が存在しない場合には、特徴点は抽出されない。各フレーム画像において、特徴点が１つも抽出されないこともあり得る。

図３に戻って、抽出部１２１による特徴点の抽出処理が全てのフレーム画像に対して完了すると、推定部１２３は、オプティカルフローの導出を行う（ステップＳ４）。オプティカルフローは、異なる時刻で撮影された２つの撮影画像間における特徴点の動きを示す動きベクトルである。本例では、異なる時刻の間隔は、取得部１１のフレーム周期と同一である。ただし、これに限らず、異なる時刻の間隔は、例えば、取得部１１のフレーム周期の複数倍であってもよい。

図４は、推定部１２３によるオプティカルフローの導出について説明するための図である。図４は、図３と同様に便宜的に示された模式図である。図４は、図３に示す撮影画像Ｐ（便宜的に前フレームＰとする）の撮影後、１フレーム周期経過した後にカメラ２１で撮影された撮影画像Ｐ’（便宜的に現フレームＰ’とする）である。図３に示す撮影画像Ｐの撮影後、１フレーム周期の間、自車両は前方に直進している。図４に示す丸印ＦＰ１Ｐは、図３に示す前フレームＰの撮影時点における第１特徴点ＦＰ１の位置を示す。図４に示す丸印ＦＰ２Ｐは、図３に示す前フレームＰの撮影時点における第２特徴点ＦＰ２の位置を示す。

図４に示すように、自車両が前方に直進すると、自車両の前方に存在する第１特徴点ＦＰ１及び第２特徴点ＦＰ２は自車両に近づく。すなわち、第１特徴点ＦＰ１及び第２特徴点ＦＰ２は、現フレームＰ’と前フレームＰとで異なる位置に現れる。推定部１２３は、現フレームＰ’の第１特徴点ＦＰ１と前フレームＰの第１特徴点ＦＰ１とを、その近傍の画素値に基づいて対応付け、対応付けた第１特徴点ＦＰ１のそれぞれの位置に基づいて、第１特徴点ＦＰ１のオプティカルフローＯＦ１を導出する。同様に、推定部１２３は、現フレームＰ’の第２特徴点ＦＰ２と前フレームＰの第２特徴点ＦＰ２とを、その近傍の画素値に基づいて対応付け、対応付けた第２特徴点ＦＰ２のそれぞれの位置に基づいて、第２特徴点ＦＰ２のオプティカルフローＯＦ２を導出する。

なお、推定部１２３は、取得した複数のフレーム画像のそれぞれについて上述のようにしてオプティカルフローの導出を行う。また、各フレーム画像において２つより多くのオプティカルフローが得られる場合がある。このために、推定部１２３は、姿勢の推定に使うためのオプティカルフローの候補を複数得る場合がある。逆に、推定部１２３は、姿勢の推定に使うためのオプティカルフローの候補を得られない場合もある。

図２に戻って、推定部１２３は、オプティカルフローの導出を行うと、以後に行われる処理に使用するオプティカルフローを所定の選択条件にしたがって選択する（ステップＳ５）。所定の選択条件は、以後に行われる姿勢の推定に適した、２つのオプティカルフローで構成される組が選択されるように設定される。所定の選択条件を満たす組が複数存在する場合には、所定の選択条件を満たす全ての組が選択される。所定の選択条件を満たす組の数は、撮影画像から抽出される特徴点の数等によって変動する。なお、所定の選択条件を満たす組が存在しない場合には、以後の処理を行うことができない。このために、姿勢の推定処理は終了される。この段階で姿勢の推定処理が終了された場合には、姿勢の推定結果は得られないことになる。

ここで、ステップＳ５で選択された使用オプティカルフローの組に、図４に示す第１オプティカルフローＯＦ１と第２オプティカルフローＯＦ２との組が含まれるものして、ステップＳ６以降の処理について説明する。

推定部１２３は、第１特徴点ＦＰ１のオプティカルフローＯＦ１と第２特徴点ＦＰ２のオプティカルフローＯＦ２を用いた処理を進める。推定部１２３は、特徴点に対し、記憶部１３に記憶されているカメラ２１の内部パラメータを用いて座標変換を行う。座標変換では、カメラ２１の収差補正と、歪補正とが行われる。収差補正は、カメラ２１の光学系の収差による歪みを補正するために行われる。具体的には樽型歪みや糸巻歪みなど歪曲収差の補正である。歪み補正は、カメラ２１の光学系そのものの歪みを補正するために行われる。具体的には魚眼補正などである。座標変換により、特徴点の座標は、被写体が透視投影によって撮影された場合に二次元画像上で得られる座標に変換される。

特徴点の座標変換が行われると、推定部１２３は、図５に示すように、第１特徴点ＦＰ１のオプティカルフローＯＦ１の始点を頂点ＳＰ１、第１特徴点ＦＰ１のオプティカルフローＯＦ１の終点を頂点ＥＰ１、第２特徴点ＦＰ１のオプティカルフローＯＦ２の始点を頂点ＳＰ２、及び第２特徴点ＦＰ２のオプティカルフローＯＦ２の終点を頂点ＥＰとする四角形ＱＬを仮想的に形成する（ステップＳ６）。以降、説明のために四角形や、該四角形の辺などの幾何的要素を仮想的に形成して用いる。しかし、実際の処理では、特徴点の座標や直線の方向などのベクトル演算に基づき、同等の作用を持つ幾何的要素に基づかない処理としてもよい。

四角形ＱＬが仮想的に形成されると、推定部１２３は、四角形ＱＬと、記憶部１３に記憶されているカメラ２１の内部パラメータとを用いて、三次元空間におけるカメラ２１の投影面ＩＭＧ（図６参照）上に四角形ＱＬを移動させ、投影面ＩＭＧ上での四角形ＱＬ１を仮想的に生成する（ステップＳ７）。

なお説明のため、以下のように辺を定義する。四角形ＱＬ１の第１辺ＳＤ１は、四角形ＱＬにおいて、頂点ＳＰ１および頂点ＳＰ２を結んだ辺に対応する。つまり、前フレームＰにおける第１特徴点ＦＰ１と第２特徴点ＦＰ２を結んだ辺に相当する。同様に、四角形ＱＬ１の第２辺ＳＤ２は、四角形ＱＬにおいて、頂点ＳＰ２および頂点ＥＰ２を結んだ辺に対応する。つまり、第２特徴点ＦＰ２のオプティカルフローＯＦ２に相当する。同様に、四角形ＱＬ１の第３辺ＳＤ３は、四角形ＱＬにおいて、頂点ＥＰ１および頂点ＥＰ２を結んだ辺に対応する。つまり、現フレームＰ’における第１特徴点ＦＰ１と第２特徴点ＦＰ２とを結んだ辺に相当する。同様に、四角形ＱＬ１の第４辺ＳＤ４は、四角形ＱＬにおいて、頂点ＳＰ１および頂点ＥＰ１を結んだ辺に対応する。つまり、第１特徴点ＦＰ１のオプティカルフローＯＦ１に相当する。

また、以下のように面を定義する（図６参照）。四角形ＱＬ１の第１辺ＳＤ１とカメラ２１の光学中心ＯＣとが含まれる面を第１面Ｆ１とする。同様に、四角形ＱＬ１の第２辺ＳＤ２とカメラ２１の光学中心ＯＣとが含まれる面を第２面Ｆ２とする。同様に、四角形ＱＬ１の第３辺ＳＤ３とカメラ２１の光学中心ＯＣとが含まれる面を第３面Ｆ３とする。同様に、四角形ＱＬ１の第４辺ＳＤ４とカメラ２１の光学中心ＯＣとが含まれる面を第４面Ｆ４とする。

次に、推定部１２３は、所定の平面との交線が互いに平行になる面の組を２組特定する（ステップＳ８）。所定の平面とはあらかじめ平面の法線が分かっている面である。具体的には車両が移動を行っている平面であり、つまり路面である。所定の平面は、厳密な平面でなくてもよく、推定部１２３が所定の平面との交線が互いに平行になる面の組を２組特定する際に平面とみなすことができるものであればよい。

本実施形態では、画像処理装置１は、自車両が直進している場合に、異なる時刻に撮影された２つの画像から特徴点を抽出し、該特徴点のオプティカルフローを算出する。また、該特徴点は路面などの所定の平面上に位置している静止物から抽出される。したがって、算出されるオプティカルフローは実世界上では、自車両に対する静止物の相対的な位置変化を表す。つまり向きが逆となった自車両の移動ベクトルである。

四角形ＱＬ１の第２辺ＳＤ２と第４辺ＳＤ４とは、共に特徴点のオプティカルフローに対応するので、共に実世界上では自車両の移動ベクトルに相当する。したがって、路面上では互いに平行となると想定される。

また、四角形ＱＬ１の第１辺ＳＤ１と第３辺ＳＤ３とは、共に特徴点同士の位置関係なので、実世界上では自車両の移動に伴う静止物同士の位置関係に相当する。移動前の位置関係が第１辺ＳＤ１に相当し、移動後の位置関係が第３辺ＳＤ３に相当する。このとき静止物の位置は変わらないため、移動前後で位置関係は変わらない。したがって、路面上ではこれも互いに平行となると想定される。

したがって、推定部１２３は、路面との交線が平行な面として、第２面Ｆ２と第４面Ｆ４との組と、第１面Ｆ１と第３面Ｆ３との組と、の２つの組を特定する。つまり、推定部１２３は、オプティカルフローを含む面同士を１つの組とし、同時刻に撮影された特徴点を含む面同士を他の組として、計２つの組を特定する。

なお、図６において四角形ＱＬ２は、現フレームＰ’の撮影時点での第１特徴点ＦＰ１の３次元空間（実世界）上の位置、現フレームＰ’の撮影時点での第２特徴点ＦＰ２の３次元空間上の位置、前フレームＰの撮影時点での第１特徴点ＦＰ１の３次元空間上の位置、及び前フレームＰの撮影時点での第２特徴点ＦＰ２の３次元空間上の位置を頂点とする四角形である。第１面Ｆ１は、四角形ＱＬ２の第１辺ＳＤ１１を含む。同様に、第２面Ｆ２は四角形ＱＬ２の第２辺ＳＤ１２を含み、第３面Ｆ３は四角形ＱＬ２の第３辺ＳＤ１３を含み、第４面Ｆ４は四角形ＱＬ２の第４辺ＳＤ１４を含む。このとき、上記のように四角形ＱＬ２は路面上に形成される平行四辺形であると想定される。

次に、推定部１２３は、路面の法線を算出する（ステップＳ９）。まず、推定部１２３は、先に特定した面の組の一方である第１面Ｆ１と第３面Ｆ３とに基づき、面同士の交線の方向を求める。詳細には、第１面Ｆ１と第３面Ｆ３との交線ＣＬ１の向きを求める（図７参照）。交線ＣＬ１の方向ベクトルＶ１は、第１面Ｆ１の法線ベクトル及び第３面Ｆ３の法線ベクトルそれぞれと垂直なベクトルである。したがって、推定部１２３は、第１面Ｆ１の法線ベクトルと第３面Ｆ３の法線ベクトルとの外積により、交線ＣＬ１の方向ベクトルＶ１を求める。第１面Ｆ１と第３面Ｆ３は、路面との交線が平行となるため、方向ベクトルＶ１は路面と平行になる。

同様に、推定部１２３は、先に特定した面の組の他方である第２面Ｆ２と第４面Ｆ４との交線の方向を求める。詳細には第２面Ｆ２と第４面Ｆ４との交線ＣＬ２の向きを求める（図８参照）。交線ＣＬ２の方向ベクトルＶ２は、第２面Ｆ２の法線ベクトル及び第４面Ｆ４の法線ベクトルそれぞれと垂直なベクトルである。したがって、推定部１２３は、第２面Ｆ２の法線ベクトルと第４面Ｆ４の法線ベクトルとの外積により、交線ＣＬ２の方向ベクトルＶ２を求める。第２面Ｆ２と第４面Ｆ４も同様に、路面との交線が平行となるため、方向ベクトルＶ２は路面と平行になる。

推定部１２３は、方向ベクトルＶ１と方向ベクトルＶ２との外積により、四角形ＱＬ２の面の法線、すなわち路面の法線を算出する。推定部１２３が算出した路面の法線はカメラ２１のカメラ座標系で算出されるため、実際の路面の法線である垂直方向との違いから３次元空間の座標系を求め、路面に対するカメラ２１の姿勢を推定することができる。その推定結果から推定部１２３は自車両に対するカメラ２１の姿勢を推定する（ステップＳ１０）。なお、ステップＳ９の算出処理は、例えば公知のARToolkitを利用して実行することができる。

ステップＳ１０における姿勢推定が終了すると、推定部１２３は、ステップＳ５で選択した全てのオプティカルフローの組について、姿勢の推定が完了したか否かを確認する（ステップＳ１１）。全ての組に対して姿勢の推定が完了している場合には（ステップＳ１１でＹｅｓ）、図２に示すフローが終了する。一方、全ての組に対して姿勢の推定が完了していない場合には（ステップＳ１１でＮｏ）、ステップＳ６に戻ってステップＳ６以降の処理が繰り返される。

画像処理装置１は、自車両の移動を利用して、自律的に所定の平面との交線が互いに平行になる面の組を２組特定することで、特徴点の抽出誤差のみが推定精度に影響するカメラの姿勢推定を行うことができる。すなわち、画像処理装置１は、誤差要因が少ないカメラの姿勢推定を行うことができる。したがって、画像処理装置１は、カメラの姿勢を精度良く推定することができる。

なお、上記の説明ではカメラ２１の光学中心ＯＣと、四角形ＱＬ１の１つの辺を含む平面を特定するとしたがこの限りではない。当該平面の法線方向の特定をもって平面を特定するとしてもよい。例えば光学中心ＯＣから各頂点への方向ベクトルの外積により平面の法線方向を求め、該法線方向によって面を特定するとしてもよい。この場合、第１面Ｆ１の法線方向と第３面Ｆ３の法線方向とを１つの組とし、第２面Ｆ２の法線方向と第４面Ｆ４の法線方向とを他の組として２つの組を特定するとよい。

また、面は平行移動させてもよい。例えば第１面Ｆ１の代わりに、第１面Ｆ１を平行移動させた面を第３面Ｆ３と組としてもよい。平行移動しても所定の平面との交線の向きは変わらないからである。

また、画像処理装置１は、複数の推定結果に基づいて姿勢の推定を確定させることが好ましい。この場合、所定数以上の姿勢の推定結果が得られるまで図２の処理を繰り返す構成としてよい。所定数以上の姿勢の推定結果が蓄積された時点で、例えば、平均値、又は、ヒストグラムの中央値やピーク値を求めて、当該求めた結果を姿勢推定の確定結果としてよい。姿勢推定の確定結果は、画像処理装置１における更なる処理に利用されてもよいし、外部装置に出力されてもよい。

姿勢推定の確定結果に基づいて、例えば、カメラ２１の取付けのずれが生じた状態であるか否かが判定されてよい。カメラ２１の取付けのずれが生じた状態であると判定された場合、例えば、当該異常事態が自車両のユーザに報知される。これにより、自車両のユーザはディーラによるカメラの取付け調整を依頼する等の対策をとることが可能となる。

また、カメラ２１の姿勢推定の確定結果は、カメラ２１のパラメータの補正に利用されてよい。これにより、カメラ２１の取付けのずれが生じても、そのずれに応じたカメラのキャリブレーションが実行されることになり、カメラ２１の取付けのずれが撮影画像に及ぼす悪影響を抑制することができる。また、姿勢の推定結果は、複数の車両とネットワークにより通信可能に設けられるセンターに撮影画像を送信する場合に、撮影画像とセットにしてセンターに送信されてもよい。これにより、センターでの撮影情報の取り扱いを適切に行うことができる。

＜３．抽出領域の設定および変更＞
図９は、設定部１２２による抽出領域５の設定および変更について説明するための第１図である。 図１０は、設定部１２２による抽出領域５の設定および変更について説明するための第２図である。 図１１は、設定部１２２による抽出領域５の設定および変更について説明するための第３図である。 図１２は、設定部１２２による抽出領域５の設定および変更について説明するための第４図である。

図９〜図１２において、符号２００は自車両であり、符号３００は他車両である。図９〜図１２においては、自車両２００や他車両３００との関係を理解し易くするために、撮影画像に設定される抽出領域５を、実空間上に仮想的に示している。図９〜図１２において、カメラ２１はフロントカメラであり、カメラ２１の撮影方向は前方である。図９〜図１２においては、一例として矩形状に設定される抽出領域５に対して、実空間と同様の方向を便宜的に与えて説明を行う。図９〜図１２において、符号５ｒは基準抽出領域である。

設定部１２２は、カメラ２１の撮影方向において自車両（移動体）２００から離れて存在する物体の位置に基づき基準抽出領域５ｒを変動させて、抽出領域５を設定する。これによれば、基準抽出領域５ｒの利用により処理負担を低減しつつ、路面ＲＳ上に存在する物体が抽出領域５に入らないように抽出領域５の設定を行うことができる。抽出領域５に路面ＲＳ上に存在する物体が入らないようにできるために、オプティカルフローを適切に導出することができる。

なお、物体の位置は、例えば、カメラ２１から入力された撮影画像から求められてよい。また、物体の位置は、カメラ２１以外の車載センサを利用して求められてもよい。このようなセンサとして、例えば、超音波センサ、レーダ、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、カメラ２１とは別に設けられるカメラ等が挙げられる。

図９に示す例では、物体は他車両３００である。すなわち、設定部１２２は、前方に自車両２００から離れて存在する他車両３００の位置に基づき基準抽出領域５ｒを変動させて、抽出領域５を設定する。詳細には、設定部１２２は、前方に存在する他車両３００が自車両２００から所定距離Ｄ以内に存在しない場合は、図９の左側に示すように、基準抽出領域５ｒを抽出領域５とする。なお、所定距離Ｄは、自車両２００ではなく、自車両に固定されるカメラ２１からの距離であってもよい。所定距離Ｄは、基準抽出領域５ｒの前方側の辺ＦＲＳと同じ、或いは、前方側の辺ＦＲＳより前方に設定される。図９に示す例では、所定距離Ｄは、基準抽出領域５ｒの前方側の辺ＦＲＳと同じである。なお、所定距離Ｄは、実験等により適宜決められてよい。

一方、設定部１２２は、他車両３００（物体）が所定距離Ｄ以内に存在する場合、撮影画像において自車両（移動体）２００に近づく方向に基準抽出領域５ｒの幅を狭くして抽出領域５を設定する。これによれば、基準抽出領域５ｒを予め広い範囲としておくことにより、他車両３００が自車両２００の近くに存在しない場合には、多くの特徴点を抽出することが可能になる。そして、他車両３００が自車両２００に近づいた場合には、抽出領域５を基準抽出領域５ｒよりも狭くして、抽出領域５外に他車両３００を位置させることができる。図９の右側に示す例では、他車両３００の一部が所定距離Ｄ以内に存在するために、設定部１２２は、基準抽出領域５ｒの前方側の辺ＦＲＳを自車両２００側に近づけて基準抽出領域５ｒを狭くした領域を、抽出領域５とする。

なお、設定部１２２は、抽出領域５を基準抽出領域５ｒよりも狭い領域とする場合に、予め準備された１つの領域に変更する構成であってよい。また、設定部１２２は、抽出領域５を基準抽出領域５ｒよりも狭い領域とする場合に、段階的に準備された複数の領域の中からいずれか１つの領域を選択する構成としてもよい。この場合、設定部１２２は、自車両２００から他車両３００までの距離に応じていずれか１つの領域を選択する構成としてよい。また、設定部１２２は、抽出領域５を基準抽出領域５ｒよりも狭い領域とする場合に、自車両２００から他車両３００までの距離に応じて段階的でなく連続的に狭くしてもよい。

また、設定部１２２は、他車両３００が所定距離Ｄ以内に存在する場合に、基準抽出領域５ｒを抽出領域５としてもよい。そして、設定部１２２は、他車両３００が所定距離Ｄ以内に存在しない場合に、撮影画像において自車両２００から離れる方向に基準抽出領域５ｒの幅を広くして抽出領域５を設定する構成としてもよい。この変形例を図９に示す例を利用して説明すると、図９の右側の抽出領域５が基準抽出領域となり、他車両３００が自車両２００から離れて存在する場合に、図９の左側に示すように基準抽出領域が拡大された領域が抽出領域とされる。他車両３００が自車両２００から離れた位置にいる場合に、抽出領域５を基準抽出領域５ｒよりも広くして多くの特徴点を抽出することが可能になる。

また、設定部１２２は、自車両２００に対する他車両３００の速度（相対速度）を加味して抽出領域５を設定してよい。自車両２００の速度は、例えば速度センサ４により得られる。他車両３００の速度は、例えば自車両２００に搭載されるレーダや、車車間通信を利用して得られてよい。ここで、他車両３００が所定距離Ｄ以内に存在して、基準抽出領域５ｒを狭くして抽出領域５を設定する必要がある場合を考える。この際に、設定部１２２は、相対速度から他車両３００が自車両２００に接近していると判断される場合には、基準抽出領域５ｒを狭くする量を大き目としてよい。これによれば、短時間のうちに連続して取得された複数のフレーム画像に同じ抽出領域５を設定する場合において、抽出領域５内に他車両が入り混む可能性を低減することができる。逆に、設定部１２２は、相対速度から他車両３００が自車両２００から離れていっていると判断される場合には、基準抽出領域５ｒを狭くする量を小さ目としてよい。これにより、抽出領域５をなるべく広くすることができる。

設定部１２２は、自車両２００（移動体）の速度に基づき抽出領域５の設定および変更を行う。これによれば、自車両２００の速度が速くなった場合においても、特徴点の抽出精度が低下することを抑制することができる。なお、自車両の速度は、例えば速度センサ４により得られる。また、設定部１２２は、自車両２００の速度に基づき抽出領域５の設定および変更を行わなくてもよい。

図１０に示す例では、設定部１２２は、自車両２００の速度が第１速度より小さい場合、図１０の左側に示すように、基準抽出領域５ｒを抽出領域５とする。第１速度は、例えば時速３０ｋｍである。そして、設定部１２２は、自車両２００（移動体）の速度が第１速度以上になると、撮影画像において自車両２００から離れる方向に基準抽出領域５ｒの幅を狭くして抽出領域５を設定する（図１０の右側参照）。これによると、撮影画像において速度変化の影響が大きい自車両２００の近傍について、自車両２００の速度が遅い場合には抽出領域５に入れておき、自車両２００の速度が速くなった場合に抽出領域５から除外するといったことができる。このために、特徴点の抽出精度を向上することができる。また、自車両２００の速度が遅い場合には、特徴点の抽出領域５を広くして多くの特徴点を抽出することが可能になる。図１０の右側に示す例では、自車両２００の速度が第１速度以上であるために、設定部１２２は、基準抽出領域５ｒの後方側の辺ＢＡＳを自車両２００から離して基準抽出領域５ｒを狭くした領域を、抽出領域５とする。

なお、設定部１２２は、抽出領域５を基準抽出領域５ｒよりも狭い領域とする場合に、予め準備された１つの領域に変更する構成であってよい。また、設定部１２２は、抽出領域５を基準抽出領域５ｒよりも狭い領域とする場合に、段階的に準備された複数の領域の中からいずれか１つの領域を選択する構成としてもよい。この場合、設定部１２２は、自車両２００の速度に応じていずれか１つの領域を選択する構成としてよい。また、設定部１２２は、抽出領域５を基準抽出領域５ｒよりも狭い領域とする場合に、自車両２００の速度に応じて段階的でなく連続的に狭くしてよい。

また、設定部１２２は、自車両２００の速度が第１速度以上である場合に、基準抽出領域５ｒを抽出領域５としてもよい。そして、設定部１２２は、自車両２００の速度が第１速度より小さくなると、撮影画像において自車両２００に近づく方向に基準抽出領域５ｒの幅を広くして抽出領域５を設定する構成としてもよい。この変形例を図１０に示す例を利用して説明すると、図１０の右側の抽出領域５が基準抽出領域となり、自車両２００の速度が第１速度より小さくなると、図１０の左側に示すように基準抽出領域が拡大された領域が抽出領域とされる。この様な構成とした場合も、撮影画像において速度変化の影響が大きい自車両２００の近傍について、自車両２００の速度が遅い場合には抽出領域５に入れ、自車両２００の速度が速い場合に抽出領域５から除外するといったことができる。

図１１に示す例では、設定部１２２は、自車両２００の速度が第２速度より小さい場合、図１１の左側に示すように、基準抽出領域５ｒを抽出領域５とする。第２速度は、例えば時速３０ｋｍである。そして、設定部１２２は、自車両２００（移動体）の速度が第２速度以上になると、撮影画像において自車両２００（移動体）から離れる方向と交差する方向における基準抽出領域５ｒの幅を狭くして、抽出領域５を設定する（図１１の右側参照）。なお、移動体から離れる方向と交差する方向は、一例として、移動体から離れる方向と直交する方向であってよい。これによると、自車両２００の速度が速くなった場合にレンズ歪の影響で抽出精度が低下し易い撮影画像の外縁部の特徴点を、自車両２００の速度が速くなった場合に抽出対象から除外することができる。このために、特徴点の抽出精度を向上することができる。また、自車両２００の速度が遅い場合には、特徴点の抽出範囲を広げて多くの特徴点を抽出することができる。図１１の右側に示す例では、自車両２００の速度が第２速度以上であるために、設定部１２２は、基準抽出領域５ｒの左右の辺ＬＥＳ、ＲＩＳを中心側に移動して基準抽出領域５ｒを狭くした領域を、抽出領域５とする。

なお、設定部１２２は、抽出領域５を基準抽出領域５ｒよりも狭い領域とする場合に、予め準備された１つの領域に変更する構成であってよい。また、設定部１２２は、抽出領域５を基準抽出領域５ｒよりも狭い領域とする場合に、段階的に準備された複数の領域の中からいずれか１つの領域を選択する構成としてもよい。この場合、設定部１２２は、自車両２００の速度に応じていずれか１つの領域を選択する構成としてよい。また、設定部１２２は、抽出領域５を基準抽出領域５ｒよりも狭い領域とする場合に、自車両２００の速度に応じて段階的でなく連続的に狭くしてよい。

また、設定部１２２は、自車両２００の速度が第２速度以上である場合に、基準抽出領域５ｒを抽出領域５としてもよい。そして、設定部１２２は、自車両２００の速度が第２速度より小さくなると、撮影画像において自車両２００から離れる方向と交差する方向における基準抽出領域５ｒの幅を広くして、抽出領域５を設定する構成としてもよい。この変形例を図１１に示す例を利用して説明すると、図１１の右側の抽出領域５が基準抽出領域となり、自車両２００の速度が第２速度より小さくなると、図１１の左側に示すように基準抽出領域が拡大された領域が抽出領域とされる。この様な構成とした場合も、自車両２００の速度が速くなった場合にレンズ歪の影響で抽出精度が低下し易い撮影画像の外縁部の特徴点を、自車両２００の速度が速い場合に抽出対象から除外することができる。このために、特徴点の抽出精度を向上することができる。また、自車両２００の速度が遅い場合には、特徴点の抽出範囲を広げて多くの特徴点を抽出することができる。

本実施形態では、設定部１２２は、自車両２００の速度が第１速度以上になると、基準抽出領域５ｒの後方側の辺ＢＡＳを自車両２００から離して基準抽出領域５ｒを狭くした領域を、抽出領域５とする。また、設定部１２２は、自車両２００の速度が第２速度以上になると、基準抽出領域５ｒの左右の辺ＬＥＳ、ＲＩＳを中心側に移動して基準抽出領域５ｒを狭くした領域を、抽出領域５とする。この場合において、第１速度と第２速度は異なってもよいが、本実施形態では同じである。

このために、図１２に示すように、自車両２００の速度が第１速度（＝第２速度）以上になると、基準抽出領域５ｒの後方側の辺ＢＡＳが自車両２００から離れる方向に動かされるとともに左右の辺ＬＥＳ、ＲＩＳが中心側に移動されて、基準抽出領域５ｒより狭い抽出領域５が設定される。

なお、設定部１２２は、図１０に示す抽出領域５の設定変更と、図１１に示す抽出領域５の設定変更とのうち、いずれか一方のみを行う構成としてもよい。

図１３は、本実施形態の画像処理装置１における抽出領域５の設定処理の一例を示すフローチャートである。図１３は、カメラ２１がフロントカメラである場合を想定したフローチャートである。抽出領域５の設定は、例えば、図２のステップＳ２における撮影画像の取得処理が行われた後に実行される。

ステップＳ２１では、設定部１２２は、前方車両が所定距離Ｄ以内に存在するか否かを確認する。設定部１２２は、前方車両が所定距離Ｄ以内に存在する場合（ステップＳ２１でＹｅｓ）、次のステップＳ２２に処理を進める。一方、設定部１２２は、前方車両が所定距離Ｄ以内に存在しない場合（ステップＳ２１でＮｏ）、ステップＳ２３に処理を進める。

ステップＳ２２では、設定部１２２は、第１仮設定として、基準抽出領域５ｒを自車両２００に近づく方向に向けて狭くした第１領域５ａ（図１４参照）を設定する。設定部１２２は、第１仮設定として第１領域５ａを設定すると、ステップＳ２４に処理を進める。なお、図１４は、図１３のフローチャートの捕捉説明用の図である。図１４において、各領域５ａ、５ｂ、５ｃ、５ｄ、５ｅ、５ｒ間で、僅かにずれて示された辺は、本来は互いに重なった辺である。区別し易いように、便宜上ずらしたものである。

ステップＳ２３では、設定部１２２は、第１仮設定として、基準抽出領域５ｒ（図１４参照）を設定する。設定部１２２は、第１仮設定として基準抽出領域５ｒを設定すると、ステップＳ２４に処理を進める。

ステップＳ２４では、設定部１２２は、自車両２００の速度が所定速度以上であるか否かを確認する。所定速度は、上述の第１速度および第２速度と同じ速度であり、例えば時速３０ｋｍである。設定部１２２は、自車両２００の速度が所定速度以上である場合（ステップＳ２４でＹｅｓ）、次のステップＳ２５に処理を進める。一方、設定部１２２は、自車両２００の速度が所定速度より小さい場合（ステップＳ２４でＹｅｓ）、ステップＳ２７に処理を進める。

ステップＳ２５では、設定部１２２は、第２仮設定として、第１仮設定された領域を自車両２００から離れる方向に向けて狭くした領域に設定する。第１仮設定で第１領域５ａに設定されている場合には、第１領域５ａを自車両２００から離れる方向に向けて狭くした第２領域５ｂが第２仮設定の領域になる。第１仮設定で基準抽出領域５ｒに設定されている場合には、基準抽出領域５ｒを自車両２００から離れる方向に向けて狭くした第３領域５ｃが第２仮設定の領域になる。設定部１２２は、第２仮設定を行うと、次のステップＳ２６に処理を進める。

ステップＳ２６では、設定部１２２は、自車両２００から離れる方向と交差する方向における第２仮設定された領域の幅を狭くして、最終的な抽出領域５を設定する。第２仮設定で第２領域５ｂに設定されている場合には、第２領域５ｂの撮影画像上の左右方向の幅を狭くした第４領域５ｄが抽出領域５になる。第２仮設定で第３領域５ｃに設定されている場合には、第３領域５ｃの画像上の左右方向の幅を狭くした第５領域５ｅが抽出領域５になる。ステップＳ２６が完了すると、抽出領域５の設定処理は完了する。

ステップＳ２７では、設定部１２２は、第１仮設定された領域を抽出領域５に設定する。第１仮設定で第１領域５ａに設定されている場合には、第１領域５ａが抽出領域５になる。第１仮設定で基準抽出領域５ｒに設定されている場合には、基準抽出領域５ｒが抽出領域５になる。ステップＳ２７が完了すると、抽出領域５の設定処理は完了する。

なお、図１３に示す例では、前方車両が所定距離Ｄ以内か否かを確認した後に、自車両２００の速度が所定速度以上であるか否かを確認する構成となっているが、この順番は逆であってもよい。また、図１３に示すステップＳ２５とステップＳ２６との処理は順番が入れ替わってもよい。すなわち、第１仮設定領域の撮影画像上の左右方向の幅を狭くして第２仮設定領域を得て、第２仮設定領域を自車両２００から離れる方向に狭くした領域を抽出領域５としてよい。

なお、本実施形態の構成においては、自車両２００の前方の所定距離Ｄ以内に物体（他車両３００等）が存在したり、自車両２００の速度が所定速度以上であったりした場合、基準抽出領域５ｒに比べて抽出領域５が狭くなる。この場合、単一の撮影画像から第１特徴点ＦＰ１及び第２特徴点ＦＰ２のいずれか一方のみしか抽出できない場合が起こる可能性が、基準抽出領域５ｒを用いる場合に比べて高くなる可能性がある。このような傾向は、自車両２００の前方の所定距離Ｄ以内に物体が存在し、且つ、自車両２００の速度が所定速度以上である場合に特に発生し易くなる。

このような点を考慮して、推定部１２３は、第１時刻と第１時刻より後の第２時刻で撮影された２つの撮影画像から得られる第１特徴点の位置変化（第１オプティカルフローＯＦ１）および第２特徴点の位置変化（第２オプティカルフローＯＦ２）に基づき所定の平面との交線が互いに平行となる面の組を２組特定する構成（上述の構成）の他に、次のような構成を適宜利用してもよい。すなわち、推定部１２３は、第１時刻と第１時刻より後の第２時刻で撮影された２つの撮影画像から抽出された特徴点から、互いに対応する第１特徴点を選定し、当該第１特徴点の位置変化を算出する。また、推定部１２３は、第１時刻より後の第３時刻と第３時刻より後の第４時刻で撮影された２つの撮影画像から抽出された特徴点から、第１特徴点とは異なり、互いに対応する第２特徴点を選定し、当該第２特徴点の位置変化を算出する。そして、推定部１２３は、第１特徴点の位置変化及び第２特徴点の位置変化に基づき、所定の平面との交線が互いに平行となる面の組を２組特定する。このような構成を適宜利用することにより、抽出領域５を小さくした場合でも、カメラ２１の姿勢の推定結果が得られる可能性が高くなる。

＜４．留意事項＞
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。

本発明は、自動駐車等の移動体の運転支援を行うカメラの姿勢推定を行うために利用することができる。また、本発明は、ドライブレコーダ等の運転情報を記録するカメラの姿勢推定を行うために利用することができる。また、本発明は、カメラの姿勢の推定情報を利用して撮影画像を補正する補正装置等に利用することができる。また、本発明は、複数の移動体とネットワークにより通信可能に設けられるセンターと連携して動作する装置等に利用することができる。当該装置は、例えば、センターに撮影画像を送信する場合に、カメラの姿勢の推定情報を撮影画像とセットにして送信する構成であってよい。そして、センターでは、カメラの姿勢の推定情報を用いて、各種画像処理（カメラの姿勢も考慮した画像の視点・視方向を変更する処理、例えば車両の車体前方方向の画像に視点・視方向変換した画像を生成する等）、画像を用いた計測処理におけるカメラの姿勢に対する補正処理、カメラ姿勢の経年変化を統計処理（多くの車両のデータ）、等を行いユーザへの有用な提供データを生成する等する。

１ 画像処理装置
５ 抽出領域
５ｒ 基準抽出領域
１３ 記憶部
２１ カメラ
１１ 取得部
１２１ 抽出部
１２２ 設定部
１２３ 推定部
２００ 自車両（移動体）
３００ 他車両（物体）
Ｄ 所定距離

Claims (9)

1. 移動体に搭載されるカメラから撮影画像を取得する取得部と、
   前記撮影画像に設定される抽出領域から特徴点を抽出する抽出部と、
   前記カメラの撮影方向における前記移動体の外部環境に基づき前記抽出領域の設定および変更を行う設定部と、
   を備える、画像処理装置。
2. 基準抽出領域をデータとして記憶する記憶部を更に備え、
   前記設定部は、前記基準抽出領域を変動させて前記抽出領域を設定する、請求項１に記載の画像処理装置。
3. 前記設定部は、前記カメラの撮影方向において前記移動体から離れて存在する物体の位置に基づき前記基準抽出領域を変動させて、前記抽出領域を設定する、請求項２に記載の画像処理装置。
4. 前記設定部は、
   前記物体が所定距離以内に存在する場合に、前記撮影画像において前記移動体に近づく方向に前記基準抽出領域の幅を狭くして前記抽出領域を設定するか、又は、
   前記物体が所定距離以内に存在しない場合に、前記撮影画像において前記移動体から離れる方向に前記基準抽出領域の幅を広くして前記抽出領域を設定する、請求項３に記載の画像処理装置。
5. 前記設定部は、前記移動体の速度に基づき前記抽出領域の設定および変更を行う、請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記記憶部を備え、
   前記設定部は、
   前記移動体の速度が第１速度以上になると、前記撮影画像において前記移動体から離れる方向に前記基準抽出領域の幅を狭くして前記抽出領域を設定するか、又は、
   前記移動体の速度が第１速度より小さくなると、前記撮影画像において前記移動体に近づく方向に前記基準抽出領域の幅を広くして前記抽出領域を設定する、請求項５に記載の画像処理装置。
7. 前記記憶部を備え、
   前記設定部は、
   前記移動体の速度が第２速度以上になると、前記撮影画像において前記移動体から離れる方向と交差する方向における前記基準抽出領域の幅を狭くして、前記抽出領域を設定するか、又は、
   前記移動体の速度が第２速度より小さくなると、前記撮影画像において前記移動体から離れる方向と交差する方向における前記基準抽出領域の幅を広くして、前記抽出領域を設定する、請求項５又は６に記載の画像処理装置。
8. 前記特徴点に基づき前記カメラの姿勢を推定する推定部を更に備える、請求項１から７のいずれか１項に記載の画像処理装置。
9. 移動体に搭載されるカメラから撮影画像を取得する取得工程と、
   前記撮影画像に設定される抽出領域から特徴点を抽出する抽出工程と、
   前記カメラの撮影方向における前記移動体の外部環境に基づき前記抽出領域の設定および変更を行う設定工程と、
   を備える、画像処理方法。

Images