JP2021086258A - 姿勢推定装置、および、姿勢推定方法 - Google Patents

Abstract

【課題】移動体に搭載されるカメラの姿勢推定の精度を向上することができる技術を提供する。【解決手段】姿勢推定装置１は、移動体に搭載されるカメラで撮影された撮影画像から特徴点を抽出する抽出部１２１と、異なる時刻で撮影された２つの撮影画像間における特徴点の移動量を算出する算出部１２２と、移動量が所定値以下となる特徴点を除外して、残りの特徴点の動きに基づきカメラの姿勢の推定を行う推定部１２３と、を備える。【選択図】図１

Description

本発明は、姿勢推定装置および姿勢推定方法に関する。

従来、形状や寸法が既知の図形を用いることなく車載カメラの現在の取り付け角度を求めることができる技術が知られる（例えば、特許文献１参照）。

特許文献１に開示される方法は、車両に取り付けられたカメラが車両の周囲を撮像するステップと、カメラにより撮像された画像内の路面画像にもとづいて動きベクトルを検出するステップと、検出された動きベクトルを、真上視点の動きベクトルとなるように車両の進行方向軸、路面法線方向軸ならびに進行方向軸および路面法線方向軸に直交する路面平行方向軸の３軸の各軸周りに独立に回転補正させるための式である真上視点の動きベクトルへの変換式を作成するステップと、真上視点の動きベクトルへの変換式からカメラの車両に対する取り付け角度を求めるステップと、を有する。

なお、動きベクトルを検出するステップは、カメラにより撮像された画像内の路面画像が特徴点を含む路面画像であるか否かを判定するステップと、路面画像が特徴点を含む路面画像であると判定されると、この特徴点を含む路面画像にもとづいて動きベクトルを検出するステップと、を有する。

特開２０１３−７４３２５号公報

ところで、例えば、撮影画像において路面上の白線のエッジと自車両（カメラを搭載する車両）のボディのエッジとが交差する箇所が存在する場合、当該交差箇所から特徴点が抽出されることがある。また、例えば、撮影画像において路面上の白線のエッジと自車両の影のエッジとが交差する箇所が存在する場合、当該交差箇所から特徴点が抽出されることがある。これらの特徴点は、車両が動いているにもかかわらず、時間的に連続して取得されるフレーム画像間での移動量がゼロ又はゼロに近い値となる。すなわち、これらの特徴点の動きを用いると、カメラの取り付け角度の推定を誤る可能性がある。

また、これらの特徴点は、フレーム画像間における特徴点の追跡の際に誤った追跡を引き起こす原因となり得る。誤った追跡がなされた結果、例えば、特徴点の移動量が本来の大きさより極端に小さくなることがある。

また、車両が極端に低速（静止に近い速度）で移動している際に撮影された撮影画像を用いて特徴点の追跡を行った場合、特徴点の抽出精度のばらつきの影響が大きくなり、特徴点の動きを利用したカメラの取り付け角度の推定を誤る可能性があった。

本発明は、上記の課題に鑑み、移動体に搭載されるカメラの姿勢推定の精度を向上することができる技術を提供することを目的とする。

上記目的を達成するために本発明の姿勢推定装置は、移動体に搭載されるカメラで撮影された撮影画像から特徴点を抽出する抽出部と、異なる時刻で撮影された２つの前記撮影画像間における前記特徴点の移動量を算出する算出部と、前記移動量が所定値以下となる前記特徴点を除外して、残りの前記特徴点の動きに基づき前記カメラの姿勢の推定を行う推定部と、を備える構成（第１の構成）になっている。

また、上記第１の構成の姿勢推定装置において、前記抽出部は、前記撮影画像に複数設定される抽出領域から前記特徴点を抽出し、前記推定部は、前記移動量が前記所定値以下となる前記特徴点が抽出された前記抽出領域を除外対象領域とし、前記除外対象領域とされなかった前記抽出領域から抽出される前記特徴点の動きに基づき前記カメラの姿勢の推定を行う構成（第２の構成）であってよい。

また、上記第２の構成の姿勢推定装置において、前記推定部は、前記抽出領域の前記撮影画像上における設定位置に応じて、前記所定値を変動させる構成（第３の構成）であってよい。

また、上記第１から第３のいずれかの構成の姿勢推定装置において、前記推定部は、前記移動体の移動速度に応じて、前記所定値を変動させる構成（第４の構成）であってよい。

また、上記第２又は第３の構成の姿勢推定装置において、前記除外対象領域と第１の所定画像数連続して判断された前記抽出領域は、前記除外対象領域でないと第２の所定画像数連続して判断されるまで、前記除外対象領域として扱われる構成（第５の構成）であってよい。

また、上記目的を達成するために本発明の姿勢推定方法は、移動体に搭載されるカメラで撮影された撮影画像から特徴点を抽出する抽出工程と、異なる時刻で撮影された２つの前記撮影画像間における前記特徴点の移動量を算出する算出工程と、前記移動量が所定値以下となる前記特徴点を除外して、残りの前記特徴点の動きに基づき前記カメラの姿勢の推定を行う推定工程と、を備える構成（第６の構成）になっている。

本発明によれば、移動体に搭載されるカメラの姿勢推定の精度を向上することができる。

姿勢推定装置の構成を説明するための図 姿勢推定装置において実行されるカメラの姿勢推定処理の一例を示すフローチャート 特徴点の抽出について説明するための図 オプティカルフローの算出について説明するための図 オプティカルフローから仮想的に形成される四角形を示す図 所定の平面との交線が互いに平行になる面の組を２組特定する手法を説明するための図 特定した面の組の一方に基づき、面同士の交線の方向を求める手法を説明するための図 特定した面の組の他方に基づき、面同士の交線の方向を求める手法を説明するための図 オプティカルフローの選択処理の一例を示すフローチャート 図９に示すオプティカルフローの選択処理の効果について説明するための図 第１変形例の特徴点の抽出について説明するための図 第１変形例におけるオプティカルフローの選択処理を示すフローチャート 第２変形例におけるオプティカルフローの選択処理を示すフローチャート

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、移動体として車両を例にとり説明するが、移動体は車両に限定されない。車両には、例えば自動車、電車、二輪車、無人搬送車等の車輪のついた乗り物が広く含まれる。車両以外の移動体として、例えば船舶や航空機等が挙げられる。

また以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。

＜１．姿勢推定装置の概要＞
図１は、本発明の実施形態に係る姿勢推定装置１の構成を説明するための図である。図１には、姿勢推定装置１に情報を入力する撮影部２、舵角センサ３、および、速度センサ４も示されている。本実施形態では、姿勢推定装置１は、撮影部２が搭載される車両ごとに備えられる。以下、姿勢推定装置１が備えられる車両のことを自車両と表現することがある。なお、姿勢推定装置１は、車載装置であっても、車両から持ち出し可能な携帯型の装置であってもよい。また、姿勢推定装置１は、必ずしも車両等の移動体に搭載されなくてよい。

撮影部２は、車両外部の状況を監視する目的で車両に設けられる。撮影部２は、少なくとも１つのカメラ２１を備える。カメラ２１は、いわゆる車載カメラであり、車両に固定配置される。カメラ２１は、姿勢推定装置１に有線又は無線により接続され、撮影画像を姿勢推定装置１に出力する。

なお、撮影部２が車両の周囲の状況を監視する目的で設けられる場合には、撮影部２は、好ましくは、フロントカメラと、バックカメラと、左サイドカメラと、右サイドカメラとの４つのカメラ２１を備える。フロントカメラは、車両の前方を撮影するカメラである。バックカメラは、車両の後方を撮影するカメラである。左サイドカメラは、車両の左方を撮影するカメラである。右サイドカメラは、車両の右方を撮影するカメラである。これら４つのカメラ２１は、例えば魚眼レンズを用いて構成され、水平方向の画角θは１８０度以上とされる。これにより、４つのカメラ２１によって、車両の水平方向における全周囲を撮影することができる。

舵角センサ３は、姿勢推定装置１および撮影部２が搭載される車両に備えられ、当該車両のステアリングホイール（ハンドル）の回転角を検出する。舵角センサ３の出力は、ＣＡＮ（Controller Area Network）バス等の通信バスＢ１を介して姿勢推定装置１に入力される。

速度センサ４は、姿勢推定装置１および撮影部２が搭載される車両に備えられ、当該車両の速度を検出する。速度センサ４の出力は、通信バスＢ１を介して姿勢推定装置１に入力される。

姿勢推定装置１は、車両（移動体）に搭載されるカメラ２１で撮影された撮影画像に基づき、カメラ２１の姿勢を推定する。車両に固定されるカメラ２１は、例えば、経年劣化や外部からの衝撃等によって車両への取付け姿勢が変化することがある。姿勢推定装置１は、カメラ２１の姿勢の推定を行うことにより、カメラ２１の取付け姿勢の変化（異常）を検出することができる。

図１に示すように、姿勢推定装置１は、取得部１１と、制御部１２と、記憶部１３と、を備える。

取得部１１は、車両に搭載されるカメラ２１から撮影画像を取得する。取得部１１は、カメラ２１からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。すなわち、取得部１１によって取得される撮影画像の集合体がカメラ２１で撮影された動画像である。そして、取得した撮影画像がアナログの場合には、取得部１１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。取得部１１は、取得した撮影画像（Ａ／Ｄ変換が行われた場合には変換後の撮影画像）を制御部１２に出力する。取得部１１から出力される１つの撮影画像が１つのフレーム画像となる。

制御部１２は、例えばマイクロコンピュータ等のコンピュータであり、姿勢推定装置１の全体を統括的に制御するコントローラである。制御部１２は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。記憶部１３は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１３は、ファームウェアとしてのプログラムや各種のデータを記憶する。

図１に示す抽出部１２１、算出部１２２、および、推定部１２３は、制御部１２のＣＰＵが記憶部１３に記憶されるプログラムに従って演算処理を実行することにより実現される制御部１２の機能である。言い換えると、姿勢推定装置１は、抽出部１２１と、算出部１２２と、推定部１２３とを備える。

なお、制御部１２の、抽出部１２１、算出部１２２、および、推定部１２３の少なくともいずれか一つは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、抽出部１２１、算出部１２２、および、推定部１２３は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてよい。また、取得部１１は、制御部１２のＣＰＵがプログラムに従って演算処理を行うことによって実現される構成でもよい。

抽出部１２１は、車両に搭載されるカメラ２１で撮影された撮影画像から特徴点を抽出する。特徴点は、撮影画像中のエッジの交点など、撮影画像において際立って検出できる点である。特徴点は、例えば路面に描かれた白線のエッジ、路面上のひび、路面上のしみ、路面上の砂利などである。本実施形態では、好ましい形態として、コーナーらしさを示すコーナー度が高い特徴点を抽出する。コーナーとは２つのエッジが交わる部分である。コーナー度は、例えばＨａｒｒｉｓオペレータやＫＬＴ（Kanade-Lucas-Tomasi）トラッカーなどの公知の検出手法を用いて求めることができる。

本実施形態では、抽出部１２１は、撮影画像中に設定される抽出領域から特徴点を抽出する。抽出領域は、撮影画像中の狙った対象から特徴点を効率良く抽出する等の目的で設定される。本実施形態では、狙った対象は、自車両が走行する路面である。このために、抽出領域は、撮影画像の路面が映る領域に設定される。なお、本明細書では、抽出領域のことをＲＯＩ（Region Of Interest）と記載することがある。

算出部１２２は、異なる時刻で撮影された２つの撮影画像間における特徴点の移動量を算出する。本実施形態では、算出部１２２は、異なる時刻で撮影された２つの撮影画像から、カメラ２１のカメラ座標系における特徴点の移動量を算出する。異なる時刻の間隔は、取得部１１のフレーム周期と同一である。ただし、これに限らず、異なる時刻の間隔は、例えば、取得部１１のフレーム周期の複数倍であってもよい。カメラ座標系における特徴点の移動量は、異なる時刻で撮影された２つの撮影画像間における特徴点の動きを表す動きベクトルであるオプティカルフローの長さに該当する。算出部１２２は、撮影画像から抽出された特徴点ごとにオプティカルフローを算出する。そして、算出部１２２は、算出したオプティカルフローごとにオプティカルフローの長さ（すなわち特徴点の移動量）を算出する。オプティカルフローを算出する方法の詳細ついては後述する。

推定部１２３は、算出部１２２で算出された移動量が所定値以下となる特徴点を除外して、残りの特徴点の動きに基づきカメラ２１の姿勢の推定を行う。所定値は、例えば、異なる時刻で撮影された２つの撮影画像間において特徴点が動いていないとみなすことができる上限値であってよい。所定値は、例えば車両の振動等の影響を考慮して設定されてよい。また、所定値は、特徴点が動いていないとみなすことができる上限値よりも少し大きな値であってもよい。車両の速度が超低速度である場合、得られるオプティカルフローのばらつきが大きくなり易いことを考慮するものである。

所定値は、例えば撮影画像のＮピクセルの長さに相当する。この場合、所定値以下とは、Ｎピクセル以内と同様の意味である。Ｎは数値であり、例えば実験やシミュレーションを行うことによって決められる。詳細には、推定部１２３は、除外対象となった特徴点から得られるオプティカルフローを除外した残りのオプティカルフローの少なくとも一部を用いて、カメラ２１の姿勢の推定を行う。カメラ２１の姿勢推定処理の詳細については後述する。

本実施形態では、撮影画像は車両の移動時に撮影される。また、推定部１２３は、特徴点が路面から抽出されることを前提として、特徴点の動き（オプティカルフロー）を用いたカメラ２１の姿勢の推定を行う。このために、本実施形態においては、異なる時刻で撮影された２つの撮影画像間で動かない特徴点は異常な特徴点と言え、このような異常な特徴点を用いた姿勢の推定処理は誤推定の原因となる。この点、本実施形態では、姿勢の推定処理に際して、撮影画像から抽出される特徴点のうち、２つの撮影画像間において静止している、或いは、極端に動きが小さいと判断される特徴点は異常な特徴点として除外される構成となっている。このために、本実施形態では、誤推定の要因を減らして、カメラ２１の姿勢推定の精度を向上することができる。また、本実施形態によれば、車両の速度が極端に遅い（ほぼ静止している）状態では姿勢の推定が行われないようにすることができ、姿勢推定の精度を向上することができる。

なお、推定部１２３は、車両の移動速度に応じて、所定値を変動させてよい。詳細には、車両の移動速度は、カメラ２１にて撮影画像を取得した時の車両の速度のことである。車両の速度は、例えば速度センサ４から取得することができる。これによれば、除外対象となる特徴点を車両の走行状況に合わせて適切に選択することができる。例えば、車両の速度が速くなった場合には所定値が大きくされ、車両の速度が遅くなった場合には所定値が小さくされることが好ましい。

＜２．姿勢推定処理＞
次に、姿勢推定装置１によって実行されるカメラ２１の姿勢推定処理について説明する。図２は、姿勢推定装置１において実行されるカメラ２１の姿勢推定処理の一例を示すフローチャートである。なお、撮影部２が複数のカメラ２１を備える場合には、姿勢推定装置１は、各カメラ２１に対して、図２に示す姿勢推定処理を実行する。ここでは、カメラ２１がフロントカメラである場合を例に、姿勢推定装置１によって実行されるカメラ２１の姿勢推定処理について説明する。

図２に示すように、まず、制御部１２は、カメラ２１を搭載する自車両が直進しているか否かを監視する（ステップＳ１）。自車両が直進しているか否かは、例えば、舵角センサ３から得られるステアリングホイールの回転角情報に基づいて判断することができる。例えば、ステアリングホイールの回転角がゼロのときに自車両が完全にまっすぐに進むとした場合に、回転角がゼロの場合だけでなく、回転角がプラス方向とマイナス方向の一定範囲内の値である場合を含めて、自車両が直進していると判断してよい。なお、直進には、前方方向の直進と、後退方向の直進との両方が含まれる。

制御部１２は、自車両の直進を検出するまで、ステップＳ１の監視を繰り返す。言い換えると、制御部１２は、自車両が直進しない限り、カメラ２１の姿勢の推定処理を進めない。これによれば、直進移動中における特徴点の位置変化を用いて姿勢の推定が行われることになり、自車両の進行方向が曲がっている場合の情報を用いて姿勢の推定が行われないので、姿勢の推定処理が複雑になることを避けることができる。ただし、自車両の進行方向が曲がっているときの特徴点の位置変化を用いて、姿勢の推定処理が進められる構成としてもよい。

なお、自車両が直進走行しているか否かの判断に加えて、制御部１２は、自車両の速度が所定の速度範囲内であるか否かの判断を行う構成とすることが好ましい。自車両の速度が遅すぎると、例えば特徴点の動きが小さくオプティカルフローの算出の精度が低下する可能性がある。一方、自車両の速度が速すぎると、例えば特徴点の動きが速すぎて特徴点を追従できない可能性がある。自車両の速度が所定の速度範囲内である場合にのみ姿勢の推定処理を進めることにより、このような不具合の発生を抑制することができる。なお、所定の速度範囲は、例えば、時速１０ｋｍ以上、時速４０ｋｍ以下等であってよい。自車両の速度は、速度センサ４を利用して取得されてよい。

自車両が直進していると判断される場合（ステップＳ１でＹｅｓ）、制御部１２は、取得部１１を介してカメラ２１から撮影画像を取得する（ステップＳ２）。制御部１２は、例えば数フレームから数十フレームの撮影画像を取得する。

次に、抽出部１２１が、各フレーム画像について、抽出領域（ＲＯＩ）から特徴点の抽出を行う（ステップＳ３）。図３は、特徴点の抽出について説明するための図である。図３は、カメラ２１で撮影された撮影画像Ｐを模式的に示している。撮影画像Ｐにおいては、自車両のボディＢＯの一部が映り込んでいる。図３において、符号５はＲＯＩである。ＲＯＩ５は、撮影画像Ｐの路面ＲＳが映る範囲に設定されている。図３に示す例では、ＲＯＩ５は矩形状であるが、例えば円形状や楕円状等の矩形状以外の形状であってもよい。

図３に示す例では、路面ＲＳに描かれている制限速度を示す数字の部分にコーナー度が高い第１特徴点ＦＰ１及び第２特徴点ＦＰ２が存在する。制限速度を示す数字は、ＲＯＩ５内に存在する。このために、抽出部１２１は、路面ＲＳ上に存在する第１特徴点ＦＰ１及び第２特徴点ＦＰ２を抽出する。

なお、図３では、便宜的に２つの特徴点ＦＰ１、ＦＰ２のみが示されているが、コーナー度が所定の特徴点閾値を超える特徴点が存在すれば、これ以外にも特徴点は抽出される。逆に、コーナー度が所定の特徴点閾値を超える特徴点が存在しない場合には、特徴点は抽出されない。各フレーム画像において、特徴点が１つも抽出されないこともあり得る。

図２に戻って、特徴点の抽出処理が全てのフレーム画像に対して完了すると、算出部１２２は、オプティカルフローの算出を行う（ステップＳ４）。オプティカルフローは、上述のように、異なる時刻で撮影された２つの撮影画像間における特徴点の動きを示す動きベクトルである。本例では、異なる時刻の間隔は、取得部１１のフレーム周期と同一である。

図４は、オプティカルフローの算出について説明するための図である。図４は、図３と同様に便宜的に示された模式図である。図４は、図３に示す撮影画像Ｐ（便宜的に前フレームＰとする）の撮影後、１フレーム周期経過した後にカメラ２１で撮影された撮影画像Ｐ’（便宜的に現フレームＰ’とする）である。図３に示す撮影画像Ｐの撮影後、１フレーム周期の間、自車両は前方に直進している。図４に示す丸印ＦＰ１Ｐは、図３に示す前フレームＰの撮影時点における第１特徴点ＦＰ１の位置を示す。図４に示す丸印ＦＰ２Ｐは、図３に示す前フレームＰの撮影時点における第２特徴点ＦＰ２の位置を示す。

図４に示すように、自車両が前方に直進すると、自車両の前方に存在する第１特徴点ＦＰ１及び第２特徴点ＦＰ２は自車両に近づく。すなわち、第１特徴点ＦＰ１及び第２特徴点ＦＰ２は、現フレームＰ’と前フレームＰとで異なる位置に現れる。算出部１２２は、現フレームＰ’の第１特徴点ＦＰ１と前フレームＰの第１特徴点ＦＰ１とを、その近傍の画素値に基づいて対応付け、対応付けた第１特徴点ＦＰ１のそれぞれの位置に基づいて、第１特徴点ＦＰ１のオプティカルフローＯＦ１を算出する。同様に、算出部１２２は、現フレームＰ’の第２特徴点ＦＰ２と前フレームＰの第２特徴点ＦＰ２とを、その近傍の画素値に基づいて対応付け、対応付けた第２特徴点ＦＰ２のそれぞれの位置に基づいて、第２特徴点ＦＰ２のオプティカルフローＯＦ２を算出する。

なお、算出部１２２は、取得した複数のフレーム画像のそれぞれについて上述のようにしてオプティカルフローの算出を行う。また、各フレーム画像において２つより多くのオプティカルフローが得られる場合がある。逆に、各フレーム画像において、オプティカルフローが１つしか得られない場合や、１つも得られない場合がある。

図２に戻って、オプティカルフローが求められると、以後に行われる処理に使用するオプティカルフローが所定の選択条件に従って選択される（ステップＳ５）。所定の選択条件にしたがって、以後に行われる姿勢の推定に適した、２つのオプティカルフローで構成されるオプティカルフローの組が選択される。選択される当該組の数は、１つの場合もあるし、複数の場合もある。また、選択される組の数は、ゼロの場合もある。図２には記載されないが、選択される組の数がゼロの場合には、ステップＳ１に処理が戻される。

オプティカルフローの選択処理の詳細については後述する。ここでは、ステップＳ５で選択された使用オプティカルフローの組に、図４に示す第１オプティカルフローＯＦ１と第２オプティカルフローＯＦ２との組が含まれるものして、ステップＳ６以降の処理について説明する。

推定部１２３は、第１特徴点ＦＰ１のオプティカルフローＯＦ１と第２特徴点ＦＰ２のオプティカルフローＯＦ２を用いた処理を進める。推定部１２３は、特徴点に対し、記憶部１３に記憶されているカメラ２１の内部パラメータを用いて座標変換を行う。座標変換では、カメラ２１の収差補正と、歪み補正とが行われる。収差補正は、カメラ２１の光学系の収差による歪みを補正するために行われる。具体的には樽型歪みや糸巻歪みなど歪曲収差の補正である。歪み補正は、カメラ２１の光学系そのものの歪みを補正するために行われる。具体的には魚眼補正などである。座標変換により、特徴点の座標は、被写体が透視投影によって撮影された場合に二次元画像上で得られる座標に変換される。

特徴点の座標変換が行われると、推定部１２３は、図５に示すように、第１特徴点ＦＰ１のオプティカルフローＯＦ１の始点を頂点ＳＰ１、第１特徴点ＦＰ１のオプティカルフローＯＦ１の終点を頂点ＥＰ１、第２特徴点ＦＰ１のオプティカルフローＯＦ２の始点を頂点ＳＰ２、及び第２特徴点ＦＰ２のオプティカルフローＯＦ２の終点を頂点ＥＰ２とする四角形ＱＬを仮想的に形成する（ステップＳ６）。以降、説明のために四角形や、該四角形の辺などの幾何的要素を仮想的に形成して用いる。しかし、実際の処理では、特徴点の座標や直線の方向などのベクトル演算に基づき、同等の作用を持つ幾何的要素に基づかない処理としてもよい。

四角形ＱＬが仮想的に形成されると、推定部１２３は、四角形ＱＬと、記憶部１３に記憶されているカメラ２１の内部パラメータとを用いて、三次元空間におけるカメラ２１の投影面ＩＭＧ（図６参照）上に四角形ＱＬを移動させ、投影面ＩＭＧ上での四角形ＱＬ１を仮想的に生成する（ステップＳ７）。

なお説明のため、以下のように辺を定義する。四角形ＱＬ１の第１辺ＳＤ１は、四角形ＱＬにおいて、頂点ＳＰ１および頂点ＳＰ２を結んだ辺に対応する。つまり、前フレームＰにおける第１特徴点ＦＰ１と第２特徴点ＦＰ２を結んだ辺に相当する。同様に、四角形ＱＬ１の第２辺ＳＤ２は、四角形ＱＬにおいて、頂点ＳＰ２および頂点ＥＰ２を結んだ辺に対応する。つまり、第２特徴点ＦＰ２のオプティカルフローＯＦ２に相当する。同様に、四角形ＱＬ１の第３辺ＳＤ３は、四角形ＱＬにおいて、頂点ＥＰ１および頂点ＥＰ２を結んだ辺に対応する。つまり、現フレームＰ’における第１特徴点ＦＰ１と第２特徴点ＦＰ２とを結んだ辺に相当する。同様に、四角形ＱＬ１の第４辺ＳＤ４は、四角形ＱＬにおいて、頂点ＳＰ１および頂点ＥＰ１を結んだ辺に対応する。つまり、第１特徴点ＦＰ１のオプティカルフローＯＦ１に相当する。

また、以下のように面を定義する（図６参照）。四角形ＱＬ１の第１辺ＳＤ１とカメラ２１の光学中心ＯＣとが含まれる面を第１面Ｆ１とする。同様に、四角形ＱＬ１の第２辺ＳＤ２とカメラ２１の光学中心ＯＣとが含まれる面を第２面Ｆ２とする。同様に、四角形ＱＬ１の第３辺ＳＤ３とカメラ２１の光学中心ＯＣとが含まれる面を第３面Ｆ３とする。同様に、四角形ＱＬ１の第４辺ＳＤ４とカメラ２１の光学中心ＯＣとが含まれる面を第４面Ｆ４とする。

次に、推定部１２３は、所定の平面との交線が互いに平行になる面の組を２組特定する（ステップＳ８）。所定の平面とはあらかじめ平面の法線が分かっている面である。具体的には車両が移動を行っている平面であり、つまり路面である。所定の平面は、厳密な平面でなくてもよく、推定部１２３が所定の平面との交線が互いに平行になる面の組を２組特定する際に平面とみなすことができるものであればよい。

本実施形態では、姿勢推定装置１は、自車両が直進している場合に、異なる時刻に撮影された２つの画像から特徴点を抽出し、該特徴点のオプティカルフローを算出する。また、該特徴点は所定の平面（本実施形態では路面）上に位置している静止物から抽出される。したがって、算出されるオプティカルフローは実世界上では、自車両に対する静止物の相対的な位置変化を表す。つまり向きが逆となった自車両の移動ベクトルである。

四角形ＱＬ１の第２辺ＳＤ２と第４辺ＳＤ４とは、共に特徴点のオプティカルフローに対応するので、共に実世界上では自車両の移動ベクトルに相当する。したがって、路面上では互いに平行となると想定される。

また、四角形ＱＬ１の第１辺ＳＤ１と第３辺ＳＤ３とは、共に特徴点同士の位置関係なので、実世界上では自車両の移動に伴う静止物同士の位置関係に相当する。移動前の位置関係が第１辺ＳＤ１に相当し、移動後の位置関係が第３辺ＳＤ３に相当する。このとき静止物の位置は変わらないため、移動前後で位置関係は変わらない。したがって、路面上ではこれも互いに平行となると想定される。

したがって、推定部１２３は、路面との交線が平行な面として、第２面Ｆ２と第４面Ｆ４との組と、第１面Ｆ１と第３面Ｆ３との組と、の２つの組を特定する。つまり、推定部１２３は、オプティカルフローを含む面同士を１つの組とし、同時刻に撮影された特徴点を含む面同士を他の組として、計２つの組を特定する。

なお、図６において四角形ＱＬ２は、現フレームＰ’の撮影時点での第１特徴点ＦＰ１の３次元空間（実世界）上の位置、現フレームＰ’の撮影時点での第２特徴点ＦＰ２の３次元空間上の位置、前フレームＰの撮影時点での第１特徴点ＦＰ１の３次元空間上の位置、及び前フレームＰの撮影時点での第２特徴点ＦＰ２の３次元空間上の位置を頂点とする四角形である。第１面Ｆ１は、四角形ＱＬ２の第１辺ＳＤ１１を含む。同様に、第２面Ｆ２は四角形ＱＬ２の第２辺ＳＤ１２を含み、第３面Ｆ３は四角形ＱＬ２の第３辺ＳＤ１３を含み、第４面Ｆ４は四角形ＱＬ２の第４辺ＳＤ１４を含む。このとき、上記のように四角形ＱＬ２は路面上に形成される平行四辺形であると想定される。

次に、推定部１２３は、路面の法線を算出する（ステップＳ９）。まず、推定部１２３は、先に特定した面の組の一方である第１面Ｆ１と第３面Ｆ３とに基づき、面同士の交線の方向を求める。詳細には、第１面Ｆ１と第３面Ｆ３との交線ＣＬ１の向きを求める（図７参照）。交線ＣＬ１の方向ベクトルＶ１は、第１面Ｆ１の法線ベクトル及び第３面Ｆ３の法線ベクトルそれぞれと垂直なベクトルである。したがって、推定部１２３は、第１面Ｆ１の法線ベクトルと第３面Ｆ３の法線ベクトルとの外積により、交線ＣＬ１の方向ベクトルＶ１を求める。第１面Ｆ１と第３面Ｆ３は、路面との交線が平行となるため、方向ベクトルＶ１は路面と平行になる。

同様に、推定部１２３は、先に特定した面の組の他方である第２面Ｆ２と第４面Ｆ４との交線の方向を求める。詳細には第２面Ｆ２と第４面Ｆ４との交線ＣＬ２の向きを求める（図８参照）。交線ＣＬ２の方向ベクトルＶ２は、第２面Ｆ２の法線ベクトル及び第４面Ｆ４の法線ベクトルそれぞれと垂直なベクトルである。したがって、推定部１２３は、第２面Ｆ２の法線ベクトルと第４面Ｆ４の法線ベクトルとの外積により、交線ＣＬ２の方向ベクトルＶ２を求める。第２面Ｆ２と第４面Ｆ４も同様に、路面との交線が平行となるため、方向ベクトルＶ２は路面と平行になる。

推定部１２３は、方向ベクトルＶ１と方向ベクトルＶ２との外積により、四角形ＱＬ２の面の法線、すなわち路面の法線を算出する。推定部１２３が算出した路面の法線はカメラ２１のカメラ座標系で算出されるため、実際の路面の法線である垂直方向との違いから３次元空間の座標系を求め、路面に対するカメラ２１の姿勢を推定することができる。その推定結果から推定部１２３は自車両に対するカメラ２１の姿勢を推定する（ステップＳ１０）。なお、ステップＳ９の算出処理は、例えば公知のARToolkitを利用して実行することができる。

ステップＳ１０における姿勢推定が終了すると、推定部１２３は、ステップＳ５で選択した全てのオプティカルフローの組について、姿勢の推定が完了したか否かを確認する（ステップＳ１１）。全ての組に対して姿勢の推定が完了している場合には（ステップＳ１１でＹｅｓ）、図２に示すフローが終了する。一方、全ての組に対して姿勢の推定が完了していない場合には（ステップＳ１１でＮｏ）、ステップＳ６に戻ってステップＳ６以降の処理が繰り返される。

なお、上記の説明ではカメラ２１の光学中心ＯＣと、四角形ＱＬ１の１つの辺を含む平面を特定するとしたがこの限りではない。当該平面の法線方向の特定をもって平面を特定するとしてもよい。例えば光学中心ＯＣから各頂点への方向ベクトルの外積により平面の法線方向を求め、該法線方向によって面を特定するとしてもよい。この場合、第１面Ｆ１の法線方向と第３面Ｆ３の法線方向とを１つの組とし、第２面Ｆ２の法線方向と第４面Ｆ４の法線方向とを他の組として２つの組を特定するとよい。

また、面は平行移動させてもよい。例えば第１面Ｆ１の代わりに、第１面Ｆ１を平行移動させた面を第３面Ｆ３と組としてもよい。平行移動しても所定の平面との交線の向きは変わらないからである。

また、姿勢推定装置１は、複数の推定結果に基づいて姿勢の推定を確定させることが好ましい。この場合、所定数以上の姿勢の推定結果が得られるまで図２の処理を繰り返す構成としてよい。所定数以上の姿勢の推定結果が蓄積された時点で、例えば、平均値、又は、ヒストグラムの中央値やピーク値を求めて、当該求めた結果を姿勢推定の確定結果としてよい。姿勢推定の確定結果は、姿勢推定装置１における更なる処理に利用されてもよいし、外部装置に出力されてもよい。

姿勢推定の確定結果に基づいて、例えば、カメラ２１の取付けのずれが生じた状態であるか否かが判定されてよい。カメラ２１の取付けのずれが生じた状態であると判定された場合、例えば、当該異常事態が自車両のユーザに報知される。これにより、自車両のユーザはディーラによるカメラの取付け調整を依頼する等の対策をとることが可能となる。

また、カメラ２１の姿勢推定の確定結果は、カメラ２１のパラメータの補正に利用されてよい。これにより、カメラ２１の取付けのずれが生じても、そのずれに応じたカメラのキャリブレーションが実行されることになり、カメラ２１の取付けのずれが撮影画像に及ぼす悪影響を抑制することができる。また、姿勢の推定結果は、複数の車両とネットワークにより通信可能に設けられるセンターに撮影画像を送信する場合に、撮影画像とセットにしてセンターに送信されてもよい。これにより、センターでの撮影情報の取り扱いを適切に行うことができる。

＜３．オプティカルフローの選択処理＞
図９は、オプティカルフローの選択処理の一例を示すフローチャートである。図９は、図２のステップＳ５の処理の詳細例を示す図である。

ステップＳ５１では、算出部１２２が、オプティカルフローの算出を行った複数のフレーム画像の中から処理の対象となるフレーム画像を選択する。本例では、算出部１２２は、複数のフレーム画像の中から順番に処理対象となるフレーム画像を選択する。処理対象のフレーム画像が選択されると、次のステップＳ５２に処理が進められる。

ステップＳ５２では、算出部１２２が、処理対象のフレーム画像において先に算出したオプティカルフローの中から、未処理のオプティカルフローを選択してオプティカルフローの長さを算出する。なお、オプティカルフローの長さは、特徴点の移動量に相当する。すなわち、ステップＳ５２では、特徴点の移動量が算出される。また、未処理とは、オプティカルフローの長さの算出が未だ行われていないことを指す。移動量の算出が完了すると、ステップＳ５３に処理が進められる。

ステップＳ５３では、推定部１２３が、算出したオプティカルフローの長さ（移動量）が所定値以下であるか否かを確認する。オプティカルフローの長さが所定値以下である場合（ステップＳ５３でＹｅｓ）、次のステップＳ５４に処理が進められる。オプティカルフローの長さが所定値を超える場合（ステップＳ５３でＮｏ）、ステップＳ５５に処理が進められる。

ステップＳ５４では、推定部１２３が、長さが所定値以下であるオプティカルフローを選択対象から除外する。除外処理が完了すると、次のステップＳ５５に処理が進められる。

ステップＳ５５では、推定部１２３が、現在の処理対象のフレーム画像における全てのオプティカルフローに対して処理（所定値との比較処理）が完了したか否かを確認する。全てのオプティカルフローに対して処理が完了している場合（ステップＳ５５でＹｅｓ）、ステップＳ５６に処理が進められる。一方、全てのオプティカルフローに対して処理が完了していない場合（ステップＳ５５でＮｏ）、ステップＳ５２に戻って、ステップＳ５２以降の処理が繰り返される。

ステップＳ５６では、推定部１２３が、現在の処理対象のフレーム画像において選択対象から除去されずに残ったオプティカルフローの中から、２つのオプティカルフローで構成される推定処理用のオプティカルフロー組を選択する。推定部１２３は、複数のオプティカルフロー組を選択してよい。推定部１２３は、組み合わせ可能な全てのオプティカルフロー組を選択してよい。オプティカルフロー組の選択が完了すると、次のステップＳ５７に処理が進められる。

ステップＳ５７では、推定部１２３は、オプティカルフローの算出を行った複数のフレーム画像の全てについて処理が完了したか否かを確認する。全フレーム画像について処理が完了している場合（ステップＳ５７でＹｅｓ）、図９に示すオプティカルフローの選択処理が終了される。全フレーム画像について処理が完了していない場合（ステップＳ５７でＮｏ）、ステップＳ５１に戻ってステップＳ５１以降の処理が繰り返される。

図１０は、図９に示すオプティカルフローの選択処理の効果について説明するための図である。図１０は、フロントカメラにおいて或るタイミングで取得された撮影画像Ｐである。図１０では、ＲＯＩ５内から５つの特徴点ＦＰ１１、ＦＰ１２、ＦＰ１３、ＦＰ１４、ＦＰ１５が抽出されている。特徴点ＦＰ１１と特徴点ＦＰ１２とは、第１白線１０１の後方の２つのコーナーから抽出された特徴点である。特徴点ＦＰ１３と特徴点ＦＰ１４とは、第１白線１０１の後方にある第２白線１０２の前方の２つのコーナーから抽出された特徴点である。特徴点ＦＰ１５は、自車両のボディＢＯのエッジと、第２白線１０２のエッジとが交差する箇所から抽出された特徴点である。

図１０に示す例において、特徴点ＦＰ１５は、自車両が前進しても同一の位置に現れる。すなわち、特徴点ＦＰ１５から得られるオプティカルフローの長さは、ゼロ又はゼロに近い値になる。このために、特徴点ＦＰ１５から算出されるオプティカルフローが姿勢の推定に使用された場合、誤った姿勢の推定が行われる可能性が高くなる。また、自車両が前進して、例えば特徴点ＦＰ１４がＲＯＩ５外となるような場合に、特徴点ＦＰ１５が誤って特徴点ＦＰ１４の追跡結果として捉えられることも起こり得る。このような場合、特徴点ＦＰ１４から得られるオプティカルフローは本来の長さより短くなる。特徴点ＦＰ１４から得られるオプティカルフローが姿勢の推定に使用された場合、誤った姿勢の推定が行われる可能性がある。なお、特徴点ＦＰ１５のような特徴点は、例えば、自車影のエッジと、白線のエッジとが交差した場合にも生じることがあり、同様の現象を起こす。

本実施形態では、長さが極端に短い（ゼロを含む）オプティカルフローは姿勢推定処理の対象から除去されて用いられない構成となっている。このために、特徴点ＦＰ１５のような特徴点が抽出される場合でも、当該特徴点を利用した姿勢の推定処理が行われることを避けることができ、適切に姿勢の推定を行うことができる。なお、ボディＢＯをＲＯＩ５外とすることで、特徴点ＦＰ１５のような特徴点の発生を抑制することができるが、カメラ２１の姿勢が本来の位置からずれた場合に、特徴点ＦＰ１５のような特徴点を抽出する可能性があり、本実施形態の構成は有効である。

＜４．変形例＞
以下、２つの変形例について説明する。変形例の説明に際して、上述の実施形態と重複する内容については、原則としてその説明を省略する。

（４−１．第１変形例）
図１１は、第１変形例の特徴点の抽出について説明するための図である。図１１に示すように、第１変形例においては、抽出部１２１は、撮影画像Ｐに複数設定される抽出領域（ＲＯＩ）５から特徴点を抽出する。図１１に示す例では、設定されるＲＯＩ５の数は３つである。３つのＲＯＩ５は、一例として左右方向に並ぶ。３つのＲＯＩ５は、全て同じサイズでもよいが、少なくとも一つが他のＲＯＩ５と異なるサイズであってよい。図１１に示す例では、中央のＲＯＩ５ａがその左右に位置する２つのＲＯＩ５ｂ、５ｃより大きく、中央のＲＯＩ５ａの左右に位置する２つのＲＯＩ５ｂ、５ｃは互いに同じサイズである。複数のＲＯＩ５の形状は、矩形状に限らず、その形状は適宜変更されてよい。

推定部１２３は、算出部１２２で算出された移動量が所定値以下となる特徴点が抽出されたＲＯＩ５を除外対象領域とする。上述の実施形態では、移動量が所定値以下となる特徴点が除外対象とされた。これに対し、本変形例では、移動量が所定値以下となる特徴点が抽出されると、当該特徴点が抽出されたＲＯＩ５内の全ての特徴点が除外対象となる。

そして、推定部１２３は、除外対象領域とされなかったＲＯＩ５から抽出される特徴点の動きに基づきカメラ２１の姿勢の推定を行う。言い換えると、推定部１２３は、除外対象領域以外のＲＯＩ５から得られるオプティカルフローの少なくとも一部を用いてカメラ２１の姿勢の推定を行う。例えば、図１１に示す例において、中央のＲＯＩ５ａが除外対象領域とされ、その他のＲＯＩ５ｂ、５ｃが除外対象領域とされていない場合、推定部１２３は、ＲＯＩ５ｂ、５ｃから得られるオプティカルフローの少なくとも一部を用いてカメラ２１の姿勢の推定を行う。

本変形例によれば、推定処理を行うに際して不適切なオプティカルフローを使用する可能性を更に低減することができ、カメラ２１の姿勢の推定精度を更に向上することができる。

なお、推定部１２３は、ＲＯＩ５の撮影画像上における設定位置に応じて、所定値を変動させてよい。例えば、図１１に示す例において、中央のＲＯＩ５ａと、左右のＲＯＩ５ｂ、５ｃとで、異なる所定値を用いて移動量との比較が行われてよい。詳細には、中央のＲＯＩ５ａに設定される所定値は、左右のＲＯＩ５ｂ、５ｃに設定される所定値より大きく設定されてよい。これによれば、除外対象となる特徴点をカメラ２１のレンズの歪み等を考慮して適切に選択することができる。

図１２は、第１変形例におけるオプティカルフローの選択処理を示すフローチャートである。図１２は、図９に示す処理の変形例である。

ステップＳ５１〜ステップＳ５３は、上述の図９の場合と同様である。すなわち、オプティカルフローの算出を行った複数のフレーム画像の中から処理の対象となるフレーム画像が選択される（ステップＳ５１）。そして、処理対象のフレーム画像において先に算出したオプティカルフローの中から、未処理のオプティカルフローが抽出されてオプティカルフローの長さ（移動量）が算出される（ステップＳ５２）。算出されたオプティカルフローの長さが所定値と比較されて（ステップＳ５３）、オプティカルフローの長さが所定値以下であればステップＳ５４Ａに処理が進められ、オプティカルフローの長さが所定値を超えればステップＳ５５に処理が進められる。

ステップＳ５４Ａでは、長さが所定値以下であるオプティカルフローが得られたＲＯＩ５が、除外対象領域に設定される。この点、オプティカルフローごとに除外対象か否かが判断される図９の場合と異なる。除外対象領域の設定が完了すると、次のステップＳ５５に処理が進められる。

ステップＳ５５では、図９の場合と同様に、現在の処理対象のフレーム画像における全てのオプティカルフローに対して処理（所定値との比較処理）が完了したか否かが確認される。そして、ステップＳ５６Ａに処理を進めるか、ステップＳ５２に処理を戻すかが判断される。

ただし、本変形例では、除外対象領域に設定されたＲＯＩ５から得られるオプティカルフローについては、除外対象領域が設定された時点で、自動的に処理済みのオプティカルフローとされる。これにより、不要な処理を省いて効率良く処理を行うことができる。

ステップＳ５６Ａでは、現在の処理対象のフレーム画像において除外対象領域とされなかったＲＯＩ５（非除外対象ＲＯＩ）から得られるオプティカルフローの中から、２つのオプティカルフローで構成される推定処理用のオプティカルフロー組が選択される。図９の場合と同様に、複数のオプティカルフロー組が選択されてよく、組み合わせ可能な全てのオプティカルフロー組が選択されてもよい。オプティカルフロー組の選択が完了すると、次のステップＳ５７に処理が進められる。

ステップＳ５７では、図９の場合と同様に、オプティカルフローの算出を行った複数のフレーム画像の全てについて処理が完了したか否かを確認される。全フレーム画像について処理が完了している場合には図１２に示すが終了され、全フレーム画像について処理が完了していない場合にはステップＳ５１に処理が戻される。

（４−２．第２変形例）
第２変形例では、第１変形例と同様に、抽出部１２１は、撮影画像に複数のＲＯＩ５を設定して特徴点の抽出を行う。そして、第１変形例と同様に、除外対象とするオプティカルフローをＲＯＩ単位で設定する。

ただし、本変形例は、次の点で第１変形例と異なる。本変形例では、除外対象領域と第１の所定画像数連続して判断されたＲＯＩ５は、除外対象領域でないと第２の所定画像数連続して判断されるまで、除外対象領域として扱われる。換言すると、本変形例では、複数のフレーム画像にわたって連続して除外対象領域とされたＲＯＩ５は、オプティカルフローを得る対象として適していない信頼性の低いＲＯＩと判断される。そして、信頼性が低いと判断されたＲＯＩは、複数のフレーム画像にわたって除外対象領域とされない場合に限り信頼性を回復できる。信頼性を回復できた場合に、初めて、当該ＲＯＩから得られるオプティカルフローが、カメラ２１の姿勢の推定に利用可能となる。

本変形例の構成によれば、推定処理を行うに際して不適切なオプティカルフローを使用する可能性を更に低減することができ、カメラ２１の姿勢の推定精度を更に向上することができる。

図１３は、第２変形例におけるオプティカルフローの選択処理を示すフローチャートである。図１３は、図１２に示す変形例の処理の更なる変形例である。

ステップＳ５１〜ステップＳ５４Ａは、上述の図１２の場合と同様である。すなわち、オプティカルフローの算出を行った複数のフレーム画像の中から処理の対象となるフレーム画像が選択される（ステップＳ５１）。そして、処理対象のフレーム画像において先に算出したオプティカルフローの中から、未処理のオプティカルフローが抽出されてオプティカルフローの長さ（移動量）が算出される（ステップＳ５２）。算出されたオプティカルフローの長さが所定値と比較されて（ステップＳ５３）、オプティカルフローの長さが所定値以下であれば、長さが所定値以下であるオプティカルフローが得られたＲＯＩが除外対象領域に設定される（ステップＳ５４Ａ）。オプティカルフローの長さが所定値を超えれば、ステップＳ５５に処理が進められる。

ステップＳ５４Ａの次に行われるステップＳ５４１では、除外対象領域に設定されたＲＯＩ５が第１の所定画像数連続して除外対象領域に設定されたか否かが確認される。第１の所定画像数は、適宜決められてよい。ここで、第１の所定画像数をＮとする。この場合、除外対象領域に設定されたＲＯＩ５が、現在の処理対象のフレーム画像よりＮ−１回前のフレーム画像から現在のフレーム画像まで連続して除外対象領域に設定されている場合、当該ＲＯＩは、第１の所定画像数連続して除外対象領域に設定されたことになる。第１の所定画像数連続して除外対象領域に設定された場合（ステップＳ５４１でＹｅｓ）、次のステップＳ５４２に処理が進められる。一方、第１の所定画像数連続して除外対象領域に設定されていない場合（ステップＳ５４１でＮｏ）、ステップＳ５５に処理が進められる。

ステップＳ５４２では、第１の所定画像数連続して除外対象領域に設定されたＲＯＩ５が、特定ＲＯＩに指定される。特定ＲＯＩに指定されたＲＯＩ５は、その指定を解除されるまで以降のフレーム画像においても特定ＲＯＩである。当該指定が完了すると、次のステップＳ５５に処理が進められる。なお、ステップＳ５４２において、特定ＲＯＩに指定されるＲＯＩ５の数は、単数のことも複数のこともある。

ステップＳ５５では、図１２の場合と同様に、現在の処理対象のフレーム画像における全てのオプティカルフローに対して処理（所定値との比較処理）が完了したか否かが確認される。本例でも、除外対象領域に設定されたＲＯＩ５から得られるオプティカルフローについては、除外対象領域が設定された時点で、自動的に処理済みのオプティカルフローとされる。なお、以前のフレーム画像にて特定ＲＯＩに指定されているＲＯＩ５であっても、現在のフレーム画像で除外対象領域に設定されていないＲＯＩ５から得られるオプティカルフローについては、自動的に処理済みのオプティカルフローとされない。全てのオプティカルフローに対する処理が完了した場合（ステップＳ５５でＹｅｓ）、ステップＳ５５１に処理を進められ。全てのオプティカルフローに対する処理が完了していない場合（ステップＳ５５でＮｏ）、ステップＳ５２に処理が戻される。

ステップＳ５５１では、現在の処理対象のフレーム画像において、特定ＲＯＩがあるか否かが確認される。特定ＲＯＩがある場合（ステップＳ５５１でＹｅｓ）、ステップＳ５５２に処理が進められる。特定ＲＯＩがない場合（ステップＳ５５１でＮｏ）、ステップＳ５６Ａに処理が進められる。

ステップＳ５５２では、特定ＲＯＩに指定されているＲＯＩ５が、第２の所定画像数連続して除外対象領域に設定されていないか否かが確認される。第２の所定画像数は、適宜決められてよい。第２の所定画像数は、第１の所定画像数と同じでもよいし、異なってもよい。ここで、第２の所定画像数をＭとする。この場合、特定ＲＯＩに指定されているＲＯＩ５が、現在の処理対象のフレーム画像よりＭ−１回前のフレーム画像から現在のフレーム画像まで連続して除外対象領域に設定されていない場合、当該ＲＯＩは、第２の所定画像数連続して除外対象領域に設定されていないことになる。第２の所定画像数連続して除外対象領域に設定されていない場合（ステップＳ５５２でＹｅｓ）、次のステップＳ５５３に処理が進められる。一方、第２の所定画像数連続して除外対象領域に設定されていないと判断されなかった場合（ステップＳ５５２でＮｏ）、ステップＳ５５４に処理が進められる。

ステップＳ５５３では、特定ＲＯＩに指定されているＲＯＩ５が、特定ＲＯＩの指定を解除される。すなわち、当該ＲＯＩは、除外対象領域でなくなる。指定解除が完了すると、次のステップＳ５６Ａに処理が進められる。

ステップＳ５５４では、特定ＲＯＩに指定されているＲＯＩ５を除外対象領域に設定する。すなわち、特定ＲＯＩに指定されているＲＯＩ５は、除外対象として扱われる。なお、ステップＳ５４Ａで除外対象領域に設定された特定ＲＯＩは、この時点で既に除外対象領域となっているが、ステップＳ５４Ａで除外対象領域に設定されていない特定ＲＯＩは、このステップＳ５５４で除外対象領域となる。除外対象領域の設定が完了すると、次のステップＳ５６Ａに処理が進められる。

ステップＳ５６Ａでは、図１２の場合と同様に、現在の処理対象のフレーム画像において除外対象領域とされなかったＲＯＩ５（非除外対象ＲＯＩ）から得られるオプティカルフローの中から、２つのオプティカルフローで構成される推定処理用のオプティカルフロー組が選択される。オプティカルフロー組の選択が完了すると、次のステップＳ５７に処理が進められる。

ステップＳ５７では、図１２の場合と同様に、オプティカルフローの算出を行った複数のフレーム画像の全てについて処理が完了したか否かを確認される。全フレーム画像について処理が完了している場合には図１３に示すが終了され、全フレーム画像について処理が完了していない場合にはステップＳ５１に処理が戻される。

＜５．留意事項＞
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。

本発明は、自動駐車等の移動体の運転支援を行うカメラの姿勢推定を行うために利用することができる。また、本発明は、ドライブレコーダ等の運転情報を記録するカメラの姿勢推定を行うために利用することができる。また、本発明は、カメラの姿勢の推定情報を利用して撮影画像を補正する補正装置等に利用することができる。

また、本発明は、複数の移動体とネットワークにより通信可能に設けられるセンターと連携して動作する装置等に利用することができる。当該装置は、例えば、センターに撮影画像を送信する場合に、カメラの姿勢の推定情報を撮影画像とセットにして送信する構成であってよい。そして、センターでは、カメラの姿勢の推定情報を用いて、各種画像処理（カメラの姿勢も考慮した画像の視点・視方向を変更する処理、例えば車両の車体前方方向の画像に視点・視方向変換した画像を生成する等）、画像を用いた計測処理におけるカメラの姿勢に対する補正処理、カメラ姿勢の経年変化の統計処理（多くの車両のデータ）等を行い、ユーザへの有用な提供データを生成する等を行う。

１・・・姿勢推定装置
５、５ａ、５ｂ、５ｃ・・・抽出領域
２１・・・カメラ
１２１・・・抽出部
１２２・・・算出部
１２３・・・推定部
ＦＰ１・・・第１特徴点
ＦＰ２・・・第２特徴点
ＦＰ１１〜ＦＰ１５・・・特徴点
Ｐ・・・撮影画像

Claims (6)

1. 移動体に搭載されるカメラで撮影された撮影画像から特徴点を抽出する抽出部と、
   異なる時刻で撮影された２つの前記撮影画像間における前記特徴点の移動量を算出する算出部と、
   前記移動量が所定値以下となる前記特徴点を除外して、残りの前記特徴点の動きに基づき前記カメラの姿勢の推定を行う推定部と、
   を備える、姿勢推定装置。
2. 前記抽出部は、前記撮影画像に複数設定される抽出領域から前記特徴点を抽出し、
   前記推定部は、前記移動量が前記所定値以下となる前記特徴点が抽出された前記抽出領域を除外対象領域とし、前記除外対象領域とされなかった前記抽出領域から抽出される前記特徴点の動きに基づき前記カメラの姿勢の推定を行う、請求項１に記載の姿勢推定装置。
3. 前記推定部は、前記抽出領域の前記撮影画像上における設定位置に応じて、前記所定値を変動させる、請求項２に記載の姿勢推定装置。
4. 前記推定部は、前記移動体の移動速度に応じて、前記所定値を変動させる、請求項１から３のいずれか１項に記載の姿勢推定装置。
5. 前記除外対象領域と第１の所定画像数連続して判断された前記抽出領域は、前記除外対象領域でないと第２の所定画像数連続して判断されるまで、前記除外対象領域として扱われる、請求項２又は３に記載の姿第推定装置。
6. 移動体に搭載されるカメラで撮影された撮影画像から特徴点を抽出する抽出工程と、
   異なる時刻で撮影された２つの前記撮影画像間における前記特徴点の移動量を算出する算出工程と、
   前記移動量が所定値以下となる前記特徴点を除外して、残りの前記特徴点の動きに基づき前記カメラの姿勢の推定を行う推定工程と、
   を備える、姿勢推定方法。

Images