JP2021086259A - 画像処理装置、および、画像処理方法 - Google Patents

Abstract

【課題】処理負担を低減しつつ、特徴点の誤った追跡が生じる可能性を抑制することができる技術を提供する。【解決手段】移動体に搭載されるカメラで撮影される動画像を処理する画像処理装置は、前記動画像を構成する第ｎフレーム画像（ｎは自然数）に設定される抽出領域から特徴点を抽出する抽出部と、前記動画像を構成する第（ｎ＋１）フレーム画像にて第ｎフレーム画像で抽出された前記特徴点の追跡を行う追跡部と、を備える。前記追跡部は、第ｎフレーム画像で抽出された前記特徴点のうち、所定のタイミングで前記抽出領域の外部に位置すると判断される前記特徴点の少なくとも一部を追跡対象から除外する。【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

従来、特徴量の検出およびマッチングに必要な演算量を、精度を確保しながら削減する技術が知られる（例えば特許文献１参照）。

特許文献１に開示される画像処理装置においては、特徴量マッチング部は、第ｎフレーム画像内で検出された特徴量と、第（ｎ＋１）フレーム画像内で検出された特徴量とをマッチングする。特徴量位置予測部は、車両の挙動を示す検出値をもとに、取得された動画像の２次元画像上における車両の移動量を推定し、推定した移動量と、第ｎフレーム画像内で検出された特徴量の位置をもとに、第（ｎ＋１）フレーム画像内における特徴量の位置を予測する。注目領域設定部は、第（ｎ＋１）フレーム画像内における予測された特徴量の位置を含む注目領域を設定する。特徴量検出部は、第（ｎ＋１）フレーム画像内に設定された注目領域を、特徴量の探索範囲とする。

特開２０１８−１４７２４１号公報

特許文献１の構成では、特徴量を探索する範囲である注目領域を、車両の移動に合わせてフレーム画像ごとに算出する必要がある。初期のフレーム画像では注目領域は設定されず、画像全域を探索範囲として特徴量を検出する必要がある。

フレーム画像において特徴量を抽出する範囲を予め固定した範囲に設定しておくと、初期のフレーム画像から特徴量の抽出範囲を画像全域より絞って特徴量の抽出を行うことができる。特徴量の抽出範囲が、フレーム画像中の狙った対象（例えば路面等）が映る範囲に絞られることで、例えば、誤った特徴量が抽出される可能性を低減することができる。

しかしながら、例えば、画像処理装置が車両等の移動体に搭載される場合、演算処理を行う装置の処理能力が限られた能力となり易い。このために、特徴点の抽出や追跡に要する負担はできる限り小さくすることが望まれる。また、或るフレーム画像で予め設定された抽出範囲から抽出された特徴点が次のフレーム画像で抽出範囲外となって消失した場合に、誤った特徴点の追跡が行われる可能性があることがわかった。

本発明は、上記の課題に鑑み、処理負担を低減しつつ、特徴点の誤った追跡が生じる可能性を抑制することができる技術を提供することを目的とする。

上記目的を達成するために本発明の画像処理装置は、移動体に搭載されるカメラで撮影される動画像を処理する画像処理装置であって、前記動画像を構成する第ｎフレーム画像（ｎは自然数）に設定される抽出領域から特徴点を抽出する抽出部と、前記動画像を構成する第（ｎ＋１）フレーム画像にて第ｎフレーム画像で抽出された前記特徴点の追跡を行う追跡部と、を備え、前記追跡部は、第ｎフレーム画像で抽出された前記特徴点のうち、所定のタイミングで前記抽出領域の外部に位置すると判断される前記特徴点の少なくとも一部を追跡対象から除外する構成（第１の構成）になっている。

また、上記第１の構成の画像処理装置において、前記追跡部は、前記移動体の速度および進行方向に基づいて、前記特徴点が前記所定のタイミングで前記抽出領域の外部に位置するか否かの判断を行う構成（第２の構成）であることが好ましい。

また、上記第１又は第２の構成の画像処理装置において、前記所定のタイミングは、第（ｎ＋１）フレーム画像が撮影されるタイミングであり、前記追跡部は、第ｎフレーム画像で抽出された前記特徴点のうち、前記所定のタイミングで前記抽出領域の外部に位置すると判断される前記特徴点の全てを追跡対象から除外する構成（第３の構成）であってよい。

また、上記第３の構成の画像処理装置において、前記追跡部は、第ｎフレーム画像と第（ｎ＋１）フレーム画像との間における前記特徴点の動きを示すオプティカルローを算出し、前記オプティカルフローに基づき、前記カメラの姿勢を推定する推定部を更に備える構成（第４の構成）であってよい。

また、上記第１又は第２の構成の画像処理装置において、前記所定のタイミングは、第（ｎ＋ｘ）フレーム画像（ｘは２以上の自然数）が撮影されるタイミングであり、前記追跡部は、第ｎフレーム画像で抽出された前記特徴点のうち、既に追跡対象となっておらず、且つ、前記所定のタイミングで前記抽出領域の外部に位置すると判断される前記特徴点を追跡対象から除外する構成（第５の構成）であってよい。

また、上記第５の構成の画像処理装置において、前記追跡部は、第ｎフレーム画像と第（ｎ＋ｘ）フレーム画像との間における前記特徴点の動きを示すオプティカルローを算出し、前記オプティカルフローに基づき、前記カメラの姿勢を推定する推定部を更に備える構成（第６の構成）であってよい。

また、上記目的を達成するために本発明の画像処理方法は、移動体に搭載されるカメラで撮影される動画像を処理する画像処理方法であって、前記動画像を構成する第ｎフレーム画像（ｎは自然数）に設定される抽出領域から特徴点を抽出する抽出工程と、前記動画像を構成する第（ｎ＋１）フレーム画像にて第ｎフレーム画像で抽出された前記特徴点の追跡を行う追跡工程と、を備え、前記追跡工程においては、第ｎフレーム画像で抽出された前記特徴点のうち、所定のタイミングで前記抽出領域の外部に位置すると判断される前記特徴点の少なくとも一部が追跡対象から除外される構成（第７の構成）になっている。

本発明によれば、処理負担を低減しつつ、特徴点の誤った追跡が生じる可能性を抑制することができる。

画像処理装置の構成を説明するための図 画像処理装置において実行されるカメラの姿勢推定処理の一例を示すフローチャート 特徴点の抽出について説明するための図 オプティカルフローの算出について説明するための図 オプティカルフローから仮想的に形成される四角形を示す図 所定の平面との交線が互いに平行になる面の組を２組特定する手法を説明するための図 特定した面の組の一方に基づき、面同士の交線の方向を求める手法を説明するための図 特定した面の組の他方に基づき、面同士の交線の方向を求める手法を説明するための図 本実施形態の画像処理装置の開発時における本出願人の知見について説明するための図 本実施形態の画像処理装置の開発時における本出願人の知見について説明するための図 本実施形態の画像処理装置の開発時における本出願人の知見について説明するための図 本実施形態の画像処理装置の開発時における本出願人の知見について説明するための図 追跡部による追跡対象の除外処理について説明するための模式図 追跡部による追跡対象の除外処理について補足説明するための模式図 追跡部による追跡対象の除外処理について補足説明するための他の模式図 変形例における追跡部による追跡対象の除外処理について説明するための模式図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、移動体として車両を例にとり説明するが、移動体は車両に限定されない。車両には、例えば自動車、電車、二輪車、無人搬送車等の車輪のついた乗り物が広く含まれる。車両以外の移動体として、例えば船舶や航空機等が挙げられる。

また以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。

＜１．画像処理装置の概要＞
図１は、本発明の実施形態に係る画像処理装置１の構成を説明するための図である。図１には、画像処理装置１に情報を入力する撮影部２、舵角センサ３、および、速度センサ４も示されている。本実施形態では、画像処理装置１は、撮影部２が搭載される車両ごとに備えられる。以下、画像処理装置１が備えられる車両のことを自車両と表現することがある。なお、画像処理装置１は、車載装置であっても、車両から持ち出し可能な携帯型の装置であってもよい。また、画像処理装置１は、必ずしも車両等の移動体に搭載されなくてよい。

撮影部２は、車両外部の状況を監視する目的で車両に設けられる。撮影部２は、少なくとも１つのカメラ２１を備える。カメラ２１は、いわゆる車載カメラであり、車両に固定配置される。カメラ２１は、画像処理装置１に有線又は無線により接続され、撮影画像を画像処理装置１に出力する。

なお、撮影部２が車両の周囲の状況を監視する目的で設けられる場合には、撮影部２は、好ましくは、フロントカメラと、バックカメラと、左サイドカメラと、右サイドカメラとの４つのカメラ２１を備える。フロントカメラは、車両の前方を撮影するカメラである。バックカメラは、車両の後方を撮影するカメラである。左サイドカメラは、車両の左方を撮影するカメラである。右サイドカメラは、車両の右方を撮影するカメラである。これら４つのカメラ２１は、例えば魚眼レンズを用いて構成され、水平方向の画角θは１８０度以上とされる。これにより、４つのカメラ２１によって、車両の水平方向における全周囲を撮影することができる。

舵角センサ３は、画像処理装置１および撮影部２が搭載される車両に備えられ、当該車両のステアリングホイール（ハンドル）の回転角を検出する。舵角センサ３の出力は、ＣＡＮ（Controller Area Network）バス等の通信バスＢ１を介して画像処理装置１に入力される。

速度センサ４は、画像処理装置１および撮影部２が搭載される車両に備えられ、当該車両の速度を検出する。速度センサ４の出力は、通信バスＢ１を介して画像処理装置１に入力される。

画像処理装置１は、車両（移動体）に搭載されるカメラ２１で撮影される動画像を処理する。本実施形態では、画像処理装置１は、カメラ２１の姿勢を推定する姿勢推定装置としての機能を有する。カメラ２１は、例えば、経年劣化や外部からの衝撃等によって取付け姿勢が変化することがある。姿勢推定装置として機能する本実施形態の画像処理装置１は、カメラ２１の姿勢推定を行うことにより、カメラ２１の取付け姿勢の変化（異常）を検出することができる。

図１に示すように、画像処理装置１は、取得部１１と、制御部１２と、記憶部１３と、を備える。

取得部１１は、車両に搭載されるカメラ２１で撮影された画像を取得する。取得部１１は、カメラ２１からアナログ又はデジタルの画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。すなわち、取得部１１によって取得される画像の集合体がカメラ２１で撮影される動画像である。そして、取得した画像がアナログの場合には、取得部１１は、そのアナログの画像をデジタルの画像に変換（Ａ／Ｄ変換）する。取得部１１は、取得した画像（Ａ／Ｄ変換が行われた場合には変換後の画像）を制御部１２に出力する。取得部１１から出力される１つの画像が、動画像を構成する１つのフレーム画像となる。

制御部１２は、例えばマイクロコンピュータ等のコンピュータであり、画像処理装置１の全体を統括的に制御するコントローラである。制御部１２は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。記憶部１３は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１３は、ファームウェアとしてのプログラムや各種のデータを記憶する。

図１に示す抽出部１２１、追跡部１２２、および、推定部１２３は、制御部１２のＣＰＵが記憶部１３に記憶されるプログラムに従って演算処理を実行することにより実現される制御部１２の機能である。言い換えると、画像処理装置１は、抽出部１２１と、追跡部１２２と、推定部１２３とを備える。

なお、制御部１２の、抽出部１２１、追跡部１２２、および、推定部１２３の少なくともいずれか一つは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、抽出部１２１、追跡部１２２、および、推定部１２３は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてよい。また、取得部１１は、制御部１２のＣＰＵがプログラムに従って演算処理を行うことによって実現される構成でもよい。

抽出部１２１は、カメラ２１で撮影される動画像を構成する第ｎフレーム画像に設定される抽出領域から特徴点を抽出する。ｎは自然数である。抽出領域は、フレーム画像中の狙った対象から特徴点を効率良く抽出する等の目的で設定される。本実施形態では、狙った対象は、自車両が走行する路面である。抽出領域は、フレーム画像の路面が映る領域に設定される。なお、本明細書では、抽出領域のことをＲＯＩ（Region Of Interest）と記載することがある。

特徴点は、撮影画像中のエッジの交点など、撮影画像において際立って検出できる点である。特徴点は、例えば路面に描かれた白線のエッジ、路面上のひび、路面上のしみ、路面上の砂利などである。本実施形態では、好ましい形態として、コーナーらしさを示すコーナー度が高い特徴点を抽出する。コーナーとは２つのエッジが交わる部分である。コーナー度は、例えばＨａｒｒｉｓオペレータやＫＬＴ（Kanade-Lucas-Tomasi）トラッカーなどの公知の検出手法を用いて求めることができる。なお、ＲＯＩから抽出される特徴点の数は、ゼロ、単数、および、複数のうちのいずれかである。

追跡部１２２は、カメラ２１で撮影される動画像を構成する第（ｎ＋１）フレーム画像にて、第ｎフレーム画像で抽出された特徴点の追跡を行う。詳細には、追跡部１２２は、第（ｎ＋１）フレーム画像にて、第ｎフレーム画像で抽出された特徴点と一致する特徴点を探索する。なお、第ｎフレーム画像で複数の特徴点が抽出された場合には、当該複数の特徴点それぞれが第（ｎ＋１）フレーム画像において追跡対象となる。ただし、本実施形態では、特定の要件を満たす特徴点については追跡対象から除外される。この点の詳細については後述する。

本実施形態では、第（ｎ＋１）フレーム画像において一致する特徴点が見つけられた場合、追跡部１２２は、第ｎフレーム画像と第（ｎ＋１）フレーム画像との間における特徴点の動きを示すオプティカルフローを算出する。一致する特徴点が見つけられない場合には、オプティカルフローは算出されない。複数の特徴点が追跡対象とされた場合、複数のオプティカルフローが算出される。追跡対象から除外された特徴点については、オプティカルフローは算出されない。オプティカルフローの算出の詳細ついては後述する。

推定部１２３は、追跡部１２２で算出されたオプティカルフローに基づき、カメラ２１の姿勢を推定する。カメラ２１の姿勢の推定処理の詳細については後述する。なお、推定部１２３は、オプティカルフローに基づき、自車両の移動量の推定を行う構成であってもよい。

＜２．姿勢推定処理＞
次に、画像処理装置１によって実行されるカメラ２１の姿勢推定処理について説明する。図２は、画像処理装置１において実行されるカメラ２１の姿勢推定処理の一例を示すフローチャートである。なお、撮影部２が複数のカメラ２１を備える場合には、画像処理装置１は、各カメラ２１に対して、図２に示す姿勢推定処理を実行する。ここでは、カメラ２１がフロントカメラである場合を例に、画像処理装置１によって実行されるカメラ２１の姿勢推定処理について説明する。

図２に示すように、まず、制御部１２は、カメラ２１を搭載する自車両が直進しているか否かを監視する（ステップＳ１）。自車両が直進しているか否かは、例えば、舵角センサ３から得られるステアリングホイールの回転角情報に基づいて判断することができる。例えば、ステアリングホイールの回転角がゼロのときに自車両が完全にまっすぐに進むとした場合に、回転角がゼロの場合だけでなく、回転角がプラス方向とマイナス方向の一定範囲内の値である場合を含めて、自車両が直進していると判断してよい。なお、直進には、前方方向の直進と、後退方向の直進との両方が含まれる。

制御部１２は、自車両の直進を検出するまで、ステップＳ１の監視を繰り返す。言い換えると、制御部１２は、自車両が直進しない限り、カメラ２１の姿勢の推定処理を進めない。これによれば、直進移動中における特徴点の位置変化を用いて姿勢の推定が行われることになり、自車両の進行方向が曲がっている場合の情報を用いて姿勢の推定が行われないので、姿勢の推定処理が複雑になることを避けることができる。ただし、自車両の進行方向が曲がっているときの特徴点の位置変化を用いて、姿勢の推定処理が進められる構成としてもよい。

なお、自車両が直進走行しているか否かの判断に加えて、制御部１２は、自車両の速度が所定の速度範囲内であるか否かの判断を行う構成とすることが好ましい。自車両の速度が遅すぎると、特徴点の動きが少なくオプティカルフローの算出の精度が低下する可能性がある。一方、自車両の速度が速すぎると、特徴点の動きが速すぎて特徴点を追従できない可能性がある。自車両の速度が所定の速度範囲内である場合にのみ姿勢の推定処理を進めることにより、このような不具合の発生を抑制することができる。なお、所定の速度範囲は、例えば、時速１０ｋｍ以上、時速４０ｋｍ以下等であってよい。自車両の速度は、速度センサ４を利用して取得されてよい。

自車両が直進していると判断される場合（ステップＳ１でＹｅｓ）、制御部１２は、取得部１１を介してカメラ２１から動画像を取得する（ステップＳ２）。制御部１２は、例えば数フレームから数十フレームのフレーム画像を取得する。

次に、抽出部１２１が、各フレーム画像について、抽出領域（ＲＯＩ）から特徴点の抽出を行う（ステップＳ３）。図３は、特徴点の抽出について説明するための図である。図３は、カメラ２１で撮影された第ｎフレーム画像Ｐを模式的に示している。第ｎフレーム画像Ｐは、自車両のボディが映り込む領域ＢＯを含む。図３において、符号５はＲＯＩである。ＲＯＩ５は、第ｎフレーム画像Ｐの路面ＲＳが映る範囲に設定されている。図３に示す例では、ＲＯＩ５は矩形状であるが、例えば円形状や楕円状等の矩形状以外の形状であってもよい。

図３に示す例では、路面ＲＳに描かれている制限速度を示す数字の部分にコーナー度が高い第１特徴点ＦＰ１及び第２特徴点ＦＰ２が存在する。制限速度を示す数字は、ＲＯＩ５内に存在する。このために、抽出部１２１は、第ｎフレーム画像Ｐにおいて路面ＲＳ上に存在する第１特徴点ＦＰ１及び第２特徴点ＦＰ２を抽出する。

なお、図３では、便宜的に２つの特徴点ＦＰ１、ＦＰ２のみが示されているが、コーナー度が所定の特徴点閾値を超える特徴点が存在すれば、これ以外にも特徴点は抽出される。逆に、コーナー度が所定の特徴点閾値を超える特徴点が存在しない場合には、特徴点は抽出されない。各フレーム画像において、特徴点が１つも抽出されないこともあり得る。

図２に戻って、特徴点の抽出処理が全てのフレーム画像に対して完了すると、追跡部１２２は、各フレーム画像についてオプティカルフローの算出を行う（ステップＳ４）。詳細には、追跡部１２２は、オプティカルフローを算出する前に、抽出部１２１で抽出された特徴点のうち、追跡対象から除外されていない特徴点の追跡を行う。追跡部１２２は、特徴点の追跡の結果に従ってオプティカルフローを算出する。

図４は、オプティカルフローの算出について説明するための図である。図４は、図３と同様に便宜的に示された模式図である。図４は、図３に示す第ｎフレーム画像Ｐの撮影後、１フレーム周期経過した後にカメラ２１で撮影された第（ｎ＋１）フレーム画像Ｐ’である。図３に示す第ｎフレーム画像Ｐの撮影後、１フレーム周期の間、自車両は前方に直進している。図４に示す丸印ＦＰ１Ｐは、図３に示す第ｎフレーム画像Ｐの撮影時点における第１特徴点ＦＰ１の位置を示す。図４に示す丸印ＦＰ２Ｐは、図３に示す第ｎフレーム画像Ｐの撮影時点における第２特徴点ＦＰ２の位置を示す。なお、第１特徴点ＦＰ１および第２特徴点ＦＰ２は、追跡対象から除外されていない。

図４に示すように、自車両が前方に直進すると、自車両の前方に存在する第１特徴点ＦＰ１及び第２特徴点ＦＰ２は自車両に近づく。すなわち、第１特徴点ＦＰ１及び第２特徴点ＦＰ２は、第（ｎ＋１）フレーム画像Ｐ’と第ｎフレーム画像Ｐとで異なる位置に現れる。

追跡部１２２は、第ｎフレーム画像Ｐの第１特徴点ＦＰ１と一致する特徴点を、第（ｎ＋１）フレーム画像Ｐ’のＲＯＩ５内において探索する。追跡部１２２は、第（ｎ＋１）フレーム画像Ｐ’のＲＯＩ５内において、第ｎフレーム画像Ｐの第１特徴点ＦＰ１と近傍の画素値も含めて対応付けられる特徴点を検出すると、追跡に成功したと判断し、オプティカルフローを算出する。図４に示す例では、第（ｎ＋１）フレーム画像Ｐ’における第１特徴点ＦＰ１が第ｎフレーム画像Ｐの第１特徴点ＦＰ１と対応づけられ、対応付けられた第１特徴点ＦＰ１のそれぞれの位置に基づいて、第１特徴点ＦＰ１のオプティカルフローＯＦ１が算出される。同様にして、第（ｎ＋１）フレーム画像Ｐ’の第２特徴点ＦＰ２と第ｎフレーム画像Ｐの第２特徴点ＦＰ２とが対応付けられ、対応付けられた第２特徴点ＦＰ２のそれぞれの位置に基づいて、第２特徴点ＦＰ２のオプティカルフローＯＦ２が算出される。

なお、ｎ＝１のフレーム画像については、それ以前のフレーム画像が存在しないためにオプティカルフローは算出されない。各フレーム画像において２つより多くのオプティカルフローが得られる場合がある。逆に、各フレーム画像において、オプティカルフローが１つしか得られない場合や、１つも得られない場合がある。

図２に戻って、オプティカルフローの算出が行われると、推定部１２３は、各フレーム画像において、以後に行われる処理に使用するオプティカルフローを所定の選択条件にしたがって選択する（ステップＳ５）。所定の選択条件は、以後に行われる姿勢の推定に適した、２つのオプティカルフローで構成される組が選択されるように設定される。所定の選択条件を満たす組が複数存在する場合には、所定の選択条件を満たす全ての組が選択される。所定の選択条件を満たす組の数は、フレーム画像から抽出される特徴点の数等によって変動する。なお、所定の選択条件を満たす組が存在しない場合には、以後の処理を行うことができない。このために、一旦、姿勢の推定処理は終了される。この段階で姿勢の推定処理が終了された場合には、姿勢の推定結果は得られないことになる。

ここで、ステップＳ５で選択された使用オプティカルフローの組に、図４に示す第１オプティカルフローＯＦ１と第２オプティカルフローＯＦ２との組が含まれるものして、ステップＳ６以降の処理について説明する。

推定部１２３は、第１特徴点ＦＰ１のオプティカルフローＯＦ１と第２特徴点ＦＰ２のオプティカルフローＯＦ２を用いた処理を進める。推定部１２３は、特徴点に対し、記憶部１３に記憶されているカメラ２１の内部パラメータを用いて座標変換を行う。座標変換では、カメラ２１の収差補正と、歪み補正とが行われる。収差補正は、カメラ２１の光学系の収差による歪みを補正するために行われる。具体的には樽型歪みや糸巻歪みなど歪曲収差の補正である。歪み補正は、カメラ２１の光学系そのものの歪みを補正するために行われる。具体的には魚眼補正などである。座標変換により、特徴点の座標は、被写体が透視投影によって撮影された場合に二次元画像上で得られる座標に変換される。

特徴点の座標変換が行われると、推定部１２３は、図５に示すように、第１特徴点ＦＰ１のオプティカルフローＯＦ１の始点を頂点ＳＰ１、第１特徴点ＦＰ１のオプティカルフローＯＦ１の終点を頂点ＥＰ１、第２特徴点ＦＰ１のオプティカルフローＯＦ２の始点を頂点ＳＰ２、及び第２特徴点ＦＰ２のオプティカルフローＯＦ２の終点を頂点ＥＰ２とする四角形ＱＬを仮想的に形成する（ステップＳ６）。以降、説明のために四角形や、該四角形の辺などの幾何的要素を仮想的に形成して用いる。しかし、実際の処理では、特徴点の座標や直線の方向などのベクトル演算に基づき、同等の作用を持つ幾何的要素に基づかない処理としてもよい。

四角形ＱＬが仮想的に形成されると、推定部１２３は、四角形ＱＬと、記憶部１３に記憶されているカメラ２１の内部パラメータとを用いて、三次元空間におけるカメラ２１の投影面ＩＭＧ（図６参照）上に四角形ＱＬを移動させ、投影面ＩＭＧ上での四角形ＱＬ１を仮想的に生成する（ステップＳ７）。

なお説明のため、以下のように辺を定義する。四角形ＱＬ１の第１辺ＳＤ１は、四角形ＱＬにおいて、頂点ＳＰ１および頂点ＳＰ２を結んだ辺に対応する。つまり、第ｎフレーム画像Ｐにおける第１特徴点ＦＰ１と第２特徴点ＦＰ２を結んだ辺に相当する。同様に、四角形ＱＬ１の第２辺ＳＤ２は、四角形ＱＬにおいて、頂点ＳＰ２および頂点ＥＰ２を結んだ辺に対応する。つまり、第２特徴点ＦＰ２のオプティカルフローＯＦ２に相当する。同様に、四角形ＱＬ１の第３辺ＳＤ３は、四角形ＱＬにおいて、頂点ＥＰ１および頂点ＥＰ２を結んだ辺に対応する。つまり、第（ｎ＋１）フレーム画像Ｐ’における第１特徴点ＦＰ１と第２特徴点ＦＰ２とを結んだ辺に相当する。同様に、四角形ＱＬ１の第４辺ＳＤ４は、四角形ＱＬにおいて、頂点ＳＰ１および頂点ＥＰ１を結んだ辺に対応する。つまり、第１特徴点ＦＰ１のオプティカルフローＯＦ１に相当する。

また、以下のように面を定義する（図６参照）。四角形ＱＬ１の第１辺ＳＤ１とカメラ２１の光学中心ＯＣとが含まれる面を第１面Ｆ１とする。同様に、四角形ＱＬ１の第２辺ＳＤ２とカメラ２１の光学中心ＯＣとが含まれる面を第２面Ｆ２とする。同様に、四角形ＱＬ１の第３辺ＳＤ３とカメラ２１の光学中心ＯＣとが含まれる面を第３面Ｆ３とする。同様に、四角形ＱＬ１の第４辺ＳＤ４とカメラ２１の光学中心ＯＣとが含まれる面を第４面Ｆ４とする。

次に、推定部１２３は、所定の平面との交線が互いに平行になる面の組を２組特定する（ステップＳ８）。所定の平面とはあらかじめ平面の法線が分かっている面である。具体的には車両が移動を行っている平面であり、つまり路面である。所定の平面は、厳密な平面でなくてもよく、推定部１２３が所定の平面との交線が互いに平行になる面の組を２組特定する際に平面とみなすことができるものであればよい。

本実施形態では、画像処理装置１は、自車両が直進している場合に、異なる時刻に撮影された２つの画像から特徴点を抽出し、該特徴点のオプティカルフローを算出する。また、該特徴点は所定の平面（本実施形態では路面）上に位置している静止物から抽出される。したがって、算出されるオプティカルフローは実世界上では、自車両に対する静止物の相対的な位置変化を表す。つまり向きが逆となった自車両の移動ベクトルである。

四角形ＱＬ１の第２辺ＳＤ２と第４辺ＳＤ４とは、共に特徴点のオプティカルフローに対応するので、共に実世界上では自車両の移動ベクトルに相当する。したがって、路面上では互いに平行となると想定される。

また、四角形ＱＬ１の第１辺ＳＤ１と第３辺ＳＤ３とは、共に特徴点同士の位置関係なので、実世界上では自車両の移動に伴う静止物同士の位置関係に相当する。移動前の位置関係が第１辺ＳＤ１に相当し、移動後の位置関係が第３辺ＳＤ３に相当する。このとき静止物の位置は変わらないため、移動前後で位置関係は変わらない。したがって、路面上ではこれも互いに平行となると想定される。

したがって、推定部１２３は、路面との交線が平行な面として、第２面Ｆ２と第４面Ｆ４との組と、第１面Ｆ１と第３面Ｆ３との組と、の２つの組を特定する。つまり、推定部１２３は、オプティカルフローを含む面同士を１つの組とし、同時刻に撮影された特徴点を含む面同士を他の組として、計２つの組を特定する。

なお、図６において四角形ＱＬ２は、第（ｎ＋１）フレーム画像Ｐ’の撮影時点での第１特徴点ＦＰ１の３次元空間（実世界）上の位置、第（ｎ＋１）フレーム画像Ｐ’の撮影時点での第２特徴点ＦＰ２の３次元空間上の位置、第ｎフレーム画像Ｐの撮影時点での第１特徴点ＦＰ１の３次元空間上の位置、及び第ｎフレーム画像Ｐの撮影時点での第２特徴点ＦＰ２の３次元空間上の位置を頂点とする四角形である。第１面Ｆ１は、四角形ＱＬ２の第１辺ＳＤ１１を含む。同様に、第２面Ｆ２は四角形ＱＬ２の第２辺ＳＤ１２を含み、第３面Ｆ３は四角形ＱＬ２の第３辺ＳＤ１３を含み、第４面Ｆ４は四角形ＱＬ２の第４辺ＳＤ１４を含む。このとき、上記のように四角形ＱＬ２は路面上に形成される平行四辺形であると想定される。

次に、推定部１２３は、路面の法線を算出する（ステップＳ９）。まず、推定部１２３は、先に特定した面の組の一方である第１面Ｆ１と第３面Ｆ３とに基づき、面同士の交線の方向を求める。詳細には、第１面Ｆ１と第３面Ｆ３との交線ＣＬ１の向きを求める（図７参照）。交線ＣＬ１の方向ベクトルＶ１は、第１面Ｆ１の法線ベクトル及び第３面Ｆ３の法線ベクトルそれぞれと垂直なベクトルである。したがって、推定部１２３は、第１面Ｆ１の法線ベクトルと第３面Ｆ３の法線ベクトルとの外積により、交線ＣＬ１の方向ベクトルＶ１を求める。第１面Ｆ１と第３面Ｆ３は、路面との交線が平行となるため、方向ベクトルＶ１は路面と平行になる。

同様に、推定部１２３は、先に特定した面の組の他方である第２面Ｆ２と第４面Ｆ４との交線の方向を求める。詳細には第２面Ｆ２と第４面Ｆ４との交線ＣＬ２の向きを求める（図８参照）。交線ＣＬ２の方向ベクトルＶ２は、第２面Ｆ２の法線ベクトル及び第４面Ｆ４の法線ベクトルそれぞれと垂直なベクトルである。したがって、推定部１２３は、第２面Ｆ２の法線ベクトルと第４面Ｆ４の法線ベクトルとの外積により、交線ＣＬ２の方向ベクトルＶ２を求める。第２面Ｆ２と第４面Ｆ４も同様に、路面との交線が平行となるため、方向ベクトルＶ２は路面と平行になる。

推定部１２３は、方向ベクトルＶ１と方向ベクトルＶ２との外積により、四角形ＱＬ２の面の法線、すなわち路面の法線を算出する。推定部１２３が算出した路面の法線はカメラ２１のカメラ座標系で算出されるため、実際の路面の法線である垂直方向との違いから３次元空間の座標系を求め、路面に対するカメラ２１の姿勢を推定することができる。その推定結果から推定部１２３は自車両に対するカメラ２１の姿勢を推定する（ステップＳ１０）。なお、ステップＳ９の算出処理は、例えば公知のARToolkitを利用して実行することができる。

ステップＳ１０における姿勢推定が終了すると、推定部１２３は、ステップＳ５で選択した全てのオプティカルフローの組について、姿勢の推定が完了したか否かを確認する（ステップＳ１１）。全ての組に対して姿勢の推定が完了している場合には（ステップＳ１１でＹｅｓ）、図２に示すフローが終了する。一方、全ての組に対して姿勢の推定が完了していない場合には（ステップＳ１１でＮｏ）、ステップＳ６に戻ってステップＳ６以降の処理が繰り返される。

なお、上記の説明ではカメラ２１の光学中心ＯＣと、四角形ＱＬ１の１つの辺を含む平面を特定するとしたがこの限りではない。当該平面の法線方向の特定をもって平面を特定するとしてもよい。例えば光学中心ＯＣから各頂点への方向ベクトルの外積により平面の法線方向を求め、該法線方向によって面を特定するとしてもよい。この場合、第１面Ｆ１の法線方向と第３面Ｆ３の法線方向とを１つの組とし、第２面Ｆ２の法線方向と第４面Ｆ４の法線方向とを他の組として２つの組を特定するとよい。

また、面は平行移動させてもよい。例えば第１面Ｆ１の代わりに、第１面Ｆ１を平行移動させた面を第３面Ｆ３と組としてもよい。平行移動しても所定の平面との交線の向きは変わらないからである。

また、画像処理装置１は、複数の推定結果に基づいて姿勢の推定を確定させることが好ましい。この場合、所定数以上の姿勢の推定結果が得られるまで図２の処理を繰り返す構成としてよい。所定数以上の姿勢の推定結果が蓄積された時点で、例えば、平均値、又は、ヒストグラムの中央値やピーク値を求めて、当該求めた結果を姿勢推定の確定結果としてよい。姿勢推定の確定結果は、画像処理装置１における更なる処理に利用されてもよいし、外部装置に出力されてもよい。

姿勢推定の確定結果に基づいて、例えば、カメラ２１の取付けのずれが生じた状態であるか否かが判定されてよい。カメラ２１の取付けのずれが生じた状態であると判定された場合、例えば、当該異常事態が自車両のユーザに報知される。これにより、自車両のユーザはディーラによるカメラの取付け調整を依頼する等の対策をとることが可能となる。

また、カメラ２１の姿勢推定の確定結果は、カメラ２１のパラメータの補正に利用されてよい。これにより、カメラ２１の取付けのずれが生じても、そのずれに応じたカメラのキャリブレーションが実行されることになり、カメラ２１の取付けのずれが撮影画像に及ぼす悪影響を抑制することができる。また、姿勢の推定結果は、複数の車両とネットワークにより通信可能に設けられるセンターに撮影画像を送信する場合に、撮影画像とセットにしてセンターに送信されてもよい。これにより、センターでの撮影情報の取り扱いを適切に行うことができる。

＜３．特徴点の追跡の詳細＞
ここで、本実施形態の構成について説明する前に、図９（図９Ａおよび図９Ｂ）および図１０（図１０Ａおよび図１０Ｂ）を用いて、本実施形態の画像処理装置１の開発時における本出願人の知見について紹介する。

なお、図９Ａ、図９Ｂ、図１０Ａおよび図１０Ｂは、フロントカメラにより撮影された画像である。図９Ａは、第ｎフレーム画像Ｐの一例である。図９Ｂは、図９Ａに示す第ｎフレーム画像Ｐの撮影後、１フレーム周期経過後に撮影した第（ｎ＋１）フレーム画像Ｐ’である。図１０Ａは、第ｎフレーム画像Ｐの他の一例である。図１０Ｂは、図１０Ａに示す第ｎフレーム画像Ｐの撮影後、１フレーム周期経過後に撮影した第（ｎ＋１）フレーム画像Ｐ’である。図９および図１０に示す例では、１フレーム周期の間、自車両は前方に直進している。

図９Ａに示す第ｎフレーム画像Ｐにおいては、ＲＯＩ５内に路面ＲＳ上の白線１００のコーナーが複数映っており、これらのコーナーは特徴点ＦＰとして抽出されている。一方、図９Ｂに示す第（ｎ＋１）フレーム画像Ｐ’においては、自車両の前進により、第ｎフレーム画像ＰにおいてＲＯＩ５内に存在した白線１００のコーナーはＲＯＩ５外となっており、抽出された特徴点ＦＰは存在しない。このような場合、第（ｎ＋１）フレーム画像Ｐ’において、第ｎフレーム画像Ｐで抽出された特徴点ＦＰの追跡を行っても、一致する特徴点を見つけられない。すなわち、無駄な特徴点の追跡処理を行うことになる。

また、図１０Ａに示す第ｎフレーム画像Ｐにおいては、ＲＯＩ５内に路面ＲＳ上に描かれた矢印２００の一部のコーナーから特徴点ＦＰが抽出されている。図１０Ｂに示す第（ｎ＋１）フレーム画像Ｐ’においては、自車両の前進により、第ｎフレーム画像ＰにおいてＲＯＩ５内に存在した矢印２００のコーナーがＲＯＩ５外となっている。このために、ＲＯＩ５内に第ｎフレーム画像Ｐで抽出された特徴点ＦＰと一致する特徴点は存在しない。一方で、第（ｎ＋１）フレーム画像Ｐ’においては、他の特徴点ＦＰ’が抽出されている。仮に当該他の特徴点ＦＰ’が、第ｎフレーム画像Ｐで抽出された特徴点ＦＰと類似している場合、誤って第ｎフレーム画像Ｐで抽出された特徴点ＦＰと一致する特徴点と判断される可能性がある。そして、このような誤判断がなされた場合、図１０Ｂに示すような誤ったオプティカルフローＯＦが算出される。なお、図１０Ｂにおける白丸ＦＰＰは、図１０Ａに示す第ｎフレーム画像Ｐの撮影時点における特徴点ＦＰの位置を示す。

本実施形態の画像処理装置１は、図９および図１０を用いて説明したような事態の発生を抑制するための工夫がなされている。この点について以下説明する。

本実施形態では、追跡部１２２は、第ｎフレーム画像Ｐで抽出された特徴点ＦＰのうち、所定のタイミングでＲＯＩ５の外部に位置すると判断される特徴点ＦＰの少なくとも一部を追跡対象から除外する。詳細には、所定のタイミングは、第（ｎ＋１）フレーム画像Ｐ’が撮影されるタイミングであり、追跡部１２２は、第ｎフレーム画像Ｐで抽出された特徴点のうち、所定のタイミングでＲＯＩ５の外部に位置すると判断される特徴点ＦＰの全てを追跡対象から除外する。

すなわち、追跡部１２２は、第ｎフレーム画像Ｐで抽出された特徴点ＦＰのうち、第（ｎ＋１）フレーム画像Ｐ’が撮影されるタイミングでＲＯＩ５外となる特徴点ＦＰの全てを追跡対象から除外する。本構成によれば、追跡しても一致する特徴点ＦＰが存在しない特徴点ＦＰに対して無駄に追跡処理を行うことを避けられ、処理負担を低減することができる。また、本構成によれば、追跡を行っても本来一致する特徴点ＦＰが存在しない特徴点ＦＰに対して追跡処理を行ったことが原因となって誤追跡が発生することを抑制できる。これらの結果として、本実施形態では、処理負荷を低減しつつ、姿勢の推定精度を向上することができる。

図１１は、本実施形態における追跡部１２２による追跡対象の除外処理について説明するための模式図である。図１１において、符号６は自車両である。カメラ２１はフロントカメラであり、自車両６は前方に直進している。図１１に示す例では、ＲＯＩ５内において、白線１００の前方のコーナーから前方特徴点ＦＰ１１が抽出され、白線１００の後方のコーナーから後方特徴点ＦＰ１２が抽出されている。

追跡部１２２は、自車両６の速度および進行方向に基づいて、特徴点ＦＰ１１、ＦＰ１２が所定のタイミング（ここでは、第（ｎ＋１）フレーム画像Ｐが撮影されるタイミング）でＲＯＩ５の外部に位置するとなるか否かを判断する。追跡部１２２は、自車両６の速度を、例えば速度センサ４から通信バスＢ１を介して取得することができる。追跡部１２２は、自車両６の進行方向を、例えば不図示のシフトレバーの位置から通信バスＢ１を介して取得することができる。なお、本実施形態では、動画像は車両が直進している場合に取得される。このために、車両の進行方向としては前進と後退とのいずれかが想定される。このために、追跡部１２２は、自車両６のシフトレバーの位置によって進行方向を判断する。

図１１に示す例においては、自車両６が前方に直進しているために、特徴点ＦＰ１１、ＦＰ１２は自車両６に近づく方向に移動する。この場合、自車両６の近い側の特徴点ほど、次のフレーム画像でＲＯＩ５外となる可能性が高くなる。そして、自車両６の速度に応じて、特徴点がＲＯＩ５外となる範囲は変わる。そこで、本実施形態では、自車両６の進行方向だけでなく、自車両６の速度も考慮して特徴点を追跡対象から除外する範囲（除外範囲）を決定する。自車両６の速度からフレーム画像上における特徴点の移動量の推定値を求め、算出した移動量の推定値を用いてＲＯＩ５外となる特徴点が生じる範囲（除外範囲）を算出する。そして、当該除外範囲以外の範囲Ｗ（図１１にて太枠で囲まれた範囲）を追跡対象の特徴点が存在する追跡対象範囲とし、この追跡対象範囲Ｗ内の特徴点を追跡対象とする。

図１１に示す例では、前方特徴点ＦＰ１１は、追跡対象範囲Ｗ内に存在し、次のフレーム画像で追跡が行われる。一方、後方特徴点ＦＰ１２は、追跡対象範囲Ｗ外に存在し、次のフレーム画像にて追跡が行われない。すなわち、後方特徴点ＦＰ１２は追跡対象から除外される。

なお、本実施形態では、追跡対象範囲Ｗを設定する構成としたが、追跡対象範囲Ｗの代わりに除外範囲が設定されてもよい。また、これらの範囲設定は行われず、抽出された特徴点ごとに次のフレーム画像でＲＯＩ５外となるか否かが判断されてもよい。

図１２は、本実施形態における追跡部１２２による追跡対象の除外処理について補足説明するための模式図である。図１２は、図１１と同様の図である。ただし、図１２においては、自車両６の速度が図１１に比べて遅い。自車両６の速度が遅いと、次のフレーム画像で特徴点がＲＯＩ５外となる範囲を狭くすることができる。このために、図１２に示す例では、追跡対象範囲Ｗが、図１１に示す例に比べて広くなっている。すなわち、追跡対象範囲Ｗは、自車両６の速度に応じて変動する。図１２に示す例では、前方特徴点ＦＰ１１および後方特徴点ＦＰ１２は、いずれも追跡対象範囲Ｗ内に存在し、追跡対象となる。

図１３は、本実施形態における追跡部１２２による追跡対象の除外処理について補足説明するための他の模式図である。図１３は、図１１と同様の図である。ただし、図１３においては、自車両６は後方に直進している。自車両６が後方に直進する場合、特徴点ＦＰ１１、ＦＰ１２は自車両６から離れる方向に移動する。この場合、自車両６から遠い側の特徴点ほど、次のフレーム画像でＲＯＩ５外となる可能性が高くなる。このために、図１３に示す例では、追跡対象範囲Ｗの設定位置が図１１に示す例と反対となり、追跡対象範囲Ｗは、ＲＯＩ５内の自車両６に近い側を占める構成となる。すなわち、追跡対象範囲Ｗは、自車両６の進行方向に応じて変動する。図１３に示す例では、前方特徴点ＦＰ１１は追跡対象範囲Ｗ外となり、追跡対象から除外される。後方特徴点ＦＰ１２は、追跡対象範囲Ｗ内に存在し、追跡対象となる。

なお、動画像を取得する際の自車両６の速度範囲が決まっている場合には、特徴点を追跡対象から除外する範囲（或いは、追跡対象範囲Ｗ）は、自車両６の進行方向に基づいて設定し、自車両６の速度によって変動しない構成とすることもできる。すなわち、追跡部１２２は、自車両６の速度と進行方向とのうち進行方向の情報のみを得て、特徴点が所定のタイミングでＲＯＩ５の外部に位置するか否かを判断してもよい。

ただし、本実施形態のように、自車両６の速度および進行方向に基づいて、範囲（例えば追跡対象範囲Ｗ）を設定する構成とした方が、範囲設定を適切とでき、処理負担の低減および誤追跡の発生の抑制をより効果的に図ることができる。また、本実施形態では、自車両が直進している際に動画像が取得されるために、自車両６の速度の変動に合わせて範囲（例えば追跡対象範囲Ｗ）の設定の切り替えが行いやすい。

＜４．変形例＞
以下、本実施形態の画像処理装置１の変形例について説明する。変形例の説明に際して、上述の実施形態と重複する内容については、原則としてその説明を省略する。

変形例の画像処理装置１においても、追跡部１２２は、各フレーム画像において、追跡対象から除外されていない特徴点に対して追跡処理を行う。ただし、追跡部１２２は、第ｎフレーム画像と第（ｎ＋ｘ）フレーム画像との間のおける特徴点の動きを示すオプティカルフローを算出する。ｘは２以上の自然数である。すなわち、変形例においては、各特徴点を１回ではなく複数回追跡した後にオプティカルフローを算出する。そして、推定部１２３は、このようにして得られたオプティカルフローに基づき、カメラ２１の姿勢を推定する。

本変形例の構成では、自車両の速度が遅い場合でも推定処理に用いるオプティカルフローの長さを十分に確保することができ、姿勢の推定の精度を向上することができる。

本変形例では、このような上述の実施形態からの構成変更に合わせて、特徴点を追跡対象から除外する処理が、上述の実施形態とは異なる。すなわち、本変形例においては、追跡部１２２は、第ｎフレーム画像で抽出された特徴点のうち、既に追跡対象となっておらず、且つ、所定のタイミングでＲＯＩ５の外部に位置すると判断される特徴点を追跡対象から除外する。所定のタイミングは、第（ｎ＋ｘ）フレーム画像が撮影されるタイミングである。すなわち、追跡部１２２は、第ｎフレーム画像で抽出された特徴点のうち、第ｎフレーム画像で新規に抽出された特徴点、且つ、第（ｎ＋ｘ）フレーム画像が撮影されるタイミングでＲＯＩ５外となる特徴点を追跡対象から除外する。

本構成によれば、追跡しても最終的にオプティカルフローが算出できないと予想される特徴点に対して無駄に追跡処理を行うことを避けられ、処理負担を低減することができる。また、本構成によれば、追跡を行ってもオプティカルフローを得る前に一致する特徴点が存在しないことになる特徴点に対して追跡処理を行ったことが原因となって誤追跡が発生することを抑制できる。これらの結果として、本変形例では、処理負荷を低減しつつ、姿勢の推定精度を向上することができる。

図１４は、変形例における追跡部１２２による追跡対象の除外処理について説明するための模式図である。図１４において、符号６は自車両である。カメラ２１はフロントカメラであり、自車両６は前方に直進している。ＲＯＩ５内において、白線１００の前方のコーナーから前方特徴点ＦＰ１１が抽出され、白線１００の後方のコーナーから後方特徴点ＦＰ１２が抽出されている。２つの特徴点ＦＰ１１、ＦＰ１２は、いずれも、既に追跡対象となった特徴点には該当しない。すなわち、２つの特徴点ＦＰ１１、ＦＰ１２は、新規に抽出された特徴点である。

図１４に示す例では、第ｎフレーム画像で新たに抽出された特徴点は、第（ｎ＋３）フレーム画像までの追跡が完了すると、第ｎフレーム画像と第（ｎ＋３）フレーム画像との間の特徴点の動きを示すオプティカルフローが算出される。図１４中の矢印は、動画像が取得されたタイミングにおける自車両６の速度から予想された１フレーム周期の間における自車両６の移動量である。

前方特徴点ＦＰ１１は、オプティカルフローが算出される段階（３フレーム画像後の段階）において、ＲＯＩ５内に存在すると判断される。このために、前方特徴点ＦＰ１１は、現在のフレーム画像（第ｎフレーム画像）において追跡対象に指定される。そして、前方特徴点ＦＰ１１は、第（ｎ＋１）フレーム画像、第（ｎ＋２）フレーム画像、および、第（ｎ＋３）フレーム画像で追跡処理が行われる。そして、第（ｎ＋３）フレーム画像の追跡処理の後に、前方特徴点ＦＰ１１のオプティカルフローが算出される。

一方、後方特徴点ＦＰ１２は、オプティカルフローが算出される段階（３フレーム画像後の段階）において、ＲＯＩ５外に存在すると判断される。このために、後方特徴点ＦＰ１２は、現在のフレーム画像（第ｎフレーム画像）において追跡対象から除外される。これにより、無駄な追跡処理を省略し、処理負担の低減、および、誤追跡の発生の抑制を図ることができる。

＜５．留意事項＞
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。

本発明は、自動駐車等の移動体の運転支援を行うカメラの姿勢推定を行うために利用することができる。また、本発明は、ドライブレコーダ等の運転情報を記録するカメラの姿勢推定を行うために利用することができる。また、本発明は、カメラの姿勢の推定情報を利用して撮影画像を補正する補正装置等に利用することができる。

また、本発明は、複数の移動体とネットワークにより通信可能に設けられるセンターと連携して動作する装置等に利用することができる。当該装置は、例えば、センターに撮影画像を送信する場合に、カメラの姿勢の推定情報を撮影画像とセットにして送信する構成であってよい。そして、センターでは、カメラの姿勢の推定情報を用いて、各種画像処理（カメラの姿勢も考慮した画像の視点・視方向を変更する処理、例えば車両の車体前方方向の画像に視点・視方向変換した画像を生成する等）、画像を用いた計測処理におけるカメラの姿勢に対する補正処理、カメラ姿勢の経年変化の統計処理（多くの車両のデータ）等を行い、ユーザへの有用な提供データを生成する等を行う。

１ 画像処理装置
５ 抽出領域、ＲＯＩ
６ 自車両（移動体）
２１ カメラ
１２１ 抽出部
１２２ 追跡部
１２３ 推定部

Claims (7)

1. 移動体に搭載されるカメラで撮影される動画像を処理する画像処理装置であって、
   前記動画像を構成する第ｎフレーム画像（ｎは自然数）に設定される抽出領域から特徴点を抽出する抽出部と、
   前記動画像を構成する第（ｎ＋１）フレーム画像にて第ｎフレーム画像で抽出された前記特徴点の追跡を行う追跡部と、
   を備え、
   前記追跡部は、第ｎフレーム画像で抽出された前記特徴点のうち、所定のタイミングで前記抽出領域の外部に位置すると判断される前記特徴点の少なくとも一部を追跡対象から除外する、画像処理装置。
2. 前記追跡部は、前記移動体の速度および進行方向に基づいて、前記特徴点が前記所定のタイミングで前記抽出領域の外部に位置するか否かの判断を行う、請求項１に記載の画像処理装置。
3. 前記所定のタイミングは、第（ｎ＋１）フレーム画像が撮影されるタイミングであり、
   前記追跡部は、第ｎフレーム画像で抽出された前記特徴点のうち、前記所定のタイミングで前記抽出領域の外部に位置すると判断される前記特徴点の全てを追跡対象から除外する、請求項１又は２に記載の画像処理装置。
4. 前記追跡部は、第ｎフレーム画像と第（ｎ＋１）フレーム画像との間における前記特徴点の動きを示すオプティカルローを算出し、
   前記オプティカルフローに基づき、前記カメラの姿勢を推定する推定部を更に備える、請求項３に記載の画像処理装置。
5. 前記所定のタイミングは、第（ｎ＋ｘ）フレーム画像（ｘは２以上の自然数）が撮影されるタイミングであり、
   前記追跡部は、第ｎフレーム画像で抽出された前記特徴点のうち、既に追跡対象となっておらず、且つ、前記所定のタイミングで前記抽出領域の外部に位置すると判断される前記特徴点を追跡対象から除外する、請求項１又は２に記載の画像処理装置。
6. 前記追跡部は、第ｎフレーム画像と第（ｎ＋ｘ）フレーム画像との間における前記特徴点の動きを示すオプティカルローを算出し、
   前記オプティカルフローに基づき、前記カメラの姿勢を推定する推定部を更に備える、請求項５に記載の画像処理装置。
7. 移動体に搭載されるカメラで撮影される動画像を処理する画像処理方法であって、
   前記動画像を構成する第ｎフレーム画像（ｎは自然数）に設定される抽出領域から特徴点を抽出する抽出工程と、
   前記動画像を構成する第（ｎ＋１）フレーム画像にて第ｎフレーム画像で抽出された前記特徴点の追跡を行う追跡工程と、
   を備え、
   前記追跡工程においては、第ｎフレーム画像で抽出された前記特徴点のうち、所定のタイミングで前記抽出領域の外部に位置すると判断される前記特徴点の少なくとも一部が追跡対象から除外される、画像処理方法。

Images