JP2016111585A

JP2016111585A - 画像処理装置、システム、画像処理方法、およびプログラム

Info

Publication number: JP2016111585A
Application number: JP2014248692A
Authority: JP
Inventors: 高橋　勝彦; Katsuhiko Takahashi; 勝彦高橋
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2014-12-09
Filing date: 2014-12-09
Publication date: 2016-06-20
Anticipated expiration: 2034-12-09
Also published as: JP6492603B2

Abstract

【課題】特殊な校正パターンなどを用いずに、自動的に、映像の傾きを補正する技術を提供する。【解決手段】画像処理装置は、撮像装置によって撮影された映像を、左右の領域に分割し、分割した領域の夫々に対して局所勾配方向ヒストグラムを計算する計算手段と、前記局所勾配方向ヒストグラムに基づき、前記撮像装置の回転量を表すカメラパラメータを推定する推定手段と、前記推定したカメラパラメータに基づき、前記映像を補正する補正手段と、を備える。【選択図】図１

Description

本発明は、画像処理装置、システム、画像処理方法およびプログラムに関する。

車載カメラ等の撮像装置（以下、単にカメラと呼ぶ）が撮影した映像から歩行者や周辺車両などの道路環境を認識するシステムでは、車両に対してカメラが常に所定の角度で設置されることが望ましい。車両とカメラとの傾きが一定であれば、システムは、撮影した映像中における歩行者や先行車両等を検知する処理の範囲を容易に設定することができるからである。また、カメラの傾きの有無は画像認識処理時の特徴量の値にも影響する。そのため、歩行者や車両が所定の傾きで映像中に映っていることで、画像認識処理を行うシステムは、本来の認識精度を達成することができるようになるためである。このように、カメラの取り付け角を一定にすることは道路環境を認識するシステムを構成する上で重要な要件である。

しかし、実際のカメラ取り付け工程では取り付け角が数度程度ずれてしまう可能性がある。これを解決するための工程として、カメラの取り付け角を画像処理によって測定し、所定値とのずれを画像処理的に解消する手段が一般に講じられている。

例えば、特許文献１には、校正指標を用いて、その校正指標がウィンドウ内に入るよう調整ボタンを用いて位置関係を調整することが記載されている。特許文献１の技術によれば、この調整によって校正指標がウィンドウ内に略一致した状態で収まった時のカメラパラメータを、そのカメラのカメラパラメータとして設定している。

また、特許文献２には、カメラ校正のための４点の座標を表す校正指標を用い、各校正指標に対応する撮影画像の４点とのホモグラフィを算定し、このホモグラフィを用いてカメラの校正を行うことが記載されている。

特開２００１−２４５３２６号公報特許第４９０５８１２号公報

特許文献１および２に記載の技術では、カメラの校正のために、校正パターンを用いている。しかし、このような技術では、カメラの傾きを校正するために、該カメラを組み立てたり設置したりするライン上に、校正パターンを都度設置したり、校正用スペースに車両を移動させて高精度に車両を停止させたりする必要がある。また、このような校正作業は出荷時に一度だけ行えばよいわけでなく、カメラ筐体の経年変化などによりカメラの傾きが変化し、該カメラを搭載する装置の動作に悪影響を及ぼすリスクを低減するために、特殊な校正装置を用いて定期的に校正を行わなければならない。したがって、上述のような技術では、カメラ等の撮像装置の校正のために、煩雑な作業や、特殊な校正パターンが必要となるという問題があった。

本発明は上記課題に鑑みてなされたものであり、その目的は、特殊な校正パターンなどを用いずに、自動的に、映像の傾きを補正する技術を提供することにある。

本発明の一態様に係る画像処理装置は、撮像装置によって撮影された映像を、左右の領域に分割し、分割した領域の夫々に対して局所勾配方向ヒストグラムを計算する計算手段と、前記局所勾配方向ヒストグラムに基づき、前記撮像装置の回転量を表すカメラパラメータを推定する推定手段と、前記推定したカメラパラメータに基づき、前記映像を補正する補正手段と、を備える。

また、本発明の一態様に係るシステムは、撮像装置と、前記撮像装置によって撮影された映像に対し、画像処理を行う画像処理装置と、前記画像処理装置が画像処理を行った前記映像を用いて、前記撮像装置が撮影した環境を認識する認識装置を備え、前記画像処理装置は、前記撮像装置によって撮影された映像を、左右の領域に分割し、分割した領域の夫々に対して局所勾配方向ヒストグラムを計算する計算手段と、前記局所勾配方向ヒストグラムに基づき、前記撮像装置の回転量を表すカメラパラメータを推定する推定手段と、前記推定したカメラパラメータに基づき、前記映像を補正する補正手段と、を備える。

また、本発明の一態様に係る画像処理方法は、撮像装置によって撮影された映像を、左右の領域に分割し、分割した領域の夫々に対して局所勾配方向ヒストグラムを計算し、前記局所勾配方向ヒストグラムに基づき、前記撮像装置の回転量を表すカメラパラメータを推定し、前記推定したカメラパラメータに基づき、前記映像を補正する。

なお、上記装置、システムまたは方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な記憶媒体も、本発明の範疇に含まれる。

本発明によれば、特殊な校正パターンなどを用いずに、自動的に、映像の傾きを補正する技術を提供することにある。

本発明の第１の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。本発明の第１の実施の形態に係る道路環境認識システムの構成の一例を示す図である。撮像装置が回転していない状態で撮影した映像の一例を示す図である。図３の映像に対する勾配方向ヒストグラムの一例を示す図である。撮像装置がロールしている状態で撮影した映像の一例を示す図である。図５の映像に対する局所勾配方向ヒストグラムの一例を示す図である。撮像装置がチルトしている状態で撮影した映像の一例を示す図である。図７の映像に対する局所勾配方向ヒストグラムの一例を示す図である。映像装置がチルトし、且つ、ロールしている状態の映像に対する局所勾配方向ヒストグラムの一例を示す図である。本発明の第１の実施の形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。本発明の第１の実施の形態を実現可能なコンピュータのハードウェア構成を例示的に説明する図である。本発明の第２の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。本発明の第２の実施の形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。本発明の第３の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。本発明の第３の実施の形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。

＜第１の実施の形態＞
本発明の実施の形態について図面を参照して詳細に説明する。まず、図２を参照して、本実施の形態に係る道路環境認識システム（単にシステムとも呼ぶ）の構成の概略について説明する。図２は、本実施の形態に係る道路環境認識システム１の構成の一例を示す図である。図２に示す通り、本実施の形態に係る道路環境認識システム１は、撮像装置（撮像手段）２と、道路環境認識装置（認識手段）３と、画像処理装置１００とを備えている。

撮像装置２と画像処理装置１００とは、互いに有線通信または無線通信可能に接続されている。これらは、互いに、例えば、ケーブル等を介して直接接続してもよいし、ネットワークを介して接続してもよい。同様に画像処理装置１００と、道路環境認識装置３とは、互いに有線通信または無線通信可能に接続されている。これらは、互いに、例えば、ケーブル等を介して直接接続してもよいし、ネットワークを介して接続してもよい。

撮像装置２は、該撮像装置２の周辺環境を撮影するための撮像手段である。本実施の形態では、撮像装置２として、車両に設置された車載カメラを例に説明を行うが、本実施の形態はこれに限定されるものではない。

撮像装置２は、車両に設置され、所定の間隔で道路を含む該撮像装置２の周辺（風景）を撮影する。撮像装置２は、カラーカメラであってもよいし、モノクロカメラであってもよい。撮像装置２は、撮影した映像を示す映像データを画像処理装置１００に送信する。

画像処理装置１００は、撮像装置２から、撮像装置２が撮影した映像を示す映像データを受信する。画像処理装置１００は、受信した映像に対し、画像処理を行うことにより、該映像の傾きを補正する。そして、画像処理装置１００は、傾き補正が施された映像（補正映像）を、道路環境認識装置３に出力する。なお、画像処理装置１００の具体的な機能構成については、図面を代えて説明する。

道路環境認識装置３は、画像処理装置から出力された、補正映像を受信する。道路環境認識装置３は、補正映像に基づいて、撮像装置２の周辺環境（道路環境）を認識する。なお、この道路環境認識装置３が行う道路環境認識処理については、一般的な方法を用いるため、本実施の形態では、詳細な説明を省略する。

なお、本実施の形態では、撮像装置２と、道路環境認識装置３と、画像処理装置１００とは、別個の装置で実現されることについて説明するが、これらは１つの装置で実現されてもよいし、夫々組み合わせた装置で実現されてもよい。

（画像処理装置１００）
次に、図１を参照して、本実施の形態に係る画像処理装置１００の機能構成について説明する。図１は、本実施の形態に係る画像処理装置１００の機能構成の一例を示す機能ブロック図である。図１に示す通り、本実施の形態に係る画像処理装置１００は、計算部１１０と、推定部１２０と、補正部１３０とを備えている。

（計算部１１０）
計算部１１０は、撮像装置２から、映像データを受信する。なお、計算部１１０が受信した映像データは、補正部１３０にも入力される。なお、計算部１１０が受信する映像データは、画像処理装置１００内の図示しない記憶部等に格納されるものであってもよい。

計算部１１０は、受信した映像データから勾配方向ヒストグラムを計算する。具体的には、計算部１１０は、映像データが表す画像（映像）を、左右の領域に２分割し、分割したそれぞれの領域からなる画像に対し、仮の歪み補正を行う。仮の歪み補正とは、画像に対する一般的な歪み補正であり、その方法は特に限定されない。そして、画像がカラー画像の場合、計算部１１０は、仮の歪み補正を行った左右の画像を、夫々、輝度画像に変換する。なお、計算部１１０は、映像データが表す画像に対し、仮の歪み補正を行った後に、該画像を左右の領域に２分割してもよい。また、計算部１１０は、画像がカラー画像の場合、仮の歪み補正を行った画像を輝度画像に変換した後に、該画像を左右に２分割してもよい。以降、この左右に２分割された画像のうち、左側の画像を左画像と呼び、右側の画像を右画像と呼ぶ。

計算部１１０は、左画像および右画像に対して、以下に説明する局所勾配方向ヒストグラムを計算する。なお、以下では、映像データが表す画像がカラー画像であるとし、左画像および右画像は、輝度画像であるとして説明を行う。

本実施の形態では、画像の横方向をｘ軸、縦方向をｙ軸とする。まず、計算部１１０は、輝度画像（左画像および右画像）中の各画素に対し、局所的な勾配方向θ（ｘ、ｙ）を、式（１）を用いて算出する。また、計算部１１０は、上記輝度画像中の各画素に対し、勾配の大きさｍ（ｘ、ｙ）を、式（２）を用いて算出する。

なお、式（１）において、０＜＝θ＜１８０である。また、関数Ｆ_ｘ（ｘ、ｙ）およびＦ_ｙ（ｘ、ｙ）は、夫々、画素位置（ｘ、ｙ）におけるｘ軸方向、ｙ軸方向の微分値を返す関数である。具体的には、関数Ｆ_ｘ（ｘ、ｙ）および関数Ｆ_ｙ（ｘ、ｙ）は、Ｐｒｅｗｉｔｔオペレータ等のエッジ検出オペレータを用いて、以下の式（３）により算出されるものである。

また、関数Ｆ_ｘ（ｘ、ｙ）および関数Ｆ_ｙ（ｘ、ｙ）は、式（３）よりも、少ない演算量の以下の式（４）により、算出されるものであってもよい。

式（３）および式（４）において、Ｉ（ｘ、ｙ）は、画素位置（ｘ、ｙ）における輝度値を示す。

次に、計算部１１０は、輝度画像中の各画素に対して求めた局所的な勾配方向θ（ｘ、ｙ）および勾配の大きさｍ（ｘ、ｙ）を用いて、局所勾配方向ヒストグラムを算出する。具体的には、計算部１１０は、以下の式（５）を用いて、勾配方向θ（ｘ、ｙ）毎に、勾配の大きさｍ（ｘ、ｙ）によって重みづけし、平均を算出することにより、局所勾配方向ヒストグラムｈ（ｉ）を算出する。

ここで、ｉはビン（ｂｉｎ）の番号、Ｎは方向の分割数（ビンの数）、δ（ｉ、ｊ）はクロネッカーのデルタ、Ｉは輝度画像、［］はガウスの記号を示す。また、Ｓは以下の式（６）によって表されるものである。

計算部１１０は、この局所勾配方向ヒストグラムを、右画像および左画像の夫々に対して算出する。以降、左画像から算出された局所勾配方向ヒストグラムをｈ_Ｌ（ｉ）とし、右画像から算出された局所勾配方向ヒストグラムをｈ_Ｒ（ｉ）とする。

そして、計算部１１０は、算出した局所勾配方向ヒストグラムｈ_Ｌ（ｉ）およびｈ_Ｒ（ｉ）を推定部１２０に出力する。

（推定部１２０）
推定部１２０は、計算部１１０から局所勾配方向ヒストグラムｈ_Ｌ（ｉ）およびｈ_Ｒ（ｉ）を受信する。推定部１２０は、受信した局所勾配方向ヒストグラムｈ_Ｌ（ｉ）およびｈ_Ｒ（ｉ）に基づき、撮像装置２の回転量を表すパラメータ（以降、カメラパラメータと呼ぶ）を推定する。

まず、撮像装置２が回転していない状態（ロールおよびチルトが共にゼロ）で、撮影した映像の一例を図３に示す。図３は、撮像装置２が回転していない状態で撮影した映像の一例を示す図である。

車載カメラのような撮像装置２が撮影した映像には建物や電柱といった人工建造物が高頻度に撮像される。これらの人口建造物の遮蔽輪郭や内部のテクスチャには、実世界において鉛直方向を向いた直線成分が多く含まれる。歪み補正後の車載カメラの映像では、これらの直線成分に対応する線分も直線となる。つまり、図３に示す通り、撮像装置２が撮影した映像には、鉛直方向を向いた直線がより多く含まれることになる。

次に、この図３の映像に対する勾配方向ヒストグラムを図４に示す。図４の横軸は、勾配方向を示し、縦軸は勾配方向ヒストグラム値を示している。図４の勾配方向は、１４方向である。図４では、勾配方向を、矩形で示している。図４において、横軸の勾配方向として示した最も左側の矩形は、エッジが水平方向と平行な方向であることを示している。つまり、上記最も左側の矩形は、勾配方向が垂直方向であることを示している。そして、横軸では、右に行くにしたがって、エッジが所定の角度ずつ傾いた方向となる。つまり、横軸は、右に行くにしたがって、最も左側の勾配方向から所定の角度ずつ傾いた勾配方向を示している。なお、以降では、勾配方向ヒストグラム値を単にヒストグラム値とも呼ぶ。

また、最も右側の矩形によって示されるビンは、勾配方向の傾きの説明のため、最も左側の矩形と上下が反転した状態で示しているが、最も左側の矩形によって示されるビンと同じビンである。

図３の映像は、上述したとおり、鉛直方向を向いた直線がより多く含まれる。この実世界で鉛直を向いた直線は、映像上では、水平方向の勾配を持つ。そのため、図４に示す通り、勾配方向が水平方向である場合の勾配方向ヒストグラム値が、最も大きな値（ピーク）を取る。

次に、撮像装置２がロールしている状態で、撮影した映像の一例を図５に示す。図５は、撮像装置２がロールしている状態で撮影した映像の一例を示す図である。

撮像装置２がロールしていると、人口建造物の遮蔽輪郭等の、実世界上では鉛直方向を向いた直線が、映像上では上下方向を向かず、斜めを向いてしまう。図５においては、鉛直方向から左に傾いた直線がより多く含まれる。このとき、映像上での傾きの角度は、実世界上の位置によらず、一定の傾きになる。このことを数式で表すと以下のようになる。

まず、撮像装置２の左右方向をＸ軸とし、鉛直方向をＹ軸とし、前後方向をＺ軸とする実世界座標系における位置を（Ｘ、Ｙ、Ｚ）とする。つまり、ロールとは、Ｚ軸周りに回転していることを指す。また、チルトとは、Ｘ軸周りに回転していることを指す。また、映像上の座標系（画像中心座標系）における画素位置を（ｕ、ｖ）とする。この実世界座標系における位置（Ｘ、Ｙ、Ｚ）と、画像中心座標系における画素位置（ｕ、ｖ）との関係は、変数ｓを使用し、同次座標系を用いて一般的に以下の式（７）で表される。

ここで上記式（７）の右辺の最左の行列は、イントリンシック・マトリックス（ｉｎｔｒｉｎｓｉｃｍａｔｒｉｘ）と呼ばれ、カメラ光学系に関するパラメータを表す行列である。ここで、ｆ_ｘ、ｆ_ｙは、焦点距離（単位：ピクセル）を示し、ｃ_ｘ、ｃ_ｙは、カメラ光学系中心（単位：ピクセル）を示す。なお、ｃ_ｘ、ｃ_ｙは通常、画像中心を原点とする。

また、上記式（７）の右辺の中央の行列は、実世界座標系と画像中心座標系との軸の回転と原点の位置ずれ量を表す行列である。ｔ_ｘ、ｔ_ｙ、ｔ_ｚは、併進ベクトルの各成分を表す。

式（７）を計算することにより、以下の式（８）が得られる。

撮像装置２がロールしている場合、回転成分に対応する係数ｒ_１１〜ｒ_３３はロール角（ロール量とも呼ぶ）γを用いて以下の式（９）で、求められる。

これにより、式（８）は、以下の式（１０）となる。

実世界上では鉛直方向を向いた線に対応する画像座標系上の線は、式（１０）のＸおよびＺを定数、Ｙを媒介変数ととらえて表現される直線となる。そして、この画像座標系上の線の傾きはＸおよびＺの値によらずｔａｎ（γ）となる。したがって、映像上での傾きの角度は、実世界上の位置によらず撮像装置２の傾き量と同一になる。

よって、推定部１２０は、局所勾配方向ヒストグラムｈ_Ｌ（ｉ）およびｈ_Ｒ（ｉ）の勾配方向ヒストグラム値を、同じ勾配方向同士で加算したヒストグラムを作成する。そして、推定部１２０は、ヒストグラム値がピーク（最大値）となる勾配方向を特定する。そして、推定部１２０は、この特定した勾配方向と、水平方向（ｘ軸）とがなす角が、ロール量に等しいとみなす。

図５の映像に対する勾配方向ヒストグラムを図６に示す。図６の（ａ）は、左画像に対する局所勾配方向ヒストグラムｈ_Ｌ（ｉ）を示し、図６の（ｂ）は、右画像に対する局所勾配方向ヒストグラムｈ_Ｒ（ｉ）を示す。図６の横軸は、勾配方向を示し、縦軸は勾配方向ヒストグラム値を示している。

図６の（ａ）および（ｂ）に示す通り、勾配方向ヒストグラム値がピークとなる勾配方向は、局所勾配方向ヒストグラムｈ_Ｌ（ｉ）およびｈ_Ｒ（ｉ）の両方とも、勾配方向が水平方向（図６の破線で示す方向）から、ひとつ右のビンが示す方向である。したがって、同じ勾配方向同士で加算したヒストグラムにおいて、ヒストグラム値がピークとなる勾配方向は、勾配方向が水平方向から、ひとつ右のビンが示す方向となる。したがって、推定部１２０は、この方向とｘ軸とがなす角が、ロール量に等しいとみなす。

以上のように、右画像に対する局所勾配方向ヒストグラムと、左画像に対する局所勾配方向ヒストグラムとにおいて、勾配方向ヒストグラム値がピークとなる勾配方向が同じ方向であるとき、撮像装置２がロールしていると推定することができる。したがって、推定部１２０は、この勾配方向ヒストグラム値がピークとなる勾配方向とｘ軸とがなす角が、ロール量であると推定する。このように、推定部１２０は、局所勾配方向ヒストグラムを用いて、容易にロール量を推定することができる。

次に、撮像装置２が、Ｘ軸周りに回転している（チルト）状態で、撮影した映像の一例を図７に示す。図７は、撮像装置２がチルトしている状態で撮影した映像の一例を示す図である。図７は、撮像装置２が水平よりも、わずかに下を向いた状態で撮影された映像の一例である。

撮像装置２が水平よりも下向きの状態のとき、実世界で鉛直方向を向いた直線は、図７に示す通り、左画像ではわずかに左に、右画像ではわずかに右に傾いた直線として撮像される。撮像装置２が水平よりもわずかに上を向いた状態であれば、実世界で鉛直方向を向いた直線は、左画像ではわずかに右に、右画像ではわずかに左に傾いた直線となる。

式（７）において、撮像装置２がチルトしている場合、回転成分に対応する係数ｒ_１１〜ｒ_３３はチルト角（チルト量とも呼ぶ）αを用いて以下の式（１１）で、求められる。

これにより、式（８）は、以下の式（１２）となる。

実世界で鉛直に近い向きの直線の映像上での傾きは、以下の式（１３）で表される。

ｃ_ｘの符号は、左画像と右画像とで反転する。そのため、上述のように実世界で鉛直方向の直線が映像上では左右で逆向きに傾くことになる。同様に、カメラ光軸が水平よりも上向きか下向きかによってｓｉｎ（α）の符合が変わり、映像上での直線の傾き方が反転することがわかる。

図７の映像に対する勾配方向ヒストグラムを図８に示す。図８の（ａ）は、左画像に対する局所勾配方向ヒストグラムｈ_Ｌ（ｉ）を示し、図８の（ｂ）は、右画像に対する局所勾配方向ヒストグラムｈ_Ｒ（ｉ）を示す。図８の横軸は、勾配方向を示し、縦軸は勾配方向ヒストグラム値を示している。

図８の（ａ）に示す通り、局所勾配方向ヒストグラムｈ_Ｌ（ｉ）において、勾配方向ヒストグラム値がピークとなる勾配方向は、勾配方向が水平方向（図８の（ａ）の破線で示す方向）から、ひとつ右のビンが示す方向である。また、図８の（ｂ）に示す通り、局所勾配方向ヒストグラムｈ_Ｒ（ｉ）において、勾配方向ヒストグラム値がピークとなる勾配方向は、勾配方向が水平方向（図８の（ｂ）の破線で示す方向）から、ひとつ左のビンが示す方向である。このように、撮像装置２がチルトしている場合、勾配方向ヒストグラム値がピークとなる勾配方向は、勾配方向が水平方向であるビンから左右に同じ数のビンだけ移動した位置の方向となる。

推定部１２０におけるα（チルト量）の求め方は、定式を解析的に求めてもよい。また、推定部１２０は、αを想定される範囲内でいろいろ当てはめてみて、局所勾配方向ヒストグラムｈ_Ｌ（ｉ）およびｈ_Ｒ（ｉ）のピークがともに水平の勾配方向となるαを採用するようにしてもよい。

以上のように、推定部１２０は、左画像および右画像から算出される局所勾配方向ヒストグラムの夫々において、鉛直方向に対して、逆向きの傾きとなるビンにおける最大値を特定する。これにより、推定部１２０は、その傾き方に基づいて撮像装置２のチルトの存在、およびチルトの向きおよび量を容易に推定することができる。

以上は、撮像装置２がＸ軸周りにのみ回転しているチルト時、Ｚ軸周りにのみ回転しているロール時について回転量を求める方法について説明した。以下では、撮像装置２がチルトし且つロールしている状態について説明する。

図９は、撮像装置２がチルトし、且つ、ロールしている状態で撮影した映像に対する勾配方向ヒストグラムの一例を示す図である。図９の（ａ）は、左画像に対する局所勾配方向ヒストグラムｈ_Ｌ（ｉ）を示し、図９の（ｂ）は、右画像に対する局所勾配方向ヒストグラムｈ_Ｒ（ｉ）を示す。図９の横軸は、勾配方向を示し、縦軸は勾配方向ヒストグラム値を示している。

図９の（ａ）に示す通り、勾配方向ヒストグラム値がピークとなる勾配方向は、局所勾配方向ヒストグラムｈ_Ｌ（ｉ）では、勾配方向が水平方向（図９の（ａ）の破線で示す方向）から、４つ右のビンが示す方向である。また、図９の（ｂ）に示す通り、勾配方向ヒストグラム値がピークとなる勾配方向は、局所勾配方向ヒストグラムｈ_Ｒ（ｉ）では、勾配方向が水平方向（図９の（ｂ）の破線で示す方向）から、２つ右のビンが示す方向である。

この場合、推定部１２０は、まず、局所勾配方向ヒストグラムｈ_Ｌ（ｉ）およびｈ_Ｒ（ｉ）の両方の勾配方向ヒストグラム値のピークが共に同じ勾配方向のビンなるように、チルト量（チルト角）αを求める。具体的には、推定部１２０は、局所勾配方向ヒストグラムの夫々における勾配方向ヒストグラム値がピークとなる勾配方向が、所定の方向を中心として、相対する方向であるときの、該所定の方向と、該勾配方向とがなす角に基づいて、チルト量αを求める。その後、推定部１２０は、勾配方向ヒストグラム値がピークとなる勾配方向とこの方向とｘ軸とがなす角が、ロール量γであると推定する。このとき、推定部１２０は、求めたチルト量αを後述する補正部１３０に出力し、補正部１３０にこのチルト量αに基づいて、映像の補正を指示してもよい。この場合、補正部１３０が、チルトによる回転を補正した映像を、計算部１１０に入力し、計算部１１０が、該映像を用いて再度局所勾配方向ヒストグラムを算出してもよい。そして、推定部１２０が、チルトに対する補正が施された映像に対してロール量を推定してもよい。

以上のようにして、推定部１２０は、カメラパラメータである回転量（ロール量および／またはチルト量）を推定する。そして、推定部１２０は、推定したカメラパラメータを補正部１３０に供給する。

なお、映像上では他の方向に向いた直線も存在する。したがって、実世界上で鉛直方向を向いた直線に対する勾配方向ヒストグラムのみを、回転量の判定に用いることができるよう、推定部１２０は、所定の範囲内の勾配方向ヒストグラム値がピークとなる勾配方向を特定することが好ましい。具体的には、推定部１２０は、ヒストグラムの最大値を水平方向の勾配方向（つまり、撮像装置２の傾きがない場合に、実世界上で鉛直向きに伸びる直線が映像上で持つ勾配方向）の周辺の角度に限定する。これにより、より効果的に推定部１２０は、ロール量をより精度よく推定することができる。

（補正部１３０）
補正部１３０は、推定部１２０が推定したカメラパラメータを、推定部１２０から受信する。また、補正部１３０は、撮像装置２から、撮像装置２が撮影した映像を示す映像データを受信する。そして、補正部１３０は、受信したカメラパラメータに基づいて、撮像装置２が撮影した映像を補正する。

具体的には、補正部１３０は、次の式（１４）から式（１６）を用いて、撮像装置２の回転に起因する映像の傾きを補正する。

これにより補正部１３０は、傾きのない映像を、道路環境認識装置３に出力することができる。

なお、補正部１３０は必ずしも回転がない状態の映像を生成しなくてもよい。例えば、補正部１３０は、予め定めた傾きを持つように映像を補正してもよい。この場合、補正部１３０は、求めた回転パラメータと予め定めたカメラパラメータとの差分をさらに反映させればよい。

（画像処理装置１００の処理の流れ）
次に、図１０を参照して、本実施の形態に係る画像処理装置１００の処理の流れについて説明する。図１０は、本実施の形態に係る画像処理装置１００の処理の流れの一例を示すフローチャートである。

図１０に示す通り、まず、画像処理装置１００の計算部１１０が、撮像装置２から映像データを受信する（ステップＳ１０１）。なお、この映像データは、補正部１３０にも入力される。

次に、計算部１１０は、受信した映像データが表す画像を左右に分割し、夫々の画像において、局所勾配方向ヒストグラムを計算する（ステップＳ１０２）。

そして、推定部１２０は、計算部１１０が計算した局所勾配方向ヒストグラムに基づいて、カメラパラメータを推定する（ステップＳ１０３）。

その後、補正部１３０は、撮像装置２が撮影した映像を、推定部１２０が推定したカメラパラメータに基づいて、補正する（ステップＳ１０４）。

以上により、画像処理装置１００は、画像補正処理を終了する。

（画像処理装置１００のハードウェア構成について）
なお、図１に示した画像処理装置１００の各部は、図１１に例示するハードウェア資源で実現してもよい。図１１は、本実施の形態に係る画像処理装置１００を実現可能なコンピュータのハードウェア構成の一例を示す図である。図１１に示す通り、本実施の形態に係る画像処理装置１００は、例えば、ＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）８０１によって実現される。図１１に示すＥＣＵ８０１は、画像処理装置１００全体の制御を行うものである。ＥＣＵ８０１は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）８０３、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）８０４、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）８０５、信号処理回路８０６、および、電源回路８０７を備える。なお、図１１に示す各部材は、一例であり、ＥＣＵ８０１が図１１に示す部材以外の部材を有していてもよいことは言うまでもない。

ＣＰＵ８０３は、ＲＯＭ８０５等の記憶媒体に記憶された各種ソフトウェアプログラム（コンピュータプログラム）を、ＲＡＭ８０４に読み出して実行することにより、画像処理装置１００の全体的な動作を司る。すなわち、上記各実施形態において、ＣＰＵ８０３は、ＲＯＭ８０５を適宜参照しながら、画像処理装置１００が備える各機能（各部）を実行するソフトウェアプログラムを実行する。

また、各実施形態を例に説明した本発明は、画像処理装置１００（ＥＣＵ８０１）に対して、上記説明した機能を実現可能なコンピュータプログラムを供給した後、そのコンピュータプログラムを、ＣＰＵ８０３がＲＡＭ８０４に読み出して実行することによって達成される。

また、係る供給されたコンピュータプログラムは、読み書き可能なメモリ（一時記憶媒体）またはハードディスク装置等のコンピュータ読み取り可能な記憶デバイスに格納すればよい。そして、このような場合において、本発明は、係るコンピュータプログラムを表すコード或いは係るコンピュータプログラムを格納した記憶媒体によって構成されると捉えることができる。

なお、図１に示した画像処理装置１００における各ブロックに示す機能を、図１１に示すＣＰＵ８０３が実行する一例として、ソフトウェアプログラムによって実現する場合について説明した。しかしながら、ＥＣＵ８０１で実行される機能をハードウェア化してマイコンを構成することも可能である。さらには、一部の機能をハードウェアで実現し、それらのハードウェアとソフトウェアプログラムとの協調動作により同様の機能を実現してもよい。

なお、本実施の形態に係る画像処理装置１００は、ＥＣＵ８０１のみに限定されず、図１１に示す各部を有するコンピュータ（例えば、情報処理装置）によって、実現されるものであってもよい。

（効果）
以上のように、本実施の形態に係る画像処理装置１００によれば、特殊な校正パターンなどを用いずに、自動的に、映像の傾きを補正することができる。

なぜならば、推定部１２０が、計算部１１０が算出した局所勾配方向ヒストグラムに基づいて、撮像装置２のカメラパラメータを推定し、補正部１３０がこのカメラパラメータに基づいて、映像を補正するからである。

これにより、画像処理装置１００は、実世界中で鉛直方向を向いた線分が画像中に映っていれば、たった１フレームの映像から撮像装置２の傾き（ロールおよび／またはチルト）量を推定することができる。これにより、画像処理装置１００は、実世界に正対した傾きのない映像を出力することができる。

特に、実世界は、白黒格子の校正パターンのような明確な輝度差をもった物体で構成されているわけではない。よって、特許文献１および２に記載の校正手法として用いられているコーナー点や直線などの特徴を過不足なく抽出することは難しい。しかし、本実施の形態に係る画像処理装置１００で用いる局所勾配方向ヒストグラムは、上記特徴に多少の過不足が発生しても、安定した値を算出することができる。したがって、画像処理装置１００は、このような実世界環境からの特徴抽出にかなり好適に利用可能であると言える。

したがって、本実施の形態に係る画像処理装置１００によれば、特殊な校正パターンなどを用いずに、撮像装置２の取付時などに発生する撮像装置２の傾きに起因する映像の傾きを、自動的に補正することができる。したがって、撮像装置２が車載カメラの場合、該車載カメラを搭載した車両が走行中であっても、画像処理装置１００は、容易に画像の傾きを補正することができる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態について、図面を参照して説明を行う。本実施の形態では、推定部が、局所勾配方向ヒストグラムを用いて、カメラパラメータを推定し、更に、時系列的なカメラパラメータを用いて、カメラパラメータを推定する構成について説明する。

（画像処理装置２００）
図１２は、本実施の形態に係る画像処理装置２００の機能構成の一例を示す図である。なお、説明の便宜上、前述した第１の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る画像処理装置２００を含む道路環境認識システムの構成は、図２に示す構成と同様であるため、説明を省略する。また、本実施の形態に係る画像処理装置２００のハードウェア構成は、第１の実施の形態に係る画像処理装置１００と同様に、例えば、図１１に示すハードウェア構成であるため、その説明を省略する。

図１２に示す通り、本実施の形態に係る画像処理装置２００は、計算部１１０と、推定部２２０と、補正部１３０と、を備える。なお、画像処理装置２００は、更に、記憶部２５０を備える構成であってもよい。記憶部２５０は、図１２では、画像処理装置２００に内蔵されているが、画像処理装置２００とは別個の記憶装置で実現されるものであってもよい。

推定部２２０は、図１２に示す通り、第１の推定部２２１と、第２の推定部２２２とを備える。

第１の推定部２２１は、第１の実施の形態における推定部１２０と同様に、カメラパラメータを推定する。また、第１の推定部２２１は、カメラパラメータの推定の結果（推定結果）の確からしさを示す指標を算出する。以降、カメラパラメータの推定結果の確からしさを示す指標を推定確度と呼ぶ。

第１の推定部２２１が出力する、推定確度は、例えば、０から１までの実数値で表されてもよい。このとき、第１の推定部２２１は、推定精度が高いと考えられる場合は１、そうでない場合は０に近い値を算出する。例えば、第１の推定部２２１は、勾配方向が水平方向の勾配方向ヒストグラム値の絶対値が大きく、且つ、勾配方向ヒストグラムのエントロピーが所定の値より大きい場合は１に近い値を、推定確度として算出する。また、第１の推定部２２１は、勾配方向が水平方向の勾配方向ヒストグラム値の絶対値が小さい場合、または、勾配方向ヒストグラムのエントロピーが所定の値より小さい場合は０に近い値を、推定確度として算出する。

ここで、勾配方向ヒストグラムのエントロピーは、例えば、以下の式（１７）で定義できる。

なお、第１の推定部２２１は、勾配方向ヒストグラム値の絶対値および勾配方向ヒストグラムのエントロピーと、推定確度との関係性を、事前に学習データ等を用いて学習しておいてもよい。そして、第１の推定部２２１は、勾配方向ヒストグラム値の絶対値および勾配方向ヒストグラムのエントロピーと、推定確度との関係性を参照可能な２次元テーブル等を、例えば、記憶部２５０等に格納しておいてもよい。

第１の推定部２２１は、推定したカメラパラメータと、推定確度とを、第２の推定部２２２に出力する。なお、第１の推定部２２１は、カメラパラメータと、推定確度とを互いに関連付けて、記憶部２５０に格納してもよい。なお、このとき、第１の推定部２２１は、カメラパラメータの推定に用いた映像データの時刻等の時刻情報をカメラパラメータに関連付けて格納することが好ましい。これにより、過去のカメラパラメータと、該過去のカメラパラメータの推定確度とを容易に参照することができる。

記憶部２５０は、互いに関連付けられた、第１の推定部２２１がカメラパラメータと、推定確度とを格納している。なお、このカメラパラメータには、上述したとおり、映像データの時刻等の時刻情報が関連付けられている。また、記憶部２５０は、勾配方向ヒストグラム値の絶対値および勾配方向ヒストグラムのエントロピーと、推定確度との関係性を示したテーブルが格納されていてもよい。

第２の推定部２２２は、第１の推定部２２１から、カメラパラメータと、推定確度とを受信する。第２の推定部２２２は、受信したカメラパラメータおよび推定確度と、過去に第１の推定部２２１が出力した、所定数のカメラパラメータおよび推定確度とに基づいて、撮像装置２の最終的なカメラパラメータを推定する。

なお、第２の推定部２２２は、第１の推定部２２１が時々刻々と出力するカメラパラメータおよび推定確度を自身に格納しておき、該格納しているカメラパラメータおよび推定確度とを用いて、最終的なカメラパラメータを推定してもよい。また、第２の推定部２２２は、記憶部２５０に格納された過去のカメラパラメータおよび推定確度を用いて最終的なカメラパラメータを推定してもよい。このとき、第２の推定部２２２は、例えば、記憶部２５０に格納されたカメラパラメータに関連付けられた時刻情報を参照し、過去のカメラパラメータおよび推定確度のうち、どの期間のカメラパラメータおよび推定確度を用いるかを決定してもよい。

なお、以降の説明では、第１の推定部２２１が推定するカメラパラメータを第１のカメラパラメータと呼び、第２の推定部２２２が推定する最終的なカメラパラメータを第２のカメラパラメータと呼ぶ。

第２の推定部２２２が第２のカメラパラメータを推定する方法は、フレーム毎に第１の推定部２２１が推定する第１のカメラパラメータを、推定確度で重みづけをし、その平均値を求める方法であってもよい。このとき、第２の推定部２２２は、求めた平均値を第２のカメラパラメータとして、出力する。

また、第２の推定部２２２は、第１のカメラパラメータの９次元または１２次元の空間を適宜離散化した投票空間を作成し、該投票空間に推定確度に基づいて重みづけ投票する。そして、第２の推定部２２２は、最も投票値の多かった空間に対応付けられた第１のカメラパラメータを、第２のカメラパラメータとして出力してもよい。また、第２の推定部２２２は、第１のカメラパラメータを構成する各変数を独立と考え、該変数毎に離散化した投票空間を作成する。そして、第２の推定部２２２は、該投票空間に対し、推定確度に基づいて重みづけ投票して、もっとも投票値の多かったビンの第１のカメラパラメータをビン毎に独立に求めて出力してもよい。

そして、第２の推定部２２２は、推定した第２のカメラパラメータを、補正部１３０に出力する。補正部１３０は、第２の推定部２２２から出力された第２のカメラパラメータを用いて、第１の実施の形態と同様に、撮像装置２が撮影した映像を補正する。

（画像処理装置２００の処理の流れ）
次に、図１３を参照して、本実施の形態に係る画像処理装置２００の処理の流れについて説明する。図１３は、本実施の形態に係る画像処理装置２００の処理の流れの一例を示すフローチャートである。

図１３に示す通り、まず、画像処理装置２００の計算部１１０が、撮像装置２から映像データを時々刻々受信する（ステップＳ１３１）。なお、この映像データは、補正部１３０にも入力される。

次に、計算部１１０は、受信した映像データが表す画像を左右に分割し、夫々の画像において、局所勾配方向ヒストグラムを計算する（ステップＳ１３２）。

そして、第１の推定部２２１は、計算部１１０が計算した局所勾配方向ヒストグラムに基づいて、第１のカメラパラメータを推定する（ステップＳ１３３）。また、第１の推定部２２１は、推定した第１のカメラパラメータに対し、該第１のカメラパラメータの確度（推定確度）を算出する（ステップＳ１３４）。

そして、第２の推定部２２２は、過去の第１のカメラパラメータおよび推定確度と、受信した第１のカメラパラメータおよび推定確度とを用いて、第２のカメラパラメータを推定する（ステップＳ１３５）。

その後、補正部１３０は、撮像装置２が撮影した映像を、第２の推定部２２２が推定した第２のカメラパラメータに基づいて、補正する（ステップＳ１３６）。

以上により、画像処理装置２００は、画像補正処理を終了する。

（効果）
本実施の形態に係る画像処理装置２００は、上述した第１の実施の形態に係る画像処理装置１００と同様の効果を得ることができる。

また、本実施の形態に係る画像処理装置２００は、推定部２２０の第１の推定部２２１が局所勾配方向ヒストグラムに基づき第１のカメラパラメータを推定し、更に、推定した該第１のカメラパラメータの確からしさを示す推定確度を算出する。また、第２の推定部２２２が、第１のカメラパラメータおよび該第１のパラメータの推定確度と、所定数の過去の第１のカメラパラメータおよび該過去の第１のカメラパラメータの推定確度と、に基づいて、第２のカメラパラメータを推定する。

これにより、推定部２２０は、フレーム毎の判定で発生しうる多少の検出誤差に対して、時系列的な平均化の効果が反映されたカメラパラメータを推定することができる。したがって、画像処理装置２００は、より精度が高い（安定した）カメラパラメータを推定することができる。また、画像処理装置２００は、このように、より安定したカメラパラメータを用いて映像を補正することができるため、より精度が高い補正画像を出力することができる。

＜第３の実施の形態＞
次に、本実施の形態に係る第３の実施の形態について、図面を参照して説明する。本実施の形態では、図１に示した画像処理装置１００に、映像データが表す画像から消失点を抽出する抽出部３６０を更に備える構成である。

（画像処理装置３００）
図１４は、本実施の形態に係る画像処理装置３００の機能構成の一例を示す図である。なお、説明の便宜上、前述した第１の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る画像処理装置３００を含む道路環境認識システムの構成は、図２に示す構成と同様であるため、説明を省略する。また、本実施の形態に係る画像処理装置３００のハードウェア構成は、第１の実施の形態に係る画像処理装置１００と同様に、例えば、図１１に示すハードウェア構成であるため、その説明を省略する。

図１４に示す通り、本実施の形態に係る画像処理装置３００は、計算部１１０と、と、推定部３２０と、補正部１３０と、抽出部３６０とを備える。

抽出部３６０は、撮像装置２から出力された映像データを受信する。そして、該映像データが表す画像から消失点を抽出する。消失点とは、実世界において平行線をなす線分の延長線が画像上で交わる点を指す。消失点は、無限遠点に相当する。抽出部３６０は、例えば、画像中から直線らしい線分をすべて検出して、ハフ変換等を用いて直線がより多く交わる点の座標を求めることにより、消失点を抽出してもよい。

抽出部３６０は、抽出した消失点を示す座標を、推定部３２０に出力する。

推定部３２０は、第１の実施の形態における推定部１２０と同様に、計算部１１０から局所勾配方向ヒストグラムｈ_Ｌ（ｉ）およびｈ_Ｒ（ｉ）を受信する。また、推定部３２０は、抽出部３６０から、消失点を示す座標を受信する。推定部３２０は、受信した、局所勾配方向ヒストグラムｈ_Ｌ（ｉ）およびｈ_Ｒ（ｉ）と、消失点の座標に基づいてカメラパラメータを推定する。

そもそも、風景中に存在する主な平行線は、水平方向を向いているか、鉛直方向を向いているかである。水平方向を向いている代表的な線分は、道路の白線や車道と路肩との境界線、建物と地面との境界線、建物と空との境界線等が挙げられる。これらの線分が交わる消失点は、撮像装置２がチルトしていない状態で撮影された映像上では、映像の高さ方向に関して中心（ｃ_ｙ＝０）にくる性質を持つ。そこで、推定部３２０は、以下の（１）および（２）を、チルトを補正する基準とする。
（１）局所勾配方向ヒストグラムｈ_Ｌ（ｉ）およびｈ_Ｒ（ｉ）において、勾配方向ヒストグラム値のピークが共に、勾配方向が水平方向のときになること、
（２）消失点が高さ方向に関して画像中心にくること。

具体的には、推定部３２０は、以下の式（１８）で求められる値を最小化する回転量を求めればよい。

なお、式（１８）において、ｉ_Ｈは、勾配方向が水平方向であるビンの番号である。また、ｉ_Ｌ ^ｍａｘは、局所勾配方向ヒストグラムｈ_Ｌ（ｉ）における勾配方向ヒストグラム値がピークとなるビンの番号であり、ｉ_Ｒ ^ｍａｘは、局所勾配方向ヒストグラムｈ_Ｒ（ｉ）における勾配方向ヒストグラム値がピークとなるビンの番号である。また、ｙ_ｂは、消失点のｙ座標値である。また、ψは撮像装置２のロールに対する補正と、チルトに対する補正とのどちらをより優先するかを制御するための正の定数である。

推定部３２０が適切な値の回転量を算出することにより、式（１８）は、ψの値によらず、０になる。

なお、撮像装置２を搭載した車両が車線に完全に平行になっている場合、消失点は横方向に関しても画像の中心にくる性質があるが、車両が車線に平行であるとは限らないので、推定部３２０は、この点を注意して、回転量を求めることが好ましい。

そして、推定部３２０は、推定した回転量をカメラパラメータ（第１のカメラパラメータ）として、補正部１３０に出力する。補正部１３０は、推定部３２０から出力されたカメラパラメータを用いて、第１の実施の形態と同様に、撮像装置２が撮影した映像を補正する。

（画像処理装置３００の処理の流れ）
次に、図１５を参照して、本実施の形態に係る画像処理装置３００の処理の流れについて説明する。図１５は、本実施の形態に係る画像処理装置３００の処理の流れの一例を示すフローチャートである。

図１５に示す通り、まず、画像処理装置３００の計算部１１０が、撮像装置２から映像データを時々刻々受信する（ステップＳ１５１）。なお、この映像データは、抽出部３６０および補正部１３０にも入力される。

次に、計算部１１０は、受信した映像データが表す画像を左右に分割し、夫々の画像において、局所勾配方向ヒストグラムを計算する（ステップＳ１５２）。

また、抽出部３６０は、受信した映像データが表す画像から消失点の座標を抽出する（ステップＳ１５３）。なお、ステップＳ１５２とステップＳ１５３とは同時に行われてもよいし、逆順で行われてもよい。

そして、推定部３２０は、計算部１１０が計算した局所勾配方向ヒストグラムと、抽出部３６０が抽出した消失点の座標とに基づいて、カメラパラメータを推定する（ステップＳ１５４）。

その後、補正部１３０は、撮像装置２が撮影した映像を、推定部３２０が推定したカメラパラメータに基づいて、補正する（ステップＳ１５５）。

以上により、画像処理装置３００は、画像補正処理を終了する。

（効果）
本実施の形態に係る画像処理装置３００は、上述した第１の実施の形態に係る画像処理装置１００と同様の効果を得ることができる。

また、本実施の形態に係る画像処理装置３００は、更に、局所勾配方向ヒストグラムと、消失点とに基づいて、カメラパラメータを推定する。これにより、画像処理装置３００は、実世界で鉛直方向を向いた直線に由来する情報のみだけでなく、実世界で水平な直線に由来する情報も考慮して撮像装置２の回転量を推定することができる。したがって、画像処理装置３００は、より精度が高い（安定した）カメラパラメータを推定することができる。また、画像処理装置３００は、このように、より安定したカメラパラメータを用いて映像を補正することができるため、より精度が高い補正画像を出力することができる。

なお、画像処理装置３００は、第１の実施の形態に係る画像処理装置１００に抽出部３６０を備えた構成について説明したが、本実施の形態は、これに限定されるものではない。画像処理装置３００は、第２の実施の形態に係る画像処理装置２００に、抽出部３６０を備えた構成であってもよい。この構成により、画像処理装置３００は、より安定したカメラパラメータを推定することができる。

また、本発明の各実施の形態に係る画像処理装置（１００、２００、３００）は、上述した道路環境を認識するシステムのみならず、撮像装置２の回転に起因する映像の傾きを補正するシステムに適用可能である。

なお、上述した各実施の形態は、本発明の好適な実施の形態であり、上記各実施の形態にのみ本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。

１道路環境認識システム
２撮像装置
３道路環境認識装置
１００画像処理装置
１１０計算部
１２０推定部
１３０補正部
２００画像処理装置
２２０推定部
２２１第１の推定部
２２２第２の推定部
２５０記憶部
３００画像処理装置
３２０推定部
３６０抽出部
８０１ＥＣＵ
８０３ＣＰＵ
８０４ＲＡＭ
８０５ＲＯＭ
８０６信号処理回路
８０７電源回路

Claims

撮像装置によって撮影された映像を、左右の領域に分割し、分割した領域の夫々に対して局所勾配方向ヒストグラムを計算する計算手段と、
前記局所勾配方向ヒストグラムに基づき、前記撮像装置の回転量を表すカメラパラメータを推定する推定手段と、
前記推定したカメラパラメータに基づき、前記映像を補正する補正手段と、を備えることを特徴とする画像処理装置。
前記推定手段は、前記局所勾配方向ヒストグラムの夫々におけるヒストグラム値がピークとなる勾配方向が同じ方向であるとき、該勾配方向と、水平方向とがなす角を前記撮像装置のロール量として推定する、ことを特徴とする請求項１に記載の画像処理装置。
前記推定手段は、前記局所勾配方向ヒストグラムの夫々におけるヒストグラム値がピークとなる勾配方向が、所定の方向を中心として、相対する方向であるとき、前記所定の方向と、前記勾配方向とがなす角に基づいて、前記撮像装置のチルト量を推定する、ことを特徴とする請求項１または２に記載の画像処理装置。
前記推定手段は、勾配方向が所定の範囲内である前記局所勾配方向ヒストグラムに基づいて、前記カメラパラメータを推定する、ことを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
前記推定手段は、
前記局所勾配方向ヒストグラムに基づき第１のカメラパラメータを推定し、更に、推定した該第１のカメラパラメータの確からしさを示す推定確度を算出する第１の推定手段と、
前記第１のカメラパラメータおよび該第１のパラメータの前記推定確度と、前記第１の推定手段が該第１のカメラパラメータを推定するより前に推定した、所定数の過去の第１のカメラパラメータおよび該過去の第１のカメラパラメータの推定確度と、に基づいて、第２のカメラパラメータを推定する第２の推定手段と、を備え、
前記第２の推定手段が推定した前記第２のカメラパラメータを、前記撮像装置のカメラパラメータとして、前記補正手段に出力する、ことを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
前記第１の推定手段は、前記推定確度を、前記局所勾配方向ヒストグラムに基づいて算出された、ヒストグラムのエントロピーを用いて算出する、ことを特徴とする、請求項５に記載の画像処理装置。
前記映像から消失点を抽出する抽出手段を更に備え、
前記推定手段は、前記局所勾配方向ヒストグラムと、前記消失点とに基づいて、前記カメラパラメータを推定する、ことを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
撮像装置と、
前記撮像装置によって撮影された映像に対し、画像処理を行う画像処理装置と、
前記画像処理装置が画像処理を行った前記映像を用いて、前記撮像装置が撮影した環境を認識する認識装置を備え、
前記画像処理装置は、
前記撮像装置によって撮影された映像を、左右の領域に分割し、分割した領域の夫々に対して局所勾配方向ヒストグラムを計算する計算手段と、
前記局所勾配方向ヒストグラムに基づき、前記撮像装置の回転量を表すカメラパラメータを推定する推定手段と、
前記推定したカメラパラメータに基づき、前記映像を補正する補正手段と、を備える、ことを特徴とするシステム。
撮像装置によって撮影された映像を、左右の領域に分割し、分割した領域の夫々に対して局所勾配方向ヒストグラムを計算し、
前記局所勾配方向ヒストグラムに基づき、前記撮像装置の回転量を表すカメラパラメータを推定し、
前記推定したカメラパラメータに基づき、前記映像を補正する、ことを特徴とする画像処理方法。
撮像装置によって撮影された映像を、左右の領域に分割し、分割した領域の夫々に対して局所勾配方向ヒストグラムを計算する処理と、
前記局所勾配方向ヒストグラムに基づき、前記撮像装置の回転量を表すカメラパラメータを推定する処理と、
前記推定したカメラパラメータに基づき、前記映像を補正する処理と、をコンピュータに実行させる、ことを特徴とするプログラム。