JP2019207541A - 画像処理装置及びその方法 - Google Patents

Abstract

【課題】カメラで撮影された画像を認識するときの処理量を低減すること。【解決手段】車両に搭載されたカメラで撮影された画像のうち被写体全体を含む全体画像からその一部を切り出す画像切り出し部と、カメラで撮影された画像のうち全体画像を縮小して縮小画像を生成する画像縮小部と、画像切り出し部により切り出された一部の画像を認識する第１の画像認識部と、画像縮小部により縮小された縮小画像を認識する第２の画像認識部と、第１の画像認識部により認識された第１の認識結果と第２の画像認識部により認識された第２の認識結果とを統合し、統合された認識結果の情報を生成する画像認識結果統合部と、を有する。【選択図】図１

Description

本発明は、車両に搭載された画像処理装置及びその方法に関する。

車両に搭載された画像処理装置として、例えば、特許文献１に記載されているように、複数の車載カメラ４ａ、４ｂと、撮像した画像を補正する画像補正部３１と、左右の画素のずれ量である視差を算出する視差算出部３２と、撮像した画像と算出した視差の両方あるいはいずれかを用いて画像認識処理を行う画像認識部３３とに加えて、処理領域決定部を備えるステレオカメラ装置が提案されている。

特開２００９−１４６２１７号公報

上記先行例では、ハンドルの切れ角が一定以上の場合、画像の処理範囲がハンドルを切った方向のみに限定されるので、画像の処理量を低減することができる。

車両に搭載されたカメラで撮影された画像を認識して処理する場合、ハンドルの操作方向によらず、常に、認識すべき画像の処理量を低減することが求められる。

本発明の目的は、カメラで撮影された画像を認識するときの処理量を低減することにある。

前記課題を解決するために、本発明は、車両に搭載されたカメラで撮影された画像に関する情報を取り込み、前記画像のうち前記カメラの被写体全体を含む全体画像からその一部を切り出す画像切り出し部と、前記カメラで撮影された前記画像に関する情報を取り込み、前記画像のうち前記全体画像を縮小して、前記被写体全体の縮小画像を生成する画像縮小部と、前記画像切り出し部により切り出された前記一部の画像を認識する第１の画像認識部と、前記画像縮小部により縮小された前記縮小画像を認識する第２の画像認識部と、前記第１の画像認識部により認識された第１の認識結果と前記第２の画像認識部により認識された第２の認識結果とを統合し、統合された認識結果の情報を生成する画像認識結果統合部と、を有することを特徴とする。

本発明によれば、カメラで撮影された画像を認識するときの処理量を低減することができる。

本発明の第１実施例における車載画像処理装置の全体構成を示す構成図。 本発明の第１実施例における車両状態認識部の構成を示す構成図。 本発明の第１実施例における車両状態テーブルの構成図。 本発明の第１実施例における操作決定部の構成を示す構成図。 本発明の第１実施例における操作決定テーブルの構成を示す構成図。 本発明の第１実施例における車両制御部の構成を示す構成図。 本発明の第１実施例における切り出し位置サイズ制御部の構成を示す構成図。 本発明の第１実施例におけるフロントカメラ切り出し調整テーブルの構成図。 本発明の第１実施例における画像切り出し部の構成を示す構成図。 本発明の第１実施例における画像縮小部の構成を示す構成図。 本発明の第１実施例における画像認識部の構成を示す構成図。 本発明の第１実施例における画像認識部の入出力関係を示す構成図。 本発明の第１実施例における他の画像認識部の入出力関係を示す構成図。 本発明の第１実施例における画像認識結果統合部の構成を示す構成図。 本発明の第１実施例における説明図であって、車両が上り坂を上りきったときの動作を説明するための説明図。 本発明の第１実施例における説明図であって、車両が下りを下りきったときの動作を説明するための説明図。 本発明の第１実施例における説明図であって、車両が右カーブの道路を走行するときの動作を説明するための説明図。 本発明の第２実施例における車両状態認識部の構成を示す構成図。 本発明の第２実施例の動作を説明するための説明図。 本発明の第３実施例における車載画像処理装置の全体構成を示す構成図。 本発明の第３実施例における切り出し位置サイズ制御部の構成を示す構成図。 本発明の第３実施例におけるリアカメラ切り出し調整テーブルの構成を示す構成図。 本発明の第３実施例における説明図であって、車両が上り坂を上り終えたときの動作を説明するための説明図。 本発明の第３実施例における説明図であって、車両が下りを下り終えたときの動作を説明するための説明図。 本発明の第４実施例における車載画像処理装置の全体構成を示す構成図。 本発明の第４実施例における切り出し位置サイズ制御部の構成を示す構成図。 本発明の第４実施例における右カメラ切り出し調整テーブルの構成を示す構成図。 本発明の第４実施例における左カメラ切り出し調整テーブルの構成を示す構成図。 本発明の第４実施例における説明図であって、車両がカーブを通過するときの動作を説明するための説明図。

以下、実施例を図面に基づいて説明する。
（第１実施例）
本実施例は、カメラで撮影された画像を、被写体全体を含む全体画像と、全体画像の一部の画像に分けて管理するものである。すなわち、遠景と近景を含む全体画像は、縮小しても認識が容易であるので縮小画像として処理し、画面中央部の遠景を含む一部の画像は、詳細に認識する必要があるので縮小することなく、そのままの画像として処理し、全体として、画像認識の処理量を低減するものである。

図１は、本発明の第１実施例に係る車載画像処理装置の全体構成を示す構成図である。図１において、車載画像処理装置１００は、自動運転を行う車両１０１の本体に搭載されている。車載画像処理装置１００は、フロントカメラ１０２、加速度センサー１０３、角速度センサー１０４、車両状態認識部１０５、画像認識部１０６、操作決定部１０７、車両制御部１０８を備えている。

フロントカメラ１０２は、車両１０１の前方側に配置されて、自動運転の際の外界、特に、車両１０１の前方を認識するために用いられ、車両１０１の前方画像を生成し、生成した前方画像を一定のフレームレートで画像認識部１０６に送信する。

加速度センサー１０３は、車両１０１に搭載されて、走行時に車両１０１にかかる加速度を計測し、計測値を車両状態認識部１０５に送信する。

角速度センサー１０４は、車両１０１に搭載されて、走行時に車両１０１の角速度を計測し、計測値を車両状態認識部１０５に送信する。

車両状態認識部１０５は、加速度センサー１０３と角速度センサー１０４からそれぞれ計測値を取り込み、各計測値を基に、現在（現時点）の車両１０１の状態を割り出して、車両状態データを生成し、生成した車両状態データを画像認識部１０６へ出力する。

画像認識部１０６は、フロントカメラ１０２から前方画像に関する情報（画像データ）を入力画像データとして一定のフレームレートで取り込むと共に、車両状態認識部１０５から、車両１０１の状態に関する情報として車両状態データを取り込み、車両状態データを基に、フロントカメラ１０２で撮影された前方画像を処理し、前方画像に、何がどこに撮影されているかの判定（認識）を行い、判定結果である認識結果の情報を操作決定部１０７に送信する。認識結果の情報としては、例えば、車や人などを認識した場合、車や人を特定する情報と、車や人の位置を、例えば、画像を構成する各画素の座標に対応づけた位置情報が挙げられる。

操作決定部１０７は、画像認識部１０６から送信された情報を受信した場合、受信した情報（認識結果の情報）を基に、車両１０１の操作を決定し、決定した操作に関する情報を車両制御部１０８に送信する。

車両制御部１０８は、操作決定部１０７からの情報として、操作に関する情報を受信した場合、受信した情報を、ハンドル、ブレーキ、アクセル等実際の制御機器に対する制御コマンドの情報に変換し、変換された制御コマンドの情報を制御出力（制御出力データ）として、各制御機器に送信する。これにより、車両１０１は、各制御機器により自動制御される。

また、画像認識部１０６は、具体的には、切り出し位置サイズ制御部１１０、画像切り出し部１１２、画像縮小部１１３、画像認識部１１４、１１５、画像認識結果統合部１１６を備えている。切り出し位置サイズ制御部１１０には、車両状態認識部１０５の出力による車両状態データ１０９が入力され、画像切り出し部１１２と画像縮小部１１３には、フロントカメラ１０２から、前方画像に関する画像データが入力画像データ１１１として入力される。

車両状態データ１０９は、車両状態認識部１０５で生成されるデータであって、車両１０１が、現在置かれている状況を示すデータである。例えば、車両状態認識部１０５において、車両１０１が、上り坂の終了近辺にある場合、「上り坂終了」を示すデータが生成され、車両１０１が、下り坂の終了近辺にある場合、「下り坂終了」を示すデータが生成され、車両１０１が、左カーブの途中にある場合、「左カーブ」を示すデータが生成され、車両１０１が、右カーブの途中にある場合、「右カーブ」を示すデータが生成される。

切り出し位置サイズ制御部１１０は、車両状態データ１０９を基に、フロントカメラ１０２で撮影された前方画像のうち詳細に認識する部分の画像を一部の画像として切り出すための、切り出し位置及びそのサイズ（画像サイズ）を決定する制御を段階的に実行し、決定した切り出し位置（切り出し座標）とそのサイズ（画素の数）に関する情報を画像切り出し部１１２と画像認識結果統合部１１６に順次出力する。

画像切り出し部１１２は、切り出し位置とそのサイズに関する情報を基に、入力画像データ１１１で構成される前方画像（フロントカメラ１０２の被写体全体を示す全体画像）から、その一部の画像（遠景を含む画像）として詳細認識用画像を切り出し、切り出した詳細認識用画像に関する情報（画像データ）を画像認識部１１４に出力する。

画像縮小部１１３は、入力画像データ１１１で構成される前方画像（遠景と近景を含む全体画像）を、予め設定された倍率（設定倍率）で縮小し、縮小された前方画像（縮小画像）に関する情報（画像データ）を画像認識部１１５に出力する。

画像認識部１１４は、画像切り出し部１１２で切り出された詳細認識用画像を認識（判定）し、画像切り出し部１１２で切り出された詳細認識用画像に、何がどこに写っているかを示す情報（第１の認識結果の情報）を生成し、生成した情報を、詳細部分認識結果を示す情報として画像認識結果統合部１１６に出力する第１の画像認識部である。画像認識部１１５は、画像縮小部１１３で縮小された前方画像を認識（判定）し、画像縮小部１１３で縮小された前方画像に、何がどこに写っているかを示す情報（第２の認識結果の情報）を生成し、生成した情報を、全体認識結果を示す情報として画像認識結果統合部１１６に出力する第２の画像認識部である。この際、画像認識部１１４、１１５は、同一種類のブロックでの処理を想定している。例えば、写っているものと場所を検知する物体認識、または画像の領域が何に属しているかを示すセマンティックセグメンテーション双方の使用を想定している。

画像認識結果統合部１１６は、画像認識部１１４の出力による詳細部分認識結果と画像認識部１１５の出力による全体認識結果を、切り出し位置サイズ制御部１１０からの切り出し位置（座標）とそのサイズに関する情報を使用して、１つに統合する処理を行い、処理結果を認識結果データ１１７として、操作決定部１０７に送信する。

図２は、本実施例における車両状態認識部の構成を示す構成図である。図２において、車両状態認識部１０５は、加速度センサー値２０１、角速度センサー値２０２、加速度回転角算出部２０３、車両状態判定部２０４、車両状態テーブル２０５、車両状態データ１０９を含む。

加速度センサー値２０１は、加速度センサー１０３の出力値であり、角速度センサー値２０２は、角速度センサー１０４の出力値である。

加速度回転角算出部２０３は、加速度センサー値２０１と角速度センサー値２０２を基に、車両１０１に作用する加速度と車両１０１における角速度をそれぞれ３次元の値として算出し、算出した各３次元の値をそれぞれ３次元の計測値として車両状態判定部２０４に出力する。

車両状態判定部２０４は、加速度回転角算出部２０３からの３次元の計測値を基に車両状態テーブル２０５の情報を参照し、車両状態テーブル２０５に記録された、加速度センサー閾値又は角加速度センサー閾値と各計測値とを比較し、比較結果から、車両１０１が、現在置かれている状態を判定し、判定結果を車両状態データ１０９として出力する。例えば、少なくとも、車両１０１が、上り坂終了、下り坂終了、左カーブ、右カーブの状態であるかを示す車両状態データ１０９を出力する。

図３は、本実施例における車両状態テーブルの構成図である。図３において、車両状態テーブル２０５は、管理項目としての入力２０６と出力２０７を含み、入力２０６は、加速度センサー閾値２０８と、角速度センサー閾値２０９を備え、出力２０７は、推定車両状態値２１０を備えている。加速度センサー閾値２０８は、１次元をＸ、２次元をＹ、３次元をＺとした場合、各次元Ｘ、Ｙ、Ｚに対応して、３つの列３０１、３０２、３０３に分かれており、各列３０１、３０２、３０３には、各次元Ｘ、Ｙ、Ｚに対応した加速度センサー閾値が記録されている。例えば、車両１０１の状態が、定常状態にある場合であって、カーブ無しの直線道路（平地）の地点にある場合の加速度センサー閾値２０８として、各列３０１、３０２、３０３には、「ａ」の値が記録される。角速度センサー閾値２０９は、各次元Ｘ、Ｙ、Ｚに対応して、３つの列３０４、３０５、３０６に分かれており、各列３０４、３０５、３０６には、各次元Ｘ、Ｙ、Ｚに対応した角速度センサー閾値が記録される。例えば、車両１０１の状態が、定常状態にある場合であって、カーブ無しの直線道路の地点にある場合の角速度センサー閾値２０９として、各列３０４、３０５、３０６には、「ｃ」の値が記録される。なお、加速度センサー閾値２０８と角速度センサー閾値２０９としては、ある範囲を有する値に設定することもできる。

推定車両状態値２１０は、「上り坂終了フラグ」のデータを記録する列３０７と、「下り坂終了フラグ」のデータを記録する列３０８と、「左カーブフラグ」のデータを記録する列３０９と、「右カーブフラグ」のデータを記録する列３１０に分かれて構成される。推定車両状態値２１０の各列３０７〜３１０には、車両状態判定部２０４が、３次元の計測値と、加速度センサー閾値２０８又は角速度センサー閾値２０９に記録された閾値（各次元の閾値）とを比較したときの比較結果を示すデータが記録される。例えば、３次元の計測値のうちいずれかの次元の計測値が、少なくとも加速度センサー閾値２０８又は角速度センサー閾値２０９に記録された閾値（各次元の閾値）を超えた場合、「１」のデータが、推定車両状態値２１０のいずれかの列に記録される。

ここで、例えば、列３０７〜３１０に記録されるデータが、それぞれ「０」、「１」、「０」、「０」である場合、車両状態判定部２０４は、車両１０１が、現在、下り坂を終了する近辺にあると判断し、車両状態データ１０９として、「０」、「１」、「０」、「０」をデータ列とするデータを生成する。また、列３０７〜３１０に記録されるデータが、それぞれ「１」、「０」、「０」、「０」である場合、車両状態判定部２０４は、車両１０１が、現在、上り坂を終了する近辺にあると判断し、車両状態データ１０９として、「１」、「０」、「０」、「０」をデータ列とするデータを生成する。なお、車両１０１が、現在、左カーブの途中にある場合、列３０９に「１」のデータが記録され、それ以外の列には「０」のデータが記録され、車両１０１が、現在、右カーブの途中にある場合、列３１０に「１」のデータが記録され、それ以外の列には「０」のデータが記録される。

図４は、本実施例における操作決定部の構成を示す構成図である。図４において、操作決定部１０７は、認識結果判断部４０１、操作選択部４０２、操作決定テーブル４０３、操作データ４０４を含み、認識結果判断部４０１に認識結果データ１１７が入力される。

認識結果判定部４１０は、画像認識部１０６の出力である認識結果データ１１７を基に、車両１０１前方の路上状態と道路の方向を判断し、判断結果を示す情報を操作選択部４０２に送信する。ここで、路上状態としては、例えば、車両１０１の前方に何も無い（クリーン）、車両１０１の前方に先行車あり、車両１０１の前方に物体あり等の状態が挙げられ、道路の方向としては、例えば、直線、左カーブ、右カーブ等の方向が挙げられる。

操作選択部４０２は、認識結果判断部４０１の判断結果を示す情報を基に、操作決定テーブル４０３に記録された情報を参照し、参照結果から、車両１０１の操作を決定するための操作データ４０４を生成して出力する。

図５は、本実施例における操作決定テーブルの構成を示す構成図である。図５において、操作決定テーブル４０３は、管理項目として、入力４０５、出力４０６を含む。入力４０５は、「路面認識」を示す列５０１と、「道路認識」を示す列５０２に分かれている。列５０１には、例えば、「クリーン」、「先行車あり」の情報が記録され、列５０２には、「直線」、「左カーブ」の情報が記録される。

出力４０６は、「ハンドル」を示す列５０３と、「ブレーキ」を示す列５０４と、「アクセル」を示す列５０６に分かれている。列５０３には、「ハンドル」の操作量に関するデータが記録される。列５０４には、「ブレーキ」の操作量に関するデータが記録される。列５０５には、「アクセル」の操作量に関するデータが記録される。

ここで、例えば、認識結果判断部４０１が、車両１０１前方の路上状態（路面認識）として、「クリーン」と判断し、車両１０１前方の道路の方向（道路認識）として、「直線」と判断した場合、操作選択部４０２は、認識結果判断部４０１の判断結果を基に操作決定テーブル４０３を参照し、「クリーン」と「直線」の組み合わせから、「ハンドル」の操作量を「０」とし、「ブレーキ」の操作量を「０」とし、「アクセル」の操作量を「３」とするデータをそれぞれ操作決定テーブル４０３から選択し、選択したデータから操作データ４０４を生成し、生成した操作データ４０４を車両制御部１０８に送信する。

図６は、本実施例における車両制御部の構成を示す構成図である。図６において、車両制御部１０８は、制御シーケンス決定部６０１、複数の制御シーケンサー６０２、６０３、制御出力データ６０４、６０５を含む。

制御シーケンス決定部６０１は、操作決定部１０７からの操作データ４０４を基に、各制御シーケンサー６０２、６０３に対する具体的な操作シーケンスを決定し、決定した操作シーケンスに関する情報をトリガーとして、各制御シーケンサー６０２、６０３に出力し、車両１０１の操作を実現させる。

各制御シーケンサー６０２、６０３は、操作シーケンスに関する情報を基に、ハンドル、ブレーキ、アクセル等の制御機器をシーケンス制御するためのデータを生成し、生成したデータを制御出力データ６０４、６０５として、各制御機器に出力する。各制御機器が、制御出力データ６０４、６０５を基にシーケンス制御を実行することにより、車両１０１が自動で操作される。

図７は、本実施例における切り出し位置サイズ制御部の構成を示す構成図である。図７において、切り出し位置サイズ制御部１１０は、切り出し調整値生成部７０１、フロントカメラ切り出し調整テーブル７０２、切り出し位置決定部７０３、現在切り出し位置保持部７０４、切り出しサイズ決定部７０５、現在切り出しサイズ保持部７０６、現在切り出し位置・サイズデータ７０７を含む。

切り出し調整値生成部７０１は、車両状態認識部１０５からの車両状態データ１０９を基に、フロントカメラ切り出し調整テーブル７０２を参照し、フロントカメラ切り出し調整テーブル７０２に記録された情報（位置・サイズ）の中から、車両状態データ１０９に応じて、切り出し位置に関する情報とサイズに関する情報を選択し、選択した情報のうち切り出し位置に関する情報（例えば、画素の座標を示す情報）を切り出し位置決定部７０３に出力し、選択した情報のうちサイズに関する情報（例えば、画素の個数を示す情報）を切り出しサイズ決定部７０５に出力する。

切り出し位置決定部７０３は、現在切り出し位置保持部７０４に保持されている切り出し位置であって、現在使用されている切り出し位置に対して、切り出し調整値生成部７０１で生成された切り出し位置に関する情報を基に、次の切り出し位置を決定し、決定した次の切り出し位置に関する情報を現在切り出し位置保持部７０４に保存する。

現在切り出し位置保持部７０４は、切り出し位置決定部７０３で決定した、次の切り出し位置に関する情報を保持し、その値を現在切り出し位置・サイズデータ７０７として出力すると共に、現在切り出し位置・サイズデータ７０７と同一のデータを切り出し位置決定部７０３にフィードバックする。この際、切り出し位置決定部７０３は、切り出し位置を段階的に変化させるために、フィードバックされたデータを、次の切り出し位置を決定する際に使用する。

切り出しサイズ決定部７０５は、現在切り出しサイズ保持部７０６に保持されている切り出しサイズであって、現在使用されている切り出しサイズに対して、切り出し調整値生成部７０１で生成された切り出しサイズに関する情報を基に、次の切り出しサイズを決定し、決定した次の切り出しサイズに関する情報を現在切り出しサイズ保持部７０６に保存する。

現在切り出しサイズ保持部７０６は、切り出しサイズ決定部７０５で決定した切り出しサイズの情報を保持し、その値を現在切り出し位置・サイズデータ７０７として出力すると共に現在切り出し位置・サイズデータ７０７と同一のデータを切り出しサイズ決定部７０５にフィードバックする。この際、切り出しサイズ決定部７０５は、切り出しサイズを段階的に変化させるために、フィードバックされたデータを、次の切り出しサイズを決定する際に使用する。

図８は、本実施例におけるフロントカメラ切り出し調整テーブルの構成図である。図８において、フロントカメラ切り出し調整テーブル７０２は、管理項目として、入力７０８と、出力７０９を含み、入力７０８には、推定車両状態値７１０が設定され、出力７０９には、切り出し調整７１１が設定されている。

推定車両状態値７１０は、「上り坂終了フラグ」のデータが記録される列８０１と、「下り坂終了フラグ」のデータが記録される列８０２と、「左カーブフラグ」のデータが記録される列８０３と、「右カーブフラグ」のデータが記録される列８０４に分かれて管理される。各列には、例えば、「０」又は「１」が記録される。

切り出し調整７１１は、「位置」の情報が記録される列８０５と、「サイズ」の情報が記録される列８０６に分かれて管理される。

ここで、車両状態データ１０９が、「０、０、０、０」である場合、行８０７の情報が選択され、「位置」の情報として、「中央」が選択され、「サイズ」の情報として「通常」が選択される。なお、「中央」は、詳細認識用画像が、画面全体の中央部に位置することを意味する。また、「通常」は、詳細認識用画像を構成する画素の数が、通常と設定された数であることを意味する。以下同様に、車両状態データ１０９が、「０、０、１、０」である場合、行８０８の情報が選択され、「位置」の情報として、「左寄り」が選択され、「サイズ」の情報として「通常」が選択される。車両状態データ１０９が、「０、０、０、１」である場合、行８０９の情報が選択され、「位置」の情報として、「右寄り」が選択され、「サイズ」の情報として「通常」が選択される。なお、「左寄り」は、詳細認識用画像が、画面全体の中央部より左寄りにあることを意味し、「右寄り」は、詳細認識用画像が、画面全体の中央部より右寄りにあることを意味する。以下、「寄り」は、詳細認識用画像が、画面全体の中央部からどの方向に移動するかを意味する。

行８０７〜８０９の条件では、「上り坂終了フラグ」の列８０１と、「下り坂終了フラグ」の列８０２には、「０」のデータが記録されて、フラグが立っていない条件となっているので、車両１０１の状態は、平地または、大きな坂の中間と考えられ、サイズとして、「通常」が選択される。この際、位置に関する情報は、「左カーブフラグ」の列８０３のデータと「右カーブフラグ」の列８０４のデータの値によって調整している。例えば、カーブ無しの場合、「中央」が、左カーブの場合、「左寄り」が、右カーブの場合、「右寄り」が、それぞれ位置の情報となる。

車両状態データ１０９が、「１、０、０、０」である場合、行８１０の情報が選択され、「位置」の情報として、「下寄り」が選択され、「サイズ」の情報として、通常サイズの画像を縮小することを示す、「縮小」が選択される。車両状態データ１０９が、「１、０、１、０」である場合、行８１１の情報が選択され、「位置」の情報として、「左下寄り」が選択され、「サイズ」の情報として「縮小」が選択される。車両状態データ１０９が、「１、０、０、１」である場合、行８１２の情報が選択され、「位置」の情報として、「右下寄り」が選択され、「サイズ」の情報として「縮小」が選択される。

行８１０〜８１２の条件では、「上り坂終了フラグ」の列８０１にのみ「１」のデータが記録され、「下り坂終了フラグ」の列８０２には、「０」のデータが記録されているので、車両１０１の状態は、上り坂の終了地点と考えられ、「サイズ」の情報として、「縮小」が選択される。この際、位置に関する情報は、「左カーブフラグ」の列８０３のデータと「右カーブフラグ」の列８０４のデータの値によって調整している。例えば、カーブ無しの場合、「下寄り」が、左カーブの場合、「左下寄り」が、右カーブの場合、「右下寄り」が、それぞれ位置の情報となる。

車両状態データ１０９が、「０、１、０、０」である場合、行８１３の情報が選択され、「位置」の情報として、「上寄り」が選択され、「サイズ」の情報として、通常サイズの画像を拡大することを示す、「拡大」が選択される。車両状態データ１０９が、「０、１、１、０」である場合、行８１４の情報が選択され、「位置」の情報として、「左上寄り」が選択され、「サイズ」の情報として「拡大」が選択される。車両状態データ１０９が、「０、１、０、１」である場合、行８１５の情報が選択され、「位置」の情報として、「右上寄り」が選択され、「サイズ」の情報として「拡大」が選択される。

行８１３〜８１５の条件では、「下り坂終了フラグ」の列８０２にのみ「１」のデータが記録され「上り坂終了フラグ」の列８０１には、「０」のデータが記録されているので、車両１０１の状態は、下り坂の終了地点と考えられ、「サイズ」の情報として、「拡大」が選択される。この際、位置に関する情報は、「左カーブフラグ」の列８０３のデータと「右カーブフラグ」の列８０４のデータの値によって調整している。例えば、カーブ無しの場合、「上寄り」が、左カーブの場合、「左上寄り」が、右カーブの場合、「右上寄り」が、それぞれ位置の情報となる。

なお、上り坂と下り坂は排他的な条件のため、列８０１と列８０２の同一の行に、双方が「１」となるデータは存在しない。また、左カーブと右カーブは排他的な条件のため、列８０３と列８０４の同一の行に、双方が「１」となるデータは存在しない。

図９は、本実施例における画像切り出し部の構成を示す構成図である。図９において、画像切り出し部１１２は、部分画像読み出し部９０１、部分画像書き出し部９０２、詳細認識用画像データ９０３を含み、入力画像データ１１１と現在切り出し位置・サイズデータ７０７が、部分画像読み出し部９０１に入力される。

部分画像読み出し部９０１は、切り出し位置サイズ制御部１１０からの現在切り出し位置・サイズデータ７０７を基に、フロントカメラ１０２からの入力画像データ１１１で構成される前方画像から、その一部の画像である部分画像（切り出し位置・サイズが指定された部分画像）を読み出し、読み出した部分画像のデータ（部分画像データ）を部分画像書き出し部９０２に送信する。

部分画像書き出し部９０２は、部分画像読み出し部９０１から送信された部分画像データを受信した場合、受信した部分画像データを詳細認識用画像データとして書き出し、書き出した詳細認識用画像データ９０３を保存すると共に、画像認識部１１４に送信する。

図１０は、本実施例における画像縮小部の構成を示す構成図である。図１０において、画像縮小部１１３は、画像平均部１００１、縮小率データ１００２、全体認識用画像データ１００３を含む。

画像平均部１００１は、フロントカメラ１０２から入力画像データ１１１を取り込み、入力画像データ１１１で構成される前方画像に対して、縮小率データ１００２を基に、隣接画素の輝度の平均値を算出する処理を実行し、前方画像から、その縮小画像を生成し、生成した縮小画像のデータを全体認識用画像データ１００３として、画像認識部１１５に送信する。この際、例えば、縮小率データ１００２が、縮小率＝２５％を示すデータであれば、隣接する田型の４画素の輝度の平均をとって、１画素とすることで、前方画像から、その縮小画像を生成する。

図１１は、本実施例における画像認識部の構成を示す構成図である。画像認識部１１４、１１５は、認識用画像データ１１０１、第１〜第ＮのＣＮＮレイヤー１１０２、１１０３、・・・、１１０４、認識結果データ１１０５を含む。

画像認識部１１４、１１５は、認識用画像データ１１０１で構成される画像に、どこに何が写っているかを認識し、認識結果を認識結果データ１１０５として出力する。この際、本実施例では、ディープラーニングの畳み込み方式（以降ＣＮＮ処理と略する）を使用している。また、画像認識部１１４、１１５は、全体のブロック図では、２つに分かれているが、双方とも同一の処理ブロックで動作可能である。

認識用画像データ１１０１は、詳細認識用画像データ９０３又は全体認識用画像データ１００３であって、画像認識部１１４の場合、詳細認識用画像データ９０３が用いられ、画像認識部１１５の場合、全体認識用画像データ１００３が用いられる。

第１〜第ＮのＣＮＮレイヤー１１０２、１１０３、・・・、１１０４におけるＣＮＮ処理は、複数の処理層によって構成されており、ある処理層の出力結果を次の処理層の入力結果として使用し、多数の処理層で画像データを処理することで、最終的な認識結果データ１１０５を生成する。認識結果データ１１０５は、画像のどこに何が写っているかを示すデータである。

図１２は、本実施例における画像認識部の入出力関係を示す構成図である。図１２において、画像認識部１１４は、詳細認識用画像データ９０３を取り込み、詳細認識用画像データ９０３から、詳細認識用画像データ９０３で構成される詳細認識用画像のどこに何が写っているかを示す詳細・部分認識結果データ１２０１を生成し、生成した詳細・部分認識結果データ１２０１を画像認識結果統合部１１６に送信する。

図１３は、本実施例における他の画像認識部の入出力関係を示す構成図である。図１３において、画像認識部１１５は、全体認識用画像データ１００３を取り込み、全体認識用画像データ１００３から、全体認識用画像データ１００３で構成される全体認識用画像のどこに何が写っているかを示す全体認識結果データ１３０１を生成し、生成した全体認識結果データ１３０１を画像認識結果統合部１１６に送信する。

図１４は、本実施例における画像認識結果統合部の構成を示す構成図である。図１４において、画像認識結果統合部１１６は、全体認識結果分離部１４０１、枠内結果データ１４０２、外枠結果データ１４０３、詳細・枠内結果合成部１４０４、詳細・外枠合成部１４０５を含む。

全体認識結果分離部１４０１は、画像認識部１１５から全体認識結果データ１３０１を取り込み、切り出し位置サイズ制御部１１０から現在切り出し位置・サイズデータ７０７を取り込み、全体認識結果データ１３０１で構成される全体認識結果を、現在切り出し位置・サイズデータ７０７で特定される枠内結果と、枠内の結果を除く認識結果であって、外枠結果（全体の認識結果）とに分離し、枠内結果を示す枠内結果データ１４０２と外枠結果を示す外枠結果データ１４０３を生成し、生成した枠内結果データ１４０２を詳細・枠内結果合成部１４０４に出力し、生成した外枠結果データ１４０３を詳細・外枠合成部１４０５に出力する。

詳細・枠内結果合成部１４０４は、画像認識部１１４から詳細・部分認識結果データ１２０１を取り込み、全体認識結果分離部１４０１から枠内結果データ１４０２を取り込み、詳細・部分認識結果データ１２０１による認識結果と枠内結果データ１４０２による認識結果を合成し、合成した認識結果のデータを詳細・外枠合成部１４０５に出力する。合成した認識結果のデータを生成するに際して、簡単な例としては、枠内結果データ１４０２を捨てて、詳細・部分認識結果データ１２０１を使用する方法がある。また別の例としては、２つのデータ（詳細・部分認識結果データ１２０１、枠内結果データ１４０２）を合成した認識結果は、場所が１対１で対応するので、その差を比較し、例えば、路上の落下物を片方だけ認識している場合などは、より安全な選択として、落下物有りの方を選択するようにする。

詳細・外枠合成部１４０５は、詳細・枠内結果合成部１４０４から、詳細・部分認識結果データ１２０１と枠内結果データ１４０２とを合成した認識結果のデータを取り込むと共に、全体認識結果分離部１４０１から、外枠結果データ１４０３を取り込み、さらに、切り出し位置サイズ制御部１１０から、現在切り出し位置・サイズデータ７０７を取り込み、合成した認識結果と、外枠結果データ１４０３及び現在切り出し位置・サイズデータ７０７を基に１つの認識結果を示す認識結果データ１１７を生成し、生成した認識結果データ１１７を認識結果に関する情報として操作決定部１０７に送信する。この際、外枠結果データ１４０３による外枠結果に、詳細・枠内結果合成部１４０４で合成した認識結果をはめ込む処理が実行される。この場合、現在切り出し位置・サイズデータ７０７を使用して、はめ込み位置が特定される。

この際、詳細・外枠合成部１４０５は、画像認識部１１４により認識された認識結果（第１の認識結果である詳細・部分認識結果）と画像認識部１１５により認識された認識結果（第２の認識結果である全体認識結果）とを比較し、詳細・部分認識結果と全体認識結果との間に、重複する部分の画像についての認識結果が存在する場合、詳細・部分認識結果と全体認識結果のうち、重要度の高い画像（例えば、人や他の車両の画像）についての認識結果を含む方を優先して選択することができる。この場合、重要度の高い画像についての認識結果を確実に得ることができる。

図１５は、本実施例における説明図であって、車両が上り坂を上りきったときの動作を説明するための説明図である。図１５（ａ）は、車両１０１が、上り坂を上りきった地点にある場合を示す。車両１０１が、上り坂を上りきった地点にある場合、フロントカメラ１０２で撮像された前方画像には、大部分が空の画像であって、認識処理をする必要がない画像が写り込むことになる。

そこで、図１５（ｂ）に示すように、フロントカメラ１０２で撮像された画像（前方画像）の入力範囲１５０１に対して、入力範囲１５０１の中央部に、詳細画像切り取り可能範囲を示すウィンドウ１５０２を設定すると共に、ウィンドウ１５０２内に、ウィンドウ１５０２内を移動可能であって、詳細画像切り取り範囲を示すウィンドウ１５０３を設定し、ウィンドウ１５０３内に、詳細認識用画像データ９０３に対応した画像をはめ込む。この際、ウィンドウ１５０３の切り出し位置をウィンドウ１５０２内の上方から下方にずらし、ウィンドウ１５０３内に、認識に必要な、車両１０１前方の道路の画像が写り込むようにする。さらに、図１５（ｃ）に示すように、ウィンドウ１５０３の切り出しサイズを縮小し、ウィンドウ１５０３内の画像を縮小画像にする。これにより、画像処理における処理量を更に少なくすることができる。

図１６は、本実施例における説明図であって、車両が下りを下りきったときの動作を説明するための説明図である。図１６（ａ）は、車両１０１が、下り坂を下りきった地点にある場合を示す。車両１０１が、下り坂を下りきった地点にある場合、フロントカメラ１０２で撮像された前方画像には、大部分が、上方に遠方が伸びる道路の画像であって、認識処理をする必要がない画像が写り込むことになる。

そこで、図１６（ｂ）に示すように、フロントカメラ１０２で撮像された画像（前方画像）の入力範囲１５０１に対して、入力範囲１５０１の中央部に、詳細画像切り取り可能範囲を示すウィンドウ１５０２を設定すると共に、ウィンドウ１５０２内に、ウィンドウ１５０２内を移動可能であって、詳細画像切り取り範囲を示すウィンドウ１５０３を設定し、ウィンドウ１５０３内に、詳細認識用画像データ９０３に対応した画像をはめ込む。この際、ウィンドウ１５０３の切り出し位置をウィンドウ１５０２内の下方から上方にずらし、ウィンドウ１５０３内に、認識に必要な、車両１０１前方の道路の画像が写り込むようにする。さらに、図１６（ｃ）に示すように、ウィンドウ１５０３の切り出しサイズを拡大し、ウィンドウ１５０３内の画像を拡大画像にする。これにより、遠方認識精度を高めることができる。

図１７は、本実施例における説明図であって、車両が右カーブの道路を走行するときの動作を説明するための説明図である。図１７（ａ）は、車両１０１が、右カーブの道路の途中にある場合を示す。車両１０１が、右カーブの道路の途中にある場合、フロントカメラ１０２で撮像された前方画像には、車両１０１の進行方向Ａに対して、遠方が、車両１０１に作用する遠心力の方向Ｂにずれた画像であって、認識する必要がない画像が写り込むことになる。

そこで、図１７（ｂ）に示すように、フロントカメラ１０２で撮像された画像（前方画像）の入力範囲１５０１に対して、入力範囲１５０１の中央部に、詳細画像切り取り可能範囲を示すウィンドウ１５０２を設定すると共に、ウィンドウ１５０２内に、ウィンドウ１５０２内を移動可能であって、詳細画像切り取り範囲を示すウィンドウ１５０３を設定し、ウィンドウ１５０３内に、詳細認識用画像データ９０３に対応した画像をはめ込む。この際、ウィンドウ１５０３内の左側にずれた、ウィンドウ１５０３の切り出し位置を、ウィンドウ１５０２内の左側から、遠心力の方向Ｂとは反対の方向（右側）にずらし、ウィンドウ１５０３内に、認識に必要な、車両１０１前方の道路の画像が写り込むようにする。なお、車両１０１が、左カーブの道路の途中にある場合、ウィンドウ１５０３の切り出し位置をウィンドウ１５０２内の右側から、カーブする方向（左側）にずらし、ウィンドウ１５０３内に、認識に必要な、車両１０１前方の道路の画像が写り込むようにする。

本実施例によれば、被写体全体の全体画像（全体認識用画像）を縮小画像と、一部の画像（詳細認識用画像）とに分け、各画像を認識の対象としたので、認識すべき画像の処理量を低減することができる。この際、詳細認識用画像の領域を全体の１/４とし、全体認識用画像を全体の１/４に縮小すると、全体で１/２の処理量とすることができる。また、本実施例によれば、車両の状態に応じて、ウィンドウ１５０３の切り出し位置とサイズを変更するようにしたので、車両の状態に応じて、認識すべき画像を詳細認識用画像として取り込むことができる。

（第２実施例）
本実施例は、車両状態認識部１０５にメジアンフィルタ１８０１を設け、車両１０１が、路面の穴などを通過するときの小さな挙動に対して、認識画像を安定化させるものであり、他の構成は、第１実施例と同じである。

図１８は、本発明の第２実施例を示す車両状態認識部の構成を示す構成図である。図１８において、車両状態認識部１０５は、加速度センサー値２０１、角速度センサー値２０２、加速度回転角算出部２０３、メジアンフィルタ１８０１、車両状態判定部２０４、車両状態テーブル２０５、車両状態データ１０９を含む。

加速度回転角算出部２０３は、加速度センサー値２０１と角速度センサー値２０２を基に、車両１０１に作用する加速度と車両１０１における角速度をそれぞれ３次元の値として算出し、算出した各３次元の値をそれぞれ３次元の計測値として、メジアンフィルタ１８０１を介して車両状態判定部２０４に出力する。

メジアンフィルタ１８０１は、加速度回転角算出部２０３から、加速度と角速度に関する３次元の計測値を取り込み、３次元の計測値のうち過去複数回の計測値（入力値）を内部に保持し、新しく入力された計測値も含め、入力された複数回分の計測値に対して順位を付与し、計測値の大きさの順位が中央の順位の計測値（平均値）を車両状態判定部２０４に出力する。この際、メジアンフィルタ１８０１は、次に内部に保持する計測値（入力値）のうち最も時間の古い計測値（入力値）を削除する。

車両状態判定部２０４は、加速度回転角算出部２０３からの３次元の計測値であって、中央の順位（平均値）の計測値を基に車両状態テーブル２０５の情報を参照し、車両状態テーブル２０５に記録された、加速度センサー閾値又は角加速度センサー閾値と、各計測値とを比較し、比較結果から、車両１０１が、現在置かれている状態を判定し、判定結果を車両状態データ１０９として出力する。

図１９は、第２実施例の動作を説明するための説明図である。図１９（ａ）に示すように、車両１０１が、道路を走行する際に、路面上の穴１９０１を通過すると、車両１０１が振動し、図１９（ｂ）に示すように、加速度センサー１０３又は角速度センサー１０４からパルス１９０２を含む信号が出力される。パルス１９０２を含む信号が加速度センサー値２０１又は角速度センサー値２０２となって、加速度回転角算出部２０３で３次元の計測値に変換されると、車両状態判定部２０４が、車両１０１の状態を誤判定し、画像を正確な切り出し位置で切り出したり、画像を正確なサイズで切り出したりできなくことが危惧される。

一方、パルス１９０２を含む信号がメジアンフィルタ１８０１に入力されると、メジアンフィルタ１８０１からは、図１９（ｃ）に示すように、加速度回転角算出部２０３で３次元に変換された計測値であって、パルス１９０２（ノイズ）が除去された計測値を示す信号１９０３が出力される。このため、図１９（ｄ）に示すように、フロントカメラ１０２によって撮像される画像に設定される入力範囲１５０１に対して、入力範囲１５０１の中央部に、詳細画像切り取り可能範囲を示すウィンドウ１５０２が正確に設定され、ウィンドウ１５０２内の中央部に、ウィンドウ１５０３が正確に設定される。このため、ウィンドウ１５０３の位置がぶれたり、ウィンドウ１５０３の切り出し位置や切り出しサイズが変化したりするのを防止することができる。

本実施例によれば、加速度センサー１０３又は角速度センサー１０４の検出値にノイズが重畳しても、このノイズがメジアンフィルタ１８０１で除去されるので、車両１０１が振動し、加速度センサー１０３又は角速度センサー１０４からパルス１９０２を含む信号が出力されても、正確な詳細認識用画像を認識すべき画像として取り込みことができる。

（第３実施例）
本実施例は、フロントカメラ１０２の代わりに、リアカメラ２００１を用い、切り出し位置サイズ制御部１１０の代わりに、切り出し位置サイズ制御部２００２を用いたものであり、他の構成は、第１実施例と同じである。

図２０は、本発明の第３実施例に係る車載画像処理装置の全体構成を示す構成図である。図２０において、車載画像処理装置１００は、リアカメラ２００１、加速度センサー１０３、角速度センサー１０４、車両状態認識部１０５、画像認識部１０６、操作決定部１０７、車両制御部１０８を備えている。

リアカメラ２００１は、車両１０１に配置され、車両１０１のリアから後方を撮影するカメラであり、機能は、フロントカメラ１０２と同じである。

画像認識部１０６は、切り出し位置サイズ制御部２００２、画像切り出し部１１２、画像縮小部１１３、画像認識部１１４、１１５、画像認識結果統合部１１６を備えている。切り出し位置サイズ制御部２００２には、車両状態認識部１０５の出力による車両状態データ１０９が入力される。

リアカメラ２００１の場合、フロントカメラ１０２と比較して、条件による切り出し位置に違いがあるため、本実施例では、切り出し位置サイズ制御部１１０の代わりに、切り出し位置サイズ制御部２００２を使用し、同様の機能を実現している。

図２１は、本実施例における切り出し位置サイズ制御部の構成を示す構成図である。図２１において、切り出し位置サイズ制御部２００２は、切り出し調整値生成部７０１、リアカメラ切り出し調整テーブル２１０１、切り出し位置決定部７０３、現在切り出し位置保持部７０４、切り出しサイズ決定部７０５、現在切り出しサイズ保持部７０６、現在切り出し位置・サイズデータ７０７を含む。

本実施例における切り出し位置サイズ制御部２００２は、フロントカメラ切り出し調整テーブル７０２の代わりに、リアカメラ切り出し調整テーブル２１０１を用いたものであり、他の構成は、第１実施例の切り出し位置サイズ制御部１１０と同じであり、詳細な説明は、省略する。なお、リアカメラ２００１は、フロントカメラ１０２とは逆方向に向けて車両１０１に取り付けられるので、車両１０１の挙動に対して、フロントカメラ１０２を用いたときとは、反対の挙動で切り出し位置を管理する必要がある。このため、リアカメラ切り出し調整テーブル２１０１には、切り出し位置に関する情報として、フロントカメラ切り出し調整テーブル７０２とは異なる情報が設定されている。また、切り出し調整値生成部７０１は、車両状態認識部１０５からの車両状態データ１０９を基に、リアカメラ切り出し調整テーブル２１０１を参照し、リアカメラ切り出し調整テーブル２１０１に記録された情報（位置・サイズ）の中から、車両状態データ１０９に応じて、切り出し位置に関する情報とサイズに関する情報を選択し、選択した情報のうち切り出し位置に関する情報を切り出し位置決定部７０３に出力し、選択した情報のうちサイズに関する情報を切り出しサイズ決定部７０５に出力する。

図２２は、本実施例におけるリアカメラ切り出し調整テーブルの構成を示す構成図である。図２２において、リアカメラ切り出し調整テーブル２１０１は、管理項目として、入力２１０２と、出力２１０３を含み、入力２１０２には、推定車両状態値２１０４が設定され、出力２１０３には、切り出し調整２１０５が設定されている。

推定車両状態値２１０４は、「上り坂終了フラグ」のデータが記録される列８０１と、「下り坂終了フラグ」のデータが記録される列８０２と、「左カーブフラグ」のデータが記録される列８０３と、「右カーブフラグ」のデータが記録される列８０４に分かれて管理される。各列には、例えば、「０」又は「１」が記録される。

切り出し調整２１０５は、「位置」の情報が記録される列８０５と、「サイズ」の情報が記録される列８０６に分かれて管理される。

ここで、車両状態データ１０９が、「０、０、０、０」である場合、行２２０１の情報が選択され、「位置」の情報として、「中央」が選択され、「サイズ」の情報として「通常」が選択される。以下同様に、車両状態データ１０９が、「０、０、１、０」である場合、行２２０２の情報が選択され、「位置」の情報として、「右寄り」が選択され、「サイズ」の情報として「通常」が選択される。車両状態データ１０９が、「０、０、０、１」である場合、行２２０３の情報が選択され、「位置」の情報として、「左寄り」が選択され、「サイズ」の情報として「通常」が選択される。

行２２０１〜２２０３の条件では、「上り坂終了フラグ」の列８０１と、「下り坂終了フラグ」の列８０２には、「０」のデータが記録されて、フラグが立っていない条件となっているので、車両１０１の状態は、平地または、大きな坂の中間と考えられ、サイズとして、「通常」が選択される。この際、位置に関する情報は、「左カーブフラグ」の列８０３のデータと「右カーブフラグ」の列８０４のデータの値によって調整している。例えば、カーブ無しの場合、「中央」が、左カーブの場合、「右寄り」が、右カーブの場合、「左寄り」が、それぞれ位置の情報となる。

車両状態データ１０９が、「１、０、０、０」である場合、行２２０４の情報が選択され、「位置」の情報として、「下寄り」が選択され、「サイズ」の情報として「縮小」が選択される。車両状態データ１０９が、「１、０、１、０」である場合、行２２０５の情報が選択され、「位置」の情報として、「右下寄り」が選択され、「サイズ」の情報として「縮小」が選択される。車両状態データ１０９が、「１、０、０、１」である場合、行２２０６の情報が選択され、「位置」の情報として、「左下寄り」が選択され、「サイズ」の情報として「縮小」が選択される。

行２２０４〜２２０６の条件では、「上り坂終了フラグ」の列８０１にのみ「１」のデータが記録され、「下り坂終了フラグ」の列８０２には、「０」のデータが記録されているので、車両１０１の状態は、上り坂の終了地点と考えられ、「サイズ」の情報として、「縮小」が選択される。この際、位置に関する情報は、「左カーブフラグ」の列８０３のデータと「右カーブフラグ」の列８０４のデータの値によって調整している。例えば、カーブ無しの場合、「下寄り」が、左カーブの場合、「右下寄り」が、右カーブの場合、「左下寄り」が、それぞれ位置の情報となる。

車両状態データ１０９が、「０、１、０、０」である場合、行２２０７の情報が選択され、「位置」の情報として、「上寄り」が選択され、「サイズ」の情報として「拡大」が選択される。車両状態データ１０９が、「０、１、１、０」である場合、行２２０８の情報が選択され、「位置」の情報として、「右上寄り」が選択され、「サイズ」の情報として「拡大」が選択される。車両状態データ１０９が、「０、１、０、１」である場合、行２２０９の情報が選択され、「位置」の情報として、「左上寄り」が選択され、「サイズ」の情報として「拡大」が選択される。

行２２０７〜２２０９の条件では、「下り坂終了フラグ」の列８０２にのみ「１」のデータが記録され「上り坂終了フラグ」の列８０１には、「０」のデータが記録されているので、車両１０１の状態は、下り坂の終了地点と考えられ、「サイズ」の情報として、「拡大」が選択される。この際、位置に関する情報は、「左カーブフラグ」の列８０３のデータと「右カーブフラグ」の列８０４のデータの値によって調整している。例えば、カーブ無しの場合、「上寄り」が、左カーブの場合、「右上寄り」が、右カーブの場合、「左上寄り」が、それぞれ位置の情報となる。

なお、上り坂と下り坂は排他的な条件のため、列８０１と列８０２の同一の行に、双方が「１」となるデータは存在しない。また、左カーブと右カーブは排他的な条件のため、列８０３と列８０４の同一の行に、双方が「１」となるデータは存在しない。

図２３は、本実施例における説明図であって、車両が上り坂を上り終えたときの動作を説明するための説明図である。図２３（ａ）は、車両１０１が、上り坂を上り終えた地点にある場合を示す。車両１０１が、上り坂を上り終えた地点にある場合、リアカメラ２００１で撮像された後方画像には、大部分が空の画像であって、認識処理をする必要がない画像が写り込むことになる。

そこで、図２３（ｂ）に示すように、リアカメラ２００１で撮像された画像（後方画像）の入力範囲１５０１に対して、入力範囲１５０１の中央部に、詳細画像切り取り可能範囲を示すウィンドウ１５０２を設定すると共に、ウィンドウ１５０２内に、ウィンドウ１５０２内を移動可能であって、詳細画像切り取り範囲を示すウィンドウ１５０３を設定し、ウィンドウ１５０３内に、詳細認識用画像データ９０３に対応した画像をはめ込む。この際、ウィンドウ１５０３の切り出し位置をウィンドウ１５０２内の上方から下方にずらし、ウィンドウ１５０３内に、認識に必要な、車両１０１後方の道路の画像が写り込むようにする。さらに、ウィンドウ１５０３の切り出しサイズを縮小し、ウィンドウ１５０３内の画像を縮小画像として、画像認識処理における処理量を更に少なくする。

一方、車両１０１が、上り坂を上りきった後、坂から離れて行く場合、図２３（ｃ）に示すように、ウィンドウ１５０３の切り出しサイズを徐々に拡大し、ウィンドウ１５０３内の画像を拡大画像として、後方画像として、認識に必要な画像の範囲を拡大させる。

図２４は、本実施例における説明図であって、車両が下りを下り終えたときの動作を説明するための説明図である。図２４（ａ）は、車両１０１が、下り坂を下り終えた地点にある場合を示す。車両１０１が、下り坂を下り終えた地点にある場合、リアカメラ２００１で撮像された後方画像には、大部分が、車両１０１後方近傍の路面の画像であって、認識処理をする必要がない画像が写り込むことになる。

そこで、図２４（ｂ）に示すように、リアカメラ２００１で撮像された画像（後方画像）の入力範囲１５０１に対して、入力範囲１５０１の中央部に、詳細画像切り取り可能範囲を示すウィンドウ１５０２を設定すると共に、ウィンドウ１５０２内に、ウィンドウ１５０２内を移動可能であって、詳細画像切り取り範囲を示すウィンドウ１５０３を設定し、ウィンドウ１５０３内に、詳細認識用画像データ９０３に対応した画像をはめ込む。この際、ウィンドウ１５０３の切り出し位置をウィンドウ１５０２内の中央から上方にずらし、ウィンドウ１５０３内に、認識に必要な、車両１０１後方の道路の画像が写り込むようにする。さらに、ウィンドウ１５０３の切り出しサイズを徐々に拡大し、ウィンドウ１５０３内の画像を拡大画像として、認識精度が落ちないようにする。

一方、車両１０１が、下り坂を下り終えた後、坂から離れて行く場合、図２４（ｃ）に示すように、ウィンドウ１５０３の切り出しサイズを徐々に縮小し、ウィンドウ１５０３内の画像を縮小画像として、画像認識処理における処理量を更に少なくする。

本実施例によれば、リアカメラを用いても、第１実施例と同様の効果を奏することができる。

（第４実施例）
本実施例は、フロントカメラ１０２の代わりに、サイドカメラ２５０１を用い、切り出し位置サイズ制御部１１０の代わりに、切り出し位置サイズ制御部２５０２を用いたものであり、他の構成は、第１実施例と同じである。

図２５は、本発明の第４実施例に係る車載画像処理装置の全体構成を示す構成図である。図２５において、車載画像処理装置１００は、複数のサイドカメラ２５０１、加速度センサー１０３、角速度センサー１０４、車両状態認識部１０５、画像認識部１０６、操作決定部１０７、車両制御部１０８を備えている。

各サイドカメラ２５０１は、車両１０１の両サイドに分かれて配置され、車両１０１の左横から、車両１０１の横の近景や遠景を又は車両１０１の右横から、車両１０１の横の近景や遠景をそれぞれ撮影するカメラであり、機能は、フロントカメラ１０２と同じである。

画像認識部１０６は、切り出し位置サイズ制御部２５０２、画像切り出し部１１２、画像縮小部１１３、画像認識部１１４、１１５、画像認識結果統合部１１６を備えている。切り出し位置サイズ制御部２５０２には、車両状態認識部１０５の出力による車両状態データ１０９が入力される。

サイドカメラ２５０１の場合、フロントカメラ１０２と比較して、条件による切り出し位置に違いがあるため、本実施例では、切り出し位置サイズ制御部１１０の代わりに、切り出し位置サイズ制御部２５０２を使用し、同様の機能を実現している。

図２６は、本実施例における切り出し位置サイズ制御部の構成を示す構成図である。図２６において、切り出し位置サイズ制御部２５０２は、切り出し調整値生成部７０１、右（左）カメラ切り出し調整テーブル２６０１、切り出し位置決定部７０３、現在切り出し位置保持部７０４、切り出しサイズ決定部７０５、現在切り出しサイズ保持部７０６、現在切り出し位置・サイズデータ７０７を含む。

本実施例における切り出し位置サイズ制御部２５０２は、フロントカメラ切り出し調整テーブル７０２の代わりに、右（左）カメラ切り出し調整テーブル２６０１を用いたものであり、他の構成は、第１実施例の切り出し位置サイズ制御部１１０と同じであり、詳細な説明は、省略する。なお、切り出し調整値生成部７０１は、車両状態認識部１０５からの車両状態データ１０９を基に、右（左）カメラ切り出し調整テーブル２６０１を参照し、右（左）カメラ切り出し調整テーブル２６０１に記録された情報（位置・サイズ）の中から、車両状態データ１０９に応じて、切り出し位置に関する情報とサイズに関する情報を選択し、選択した情報のうち切り出し位置に関する情報を切り出し位置決定部７０３に出力し、選択した情報のうちサイズに関する情報を切り出しサイズ決定部７０５に出力する。なお、右（左）カメラ切り出し調整テーブル２６０１は、右カメラ切り出し調整テーブルと、左カメラ切り出し調整テーブルに分けて構成することができる。

図２７は、本実施例における右カメラ切り出し調整テーブルの構成を示す構成図である。図２７において、右カメラ切り出し調整テーブル２７０１は、管理項目として、入力２７０２と、出力２７０３を含み、入力２７０２には、推定車両状態値２７０４が設定され、出力２７０３には、切り出し調整２７０５が設定されている。

推定車両状態値２７０４は、「左カーブフラグ」のデータが記録される列８０３と、「右カーブフラグ」のデータが記録される列８０４に分かれて管理される。各列には、例えば、「０」又は「１」が記録される。

切り出し調整２７０５は、「位置」の情報が記録される列８０５と、「サイズ」の情報が記録される列８０６に分かれて管理される。

ここで、車両状態データ１０９が、「０、０」である場合、行２７１１の情報が選択され、「位置」の情報として、「中央」が選択され、「サイズ」の情報として「通常」が選択される。以下同様に、車両状態データ１０９が、「１、０」である場合、行２７１２の情報が選択され、「位置」の情報として、「上寄り」が選択され、「サイズ」の情報として「拡大」が選択される。車両状態データ１０９が、「０、１」である場合、行２７１３の情報が選択され、「位置」の情報として、「下寄り」が選択され、「サイズ」の情報として「縮小」が選択される。なお、右のサイドカメラ２５０１で撮影された画像の「中央」は、入力範囲１５０１の左右両側の中央位置である。

行２７１１の条件では、「左カーブフラグ」の列８０３と、「右カーブフラグ」の列８０４には、「０」のデータが記録され、フラグが立っていない条件となっているので、車両１０１の状態は、平地または、大きな坂の中間と考えられ、サイズとして、「通常」が選択される。この際、位置に関する情報は、「左カーブフラグ」の列８０３のデータと「右カーブフラグ」の列８０４のデータの値によって調整している。例えば、カーブ無しの場合、「中央」が、位置の情報となる。

行２７１２の条件では、「左カーブフラグ」の列８０３に「１」のデータが記録され「右カーブフラグ」の列８０４には、「０」のデータが記録されているので、車両１０１の状態は、左カーブの途中の地点と考えられ、「サイズ」の情報として、「拡大」が選択される。この際、位置に関する情報は、「左カーブフラグ」の列８０３のデータと「右カーブフラグ」の列８０４のデータの値によって調整している。例えば、左カーブの場合、「上寄り」が、位置の情報となる。

行２７１３の条件では、「左カーブフラグ」の列８０３に「０」のデータが記録され「右カーブフラグ」の列８０４には、「１」のデータが記録されているので、車両１０１の状態は、右カーブの途中の地点と考えられ、「サイズ」の情報として、「拡大」が選択される。この際、位置に関する情報は、「左カーブフラグ」の列８０３のデータと「右カーブフラグ」の列８０４のデータの値によって調整している。例えば、右カーブの場合、「下寄り」が、位置の情報となる。

図２８は、本実施例における左カメラ切り出し調整テーブルの構成を示す構成図である。図２８において、左カメラ切り出し調整テーブル２８０１は、管理項目として、入力２８０２と、出力２８０３を含み、入力２８０２には、推定車両状態値２８０４が設定され、出力２８０３には、切り出し調整２８０５が設定されている。

推定車両状態値２８０４は、「左カーブフラグ」のデータが記録される列８０３と、「右カーブフラグ」のデータが記録される列８０４に分かれて管理される。各列には、例えば、「０」又は「１」が記録される。

切り出し調整２８０５は、「位置」の情報が記録される列８０５と、「サイズ」の情報が記録される列８０６に分かれて管理される。

ここで、車両状態データ１０９が、「０、０」である場合、行２８１１の情報が選択され、「位置」の情報として、「中央」が選択され、「サイズ」の情報として「通常」が選択される。以下同様に、車両状態データ１０９が、「１、０」である場合、行２８１２の情報が選択され、「位置」の情報として、「下寄り」が選択され、「サイズ」の情報として「縮小」が選択される。車両状態データ１０９が、「０、１」である場合、行２８１３の情報が選択され、「位置」の情報として、「上寄り」が選択され、「サイズ」の情報として「拡大」が選択される。なお、左のサイドカメラ２５０１で撮影された画像の「中央」は、入力範囲１５０１の左右両側の中央位置である。

行２８１１の条件では、「左カーブフラグ」の列８０３と、「右カーブフラグ」の列８０４には、「０」のデータが記録され、フラグが立っていない条件となっているので、車両１０１の状態は、平地または、大きな坂の中間と考えられ、サイズとして、「通常」が選択される。この際、位置に関する情報は、「左カーブフラグ」の列８０３のデータと「右カーブフラグ」の列８０４のデータの値によって調整している。例えば、カーブ無しの場合、「中央」が、位置の情報となる。

行２８１２の条件では、「左カーブフラグ」の列８０３に「１」のデータが記録され「右カーブフラグ」の列８０４には、「０」のデータが記録されているので、車両１０１の状態は、左カーブの途中の地点と考えられ、「サイズ」の情報として、「縮小」が選択される。この際、位置に関する情報は、「左カーブフラグ」の列８０３のデータと「右カーブフラグ」の列８０４のデータの値によって調整している。例えば、左カーブの場合、「下寄り」が、位置の情報となる。

行２８１３の条件では、「左カーブフラグ」の列８０３に「０」のデータが記録され「右カーブフラグ」の列８０４には、「１」のデータが記録されているので、車両１０１の状態は、右カーブの途中の地点と考えられ、「サイズ」の情報として、「拡大」が選択される。この際、位置に関する情報は、「左カーブフラグ」の列８０３のデータと「右カーブフラグ」の列８０４のデータの値によって調整している。例えば、右カーブの場合、「上寄り」が、位置の情報となる。

なお、左カーブと右カーブは排他的な条件のため、列８０３と列８０４の同一の行に、双方が「１」となるデータは存在しない。

図２９は、本実施例における説明図であって、車両がカーブを通過するときの動作を説明するための説明図である。図２９（ａ）は、車両１０１が、カーブを通過するときの状態を示している。この際、車両１０１の進行方向Ａに対して、右側に位置するサイドカメラ２５０１は、カーブ内側カメラとして機能し、左側に位置するサイドカメラ２５０１は、カーブ外側カメラとして機能する。各サイドカメラ２５０１で解像度が必要となるのは、車両１０１のフロント側の画像と、リア側の画像となる。そこで、図２９（ｂ）に示すように、入力範囲１５０１には、各サイドカメラ２５０１で撮影された画像のうち、左右の遠景部分の画像を切り出すために、２つのウィンドウ１５０３が、一部の画像の切り出し位置に対応して設定される。車両１０１の進行方向Ａに対して、フロント側となる一方のウィンドウ１５０３には、フロント遠景の画像がはめ込まれ、リア側となる他方のウィンドウ１５０３には、リア遠景の画像がはめ込まれる。

また、車両１０１がカーブを通過する際には、車両１０１がカーブ外側に傾くので、カーブ外側サイドカメラ２５０１で撮影された画像は、近景の画像が多くなる。このため、図２９（ｃ）に示すように、カーブ外側サイドカメラ２５０１で撮影された画像のうち、ウィンドウ１５０３の画像をそれぞれ縮小して縮小画像とする。さらに、カーブ外側サイドカメラ２５０１が下向きに傾くので、各ウィンドウ１５０３を中央位置から入力範囲１５０１の上側に移す。

一方、カーブ内側カメラとなるサイドカメラ２５０１で撮影された画像は、車両１０１前方の視界が開け、車両１０１後方の画像を巻き込んだ画像となることが危惧されるので、図２９（ｄ）に示すように、カーブ内側カメラとなるサイドカメラ２５０１で撮影された画像のうち各ウィンドウ１５０３の画像をそれぞれ拡大して拡大画像とする。さらに、カーブ内側カメラとなるサイドカメラ２５０１が上向きに傾くので、各ウィンドウ１５０３を中央位置から入力範囲１５０１の下側に移す。

本実施例によれば、車両の状態に応じて、ウィンドウ１５０３の切り出し位置とサイズを変更するようにしたので、サイドカメラ２５０１を用いても、車両の状態に応じて、認識すべき画像を詳細認識用画像として取り込むことができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤ（Secure Digital）メモリカード、ＤＶＤ（Digital Versatile Disc）等の記録媒体に記録して置くことができる。

１００ 車載画像処理装置、１０１ 車両、１０２ フロントカメラ、１０３ 加速度センサー、１０４ 角速度センサー、１０５ 車両状態認識部、１０６ 画像処理部、１０７ 操作決定部、１０８ 車両制御部、１１０ 切り出し位置サイズ制御部、１１２ 画像切り出し部、１１３ 画像縮小部、１１４、１１５ 画像認識部、１１６ 画像認識結果統合部、１５０１ 入力範囲、１５０２、１５０３ ウィンドウ、１８０１ メジアンフィルタ、２００１ リアカメラ、２００２ 切り出し位置サイズ制御部、２５０１ サイドカメラ、２５０２ 切り出し位置サイズ制御部

Claims (15)

1. 車両に搭載されたカメラで撮影された画像に関する情報を取り込み、前記画像のうち前記カメラの被写体全体を含む全体画像からその一部を切り出す画像切り出し部と、
   前記カメラで撮影された前記画像に関する情報を取り込み、前記画像のうち前記全体画像を縮小して、前記被写体全体の縮小画像を生成する画像縮小部と、
   前記画像切り出し部により切り出された前記一部の画像を認識する第１の画像認識部と、
   前記画像縮小部により縮小された前記縮小画像を認識する第２の画像認識部と、
   前記第１の画像認識部により認識された第１の認識結果と前記第２の画像認識部により認識された第２の認識結果とを統合し、統合された認識結果の情報を生成する画像認識結果統合部と、を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記画像切り出し部は、
   前記全体画像に属する近景の画像と遠景の画像のうち前記遠景の画像を前記全体画像から切り出し、
   前記画像縮小部は、
   前記全体画像に属する前記近景の画像と前記遠景の画像をそれぞれ縮小することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記車両の状態を検出する複数のセンサーと、
   前記複数のセンサーの検出値を基に前記車両の少なくとも走行時の状態を認識する車両状態認識部と、
   前記車両状態認識部の認識結果を基に前記全体画像における前記一部の画像の切り出し位置とサイズを決定する制御を行う切り出し位置サイズ制御部と、を更に備え、
   前記画像切り出し部は、
   前記切り出し位置サイズ制御部で決定された前記切り出し位置と前記サイズを基に前記全体画像から前記一部の画像を切り出すことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記画像認識結果統合部は、
   前記第１の画像認識部により認識された第１の認識結果と前記第２の画像認識部により認識された第２の認識結果とを比較し、前記第１の認識結果と前記第２の認識結果との間に、重複する部分の画像についての認識結果が存在する場合、前記第１の認識結果と前記第２の認識結果のうち、重要度の高い画像についての認識結果を含む方を優先して選択することを特徴とする画像処理装置。
5. 請求項３に記載の画像処理装置であって、
   前記カメラは、前記車両の前方を撮影するフロントカメラであり、
   前記切り出し位置サイズ制御部は、
   前記車両状態認識部の認識結果が、カーブ無しの直線道路の地点である場合、前記一部の画像の切り出し位置を、前記全体画像の中央部となる中央位置に決定し、前記一部の画像のサイズを通常サイズに決定し、
   前記車両状態認識部の認識結果が、左カーブの直線道路の地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも左寄りの位置に決定し、前記一部の画像のサイズを前記通常サイズに決定し、
   前記車両状態認識部の認識結果が、右カーブの直線道路の地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも右寄りの位置に決定し、前記一部の画像のサイズを前記通常サイズに決定することを特徴とする画像処理装置。
6. 請求項３に記載の画像処理装置であって、
   前記カメラは、前記車両の前方を撮影するフロントカメラであり、
   前記切り出し位置サイズ制御部は、
   前記車両状態認識部の認識結果が、カーブ無しの直線道路の地点である場合、前記一部の画像の切り出し位置を、前記全体画像の中央部となる中央位置に決定し、前記一部の画像のサイズを通常サイズに決定し、
   前記車両状態認識部の認識結果が、前記カーブ無しの坂道を上がりきった地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも下寄りの位置に決定し、前記一部の画像のサイズを前記通常サイズよりも小さい縮小サイズに決定し、
   前記車両状態認識部の認識結果が、左カーブの坂道を上がりきった地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも左下寄りの位置に決定し、前記一部の画像のサイズを前記縮小サイズに決定し、
   前記車両状態認識部の認識結果が、右カーブの坂道を上がりきった地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも右下寄りの位置に決定し、前記一部の画像のサイズを前記縮小サイズに決定することを特徴とする画像処理装置。
7. 請求項３に記載の画像処理装置であって、
   前記カメラは、前記車両の前方を撮影するフロントカメラであり、
   前記切り出し位置サイズ制御部は、
   前記車両状態認識部の認識結果が、カーブ無しの直線道路の地点である場合、前記一部の画像の切り出し位置を、前記全体画像の中央部となる中央位置に決定し、前記一部の画像のサイズを通常サイズに決定し、
   前記車両状態認識部の認識結果が、前記カーブ無しの坂道を下がりきった地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも上寄りの位置に決定し、前記一部の画像のサイズを前記通常サイズよりも大きい拡大サイズに決定し、
   前記車両状態認識部の認識結果が、左カーブの坂道を下がりきった地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも左上寄りの位置に決定し、前記一部の画像のサイズを前記拡大サイズに決定し、
   前記車両状態認識部の認識結果が、右カーブの坂道を下がりきった地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも右上寄りの位置に決定し、前記一部の画像のサイズを前記拡大サイズに決定することを特徴とする画像処理装置。
8. 請求項３に記載の画像処理装置であって、
   前記カメラは、前記車両の後方を撮影するリアカメラであり、
   前記切り出し位置サイズ制御部は、
   前記車両状態認識部の認識結果が、カーブ無しの直線道路の地点である場合、前記一部の画像の切り出し位置を、前記全体画像の中央部となる中央位置に決定し、前記一部の画像のサイズを通常サイズに決定し、
   前記車両状態認識部の認識結果が、左カーブの直線道路の地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも右寄りの位置に決定し、前記一部の画像のサイズを前記通常サイズに決定し、
   前記車両状態認識部の認識結果が、右カーブの直線道路の地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも左寄りの位置に決定し、前記一部の画像のサイズを前記通常サイズに決定することを特徴とする画像処理装置。
9. 請求項３に記載の画像処理装置であって、
   前記カメラは、前記車両の後方を撮影するリアカメラであり、
   前記切り出し位置サイズ制御部は、
   前記車両状態認識部の認識結果が、カーブ無しの直線道路の地点である場合、前記一部の画像の切り出し位置を、前記全体画像の中央部となる中央位置に決定し、前記一部の画像のサイズを通常サイズに決定し、
   前記車両状態認識部の認識結果が、前記カーブ無しの坂道を上がりきった地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも下寄りの位置に決定し、前記一部の画像のサイズを前記通常サイズよりも小さい縮小サイズに決定し、
   前記車両状態認識部の認識結果が、左カーブの坂道を上がりきった地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも右下寄りの位置に決定し、前記一部の画像のサイズを前記縮小サイズに決定し、
   前記車両状態認識部の認識結果が、右カーブの坂道を上がりきった地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも左下寄りの位置に決定し、前記一部の画像のサイズを前記縮小サイズに決定することを特徴とする画像処理装置。
10. 請求項３に記載の画像処理装置であって、
    前記カメラは、前記車両の後方を撮影するリアカメラであり、
    前記切り出し位置サイズ制御部は、
    前記車両状態認識部の認識結果が、カーブ無しの直線道路の地点である場合、前記一部の画像の切り出し位置を、前記全体画像の中央部となる中央位置に決定し、前記一部の画像のサイズを通常サイズに決定し、
    前記車両状態認識部の認識結果が、前記カーブ無しの坂道を下がりきった地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも上寄りの位置に決定し、前記一部の画像のサイズを前記通常サイズよりも大きい拡大サイズに決定し、
    前記車両状態認識部の認識結果が、左カーブの坂道を下がりきった地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも右上寄りの位置に決定し、前記一部の画像のサイズを前記拡大サイズに決定し、
    前記車両状態認識部の認識結果が、右カーブの坂道を下がりきった地点である場合、前記一部の画像の切り出し位置を、前記中央位置よりも左上寄りの位置に決定し、前記一部の画像のサイズを前記拡大サイズに決定することを特徴とする画像処理装置。
11. 請求項３に記載の画像処理装置であって、
    前記カメラは、前記車両の右横を撮影する右のサイドカメラ又は前記車両の左横を撮影する左のサイドカメラであり、
    前記切り出し位置サイズ制御部は、
    前記カメラが、前記右のサイドカメラであることを条件に、
    前記車両状態認識部の認識結果が、カーブ無しの直線道路の地点である場合、前記一部の画像の切り出し位置を、前記全体画像の左右両側の中央位置に決定し、前記一部の画像のサイズを通常サイズに決定し、
    前記車両状態認識部の認識結果が、左カーブの地点である場合、前記一部の画像の切り出し位置を、前記左右両側の中央位置よりも上寄りの位置に決定し、前記一部の画像のサイズを前記通常サイズよりも大きい拡大サイズに決定し、
    前記車両状態認識部の認識結果が、右カーブの地点である場合、前記一部の画像の切り出し位置を、前記左右両側の中央位置よりも下寄りの位置に決定し、前記一部の画像のサイズを前記通常サイズよりも小さい縮小サイズに決定し、
    さらに前記切り出し位置サイズ制御部は、
    前記カメラが、前記左のサイドカメラであることを条件に、
    前記車両状態認識部の認識結果が、前記カーブ無しの直線道路の地点である場合、前記一部の画像の切り出し位置を、前記左右両側の中央位置に決定し、前記一部の画像のサイズを前記通常サイズに決定し、
    前記車両状態認識部の認識結果が、前記左カーブの地点である場合、前記一部の画像の切り出し位置を、前記左右両側の中央位置よりも下寄りの位置に決定し、前記一部の画像のサイズを前記縮小サイズに決定し、
    前記車両状態認識部の認識結果が、前記右カーブの地点である場合、前記一部の画像の切り出し位置を、前記左右両側の中央位置よりも上寄りの位置に決定し、前記一部の画像のサイズを前記縮小サイズに決定することを特徴とする画像処理装置。
12. 請求項３に記載の画像処理装置であって、
    前記複数のセンサーは、
    前記車両に作用する３次元方向の加速度を検出する加速度センサーと、
    前記車両の角速度を３次元で検出する角速度センサーを含むことを特徴とする画像処理装置。
13. 請求項１２に記載の画像処理装置であって、
    前記複数のセンサーの出力には、前記複数のセンサーの出力に重畳するノイズを除去するメジアンフィルタが接続されることを特徴とする画像処理装置。
14. 車両に搭載されたカメラで撮影された画像に関する情報を取り込み、前記画像のうち前記カメラの被写体全体を含む全体画像からその一部を切り出す画像切り出しステップと、
    前記カメラで撮影された前記画像に関する情報を取り込み、前記画像のうち前記全体画像を縮小して、前記被写体全体の縮小画像を生成する画像縮小ステップと、
    前記画像切り出しステップにより切り出された前記一部の画像を認識する第１の画像認識ステップと、
    前記画像縮小ステップにより縮小された前記縮小画像を認識する第２の画像認識ステップと、
    前記第１の画像認識ステップにより認識された第１の認識結果と前記第２の画像認識ステップにより認識された第２の認識結果とを統合し、統合された認識結果の情報を生成する画像認識結果統合ステップと、を有することを特徴とする画像処理方法。
15. 請求項１４に記載の画像処理方法であって、
    前記画像切り出しステップでは、
    前記全体画像に属する近景の画像と遠景の画像のうち前記遠景の画像を前記全体画像から切り出し、
    前記画像縮小ステップでは、
    前記全体画像に属する前記近景の画像と前記遠景の画像をそれぞれ縮小することを特徴とする画像処理方法。

Images