JP6656129B2 - 画像処理装置、撮像装置 - Google Patents

Description

本発明は、画像処理装置および撮像装置に関する。

従来、車両に搭載されたステレオカメラにより得られる画像から、観測対象物までの距離と、観測対象物の動きベクトルとを算出し、これらの算出結果を観測対象物の認識処理に使用することで、歩行者を含む車両周辺の観測対象物の検出を実現する技術が知られている（特許文献１参照）。

特開２０１１−２４８６４０号公報

特許文献１に開示された技術では、車両状態に関わらず、距離算出処理と動きベクトル算出処理を、それぞれ個別に並列して行う必要がある。そのため、これらの処理を同時に実行できるような高い処理能力または回路規模を有する演算回路を使用する必要があり、製品コストの増加につながっている。

本発明による画像処理装置は、車両に搭載されるものであって、前記車両の周辺の観測対象物を含む撮像画像から前記観測対象物の動きを示す動き情報を生成する動き特徴抽出部と、前記撮像画像に基づいて前記車両から前記観測対象物までの距離を算出する距離特徴抽出部と、前記動き特徴抽出部と距離特徴抽出部の処理結果に基づいて前記観測対象物の認識処理を行う認識部と、を備え、所定の車両状態に基づいて、前記動き特徴抽出部と前記距離特徴抽出部の演算処理量をそれぞれ変化させる。
本発明による撮像装置は、画像処理装置と、前記画像処理装置に接続されて前記撮像画像を取得する１または２以上のカメラ部と、を備える。

本発明によれば、車両周辺の観測対象物の検出を行う装置を低コストで提供することができる。

本発明の第１の実施形態に係る撮像装置の構成を示す図である。 本発明の第２の実施形態に係る撮像装置の構成を示す図である。 本発明の第３の実施形態に係る撮像装置の構成を示す図である。 本発明の第４の実施形態に係る撮像装置の構成を示す図である。 演算リソース部の割り当ての一例を示す図である。 画像処理装置によって実行される処理フローの一例である。 演算リソース割当決定処理の処理フローを示す図の一例である。 車速に基づく演算リソース割合の決定方法の一例を説明する図である。 車速に基づく演算リソース割合の決定方法の別の一例を説明する図である。 走行モードに基づく演算リソース割合の決定方法の一例を説明する図である。 地図情報に基づく演算リソース割合の決定方法の一例を説明する図である。 交通状況に基づく演算リソース割合の決定方法の一例を説明する図である。 地図情報と車速に基づく演算リソース割合の決定方法の一例を説明する図である。 車速に応じて距離特徴抽出部と動き特徴抽出部の演算処理量をそれぞれ変化させた場合の様子を示す図である。

以下、本発明の実施形態を、図面を用いて説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置１Ａの構成を示す図である。図１に示す撮像装置１Ａは、画像処理装置１０Ａと、画像処理装置１０Ａに接続されたカメラ部２０とを備えており、車両制御部６０に接続されている。

カメラ部２０は、車両５０の周辺、たとえば車両５０の前方の所定範囲を撮像できるように車両５０に設置されており、車両５０の周辺の観測対象物を含む撮像画像を取得して画像処理装置１０Ａに出力する。なお、車両５０の周辺の観測対象物は、たとえば、車両５０の周辺に存在する他の車両、歩行者、自転車、障害物、構造物、道路標示、縁石等を含む。

画像処理装置１０Ａは、カメラ部２０と共に車両５０に搭載されている。画像処理装置１０Ａは、その機能として、距離特徴抽出部１１０と、動き特徴抽出部１１１と、認識処理部１１４とを備えている。カメラ部２０から画像処理装置１０Ａに出力された撮像画像は、画像処理装置１０Ａにおいて、距離特徴抽出部１１０と動き特徴抽出部１１１にそれぞれ入力される。画像処理装置１０Ａは、たとえば不図示のＣＰＵ、ＲＯＭ、ＲＡＭ等を有しており、ＲＯＭに記憶された所定のプログラムをＣＰＵにより実行することで、距離特徴抽出部１１０と、動き特徴抽出部１１１と、認識処理部１１４とを実現することができる。あるいは、ＦＰＧＡ等のハードウェアを用いてこれらを実現してもよい。

距離特徴抽出部１１０は、カメラ部２０から入力された撮像画像に基づいて、車両５０から観測対象物までの距離を算出するための距離特徴抽出処理を実行する。距離特徴抽出部１１０は、たとえば、撮像画像における観測対象物の位置に基づき、カメラ部２０の設置位置、撮像方向、画角等を考慮して周知の算出方法により、車両５０から観測対象物までの距離を算出することができる。距離特徴抽出部１１０は、車両５０から観測対象物までの距離を算出したら、その算出結果を示す距離情報を認識処理部１１４に出力する。

動き特徴抽出部１１１は、カメラ部２０から入力された撮像画像に基づいて、車両５０から見た観測対象物の動きを抽出するための動き特徴抽出処理を実行する。動き特徴抽出部１１１は、たとえば、時系列順に取得された複数の撮像画像における観測対象物の位置の変化に基づき、周知の方法により、観測対象物の動きを抽出することができる。動き特徴抽出部１１１は、観測対象物の動きを抽出したら、その動きを示す動き情報を認識処理部１１４に出力する。

認識処理部１１４は、動き特徴抽出部１１１、距離特徴抽出部１１０それぞれの演算処理結果に基づいて、観測対象物の認識処理を行う。認識処理部１１４は、たとえば、距離特徴抽出部１１０から入力された距離情報と、動き特徴抽出部１１１から入力された動き情報とに基づき、周知の認識処理を実行することで、車両５０の走行に対する観測対象物の危険度や、車両５０の進行方向を求める。認識処理部１１４は、観測対象物の認識処理を実行したら、その処理結果に基づく検知情報を車両制御部６０に出力する。認識処理部１１４が出力する検知情報は、たとえば、検知した観測対象物の位置情報、種類情報、動作情報、危険情報などを含む。位置情報は、たとえば、車両５０に対する観測対象物の方向と距離などを表す情報である。種類情報は、たとえば、歩行者、大人、子供、高齢者、動物、落石、自転車、周辺車両、周辺構造物、縁石などを表す情報である。動作情報は、たとえば、歩行者や自転車のふらつき、飛び出し、横切り、移動方向、移動速度、移動軌跡などを表す情報である。危険情報は、たとえば、歩行者の飛び出し、落石、周辺車両の異常動作（急停止、急減速、急ハンドル等）などを表す情報である。

車両制御部６０は、認識処理部１１４の処理結果に基づいて、車両５０の制御を行う。車両制御部６０は、たとえば、認識処理部１１４から入力された検知情報に基づき、車両５０のブレーキ、操舵角、アクセル開度、各種ランプの点灯状態、警告音の出力などを制御する。また、カメラ部２０の動きを制御したり、車両５０とネットワークを介して接続された周辺車両やセンタ機器に対して、認識処理部１１４の処理結果に基づく観測対象物に関する情報を出力したりしてもよい。さらに、カメラ部２０で得られた撮像画像を用いて、車両５０の運転者に観測対象物を認識させるための画像表示を行ったり、車両５０に搭載されたナビゲーション装置等の情報機器に対して、認識処理部１１４の処理結果に基づく観測対象物の情報を提供したりしてもよい。

また、車両制御部６０は、車両５０における所定の車両状態を示す車両情報を画像処理装置１０Ａに出力する。この車両情報は、画像処理装置１０Ａにおいて、距離特徴抽出部１１０と動き特徴抽出部１１１にそれぞれ入力される。距離特徴抽出部１１０と動き特徴抽出部１１１は、車両制御部６０から供給される車両情報に応じて、各々の演算処理負荷を制御する。演算処理負荷の制御の一例としては、たとえば、距離特徴抽出部１１０の演算処理負荷と動き特徴抽出部１１１演算処理負荷の合計が、所定の処理負荷を超えないように制御する方法がある。これにより、画像処理装置１０Ａは、車両５０の状態に基づいて、動き特徴抽出部１１１と距離特徴抽出部１１０の演算処理量をそれぞれ変化させることができる。

車両制御部６０から出力される車両情報が表す車両状態は、たとえば、車両５０の車速、加速度、操舵角、走行モードや、地図上の車両５０の位置に応じた地図情報や、車両５０が走行している道路の交通状況などを含む。走行モードには、たとえば、走行路に基づく走行モード、走行状況に基づく走行モード、周囲自然環境に基づく走行モード、省電力または省燃費で走行する省エネルギーモードなどがある。走行路に基づく走行モードには、たとえば、市街地走行モード、一般道走行モード、高速道路走行モードなどがある。走行状況に基づく走行モードには、たとえば、渋滞時走行モード、駐車場モード、周囲車両の位置や動きに応じた走行モードなどがある。周囲自然環境に基づく走行モードには、たとえば、夜間走行モード、逆光時走行モードなどがある。地図上の車両５０の位置に応じた地図情報には、地図上における車両５０の位置の属性を示す情報として、たとえば、道路種別情報、道路形状情報、道路面地物情報、路幅情報、車線情報、道路勾配情報などがある。道路種別情報は、たとえば、路地、国道、高速道路などを表す情報である。道路形状情報は、たとえば、直線路、カーブ路、Ｔ字路、交差点などを表す情報である。道路面地物情報は、たとえば、信号、車道、歩道、踏切道、自転車駐輪場、自動車駐車場、横断歩道などを表す情報である。車両５０が走行している道路の交通状況には、たとえば、渋滞状況、速度制限や通行禁止などの交通規制の有無、現在の走行ルートとは別の走行ルートの有無などがある。

図１４は、撮像装置１Ａにおける車両情報に応じた演算処理負荷制御の例として、車両情報が車両５０の車速を表しており、車速に応じて距離特徴抽出部１１０と動き特徴抽出部１１１の演算処理量をそれぞれ変化させた場合の様子を示している。図１４において、横軸は車速の大きさを表し、縦軸は演算処理負荷の大きさを表している。

図１４に示すように、車両５０の車速が小さい場合には、グラフＬ１４０に示す動き特徴抽出処理の演算処理負荷が相対的に高くなり、グラフＬ１４１に示す距離特徴抽出処理の演算処理負荷が相対的に低くなるように、動き特徴抽出部１１１と距離特徴抽出部１１０の演算処理量をそれぞれ制御する。また、ここから車両５０の車速が上昇するにつれて、グラフＬ１４０に示す動き特徴抽出処理の演算処理負荷を徐々に減らす一方で、グラフＬ１４１に示す距離特徴抽出処理の演算処理負荷を徐々に増やすように、動き特徴抽出部１１１と距離特徴抽出部１１０の演算処理量をそれぞれ制御する。これにより、両処理の演算処理負荷を車速に応じて適切に変化させつつ、その総和を100%以下とすることができる。

以上説明したように、本実施形態によれば、距離特徴抽出部１１０と動き特徴抽出部１１１の演算処理量の総和を100%以下としつつ、車速に応じてこれらの演算処理量を適切な配分とすることができる。すなわち、低速走行時には、車両５０の周辺で近距離にある観測対象物の詳細な動き情報を抽出するために、動き特徴抽出部１１１の演算処理量を相対的に高くする。一方、高速走行時には、車両５０の周辺で遠方にある観測対象物までのより詳細な距離情報を抽出するために、距離特徴抽出部１１０の演算処理量を相対的に高くする。その結果、車両５０の状態に応じて距離情報と動き情報の精度を柔軟に変更することができるため、画像処理装置１０Ａが限られた演算処理量しか有していなくても、観測対象物を適切に検知することができる。

以上説明した本発明の第１の実施形態によれば、車両５０に搭載される画像処理装置１０Ａは、車両５０の周辺の観測対象物を含む撮像画像から観測対象物の動きを示す動き情報を生成する動き特徴抽出部１１１と、撮像画像に基づいて車両５０から観測対象物までの距離を算出する距離特徴抽出部１１０と、動き特徴抽出部１１１と距離特徴抽出部１１０の処理結果に基づいて観測対象物の認識処理を行う認識処理部１１４とを備えており、所定の車両状態に基づいて、動き特徴抽出部１１１と距離特徴抽出部１１０の演算処理量をそれぞれ変化させる。このようにしたので、車両周辺の観測対象物の検出を行う画像処理装置を低コストで提供することができる。

＜第２の実施形態＞
図２は、本発明の第２の実施形態に係る撮像装置１Ｂの構成を示す図である。図２に示す撮像装置１Ｂは、画像処理装置１０Ｂと、画像処理装置１０Ｂに接続されたカメラ部２０とを備えており、車両制御部６０に接続されている。なお、カメラ部２０および車両制御部６０については、第１の実施形態で説明したものと同一であるため、以下では説明を省略する。

画像処理装置１０Ｂは、第１の実施形態で説明した画像処理装置１０Ａと同様に、車両５０に搭載されている。画像処理装置１０Ｂは、その機能として、画像処理装置１０Ａと同じ距離特徴抽出部１１０、動き特徴抽出部１１１および認識処理部１１４に加えて、さらに、演算リソース部１１２と、演算リソース割当決定部１１３とを備えている。

演算リソース部１１２は、距離特徴抽出部１１０と動き特徴抽出部１１１が共通に利用する演算リソースである。演算リソース部１１２は、たとえば、所定の演算処理を実行するＣＰＵや、所定の演算回路が組み込まれたＦＰＧＡなどである。

本実施形態において、車両制御部６０から画像処理装置１０Ｂに出力された車両情報は、画像処理装置１０Ｂにおいて演算リソース割当決定部１１３に入力される。演算リソース割当決定部１１３は、車両制御部６０から供給される車両情報が表す車両５０の状態に基づいて、動き特徴抽出部１１１と距離特徴抽出部１１０にそれぞれ割り当てる演算リソース部１１２の割合、すなわち演算リソース割合を決定する。そして、決定したそれぞれの演算リソース割合を表す演算リソース割当情報を、距離特徴抽出部１１０、動き特徴抽出部１１１および演算リソース部１１２に出力する。たとえば、動き特徴抽出部１１１が実行する動き特徴抽出処理または距離特徴抽出部１１０が実行する距離特徴抽出処理のいずれか一方に対して割り当てる演算リソース部１１２の割当率や、距離特徴抽出処理と動き特徴抽出処理にそれぞれ割り当てる演算リソース部１１２の比率などを、演算リソース割当情報として用いることができる。

距離特徴抽出部１１０と、動き特徴抽出部１１１とは、演算リソース割当決定部１１３から供給される演算リソース割当情報に基づき、各々に対して割り当てられた演算リソース割合に応じて演算リソース部１１２を利用して、それぞれの演算処理を実行する。これにより、画像処理装置１０Ｂは、車両５０の状態に基づき、演算リソース割当決定部１１３が決定した演算リソース部１１２の割合に応じて、動き特徴抽出部１１１と距離特徴抽出部１１０の演算処理量をそれぞれ変化させることができる。

なお、本実施形態では、演算リソース部１１２の割り当て対象とする処理を距離特徴抽出処理と動き特徴抽出処理の２つとしたが、３つ以上の処理に対して演算リソース部１１２を割り当ててもよい。

図５は、演算リソース部１１２の割り当ての具体的な一例を示す図である。図５において黒塗りの四角で示すように、演算リソース部１１２は、距離特徴抽出部１１０における距離特徴抽出処理と、動き特徴抽出部１１１における動き特徴抽出処理とで共通に使用される複数の演算リソース５０１を有する。演算リソース部１１２には、演算リソース割当決定部１１３から演算リソース割当情報５００が入力される。演算リソース部１１２は、この演算リソース割当情報５００に基づいて、演算リソース５０１の各々を距離特徴抽出処理と動き特徴抽出処理のどちらに割り当てるかを決定する。

図５に示した例では、演算リソース部１１２が有する全ての演算リソース５０１のうち、３０％の演算リソース５０１からなる演算リソース群５０２を距離特徴抽出処理に割り当て、残りの７０％の演算リソース５０１からなる演算リソース群５０３を動き特徴抽出処理に割り当てた場合の一例を示している。すなわち、距離特徴抽出部１１０が使用する演算リソース群５０２には、演算リソース部１１２が有する総演算リソースの３０％が割り当てられ、動き特徴抽出部１１１が使用する演算リソース群５０３には、演算リソース部１１２が有する総演算リソースの７０％が割り当てられる。演算リソース群５０２は、距離特徴抽出部１１０から演算入力情報を取得し、その演算入力情報を演算処理した結果得られる演算出力情報を、距離特徴抽出部１１０に出力する。演算リソース群５０３は、動き特徴抽出部１１１から演算入力情報を取得し、その演算入力情報を演算処理した結果得られる演算出力情報を、動き特徴抽出部１１１に出力する。

図６は、本発明の第２の実施形態における画像処理装置１０Ｂによって実行される処理フローの一例である。

ステップＳ１０１において、画像処理装置１０Ｂは、カメラ部２０から出力される画像データを距離特徴抽出部１１０と動き特徴抽出部１１１に入力する。

ステップＳ１０２において、画像処理装置１０Ｂは、演算リソース割当決定部１１３により、距離特徴抽出部１１０が実行する距離特徴抽出処理と、動き特徴抽出部１１１が実行する動き特徴抽出処理とにそれぞれ割り当てる演算リソース部１１２の割合を決定する。ここでは、演算リソース割当決定部１１３は、後で説明する図７の処理フローに従い、距離特徴抽出処理と動き特徴抽出処理とにそれぞれ割り当てる演算リソース割合を決定するための演算リソース割当決定処理を実行する。そして、決定した演算リソース割合に基づく演算リソース割当情報を生成して、距離特徴抽出部１１０、動き特徴抽出部１１１および演算リソース部１１２に出力する。

ステップＳ１０３において、画像処理装置１０Ｂは、ステップＳ１０２で演算リソース割当決定部１１３から出力された演算リソース割当情報に基づき、距離特徴抽出部１１０により、距離特徴抽出処理を行う。この距離特徴抽出処理において、距離特徴抽出部１１０は、演算リソース割当情報が表す距離特徴抽出処理の演算リソース割合に従って演算リソース部１１２を利用して、車両５０の周囲に存在する観測対象物までの距離を表す距離情報を生成する。たとえば、距離特徴抽出処理に対して割り当てられた演算リソース割合が１００％である場合には、演算リソース部１１２が有する全ての演算リソースを距離特徴抽出処理に使用することが出来るため、高負荷の演算処理を行うことが可能となる。また、距離特徴抽出処理に対して割り当てられた演算リソース割合が０％である場合には、距離特徴抽出部１１０は距離特徴抽出処理を実施しない。

ステップＳ１０４において、画像処理装置１０Ｂは、ステップＳ１０２で演算リソース割当決定部１１３から出力された演算リソース割当情報に基づき、動き特徴抽出部１１１により、動き特徴抽出処理を行う。この動き特徴抽出処理において、動き特徴抽出部１１１は、演算リソース割当情報が表す動き特徴抽出処理の演算リソース割合に従って演算リソース部１１２を利用して、車両５０の周囲に存在する観測対象物の動きを表す動き情報を生成する。たとえば、動き特徴抽出処理に対して割り当てられた演算リソース割合が１００％である場合には、演算リソース部１１２が有する全ての演算リソースを動き特徴抽出処理に使用することが出来るため、高負荷の演算処理を行うことが可能となる。また、動き特徴抽出処理に対して割り当てられた演算リソース割合が０％である場合には、動き特徴抽出部１１１は動き特徴抽出処理を実施しない。

ステップＳ１０５において、画像処理装置１０Ｂは、ステップＳ１０３で生成した距離情報と、ステップＳ１０４で生成した動き情報とに基づき、認識処理部１１４により、観測対象物を検出するための認識処理を行う。ステップＳ１０５の認識処理を実行したら、画像処理装置１０Ｂは、認識処理結果に基づく検知情報を認識処理部１１４から車両制御部６０に出力して、図６に示す処理フローを終了する。

ここで、図７を参照して、図６のステップＳ１０２で実行される演算リソース割当決定処理について説明する。図７は、演算リソース割当決定処理の処理フローを示す図の一例である。

図７のステップＳ２０１において、演算リソース割当決定部１１３は、動き特徴抽出部１１１と距離特徴抽出部１１０の演算処理量を決定するための車両５０の所定の車両状態を取得する。ここでは、車両制御部６０から供給される車両情報を演算リソース割当決定部１１３に入力することで、車両情報が表す所定の車両状態を取得する。

図７のステップＳ２０２において、演算リソース割当決定部１１３は、ステップＳ２０１で取得した車両状態に基づき、距離特徴抽出処理と動き特徴抽出処理に対してそれぞれ割り当てる演算リソース割合を決定する。そして、決定したそれぞれの処理に対する演算リソース割合に応じて演算リソース割当情報を生成し、距離特徴抽出部１１０、動き特徴抽出部１１１および演算リソース部１１２に出力する。ステップＳ２０２の処理を実行したら、演算リソース割当決定部１１３は、図７に示す処理フローを終了する。

以下では、図８〜１３を参照して、演算リソース割当決定部１１３における様々な車両状態に基づく演算リソース割合の決定方法について説明する。

（車速に基づく演算リソース割合の決定方法）
図８は、車速に基づく演算リソース割合の決定方法の一例を説明する図である。本例では、車両制御部６０から供給される車両情報は、車両５０の車速を表しているものとする。演算リソース割当決定部１１３は、この車両情報を入力として、たとえば図８に示す車速と演算リソース割当率との関係に従って、距離特徴抽出部１１０と動き特徴抽出部１１１の演算リソース割合をそれぞれ決定する。図８において、横軸は車速の大きさを表し、縦軸は動き特徴抽出部１１１に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。

演算リソース割当決定部１１３は、車両情報が示す車両５０の車速に基づき、以下のようにして距離特徴抽出部１１０と動き特徴抽出部１１１の演算リソース割合をそれぞれ決定する。たとえば、車速が所定値ＳＰ０以下の場合には、図８において符号Ｆ８０で示すとおり、動き特徴抽出部１１１に対する演算リソース割当率をＲＳ０（％）とする一方で、距離特徴抽出部１１０に対する演算リソース割当率を（１００−ＲＳ０）（％）とする。また、車速が所定値ＳＰ０を上まわる場合には、符号Ｆ８１で示すとおり、動き特徴抽出部１１１に対する演算リソース割当率をＲＳ１（％）とする一方で、距離特徴抽出部１１０に対する演算リソース割当率を（１００−ＲＳ１）（％）とする。このとき、ＲＳ１を０％とすることで、車速が所定値ＳＰ０を上回る場合の動き情報の算出を停止することが出来る。従って、車速が所定値ＳＰ０を上回る場合には、動き特徴抽出部１１１の機能を停止したり、カメラ部２０の動作を停止したりすることが可能となり、これによって撮像装置１Ｂの消費電力を低減することが出来る。

以上説明したような演算リソース割合の決定方法を用いることで、車両５０が市街地や路地等を低速で走行する際に、車両５０の周辺に存在する観測対象物の動きをより詳細に検知することが可能となる。また、通常走行時（車速がＳＰ０を上まわる場合）においては、距離特徴抽出処理に対して高負荷処理が可能となり、遠方の観測対象物に対する距離検知性能を向上させることが出来る。

図９は、車速に基づく演算リソース割合の決定方法の別の一例を説明する図である。本例でも図８で説明した例と同様に、車両制御部６０から供給される車両情報は、車両５０の車速を表しているものとする。演算リソース割当決定部１１３は、この車両情報を入力として、たとえば図９に示す車速と演算リソース割当率との関係に従って、距離特徴抽出部１１０と動き特徴抽出部１１１の演算リソース割合をそれぞれ決定する。図９において、横軸は車速の大きさを表し、縦軸は動き特徴抽出部１１１に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。

演算リソース割当決定部１１３は、車両情報が示す車両５０の車速に基づき、図９の符号Ｆ９０に示す関数に従って、距離特徴抽出部１１０と動き特徴抽出部１１１の演算リソース割合をそれぞれ決定する。関数Ｆ９０が表す車速と動き特徴抽出部１１１に対する演算リソース割当率のとの関係では、車速が０から所定値ＳＰ１の間では動き特徴抽出部１１１に対する演算リソース割当率がＲＳ０であり、車速がＳＰ１からＳＰ２の間では動き特徴抽出部１１１に対する演算リソース割当率がＲＳ０からＲＳ１に徐々に変化する。演算リソース割当決定部１１３は、動き特徴抽出部１１１に対する演算リソース割当率を関数Ｆ９０が示す値とする一方で、距離特徴抽出部１１０に対する演算リソース割当率を、１００％から動き特徴抽出部１１１の演算リソース割当率を差し引いた値とする。

以上説明したような演算リソース割合の決定方法を用いることで、図８で説明した例と同様に、市街地や路地等を低速で走行する際に、車両５０の周辺に存在する観測対象物の動きをより詳細に検知することを可能とする。また、高速走行時においては、距離特徴抽出処理に対して高負荷処理が可能となり、遠方の観測対象物に対する距離検知性能を向上させることが出来る。さらに、中速走行時においては、車速が低下するに従い、動き特徴抽出処理に対して割り当てる演算リソース部１１２の割合を徐々に増加させることで、遷移期間中に動き情報と距離情報の精度において急激なギャップが発生するのを抑制することを可能とする。

（走行モードに基づく演算リソース割合の決定方法）
図１０は、走行モードに基づく演算リソース割合の決定方法の一例を説明する図である。本例では、車両制御部６０から供給される車両情報は、車両５０の走行モードを表しているものとする。演算リソース割当決定部１１３は、この車両情報を入力として、たとえば図１０に示す走行モードと演算リソース割当率との関係に従って、距離特徴抽出部１１０と動き特徴抽出部１１１の演算リソース割合をそれぞれ決定する。図１０において、横軸は走行モードを表し、縦軸は動き特徴抽出部１１１に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。

演算リソース割当決定部１１３は、車両情報が示す車両５０の走行モードに基づき、以下のようにして距離特徴抽出部１１０と動き特徴抽出部１１１の演算リソース割合をそれぞれ決定する。たとえば、走行モードが市街地走行モードの場合には、図１０において符号Ｆ１００で示すとおり、動き特徴抽出部１１１に対する演算リソース割当率をＲＳ０（％）とする一方で、距離特徴抽出部１１０に対する演算リソース割当率を（１００−ＲＳ０）（％）とする。また、走行モードが一般道走行モードの場合には、符号Ｆ１０１で示すとおり、動き特徴抽出部１１１に対する演算リソース割当率をＲＳ２（％）とする一方で、距離特徴抽出部１１０に対する演算リソース割当率を（１００−ＲＳ２）（％）とする。走行モードが高速道路走行モードの場合には、符号Ｆ１０２で示すとおり、動き特徴抽出部１１１に対する演算リソース割当率をＲＳ１（％）とする一方で、距離特徴抽出部１１０に対する演算リソース割当率を（１００−ＲＳ１）（％）とする。

以上説明したような演算リソース割合の決定方法を用いることで、車両５０が市街地を走行する際に、車両５０の周辺に存在する観測対象物の動きをより詳細に検知することが可能となる。また、高速道路を走行する際に、距離特徴抽出処理に対して高負荷処理が可能となり、遠方の観測対象物に対する距離検知性能を向上させることが出来る。さらに、一般道路を走行する際には、動き特徴抽出処理と距離特徴抽出処理とをそれぞれバランス良い演算処理量で実施し、車両５０の近傍では観測対象物の動きを検知しつつ、遠方の観測対象物までの距離も同時に検知することが可能となる。

（地図情報に基づく演算リソース割合の決定方法）
図１１は、地図情報に基づく演算リソース割合の決定方法の一例を説明する図である。本例では、車両制御部６０から供給される車両情報は、地図上の車両５０の位置、すなわち自車位置に応じた地図情報を表しているものとする。演算リソース割当決定部１１３は、この車両情報を入力として、たとえば図１１に示す自車位置の地図情報と演算リソース割当率との関係に従って、距離特徴抽出部１１０と動き特徴抽出部１１１の演算リソース割合をそれぞれ決定する。図１１において、横軸は地図情報が示す自車位置の属性を表し、縦軸は動き特徴抽出部１１１に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。

演算リソース割当決定部１１３は、車両情報が示す自車位置に応じた地図情報に基づき、以下のようにして距離特徴抽出部１１０と動き特徴抽出部１１１の演算リソース割合をそれぞれ決定する。たとえば、地図情報が示す自車位置の属性が路地である場合には、図１１において符号Ｆ１１０で示すとおり、動き特徴抽出部１１１に対する演算リソース割当率をＲＳ３（％）とする一方で、距離特徴抽出部１１０に対する演算リソース割当率を（１００−ＲＳ３）（％）とする。また、地図情報が示す自車位置の属性が交差点である場合には、符号Ｆ１１１で示すとおり、動き特徴抽出部１１１に対する演算リソース割当率をＲＳ４（％）とする一方で、距離特徴抽出部１１０に対する演算リソース割当率を（１００−ＲＳ４）（％）とする。地図情報が示す自車位置の属性が国道である場合には、符号Ｆ１１２で示すとおり、動き特徴抽出部１１１に対する演算リソース割当率をＲＳ５（％）とする一方で、距離特徴抽出部１１０に対する演算リソース割当率を（１００−ＲＳ５）（％）とする。地図情報が示す自車位置の属性が高速道路である場合には、符号Ｆ１１３で示すとおり、動き特徴抽出部１１１に対する演算リソース割当率をＲＳ６（％）とする一方で、距離特徴抽出部１１０に対する演算リソース割当率を（１００−ＲＳ６）（％）とする。

以上説明したような演算リソース割合の決定方法を用いることで、車両５０の位置が地図上でどのような属性に該当するかに応じて、動き特徴抽出処理と距離特徴抽出処理との演算処理量をそれぞれ適切に調節することができる。

（交通状況に基づく演算リソース割合の決定方法）
図１２は、交通状況に基づく演算リソース割合の決定方法の一例を説明する図である。本例では、車両制御部６０から供給される車両情報は、車両５０が走行している道路、すなわち走行道路の交通状況を表しているものとする。演算リソース割当決定部１１３は、この車両情報を入力として、たとえば図１２に示す交通状況と演算リソース割当率との関係に従って、距離特徴抽出部１１０と動き特徴抽出部１１１の演算リソース割合をそれぞれ決定する。図１２において、横軸は走行道路の交通状況を表し、縦軸は動き特徴抽出部１１１に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。

演算リソース割当決定部１１３は、車両情報が示す走行道路の交通状況に基づき、以下のようにして距離特徴抽出部１１０と動き特徴抽出部１１１の演算リソース割合をそれぞれ決定する。たとえば、走行道路が渋滞している場合には、図１２において符号Ｆ１２０で示すとおり、動き特徴抽出部１１１に対する演算リソース割当率をＲＳ０（％）とする一方で、距離特徴抽出部１１０に対する演算リソース割当率を（１００−ＲＳ０）（％）とする。また、走行道路の交通状況が通常、すなわち渋滞していない場合には、符号Ｆ１２１で示すとおり、動き特徴抽出部１１１に対する演算リソース割当率をＲＳ１（％）とする一方で、距離特徴抽出部１１０に対する演算リソース割当率を（１００−ＲＳ１）（％）とする。

以上説明したような演算リソース割合の決定方法を用いることで、車両５０が渋滞している道路を低速で走行する際に、車両５０の周辺に存在する観測対象物の動きをより詳細に検知することが可能となる。また、車両５０が渋滞していない道路を通常の速度で走行する際に、距離特徴抽出処理に対して高負荷処理が可能となり、遠方の観測対象物に対する距離検知性能を向上させることが出来る。

（地図情報と車速に基づく演算リソース割合の決定方法）
図１３は、地図情報と車速に基づく演算リソース割合の決定方法の一例を説明する図である。本例では、車両制御部６０から供給される車両情報は、車両５０の車速に加えて、地図上の車両５０の位置、すなわち自車位置に応じた地図情報を表しているものとする。演算リソース割当決定部１１３は、この車両情報を入力として、たとえば図１３に示す車速と演算リソース割当率との関係に従って、距離特徴抽出部１１０と動き特徴抽出部１１１の演算リソース割合をそれぞれ決定する。図１３において、横軸は車速の大きさを表し、縦軸は動き特徴抽出部１１１に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。

演算リソース割当決定部１１３は、車両情報が示す自車位置に応じた地図情報に基づき、図１３の符号Ｆ１３０〜Ｆ１３３に示す関数のいずれかを選択する。そして、車両情報が示す車両５０の車速に基づき、選択した関数に従って、距離特徴抽出部１１０と動き特徴抽出部１１１の演算リソース割合をそれぞれ決定する。たとえば、地図情報が示す自車位置の属性が路地である場合には、関数Ｆ１３０を選択し、動き特徴抽出部１１１に対する演算リソース割当率を関数Ｆ１３０が示す値とする。また、地図情報が示す自車位置の属性が交差点である場合には、関数Ｆ１３１を選択し、動き特徴抽出部１１１に対する演算リソース割当率を関数Ｆ１３１が示す値とする。地図情報が示す自車位置の属性が国道である場合には、関数Ｆ１３２を選択し、動き特徴抽出部１１１に対する演算リソース割当率を関数Ｆ１３２が示す値とする。地図情報が示す自車位置の属性が高速道路である場合には、関数Ｆ１３３を選択し、動き特徴抽出部１１１に対する演算リソース割当率を関数Ｆ１３３が示す値とする。いずれの場合においても、距離特徴抽出部１１０に対する演算リソース割当率を、１００％から動き特徴抽出部１１１の演算リソース割当率を差し引いた値とする。

以上説明したような演算リソース割合の決定方法を用いることで、車両５０の位置が地図上でどのような属性に該当するかに応じて、車速の変化に応じて動き特徴抽出処理と距離特徴抽出処理との演算処理量の割合をそれぞれ適切に調節することができる。

なお、以上説明した演算リソース割合の決定方法は、複数の方法を任意に組み合わせて用いてもよい。また、以上説明した各種の例の他にも、車両情報の種類に応じて様々な演算リソース割合の決定方法を採用することができる。すなわち、本実施形態では、車両情報が表す所定の車両状態に基づいて、動き特徴抽出部１１１と距離特徴抽出部１１０とにそれぞれ割り当てる演算リソース部１１２の割合を決定するものであれば、どのような演算リソース割合の決定方法でも用いることができる。

以上説明した本発明の第２の実施形態によれば、車両５０に搭載される画像処理装置１０Ｂは、第１の実施形態で説明した画像処理装置１Ａの構成に加えて、動き特徴抽出部１１１および距離特徴抽出部１１０が共通に利用する演算リソース部１１２と、所定の車両状態に基づいて、動き特徴抽出部１１１と距離特徴抽出部１１０とにそれぞれ割り当てる演算リソース部１１２の割合を決定する演算リソース割当決定部１１３と、をさらに備える。そして、演算リソース割当決定部１１３が決定した演算リソース部１１２の割合に応じて、動き特徴抽出部１１１と距離特徴抽出部１１０の演算処理量をそれぞれ変化させる。このようにしたので、第１の実施形態と同様に、車両周辺の観測対象物の検出を行う画像処理装置を低コストで提供することができる。

＜第３の実施形態＞
図３は、本発明の第３の実施形態に係る撮像装置１Ｃの構成を示す図である。図３に示す撮像装置１Ｃは、画像処理装置１０Ｃと、画像処理装置１０Ｃに接続されたカメラ部２０およびカメラ部３０とを備えており、車両制御部６０に接続されている。なお、カメラ部２０および車両制御部６０については、第１の実施形態で説明したものと同一であるため、以下では説明を省略する。

カメラ部３０は、カメラ部２０と同様に、車両５０の周辺、たとえば車両５０の前方の所定範囲を撮像できるように車両５０に設置されており、車両５０の周辺の観測対象物を含む撮像画像を取得して画像処理装置１０Ｃに出力する。

画像処理装置１０Ｃは、第１、第２の実施形態でそれぞれ説明した画像処理装置１０Ａ、１０Ｂと同様に、車両５０に搭載されている。画像処理装置１０Ｃは、画像処理装置１０Ｂと同様に、その機能として、距離特徴抽出部１１０、動き特徴抽出部１１１、認識処理部１１４、演算リソース部１１２および演算リソース割当決定部１１３を備えている。

本実施形態において、距離特徴抽出部１１０には、カメラ部２０からの撮像画像と、カメラ部３０からの撮像画像とが入力される。距離特徴抽出部１１０は、カメラ部２０およびカメラ部３０からそれぞれ入力された撮像画像に基づいて、車両５０から観測対象物までの距離を算出するための距離特徴抽出処理を実行する。距離特徴抽出部１１０は、たとえば、カメラ部２０の撮像画像とカメラ部３０の撮像画像との視差に基づいて、車両５０から観測対象物までの距離を算出することができる。距離特徴抽出部１１０は、車両５０から観測対象物までの距離を算出したら、第１、第２の実施形態と同様に、その算出結果を示す距離情報を認識処理部１１４に出力する。

一方、動き特徴抽出部１１１には、第１、第２の実施形態と同様に、カメラ部２０からの撮像画像が入力される。動き特徴抽出部１１１は、カメラ部２０から入力された撮像画像に基づいて、第１、第２の実施形態と同様の方法により、観測対象物の動きを抽出し、その動きを示す動き情報を認識処理部１１４に出力する。認識処理部１１４は、動き特徴抽出部１１１、距離特徴抽出部１１０それぞれの演算処理結果に基づいて、第１の実施形態で説明したのと同様に、観測対象物の認識処理を行う。

なお、演算リソース部１１２および演算リソース割当決定部１１３の動作や、距離特徴抽出部１１０および動き特徴抽出部１１１における演算リソース割合に応じた演算処理の実行については、第２の実施形態で説明したのと同様である。そのため、これらについての本実施形態での説明は省略する。

＜第４の実施形態＞
図４は、本発明の第４の実施形態に係る撮像装置１Ｄの構成を示す図である。図４に示す撮像装置１Ｄは、画像処理装置１０Ｄと、画像処理装置１０Ｄに接続されたカメラ部２０、カメラ部３０およびカメラ部４０とを備えており、車両制御部６０に接続されている。なお、カメラ部２０および車両制御部６０については、第１の実施形態で説明したものと同一であるため、以下では説明を省略する。

カメラ部３０およびカメラ部４０は、カメラ部２０と同様に、車両５０の周辺、たとえば車両５０の前方の所定範囲を撮像できるように車両５０にそれぞれ設置されており、車両５０の周辺の観測対象物を含む撮像画像をそれぞれ取得して画像処理装置１０Ｄに出力する。

画像処理装置１０Ｄは、第１〜第３の実施形態でそれぞれ説明した画像処理装置１０Ａ、１０Ｂ、１０Ｃと同様に、車両５０に搭載されている。画像処理装置１０Ｄは、画像処理装置１０Ｂ、１０Ｃと同様に、その機能として、距離特徴抽出部１１０、動き特徴抽出部１１１、認識処理部１１４、演算リソース部１１２および演算リソース割当決定部１１３を備えている。

本実施形態において、距離特徴抽出部１１０には、カメラ部３０からの撮像画像と、カメラ部４０からの撮像画像とが入力される。距離特徴抽出部１１０は、カメラ部３０およびカメラ部４０からそれぞれ入力された撮像画像に基づいて、第３の実施形態で説明したのと同様に、車両５０から観測対象物までの距離を算出し、その算出結果を示す距離情報を認識処理部１１４に出力する。

一方、動き特徴抽出部１１１には、第１〜第３の実施形態と同様に、カメラ部２０からの撮像画像が入力される。動き特徴抽出部１１１は、カメラ部２０から入力された撮像画像に基づいて、第１〜第３の実施形態と同様の方法により、観測対象物の動きを抽出し、その動きを示す動き情報を認識処理部１１４に出力する。認識処理部１１４は、動き特徴抽出部１１１、距離特徴抽出部１１０それぞれの演算処理結果に基づいて、第１の実施形態で説明したのと同様に、観測対象物の認識処理を行う。

なお、演算リソース部１１２および演算リソース割当決定部１１３の動作や、距離特徴抽出部１１０および動き特徴抽出部１１１における演算リソース割合に応じた演算処理の実行については、第２の実施形態で説明したのと同様である。そのため、これらについての本実施形態での説明は省略する。

本発明によれば、上記の各実施形態において説明した方法を用いることで、観測対象物の動き情報と距離情報を用いて、観測対象物の認識処理を低コストで実現することが可能となる。

なお、本発明は上記の各実施形態に限定されるものではなく、様々な変形例が含まれる。たとえば、上記の各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各実施形態で説明した構成は、それらの一部または全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

以上説明した実施形態や各種の変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記では種々の実施形態を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１Ａ、１Ｂ、１Ｃ、１Ｄ 撮像装置
１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ 画像処理装置
２０、２０、４０ カメラ部
５０ 車両
６０ 車両制御部
１１０ 距離特徴抽出部
１１１ 動き特徴抽出部
１１２ 演算リソース部
１１３ 演算リソース割当決定部
１１４ 認識処理部

Claims (9)

1. 車両に搭載される画像処理装置であって、
   前記車両の周辺の観測対象物を含む撮像画像から前記観測対象物の動きを示す動き情報を生成する動き特徴抽出部と、
   前記撮像画像に基づいて前記車両から前記観測対象物までの距離を算出する距離特徴抽出部と、
   前記動き特徴抽出部と距離特徴抽出部の処理結果に基づいて前記観測対象物の認識処理を行う認識部と、を備え、
   所定の車両状態に基づいて、前記動き特徴抽出部と前記距離特徴抽出部の演算処理量をそれぞれ変化させる画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記動き特徴抽出部および前記距離特徴抽出部が共通に利用する演算リソース部と、
   前記所定の車両状態に基づいて、前記動き特徴抽出部と前記距離特徴抽出部とにそれぞれ割り当てる前記演算リソース部の割合を決定する演算リソース割当決定部と、をさらに備え、
   前記演算リソース割当決定部が決定した前記演算リソース部の割合に応じて、前記動き特徴抽出部と前記距離特徴抽出部の演算処理量をそれぞれ変化させる画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記画像処理装置は、複数のカメラ部に接続されており、
   前記動き特徴抽出部は、前記複数のカメラ部のいずれかで取得された前記撮像画像に基づいて前記動き情報を生成し、
   前記距離特徴抽出部は、前記複数のカメラ部のいずれか２以上でそれぞれ取得された前記撮像画像に基づいて前記観測対象物までの距離を算出する画像処理装置。
4. 請求項１から３までのいずれか一項に記載の画像処理装置において、
   前記所定の車両状態は、前記車両の車速を含む画像処理装置。
5. 請求項１から４までのいずれか一項に記載の画像処理装置において、
   前記所定の車両状態は、前記車両の走行モードを含む画像処理装置。
6. 請求項１から５までのいずれか一項に記載の画像処理装置において、
   前記所定の車両状態は、地図上の前記車両の位置に応じた地図情報を含む画像処理装置。
7. 請求項１から６までのいずれか一項に記載の画像処理装置において、
   前記所定の車両状態は、前記車両が走行している道路の交通状況を含む画像処理装置。
8. 請求項２に記載の画像処理装置において、
   前記所定の車両状態は、前記車両の車速を含み、
   前記演算リソース割当決定部は、前記車両の車速が所定値を下回る場合に、前記車両の車速が前記所定値以上である場合と比較して、前記動き特徴抽出部に割り当てる前記演算リソース部の割合を相対的に高くする画像処理装置。
9. 請求項１から８までのいずれか一項に記載の画像処理装置と、
   前記画像処理装置に接続されて前記撮像画像を取得する１または２以上のカメラ部と、を備える撮像装置。

Images