JP2007172035A - 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法 - Google Patents

Abstract

【課題】対象物体の早期検出と処理量の低減とを両立し、画像認識による物体検知に適した撮影を行なうこと。
【解決手段】認識処理部１３による画像認識の結果得られた物体の有無、物体までの距離、物体の移動速度、物体の移動方向、車速センサ４１が計測した車速、ナビゲーション装置４２が提供する位置情報に基づいて、フレームレート設定部１４ａが撮像部１１のフレームレートを設定するとともに、解像度設定部１４ｂがフレームレートに合わせて解像度を設定する。
【選択図】 図１

Description

この発明は、車両に搭載され、自車両周辺を撮影する技術に関し、特に画像認識による歩行者検知に適した技術に関する。

近年、自車両周辺を撮影し、画像認識によって歩行者などを検出する技術が考案されている。例えば、特許文献１は、予め移動物体の存在しない背景画像を取得し、撮影した画像と背景画像との明度や輝度を比較して移動物体領域を検出する技術を開示している。

特開昭６１−１６２７０２号公報

ところで、画像認識を行なう場合、そのフレームレートが重要となる。フレームレートとは、ディスプレイへの画像（主に動画）表示時には単位時間当たりの画面の書き換え回数を、撮影時には単位時間当たりの撮影回数を示す値である。フレームレートが大きいほど滑らかな動きの撮影・表示が可能となるが、処理を要するデータ量も大きくなる。

画像認識においては、撮影時のフレームレートが低いと物体を認識する処理の間隔が長くなる。すなわち、あるフレームと次回のフレームとの時間差が大きくなることから、認識の対象となる物体の移動量も見かけ上おおきくなり、１フレームの違いで対象物体との距離が急激に接近し、対象物体の検出や警報が遅れる可能性が生ずる。その反面、フレームレートを高くすると、画像から対象物体を認識するまでの処理負荷が高くなり、発熱や消費電力が上昇するという問題が生ずる。

本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、対象物体の早期検出と処理量の低減とを両立し、画像認識による物体検知に適した撮影を行なう車載画像認識装置、車載撮像装置、車載撮像制御装置、画像認識方法、撮像方法および撮像制御方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１の発明に係る車載画像認識装置は、車両に搭載され、自車両周辺を撮影する車載撮像装置からの画像を取り込み、当該画像に基づいて物体を認識する車載画像認識装置であって、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて、前記車載撮像装置の撮影に関するフレームの処理速度を示すフレームレートを制御する撮影設定制御手段を備え、前記フレームレートで前記車載撮像装置に撮像処理させた画像に基づいて物体を認識することを特徴とする。

この請求項１の発明によれば車載画像認識装置は、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて車載撮像装置のフレームレートを制御し、車載撮像装置に撮像処理させた画像に基づいて物体を認識する。

また、請求項２の発明に係る車載画像認識装置は、請求項１に記載の発明において、前記撮影の結果得られた画像に対する画像認識によって前記自車両周辺の状況を判断する画像認識手段をさらに備え、前記撮影設定制御手段は、前記画像認識手段が物体を検出したか否かによって前記撮影に関する設定を変更することを特徴とする。

この請求項２の発明によれば車載画像認識装置は、撮影の結果得られた画像に対する画像認識によって物体を検出したか否かに基づいて、撮影に関する設定を変更する。

また、請求項３の発明に係る車載画像認識装置は、請求項２に記載の発明において、前記画像認識手段は、前記物体を検出した場合に当該物体と自車両との相対距離をさらに認識し、前記撮影設定制御手段は、前記相対距離によって前記撮影に関する設定を変更することを特徴とする。

この請求項３の発明によれば車載画像認識装置は、撮影画像から物体を検出した場合に物体と自車両との相対距離を認識し、相対距離に基づいて撮影に関する設定を変更する。

また、請求項４の発明に係る車載画像認識装置は、請求項２または３に記載の発明において、前記画像認識手段は、前記物体を検出した場合に当該物体と自車両との相対移動速度をさらに認識し、前記撮影設定制御手段は、前記相対移動速度によって前記撮影に関する設定を変更することを特徴とする。

この請求項４の発明によれば車載画像認識装置は、撮影画像から物体を検出した場合に物体と自車両との相対移動速度を認識し、相対移動速度に基づいて撮影に関する設定を変更する。

また、請求項５の発明に係る車載画像認識装置は、請求項２，３または４に記載の発明において、前記画像認識手段は、前記物体を検出した場合に当該物体と自車両との相対の移動方向をさらに認識し、前記撮影設定制御手段は、前記相対移動方向によって前記撮影に関する設定を変更することを特徴とする。

この請求項５の発明によれば車載画像認識装置は、撮影画像から物体を検出した場合にその物体と自車両との相対移動方向を認識し、相対移動方向に基づいて撮影に関する設定を変更する。

また、請求項６の発明に係る車載画像認識装置は、請求項１〜５のいずれか一つに記載の発明において、前記撮影設定制御手段は、前記自車両の状態として自車両の走行速度を使用することを特徴とする。

この請求項６の発明によれば車載画像認識装置は、自車両の走行速度に基づいて自車両周辺の撮影に関する設定を制御する。

また、請求項７の発明に係る車載画像認識装置は、請求項１〜６のいずれか一つに記載の発明において、前記撮影設定制御手段は、前記走行環境として自車両の位置情報を使用することを特徴とする。

この請求項７の発明によれば車載画像認識装置は、自車両の位置情報に基づいて自車両周辺の撮影に関する設定を制御する。

また、請求項８の発明に係る車載画像認識装置は、請求項１〜７のいずれか一つに記載の発明において、前記撮影設定制御手段は、前記フレームレートの制御内容に併せて画像分解能を変更することを特徴とする。

この請求項８の発明によれば車載画像認識装置は、走行環境に基づいて、自車両周辺の撮影におけるフレームレートと画像分解能を制御する。

また、請求項９の発明に係る車載画像認識装置は、請求項８に記載の発明において、前記撮影設定制御手段は、前記画像認識における単位時間当たりの処理量が一定となるように前記フレームレートと画像分解能とを制御することを特徴とする。

この請求項９の発明によれば車載画像認識装置は、走行環境に基づいて、自車両周辺の撮影におけるフレームレートを制御し、さらに画像認識における単位時間当たりの処理量が一定となるように画像分解能を設定する。

また、請求項１０の発明に係る車載撮像装置は、車両に搭載され、自車両周辺を撮影する車載撮像装置であって、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて、前記撮影に関するフレームの処理速度を示すフレームレートを制御する撮影設定制御手段を備え、前記フレームレートに基づいて撮影処理することを特徴とする。

この請求項１０の発明によれば車載撮像装置は、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて、撮影に関するフレームの処理速度を示すフレームレートを制御する。

また、請求項１１の発明に係る車載撮像制御装置は、車両に搭載され、自車両周辺を撮影する車載撮像装置を制御する車載撮像制御装置であって、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて、前記車載撮像装置の撮影に関するフレームの処理速度を示すフレームレートを制御する撮影設定制御手段を備え、前記フレームレートで前記車載撮像装置に撮像処理させることを特徴とする。

この請求項１１の発明によれば車載撮像制御装置は、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて車載撮像装置のフレームレートを制御する。

また、請求項１２の発明に係る画像認識方法は、車両に搭載され、自車両周辺を撮影する車載撮像装置からの画像を取り込み、当該画像に基づいて物体を認識する画像認識方法であって、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて、前記車載撮像装置の撮影に関するフレームの処理速度を示すフレームレートを制御する撮影設定制御工程と、前記フレームレートで前記車載撮像装置に撮像処理させた画像に基づいて物体を認識する画像認識工程とを含んだことを特徴とする。

この請求項１２の発明によれば画像認識方法は、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて車載撮像装置のフレームレートを制御し、当該フレームレートで車載撮像装置に撮像処理させた画像に基づいて物体を認識する。

また、請求項１３の発明に係る撮像方法は、車両に搭載され、自車両周辺を撮影する撮像方法であって、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて、前記撮影に関するフレームの処理速度を示すフレームレートを制御する撮影設定制御工程と、前記フレームレートに基づいて撮影処理する撮影工程と、を含んだことを特徴とする。

この請求項１３の発明によれば撮像方法は、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいてフレームレートを制御し、当該フレームレートに基づいて撮影処理する。

また、請求項１４の発明に係る撮像制御方法は、車両に搭載され、自車両周辺を撮影する車載撮像装置を制御する撮像制御方法であって、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて、前記車載撮像装置の撮影に関するフレームの処理速度を示すフレームレートを制御する撮影設定制御工程と、前記フレームレートで前記車載撮像装置に撮像処理させる撮像制御工程と、を含んだことを特徴とする。

この請求項１４の発明によれば撮像制御方法は、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて車載撮像装置のフレームレートを制御し、当該フレームレートで車載撮像装置に撮像を行なわせる。

請求項１の発明によれば車載画像認識装置は、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて車載撮像装置のフレームレートを制御し、車載撮像装置に撮像処理させた画像に基づいて物体を認識するので、対象物体の早期検出と処理量の低減とを両立した車載画像認識装置を得ることができるという効果を奏する。

また、請求項２の発明によれば車載画像認識装置は、撮影の結果得られた画像に対する画像認識によって物体を検出したか否かに基づいて、撮影に関する設定を変更するので、物体検知時には高フレームレートで撮影を行なう車載画像認識装置を得ることができるという効果を奏する。

また、請求項３の発明によれば車載画像認識装置は、撮影画像から物体を検出した場合に物体と自車両との相対距離を認識し、相対距離に基づいて撮影に関する設定を変更するので、検知した物体との相対距離に応じた設定で撮影を行なう車載画像認識装置を得ることができるという効果を奏する。

また、請求項４の発明によれば車載画像認識装置は、撮影画像から物体を検出した場合に物体と自車両との相対移動速度を認識し、相対移動速度に基づいて撮影に関する設定を変更するので、検知した物体との相対移動速度に応じた設定で撮影を行なう車載画像認識装置を得ることができるという効果を奏する。

また、請求項５の発明によれば車載画像認識装置は、撮影画像から物体を検出した場合にその物体と自車両との相対移動方向を認識し、相対移動方向に基づいて撮影に関する設定を変更するので、検知した物体との相対移動方向に応じた設定で撮影を行なう車載画像認識装置を得ることができるという効果を奏する。

また、請求項６の発明によれば車載画像認識装置は、自車両の走行速度に基づいて自車両周辺の撮影に関する設定を制御するので、走行速度に応じた設定で撮影を行なうことで対象物体の早期検出と処理量の低減とを両立する車載画像認識装置を得ることができるという効果を奏する。

また、請求項７の発明によれば車載画像認識装置は、自車両の位置情報に基づいて自車両周辺の撮影に関する設定を制御するので、自車位置に応じた設定で撮影を行なうことで対象物体の早期検出と処理量の低減を両立する車載画像認識装置を得ることができるという効果を奏する。

また、請求項８の発明によれば車載画像認識装置は、走行環境に基づいて、自車両周辺の撮影におけるフレームレートと画像分解能を制御するので、対象物体の早期検出と処理量の低減とを両立し、画像認識による物体検知に適した撮影を行なう車載画像認識装置を得ることができるという効果を奏する。

また、請求項９の発明によれば車載画像認識装置は、走行環境に基づいて、自車両周辺の撮影におけるフレームレートを制御し、さらに画像認識における単位時間当たりの処理量が一定となるように画像分解能を設定するので、処理負荷を維持しつつ対象物体の早期検出を実現する車載画像認識装置を得ることができるという効果を奏する。

また、請求項１０の発明によれば車載撮像装置は、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて、撮影に関するフレームの処理速度を示すフレームレートを制御するので、対象物体の早期検出と処理量の低減とを両立し、画像認識による物体検知に適した撮影を行なう車載撮像装置を得ることができるという効果を奏する。

また、請求項１１の発明によれば車載撮像制御装置は、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて車載撮像装置のフレームレートを制御するので、対象物体の早期検出と処理量の低減とを両立し、画像認識による物体検知に適した撮影を車載撮像装置に行なわせる車載撮像制御装置を得ることができるという効果を奏する。

また、請求項１２の発明によれば画像認識方法は、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて車載撮像装置のフレームレートを制御し、当該フレームレートで車載撮像装置に撮像処理させた画像に基づいて物体を認識するので、対象物体の早期検出と処理量の低減とを両立した画像認識方法を得ることができるという効果を奏する。

また、請求項１３の発明によれば撮像方法は、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいてフレームレートを制御し、当該フレームレートに基づいて撮影処理するので、対象物体の早期検出と処理量の低減とを両立し、画像認識による物体検知に適した撮影を行なう撮像方法を得ることができるという効果を奏する。

また、請求項１４の発明によれば撮像制御方法は、自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて車載撮像装置のフレームレートを制御し、当該フレームレートで車載撮像装置に撮像を行なわせるので、対象物体の早期検出と処理量の低減とを両立し、画像認識による物体検知に適した撮影を車載撮像装置に行なわせる撮像制御方法を得ることができるという効果を奏する。

以下に添付図面を参照して、この発明に係る車載画像認識装置、車載撮像装置、車載撮像制御装置、画像認識方法、撮像方法および撮像制御方法の好適な実施例について詳細に説明する。

図１は、本発明の実施の形態である画像認識装置１の概要構成を示す概要構成図である。画像認識装置１は、画像処理部、認識処理部を内蔵した装置（ユニット）であり、さらに画像認識の結果を撮影処理にフィードバックすることで、周辺状況に応じたフレームレートで撮影を行なう。

具体的には、画像認識装置１は、その内部に画像処理部１２、認識処理部１３および主制御部１４を有する。撮像部１１は例えば車室内に設けられたＣＣＤカメラなどであり、車両周辺の動画を所定のフレームレートで取り込む。取り込んだフレームは、データとして後段の画像処理部１２に渡す。撮像部１１には、画像の取込処理を行なう処理部があり、ここでフレームレートが後述のフレームレート設定部により変更される。画像処理部１２や認識処理部１３は、そのフレームレートに準じてそれぞれの処理を実行する。

画像処理部１２は、撮像部１１が撮影した画像に対して背景差分検出処理（画像の背景と歩行者のような物体とを分離する処理）を行なう処理部である。認識処理部１３は、画像処理部１２による処理結果（歩行者の候補となる物体の画像）に対してパターンマッチングなどの認識処理を行なう処理部である。

より詳細には、認識処理部１３はその内部に物体検知部１３ａ、距離算定部１３ｂ、速度算定部１３ｃ、移動方向識別部１３ｄを有する。物体検知部１３ａは、パターンマッチングによって物体の存在を検知する。また、物体の種類（歩行者など）をさらに識別する。

距離測定部１３ｂは、物体検知部１３ａが物体の存在を検知した場合に、その画像上の位置や大きさなどから自車両からその物体までの距離を算定する。また、速度算定部１３ｃは物体までの距離や画面上の移動量からその物体の移動速度を算定し、移動方向識別部１３ｄは物体の画面上の位置や大きさの変化からその物体の移動方向を識別する。

認識処理部１３は、認識結果（すなわち物体の有無や種類、距離、移動速度、移動方向などの情報）を、車両制御装置３１、計測処理装置３２、および画像認識装置１内部の主制御部１４に出力する。

車両制御部３１は、エンジン制御やブレーキ制御など、自車両の動作制御を行なう制御装置であり、認識処理部１３による処理結果に基づいて、運転の支援や危険回避制御を行なう。また、警告処理装置３２は、スピーカやディスプレイなどを使用し、認識処理部１３による処理結果に基づいて自車両乗員（特に運転者）への警告を行なう。

主制御部１４は、画像認識装置１を全体制御する制御部であり、その内部にフレームレート設定部１４ａおよび解像度設定部１４ｂを有する。フレームレート設定部１４ａは、自車両の状態や自車両周辺の状況、すなわち自車両の走行環境に基づいて、撮像部１１による単位時間当たりの撮影枚数（フレームレート）を制御する。

このフレームレートの制御について、図２を参照してさらに説明する。まず、フレームレート設定部１４ａは、車速センサ４１から自車両の走行速度を取得し、走行速度が高い場合には低い場合に比してフレームレートを高くする。すなわち自車両の速度が大きくなるにつれて、歩行者と接触する可能性が高くなり、接触までの時間が短くなる（警告や制御が必要なタイミングが早くなる）ので、フレームレートを上げてより細かい刻みで監視することによって、危険をより早いタイミングで察知することができる。即ち、自車両の衝突対象となるような物体を検出するべきタイミング（早さ）に関連した車両の走行環境に応じてフレームレートを変更する。

例えば、道路外に歩行者が存在し、その後、道路内に歩行者が侵入したとする。（警報は歩行者が道路外であれば行なわず、歩行者が道路内に侵入して初めて警報することを前提とする。）従来では、ある時点（Ｔ１）で道路外に歩行者がいたことを検知し、その後、歩行者が道路内に侵入したことを検知するのは、車速に関係なくＴ１よりも時刻ΔＴ後になり、このときに初めて警報されることとなる。したがって、車速が速いほど、歩行者侵入に気づいたとき（警報発令されたとき）の歩行者の位置と自車位置とが近くなってしまう。

これに対し、本実施例では、従来と同じく、ある時点（Ｔ１）で道路外に歩行者がいたことを検知したと仮定すると、例えばこの時点で車速が予め定められた値よりも大きければ、歩行者との衝突可能性が高く、自車がいち早く歩行者を検知するべき車両環境におかれていると判断し、フレームレートを上げるので、フレームの処理時間が早くなり、歩行者の道路内への侵入検知を従来のΔＴよりも短くすることができ、もってその分警報タイミングを早くする（より早く警報発令を行なう）ことができる。

また、フレームレート設定部１４ａは、ナビゲーション装置４２から自車両の位置情報を取得し、市街地や通学路、交通事故多発地点など人が大勢いる場所や危険な場所を走行中である場合には、郊外など比較的危険の少ない地域を走行中である場合に比してフレームレートを高くする。

さらにフレームレート設定部１４ａは、認識処理部１３による画像認識の結果を用いてフレームレートを制御する。すなわち、物体検知部１３ａが物体を検知した場合には、検知していない場合に比してフレームレートを高くする。そして物体を検知した場合には、距離算定部１３ｂが算出した距離が近いほど、また、速度算定部１３ｃが算出した物体の移動速度が大きいほどフレームレートを高くする。さらに、移動方向識別部１３ｄによる移動方向の検知の結果、物体が自車両に近づいている場合には遠ざかっている場合に比してフレームレートを高くする。

このように、自車両の走行環境に基づき、必要に応じてフレームレートを制御することで車両における画像認識に適した撮影を実現することができる。

具体的には、フレームレートを例えば１〜１０の範囲で設定可能とすれば、初期設定では５とする。車速が速い場合には、フレームレートを５から１０に変更する。自車位置が田舎なら、その１０から−２し、８に設定する。このフレームレートでまず物体を認識し、物体が認識され、相対距離が短ければ現フレームレートである８に＋２して１０に変更する。また、相対的な移動速度が小さければ１０から−２して８に変更する。さらに、自車両から離れる方向に移動している場合には更に−２して６に変更する。そして、この変更した６でフレームレートを制御する。すなわち、格段で順次設定を変更し、最終的に決定されたフレームレートを撮像部１１に指示する。

ところで、フレームレートを上げると、画像処理部１２や認識処理部１３の処理負荷が高くなり、発熱や消費電力が上昇する。そこで、解像度設定部１４ａは、図３に示すように画像の解像度（分解能）を低下させることで、処理負荷を低減する。

この処理負荷の低減は、単位時間当たりの処理量が一定となるようにすることが望ましい。しかし、解像度の低下は画像認識の精度に影響を与えるので、フレームレートと認識精度、画像処理部１２や認識処理部１３の演算能力によって解像度を定めることが好適である。

また、解像度の制御は、撮像部１１による撮像時の解像度を直接制御しても良いし、画像処理部１２による処理時の解像度を制御しても良い。

つづいて、画像認識装置１の処理動作について図４のフローチャートを参照して説明する。同図に示す処理フローは、画像認識装置１が撮影を行なう場合に繰り返し実行する。

まず、主制御部１４は、車速センサ４１が測定した自車両の走行速度に基づいてフレームレートおよび解像度を設定し（ステップＳ１０１）、ナビゲーション装置４２が提供する位置情報によってフレームレートおよび解像度を補正した（ステップＳ１０２）後、撮像部１１にフレームレートを指示する（ステップＳ１０３）。

撮像部１１は、指示されたフレームレートで撮影を実行し（ステップＳ２０１）、画像処理部１２による画像処理（ステップＳ２０２）および認識処理部１３による画像認識（ステップＳ２０３）が行なわれる。そして、画像認識の結果、物体を検知した場合には主制御部１４に物体検知信号を送信する。

主制御部１４は、認識処理部１３から物体検知信号を受信していなければ（ステップＳ１０４，Ｎｏ）そのまま処理を終了する（その後、再度ステップＳ１０１からの処理が繰り返される）。一方、認識処理部１３から物体検知信号を受信したならば（ステップＳ１０４，Ｙｅｓ）、距離算定部１３ｂが算定した物体との距離に基づいてフレームレートおよび解像度を補正し（ステップＳ１０５）、速度算定部１３ｃが算定した物体の移動速度に基づいてフレームレートおよび解像度を補正し（ステップＳ１０６）、移動方向識別部１３ｄが識別した物体の移動方向に基づいてフレームレートおよび解像度を補正して（ステップＳ１０７）、補正の結果得られたフレームレートを撮像部１１に指示して（ステップＳ１０８）処理を終了する（その後、再度ステップＳ１０１からの処理が繰り返される）。

上述してきたように、本実施例にかかる画像認識装置１は、自車両の状態や周辺の状況、特に歩行者の速度や歩行者までの距離、歩行者の移動方向などに基づいてフレームレートおよび解像度を変更することで、対象物体の早期検出と処理量の低減とを両立し、画像認識による物体検知に適した撮影を行なうことができる。

ところで、本実施例では、撮像、画像処理、認識処理を一体化した画像認識装置１を例に説明を行なったが、本発明はこれに限定されるものではなく、任意の構成によって実施することができる。

本発明の他の構成例を図５および図６に示す。図５は、撮像装置２と画像認識装置３を個別の装置とし、撮像装置２内部の主制御部１４が車速センサ４１、ナビゲーション措置４２および画像認識装置３からの情報提供を受けてフレームレートと解像度を設定する構成である。

また、図６は、画像認識装置３、撮像装置４および撮像制御装置５をそれぞれ個別の装置とし、撮像制御装置５が車速センサ４１、ナビゲーション措置４２および画像認識装置３からの情報提供を受けて、撮像装置４のフレームレートと解像度を外部から制御する構成である。

このように、任意の構成の車載撮像システムにおいても図１に示した場合と同様に本発明を適用し、画像認識による物体検知に適した撮影を行なうことができる。

以上のように、本発明にかかる車載画像認識装置、車載撮像装置、車載撮像制御装置、画像認識方法、撮像方法および撮像制御方法は、車両からの撮影に有用であり、特に画像認識による歩行者検知に適している。

本発明の実施例にかかる画像認識装置の概要構成を示す概要構成図である。 フレームレートの制御について説明する説明図である。 解像度の制御について説明する説明図である。 図１に示した画像認識装置の処理動作を説明するフローチャートである。 撮像装置と画像認識装置とを個別の装置とした場合の構成図である。 撮像装置の外部からフレームレートを制御する場合の構成図である。

符号の説明

１，３ 画像認識装置
２，４ 撮像装置
５ 撮像制御装置
１１ 撮像部
１２ 画像処理部
１３ 認識処理部
１３ａ 物体検知部
１３ｂ 距離算定部
１３ｃ 速度算定部
１３ｄ 移動方向認識部
１４ 主制御部
１４ａ フレームレート設定部
１４ｂ 解像度設定部
３１ 車両制御装置
３２ 警告処理装置
４１ 車速センサ
４２ ナビゲーション装置

Claims (14)

1. 車両に搭載され、自車両周辺を撮影する車載撮像装置からの画像を取り込み、当該画像に基づいて物体を認識する車載画像認識装置であって、
   自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて、前記車載撮像装置の撮影に関するフレームの処理速度を示すフレームレートを制御する撮影設定制御手段を備え、前記フレームレートで前記車載撮像装置に撮像処理させた画像に基づいて物体を認識することを特徴とする車載画像認識装置。
2. 前記撮影の結果得られた画像に対する画像認識によって前記自車両周辺の状況を判断する画像認識手段をさらに備え、前記撮影設定制御手段は、前記画像認識手段が物体を検出したか否かによって前記撮影に関する設定を変更することを特徴とする請求項１に記載の車載画像認識装置。
3. 前記画像認識手段は、前記物体を検出した場合に当該物体と自車両との相対距離をさらに認識し、前記撮影設定制御手段は、前記相対距離によって前記撮影に関する設定を変更することを特徴とする請求項２に記載の車載画像認識装置。
4. 前記画像認識手段は、前記物体を検出した場合に当該物体と自車両との相対移動速度をさらに認識し、前記撮影設定制御手段は、前記相対移動速度によって前記撮影に関する設定を変更することを特徴とする請求項２または３に記載の車載画像認識装置。
5. 前記画像認識手段は、前記物体を検出した場合に当該物体と自車両との相対移動方向をさらに認識し、前記撮影設定制御手段は、前記相対移動方向によって前記撮影に関する設定を変更することを特徴とする請求項２，３または４に記載の車載画像認識装置。
6. 前記撮影設定制御手段は、前記走行環境として自車両の走行速度を使用することを特徴とする請求項１〜５のいずれか一つに記載の車載画像認識装置。
7. 前記撮影設定制御手段は、前記走行環境として自車両の位置情報を使用することを特徴とする請求項１〜６のいずれか一つに記載の車載画像認識装置。
8. 前記撮影設定制御手段は、前記フレームレートの制御内容に併せて画像分解能を変更することを特徴とする請求項１〜７のいずれか一つに記載の車載画像認識装置。
9. 前記撮影設定制御手段は、前記画像認識における単位時間当たりの処理量が一定となるように前記フレームレートと画像分解能とを制御することを特徴とする請求項８に記載の車載画像認識装置。
10. 車両に搭載され、自車両周辺を撮影する車載撮像装置であって、
    自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて、前記撮影に関するフレームの処理速度を示すフレームレートを制御する撮影設定制御手段を備え、前記フレームレートに基づいて撮影処理することを特徴とする車載撮像装置。
11. 車両に搭載され、自車両周辺を撮影する車載撮像装置を制御する車載撮像制御装置であって、
    自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて、前記車載撮像装置の撮影に関するフレームの処理速度を示すフレームレートを制御する撮影設定制御手段を備え、前記フレームレートで前記車載撮像装置に撮像処理させることを特徴とする車載撮像制御装置。
12. 車両に搭載され、自車両周辺を撮影する車載撮像装置からの画像を取り込み、当該画像に基づいて物体を認識する画像認識方法であって、
    自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて、前記車載撮像装置の撮影に関するフレームの処理速度を示すフレームレートを制御する撮影設定制御工程と、前記フレームレートで前記車載撮像装置に撮像処理させた画像に基づいて物体を認識する画像認識工程とを含んだことを特徴とする画像認識方法。
13. 車両に搭載され、自車両周辺を撮影する撮像方法であって、
    自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて、前記撮影に関するフレームの処理速度を示すフレームレートを制御する撮影設定制御工程と、前記フレームレートに基づいて撮影処理する撮影工程と、を含んだことを特徴とする撮像方法。
14. 車両に搭載され、自車両周辺を撮影する車載撮像装置を制御する撮像制御方法であって、
    自車両に対する物体を検出するべきタイミングに関係した走行環境に基づいて、前記車載撮像装置の撮影に関するフレームの処理速度を示すフレームレートを制御する撮影設定制御工程と、前記フレームレートで前記車載撮像装置に撮像処理させる撮像制御工程と、を含んだことを特徴とする撮像制御方法。