JP2020035439A - 画像処理装置、警告システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】効率良く物体の認識をすることができる画像処理装置等を提供する。【解決手段】画像処理装置２３は、車両の周囲を撮影した画像データを取得する画像データ取得部２３１と、車両の走行状態に関する走行状態情報を取得し、取得した走行状態情報に応じて、画像データの優先領域を特定する領域特定部２３２と、優先領域に基づいて、画像データにおける優先度の高い領域を優先的に特定の物体を認識する認識制御部２３３と、を備える。【選択図】図２

Description

本発明は画像処理装置、警告システム、画像処理方法及びプログラムに関する。

車両に搭載されたカメラにより車両周辺を撮影し、撮影した画像から自車両に衝突する可能性のある物体を検出し、運転者に警告する警告システムが実用化されている。またこのような警告システムにおいて、より効率良く物体を検出する処理を行うための種々の技術が提案されている。

例えば、特許文献１にかかる歩行者検出装置は、取得した画像の画像領域内において、探索密度モードを、道路状況に応じて設定する。探索密度一定モードは、画像領域内において探索密度が一定であり、探索密度重点モードは、画像領域内のうち、探索密度が高い第１領域と探索密度が低い第２領域とを設定する。

また、特許文献２にかかる車両後側方警報装置は、自車両の走行車線に応じて、自車両の左右後側方に存在する可能性が低い立体物の種類に関してはパターン認識の優先度を低く設定する。

特開２０１１−２５３２１４号公報 特開２０１５−０２６２３４号公報

特許文献１、２は、自車両の位置する特定の状況に応じて物体検出における処理の優先度等を設定する。一方、上述の警告システムにおいては、物体を認識する精度の低下を抑制しつつ、効率良く物体を認識する技術が望まれている。

本発明は、このような課題を解決するためになされたものであり、物体を認識する精度の低下を抑制しつつ、効率良く物体の認識をすることができる画像処理装置等を提供することを目的とする。

一実施の形態に係る画像処理装置は、車両の周囲を撮影した画像データを取得する画像データ取得部と、上記車両の走行状態に関する走行状態情報を取得し、取得した走行状態情報に応じて、上記画像データの優先領域を特定する領域特定部と、上記優先領域に基づいて、上記画像データにおける優先度の高い領域を優先的に特定の物体を認識する認識制御部と、を備えるものである。

一実施の形態に係る画像処理方法は、車両の周囲を撮影した画像データを取得する画像データ取得ステップと、上記車両に関する走行状態情報を取得し、取得した走行状態情報に応じて、上記画像データの優先領域を特定する優先領域特定ステップと、特定された上記優先領域に従って、上記画像データにおける優先度の高い領域を優先的に特定の物体を認識する認識制御ステップと、を備えるものである。

本発明により、物体を認識する精度の低下を抑制しつつ、効率良く物体の認識をすることができる画像処理装置等を提供することができる。

実施の形態１にかかる警告システムを搭載した自動車の上面図である。 実施の形態１にかかる画像処理装置を含む警告システムの全体構成を示すブロック図である。 実施の形態１にかかる細街路直線における優先領域の例を示す図である。 実施の形態１にかかる複数車線における優先領域の例を示す図である。 実施の形態１にかかる細街路左カーブにおける優先領域の例を示す図である。 実施の形態１にかかる交差点における優先領域の例を示す図である。 実施の形態１にかかる画像処理の流れを示すフローチャートである。 実施の形態２にかかる細街路直線における優先領域の例を示す図である。 実施の形態２にかかる細街路直線における優先領域の例を示す図である。 実施の形態２にかかる細街路直線における優先領域の例を示す図である。 実施の形態２にかかる細街路直線における優先領域の例を示す図である。 実施の形態３にかかる上り勾配の例を示す図である。 実施の形態３にかかる上り細街路直線における優先領域の例を示す図である。 実施の形態３にかかる下り勾配の例を示す図である。 実施の形態３にかかる下り細街路直線における優先領域の例を示す図である。

説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる警告システムを搭載した自動車の上面図である。自動車１は、信号処理ブロック１０及び撮影装置２０を有する車両である。以降、自動車１を単に車両と称することもある。

信号処理ブロック１０は半導体及び基板等により構成されており、種々の信号入出力部及び信号処理回路を含む。信号処理ブロック１０は、自動車１の任意の箇所に搭載されており、撮影装置２０及びＣＡＮ（Controller Area Network）等の自動車内通信ネットワークに接続されている。信号処理ブロック１０は、画像処理装置等、警告システム１０００の主要な構成を含んでいる。信号処理ブロック１０の詳細については後述する。

撮影装置２０は、内蔵する画像センサにより自動車１の進行方向を撮影して、撮影した画像のデータである画像データを生成する。撮影装置２０は自動車１の進行方向を撮影するために、自動車１の前方が撮影できる位置に固定される。図において、撮影装置２０は、車両の前方に固定されており、自動車１の進行方向が撮影できる構成になっている。撮影装置２０は、信号処理ブロック１０に接続し、生成した画像データを信号処理ブロック１０に供給する。

次に、図２を参照しながら警告システム１０００の構成について説明する。図２は、実施の形態１にかかる画像処理装置を含む警告システムの全体構成を示すブロック図である。

警告システム１０００は、撮影装置２０により撮影された画像の中から歩行者等の特定の物体を検出対象物として検出し、検出した物体が車両に衝突する可能性があることを運転者に警告するためのシステムである。警告システム１０００は主な構成として、撮影装置２０、走行情報取得部２２、信号処理ブロック１０、表示装置２７、及びスピーカ２８を有している。

走行情報取得部２２は、自動車１の走行状態を示す所定の情報を定期的に取得して画像処理装置２３へ出力する。すなわち、走行情報取得部２２は、少なくとも上記所定の情報を供給する他の構成とのインタフェースの機能及び受け取った上記所定の情報を画像処理装置２３に供給する機能を有している。走行情報取得部２２は、位置情報取得部２２ａ及びＣＡＮ情報取得部２２ｂを有している。

位置情報取得部２２ａは、自動車１の位置を示す位置情報を定期的に取得し、画像処理装置２３へ出力する。例えば、位置情報取得部２２ａは、位置情報としてＧＰＳ（Global Positioning System）情報を取得する。位置情報には、情報を取得した時刻、車両の緯度及び車両の経度が含まれる。また、位置情報には、これらの情報に加えて車両の標高が含まれることもある。

ＣＡＮ情報取得部２２ｂは、自動車１に含まれるＣＡＮから警告システム１０００に使用する情報として、例えば、自動車１の移動速度及びステアリングの操舵角に関する情報を取得し、取得したこれらの情報を画像処理装置２３へ出力する。

次に、信号処理ブロック１０について説明する。信号処理ブロック１０は、信号の入出力インタフェース、入力された信号を処理する電気回路、所定の情報を記憶するための記憶装置等により構成されている。信号処理ブロック１０は、主な構成として、画像処理装置２３、地図情報ＤＢ（Database）２４、パターンＤＢ２５、及び特徴量ＤＢ２６を有している。

画像処理装置２３は、車両の周囲を撮影した画像の画像データから予め設定された特定の物体を認識する機能を有する。特定の物体とは、例えば歩行者、他の車両などである。また、画像処理装置２３は、画像データから物体を認識した場合に、予め設定された条件に基づいて警告メッセージを出力する。画像処理装置２３は、主な構成として、画像データ取得部２３１、領域特定部２３２、認識制御部２３３及び出力部２３４を有している。

尚、画像処理装置２３のハードウェアは、例えばＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）などと称される演算装置又はこれらの組み合わせ等により構成されるものである。よって、例えば、画像データ取得部２３１を画像データ取得回路ということもできるし、領域特定部２３２を領域特定回路ということもできるし、認識制御部２３３を認識制御回路ということもできる。

画像データ取得部２３１は、撮影装置２０から画像データを取得し、取得した画像データを認識制御部２３３へ出力する。

領域特定部２３２は、走行情報取得部２２から取得した情報、地図情報ＤＢ２４に格納されている情報、及びパターンＤＢ２５に格納されている情報から、優先領域を特定し、特定した優先領域に関する情報を認識制御部２３３に供給する。優先領域とは、画像データを複数の領域に分割し、さらに分割した各領域に優先度を付与した情報である。優先度とは、認識制御部２３３が認識処理を行う際の指標となる値である。優先度は、領域の種別により予め設定された値を有している。例えば、空領域に対する優先度は最も低く、走行中の路面に対する優先度は最も高く設定される。

優先領域を特定するに際し、領域特定部２３２は、走行情報取得部２２から車両の走行状態に関する所定の情報を取得する。所定の情報には、少なくとも位置情報取得部２２ａから取得した車両の位置情報が含まれている。そして、領域特定部２３２は、取得した位置情報と、地図情報ＤＢ２４に格納されている情報とを照合して、車両が走行している道路に関する道路情報２４２を特定する。また、領域特定部２３２は、最後に取得した位置情報と直前に取得した位置情報とを比較して車両の進行方向を推定する。

また、領域特定部２３２は、上記説明により特定した道路情報に基づいて、パターンＤＢ２５の中から、特定した道路情報に対応する領域分割パターンを特定する。さらに、領域特定部２３２は、特定した領域分割パターンに対して、領域ごとに優先度を付与することにより、優先領域を特定する。

尚、優先度は、車両からの距離より変化するものであってもよい。また、優先度は、車両の移動速度やステアリングの操舵角により変化するものであってもよい。例えば、所定の領域に対する優先度は、車両から離れているほど低く、車両に近いほど高く設定されていてもよい。また、所定の領域に対する優先度は、車両の移動速度が速いほど高く、車両の移動速度が遅いほど低く設定されていてもよい。

優先領域は、画像データを取得した位置および車両の向き等に基づき、画像データに写る空や道路、建造物などに対応して設定される。優先度は、優先領域毎に歩行者など特定物体が存在する可能性が高い領域に対して優先度が高く設定される。

認識制御部２３３は、画像データ取得部２３１から受け取った画像データを、領域特定部２３２から受け取った優先領域に関する情報に基づいて認識処理を行う。具体的には、認識制御部２３３は、優先度の高い領域に対して優先的に認識処理を行う。認識処理を行うにあたり、認識制御部２３３は、特徴量ＤＢ２６を参照し、予め設定された特徴量に一致する物体を検出する。認識制御部２３３は、物体を検出すると、検出した物体が所定の条件に合致した場合に警告メッセージを生成する。

警告メッセージとして使用者に通知するメッセージは認識した対象物体と車両との関係により複数のレベルが存在してもよい。例えば、車両に対して歩行者が接近し、このままでは接触することが推定される場合は、認識制御部２３３は、運転者に対して強く警告するためのメッセージを生成する。また、車両と歩行者とが予め設定された距離よりも近づくことが推定される場合には、認識制御部２３３は、注意を促すためのメッセージを生成する。尚、警告メッセージの種類を決定する際に、走行状態情報のＣＡＮ情報に含まれる車両の移動速度を参照し、高速で移動している場合の警告メッセージは、低速で移動している場合の警告メッセージよりも警告を強調したメッセージとしてもよい。

出力部２３４は、認識制御部２３３から警告メッセージを受け取ると、受け取った警告メッセージに応じて、接続されているスピーカ２８及び表示装置２７に対して所定の信号を出力する。

地図情報ＤＢ２４は、道路に関する所定の情報を管理するためのデータベースである。地図情報ＤＢ２４は、不揮発性の記憶装置に格納される。地図情報ＤＢ２４は、位置情報２４１と、道路情報２４２を有する。位置情報２４１は、自動車１が存在し得る位置（例えば、緯度、経度及び標高）に関する情報である。道路情報２４２は、位置情報２４１に対応した道路に関する情報である。道路情報２４２は、種別２４２１と属性２４２２とを含む。種別２４２１は、道路の種別を示す情報であり、例えば、高速道路、幹線道路、細街路などを識別する情報である。属性２４２２は、道路の属性を示す情報であり、例えば、右又は左のカーブ、登り坂、下り坂、トンネル、山道、海岸沿い等を識別する情報である。尚、道路情報２４２は、少なくとも種別２４２１又は属性２４２２のいずれかを含むものであればよい。地図情報ＤＢ２４は領域特定部２３２がアクセス可能に接続している。したがって、領域特定部２３２は、走行情報取得部２２から取得した自動車１の位置情報と、地図情報ＤＢ２４の情報とを照合し、所定の時刻における自動車１の位置に対応した道路情報を取得することができる。

パターンＤＢ２５は、道路の種別等に応じた複数の領域分割パターン２５１〜２５ｎを管理するデータベースである。パターンＤＢ２５は、不揮発性の記憶装置に格納される。ここで、領域分割パターンとは、道路を含む画像を、道路の種別に応じた複数種類の領域に分割するための定義である。つまり、領域分割パターン２５１〜２５ｎのそれぞれは、画像を複数種類の領域に分割する際の各領域の範囲を、道路の種別もしくは属性、又は車両の進行方向の組み合わせごとに異なるように定義した情報である。領域分割パターンにより分割される領域は、優先領域の特定を行う際の優先度の違いを示すものである。つまり、各領域のそれぞれには、領域ごとに異なる優先度を対応付けることができる。領域分割パターンは、領域において歩行者等の検索対象物体が出現する可能性を分類した対象物体出現確率モデルといえる。複数の領域分割パターンの間では、各領域の境界が異なる。

ここで、領域分割パターン２５１には、領域定義２５１１、道路情報２５１２、及び進行方向２５１３が対応付けられている。領域定義２５１１は、所定サイズの画像を複数種類の領域に分割する場合における、各領域の種類、境界又は範囲を定義した情報である。

領域定義２５１１は、各領域について、例えば、領域に属する画素の座標の集合や、領域間の境界を特定する座標の集合等である。また、領域の種類は、例えば、空、路面、路側、河川、湖沼、海等を識別する情報である。尚、一つの領域分割パターンには、同一の種類の領域が複数個所に定義されていてもよい。

道路情報２５１２は、上述した道路情報２４２と同様の情報であり、道路の種別や道路の属性を含むものである。すなわち、領域特定部２３２は、地図情報ＤＢ２４の道路情報２４２と、パターンＤＢの道路情報２５２１とを対応させて処理することができる。

進行方向２５１３は、道路における車両の進行方向を示す情報である。例えば、ある道路のある進行方向において右側が斜面で、左側が歩道である場合は、進行方向が逆であれば、右側が歩道で左側が斜面となり、それぞれの領域の種類が逆となる。そのため、進行方向２５１３は、自動車１の現在位置が地図上で同一であっても、進行方向の違いにより領域分割パターンを区別できるように設定されている。

特徴量ＤＢ２６は、不揮発性の記憶装置内に構成されるデータベースである。特徴量ＤＢ２６は、認識制御部２３３に接続し、認識制御部２３３が予め設定された特定の物体を検出するための情報を提供する。例えば、認識制御部２３３がＨＯＧ（Histograms of Oriented Gradients）特徴量を利用して物体の検出を行う場合、特徴量ＤＢ２６は、予め設定された物体の特徴量に関するデータ辞書を複数有している。例えば、図に示すように、実施の形態１において、特徴量ＤＢ２６は、特徴量Ａ２６１及び特徴量Ｂ２６２を記憶する。特徴量Ａ２６１は、歩行者や自転車、自動車などに関するデータ辞書である。特徴量Ｂ２６２は、動物に関するデータ辞書である。また、例えば、認識制御部２３３がＳＶＭ（Support Vector Machine）を利用して画像データの特徴量を分類する場合には、特徴量ＤＢ２６は、ＳＶＭを算出するためのアルゴリズムを記憶する。尚、当然ながら、上述の地図情報ＤＢ２４、パターンＤＢ２５、及び特徴量ＤＢ２６は、別個の記憶装置内にそれぞれ構成されていてもよいし、一個の記憶装置内に構成されていてもよい。

表示装置２７は、認識制御部２３３による認識結果である警告を表示するディスプレイ等の表示装置である。スピーカ２８は、認識制御部２３３による認識結果として警告音を出力する。尚、スピーカ２８は、図示しない音声増幅部や音声処理部を含むものとする。

次に、図３から図６に、優先領域の例を示す。図３は、実施の形態１にかかる細街路直線における優先領域の例を示す図である。図３に示す優先領域は、領域分割パターンＡ１０及び各領域に付与された優先度を含む。領域分割パターンＡ１０は、路側領域Ａ１１、空領域Ａ１２、路側領域Ａ１３及び路面領域Ａ１４に分割されていることを示す。

領域分割パターンＡ１０は、車両が細街路を走行している際にカメラにより進行方向が撮影された場合の典型的な風景を想定している。つまり、平地である細街路を走行中の車両から見た平均的な風景に基づく放射状の境界線により、路側領域Ａ１１、空領域Ａ１２、路側領域Ａ１３、及び路面領域Ａ１４に分割されている。尚、それぞれの境界線が集まっている点は、領域分割パターンＡ１０の消失点である（以降、消失点ＶＰ１と称する）。平地の直線道路を走行している場合の画面内での消失点ＶＰ１の位置は、自動車１に対して設置したカメラの地上高と角度により決定される。

図３に示す矩形の形状は、撮影装置２０から取得する画像データの画像と実質的に相似な形状である。つまり、認識制御部２３３は、画像データと図３に示す矩形の形状とを重畳させることにより、画像データを領域分割パターンＡ１０のように分割することができる。

図において、領域分割パターンＡ１０の各領域内にかっこ書きで示されている数値は、各領域の優先度である。すなわち、路側領域Ａ１１の優先度は０．５、空領域Ａ１２の優先度は０．１、路側領域Ａ１３の優先度は０．５、路面領域Ａ１４の優先度は１．０である。優先度は、数値が大きい方が、優先度が高いことを示している。認識制御部２３３は、領域分割パターンＡ１０が適用された画像データに対して、優先度の高い領域を優先させて処理を行う。つまりこの場合、認識制御部２３３は、路面領域Ａ１４に対する認識処理を最も優先させ、次に路側領域Ａ１１及びＡ１３に対する認識処理を優先させている。また、認識制御部２３３は、空領域Ａ１２に対する認識処理を最も低いものとして処理を行う。図に示す領域分割パターンと優先度の意味については、図４以降も図３と同様である。

図４は、実施の形態１にかかる複数車線における優先領域の例を示す図である。領域分割パターンＢ１０は、路側領域Ｂ１１、空領域Ｂ１２、路側領域Ｂ１３、隣接車線領域Ｂ１４、走行車線領域Ｂ１５及び隣接車線領域Ｂ１６に分割されていることを示す。領域分割パターンＢ１０は、片側２車線の幹線道路における内側の車線を走行している場合の典型的な風景を想定している。尚、分割領域同士の境界線が実線の場合と点線の場合とが示されているが、これは説明の理解を容易にするために異なる種類の線を用いているのであって、画像処理装置２３には線の種類という定義は存在しない。また、平地の直線道路を走行している限り、領域分割パターンＢ１０における消失点ＶＰ２は、図３で示したＶＰ１と同じ位置である。

図５は、実施の形態１にかかる細街路の左カーブにおける優先領域の例を示す図である。領域分割パターンＣ１０は、路側領域Ｃ１１、空領域Ｃ１２、路側領域Ｃ１３及び路面領域Ｃ１４に分割されていることを示す。領域分割パターンＣ１０は、車両が細街路の左カーブを走行している際にカメラにより進行方向が撮影された場合の典型的な風景を想定している。図に示す通り、領域分割パターンＣ１０における消失点ＶＰ３は図３に示したＶＰ１よりも左方向に位置している。尚、路側領域と路面領域との境界は、直線に限らず曲線であってもよい。例えば、カーブの半径に対応した形状としてもよい。

尚、ここでは図示を省略するが、図５に示す領域分割パターンＣ１０の例とは左右対称のパターンである細街路の右カーブにおける領域分割パターンは、当然ながら、消失点が中央より右側にずれており、右側にずれた消失点から各領域の境界線が放射状に拡がる。また、上り坂に差し掛かった場合の領域分割パターンにおいては、消失点が図３に示したＶＰ１より上にずれる。同様に下り坂に差し掛かった場合の領域分割パターンにおいては、消失点が図３に示したＶＰ１より下にずれる。パターンＤＢ２５は、このような複数の領域分割パターンを予め記憶している。

図６は、実施の形態１にかかる交差点における優先領域の例を示す図である。領域分割パターンＤ１０は、空領域Ｄ１１、横断歩道領域Ｄ１２及び路面領域Ｄ１３に分割されていることを示す。領域分割パターンＤ１１は、自動車１が交差点で一時停止している場合や、交差点付近を走行している際にカメラにより進行方向が撮影された場合の典型的な風景を想定している。図に示す通り、領域分割パターンＤ１０には消失点は存在せず、自動車１の前方に横断歩道が左右方向に延在している。

尚、各領域分割パターンにおける複数種類の領域の配分は、車両の実際の走行時の動画データを画像解析することにより決定したものであるとよい。また、各領域分割パターンにおける複数種類の領域の配分は、経験則等により決定したものであってもよい。

次に、図７を参照しながら実施の形態１にかかる画像処理装置が行う処理について説明する。図７は、実施の形態１にかかる画像処理の流れを示すフローチャートである。まず、画像データ取得部２３１は、撮影装置２０から撮影画像の画像データを取得する（Ｓ１０１）。そして、画像データ取得部２３１は、撮影画像の画像データを認識制御部２３３へ出力する。

これと並行して、領域特定部２３２は、走行情報取得部２２から車両の走行状態に関する情報である走行状態情報を取得する（Ｓ１０２）。そして、領域特定部２３２は、走行状態情報に含まれる位置情報に基づき、道路情報及び進行方向を特定する（Ｓ１０３）。

Ｓ１０３の後、領域特定部２３２は、特定した道路情報及び進行方向に基づき、パターンＤＢ２５の中から領域分割パターンを特定する（Ｓ１０４）。

次に、領域特定部２３２は、特定した領域分割パターンにおける各領域及び当該各領域の優先度すなわち優先領域を特定する（Ｓ１０５）。領域特定部２３２は、特定した優先領域に関する情報を認識制御部２３３に通知する。

尚、画像データ取得部２３１が行う画像データ取得処理（Ｓ１０１）と、領域特定部２３２が行う処理（Ｓ１０２〜Ｓ１０５）とは、予め設定されたタイミングで同期して行われる。例えば、画像データ取得部２３１が毎秒６０フレームで画像データを取得する場合、領域特定部２３２も毎秒６０回のタイミングで優先領域に関する情報を認識制御部２３３に出力する。

Ｓ１０１及びＳ１０５の後、認識制御部２３３は、画像データ取得部２３１から受け取った画像データを、領域特定部２３２から受け取った優先領域に関する情報に基づいて、画像データにおける複数の優先領域の内、一の優先領域に対して認識処理を行う（Ｓ１０６）。例えば、図３に示した優先領域に基づいて画像データの認識処理を行う場合において、認識制御部２３３は、最初に最も優先度の高い領域である路面領域Ａ１４について認識処理を行う。尚、認識制御部２３３がここで行う処理は、優先領域内において行う処理であるという点を除き、一般的に行われているＨＯＧなどの方法を利用するものである。このような物体認識の方法は当業者には広く知られているものであるから、ここでの詳述は省略する。

次に、認識制御部２３３は、上記領域を探索した結果として物体を認識し、且つ検出したこの対象物体が自動車１に接触する可能性があるか否かを判定する（Ｓ１０７）。物体を認識し、且つ検出した物体が自動車１に接触する可能性があると判定した場合（Ｓ１０７：Ｙｅｓ）、認識制御部２３３は、Ｓ１０８に進む。

Ｓ１０８において、認識制御部２３３は、検出した物体が自動車１に接触する可能性があることを使用者に通知するための警告メッセージを生成し、生成した警告メッセージを出力部２３４に供給する。出力部２３４は、認識制御部２３３から受け取った警告メッセージを表示装置２７及びスピーカ２８に出力する（Ｓ１０８）。出力部２３４が所定の警告メッセージを出力すると、認識制御部２３３はＳ１０９に進む。

一方、Ｓ１０７において、物体を認識しない場合、又は検出した物体が自動車１に接触する可能性があると判定しない場合（Ｓ１０７：Ｎｏ）、認識制御部２３３は、警告メッセージを生成せずＳ１０９に進む。

上述したように、優先領域ごとに認識処理及び警告処理を行うことにより、画像処理装置２３は、対象物体が出現する確率が高い領域に対する警告処理をいち早く使用者に通知することが可能となる。

次に、認識制御部２３３は、処理中の画像データにおける設定された領域の認識処理が終了したか否かを判定する（Ｓ１０９）。ここで、設定された領域とは、複数存在する優先領域の内、認識処理を行うことが設定された領域である。例えば、図３に示した優先領域に基づいて画像データの認識処理を行う場合において、優先度が０．４より小さい領域の認識処理は行わないことが設定されているとする。この場合、認識制御部２３３は、空領域Ａ１２を除く路側領域Ａ１１、路側領域Ａ１３、及び路面領域Ａ１４について認識処理を行う。そして、これらの領域に対する認識処理が終了した場合に、認識制御部２３３は、設定された領域の認識処理が終了したと判定する。

処理中の画像データについての物体認識処理が終了したと判定しない場合（Ｓ１０９：Ｎｏ）、認識制御部２３３はＳ１０６に戻り、物体認識処理が終了していない優先領域についての処理を繰り返す（Ｓ１０６）。一方、処理中の画像データについての物体認識処理が終了したと判定した場合（Ｓ１０９：Ｙｅｓ）、認識制御部２３３はＳ１１０に進む。

次に、画像処理装置２３は、全ての処理を終了するか否かを判定する。例えば、次に処理する画像データを取得していない場合や、不図示のＣＰＵ等から終了の指示を受けた場合等により、全ての処理を終了させることを判定した場合（Ｓ１１０：Ｙｅｓ）、画像処理装置２３は、全ての処理を終了させる。一方、全ての処理を終了させることを判定しない場合（Ｓ１１０：Ｎｏ）、画像処理装置２３は、Ｓ１０１及びＳ１０２に戻り、処理を繰り返す。

以上、実施の形態１にかかる画像処理装置２３が行う処理について説明したが、上記フローチャートは一例であり、画像処理装置２３が行う処理はこれに限られない。例えば、画像データ取得部２３１が行う画像データ取得処理（Ｓ１０１）と、領域特定部２３２が行う処理（Ｓ１０２〜Ｓ１０５）とは、予め設定されたタイミングで同期しないものであってもよい。例えば、画像データ取得部２３１が画像データを取得した時に領域特定部２３２に予め設定された信号を送信し、かかる信号を受信することにより領域特定部２３２が優先領域に関する情報を出力するものであってもよい。また、認識制御部２３３は、画像データ取得部２３１から受け取る画像データと、領域特定部２３２から受け取る優先領域に関する情報を、それぞれ異なるタイミングで受け取ってもよい。

また、認識制御部２３３は、優先領域ごとに認識処理をするのではなく、複数の優先領域について、まとめて認識処理（Ｓ１０６）を行い、その後、複数の優先領域に対する警告処理（Ｓ１０８）を行ってもよい。あるいは、認識制御部２３３は、予め設定された処理時間を有しており、当該処理時間以内に行える範囲において、優先度に応じた領域の認識処理を行ってもよい。この場合において、例えば、比較的に優先度が高い領域の認識処理が当該処理時間よりも早く終了した場合は、認識制御部２３３は、比較的に優先度が低い領域の認識処理を行ってもよい。

以上、実施の形態１について説明した。尚、警告システム１０００は、例えば、カーナビゲーションシステムやドライブレコーダ等のシステムの一部として構成されてもよい。撮影装置２０は複数のカメラであってもよい。また、撮影装置２０は、可視光の画像センサであってもよいし、赤外線の画像センサであってもよい。また、撮影装置２０は、自動車１の前方以外の方向を撮影するものであってもよい。例えば撮影装置２０は自動車１の周囲３６０度を撮影可能な全方位カメラであってもよい。また、撮影装置２０は、自動車１と自動車１の周囲に存在する物体との距離を測定する測距センサであってもよい。測距センサは、例えばＬｉＤＡＲ（Light Detection and Ranging）と称される光を用いた距離センサである。

図３から図５において例示した路側領域の優先度は、右側と左側とで異なる値であってもよい。この場合、認識制御部２３３は、比較的に優先度の高い領域から認識処理を行う。

領域特定部２３２は、上述した優先領域に関する情報に加えて、道路の種別に関する情報を認識制御部２３３に供給してもよい。この場合、認識制御部２３３は、道路の種別に関する情報に基づいて、認識処理に利用する特徴量ＤＢ２６のデータ辞書を決定してもよい。例えば、特徴量Ｂ２６２が動物に関するデータ辞書である場合に、動物の出現可能性が低い市街地を車両が走行中の場合に、認識制御部２３３は、特徴量Ｂ２６２を利用しないで認識処理を行ってもよい。これにより、認識制御部２３３は、安全性を低下させることなく短時間に認識処理を行うことができる。

また、認識制御部２３３は、優先度に応じて、認識処理の頻度を設定してもよい。すなわち、認識制御部２３３は、優先度の低い領域は、処理頻度を下げて処理を行ってもよい。例えば、優先度が所定の値より高い領域は、全ての画像データについて認識処理を行い、優先度が所定の値より低い領域は、取得する画像データのフレームレートの数分の１の割合で処理を行うこととしてもよい。

また、特徴量ＤＢ２６はドライブレコーダ等の画像データ及び機械学習を行う学習装置と協働させることにより、物体の認識の精度を向上させ、向上させた結果を反映させたデータ辞書により特徴量ＤＢを更新する機能を有していてもよい。

上述の構成により、画像処理装置２３又は警告システム１０００は、歩行者等の対象物体が出現する確率の高い領域の認識処理を行うことができる。そのため、一の画像データに対する認識処理を短時間に行うことができる。よって、実施の形態１によれば、物体を認識する精度の低下を抑制しつつ、効率良く物体の認識をすることができる画像処理装置等を提供することができる。

＜実施の形態２＞
次に、実施の形態２について説明する。実施の形態２にかかる画像処理装置は、ＣＡＮ情報取得部が取得した自動車１の移動速度に関する情報及びステアリングの操舵角に関する情報に基づいて優先領域をより細かく特定する点において、実施の形態１と異なる。実施の形態２にかかる警告システム１０００のハードウェア構成及び処理手順は、実施の形態１において説明したものと同様であるため、ここでは説明を省略する。以下に、実施の形態１と異なる点について説明する。

図８及び図９に、実施の形態２にかかる優先領域の例を示す。図８及び図９に示す優先領域の例は、ＣＡＮ情報取得部２２ｂから取得する自動車１の移動速度に関する情報に基づいて優先領域が決定される点が、実施の形態１と異なる。

図８は、実施の形態２にかかる細街路直線における優先領域の例を示す図である。図８に示す優先領域は、領域分割パターンＡ２０及び各領域に付与された優先度を含む。また、図８に示す優先領域は、自動車１の移動速度が速度Ｖ_１の場合の優先領域を示している。領域分割パターンＡ２０は、路側領域Ａ２１ａ、Ａ２１ｂ、空領域Ａ２２、路側領域Ａ２３ａ、Ａ２３ｂ、及び路面領域Ａ２４ａ、Ａ２４ｂに分割されていることを示す。すなわち、本実施の形態における領域分割パターンは、路側領域、路面領域がそれぞれ消失点に近い側と消失点に遠い側とに分割されている。そして、分割された路側領域に対して異なる優先度が付与されている。より具体的には、比較的に消失点に遠い側の路側領域Ａ２１ａの優先度は０．１であり、路側領域Ａ２１ａに隣接し、比較的に消失点に近い側の路側領域Ａ２１ｂの優先度は０．５である。同様に、路側領域Ａ２３ａの優先度は０．１であり、路側領域Ａ２３ｂの優先度は０．５である。同じく、比較的に消失点に遠い側の路面領域Ａ２４ａの優先度は０．１であり、比較的に消失点に近い側の路面領域Ａ２４ｂの優先度は１．０である。

このように、実施の形態２にかかる警告システム１０００において、領域特定部２３２は、自動車１の移動速度が速度Ｖ_１の場合には、消失点に近い側の領域の優先度を、消失点から遠い側の領域の優先度よりも高く設定する。すなわち、領域特定部２３２は、優先領域の大きさを、車両の移動速度に応じて決定する。

車両に非常に近い領域に存在する歩行者等の対象物体は、自動車１に近づく方向に移動していたとしても、自動車１が消失点の方向に進行するのに伴い、自動車１と相対的にすれ違い、自動車１から離れることになる。そのため、本実施の形態においては、消失点から遠い側の領域に対する優先度は低く設定される。よって、この場合、認識制御部２３３は、図においてハッチングで示した領域の認識処理を行う。尚、この例におけるハッチング領域の画角は、幅Ｗ２０であり、高さＨ２０である。このような構成にすることにより、警告システム１０００は、より効率良く物体の認識処理を行うことができる。

次に、図９について説明する。図９は、実施の形態２にかかる細街路直線における優先領域の例を示す図である。図９に示す優先領域は、領域分割パターンＡ３０及び各領域に付与された優先度を含む。また、図９に示す優先領域は、自動車１の移動速度が速度Ｖ_２の場合の優先領域を示している。領域分割パターンＡ３０は、路側領域Ａ２１ｃ、Ａ２１ｄ、空領域Ａ２２、路側領域Ａ２３ｃ、Ａ２３ｄ、及び路面領域Ａ２４ｃ、Ａ２４ｄに分割されていることを示す。

また、図に示すように、比較的に消失点に遠い側の路側領域Ａ２１ｃの優先度は０．１であり、比較的に消失点に近い側の路側領域Ａ２１ｄの優先度は０．５である。同様に、路側領域Ａ２３ｃの優先度は０．１であり、路側領域Ａ２３ｄの優先度は０．５である。同じく、比較的に消失点に遠い側の路面領域Ａ２４ｃの優先度は０．１であり、比較的に消失点に近い側の路面領域Ａ２４ｄの優先度は１．０である。

図９の例における速度Ｖ_２は、図８に示す速度Ｖ_１よりも速い点が図８の例と異なる。これに伴い、図９における相対的に優先度の高い領域すなわちハッチング領域の画角は、幅Ｗ２０より小さい幅Ｗ３０であり、高さＨ２０より小さい高さＨ３０である。車両の移動速度が比較的に速くなると、比較的に遅い場合に比べて、車両の近傍に存在する物体と接触せずにすれ違う可能性が高くなる。さらに、すれ違う可能性が一定の値より高い範囲は、より広くなる。そのため、ハッチングで示した領域は、車両の移動速度が高い場合の方がより小さい面積に設定される。このような構成により、警告システム１０００は、車両の移動速度に応じて、効率良く物体の認識処理を行うことができる。

次に、図１０及び図１１に、実施の形態２にかかる優先領域の別の例を示す。図１０及び図１１に示す優先領域の例は、ＣＡＮ情報取得部２２ｂから取得する自動車１のステアリングの操舵角に関する情報に基づいて優先領域が決定される。

図１０は、実施の形態２にかかる細街路左カーブにおける優先領域の例を示す図である。図１０に示す優先領域は、領域分割パターンＣ２０及び各領域に付与された優先度を含む。また、図に示す優先領域は、自動車１の移動速度が速度Ｖ_３であり、ステアリングの操舵角θ_１の場合の優先領域を示している。領域分割パターンＣ２０は、路側領域Ｃ２１ａ、Ｃ２１ｂ、空領域Ｃ２２、路側領域Ｃ２３ａ、Ｃ２３ｂ、及び路面領域Ｃ２４ａ、Ｃ２４ｂに分割されていることを示す。すなわち、本実施の形態における領域分割パターンは、路側領域、路面領域がそれぞれ消失点に近い側と消失点ＶＰ３に遠い側とに分割されている。そして、分割された路側領域に対して異なる優先度が付与されている。より具体的には、比較的に消失点ＶＰ３に遠い側の路側領域Ｃ２１ａの優先度は０．１であり、路側領域Ｃ２１ａに隣接し、比較的に消失点ＶＰ３に近い側の路側領域Ｃ２１ｂの優先度は０．５である。同様に、路側領域Ｃ２３ａの優先度は０．１であり、路側領域Ｃ２３ｂの優先度は０．５である。同じく、比較的に消失点ＶＰ３に遠い側の路面領域Ｃ２４ａの優先度は０．１であり、比較的に消失点ＶＰ３に近い側の路面領域Ｃ２４ｂの優先度は１．０である。

このように、実施の形態２にかかる警告システム１０００は、自動車１のステアリングの操舵角θ_１の場合には、消失点ＶＰ３に近い側の領域の優先度を、消失点から遠い側の領域の優先度よりも高く設定するとともに、消失点ＶＰ３が画像の中心よりも左寄りに位置しているのに対応して、ハッチングで示した領域は、図８や図９で示した例に比べて左寄りに位置している。このように、領域特定部２３２は、ステアリングの操舵角に応じて優先領域を特定する。

次に、図１１について説明する。図１１は、実施の形態２にかかる細街路直線における優先領域の別の例を示す図である。図１１に示す優先領域は、領域分割パターンＣ３０及び各領域に付与された優先度を含む。また、図１１に示す優先領域は、自動車１の移動速度が速度Ｖ_３であり、ステアリングの操舵角θ_２の場合の優先領域を示している。領域分割パターンＣ３０は、路側領域Ｃ３１ａ、Ｃ３１ｂ、空領域Ｃ３２、路側領域Ｃ３３ａ、Ｃ３３ｂ、及び路面領域Ｃ３４ａ、Ｃ３４ｂに分割されていることを示す。

また、図に示すように、比較的に消失点ＶＰ４に遠い側の路側領域Ｃ３１ａの優先度は０．１であり、比較的に消失点ＶＰ４に近い側の路側領域Ｃ３１ｂの優先度は０．５である。同様に、路側領域Ｃ３３ａの優先度は０．１であり、路側領域Ｃ３３ｂの優先度は０．５である。同じく、比較的に消失点ＶＰ４に遠い側の路面領域Ｃ３４ａの優先度は０．１であり、比較的に消失点ＶＰ４に近い側の路面領域Ｃ３４ｂの優先度は１．０である。

上述した自動車１の移動速度を示す速度Ｖ_１、速度Ｖ_２および速度Ｖ_３は、各々走行速度の幅を有する速度としてもよい。一例として、速度Ｖ_１は、自動車１の移動速度が２０ｋｍ／ｈ〜６０ｋｍ／ｈ、速度Ｖ_２および速度Ｖ_３は、自動車１の移動速度が６０ｋｍ／ｈ以上などであるが、この値に限定されない。

図１１の例における自動車１のステアリングの操舵角θ_２は、図１０に示す操舵角θ_１よりも大きい点が図１０の例と異なる。これに伴い、図１１における相対的に優先度の高い領域すなわちハッチング領域は、図１０の場合より左寄りに位置している。車両のステアリングの操舵角が比較的に大きくなると、比較的に小さい場合に比べて、車両の右側に存在する物体と接触せずにすれ違う可能性が高くなる。さらに、すれ違う可能性が一定の値より高い範囲は、より広くなる。そのため、ハッチングで示した領域は、ステアリングの操舵角が大きい場合の方が左寄りに設定される。このような構成により、警告システム１０００は、車両の操舵角に応じて、効率良く物体の認識処理を行うことができる。尚、図１０及び図１１において、左カーブにおいて操舵角が左に傾いている場合を示したが、「左」を「右」に置き換えることにより、右の場合も同様に説明することが可能である。

以上、実施の形態２について説明した。図８及び図９を参照して説明した構成と、図１０及び図１１を参照して説明した構成とは、それぞれ独立したものではない。つまり、実施の形態２にかかる警告システム１０００は、車両の移動速度、又は車両の操舵角の少なくともいずれか一方に応じて優先領域を特定する。これにより、実施の形態２によれば、車両の移動速度や操舵角に応じて、物体を認識する精度の低下を抑制しつつ、効率良く物体の認識処理を行う画像処理装置等を提供することができる。

＜実施の形態３＞
次に、実施の形態３について説明する。実施の形態３は、走行中の道路と進行先の道路の勾配とが異なる場合における優先領域を示すものである。

車両は、水平な道路から急な上り坂に差し掛かる直前や、車両が上り坂から下り坂への変化点に差し掛かる直前など、道路の傾斜が大きく変化する場所を走行する場合がある。このような状況において領域分割パターンを特定する場合に、車両が走行している道路の勾配と、車両の進行先であって撮影装置２０が撮影する道路の勾配とが大きく異なると、領域分割パターンと撮影装置２０が撮影した画像の画像データとが一致しなくなる虞がある。このように領域分割パターンと画像データとが一致しない場合、優先領域が正しく特定されない。そのため、効率よく物体を認識できない虞が生じる。そこで、このような問題が生じないように、実施の形態３にかかる画像処理装置は、道路の勾配情報を加味した領域分割パターンを特定する。

図１２は、本実施の形態３にかかる上り勾配の例を示す図である。図１２は、自動車１および自動車１が走行している道路を模式的に示したものである。図１２に示す自動車１は位置Ｐ３１から図面の右方向に向かって走行している。自動車１が走行している位置３１における道路は水平である。また自動車１の進行先は、上り坂へ変化している。

自動車１に搭載された警告システム１０００は、進行先の道路の情報を取得し、物体の認識処理を行っている。警告システム１０００は、自動車１の進行先であって、予め設定された位置における道路情報を参照して領域分割パターンの勾配パターンを特定する。このときの、予め設定された位置は、最長検出距離として設定される。最長検出距離は、例えば１００メートルである。

図１２において、自動車１は最長検出距離Ｘ１が設定されている。自動車１が存在している位置Ｐ３１と、位置Ｐ３１から最長検出距離Ｘ１離れた位置Ｐ３２は、高さ方向で距離Ｙ１の差がある（位置Ｐ３１は、位置Ｐ３２より距離Ｙ１高い）。また、位置Ｐ３１における道路の勾配と、位置Ｐ３２における道路の勾配とは、角度Ｚ１の差がある。領域特定部２３２は、自動車１が走行している位置と、最長検出距離Ｘ１離れた位置との高さおよび勾配の差を算出し、これにより領域分割パターンを特定する。なお、地図情報ＤＢ２４において、位置Ｐ３１や位置Ｐ３２に一致する情報が存在しない場合には、周辺の情報から補間（例えば線形補間または非線形補間）することによりそれぞれの情報を取得してもよい。

図１３は、実施の形態３にかかる上り細街路直線における優先領域の例を示す図である。図１３に示す優先領域は、領域分割パターンＡ４０及び各領域に付与された優先度を含む。図に示すパターンは、車両が平地である細街路から、急な上り坂に差し掛かる直前において領域特定部２３２が特定するパターンである。

領域分割パターンＡ４０は、路側領域Ａ４１、空領域Ａ４２、路側領域Ａ４３及び路面領域Ａ４４に分割されている。また領域分割パターンＡ４０は、消失点ＶＰ４０を有している。図１３には、参考の情報としてＶＰ１が示されている。ＶＰ１は、図３において示した、平地を走行している場合における領域分割パターンＡ１０の消失点である。ＶＰ４０は、ＶＰ１よりも距離Ｙ４１上方に位置している。Ｙ４１は、図１２において示したＹ１に対応している。したがって、位置Ｐ３１と位置Ｐ３２との高さ方向の差である距離Ｙ１が大きくなるにつれて、Ｙ４１は大きくなるように設定されていてもよい。

次に図１４を参照して下り勾配のパターンについて説明する。図１４は、本実施の形態３にかかる下り勾配の例を示す図である。図１４は、自動車１および自動車１が走行している道路を模式的に示したものである。図に示す自動車１は位置Ｐ３３から図面の右方向に向かって走行している。自動車１が走行している位置３３における道路は水平である。また自動車１の進行先は、下り坂へ変化している。

自動車１は最長検出距離Ｘ１が設定されている。自動車１が存在している位置Ｐ３３と、位置Ｐ３３から最長検出距離Ｘ１離れた位置Ｐ３４は、高さ方向で距離Ｙ２の差がある（位置Ｐ３４は、位置Ｐ３３より距離Ｙ２低い）。また、位置Ｐ３３における道路の勾配と、位置Ｐ３４における道路の勾配とは、角度Ｚ２の差がある。領域特定部２３２は、自動車１が走行している位置と、最長検出距離Ｘ１離れた位置との高さおよび勾配の差を算出し、これにより領域分割パターンを特定する。

図１５は、実施の形態３にかかる下り細街路直線における優先領域の例を示す図である。図１５に示す優先領域は、領域分割パターンＡ５０及び各領域に付与された優先度を含む。図に示すパターンは、車両が平地である細街路から、急な下り坂に差し掛かる直前において領域特定部２３２が特定するパターンである。

領域分割パターンＡ５０は、路側領域Ａ５１、空領域Ａ５２、路側領域Ａ５３及び路面領域Ａ５４に分割されている。また領域分割パターンＡ５０は、消失点に代えて、空領域Ａ５２と路面領域Ａ５４との境界線ＢＬ５０を有している。領域分割パターンＡ５０において消失点が設けられていないのは、図１４に示すように、急な下り坂により道路の勾配が変化した場合には遠方の道路は撮影されない。よって、領域分割パターンＡ５０は、境界線ＢＬ５０が設けられ、境界線ＢＬ５０より上方が空領域に設定されている。

図１５には、参考の情報として、ＶＰ１が示されている。ＶＰ１は、図３において示した、平地を走行している場合における領域分割パターンＡ１０の消失点である。ＢＬ５０は、ＶＰ１よりも距離Ｙ５１下方に位置している。Ｙ５１は、図１４において示したＹ２に対応している。したがって、位置Ｐ３３と位置Ｐ３４との高さ方向の差である距離Ｙ２が大きくなるにつれて、Ｙ５１は大きくなるように設定されていてもよい。

このように、実施の形態３にかかる警告システム１０００において、領域特定部２３２は、車両の位置と、車両の進行方向において車両から予め設定された距離における位置との高さ及び勾配の差から優先領域を特定する。また認識制御部２３３は、画像データと図１３に示す領域分割パターンＡ４０、あるいは図１５に示す領域分割パターンＡ５０、とを重畳させることにより、画像データを好適に分割できる。

なお、図１２および図１４では、自動車１が走行している道路が水平な場合を示した。しかし、本実施の形態における道路の勾配のパターンは、自動車１が走行中の道路における勾配と、予め設定された進行先における勾配との相対的な差により特定されるものである。すなわち、領域分割パターンは、自動車１が走行している位置が傾斜している場合には、この勾配と、最長検出距離における道路の勾配との相対差を算出する。

以上、実施の形態３について説明したが、実施の形態３にかかる警告システム１０００において、最長検出距離は車両の走行速度により変化してもよい。また、領域特定部２３２は、最長検出距離と車両との間において領域分割パターンを補間するための情報を取得してもよい。

また、実施の形態３に示した機能は、上述した他の実施の形態との組み合わせが可能である。また当然ながら、実施の形態３に示した警告システム１０００は、上述の細街路のパターンに加え、複数車線、右カーブ、左カーブ、トンネル、高速道路など種々のパターンを有しており、これらのパターンは複合的に融合したパターンも存在しうる。

以上、実施の形態３について説明した。実施の形態３によれば、車両の進行方向における道路情報に応じて、物体を認識する精度の低下を抑制しつつ、効率良く物体の認識処理を行う画像処理装置等を提供することができる。

＜他の実施の形態＞
以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。例えば、警告システム１０００は、表示装置２７及びスピーカ２８に代えて、例えば自動ブレーキシステムに警告メッセージを出力してもよい。この場合、警告メッセージを受け取った自動ブレーキシステムは、受け取った警告メッセージに応じて、車両の安全を確保するための制動操作等を行う。また、同様に、警告システム１０００は、自動ブレーキシステムを含む運転支援システムに警告メッセージを出力してもよい。

また、地図情報ＤＢ２４、パターンＤＢ２５、特徴量ＤＢ２６に加えて、画像処理装置２３の機能の一部は、図示しない通信装置を介して外部装置で実現されてもよい。

また、上述の画像処理装置の任意の処理は、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ-ＲＯＭ（Read Only Memory）、ＣＤ-Ｒ、ＣＤ-Ｒ/Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

また、コンピュータが上記実施の形態の機能を実現するプログラムを実行することにより、上記実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているＯＳ（Operating System）もしくはアプリケーションソフトウェアと共同して、上記実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上記実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。

１ 自動車
１０ 信号処理ブロック
２０ 撮影装置
２２ 走行情報取得部
２２ａ 位置情報取得部
２２ｂ ＣＡＮ情報取得部
２３ 画像処理装置
２４ 地図情報ＤＢ
２５ パターンＤＢ
２６ 特徴量ＤＢ
２７ 表示装置
２８ スピーカ
２３１ 画像データ取得部
２３２ 領域特定部
２３３ 認識制御部
２３４ 出力部
２４１ 位置情報
２４２ 道路情報
２５１ 領域分割パターン
１０００ 警告システム

Claims (9)

1. 車両の周囲を撮影した画像データを取得する画像データ取得部と、
   前記車両の走行状態に関する走行状態情報を取得し、取得した走行状態情報に応じて、前記画像データの優先領域を特定する領域特定部と、
   前記優先領域に基づいて、前記画像データにおける優先度の高い領域を優先的に特定の物体を認識する認識制御部と、
   を備える画像処理装置。
2. 前記領域特定部は、前記走行状態情報として、前記車両の位置情報、移動速度情報、又は操舵角情報のうち少なくとも一の情報を含む情報に応じて前記優先領域を特定する
   請求項１に記載の画像処理装置。
3. 前記領域特定部は、前記位置情報及び前記車両の進行方向に応じて、前記画像データを、空領域と、前記車両が走行している路面領域と、前記空領域及び前記路面領域に含まれない路側領域と、に分割し、分割した領域から前記優先領域を特定する
   請求項２に記載の画像処理装置。
4. 前記領域特定部は、取得する前記走行状態情報に前記移動速度情報を含み、
   前記車両の移動速度が第１速度の際に第１優先領域を特定し、
   前記車両の移動速度が前記第１速度より速い第２速度の際に前記第１優先領域より小さい面積の第２優先領域を特定する
   請求項２又は３に記載の画像処理装置。
5. 前記領域特定部は、取得する前記走行状態情報に前記操舵角情報を含み、
   第１角度の際に第１優先領域を特定し、
   前記第１角度より右寄りを示す第２角度の際に前記第１優先領域より右寄りの第２優先領域を特定し、
   前記第１角度より左寄りを示す第３角度の際に前記第１優先領域より左寄りの第３優先領域を特定する
   請求項２から４のいずれか１項に記載の画像処理装置。
6. 前記領域特定部は、前記車両の位置と、前記車両の進行方向において前記車両から予め設定された距離における位置との高さ及び勾配の相対差に基づいて、前記優先領域を特定する
   請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記画像データを生成するカメラと、
   請求項１〜６のいずれか一項に記載の画像処理装置と、
   警告メッセージを出力する出力部と、を備え、
   前記認識制御部は、認識した物体が前記車両に接触する可能性がある場合、前記物体が警告対象物体であると判断し、
   前記出力部は、前記認識制御部が認識した物体を警告対象物体であると判断した場合に、表示装置に表示する警告画像データ又は警告音声データのうち少なくともいずれか一方を前記警告メッセージとして出力する、
   警告システム。
8. 車両の周囲を撮影した画像データを取得する画像データ取得ステップと、
   前記車両に関する走行状態情報を取得し、取得した走行状態情報に応じて、前記画像データの優先領域を特定する優先領域特定ステップと、
   特定された前記優先領域に従って、前記画像データにおける優先度の高い領域を優先的に特定の物体を認識する認識制御ステップと、
   を備える画像処理方法。
9. 請求項８の方法をコンピュータに実行させるプログラム。

Images