JP2018041389A - 物体認識装置、物体認識方法、および物体認識プログラム - Google Patents

Abstract

【課題】誤検知による各種制御の過剰作動を抑制することができる物体認識装置、物体認識方法、および物体認識プログラムを提供することを目的の一つとする。
【解決手段】物体認識装置は、車両の周辺の物体を検出する検出部と、検出部により検出された物体の将来位置を予測する予測部と、を備え、検出部は、過去に検出した物体を継続的に検出する場合、予測部により予測された物体の将来位置の周辺にある複数の探索領域を、所定の優先順位に基づいて順に探索することで、過去に検出した物体を車両の周辺において検出する。
【選択図】図１

Description

本発明は、物体認識装置、物体認識方法、および物体認識プログラムに関する。

従来、画像に探索領域を設定し、その探索領域内で所望の物体を検出する画像処理技術が知られている。この画像処理技術では、探索領域の数が多くなったり、探索領域の面積が大きくなったりするほど処理負荷が増大する傾向がある。そのため、例えば、レーダの探索結果を利用して画像処理の対象とする探索領域に優先度を設ける技術が知られている（例えば、特許文献１参照）。

特開２００６−１６３８７９号公報

しかしながら、従来の技術では、警報や走行制御などの各種制御を過剰作動させてしまう可能性がある。この結果、商品性が悪化する場合がある。

本発明は、このような事情を考慮してなされたものであり、誤検知による各種制御の過剰作動を抑制することができる物体認識装置、物体認識方法、および物体認識プログラムを提供することを目的の一つとする。

請求項１記載の発明は、車両の周辺の物体を検出する検出部と、前記検出部により検出された物体の将来位置を予測する予測部と、を備え、前記検出部は、過去に検出した物体を継続的に検出する場合、前記予測部により予測された前記物体の将来位置の周辺にある複数の探索領域を、所定の優先順位に基づいて順に探索することで、過去に検出した物体を前記車両の周辺において検出する物体認識装置である。

請求項２記載の発明は、請求項１に記載の物体認識装置において、前記検出部は、過去に検出した物体を継続的に検出する場合、前記複数の探索領域のうち、前記車両からみて遠い側の領域を優先して探索するものである。

請求項３記載の発明は、請求項１または２に記載の物体認識装置において、前記検出部は、前記車両の周辺を撮像するカメラを含み、前記カメラにより撮像された画像から物体の特徴を抽出し、前記抽出した特徴に基づいて物体を検出し、前記予測部は、前記カメラにより撮像された画像のうち、第１画像上で前記検出部により検出された物体の将来位置を、前記第１画像よりも後に撮像された第２画像上で予測し、前記検出部は、過去に検出した物体を継続的に検出する場合、前記第２画像上で、前記予測部により予測された前記物体の将来位置の周辺に前記複数の探索領域を設定するものである。

請求項４記載の発明は、請求項３に記載の物体認識装置において、前記検出部は、過去に検出した物体を継続的に検出する場合、前記第２画像上で、前記第１画像上で検出した物体の特徴のパターンと類似する特徴のパターンを有するか否かに基づいて物体を検出し、前記特徴のパターンの類似性に基づいて前記第２画像上で検出した物体の特徴のパターンの一部が前記第２画像に含まれない場合、前記第２画像上で検出した物体を、継続的に検出する対象から除外するものである。

請求項５記載の発明は、請求項３または４に記載の物体認識装置において、前記検出部は、過去に検出した物体を継続的に検出する場合、前記第２画像上で検出した物体のサイズが、前記第１画像上で検出した物体のサイズに比して所定程度以上大きい、または所定程度以上小さい場合に、前記第２画像上で検出した物体を、継続的に検出する対象から除外するものである。

請求項６記載の発明は、請求項３または４に記載の物体認識装置において、前記検出部は、過去に検出した物体を継続的に検出する場合、前記第２画像上で検出した物体のサイズと物体の距離から推定される空間上の大きさが、前記第１画像上で検出した物体のサイズと物体の距離から推定される空間上の大きさに比して所定程度以上大きい、または所定程度以上小さい場合に、前記第２画像上で検出した物体を、継続的に検出する対象から除外するものである。

請求項７記載の発明は、請求項３から６のうちいずれか１項に記載の物体認識装置において、前記検出部は、過去に検出した物体を継続的に検出する場合、前記第２画像上で検出した物体が、前記車両から所定距離以上遠い位置にある場合、前記第２画像上で検出した物体を、継続的に検出する対象から除外するものである。

請求項８記載の発明は、請求項１から７のうちいずれか１項に記載の物体認識装置において、前記検出部は、前記車両の周辺の複数の物体を検出し、前記予測部は、前記検出部により検出された各物体の将来位置を予測し、前記検出部は、前記検出部により検出された複数の物体のうち、所定の属性を持つ物体の将来位置の周辺を、前記所定の属性を持たない物体の将来位置の周辺よりも優先して探索するものである。

請求項９記載の発明は、車載コンピュータが、車両の周辺の物体を検出し、前記検出した物体の将来位置を予測し、過去に検出した物体を継続的に検出する場合、前記予測した前記物体の将来位置の周辺にある複数の探索領域を、所定の優先順位に基づいて順に探索することで、過去に検出した物体を前記車両の周辺において検出する物体認識方法である。

請求項１０記載の発明は、車載コンピュータに、車両の周辺の物体を検出させ、前記検出させた物体の将来位置を予測させ、過去に検出させた物体を継続的に検出させる場合、前記予測させた前記物体の将来位置の周辺にある複数の探索領域を、所定の優先順位に基づいて順に探索させることで、過去に検出させた物体を前記車両の周辺において検出させる物体認識プログラムである。

請求項１、３、９、１０記載の発明によれば、過去に検出した物体を継続的に検出する場合、検出対象の物体の将来位置の周辺にある複数の探索領域を、所定の優先順位に基づいて順に探索することで、過去に検出した物体を検出するため、誤検知による各種制御の過剰作動を抑制することができる。

請求項２記載の発明によれば、複数の探索領域のうち、車両からみて遠い側の領域を優先して探索するため、誤検知による各種制御の過剰作動を更に抑制することができる。

請求項４記載の発明によれば、第２画像上で、第２画像よりも前に撮像された第１画像上で検出した物体の特徴パターンと類似する特徴パターンを有する物体を検出し、第２画像上で検出した物体の特徴のパターンの一部が第２画像に含まれない場合、第２画像上で検出した物体を、継続的に検出する対象から除外するため、効率良く処理負荷を軽減させることができる。

請求項５記載の発明によれば、第２画像上で検出した物体のサイズが、第１画像上で検出した物体のサイズに比して所定程度以上大きい、または所定程度以上小さい場合に、第２画像上で検出した物体を、継続的に検出する対象から除外するため、効率良く処理負荷を軽減させることができる。

請求項６記載の発明によれば、第２画像上で検出した物体のサイズと物体の距離から推定される空間上の大きさが、第１画像上で検出した物体のサイズと物体の距離から推定される空間上の大きさに比して所定程度以上大きい、または所定程度以上小さい場合に、前第２画像上で検出した物体を、継続的に検出する対象から除外するため、効率良く処理負荷を軽減させることができる。

請求項７記載の発明によれば、第２画像上で検出した物体が、車両から所定距離以上遠い位置にある場合、第２画像上で検出した物体を、継続的に検出する対象から除外するため、効率良く処理負荷を軽減させることができる。

請求項８記載の発明によれば、検出し複数の物体のうち、所定の属性を持つ物体の将来位置の周辺を、所定の属性を持たない物体の将来位置の周辺よりも優先して探索するため、効率良く処理負荷を軽減させることができる。

第１の実施形態における物体認識装置１００の構成の一例を示す図である。 探索領域Ｒおよび候補枠ｒが設定された撮像画像ＩＭ_ｋの一例を示す図である。 自車両Ｍから物体検出部１１４により検出された物体までの距離Ｄの算出方法を説明するための図である。 探索対象物の将来位置が予測される様子を模式的に示す図である。 探索領域Ｒおよび候補枠ｒが設定された撮像画像ＩＭ_ｋ＋１の一例を示す図である。 探索領域Ｒを選択する際の優先順位の一例を模式的に示す図である。 探索領域Ｒを選択する際の優先順位の他の例を模式的に示す図である。 重複させて設定した候補枠ｒの一例を示す図である。 制御部１１０による一連の処理の流れを示すフローチャートである。 撮像画像ＩＭ_ｋ＋１における除外対象物の一例を示す図である。 撮像画像ＩＭ_ｋ＋１における除外対象物の他の例を示す図である。 撮像画像ＩＭ_ｋ＋１における除外対象物の他の例を示す図である。 第２の実施形態における物体認識装置１００Ａの構成の一例を示す図である。 撮像画像ＩＭ_ｋ＋１上で検出された探索対象物に属性が付与された様子を模式的に示す図である。

以下、図面を参照し、本発明の物体認識装置、物体認識方法、および物体認識プログラムの実施形態について説明する。

＜第１の実施形態＞
図１は、第１の実施形態における物体認識装置１００の構成の一例を示す図である。本実施形態における物体認識装置１００は車両（以下、自車両Ｍと称する）に搭載される。物体認識装置１００は、例えば、カメラ１０２と、制御部１１０と、記憶部１５０とを備える。物体認識装置１００は、例えば、一以上のプロセッサまたは同等の機能を有するハードウェアにより実現される。物体認識装置１００は、ＣＰＵ（Central Processing Unit）などのプロセッサ、記憶装置、および通信インターフェースが内部バスによって接続されたＥＣＵ（Electronic Control Unit）、或いはＭＰＵ（Micro-Processing Unit）などが組み合わされた構成であってよい。また、物体認識装置１００は、複数のコンピュータ装置によって分散化されたものであってもよい。

カメラ１０２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０２は、例えば、車室内のフロントウインドシールド上部やルームミラー裏面等に設けられる。カメラ１０２は、例えば、周期的に繰り返し自車両Ｍの前方を撮像する。カメラ１０２は、複数のカメラを含むステレオカメラであってもよい。以下、カメラ１０２により撮像された画像を、撮像画像ＩＭと称して説明する。

制御部１１０は、例えば、画像取得部１１１と、特徴抽出部１１２と、探索領域設定部１１３と、物体検出部１１４と、距離算出部１１５と、予測部１１６とを備える。これらの構成要素は、プロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。

記憶部１５０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等で実現される。プロセッサが実行するプログラムは、予め記憶部１５０に格納されていてもよいし、車載インターネット設備等を介して外部装置からダウンロードされてもよい。また、プログラムは、そのプログラムを格納した可搬型記憶媒体が図示しないドライブ装置に装着されることで記憶部１５０にインストールされてもよい。記憶部１５０には、例えば、撮像画像ＩＭや探索対象用マッチングデータＭＤなどの情報が格納される。

画像取得部１１１は、カメラ１０２から撮像画像ＩＭを取得し、当該撮像画像ＩＭを記憶部１５０に記憶させる。撮像画像ＩＭは、例えば、カラー画像であってもよいし、グレースケールの画像（輝度画像）であってもよい。また、撮像画像ＩＭは、時系列の複数の画像の集合（すなわち動画）であってもよい。以下、撮像画像ＩＭが動画であるものとして説明し、その動画内の任意の一画像（フレーム）を撮像画像ＩＭ_ｋ（ｋは任意の自然数）と称して説明する。撮像画像ＩＭ_ｋは、「第１画像」の一例である。

なお、画像取得部１１１は、自車両Ｍに搭載されたカメラ１０２から撮像画像ＩＭを取得する代わりに、道路脇や道路上方に設置された外部カメラと無線通信することにより、外部カメラにより撮像された撮像画像を取得してもよい。無線通信は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用することで行われてよい。この場合、特許請求の範囲におけるカメラは、自車両Ｍに搭載されたカメラ１０２に加えて（或いは代えて）、道路脇や道路上方に設置された外部カメラを含んでもよい。

特徴抽出部１１２は、画像取得部１１１により取得された撮像画像ＩＭ_ｋから特徴箇所を抽出する。特徴箇所とは、エッジすなわち周辺画素との輝度差や色彩パラメータの差が基準よりも大きい特徴点、あるいは、同等の性質を有する画素群である。例えば、特徴抽出部１１２は、撮像画像ＩＭ_ｋを二値化して、画素の輝度勾配に基づいて特徴箇所を抽出する。

探索領域設定部１１３は、各撮像画像において、画像領域を所定数に分割する探索領域Ｒを設定する。探索領域Ｒは、例えば、撮像画像ＩＭ_ｋをｎ等分に分割するように略均等の領域面積で設定される。そして、探索領域設定部１１３は、ｎ個の探索領域Ｒの中から、所定の優先順位に基づいて一つの探索領域Ｒを選択し、選択した探索領域Ｒ内に候補枠ｒを設定する。なお、探索領域設定部１１３は、各撮像画像において、後述する探索対象物の将来位置を基準とした周辺領域に、略均等な領域面積で探索領域Ｒを設定してもよい。

物体検出部１１４は、撮像画像ＩＭ_ｋにおいて抽出された特徴箇所に基づいて所望の探索対象物（例えば歩行者や自転車など）を検出する。例えば、物体検出部１１４は、初回処理時に、撮像画像ＩＭ_ｋ全体に対してラスタスキャンを行って、所望の探索対象物の特徴箇所と類似する特徴箇所を有する領域を探すことで、所望の探索対象物を検出する。所望の探索対象物の特徴箇所と類似する特徴箇所を有する領域を探索する際には、探索対象用マッチングデータＭＤが参照される。探索対象用マッチングデータＭＤは、所望の探索対象物の代表的な特徴箇所を含む形状データである。例えば、探索対象物が人間である場合、探索対象用マッチングデータＭＤは、人間の身体の一部（例えば、頭、肩、手、足、目、鼻、口など）または全部の輪郭あるいは稜線などを示す形状モデルデータを含む。物体検出部１１４は、探索対象用マッチングデータＭＤ内に形状データとして含まれる特徴箇所と、撮像画像ＩＭ_ｋの特徴箇所とのパターンマッチングを行って、ある一定以上の割合で類似する特徴箇所のパターンを有する物体を、所望の探索対象物として検出する。

また、物体検出部１１４は、探索処理の二回目以降において、探索領域設定部１１３により選択された探索領域Ｒ内においてラスタスキャンを行って、所望の探索対象物の特徴箇所と類似する特徴箇所を有する領域を探索することで、所望の探索対象物を検出する。物体検出部１１４により検出された探索対象物に関する情報（例えば位置やその大きさなどの情報）は、例えば、自動ブレーキ装置、歩行者接近警報装置などに利用されてよい。

距離算出部１１５は、自車両Ｍから、物体検出部１１４により検出された物体（所望の探索対象物）までの実空間上の距離Ｄを算出する。以下、図を用いて距離Ｄの算出方法について説明する。

図２は、探索領域Ｒおよび候補枠ｒが設定された撮像画像ＩＭ_ｋの一例を示す図である。図示の撮像画像ＩＭ_ｋは、左側通行時の状況を表している。図中Ｘ軸は、水平方向を表し、Ｙ軸は、鉛直下向きを正とした鉛直方向を表している。また、点Ｐ_ｋ（ｘ_ｋ，ｙ_ｋ）は、候補枠ｒの基準位置（例えば重心）を表している。また、探索領域ＲのＹ軸方向の大きさをＷｙと表し、Ｘ軸方向の大きさをＷ_ｘと表している。図示の例では、２５個の探索領域Ｒが設定されている。

例えば、距離算出部１１５は、撮像画像ＩＭ_ｋ内において、自車両Ｍが走行する車線を区画するレーンマーク（例えば白線など）を表す線ＬＮａ、ＬＮｂの交点から、無限遠点である消失点ＶＰの座標を導出する。距離算出部１１５は、撮像画像ＩＭ_ｋ内において、導出した消失点ＶＰを通ると共にＸ軸に平行する基準線と重なる画素と、候補枠ｒの最下点（Ｙ軸における最大値）の画素との差分Δｙを導出する。

そして、距離算出部１１５は、導出した差分Δｙと、カメラ１０２の設置位置と、カメラ１０２の焦点距離とに基づいて、自車両Ｍから物体検出部１１４により検出された物体までの距離Ｄを算出する。

図３は、自車両Ｍから物体検出部１１４により検出された物体までの距離Ｄの算出方法を説明するための図である。図中Ｈは、カメラ１０２の設置位置の高さを表し、ｆｏｃａｌはカメラ１０２の焦点距離をイメージセンサ（固体撮像素子）上の画素数で換算した値を表している。例えば、距離Ｄは、以下の数式（１）、（２）に基づき算出される。

予測部１１６は、物体検出部１１４により撮像画像ＩＭ_ｋ上で検出された探索対象物の将来位置を、撮像画像ＩＭ_ｋの次に撮像された撮像画像ＩＭ_ｋ＋１上で予測する。撮像画像ＩＭ_ｋ＋１は、「第２画像」の一例である。

図４は、探索対象物の将来位置が予測される様子を模式的に示す図である。図中Ｚ軸は、Ｘ−Ｙ平面に対して垂直方向、すなわち画像奥行き方向を表している。また、図中において、撮像画像ＩＭ_ｋ上で検出された物体の位置は、その物体の基準位置Ｐ_ｋ（ｘ_ｋ，ｙ_ｋ）で表され、撮像画像ＩＭ_ｋ＋１上で予測される探索対象物の将来位置はＰ_ｋ＋１（ｘ_ｋ＋１，ｙ_ｋ＋１）で表されている。

例えば、予測部１１６は、過去の撮像画像ＩＭ（例えば、撮像画像ＩＭ_ｋ−１、ＩＭ_ｋ−２など）において検出された物体の基準位置の時間的な推移に基づいて、物体の移動方向および速度を導出する。そして、予測部１１６は、物体の移動方向および速度と、カメラ１０２のフレームレートとに基づいて、撮像画像ＩＭ_ｋ上での探索対象物の位置Ｐ_ｋを基点に画像Ｙ軸方向における移動量とＸ軸方向における移動量を導出し、次の時刻の撮像画像ＩＭ_ｋ＋１上で探索対象物の将来位置Ｐ_ｋ＋１を決定する。

そして、上述した探索領域設定部１１３は、撮像画像ＩＭ_ｋ＋１において画素の領域をｎ等分する探索領域Ｒを設定すると共に、予測部１１６により予測された探索対象物の将来位置Ｐ_ｋ＋１を基準に一つの探索領域Ｒを選択する。

図５は、探索領域Ｒおよび候補枠ｒが設定された撮像画像ＩＭ_ｋ＋１の一例を示す図である。図示の例では、２５個の探索領域Ｒが設定されている。例えば、探索領域設定部１１３は、２５個の探索領域Ｒの中から、将来位置Ｐ_ｋ＋１を含む探索領域Ｒを選択する。そして、探索領域設定部１１３は、選択した探索領域Ｒに候補枠ｒを設定する。これを受けて、物体検出部１１４は、候補枠ｒ内で所望の探索対象物を検出する。このとき、図示のように、設定した候補枠ｒ内に探索対象物の全貌が収まらない場合、探索対象用マッチングデータＭＤに含まれる特徴箇所と、候補枠ｒに含まれる特徴箇所とのパターンの類似度が低下するため、所望の探索対象物が検出されない場合がある。この場合、探索領域設定部１１３は、選択した探索領域Ｒ内を走査するように位置をずらしながら候補枠ｒを再設定する。選択した探索領域Ｒ内において所望の探索対象物が検出されない場合、探索領域設定部１１３は、所定の優先順位に基づいて他の探索領域Ｒを再選択する。

図６は、探索領域Ｒを選択する際の優先順位の一例を模式的に示す図である。将来位置Ｐ_ｋ＋１（ｘ_ｋ＋１，ｙ_ｋ＋１）を含む探索領域Ｒの中心座標（Ｘ_０，Ｙ_０）としたときに、当該探索領域Ｒ（Ｘ_０，Ｙ_０）は、最も優先順位が高く設定される。２番目に優先順位が高い領域は、探索領域Ｒ（Ｘ_０，Ｙ_０）から、画像Ｘ軸のマイナス方向に探索領域Ｒの大きさから決定される幅Ｗ_ｘ分シフトした座標（Ｘ_０−Ｗ_ｘ，Ｙ_０）を、探索領域Ｒの中心座標とする領域である。３番目に優先順位が高い領域は、探索領域Ｒ（Ｘ_０，Ｙ_０）から、画像Ｘ軸のプラス方向に探索領域Ｒの幅Ｗ_ｘ分シフトした座標（Ｘ_０＋Ｗ_ｘ，Ｙ_０）を、探索領域Ｒの中心座標とする領域である。４番目に優先順位が高い領域は、探索領域Ｒ（Ｘ_０，Ｙ_０）から、画像Ｙ軸のマイナス方向に探索領域Ｒの長さＷ_ｙ分シフトした座標（Ｘ_０，Ｙ_０−Ｗ_ｙ）を、探索領域Ｒの中心座標とする領域である。５番目に優先順位が高い探索領域Ｒは、４番目に優先順位が高い探索領域Ｒの画像左隣の領域であり、６番目に優先順位が高い探索領域Ｒは、４番目に優先順位が高い探索領域Ｒの画像右隣の領域である。７番目に優先順位が高い探索領域Ｒは、探索領域Ｒ（Ｘ_０，Ｙ_０）から、画像Ｙ軸のプラス方向に探索領域Ｒの長さＷ_ｙ分シフトした座標（Ｘ_０，Ｙ_０＋Ｗ_ｙ）を、探索領域Ｒの中心座標とする領域である。８番目に優先順位が高い探索領域Ｒは、７番目に優先順位が高い探索領域Ｒの画像左隣の領域であり、９番目に優先順位が高い探索領域Ｒは、７番目に優先順位が高い探索領域Ｒの画像右隣の領域である。

このように、探索領域Ｒを再選択する場合、一つ前に設定された探索領域Ｒの左側の領域の方が、右側の領域と比べて優先的に選択される。例えば、車道が左側通行の場合、走行車線の左側の領域は歩道や自転車専用レーンである場合が多い。この場合、走行車線の左側から走行車線に向けて歩行者などが飛び出してくることが想定されるため、撮像画像ＩＭ_ｋの左側の領域を注視する必要がある。飛び出してくる歩行者を各撮像画像ＩＭ_ｋ＋１で捉える際に、歩行者の将来位置Ｐ_ｋ＋１の右側の領域を優先して探索した場合、将来位置が画像上の左に存在する場合において、将来位置の右側を優先した結果、右側で誤検知してしまうと、歩行者接近警報装置による警報の出力制御や、自動ブレーキ装置による走行制御を過剰作動させてしまう可能性があるため商品性が悪化する場合がある。

これに対して、本実施形態では、将来位置の左側を優先することで右側（自車に近い側）で誤検知される可能性を低くすることができるため、上記したような過剰作動を抑制することができる。尚、左側において誤検知する場合も考えられるが、その場合は自車両から遠い側で誤検知されることとなるため、右側で誤検知される場合に比べて過剰作動が抑制される。

また、本実施形態では、画像の奥行方向について、将来位置Ｐ_ｋ＋１の手前側（自車両Ｍに近い側）に比べて奥側（自車両Ｍから遠い側）の探索領域Ｒを優先して選択するため、将来位置が画像上の上方（将来位置Ｐ_ｋ＋１から見て奥行き側）に存在する場合において、将来位置の上側を優先することで上側で誤検知される可能性を低くすることができる。この結果、上記したような警報や走行制御などの過剰作動を抑制することができる。

なお、上述した例では、車道が左側通行時である場合の探索領域Ｒの優先順位について説明したが、車道が右側通行である場合、注視すべき領域が左側通行時と異なるため、適宜優先順位を変更してよい。図７は、探索領域Ｒを選択する際の優先順位の他の例を模式的に示す図である。図示の例では、右側通行時に選択される探索領域Ｒの優先順位について示している。右側通行の場合、注視すべき領域は将来位置Ｐ_ｋ＋１の右側の領域となるため、将来位置Ｐ_ｋ＋１の右側の探索領域Ｒがより優先して選択される。なお、画像奥行き方向の優先順位については、左側通行時と同様に、将来位置Ｐ_ｋ＋１の手前側に比べて奥側の領域の方がより優先度が高く設定される。

また、探索領域設定部１１３は、選択した探索領域Ｒ内において候補枠ｒを設定する際に、隣り合う候補枠ｒと重複させて設定してもよい。図８は、重複させて設定した候補枠ｒの一例を示す図である。なお、図示の例では、画像水平方向についてのみ候補枠ｒを重複させたがこれに限られず、画像奥行き方向についても候補枠ｒを重複させてもよい。また、画像上方（奥側）に設定された探索領域Ｒ内に設定する候補枠ｒほどその枠の領域を奥行き方向および水平方向に関して小さくし、画像下方（手前側）に設定された探索領域Ｒ内に設定する候補枠ｒほどその枠の領域を奥行き方向および水平方向に関して大きくしてもよい。また、図示の例では、画像奥行き方向および水平方向の双方に関して候補枠ｒの大きさを変更しているがこれに限られず、いずれか一方の方向に関してのみ候補枠ｒの大きさを変更してもよい。

以下、制御部１１０による一連の処理についてフローチャートを用いて説明する。図９は、制御部１１０による一連の処理の流れを示すフローチャートである。本フローチャートでは、物体検出部１１４により撮像画像ＩＭ_ｋ上において探索対象物が既に検出されているものとして説明する。

まず、距離算出部１１５は、撮像画像ＩＭ_ｋ上において、自車両Ｍから探索対象物までの距離Ｄを算出することにより、探索対象物の位置Ｐ_ｋを特定する（ステップＳ１００）。

次に、予測部１１６は、物体検出部１１４により撮像画像ＩＭ_ｋ上で検出された探索対象物の将来位置Ｐ_ｋ＋１を、撮像画像ＩＭ_ｋの次に撮像された撮像画像ＩＭ_ｋ＋１上で予測する（ステップＳ１０２）。

次に、探索領域設定部１１３は、自車両Ｍの速度と、距離算出部１１５により撮像画像ＩＭ_ｋ上において算出された自車両Ｍから探索対象物までの距離Ｄとに基づいて、自車両Ｍが探索対象物に到達するまでに残された残存処理時間を導出する（ステップＳ１０４）。例えば、探索領域設定部１１３は、自車両Ｍの速度と探索対象物の速度とを一定として、残存処理時間を導出する。

次に、探索領域設定部１１３は、導出した残存処理時間に応じて、探索制限回数を設定する（ステップＳ１０６）。探索制限回数とは、選択した探索領域Ｒ内において探索対象物が検出されずに他の探索領域Ｒを再選択する処理を繰り返す際に、その繰り返し回数に制限を設けるための設定値である。例えば、探索制限回数は、上述した残存処理時間を、探索領域Ｒごとに探索対象物を検出するのに要する時間（探索時間）で除算することで導出される。探索時間は、過去の検出において実際に要した時間の平均時間であってもよいし、プロセッサの処理能力などに基づいて推定される時間であってもよい。

次に、探索領域設定部１１３は、撮像画像ＩＭ_ｋ＋１において、複数の探索領域Ｒを設定すると共に、所定の優先順位に基づいて、複数の探索領域Ｒの中から、予測部１１６により予測された探索対象物の将来位置Ｐ_ｋ＋１を基準に一つの探索領域Ｒを選択する（ステップＳ１０８）。

次に、探索領域設定部１１３は、Ｓ１０８の処理で選択した探索領域Ｒから、物体検出部１１４が探索対象物を検出したか否かを判定する（ステップＳ１１０）。物体検出部１１４が探索対象物を検出した場合、本フローチャートの処理は終了する。これによって、探索対象物が検出された撮像画像ＩＭ_ｋ＋１を撮像画像ＩＭ_ｋとして扱うことで、上述したＳ１００から処理が繰り返される。

一方、物体検出部１１４が探索対象物を検出しない場合、探索領域設定部１１３は、探索領域Ｒの選択回数がＳ１０６の処理で設定した探索制限回数に達したか否かを判定する（ステップＳ１１２）。探索領域Ｒの選択回数が探索制限回数に達した場合、本フローチャートの処理は終了する。

一方、探索領域Ｒの選択回数が探索制限回数に達していない場合、探索領域設定部１１３は、前回選択した探索領域Ｒの優先順位の次に優先順位が高い探索領域Ｒを選択し（ステップＳ１１４）、上述したＳ１１０に処理を移す。これによって、物体認識装置１００は、探索領域Ｒの選択回数が探索制限回数に達するまでの間、探索領域Ｒを変更しながら探索対象物を探索する。これによって、本フローチャートの処理が終了する。

なお、上述したフローチャートの処理の開始前に、探索対象用マッチングデータＭＤに含まれる特徴箇所のパターンと類似する特徴箇所のパターンが撮像画像ＩＭ_ｋ上で複数抽出された場合、次の時刻の撮像画像ＩＭ_ｋ＋１上で継続して検出する探索対象物の候補が複数存在することになる。この場合、探索領域設定部１１３は、撮像画像ＩＭ_ｋ＋１上の複数の探索対象物の候補から、所定の条件に合致する探索対象物を、継続して検出しない対象物（以下、除外対象物と称する）として除外してよい。以下、除外対象物について図を用いて例示する。

図１０は、撮像画像ＩＭ_ｋ＋１における除外対象物の一例を示す図である。図示のように、撮像画像ＩＭ_ｋ＋１上の探索対象物の特徴箇所のパターンの一部（例えば輪郭の一部）が撮像画像ＩＭ_ｋ＋１に含まれずにはみ出た場合、探索領域設定部１１３は、撮像画像ＩＭ_ｋ＋１から特徴箇所のパターンの一部がはみ出た探索対象物を除外対象物として扱い、この検索対象物を将来位置Ｐ_ｋ＋１の予測対象から除外してよい。

図１１は、撮像画像ＩＭ_ｋ＋１における除外対象物の他の例を示す図である。図示のように、例えば、撮像画像ＩＭ_ｋ＋１上の探索対象物の特徴箇所のパターンから認識される物体のサイズが過去の撮像画像ＩＭ_ｋ上で検出した探索対象物のサイズに比して所定程度以上大きい、または所定程度以上小さい場合に、当該探索対象物を除外対象物として扱ってよい。ここでいう探索対象物のサイズとは、撮像画像ＩＭ_ｋ、ＩＭ_ｋ＋１上での探索対象物のサイズ（探索対象物を示す画素の面積）であってもよいし、各画像における探索対象物のサイズ（画素の面積）と探索対象物までの距離Ｄとに基づいて推定可能な探索対象物の実空間上でのサイズであってもよい。例えば、撮像画像ＩＭ_ｋ＋１上で検出した歩行者のサイズを実空間上でのサイズに変換した場合に、歩行者のサイズが３［ｍ］以上であるなど、撮像画像ＩＭ_ｋ上で検出した歩行者のサイズよりも著しく大きい場合（例えば過去に検出した探索対象物のサイズから想定しえない大きさの場合）に、探索領域設定部１１３は、当該歩行者を除外対象物として扱う。

図１２は、撮像画像ＩＭ_ｋ＋１における除外対象物の他の例を示す図である。図（ａ）の例では、撮像画像ＩＭ_ｋ＋１上で二つの探索対象物が検出されている。これらの探索対象物の実空間上における位置をそれぞれＰ_１、Ｐ_２とする。また、図（ｂ）に示すように、位置Ｐ_１については、自車両Ｍからの距離Ｄ_１が所定距離Ｄ_ｔｈ未満であり、位置Ｐ_２については、自車両Ｍからの距離Ｄ_２が所定距離Ｄ_ｔｈ以上とする。所定距離Ｄ_ｔｈは、例えば、カメラ１０２の検出範囲の限界付近の距離や検出範囲の半分程度の距離であってよい。この場合、探索領域設定部１１３は、自車両Ｍからの距離Ｄ_２が所定距離Ｄ_ｔｈ以上となる位置Ｐ_２に存在する探索対象物を除外対象物として扱ってよい。

このように、撮像画像ＩＭ_ｋ＋１上で複数の探索対象物が検出された場合、複数の探索対象物の中から除外対象物を除外することで処理負荷を軽減させることができる。

以上説明した第１の実施形態における物体認識装置１００によれば、過去に検出した物体を継続的に検出する場合、予測した物体の将来位置の周辺にある複数の探索領域Ｒを、所定の優先順位に基づいて順に探索することで、過去に検出した物体を自車両Ｍの周辺において再度検出するため、誤検出が生じる可能性を低下させることができる。この結果、警報や走行制御などの各種制御を過剰作動させてしまうのを抑制することができる。

また、上述した第１の実施形態における物体認識装置１００によれば、複数の探索領域Ｒの中から、自車両Ｍからみて遠い側（画像の左側や画像の奥側）の探索領域Ｒを優先的に選択することにより、誤検出が生じる可能性を更に低下させることができ、各種制御を過剰作動させてしまうのを更に抑制することができる。

また、上述した第１の実施形態における物体認識装置１００によれば、撮像画像ＩＭ_ｋ＋１上で、撮像画像ＩＭ_ｋ＋１よりも前に撮像された撮像画像ＩＭ_ｋ上で検出した物体の特徴パターンと類似する特徴パターンに基づいて物体を検出し、撮像画像ＩＭ_ｋ＋１上で検出した物体の特徴パターンの一部が撮像画像ＩＭ_ｋ＋１上に含まれない場合、撮像画像ＩＭ_ｋ＋１上で検出した物体を、継続的に検出する対象から除外するため、効率良く処理負荷を軽減させることができる。

また、上述した第１の実施形態における物体認識装置１００によれば、撮像画像ＩＭ_ｋ上で検出した物体の特徴と類似する特徴に基づいて撮像画像ＩＭ_ｋ＋１上で検出した物体のサイズが、撮像画像ＩＭ_ｋ上で検出した物体のサイズに比して所定程度以上大きい、または所定程度以上小さい場合に、撮像画像ＩＭ_ｋ＋１上で検出した物体を、継続的に検出する対象から除外するため、効率良く処理負荷を軽減させることができる。

また、上述した第１の実施形態における物体認識装置１００によれば、撮像画像ＩＭ_ｋ上で検出した物体の特徴と類似する特徴に基づいて撮像画像ＩＭ_ｋ＋１上で検出した物体が、自車両Ｍから所定距離Ｄ_ｔｈ以上遠い位置にある場合、撮像画像ＩＭ_ｋ＋１上で検出した物体を、継続的に検出する対象から除外するため、効率良く処理負荷を軽減させることができる。

＜第２の実施形態＞
以下、第２の実施形態について説明する。第２の実施形態では、物体認識装置１００Ａは、検出した探索対象物に対して、その対象物の属性を示す情報を対応付けることで、一度検出した探索対象物を継続して検出し続ける場合に、探索対象物の属性に基づいて検出の優先度を決定する点で第１の実施形態と相違する。対象物の属性とは、例えば、対象物が歩行者であれば大人や子供といった情報であり、対象物が車両であれば自動車や自転車といった情報である。以下、第１の実施形態との相違点を中心に説明し、第１の実施形態と共通する機能等についての説明は省略する。

図１３は、第２の実施形態における物体認識装置１００Ａの構成の一例を示す図である。第２の実施形態における物体認識装置１００Ａの制御部１１０は、上述した第１の実施形態における構成に加え、更に属性付与部１１７を備える。また、記憶部１５０は、探索対象用マッチングデータＭＤがより細分化されたデータを記憶する。例えば、記憶部１５０は、大人用マッチングデータＭＤａと、子供用マッチングデータＭＤｂと、自転車用マッチングデータＭＤｃと、自動車用マッチングデータＭＤｄとを記憶する。

大人用マッチングデータＭＤａは、例えば、成人男性あるいは女性の平均的な身体の形状モデルデータを含む。また、子供用マッチングデータＭＤｂは、例えば、成人未満の男性あるいは女性の平均的な身体の形状モデルデータを含む。自転車用マッチングデータＭＤｃは、自転車の形状モデルデータを含む。自動車用マッチングデータＭＤｄは、自動車の形状モデルデータを含む。

第２の実施形態における物体検出部１１４は、各マッチングデータ内の形状データとして含まれる特徴箇所と、撮像画像ＩＭ_ｋの特徴箇所とのマッチングを行って、最も相関の高いマッチングデータによって示される物体を、所望の探索対象物として検出する。

属性付与部１１７は、物体検出部１１４により検出された探索対象物に対して、その対象物の属性を示す情報を付与する。例えば、物体検出部１１４により検出された探索対象物が自転車である場合、当該探索対象物に「自転車」という属性を付与する。

第２の実施形態における探索領域設定部１１３は、属性付与部１１７により属性が付与された複数の探索対象物のうち、所定の属性が付与された探索対象物の将来位置Ｐ_ｋ＋１の周辺を、所定の属性以外の属性が付与された探索対象物の将来位置Ｐ_ｋ＋１の周辺よりも優先して探索する。所定の属性は、例えば、「大人」や「自動車」などと比べてより警戒すべき対象物である「子供」や「自転車」などの属性である。また、所定の属性は、例えば、「横断歩行中」のように、その探索対象物の状態を示す情報であってもよい。

図１４は、撮像画像ＩＭ_ｋ＋１上で検出された探索対象物に属性が付与された様子を模式的に示す図である。図中Ｐ_３の予測位置に存在する探索対象物には、「大人」の属性が付与され、Ｐ_４の予測位置に存在する探索対象物には、「子供」の属性が付与されている。この場合、探索領域設定部１１３は、「子供」の属性が付与された探索対象物の予測位置Ｐ_４の周辺に設定された探索領域Ｒを優先的に選択する。

以上説明した第２の実施形態における物体認識装置１００Ａによれば、複数の探索対象物を検出した場合に、複数の探索対象物のうち、所定の属性が付与された探索対象物の将来位置の周辺に設定された探索領域Ｒを優先的に選択することにより、各種制御を過剰作動させてしまうのを抑制することができると共に、効率良く処理負荷を軽減させることができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１００…物体認識装置、１０２…カメラ、１１０…制御部、１１１…画像取得部、１１２…特徴抽出部、１１３…探索領域設定部、１１４…物体検出部、１１５…距離算出部、１１６…予測部、１５０…記憶部、ＩＭ…撮像画像、ＭＤ…探索対象用マッチングデータ、Ｒ…探索領域、ｒ…候補枠

Claims (10)

1. 車両の周辺の物体を検出する検出部と、
   前記検出部により検出された物体の将来位置を予測する予測部と、を備え、
   前記検出部は、過去に検出した物体を継続的に検出する場合、前記予測部により予測された前記物体の将来位置の周辺にある複数の探索領域を、所定の優先順位に基づいて順に探索することで、過去に検出した物体を前記車両の周辺において検出する、
   物体認識装置。
2. 前記検出部は、過去に検出した物体を継続的に検出する場合、前記複数の探索領域のうち、前記車両からみて遠い側の領域を優先して探索する、
   請求項１に記載の物体認識装置。
3. 前記検出部は、
   前記車両の周辺を撮像するカメラを含み、
   前記カメラにより撮像された画像から物体の特徴を抽出し、
   前記抽出した特徴に基づいて物体を検出し、
   前記予測部は、
   前記カメラにより撮像された画像のうち、第１画像上で前記検出部により検出された物体の将来位置を、前記第１画像よりも後に撮像された第２画像上で予測し、
   前記検出部は、過去に検出した物体を継続的に検出する場合、
   前記第２画像上で、前記予測部により予測された前記物体の将来位置の周辺に前記複数の探索領域を設定する、
   請求項１または２に記載の物体認識装置。
4. 前記検出部は、過去に検出した物体を継続的に検出する場合、
   前記第２画像上で、前記第１画像上で検出した物体の特徴のパターンと類似する特徴のパターンを有するか否かに基づいて物体を検出し、
   前記特徴のパターンの類似性に基づいて前記第２画像上で検出した物体の特徴のパターンの一部が前記第２画像に含まれない場合、前記第２画像上で検出した物体を、継続的に検出する対象から除外する、
   請求項３に記載の物体認識装置。
5. 前記検出部は、過去に検出した物体を継続的に検出する場合、
   前記第２画像上で検出した物体のサイズが、前記第１画像上で検出した物体のサイズに比して所定程度以上大きい、または所定程度以上小さい場合に、前記第２画像上で検出した物体を、継続的に検出する対象から除外する、
   請求項３または４に記載の物体認識装置。
6. 前記検出部は、過去に検出した物体を継続的に検出する場合、
   前記第２画像上で検出した物体のサイズと物体の距離から推定される空間上の大きさが、前記第１画像上で検出した物体のサイズと物体の距離から推定される空間上の大きさに比して所定程度以上大きい、または所定程度以上小さい場合に、前記第２画像上で検出した物体を、継続的に検出する対象から除外する、
   請求項３または４に記載の物体認識装置。
7. 前記検出部は、過去に検出した物体を継続的に検出する場合、
   前記第２画像上で検出した物体が、前記車両から所定距離以上遠い位置にある場合、前記第２画像上で検出した物体を、継続的に検出する対象から除外する、
   請求項３から６のうちいずれか１項に記載の物体認識装置。
8. 前記検出部は、前記車両の周辺の複数の物体を検出し、
   前記予測部は、前記検出部により検出された各物体の将来位置を予測し、
   前記検出部は、前記検出部により検出された複数の物体のうち、所定の属性を持つ物体の将来位置の周辺を、前記所定の属性を持たない物体の将来位置の周辺よりも優先して探索する、
   請求項１から７のうちいずれか１項に記載の物体認識装置。
9. 車載コンピュータが、
   車両の周辺の物体を検出し、
   前記検出した物体の将来位置を予測し、
   過去に検出した物体を継続的に検出する場合、前記予測した前記物体の将来位置の周辺にある複数の探索領域を、所定の優先順位に基づいて順に探索することで、過去に検出した物体を前記車両の周辺において検出する、
   物体認識方法。
10. 車載コンピュータに、
    車両の周辺の物体を検出させ、
    前記検出させた物体の将来位置を予測させ、
    過去に検出させた物体を継続的に検出させる場合、前記予測させた前記物体の将来位置の周辺にある複数の探索領域を、所定の優先順位に基づいて順に探索させることで、過去に検出させた物体を前記車両の周辺において検出させる、
    物体認識プログラム。

Images