JP2019148593A - 物標認識システム、物標認識方法、およびプログラム - Google Patents

Abstract

【課題】処理速度を向上させつつ、物標の認識精度を向上させることができる物標認識システム、物標認識方法、およびプログラムを提供することを目的の一つとする。【解決手段】物標認識システムは、周辺を認識する第１認識装置と、前記第１認識装置とは異なる周辺を認識する第２認識装置と、第１認識装置により認識された物標と、第２認識装置により認識された物標とが同一の物標である場合、同一の物標であると判定した物標同士を互いに対応付ける対応付処理部と、対応付けられた物標の将来の位置を予測する予測部と、予測部による予測結果と、第１認識装置および第２認識装置による認識結果とに基づいて、第１認識装置または第２認識装置の状態が所定状態であるか否かを判定する判定部とを備える。【選択図】図１

Description

本発明は、物標認識システム、物標認識方法、およびプログラムに関する。

従来、自車両の前方に存在する物体を認識する技術が知られている（例えば、特許文献１参照）。

特開平７−１８２４８４号公報

しかしながら、従来の技術では、物体を誤って認識することについて十分に検討されていなかった。その結果、物体を精度良く認識できない場合があった。

本発明は、このような事情を考慮してなされたものであり、処理速度を向上させつつ、物標の認識精度を向上させることができる物標認識システム、物標認識方法、およびプログラムを提供することを目的の一つとする。

（１）：周辺を認識する第１認識装置と、前記第１認識装置とは異なる周辺を認識する第２認識装置と、前記第１認識装置により認識された物標と、前記第２認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付ける対応付処理部と、前記対応付処理部により対応付けられた物標の将来の位置を予測する予測部と、前記予測部による予測結果と、前記第１認識装置および前記第２認識装置による認識結果とに基づいて、前記第１認識装置または前記第２認識装置の状態が所定状態であるか否かを判定する判定部と、を備える物標認識システムである。

（２）：（１）に記載の物標認識システムにおいて、前記判定部が、前記第１認識装置および前記第２認識装置による認識結果と、前記予測部による予測結果とが一致するか否かを判定し、前記第１認識装置または前記第２認識装置のいずれかの認識結果と、前記予測部の予測結果とが一致しない場合、前記予測部の予測結果と一致しない方の認識装置が所定状態であると判定するものである。

（３）：（１）または（２）に記載の物標認識システムにおいて、第１タイミングにおける前記予測部の予測結果と、前記第１タイミングよりも後の第２タイミングにおける前記第１認識装置および前記第２認識装置の認識結果とに基づいて、前記第２タイミングで認識された物標の位置を導出する導出部と、前記判定部による判定結果に応じて、前記導出部による導出結果を記憶部に記憶させる情報管理部と、を更に備え、前記予測部が、前記情報管理部が前記記憶部に記憶させた情報に基づいて、前記第２タイミングで認識された物標の将来の位置を予測するものである。

（４）：（１）から（３）のうちいずれか１つに記載の物標認識システムにおいて、前記判定部により、前記第１認識装置または前記第２認識装置が所定状態であると判定された場合、前記所定状態でない認識装置により認識された物標の位置に基づいて物標の位置を認識するものである。

（５）：（１）から（４）のうちいずれか１つに記載の物標認識システムにおいて、前記第１認識装置が、カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記対応付処理部に出力するものである。

（６）：（１）から（５）のうちいずれか１つに記載の物標認識システムにおいて、前記第２認識装置が、カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記対応付処理部に出力するものである。

（７）：周辺を認識する第１認識装置と、前記第１認識装置とは異なる周辺を認識する第２認識装置と、前記第１認識装置により認識された物標と、前記第２認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付ける対応付処理部と、前記対応付処理部により対応付けられた物標の将来の速度を予測する予測部と、前記予測部による予測結果と、前記第１認識装置および前記第２認識装置による認識結果とに基づいて、前記第１認識装置または前記第２認識装置の状態が所定状態であるか否かを判定する判定部と、を備える物標認識システムである。

（８）：（７）に記載の物標認識システムにおいて、前記判定部が、前記第１認識装置および前記第２認識装置による認識結果と、前記予測部による予測結果とが一致するか否かを判定し、前記第１認識装置または前記第２認識装置のいずれかの認識結果と、前記予測部の予測結果とが一致しない場合、前記予測部の予測結果と一致しない方の認識装置が所定状態であると判定するものである。

（９）：（７）または（８）に記載の物標認識システムにおいて、第１タイミングにおける前記予測部の予測結果と、前記第１タイミングよりも後の第２タイミングにおける前記第１認識装置および前記第２認識装置の認識結果とに基づいて、前記第２タイミングで認識された物標の速度を導出する導出部と、前記判定部による判定結果に応じて、前記導出部による導出結果を記憶部に記憶させる情報管理部と、を更に備え、前記予測部が、前記情報管理部が前記記憶部に記憶させた情報に基づいて、前記第２タイミングで認識された物標の将来の速度を予測するものである。

（１０）：（７）から（９）のうちいずれか１つに記載の物標認識システムにおいて、前記判定部により、前記第１認識装置または前記第２認識装置が所定状態であると判定された場合、前記所定状態でない認識装置により認識された物標の速度に基づいて物標の速度を認識するものである。

（１１）：（７）から（１０）のうちいずれか１つに記載の物標認識システムにおいて、前記第１認識装置が、カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記対応付処理部に出力するものである。

（１２）：（７）から（１１）のうちいずれか１つに記載の物標認識システムにおいて、前記第２認識装置が、カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記対応付処理部に出力するものである。

（１３）：周辺を認識する第１認識装置と、前記第１認識装置とは異なる周辺を認識する第２認識装置とを備える車両に搭載された車載コンピュータが、前記第１認識装置により認識された物標と、前記第２認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付け、前記対応付けた物標の将来の位置を予測し、前記予測の結果と、前記第１認識装置および前記第２認識装置による認識結果とに基づいて、前記第１認識装置または前記第２認識装置の状態が所定状態であるか否かを判定する物標認識方法である。

（１４）：周辺を認識する第１認識装置と、前記第１認識装置とは異なる周辺を認識する第２認識装置とを備える車両に搭載された車載コンピュータが、前記第１認識装置により認識された物標と、前記第２認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付け、前記対応付けた物標の将来の速度を予測し、前記予測の結果と、前記第１認識装置および前記第２認識装置による認識結果とに基づいて、前記第１認識装置または前記第２認識装置の状態が所定状態であるか否かを判定する物標認識方法である。

（１５）：周辺を認識する第１認識装置と、前記第１認識装置とは異なる周辺を認識する第２認識装置とを備える車両に搭載された車載コンピュータに、前記第１認識装置により認識された物標と、前記第２認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定させた物標同士を互いに対応付けさせ、前記対応付けさせた物標の将来の位置を予測させ、前記予測の結果と、前記第１認識装置および前記第２認識装置による認識結果とに基づいて、前記第１認識装置または前記第２認識装置の状態が所定状態であるか否かを判定させるプログラムである。

（１６）：周辺を認識する第１認識装置と、前記第１認識装置とは異なる周辺を認識する第２認識装置とを備える車両に搭載された車載コンピュータに、前記第１認識装置により認識された物標と、前記第２認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定させた物標同士を互いに対応付けさせ、前記対応付けさせた物標の将来の速度を予測させ、前記予測の結果と、前記第１認識装置および前記第２認識装置による認識結果とに基づいて、前記第１認識装置または前記第２認識装置の状態が所定状態であるか否かを判定させるプログラムである。

上記（１）、（２）、（７）、（８）、（１３）−（１６）によれば、認識された物標の将来の位置または速度を予測し、その予測結果と現時点での認識結果とに基づいて、各認識装置が所定状態であるか否かを判定することにより、処理速度を向上させつつ、物標の認識精度を向上させることができる。

上記（３）、（９）によれば、物標の速度または位置を導出する導出部と、導出部による導出結果を記憶部に記憶させる情報管理部と、を更に備え、予測部が、情報管理部が記憶部に記憶させた情報に基づいて物標の将来の位置または速度を予測するため、同一の物標であると物標を対応付ける作業と、過去から継続して認識した物標か、新規生成であるかを区別する作業を分けることで処理速度を低減させることができる。

上記（４）、（１０）によれば、第１認識装置または第２認識装置が所定状態であると判定された場合、所定状態でない認識装置の認識結果に基づいて物標の位置または速度を認識するため、天地方向にずれている場合には取付の軸ずれであるとして、軸を正しい値に補正してフュージョンすることで異常の以後も利用可能となる。

上記（５）、（１１）によれば、第１認識装置が、カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、カメラおよび画像認識部と、レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置または速度を対応付処理部に出力するため、内部で対応して有る程度精度のある情報で相互監視するので物標の認識精度を向上させることができる。

上記（６）、（１２）によれば、第２認識装置が、カメラおよび画像認識部と、物標に投射した光の物標による反射波に基づいて物標を認識するライダとを含み、カメラおよび画像認識部と、ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置または速度を対応付処理部に出力するため、内部で対応して有る程度精度のある情報で相互監視するので物標の認識精度を向上させることができる。

第１実施形態の物標認識システム１の構成図である。 物標認識システム１による一連の処理を示すフローチャートである。 認識装置が所定状態と判定される状況の一例を示す図である。 第１物標および第２物標が未認識物標と判定される状況の一例を示す図である。 第１物標および第２物標が認識済み物標と判定される状況の一例を示す図である。 第２実施形態の物標認識システム１Ａの構成図である。

以下、図面を参照し、本発明の物標認識システム、物標認識方法、およびプログラムの実施形態について説明する。

＜第１実施形態＞
［システム構成］
図１は、第１実施形態の物標認識システム１の構成図である。第１実施形態の物標認識システム１は、例えば、二輪や三輪、四輪等の車両（以下、自車両Ｍと称する）に搭載される。自車両Ｍは、例えば、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらを組み合わせた駆動源により駆動される。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

物標認識システム１は、例えば、第１認識装置１０と、第２認識装置２０と、車両センサ３０と、補正部４０と、第１処理部５０と、新規物標生成部６０と、第２処理部７０と、物標情報管理部８０と、時系列座標変換部９０と、記憶部９５と、第１分配器Ｄ１と、第２分配器Ｄ２と、第１バッファＢ１と、第２バッファＢ２とを備える。なお、物標認識システム１は、第１認識装置１０、第２認識装置２０、および車両センサ３０を含まない構成であってもよい。第１処理部５０は、「対応付処理部」の一例である。

第１認識装置１０、第２認識装置２０、車両センサ３０、および記憶部９５を除く上記の機能部は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサがプログラム（ソフトウェア）を実行することで実現される。また、これらの機能部の一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

記憶部９５は、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の記憶装置により実現される。記憶部９５には、例えば、プロセッサにより実行されるプログラムが格納される。

物標認識システム１に含まれる各種装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、プログラムによる機能部同士の情報伝達は、メモリの共有領域やレジスタに情報を書き込むことで行われる。

第１認識装置１０は、例えば、第１カメラ１２と、レーダ１４と、第１フュージョン処理部１６とを備える。第１カメラ１２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。第１カメラ１２は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。前方を撮像する場合、第１カメラ１２は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。第１カメラ１２は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。第１カメラ１２は、ステレオカメラであってもよい。

レーダ１４は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物標によって反射された電波（反射波）を検出して少なくとも物標の位置（距離および方位）を認識する。レーダ１４は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。レーダ１４は、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を認識してもよいし、認識した物標の位置の時間的変化に基づいて速度を認識してもよい。

第１フュージョン処理部１６は、画像認識部１６ａを含む。なお、画像認識部１６ａは、第１カメラ１２に付随する構成であってもよい。画像認識部１６ａは、第１カメラ１２の撮像画像を解析して物標の位置および速度を認識する。第１フュージョン処理部１６は、例えば、第１カメラ１２および物標認識部１６Ａと、レーダ１４とのそれぞれによる認識結果に対してセンサフュージョン処理を行って、物標の位置、速度、種類（例えば車両や歩行者、ガードレールといった種類）、遅延量などを導出する。物標の位置は、例えば、自車両Ｍが存在する実空間（幅・奥行き・高さを基底とする空間）に対応した空間（以下、仮想三次元空間と称する）における座標などで表現される。

また、第１フュージョン処理部１６は、位置や速度などの導出対象とした各物標に、物標同士を互いに識別するための物標ＩＤを付与する。そして、第１フュージョン処理部１６は、物標ＩＤに対応する各物標の位置、速度、種類、遅延量、認識時刻（センサフュージョン処理の実施時刻）などを含む情報（以下、第１物標情報と称する）を、補正部４０および第１分配器Ｄ１に出力し、更に、物標の速度の情報を第１処理部５０に出力する。以下、第１認識装置１０が一度に認識する物標が一つであるかのように説明するが、第１認識装置１０は、同時に複数の物標を認識してもよい。第２認識装置２０に関しても同様である。

第２認識装置２０は、例えば、第２カメラ２２と、ファインダ２４と、第２フュージョン処理部２６とを備える。第２カメラ２２は、例えば、第１カメラ１２と同様に、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。第２カメラ２２は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。第２カメラ２２は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。第２カメラ２２は、ステレオカメラであってもよい。

ファインダ２４は、照射光に対する散乱光を測定し、物標の輪郭の一部を少なくとも利用して物標の位置および速度を認識するＬＩＤＡＲ（ライダ；Light Detection and Ranging）である。ファインダ２４は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。

第２フュージョン処理部２６は、画像認識部２６ａを含む。なお、画像認識部２６ａは、第２カメラ２２に付随する構成であってもよい。画像認識部２６ａは、第２カメラ２２の撮像画像を解析して物標の位置および速度を認識する。第２フュージョン処理部２６は、例えば、第２カメラ２２および画像認識部２６ａと、ファインダ２４とのそれぞれによる認識結果に対してセンサフュージョン処理を行って、物標の位置（仮想三次元空間における位置）、速度、種類、形状、遅延量などを導出する。また、第２フュージョン処理部２６は、位置や速度などの導出対象とした各物標に物標ＩＤを付与する。そして、第２フュージョン処理部２６は、物標ＩＤに対応する各物標の位置、速度、形状、種類、遅延量、認識時刻などを含む情報（以下、第２物標情報と称する）を、補正部４０および第２分配器Ｄ２に出力し、更に、物標の速度の情報を第１処理部５０に出力する。

車両センサ３０は、例えば、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。車両センサ３０は、各センサにより検出された検出結果を示す情報を、時系列座標変換部９０に出力する。

補正部４０は、第１物標情報および第２物標情報を参照し、互いの情報に含まれる物標の位置を時間的に同期させるための補正を行う。例えば、第１認識装置１０の第１フュージョン処理部１６が、ある所定の周期（以下、第１周期と称する）で繰り返しセンサフュージョン処理を行い、その都度、補正部４０に第１物標情報を出力し、第２認識装置２０の第２フュージョン処理部２６が、第１周期よりも短い、或いは長い周期（以下、第２周期と称する）で繰り返しセンサフュージョン処理を行い、その都度、補正部４０に第２物標情報を出力したとする。この場合、必ずしも同じ時刻で物標が認識されているとは限られず、異なる時刻で認識された物標の物標情報が補正部４０に出力される場合がある。従って、補正部４０は、第１認識装置１０および第２認識装置２０の其々から入力された物標情報の認識時刻を参照し、互いの情報を同期させるために、認識された物標の位置および速度を補正する。このとき、補正部４０は、必要に応じて線形補間などの処理を行い、第１物標情報および第２物標情報の一方または双方における位置の情報を、基準タイミングで認識された場合の情報に補正する。

第１処理部５０は、補正部４０から入力された物標情報と、第１認識装置１０および第２認識装置２０の其々から入力された物標の速度の情報と、後述する第２処理部７０から入力される情報とに基づいて、第１認識装置１０により認識された物標（以下、第１物標と称する）と、第２認識装置２０により認識された物標（以下、第２物標と称する）とが、同一の物標であるか否かを判定し、同一の物標であると判定した場合に、同一の物標であると判定した物標同士を互いに対応付ける。なお、「対応付ける」とは、例えば、二つの物標に、一つの物標であることを示す識別情報を付与することである。

更に、第１処理部５０は、第１物標と第２物標のそれぞれについて、過去に認識された物標（以下、認識済み物標と称する）であるか否かを判定し、判定結果に基づいて、第１分配器Ｄ１および第２分配器Ｄ２の出力先を切り替える制御信号（図中破線矢印）を出力する。

第１処理部５０は、第１物標が、認識済み物標であると判定した場合、第１分配器Ｄ１に対し、第１認識装置１０から入力された情報を第２処理部７０に出力させ、認識済み物標でないと判定した場合、第１分配器Ｄ１に対し、第１認識装置１０から入力された情報を新規物標生成部６０に出力させる。このとき、第１処理部５０は、対応付けされたことを示す情報を新規物標生成部６０または第２処理部７０に出力するようにしてよい。

また、第１処理部５０は、第２物標が認識済み物標であると判定した場合、第２分配器Ｄ２に対し、第２認識装置２０から入力された情報を第２処理部７０に出力させ、第２物標が認識済み物標でないと判定した場合、第２分配器Ｄ２に対し、第２認識装置２０から入力された情報を新規物標生成部６０に出力させる。このとき、第１処理部５０は、対応付けされたことを示す情報を新規物標生成部６０または第２処理部７０に出力するようにしてよい。

また、第１処理部５０は、判定部５０ａを備える。判定部５０ａは、第１認識装置１０および第２認識装置２０による認識結果と、後述する第２処理部７０の予測部７４による予測結果とに基づいて、第１認識装置１０または第２認識装置２０の状態が所定状態であるか否かを判定する。所定状態は、例えば、第１認識装置１０または第２認識装置２０の各装置の取り付け状態がシステムの想定と乖離した状態（例えば軸ズレ状態）を含む。

新規物標生成部６０は、各分配器から入力された情報に基づいて新規物標としてのＩＤと共に物標情報を物標情報管理部８０に出力する。

また、新規物標生成部６０は、過検知除去部６０ａを備える。過検知除去部６０ａは、例えば、第１処理部５０によって、第１物標と第２物標とが互いに対応付けられている場合、すなわち第１物標および第２物標が同一の物標である場合、過検知でないと判定する。また、過検知除去部６０ａは、第１処理部５０によって、第１物標と第２物標とが互いに対応付けられていない場合、すなわち第１物標および第２物標が同一の物標でない場合、直ちに過検知であると判定してもよいし、後述する第２実施形態のように、所定条件を満たす場合に過検知であると判定してもよい。

新規物標生成部６０は、例えば、過検知除去部６０ａにより過検知が生じたと判定されなかった場合、入力された第１物標と第２物標とに関する情報を（対応付されていれば、対応付ＩＤと共に、そうでない場合は単独で）８０に出力する。

第２処理部７０は、例えば、導出部７２と、予測部７４とを備える。導出部７２は、例えば、予測部７４により出力された情報と、各分配器から入力された情報とに基づいて、物標の位置および速度を導出する。例えば、導出部７２は、互いに対応付けられた第１物標および第２物標の位置および速度と、予測部７４により予測された物標の将来の位置および速度との平均を導出する。そして、導出部７２は、導出結果を物標情報管理部８０に出力する。

予測部７４は、例えば、時系列フィルタを用いて、互いに対応付けられた第１物標および第２物標の将来の位置および速度を予測する。時系列フィルタは、例えば、カルマンフィルタやパーティクルフィルタなどの観測対象（実施形態では物標）の将来の状態を予測するためのアルゴリズムである。例えば、予測部７４は、導出部７２の直近の導出結果を時系列フィルタに対する入力とすることで、時系列フィルタにより導出された位置および速度を予測結果として取得する。そして、予測部７４は、予測結果を第１処理部５０および導出部７２の其々に出力する。

物標情報管理部８０は、例えば、新規物標生成部６０による処理結果に基づいて、導出部７２による導出結果を記憶部９５に記憶させることで、互いに対応付けられた第１物標および第２物標の位置および速度を認識時刻ごとに管理する。

そして、物標情報管理部８０は、導出部７２による導出結果を、第１バッファＢ１を介して時系列座標変換部９０に出力すると共に、第２バッファＢ２を介して上位装置に出力する。上位装置は、例えば、物標認識システム１の認識結果を利用して、自車両Ｍの速度制御および操舵制御を自動的に行ったり、速度制御または操舵制御の一方または双方を支援したりする装置である。

時系列座標変換部９０は、例えば、車両センサ３０から入力された情報に基づいて、第１バッファＢ１を介して物標情報管理部８０から入力された物標の位置を変換（補正）する。例えば、時系列座標変換部９０は、物標と自車両Ｍとの相対距離や相対速度の時間的変化量に応じて、センサフュージョン処理によって得られた仮想三次元空間での物標の位置を座標変換する。そして、時系列座標変換部９０は、変換した位置を含む物標情報を予測部７４に出力する。

［処理フロー］
以下、物標認識システム１による一連の処理についてフローチャートを用いて説明する。図２は、物標認識システム１による一連の処理を示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。

まず、第１処理部５０は、第１物標情報が示す第１物標が認識済み物標であるか否かを判定する（ステップＳ１００）。例えば、第１処理部５０は、第１物標の位置および速度と、予測部７４により前回予測された物標の位置および速度との差が許容範囲内であるか否かを判定し、これらの差が許容範囲内である場合、第１物標が認識済み物標であると判定し、これらの差が許容範囲外である場合、第１物標が認識済み物標でないと判定する。

第１処理部５０は、第１物標が認識済み物標であると判定した場合、第１分配器Ｄ１を制御して、第１物標情報を第２処理部７０に出力し（ステップＳ１０２）、第１物標が認識済み物標でなく、新規物標であると判定した場合、第１分配器Ｄ１を制御して、第１物標情報を新規物標生成部６０に出力する（ステップＳ１０４）。

次に、第１処理部５０は、第２物標情報が示す第２物標が認識済み物標であるか否かを判定する（ステップＳ１０６）。例えば、第１処理部５０は、第１物標が認識済み物標かどうかを判定するときと同様に、第２物標の位置および速度と、予測部７４により前回予測された物標の位置および速度との差が許容範囲内であるか否かを判定し、これらの差が許容範囲内である場合、第２物標が認識済み物標であると判定し、これらの差が許容範囲外である場合、第２物標が認識済み物標でないと判定する。

第１処理部５０は、第２物標が認識済み物標であると判定した場合、第２分配器Ｄ２を制御して、第２物標情報を第２処理部７０に出力し（ステップＳ１０８）、第２物標が認識済み物標でなく、新規物標であると判定した場合、第２分配器Ｄ２を制御して、第２物標情報を新規物標生成部６０に出力する（ステップＳ１１０）。

第１物標情報および第２物標情報の一方または双方が入力された場合、第２処理部７０の導出部７２は、第１物標および第２物標の一方または双方の位置および速度と、予測部７４により前回予測された物標の位置および速度とに基づいて、現時点における物標の位置および速度を導出する。例えば、導出部７２は、入力された物標情報に含まれる物標の位置および速度と、前回予測された物標の位置および速度との平均値などを、現時点における物標の位置および速度として導出し、その導出結果を物標情報管理部８０に出力する。

次に、第１処理部５０は、第１物標情報と第２物標情報とを比較して、第１物標および第２物標が同一の物標であるか否かを判定する（ステップＳ１１２）。

例えば、第１処理部５０は、第１物標の位置および速度と、第２物標の位置および速度との差が許容範囲内であるか否かを判定し、第１物標の位置および速度と、第２物標の位置および速度との差が許容範囲内である場合、第１物標および第２物標が同一の物標であると判定し、第１物標および第２物標に対して共通の物標ＩＤを付与することで、これらの二つの物標を互いに対応付ける（ステップＳ１１４）。

一方、第１処理部５０は、第１物標の位置および速度と、第２物標の位置および速度との差が許容範囲内でないと判定した場合、Ｓ１１４の処理を省略する。

次に、第１処理部５０の判定部５０ａは、第１認識装置１０および第２認識装置２０による認識結果と、第２処理部７０の予測部７４による予測結果とに基づいて、第１認識装置１０または第２認識装置２０の状態が所定状態であるか否かを判定する（ステップＳ１１６）。

例えば、判定部５０ａは、第１物標および第２物標が同一の物標ではなく、一方の物標が認識済み物標であり、他方の物標が新規物標である場合、新規物標であると判定された方の認識装置が所定状態であると判定する。

また、判定部５０ａは、第１物標および第２物標が同一の物標ではなく、二つの物標が共に認識済み物標または新規物標である場合、第１認識装置１０または第２認識装置２０のいずれかが所定状態であると判定する。

そして、第１処理部５０は、所定状態である方の認識装置の次回以降の物標情報を破棄することを決定する（ステップＳ１１８）。これによって、物標の対応付け処理が省略される。この場合、予測部７４は、いずれか一方の認識装置が所定状態である間、所定状態でない方の認識装置の物標情報のみを用いて、物標の将来の位置および速度を予測することを繰り返す。

なお、いずれかの認識装置が所定状態であるか区別できない場合、第１処理部５０は、双方の認識装置の次回以降の物標情報を破棄することを決定し、本フローチャートの処理を終了してよい。

図３は、認識装置が所定状態と判定される状況の一例を示す図である。図示の例は、仮想三次元空間（ｘ-ｙ-ｚ空間）での一平面（ｘ-ｚ平面）における各物標の位置を表している。図示のように、第１物標の位置を基準とした許容範囲内に第２物標が存在せず、第２物標の位置を基準とした許容範囲内に予測位置が存在することから、判定部５０ａは、第１物標については新規物標と判定し、第２物標については認識済み物標と判定する。このとき、第１物標と第２物標とが互いに許容範囲以上ずれていることから、判定部５０ａは、第１認識装置１０側が所定状態であると判定する。

図４は、第１物標および第２物標が新規物標と判定される状況の一例を示す図である。例えば、第１物標の位置を基準とした許容範囲内に第２物標が存在するものの、予測位置がそれぞれの物標の許容範囲内に存在しないため、判定部５０ａは、第１物標および第２物標は同じ物標であり、かつ二つの物標が共に新規物標であると判定する。

図５は、第１物標および第２物標が認識済み物標と判定される状況の一例を示す図である。例えば、第１物標の位置を基準とした許容範囲内に第２物標が存在し、かつ予測位置がそれぞれの物標の許容範囲内に存在しているため、判定部５０ａは、第１物標および第２物標は同じ物標であり、かつ二つの物標が共に認識済み物標であると判定する。

次に、新規物標生成部６０の過検知除去部６０ａは、各分配器を介して認識装置から物標情報が入力された場合、Ｓ１１４の処理で第１物標および第２物標が互いに対応付けられているかどうかに応じて、第１認識装置１０または第２認識装置２０による認識結果に過検知が生じているか否かを判定する（ステップＳ１２０）。

例えば、過検知除去部６０ａは、第１物標と第２物標とが互いに対応付けられている場合、すなわち第１物標および第２物標が同一の物標である場合、過検知が生じていないと判定し、第１物標と第２物標とが互いに対応付けられていない場合、すなわち第１物標および第２物標が同一の物標でない場合、過検知が生じていると判定する。

新規物標生成部６０は、過検知が生じていないと判定した場合、認識装置から入力された物標情報を物標情報管理部８０に出力する（ステップＳ１２２）。これを受けて、物標情報管理部８０は、新規物標の物標情報を記憶部９５に記憶させる。そして、物標情報管理部８０は、新規物標の物標情報を、第１バッファＢ１を介して時系列座標変換部９０に出力すると共に、第２バッファＢ２を介して上位装置に出力する

一方、新規物標生成部６０は、過検知が生じていると判定した場合、認識装置から入力された物標情報を破棄する（ステップＳ１２４）。これによって本フローチャートの処理が終了する。

以上説明した第１実施形態によれば、物標からの反射波を利用して物標の位置および速度を認識する第１認識装置１０と、物標の輪郭の一部を少なくとも利用して物標の位置および速度を認識する第２認識装置２０と、第１認識装置１０により認識された物標と、第２認識装置２０により認識された物標とが同一の物標であるか否かを判定し、同一の物標であると判定した場合に、同一の物標であると判定した物標同士を互いに対応付ける第１処理部５０と、第１処理部５０により対応付けられた物標の将来の位置および速度を予測する予測部７４と、予測部７４による予測結果と、第１認識装置１０および第２認識装置２０による認識結果とに基づいて、第１認識装置１０または第２認識装置２０の状態が所定状態であるか否かを判定する判定部５０ａと、を備えることにより、処理速度を向上させつつ、物標の認識精度を向上させることができる。

例えば、判定部５０ａに第１処理部５０と同じ段階で処理を行わせることで、導出部７２の後段で処理を行う必要が無くなり、処理速度が向上する。また、各認識装置が所定状態であるか否かを判定部５０ａが判定することで、軸ズレ等によって本来は物標認識に使用すべきでない状態となった認識装置の認識結果を使用しないようにするため、物標の認識精度を向上させることができる。

また、上述した第１実施形態によれば、過検知が生じた場合、過検知除去部６０ａが物標情報を破棄するため、過検知と判定された物標の位置および速度については、予測部７４の時系列フィルタへの入力から除外することができる。この結果、これまでの認識結果から過検知の発生により一時的に物標の位置および速度が逸脱した場合であっても、その物標情報を次の予測処理に反映させないため、物標を精度良く認識し続けることができる。

＜第２実施形態＞
以下、第２実施形態について説明する。第２実施形態では、予め過検知が生じやすいことが判明している所定区間を自車両Ｍが走行する場合、その所定区間では過検知除去部６０ａが動作し、それ以外の区間では過検知除去部６０ａが動作しない点で、上述した第１実施形態と異なる。以下、第１実施形態との相違点を中心に説明し、第１実施形態と共通する機能等についての説明は省略する。

［システム構成］
図６は、第２実施形態の物標認識システム１Ａの構成図である。第２実施形態の物標認識システム１Ａの過検知除去部６０ａは、例えば、外部記憶装置２００と有線または無線で通信し、外部記憶装置２００に記憶された高精度地図情報２００ａを参照する。高精度地図情報２００ａは、例えば、車線の中央の情報あるいは車線の境界の情報等を含む。また、高精度地図情報２００ａは、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の基準速度、車線数、各車線の幅員、道路の勾配、道路の位置（経度、緯度、高さを含む３次元座標）、道路またはその道路の各車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識等の情報を含む。

例えば、過検知除去部６０ａは、高精度地図情報２００ａを参照し、自車両Ｍが走行する予定の経路において所定区間が存在するか否かを判定する。所定区間は、上述したように過検知が生じやすい区間であり、例えば、道路の路面凍結や渋滞情報を表示する道路情報掲示板や、車線の合流および分岐ポイントに設けられた衝突衝撃緩衝具が存在する区間である。例えば、経路に所定区間が存在し、その所定区間に自車両Ｍが到達した場合、過検知除去部６０ａは、過検知の判定処理を開始する。一方、所定区間に自車両Ｍが到達していない場合、或いは、予定経路に所定区間が存在しない場合、過検知除去部６０ａは、過検知の判定処理を停止する。このように、予め過検知が生じやすいことが判明している区間に限定して過検知の判定処理を行うため、不必要に過検知と判定されるのを抑制することができ、更に物標の認識精度を向上させることができる。

また、第２実施形態の過検知除去部６０ａは、過検知の有無を確率や信頼度といった所定の指標値を基に判定する場合、所定区間とそうでない区間とで指標値に対する閾値を変更することで、過検知の判定を行ってよい。例えば、過検知除去部６０ａは、第１認識装置１０または第２認識装置２０により出力される物標情報と、第１処理部５０の判定部５０ａの判定結果とを総合的に判断して、過検知がどの程度生じ得るのかを示す指標値を導出し、この指標値が閾値以上となる場合に過検知と判定する。このとき、過検知除去部６０ａは、所定区間では指標値に対する閾値を低下させることで、過検知と判定し易くし、他の区間では閾値を上昇させることで、過検知と判定し難くする。これによって、不必要に過検知と判定されるのを抑制することができ、更に物標の認識精度を向上させることができる。

以上説明した第２実施形態によれば、過検知が生じやすい区間では過検知と判定し易くし、それ以外の区間では過検知と判定し難くするため、不必要に過検知と判定されるのを抑制することができる。この結果、更に物標の認識精度を向上させることができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１‥物標認識システム１０…第１認識装置、１２…第１カメラ、１４…レーダ、１６…第１フュージョン処理部、２０…第２認識装置、２２…第２カメラ、２４…ファインダ、２６…第２フュージョン処理部、３０…車両センサ、４０…補正部、５０…第１処理部、５０ａ…判定部、６０…新規物標生成部、６０ａ…過検知除去部、７０…第２処理部、７２…導出部、７４…予測部、８０…物標情報管理部、９０…時系列座標変換部、９５…記憶部

Claims (16)

1. 周辺を認識する第１認識装置と、
   前記第１認識装置とは異なる周辺を認識する第２認識装置と、
   前記第１認識装置により認識された物標と、前記第２認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付ける対応付処理部と、
   前記対応付処理部により対応付けられた物標の将来の位置を予測する予測部と、
   前記予測部による予測結果と、前記第１認識装置および前記第２認識装置による認識結果とに基づいて、前記第１認識装置または前記第２認識装置の状態が所定状態であるか否かを判定する判定部と、
   を備える物標認識システム。
2. 前記判定部は、
   前記第１認識装置および前記第２認識装置による認識結果と、前記予測部による予測結果とが一致するか否かを判定し、
   前記第１認識装置または前記第２認識装置のいずれかの認識結果と、前記予測部の予測結果とが一致しない場合、前記予測部の予測結果と一致しない方の認識装置が所定状態であると判定する、
   請求項１に記載の物標認識システム。
3. 第１タイミングにおける前記予測部の予測結果と、前記第１タイミングよりも後の第２タイミングにおける前記第１認識装置および前記第２認識装置の認識結果とに基づいて、前記第２タイミングで認識された物標の位置を導出する導出部と、
   前記判定部による判定結果に応じて、前記導出部による導出結果を記憶部に記憶させる情報管理部と、を更に備え、
   前記予測部は、前記情報管理部が前記記憶部に記憶させた情報に基づいて、前記第２タイミングで認識された物標の将来の位置を予測する、
   請求項１または２に記載の物標認識システム。
4. 前記判定部により、前記第１認識装置または前記第２認識装置が所定状態であると判定された場合、前記所定状態でない認識装置により認識された物標の位置に基づいて物標の位置を認識する、
   請求項１から３のうちいずれか１項に記載の物標認識システム。
5. 前記第１認識装置は、
   カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、
   前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記対応付処理部に出力する、
   請求項１から４のうちいずれか１項に記載の物標認識システム。
6. 前記第２認識装置は、
   カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、
   前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記対応付処理部に出力する、
   請求項１から５のうちいずれか１項に記載の物標認識システム。
7. 周辺を認識する第１認識装置と、
   前記第１認識装置とは異なる周辺を認識する第２認識装置と、
   前記第１認識装置により認識された物標と、前記第２認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付ける対応付処理部と、
   前記対応付処理部により対応付けられた物標の将来の速度を予測する予測部と、
   前記予測部による予測結果と、前記第１認識装置および前記第２認識装置による認識結果とに基づいて、前記第１認識装置または前記第２認識装置の状態が所定状態であるか否かを判定する判定部と、
   を備える物標認識システム。
8. 前記判定部は、
   前記第１認識装置および前記第２認識装置による認識結果と、前記予測部による予測結果とが一致するか否かを判定し、
   前記第１認識装置または前記第２認識装置のいずれかの認識結果と、前記予測部の予測結果とが一致しない場合、前記予測部の予測結果と一致しない方の認識装置が所定状態であると判定する、
   請求項７に記載の物標認識システム。
9. 第１タイミングにおける前記予測部の予測結果と、前記第１タイミングよりも後の第２タイミングにおける前記第１認識装置および前記第２認識装置の認識結果とに基づいて、前記第２タイミングで認識された物標の速度を導出する導出部と、
   前記判定部による判定結果に応じて、前記導出部による導出結果を記憶部に記憶させる情報管理部と、を更に備え、
   前記予測部は、前記情報管理部が前記記憶部に記憶させた情報に基づいて、前記第２タイミングで認識された物標の将来の速度を予測する、
   請求項７または８に記載の物標認識システム。
10. 前記判定部により、前記第１認識装置または前記第２認識装置が所定状態であると判定された場合、前記所定状態でない認識装置により認識された物標の速度に基づいて物標の速度を認識する、
    請求項７から９のうちいずれか１項に記載の物標認識システム。
11. 前記第１認識装置は、
    カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、
    前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記対応付処理部に出力する、
    請求項７から１０のうちいずれか１項に記載の物標認識システム。
12. 前記第２認識装置は、
    カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、
    前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記対応付処理部に出力する、
    請求項７から１１のうちいずれか１項に記載の物標認識システム。
13. 周辺を認識する第１認識装置と、前記第１認識装置とは異なる周辺を認識する第２認識装置とを備える車両に搭載された車載コンピュータが、
    前記第１認識装置により認識された物標と、前記第２認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付け、
    前記対応付けた物標の将来の位置を予測し、
    前記予測の結果と、前記第１認識装置および前記第２認識装置による認識結果とに基づいて、前記第１認識装置または前記第２認識装置の状態が所定状態であるか否かを判定する、
    物標認識方法。
14. 周辺を認識する第１認識装置と、前記第１認識装置とは異なる周辺を認識する第２認識装置とを備える車両に搭載された車載コンピュータが、
    前記第１認識装置により認識された物標と、前記第２認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付け、
    前記対応付けた物標の将来の速度を予測し、
    前記予測の結果と、前記第１認識装置および前記第２認識装置による認識結果とに基づいて、前記第１認識装置または前記第２認識装置の状態が所定状態であるか否かを判定する、
    物標認識方法。
15. 周辺を認識する第１認識装置と、前記第１認識装置とは異なる周辺を認識する第２認識装置とを備える車両に搭載された車載コンピュータに、
    前記第１認識装置により認識された物標と、前記第２認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定させた物標同士を互いに対応付けさせ、
    前記対応付けさせた物標の将来の位置を予測させ、
    前記予測の結果と、前記第１認識装置および前記第２認識装置による認識結果とに基づいて、前記第１認識装置または前記第２認識装置の状態が所定状態であるか否かを判定させる、
    プログラム。
16. 周辺を認識する第１認識装置と、前記第１認識装置とは異なる周辺を認識する第２認識装置とを備える車両に搭載された車載コンピュータに、
    前記第１認識装置により認識された物標と、前記第２認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定させた物標同士を互いに対応付けさせ、
    前記対応付けさせた物標の将来の速度を予測させ、
    前記予測の結果と、前記第１認識装置および前記第２認識装置による認識結果とに基づいて、前記第１認識装置または前記第２認識装置の状態が所定状態であるか否かを判定させる、
    プログラム。

Images