JP2008002817A - 物体識別システム - Google Patents

Abstract

【課題】より効率的に物体の種別を識別する「物体識別システム」を提供する。
【解決手段】物体領域抽出部３は、カメラ２が撮影した画像中から物体が写り込んでいると推定される領域を抽出し、抽出した領域の大きさと位置から、当該物体の幅を算定する。存在確率算出部８は、レーダ装置１が測定した当該物体の反射強度と算定された物体の幅との組み合わせに基づいて、複数の種別の各々について、当該物体が当該種別の物体である確率を算出する。物体認識部４は、物体の種別毎に対応して設けた、対応する種別の物体識別用の画像認識処理のうちから、算出された確率が所定のしきい値よりも大きかった種別に対応する画像認識処理を選定して、抽出された領域に対して実行し当該物体を識別する。
【選択図】図１

Description

本発明は、所定の観測空間内に存在する物体を識別する技術に関するものである。

所定の観測空間内に存在する物体を識別する技術としては、撮影画像に写り込んだ車両の種別を、撮影画像に対する画像認識処理によって識別する技術が知られている（たとえば、特許文献１）
一方、
P(A); 事象Aが発生する確率(事前確率； prior probability)
P(B|A); 事象Aが発生しているときに、事象Bが観測される確率（尤度；likelihood)
として、
P(A|B); 事象Bが観測されたときに、事象Aが発生している確率(事後確率； posterior probability)は、
P(A|B) =P(A) ×P(B|A)/[Σ{P(A) ×P(B|A)}]
として表されることが、ベイズの定理として周知である。
特開平8-16978号公報

さて、前述したように撮影画像より車両の種類を識別する技術では、一般的には、車両の種類毎に、当該種類の車両が撮影された画像に写り込んでいるかどうかを判別する画像認識処理を行う必要があるために、車両の種類の識別のための処理の負荷が大きくなりがちであった。

そこで、本発明は、所定の観測空間内に存在する物体の種別を、より効率的に識別することを課題とする。

前記課題達成のために、本発明は、所定の観測空間内に存在する物体を識別する物体識別システムに、前記観測空間をレーダ計測するレーダ装置と、前記観測空間内に存在する物体の位置と大きさを推定する物体推定手段と、前記物体推定手段が推定した物体の位置に対して前記レーダ装置が計測したレーダ反射強度と、当該物体について前記物体推定手段が推定した物体の大きさとに基づいて、当該物体の種別を推定する物体種別推定手段とを備えたものである。

このような物体識別システムによれば、物体の種別毎に、物体の大きさとレーダ反射強度との組み合わせが異なる組み合わせとなることを利用して物体の種別の推定を行うので、物体の全ての種別について当該種別の物体の認識を行う画像認識を行って物体の種別の識別を行う場合に比べ、効率的に物体や物体の種別を識別することができるようになる。

ここで、このような物体識別システムは、より具体的には、たとえば、自動車周辺をレーダ計測するレーダ装置と、自動車周辺を撮影するカメラと、前記カメラが撮影した画像中に写り込んだ物体の実際の位置と実際の大きさを、当該画像に基づいて推定する物体推定手段と、前記物体推定手段が推定した物体の位置に対して前記レーダ装置が計測したレーダ反射強度と、当該物体について前記物体推定手段が推定した物体の大きさとに基づいて、当該物体の種別を推定する物体種別推定手段とを備えた物体識別システムとして構成することができる。

ここで、このような物体識別システムには、前記物体種別推定手段が推定した物体の種別に応じて、推定された種別の物体の認識に好適化された画像認識処理を前記カメラが撮影した画像に対して施して、当該種別が推定された物体を識別する物体識別手段を設けるようにしてもよい。

このようにすることにより、より信頼性高く物体の存在や物体の種別を識別することができるようになる。なお、このようにしても、実行すべき画像認識処理を前記物体種別推定手段が推定した種別の物体の認識に好適化された画像認識処理のみに限定することができるので、物体の全ての種別について当該種別の物体の認識を行う画像認識を行って物体の種別の識別を行う場合に比べ、効率良く物体や物体の種別を識別することができる。

なお、このような物体識別システムに、前記物体種別推定手段が推定した物体の種別に応じて、推定された種別の物体の追尾に好適化された追尾処理を、当該種別が推定された物体の、前記レーダ装置のレーダ計測結果に基づく追尾に適用して、当該物体の追尾を行う物体追尾手段を設けるようにしてもよく、このようにすることにより、効率的で精度のよい物体の追尾が可能となる。

ここで、本発明は、さらに、前記課題達成のために、自動車に搭載される、当該自動車周辺に存在する物体を識別する物体識別システムに、自動車周辺を観測する観測装置と、自車周辺の各位置に各種別の物体が存在する事前確率を規定した事前確率テーブルと、前記観測装置の各観測結果が各種別の物体が存在した場合に得られる尤度を規定した尤度テーブルと、自車周辺の各位置について、当該位置の前記事前確率テーブルとより求まる事前確率と、前記尤度テーブルが規定する当該位置について前記観測装置が観測した観測結果に対応する尤度とより、当該位置に各種別の物体が存在する事後確率を算出する物体存在確率算出手段とを備えたものである。

このような物体識別システムによれば、観測装置の自動車周辺の各位置の観測結果より求まる当該位置に各種別の物体が存在する尤度のみならず、物体の各種別毎の各位置の事前確率を考慮し、ベイズの定理に従って、自動車周辺の各位置に各種別の物体が存在する確率を表す事後確率として算出するので、効率的かつ適正に、自車周辺の各位置に各種別の物体が存在する確率を算出することができるようになる。

なお、このような物体識別システムは、前記事前確率テーブルにおいて、自車周辺の各位置に物体が存在しない事前確率も規定するようにすると共に、前記尤度テーブルにおいて、前記観測装置の各観測結果が物体が存在しない場合に得られる尤度も規定するようにし、前記物体存在確率算出手段において、自車周辺の各位置について、当該位置の前記事前確率テーブルとより求まる事前確率と、前記尤度テーブルが規定する当該位置について前記観測装置が観測した観測結果に対応する尤度とより、当該位置に物体が存しない事後確率も算出するようにしてもよい。

また、これらの物体識別システムには、前記観測装置の各位置の観測結果に応じて、前記事前確率テーブルが規定する当該位置の各事前確率を、物体の存在が推定される観測結果が観測された位置に物体が存在する事前確率が増加するように更新する事前確率更新手段を備えるようにしてもよい。また、これらの物体識別システムには、前記物体存在確率算出手段が算出した各位置の各事後確率に応じて、前記事前確率テーブルが規定する当該位置の事前確率を、当該位置について算出された事後確率に追従するように更新する事前確率更新手段を備えるようにしてもよい。また、これらの物体識別システムには、前記観測装置の観測結果に基づいて物体の移動を予測する物体移動予測手段と、前記事前確率テーブルが規定する前記物体移動予測手段が予測した物体の移動の移動元の位置の事前確率と、前記事前確率テーブルが規定する当該移動の移動先の位置の事前確率とを、移動元の位置に物体が存在する事前確率が減少し、移動先の位置に物体が存在する事前確率が増加するように更新する事前確率更新手段とを備えるようにしてもよい。

これらの事前確率更新手段を備えることにより、事前確率テーブルの事前確率を、状況の変化に応じて動的に、適正な値を維持するように更新することができるようになる。
ここで、これらの物体識別システムは、前記観測装置として、自動車周辺をレーダ計測するレーダ装置と、自動車周辺を撮影するカメラとを備えるものであってよく、前記各観測結果とは、当該観測結果が観測される位置に存在する物体の前記カメラが撮影した画像から推定される大きさと、当該位置に対して前記レーダ装置が計測したレーダ反射強度との各組み合わせであってよい。または、これらの物体識別システムは、前記観測装置として、自動車周辺をレーダ計測するレーダ装置と、自動車周辺を撮影するカメラとを備えるものであってよく、前記各観測結果とは、当該観測結果が観測される位置に存在する物体の前記カメラが撮影した画像から推定される大きさと、当該位置に対して前記レーダ装置が計測したレーダ反射強度と、当該位置までの距離と当該位置の方向との少なくとも一方との各組み合わせであってよい。

これらのようにすることにより、物体の種別、または、種別と位置との組み合わせに応じて、物体の大きさとレーダ反射強度の組み合わせが異なるものとなることを利用して各種別の物体が存在する確率を表す事後確率を算出すること、すなわち、効率的かつ適正に各種別の物体が存在する確率を算出することができるようになる。
なお、これらの事後確率を算出する物体識別システムは、物体の種別分けをせずに設定した各位置の物体の事前確率と、物体の種別分けをせずに設定した物体が存在した場合に得られる各観測結果の尤度とを用いて、各位置に物体が存在する事後確率を、物体の種別を問わずに算出するものとして構成するようにしてもよい。

以上のように、本発明によれば、所定の観測空間内に存在する物体を、より効率的に識別することができる。

以下、本発明の実施形態を自動車に搭載された周辺監視システムへの適用を例にとり説明する。
図１ａに、本実施形態に係る周辺監視システムの構成を示す。
図示するように、周辺監視システムは、レーダ装置１、カメラ２、物体領域抽出部３、物体認識部４、物標追尾部５、事前確率テーブル６、尤度テーブル７、存在確率算出部８、事後確率テーブル９、周辺状況提示部１０とを有している。
ここで、本周辺監視システムが搭載された自動車を自車１００として、図１ｂに示すようにレーダ装置１とカメラ２は、自車１００の後部に配置される。また、図２ａに示すように、レーダ装置１は、自車１００後方をスキャン範囲１１としてスキャン範囲１１内にある物体上のレーダ反射点の相対位置と相対速度と当該反射点におけるレーダ反射強度を測定し測定データとして出力する処理を繰り返す。また、カメラ２は自車１００後方の撮影範囲２１の映像を撮影する処理を繰り返す。

また、図２ａに示すように、本周辺監視システムに対して、自車１００後方の所定の範囲が観測範囲３０として予め定義されており、当該観測範囲３０は縦横のメッシュ状に複数の区域に区切られている。そして、各区域に対しては固有の区域番号i（図では１からｎ）が付与されている。なお、観測範囲３０内の各区域の区分けは、たとえば、自車１００後部を中心とする同心円と複数の放射線とによってで区切られる区域などとしてもよい。

さて、図１ａに戻り、物体領域抽出部３は、図２ｂに示すように、カメラ２が撮影した画像２２中の物体（図では他車２００）が写り込んでいる領域２２１を抽出し、抽出した領域２２１の画像２２上の位置、範囲を示す物体領域情報を出力する。また、抽出した画像２２中の領域２２１に対応する観測範囲３０中の区域３１を算出し、算出した区域３１の区域番号を出力する。また、抽出した画像２２中の領域２２１に写り込んでいる物体の幅を、当該領域２２１の幅と、算出した区域３１までの距離とより算出し出力する。

ここで、画像中の物体が写り込んでいる領域の抽出は、たとえば、カメラ２が撮影した画像２２中のエッジを抽出し、エッジで囲まれる領域を物体が写り込んでいる領域２２１とすることにより行う。また、画像２２中の物体が写り込んでいる領域２２１に対応する観測範囲３０中の区域３１は、カメラ２の配置や撮影方向や画角より定まる、画像２２上の各位置と自車１００後方の各地点との対応に基づいて算出する。なお、画像２２上のある位置に対応する地点は、たとえば、地面上に物体が存在しないとした場合に画像２２上の当該位置に写り込むことになる地面上の地点とする。

次に、図３に、周辺監視システムが備える事前確率テーブル６と、尤度テーブル７と、事後確率テーブル９の構成を示す。
図３ａに示すように事前確率テーブル６は、観測範囲３０の各区域毎に設けられたエントリ（図中の各行）を有し、区域iに対応するエントリには、当該区域iに、事象Ａが発生する確率の推定値が事前確率Pi(A)として登録される。ここで、事象Ａとしては、「歩行車が存在する」、「二輪車が存在する」、「普通車が存在する」、「大型車が存在する」、「その他の物体が存在する」、「物体が存在しない」、の６つの事象を用いる。

次に、図３ｂに示すように尤度テーブル７は、レーダ装置１によって測定されるレーダの反射強度の強/弱/無、物体領域抽出部３で前述のように算出される物体の幅の広い/狭い/無との組み合わせの各々毎のエントリを有し、各エントリには、対応する組み合わせを観測事象Ｂとして、区域iに事象Ａが発生したときに、区域iに対して当該観測事象Ｂが観測される確率が尤度Pi(B|A)として登録される。ここで、前述の通り、事象Ａとしては、「歩行車が存在する」、「二輪車が存在する」、「普通車が存在する」、「大型車が存在する、「その他の物体が存在する」、「物体が存在しない」、の６つの事象を用いる。なお、この尤度テーブル７は、全ての区域について共通に用いられる。

ここで、この尤度テーブル７の各エントリの、各尤度Pi(B|A)は、予め実験などによって求め、設定しておく。
そして、図３に示すように、事後確率テーブル９は、観測範囲３０の各区域毎に設けられたエントリ（図中の各行）を有し、区域iに対応するエントリには、当該区域iに、事象Ａが発生している確率が事後確率Pi(A|B)として登録される。ここで、前述の通り、事象Ａとしては、「歩行車が存在する」、「二輪車が存在する」、「普通車が存在する」、「大型車が存在する、「その他の物体が存在する」、「物体が存在しない」、の６つの事象を用いる。

さて、図１ａに戻り、存在確率算出部８は、後述する事前確率テーブル更新処理によって、事前確率テーブル６を更新する処理を行う。また、存在確率算出部８は、後述する存在確率算出処理によって、事前確率テーブル６と尤度テーブル７を用いて、事後確率テーブル９を更新する処理を行う。

一方、物体認識部４は、物体領域抽出部３から出力される領域情報が示す、カメラ２が撮影した画像中の物体が写り込んでいる領域に対して、当該領域に写り込んでいる物体及び物体の種別を識別する物体認識処理を行って、識別結果を周辺状況提示部１０と、物標追尾部５に出力する。

ここで、物体認識部４は、歩行者画像パターンを検出し物体種別が歩行者である物体を識別する歩行車識別用画像認識処理と、二輪車画像パターンを検出し物体種別が二輪車である物体を識別する二輪車識別用画像認識処理と、普通車画像パターンを検出し物体種別が普通車である物体を識別する普通車識別用画像認識処理と、大型車画像パターンを検出し物体種別が大型車である物体を識別する普通車識別用画像認識処理と、その他の画像パターンを検出し物体種別が他物体を識別する他物体識別用画像認識処理のうちから選定した画像認識処理を、領域情報が示す物体が写り込んでいる領域に対して実行して、当該領域に写り込んでいる物体とその種別を識別する。ここで、この画像認識処理の選定と実行は次のように行う。

すなわち、物体領域抽出部３から出力される区域番号に基づいて、画像認識処理を施す領域に対応する区域を識別し、図３ｃに示した事後確率テーブル９の識別した区域のエントリに登録されている、「歩行車が存在する」、「二輪車が存在する」、「普通車が存在する」、「大型車が存在する」、「その他の物体が存在する」の５つの事象の各々に対応する事後確率Pi(A|B)を取得する。そして、取得した事後確率Pi(A|B)が所定のしきい値よりも大きい事象に対応する画像認識処理を選定し、選定した画像認識処理を対応する事象の事後確率Pi(A|B)が大きい順に、物体とその種別の識別が成功するまで順に行う。ここで、「歩行車が存在する」事象に対応する画像認識処理とは歩行車識別用画像認識処理であり、「二輪車が存在する」事象に対応する画像認識処理とは二輪車識別用画像認識処理であり、「普通車が存在する」事象に対応する画像認識処理とは普通車識別用画像認識処理であり、「大型車が存在する」事象に対応する画像認識処理とは大型車識別用画像認識処理であり、「その他の物体が存在する」事象に対応する画像認識処理とは他物体識別用画像認識処理である。

より具体的には、たとえば、画像認識処理を施す領域に対応する区域の事後確率テーブル９に登録されている、「歩行車が存在する」事象を事象Ａとする事後確率Pi(A|B)が５％であり、「二輪車が存在する」事象を事象Ａとする事後確率Pi(A|B)が１０％であり、「普通車が存在する」事象を事象Ａとする事後確率Pi(A|B)が３０％であり、「大型車が存在する」事象を事象Ａとする事後確率Pi(A|B)が４０％であり、「その他の物体が存在する」事象を事象Ａとする事後確率Pi(A|B)が１５％である場合において、しきい値が２５％であれば、対応する事後確率が４０％の「大型車が存在する」事象に対応する大型車識別用画像認識処理と、対応する事後確率が３０％の「普通車が存在する」事象に対応する普通車識別用画像認識処理とが選定される。そして、まず、対応する事後確率がより大きい大型車識別用画像認識処理が実行され、大型車識別用画像認識処理で大型車が識別されなかった場合には、さらに普通車識別用画像認識処理が実行されることになる。なお、大型車識別用画像認識処理で物体種別が大型車である物体が識別された場合には、この領域に対する画像認識処理は、普通車識別用画像認識処理を行うことなく終了する。

なお、画像認識処理を施す領域に対応する区域の事後確率テーブル９に登録されている事後確率Pi(A|B)が所定のしきい値よりも大きい事象が、「物体が存在しない」の他に存在しない場合には、画像認識処理の選定と実行は行わず、当該領域に実際には物体は写り込んでいないものとして、物体およびその種別の識別は行わないようにする。また、選定した画像認識処理の全てにおいて、物体及びその種別の識別が成功しなかった場合にも、当該領域に物体は写り込んでいないものとする。

そして、物体認識部４は、このようにして物体とその種別を識別したならば、識別した物体の種別と、当該物体の種別を識別する画像認識処理を施した領域に対応する区域の区域番号、すなわち、当該種別の物体が存在する区域の区域番号とを周辺状況提示部１０と、物標追尾部５に出力する。

次に、物標追尾部５は、レーダ装置１から出力された測定データに基づいて、自車１００後方に存在する各物体の追尾を行い、追尾中の物体である追尾中物体毎に、追尾情報を生成管理する物標追尾処理を繰り返し行う。ここで、物体の追尾とは、各時点で測定された測定データを、当該測定データが算定された物体毎に、当該物体の時系列の計測データとして系列化する処理である。また、ある追尾中物体の追尾情報とは、このように系列化された当該追尾中物体の時系列の測定データを指す。

なお、物標追尾処理では、たとえば、次のようにして物体の追尾を行う。
すなわち、測定データのうちに、ある追尾中物体の現在の推定相対位置に許容距離以内に近接する相対位置を示す測定データが存在する場合に、当該測定データを、当該追尾中物体の測定データであるとして、当該追尾中物体の追尾情報に加える。ここで、追尾中物体の現在の推定相対位置は、当該追尾中物体の過去最近の測定データが示す相対位置と相対速度に基づいて算出する。また、許容距離は、当該過去最近の測定データが示す相対位置が含まれる区域に存在する物体について物体認識部４が前述したように識別した物体の種別に応じて、たとえば、歩行者よりも大型車が大型車よりも普通車が大きくなるように設定する。

また、測定データのうちに、追尾中物体の測定データとすることのできなかった測定データが存在する場合には、その測定データが計測された物体を、新たな追尾中物体として、その追尾情報を生成し、当該存在した測定データを、当該新たな追尾中物体の追尾情報に加える。また、当該物標追尾処理では、所定期間以上対応する測定データが計測されなかった追尾中物体については、その追尾を終了し、当該追尾中物体についての追尾情報を消去する処理も行う。

なお、物標追尾部５は、過去最近の測定データが示す相対位置が、物体認識部４が物体及びその種別を識別した区域に含まれる追尾中物体について、現在の推定相対位置を算出した場合には、当該過去最近の測定データが示す相対位置が含まれる区域を移動前区域、算出した推定相対位置が示す区域を移動先区域とし、移動前区域と移動先区域の区域番号を存在確率算出部８に出力する処理も行う。

次に、周辺状況提示部１０は、物体識別が出力する物体の種別や当該種別の物体が存在する区域の区域番号や、物標追尾部５が管理している各追尾中物標の追尾情報に基づいて、自車１００後方の各種別の他車の配置や挙動の状況などをユーザに対して表示する処理などを行う。

以下、前述した存在確率算出部８が行う存在確率算出処理と、事前確率テーブル更新処理について説明する。
まず、存在確率算出処理について説明する。
図４に、この存在確率算出処理の手順を示す。
図示するように、この処理では、まず、事後確率テーブル９の全てのエントリの全ての事後確率Pi(A|B)を０％に初期化する（ステップ４０２）。そして、レーダ装置１が出力した測定データが示す相対位置が含まれる区域であるか、もしくは、物体領域抽出部３が抽出したカメラ２が撮影した画像中の物体が写り込んでいる領域に対応する区域である区域の全てを検知区域に設定する（ステップ４０４）。なお、物体領域抽出部３が抽出したカメラ２が撮影した画像中の物体が写り込んでいる領域に対応する区域は、物体領域抽出部３が出力する区域番号より識別する。

そして、各検知区域を順次処理対象として（ステップ４０６、４１６、４１８）、ステップ４０８から４１４の処理を行う。
このステップ４０８から４１４の処理では、まず、処理対象となった検知区域を検知区域ｊとして、検知区域ｊに対応する画像中の領域について物体領域抽出部３が抽出し出力した物体の幅の広い/狭い/無と、レーダ装置１が出力した検知区域ｊ内の相対位置を含む測定データが示すレーダ反射強度の強/弱/無との組み合わせを当該検知区域ｊの観測事象Ｂに設定する（ステップ４０８）。ここで、検知区域ｊに対応する領域を物体領域抽出部３が物体が写り込んでいる領域として抽出していない場合には、物体の幅は無しとする。また、検知区域内の相対位置を含む測定データがレーダ装置１によって出力されていない場合には、レーダ反射強度は無とする。また、物体の幅の広い/狭いは、尤度テーブル作成時に用いた物体の幅の広い/狭いの基準と同じ基準に従って判別する。また、同様に、レーダ反射強度の強/弱は、尤度テーブル作成時に用いたレーダ反射強度の強/弱の基準と同じ基準に従って判別する。

次に、検知区域の観測事象Ｂを設定したならば、事前確率テーブル６より、歩行車が存在する」、「二輪車が存在する」、「普通車が存在する」、「大型車が存在する、「その他の物体が存在する」、「物体が存在しない」、の６つの事象の各々を事象Ａとする、検知区域ｊの事前確率Pｊ(A)を取得する（ステップ４１０）。

また、尤度テーブル７から、「歩行車が存在する」、「二輪車が存在する」、「普通車が存在する」、「大型車が存在する、「その他の物体が存在する」、「物体が存在しない」、の６つの事象の各々を事象Ａとする、設定した観測事象Ｂに対する尤度Pj(B|A)を取得する（ステップ４１２）。

そして、取得した事前確率とPj(A)と尤度Pj(B|A)より、「歩行車が存在する」、「二輪車が存在する」、「普通車が存在する」、「大型車が存在する、「その他の物体が存在する」、「物体が存在しない」、の６つの事象の各々を事象Ａとする事後確率Pj(A|B)を、
Pj(A|B) =Pj(A) ×Pj(B|A)/[Σ{Pj(A) ×Pj(B|A)}]
によって算出し、事後確率テーブル９の検知区域ｊのエントリに当該６つの事象に対応する事後確率として各々登録する（ステップ４１４）。
そして、各検知区域についてステップ４０８から４１４の処理を終了したならば、ステップ４０２に戻り、以上の処理を繰り返す。

以上、存在確率算出部８が行う存在確率算出処理について説明した。
次に、事前確率テーブル更新処理について説明する。
なお、事前確率テーブル６は初期状態において、全てのエントリに事前確率Pｊ(A)は登録されていない。
図５に、この事前確率テーブル更新処理の手順を示す。
図示するように、この処理では、事前確率テーブル６のエントリに事前確率Pi(A)が登録されていない区域内に含まれる相対位置を示す測定データをレーダ装置１が出力するか、事前確率テーブル６のエントリに事前確率Pi(A)は登録されていない区域に対応する画像中の領域を物体領域抽出部３が物体が写り込んでいる領域として抽出したならば（ステップ５０２）、事前確率テーブル６の当該区域のエントリに事前確率Pi(A)の初期値を登録する（ステップ５１０）。初期値は、「物体が存在しない」事象の事前確率Pi(A)を所定値とし、残りの確率を他の事象に均等に分配したものとする。すなわち、たとえば、事前確率Pi(A)の初期値は、「歩行車が存在する」事象の事前確率Pi(A)を１５％、「二輪車が存在する」事象の事前確率Pi(A)を１５％、「普通車が存在する」事象の事前確率Pi(A)を１５％、「大型車が存在する」事象の事前確率Pi(A)を１５％、「その他の物体が存在する」事象の事前確率Pi(A)を１５％、「物体が存在しない」事象の事前確率Pi(A)を２５％とする。

また、この処理では、事前確率テーブル６のエントリに事前確率Pi(A)が既に登録されている区域内に含まれる相対位置を示す測定データをレーダ装置１が出力したならば（ステップ５０４）、事前確率テーブル６の当該区域のエントリの「物体が存在しない」事象の事前確率Pi(A)を所定レベル減少し、他の事象の事前確率Pi(A)を所定レベル増加すると共に、事前確率テーブル６の当該区域周辺のエントリの「物体が存在しない」事象の事前確率Pi(A)を所定レベル増加し、他の事象の事前確率Pi(A)を所定レベル減少する（ステップ５１２）。

また、この処理では、存在確率算出部８によって、存在確率テーブルのエントリの更新が行われたならば（ステップ５０６）、当該更新されたエントリの各事象に対する事後確率P(A|B)を、当該更新されたエントリと同じ区域に対応する事前確率テーブル６のエントリの対応する事象の事前確率Pi(A)として設定する（ステップ５１４）。

また、この処理では、物標追尾部５によって前述のように推定相対位置が算出され移動前区域と移動先区域が出力されたならば（ステップ５０８）、事前確率テーブル６の移動先区域のエントリの「物体が存在しない」事象の事前確率Pi(A)を所定レベル減少し、他の事象の事前確率Pi(A)を所定レベル増加すると共に、事前確率テーブル６の移動前区域のエントリの「物体が存在しない」事象の事前確率Pi(A)を所定レベル増加し、他の事象の事前確率Pi(A)を所定レベル減少する（ステップ５１６）。

以上、存在確率算出部８が行う事前確率テーブル更新処理について説明した
ところで、以上では、レーダ反射強度と、カメラ２で撮影した画像中に写り込んでいる物体の幅との組み合わせを観測事象Ｂとして用いたが、レーダ反射強度や物体の幅や、これらの物体の種別毎の相違は、物体までの距離や物体の存在する方向によって異なるものとなる。

そこで、観測事象Ｂとしては、レーダ反射強度と物体の幅に、物体までの距離や物体の存在する方向を組み合わせた事象を用いるようにしてもよい。ここで、この場合における物体までの距離や物体の存在する方向は、レーダ装置１が検出した相対位置や物体領域が抽出した物体が写り込んでいる領域に対応する相対位置などより求めることができる。または、各区域毎に、当該区域内の代表点までの距離や区域の方向を、当該区域内の物体の距離や方向として用いるようにすることもできる。なお、これらの場合にも、各観測事象Ｂに対する尤度テーブル７の各エントリの、各尤度Pi(B|A)は、予め実験などによって求め設定しておく。

以上、本発明の実施形態について説明した。
以上のように本実施形態によれば、物体の種別、または、種別と位置との組み合わせに応じて、物体の大きさとレーダ反射強度の組み合わせが異なるものとなることを利用して、各種別の物体が存在する確率を表す事後確率を算出や物体及び物体の種別の識別を行うので、効率的かつ適正に各種別の物体が存在する確率を算出できるようになる。

また、レーダ装置１やカメラ２の各位置の観測結果より求まる当該位置に各種別の物体が存在する尤度のみならず、物体の各種別毎の各位置の事前確率を考慮し、ベイズの定理に従って、各位置に各種別の物体が存在する確率を表す事後確率として算出するので、効率的かつ適正に、各位置に各種別の物体が存在する確率を算出することができるようになる。

また、このようにして算出した事後確率に応じて、各位置の物体及び物体の種別の識別を行うための画像認識処理を、当該位置における事後確率が大きい種別用の画像認識処理のみに限定して実行するので、効率的に各位置の物体及び物体の種別の識別を、識別の精度を劣化することなく行うことができる。また、このようにして算出した事後確率に応じて、各位置の物体及び物体の種別の識別を行うための画像認識処理を、当該位置における事後確率が大きい種別用の画像認識処理から順に、物体及び物体の種別の識別が成功するまでのみ行うようにしているので、この点からも、効率的に各位置の物体及び物体の種別の識別を、識別の精度を劣化することなく行うことができるようになる。

なお、本実施形態に係る周辺監視システムの物体及び物体の種別の識別の技術は、自動車周辺の物体を対象として識別を行う場合に限らず、その他の物体を対象として識別を行う場合にも同様に適用することができる。

本発明の実施形態に係る周辺監視システムの構成と配置を示すブロック図である。 本発明の実施形態に係る周辺監視システムの自車後方観測のようすを示す図である。 本発明の実施形態に係る周辺監視システムが備えるテーブルを示す図である。 本発明の実施形態に係る存在確率算出処理を示すフローチャートである。 本発明の実施形態に係る事前確率更新処理を示すフローチャートである。

符号の説明

１…レーダ装置、２…カメラ、３…物体領域抽出部、４…物体認識部、５…物標追尾部、６…事前確率テーブル、７…尤度テーブル、８…存在確率算出部、９…事後確率テーブル、１０…周辺状況提示部、１１…スキャン範囲、２１…撮影範囲、３０…観測範囲、１００…自車。

Claims (12)

1. 所定の観測空間内に存在する物体を識別する物体識別システムであって、
   前記観測空間をレーダ計測するレーダ装置と、
   前記観測空間内に存在する物体の位置と大きさを推定する物体推定手段と、
   前記物体推定手段が推定した物体の位置に対して前記レーダ装置が計測したレーダ反射強度と、当該物体について前記物体推定手段が推定した物体の大きさとに基づいて、当該物体の種別を推定する物体種別推定手段とを有することを特徴とする物体識別システム。
2. 自動車に搭載される、当該自動車周辺に存在する物体を識別する物体識別システムであって、
   自動車周辺をレーダ計測するレーダ装置と、
   自動車周辺を撮影するカメラと、
   前記カメラが撮影した画像中に写り込んだ物体の実際の位置と実際の大きさを、当該画像に基づいて推定する物体推定手段と、
   前記物体推定手段が推定した物体の位置に対して前記レーダ装置が計測したレーダ反射強度と、当該物体について前記物体推定手段が推定した物体の大きさとに基づいて、当該物体の種別を推定する物体種別推定手段とを有することを特徴とする物体識別システム。
3. 請求項２記載の物体識別システムであって、
   前記物体種別推定手段が推定した物体の種別に応じて、推定された種別の物体の認識に好適化された画像認識処理を前記カメラが撮影した画像に対して施して、当該種別が推定された物体を識別する物体識別手段を有することを特徴とする物体識別システム。
4. 請求項２または３記載の物体識別システムであって、
   前記物体種別推定手段が推定した物体の種別に応じて、推定された種別の物体の追尾に好適化された追尾処理を、当該種別が推定された物体の、前記レーダ装置のレーダ計測結果に基づく追尾に適用して、当該物体の追尾を行う物体追尾手段を有することを特徴とする物体識別システム。
5. 自動車に搭載される、当該自動車周辺に存在する物体を識別する物体識別システムであって、
   自動車周辺を観測する観測装置と、
   自車周辺の各位置に各種別の物体が存在する事前確率を規定した事前確率テーブルと、
   前記観測装置の各観測結果が各種別の物体が存在した場合に得られる尤度を規定した尤度テーブルと、
   自車周辺の各位置について、当該位置の前記事前確率テーブルとより求まる事前確率と、前記尤度テーブルが規定する当該位置について前記観測装置が観測した観測結果に対応する尤度とより、当該位置に各種別の物体が存在する事後確率を算出する物体存在確率算出手段とを有することを特徴とする物体識別システム。
6. 請求項５記載の物体識別システムであって、
   前記事前確率テーブルには、自車周辺の各位置に物体が存在しない事前確率も規定されており、
   前記尤度テーブルには、前記観測装置の各観測結果が物体が存在しない場合に得られる尤度も規定されており、
   前記物体存在確率算出手段は、自車周辺の各位置について、当該位置の前記事前確率テーブルとより求まる事前確率と、前記尤度テーブルが規定する当該位置について前記観測装置が観測した観測結果に対応する尤度とより、当該位置に物体が存しない事後確率も算出することを特徴とする物体識別システム。
7. 請求項５または６記載の物体識別システムであって、
   前記観測装置の各位置の観測結果に応じて、前記事前確率テーブルが規定する当該位置の各事前確率を、物体の存在が推定される観測結果が観測された位置に物体が存在する事前確率が増加するように更新する事前確率更新手段を有することを特徴とする物体識別システム。
8. 請求項５または６記載の物体識別システムであって、
   前記物体存在確率算出手段が算出した各位置の各事後確率に応じて、前記事前確率テーブルが規定する当該位置の事前確率を、当該位置について算出された事後確率に追従するように更新する事前確率更新手段を有することを特徴とする物体識別システム。
9. 請求項５または６記載の物体識別システムであって、
   前記観測装置の観測結果に基づいて物体の移動を予測する物体移動予測手段と、
   前記事前確率テーブルが規定する前記物体移動予測手段が予測した物体の移動の移動元の位置の事前確率と、前記事前確率テーブルが規定する当該移動の移動先の位置の事前確率とを、移動元の位置に物体が存在する事前確率が減少し、移動先の位置に物体が存在する事前確率が増加するように更新する事前確率更新手段とを有することを特徴とする物体識別システム。
10. 請求項５、６、７、８または９記載の物体識別システムであって、
    前記観測装置として、自動車周辺をレーダ計測するレーダ装置と、自動車周辺を撮影するカメラとを備え、
    前記各観測結果とは、当該観測結果が観測される位置に存在する物体の前記カメラが撮影した画像から推定される大きさと、当該位置に対して前記レーダ装置が計測したレーダ反射強度との各組み合わせであることを特徴とする物体識別システム。
11. 請求項５、６、７、８または９記載の物体識別システムであって、
    前記観測装置として、自動車周辺をレーダ計測するレーダ装置と、自動車周辺を撮影するカメラとを備え、
    前記各観測結果とは、当該観測結果が観測される位置に存在する物体の前記カメラが撮影した画像から推定される大きさと、当該位置に対して前記レーダ装置が計測したレーダ反射強度と、当該位置までの距離と当該位置の方向との少なくとも一方との各組み合わせであることを特徴とする物体識別システム。
12. 自動車に搭載される、当該自動車周辺に存在する物体を識別する物体識別システムであって、
    自動車周辺を観測する観測装置と、
    自車周辺の各位置に前記物体が存在する事前確率を規定した事前確率テーブルと、
    前記観測装置の各観測結果が、前記物体が存在した場合に得られる尤度を規定した尤度テーブルと、
    自車周辺の各位置について、当該位置の前記事前確率テーブルとより求まる事前確率と、前記尤度テーブルが規定する当該位置について前記観測装置が観測した観測結果に対応する尤度とより、当該位置に前記物体が存在する事後確率を算出する物体存在確率算出手段とを有することを特徴とする物体識別システム。