JP2020046762A - 移動体検知装置 - Google Patents

移動体検知装置 Download PDF

Info

Publication number
JP2020046762A
JP2020046762A JP2018172880A JP2018172880A JP2020046762A JP 2020046762 A JP2020046762 A JP 2020046762A JP 2018172880 A JP2018172880 A JP 2018172880A JP 2018172880 A JP2018172880 A JP 2018172880A JP 2020046762 A JP2020046762 A JP 2020046762A
Authority
JP
Japan
Prior art keywords
moving object
information
cell
observation
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018172880A
Other languages
English (en)
Inventor
▲火韋▼ 宋
Wei Song
▲火韋▼ 宋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018172880A priority Critical patent/JP2020046762A/ja
Publication of JP2020046762A publication Critical patent/JP2020046762A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】オクルージョンが発生した場合でも、移動体の検知精度が低下しないようにする。【解決手段】直前の推定情報に基づき、現時点の各位置における移動体の占有確率と速度分布を表す予測情報を生成する予測部11と、センサの検出情報に基づき、現時点の各位置における移動体の存在状況と移動状況に関する観測情報を生成する観測部12と、予測情報と観測情報に基づき、現時点の各位置における移動体の占有確率と速度分布を表す推定情報を生成する推定部13と、現時点の推定情報に基づき、各位置に移動体が存在するか否かを判定する判定部14と、を備え、判定部は、移動体の存在に関する判定結果に基づき、各位置での移動体の存在状況に関する属性を推定情報に付与し、予測部は、前回の推定情報に含まれる属性に基づき、予測情報に属性を付与し、観測部は、予測情報に含まれる属性に基づき、観測情報を補正する。【選択図】図1

Description

本開示は、センサの検出情報に基づいて、対象エリアに存在する移動体を検知する移動体検知装置に関する。
近年、車両の走行時の安全性を高めるため、カメラやミリ波レーダなどのセンサを用いて、車両の周囲に存在する人物や車両などの移動体を検知する技術が普及している。このような移動体を検知する技術として、例えば、カメラの撮影画像に基づく観測結果と、ミリ波レーダの測定データに基づく観測結果とを統合して、移動体が存在するか否かを判定する技術が知られている(特許文献1参照)。
特許第3669205号公報
さて、人物や車両などの移動体が樹木などの遮蔽物の影に隠れるオクルージョンが発生する場合があり、このとき、移動体が部分的に遮蔽物の影に隠れた状態となると、ミリ波レーダの測定データからは移動体が認識されるにも拘わらず、カメラの撮影画像からは移動体を認識できなくなる。
このような場合、前記従来の技術のように、カメラの撮影画像に基づく観測結果と、ミリ波レーダの測定データに基づく観測結果とを統合して、移動体が存在するか否かを判定すると、カメラの撮影画像に基づく観測結果に影響されて、結果的に移動体が存在しないと判定されて、誤検知(見落とし)が発生することがある。
本発明は、このような背景に鑑み、移動体が遮蔽物の影に隠れるオクルージョンが発生した場合でも、移動体を検知する精度が低下することを避けることができる移動体検知装置を提供することを課題とする。
このような課題を解決するために、本発明のある実施形態は、センサ(1,2)の検出情報に基づいて、対象エリアに存在する移動体を検知する移動体検知装置(3)であって、直前の各位置における移動体の占有確率および速度分布を表す推定情報に基づいて、現時点の各位置における移動体の占有確率および速度分布を表す予測情報を生成する予測部(11)と、前記センサの検出情報に基づいて、現時点の各位置における移動体の存在状況および移動状況に関する観測情報を生成する観測部(12)と、前記予測情報および前記観測情報に基づいて、現時点の各位置における移動体の占有確率および速度分布を表す推定情報を生成する推定部(13)と、現時点の前記推定情報に基づいて、各位置に移動体が存在するか否かを判定する判定部(14)と、を備え、前記判定部は、各位置に移動体が存在するか否かの判定結果に基づいて、各位置での移動体の存在状況に関する属性を、各位置での前記推定情報に付与し、前記予測部は、前回の前記推定情報に含まれる属性に基づいて、前記予測情報に属性を付与し、前記観測部は、前記予測情報に含まれる属性に基づいて、前記観測情報を補正する。
この構成によれば、オクルージョンが発生していない状態で判定された属性が予測情報に引き継がれて、その予測情報に含まれる属性に基づいて、観測情報を補正するため、移動体が遮蔽物の影に隠れるオクルージョンが発生した場合でも、移動体を検知する精度が低下することを避けることができる。
また、上記構成において、前記判定部は、各位置に移動体が存在するか否かの判定結果に基づいて、移動体の有無に関する属性を、前記推定情報における速度分布の各速度に付与し、前記観測部は、検出特性が異なる複数の前記センサの一部で移動体を認識できない場合に、前記予測情報において移動体が存在するとの属性が付与された速度の確率に基づいて、前記観測情報を補正するとよい。
この構成によれば、オクルージョンにより、一部のセンサで移動体を観測できない場合でも、予測情報において移動体が存在するとの属性が付与された速度の確率に基づいて、観測情報を補正することで、移動体が存在することを精度よく検知することができる。
また、上記構成において、複数の前記センサは、カメラおよびミリ波レーダであるとよい。
この構成によれば、オクルージョンが発生して、ミリ波レーダでは移動体が認識されているにも拘わらず、カメラでは移動体を認識できない場合に、移動体が存在することを精度よく検知することができる。
また、上記構成において、前記判定部は、前記観測部で取得した移動体の種類と、各位置に移動体が存在するか否かの判定結果とに基づいて、各位置での移動体の有無および種類に関する属性を、前記推定情報における速度分布の各速度に付与し、前記観測部は、物体認識により移動体の種類ごとの認識スコアを取得して、その種類ごとの認識スコアを、前記予測情報において移動体の種類が一致する属性が付与された速度の確率に基づいて補正して、補正された種類ごとの認識スコアに基づいて、移動体の種類を判定するとよい。
この構成によれば、オクルージョンにより、実際に存在する移動体の種類に関する認識スコアが小さくなった場合でも、移動体の種類ごとの属性が付与された速度の確率に基づいて、種類ごとの認識スコアを補正することで、移動体の種類を精度よく判定することができる。
また、上記構成において、前記予測部、前記観測部、前記推定部および判定部は、前記対象エリアに設定された占有格子地図上の各セルにおける移動体の占有確率および速度分布を取得するベイジアン占有フィルタを構成するとよい。
この構成によれば、少ない演算量で移動体を効率よく検知することができる。
このように本発明によれば、移動体が遮蔽物の影に隠れるオクルージョンが発生した場合でも、移動体を検知する精度が低下することを避けることができる。このため、例えば、検知結果を衝突判定に利用する場合には、移動体が存在する方に判定されやすくなるため、安全性を高めることができる。
第1実施形態に係る移動体検知システムの概略構成を示すブロック図 第1実施形態に係るBOF処理部5で行われる基本的な処理の概要を示す模式図 オクルージョンが発生した場合の精度低下を説明する模式図 第1実施形態に係るBOF処理部で行われる処理の概要を示す模式図 第1実施形態に係るBOF処理部で行われる処理の手順を示すフロー図 第1実施形態に係るBOF処理部で行われる初期化処理の概要を示す模式図 第1実施形態に係る予測部で行われる処理の概要を示す模式図 第1実施形態に係る予測部で行われる処理の概要を示す模式図 第1実施形態に係る予測部で行われる処理の概要を示す模式図 第1実施形態に係る予測部で行われる処理の手順を示すフロー図 第1実施形態に係る予測部で行われる処理の手順を示すフロー図 第1実施形態に係るセンサモデルを示す模式図 第1実施形態に係る観測部で行われる処理の手順を示すフロー図 第1実施形態に係る推定部で行われる処理の手順を示すフロー図 第1実施形態に係る判定部で行われる処理の概要を示す模式図 オクルージョンが発生した場合の精度低下を説明する模式図 第2実施形態に係るBOF処理部で行われる処理の概要を示す模式図 第2実施形態に係る予測部で行われる処理の概要を示す模式図 第2実施形態に係る予測部で行われる処理の概要を示す模式図 第2実施形態に係る予測部で行われる処理の概要を示す模式図 第2実施形態に係る観測部で行われる処理の手順を示すフロー図 第2実施形態に係る判定部で行われる処理の概要を示す模式図
以下、図面を参照して、本発明の実施形態について詳細に説明する。
(第1実施形態)
図1は、第1実施形態に係る移動体検知システムの概略構成を示すブロック図である。
この移動体検知システムは、例えば車両に搭載されて、車両の周囲に存在する移動体を検知して、その検知結果を衝突回避のための制御などに用いられるようにしたものであり、カメラ1(第1のセンサ)と、ミリ波レーダ2(第2のセンサ)と、ECU3(移動体検知装置)と、を備えている。
カメラ1は、車両の周囲を撮影して、撮影画像(検出情報)を出力する。
ミリ波レーダ2は、ミリ波帯の電波を放射すると共に物体で反射された電波を検出して、測定データ(検出情報)を出力する。
ECU3は、BOF(ベイジアン占有フィルタ:Bayesian Occupation Filter)に関する処理を行うBOF処理部5を備えている。このBOF処理部5は、予測部11と、観測部12と、推定部13と、判定部14と、を備えている。なお、ECU3の各部は、メモリに記憶されたプログラムをプロセッサで実行することで実現される。
次に、第1実施形態に係るBOF処理部5で行われる基本的な処理について説明する。図2は、BOF処理部5で行われる基本的な処理の概要を示す模式図である。
BOFでは、対象エリア(例えば車両の前方)に、占有格子地図(Occupancy Grid Map)を設定する。この占有格子地図は、対象エリアを所定の大きさ(例えば10cm四方)のセルに分割したものである。
BOF処理部5では、各セル(各位置)における移動体(例えば人物)の占有確率および速度分布に関する情報を生成する。占有確率は、各セルに移動体が存在する確率(存在確率)である。速度分布は、各速度の確率(各方向に移動する確率)の分布状況を表すヒストグラム情報である。図2に示す例では、移動体が等速運動を行うものと想定して、あるセルに位置する移動体が、次の時刻に、そのセルに対して8方向(図中上方向、斜め右上方向、右方向、斜め右下方向、下方向、斜め左下方向、左方向、および斜め左上方向)で隣接するセルに移動するものとして、8方向の各速度の確率を取得する。
図1に示したように、予測部11では、推定部13で取得した時刻t−1(直前)における各セル(各位置)の推定情報P(Ot-1,Vt-1|Ct-1,Zt-1)に基づいて、時刻t(現時点)における各位置の占有確率および速度分布を予測して、時刻tにおける各位置の予測情報(Ot,Vt|Ct)を生成する。
観測部12では、複数のセンサの検出情報、すなわち、カメラ1の撮影画像およびミリ波レーダ2の測定データに基づいて、時刻t(現時点)における移動体の存在状況および移動状況に関する観測結果を取得して、時刻tにおける各セル(各位置)の観測情報P(Zt|Ct,Ot,Vt)を生成する。この観測情報には、移動体の存在状況に関する情報として、移動体が存在することに対する投票値が含まれ、また、移動状況に関する情報として、移動体の移動速度および移動方向が含まれる。また、この観測情報では、各センサの観測結果が統合される(センサフュージョン)。
推定部13では、予測部11で取得した予測情報P(Ot,Vt|Ct)と、観測部12で取得した観測情報P(Zt|Ct,Ot,Vt)とに基づいて、時刻t(現時点)における各セル(各位置)の占有確率および速度分布を推定して、時刻tにおける各セルの推定情報P(Ot,Vt|Ct,Zt)を生成する。具体的には、観測情報P(Zt|Ct,Ot,Vt)を重みとして、予測情報P(Ot,Vt|Ct)に対して重み付けを行うことで、推定情報P(Ot,Vt|Ct,Zt)を生成する。
判定部14では、推定部13で取得した推定情報P(Ot,Vt|Ct,Zt)、特に各セルの占有確率に基づいて、セルに移動体が存在するか否かを判定する。
次式は、BOFモデルを表す。この式に基づいて、時刻tにおける各セルの推定情報P(Ot,Vt|Ct,Zt)を取得する。
Figure 2020046762
ここで、Ctは、時刻t(現時点)におけるセル(注目セル)を表し、Ct-1は、時刻t−1(直前)におけるセル(先行セル)を表す。Vtは、時刻tにおける注目セルの速度を表し、Vt-1は、時刻t−1における先行セルの速度を表す。Otは、時刻tにおける注目セルの占有状態(占有または非占有)を表し、Ot-1は、時刻t−1における先行セルの占有状態(占有または非占有)を表し、OtおよびOt-1は、occ(占有)とemp(非占有)とのいずかとなる。Ztは、時刻tにおけるセンサの観測結果を表す。
また、P(Zt|Ct,Ot,Vt)は、時刻t(現時点)における各セル(注目セル)の観測情報であり、セルCt、占有状態Ot(占有または非占有)、および速度Vtの各条件を定義したときの条件付き確率である。この観測情報は観測部12において生成される。
また、総和Σの項は、時刻t(現時点)における各セル(注目セル)の予測情報(Ot,Vt|Ct)である。この予測情報は、予測部11で生成される。
P(Ot-1,Vt-1|Ct-1)は、時刻t−1(直前)における各セル(先行セル)の推定情報であり、次式のように表される。
P(Ot-1,Vt-1|Ct-1)=P(Vt-1|Ot-1,Ct-1)×P(Ot-1|Ct-1
ここで、P(Vt-1|Ot-1,Ct-1)は速度分布(各速度の確率)であり、P(Ot-1|Ct-1)は占有確率である。
P(Ct−1)は、時刻t−1(=0)における各セルの初期情報である。
P(Ct|Vt,Ct-1)は、等速運動の移動モデルを表し、今回の速度Vtで先行セルCt-1から注目セルCtに到達できるか否かに関する情報であり、到達可能な場合には1となり、到達不能な場合には0となる。
P(Vt|Vt-1,Ot)は、変速運動モデルを表す。本実施形態では、等速を前提とし、1とする。
P(Ot|Ot-1)は、等速運動の誤差モデルを表す。本実施形態では、誤差がないことを前提とし、単位行列とする。
次に、オクルージョンが発生した場合の精度低下について説明する。図3は、オクルージョンが発生した場合の精度低下を説明する模式図である。
人物などの移動体の手前に樹木などの遮蔽物があると、移動体が遮蔽物の影に隠れるオクルージョンが発生する。このとき、移動体が部分的に遮蔽物の影に隠れた状態になると、ミリ波レーダ2の検出情報からは移動体が認識されるにも拘わらず、カメラ1の撮影画像からは移動体を認識できなくなる。
図3に示す例では、時刻t−1におけるセルC1では、移動体(例えば人物)が遮蔽物の影に隠れるオクルージョンが発生していないため、カメラ1に基づく観測では、投票値(4)が大きくなり、ミリ波レーダ2に基づく観測でも、投票値(3)が大きくなる。このため、センサフュージョンにより各センサの投票値を加算した統合結果(7)が正の値となり、移動体が存在すると判定される。なお、投票値は、−5〜+5の値をとる。
一方、時刻tにおけるセルC2では、移動体が遮蔽物の影に隠れるオクルージョンが発生しているため、カメラ1の撮影画像に基づく物体認識で、移動体を認識し難くなり、ミリ波レーダ2に基づく観測では投票値(3)が大きくなるにも拘わらず、カメラ1に基づく観測では投票値(−4)が小さくなる。このため、センサフュージョンにより各センサの観測結果を統合する、具体的には、各センサの投票値を加算すると、統合結果(−1)が負の値となり、移動体が存在しないと判定され、誤検知が発生する。
そこで、本実施形態では、各センサの観測結果を補正して、オクルージョンが発生した場合に移動体の検知精度が低下することを改善する。
次に、第1実施形態に係るBOF処理部5で行われる処理について説明する。図4は、BOF処理部5で行われる処理の概要を示す模式図である。
本実施形態では、判定部14において、各セルに移動体が存在するか否かを判定し、その判定結果に基づいて、各セルでの移動体の有無に関する属性を、各セルの推定情報、特に速度分布の各速度に付与する。
すなわち、移動体(例えば人物)が存在すると判定されたセルでは、各速度に「移動体あり」の属性を付与する。また、移動体が存在しないと判定されたセルでは、各速度に「移動体なし」の属性を付与する。
予測部11では、時刻t−1における先行セルから時刻tにおける注目セルに到達可能な速度の確率および属性(移動体あり、移動体なし)を注目セルに伝える。すなわち、先行セルから注目セルに到達可能な速度の確率に先行セルの占有確率を乗算した値を、注目セルにおける該当する方向の速度の確率に設定する。また、先行セルにおいて速度に付与された属性を、注目セルにおける該当する方向の速度に付与する。
観測部12では、センサフュージョンにより各センサ(カメラ1およびミリ波レーダ2)の観測結果を統合して、注目セルの観測結果を取得する。このとき、一部のセンサで移動体を認識できない場合には、予測情報において属性が「移動体あり」となる速度の確率と、属性が「移動体なし」となる速度の確率とに基づいて、観測結果を補正する。
推定部13では、注目セルの観測結果を重みとして、予測された注目セルの占有確率および速度分布に対して重み付けをして、注目セルの占有確率および速度分布を推定する。具体的には、予測された注目セルの占有確率に、注目セルの観測結果を乗算して、重みづけされた占有確率を取得し、予測された注目セルにおける各速度の確率に、注目セルの観測結果を乗算して、各速度の重みづけされた確率を取得する。
図4に示す例では、時刻t−1における先行セルC1から時刻tにおける注目セルCaに、図中右向きの速度で到達できる。また、時刻T−1における先行セルC2から時刻tにおける注目セルCaに、図中右上向きの速度で到達できる。また、先行セルC1では、移動体が存在すると判定されたため、「移動体あり」の属性が速度に付与されている。また、先行セルC2では移動体が存在しないと判定されたため、「移動体なし」の属性が速度に付与されている。
この場合、先行セルC1の右向きの速度の確率(1.0)と、右向きの速度に付与された属性(移動体あり)と、占有確率(0.8)とが、先行セルC1から注目セルCaに伝えられる。また、先行セルC2の右上向きの速度の確率(1.0)と、右上向きの速度に付与された属性(移動体なし)と、占有確率(0.1)とが、先行セルC2から注目セルCaに伝えられる。
ここで、本実施形態では、先行セルC1から注目セルCaに伝えられる右向きの速度に付与された属性が「移動体あり」であるため、速度の確率(1.0)と、占有確率(0.8)とを乗算した値(1.0×0.8=0.8)を、注目セルCaにおける該当する方向の速度の確率に設定するとともに、その速度に「移動体あり」の属性を付与する。
また、先行セルC2から注目セルCaに伝えられる右上向きの速度に付与された属性が「移動体なし」であるため、速度の確率(1.0)と、占有確率(0.1)とを乗算した値(1.0×0.1=0.1)を、注目セルCaにおける該当する方向の速度の確率に設定するとともに、その速度に「移動体なし」の属性を付与する。
一方、時刻tにおける注目セルCaでは、移動体が遮蔽物の影に隠れるオクルージョンが発生しているため、カメラ1の撮影画像に基づく物体認識で、移動体を認識し難くなり、ミリ波レーダ2に基づく観測では投票値が大きくなるが(3)、カメラ1に基づく観測では投票値(1/4)が小さくなる。
ここで、本実施形態では、各センサで移動体を認識できたか否かを判定し、一部のセンサで移動体を認識できなかった場合に、注目セルの観測結果を補正する。
具体的には、ミリ波レーダ2に基づく観測では移動体を認識できたが、カメラ1に基づく観測では移動体を認識できなかったため、注目セルの観測結果を補正する。このとき、まず、センサフュージョンにより各センサの観測結果(投票値)を統合する。本実施形態では、カメラ1に基づく観測での投票値(1/4)と、ミリ波レーダ2に基づく観測での投票値(3)とを乗算して、統合結果(1/4×3=3/4)を得る。
また、属性が「移動体あり」となる速度の確率(0.8)と、属性が「移動体なし」となる速度の確率(0.1)との比率である速度成分比率νを求める。この速度成分比率νは、次式のように定義される。
ν=速度の確率(移動体あり)/速度の確率(移動体なし)
次に、次式のように、統合結果としての投票値(1/4×3=3/4)に、速度成分比率ν(0.8/0.1=8)を乗算して、投票値を補正し、補正された投票値を得る。
補正された投票値=(0.8/0.1)×1/4×3=6
このような補正を行うことにより、補正された投票値は大きな値となり、移動体が存在すると判定され、誤検知を避けることができる。
次に、第1実施形態に係るBOF処理部5で行われる処理の手順について説明する。図5は、BOF処理部5で行われる処理の手順を示すフロー図である。
BOF処理部5では、まず、時刻t=0における各セルの占有確率および速度分布を初期化する(ST101)。次に、時刻tを1増分する(ST102)。
次に、予測部11において、時刻t−1(直前)における各セル(先行セル)の推定情報P(Ot-1,Vt-1|Ct-1)に基づいて、時刻tにおける各セル(注目セル)の占有確率および速度分布を予測して、時刻t(現時点)における各セル(注目セル)の予測情報P(Ot,Vt|Ct)を生成する(ST103)。
次に、観測部12において、第1のセンサの観測結果、すなわち、カメラ1の撮影画像に基づく観測結果を取得する(ST104)。また、第2のセンサの観測結果、すなわち、ミリ波レーダ2の測定データに基づく観測結果を取得する(ST105)。
次に、観測部12において、第1のセンサの観測結果と第2のセンサの観測結果とを統合して(センサフュージョン)、時刻tにおける観測情報P(Zt|Ct,Ot,Vt)を生成する(ST106)。このとき、時刻tにおける各センサの観測結果を乗算して、注目セルの観測結果を取得する。また、複数のセンサの一部で移動体を認識できない場合には、属性が「移動体あり」となる速度の確率を、各センサの観測結果の積に乗算して、観測結果を補正する(対数の重み付き投票)。
次に、推定部13において、ST103で取得した時刻tにおける注目セルの予測情報P(Ot,Vt|Ct)と、ST105で取得した時刻tにおける注目セルの観測情報P(Zt|Ct,Ot,Vt)とに基づいて、時刻tにおける注目セルの推定情報P(Ot,Vt|Ct,Zt)を取得する(ST107)。
次に、判定部14において、ST107で取得した時刻tにおける注目セルの推定情報P(Ot,Vt|Ct,Zt)、特に各セルの占有確率に基づいて、各セルに移動体が存在するか否かを判定する(ST108)。このとき、セルの占有確率が所定のしきい値(例えば0.5)以上となる場合に、セルに移動体が存在すると判定し、注目セルの占有確率がしきい値未満である場合には、注目セルに移動体が存在しないものと判定する。
次に、判定部14において、各セルに移動体が存在するか否かに関する判定結果に基づいて、各セルの各速度に属性を付与する(ST109)。このとき、セルに移動体が存在するものと判定された場合には、全ての速度に「移動体あり」の属性を付与し、注目セルに移動体が存在しないものと判定された場合には、全ての速度に「移動体なし」の属性を付与する。
以上の処理(ST102〜ST109)が、終了指示があるまで(ST110でYes)、繰り返される。このとき、ST109で取得した属性情報を含む推定情報P(Ot,Vt|Ct,Zt)が、次の時刻に関するST103以降の処理に用いられる。
次に、第1実施形態に係るBOF処理部5で行われる初期化処理(図5のST101)について説明する。図6は、初期化処理の概要を示す模式図である。
BOF処理部5では、処理を開始した際に、まず、全てのセルの占有確率および速度分布を初期化する。本実施形態では、速度分布(各速度の確率)を一様分布に初期化する。具体的には、次式のように、各速度の確率を所定値(α)に設定する。
P(Vt-1|Ot-1,Ct-1)=α
また、占有確率を初期化する。具体的には、次式のように、占有確率を所定値(0.5)に設定する。
P(Ot-1|Ct-1)=0.5
次に、第1実施形態に係る予測部11で行われる処理(図5のST103)について説明する。図7、図8、図9は、予測部11で行われる処理の概要を示す模式図である。
予測部11では、時刻t−1における各セル(先行セル)の占有確率および速度分布(各速度の確率)に基づいて、時刻tにおける各セル(注目セル)の占有確率および速度分布を予測する。
このとき、先行セルから注目セルに到達可能な速度に関する情報を先行セルから注目セルに伝えて、注目セルの占有確率および速度分布を求める。具体的には、先行セルから注目セルに到達可能な速度の確率に先行セルの占有確率を乗算した値を、注目セルにおける該当する方向の速度の確率に設定する。また、先行セルにおいて速度に付与された属性(移動体の有無)を、注目セルにおける該当する方向の速度に付与する。また、注目セルにおける各速度の確率を加算して、注目セルの占有確率を求める。以下、図7、図8、図9に示す具体例について説明する。
図7に示すように、時刻t−1における先行セルC1には、占有確率(0.8)および速度分布(各速度の確率)が設定されている。また、先行セルC1に移動体が存在するものと判定されて、先行セルC1の各速度には、「移動体あり」の属性が付与されている。
ここで、図中右上向きの速度により先行セルC1から注目セルCaに到達できるため、右上向きの速度に関する情報を先行セルC1から注目セルCaに伝える。このとき、先行セルC1の占有確率(0.8)と、該当する速度の確率(0.3)とを乗算して、注目セルCaにおける該当する速度の確率(0.8×0.3=0.24)を求める。また、先行セルC1における右上向きの速度の属性(移動体あり)を、注目セルCaにおける該当する速度に付与する。
また、図8に示すように、時刻t−1における先行セルC2では、占有確率(0.2)および速度分布(各速度の確率)が設定されている。また、移動体が存在しないものと判定されて、先行セルC2の各速度には、「移動体なし」の属性が付与されている。
ここで、右向きの速度により先行セルC2から注目セルCaに到達できるため、右向きの速度に関する情報を先行セルC2から注目セルCaに伝える。このとき、先行セルC2の占有確率(0.2)と、該当する速度の確率(0.1)とを乗算して、注目セルCaにおける該当する速度の確率(0.2×0.1=0.02)を求める。また、先行セルC2における右向きの速度の属性(移動体なし)を、注目セルCaにおける該当する速度に付与する。
このようにして、各先行セルC1,C2...において注目セルCaに到達可能な速度の情報を注目セルCaに伝えることで、図9に示すように、注目セルCaにおける各方向の速度に確率および属性を設定する。また、各速度の確率を加算することで、注目セルCaの占有確率を求める。
なお、本実施形態では、速度に属性(移動体の有無)を付与するようにしたが、一般的なBOFでは、速度に属性は付与されない。
次に、第1実施形態に係る予測部11で行われる処理(図5のST103)の手順について説明する。図10、図11は、予測部11で行われる処理の手順を示すフロー図である。
図10に示すように、予測部11では、まず、時刻tにおける注目セルCt(n1)を選択する(ST201)。なお、n1は、セルの識別子(番号)である。次に、時刻tにおける占有状態Ot(n2)を選択する(ST202)。なお、n2は、占有状態(占有または非占有)の識別子(番号)である。次に、時刻tにおける速度Vt(n3)を選択する(ST203)。なお、n3は、速度の識別子(番号)である。
次に、選択した注目セルCt(n1)、占有状態Ot(n2)、および速度Vt(n3)に応じた予測情報P(Ot,Vt|Ct)を取得する(ST204)。具体的には、BOFモデルの以下の項を演算する。
Figure 2020046762
次に、n3が最大値(MAX)であるか否かを判定する(ST205)。ここで、n3が最大値でない場合には(ST205でNo)、n3を1増分して(ST207)、ST203に戻り、次の速度の処理を行う。
一方、n3が最大値である場合には(ST205でYes)、n3を0に初期化する(ST206)。次に、n2が最大値(MAX)であるか否かを判定する(ST208)。ここで、n2が最大値でない場合には(ST208でNo)、n2を1増分して(ST210)、ST202に戻り、次の占有状態(占有または非占有)の処理を行う。
一方、n2が最大値である場合には(ST208でYes)、n2を0に初期化する(ST209)。次に、n1が最大値(MAX)であるか否かを判定する(ST211)。ここで、n1が最大値でない場合には(ST211でNo)、n1を1増分して(ST213)、ST101に戻り、次のセルを注目セルに設定して処理を行う。
一方、n1が最大値である場合には(ST211でYes)、n1を0に初期化する(ST212)。
ST204では、図11に示すように、まず、時刻t−1における対象となる先行セルCt-1(n4)を、注目セルの周辺のセルの中から選択する(ST301)。なお、n1は、セルの識別子(番号)である。また、等速運動の場合には、注目セルに8方向で隣接するセルが先行セルとなる。次に、時刻t−1における占有状態Ot-1(n5)を選択する(ST302)。なお、n5は、占有状態(占有または非占有)の識別子(番号)である。次に、時刻t−1における速度Vt-1(n6)を選択する(ST303)。なお、n6は、速度の識別子(番号)である。
次に、選択した先行セルCt-1(n4)、占有状態Ot-1(n5)、および速度Vt-1(n6)に応じたBOFモデルの各項、すなわち、P(Ct-1)、P(Ct|Vt,Ct-1)、P(Ot-1,Vt-1|Ct-1)、P(Vt|Vt-1,Ot)、およびP(Ot|Ot-1)を演算する(ST304)。
次に、n6が最大値(MAX)であるか否かを判定する(ST305)。ここで、n6が最大値でない場合には(ST305でNo)、n6を1増分して(ST307)、ST303に戻り、次の速度の処理を行う。
一方、n6が最大値である場合には(ST305でYes)、n6を0に初期化する(ST306)。次に、n5が最大値(MAX)であるか否かを判定する(ST308)。ここで、n5が最大値でない場合には(ST308でNo)、n5を1増分して(ST310)、ST302に戻り、次の占有状態(占有または非占有)の処理を行う。
一方、n5が最大値である場合には(ST308でYes)、n5を0に初期化する(ST309)。次に、n4が最大値(MAX)であるか否かを判定する(ST311)。ここで、n4が最大値でない場合には(ST311でNo)、n4を1増分して(ST313)、ST301に戻り、次のセルを対象となる先行セルに設定して処理を行う。
一方、n4が最大値である場合には(ST311でYes)、n4を0に初期化する(ST312)。
次に、ST304で取得したBOFモデルの各項の積の総和を演算する(ST314)。
次に、第1実施形態に係る観測部12で行われる処理について説明する。図12は、センサモデルを示す模式図である。
観測部12では、各センサの検出情報、すなわち、カメラ1の撮影画像およびミリ波レーダ2の測定データに基づいて、現在の移動体の位置を取得して、その移動体の位置に基づいて、時刻tにおける各セルの観測情報P(Zt|Ct,Ot,Vt)を生成する。
本実施形態では、図12に示す特性のセンサモデルを採用し、このセンサモデルに基づいて、各センサの観測結果として、セルが移動体に占有されている確率P(Zt,k|Ct,Ot=occ)と、セルが移動体に占有されていない確率P(Zt,k|Ct,Ot=emp)との比率(図4に示した投票値に相当し、以下、観測比率と呼称する。)を算出する。なお、このセンサモデルは、センサ(カメラ1およびミリ波レーダ2)ごとに設定される。
このセンサモデルでは、センサの検出情報から計測された移動体の位置を中心にした正規分布により、センサの観測結果が各セルに割り当てられ、次式のように、各セルの観測比率が算出される。
Figure 2020046762
ここで、kは、センサの識別子(番号)である。
また、FN/TNおよびTP/FPは、センサの誤差特性を表すものであり、初期値(定数)として与えられる。FN(False Negative)は、移動体が存在する状態で移動体を認識しない場合のスコアであり、TN(True Negative)は、移動体が存在しない状態で移動体を認識しない場合のスコアであり、TP(True Positive)は、移動体が存在する状態で移動体を認識した場合のスコアであり、FP(False Positive)は、移動体が存在しない状態で移動体を認識した場合のスコアである。
また、ηは、センサのTP情報の信頼度を表すものであり、ηが大きいほどTP情報の信頼度が高い。η×TP/FPは、センサの検出情報から計測された移動体の中心位置にあるセルの観測比率Zとなる。
また、xは、セルの位置を表す。μは、センサの検出情報から計測された移動体の中心位置(計測値)である。σは、標準偏差である。
なお、図12に示すセンサモデルは一例であり、このようなセンサモデルに限定されるものではなく、種々のセンサモデルを採用することができる。
また、環境に応じてセンサモデルを変更するようにしてもよい。例えば、オクルージョンが発生した場合には、本来は移動体を認識できないため、オクルージョンが発生したことを検知すると、移動体が存在することを表すスコアが小さくなるようなセンサモデルに変更するようにしてもよい。
このようにして、各センサの観測結果を取得すると、次に、各センサの観測結果を統合する(センサフュージョン)。このとき、各センサの観測結果である観測比率Zkを乗算して、統合された観測比率Zを取得する。特に本実施形態では、移動体を認識できなかったセンサがある場合には、次式のように、各センサの観測結果である観測比率Zkを乗算したものに、さらに速度成分比率νを乗算して、観測比率Zを取得する。
Z=ν×Z1×Z2
ここで、速度成分比率νは、属性が「移動体あり」となる速度の確率と、属性が「移動体なし」となる速度の確率との比率であり、次式のように定義される。
ν=速度の確率(移動体あり)/速度の確率(移動体なし)
このとき、属性(移動体あり、移動体なし)が同一となる速度の方向が複数ある場合には、各方向の速度の確率を加算する。例えば、図9に示した例では、属性が「移動体なし」となる速度の方向が複数あり、速度成分比率νは、次式のようになる。
ν=0.24/(0.05+0.02+0.03)=24
また、このように各方向の速度の確率を加算するため、速度成分比率νの算出式の分母、すなわち、属性が「移動体なし」となる速度の確率が0となることはない。
次に、第1実施形態に係る観測部12で行われる処理について説明する。図13は、観測部12で行われる処理(図5のST104,ST105,ST106)の手順を示すフロー図である。
観測部12では、図5に示したように、第1のセンサの観測結果を取得し(ST104)、また、第2のセンサの観測結果を取得して(ST105)、第1のセンサの観測結果と第2のセンサの観測結果とを統合して(センサフュージョン)、時刻tにおける観測情報P(Zt|Ct,Ot,Vt)を生成する(ST106)。
第1のセンサの観測結果を取得する処理(図5のST104)では、図13(A)に示すように、まず、カメラ1(第1のセンサ)の撮影画像(検出情報)を取得する(ST401)。次に、カメラ1の撮影画像に対する物体認識により移動体を認識する(ST402)。次に、移動体の認識結果から、移動体の位置を、セル座標(車両座標系における座標)で取得する(ST403)。次に、移動体の位置に基づいて、第1のセンサに関する観測比率Z1(観測結果)を算出する(ST404)。
また、第2のセンサの観測結果を取得する処理(図5のST105)では、図13(B)に示すように、まず、ミリ波レーダ2(第2のセンサ)の測定データ(検出情報)を取得する(ST411)。次に、ミリ波レーダ2の測定データに対する物体認識により移動体を認識する(ST412)。次に、移動体の認識結果から、移動体の位置を、セル座標(車両座標系における座標)で取得する(ST413)。次に、移動体の位置と、センサモデル(図12参照)とに基づいて、第2のセンサに関する観測比率Z2(観測結果)を算出する(ST414)。
また、第1のセンサの観測結果と第2のセンサの観測結果とを統合する処理(図5のST106)では、図13(C)に示すように、まず、各セルにおいて、移動体を認識できなかったセンサがあるか否かを判定する(ST421)。
ここで、移動体を認識できなかったセンサがある場合には(ST421でYes)、予測部11で取得した時刻tにおける注目セルの予測情報P(Ot,Vt|Ct)、特に予測された速度分布から、属性が「移動体あり」となる速度の確率と、属性が「移動体なし」となる速度の確率とを取得して、次式のように、属性が「移動体あり」となる速度の確率と、属性が「移動体なし」となる速度の確率との比率である速度成分比率νを算出する(ST422)。
ν=速度の確率(移動体あり)/速度の確率(移動体なし)
次に、速度成分比率νと、各センサに関する観測比率Z1,Z2と、に基づいて、注目セルの観測比率Zを算出する(ST423)。具体的には、次式のように、速度成分比率νと、観測比率Z1と、観測比率Z2とを乗算して、観測比率Zを算出する。
Z=ν×Z1×Z2
一方、移動体を認識できなかったセンサがない、すなわち、全てのセンサで移動体を認識できた場合には(ST421でNo)、各センサに関する観測比率Z1,Z2に基づいて、注目セルの観測比率Zを算出する(ST424)。具体的には、次式のように、観測比率Z1と観測比率Z2とを乗算して、注目セルの観測比率Zを算出する。
Z=Z1×Z2
なお、一般的なBOFでは、移動体を認識できなかったセンサがあるか否かに関する判定(ST101)は行われず、各センサに関する観測比率Z1,Z2を乗算して、注目セルの観測比率Zを求める(Z=Z1×Z2)。
次に、第1実施形態に係る推定部13で行われる処理(図5のST107)について説明する。図14は、推定部13で行われる処理の手順を示すフロー図である。
推定部13では、予測部11で取得した時刻tにおける注目セルの予測情報P(Ot,Vt|Ct)と、観測部12で取得した時刻tにおける注目セルでの観測情報P(Zt|Ct,Ot,Vt)とに基づいて、時刻tにおける注目セルの占有確率および速度分布を推定して、時刻tにおける注目セルの推定情報P(Ot,Vt|Ct,Zt)を取得する。
具体的には、まず、観測部12の観測結果である観測比率Zを重みとして、予測された占有確率P(Ot|Ct)に対して重みづけを行う(ST501)。具体的には、次式のように、観測比率Z(重み)と、予測された占有確率P(Ot=occ|Ct)とを乗算して、重みづけされた占有確率P(Ot=occ|Ct)を算出する。
P(Ot=occ|Ct-1)=Z×P(Ot=occ|Ct-1
次に、重みづけされた占有確率P(Ot|Ct)に対して正規化を行う(ST502)。具体的には、次式のように、正規化された占有確率P(Ot=occ|Ct)および非占有確率P(Ot=emp|Ct)を求める。
P(Ot=occ|Ct
=P(Ot=occ|Ct)/(P(Ot=occ|Ct)+P(Ot=emp|Ct))
P(Ot=emp|Ct
=P(Ot=emp|Ct)/(P(Ot=occ|Ct)+P(Ot=emp|Ct))
この正規化により、占有確率P(Ot=occ|Ct)と非占有確率P(Ot=emp|Ct)との合計を1とすることができる。
次に、第1実施形態に係る判定部14で行われる処理(図5のST108,ST109)について説明する。図15は、判定部14で行われる処理の概要を示す模式図である。
判定部14では、推定部13で取得した各セルの推定情報、特に注目セルの占有確率に基づいて、各セルに移動体が存在するか否かを判定する。また、判定部14では、各セルに移動体が存在するか否かの判定結果に基づいて、各位置での移動体の存在状況に関する属性を、各セルの推定情報に付与する。特に本実施形態では、移動体の有無に関する属性を、速度分布の各速度に付与する。
具体的には、注目セルの占有確率が所定のしきい値(例えば0.5)以上である場合には、注目セルに移動体が存在するものとして、全ての速度に「移動体あり」の属性を付与する。一方、注目セルの占有確率がしきい値未満である場合には、注目セルに移動体が存在しないものとして、全ての速度に「移動体なし」の属性を付与する。
図15に示す例では、セルC1において、占有確率(0.8)がしきい値(0.5)以上であるため、速度分布の全ての速度に「移動体あり」の属性を付与する。一方、セルC2では、占有確率(0.2)がしきい値(0.5)未満であるため、全ての速度に「移動体なし」の属性を付与する。
(第2実施形態)
次に、第2実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。
まず、オクルージョンが発生した場合の精度低下について説明する。図16は、オクルージョンが発生した場合の精度低下を説明する模式図である。
カメラ1の撮影画像に対する画像認識により移動体の属性を判定する。このとき、人物などの移動体が遮蔽物の影に隠れるオクルージョンが発生すると、移動体の種類の判定が難しくなり、移動体の種類を誤判定する場合がある。
図16に示す例では、時刻t−1におけるセルC1では、移動体が遮蔽物の影に隠れるオクルージョンが発生していないため、実際に存在する人物に関する認識スコア(認識結果の確からしさを表す評価値)が大きくなり(0.8)、実際に存在しない車両に関する認識スコア(0.1)は小さくなるため、移動体を人物と正しく認識される。
一方、時刻tにおけるセルC2では、移動体が遮蔽物の影に隠れるオクルージョンが発生しているため、カメラ1の撮影画像に基づく物体認識で、移動体を認識し難くなり、人物に関する認識スコア(0.3)が小さくなる。このとき、人物に関する認識スコアが車両に関する認識スコア(0.5)より小さくなると、車両と誤認識される。
そこで、本実施形態では、以下に説明するように、センサの検出情報に基づく物体認識の認識結果を補正して、オクルージョンが発生した場合に移動体の認識精度が低下することを改善する。
次に、第2実施形態に係るBOF処理部5で行われる処理について説明する。図17は、BOF処理部5で行われる処理の概要を示す模式図である。
本実施形態では、判定部14において、各セルに移動体が存在するか否かを判定し、その判定結果と、観測部12での移動体の種類に関する認識結果とに基づいて、各セルでの移動体の有無および種類に関する属性を、各セルの推定情報、特に速度分布の各速度に付与する。
すなわち、人物が存在すると判定されたセルでは、各速度に「人物あり」の属性を付与する。また、車両が存在すると判定されたセルでは、各速度に「車両あり」の属性を付与する。また、移動体が存在しないと判定されたセルでは、各速度に「移動体なし」の属性を付与する。
予測部11では、時刻t−1における先行セルから時刻tにおける注目セルに到達可能な速度の確率および属性(人物あり、車両あり、移動体なし)を注目セルに伝える。すなわち、先行セルから注目セルに到達可能な速度の確率に先行セルの占有確率を乗算した値を、注目セルにおける該当する方向の速度の確率に設定する。また、先行セルにおいて速度に付与された属性を、注目セルにおける該当する方向の速度に付与する。
観測部12では、物体認識により移動体の種類ごとの認識スコアを取得して、その種類ごとの認識スコアを、予測情報において移動体の種類が一致する属性が付与された速度の確率に基づいて補正して、補正された種類ごとの認識スコアに基づいて、移動体の種類を判定する。具体的には、人物に関する認識スコアに、属性が「人物あり」となる速度の確率を乗算して、人物に関する認識スコアを補正する。また、車両に関する認識スコアに、属性が「車両あり」となる速度の確率を乗算して、車両に関する認識スコアを補正する。そして、補正された人物に関する認識スコアと車両に関する認識スコアとを比較して、移動体の種類を判定する。
図17に示す例では、時刻t−1における先行セルC1から時刻tにおける注目セルCaに、図中右向きの速度で到達できる。また、時刻T−1における先行セルC2から時刻tにおける注目セルCaに、図中右上向きの速度で到達できる。また、先行セルC1では、人物が存在すると判定されたため、「人物あり」の属性が速度に付与されている。また、先行セルC2では車両が存在すると判定されたため、「車両あり」の属性が速度に付与されている。
この場合、先行セルC1の右向きの速度の確率(1.0)と、右向きの速度に付与された属性(人物あり)と、占有確率(0.8)とが、先行セルC1から注目セルCaに伝えられる。また、先行セルC2の右上向きの速度の確率(0.2)と、右上向きの速度に付与された属性(車両あり)と、占有確率(0.8)とが、先行セルC2から注目セルCaに伝えられる。
ここで、本実施形態では、先行セルC1から注目セルCaに伝えられる右向きの速度に付与された属性が「人物あり」であるため、速度の確率(1.0)と、占有確率(0.8)とを乗算した値(1.0×0.8=0.8)を、注目セルCaにおける該当する方向の速度の確率に設定するとともに、その速度に「人物あり」の属性を付与する。
また、先行セルC2から注目セルCaに伝えられる右上向きの速度に付与された属性が「車両あり」であるため、速度の確率(0.2)と、占有確率(0.8)とを乗算した値(0.2×0.8=0.16)を、注目セルCaにおける該当する方向の速度の確率に設定するとともに、その速度に「車両あり」の属性を付与する。
一方、時刻tにおける注目セルCaでは、移動体が遮蔽物の影に隠れるオクルージョンが発生しているため、カメラ1の撮影画像に基づく物体認識で、移動体を認識し難くなり、人物に関する認識スコア(0.3)が車両に関する認識スコア(0.5)より小さくなる。
ここで、本実施形態では、人物に関する認識スコア(0.3)に、属性が「人物あり」となる速度の確率(0.8)を乗算して、人物に関する認識スコアを補正する(0.3×0.8=0.24)。また、車両に関する認識スコア(0.5)に、属性が「車両あり」となる速度の確率(0.16)を乗算して、車両に関する認識スコアを補正する(0.5×0.16=0.08)。
このような補正により、人物に関する認識スコア(0.24)が車両に関する認識スコア(0.08)より大きくなり、人物と正しく判定される。
次に、第2実施形態に係る予測部11で行われる処理(図5のST103)について説明する。図18、図19、図20は、予測部11で行われる処理の概要を示す模式図である。
予測部11では、時刻t−1における各セル(先行セル)の占有確率および速度分布(各速度の確率)に基づいて、時刻tにおける各セル(注目セル)の占有確率および速度分布を予測する。特に、本実施形態では、速度に属性(人物あり、車両あり、移動体なし)が付与され、この属性を各速度の確率と共に、先行セルから注目セルに伝える。以下、図18、図19、図20に示す具体例について説明する。
図18に示すように、時刻t−1における先行セルC1には、占有確率(0.8)および速度分布(各速度の確率)が設定されている。また、先行セルC1に人物が存在するものと判定されて、先行セルC1の各速度には、「人物あり」の属性が付与されている。
ここで、図中右上向きの速度により先行セルC1から注目セルCaに到達できるため、右上向きの速度に関する情報を先行セルC1から注目セルCaに伝える。このとき、先行セルC1の占有確率(0.8)と、該当する速度の確率(0.3)とを乗算して、注目セルCaにおける該当する速度の確率(0.8×0.3=0.24)を求める。また、先行セルC1における右上向きの速度の属性(人物あり)を、注目セルCaにおける該当する速度に付与する。
また、図19に示すように、時刻t−1における先行セルC2では、占有確率(0.8)および速度分布(各速度の確率)が設定されている。また、車両が存在するものと判定されて、先行セルC2の各速度には、「車両あり」の属性が付与されている。
ここで、右向きの速度により先行セルC2から注目セルCaに到達できるため、右向きの速度に関する情報を先行セルC2から注目セルCaに伝える。このとき、先行セルC2の占有確率(0.8)と、該当する速度の確率(0.1)とを乗算して、注目セルCaにおける該当する速度の確率(0.8×0.1=0.08)を求める。また、先行セルC2における右向きの速度の属性(車両あり)を、注目セルCaにおける該当する速度に付与する。
このようにして、各先行セルC1,C2...において注目セルCaに到達可能な速度の情報を注目セルCaに伝えることで、図20に示すように、注目セルCaにおける各方向の速度に確率および属性を設定する。また、各速度の確率を加算することで、注目セルCaの占有確率を求める。
次に、第2実施形態に係る観測部12で行われる処理(図5のST104,ST105,ST106)について説明する。図21は、観測部12で行われる処理の手順を示すフロー図である。なお、第2実施形態に係るBOF処理部5における全体的な処理の手順は、第1実施形態(図5参照)と同様である。
観測部12では、図5に示したように、第1のセンサの観測結果を取得し(ST104)、また、第2のセンサの観測結果を取得して(ST105)、第1のセンサの観測結果と第2のセンサの観測結果とを統合して(センサフュージョン)、時刻tにおける観測情報P(Zt|Ct,Ot,Vt)を生成する(ST106)。
第1のセンサの観測結果を取得する処理(図5のST104)では、図21(A)に示すように、まず、カメラ1(第1のセンサ)の撮影画像(検出情報)を取得する(ST401)。次に、カメラ1の撮影画像に対する物体認識により移動体を認識する(ST402)。次に、移動体の認識結果から、移動体の位置を、セル座標(車両座標系における座標)で取得する(ST403)。次に、カメラ1の撮影画像に対する物体認識において、同じ位置で複数の種類の移動体を認識した場合に、その位置に存在する移動体の種類を1つに決定する(ST405)。次に、移動体の位置に基づいて、第1のセンサに関する観測比率Z1(観測結果)を算出する(ST404)。
ST405では、まず、図21(B)に示すように、まず、予測部11で取得した時刻tにおける注目セルの予測情報P(Ot,Vt|Ct)、特に、予測された速度分布から、属性ごとの速度の確率を取得する(ST431)。次に、属性ごとの速度の確率と、物体認識で取得した移動体ごとの認識スコア(認識結果の確からしさを表す値)とに基づいて、移動体ごとの認識スコアを補正する(ST432)。具体的には、移動体ごとの認識スコアに、その認識した移動体の種類と一致する属性が付与された速度の確率を乗算して、移動体ごとの認識スコアを補正する。次に、移動体ごとの認識スコアを比較して、移動体の種類を決定する(ST433)。
また、第2のセンサの観測結果を取得する処理(図5のST105)では、図21(C)に示すように、まず、ミリ波レーダ2(第2のセンサ)の測定データ(検出情報)を取得する(ST411)。次に、ミリ波レーダ2の測定データに対する物体認識により移動体を認識する(ST412)。次に、移動体の認識結果から、移動体の位置を、セル座標(車両座標系における座標)で取得する(ST413)。次に、移動体の位置と、センサモデル(図12参照)とに基づいて、第2のセンサに関する観測比率Z2(観測結果)を算出する(ST414)。
また、第1のセンサの観測結果と第2のセンサの観測結果とを統合する処理(図5のST106)では、図21(D)に示すように、各センサに関する観測比率Z1,Z2に基づいて、注目セルの観測比率Zを算出する(ST424)。具体的には、次式のように、観測比率Z1と観測比率Z2とを乗算して、注目セルの観測比率Zを算出する。
Z=Z1×Z2
次に、第2実施形態に係る判定部14で行われる処理(図5のST108,ST109)について説明する。図22は、判定部14で行われる処理の概要を示す模式図である。
判定部14では、推定部13で取得した各セルの占有確率に基づいて、各セルに移動体が存在するか否かを判定して、その判定結果と、観測部12で取得した移動体の種類とに基づいて、移動体の有無および種類に関する属性を、各セルの各速度に付与する。
具体的には、注目セルの占有確率が所定のしきい値(例えば0.5)以上である場合には、注目セルに移動体が存在するものと判定して、観測部12で取得した移動体の種類に応じて、全ての速度に「人物あり」または「車両あり」の属性を付与する。また、注目セルの占有確率がしきい値未満である場合には、注目セルに移動体が存在しないものと判定して、全ての速度に「移動体なし」の属性を付与する。
図22に示す例では、セルC1において、カメラ1の撮影画像による物体認識により「人物」との認識結果が得られ、また、占有確率(0.8)がしきい値(0.5)以上であるため、速度分布の全ての速度に「人物あり」の属性を付与する。一方、セルC2では、カメラ1の撮影画像による物体認識により「車両」との認識結果が得られ、また、占有確率(0.8)がしきい値(0.5)以上であるため、全ての速度に「車両あり」の属性を付与する。
以上で具体的実施形態の説明を終えるが、本発明は上記実施形態に限定されることなく幅広く変形実施することができる。例えば、上記実施形態では、一例として、カメラ1およびミリ波レーダ2の2つのセンサを設けたが、このセンサは移動体を検出可能なものであれば特に限定されるものではなく、その他のセンサとして、例えばLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)を設けるようにしてもよい。また、本実施形態では、検出特性が異なる複数のセンサを設ければよく、検出原理が同一でも検出特性が異なるように設定されたセンサを複数設けるようにしてもよい。
また、上記実施形態では、各位置における移動体の存在状況を、BOFを用いて解析するようにしたが、解析のアルゴリズムはBOFに限定されるものではなく、各位置における各時刻の占有確率および速度分布を取得できるものであればよい。
1 カメラ(第1のセンサ)
2 ミリ波レーダ(第2のセンサ)
3 ECU(移動体検知装置)
5 BOF処理部
11 予測部
12 観測部
13 推定部
14 判定部

Claims (5)

  1. センサの検出情報に基づいて、対象エリアに存在する移動体を検知する移動体検知装置であって、
    直前の各位置における移動体の占有確率および速度分布を表す推定情報に基づいて、現時点の各位置における移動体の占有確率および速度分布を表す予測情報を生成する予測部と、
    前記センサの検出情報に基づいて、現時点の各位置における移動体の存在状況および移動状況に関する観測情報を生成する観測部と、
    前記予測情報および前記観測情報に基づいて、現時点の各位置における移動体の占有確率および速度分布を表す推定情報を生成する推定部と、
    現時点の前記推定情報に基づいて、各位置に移動体が存在するか否かを判定する判定部と、
    を備え、
    前記判定部は、各位置に移動体が存在するか否かの判定結果に基づいて、各位置での移動体の存在状況に関する属性を、各位置での前記推定情報に付与し、
    前記予測部は、前回の前記推定情報に含まれる属性に基づいて、前記予測情報に属性を付与し、
    前記観測部は、前記予測情報に含まれる属性に基づいて、前記観測情報を補正することを特徴とする移動体検知装置。
  2. 前記判定部は、各位置に移動体が存在するか否かの判定結果に基づいて、移動体の有無に関する属性を、前記推定情報における速度分布の各速度に付与し、
    前記観測部は、検出特性が異なる複数の前記センサの一部で移動体を認識できない場合に、前記予測情報において移動体が存在するとの属性が付与された速度の確率に基づいて、前記観測情報を補正することを特徴とする請求項1に記載の移動体検知装置。
  3. 複数の前記センサは、カメラおよびミリ波レーダであることを特徴とする請求項2に記載の移動体検知装置。
  4. 前記判定部は、前記観測部で取得した移動体の種類と、各位置に移動体が存在するか否かの判定結果とに基づいて、各位置での移動体の有無および種類に関する属性を、前記推定情報における速度分布の各速度に付与し、
    前記観測部は、物体認識により移動体の種類ごとの認識スコアを取得して、その種類ごとの認識スコアを、前記予測情報において移動体の種類が一致する属性が付与された速度の確率に基づいて補正して、補正された種類ごとの認識スコアに基づいて、移動体の種類を判定することを特徴とする請求項1に記載の移動体検知装置。
  5. 前記予測部、前記観測部、前記推定部および判定部は、前記対象エリアに設定された占有格子地図上の各セルにおける移動体の占有確率および速度分布を取得するベイジアン占有フィルタを構成することを特徴とする請求項1から請求項4のいずれかに記載の移動体検知装置。
JP2018172880A 2018-09-14 2018-09-14 移動体検知装置 Pending JP2020046762A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018172880A JP2020046762A (ja) 2018-09-14 2018-09-14 移動体検知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018172880A JP2020046762A (ja) 2018-09-14 2018-09-14 移動体検知装置

Publications (1)

Publication Number Publication Date
JP2020046762A true JP2020046762A (ja) 2020-03-26

Family

ID=69901341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018172880A Pending JP2020046762A (ja) 2018-09-14 2018-09-14 移動体検知装置

Country Status (1)

Country Link
JP (1) JP2020046762A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023286522A1 (ja) * 2021-07-12 2023-01-19 株式会社デンソー 処理システム、処理装置、処理方法、処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023286522A1 (ja) * 2021-07-12 2023-01-19 株式会社デンソー 処理システム、処理装置、処理方法、処理プログラム

Similar Documents

Publication Publication Date Title
US10895454B2 (en) Movement line information generation system, movement line information generation method and movement line information generation program
CN107544491B (zh) 物体识别装置、物体识别方法以及自动驾驶系统
EP2657644B1 (en) Positioning apparatus and positioning method
US8965114B2 (en) Object recognition apparatus, object recognition method, learning apparatus, learning method, storage medium and information processing system
JP4868169B2 (ja) 位置推定システム、位置推定方法および位置推定用プログラム
US6944566B2 (en) Method and system for multi-sensor data fusion using a modified dempster-shafer theory
CN109932713B (zh) 定位方法、装置、计算机设备、可读存储介质和机器人
US7463184B2 (en) Object detection apparatus, object detection method, object detection program, and distance sensor
JP5835243B2 (ja) 物標認識装置
US8705795B2 (en) Information processing apparatus, information processing method, and program
US20120148102A1 (en) Mobile body track identification system
US10429500B2 (en) Tracking apparatus, tracking method, and computer-readable storage medium
JP2006234513A (ja) 障害物検出装置
US11061102B2 (en) Position estimating apparatus, position estimating method, and terminal apparatus
JP2006516728A (ja) 目標検出方法
JP6977787B2 (ja) センサ情報統合システム、センサ情報統合方法及びプログラム
CN113536850B (zh) 基于77g毫米波雷达的目标物体大小测试方法和装置
JP2011095120A (ja) 目標追尾装置及び目標追尾方法
US11073594B2 (en) Position estimating device, position estimating system, and position estimating method
JP2014102256A (ja) 目標追尾装置及び目標追尾方法
JP2020046762A (ja) 移動体検知装置
JP4946626B2 (ja) 位置推定システム、位置推定装置及びそれらに用いる位置推定方法並びにそのプログラム
JP4745966B2 (ja) 目標物の自動識別システム
JP6513310B1 (ja) 航跡推定装置及び携帯情報端末
CN112214629A (zh) 基于图像识别的回环检测方法及可移动设备