JP2020154913A - 物体検出装置及び方法、交通支援サーバ、コンピュータプログラム及びセンサ装置 - Google Patents

物体検出装置及び方法、交通支援サーバ、コンピュータプログラム及びセンサ装置 Download PDF

Info

Publication number
JP2020154913A
JP2020154913A JP2019054105A JP2019054105A JP2020154913A JP 2020154913 A JP2020154913 A JP 2020154913A JP 2019054105 A JP2019054105 A JP 2019054105A JP 2019054105 A JP2019054105 A JP 2019054105A JP 2020154913 A JP2020154913 A JP 2020154913A
Authority
JP
Japan
Prior art keywords
sensor
area
region
range
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019054105A
Other languages
English (en)
Inventor
明紘 小川
Akihiro Ogawa
明紘 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2019054105A priority Critical patent/JP2020154913A/ja
Publication of JP2020154913A publication Critical patent/JP2020154913A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】複数のセンサを用い、各センサの性能以上に多くの動的物体を検知可能にする。【解決手段】物体検出装置は、第1及び第2のセンサの出力に基づき物体を検出する。各センサは、周囲の所定領域内にある物体までの距離を表すセンサデータを取得でき、所定領域は、当該センサによる検出の信頼度がしきい値より高い第1の領域と、しきい値以下の第2の領域とに区分される。この装置は、第1及び第2の領域を特定する情報を取得する領域情報取得部と、取得された情報に基づき、第1及び第2のセンサの各々の第1の領域と、第1及び第2のセンサの各々の第2の領域の重複領域とを統合して、統合検出範囲を特定する検出範囲適応装置と、第1及び第2のセンサから、各センサの検出範囲内のデータを取得し、統合検出範囲にマッピングするマッピング装置と、マッピングされたデータを解析して、統合検出範囲内にある物体を検出する解析装置とを含む。【選択図】図6

Description

この開示は、物体検出装置及び方法、交通支援サーバ、コンピュータプログラム及びセンサ装置に関する。
車両を運行する際には、自車の動きだけではなく、他車の動きにも十分に注意する必要がある。車両に加えて、歩行者が存在している場合には特に注意が必要である。従来、図1に示すように、このような実空間50に存在する移動物体(以下、「動体」と呼ぶ。)を、LiDAR、カメラ等の多数のセンサで検知し、その属性(大人、子供、車両、二輪車等)を推定し、仮想空間上で予め準備された高精細な道路地図データを用いて交通状況俯瞰マップ52を作成する技術がある。
このような交通状況俯瞰マップ52を作成するためには、多数のセンサの出力であるセンサデータを、それらセンサが搭載されている車両、及び、路側に設けられたカメラ等のインフラセンサから収集する必要がある。そのために、第5世代移動通信システム(いわゆる「5G」)を用いることが考えられる。
さらに、交通状況俯瞰マップ52の信頼性を高めるために、収集したデータを統合する必要があるが、複数のセンサから収集したデータを統合するのは、各センサの位置及び速度、及びそれらセンサの性能に相違があるためにかなり難しい。複数のセンサから収集したデータを高い信頼性で統合する技術が後掲の特許文献1に開示されている。
図2を参照して、特許文献1は、LiDARのように対象までの距離を測定するセンサである障害物センサからの情報、路側に設けられたカメラ、LiDARのようなインフラセンサから路車間無線機を介して得られた情報、及び他の自動車から車々間無線機を介して得られた情報について統合する方法を開示している。
図2に示す例では、障害物センサ、路車間無線機、車々間無線機で得られた情報に、それぞれ信頼度3、2、及び1を割当てる。ある位置において、上記各センサ及び無線から得た情報のいずれかに基づいてある物体が存在することを検知したとき、この信頼度を用いて以下のようにその物体の検知が信頼できるものかどうかを判定する。
すなわち、図2を参照して、あるセンサでその物体を検知したときに、そのセンサに対する検知結果として「1」を割当て、検知していないときには「0」を割当てる。この値と、そのセンサに割当てられている信頼度とを乗算して、全てのセンサについて合算する。その結果の値が大きいほど、その物体の検知の信頼度が高くなる。特許文献1では、このように異なるセンサの出力で同じ物体が検知されたことを「多重度」と呼んでいる。
例えば、ある物体について、障害物センサ、路車間無線機、及び車々間無線機のいずれでも検知したとき(多重度=3)には、その物体の検知の信頼度は3×1+2×1+1×1=6となる。これは図2の「ある車両1台に対する検知の可否」と書かれた部分の最も左側の列に対応する。また、障害物センサのみで物体を検知し、路車間無線機でも車々間無線機でも物体を検知できないとき(多重度=1)には、信頼度は3×1+2×0+1×0=3となる。これは図2の左から4列目に相当する。
特許文献1では、こうして得られた信頼度の和の大きなものから高い信頼度を割当てる。図2に示す例ではこれをトータル信頼度と呼んでいる。特許文献1ではトータル信頼度が1である場合が最も信頼度が高く、トータル信頼度が大きくなるにしたがって信頼度が低くなるようになっている。
特開2006−195641号公報
特許文献1に開示された発明では、各センサの検知結果を用いて物体の検知のトータル信頼度を定めている。そのため、検知できる物体の範囲は、結局のところ各センサの性能による制限を受けるという問題がある。複数のセンサを使って物体を検知する場合、各センサの性能以上の検知結果が得られれば、交通状況俯瞰マップを作製する上で好ましい。交通状況俯瞰マップで、単に各センサにより検知された物体を統合するだけではなく、各センサ単独では検知できない物体も検知できるようになれば、そうした情報を用いて充実した交通支援情報を生成し、交通の安全に役立てることができる。
それ故に本開示の目的は、複数のセンサを用い、各センサの性能以上に多くの動的物体を検知できる、物体検出装置及び方法、交通支援サーバ、コンピュータプログラム及びセンサ装置を提供することである。
本開示の第1の局面に係る物体検出装置は、第1のセンサ及び第2のセンサの出力に基づき、物体を検出する物体検出装置であって、第1のセンサ及び第2のセンサの各々は、当該センサの周囲の所定領域内にある物体までの距離を表すセンサデータを取得可能であり、かつ、所定領域は、当該センサによる物体の検出の信頼度がしきい値より高い第1の領域と、信頼度がしきい値以下の第2の領域とに区分され、第1のセンサ及び第2のセンサの第1の領域及び第2の領域を特定するための情報を取得する領域情報取得部と、領域情報取得部により取得された情報に基づき、第1のセンサ及び第2のセンサの各々の第1の領域と、第1のセンサ及び第2のセンサの各々の第2の領域の重複領域とを統合することにより、適応的な統合検出範囲を特定する検出範囲適応装置と、第1のセンサ及び第2のセンサから、当該第1のセンサ及び第2のセンサがそれぞれ得た、各センサの検出範囲内のセンサデータを取得し、統合検出範囲にマッピングするマッピング装置と、マッピング装置により統合検出範囲にマッピングされたセンサデータを解析することにより、統合検出範囲内にある物体を検出する解析装置とを含む。
本開示の第2の局面に係る交通支援サーバは、所定の管理領域内に存在する物体を検出し解析するための、上記した物体検出装置と、当該物体検出装置による解析により得られる交通支援情報を管理領域内に存在する交通参加者に送信する送信装置とを含む。
本開示の第3の局面に係る物体検出方法は、第1のセンサ及び第2のセンサの出力に基づき、物体を検出する物体検出方法であって、第1のセンサ及び第2のセンサの各々は、当該センサの周囲の所定領域内にある物体までの距離を表すセンサデータを取得可能であり、かつ、所定領域は、物体の検出の信頼度がしきい値より高い第1の領域と、信頼度がしきい値以下の第2の領域とに区分され、第1のセンサ及び第2のセンサの第1の領域及び第2の領域を特定するための情報を第1のセンサ及び第2のセンサからそれぞれ取得するステップと、取得するステップにおいて取得された情報に基づき、第1のセンサ及び第2のセンサの各々の第1の領域と、第1のセンサ及び第2のセンサの第2の領域の重複領域とを統合することにより、適応的な統合検出範囲を特定するステップと、第1のセンサ及び第2のセンサから、第1のセンサ及び第2のセンサがそれぞれ得た、各センサの検出範囲からのセンサデータを取得し、統合検出範囲にマッピングするステップと、マッピングするステップにおいて統合検出範囲にマッピングされたセンサデータを解析することにより、統合検出範囲内にある物体を検出するステップとを含む。
本開示の第4の局面に係るコンピュータプログラムは、コンピュータを、第1のセンサ及び第2のセンサの出力に基づき、物体を検出する物体検出装置として機能させるコンピュータプログラムであって、第1のセンサ及び第2のセンサの各々は、当該センサの周囲の所定領域内にある物体までの距離を表すセンサデータを取得可能であり、かつ、所定領域は、当該センサによる物体の検出の信頼度がしきい値より高い第1の領域と、信頼度がしきい値以下の第2の領域とに区分され、コンピュータプログラムは、コンピュータを、第1のセンサ及び第2のセンサの第1の領域及び第2の領域を特定するための情報を取得する領域情報取得部と、領域情報取得部により取得された情報に基づき、第1のセンサ及び第2のセンサの各々の第1の領域と、第1のセンサ及び第2のセンサの各々の第2の領域の重複領域とを統合することにより、適応的な統合検出範囲を特定する検出範囲適応装置と、第1のセンサ及び第2のセンサから、当該第1のセンサ及び第2のセンサがそれぞれ得た、各センサの検出範囲内のセンサデータを取得し、統合検出範囲にマッピングするマッピング装置と、マッピング装置により統合検出範囲にマッピングされたセンサデータを解析することにより、統合検出範囲内にある物体を検出する解析装置として機能させる。
本開示の第5の局面に係るセンサ装置は、周囲の所定領域内にある物体までの距離を表すセンサデータを取得可能であり、かつ、所定領域は、当該センサによる物体の検出の信頼度がしきい値より高い第1の領域と、信頼度がしきい値以下の第2の領域とに区分されるセンサと、センサの第1の領域及び第2の領域を特定するための領域特定情報を記憶する領域特定情報記憶部と、領域特定情報記憶部に記憶された領域特定情報と、センサの存在する位置を示す位置データと、センサにより第1の領域及び第2の領域の双方から取得されたセンサデータとを所定のサーバに送信する送信装置とを含む。
以上のようにこの開示によれば、複数のセンサを用い、各センサの性能以上に多くの動的物体を検知できる、物体検出装置及び方法、交通支援サーバ、コンピュータプログラム及びセンサ装置を提供することができる。
図1は、現実の道路状況と道路状況俯瞰マップとの関係を模式的に示す図である。 図2は、特許文献1に示されたシステムにおいてセンサにより検知された物体の信頼度を計算するための表の構成を示す図である。 図3は、本開示の第1の実施の形態に係る交通支援システムの概略構成を示す図である。 図4は、2つのLiDARの伝搬領域が重複した領域を模式的に示す図である。 図5は、2つのLiDARの伝搬領域が重複した領域に存在する動的物体を検知する上での問題を、物体検知のための解析に用いられるグリッドマップとともに模式的に示す図である。 図6は、本開示の第1の実施の形態において、2つのLiDARの伝搬領域が重複した領域に存在する動的物体が検知できることを、グリッドマップとともに模式的に示す図である。 図7は、本開示の第1の実施の形態に係るシステムで使用される車両の構成を模式的に示す図である。 図8は、図7に示す車両に搭載された車載機のハードウェア構成を示すブロック図である。 図9は、図8に示すマイクロプロセッサが実行する、センサデータをアップロードするためのプログラムの制御構造を示すフローチャートである。 図10は、本開示の第1の実施の形態に係るシステムで使用される、路側に設けられるインフラセンサ装置の構成を模式的に示す図である。 図11は、図10に示すインフラセンサ装置のハードウェア構成を模式的に示すブロック図である。 図12は、図11に示すマイクロプロセッサで実行される、センサデータをアップロードするためのプログラムの制御構造を示すフローチャートである。 図13は、本開示の第1の実施の形態に係るシステムで使用される、センサデータを統合して管理対象領域内の動的物体を検出し、管理対象領域内の各車両に交通支援情報を提供するエッジサーバの機能的構成を示すブロック図である。 図14は、図13に示すエッジサーバのハードウェア構成を示すブロック図である。 図15は、図14に示すマイクロプロセッサ460が定期的に実行する、センサデータを解析するためのプログラムの制御構造を示すフローチャートである。 図16は、図15に示すプログラムの中で、車両センサ及びインフラセンサからのセンサデータを用いて車両センサ及びインフラセンサの共通グリッドマップを作成し最適化する処理を実行するプログラムの制御構造を示すフローチャートである。 図17は、本開示の第2の実施の形態に係るエッジサーバで実行される、共通グリッドマップを作成し最適化する処理を実行するプログラムの制御構造を示すフローチャートである。 図18は、本開示の第3の実施の形態に係るエッジサーバの機能的ブロック図である。 図19は、本開示の第4の実施の形態に係るエッジサーバで実行される、共通グリッドマップを作成し最適化する処理を実行するプログラムの制御構造を示すフローチャートである。
[本開示の実施の形態の説明]
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。なお、以下の実施の形態の少なくとも一部を任意に組合せても良い。
(1)本開示の第1の局面に係る物体検出装置は、第1のセンサ及び第2のセンサの出力に基づき、物体を検出する物体検出装置であって、第1のセンサ及び第2のセンサの各々は、当該センサの周囲の所定領域内にある物体までの距離を表すセンサデータを取得可能であり、かつ、所定領域は、当該センサによる物体の検出の信頼度がしきい値より高い第1の領域と、信頼度がしきい値以下の第2の領域とに区分され、第1のセンサ及び第2のセンサの第1の領域及び第2の領域を特定するための情報を取得する領域情報取得部と、領域情報取得部により取得された情報に基づき、第1のセンサ及び第2のセンサの各々の第1の領域と、第1のセンサ及び第2のセンサの各々の第2の領域の重複領域とを統合することにより、適応的な統合検出範囲を特定する検出範囲適応装置と、第1のセンサ及び第2のセンサから、当該第1のセンサ及び第2のセンサがそれぞれ得た、各センサの検出範囲内のセンサデータを取得し、統合検出範囲にマッピングするマッピング装置と、マッピング装置により統合検出範囲にマッピングされたセンサデータを解析することにより、統合検出範囲内にある物体を検出する解析装置とを含む。
物体の検出の信頼性が低いために単独では物体検出に用いることができない第2の領域から得られた情報であっても、2つのセンサの第2の領域が重複する範囲を統合して統合検出範囲とすることにより、単独のセンサでは検出できない物体を検出できる可能性が高くなる。その結果、複数のセンサを用い、各センサの性能以上に多くの物体を検知できる。
(2)好ましくは、センサデータは、第1のセンサ及び第2のセンサの各々から周囲の所定領域内にある物体までの距離を表す点群データを含み、領域情報取得部は、第1のセンサの第1の領域と第2の領域とを特定する情報を取得する第1のセンサ情報取得部と、第2のセンサの第1の領域と第2の領域とを特定する情報を取得する第2のセンサ情報取得部とを含み、解析装置による解析後に統合検出範囲及び当該統合検出範囲にマッピングされた点群データをクリアするクリア部と、第1のセンサ情報取得部、第2のセンサ情報取得部、検出範囲適応装置、マッピング装置、解析装置、及びクリア部を所定時間ごとに繰返し動作させることにより、統合検出範囲内にある物体を所定時間ごとに継続的に検出する検出制御部とをさらに含む。
2つのセンサの第2の領域の重複領域を各センサ単独で物体検出できる範囲と統合し、さらに所定時間ごとにそれら統合された範囲で物体を継続的に検出できる。その結果、複数のセンサを用い、単独のセンサでは検出できない物体を継続的に検出し追跡できる可能性が高くなる。
(3)より好ましくは、領域情報取得部は、第1のセンサ及び第2のセンサの各々について、当該センサの位置、第1の領域、及び第2の領域を特定する情報を取得するセンサ情報取得部を含む。
領域情報取得部が、第1のセンサ及び第2のセンサの各々について、第1及び第2の領域を特定する情報だけではなく、センサの位置を特定する情報も取得する。第1のセンサ及び第2のセンサの少なくとも一方が移動しているときにも、第1及び第2のセンサの第2の領域の重複領域に存在する物体を検出できる可能性が高くなる。その結果、複数のセンサを用い、各センサの性能以上に多くの動的物体を検知できる。
(4)さらに好ましくは、領域情報取得部は、センサの識別情報ごとに、当該センサに関する第1の領域及び第2の領域を特定する領域特定情報を記憶する領域特定情報記憶装置と、第1のセンサ及び第2のセンサの各々から、当該センサの位置、及び当該センサの識別情報を取得するセンサ識別情報取得部と、第1のセンサ及び第2のセンサの各々について、領域特定情報記憶装置からセンサ識別情報取得部が取得した識別情報に対応する領域特定情報を読出し、センサ識別情報取得部が取得した当該センサの位置と当該領域特定情報とを用いて、当該センサの第1の領域及び第2の領域の範囲を算出する範囲算出装置とを含む。
センサ識別情報取得部は、各センサから第1の領域及び第2の領域の範囲を取得するのではなく、各センサの識別情報を取得する。領域特定情報記憶装置には、センサの識別情報ごとに、そのセンサの第1の領域及び第2の領域を特定する情報が記憶されている。範囲算出装置がセンサの識別情報をキーにして領域特定情報記憶装置からそのセンサの第1の領域及び第2の領域を特定する情報を読出すことにより、各センサの実際の第1の領域及び第2の領域の位置を特定できる。センサから第1の領域及び第2の領域情報を物体検出装置に送信しなくても、その識別情報を送るだけでセンサの第1の領域及び第2の領域を特定でき、効率的に2つのセンサの第2の領域の重複領域を特定できる。
(5)好ましくは、領域情報取得部は、センサの識別情報ごとに、当該センサに関する物体検出精度を記憶する検出精度記憶装置と、第1のセンサ及び第2のセンサの各々から、当該センサの位置、及び当該センサの識別情報を取得するセンサ識別情報取得部と、第1のセンサ及び第2のセンサの各々について、検出精度記憶装置からセンサ識別情報取得部が取得した識別情報に対応する物体検出精度を読出す精度読出装置と、第1のセンサ及び第2のセンサの少なくとも一方の物体検出精度が所定のしきい値より大きいことに応答して、領域情報取得部により取得された情報に基づき、第1のセンサ及び第2のセンサの第1の領域と、第1のセンサ及び第2のセンサの第2の領域の重複領域とを統合することにより、統合検出範囲を特定する第1の統合範囲特定装置と、第1のセンサ及び第2のセンサの双方の物体検出精度がいずれも所定のしきい値以下であることに応答して、領域情報取得部により取得された情報に基づき、第1のセンサ及び第2のセンサの各々の第1の領域を統合することにより、統合検出範囲を特定する第2の統合範囲特定装置とを含む。
第1のセンサ及び第2のセンサの少なくとも一方の物体検出精度が高い場合には、その第2の領域に存在する物体に関する検出情報を他のセンサからの情報で補完することにより、物体を検出できる可能性が高くなる。したがって、少なくとも一方のセンサの物体検出精度がしきい値より高い場合には、そのセンサの第2の領域と他のセンサの第2の領域とが重複した領域で双方のセンサから得た情報を統合することで、単独では検出できない物体を検出できる可能性が高くなる。一方、双方とも物体検出精度が低い場合には、2つのセンサの情報を統合したときに新たな物体が検出できる精度は、物体検出精度が高い場合と比較して相対的に低くなる。したがって、物体を検出できる可能性が高いときには統合検出範囲から物体を検出する処理をし、そうでない場合にはそうした処理をしないことにより、全体の処理速度を高く保ちながら、単独では検出できない物体を検出できる可能性を高くできる。
(6)より好ましくは、第1のセンサ情報取得部はさらに、第1のセンサの移動速度を取得し、検出範囲適応装置は、第1のセンサの移動速度が所定のしきい値より大きいことに応答して、領域情報取得部により取得された情報に基づき、第1のセンサ及び第2のセンサの第1の領域と、第1のセンサ及び第2のセンサの第2の領域の重複領域とを統合することにより、統合検出範囲を特定する第1の統合範囲特定装置と、第1のセンサの移動速度が所定のしきい値以下であることに応答して、領域情報取得部により取得された情報に基づき、第1のセンサ及び第2のセンサの各々の第1の領域を統合することにより、統合検出範囲を特定する第2の統合範囲特定装置とを含む。
一方のセンサを搭載した物体が大きな速度で移動しているときには、そのセンサで検出できる物体だけではなく、その近傍のより多くの物体を検出できるようにすることが望ましい。そこで、そうした場合には、上記したようにそのセンサの第2の領域からの情報と、他のセンサの第2の領域からの情報とを統合していずれかのセンサ単独では検出できない物体を検出できる可能性を高めることが望ましい。一方、双方のセンサの移動速度が小さかったり、停止していたりする場合には、あえて第2の領域の重複領域を物体検出の範囲に統合しても、処理量が増大するのと比較して実際上の効果が得られる可能性が小さくなることが懸念される。そこで、センサの移動速度が大きいときは第2の領域の重複領域を物体検出の範囲に統合することにし、そうでないときは統合をしないようにすることで、処理量の増大をできるだけ抑えながら必要なときに必要な物体を検出できる。
(7)さらに好ましくは、検出範囲適応装置は、領域情報取得部により取得された情報に基づき、第1のセンサの第2の領域と、第2のセンサの第2の領域との重複領域を算出する重複領域算出部と、重複領域算出部により算出された重複領域の面積が所定のしきい値より大きいことに応答して、第1のセンサ及び第2のセンサの各々の第1の領域と、第1のセンサ及び第2のセンサの第2の領域の重複領域とを統合することにより、適応的な統合検出範囲を特定する第1の統合範囲特定装置と、重複領域の面積が所定のしきい値以下であることに応答して、第1のセンサ及び第2のセンサの各々の第1の領域を統合することにより、適応的な統合検出範囲を特定する第2の統合範囲特定装置とを含む。
第2の領域の重複領域の面積が小さいと、その領域から新たな物体が検出される可能性は小さくなる。一方、重複領域の面積が大きいと、その領域から新たな物体が検出される可能性が大きくなる。そこで、第2の領域の重複領域の面積がしきい値より大きいときに、その重複領域を物体検出の対象領域に統合し、そうでないときはそうした処理をしないことにより、処理量を抑え、検出速度を高く保ちながら、必要な物体が検出できる可能性を高めることができる。
本開示の第2の局面に係る交通支援サーバは、所定の管理領域内に存在する物体を検出し解析するための、上記したいずれかの物体検出装置と、当該物体検出装置による解析により得られる交通支援情報を管理領域内に存在する交通参加者に送信する送信装置とを含む。
物体の検出の信頼性が低いために単独では物体検出に用いることができない第2の領域から得られた情報であっても、2つのセンサの第2の領域が重複する範囲を統合して統合検出範囲とすることにより、単独のセンサでは検出できない物体を検出できる可能性が高くなる。その結果、複数のセンサを用い、各センサの性能以上に多くの物体を検知できる。より多くの物体を検知した結果を用いて交通支援情報を生成し交通参加者に送信できるので、より安全な交通環境を提供できる。
(8)本開示の第3の局面に係る物体検出方法は、第1のセンサ及び第2のセンサの出力に基づき、物体を検出する物体検出方法であって、第1のセンサ及び第2のセンサの各々は、当該センサの周囲の所定領域内にある物体までの距離を表すセンサデータを取得可能であり、かつ、所定領域は、物体の検出の信頼度がしきい値より高い第1の領域と、信頼度がしきい値以下の第2の領域とに区分され、第1のセンサ及び第2のセンサの第1の領域及び第2の領域を特定するための情報を第1のセンサ及び第2のセンサからそれぞれ取得するステップと、取得するステップにおいて取得された情報に基づき、第1のセンサ及び第2のセンサの各々の第1の領域と、第1のセンサ及び第2のセンサの第2の領域の重複領域とを統合することにより、適応的な統合検出範囲を特定するステップと、第1のセンサ及び第2のセンサから、第1のセンサ及び第2のセンサがそれぞれ得た、各センサの検出範囲からのセンサデータを取得し、統合検出範囲にマッピングするステップと、マッピングするステップにおいて統合検出範囲にマッピングされたセンサデータを解析することにより、統合検出範囲内にある物体を検出するステップとを含む。
物体の検出の信頼性が低いために単独では物体検出に用いることができない第2の領域から得られた情報であっても、2つのセンサの第2の領域が重複する範囲を統合して統合検出範囲とすることにより、単独のセンサでは検出できない物体を検出できる可能性が高くなる。その結果、複数のセンサを用い、各センサの性能以上に多くの物体を検知できる。
(9)本開示の第4の局面に係るコンピュータプログラムは、コンピュータを、第1のセンサ及び第2のセンサの出力に基づき、物体を検出する物体検出装置として機能させるコンピュータプログラムであって、第1のセンサ及び第2のセンサの各々は、当該センサの周囲の所定領域内にある物体までの距離を表すセンサデータを取得可能であり、かつ、所定領域は、当該センサによる物体の検出の信頼度がしきい値より高い第1の領域と、信頼度がしきい値以下の第2の領域とに区分され、コンピュータプログラムは、コンピュータを、第1のセンサ及び第2のセンサの第1の領域及び第2の領域を特定するための情報を取得する領域情報取得部と、領域情報取得部により取得された情報に基づき、第1のセンサ及び第2のセンサの各々の第1の領域と、第1のセンサ及び第2のセンサの各々の第2の領域の重複領域とを統合することにより、適応的な統合検出範囲を特定する検出範囲適応装置と、第1のセンサ及び第2のセンサから、当該第1のセンサ及び第2のセンサがそれぞれ得た、各センサの検出範囲内のセンサデータを取得し、統合検出範囲にマッピングするマッピング装置と、マッピング装置により統合検出範囲にマッピングされたセンサデータを解析することにより、統合検出範囲内にある物体を検出する解析装置として機能させる。
物体の検出の信頼性が低いために単独では物体検出に用いることができない第2の領域から得られた情報であっても、2つのセンサの第2の領域が重複する範囲を統合して統合検出範囲とすることにより、単独のセンサでは検出できない物体を検出できる可能性が高くなる。その結果、複数のセンサを用い、各センサの性能以上に多くの物体を検知できる。
(10)本開示の第5の局面に係るセンサ装置は、周囲の所定領域内にある物体までの距離を表すセンサデータを取得可能であり、かつ、所定領域は、当該センサによる物体の検出の信頼度がしきい値より高い第1の領域と、信頼度がしきい値以下の第2の領域とに区分されるセンサと、センサの第1の領域及び第2の領域を特定するための領域特定情報を記憶する領域特定情報記憶部と、領域特定情報記憶部に記憶された領域特定情報と、センサにより第1の領域及び第2の領域の双方から取得されたセンサデータとを所定のサーバに送信する送信装置とを含む。
(11)送信装置は、センサの存在する位置を示す位置データもサーバに送信する。
[実施の形態の詳細な説明]
<第1の実施の形態>
〈構成〉
《全体構成》
図3にこの発明に係る交通支援システムの概略構成図を示す。図3を参照して、この交通支援システムは、特許文献1に記載のものと同様、車両82及び車両84、並びにインフラセンサ80、歩行者が持つ携帯電話機等と、これらと基地局72を介して通信し、交通状況俯瞰マップ52を構築し維持する処理を行う交通支援サーバであるエッジサーバ70とを含む。車両82及び車両84はいずれも、周囲をスキャンし、周囲に存在する物体までの距離を検出する測距センサであるLiDAR(Light Detection and Ranging)92及び94をそれぞれ搭載している。この実施の形態では、固定された位置にあるインフラセンサ80もまたLiDARを含む。インフラセンサ80のLiDARは常に周囲をスキャンし、周囲の物体までの距離を検出している。
図4を参照して、この実施の形態で使用するLiDARは、1又は複数のレーザ光のパルスで周囲をメカニカルな機構でスキャンし、周囲の物体に反射したレーザ光を受光するまでの時間により周囲の物体までの距離を測定する。その測定は非常に精密に行えるが、レーザ光を使用するために環境の影響を受けやすいという問題がある。特にセンサから物体までの距離が長いと反射して戻ってくるレーザ光は減衰し、物体の一部からの反射光しか測定できないという問題がある。なお、典型的なLiDARでは上下に配列された複数のレーザからレーザ光のパルスを発射しながら周囲をスキャンする。そのため、得られる反射光もパルス状となり、得られるデータは点群となる。
図4を参照して、これをLiDAR94とインフラセンサ80について考える。ここでは、レーザ光が到達可能で、光が戻ってくることがある範囲を伝搬範囲といい、伝搬範囲内で物体までの距離を高い信頼性で測定できる範囲を解析範囲という。伝搬範囲は解析範囲の外側領域であり、解析範囲を含まない。図4に示すように、LiDAR94は、LiDAR94を中心とする円形の領域である伝搬範囲104と、同じくLiDAR94を中心とする伝搬範囲104よりも小さな半径の円形である解析範囲106とを持つ。インフラセンサ80のLiDARは、インフラセンサ80を中心とする円形の伝搬範囲100と、インフラセンサ80を中心とし伝搬範囲100よりも小さな半径の円形の解析範囲102とを持つ。図4に示す例では、伝搬範囲100及び解析範囲102はそれぞれ伝搬範囲104及び解析範囲106より大きいが、伝搬範囲及び解析範囲はセンサごとに異なるので図4に示す例には限らない。
なお、図3に示すように車両84がインフラセンサ80に向かって走行している場合、車両84がインフラセンサ80に十分に近くなると、図4の斜線領域で示すように、伝搬範囲100と伝搬範囲104の重複領域であって解析範囲106にも解析範囲102にも含まれない部分(この明細書では、この領域108を、伝搬範囲のみが重複している領域という意味で重複領域という。)が生じる。エッジサーバ70による解析では、図5に示すように解析範囲106及び解析範囲102内の物体から得られた点群データのみを解析して物体の検出を行うため、解析範囲106内又は解析範囲102内にある物体は検出できるが、図5において点線で示すように、伝搬範囲104内にある物体、伝搬範囲100内にある物体、及び重複領域108内にある物体は検出されない。
しかし、前述したとおり、重複領域108内の物体からでもLiDAR94に反射光が帰ってくる場合もあるし、同様にインフラセンサ80に反射光が帰ってくる場合もある。LiDAR94及びインフラセンサ80は、これら信頼性の低い点群データは廃棄する。したがってこれら反射光から得られる点群データはエッジサーバ70では使用されない。しかし、両者は同じ領域に存在する物体からの反射光を受光しているので、LiDAR94が重複領域108内の物体から受光した反射光と、インフラセンサ80が重複領域108内の物体から受光した反射光とを総合して解析すれば、図6に示すように重複領域108内に存在する物体も検出できる可能性がある。この実施の形態では、こうした考え方によりLiDAR94及びインフラセンサ80からはそれぞれ伝搬範囲104及び伝搬範囲100内の物体から得られた点群データもエッジサーバ70に送信する。この明細書では、図6に示すように車両に搭載されたセンサとインフラセンサとの点群データを統合して処理することが可能な領域(重複領域108)が生ずるような位置(センサから一定距離内の位置)に車両が存在することを「(車両が)インフラ協調エリア内に存在している」という。すなわち、車両センサがインフラ協調エリア内に存在する場合には、センサによる物体の検出範囲を適応的に広げることで単独のセンサでは検出できない物体も検出できる可能性を高くする。
エッジサーバ70は、これら点群データの中で、解析範囲106内の点群データ及び解析範囲102内の点群データと、重複領域108内の点群データとを統合して点群データの解析を行い物体の検出を行う。
なお、図5及び図6に示すグリッド130は、エッジサーバ70が点群データの解析の際に使用するものである。この実施の形態では、LiDAR94及びインフラセンサ80からそれぞれの位置データと、伝搬範囲104及び解析範囲106、並びに伝搬範囲100及び解析範囲102に関する情報をそれぞれ受信し、伝搬範囲104及び伝搬範囲100を包含する最小のグリッドを形成する。グリッドにより区画される矩形をここではセルという。エッジサーバ70は各セルにLiDAR94及びインフラセンサ80から受信した点群データをマッピングしてデータの解析を行う。
なお、グリッドは様々な方法で形成できる。この実施の形態では、予め所定の大きさのセルである広さの領域をグリッド化しておき、伝搬範囲104及び伝搬範囲100に関する情報を受けた時点でそれらを包含する最小のグリッドを選択するものとする。
《車両側の設備》
図7を参照して、車両84は、LiDAR94、車載カメラ142、及びミリ波レーダ140等の各種のセンサ、及びこれらセンサからセンサデータを収集しエッジサーバ70に無線通信により送信するための車載装置146と、を含む。
図8を参照して、車載装置146は実質的にはコンピュータ160を含むプロセッサであって、マイクロプロセッサ180、マイクロプロセッサ180とコンピュータ160内の各部との間のデータ及び命令の伝送経路となるバス190とを含む。コンピュータ160はさらに、いずれもバス190に接続されたROM(Read−Only Memory)182、RAM(Random Access Memory)184、ハードディスク又はSSD(Solid State Drive)等からなる不揮発性の補助記憶装置186、無線通信により外部との通信を提供する無線通信部188、入出力インターフェイス(I/F)192及びユーザとの音声によるインタラクションを提供するための音声処理I/F194とを含む。
車載装置146はさらに、バス190に接続されたタッチパネル164、液晶等のモニタ162、及び入出力I/F192に接続された車両の制御のための各種アクチュエータ166及びLiDAR94等の各種センサ168と、音声処理I/F194に接続されたスピーカ及びマイク170と、バス190に接続され、USBメモリ172が装着可能で、コンピュータ160の各部とUSBメモリ172との間のデータの授受を行う半導体メモリドライブ196とを含む。ROM182にはコンピュータ160の起動プログラム等が記憶されている。RAM184はマイクロプロセッサ180による処理の際に様々な変数を記憶するための作業領域として使用される。
図9に、車載装置146のマイクロプロセッサ180が実行する、センサデータのエッジサーバ70へのアップロード機能を実現するプログラムの制御構造を示す。このプログラムは、補助記憶装置186に記憶されており、車載装置146が起動するとRAM184にロードされ、マイクロプロセッサ180により実行される。図9を参照して、このプログラムは、起動後、アップロードのタイミングか否かを判定するステップ210と、ステップ210の判定でアップロードのタイミングではないと判定されたときに所定時間だけ待機し、所定時間経過後に制御をステップ210に戻すステップ212と、ステップ210においてアップロードのタイミングであると判定されたことに応答して、センサデータである点群データと、センサ情報とをエッジサーバ70にアップロードし、制御をステップ210に戻すステップ214とを含む。この明細書において、センサ情報とは、センサの位置を示す情報(位置情報)、センサの伝搬範囲104及び解析範囲106を示す情報のことをいう。なお、センサデータには現在時刻を示す情報(時刻情報)も含まれる。アップロードされるセンサデータとしてはLiDAR94が検出した点群データ以外にも、車載カメラ142による画像データ、ミリ波レーダ140による検出データ等があるが、これらの動作サイクルは互いに異なっているため、図9のステップ214ではLiDAR94による点群データのみをエッジサーバ70にアップロードし、他のセンサデータは別のタイミングでエッジサーバ70にアップロードするものとする。
図9に制御構造を示すプログラムにより、所定時間ごとにLiDAR94の点群データがエッジサーバ70に送信される。
《インフラセンサ80》
インフラセンサ80の構成を図10に示す。図10を参照して、このインフラセンサ80は、カメラ232及びLiDAR234と、カメラ232からの画像データ及びLiDAR234からの点群データを、LiDAR234の位置情報とともにエッジサーバ70に送信するためのインフラセンサ情報送信装置230とを含む。
図11に、インフラセンサ情報送信装置230のハードウェア構成を示す。図11を参照して、インフラセンサ情報送信装置230も実質的にはコンピュータ250を含むプロセッサである。コンピュータ250は、マイクロプロセッサ280と、マイクロプロセッサ280及びコンピュータ250内の各機能部との間のデータ及び命令の経路となるバス290とを含む。コンピュータ250はさらに、いずれもバス290に接続された、ROM282と、RAM284と、ハードディスク又はSSD等からなる不揮発性の補助記憶装置286と、無線通信により外部との通信を提供する無線通信部288と、入出力I/F292とを含む。
インフラセンサ情報送信装置230はさらに、入出力I/F292に接続された、カメラ232及びLiDAR234を含む各種センサ252を含む。
図12に、インフラセンサ情報送信装置230がセンサデータをエッジサーバ70にアップロードするよう、マイクロプロセッサ280を機能させるためのコンピュータプログラムの制御構造を示す。このプログラムは、補助記憶装置286に記憶されており、インフラセンサ情報送信装置230が起動すると補助記憶装置286からRAM284にロードされマイクロプロセッサ280により実行される。
図12を参照して、このプログラムは、インフラセンサ情報送信装置230の起動後、アップロードのタイミングか否かを判定するステップ310と、ステップ310の判定でアップロードのタイミングではないと判定されたときに所定時間だけ待機し、所定時間経過後に制御をステップ310に戻すステップ312と、ステップ310においてアップロードのタイミングであると判定されたことに応答して、LiDAR234のセンサデータである点群データと、LiDAR234の位置情報、LiDAR234の伝搬範囲100及び解析範囲102を示すセンサ情報をエッジサーバ70にアップロードし、制御をステップ310に戻すステップ314とを含む。なお、ここでもステップ314でエッジサーバ70にアップロードされるのは、センサデータの中でLiDAR234からの点群データのみであり、カメラ232による画像データは別のプログラムで別のタイミングでエッジサーバ70に送信される。ここでもセンサデータには現在時刻を示す情報が含まれる。
図12に制御構造を示すプログラムにより、所定時間ごとにLiDAR234の点群データがエッジサーバ70に送信される。
《エッジサーバ70》
―機能的構成―
図13を参照して、エッジサーバ70は、インフラセンサ80及びLiDAR94等からセンサ情報及びセンサデータを、車両及びインフラセンサからそれぞれの位置情報を、それぞれ受信する受信処理部340と、受信処理部340が受信した信号の中で、LiDAR等から受信した点群データ等の受信データを一時記憶するための受信データ記憶部342と、受信データ記憶部342に記憶された受信データの中の各センサの伝搬範囲及び解析範囲についての情報を用いてグリッドマップを作成し初期化するグリッドマップ作成部344と、グリッドマップ作成部344により作成されたグリッドマップの各セルに関する情報を記憶するグリッドマップ記憶部346とを含む。グリッドマップとは、地上のある地域をグリッドに分割したもののことをいう。ある地域を包括的に含むグリッドマップをグローバルグリッドと呼ぶ。グローバルグリッドは複数のセルに分割される。各セルは基本的には正方形であり、その一辺は所望の解像度にあわせた大きさに決められる。交通支援に使用されるグリッドは、例えば一辺が30cmのセルからなる。通常、グローバルグリッドの各辺は経度線及び緯度線に並行になるように選択される。
エッジサーバ70はさらに、グリッドマップ作成部344により作成されたグリッドの各セルの中で、解析の対象となるセルのリストを記憶するための対象セルリスト記憶部350と、所定時間ごとに、受信データ記憶部342に記憶された点群データを読出し、その位置データにしたがって各点群データをグリッドマップの各セルにマッピングする点群データマッピング部348と、対象セルリスト記憶部350を参照して、グリッドマップ記憶部346に記憶されたグリッドマップの各セルの中で、解析処理の対象となるセルを判定する対象セル判定部352とを含む。
エッジサーバ70はさらに、対象セル判定部352により対象セルと判定されたセルの点群データのみをグリッドマップ記憶部346から読出して解析し、処理対象(解析範囲106、解析範囲102、及び重複領域108を統合した範囲の動体)を検出する処理を行う動体検出部354と、動体検出部354により検出された動体に関するデータを記憶する検出動体記憶部356とを含む。
グリッドマップ記憶部346はグリッドマップ作成部344及び点群データマッピング部348により一定時間ごとに作り変えられるので、動体検出部354による解析結果は、各タイミングでの動体の位置等となる。しかし過去の一定時間に算出された解析結果もそれぞれ履歴として検出動体記憶部356に蓄積され記憶されている。
エッジサーバ70はさらに、検出動体記憶部356に記憶されている現在及び過去の動体の位置データを解析して動体を追跡する動体追跡部358と、動体追跡部358による解析結果を記憶する解析結果記憶部360と、検出動体記憶部356に記憶されているデータに基づいて各動体の属性を検出する属性検出部362と、属性検出部362により検出された各動体の属性を記憶する解析結果記憶部364と、解析結果記憶部360に記憶されている動体の位置に関するデータと解析結果記憶部364に記憶されている各動体の属性とを統合する統合処理部366と、統合処理部366により統合された解析結果を記憶する解析結果記憶部368とを含む。
エッジサーバ70はさらに、受信処理部340が各車両から受信した信号に基づいて、管理対象の車両の位置、速度及び移動方向等からなる車両情報を得るための車両追跡部380と、車両追跡部380により解析された各車両の位置、速度及び移動方向等の車両情報を記憶するための車両情報記憶部382とを含む。エッジサーバ70はさらに、解析結果記憶部368に記憶された各動体の位置、属性、及び動き等に関する動体情報と、車両情報記憶部382とを照合し、統合後の動体情報において子供、スマートフォンを見ながら歩行する歩行者等のような、危険と思われる属性を持つ動的物体、道路上の事故車両、故障車両、落下物等についての情報等の交通支援のための情報を、当該物体から所定範囲内に位置する車両に対して報知する等の処理を行う情報送信部390と、情報送信部390による情報報知のための信号を無線通信により対象車両に送信するための送信処理部392とを含む。なお、図13では送信処理部392は受信処理部340とは別の機能ブロックとなっているが、受信処理部340及び送信処理部392は同じハードウェアを使用してもよい。
―ハードウェア構成―
エッジサーバ70は、この実施の形態では、コンピュータハードウェア及び当該コンピュータハードウェア上で実行されるコンピュータプログラムにより実現される。図14はエッジサーバ70のためのコンピュータハードウェアのブロック図を示す。図14を参照して、エッジサーバ70は、インターネット450に接続されるコンピュータ440と、いずれもコンピュータ440に接続されたモニタ442、キーボード446及びマウス448とを含む。モニタ442はタッチパネルでもよく、キーボード446及びマウス448は、モニタ442上でソフトウェアにより実現されてもよい。
コンピュータ440はマイクロプロセッサ460と、マイクロプロセッサ460とコンピュータ440内の各部との間のデータ及び命令の伝送経路となるバス474とを含む。コンピュータ440はさらに、いずれもバス474に接続された、並列処理により大量のデータを高速に処理可能なGPU(Graphical Processing Unit)462、ROM464、RAM468、ハードディスク又はSSD等からなる不揮発性の補助記憶装置470、DVD(Digital Versatile Disc)452が装着可能なDVDドライブ472、インターネット450への接続を提供するネットワークI/F476、及び無線通信により外部との通信を提供する無線通信部478を含む。
―エッジサーバ70を実現するプログラムの構成―
図15に、エッジサーバ70においてLiDARからの点群データを統合する処理を実現するプログラムの構成をフローチャート形式で示す。このプログラムは、グリッドマップを作り直すタイミングに合わせ、交通状況俯瞰マップを作成するプログラムと並列に、一定時間間隔で繰返し動作する。図15を参照して、このプログラムは、処理対象となっている車両がインフラ協調エリアを走行中か否かを判定し、判定にしたがって制御の流れを分岐させるステップ500を含む。ステップ500の判定が否定であればステップ506に進み、LiDAR94からの点群データとインフラセンサ80からの点群データとを別々に、従来と同様の手法を用いて解析しプログラムの実行を終了する。
このプログラムはさらに、ステップ500の判定が肯定であることに応答して、車両センサとインフラセンサとの共通グリッドマップを作成し最適化するステップ502と、ステップ502により作成されたグリッドマップを使用してセンサデータを解析し、解析後のデータを使用して各車両に対して情報を送信して処理を終了するステップ504とを含む。
図16に、図15のステップ502で実行されるプログラムの詳細なフローチャートを示す。図16を参照して、このプログラムは、車両センサ及びインフラセンサの各々の伝搬範囲及び解析範囲を図13に示す受信データ記憶部342から読出すステップ550と、ステップ550で読出したデータに基づき、予め準備されたグローバルなグリッドの中で車両センサ及びインフラセンサの両方の伝搬範囲を包含する最小のグリッドを決定することで統合グリッドを生成するステップ552と、ステップ552で生成された統合グリッドの各セルに対応する要素を持つ配列を生成するステップ554と、統合処理の対象となる対象セルのリストを初期化するステップ556とを含む。
このプログラムはさらに、図13に示す受信データ記憶部342に記憶されている各点群データの各々について、以下の処理560を実行するステップ558を含む。
処理560は、処理対象となっている点群データを、その位置データに基づいてステップ552で生成されたグリッドのいずれかにマッピングするステップ570と、ステップ570で点群データがマッピングされたグリッドのセルを表す情報を対象セルのリストに追加するステップ572とを含む。ステップ570では、各点群データを、その位置を含むグリッドセルにマッピングする。ステップ572のリストは、既にリスト内に存在するセルが再度追加されたときには新たなセルを追加することはしない形式のものが好ましい。
このプログラムはさらに、ステップ558に続き、ステップ572で作成された処理対象セルのリスト内の各セルについて、以下の処理564を実行するステップ562を含む。
処理564は、処理対象となっているセルがインフラセンサの解析範囲内か否かを判定し、判定にしたがって制御の流れを分岐させるステップ580と、ステップ580の判定結果が否定であるときに、処理対象となっているセルが車両センサの解析範囲内か否かを判定し、判定にしたがって制御の流れを分岐させるステップ582と、ステップ582の判定が否定のときに、処理対象となっているセルがインフラセンサの伝搬範囲内か否かを判定し、判定にしたがって制御の流れを分岐させるステップ584と、ステップ584の判定が肯定であることに応答して、処理対象となっているセルが車両センサの伝搬範囲内か否かを判定し、判定にしたがって制御の流れを分岐させるステップ586と、ステップ584の判定結果が否定のとき、及びステップ586の判定が否定のときに、処理対象のセルを対象セルのリストから削除し処理564を終了するステップ588とを含む。ステップ580の判定が肯定のとき、ステップ582の判定が肯定のとき、ステップ584の判定が肯定でかつステップ586の判定が肯定のときには、処理対象セルのリストに対する処理はせず処理564の処理を終了する。
すなわち、処理対象のセルがインフラセンサの解析範囲内にあるか、車両センサの解析範囲内にあるとき、及び、処理対象のセルがインフラセンサの伝搬範囲内にあり、かつ、車両センサの伝搬範囲内にもあるとき、すなわち両者の重複した範囲にあるときには、そのセルについては解析の処理対象とする。それ以外のときには処理対象とはしない。
このような構成をとることにより、以下のような効果が生じる。すなわち、統合グリッドの大きさは伝搬範囲と比較して大きく、含まれるセルの数も多い。そのため、統合グリッド内の全てのセルについて、処理対象とすべきか否かを判定していると、処理に要する時間が長くなるおそれがある。それに対しこの実施の形態では、点群データがあるセルにマッピングされるたびに、そのセルを示すデータを対象セルのリストに追加する。さらに、対象セルの中でも上記した条件を充足しないセルは削除される。点群データを解析するときには、処理対象セルのリストにあるセルだけを処理対象とすればよい。この処理対象セルのリストは統合グリッド全体に含まれるセルの数以下であり、多くの場合にはかなり少なくなることが見込まれる。したがって、統合グリッドにマッピングされた点群データに対する解析処理を短時間で終了させることができる。
〈動作〉
上記したシステムは以下のように動作する。図3を参照して、車両84はLiDAR94により得られた伝搬範囲の点群データを全てエッジサーバ70に送信する(図9)。同様にインフラセンサ80もLiDARの伝搬範囲から得られた点群データを全てエッジサーバ70に送信する(図12)。
車両84がインフラセンサ80から離れた位置(インフラ協調エリア外)にある場合、図4の重複領域108のような領域は生じない。図15を参照して、この場合、受信データ記憶部342(図13)がこれらデータを受信した後、ステップ502及びステップ504の処理は行われない。図13に示すグリッドマップ作成部344は車両84とインフラセンサ80との双方について別々にグリッドマップを作成する。動体検出部354はこのグリッドマップを使用して動体検出を行う。検出された動体に関する情報は検出動体記憶部356に記憶され、動体追跡部358が各動体を追跡し、属性検出部362が各動体の属性を検出する。これら情報はそれぞれ解析結果記憶部360及び解析結果記憶部364に記憶された後、統合処理部366により統合され解析結果記憶部368に記憶される。一方、エッジサーバ70は受信処理部340を介して車両情報を受信し、車両追跡部380が各車両を追跡する。各車両の位置等に関する情報は車両情報記憶部382に記憶される。情報送信部390は解析結果記憶部368に記憶された解析結果に基づいて作成した交通支援の情報を、車両情報記憶部382に記憶された各車両に向けて送信処理部392を介して送信する。
一方、図3を参照して、車両が十分にインフラセンサ80に近づき、インフラ協調エリアに進入したとする。この場合、図4に示すようにLiDAR94の伝搬範囲104とインフラセンサ80の伝搬範囲100との間に重複領域108が生ずる。
この場合、図15に示すプログラムでステップ500の判定が肯定となり、ステップ502が実行される。
図13を参照して、グリッドマップ作成部344は車両84のLiDAR94及びインフラセンサ80のLiDARの伝搬範囲及び解析範囲を受信データ記憶部342から読出す(図16のステップ550)。続いてグリッドマップ作成部344はグリッドマップ記憶部346に記憶されている前回作成したグリッドマップをクリアし、新たなグリッドマップを作成してグリッドマップ記憶部346に記憶させる(図16のステップ552)。このグリッドマップは、グリッドマップ作成部344が予め記憶しているグローバルグリッドマップから、LiDAR94の伝搬範囲とインフラセンサ80のLiDARの伝搬範囲とを包含する最も小さな矩形からなる部分的なグリッドマップを特定することで作成される。さらにグリッドマップ作成部344はグリッドマップ記憶部346内に、グリッドマップの各セルを要素とする二次元配列を作成する(図16のステップ554)。さらにグリッドマップ作成部344は、対象セルリスト記憶部350に記憶された対象セルのリストを初期化する(図16のステップ556)。この初期化は、要素が何もないリストを生成することに相当する。
点群データマッピング部348は、受信データ記憶部342に記憶されている点群データを読出す(図16のステップ558)。点群データマッピング部348は、読出した各点群データを、それらの位置に基づいてグリッドマップの各セルにマッピングし、対応する配列要素に記憶させる(図16のステップ570)。同時に点群データマッピング部348は、ある配列要素に点群データをマッピングしたときには、その配列要素を特定する情報を対象セルリスト記憶部350に追加する(図16のステップ572)。対象セルリスト記憶部350は、このセルを記憶する。ただし、対象セルリスト記憶部350は、既にリスト内にあるセルの追加要求があった場合にはその要求を無視する。
この処理をすることにより、LiDAR94からの点群データ及びインフラセンサ80からの点群データが全てグリッドマップ上にマッピングされる。
ステップ558の処理560が全て完了すると、図13に示す対象セル判定部352が、グリッドマップ記憶部346に記憶されているグリッドマップの中で、どのセルを処理対象とすべきかについて対象セルリスト記憶部350を参照して以下のように判定する。
すなわち、図16を参照して、ステップ552において、対象セルリスト記憶部350に記憶された対象セルリスト内の各セルについて、まずそのセルがインフラセンサ80の解析範囲内にあるか否かを判定する。判定結果が肯定ならこのセルは処理対象となる。判定結果が否定なら制御はステップ582に進む。
ステップ582では、セルは車両センサであるLiDAR94の解析範囲内か否かを判定する。判定が肯定ならこのセルは処理対象となる。判定が否定なら制御はステップ584に進む。
ステップ584ではセルがインフラセンサ80の伝搬範囲内か否かが判定される。判定が肯定なら制御はステップ586に進み、さらにセルがLiDAR94の伝搬範囲内か否かが判定される。ステップ586の判定が肯定ならこのセルは処理対象となる。ステップ584での判定が否定の場合、及びステップ586での判定が否定の場合には、セルを処理対象セルのリストから削除する。
すなわち、セルがインフラセンサ80の解析範囲内にあるか、LiDAR94の解析範囲内にあるか、又はセルがインフラセンサ80の伝搬範囲内にあってかつLiDAR94の伝搬範囲内にある場合にはそのセルは処理対象となり、それ以外のセルは処理対象から除外される。
このようにすることで、点群データに対する解析では、対象セルリスト内のセルのみを処理対象とすればよく、グリッドマップ内の全セルを処理対象とする必要がなくなる。その結果、点群データに対する処理が速くなるという効果が生じる。
動体検出部354は、グリッドマップ記憶部346に記憶されているグリッドマップのセルの中で、対象セルリスト記憶部350に記憶されたリスト内のセルの点群データのみを解析対象として解析を行い、動体を検出する。検出された動体に関する情報は検出動体記憶部356に記憶される。以下の処理は車両がインフラ協調エリア外にある場合と同じである。
以上のようにこの実施の形態に係る交通支援システムによれば、LiDAR94及びインフラセンサ80の伝搬範囲内の点群データという、従来は使用されていなかったデータを使用して動体の検出を行うことができる。従来は検出されていなかった動体を検出できる可能性が高くなり、より充実した交通支援情報を交通参加者に対して提供できる。また、グリッドマップにマッピングされた点群データの中で、LiDAR94の伝搬範囲とインフラセンサ80の伝搬範囲との重複領域から検出された点群データのみを処理対象とする。そのため、伝搬範囲まで処理対象を広げても処理時間が大きく増加することはなく、従来と同じ周期で繰返すことが可能であり、より充実した交通支援情報を提供できる。
なお、インフラセンサ80は固定した位置に設けられている。したがって、インフラセンサ80の位置並びに伝搬範囲及び解析範囲に関する情報が予め分かっている場合には、エッジサーバ70にその情報を記憶しておけばよい。例えばインフラセンサ80の位置にエッジサーバ70を設置するような場合が考えられる。
<第2の実施の形態>
〈構成〉
上記第1の実施の形態に係る交通支援システムでは、LiDAR94の伝搬範囲とインフラセンサ80の伝搬範囲とが多少とも重複していればインフラ協調処理を行っている。しかし、この開示の実施の形態はそのような形態には限定されない。重複領域がごく小さい場合には、重複領域の点群データを用いても有効な情報が得られない可能性が高い。そもそも重複領域から点群データが得られない可能性もある。そこで、LiDAR94の伝搬範囲とインフラセンサ80の伝搬範囲との重複領域の面積があるしきい値より大きい場合に限ってインフラ協調処理を行う事が考えられる。第2の実施の形態に係る交通支援システムはそのようなシステムである。
この実施の形態に係るシステムでは、図13の対象セル判定部352を実現するプログラムが第1の実施の形態のものとは異なっている。そのプログラムの制御構造を図17にフローチャート形式で示す。図17に示すフローチャートが図16に示すものと異なっているのは、図16のステップ562に替えて、対象セルリスト内の各セルについて処理602を実行するステップ600を含む点である。
処理602が図16に示す処理564と異なるのは、ステップ582の判定が否定となったとき、ステップ584の前に、伝搬範囲の重複領域の面積がしきい値より大きいか否かを判定し、判定が肯定のときに制御をステップ584に進め、それ以外のときには制御をステップ588に進めるステップ610を含む点である。それ以外の点では図17の処理602は図16の処理564と同一であり、図17の全体フローチャートは図16の全体フローチャートと同一である。
〈動作〉
この第2の実施の形態に係る交通支援システムでは、図17の処理602に示すように、対象セルリスト内のセルがインフラセンサ80の解析範囲内になく(ステップ580でNO)、かつそのセルがLiDAR94の解析範囲内にもない場合(ステップ582でNO)には、インフラセンサ80の伝搬範囲とLiDAR94の伝搬範囲との重複領域の面積がしきい値より大きいか否かが判定される。重複領域の面積がしきい値以下であれば(ステップ610の判定がNO)重複領域を含め、伝搬領域内の点群データは処理対象とされない。重複領域の面積がしきい値より大きいときのみ、重複領域内の点群データが処理対象となる。
以上のようにこの第2の実施の形態によれば、LiDAR94とインフラセンサ80の伝搬範囲の重複領域の面積がしきい値より大きくなければ、重複領域から得られた点群データは動体検出のための解析対象とならない。重複領域の点群データから有効な情報が得られる可能性が高いときのみ、重複領域から得られた点群データを処理対象とするので、交通支援情報の品質を落とさず、処理を高速化できる。
なお、この実施の形態では伝搬範囲の重複領域の面積がしきい値より大きい場合にのみ伝搬範囲の重複領域内にあるセルを解析の処理対象としている。しかしこの開示の実施の形態はそのような形態には限定されない。例えば、図17のステップ584において、2つのセンサの少なくとも一方の検出精度がしきい値より高いと判定されたときに、伝搬範囲の重複領域を解析の処理対象としてもよい。このために必要な構成は次の第3の実施の形態の構成と類似しているのでここでは詳細は述べない。
このように少なくとも一方のセンサの検出精度が高いときには、伝搬範囲の情報についても、多少の情報を補完することで正しい物体の検出を行うことができる可能性が高い。そうした場合に、他のセンサの伝搬範囲の重複領域の情報を使用することで、単独では検出できない物体を検出できる可能性が高くなる。
<第3の実施の形態>
〈構成〉
第1の実施の形態では、エッジサーバ70はインフラセンサ80及び車両84のLiDAR94の双方からセンサの伝搬範囲及び解析範囲に関する情報を受信している。しかしこの開示の実施の形態はそのような形態には限定されない。予めエッジサーバ70にセンサごとに伝搬範囲及び解析範囲に関する情報をセンサの識別情報とともに記憶しておき、各センサからはそのセンサの識別情報を受信するようにしてもよい。この第3の実施の形態に係るエッジサーバ630はそのような機能を持つ。
図18に、第3の実施の形態に係るエッジサーバ630の機能ブロック図を示す。図18を参照して、このエッジサーバ630が図13に示すエッジサーバ70と異なるのは、センサの伝搬範囲及び解析範囲に関する情報をセンサの識別情報(品番等)と関連付けて記憶したセンサ情報記憶部640、及び受信データ記憶部342からLiDAR94及びインフラセンサ80のセンサ識別情報を読出し、センサ情報記憶部640からそれらの伝搬範囲及び解析範囲に関する情報を読出すセンサ情報読出部642を新たに含むことと、図13のグリッドマップ作成部344に替えて、センサ情報読出部642の出力する各センサの伝搬範囲及び解析範囲に関する情報を用いてグリッドマップ記憶部346にグリッドマップを作成するグリッドマップ作成部646を含むこととである。その他の点ではエッジサーバ630は図13に示すエッジサーバ70と同一である。
〈動作〉
この第3の実施の形態に係るエッジサーバ630では、最初にグリッドマップを作成するときの動作のみが第1の実施の形態のエッジサーバ70と異なる。すなわち、受信処理部340はLiDAR94及びインフラセンサ80からそれぞれの点群データ及び位置データとともに、センサの識別情報を受信しいずれも受信データ記憶部342に格納する。センサ情報読出部642は、グリッドマップ作成のタイミングになると受信データ記憶部342から各センサの識別情報を読出し、各識別情報をキーにセンサ情報記憶部640から各センサの伝搬範囲及び解析範囲に関する情報を読出す。グリッドマップ作成部646はセンサ情報読出部642が読出した各センサの伝搬範囲及び解析範囲に関する情報と、受信データ記憶部342に格納されている各センサの位置データとを用いて、グリッドマップ記憶部346内のグリッドマップを作成しなおす。このグリッドマップの作成方法は第1の実施の形態のグリッドマップ作成部344によるものと同一である。
この実施の形態に係るエッジサーバ630では、各センサから伝搬範囲及び解析範囲に関する情報を受信せず、各センサの識別情報を受信するだけでその伝搬範囲及び解析範囲を特定できる。その結果、各センサから送信する情報を削減しながら第1の実施の形態と同様、より有効な交通支援情報を提供できる。
なおセンサ情報記憶部640はエッジサーバ630の内部に存在する必要はない。センサ情報記憶部640を外部のサーバに保存し、外部からその識別情報をキーに伝搬範囲と解析範囲とがセンサごとに読出すことができるのであれば、それを利用しても良い。識別情報としては、センサの品番だけでもよいし、センサのメーカとメーカごとのセンサの品番とをあわせて用いることもできる。
なお、第2の実施の形態の末尾で述べたように、センサごとの物体検出精度に基づいて重複領域を解析対象とするか否かを決定するシステムの場合には、図18に示す構成において、センサ情報記憶部640にセンサの物体検出精度を記憶させておき、センサ情報読出部642によりその精度を読出すようにすればよい。
<第4の実施の形態>
〈構成〉
上記第2の実施の形態では、LiDAR94及びインフラセンサ80の伝搬範囲の重複領域の面積がしきい値より大きいときに重複領域内の点群データを動体解析の対象としている。しかしこの開示の実施の形態はそのような形態には限定されない。LiDAR94を搭載した車両84の速度がしきい値より大きいときのみ、LiDAR94の伝搬範囲とインフラセンサ80の伝搬範囲との重複領域の点群データを動体解析の対象としてもよい。第4の実施の形態はそのような実施の形態である。なお、この実施の形態では、2つのセンサが一定の速さ以上の速さで互いに近づいているときのみ伝搬範囲の重複領域を解析の対象とする。
図19は、第1の実施の形態に係る図16に示すものに替えて、この第4の実施の形態に係るエッジサーバで実行されるプログラムのフローチャートである。図19に示すフローチャートが図16に示すフローチャートと異なるのは、図16のステップ562に替えて、対象セルリスト内の各セルに対して処理670を実行するステップ660を含む点である。その他の点では図19に示すフローチャートは図16に示すものと同一である。
一方、処理670が図16の処理564と異なるのは、ステップ582の判定が否定のとき、ステップ584の前に、LiDAR94とインフラセンサ80との間の距離の減少速度が所定のしきい値(>0)より大きいか否かを判定し、判定が肯定であるときには制御をステップ584に、判定が否定であるときには制御をステップ588に、それぞれ分岐させるステップ680を含む点である。その他の点では処理670は図16に示す処理564と同一である。
〈動作〉
この第4の実施の形態に係る交通支援システムでは、図19の処理670に示すように、対象セルリスト内のセルがインフラセンサ80の解析範囲内になく(ステップ580でNO)、かつそのセルがLiDAR94の解析範囲内にもない場合(ステップ582でNO)には、LiDAR94とインフラセンサ80の間の距離の減少速度が正のしきい値より大きいか否かが判定される。この減少速度がしきい値以下であれば(ステップ680の判定がNO)重複領域を含め、伝搬領域内の点群データは処理対象とされない。センサ間の距離の減少速度がしきい値より大きいときのみ、重複領域内の点群データが処理対象となる。
この第4の実施の形態によれば、LiDAR94とインフラセンサ80の間の距離の減少速度がしきい値より大きくなければ、重複領域から得られた点群データは動体検出のための解析対象とならない。LiDAR94とインフラセンサ80の間の距離の減少速度がしきい値より大きいということは、インフラセンサ80が固定されていることを前提とすれば、LiDAR94がインフラセンサ80に近づいており、かつその速度がしきい値より大きいことを意味する。こうした場合には、LiDAR94を搭載した車両84に、より充実した交通支援情報を提供することが可能になる。一方、ステップ680の条件が充足されないときには、重複領域の点群データを処理対象としないので、解析処理に要する時間を短縮化できる。その結果、センサの伝搬範囲の重複領域から得られた点群データを用いてより詳細な交通支援情報を提供でき、さらに、そのように詳細な交通支援情報が不要な場合には処理を高速化できるという効果がある。
[コンピュータによる実現]
本開示の上記実施の形態に係る交通支援システムで使用される車載装置146、インフラセンサ情報送信装置230、エッジサーバ70、630等は、図8、図11及び図14に示すように、コンピュータハードウェアと、そのコンピュータハードウェア内のマイクロプロセッサにより実行されるプログラムとにより実現される。これらプログラムの構成の中で、この発明に関係するものについては図9、図12、図15〜図17及び図19に示したとおりである。これらプログラムを、図8に示す補助記憶装置186、図11に示す補助記憶装置286、及び図14に示す補助記憶装置470に記憶しておき、実行時には図8に示すRAM184、図11に示すRAM284、及び図14に示すRAM468にそれぞれロードし、図8に示すマイクロプロセッサ180、図11に示すマイクロプロセッサ280、及び図14に示すマイクロプロセッサ460に実行させることにより、上記した各実施の形態に係る交通支援システムを実現できる。
これらのプログラムは、コンピュータに上記各実施形態に係る車載装置146、インフラセンサ情報送信装置230、エッジサーバ70及び630等として動作を行わせる複数の命令を含む。この動作を行わせるのに必要な基本的機能のいくつかはコンピュータ上で動作するオペレーティングシステム(OS)若しくはサードパーティのプログラム、又は各コンピュータにインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令の中で、所望の結果が得られるように制御されたやり方で適切な機能又は「プログラミング・ツール・キット」を呼出すことにより、上記した車載装置146、インフラセンサ情報送信装置230、エッジサーバ70及び630等並びにその構成要素としての動作を実行する命令のみを含んでいればよい。コンピュータの動作は周知であるので、ここでは繰返さない。なお、図14に示すGPU462は並列処理を行うことが可能であり、多くの動体検出のための処理を同時並列的に実行する際に有効に機能する。
上記実施の形態では、センサの伝搬範囲と解析範囲とがセンサごとに固定されたものとして説明した。しかしこの開示の実施の形態はそのような形態には限定されない。例えばLiDAR等の場合、レーザ光を使用する関係上、周囲の環境によって検出精度がしきい値以上となる距離が変動する可能性がある。例えば物体から反射してくる光の強さを測定することでその距離の変動をある程度検知できる。そうした場合には、各センサでその変動に合わせて伝搬範囲と解析範囲とを動的に変更することも可能である。そうした場合にも、上記した実施の形態の中で、センサから伝搬範囲及び解析範囲に関する情報を受け取るシステムでは、それら変動にあわせて解析対象の範囲を変化させることが可能である。
さらに、上記実施の形態では、2つのセンサの一方が動体に設置され、他方が路側に設置されているものとして説明した。しかしこの開示の実施形態はそのような形態には限定されない。例えば双方のセンサがいずれも動体に設置されている場合でもよい。この場合には、双方のセンサからエッジサーバに位置情報を送信することが必要である。また、双方のセンサとも固定されている場合でもこの開示は適用できる。この場合には、双方のセンサの位置が固定され、伝搬範囲及び解析範囲も予めわかるので、これらの情報を予めエッジサーバに記憶させておけば、センサからエッジサーバには点群データと時刻情報のみを送信すればよい。
また上記実施の形態では、サーバが装置全体を回転させて周囲をスキャンする機械式LiDARであるものとして説明した。しかしこの開示の実施形態はそのような形態には限定されない。LiDARとしてはこのような方式のものに限らず、ポリゴンミラーを用いてレーザ光で周囲をスキャンするもの、MEMS(Micro Electro Mechanical Systems)ミラーを使用してスキャンするもの、レーザを2次元的に配置した2次元アレーによるもの、単一のレーザ光の発射方向を電子的に偏向させることで2次元的に空間をスキャンするもの、及びそれらを複数個組み合わせるもの等、任意のものを用いることができる。同様に、近赤外線ではなく、ミリ波のパルスを用いるミリ波レーダについてもこの発明を適用できる。原理的にはテラヘルツ波によるレーダを用いても良い。また、上記実施の形態では、対象となるセンサデータは点群データであるものとした。しかしこの開示の実施形態はそのような形態には限定されない。
上記交通支援システムにおける各装置は、図8、図11及び図14に示すように、マイクロプロセッサ、ROM、RAM等を含んで構成されるコンピュータを備える。マイクロプロセッサ等の演算処理部は、図12、図15から図17及び図19に示すような、シーケンス図またはフローチャートの各ステップの一部または全部を含むコンピュータプログラムを、ROM、RAM等の記憶部からそれぞれ読み出して実行する。これら複数の装置のコンピュータプログラムは、それぞれ、外部のサーバ装置等からインストールすることができる。また、これら複数の装置のコンピュータプログラムは、それぞれ、CD−ROM、DVD−ROM、半導体メモリ等の記録媒体に格納された状態で流通する。
今回開示された実施の形態は単に例示であって、この発明が上記した実施の形態のみに制限されるわけではない。この開示の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
50 実空間
52 交通状況俯瞰マップ
70、630 エッジサーバ
72 基地局
80 インフラセンサ
82、84 車両
92、94、234 LiDAR
100、104 伝搬範囲
102、106 解析範囲
108 重複領域
130 グリッド
140 ミリ波レーダ
142 車載カメラ
146 車載装置
160、250、440 コンピュータ
162、442 モニタ
164 タッチパネル
166 各種アクチュエータ
168、252 各種センサ
170 スピーカ及びマイク
172 USBメモリ
180、280、460 マイクロプロセッサ
182、282、464 ROM
184、284、468 RAM
186、286、470 補助記憶装置
188、288、478 無線通信部
190、290、474 バス
192、292 入出力I/F
194 音声処理I/F
196 半導体メモリドライブ
210、212、214、310、312、314、500、502、504、506、550、552、554、556、558、562、570、572、580、582、584、586、588、600、610、660、680 ステップ
230 インフラセンサ情報送信装置
232 カメラ
340 受信処理部
342 受信データ記憶部
344、646 グリッドマップ作成部
346 グリッドマップ記憶部
348 点群データマッピング部
350 対象セルリスト記憶部
352 対象セル判定部
354 動体検出部
356 検出動体記憶部
358 動体追跡部
360、364、368 解析結果記憶部
362 属性検出部
366 統合処理部
380 車両追跡部
382 車両情報記憶部
390 情報送信部
392 送信処理部
446 キーボード
448 マウス
450 インターネット
452 DVD
462 GPU
472 DVDドライブ
476 ネットワークI/F
560、564、602、670 処理
640 センサ情報記憶部
642 センサ情報読出部

Claims (12)

  1. 第1のセンサ及び第2のセンサの出力に基づき、物体を検出する物体検出装置であって、
    前記第1のセンサ及び前記第2のセンサの各々は、当該センサの周囲の所定領域内にある物体までの距離を表すセンサデータを取得可能であり、かつ、前記所定領域は、当該センサによる物体の検出の信頼度がしきい値より高い第1の領域と、信頼度が前記しきい値以下の第2の領域とに区分され、
    前記第1のセンサ及び前記第2のセンサの前記第1の領域及び前記第2の領域を特定するための情報を取得する領域情報取得部と、
    前記領域情報取得部により取得された前記情報に基づき、前記第1のセンサ及び前記第2のセンサの各々の前記第1の領域と、前記第1のセンサ及び前記第2のセンサの各々の前記第2の領域の重複領域とを統合することにより、適応的な統合検出範囲を特定する検出範囲適応装置と、
    前記第1のセンサ及び前記第2のセンサから、当該第1のセンサ及び前記第2のセンサがそれぞれ得た、各センサの検出範囲内のセンサデータを取得し、前記統合検出範囲にマッピングするマッピング装置と、
    前記マッピング装置により前記統合検出範囲にマッピングされたセンサデータを解析することにより、前記統合検出範囲内にある物体を検出する解析装置とを含む、物体検出装置。
  2. 前記センサデータは、前記第1のセンサ及び前記第2のセンサの各々から周囲の所定領域内にある物体までの距離を表す点群データを含み、
    前記領域情報取得部は、
    前記第1のセンサの前記第1の領域と前記第2の領域とを特定する情報を取得する第1のセンサ情報取得部と、
    前記第2のセンサの前記第1の領域と前記第2の領域とを特定する情報を取得する第2のセンサ情報取得部とを含み、
    前記解析装置による解析後に前記統合検出範囲及び当該統合検出範囲にマッピングされた点群データをクリアするクリア部と、
    前記第1のセンサ情報取得部、前記第2のセンサ情報取得部、前記検出範囲適応装置、前記マッピング装置、前記解析装置、及び前記クリア部を所定時間ごとに繰返し動作させることにより、前記統合検出範囲内にある物体を前記所定時間ごとに継続的に検出する検出制御部とをさらに含む、請求項1に記載の物体検出装置。
  3. 前記領域情報取得部は、前記第1のセンサ及び前記第2のセンサの各々について、当該センサの位置、前記第1の領域、及び前記第2の領域を特定する情報を取得するセンサ情報取得部を含む、請求項1又は請求項2に記載の物体検出装置。
  4. 前記領域情報取得部は、
    センサの識別情報ごとに、当該センサに関する前記第1の領域及び前記第2の領域を特定する領域特定情報を記憶する領域特定情報記憶装置と、
    前記第1のセンサ及び前記第2のセンサの各々から、当該センサの位置、及び当該センサの識別情報を取得するセンサ識別情報取得部と、
    前記第1のセンサ及び前記第2のセンサの各々について、前記領域特定情報記憶装置から前記センサ識別情報取得部が取得した識別情報に対応する領域特定情報を読出し、前記センサ識別情報取得部が取得した当該センサの位置と当該領域特定情報とを用いて、当該センサの前記第1の領域及び前記第2の領域の範囲を算出する範囲算出装置とを含む、請求項1又は請求項2に記載の物体検出装置。
  5. 前記領域情報取得部は、
    センサの識別情報ごとに、当該センサに関する物体検出精度を記憶する検出精度記憶装置と、
    前記第1のセンサ及び前記第2のセンサの各々から、当該センサの位置、及び当該センサの識別情報を取得するセンサ識別情報取得部と、
    前記第1のセンサ及び前記第2のセンサの各々について、前記検出精度記憶装置から前記センサ識別情報取得部が取得した識別情報に対応する物体検出精度を読出す精度読出装置と、
    前記第1のセンサ及び前記第2のセンサの少なくとも一方の物体検出精度が所定のしきい値より大きいことに応答して、前記領域情報取得部により取得された前記情報に基づき、前記第1のセンサ及び前記第2のセンサの前記第1の領域と、前記第1のセンサ及び前記第2のセンサの前記第2の領域の重複領域とを統合することにより、前記統合検出範囲を特定する第1の統合範囲特定装置と、
    前記第1のセンサ及び前記第2のセンサの双方の物体検出精度がいずれも前記所定のしきい値以下であることに応答して、前記領域情報取得部により取得された前記情報に基づき、前記第1のセンサ及び前記第2のセンサの各々の前記第1の領域を統合することにより、前記統合検出範囲を特定する第2の統合範囲特定装置とを含む、請求項1又は請求項2に記載の物体検出装置。
  6. 前記第1のセンサ情報取得部はさらに、前記第1のセンサの移動速度を取得し、
    前記検出範囲適応装置は、
    前記第1のセンサの移動速度が所定のしきい値より大きいことに応答して、前記領域情報取得部により取得された前記情報に基づき、前記第1のセンサ及び前記第2のセンサの前記第1の領域と、前記第1のセンサ及び前記第2のセンサの前記第2の領域の重複領域とを統合することにより、前記統合検出範囲を特定する第1の統合範囲特定装置と、
    前記第1のセンサの移動速度が前記所定のしきい値以下であることに応答して、前記領域情報取得部により取得された前記情報に基づき、前記第1のセンサ及び前記第2のセンサの各々の前記第1の領域を統合することにより、前記統合検出範囲を特定する第2の統合範囲特定装置とを含む、請求項2に記載の物体検出装置。
  7. 前記検出範囲適応装置は、
    前記領域情報取得部により取得された前記情報に基づき、前記第1のセンサの前記第2の領域と、前記第2のセンサの前記第2の領域との重複領域を算出する重複領域算出部と、
    前記重複領域算出部により算出された前記重複領域の面積が所定のしきい値より大きいことに応答して、前記第1のセンサ及び前記第2のセンサの各々の前記第1の領域と、前記第1のセンサ及び前記第2のセンサの前記第2の領域の重複領域とを統合することにより、適応的な統合検出範囲を特定する第1の統合範囲特定装置と、
    前記重複領域の面積が前記所定のしきい値以下であることに応答して、前記第1のセンサ及び前記第2のセンサの各々の前記第1の領域を統合することにより、適応的な統合検出範囲を特定する第2の統合範囲特定装置とを含む、請求項1〜請求項4のいずれか1項に記載の物体検出装置。
  8. 所定の管理領域内に存在する物体を検出し解析するための、請求項1〜請求項7のいずれか1項に記載の物体検出装置と、
    当該物体検出装置による解析により得られる交通支援情報を前記管理領域内に存在する交通参加者に送信する送信装置とを含む、交通支援サーバ。
  9. 第1のセンサ及び第2のセンサの出力に基づき、物体を検出する物体検出方法であって、
    前記第1のセンサ及び前記第2のセンサの各々は、当該センサの周囲の所定領域内にある物体までの距離を表すセンサデータを取得可能であり、かつ、前記所定領域は、物体の検出の信頼度がしきい値より高い第1の領域と、信頼度が前記しきい値以下の第2の領域とに区分され、
    前記第1のセンサ及び前記第2のセンサの前記第1の領域及び前記第2の領域を特定するための情報を前記第1のセンサ及び前記第2のセンサからそれぞれ取得するステップと、
    前記取得するステップにおいて取得された前記情報に基づき、前記第1のセンサ及び前記第2のセンサの各々の前記第1の領域と、前記第1のセンサ及び前記第2のセンサの前記第2の領域の重複領域とを統合することにより、適応的な統合検出範囲を特定するステップと、
    前記第1のセンサ及び前記第2のセンサから、前記第1のセンサ及び前記第2のセンサがそれぞれ得た、各センサの検出範囲からのセンサデータを取得し、前記統合検出範囲にマッピングするステップと、
    前記マッピングするステップにおいて前記統合検出範囲にマッピングされたセンサデータを解析することにより、前記統合検出範囲内にある物体を検出するステップとを含む、物体検出方法。
  10. コンピュータを、第1のセンサ及び第2のセンサの出力に基づき、物体を検出する物体検出装置として機能させるコンピュータプログラムであって、
    前記第1のセンサ及び前記第2のセンサの各々は、当該センサの周囲の所定領域内にある物体までの距離を表すセンサデータを取得可能であり、かつ、前記所定領域は、当該センサによる物体の検出の信頼度がしきい値より高い第1の領域と、信頼度が前記しきい値以下の第2の領域とに区分され、
    前記コンピュータプログラムは、コンピュータを、
    前記第1のセンサ及び前記第2のセンサの前記第1の領域及び前記第2の領域を特定するための情報を取得する領域情報取得部と、
    前記領域情報取得部により取得された前記情報に基づき、前記第1のセンサ及び前記第2のセンサの各々の前記第1の領域と、前記第1のセンサ及び前記第2のセンサの各々の前記第2の領域の重複領域とを統合することにより、適応的な統合検出範囲を特定する検出範囲適応装置と、
    前記第1のセンサ及び前記第2のセンサから、当該第1のセンサ及び前記第2のセンサがそれぞれ得た、各センサの検出範囲内のセンサデータを取得し、前記統合検出範囲にマッピングするマッピング装置と、
    前記マッピング装置により前記統合検出範囲にマッピングされたセンサデータを解析することにより、前記統合検出範囲内にある物体を検出する解析装置として機能させる、コンピュータプログラム。
  11. 周囲の所定領域内にある物体までの距離を表すセンサデータを取得可能であり、かつ、前記所定領域は、当該センサによる物体の検出の信頼度がしきい値より高い第1の領域と、信頼度が前記しきい値以下の第2の領域とに区分されるセンサと、
    前記センサの前記第1の領域及び前記第2の領域を特定するための領域特定情報を記憶する領域特定情報記憶部と、
    前記領域特定情報記憶部に記憶された前記領域特定情報と、前記センサにより前記第1の領域及び前記第2の領域の双方から取得されたセンサデータとを所定のサーバに送信する送信装置とを含む、センサ装置。
  12. 前記送信装置はさらに、前記センサの存在する位置を示す位置データを前記サーバに送信する、請求項11に記載のセンサ装置。
JP2019054105A 2019-03-22 2019-03-22 物体検出装置及び方法、交通支援サーバ、コンピュータプログラム及びセンサ装置 Pending JP2020154913A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019054105A JP2020154913A (ja) 2019-03-22 2019-03-22 物体検出装置及び方法、交通支援サーバ、コンピュータプログラム及びセンサ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019054105A JP2020154913A (ja) 2019-03-22 2019-03-22 物体検出装置及び方法、交通支援サーバ、コンピュータプログラム及びセンサ装置

Publications (1)

Publication Number Publication Date
JP2020154913A true JP2020154913A (ja) 2020-09-24

Family

ID=72559387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019054105A Pending JP2020154913A (ja) 2019-03-22 2019-03-22 物体検出装置及び方法、交通支援サーバ、コンピュータプログラム及びセンサ装置

Country Status (1)

Country Link
JP (1) JP2020154913A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021193562A (ja) * 2020-06-05 2021-12-23 フォルクスヴァーゲン アクチエンゲゼルシャフトVolkswagen Aktiengesellschaft 車両周囲における1つまたは複数の物体に関する物体情報をマージするための車両、方法、コンピュータプログラムおよび装置
WO2022059486A1 (ja) 2020-09-15 2022-03-24 三井化学株式会社 粉体化粧料及び化粧料組成物

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021193562A (ja) * 2020-06-05 2021-12-23 フォルクスヴァーゲン アクチエンゲゼルシャフトVolkswagen Aktiengesellschaft 車両周囲における1つまたは複数の物体に関する物体情報をマージするための車両、方法、コンピュータプログラムおよび装置
JP7150938B2 (ja) 2020-06-05 2022-10-11 フォルクスヴァーゲン アクチエンゲゼルシャフト 車両周囲における1つまたは複数の物体に関する物体情報をマージするための車両、方法、コンピュータプログラムおよび装置
WO2022059486A1 (ja) 2020-09-15 2022-03-24 三井化学株式会社 粉体化粧料及び化粧料組成物

Similar Documents

Publication Publication Date Title
US11016500B2 (en) Simulation-based method to evaluate perception requirement for autonomous driving vehicles
US10262234B2 (en) Automatically collecting training data for object recognition with 3D lidar and localization
CN107015559B (zh) 使用散列加权积分和求和的目标跟踪的概率推理
US20210263159A1 (en) Information processing method, system, device and computer storage medium
US20180231640A1 (en) Lidar system with synchronized mems mirrors
US11230297B2 (en) Pedestrian probability prediction system for autonomous vehicles
US11260880B2 (en) Map-less and localization-less lane following method for autonomous driving of autonomous driving vehicles on highway
JP2021051057A (ja) 地面点群ポイントを検出するための方法および装置
US10860868B2 (en) Lane post-processing in an autonomous driving vehicle
JP2022513866A (ja) 領域外コンテキストを用いたオブジェクト分類
US11971536B2 (en) Dynamic matrix filter for vehicle image sensor
US20210333111A1 (en) Map selection for vehicle pose system
US10928488B2 (en) LIDAR 3D design using a polygon mirror
CN109307869A (zh) 用于增加激光雷达探测器的视场的设备和照明装置
US11372090B2 (en) Light detection and range (LIDAR) device with SPAD and APD sensors for autonomous driving vehicles
US11221405B2 (en) Extended perception based on radar communication of autonomous driving vehicles
US20200041624A1 (en) Lidar system design to mitigate lidar cross-talk
US10964048B2 (en) Method and device for generating image for indicating object on periphery of vehicle
JP2020154913A (ja) 物体検出装置及び方法、交通支援サーバ、コンピュータプログラム及びセンサ装置
US11036225B2 (en) Method for evaluating localization system of autonomous driving vehicles
US11360483B2 (en) Method and system for generating reference lines for autonomous driving vehicles
KR102397045B1 (ko) 관심 대상 지리적 체적 내에서 적어도 하나의 가정된 미검출 타깃의 가능한 지리적 위치를 결정하기 위한 방법 및 시스템
US20220404500A1 (en) Online lidar intensity normalization
WO2022217522A1 (zh) 目标感知方法、装置、探测系统、可移动平台及存储介质
JP2021018592A (ja) 走行制御装置、走行システムおよび走行プログラム