JP2020154568A - データ通信に基づいて意思決定を行うシステム - Google Patents

データ通信に基づいて意思決定を行うシステム Download PDF

Info

Publication number
JP2020154568A
JP2020154568A JP2019051272A JP2019051272A JP2020154568A JP 2020154568 A JP2020154568 A JP 2020154568A JP 2019051272 A JP2019051272 A JP 2019051272A JP 2019051272 A JP2019051272 A JP 2019051272A JP 2020154568 A JP2020154568 A JP 2020154568A
Authority
JP
Japan
Prior art keywords
data
vehicle
function
region
risk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019051272A
Other languages
English (en)
Inventor
スワーン ラトゥール
Swarn Singh Rathour
スワーン ラトゥール
統宙 月舘
Tsunamichi TSUKIDATE
統宙 月舘
祐 石郷岡
Hiroshi Ishigooka
祐 石郷岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019051272A priority Critical patent/JP2020154568A/ja
Priority to PCT/JP2019/050011 priority patent/WO2020188928A1/ja
Priority to US17/437,346 priority patent/US20220182498A1/en
Publication of JP2020154568A publication Critical patent/JP2020154568A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095Systems or arrangements for the transmission of the picture signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60General implementation details not specific to a particular type of compression
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4046Behavior, e.g. aggressive or erratic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression

Abstract

【課題】通信されるデータの量を低減できるデータ通信に基づいて意思決定を行うシステムを提供する。【解決手段】システムは、地図画像のうち、高リスクおよび低リスク領域を決定する機能と、高リスク領域のデータを送信すべきか否かを判定する第1送信判定機能と、低リスク領域のデータを送信すべきか否かを判定する第2送信判定機能と、周囲の物体を検出し、検出された物体の地図画像内の位置を決定する機能と、地図画像内の位置に基づき、物体が高リスク領域に属するか否か、低リスク領域に属するか否かを判定する機能と、物体までの距離に基づきデータ圧縮率を決定する圧縮率決定機能と、物体のデータをデータ圧縮率に従って圧縮したデータを生成する機能と、データを送信すべきと判定された場合に、圧縮データを送信する機能と、送信された圧縮データに関連して返信されるデータを受信する機能と、返信データに従って、意思決定を行う機能と、を備える。【選択図】図3

Description

この発明は、データ通信に基づいて意思決定を行うシステムに関する。
自動化の水準向上により、エッジサイドにおける計算能力に対する要求が高まっている。自律的システムの計算能力および意思決定能力は、未知の障害状況に対応するという課題に直面している。自律的システムの安全かつ最適な意思決定を補助し、支援するとともに、計算能力の負担を軽減することが望ましい。
特許文献1には、データ通信に基づいて意思決定を行うシステムの例が記載されている。このシステムは、地図のうち距離閾値内にある部分に対応する領域を特定する。
このシステムは、異なる領域内の画像を、それぞれ異なるデータ圧縮率で圧縮する。
しかしながら、このシステムは、地図および画像の特徴マッチングを用いるので高い計算能力を要し、リアルタイム性能要件と対立する。
さらに、このシステムは、圧縮された画像をリモートシステムに送信する。これは、交通が混雑していない状態や、有効通信レートが高い状態では実現可能である。しかしながら、交通が混雑すると、通信ネットワークの負荷が過大になり、送信可能なデータの量が限定されるので、効率的に動作できない可能性がある。
特許文献1の限界の1つは、ネットワーク負荷を低減するためにデータを削減するような方法は記載されていないということである。
第2に、特許文献1には意思決定技術について説明がない。たとえば、車両の状態、運転シナリオ、車両の目的、ネットワーク可用度、等に基づいてシステムがどのデータを送信すべきかを決定するということについては、記載されていない。
最後に、特許文献1では、車両が、人間のオペレータまたはより性能の高い計算システムの意思決定能力の恩恵を受けられる、困難なシナリオが説明されている。
完全に自律的な、部分的に自律的な、または半自律的なシステムが、安全に動作するためには、監督システムのようなリモートシステムとの連続的な通信または接続が必要である。
米国特許出願公開第2016/0283804号明細書
とくに、従来の技術では、通信されるデータの量が大きいという問題があった。
この発明はこのような問題点を解消するためになされたものであり、データ通信に基づいて意思決定を行うシステムにおいて、通信されるデータの量を低減できるものを提供することを目的とする。
この発明に係るシステムは、データ通信に基づいて意思決定を行うシステムであって、
地図画像を取得する機能と、
前記地図画像のうち、第1領域および第2領域を決定する機能と、
前記第1領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する、第1送信判定機能と、
前記第2領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する、第2送信判定機能と、
前記システムの周囲の物体を検出する機能と、
検出された前記物体のそれぞれについて、前記地図画像内における位置を決定する機能と、
検出された前記物体のそれぞれについて、前記地図画像内における前記位置に基づき、その物体が前記第1領域に属するか否かを判定する機能と、
検出された前記物体のそれぞれについて、前記地図画像内における前記位置に基づき、その物体が前記第2領域に属するか否かを判定する機能と、
検出された前記物体のそれぞれについて、その物体までの距離に基づき、その物体に係るデータ圧縮率を決定する、圧縮率決定機能と、
検出された前記物体のそれぞれについて、その物体に係るデータを、その物体に係る前記データ圧縮率に従って圧縮し、その物体に係る圧縮データを生成する機能と、
前記第1領域に係るデータを送信すべきと判定された場合に、前記第1領域に属する各前記物体に係る前記圧縮データを、前記通信ネットワークを介して送信する機能と、
前記第2領域に係るデータを送信すべきと判定された場合に、前記第2領域に属する各前記物体に係る前記圧縮データを、前記通信ネットワークを介して送信する機能と、
送信された前記圧縮データに関連して前記通信ネットワークを介して返信される、返信データを受信する機能と、
前記返信データに従って、意思決定を行う機能と、
を備える。
また、この発明に係るシステムは、データ通信に基づいて意思決定を行うシステムであって、前記システムはプロセッサを備え、前記プロセッサは、
地図画像を取得することと、
前記地図画像のうち、第1領域および第2領域を決定することと、
前記第1領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する、第1送信判定ことと、
前記第2領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する、第2送信判定ことと、
前記システムの周囲の物体を検出することと、
検出された前記物体のそれぞれについて、前記地図画像内における位置を決定することと、
検出された前記物体のそれぞれについて、前記地図画像内における前記位置に基づき、その物体が前記第1領域に属するか否かを判定することと、
検出された前記物体のそれぞれについて、前記地図画像内における前記位置に基づき、その物体が前記第2領域に属するか否かを判定することと、
検出された前記物体のそれぞれについて、その物体までの距離に基づき、その物体に係るデータ圧縮率を決定することと、
検出された前記物体のそれぞれについて、その物体に係るデータを、その物体に係る前記データ圧縮率に従って圧縮し、その物体に係る圧縮データを生成することと、
前記第1領域に係るデータを送信すべきと判定された場合に、前記第1領域に属する各前記物体に係る前記圧縮データを、前記通信ネットワークを介して送信することと、
前記第2領域に係るデータを送信すべきと判定された場合に、前記第2領域に属する各前記物体に係る前記圧縮データを、前記通信ネットワークを介して送信することと、
送信された前記圧縮データに関連して前記通信ネットワークを介して返信される、返信データを受信することと、
前記返信データに従って、意思決定を行うことと、
を実行可能である。
この発明に係るシステムは、物体のデータを送信すべきか否かを適切に決定するとともに、各物体のデータ圧縮率を適切に決定するので、通信されるデータの量を低減することができる。
本発明の具体的な実施例において、個別に得られる効果の例として、以下のようなものが挙げられる。
オンボード計算プラットフォーム(エッジサイド計算プラットフォーム)は、センサデータをリモートシステムに送信する前に、サンプリングし、フィルタリングし、圧縮することができる。さらに、エッジサイド計算プラットフォームは、安全かつ最適な意思決定を行うために、リモートシステムから動作命令を受信することもできる。リモートシステムは、たとえばリモート支援システムであり、訓練された人間のオペレータが関与するものであってもよく、高い計算能力を持つ計算プラットフォームであってもよい。リモート支援システムは、支援を要請しているエッジサイドシステムに対し、安全かつ最適な動作命令を提供することができる。
エッジサイドシステムは、リモートシステムから、遅延なしで、かつリアルタイムに、安全かつ最適な動作命令を受信することができる。これは、とくに以下のような状況で有効である。
‐車両自身では安全かつ最適な意思決定を行うことができない。
‐車両は安全ドライバーに制御を渡したいが、安全ドライバーが気付いていない。
‐車両が、未知のまたは説明不可能な障害状況に遭遇した。
‐車両の機能、動作またはシステムに障害が発生している。
‐リモートシステムの意思決定能力を向上させる学習のために、車両のセンサデータをアップロードする必要がある。
‐車両の乗員または乗客が支援を要請している。
上記いずれの状況でも、車両の状態および運転シナリオについて、リモートシステムが安全かつ最適な意思決定を行うために要求する情報は、巨大になり得る。したがって、原理は、安全かつ最適な意思決定を行うために、周囲環境の地図を用い、地図に静的および動的な情報を更新することである。本発明の一実施例では、エッジサイドシステムが、地図および車両の位置情報に基づき、車両環境を、高リスク領域(走行可能領域)および低リスク領域(静的地図領域、地図のうちランドマークを含む部分、道路網/グラフの一部でない建築物、等)に分割する。次に、エッジサイドシステムは、車両の位置の精度と、車両の状態(車両位置、速度、スロットル、ブレーキ、操舵)の精度と、地図とに基づき、車両環境の動的な交通参加物を、リモート支援システムに、更新または送信するか否かを決定することができる。次に、エッジサイドシステムは、フィルタリングされた車両環境内の、検出された物体情報に基づき、クラスタリング動作を行い、その後に、各クラスタを包囲する凸包を特定し、その後に、車両環境データから、各領域内の、検出された物体クラスタのクロッピング処理を実行する。最後に、エッジサイドシステムは、ネットワークの有効通信レートと、環境認知センサモジュールから検出された物体クラスタまでの距離と、運転シナリオとに基づき、クロッピングされた検出された物体クラスタについて適応的圧縮率を選択する。
車両に搭載された前方カメラによってキャプチャされるカメラ画像の例を示す図である。この車両に、本発明の実施例に係るシステムが搭載される。 車両に搭載された様々なセンサの例を示す図である。 本発明の一実施例に係るアルゴリズムを示すフローチャートである。 本発明の一実施例に係るデータの流れを示すブロック図である。 本発明の一実施例に係る意思決定ユニットの構成を示すブロック図である。 本発明の一実施例に係る圧縮ユニットの構成を示すブロック図である。 環境の地図の例を示す図である。環境の地図は、地図が準備される時点の静的特徴および環境の見え方を表す。一般的には、前方カメラによってキャプチャされた環境(図1、ただし動的障害物を含まないもの)を表す。 図7の地図のクロッピングされた部分を示す図である。図8は高リスク領域を表し、高リスク領域(図8)をクロッピングした後に図7に残る部分は低リスク領域を表す。 意思決定ユニットが、検出された物体のクラスタリングおよび凸包推定ユニットに、高リスク領域および低リスク領域双方を渡す場合の、車両に搭載された前方カメラによってキャプチャされる修正されたカメラセンサデータを表す図である。 意思決定ブロックが、検出された物体のクラスタリングおよび凸包推定ユニットに、高リスク領域のみを渡す場合の、車両に搭載された前方カメラによってキャプチャされる修正されたカメラセンサデータを表す図である。 低リスク領域に属する、カメラ画像からの、検出されクロッピングされた物体クラスタを表す図である。 高リスク領域に属する、カメラ画像からの、検出されクロッピングされた物体クラスタを表す図である。 リモート支援システムにおいて、環境の地図と、車両から受信した、検出されクロッピングされた物体クラスタとを用いて、再生される車両環境を示す図である。 実施例2に係る、データ通信に基づいて意思決定を行うシステムの構成の例を示す図である。 高リスク領域および低リスク領域の例を示す図である。
以下、この発明の実施例を、添付図面に基づいて説明する。本発明は、データ通信に基づいて意思決定を行うシステムとして実施可能である。本明細書において記載されるシステム、機能および方法は例示であり、本発明の範囲を限定するものではない。本明細書に開示されるシステムおよび方法の各態様は、異なる多様な構成の組み合わせにおいて構成可能であり、それらのすべてが本明細書において想定される。
各実施例において、特定の構成要素または説明を、他の実施例における構成要素または説明に置き換えることが可能である。たとえば、当業者は、実施例1におけるある処理について、その詳細を、実施例2に記載される具体例に沿って実現することができる。
[実施例1]
実施例1に係る構成は、完全に自律的な、または半自律的な、車両の動作を、リモート支援システムから動作命令または支援を受信することによって、改善または補助する方法を提供する。リモート支援システムは、人間のオペレータまたは計算能力の高い計算プラットフォームを含んでもよい。リモート支援システムからの動作命令または支援を受信するために、車両は、リモート支援システムに、センサデータを提供してもよい。センサデータは、車両の環境の画像またはビデオストリーム、LIDAR(LIght Detection And RangingまたはLaser Imaging Detection And Ranging)データ、RADAR(RAdio Detection And Ranging)データ、等を含む。これに対し、リモート支援システムは、物体の検出、分類または挙動予測について車両を補助し、任意の運転シナリオにおける安全かつ最適な意思決定をおこなうための支援を行ってもよい。したがって、車両は、リモートの人間オペレータの安全かつ最適な意思決定能力の、または、リモート支援計算プラットフォームの高い計算能力の、恩恵を受けることができる。
リモートの人間オペレータの意思決定能力を、または、リモート支援計算プラットフォームの高い計算能力を、車両が要求する可能性がある稀な運転シナリオの例は、以下の通りである。車両位置決定ユニットが、要求される限界内に収束せず、オンボード計算プラットフォームを用いたのでは実行できない高い計算能力を要求する機能を、車両が実施する必要がある。このような状況において、車両は、その機能を実行するために、計算能力の高いリモート支援システムからの支援を要求する可能性がある。したがって、車両は、高精度の位置情報を受信するために、センサデータを、計算能力の高いリモート支援システムにアップロードする。
別の例では、車両のオンボードの意思決定ユニットが、乗車している安全ドライバーに、車両の制御をテイクオーバーすることを要求する可能性がある。しかし、安全ドライバーはこれに気付いておらず、または注意しておらず、所定の時間フレーム内に制御を受け取らない可能性があり、これは事故につながる。このようなシナリオでは、安全ドライバーが注意していないので、車両は、車両制御をテイクオーバーすることを、リモート支援に要求することができる。
別の例では、車両のオンボード検出または意思決定/計画ユニットが、未知の状況/未知の障害に遭遇し、車両が安全な動作決定を行うのに十分な確信を持てない。そのような場合に、車両はリモート支援を要求し得る。同様に、オンボードの検出および認知システムが、リアルタイムに潜在的な障害物を検出できない場合や、車両が未知の障害に遭遇した場合には、交通事故につながり、使用者および通行人が怪我をする可能性がある。したがって、車両は、そのセンサデータをリモート支援システムにアップロードし、これに対し、安全かつ最適な動作命令を受信することができる。
別の例では、車両は、オンライン学習のために、そのセンサデータをクラウドにアップロードせねばならない場合がある。これは、意思決定能力、検出、等の向上のためである。このようなシナリオにおいて、帯域幅制限または他のデータ通信制限により、センサデータのリアルタイムのアップロードが禁止される場合がある。このようなシナリオでは、センサデータの圧縮は性能を劣化させる可能性がある。したがって、このようなシナリオでは、本発明の実施例を適用して、詳細な情報を失うことなく、車両のセンサデータをリアルタイムにアップロードすることが可能となる。
リモート支援システムが車両を支援する場合には、リモート支援システムは、安全かつ最適な意思決定を行うために、車両の周囲の環境を表す様々なデータを、リアルタイムで要求する可能性がある。たとえば、リモートの人間オペレータが車両をリモートにテイクオーバーする場合には、安全な意思決定を行うために車両の周囲のビデオ/画像データ表現が必要となるが、計算能力の高いプラットフォームの場合には、センサデータは安全かつ最適な意思決定のために要求される場合がある。
上述の例に鑑み、車両の環境を表すセンサデータをリモート支援システムに送信/アップロードする前に、サンプリングし、フィルタリングし、圧縮するための方法および機能が提供される。一例では、車両は、車両に搭載されたカメラから環境の画像を受信する。車両は、ベクトル地図等の環境の地図(車線情報、停止線、等)を受信してもよい。地図は、ナビゲーション中の環境の強度および画像ファイルを含んでもよい。また、地図は、様々な道路構造特徴および位置を含んでもよい。車両は、大域的位置およびその状態(大域的速度、方位、加速度、等)を受信してもよい。さらに、車両は、その状態および位置に基づき、地図内で車両自身を識別または位置決定してもよい。車両は、地図内の車両位置に基づき、地図を高リスク領域および低リスク領域に分割してもよい。一例では、高リスク領域は、車両の運転状態に関する領域(車両が走行している道路およびその道路の近傍)を含んでもよい。次に、車両は、車両位置および状態精度に基づき、リモート支援システムを、高リスク領域情報で、低リスク領域情報で、またはこれら双方で、更新することの重要度/優先度を決定してもよい。たとえば、車両位置が許容可能な閾値内であれば、車両は高リスク領域の検出されクロッピングされた物体クラスタのみを送信すると決定してもよい。このような意思決定の背景にある理由の1つは、低リスク領域が、車両の位置決定に有用な構造/ランドマーク特徴または静的特徴を含むということである。一方で、高リスク領域は運転の意思決定において重要である。さらに、車両は、物体検出センサおよび機能の助けにより、環境内の物体を識別してもよい。物体が識別された後、車両は、検出された物体をクラスタリングするためのクラスタリング機能を、ユークリッド距離、クラス、または物体特徴に基づいて実行してもよい。検出された物体をクラスタリングした後、車両は、各クラスタを包囲する境界ボックス/凸包を決定してもよい。次に、車両は、センサデータから、高リスク領域および低リスク領域において検出された物体クラスタのそれぞれをクロッピングしてもよい。最後に、車両は、運転シナリオおよび車両の帯域幅制限に基づき、各クラスタについて異なる圧縮率を決定してもよい。帯域幅可用度が非常に低い場合には、車両は検出された物体クラスタそれぞれの境界ボックス/凸包情報のみを送信してもよい。
一部のケースでは、本明細書に記載される機能は、カメラセンサデータ以外のセンサデータに基づいてもよい。たとえば、センサデータは、LIDAR、RADAR、超音波センサ、オーディオセンサ、等の様々なセンサからのものであってもよい。車両に搭載された計算プラットフォームが複数のセンサの融合を可能にする場合には、融合センサデータを用いてもよい。物体検出および凸包推定ユニットの場合には、任意の利用可能な構成を用いることができる。一例では、LIDARが環境の点群データを提供し、これが環境中の物体を示す。LIDAR情報は、クラスタリングおよび凸包推定に用いることができる。その後、検出された物体クラスタは、LIDARデータからクロッピングされ、その後、意思決定ユニットが、検出されクロッピングされた物体クラスタの重要度/優先度を決定してもよい。重要度が決定された後、帯域幅ベースの圧縮ユニットが、リモート支援システムへの送信の前に、検出されクロッピングされた物体クラスタのそれぞれの圧縮率を決定してもよい。RADARセンサデータについても同様の手法をとることができ、複数センサ融合データについても同様である。
以下、実施例1に係るシステムの例を詳細に説明する。データ通信に基づいて意思決定を行うシステムの例として、自動車を用いて説明する。しかしながら、本発明は、他のシステムにおいても実現が可能であり、たとえば、車両(乗用車、バス、トラック、列車、ゴルフカート等)、工業機械(建設機械、農場機械等)、ロボット(地上ロボット、水上ロボット、倉庫ロボット、サービスロボット等)、航空機(固定翼機、回転翼機等)、船舶(ボート、船等)、等にも応用できる。これら以外の車両にも応用可能である。
図1は、車両の前方カメラによってキャプチャされる環境を表す。
図2は車両200(乗用車)を示す。車両200は、運転を支援するための、または完全自律運転のための、様々なセンサを備える。センサの例は、LIDAR206、GPS(Global Positioning System)およびINS(Inertial Navigation System)207、カメラ203〜205および208、RADAR209および201、超音波センサ202および210である。これらは発明を説明するための例示にすぎない。車両はこれ以外のセンサ構成を有してもよい。
図3は、本実施例のアルゴリズムのフローチャート300を示す。車両は、1つ以上の環境認知センサから環境データを受信してもよい(ステップ301)。さらに、車両は環境の地図および車両状態/位置を受信してもよい(ステップ302)。また、車両は、車両位置および環境の地図に基づき、周囲の環境を高リスク領域および低リスク領域に分割してもよい(ステップ303)。また、車両は、帯域幅、車両位置および状態精度に基づき、高リスク領域および低リスク領域のセンサデータをフィルタリングしてもよい(ステップ304)。センサデータ領域をフィルタリングする目的の1つは、送信前にデータのサイズを低減することである。また、車両は、物体検出センサ/アルゴリズムの助けを得て、ユークリッド距離、特徴、検出された物体クラス、等に基づき、フィルタリングされたセンサデータ領域において、検出された物体をいくつかのグループにクラスタリングしてもよい(ステップ305〜306)。また、車両は、高リスク領域および低リスク領域において、検出された物体クラスタそれぞれの凸包または境界ボックスを特定してもよい。また、車両は、カメラ、LIDAR、RADAR、等の環境認知センサデータから、検出された物体クラスタをクロッピングしてもよいし、カメラ、LIDAR、RADARセンサデータを融合するためにセンサ融合手法を用いてもよいし、そこから検出された物体クラスタ情報をクロッピングしてもよい(ステップ307)。また、車両は、フィルタリングされ検出されクロッピングされた物体クラスタのそれぞれについて、帯域幅可用度、物体の種類、物体の挙動、運転シナリオ、等に基づき、圧縮率を決定してもよい(ステップ308)。また、車両は、フィルタリングされ検出されクロッピングされ圧縮された物体クラスタをリモートシステムに提供し(ステップ309)、安全かつ最適な動作命令をリモートシステムから受信してもよい(ステップ310)。
図4は、本実施例におけるデータの流れを示す機能ブロックを含むブロック図を表す。各ブロック内にはデータの流れが示される。ブロック311は、車両環境データおよび検出された物体情報を提供する。ブロック312は、車両環境を高リスク領域および低リスク領域に分割するために、適応的マスク生成ユニットに、地図データおよび車両状態/位置情報を提供する。ブロック313および314は意思決定ユニットを表す。意思決定ユニットの目的の1つは、マスク(高リスク領域、低リスク領域または双方)をブロック315に渡すことである。したがって、処理についてデータサイズを低減するために、マスクを用いてセンサデータがフィルタリングされる。ブロック315は、フィルタリングされた領域(またはブロック314の出力)における、検出された物体のクラスタリングと、検出された物体クラスタの凸包推定とを表す。ブロック316では、検出された物体クラスタのクロッピングユニットが、検出された物体クラスタの抽出を送信のためだけに実行する。ブロック317は帯域幅ベースの圧縮ユニットを表す。
図5は意思決定ユニットを示す。意思決定ユニットは、適応的マスク(すなわちブロック313の出力)の選択を実行する。したがって、車両環境を表すセンサデータを車両位置および状態精度に基づいてフィルタリングすることにより、検出された物体のクラスタリングのために必要なセンサデータサイズを低減することができる。意思決定ユニットの役割/目的の1つは、安全かつ最適な動作意思決定を行う際に、高リスク領域および低リスク領域情報の要件の優先度/重要度を決定することである。たとえば、車両状態分散/誤差/バイアス行列が所定の閾値内にある場合、または、ブロック312が車両位置および状態を必要な精度で提供する場合(すなわち、車両がセンチメートル以下の精度で位置決定可能である場合)には、高リスク領域データのみをリモート支援システムに送信すれば十分である。車両位置および状態精度が閾値より低い場合には、高リスク領域および低リスク領域双方のデータ情報をリモート支援システムに送信する必要がある。
図6は、帯域幅ベースの圧縮ユニットのアルゴリズムを示す。フィルタリングされた領域において検出されクロッピングされた物体クラスタは、さらに、リアルタイムの送信のために、データサイズを低減するために圧縮される。フィルタリングされ検出されクロッピングされた物体クラスタに対する圧縮率は、帯域幅可用度と、検出されクロッピングされフィルタリングされた物体クラスタから自車両までの距離とに基づいて計算される。したがって、利用可能な帯域幅が低すぎる場合には、リモートシステムには凸包および境界ボックスの情報のみを送信することしかできない。上述のシナリオにおいて、乗用車等の物体は、いかなるグラフィック情報も含まない3Dボックスとして表すことが可能である。
図7は、環境の地図を示す。地図は、車両の環境における様々な特徴を示してもよい。たとえば、図7におけるビューは、図1に示す環境の前方画像ビューに対応してもよい。他のケースでは、意思決定に右方ビュー、左方ビューまたは後方ビューが必要であり、地図のこれらに対応する部分が用いられてもよい。さらに、地図は、安全な意思決定のために、運転シナリオに関する対象領域を示してもよい。図7は、車両位置に基づき、車両環境の現在の近傍を表してもよい。したがって、車両位置を用いて、車両環境の現在の近傍を表す地図データから、地図の該当部分をクリッピングしてもよい。地図は、道路構造特徴402〜406を含んでもよい。一部のケースでは、それは道路地図を含んでもよい。道路地図は、ストリートビュー、点群データ、強度データ、道路構造(停止標識、交通信号)、その他の運転関連特徴に関連付けられていてもよい。地図は、強度および天候条件が異なる地図特徴画像ビューを含んでもよい。また、地図は、静的特徴またはランドマーク特徴401、407〜412を含んでもよい。これらは道路の一部ではないが、オンボードの位置決定機能が大きな誤差を有する場合には、車両の位置決定において重要な情報を提供する。
図8は、図7に示す地図の、クロッピングされた部分を表す。図7に示すマップをクロッピングするために、車両の位置/状態および地図道路情報(走行可能領域情報)を用いてもよい。クロッピングの目的の1つは、車両環境を高リスク領域および低リスク領域に分割することである。したがって、高リスク領域は運転意思決定に重要であり、一方で、低リスク領域情報は車両位置決定に重要であるということができる。地図(図7)のクリッピングされた部分(図8)は、静的な道路構造特徴(走行可能領域)402〜406を伴う高リスク領域を表す。歩道を表す道路構造特徴402を含めるために、高リスク領域の境界がわずかに拡大されており、これは都市部における安全運転意思決定のために重要である。周囲環境の情報がより多く必要となる場合には、車両環境を高リスク領域および低リスク領域に分割することは、リモートの人間オペレータまたはリモートの計算能力の高い計算プラットフォームによって定義されてもよい。車両環境を高リスク領域および低リスク領域に分割するための同様の手法は、複数のビューにわたって実行することもできる(車両環境の360°ビューを表す前方、左方、右方、および後方のカメラセンサによって取得される全方位ビュー)。
図9は運転環境画像500を示す。この画像は、車両に搭載される前方カメラによってキャプチャされるものであり、安全な意思決定のために高リスク領域および低リスク領域双方の情報が必要であると意思決定ユニット(ブロック314)が決定した場合にキャプチャされる。たとえば、このカメラは、車両の環境の前方ビューの画像500をキャプチャするために、車両の前方部分に搭載されてもよい。他のビューも可能である。たとえば、車両は、車両動き方向および運転シナリオに基づき、環境の全方位ビューをキャプチャするために、前方カメラ、左方カメラ、右方カメラ、および後方カメラを融合してもよい。画像500は、車両の環境において車両が遭遇する可能性のある様々な特徴(たとえば、道路標識504、交通信号501、車線情報510、歩道レーン507、歩行者505および503、交通参加者506、508、509、511、512、520、521等の動的特徴と、静的特徴502および514〜519と、ガードレール513と)を含んでもよい。
図10は、車両位置および状態が、要求される精度限界内にない場合の、ブロック315によって用いられる高リスク領域および低リスク領域双方の情報を表す。そのようなシナリオでは、絶対位置を決定するために低リスク領域が必要となる場合があり、安全かつ最適な動作決定のために高リスク領域情報が利用できる場合がある。同様に、車両位置が十分に高精度であれば、ブロック315は安全かつ最適な運転動作決定に図10(高リスク領域情報のみを表す)を用いてもよい。
画像500の圧縮および伝送について、帯域幅制限のために更新がうまくいかない場合がある。また、高い圧縮率は情報の損失につながる。運転に用いられる地図は、情報量が多くなり続けている。安全かつ最適な意思決定を行うためには、車両環境における動的情報のみをリモート支援のためにアップロードすれば十分な場合がある。したがって、車両に搭載されたセンサによってキャプチャされた車両環境は、サンプリングされ、フィルタリングされ、圧縮され、送信される。したがって、画像500の場合には、交通参加者506、508、509、511、512、520、521(図10)は安全かつ最適な運転意思決定に有用な可能性があり、一方で、静的特徴502および514〜519(図9)は車両の位置決定のために有用な可能性がある。したがって、画像500の場合には、歩行者503の挙動が予測不可能だと考えられるので、リモート支援システムは、歩行者503が横断している間は車両のスピードを落とすよう命令してもよい。また、右側車線の交通が大量すぎると考えられるので、リモート支援は、車両に車線を変更するよう命令してもよい。しかしながら、一部のシナリオでは、車両位置誤差が許容限界内である場合に、車両は画像500における静的特徴502および514〜519のような特徴を無視してもよく、または、送信しないと決定してもよい。その理由は、これらの特徴は静的特徴であり、車両の意思決定に大きな影響を及ぼさない場合があるからである。このように、本実施例によれば、画像500をリモート支援システムに送信する前に情報量を低減することができる。
図11および図12は、低リスク領域(記号1〜6)および高リスク領域(記号1〜8)それぞれに属する、検出されクロッピングされた物体クラスタを表す。たとえば、検出された物体は、それぞれ検出されたクラス、ユークリッド距離、サイズ、等に基づいてクラスタリングすることができる。物体検出のために、任意の物体検出センサ(たとえば、RADAR、LIDAR、カメラ、ステレオカメラ、赤外線カメラ、サーマルカメラ、超音波センサ、等)が使用可能である。本実施例では、物体検出のために複数のセンサを適用する。また、本実施例は、自動化された車両に接続されて用いられてもよく、したがって、各車両は、自身の位置および状態を他の車両に通知することができる。したがって、接続され自動化された車両の場合には、物体情報のためにV2X情報を用いてもよい。センサデータ(画像500)から検出された物体クラスタをクロッピングするために、検出された物体クラスタの凸包座標を用いてもよい。明確さのために、図11および図12は、高リスク領域および低リスク領域における検出されクロッピングされた物体クラスタを示す。しかしながら、意思決定ユニットは、各領域を車両位置および状態の精度に基づいてフィルタリングする。したがって、ブロック313(帯域幅ベースの圧縮ユニット)は、高リスク領域または低リスク領域のどちらかにおける検出されクロッピングされた物体クラスタを受信してもよいし、あるいは、すべてがブロック316に供給されてもよい。
図13は、検出されクロッピングされ圧縮された物体クラスタと、図7に示す地図データとを用いて、リモート支援側で再生された環境シーンを表す。したがって、車両の位置および状態の精度が許容可能限界未満である場合には、車両は、低リスク領域の検出されクロッピングされ圧縮された物体クラスタと、高リスク領域の検出されクロッピングされ圧縮された物体クラスタとの双方を送信してもよい。そのような状況では、低リスク領域の検出されクロッピングされ圧縮された物体クラスタは、特徴マッチングおよび高精度位置情報の出力に用いることができ、同時に、高リスク領域の検出されクロッピングされ圧縮された物体クラスタは、安全な運転意思決定のために用いることができる。
[実施例2]
実施例2は、実施例1において、さらに具体的な説明を加え、一部の構成および動作を追加または変更するものである。
図14に、実施例2に係るシステム700の構成の例を示す。システム700は、データ通信に基づいて意思決定を行うシステムである。システム700は、公知のコンピュータとしての構成を有し、演算手段701と、記憶手段702と、通信手段703とを備える。
演算手段701は、たとえばプロセッサを備える。記憶手段702は、半導体記憶装置、磁気ディスク装置、等の記憶媒体を備える。通信手段703は、入出力ポートまたは通信アンテナ等の入出力手段を備える。通信手段703は、たとえば無線通信ネットワークを介した無線通信を行うことが可能である。システム700は、通信手段703を介して、外部のコンピュータ(たとえばリモート支援システムまたは他の車両に搭載された意思決定システム)と通信することが可能である。なお、システム700は、通信手段703以外の入出力手段を備えてもよい。
システム700は、図3に示す各処理を実行する機能を備える。たとえば、記憶手段702には、図3に示す各処理を実行するためのプログラムが格納されており、演算手段701は、このプログラムを実行することにより、図3に示す各機能を実現する。
システム700は、たとえば車両(具体例として図2に示す車両200)に搭載可能である。その場合には、システム700は、その車両の動作を決定するものであってもよい。意思決定の内容は、たとえば、車速をどの程度にすべきか、アクセル開度をどの程度にすべきか、ブレーキをかけるべきか否か、停車すべきか否か、車線を変更すべきか否か、左に操舵すべきか否か、右に操舵すべきか否か、左右への操舵角をどの角度にすべきか、等を含む。
また、システム700は、車両以外の構成に搭載されてもよい。たとえば、図2に示すもの以外の車両(乗用車、バス、トラック、列車、ゴルフカート等)、工業機械(建設機械、農場機械等)、ロボット(地上ロボット、水上ロボット、倉庫ロボット、サービスロボット等)、航空機(固定翼機、回転翼機等)、船舶(ボート、船等)、等に搭載されてもよく、それらの動作または状況判断等に関する意思決定を行うものであってもよい。また、システム700は、移動可能な構造物(車両等)に搭載されて移動可能に構成されてもよく、固定された構造物に搭載されて移動不可能に構成されてもよい。
以下、図2の車両200を例にとって説明する。車両200はたとえば乗用車である。システム700には、周囲環境に関する情報を取得するためのセンサが1つ以上接続される。これらのセンサは、たとえば車両200に搭載される。周囲環境とは、システム700の周囲の物体の状況を表す。システム700の周囲の物体は、本実施例では車両200の周囲の物体として検出される物体であるが、必ずしも車両200に関連して検出される物体でなくともよい。
センサは、車両200の周囲の物体までの距離を測定する、距離センサを含む。距離センサは、RADARを含んでもよい。図2の例では、前方RADAR201および後方RADAR209を含む。また、距離センサは、超音波センサを含んでもよい。図2の例では、前方超音波センサ202および後方超音波センサ210を含む。また、距離センサは、LIDAR206を含んでもよい。
また、センサは、車両200の周囲の画像を取得する、画像センサ(撮像手段)を含んでもよい。図2の例では、画像センサは、第1前方カメラ203、側方カメラ204、後方カメラ208、および第2前方カメラ205を含む。
また、センサは、車両の位置情報を取得する、位置センサを含んでもよい。図2の例では、位置センサは、GPSおよびINS207を含む。
システム700は、図3の処理を実行する。この処理は、たとえば定期的に、または外部から入力される所定の実行開始信号に基づいて、開始される。
図3のステップ301において、システム700は、上述の各センサからデータを受信してもよい。これらのデータは、たとえば、車両200の周囲の各物体について、車両200に対する(または各センサに対する)物体の位置、車両200から(または各センサから)物体までの距離、物体の種類、物体の挙動(たとえば物体の移動方向および速度)、等を決定または推定できるように構成されたデータであってもよい。
図3のステップ302において、システム700は、地図画像を取得してもよい。地図画像とは、たとえば、周囲環境の地理的状況を表す画像を意味する。地図画像は、たとえば図8に示すような画像として取得される。なお、図8は地図画像を直接的に示す図ではないが、結果として取得される地図画像は、図8のような画像となる場合がある。
図8の例では、地図画像は、道路構造特徴402〜406を表す画像を含む。道路構造特徴402は歩道を表し、道路構造特徴403は交通標識を表し、道路構造特徴404は交通信号を表し、道路構造特徴405は車線境界を表し、道路構造特徴406はガードレールを表す。
地図画像は、外部のコンピュータから通信ネットワークを介して受信してもよく、システム700の記憶手段702に予め記憶されていてもよい。また、地図画像は、直接的に画像として取得されるものであってもよく、画像以外の形式の情報として取得された後に画像形式に変換されるものであってもよい。変換において、他の情報を参照してもよい。たとえば、システム700は、二次元形式の地図情報を取得し、地図における車両200の位置に基づいて、図8に示すような疑似三次元形式の地図画像を生成してもよい。この地図情報には、図8に示す道路構造特徴402〜406を表す情報が含まれている。
図3のステップ303において、システム700は、地図画像のうち、第1領域および第2領域を決定してもよい。3つ以上の領域を決定してもよい。第1領域および第2領域は、互いに重複しない領域として決定されてもよいし、互いに重複することを許容してもよい。これらの領域は、たとえば、固定された境界線または適応的に決定される境界線に基づいて決定される。これらの領域の具体的な決定方法は当業者が任意に設計可能であるが、たとえば特許文献1に記載される方法を用いることができる。特許文献1の記載内容は、参照により本明細書に援用される。
図15に、これらの領域の例を示す。図8に示す地図画像のうち、境界線Bに対して紙面下側(すなわち画像中の路面を含む側)となる領域が第1領域であり、境界線Bに対して紙面上側(すなわち画像中の上空領域を含む側)となる領域が第2領域である。
第1領域は、走行中の車両200にとって直接的に安全に関わる物体が存在する可能性が高い領域であり、高リスク領域と呼ぶことができる。また、第1領域は、路面に対して移動する物体が存在する可能性が高い領域であり、動的領域と呼ぶこともできる。一方、第2領域は、走行中の車両200にとって直接的に安全に関わる物体が存在する可能性が低い領域であり、低リスク領域と呼ぶことができる。また、第2領域は、路面に対して移動する物体が存在する可能性が低い領域であり、静的領域と呼ぶこともできる。
以下、本実施例では、説明の便宜上、第1領域を「高リスク領域」と呼び、第2領域を「低リスク領域」と呼ぶが、これらの領域の名称は本発明に本質的なものではない。
図3のステップ304において、システム700は、高リスク領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する(第1送信判定機能)。データは、たとえば各物体に係る画像データであるが、画像データ以外のデータを含んでもよい。この判定は、任意の基準に基づいて実行可能であるが、以下に例を示す。
第1送信判定機能は、たとえば、通信ネットワークの有効通信レートに基づいて実行してもよい。より具体的には、リモート支援システムへの通信ネットワークの有効通信レートが所定の閾値以上である場合には、高リスク領域に係るデータを送信すべきであると判定し、そうでない場合には、送信すべきでないと判定する。このような判定基準によれば、通信されるデータの量を低減することができる。とくに、有効通信レートが低い場合には、より重要な他のデータのために通信容量を節約することができる。
なお、有効通信レートは、「帯域幅」、「通信路容量」、「伝送路容量」、「伝送遅延」、「ネットワーク容量」、「ネットワーク負荷」、等と呼ばれる値であってもよい。有効通信レートの測定方法は、当業者が公知技術等に基づいて適宜設計可能である。
第1送信判定機能は、高リスク領域において検出された物体の数(たとえばステップ306または307において決定される)に基づいて実行してもよい。その場合には、第1判定機能はステップ307の後(ただしステップ309の前)に実行されてもよい。より具体的には、高リスク領域に所定の閾値以上の数の物体が属する場合には、高リスク領域に係るデータを送信すべきであると判定し、そうでない場合には、送信すべきでないと判定する。このような判定基準によれば、システム700自身が処理できる限界を超える数の物体が検出された場合に、適切にリモート支援システムによる支援を要請することができる。
第1送信判定機能は、システム700とリモート支援システムとの計算能力の比較に基づいて実行してもよい。たとえば、リモート支援システムに対するシステム700の計算能力を表す相対値に基づいて実行してもよい。このような相対値は、リモート支援システムの計算能力を表す値と、システム700の計算能力を表す値とを含む関数(たとえば単純な除算または減算であってもよい)を用いて決定することができる。また、たとえばシステム700に障害が発生している場合には、システム700の計算能力をより低く評価するようにしてもよい。
より具体的な例として、システム700の計算能力を表す相対値が所定の閾値以上である場合には、高リスク領域に係るデータを送信すべきでないと判定し、そうでない場合には、送信すべきであると判定する。このような判定基準によれば、通信されるデータの量を低減することができる。また、システム700自身の判断能力が不足する場合にのみ、効率的にリモート支援システムによる支援を要請することができる。
なお、第1送信判定機能は、上述の複数の基準を組み合わせて実行されてもよい。
また、図3のステップ304において、システム700は、低リスク領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する(第2送信判定機能)。データとは、たとえば各物体に係る画像データであるが、画像データ以外のデータを含んでもよい。この判定は、任意の基準に基づいて実行可能であるが、以下に例を示す。
第2送信判定機能は、たとえば、システム700の位置の精度に基づいて実行されてもよい。本実施例では、システム700の位置は、車両200の位置と同一と見なせるものとする。たとえば、システム700は、GPSおよびINS207が検出するデータに基づき、システム700の位置およびその精度(すなわち車両200の位置およびその精度)を取得または算出することができる。この精度が所定の閾値以上である場合には、低リスク領域に係るデータを送信すべきでないと判定し、そうでない場合には、送信すべきであると判定する。
ここで、低リスク領域は、地図画像に関する静的特徴を多く含む可能性が高いので、車両200またはシステム700の精密な位置決定に有用な可能性が高い。したがって、このような判定基準によれば、システム700が自身の位置を単独で特定することが困難な場合にのみ、適切にリモート支援システムによる支援を要請することができる。
なお、本実施例において、ステップ304におけるシステム700の動作は、必ずしも図5に沿ったものでなくともよい。とくに、第1送信判定機能および第2送信判定機能は、次のように様々な条件に基づいて実行することができる。
第1送信判定機能および第2送信判定機能において参照される条件は、通信ネットワークの有効通信レート、検出された物体の数、リモート支援システムの計算能力値、システム700の計算能力値、システム700の位置の精度、システム700の移動速度(すなわち車両200の走行速度)、等を含むことができる。また、これらの条件の様々な組み合わせパターンを定義し、各パターンに対して、高リスク領域に係るデータを送信すべきか否か、および、低リスク領域に係るデータを送信すべきか否かを関連付ける判定テーブルを、記憶手段702に格納しておいてもよい。システム700は、これらの条件に基づき、判定テーブルを参照して、第1送信判定機能および第2送信判定機能を実行することができる。
図3のステップ305またはステップ306において、システム700は、車両200の周囲の物体を検出してもよい。たとえば、周囲環境における物体を、それぞれ個別に、または複数の物体を含むクラスタとして、検出する。ステップ305およびステップ306の処理は、ステップ301において受信したデータに基づいて実行されてもよい。
図13の例では、複数の車両が1つのクラスタにクラスタリングされた状態で検出されている。本実施例に関する記載において、以下では、物体がそれぞれ個別に検出される場合と、複数の物体を含むクラスタとして検出される場合とを区別しない。
より具体的な例として、第1前方カメラ203が図1に示すような画像を検出する場合には、その画像に現れる物体を検出することにより、周囲の物体を検出してもよい。なお、カメラ等によって検出される画像の視野と、地図画像の視野とが一致しない場合には、一方の視野を他方の視野に整合させるような変換を行ってもよい。あるいは、地図画像を取得または生成する際に、カメラ等によって検出される画像と視野が一致するようにしてもよい。
周囲の物体の検出は、他のデータに基づいて行われてもよい。たとえば、他のカメラが検出する画像に基づいて行われてもよいし、カメラ以外のセンサ(LIDAR、RADAR、超音波センサ、オーディオセンサ、等)が検出するデータに基づいて行われてもよい。
図3のステップ306または307において、システム700は、検出された物体のそれぞれについて、地図画像内における位置を決定してもよい。位置はたとえば二次元座標系で表され、凸包の各頂点の座標からなる組として表現可能である。この処理は、いわゆるクロッピングとして実現されてもよい。具体的な処理内容は、当業者が公知技術等に基づき適宜設計可能である。
図3のステップ306または307において、システム700は、物体のそれぞれについて、地図画像内における位置に基づき、その物体が高リスク領域に属するか否かを判定してもよい。同様に、システム700は、物体のそれぞれについて、地図画像内における位置に基づき、その物体が低リスク領域に属するか否かを判定してもよい。なお、各領域の判定は独立に行われる必要はなく、たとえば高リスク領域に属さないと判定された物体については必然的に低リスク領域に属するものとして扱ってもよい。
また、この判定において、物体の一部がある領域に属し、その物体の別の一部がその領域に属さない場合(たとえば、その物体が高リスク領域および低リスク領域にまたがって存在する場合)の処理については、当業者が適宜設計可能である。たとえばその物体の画像上の重心に基づいて決定してもよい。
図3のステップ308において、システム700は、物体のそれぞれについて、その物体までの距離に基づき、その物体に係るデータ圧縮率を決定してもよい(圧縮率決定機能)。データ圧縮率を適切に決定することにより、通信されるデータ量を低減することができる。
たとえば、距離が小さい物体についてはデータ圧縮率を小さく(すなわち、圧縮後のデータ量が大きくなるように、または情報損失が少なくなるように)決定し、距離が大きい物体についてはデータ圧縮率を大きく(すなわち、圧縮後のデータ量が小さくなるように、または情報損失が多くなるように)決定してもよい。なお、本実施例において、ステップ308におけるシステム700の動作は、必ずしも図6に沿ったものでなくともよい。
このようにすると、システム700または車両200の動作を決定する際により重要となる物体、すなわちシステム700または車両200により近い位置にある物体については、より多くのデータを使用して損失を小さく抑え、結果的に、車両200の動作をより安全なものに決定できる可能性が高まる。一方で、システム700または車両200の動作を決定する際にそれほど重要でない物体、すなわちシステム700または車両200からより遠い位置にある物体については、データをより強く圧縮してデータ量を低減し、通信容量を節約することができる。
なお、圧縮率決定機能は、物体までの距離のみに基づいて実行する必要はなく、これ以外の基準を併用してもよい。たとえば、さらに各物体の種類(クラス)または各物体の挙動に基づいて実行されてもよい。より具体的な例としては、物体が歩行者である場合には圧縮率をより低くしてもよく、物体が車両である場合には圧縮率をより高くしてもよい。とくに、車両については圧縮後のデータ量が0またはほぼ0となるようにしてもよいし、画像の情報を捨てて凸包の情報のみを残してもよい。このようにすると、車載カメラの画像に頻繁に出現する車両については情報量を低減し、あまり頻繁に出現しない歩行者についてはより多くの情報を残しておくことにより、適切にリモート支援システムによる支援を要請することができる。
または、物体が車両200(またはシステム700)に接近しつつある場合には圧縮率をより低くしてもよく、物体が車両200(またはシステム700)から遠ざかりつつある場合には圧縮率をより高くしてもよい。このようにすると、車両200の動作決定に重要な物体については情報をより多く残し、適切にリモート支援システムによる支援を要請することができる。
または、圧縮率決定機能は、さらに通信ネットワークの有効通信レートに基づいて実行されてもよい。より具体的な例としては、有効通信レートが所定の閾値以上である場合には圧縮率をより低くしてもよく、そうでない場合には圧縮率をより高くしてもよい。このようにすると、利用可能な通信容量に応じて適切なデータ量の通信を実現することができる。
なお、データを送信しないと判定された領域については、圧縮率決定機能の実行を省略してもよい。たとえば、高リスク領域に係るデータを送信しないと判定された場合には、高リスク領域に属する物体に係るデータ圧縮率を決定する必要はない。
また、図3のステップ309において、システム700は、物体のそれぞれについて、その物体に係るデータを、その物体に係るデータ圧縮率に従って圧縮してもよく、これによって、その物体に係る圧縮データを生成してもよい。ここで圧縮の対象となるデータは、たとえばその物体に係る画像データであるが、画像データ以外のデータを含んでもよい。
なお、この処理は、データを送信しないと判定された領域については省略してもよい。たとえば、高リスク領域に係るデータを送信しないと判定された場合には、高リスク領域に属する物体に係る圧縮データを生成する必要はない。
また、図3のステップ309において、システム700は、送信すべき圧縮データを送信してもよい。すなわち、高リスク領域に係るデータを送信すべきと判定された場合には、高リスク領域に属する各物体に係る圧縮データを、通信ネットワークを介して送信する。また、低リスク領域に係るデータを送信すべきと判定された場合には、低リスク領域に属する各物体に係る圧縮データを、通信ネットワークを介して送信する。ここで、送信すべきでないと判定されたデータについては送信されないので、通信されるデータ量を低減することができる。
これらの圧縮データは、たとえばリモート支援システムに送信される。変形例として、これらの圧縮データは、リモート支援システム以外のコンピュータシステムに送信されてもよい。たとえば、車両200以外の車両に搭載され、システム700と同様の構成を有する他のシステムに送信されてもよい。その場合には、この他のシステムは、システム700とリモート支援システムとの間の中継基地として機能してもよい。また、その場合には、この他のシステムは、システム700を含む複数のシステムとリモート支援システムとの間の中継基地として機能してもよい。このようにすると、リモート支援システムと直接的に通信するシステムの数を低減し、リモート支援システムにおける通信の輻輳を軽減することができる。
図3には示さないが、リモート支援システムまたは他のコンピュータシステムは、送信された圧縮データを受信し、これに応じて返信データを送信する。この返信データは、上述の圧縮データのように、他のコンピュータシステムによって中継されてもよい。
図3のステップ310において、システム700は、通信ネットワークを介して返信されるデータ(返信データ)を受信してもよい。この返信データは、システム700が送信した圧縮データに関連して返信されるデータである。返信データの生成方法は任意に設計可能である。たとえば、リモート支援システムが圧縮データを取得し、これに基づいて車両200の意思決定を行うために生成したデータであってもよい。または、人間オペレータが圧縮データを閲覧し、これに応じて入力したデータであってもよい。または、リモート支援システムが圧縮データに基づいて機械学習を実行し、この機械学習によって生成された学習済みモデルによって生成されたデータであってもよい。
また、図3のステップ310において、システム700は、この返信データに従って意思決定を行ってもよい。たとえば、返信データがブレーキをかけるべき旨の命令を含む場合には、ブレーキをかけると意思決定してもよい。また、返信データが道路状況を表す情報を含む場合には、その道路状況に基づいて車両200の動作を決定してもよい。
200…車両
201…前方RADAR
202…前方超音波センサ
203…第1前方カメラ
204…側方カメラ
205…第2前方カメラ
206…LIDAR
207…INS
208…後方カメラ
209…後方RADAR
210…後方超音波センサ
401…ランドマーク特徴
402〜406…道路構造特徴
500…運転環境画像
501…交通信号
502…静的特徴
503,505…歩行者
504…道路標識
506…交通参加者
507…歩道レーン
510…車線情報
513…ガードレール
700…システム(データ通信に基づいて意思決定を行うシステム)
701…演算手段
702…記憶手段
703…通信手段

Claims (6)

  1. データ通信に基づいて意思決定を行うシステムであって、
    地図画像を取得する機能と、
    前記地図画像のうち、第1領域および第2領域を決定する機能と、
    前記第1領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する、第1送信判定機能と、
    前記第2領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する、第2送信判定機能と、
    前記システムの周囲の物体を検出する機能と、
    検出された前記物体のそれぞれについて、前記地図画像内における位置を決定する機能と、
    検出された前記物体のそれぞれについて、前記地図画像内における前記位置に基づき、その物体が前記第1領域に属するか否かを判定する機能と、
    検出された前記物体のそれぞれについて、前記地図画像内における前記位置に基づき、その物体が前記第2領域に属するか否かを判定する機能と、
    検出された前記物体のそれぞれについて、その物体までの距離に基づき、その物体に係るデータ圧縮率を決定する、圧縮率決定機能と、
    検出された前記物体のそれぞれについて、その物体に係るデータを、その物体に係る前記データ圧縮率に従って圧縮し、その物体に係る圧縮データを生成する機能と、
    前記第1領域に係るデータを送信すべきと判定された場合に、前記第1領域に属する各前記物体に係る前記圧縮データを、前記通信ネットワークを介して送信する機能と、
    前記第2領域に係るデータを送信すべきと判定された場合に、前記第2領域に属する各前記物体に係る前記圧縮データを、前記通信ネットワークを介して送信する機能と、
    送信された前記圧縮データに関連して前記通信ネットワークを介して返信される、返信データを受信する機能と、
    前記返信データに従って、意思決定を行う機能と、
    を備えるシステム。
  2. 前記システムは、車両に搭載されて車両の動作を決定するシステムである、請求項1に記載のシステム。
  3. 前記第1送信判定機能は、前記通信ネットワークの有効通信レートに基づいて実行される、請求項1に記載のシステム。
  4. 前記システムは移動可能であり、
    前記システムは、前記システムの位置の精度を取得する機能を備え、
    前記第2送信判定機能は、前記精度に基づいて実行される、
    請求項1に記載のシステム。
  5. 前記圧縮率決定機能は、さらに、その物体の種類またはその物体の挙動に基づいて実行される、請求項1に記載のシステム。
  6. 前記圧縮率決定機能は、さらに、前記通信ネットワークの有効通信レートに基づいて実行される、請求項1に記載のシステム。
JP2019051272A 2019-03-19 2019-03-19 データ通信に基づいて意思決定を行うシステム Pending JP2020154568A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019051272A JP2020154568A (ja) 2019-03-19 2019-03-19 データ通信に基づいて意思決定を行うシステム
PCT/JP2019/050011 WO2020188928A1 (ja) 2019-03-19 2019-12-20 データ通信に基づいて意思決定を行うシステム
US17/437,346 US20220182498A1 (en) 2019-03-19 2019-12-20 System making decision based on data communication

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019051272A JP2020154568A (ja) 2019-03-19 2019-03-19 データ通信に基づいて意思決定を行うシステム

Publications (1)

Publication Number Publication Date
JP2020154568A true JP2020154568A (ja) 2020-09-24

Family

ID=72519057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019051272A Pending JP2020154568A (ja) 2019-03-19 2019-03-19 データ通信に基づいて意思決定を行うシステム

Country Status (3)

Country Link
US (1) US20220182498A1 (ja)
JP (1) JP2020154568A (ja)
WO (1) WO2020188928A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020096918A (ja) * 2003-06-20 2020-06-25 レスメド・プロプライエタリー・リミテッド 加湿器を備えた呼吸可能なガス供給装置
WO2022208570A1 (ja) * 2021-03-29 2022-10-06 日本電気株式会社 車載装置、制御サーバ、測定データの収集方法及びプログラム記録媒体

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6960519B2 (ja) * 2018-02-28 2021-11-05 本田技研工業株式会社 制御装置、移動体、プログラム及び制御方法
US20210058814A1 (en) * 2019-08-22 2021-02-25 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for processing traffic data from vehicles
JP2021140470A (ja) * 2020-03-05 2021-09-16 本田技研工業株式会社 情報処理装置、車両、プログラム、及び情報処理方法
US11501107B2 (en) * 2020-05-07 2022-11-15 Adobe Inc. Key-value memory network for predicting time-series metrics of target entities
US20230109909A1 (en) * 2021-10-07 2023-04-13 Motional Ad Llc Object detection using radar and lidar fusion
GB2620909A (en) * 2022-07-04 2024-01-31 Opteran Tech Limited Method and system for determining the structure, connectivity and identity of a physical or logical space or attribute thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001343460A (ja) * 2000-06-02 2001-12-14 Mitsubishi Electric Corp 周辺車両検出装置
US20140005506A1 (en) * 2012-06-29 2014-01-02 Zoll Medical Corporation Rescue scene video transmission
US9384402B1 (en) * 2014-04-10 2016-07-05 Google Inc. Image and video compression for remote vehicle assistance
ES2786274T3 (es) * 2015-03-20 2020-10-09 Kapsch Trafficcom Ag Procedimiento para generar un registro digital y una unidad de carretera de un sistema de peaje de carreteras que implemente el procedimiento
WO2017151877A1 (en) * 2016-03-02 2017-09-08 MatrixView, Inc. Apparatus and method to improve image or video quality or encoding performance by enhancing discrete cosine transform coefficients
US11100346B2 (en) * 2018-12-26 2021-08-24 Here Global B.V. Method and apparatus for determining a location of a shared vehicle park position

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020096918A (ja) * 2003-06-20 2020-06-25 レスメド・プロプライエタリー・リミテッド 加湿器を備えた呼吸可能なガス供給装置
WO2022208570A1 (ja) * 2021-03-29 2022-10-06 日本電気株式会社 車載装置、制御サーバ、測定データの収集方法及びプログラム記録媒体

Also Published As

Publication number Publication date
US20220182498A1 (en) 2022-06-09
WO2020188928A1 (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
WO2020188928A1 (ja) データ通信に基づいて意思決定を行うシステム
EP3552358B1 (en) Bandwidth constrained image processing for autonomous vehicles
CN108974009B (zh) 用于自动驾驶控制的方法、介质和系统
CN109814520B (zh) 用于确定自主车辆的安全事件的系统和方法
WO2019176083A1 (ja) 移動体制御装置
US20220150423A1 (en) Adjustable Vertical Field of View
JP2023126642A (ja) 情報処理装置、情報処理方法、及び、情報処理システム
JP2019093998A (ja) 車両制御装置、車両制御方法、およびプログラム
JPWO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
US20230230368A1 (en) Information processing apparatus, information processing method, and program
KR20220020804A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
CN111587572A (zh) 图像处理装置、图像处理方法和程序
US11533420B2 (en) Server, method, non-transitory computer-readable medium, and system
US20220277556A1 (en) Information processing device, information processing method, and program
WO2020250519A1 (ja) 外部環境認識装置
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN113548033B (zh) 基于系统负载的安全操作员告警方法及系统
WO2022024602A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20220094435A1 (en) Visible light communication apparatus, visible light communication method, and visible light communication program
JP7160085B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2020090250A1 (ja) 画像処理装置と画像処理方法およびプログラム
CN113614732A (zh) 信息处理设备及信息处理方法
WO2019215979A1 (ja) 画像処理装置、車載装置、画像処理方法及びプログラム
WO2022059489A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム