JP2020004402A - ニューラルネットワークに基づく自動運転車両用の安全監視システム - Google Patents

ニューラルネットワークに基づく自動運転車両用の安全監視システム Download PDF

Info

Publication number
JP2020004402A
JP2020004402A JP2019111993A JP2019111993A JP2020004402A JP 2020004402 A JP2020004402 A JP 2020004402A JP 2019111993 A JP2019111993 A JP 2019111993A JP 2019111993 A JP2019111993 A JP 2019111993A JP 2020004402 A JP2020004402 A JP 2020004402A
Authority
JP
Japan
Prior art keywords
user
automatic driving
sensor
data
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019111993A
Other languages
English (en)
Inventor
ジャン、リアンリアン
Liangliang Zhang
ヤン、グアン
Guang Yang
フー、ジアンタオ
Jiangtao Hu
リ、ドン
Dong Li
ミャオ、ジンハオ
Jinghao Miao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of JP2020004402A publication Critical patent/JP2020004402A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0055—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0055—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
    • G05D1/0061—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/007—Switching between manual and automatic parameter input, and vice versa
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Abstract

【課題】自動運転車両の自動運転／手動運転の切替操作に関し、特にニューラルネットワークに基づく安全監視システムを提供する。【解決手段】自動運転車両の安全監視システムは、複数のセンサからセンサデータを受信し、機械学習モデルを用いてセンサデータから所定量の特徴を抽出し、機械学習モデルを用いて抽出された特徴に基づいて自動運転システムへの介入をユーザに促すか否かを決定し、自動運転システムへの介入をユーザに促すか否かの決定に基づいて安全警報を生成し、生成した安全警報に基づいて自動運転車両の自動運転システムへの介入をユーザに促す。【選択図】図７

Description

本願実施態様は、主に自動運転車両を操作することに関する。より具体的に、本発明の実施態様は、自動運転車両用（ＡＤＶ）のニューラルネットワークに基づく安全監視システムに関する。
自動運転モードで運転（例えば、無人運転）する車両は、乗員、特に運転者を運転にかかる役割の一部から解放することが可能である。自動運転モードで運転する場合に、車両は、車載センサを利用して各位置に案内されることにより、最少のヒューマンコンピュータインタラクションや乗員なしなどの状況で走行することができる。
安全のために、自動運転及び運転者支援技術では、潜在的に不安全な場合に警報を発し、及び/またはＡＤＶの運転タスクを引き継ぐように人間の運転者に注意を促すための安全監視システムが必要である。不安全な状況うちの一例として、ＡＤＶの自動運転システム（ＡＤＳ）におけるいずれかのキーサブシステムが解決策を生成できなかった場合、またはＡＤＳにおいてエラーが発生した場合に生じる。
本発明の実施態様は図面の各図において限定的ではなく例示的に示され、図面において同一の参照符号が同様な素子を示す。
一実施形態に係るネットワークシステムを示すブロック図である。
一実施形態に係る自動運転車両に用いられるセンサ・制御システムの例を示すブロック図である。
一実施形態に係る自動運転車両に用いられる感知・計画システムシステムの例を示すブロック図である。 一実施形態に係る自動運転車両に用いられる感知・計画システムシステムの例を示すブロック図である。
一実施形態に係る安全監視システムの例を示すブロック図である。
一実施形態に係る自動運転システムと安全監視システムを有するＡＤＶの例を示すブロック図である。
一実施形態に係る安全監視システムに用いられるニューラルネットワークの例を示すブロック図である。
一実施形態に係る方法を示すフローチャートである。
一実施形態に係るデータ処理システムを示すブロック図である。
以下、検討する詳細を参照しながら本発明の各実施形態及び局面を記載して、図面において前記各実施態様を示す。下記記載及び図面は、本発明を説明するためのものであり、本発明を限定するためのものとして解釈されるべきではない。特定の詳細を多く記載することは、本発明の各実施形態を完全に理解するためである。しかしながら、本発明の実施形態を簡潔的に検討するために、周知または通常の詳細を記載しない場合がある。
本明細書において、「一実施形態」または「実施形態」を言及することは、当該実施形態によって説明される特定の特徴、構成や特性が本発明の少なくとも１つの実施形態に含まれることを意味する。「一実施形態では」という語句の本明細書における各箇所での記載のすべては、必ずしも同一の実施形態を指すことに限定されない。
自動運転システムと並列的に運行してＡＤＶの運転者に安全警報を与えるＡＤＶ用の安全監視システムが開示されている。安全監視システムは、センサデータ、車両状態データ及び/またはＡＤＶに用いられる地図データという入力データを受信することができ、機械学習モデルを用いて警報をオンさせるか否かを決定する。安全監視システムは、自己改善可能である。これは、後の学習データとして使用されて機械学習モデルを改善するために、任意の警報のオン及び/またはユーザの介入/引き継ぎの直前及び/または直後の１組の入力データを記録することができるためである。
一実施形態によれば、システムは、ＡＤＶの多くのセンサからセンサデータを受信する。システムは、機械学習モデルを利用して、センサデータから所定数の特徴を抽出する。システムは、機械学習モデルを利用して抽出された特徴に基づいて、ＡＤＳへの介入をユーザに促すか否かを決定する。その後、システムは、ＡＤＳへの介入をユーザに促すか否かの決定に基づいて、安全警報を生成し、生成した安全警報に基づいてＡＤＶのＡＤＳへの介入をユーザに促す。
図１は、本発明の一実施態様にかかる自動運転車両のネットワーク構成を示すブロック図である。図１を参照すると、ネットワーク構成１００は、ネットワーク１０２を介して１つまたは複数のサーバ１０３〜１０４に対して通信可能に接続する自動運転車両１０１を備える。１つの自動運転車両のみを示すが、複数の自動運転車両は、ネットワーク１０２を介して相互に接続し、および/またはサーバ１０３〜１０４に接続可能である。ネットワーク１０２は、いずれのタイプのネットワークであってもよく、例えば、有線または無線のローカルエリアネットワーク（ＬＡＮ）、インターネットのような広域ネットワーク（ＷＡＮ）、セルラ網、衛星ネットワークまたはそれらの組み合せである。サーバ１０３〜１０４は、いずれの形式のサーバまたはサーバークラスタであってもよく、例えば、ネットワークサーバやクラウドサーバ、アプリケーションサーバ、バックエンドサーバまたはそれらの組み合せである。サーバ１０３〜１０４は、データ解析サーバやコンテンツサーバ、交通情報サーバ、地図・関心点（ＭＰＯＩ）サーバまたは位置サーバなどであってもよい。
自動運転車両とは、自動運転モードに配置可能な車両を指し、前記自動運転モードで、車両は、運転者からの入力が非常に少なく又は完全にない状況でナビゲットされることで環境を通過する。そのような自動運転車両は、車両運転環境に関する情報を検出可能に配置される１つまたは複数のセンサを有するセンサシステムを備えることが可能である。前記車両及びかかるコントローラは、検出された情報を使用して前記環境を通過するように案内される。自動運転車両１０１は、マニュアルモード、全自動運転モードまたは一部自動運転モードで運転することが可能である。
一実施態様では、自動運転車両１０１は、感知・計画システム１１０と、車両制御システム１１１と、無線通信システム１１２と、ユーザインタフェースシステム１１３と、センサシステム１１５とを備えるが、これに限定されない。自動運転車両１０１は、通常の車両に含まれる一部の汎用的な要素、例えば、エンジン、車輪、ステアリングホイール、変速機などを備えることが可能であり、前記要素は、車両制御システム１１１および/または感知・計画システム１１０により多種の通信信号および/または命令で制御され、当該多種の通信信号および/または命令は、例えば、加速信号または命令、減速信号または命令、操舵信号または命令、ブレーキ信号または命令などである。
要素１１０〜１１５同士は、インターコネクト、バス、ネットワークまたはそれらの組合せを介して通信可能に接続されることが可能である。例えば、要素１１０〜１１５同士は、コントローラエリアネットワーク（ＣＡＮ）バスを介して通信可能に接続されることが可能である。ＣＡＮバスは、マイクロコントローラと装置とがホストなしのアプリケーションで相互に通信することを許容するように設計される車両バス規格である。それは、最初に自動車における多重化電気インターコネクトのために設計される、メッセージベースのプロトコルであるが、様々な他の環境にも適用される。
図２を参照すると、一実施態様では、センサシステム１１５は、１つまたは複数のカメラ２１１と、全地球測位システム（ＧＰＳ）ユニット２１２と、慣性計測ユニット（ＩＭＵ）２１３と、レーダユニット２１４と、光検出・測距（ＬＩＤＡＲ）ユニット２１５とを備えるが、これに限定されない。ＧＰＳユニット２１２は、自動運転車両の位置に関する情報を提供するように操作可能な送受信器を備えることが可能である。ＩＭＵユニット２１３は、慣性加速度に基づいて自動運転車両の位置及び配向の変化を検知可能である。レーダユニット２１４は、電波信号により自動運転車両のローカル環境における対象を検知するシステムを表すことが可能である。一部の実施態様では、レーダユニット２１４は、対象に加え、対象の速度および/または前進方向を検知可能である。ＬＩＤＡＲユニット２１５は、レーザーにより自動運転車両が所在する環境における対象を検知することが可能である。ＬＩＤＡＲユニット２１５は、他のシステム要素に加え、１つまたは複数のレーザ光源、レーザスキャナ及び１つまたは複数の検出器を備えることが可能である。カメラ２１１は、自動運転車両の周囲の環境の画像を撮像するための１つまたは複数の装置を備えることが可能である。カメラ２１１は、スチルカメラおよび/またはビデオカメラであってもよい。カメラは、機械的に移動可能なものであってもよく、例えば、カメラが回転および/または傾斜するステージに取り付けられることにより移動可能である。
センサシステム１１５は、例えば、ソナーセンサや赤外線センサ、操舵角センサ、スロットルセンサ、ブレーキセンサ、オーディオセンサ（例えば、マイクフォン）などの他のセンサを備えることが可能である。オーディオセンサは、自動運転車両の周囲の環境から音声を集音するように配置可能である。操舵角センサは、ステアリングホイール、車両の車輪またはそれらの組み合せの操舵角を検知するように配置可能である。スロットルセンサ及びブレーキセンサは、それぞれ車両のスロットル位置及びブレーキ位置を検知する。スロットルセンサ及びブレーキセンサは、集積式スロットル/ブレーキセンサに集積される場合もある。
一実施態様では、車両制御システム１１１は、操舵ユニット２０１と、スロットルユニット２０２（加速ユニットともいう）と、ブレーキユニット２０３とを備えるが、これに限定されない。操舵ユニット２０１は、車両の方向または前進方向を調整するためのものである。スロットルユニット２０２は、モータまたはエンジンの速度を制御することにより車両の速度及び加速度を制御するためのものである。ブレーキユニット２０３は、摩擦を与えることにより、車両の車輪またはタイヤを減速させて車両を減速させる。なお、図２に示す要素は、ハードウェア、ソフトウェアまたはそれらの組み合せで実現されることが可能である。
図１に戻って、無線通信システム１１２は、自動運転車両１０１と、例えば装置やセンサ、他の車両などの外部システムとの通信を可能にする。例えば、無線通信システム１１２は、１つまたは複数の装置と直接に無線通信を行い、または通信ネットワークを介して無線通信を行うことが可能であり、例えば、ネットワーク１０２を介してサーバ１０３〜１０４と通信する。無線通信システム１１２は、いずれのセルラ通信ネットワークまたは無線ローカルエリアネットワーク（ＷＬＡＮ）、例えば、ＷｉＦｉ（登録商標）を利用して他の要素やシステムと通信可能である。無線通信システム１１２は、例えば赤外線リンクやブルートゥース（登録商標）などを利用して装置（例えば、乗員の携帯機器、表示装置、車両１０１内のスピーカ）と直接に通信可能である。ユーザインタフェースシステム１１３は、車両１０１内で実現される周辺装置の部分であることが可能であり、例えばキーボード、タッチパネル式表示装置、マイクフォン及びスピーカなどを含む。
特に自動運転モードで操作される際に、自動運転車両１０１の機能の一部または全部は、感知・計画システム１１０により制御または管理されることが可能である。感知・計画システム１１０は、必要なハードウェア（例えば、プロセッサ、メモリ、記憶装置）及びソフトウェア（例えば、オペレーティングシステム、計画・ルーティングプログラム）を含み、センサシステム１１５、制御システム１１１、無線通信システム１１２および/またはユーザインタフェースシステム１１３から情報を受信して、受信した情報を処理し、開始点から目的地点までのルートまたは経路を計画した後、計画・制御情報に基づいて車両１０１を運転する。その代わりに、感知・計画システム１１０は、車両制御システム１１１に集積されてもよい。
例えば、乗員であるユーザは、例えばユーザインタフェースを介して行程の出発地位置及び目的地を指定することが可能である。感知・計画システム１１０は、行程に関するデータを取得する。例えば、感知・計画システム１１０は、ＭＰＯＩサーバから位置・ルート情報を取得することが可能であり、前記ＭＰＯＩサーバは、サーバ１０３〜１０４の一部であってもよい。位置サーバは位置サービスを提供するとともに、ＭＰＯＩサーバは地図サービス及び一部の位置のＰＯＩを提供する。その代わりに、そのような位置及びＭＰＯＩ情報は、感知・計画システム１１０の永続的記憶装置にローカルキャッシュされてもよい。
自動運転車両１０１がルートに沿って移動する際に、感知・計画システム１１０は、交通情報システムまたはサーバ（ＴＩＳ）からリアタイム交通情報を取得してもよい。なお、サーバ１０３〜１０４は、第三者エンティティにより操作されることが可能である。その代わりに、サーバ１０３〜１０４の機能は、感知・計画システム１１０に集積されてもよい。感知・計画システム１１０は、リアタイム交通情報、ＭＰＯＩ情報及び位置情報、並びにセンサシステム１１５により検出または検知されたリアタイムローカル環境データ（例えば、障害物、対象、周辺車両）に基づいて、最適ルートを計画して、計画したルートに応じて、例えば制御システム１１１を介して車両１０１を運転することが可能であり、これにより、安全で効率よく指定の目的地に到達することができる。
サーバ１０３は、種々のクライアントに対してデータ解析サービスを提供するデータ解析システムであってもよい。一実施態様では、データ解析システム１０３は、データ収集器１２１及び機械学習エンジン１２２を備える。データ収集器１２１は、種々の車両（自動運転車両または人間の運転者が運転する通常の車両）から運転統計データ１２３を収集する。運転統計データ１２３は、発行する運転命令（例えば、スロットル、ブレーキ、操舵命令）及び車両のセンサにより異なる時点で捕捉された車両の応答（例えば、速度、加速、減速、方向）を示す情報を含む。運転統計データ１２３は、異なる時点での運転環境を記述する情報、例えば、ルート（出発地位置及び目的地位置を備える）、ＭＰＯＩ、道路状況、気候状況などをさらに含むことが可能である。運転統計データ１２３は、ＡＤＶの安全介入／運転者の引き継ぎの直前または直後のＡＤＶに使用されるセンサデータと地図データを備えることが可能である。
機械学習エンジン１２２は、運転統計データ１２３に基づいて、種々の目的で、１組のルール、アルゴリズムおよび/または予測モデル１２４を生成または学習する。一実施形態では、例えば、アルゴリズム/モデル１２４は、運転者にＡＤＶのＡＤＳを介入させるように安全警報を発動するか否かを決定するためのアルゴリズム/モデルを備えることが可能である。次に、機械学習モデルは、ＡＤＶにアップロードされて、ＡＤＶにリアルタイムに使用されることが可能である。なお、モデル１２４は、ニューラルネットワーク(完全接続、部分的接続、またはそれらの組み合わせ)、サポートベクターマシン (ＳＶＭ)、線形回帰、k近傍法、ナイーブベイズ、ｋ平均法、およびランダムフォレストモードを備えるが、これに限定されない。
図３Ａ及び図３Ｂは一実施態様にかかる自動運転車両とともに使用される感知・計画システムの例を示すブロック図である。システム３００は、図１の自動運転車両１０１の一部として実現されることが可能であり、感知・計画システム１１０と、制御システム１１１と、センサシステム１１５とを備えるが、これに限定されない。図３Ａ〜図３Ｂを参照すると、感知・計画システム１１０は、位置計測モジュール３０１と、感知モジュール３０２と、予測モジュール３０３と、決定モジュール３０４と、計画モジュール３０５と、制御モジュール３０６と、ルーティングモジュール３０７と、安全監視システム３０８を備えるが、これに限定されない。
モジュール３０１〜３０８の一部または全部は、ソフトウェア、ハードウェアまたはそれらの組み合せにより実現されることが可能である。例えば、それらのモジュールは、永続的記憶装置３５２にインストールされて、メモリ３５１にローディングされ、且つ１つまたは複数のプロセッサ（図示せず）により実行されることが可能である。なお、それらのモジュールの一部または全部は、図２の車両制御システム１１１のモジュールの一部または全部に対して通信可能に接続され、または集積される。モジュール３０１〜３０８の一部は、集積モジュールに集積されてもよい。例えば、決定モジュール３０４と計画モジュール３０５は、単一のモジュールに集積されてもよい。
位置計測モジュール３０１は、自動運転車両３００の現在位置（例えば、ＧＰＳユニット２１２による）を特定するとともに、ユーザの行程やルートに関するデータ全体を管理する。位置計測モジュール３０１（地図及びルートモジュールともいう）は、ユーザの行程やルートに関するデータ全体を管理する。ユーザは、例えばユーザインタフェースを介してログインして、行程の出発地位置及び目的地を指定する。位置計測モジュール３０１は、自動運転車両３００の地図・ルート情報３１１のような他の要素と通信して、行程に関するデータを取得する。例えば、位置計測モジュール３０１は、位置サーバと地図・ＰＯＩ（ＭＰＯＩ）サーバから位置・ルート情報を取得することが可能である。位置サーバが位置サービスを提供するとともに、ＭＰＯＩサーバが地図サービス及び一部の位置のＰＯＩを提供することにより、それらを地図・ルート情報３１１の一部としてキャッシュすることが可能である。自動運転車両３００がルートに沿って移動する際に、位置計測モジュール３０１は、交通情報システムまたはサーバからリアタイム交通情報を取得することができる。
感知モジュール３０２は、センサシステム１１５により提供されるセンサデータ及び位置計測モジュール３０１により取得される位置計測情報に基づいて、周囲環境への感知を特定する。感知情報は、通常の運転者がその運転している車両の周囲から感知したものを示す。感知は、例えば対象式による車線配置（例えば、直線車線または湾曲車線）、信号機信号、他の車両の相対位置、歩行者、建物、横断歩道や他の交通に関する標識（例えば、止まれ標識、譲れ標識）などを含むことが可能である。車線配置は、1つの車線または各車線を描く情報を含み、例えば、車線の形状(例えば、直線的なまたは湾曲的)、車線の幅、道路における車線の個数、一方通行車線や二車線、合流車線や分割車線、退出車線などが挙げられる。
感知モジュール３０２は、コンピュータビジョンシステムまたはコンピュータビジョンシステムの機能を含むことが可能であり、１つまたは複数カメラにより撮像された画像を処理して解析することにより、自動運転車両環境における対象および/または特徴を認識する。前記対象は、交通信号、道路境界、他の車両、歩行者および/または障害物などを含むことが可能である。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオトラッキング及び他のコンピュータビジョン技術を使用することが可能である。一部の実施態様では、コンピュータビジョンシステムは、環境地図の描画、対象のトラッキングや、対象の速度の推定などを行うことが可能である。感知モジュール３０２は、レーダおよび/またはＬＩＤＡＲのような他のセンサにより提供される他のセンサデータに基づいて、対象を検出してもよい。
予測モジュール３０３は、各対象に対して、対象が現在の場合にどのように動作するかを予測する。前記予測は、感知データに基づいて行われるものであり、当該感知データは、１組の地図/ルート情報３１１及び交通ルール３１２を考慮して各時点で運転環境を感知したものである。例えば、対象が対向車両であり且つ現在運転環境が交差点を含むと、予測モジュール３０３は、車両が直進するかまたは旋回を行うかを予測する。感知データは、交差点に信号機がないことを示すと、予測モジュール３０３は、車両が交差点に進入する前に完全に停車しなければいかない可能性がある、と予測することがある。感知データは、車両が現在で左折専用車線または右折専用車線にあることを示すと、予測モジュール３０３は、車両がそれぞれ左折または右折を行う可能性が高い、と予測することがある。
決定モジュール３０４は、各対象に対して、どのように対象を対処するかを決定する。例えば、特定の対象（例えば、交差ルートにある他の車両）及び対象を記述するメタデータ（例えば、速度、方向、操舵角）に対して、決定モジュール３０４は、前記対象に行き合う時にどうのように動作するか（例えば、追い越し、一時停止、停止、越え）を決定する。決定モジュール３０４は、例えば交通ルールや運転ルール３１２のルール集合に基づいて、そのような決定を行うことが可能であり、前記ルール集合が永続的記憶装置３５２に記憶されることが可能である。
ルーティングモジュール３０７は、起点から目的地点までの１つまたは複数のルートや経路を提供するように配置される。出発地位置から目的地位置までの所定の行程について、例えばユーザから所定の行程を受信して、ルーティングモジュール３０７は、地図・ルート情報３１１を取得して、出発地位置から目的地位置までのすべてのルートまたは経路を特定する。ルーティングモジュール３０７は、出発地位置から目的地位置までの各経路を指定した地形図式の基準線を生成することが可能である。基準線とは、例えば、他の車両、障害物や交通状況などの影響を受けない、理想的なルートまたは経路である。即ち、道路には他の車両、歩行者や障害物がないと、ＡＤＶは、正確または厳密に基準線に追従すべきである。そして、地形図を決定モジュール３０４および/または計画モジュール３０５に供給する。決定モジュール３０４および/または計画モジュール３０５は、すべてのルートをチェックして、他のモジュールにより提供される他のデータに基づいて、最適ルートの１つを選択して補正する。前記他のデータは、例えば、自位置計測モジュール３０１からの交通状況、感知モジュール３０２により感知された運転環境及び予測モジュール３０３により予測された交通状況である。時点での特定の運転環境によっては、ＡＤＶを制御するための実際のルートまたは経路は、ルーティングモジュール３０７により提供される基準線に対して近接し、または相違する可能性がある。
感知された各対象に対する決定に基づいて、計画モジュール３０５は、自動運転車両に対してルートまたは経路、及び運転パラメータ（例えば、距離、速度および/または旋回角度）を計画する。言い換えれば、所定の対象に対して、決定モジュール３０４は、当該対象が何をすべきかを決定する一方、計画モジュール３０５は、どのようにするかを決定する。例えば、所定の対象に対して、決定モジュール３０４は、前記対象を越えることを決定することが可能である一方、計画モジュール３０５は、前記対象の左側か右側かで越えることを決定することが可能である。計画・制御データは、計画モジュール３０５により生成されて、車両３００が次の移動サイクル（例えば、次のルート/経路セグメント）でどのように移動するかを記述する情報を含む。例えば、計画・制御データは、車両３００が３０ｍｐｈの速度で１０メートル移動した後、２５ｍｐｈの速度で右側の車線に変更することを指示可能である。
計画・制御データに基づいて、制御モジュール３０６は、計画・制御データにより限定されるルートまたは経路に応じて、適当な命令または信号を車両制御システム１１１に発信することにより、自動運転車両を制御して運転する。前記計画・制御データは、ルートまたは経路に沿って、異なる時点で適当な車両配置または運転パラメータ（例えば、スロットル、ブレーキおよび操舵命令）を使用して車両をルートまたは経路の第１点から第２点に走行させるための充分な情報を含む。
一実施態様では、計画段階が複数の計画周期（命令周期ともいう）で実行され、例えば、それぞれの時間間隔が１００ミリ秒（ｍｓ）である周期で実行される。計画周期または命令周期のそれぞれに対して、計画・制御データに基づいて１つまたは複数の制御命令を発行する。即ち、１００ｍｓ毎に、計画モジュール３０５は、次のルートセグメントまたは経路セグメントを計画し、例えば、目標位置、及びＡＤＶが目標位置に到達するのに必要な時間を含む。その代わりに、計画モジュール３０５は、具体的な速度、方向および/または操舵角などを規定してもよい。一実施態様では、計画モジュール３０５は、次の所定の期間（例えば、５秒）に対してルートセグメントまたは経路セグメントを計画する。計画周期毎に、計画モジュール３０５は、前の周期で計画した目標位置に基づいて現在周期（例えば、次の５秒）のための目標位置を計画する。そして、制御モジュール３０６は、現在周期の計画・制御データに基づいて１つまたは複数の制御命令（例えば、スロットル、ブレーキ、操舵制御命令）を生成する。
なお、決定モジュール３０４と計画モジュール３０５とは、集積モジュールに集積されることが可能である。決定モジュール３０４/計画モジュール３０５は、自動運転車両の運転経路を決定するために、ナビゲーションシステムまたはナビゲーションシステムの機能を含むことが可能である。例えば、ナビゲーションシステムは、自動運転車両が最終目的地への車道に基づく経路に沿って前進すると同時に、感知した障害物を実質的に回避するような経路に沿って、自動運転車両が移動することを達成するための一連の速度及び前進方向を決定することが可能である。目的地は、ユーザインタフェースシステム１１３を介したユーザ入力に基づいて設定可能である。ナビゲーションシステムは、自動運転車両が運転していると同時に、動的に運転経路を更新することが可能である。ナビゲーションシステムは、ＧＰＳシステム及び１つまたは複数の地図からのデータを合併して、自動運転車両用の運転経路を決定することが可能である。
決定モジュール３０４/計画モジュール３０５は、自動運転車両の環境における潜在的な障害物を認識、評価して、回避しまたは他の方式で超えるために、衝突防止システムまたは衝突防止システムの機能を含むことが可能である。例えば、衝突防止システムは、制御システム１１１における１つまたは複数のサブシステムを操作することにより方向変更操作、操舵操作、ブレーキ操作などを取ることで、自動運転車両のナビ中の変化を実現することが可能である。衝突防止システムは、周囲の交通パターン、道路状況などに基づいて、自動的に実行可能な障害物回避操作を決定することが可能である。衝突防止システムは、自動運転車両が方向変更して進入しようとする隣接の領域に位置する車両、建物のような障害物などを他のセンサシステムが検出した際に、方向変更操作を取らないように、配置される可能である。衝突防止システムは、使用可能であるとともに自動運転車両の乗員の安全性を最大化する操作を自動的に選択することが可能である。衝突防止システムは、自動運転車両の車室内に最小限の加速度が発生するように予測される回避操作を選択することが可能である。
図４は、一実施形態に係る安全監視システムの例を示すブロック図である。図４を参照すると、安全監視システム３０８は、複数のセンサデータと車両状態データ、および/またはＨＤ地図データを監視して、ＡＤＶの運転者にＡＤＶのＡＤＳの引き継ぎを促す安全警報を生成するか否かを決定することが可能である。安全監視システム３０８は、センサ/地図データ受信器モジュール４０１と、特徴抽出器モジュール４０３と、注意決定モジュール４０５と、安全警報発生器モジュール４０７、および安全警報注意モジュール４０９を含んでもよい。センサ/地図データ受信器モジュール４０１は、例えば、ＬＩＤＡＲ、ＲＡＤＡＲ、ＧＰＳ、カメラ、ＩＭＵ、ＨＤ地図などの様々なセンサ/地図データを監視/受信することが可能である。特徴抽出器モジュール４０３は、センサ/地図データから複数の特徴を抽出することが可能である。注意決定器モジュール４０５は、安全警報を生成するか否かを決定することが可能である。安全警報発生器モジュール４０７は、安全警報を生成することが可能である一方、安全警報注意モジュール４０９は、音声、動作、振動、および/またはビジュアルキューを介して、ＡＤＶの運転者に安全警報を発することにより、例えば、手をハンドルに置きて、足をアクセルやブレーキペダルにのせてＡＤＶのＡＤＳを引き継ぐように運転者に注意することが可能である。
図５は、一実施形態に係る自動運転システム（ＡＤＳ)および安全監視システムを備えるＡＤＶの例を示すブロック図である。図５を参照すると、一実施形態では、システム５００は、安全監視システム３０８と並列に運行するＡＤＳ５０５を含む。ＡＤＳ５０５は、図３Ｂのルーティングモジュール３０７と、感知モジュール３０２と、予測モジュール３０３、及び決定/計画モジュール３０４〜３０５を含んでもよい。ＡＤＳ５０５および安全監視システム３０８の両方は、センサデータ/車両状態５０１に接続されてセンサデータおよびＡＤＶ１０１の車両状態を受信することが可能である。一実施形態では、ＡＤＳ５０５および安全監視システム３０８の両方は、図３Ａの地図およびルート情報３１１の一部であるＨＤ地図５０３に接続されてＡＤＶのＨＤ地図データを受信することが可能である。ＡＤＳ５０５は、センサデータ/車両状態５０１及び/又はＨＤ地図データ５０３(利用可能な場合)に基づいて、制御モジュール３０６によりＡＤＶ１０１を操舵、加速及び/又はブレーキさせるための運転軌跡を生成する。安全監視システム３０８は、センサデータ/車両状態５０１及び/又はＨＤ地図データ５０３を同時に使用することにより、これらのデータから複数の特徴を抽出し、安全警報５０７を生成して注意を促すか否かを決定する。
図６は、一実施形態に係る安全監視システムのためのニューラルネットワークの一例を示すブロック図である。図６を参照すると、一実施形態では、ニューラルネットワーク６００のモデル(例えば、安全監視システム３０８ための機械学習モデル)は、ＡＤＶのＡＤＳが不安全であることを検出した数秒前に、例えばセンサデータ、車両の状態、および/またはＨＤ地図などの入力データに基づいて、警報状態を検出可能である。一実施形態では、ネットワーク６００は、センサ１、２、・・・Ｎに接続されている。センサは、ＬＩＤＡＲ、ＲＡＤＡＲ、カメラ、ＩＭＵ、ＧＰＳなどであってもよい。センサの各々からのデータ入力は、１つまたは複数の完全接続層に供給されることが可能である。なお、ニューラルネットワークは、いずれのタスク特異的なルールにプログラムされることなく、実例を熟考する(例えば、入力/出力シーンを用いてトレーニングする)ことによりタスクの実行を学習することができる機械学習モデルである。ニューラルネットワークは、一連の隠れ層又は内部層における多量のニューラルユニット又はニューロンに基づく計算的アプローチである。各隠れ層は、それぞれのニューロンが前の層の１つまたは複数のニューロンに接続されるニューロン群から構成され、単一層におけるニューロンは、この層の内の他のニューロンと接続を共用せずに、単独で機能することができる。ニューラルネットワークは、明確にプログラムされることなく、自己学習及びトレーニングを行う。完全接続層は、ニューロンが前の層の全てのニューロンに完全に接続されるための内部層である。
一実施形態では、センサ入力毎に対して、２つの完全接続層を使用する。第１層は、特徴寸法×センサのデータ入力数に等しいサイズを有することが可能である。次に、第１層は、特徴寸法×１のサイズを有する第２層に折り畳まれる。対応するセンサの複雑度に基づいて、例えば、６４、１２８、２５６、５１２などの特徴サイズを予め決定することが可能である。例えば、センサ１は、４つの入力データポイント(例えば、ｘ、ｙ、ｚ、反射率)を有するＬＩＤＡＲセンサであってもよく、センサ１の第１層は、１２８×４のサイズ(例えば、４つの入力データポイントのそれぞれに、１２８個の特徴を有する)を有することが可能である。このように、センサ１の第２層は、１２８×１のサイズを有することが可能である。他の例では、センサ２は、５つのデータ入力データポイント（例えば、ｘ、ｙ、ｚ、速度、加速度)を有するＩＭＵセンサであってもよい。この場合に、センサ２の第１層は、１２８×５のサイズを有しする(例えば、５つの入力データポイントのそれぞれに、１２８個の特徴を有する)ことが可能であり、センサ２の第２層は、１２８×１のサイズを有することが可能である。他の例では、センサＮは、１２８×３(例えば、赤、緑、青が入力データポイントとしての１２８個のピクセル及び３つのカラーチャンネル)のサイズを有する第１層及び１２８×１のサイズを有する第２層と対応することが可能であるカメラセンサであってもよい。
一実施形態では、ネットワーク６００は、地図データ入力を含む。地図データ入力は、複数の長方形の地図画素を有する長方形地図入力(例えば、(ｘ１，ｙ１)、(ｘ２，ｙ２)、(ｘ３，ｙ３)、(ｘ４，ｙ４))であってもよく、地図画素毎は、道路、境界、交差点および地図画素の方向などの目標値を含んでもよい。例えば、地図画素用の目標値は、(１，０，０，−３０度)であってもよく、それは、地図画素が境界、交差点ではなく、−３０度方向に水平軸ｘから前へ（例えば、東へ)延びる道路の一部であることを表示する。一実施形態では、ＨＤ地図データためのニューラルネットワーク層は、例えば、畳込み層・逆重畳層のような部分接続層であってもよい。なお、部分接続層は、ニューロンの部分が前の層に接続された全てのニューロンの内部層である。畳込み層・逆重畳層は、各ニューロンが前の層の局所領域に部分的に接続されるようにするが、全深さで（即ち、画像に対する全てのカラーチャンネルで）接続されることになる。
さらに、Ｎ個のセンサおよび/またはＨＤ地図から出力された層は、１２８×(Ｎ+１)層に折り畳まれる。次に、１２８×(Ｎ+１)層は、１２８×１層に折り畳まれ、さらに出力(例えば、１/０)に折り畳まれ、前記出力は、安全警報を起動させるか否かを指示する指示子であり得る。センサ毎に、１２８個の特徴を有する２つの完全接続層が示されるが、層および/または特徴のいずれの組み合わせも可能である。
安全監視システムのネットワーク６００は、ＡＤＳと同時にオンラインで使用可能である。「オンライン（Ｏｎｌｉｎｅ）」動作は、ＡＤＶが対象を検出又は分類するためにリアルタイムに実行する動作を意味する。「オフライン（Ｏｆｆｌｉｎｅ）」動作は、サーバまたはＡＤＶが対象の検出または分類を用意している際に行う動作を意味する。一実施形態では、ＡＤＳまたは安全監視システムは、安全警報を起動させることが可能である。一実施形態では、運転者が介入する場合、安全監視システムは、運転者が介入している時に、または、運転者が介入する直前に、または、運転者が介入した直後に、センサおよび/またはＨＤ地図からの入力データを記録することが可能である。上記のようなレコーディングは、後のトレーニングとネットワーク６００の改進に使用されることが可能である。一実施形態では、レコーディングは、サーバ１０３のようなリモートサーバにアップロードされることが可能である。さらに、サーバ１０３は、道路上のＡＤＶから収集されたレコーディングに基づいて、オフラインネットワーク６００をトレーニングすることが可能である。
図７は、一実施形態に係る方法を示すフローチャートである。プロセス７００は、ソフトウェア、ハードウェアまたはそれらの組み合わせを含む処理ロジックにより実行されることが可能である。例えば、プロセス７００は、図３Ａの安全監視システム３０８により実行されることが可能である。図７を参照すると、ブロック７０１において、処理ロジックは、ＡＤＶの複数のセンサからセンサデータを受信する。ブロック７０２において、処理ロジックは、機械学習モデルを用いて、センサデータから所定量の特徴を抽出する。ブロック７０３において、処理ロジックは、機械学習モデルが抽出した特徴を利用して、ユーザにＡＤＳの介入を促すか否かを決定する。ブロック７０４において、処理ロジックは、ＡＤＳの介入をユーザに促すか否かの決定に基づいて、安全警報を生成する。ブロック７０５において、処理ロジックは、生成した安全警報に基づいてＡＤＶのＡＤＳへの介入をユーザに促す。
一実施形態では、処理ロジックは、地図データをさらに受信し、機械学習モデルを利用するセンサデータと地図データの両方に基づいて、ユーザにＡＤＳの介入を促すか否かを決定する。他の実施形態では、機械学習モデルは、ニューラルネットワークモデルを含み、ニューラルネットワークモデルは、所定量の特徴を抽出する。他の実施形態では、ニューラルネットワークモデルは、複数のセンサのそれぞれに対応するためのセンサデータの完全接続層を含む。他の実施形態では、ニューラルネットワークモデルは、地図データための部分接続層を含む。他の実施形態では、部分接続層は畳込み層である。
一実施形態では、複数のセンサは、レンジ検出センサと、画像取得センサと慣性測定ユニット(ＩＭＵ)センサを含む。他の実施形態において、レンジ検出センサは、光検出・測距(ＬＩＤＡＲ)センサ、または電波検知・測距(ＲＡＤＡＲ)センサを含む。一実施形態では、処理ロジックは、さらに、ＡＤＳによるユーザの介入に対応するセンサデータを記録し、記録したレコーディングに基づいて機械学習モデルに対してスケジューリングを行って、トレーニングする。
なお、上記のように記載された要素の一部または全部は、ソフトウェア、ハードウェアまたはそれらの組み合せにより実現されることが可能である。例えば、そのような要素は、永続的記憶装置にインストールして記憶されるソフトウェアとして実現されることが可能であり、前記ソフトウェアがプロセッサ（図示せず）によりメモリにローディングされて、メモリで実行されることで、本発明に記載のプロセスや操作を実施する。その代わりに、そのような要素は、専用ハードウェア（例えば、集積回路（例えば、特定用途向け集積回路（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ））にプログラミングされ、又は組み込まれる、実行可能なコードとして実現されてもよく、前記実行可能なコードが、アプリケーションからの相応的なドライバおよび/またはオペレーティングシステムを介してアクセス可能である。また、そのような要素は、プロセッサまたはプロセッサコアにおける特定ハードウェアロジックとして実現されることが可能であり、ソフトウェア要素が１つまたは複数の特定命令によりアクセス可能な命令セットの一部とされる。
図８は、本発明の一実施態様とともに使用可能なデータ処理システムの例を示すブロック図である。例えば、システム１５００は、上述のように上記プロセスまたは方法のいずれか１つを実行する任意のデータ処理システム、例えば、図１の感知・計画システム１１０またはサーバ１０３〜１０４のいずれか１つを示す。システム１５００は、様々の要素を備えることが可能である。それらの要素は、集積回路（ＩＣ）、集積回路の一部、別体の電子デバイスや回路基板（例えば、コンピュータシステムのマザーボードまたはインサートカード）に適用される他のモジュールとして実現され、又は、他の方式でコンピュータシステムのラックに組み込まれる要素として実現されることが可能である。
なお、システム１５００は、コンピュータシステムの多くの要素の上位図を示すためである。しかしながら、一部の実施例では、付加要素を有してもよく、また、他の実施例では、図示する要素と異なるレイアウトを有してもよいこと、を理解すべきである。システム１５００は、デスクトップ型コンピュータ、ラップトップ型コンピュータ、タブレット型コンピュータ、サーバ、携帯電話、メディアプレイヤ、携帯情報端末（ＰＤＡ）、スマートウォッチ、パーソナル通信機器、ゲーム装置、ルータやハブ機器、アクセスポイント（ＡＰ）やリピーター、セットトップボックス、またはそれらの組み合せを示すことが可能である。また、単一の機器またはシステムのみを示すが、「機器」または「システム」という用語は、１つ（または複数）の命令セットを個別または一緒に実行すことにより、本明細書で検討するいずれかの１種または複数種の方法を実行する機器またはシステムの集合のいずれを含むことを、理解されるべきである。
一実施態様では、システム１５００は、バスまたはインターコネクト１５１０を介して接続されるプロセッサ１５０１、メモリ１５０３及び装置１５０５〜１５０８を含む。プロセッサ１５０１は、単一のプロセッサコア、または複数のプロセッサコアの１つのプロセッサや複数のプロセッサを含むことを表すことが可能である。プロセッサ１５０１は１つまたは複数の汎用プロセッサ、例えば、マイクロプロセッサ、中央処理ユニット（ＣＰＵ）などを表すことが可能である。より具体的には、プロセッサ１５０１は、複合命令セットコンピュータ（ＣＩＳＣ）方式のマイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）方式のマイクロプロセッサ、ＶＬＩＷ（Ｖｅｒｙ Ｌｏｎｇ Ｉｎｓｔｒｕｃｔｉｏｎ Ｗｏｒｄ）型マイクロプロセッサや他の命令セットを実施するプロセッサ、または命令セットの組み合せを実施するプロセッサであってもよい。プロセッサ１５０１は、１つまたは複数の専用プロセッサ、例えば、特定用途向け集積回路（ＡＳＩＣ）、セルラやベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号化プロセッサ、コプロセッサ、組込み用途向けプロセッサ、または命令を処理可能な他のロジックのいずれであってもよい。
プロセッサ１５０１（低パワーマルチコアプロセッサジャケットインタフェース、例えば超低電圧プロセッサであってもよい）は、前記システムの種々の要素と通信するためのメイン処理ユニット及び中央ハブとされることが可能である。そのようなプロセッサは、オンチップシステム（ＳｏＣ）として実現されることが可能である。プロセッサ１５０１は、本明細書で検討する操作及びステップを実行するための命令を実行するように配置される。システム１５００は、選択可能なグラフィックサブシステム１５０４と通信可能なグラフィックインタフェースを更に含み、グラフィックサブシステム１５０４が、表示制御部、グラフィックプロセッサおよび/または表示装置を備えることが可能である。
プロセッサ１５０１は、メモリ１５０３と通信可能であり、一実施態様では、メモリ１５０３が所定量のシステム用の記憶を提供するように、複数のメモリ装置により実現されることが可能である。メモリ１５０３は、１つまたは複数の揮発性記憶（またはメモリ）装置、例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）または他のタイプの記憶装置を含むことが可能である。メモリ１５０３は、プロセッサ１５０１または他の装置により実行される命令列を含む情報を記憶可能である。例えば、種々のオペレーティングシステム、デバイスドライバ、ファームウェア（例えば、入出力基本システムまたはＢＩＯＳ）および/またはアプリケーションの実行コードおよび/またはデータは、到メモリ１５０３にローディングされてプロセッサ１５０１により実行されることが可能である。オペレーティングシステムは、いずれのタイプのオペレーティングシステム、例えば、ロボットオペレーティングシステム（ＲＯＳ）、Ｍｉｃｒｏｓｏｆｔ（登録商標）社のＷｉｎｄｏｗｓ（登録商標）オペレーティングシステム、アップル社のＭＡＣ ＯＳ（登録商標）／ＩＯＳ（登録商標）、Ｇｏｏｇｌｅ（登録商標）社のＡｎｄｒｏｉｄ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、または他のリアタイムや組み込みオペレーティングシステムであってもよい。
システム１５００は、ＩＯ装置、例えばネットワークインタフェース装置１５０５、選択可能な入力装置１５０６及び他の選択可能なＩＯ装置１５０７を含む装置１５０５〜１５０８をさらに備えることが可能である。ネットワークインタフェース装置１５０５は、無線送受信器および/またはネットワークインタフェースカード（ＮＩＣ）を含むことが可能である。前記無線送受信器は、ＷｉＦｉ（登録商標）送受信器、赤外線送受信器、ブルートゥース（登録商標）送受信器、ＷｉＭａｘ送受信器、無線携帯電話送受信器、衛星送受信器（例えば、全地球測位システム（ＧＰＳ）送受信器）や他の無線周波数（ＲＦ）送受信器、またはそれらの組み合せであってもよい。ＮＩＣは、イーサネット（登録商標）カードであってもよい。
入力装置１５０６は、マウス、タッチパネル、タッチスクリーン（表示装置１５０４に集積されることが可能である）、ポインティングデバイス（例えば、スタイラスペン）および/またはキーボード（例えば、物理的なキーボードまたはタッチスクリーンの一部として表示される仮想的なキーボード）を含むことが可能である。例えば、入力装置１５０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含むことが可能である。タッチスクリーン及びタッチスクリーンコントローラは、例えば複数種のタッチセンシティブ技術（容量、電気抵抗、赤外線及び弾性表面波技術を含むが、これに限定されない）のいずれか１種、及び他の近接センサアレイまたはタッチスクリーンに接触する１つまたは複数の点を特定するための他の素子により、その接触、及び移動や間欠を検出する。
ＩＯ装置１５０７は、オーディオ装置を含むことが可能である。オーディオ装置は、音声を支持する機能、例えば音声認識、音声再生、ディジタル記録および/または電話機能を促すために、スピーカおよび/またはマイクフォンを含むことが可能である。他のＩＯ装置１５０７として、ユニバーサルシリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、プリンタ、ネットワークインタフェース、バスブリッジ（例えば、ＰＣＩ-ＰＣＩブリッジ）、センサ（例えば、加速度計モーションセンサ、ジャイロ、磁力計、光センサ、コンパス、接近センサなど）またはそれらの組み合せを含むことが可能である。装置１５０７は、カメラ機能（例えば、写真及び動画セグメントの記録）を促すための光学センサ、例えば電荷結合素子（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）光学センサを備える撮像処理サブシステム（例えば、カメラ）をさらに含むことが可能である。一部のセンサは、センサハブ（図示せず）を介してインターコネクト１５１０に接続されることが可能である一方、キーボードや感熱センサなどの他の装置は、システム１５００の具体的な配置や設計に応じて、エンベデッドコントローラ（図示せず）により制御されることが可能である。
例えばデータ、アプリケーション、１つまたは複数のオペレーティングシステムなどの情報の永続的な記憶を提供するために、大容量記憶装置（図示せず）がプロセッサ１５０１に接続されてもよい。種々の実施態様では、薄型化且つ軽量化のシステム設計を実現するとともにシステムの応答性を改良するために、そのような大容量記憶装置は、固体装置（ＳＳＤ）により実現されることが可能である。しかしながら、他の実施態様では、大容量記憶装置は、主にハードディスクドライブ（ＨＤＤ）により実現されてもよく、そのうち少量のＳＳＤ記憶装置は、ＳＳＤ用キャッシュとされることにより、停電期間でコンテキストの状態及び他の情報の不揮発性記憶を実現して、システム活動が再起動する際に急速通電を実現することができる。また、フラッシュメモリは、例えばシリアルペリフェラルインタフェース（ＳＰＩ）を介してプロセッサ１５０１に接続されることが可能である。そのようなフラッシュメモリは、前記システムのＢＩＯＳ及び他のファームウェアを含むシステムソフトウェアの不揮発性記憶を提供することが可能である。
記憶装置１５０８は、本明細書に記載のいずれか１種または複数種の方法や機能を実現する１つまたは複数の命令セットやソフトウェア（例えば、モジュール、ユニットおよび/またはロジック１５２８）が記憶されているコンピュータアクセス可能な記憶媒体１５０９（機械可読記憶媒体またはコンピュータ可読媒体ともいう）を含むことが可能である。処理モジュール/ユニット/ロジック１５２８は、上記要素のいずれか１つ、例えば計画モジュール３０５、制御モジュール３０６を表すことが可能である。また、処理モジュール/ユニット/ロジック１５２８は、データ処理システム１５００、メモリ１５０３及びプロセッサ１５０１により実行されている期間で、全部または少なくとも一部が機械アクセス可能な記憶媒体を構成するメモリ１５０３および/またはプロセッサ１５０１に貯留されることが可能である。更に、処理モジュール/ユニット/ロジック１５２８は、ネットワークによりネットワークインタフェース装置１５０５を介して伝送または受信を行うことが可能である。
コンピュータ可読記憶媒体１５０９は、上述した一部のソフトウェア機能を永続的に記憶することが可能である。コンピュータ可読記憶媒体１５０９は、例示的な実施態様では単一の媒体として示されるが、「コンピュータ可読記憶媒体」という用語は、前記１つまたは複数の命令セットを記憶する単一の媒体または複数の媒体（例えば、集中または分散データベースおよび/または関連するキャッシュメモリ及びサーバ）を含む、と考えられる。「コンピュータ可読記憶媒体」という用語は、機械により実行されるとともに、前記機械が本発明のいずれの１種または複数種の方法を実行させる命令セットを記憶またはコーディング可能ないずれの媒体を含む、と考えられる。よって、「コンピュータ可読記憶媒体」という用語は、固体メモリ、光学媒体及び磁気媒体、または他の非一時的機械可読媒体のいずれを含むが、これに限定されない、と考えられる。
本明細書に記載の処理モジュール/ユニット/ロジック１５２８、要素及び他の特徴は、個別ハードウェア要素とされ、またはハードウェア要素（例えば、ＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰまたは同様な装置）の機能に集積されるように、実現可能である。また、処理モジュール/ユニット/ロジック１５２８は、ハードウェア装置におけるファームウェアまたは機能回路として実現されることが可能である。また、処理モジュール/ユニット/ロジック１５２８は、ハードウェア装置とソフトウェア要素とのいずれの組み合せにより実現されることが可能である。
なお、システム１５００は、データ処理システムの種々の要素を備えるように示されるが、要素を相互に接続する特定の構成または態様を示すためではない。よって、そのような詳細は、本発明の実施態様と密接な関係がない。さらに、より少ない要素またはより多い要素を有するネットワークコンピュータ、ハンディコンピュータ、携帯電話、サーバおよび/または他のデータ処理システムも、本発明の実施態様とともに使用可能であることを、認識すべきである。
詳細に記載した前記内容の一部は、既にコンピュータメモリで行われるデータビットの演算のアルゴリズム及び符号表示に応じて表現された。それらのアルゴリズムの記載及び表示は、データ処理分野での技術者が使用する方式であり、技術者らの実質的な動作を効率よく本分野での他の技術者に伝達するためである。本明細書では、アルゴリズムは、通常に所望の結果を達成する自律操作シーケンスとして考えられる。それらの操作とは、物理量を物理的に操作する必要がある操作である。
ところで、それらの用語及びその類似する用語のすべては、適当な物理量に関連するためであり、且つ単にそれらの物理量を便利に表記することに適用されることはいうまでもない。以上の検討において他の態様で明確に限定しない限り、明細書全体では、用語（例えば、添付した特許請求の範囲に記載の用語）により検討されることは、コンピュータシステムのレジスタ及びメモリでの物理（電子）量として表示されるデータを操作して、前記データをコンピュータシステムメモリやレジスタ、または他の情報記憶装置、伝送装置や表示装置での同様に物理量として表示される他のデータを変換するコンピュータシステムや類似する電子計算装置の動作及び処理である。
本発明の実施態様は、本明細書における操作を実行するためのデバイスにさらに関する。そのようなコンピュータプログラムは、不揮発性コンピュータ可読媒体に記憶されている。機械可読媒体は、機械（例えば、コンピュータ）可読態様で情報を記憶するための機構全体を含む。例えば、機械可読（例えば、コンピュータ可読）媒体は、機械（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置）を含む。
前記図面に記載のプロセスや方法は、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（例えば、非一時性コンピュータ可読媒体で体現される）またはそれらの組み合せを含む処理ロジックにより実行されることが可能である。前記プロセスや方法は、上記の内容において一部の順序操作に基づいて記載されるが、前記操作の一部が異なる順序で実行されてもよいことを、理解すべきである。また、一部の操作は、順序に実行されることではなく、並列に実行されてもよい。
本発明の実施態様は、いずれの特定のプログラミング言語を参照して記載されることはない。複数種のプログラミング言語を使用して本明細書に記載の本発明の実施態様の教示を実施可能であることを、理解すべきである。
以上の明細書では、本発明の具体的な実施態様を参照して本発明の実施態様を記載した。添付した特許請求の範囲に記載の本発明の更なる広い要旨及び範囲を逸脱しない限り、本発明を様々な形態で変形可能であることが、明らかである。したがって、明細書および図面は、制限的な意味ではなく、例示的な意味で理解されるべきである。
本発明の一実施形態では、自動運転車両（ＡＤＶ）の自動運転システム（ＡＤＳ）への介入をユーザに促す方法であって、自動運転車両の複数のセンサから、センサデータを受信することと、機械学習モデルを用いて、前記センサデータから所定量の特徴を抽出することと、前記機械学習モデルを用いて抽出された特徴に基づいて、前記自動運転システムへの介入をユーザに促すか否かを決定することと、前記自動運転システムへの介入をユーザに促すか否かの決定に基づいて、安全警報を生成することと、生成した安全警報に基づいて、自動運転車両の自動運転システムへの介入を前記ユーザに促すことと、を含む、コンピューターに実現させる方法を提供する。
本発明の他の実施形態では、命令が記憶される非一時的機械可読媒体であって、前記命令がプロセッサにより実行される場合に、自動運転車両の複数のセンサから、センサデータを受信することと、機械学習モデルを用いて、前記センサデータから所定量の特徴を抽出することと、前記機械学習モデルを用いて抽出された特徴に基づいて、前記自動運転システムへの介入をユーザに促すか否かを決定することと、前記自動運転システムへの介入をユーザに促すか否かの決定に基づいて、安全警報を生成することと、生成した安全警報に基づいて、自動運転車両の自動運転システムへの介入を前記ユーザに促すこと、を前記プロセッサに実行させる非一時的可読媒体を提供する。
本発明の更なる実施形態では、プロセッサと、前記プロセッサに接続されて命令を記憶するメモリとを備えるデータ処理システムであって、前記命令がプロセッサにより実行される場合に、自動運転車両の複数のセンサから、センサデータを受信することと、機械学習モデルを用いて、前記センサデータから所定量の特徴を抽出することと、前記機械学習モデルを用いて抽出された特徴に基づいて、前記自動運転システムへの介入をユーザに促すか否かを決定することと、前記自動運転システムへの介入をユーザに促すか否かの決定に基づいて、安全警報を生成することと、生成した安全警報に基づいて、自動運転車両の自動運転システムへの介入を前記ユーザに促すことを、前記プロセッサに実行させるデータ処理システムを提供する。

Claims (21)

  1. ユーザに自動運転車両の自動運転システムへの介入を促すためのコンピューター実施方法であって、
    前記自動運転車両の複数のセンサから、センサデータを受信することと、
    機械学習モデルを用いて、前記センサデータから所定量の特徴を抽出することと、
    前記機械学習モデルを用いて抽出された特徴に基づいて、前記自動運転システムへの介入をユーザに促すか否かを決定することと、
    前記自動運転システムへの介入をユーザに促すか否かの決定に基づいて、安全警報を生成することと、
    生成した安全警報に基づいて、自動運転車両の自動運転システムへの介入を前記ユーザに促すことと、を備える方法。
  2. 前記自動運転車両のための地図データを受信することと、
    前記機械学習モデルを用いて、前記センサデータ及び前記地図データの両者に基づいて、前記自動運転システムへの介入をユーザに促すか否かを決定することと、をさらに備える請求項１に記載の方法。
  3. 前記機械学習モデルは、前記所定量の特徴を抽出するためのニューラルネットワークモデルを含む、請求項２に記載の方法。
  4. 前記ニューラルネットワークモデルは、前記複数のセンサのそれぞれに対応するセンサデータのための完全接続層を含む請求項３に記載の方法。
  5. 前記ニューラルネットワークモデルは、前記地図データための部分接続層を含む請求項４に記載の方法。
  6. 前記部分接続層は、畳込み層である請求項５に記載の方法。
  7. 前記複数のセンサは、レンジ検出センサと、画像取得センサおよび慣性測定ユニットセンサを含む請求項１に記載の方法。
  8. 前記レンジ検出センサは、光検出と測距センサ（ＬＩＤＡＲ）または電波検知と測距センサ（ＲＡＤＡＲ）を含む請求項７に記載の方法。
  9. 前記自動運転システムにより、ユーザの介入に対応するセンサデータを記録することと、
    前記記録したレコーディングに基づいて前記機械学習モデルに対しスケジューリングを行ってトレーニングすることを、さらに備える請求項１に記載の方法。
  10. 命令が記憶される非一時的機械可読媒体であって、前記命令がプロセッサにより実行される場合に、
    自動運転車両の複数のセンサから、センサデータを受信することと、
    機械学習モデルを用いて、前記センサデータから所定量の特徴を抽出することと、
    前記機械学習モデルを用いて抽出された特徴に基づいて、自動運転システムへの介入をユーザに促すか否かを決定することと、
    前記自動運転システムへの介入をユーザに促すか否かの決定に基づいて、安全警報を生成することと、
    生成した安全警報に基づいて、自動運転車両の自動運転システムへの介入を前記ユーザに促すこと、を前記プロセッサに実行させる非一時的可読媒体。
  11. 前記自動運転車両ための地図データを受信することと、
    前記機械学習モデルを用いて、前記センサデータ及び前記地図データの両者に基づいて、前記自動運転システムへの介入をユーザに促すか否かを決定することと、をさらに備える請求項１０に記載の非一時的可読媒体。
  12. 前記機械学習モデルは、前記所定量の特徴を抽出するためのニューラルネットワークモデルを含む、請求項１１に記載の非一時的可読媒体。
  13. 前記ニューラルネットワークモデルは、前記複数のセンサのそれぞれに対応するセンサデータのための完全接続層を含む請求項１２に記載の非一時的可読媒体。
  14. 前記ニューラルネットワークモデルは、前記地図データための部分接続層を含む請求項１３に記載の非一時的可読媒体。
  15. 前記部分接続層は、畳込み層である請求項１４に記載の非一時的可読媒体。
  16. プロセッサと、前記プロセッサに接続されて命令を記憶するメモリとを備えるデータ処理システムであって、
    前記命令がプロセッサにより実行される場合に、
    自動運転車両の複数のセンサから、センサデータを受信することと、
    機械学習モデルを用いて、前記センサデータから所定量の特徴を抽出することと、
    前記機械学習モデルを用いて抽出された特徴に基づいて、自動運転システムへの介入をユーザに促すか否かを決定することと、
    前記自動運転システムへの介入をユーザに促すか否かの決定に基づいて、安全警報を生成することと、
    生成した安全警報に基づいて、自動運転車両の自動運転システムへの介入を前記ユーザに促すことを、前記プロセッサに実行させるデータ処理システム。
  17. 前記自動運転車両ための地図データを受信することと、
    前記機械学習モデルを用いて、前記センサデータ及び前記地図データの両者に基づいて、前記自動運転システムへの介入をユーザに促すか否かを決定することと、をさらに備える請求項１６に記載のデータ処理システム。
  18. 前記機械学習モデルは、前記所定量の特徴を抽出するためのニューラルネットワークモデルを含む、請求項１７に記載のデータ処理システム。
  19. 前記ニューラルネットワークモデルは、前記複数のセンサのそれぞれに対応するセンサデータのための完全接続層を含む請求項１８に記載のデータ処理システム。
  20. 前記ニューラルネットワークモデルは、前記地図データための部分接続層を含む請求項１９に記載のデータ処理システム。
  21. 前記部分接続層は、畳込み層である請求項２０に記載のデータ処理システム。
JP2019111993A 2018-06-27 2019-06-17 ニューラルネットワークに基づく自動運転車両用の安全監視システム Pending JP2020004402A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/021,007 2018-06-27
US16/021,007 US10457294B1 (en) 2018-06-27 2018-06-27 Neural network based safety monitoring system for autonomous vehicles

Publications (1)

Publication Number Publication Date
JP2020004402A true JP2020004402A (ja) 2020-01-09

Family

ID=68314731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019111993A Pending JP2020004402A (ja) 2018-06-27 2019-06-17 ニューラルネットワークに基づく自動運転車両用の安全監視システム

Country Status (3)

Country Link
US (1) US10457294B1 (ja)
JP (1) JP2020004402A (ja)
CN (1) CN110641472B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112020000484T5 (de) 2019-01-22 2021-10-21 Denso Corporation Kommunikationsvorrichtung für fahrzeuge

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10816979B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
US11748626B2 (en) 2019-08-12 2023-09-05 Micron Technology, Inc. Storage devices with neural network accelerators for automotive predictive maintenance
US11586194B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network models of automotive predictive maintenance
US11635893B2 (en) 2019-08-12 2023-04-25 Micron Technology, Inc. Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US11775816B2 (en) 2019-08-12 2023-10-03 Micron Technology, Inc. Storage and access of neural network outputs in automotive predictive maintenance
US11586943B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network inputs in automotive predictive maintenance
US11361552B2 (en) 2019-08-21 2022-06-14 Micron Technology, Inc. Security operations of parked vehicles
US11702086B2 (en) 2019-08-21 2023-07-18 Micron Technology, Inc. Intelligent recording of errant vehicle behaviors
US11498388B2 (en) 2019-08-21 2022-11-15 Micron Technology, Inc. Intelligent climate control in vehicles
US11650746B2 (en) 2019-09-05 2023-05-16 Micron Technology, Inc. Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles
US11436076B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Predictive management of failing portions in a data storage device
US11435946B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles
US11409654B2 (en) 2019-09-05 2022-08-09 Micron Technology, Inc. Intelligent optimization of caching operations in a data storage device
US11693562B2 (en) 2019-09-05 2023-07-04 Micron Technology, Inc. Bandwidth optimization for different types of operations scheduled in a data storage device
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
CN111081067B (zh) * 2019-12-27 2021-07-20 武汉大学 车联网环境下基于iga-bp神经网络的车辆碰撞预警系统及方法
US11709625B2 (en) 2020-02-14 2023-07-25 Micron Technology, Inc. Optimization of power usage of data storage devices
US11531339B2 (en) 2020-02-14 2022-12-20 Micron Technology, Inc. Monitoring of drive by wire sensors in vehicles
CN111310840B (zh) * 2020-02-24 2023-10-17 北京百度网讯科技有限公司 数据融合处理方法、装置、设备和存储介质
EP4252145A1 (en) * 2020-11-26 2023-10-04 Zenuity AB Augmented path planning for automotive applications

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017019487A (ja) * 2015-06-04 2017-01-26 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド 自律型車両の動作モード間の遷移
JP6264494B1 (ja) * 2017-03-14 2018-01-24 オムロン株式会社 運転者監視装置、運転者監視方法、学習装置及び学習方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106080506A (zh) * 2013-11-12 2016-11-09 蒋超 检测前排乘客是否系上安全带的汽车安全行驶控制系统
US10343685B2 (en) * 2016-09-28 2019-07-09 Baidu Usa Llc Physical model and machine learning combined method to simulate autonomous vehicle movement
US10452068B2 (en) * 2016-10-17 2019-10-22 Uber Technologies, Inc. Neural network system for autonomous vehicle control
US10421460B2 (en) * 2016-11-09 2019-09-24 Baidu Usa Llc Evaluation framework for decision making of autonomous driving vehicle
US10699305B2 (en) * 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
US10083547B1 (en) * 2017-05-23 2018-09-25 Toyota Jidosha Kabushiki Kaisha Traffic situation awareness for an autonomous vehicle
KR102070527B1 (ko) * 2017-06-22 2020-01-28 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량 교통 예측에서 예측되는 궤적에 대한 평가 프레임 워크
US10007269B1 (en) * 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US10976737B2 (en) * 2017-11-21 2021-04-13 GM Global Technology Operations LLC Systems and methods for determining safety events for an autonomous vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017019487A (ja) * 2015-06-04 2017-01-26 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド 自律型車両の動作モード間の遷移
JP6264494B1 (ja) * 2017-03-14 2018-01-24 オムロン株式会社 運転者監視装置、運転者監視方法、学習装置及び学習方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112020000484T5 (de) 2019-01-22 2021-10-21 Denso Corporation Kommunikationsvorrichtung für fahrzeuge

Also Published As

Publication number Publication date
CN110641472A (zh) 2020-01-03
US10457294B1 (en) 2019-10-29
CN110641472B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
JP2020004402A (ja) ニューラルネットワークに基づく自動運転車両用の安全監視システム
JP6975512B2 (ja) 自動運転車両の周辺車両の挙動に基づくリアルタイム感知調整と運転調整
CN111252061B (zh) 用于自动驾驶车辆的实时决策制定
US10810872B2 (en) Use sub-system of autonomous driving vehicles (ADV) for police car patrol
US11328219B2 (en) System and method for training a machine learning model deployed on a simulation platform
US11231717B2 (en) Auto-tuning motion planning system for autonomous vehicles
CN110389585B (zh) 用于自动驾驶车辆的基于学习的速度规划器
JP6619778B2 (ja) 自律走行車の車両交通行動を予測して運転決定をするための方法及びシステム
US11545033B2 (en) Evaluation framework for predicted trajectories in autonomous driving vehicle traffic prediction
KR102070530B1 (ko) 모션 계획에 기초한 자율 주행 차량의 운행 방법 및 시스템
CN111258217B (zh) 实时对象行为预测
CN108733046B (zh) 用于自动驾驶车辆的轨迹重新规划的系统和方法
KR20180088789A (ko) 차량 주변의 컨텍스트에 기초하여 차량의 하나 이상의 궤적을 예측하는 방법 및 시스템
KR20200143242A (ko) 비전 기반 인식 시스템에 의한 대립적 샘플들 검출 방법
CN111857118A (zh) 对停车轨迹分段以控制自动驾驶车辆停车
JP7143269B2 (ja) 車両挙動予測のための圧縮環境特徴の表示
EP3815061B1 (en) Theft proof techniques for autonomous driving vehicles used for transporting goods
JP6946456B2 (ja) 地図及び測位を必要としない自動運転車両のコーナネゴシエーション方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201027

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210526

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210526

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210602

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210608

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210730

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210803

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211019

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220404

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220510

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220517

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220920

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221011

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20221108

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20221108