JP2022506262A - 自動車に関する制御設定を生成するための方法 - Google Patents

自動車に関する制御設定を生成するための方法 Download PDF

Info

Publication number
JP2022506262A
JP2022506262A JP2021523483A JP2021523483A JP2022506262A JP 2022506262 A JP2022506262 A JP 2022506262A JP 2021523483 A JP2021523483 A JP 2021523483A JP 2021523483 A JP2021523483 A JP 2021523483A JP 2022506262 A JP2022506262 A JP 2022506262A
Authority
JP
Japan
Prior art keywords
sensor
raw data
sensors
vehicle
computing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021523483A
Other languages
English (en)
Other versions
JP7439079B2 (ja
Inventor
カトリン マッテス,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Publication of JP2022506262A publication Critical patent/JP2022506262A/ja
Application granted granted Critical
Publication of JP7439079B2 publication Critical patent/JP7439079B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0225Failure correction strategy
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/023Avoiding failures by using redundant parts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04Monitoring the functioning of the control system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0016State machine analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215Sensor drifts or sensor failures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Electric Motors In General (AREA)

Abstract

本発明は、自動車の環境に関連した生データを取得するように構成された複数のセンサ(10、11、12)と、それらのセンサによって取得された生データを受け取るように構成された計算ユニット(20)とを含む自動車を制御するための方法に関し、前記方法は、 - 計算ユニットが、センサによって取得された生データを受け取るステップと、 - 計算ユニットが、前記生データを処理して、そこから、自動車の環境に関連した情報(S1、S2、S3)の断片を推定し、かつ情報のそれぞれの断片の推定におけるエラーの確率の係数(P1、P2、P3)を推定するステップと、 - 情報の前記断片および前記確率係数に応じて、自動車を制御するための設定(C1)が生成されるステップとを含む。本発明によれば、この方法はまた、前記センサのうちの少なくとも1つに関して、このセンサによって送られた生データの品質に関連した品質係数が特定されるステップと、 - 品質係数に、および確率係数に応じて制御設定の信頼性が推定されるステップと、 - 制御設定の推定された信頼性に応じて、制御設定を訂正するかまたは訂正しないかの判断が行われるステップとを含む。【選択図】図1

Description

本発明は、全般的には、自動車に関する運転者支援に関する。
本発明は、より詳細には、ステアリングシステム、ブレーキングシステム、またはパワートレインなど、自動車の1つまたは複数の駆動部材に関する制御命令を作成するための方法に関する。
本発明はまた、コンピューティングユニットと、自動車の環境に関連している生データを取得するように構成された複数のセンサとを含む自動車に関する。
本発明は、より詳細には、自律運転モードを備えた車両に適用される。したがって、本発明は、自動車、航空、および航空宇宙の分野に適用されることが可能である。
自動車を運転することを容易にし、そしてより安全にするために、自動車に運転者支援システムを装備することが、知られている慣行である。これらの運転者支援システムは、(人間の介入を伴わない)車両の自律運転を可能にするシステム、または車両の部分的に自律的な運転を可能にするシステム(典型的には、たとえば緊急ブレーキをかけるために、もしくは車両をその車両の車線の真ん中に戻すために一時的に車両を制御するように構成されたシステム)であることが可能である。
これらのシステムが車両の周辺の環境を理解することを可能にするために、カメラおよびRADAR、LIDAR、SONARセンサ等などの多くのセンサが車両上に配置される。
それぞれのセンサは、その長所およびその短所を有している。そこで、環境検知エラーを最大限に減らすために、「データ融合」を実行すること、すなわち、別々のセンサによって送信されたデータを考慮に入れて、そこから環境データの単一のアイテムを導出することが、知られている慣行である。したがって、それぞれのセンサの長所から利益を得ることが可能である。
残念ながら、それでも、車両がミスを犯すこと、すなわち、車両が状況を誤解することが依然として発生する可能性がある。たとえば、車両が、危険な物体を無害な障害物と誤ってみなし、したがって緊急ブレーキを命じない可能性がある。
したがって、これらのエラーを減らすことが求められている。
本発明は、標準ISO26262によって定義されている機能安全レベルASIL D(「Automotive Safety Integrity Level D」を表す頭字語)を満たす新たな方法および新たなシステムを提供する。
より詳細には、本発明に従って提案されているものは、自動車を制御するための方法であって、
- 車両のコンピューティングユニットが、車両のセンサによって取得される、車両の環境に関連する生データを受け取るステップと、
- コンピューティングユニットが、前記生データを処理して、そこから、自動車の環境に関連している情報と、各情報の導出においてエラーが発生している確率に関連している確率係数とを導出するステップと、
- 前記情報および前記確率係数に従って自動車に関する制御命令を作成するステップと、
- 前記センサのうちの少なくとも第1のセンサに関して、この第1のセンサが取得する生データの品質に関連している品質係数を特定するステップと、
- 品質係数および確率係数に従って制御命令の信頼性を推定するステップと、
- 制御命令の推定された信頼性に従って、制御命令を訂正するかまたは訂正しないかを判断するステップとを含む方法である。
したがって、本発明のおかげで、センサの動作条件を考慮して(これらのセンサの品質係数を特定することによって)、自動車に関する制御命令が、完全な安全において、そのまま使用されることが可能であるかどうかを判断することが可能である。
例として、カメラによって取得されたデータが高品質のものであるとみなすのに十分な明るさであるかどうかを特定することが可能である。車両が水しぶきを通過しているか否かを特定して、LIDARセンサによって取得されたデータが高品質のものであるか否かを知ることも可能である。
本発明による制御方法のその他の有利な非限定的な特徴は、下記のとおりである:
- 特定するステップにおいて、センサのうちの少なくとも第1のセンサの品質係数は、前記センサのうちの少なくとも1つの他のセンサによって取得された生データに従って、ならびに/または、第1のセンサによって取得された生データの測定の条件に関連する、サードパーティー検知器によって取得されるサードパーティーデータに従って特定され、
- サードパーティー検知器は、光センサ、または雨センサ、または自動車が走行している車道の状態を検知するように構成されたセンサであり、
- 前記センサのうちの少なくとも1つは、画像センサ、またはRADARセンサ、またはLIDARセンサであり、
- 処理するステップにおいて、自動車の環境における物体を検知し、前記物体を分類するために、それぞれのセンサによって送信された生データは、他のセンサによって送信された生データとは別個に処理され、それぞれの確率係数は、分類された物体に、および前記センサに関連付けられており、
- 処理するステップにおいて、生データを処理した後に、処理されたデータは、それぞれの確率係数を考慮に入れて融合され、
- 処理するステップにおいて、生データを処理した後に、処理されたデータは、それぞれの品質係数を考慮に入れて融合され、
- 推定するステップにおいて、制御命令の信頼性は、処理されたデータの融合の結果にも従って推定され、
- 制御命令を訂正するかまたは訂正しないかの判断は、前記センサとは異なるセンサからの冗長性情報にも従って行われる。
本発明はまた、自動車の環境に関連している生データを取得するように構成された複数のセンサと、上述されている制御方法を実施するように構成されたコンピューティングユニットとを含む自動車に関する。
非限定的な例として与えられている添付の図面への参照を伴う以降の説明は、本発明の内容、およびどのようにして本発明が実施されることが可能であるかについての理解を提供するであろう。
本発明による方法を実施するように構成された制御システムを示す図である。
本発明は、より詳細には、車両の自律運転を可能にする、すなわち、人間の介入を伴わない制御システムを備えた自動車に適用される。
本発明は、より正確には、自動車の少なくとも1つの駆動部材を制御するための方法に関する。
この駆動部材は、たとえば、自動車のパワートレインによって、またはステアリングデバイスによって、またはブレーキングデバイスによって形成されることが可能である。この説明の残りの部分においては、これらの駆動部材のすべてが、車両のコンピューティングユニットによって制御されると考えられるであろう。
図1の一部において示されているこのコンピューティングユニット20は、プロセッサ、メモリ、およびさまざまな入力および出力インターフェースを含む。
これは、ここではブロックの形式で表されている、別個であるが相互に依存するアルゴリズム同士を実施するように構成されている。
コンピューティングユニット20は、そのメモリのおかげで、命令を含むコンピュータプログラムから構成されているコンピュータアプリケーションを格納しており、それらの命令がプロセッサによって実行されると、以降で記述されることになる方法の実施が可能になる。
コンピューティングユニット20は、その出力インターフェースのおかげで、コンピューティングユニット20が制御命令C1を駆動部材30へ送信することが可能であるような形で駆動部材30に接続されている。
コンピューティングユニット20は、その入力インターフェースのおかげで、いくつかのセンサ10、11、12、13(少なくとも2つのセンサ、ただし好ましくは、それよりも多い)に接続されている。
これらは、任意のタイプのセンサであることが可能である。
例として、自動車は、車両の周りのすべての向き(すなわち、360度)をカバーするように向けられたデジタルカメラ10、RADARセンサ11、LIDARセンサ12、および光センサ13を装備することが可能である。
光センサ13は、車両のライトを自動的にオンにする従来の機能を提供することを可能にするために存在している。
他のセンサ10、11、12(以降では環境センサと呼ばれる)は、車両を自律的に制御する機能を確実にするために存在しているそれらの部分のためのものである。
これらの環境センサ10、11、12のそれぞれは、長所および短所を有している。たとえば、カメラは、晴天においては良好な障害物検知を可能にするであろうが、暗い光または過度に明るい光においては検知が不十分になるであろう。逆に、RADARまたはLIDARセンサは、どんな光であれ、良好な障害物検知を可能にするであろうが、水しぶきまたは悪天候(雨、霧、雪)の存在下では不正確なデータを提供するであろう。
ここでは、駆動部材へ送信される制御命令C1は、主として、環境センサ10、11、12によって送信される生データに従って作成されることになる。
次いで図1を参照しながら、この制御命令C1が作成されることになる方法を詳細に記述することが可能である。
実際には、コンピューティングユニット20は、以降で記述されている方法を再帰的な様式で、すなわちループで、一定のタイムインターバルで実施するようにプログラムされている。
この方法は、7つの主要なステップを含む。
第1のステップ中に、コンピューティングユニット20は、センサ10、11、12、13のすべてによって取得された生データを読み取る。
ここで考慮されている例においては、コンピューティングユニット20は、カメラ10によって、RADARセンサ11によって、LIDARセンサ12によって、および光センサ13によって送信された生データを読み取る。
例として、カメラ10のケースにおいては、生データは、カメラの感光性センサのそれぞれのピクセルの色および輝度特性によって形成される。光センサ13のケースにおいては、生データは、経時的に測定された光レベルによって形成される。
第2のステップ中に、取得された生データを処理して、そこから、自動車の環境に関連している情報を導出する。
実際には、環境センサ10、11、12によって送信される生データは、互いに別々に処理される。
目的は、これらの生データに基づいて、自動車の環境に位置している物体を検知すること、これらの物体(障害物、交通標識、第三者の車両、歩行者など)を分類すること、ならびにそれぞれの分類された物体S1、S2、S3に対して、この物体の検知においておよび分類においてエラーが発生している確率に関連している確率係数P1、P2、P3を割り当てることである。
このステップを実施するために、たとえば「CNN」(「convolutional neural network」)技術などのマシン学習技術に基づく分類方法を使用することが可能である。
変形として、または追加として、フィルタまたはその他の任意のタイプの適切な処理が使用されることが可能である。
要約すると、図1において示されているように、コンピューティングユニット20は、3つのブロックB10、B11、B12を含み、これらのブロックはそれぞれ、カメラ10から、RADARセンサ11から、およびLIDARセンサ12から生データを入力として受け取り、これらのブロックは、確率係数P1、P2、P3に関連付けられている、検知および分類されたそれぞれの物体の説明S1、S2、S3を出力として別々に配信する。
第3のステップ中に、コンピューティングユニット20は、環境センサ10、11、12のそれぞれに関する品質係数Q1、Q2、Q3を特定する。この品質係数Q1、Q2、Q3は、問題のセンサによって取得された生データの品質に関連している。
実際には、この品質係数Q1、Q2、Q3は、問題のセンサの正しい動作を可能にするために外部条件がどの程度適切であるかを知ることを可能にする。
言い換えれば、これら品質係数Q1、Q2、Q3は、
- カメラ10が、たとえば周囲光を考慮に入れて、物体を正しく検知することが可能であるかどうか、ならびに
- RADAR 11およびLIDAR 12センサが、たとえば天候を考慮に入れて、物体を正しく検知することが可能であるかどうかを特定することを可能にする。
それぞれの品質係数Q1、Q2、Q3は、問題のセンサによって取得された生データ(実線の矢印によって表されている)に従って、そしてまた、他のセンサによって取得された生データ(点線の矢印によって表されている)に従って特定される。
したがって天候は、カメラ10によって取得された画像に従って特定されることが可能であり、周囲光は、光センサ13によって取得されることが可能である。
もちろん、とりわけ天候を特定するために、他のセンサが使用されることも可能である。したがって、車両の車輪に配置されるであろう、かつ自動車が走行している車道の状態を検知するように構成されるであろう雨センサおよび/または加速度計を使用することが可能であろう。
センサ10、11、12、13からの生データは、下記をここで適用することによって、それぞれの品質係数Q1、Q2、Q3を特定するために使用される:
- 統計的方法(カメラ10からの生データのケースにおいては、とりわけ「BRIQUE」もしくは「NIQUE」法を使用することが可能である)、ならびに/または
- 周波数法(カメラ10からの生データのケースにおいては、「シャープネス/ブラー」もしくは「高低周波数インデックス」法を使用して画像のシャープネスを特定することも可能であり、LIDARセンサからの生データのケースにおいては、「参照付きRMSE」、「HDMAPおよびGPS」、もしくは「共分散行列/エントロピー測定」法を使用することが可能である)。
要約すると、図1において示されているように、コンピューティングユニット20は、3つのブロックB10’、B11’、B12’を含み、これらのブロックは、カメラ10から、および/またはRADARセンサ11から、および/またはLIDARセンサ12から、および/または光センサ13から生データを入力として受け取り、これらのブロックはそれぞれ、品質係数Q1、Q2、Q3を出力として配信し、品質係数Q1、Q2、Q3は、環境センサ10、11、12のうちの1つに関連付けられており、かつ運転条件を考慮に入れてこのセンサによって取られた測定値の精度のレベルに関連している。
以降で明らかになるであろうが、それぞれの環境センサ10、11、12に関する品質係数を推定することは、動作条件が最良であると推定される、したがって最も信頼できる生データを配信する1つまたは複数のセンサを優先することを可能にする。
第4のステップ中に、さまざまな環境センサ10、11、12からのデータを融合するための準備が行われる。
このために、一方では、センサによって取得された生データを、他方では、ブロックB10、B11、B12からのデータを融合することが可能であろう。
しかしながら、ここでは、ブロックB10、B11、B12(すなわち、説明S1、S2、S3)からのデータのみが融合されることになると考えられるであろう。
これらのデータは、ここでは、それぞれの確率係数P1、P2、P3を考慮に入れて、そして潜在的にはまた、それぞれの品質係数Q1、Q2、Q3に従って融合される。
「データ融合」が意味するものは、異種のセンサ同士からのいくつかのデータに適用される数学的方法であり、この方法は、自動車の周囲に存在している物体の検知および分類を精緻化することを可能にする。
たとえば、カメラ10によって取得された画像からのデータを、RADAR 11およびLIDAR 12センサからのデータと融合して、カメラ10によって取得された画像において検知された物体の正確な位置およびダイナミクス(スピードおよび加速度)をよりよく推定することが可能である。
次いで確率P1、P2、P3および品質Q1、Q2、Q3係数を使用して、物体の検知および分類のためにそれぞれの環境センサ10、11、12の重みを動的に調整する。
要約すると、図1において示されているように、コンピューティングユニット20は、ブロックB1を含み、このブロックは、検知された物体の説明S1、S2、S3、ならびに確率P1、P2、P3および品質Q1、Q2、Q3係数を入力として受け取り、このブロックは、いくつかの環境センサによって検知されてデータ融合アルゴリズムによってチェックされたそれぞれの物体の説明(カテゴリー、位置、およびダイナミクス)を含む結果D2を出力として配信する。
この結果D2のおかげで、第5のステップ中に、コンピューティングユニット20は、自動車のさまざまな駆動部材30に関する制御命令C1を作成する。
このために、図1において示されているように、コンピューティングユニット20は、ブロックB2を含み、このブロックは、ブロックB1から結果D2を入力として受け取り、制御命令C1を出力として配信する。
したがって、この制御命令C1は、コンピューティングユニット20による車両の環境の評価を考慮に入れて生成される。
この評価における何らかのエラーが車両の乗員にとって危険な結果を及ぼすことを防止するために、本方法を安全にする目的で2つのさらなるステップも提供される。
第6のステップ中に、コンピューティングユニット20は、品質Q1、Q2、Q3および確率P1、P2、P3係数に従って制御命令C1の信頼性を推定する。
実際には、制御命令C1の信頼性は、信頼性係数D3を用いて推定される。
この信頼性係数D3を計算するためのアルゴリズムは、たとえば、品質係数Q1、Q2、Q3および確率係数P1、P2、P3を相関付ける方法に基づくことが可能である。
好ましくは、信頼性係数D3は、主として品質係数Q1、Q2、Q3に従って特定されるであろう。
具体的には、車両が自分の環境についての良好な理解を有することを可能にしない条件において環境センサ10、11、12の大部分が動作しているということをこれらの品質係数Q1、Q2、Q3が示している場合には、(確率係数の値がいくつであれ)信頼性係数D3を特定する際に主として考慮に入れられることになるのは、この情報である。
言い換えれば、確率係数P1、P2、P3は、品質係数Q1、Q2、Q3よりも低い統計的重みを有している。
その上、所与のセンサの品質係数を特定するために使用されるセンサの数が多ければ多いほど、信頼性係数D3の計算におけるこの品質係数の重みは大きくなる。
信頼性係数D3を計算するためのアルゴリズムは、その他のデータを考慮に入れることが可能であろう。したがって、好ましくは、信頼性係数D3は、融合の結果D2にも従って推定されるであろう。この方法においては、融合の結果D2が矛盾している場合には、この矛盾は、信頼性係数D3を計算する際に考慮に入れられることが可能であろう。
要約すると、図1において示されているように、コンピューティングユニット20は、ブロックB3を含み、このブロックは、確率P1、P2、P3および品質Q1、Q2、Q3係数ならびに融合の結果D2を入力として受け取り、信頼性係数D3を出力として配信する。
次いで第7のステップ中に、コンピューティングユニット20は、(制御命令C1を駆動部材30へ送る前に)制御命令C1を訂正するかまたは訂正しないかの判断を行うことになる。
この判断は、主として信頼性係数D3を考慮に入れることによって行われる。
好ましくは、この判断は、それまでに考慮されたセンサ10、11、12とは異なるセンサからの冗長性情報D1にも従って行われることが可能であろう。
実際には、信頼性係数D3がしきい値を下回っている場合、および/または考慮されているデータ同士の間における矛盾を冗長性情報D1が示している場合には、コンピューティングユニット20が制御命令C1の訂正を要求することになると想定される。
この訂正から生じるアクションは、たとえば、車両の自律運転モードを解除すること、または1つもしくは複数の以前に識別されたセンサからの生データを考慮に入れるのをやめることであることが可能である。
要約すると、図1において示されているように、コンピューティングユニット20は、ブロックB4を含み、このブロックは、信頼性係数D3ならびに冗長性情報D1を入力として受け取り、制御命令C1を訂正するための命令を出力として潜在的に配信する。
このブロックB4は、ISO26262標準の意味の範囲内でASIL-D安全レベルを確保することを目的とするアルゴリズムによって形成される。

Claims (10)

  1. コンピューティングユニット(20)と、自動車の環境に関連している生データを取得するように構成された複数のセンサ(10、11、12)とを含む前記自動車を制御するための方法であって、
    前記コンピューティングユニット(20)が、前記センサ(10、11、12)によって取得された前記生データを受け取るステップと、
    前記コンピューティングユニット(20)が、前記生データを処理して、そこから、前記自動車の前記環境に関連している情報(S1、S2、S3)と、各情報(S1、S2、S3)の導出においてエラーが発生している確率に関連している確率係数(P1、P2、P3)とを導出するステップと、
    前記情報(S1、S2、S3)および前記確率係数(P1、P2、P3)に従って前記自動車に関する制御命令(C1)を作成するステップとを含む方法において、
    前記方法がまた、
    前記センサ(10、11、12)のうちの少なくとも第1のセンサに関して、前記第1のセンサ(10、11、12)が取得する前記生データの品質に関連している品質係数(Q1、Q2、Q3)を特定するステップと、
    前記品質係数(Q1、Q2、Q3)および前記確率係数(P1、P2、P3)に従って前記制御命令(C1)の信頼性を推定するステップと、
    前記制御命令(C1)の前記推定された信頼性に従って、前記制御命令(C1)を訂正するかまたは訂正しないかを判断するステップとを含むことを特徴とする方法。
  2. 前記特定するステップにおいて、前記センサ(10、11、12)のうちの少なくとも第1のセンサの前記品質係数(Q1、Q2、Q3)が、前記センサ(10、11、12)のうちの少なくとも1つの他のセンサによって取得された前記生データに従って、ならびに/または、前記第1のセンサ(10、11、12)によって取得された前記生データの測定の条件に関連する、サードパーティー検知器(13)によって取得されるサードパーティーデータに従って特定される、請求項1に記載の制御方法。
  3. 前記サードパーティー検知器(13)が、光センサ、または雨センサ、または前記自動車が走行している車道の状態を検知するように構成されたセンサである、請求項2に記載の制御方法。
  4. 前記センサ(10、11、12)のうちの少なくとも1つが、画像センサ、またはRADARセンサ、またはLIDARセンサである、請求項1から3のいずれか一項に記載の制御方法。
  5. 前記処理するステップにおいて、前記自動車の前記環境における物体を検知し、前記物体を分類するために、各センサ(10、11、12)によって送信された前記生データが、他のセンサ(10、11、12)によって送信された前記生データとは別個に処理され、各確率係数(P1、P2、P3)が、分類された物体に、および前記センサ(10、11、12)に関連付けられている、請求項1から4のいずれか一項に記載の制御方法。
  6. 前記処理するステップにおいて、前記生データを処理した後に、前記処理されたデータが、各確率係数(P1、P2、P3)を考慮に入れて融合される、請求項5に記載の制御方法。
  7. 前記処理するステップにおいて、前記生データを処理した後に、前記処理されたデータが、各品質係数(Q1、Q2、Q3)を考慮に入れて融合される、請求項5または6に記載の制御方法。
  8. 前記推定するステップにおいて、前記制御命令(C1)の前記信頼性が、前記処理されたデータの前記融合の結果にも従って推定される、請求項6または7に記載の制御方法。
  9. 前記制御命令(C1)を訂正するかまたは訂正しないかの前記判断が、前記センサ(10、11、12)とは異なるセンサからの冗長性情報にも従って行われる、請求項1から8のいずれか一項に記載の制御方法。
  10. 自動車の環境に関連している生データを取得するように構成された複数のセンサ(10、11、12)と、コンピューティングユニット(20)とを含む自動車であって、前記コンピューティングユニット(20)が、請求項1から9のいずれか一項に記載の制御方法を実施するように構成されていることを特徴とする自動車。
JP2021523483A 2018-11-02 2019-10-29 自動車に関する制御設定を生成するための方法 Active JP7439079B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1860137A FR3088041B1 (fr) 2018-11-02 2018-11-02 Procede d’elaboration d’une consigne de pilotage d’un vehicule automobile
FR1860137 2018-11-02
PCT/EP2019/079531 WO2020089230A1 (fr) 2018-11-02 2019-10-29 Procédé d'élaboration d'une consigne de pilotage d'un véhicule automobile

Publications (2)

Publication Number Publication Date
JP2022506262A true JP2022506262A (ja) 2022-01-17
JP7439079B2 JP7439079B2 (ja) 2024-02-27

Family

ID=65951653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021523483A Active JP7439079B2 (ja) 2018-11-02 2019-10-29 自動車に関する制御設定を生成するための方法

Country Status (7)

Country Link
US (1) US11657621B2 (ja)
EP (1) EP3873786A1 (ja)
JP (1) JP7439079B2 (ja)
KR (1) KR20210076139A (ja)
CN (1) CN112930290A (ja)
FR (1) FR3088041B1 (ja)
WO (1) WO2020089230A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020203829A1 (de) * 2020-03-25 2021-09-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Überwachen eines Fahrzeugsystems zum Erkennen einer Umgebung eines Fahrzeugs
FR3113317B1 (fr) * 2020-08-10 2023-09-29 Valeo Systemes Dessuyage Procédé d’exploitation de données provenant d’une sélection de capteurs d’assistance à la conduite dans un véhicule
FR3116252B1 (fr) * 2020-11-19 2023-03-24 Renault Sas Système et procédé de contrôle adapté à la perception
FR3120837A1 (fr) * 2021-03-16 2022-09-23 Psa Automobiles Sa Véhicule avec détection de changement de luminosité dans le scénario de conduite
CN113515845A (zh) * 2021-04-29 2021-10-19 北京大学(天津滨海)新一代信息技术研究院 原子钟的可靠性预测方法及装置
CN116229425B (zh) * 2023-05-08 2023-09-19 珠海骏驰智联科技有限公司 基于大数据的无人驾驶车辆障碍物检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JP2002099906A (ja) * 2000-09-22 2002-04-05 Mazda Motor Corp 物体認識装置
JP2005165421A (ja) * 2003-11-28 2005-06-23 Denso Corp センサフュージョンシステム及びそれを用いた車両制御装置
JP2007255979A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2008299787A (ja) * 2007-06-04 2008-12-11 Mitsubishi Electric Corp 車両検知装置
JP2010132056A (ja) * 2008-12-03 2010-06-17 Fujitsu Ten Ltd 検知装置、検知方法および車両制御装置
JP2014222462A (ja) * 2013-05-14 2014-11-27 株式会社デンソー 衝突緩和装置
JP2015230552A (ja) * 2014-06-04 2015-12-21 住友電気工業株式会社 自律運転制御装置、車両、コンピュータプログラム、及び自律運転制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009019792A1 (de) * 2009-05-02 2010-11-04 Leopold Kostal Gmbh & Co. Kg Steuersystem zum sicheren Betreiben von mindestens einer Funktionskomponente
WO2011116476A1 (en) * 2010-03-26 2011-09-29 Feeling Software Inc. Effortless navigation across cameras and cooperative control of cameras
US10207719B2 (en) * 2010-07-19 2019-02-19 Nxp Usa, Inc. Use of multiple internal sensors for measurements validation
US9221396B1 (en) * 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
DE102013212710A1 (de) * 2013-05-16 2014-11-20 Siemens Aktiengesellschaft Sensorprodukt, Simulator und Verfahren zur Simulation von Sensormessungen, zur Fusion von Sensormessungen, zur Validierung eines Sensormodells und zum Entwurf eines Fahrerassistenzsystems
DE102014205180A1 (de) * 2014-03-20 2015-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
KR101610502B1 (ko) * 2014-09-02 2016-04-07 현대자동차주식회사 자율주행차량의 주행환경 인식장치 및 방법
DE102016202805A1 (de) * 2016-02-24 2017-08-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Umfeldsensors eines Fahrzeugs
JP7050683B2 (ja) * 2016-08-26 2022-04-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元情報処理方法及び三次元情報処理装置
US10315649B2 (en) 2016-11-29 2019-06-11 Ford Global Technologies, Llc Multi-sensor probabilistic object detection and automated braking

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JP2002099906A (ja) * 2000-09-22 2002-04-05 Mazda Motor Corp 物体認識装置
JP2005165421A (ja) * 2003-11-28 2005-06-23 Denso Corp センサフュージョンシステム及びそれを用いた車両制御装置
JP2007255979A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2008299787A (ja) * 2007-06-04 2008-12-11 Mitsubishi Electric Corp 車両検知装置
JP2010132056A (ja) * 2008-12-03 2010-06-17 Fujitsu Ten Ltd 検知装置、検知方法および車両制御装置
JP2014222462A (ja) * 2013-05-14 2014-11-27 株式会社デンソー 衝突緩和装置
JP2015230552A (ja) * 2014-06-04 2015-12-21 住友電気工業株式会社 自律運転制御装置、車両、コンピュータプログラム、及び自律運転制御方法

Also Published As

Publication number Publication date
FR3088041B1 (fr) 2020-10-16
US11657621B2 (en) 2023-05-23
KR20210076139A (ko) 2021-06-23
US20220004782A1 (en) 2022-01-06
WO2020089230A1 (fr) 2020-05-07
FR3088041A1 (fr) 2020-05-08
CN112930290A (zh) 2021-06-08
JP7439079B2 (ja) 2024-02-27
EP3873786A1 (fr) 2021-09-08

Similar Documents

Publication Publication Date Title
JP7439079B2 (ja) 自動車に関する制御設定を生成するための方法
CN110103984B (zh) 使用感知系统措施管理前进路径的自动驾驶复杂度
US11584368B2 (en) Evaluating risk factors of proposed vehicle maneuvers using external and internal data
US11256251B2 (en) Enabling remote control of a vehicle
US10635910B2 (en) Malfunction diagnosis apparatus
US20210237775A1 (en) Method and device for supporting an attentiveness and/or driving readiness of a driver during an automated driving operation of a vehicle
US10875537B1 (en) Systems and methods for monitoring the situational awareness of a vehicle according to reactions of a vehicle occupant
US10635915B1 (en) Method and device for warning blind spot cooperatively based on V2V communication with fault tolerance and fluctuation robustness in extreme situation
EP3855205A1 (en) Perception performance evaluation of a vehicle adas or ads
CN113734193A (zh) 用于估计接管时间的系统和方法
WO2019166084A1 (en) Automated driving system and method of autonomously driving a vehicle
US20210213951A1 (en) Driving Assistance System for a Vehicle, Vehicle Having Same and Driving Assistance Method for a Vehicle
CN113743356A (zh) 数据的采集方法、装置和电子设备
CN113177976A (zh) 一种深度估计方法、装置、电子设备及存储介质
US20230373498A1 (en) Detecting and Determining Relevant Variables of an Object by Means of Ultrasonic Sensors
US10896514B2 (en) Object tracking after object turns off host-vehicle roadway
US20230132179A1 (en) Tow management systems and methods for autonomous vehicles
KR20200116495A (ko) 자동차에 대한 주변 환경 정보를 융합하기 위한 융합 시스템
EP3989031A1 (en) Systems and methods for fusing road friction data to enhance vehicle maneuvering
KR101875517B1 (ko) 영상 처리 방법 및 장치
US11577753B2 (en) Safety architecture for control of autonomous vehicle
US20210097710A1 (en) Operating a motor vehicle with stereo camera and lidar
JP2019206310A (ja) 操舵角決定装置、および、自動運転車
US20230009269A1 (en) Lidar enhanced polynomial generation for lane centering
GB2625620A (en) Generating a trajectory for an autonomous vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240214

R150 Certificate of patent or registration of utility model

Ref document number: 7439079

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150