JP2020517037A - オブジェクト認識のための複数のセンサのデータの融合 - Google Patents

オブジェクト認識のための複数のセンサのデータの融合 Download PDF

Info

Publication number
JP2020517037A
JP2020517037A JP2020504764A JP2020504764A JP2020517037A JP 2020517037 A JP2020517037 A JP 2020517037A JP 2020504764 A JP2020504764 A JP 2020504764A JP 2020504764 A JP2020504764 A JP 2020504764A JP 2020517037 A JP2020517037 A JP 2020517037A
Authority
JP
Japan
Prior art keywords
sensor
feature
captured
recognition
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020504764A
Other languages
English (en)
Other versions
JP7064572B2 (ja
Inventor
ユ，ゼロング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2020517037A publication Critical patent/JP2020517037A/ja
Application granted granted Critical
Publication of JP7064572B2 publication Critical patent/JP7064572B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L3/00—Electric devices on electrically-propelled vehicles for safety purposes; Monitoring operating variables, e.g. speed, deceleration or energy consumption
    • B60L3/0092—Electric devices on electrically-propelled vehicles for safety purposes; Monitoring operating variables, e.g. speed, deceleration or energy consumption with use of redundant elements for safety purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/023—Avoiding failures by using redundant parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/25—Pc structure of the system
    • G05B2219/25257—Microcontroller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2637—Vehicle, car, auto, wheelchair

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Power Engineering (AREA)
  • Sustainable Energy (AREA)
  • Sustainable Development (AREA)
  • Traffic Control Systems (AREA)

Abstract

本発明は、オブジェクト認識の枠内で車両の幾つかのセンサ（４０２、４０４、４０６）のデータを融合するための方法に関する。その際、車両の周辺環境内の少なくとも１つのオブジェクトを認識するための、第１のセンサ（４０２）によって捕捉された少なくとも１つの認識特徴（Ｆ１、Ｆ２）と、第２のセンサ（４０４）によって捕捉された少なくとも１つの認識特徴（Ｆ３、Ｆ４）とを受信する。さらに、同じ方法ステップ内で、オブジェクト認識をチェックするための、第２のセンサ（４０４）によって捕捉された少なくとも１つのチェック特徴（Ｐ１、Ｐ６）を受信し、その際、第１のセンサ（４０２）によって捕捉された認識特徴（Ｆ１、Ｆ２）および第２のセンサ（４０４）によって捕捉されたチェック特徴（Ｐ１、Ｐ６）がそれぞれ第１の測定量を表しており、かつ第２のセンサ（４０４）によって捕捉された認識特徴（Ｆ３、Ｆ４）が、第１の測定量から独立した第２の測定量を表している。さらなる方法ステップでは、結合特徴（４１６）を生成するため、第１のセンサ（４０２）によって捕捉された認識特徴（Ｆ１、Ｆ２）と第２のセンサ（４０４）によって捕捉された認識特徴（Ｆ３、Ｆ４）を結合する。最後に第３の方法ステップでは、第２のセンサ（４０４）によって捕捉されたチェック特徴（Ｐ１、Ｐ６）を使用して、結合特徴（４１６）の尤度確認を行う。

Description

本発明は、独立形式請求項の属概念に基づく装置または方法を出発点とする。コンピュータプログラムも本発明の対象である。
昨今の車両には運転者支援システムが装備され得る。この場合、車両周辺環境内のオブジェクトを、適切な周辺環境センサ技術を使って捕捉および認識することができる。周辺環境センサ技術およびオブジェクト認識のコンポーネントは、要求に応じて、異なるＡＳＩＬ安全基準に対応し得る。
自動車分野での多くの新たな適用の要求を、単一のセンサシステムによって満たすのは困難である。これは、例えば運転者支援システムおよび自動走行システムに関する。とりわけセンサデータの融合が、センサにアシストされたオブジェクトの認識および追跡に重要な役割を果たす。
これを踏まえて、ここで紹介しているアプローチを用い、独立形式請求項に基づくオブジェクト認識の枠内で車両の幾つかのセンサのデータを融合するための方法、さらにこの方法を使用する装置、および最後に相応のコンピュータプログラムを紹介する。従属請求項に挙げた措置により、独立形式請求項で提示している装置の有利な変形および改善が可能である。
オブジェクト認識の枠内で車両の幾つかのセンサのデータを融合するための方法を紹介する。この方法は、
車両の周辺環境内の少なくとも１つのオブジェクトを認識するための、第１のセンサによって捕捉された少なくとも１つの認識特徴と、第２のセンサによって捕捉された少なくとも１つの認識特徴とを受信するステップと、
オブジェクト認識をチェックするための、第２のセンサによって捕捉された少なくとも１つのチェック特徴を受信するステップであって、その際、第１のセンサによって捕捉された認識特徴および第２のセンサによって捕捉されたチェック特徴がそれぞれ第１の測定量を表しており、かつ第２のセンサによって捕捉された認識特徴が、第１の測定量から独立した第２の測定量を表している、ステップと、
結合特徴を生成するため、第１のセンサによって捕捉された認識特徴と第２のセンサによって捕捉された認識特徴を結合するステップと、
第２のセンサによって捕捉されたチェック特徴を使用して、結合特徴を尤度確認するステップと、
を含んでいる。
センサとは、例えば、車両の周辺環境を捕捉するための周辺環境センサ（例えばレーダセンサもしくはライダセンサもしくはカメラの形態での）または加速度センサまたは安全性に関わるパラメータを捕捉するためのその他の適切なセンサのことであり得る。第１のセンサおよび第２のセンサは、別個の互いに独立した、オブジェクト認識のためのセンササブシステムであり得る。認識特徴とは、オブジェクトを識別するための、物理的な測定量に基づく特徴のことであり得る。認識特徴は、例えば速度、加速度、運動方向、形状、色、または大きさに基づいて捕捉されたオブジェクトの特徴であり得る。同様にチェック特徴も、オブジェクトを識別するための、物理的な測定量に基づく特徴のことであり得る。認識特徴とは違いチェック特徴は、例えば認識特徴より低い精度で捕捉されたオブジェクトの特徴であり得る。２つの互いに独立した測定量とは、物理的または数学的に見てまったくまたは非常に限定的な範囲でしか相互に関連していない測定量のことであり得る。つまり、例えば第１の測定量はオブジェクトの速度で、第２の測定量はオブジェクトの形状であり得る。
ここで紹介しているアプローチの基礎となっている知見は、車両におけるオブジェクト認識の枠内では、低いレベルでの、つまり信号レベルまたは特徴レベルでのデータ融合を、ＡＳＩＬデコンポジションに基づくオブジェクト認識が実施され得るように実施できるということである。例えばその際、ＡＳＩＬ Ｂに基づく幾つかのセンサ経路を、ＡＳＩＬ Ｄに基づく認識情報が生じ得るように相互に結合および尤度確認できる。このために、センサによって捕捉された機能特徴に追加して決定され、事情によっては比較的低い精度で、同様にセンサによって捕捉されるチェック特徴を、機能特徴に基づいて実施したデータ融合を尤度確認するために、冗長性として使用することができる。これにより、比較的少ないシステム費用でも、システム機能の性能も安全性も保証することができる。
センサデータ融合は、幾つかのレベルで実施でき、これらのレベルはそれぞれ利点および欠点を有している。低いレベルでのデータ融合を実施するには、適切な安全コンセプトの提供および形成が必要である。データが既に信号レベルおよび特徴レベルで融合および統合された場合、コンポーネントの独立性を達成するのは困難である。この場合には、ＡＳＩＬ格付けおよびＡＳＩＬ要求のデコンポジションは、普通はもう実施できない。これは、各々個々のシステムに対するＡＳＩＬ格付けが比較的高くなり得ることを意味している。ここで紹介しているアプローチを利用してこの問題を解決することができる。
一実施形態によれば、受信するステップにおいて、オブジェクト認識をチェックするための、第１のセンサによって捕捉された少なくとも１つのチェック特徴を受信することができる。第１のセンサによって捕捉されたチェック特徴は、第２の測定量を表すことができる。結合するステップにおいて、冗長な結合特徴を生成するために、第１のセンサによって捕捉されたチェック特徴と第２のセンサによって捕捉されたチェック特徴を結合することができる。尤度確認するステップにおいて、結合特徴を、冗長な結合特徴を使用して尤度確認することができる。これにより、比較的少ない費用で、オブジェクト認識の信頼性を明らかに高めることができる。
この場合、認識するステップにおいて、尤度確認の結果を使用してオブジェクトを認識することができる。これにより、既に尤度確認された情報に基づくオブジェクトの認識が可能になり、したがってオブジェクト認識のロバスト性を向上させることができる。
さらなる一実施形態によれば、認識するステップにおいて、結合特徴を使用してオブジェクトを認識することができる。この場合、少なくとも１つのチェックオブジェクトを、冗長な結合特徴を使用して認識することができる。それに応じて尤度確認するステップにおいて、結合特徴を、オブジェクトとチェックオブジェクトの比較によって尤度確認することができる。この実施形態でも、特に信頼性が高く、ロバスト性のあるオブジェクトの認識を保証できる。
有利なのは、受信するステップにおいて、第３のセンサによって捕捉された、オブジェクトを認識するための少なくとも１つの認識特徴と、第１のセンサによってまたはそれに加えてもしくはその代わりに第２のセンサによって捕捉された、オブジェクト認識をチェックするための少なくとも１つのさらなるチェック特徴とを受信する場合である。第３のセンサによって捕捉された認識特徴およびさらなるチェック特徴は、それぞれ同じ測定量を表すことができる。それに応じて結合するステップにおいて、結合特徴を、第３のセンサによって捕捉された認識特徴を使用して生成できる。尤度確認するステップにおいては、結合特徴を、さらなるチェック特徴を使用して尤度確認することができる。これにより、２つより多い互いに独立したセンサを使用する場合も、オブジェクト認識を効率的に実施できる。
とりわけ、例えば第３のセンサによって捕捉された認識特徴は、第１の測定量からまたは第２の測定量からも独立した測定量を表すことができる。これにより、この方法が高いＡＳＩＬ安全要求を満たすことを達成できる。
さらなる一実施形態によれば、受信するステップにおいて、第１のセンサによってまたはそれに加えてもしくはその代わりに第２のセンサによって捕捉された、オブジェクトを認識するための少なくとも１つのさらなる認識特徴と、第３のセンサによって捕捉された、オブジェクト認識をチェックするための少なくとも１つのチェック特徴とを受信することができる。これに関し、さらなる認識特徴および第３のセンサによって捕捉されたチェック特徴がそれぞれ同じ測定量を表すことができる。結合するステップにおいて、結合特徴を、さらなる認識特徴を使用して生成することができる。尤度確認するステップにおいて、結合特徴を、第３のセンサによって捕捉されたチェック特徴を使用して尤度確認することができる。これにより、複数の異なる特徴および異なるセンサによって捕捉された特徴を、オブジェクト認識のために使用することができ、それによりこの方法の信頼性をさらに高めることができる。
この方法は、例えば、ソフトウェアもしくはハードウェア内で、またはソフトウェアおよびハードウェアから成る混合形態において、例えば制御機器内で実装できる。
ここで紹介しているアプローチはさらに、ここで紹介しているアプローチの一形式のステップを相応の機構内で実施、制御、または実行するために形成された装置を提供する。装置の形態での本発明のこの実施形式によっても、本発明の基礎となる課題を迅速かつ効率的に解決できる。
このために装置は、信号もしくはデータを処理するための少なくとも１つの計算ユニット、信号もしくはデータを記憶するための少なくとも１つのメモリユニット、センサからセンサ信号を読み込むためもしくはアクチュエータへデータ信号もしくは制御信号を出力するためのセンサもしくはアクチュエータにおける少なくとも１つのインターフェイス、および／またはデータを読み込むもしくは出力するための少なくとも１つの通信インターフェイスを有することができ、この通信インターフェイスは通信プロトコルに組み込まれている。計算ユニットは、例えば信号プロセッサ、マイクロコントローラ、またはその類似物であることができ、その際、メモリユニットは、フラッシュメモリ、ＥＰＲＯＭ、または磁気メモリユニットであることができる。通信インターフェイスは、データを無線および／または有線で読み込むまたは出力するために形成することができ、これに関し、有線のデータを読み込むまたは出力することができる通信インターフェイスは、このデータを、例えば電気的または光学的に、相応のデータ伝送線から読み込むまたは相応のデータ伝送線に出力することができる。
本件で装置とは、センサ信号を処理し、かつそれに応じて制御信号および／またはデータ信号を出力する電気機器のことであり得る。この装置はインターフェイスを有することができ、このインターフェイスはハードウェアおよび／またはソフトウェアによって形成することができる。ハードウェアによる形成の場合、インターフェイスは例えばこの装置の幾つかの機能を内包するいわゆるシステムＡＳＩＣの一部であり得る。ただしインターフェイスが専用の集積回路であるかまたは少なくとも部分的には個別部品から成っていてもよい。ソフトウェアによる形成の場合、インターフェイスは、例えばマイクロコントローラ上で他のソフトウェアモジュールと共存しているソフトウェアモジュールであり得る。
有利な一形態では、この装置により車両の制御が行われる。このためにこの装置は、例えば加速度信号、圧力信号、舵角信号、または周辺環境センサ信号のようなセンサ信号にアクセスできる。
制御は、車両のアクチュエータ、例えばブレーキアクチュエータもしくは操縦アクチュエータ、またはエンジン制御機器を介して行われる。
とりわけ、プログラム製品またはプログラムがコンピュータまたは装置上で実行される場合は、機械可読の媒体またはメモリ媒体、例えば半導体メモリ、ハードディスクメモリ、または光学メモリ上に記憶でき、かつ上述の実施形態の１つに基づく方法のステップを実施、実行、および／または制御するために使用されるプログラムコードを有するコンピュータプログラム製品またはコンピュータプログラムも有利である。
本発明の例示的実施形態を図面に示しており、以下の説明においてより詳しく解説する。
相応のＡＳＩＬデコンポジションによる中間レベルの安全コンセプトの概略図である。 ＡＳＩＬ Ｄに基づく安全コンセプトの概略図である。 可能なＡＳＩＬデコンポジションの概略図である。 １つの例示的実施形態に基づく、オブジェクト認識の枠内で車両の幾つかのセンサのデータを融合するためのシステムの概略図である。 １つの例示的実施形態に基づく、オブジェクト認識の枠内で車両の幾つかのセンサのデータを融合するためのシステムの概略図である。 １つの例示的実施形態に基づく方法のフロー図である。 図４に基づくシステムにおけるＡＳＩＬデコンポジションの概略図である。
本発明の好適な例示的実施形態の以下の説明において、幾つかの図で示されており、かつ類似に作用する要素には、同じまたは類似の符号を使用しており、その際、これらの要素の繰返しの説明は行わない。
図１は、相応のＡＳＩＬデコンポジションによる中間レベルの安全コンセプトの概略図を示している。それぞれ１つのオブジェクト１０８を認識するための３つの車両センサ１０２、１０４、１０６から成るシステム１００を示している。制御機器１１０は、３つのセンサによって認識されたオブジェクト１０８を使用して、第１のユニット１１２内でオブジェクト融合を実施し、それに基づいて第２のユニット１１４内で状況分析を実施するために形成されている。例えば、第１の車両センサ１０２がＡＳＩＬ Ｂに基づく信号をもたらし、その一方で両方の車両センサ１０４、１０６はＡＳＩＬ Ａに基づく信号をもたらす。この場合、制御機器１１０によって実施されるオブジェクト認識はＡＳＩＬ Ｄに相当する。
図２は、ＡＳＩＬ Ｄに基づく安全コンセプトの概略図を示している。図１に基づくシステム１００を、制御機器１１０が、３つの車両センサ１０２、１０４、１０６から提供された信号を使用してさらなるユニット２００内で最初に特徴融合を実施し、それに基づいてオブジェクト認識および状況分析を実施するという違いと共に示している。この場合、個々のセンサ経路および制御機器１１０内での信号処理はそれぞれＡＳＩＬ Ｄに相当する。
図３は、可能なＡＳＩＬデコンポジションの概略図を示している。デコンポジション前の状態を符号３００で表している。デコンポジション後の状態を符号３０２で表している。以下に、幾つかのデコンポジションの可能性をリストアップする。
− ＡＳＩＬ ＤをＡＳＩＬ Ｃ（Ｄ）およびＡＳＩＬ Ａ（Ｄ）へ。
− その代わりに：ＡＳＩＬ ＤをＡＳＩＬ Ｂ（Ｄ）およびＡＳＩＬ Ｂ（Ｄ）へ。
− その代わりに：ＡＳＩＬ ＤをＡＳＩＬ Ｄ（Ｄ）およびＱＭ（Ｄ）へ。
図４は、１つの例示的実施形態に基づく、オブジェクト認識の枠内で車両の幾つかのセンサ４０２、４０４、４０６のデータを融合するためのシステム４００の概略図を示している。この例示的実施形態によれば、システム４００は、認識特徴Ｆ１、Ｆ２を捕捉するための第１のセンサ４０２と、認識特徴Ｆ３、Ｆ４を捕捉するための第２のセンサ４０４と、認識特徴Ｆ５、Ｆ６を捕捉するための第３のセンサ４０６とを含んでいる。機能特徴とも言う認識特徴Ｆ１〜Ｆ６は、車両の周辺環境内の少なくとも１つのオブジェクトを認識するために用いられる。認識特徴は、とりわけ、それぞれのセンサによって特に高い精度で捕捉できる特徴である。それぞれの認識特徴を抽出するために、センサ４０２、４０４、４０６はそれぞれ相応の処理ユニット４０８と接続している。
この例示的実施形態によれば、第１のセンサ４０２は、両方の認識特徴Ｆ１、Ｆ２に加えて、２つのチェック特徴Ｐ３、Ｐ５を捕捉および提供するために形成されている。これに倣って第２のセンサ４０４は、両方の認識特徴Ｆ３、Ｆ４に加えて、２つのチェック特徴Ｐ１、Ｐ６を捕捉および提供するために形成されている。第３のセンサ４０６は、両方の認識特徴Ｆ５、Ｆ６に加えて、１つのチェック特徴Ｐ２を捕捉および提供するために形成されている。チェック特徴は、例えば、それぞれのセンサにより、それぞれの認識特徴と比べてより低い、ただしオブジェクト認識の尤度チェックの枠内での利用には十分な程度の精度で捕捉される特徴である。
例として、図４によれば認識特徴Ｆ１およびチェック特徴Ｐ１は、オブジェクトを捕捉するための第１の測定量を表しており、認識特徴Ｆ３およびチェック特徴Ｐ３は、オブジェクトを捕捉するための第２の測定量を表しており、かつ認識特徴Ｆ５およびチェック特徴Ｐ５は、オブジェクトを捕捉するための第３の測定量を表している。とりわけ、すべての３つの測定量は互いに独立した測定量であり、したがってチェック特徴により、互いに独立したサブシステムに基づく追加的な冗長な特徴融合が可能になる。
これに倣って、例えば認識特徴Ｆ２およびチェック特徴Ｐ２もそれぞれ同じ測定量を表しており、かつ認識特徴Ｆ６およびチェック特徴Ｐ６もそれぞれ同じ測定量を表すことができる。
例示的実施形態に応じて、すべての認識特徴がそれぞれ別の測定量を表しているか、または認識特徴はその基礎となる測定量に関し、それぞれセンサごとに異なっているだけである。重要なのは、認識特徴およびそれにそれぞれ割り当てられたチェック特徴が、それぞれ同じ測定量を表しており、その際、チェック特徴を捕捉するためのそれぞれのセンサが、認識特徴を捕捉するためのそれぞれのセンサから独立しているということである。
システム４００は、３つのセンサ４０２、４０４、４０６からの認識特徴およびチェック特徴を受信するための受信ユニット４１２と、結合ユニット４１４とを備えた装置４１０を含んでいる。図４に示した例示的実施形態によれば、結合ユニット４１４は、一方では認識特徴を相応の特徴融合において相互に１つの結合特徴４１６へと結合し、他方ではチェック特徴を相応のチェック融合において相互に１つの冗長な結合特徴４１８へと結合するために形成されている。結合ユニット４１４は、結合特徴４１６、４１８を、冗長な結合特徴４１８に基づく結合特徴４１６の尤度チェックを実施するための尤度確認ユニット４２０に転送する。認識ユニット４２２は、尤度確認ユニット４２０によって提供された尤度確認結果４２４を使用して、車両の周囲内の１つまたは複数のオブジェクトを一義的に認識し、かつ例えば相応のオブジェクト情報４２６を、車両のその時々の状況に関する状況分析を実施するための分析ユニット４２８に転送するために形成されている。状況分析は、例えばＡＳＩＬ Ｄに相当する認識されたオブジェクトの追跡を可能にする。
図４によれば、オブジェクト認識は、尤度チェックを実施した後に初めて行われる。代替策としては、図５から明らかであるように、オブジェクト認識に続いて尤度チェックを行う。
図５は、１つの例示的実施形態に基づく、オブジェクト認識の枠内で車両の幾つかのセンサ４０２、４０４、４０６のデータを融合するためのシステム４００の概略図を示している。このシステム４００は、上で図４に基づいて説明したシステムに実質的に対応しており、違いは、この例示的実施形態に基づく認識ユニット４２２が、尤度確認ユニット４２０の前に接続されていることである。この場合、認識ユニット４２２は、両方の結合特徴４１６、４１８を結合ユニット４１４から受信するために形成されている。結合特徴４１６は、認識ユニット４２２により、オブジェクトを認識し、かつ認識したオブジェクトを表す認識結果５００を尤度確認ユニット４２０に伝えるために使用される。類似のやり方で、認識ユニット４２２は冗長な結合特徴４１８を、チェックオブジェクトを認識し、かつチェックオブジェクトを表す冗長な認識結果５０２を尤度確認ユニット４２０に伝えるために使用する。この尤度確認ユニット４２０は両方の認識結果５００、５０２を、例えば、認識したオブジェクトをチェックオブジェクトに基づいて、例えば認識したオブジェクトとチェックオブジェクトの特徴差異に基づいて、尤度確認するために使用する。その際、尤度確認結果４２４は直接的に分析ユニット４２８に伝えられる。分析ユニット４２８は、例えば、認識したオブジェクトとチェックオブジェクトの特徴差異が、設定された差異閾値より下にある場合に、１つまたは複数の認識したオブジェクトに基づいて車両の状況を分析するために形成されている。
図６は、１つの例示的実施形態に基づく方法６００のフロー図を示している。オブジェクト認識の枠内で車両の幾つかのセンサのデータを融合するための方法６００は、例えば、上で図４および図５に基づいて説明したような装置によって実施することができる。これに関し、ステップ６１０では、認識特徴およびチェック特徴を、車両のセンサに対する適切なインターフェイスを介して受信する。６２０のステップでは、認識特徴を、結合特徴を生成するために相互に結合する。最後にステップ６３０では、結合特徴の尤度確認を、チェック特徴の少なくとも１つを使用して行う。
図７は、図４に基づくシステム４００におけるＡＳＩＬデコンポジションの概略図を示している。特徴融合はＡＳＩＬ Ｂに相当する。各入力信号の最高の格付けはＡＳＩＬ Ｂに相当する。各特徴の最高の安全要求はＡＳＩＬ Ｂに相当する。センサ信号はＡＳＩＬ Ｂに相当する。センサ安全要求はＡＳＩＬ Ｂに相当する。
以下に、ここで紹介しているアプローチの幾つかの例示的実施形態をもう一度別の言葉でまとめる。
オブジェクト認識の枠内でのセンサデータの融合に関しては、大まかに、低いレベルと中間レベルと高いレベルとを区別することができる。低いレベルは、信号および特徴またはそれらの状態からの早期の融合に相当する。このデータはパターンまたはサンプル値を表している。中間レベルでは、実在を有するオブジェクトレベルでの融合が行われる。この場合、オブジェクトは、互いに独立して、各々個々のセンサシステムによって識別される。高いレベルは、完全な状況推定を有するオブジェクト追跡のための融合を表している。この場合、各センサは、融合前に追加的に、オブジェクトの相互関係および動きを決定する。融合レベルが低くなればなるほど、ＡＳＩＬデコンポジションに必要な独立性を保証するのがより困難である。
例えば図１に示したシステム設計はその全体で、ＡＳＩＬ Ｄに基づく安全要求を満たすべきである。この設計によれば、個々のセンサシステムに対するＡＳＩＬ格付けは、ＡＳＩＬ ＡまたはＡＳＩＬ Ｂである。
そこで、システム性能を改善し、個々のセンサシステムのそれぞれの強さを最大限利用するために、ここで紹介しているアプローチに基づいて、低いレベルでの融合を選択する。
オブジェクトを決定するために、各システムの最良の特徴を選択および融合する場合、しかしながらそのシステム内に本当の冗長性は存在せず、したがってすべてのセンサ経路を、最高の格付けＡＳＩＬ Ｄに相当するように開発しなければならない。ただしセンサはしばしば他の特徴も捕捉することができる。例えば、オブジェクトの距離は、ビデオによってもレーダによっても決定でき、これに関してはレーダが明らかにより高い精度を有している。ここで紹介しているアプローチにより、ＡＳＩＬアロケーションの際の前述の問題または不足を回避することができる。ここで紹介しているアプローチは、データ融合中の本当の冗長性を可能にすることが有利である。この場合、例えばすべてのハードウェアコンポーネントおよびソフトウェアコンポーネントに対する高いＡＳＩＬ格付けに基づく、高いシステム開発費用を回避することができる。
ＡＳＩＬ格付けおよびＡＳＩＬアロケーションは、例えば以下のステップを含んでいる。最初に、システム介入は一般的に車両の安全性に影響を及ぼすので、ハザード分析およびリスク分析、つまり車両へのシステムの影響に基づく安全リスク分析を実施する。さらに、安全目標をＡＳＩＬ格付けによって定義する。安全リスク評価を、システム開発のための安全要求を提示することで行い、この場合は例えばＡＳＩＬ Ｄに基づく最高の格付けおよび要求である。続いて安全目標を達成するために、ＡＳＩＬアロケーションにより、相応の安全コンセプトを開発する。ＡＳＩＬアロケーションは、各システムコンポーネントに対して実施することが望ましい。したがって例えば各コンポーネントがＡＳＩＬ Ｄに基づく要求を満たさなければならない場合は、安全でロバスト性のあるシステムを保証するために高い費用および多大な労力が発生する。
それに対してＡＳＩＬデコンポジションは、システムロバスト性を高め、かつ各コンポーネントに対する、とりわけセンサまたは制御機器のようなハードウェアコンポーネントに対する安全要求を低減するための可能な手法である。図３は、ＩＳＯ ２６２６２−９：２０１１（Ｅ）に基づくデコンポジションコンセプトを示している。ただしこのデコンポジションは、２つのサブシステムが互いに独立している場合にしか用いられない。
したがってここで紹介しているアプローチは、すでに存在する融合コンセプトにおいて、冗長性の提供および相応のデコンポジションの適用を可能にする。この場合、ＡＳＩＬアロケーションを、各サブシステムが全体システムより低いＡＳＩＬに割り当てられるように実施し、これにより安全リスク、安全要求、および費用を下げることができる。
冗長なデータ融合は、例えばチェック特徴Ｐ３およびＰ５によって実施され、その際、これらのチェック特徴Ｐ３およびＰ５は、認識特徴Ｆ１およびＦ２から成る本来の特徴融合では使用されない。本来の融合は、例えば、比較的高い精度に基づいてレーダ信号によってのみ確定された距離を含んでいる。１つの例示的実施形態によれば、冗長性を提供するため、例えば追加的にビデオによって提供された距離信号を使用する。たとえそれぞれのセンサシステムの最も適切な特徴または強さでなくても、これらの特徴は、一般的にチェック融合のための使用には十分である。この場合、機能特徴とチェック特徴の独立性が保証されていることが望ましい。例えば速度と加速度の間には強い相関関係が存在し、したがってこれら両方の特徴を独立した特徴として扱うのは望ましくない。逆に、例えば速度および形状は完全に独立した特徴として扱える。
本来の融合は依然として、オブジェクトを発生させるための機能的融合として使用される。ただしこの場合、機能的融合が、第２の冗長なチェック融合により、設定された許容差を用いて監視される。これは、機能的融合とチェック融合の差異が十分に小さい場合に限り、機能的融合が承認および許容されることを意味している。
２つの融合が互いに独立しているので、ここではデコンポジションが可能である。ＡＳＩＬ ＤからＡＳＩＬ Ｂ（Ｄ）＋ＡＳＩＬ Ｂ（Ｄ）への可能なデコンポジションを図４に示している。その際、結合特徴４１６および冗長な結合特徴４１８を生成するための融合は、それぞれＡＳＩＬ Ｂ（Ｄ）に相当する。その他の組合せも可能であり、例えばＡＳＩＬ Ａ（Ｄ）＋ＡＳＩＬ Ｃ（Ｄ）またはＱＭ（Ｄ）＋ＡＳＩＬ Ｄ（Ｄ）である。
設計に応じて、尤度チェックまたは両方の経路の比較を、後の時点、例えばオブジェクトもしくは実在の認識の後、または状況もしくは運動シーケンスの認識の後に実施してもよい。図５は、尤度チェックがオブジェクト認識の後に実施される１つの可能なシステム設計を示している。
１つの例示的実施形態が、第１の特徴と第２の特徴の間に「および／または」結合を含んでいる場合、それは、この例示的実施形態が一実施形態によれば第１の特徴も第２の特徴も有しており、さらなる一実施形態によれば第１の特徴だけかまたは第２の特徴だけを有していると読むべきである。

Claims (10)

  1. オブジェクト認識の枠内で車両の幾つかのセンサ（４０２、４０４、４０６）のデータを融合するための方法（６００）であって、前記方法（６００）が、
    前記車両の周辺環境内の少なくとも１つのオブジェクトを認識するための、第１のセンサ（４０２）によって捕捉された少なくとも１つの認識特徴（Ｆ１、Ｆ２）と、第２のセンサ（４０４）によって捕捉された少なくとも１つの認識特徴（Ｆ３、Ｆ４）とを受信するステップ（６１０）と、
    前記オブジェクト認識をチェックするための、前記第２のセンサ（４０４）によって捕捉された少なくとも１つのチェック特徴（Ｐ１、Ｐ６）を受信するステップであって、その際、前記第１のセンサ（４０２）によって捕捉された前記認識特徴（Ｆ１、Ｆ２）および前記第２のセンサ（４０４）によって捕捉された前記チェック特徴（Ｐ１、Ｐ６）がそれぞれ第１の測定量を表しており、かつ前記第２のセンサ（４０４）によって捕捉された前記認識特徴（Ｆ３、Ｆ４）が、前記第１の測定量から独立した第２の測定量を表している（６１０）、ステップと、
    結合特徴（４１６）を生成するため、前記第１のセンサ（４０２）によって捕捉された前記認識特徴（Ｆ１、Ｆ２）と前記第２のセンサ（４０４）によって捕捉された前記認識特徴（Ｆ３、Ｆ４）を結合するステップ（６２０）と、
    前記第２のセンサ（４０４）によって捕捉された前記チェック特徴（Ｐ１、Ｐ６）を使用して、前記結合特徴（４１６）を尤度確認するステップ（６３０）と、
    を含んでいる方法。
  2. 前記受信するステップ（６１０）において、前記オブジェクト認識をチェックするための、前記第１のセンサ（４０２）によって捕捉された少なくとも１つのチェック特徴（Ｐ３、Ｐ５）が受信され、その際、前記第１のセンサ（４０２）によって捕捉された前記チェック特徴（Ｐ３、Ｐ５）が、前記第２の測定量を表しており、その際、前記結合するステップ（６２０）において、冗長な結合特徴（４１８）を生成するために、前記第１のセンサ（４０２）によって捕捉された前記チェック特徴（Ｐ３、Ｐ５）と前記第２のセンサ（４０４）によって捕捉された前記チェック特徴（Ｐ１、Ｐ６）が結合され、その際、前記尤度確認するステップ（６３０）において、前記結合特徴（４１６）が、前記冗長な結合特徴（４１８）を使用して尤度確認される、請求項１に記載の方法（６００）。
  3. 前記尤度確認（６３０）の結果（４２４）を使用して前記オブジェクトを認識するステップを有している、請求項２に記載の方法（６００）。
  4. 前記結合特徴（４１６）を使用して前記オブジェクトを認識するステップを有しており、この場合、少なくとも１つのチェックオブジェクトが、前記冗長な結合特徴（４１８）を使用して認識され、その際、前記尤度確認するステップ（６３０）において、前記結合特徴（４１６）が、前記オブジェクトと前記チェックオブジェクトの比較によって尤度確認される、請求項２に記載の方法（６００）。
  5. 前記受信するステップ（６１０）において、第３のセンサ（４０６）によって捕捉された、前記オブジェクトを認識するための少なくとも１つの認識特徴（Ｆ５、Ｆ６）と、前記第１のセンサ（４０２）および／または前記第２のセンサ（４０４）によって捕捉された、前記オブジェクト認識をチェックするための少なくとも１つのさらなるチェック特徴（Ｐ５、Ｐ６）とが受信され、その際、前記第３のセンサ（４０６）によって捕捉された前記認識特徴（Ｆ５、Ｆ６）および前記さらなるチェック特徴（Ｐ５、Ｐ６）がそれぞれ同じ前記測定量を表しており、その際、前記結合するステップ（６２０）において、前記結合特徴（４１６）が、前記第３のセンサ（４０６）によって捕捉された前記認識特徴（Ｆ５、Ｆ６）を使用して生成され、その際、前記尤度確認するステップ（６３０）において、前記結合特徴（４１６）が、前記さらなるチェック特徴（Ｐ５、Ｐ６）を使用して尤度確認される、請求項１〜４のいずれか一項に記載の方法（６００）。
  6. 前記第３のセンサ（４０６）によって捕捉された前記認識特徴（Ｆ５、Ｆ６）が、前記第１の測定量からおよび／または前記第２の測定量から独立した測定量を表している、請求項５に記載の方法（６００）。
  7. 前記受信するステップ（６１０）において、前記第１のセンサ（４０２）によっておよび／または前記第２のセンサ（４０４）によって捕捉された、前記オブジェクトを認識するための少なくとも１つのさらなる認識特徴（Ｆ２）と、前記第３のセンサ（４０６）によって捕捉された、前記オブジェクト認識をチェックするための少なくとも１つのチェック特徴（Ｐ２）とが受信され、その際、前記さらなる認識特徴（Ｆ２）および前記第３のセンサ（４０６）によって捕捉された前記チェック特徴（Ｐ２）がそれぞれ同じ前記測定量を表しており、その際、前記結合するステップ（６２０）において、前記結合特徴（４１６）が、前記さらなる認識特徴（Ｆ２）を使用して生成され、その際、前記尤度確認するステップ（６３０）において、前記結合特徴（４１６）が、前記第３のセンサ（４０６）によって捕捉された前記チェック特徴（Ｆ２）を使用して尤度確認される、請求項５または６に記載の方法（６００）。
  8. 請求項１〜７のいずれか一項に記載の方法（６００）を実行および／または制御するために形成されているユニット（４１２、４１４、４２０、４２２、４２８）を備えた装置（４１０）。
  9. 請求項１〜７のいずれか一項に記載の方法（６００）を実行および／または制御するために形成されているコンピュータプログラム。
  10. 請求項９に記載のコンピュータプログラムが記憶されている機械可読のメモリ媒体。
JP2020504764A 2017-04-10 2018-03-14 オブジェクト認識のための複数のセンサのデータの融合 Active JP7064572B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017206123.5 2017-04-10
DE102017206123.5A DE102017206123A1 (de) 2017-04-10 2017-04-10 Verfahren und Vorrichtung zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung
PCT/EP2018/056358 WO2018188877A1 (de) 2017-04-10 2018-03-14 Fusion von daten mehrerer sensoren zur objekterkennung

Publications (2)

Publication Number Publication Date
JP2020517037A true JP2020517037A (ja) 2020-06-11
JP7064572B2 JP7064572B2 (ja) 2022-05-10

Family

ID=61691479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020504764A Active JP7064572B2 (ja) 2017-04-10 2018-03-14 オブジェクト認識のための複数のセンサのデータの融合

Country Status (5)

Country Link
US (1) US11639112B2 (ja)
JP (1) JP7064572B2 (ja)
CN (1) CN110494866B (ja)
DE (1) DE102017206123A1 (ja)
WO (1) WO2018188877A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7511471B2 (ja) * 2018-07-02 2024-07-05 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
DE102019107443A1 (de) * 2019-03-22 2020-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betrieb eines Roboters mit verbesserter Objektdetektion
DE102019219923A1 (de) * 2019-12-17 2021-06-17 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Robustifizieren von Sensordaten gegen adversariale Störungen
DE102019219927A1 (de) * 2019-12-17 2021-06-17 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen einer Entfremdung einer Sensordatendomäne von einer Referenzdatendomäne
US11634123B2 (en) 2020-07-09 2023-04-25 Toyota Research Institute, Inc. Methods and systems for prioritizing computing methods for autonomous vehicles
DE102021104418A1 (de) 2021-02-24 2022-08-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Fusion von Messdaten, die mit unterschiedlichen Messmodalitäten erfasst wurden
CN113221852B (zh) * 2021-06-09 2021-12-31 中国人民解放军91977部队 一种目标识别方法及装置
DE102021209817A1 (de) 2021-09-06 2023-03-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur mehrstufigen Fusion von Messdaten
DE102021213077A1 (de) 2021-11-22 2023-05-25 Zf Friedrichshafen Ag Verfahren zur Überwachung einer Signalverarbeitung für ein automatisiertes Fahrsystems und Steuergerät für ein automatisiertes Fahrsystems
DE102022000184A1 (de) 2022-01-18 2022-03-03 Daimler Ag Verfahren zur Sensordatenfusion
DE102022202174A1 (de) 2022-03-03 2023-09-07 Robert Bosch Gesellschaft mit beschränkter Haftung Fusion von mit einem aktiven Messprinzip gewonnenen Roh-Messdaten und Bildern zu einer Repräsentation mit Tiefen- und/oder Abstandsinformation
CN117032188B (zh) * 2023-09-01 2024-08-30 深圳市怡亚通供应链股份有限公司 一种汽车安全监控系统、方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008046927A (ja) * 2006-08-17 2008-02-28 Fujitsu Ltd 追跡信頼度判定プログラム、追跡信頼度判定方法および追跡信頼度判定装置
JP2010501952A (ja) * 2007-04-19 2010-01-21 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 運転者支援システム、および対象物の妥当性を確定する方法
US20150274161A1 (en) * 2012-09-14 2015-10-01 Robert Bosch Gmbh Method for operating a driver assistance system of a vehicle

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10251949A1 (de) * 2002-11-08 2004-05-19 Robert Bosch Gmbh Fahrdynamikregelung mit Bildsensorsystem
JP4595833B2 (ja) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
DE102009006113B4 (de) * 2008-03-03 2019-03-28 Volkswagen Ag Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
DE102012009703A1 (de) * 2012-05-16 2013-11-21 Volkswagen Ag Verfahren und Vorrichtung zur Personenerkennung im Umfeld eines Kraftfahrzeugs
DE102014215570B4 (de) * 2014-08-06 2021-12-30 Elektrobit Automotive Gmbh Fahrzeugnavigationssystem
DE102014222900A1 (de) * 2014-11-10 2016-05-12 Bombardier Transportation Gmbh Betrieb eines Schienenfahrzeugs mit einem Bilderzeugungssystem
DE102015107392A1 (de) * 2015-05-12 2016-11-17 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einer Umgebung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US9852554B2 (en) * 2016-03-31 2017-12-26 Harman International Industries, Incorporated Systems and methods for vehicle-to-vehicle communication
US10551838B2 (en) * 2017-08-08 2020-02-04 Nio Usa, Inc. Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008046927A (ja) * 2006-08-17 2008-02-28 Fujitsu Ltd 追跡信頼度判定プログラム、追跡信頼度判定方法および追跡信頼度判定装置
JP2010501952A (ja) * 2007-04-19 2010-01-21 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 運転者支援システム、および対象物の妥当性を確定する方法
US20150274161A1 (en) * 2012-09-14 2015-10-01 Robert Bosch Gmbh Method for operating a driver assistance system of a vehicle

Also Published As

Publication number Publication date
CN110494866B (zh) 2024-02-09
JP7064572B2 (ja) 2022-05-10
US11639112B2 (en) 2023-05-02
WO2018188877A1 (de) 2018-10-18
CN110494866A (zh) 2019-11-22
US20210133486A1 (en) 2021-05-06
DE102017206123A1 (de) 2018-10-11

Similar Documents

Publication Publication Date Title
JP7064572B2 (ja) オブジェクト認識のための複数のセンサのデータの融合
US9592764B2 (en) Redundant object detection for driver assistance systems
US11148676B2 (en) Detection of an anomalous image associated with image data from one or more cameras of a computer-aided or autonomous driving vehicle
US20210146938A1 (en) Device and method for controlling a vehicle module depending on a status signal
CN111091739B (zh) 自动驾驶场景的生成方法、装置和存储介质
US10901428B2 (en) Working condition classification for sensor fusion
JP7089026B2 (ja) 車両モジュールを制御する装置および方法
US10438492B2 (en) Method for evaluating a hazardous situation which is sensed by at least one sensor of a vehicle, method for controlling reproduction of a hazard warning and method for reproducing a hazard warning
US10752256B2 (en) Method and device for controlling at least one driver interaction system
US11498551B2 (en) Method and system for operating a vehicle
CN105882635A (zh) 制动系统的控制设备及其控制方法
US11360870B2 (en) Functional safety compliant self-testing
CN115891868A (zh) 自动驾驶车辆的故障检测方法、装置、电子设备和介质
CN109715465B (zh) 用于运行第一车辆的方法和设备
CN109691063B (zh) 用于接收、处理和传输数据的方法和设备
KR101193484B1 (ko) 차량용 영상 인식장치 테스트를 위한 영상 재생 장치
US20080239097A1 (en) Image Processing Apparatus and Image Processing Method
CN115428043A (zh) 图像识别装置及图像识别方法
KR101194152B1 (ko) 보행자 충돌 회피 방법 및 그 시스템
US12106455B2 (en) Autonomous vehicle system testing simulator
KR102551261B1 (ko) 외부 객체에 투사된 구조광을 이용하여 깊이 정보를 생성하는 방법 및 이를 사용하는 전자 장치
JPWO2020122143A1 (ja) 計測システム、計測方法、及び計測プログラム
CN117454316B (zh) 多传感器的数据融合方法、存储介质及智能设备
US20170023935A1 (en) Method and Control System
US11577753B2 (en) Safety architecture for control of autonomous vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191205

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220422

R150 Certificate of patent or registration of utility model

Ref document number: 7064572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150