DE102018120228A1 - Verfahren zum Betreiben eines automatischen Bremssystems - Google Patents

Verfahren zum Betreiben eines automatischen Bremssystems Download PDF

Info

Publication number
DE102018120228A1
DE102018120228A1 DE102018120228.8A DE102018120228A DE102018120228A1 DE 102018120228 A1 DE102018120228 A1 DE 102018120228A1 DE 102018120228 A DE102018120228 A DE 102018120228A DE 102018120228 A1 DE102018120228 A1 DE 102018120228A1
Authority
DE
Germany
Prior art keywords
motor vehicle
location
traffic object
moving
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102018120228.8A
Other languages
English (en)
Inventor
Mohammad Rasty
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FEV Europe GmbH
Original Assignee
FEV Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FEV Europe GmbH filed Critical FEV Europe GmbH
Priority to DE102018120228.8A priority Critical patent/DE102018120228A1/de
Publication of DE102018120228A1 publication Critical patent/DE102018120228A1/de
Priority to DE102019122015.7A priority patent/DE102019122015A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4029Pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4044Direction of movement, e.g. backwards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines automatischen Notfallbremssystems in einem Kraftfahrzeug, mit den Schritten eines Erzeugens (S101) einer ersten und einer zweiten, späteren stereoskopischen Bildaufnahme einer Verkehrssituation; eines Identifizierens (S102) eines sich bewegenden Verkehrsobjektes in der ersten und zweiten stereoskopischen Bildaufnahme durch ein neuronales Netz; eines Bestimmens (S103) eines Aufenthaltsortes und einer Bewegungsrichtung des sich bewegenden Verkehrsobjektes auf Basis der ersten und zweiten stereoskopischen Aufnahme; und eines Vorhersagens (S104) einer Kollision sich bewegenden Verkehrsobjektes mit dem Kraftfahrzeug auf Basis des bestimmten Aufenthaltsortes und der bestimmten Bewegungsrichtung.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines automatischen Notfallbremssystems in einem Kraftfahrzeug und ein automatisches Notfallbremssystem für ein Kraftfahrzeug.
  • Automatische Notfallbremssysteme (AEB - Automatic Emergency Brake) in Kraftfahrzeugen können mittels Radarsensoren oder optischen Kameras realisiert sein. Diese dienen dazu Hindernisse im Fahrweg des Kraftfahrzeugs zu erkennen und eine automatische Notbremsung sauzuführen, falls eine Kollision des Hindernisses mit dem Kraftfahrzeug bevorsteht.
  • Kamerabasierte Notfallbremssysteme weisen oftmals eine geringe Zuverlässigkeit auf, da die verwendete Kamera lediglich zweidimensionale Bilder liefert. Daher ist es schwierig, die Entfernung eines Hindernisses, wie beispielsweise eines Fußgängers, zum Kraftfahrzeug genau zu bestimmen. Zudem können unerwünschte Aktivierungen des Notfallbremssystems entstehen, da das Notfallbremssystem nicht vorhersagen kann, wann und wie ein Fußgänger die Straße zu einem zukünftigen Zeitpunkt betritt.
  • Notfallbremssysteme, die eine Kombination aus Kamera- und Radarmessungen verwenden, weisen hohe Entwicklungskosten und eine hohe Komplexität auf und können Fußgänger besser erfassen als Systeme, die lediglich auf Radarmessungen basieren. Allerdings entstehen auch in diesen Systemen unerwünschte Aktivierungen des Notfallbremssystems. Zudem arbeiten derzeitige automatische Notfallbremssysteme oftmals nur bis zu bestimmten, vorgegebenen Geschwindigkeitsgrenzen, wie beispielsweise 35 oder 50 km/h und sind nicht für höhere Geschwindigkeiten ausgelegt.
  • Es ist die technische Aufgabe der vorliegenden Erfindung, die Zuverlässigkeit automatischer Notfallbremssysteme zu erhöhen und unnötige Aktivierungen des Notfallbremssystems zu vermeiden.
  • Diese Aufgabe wird durch Gegenstände nach den unabhängigen Ansprüchen gelöst. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Figuren.
  • Gemäß einem ersten Aspekt wird diese technische Aufgabe durch ein Verfahren zum Betreiben eines automatischen Notfallbremssystems in einem Kraftfahrzeug gelöst, mit den Schritten eines Erzeugens einer ersten und einer zweiten, späteren stereoskopischen Bildaufnahme einer Verkehrssituation; eines Identifizierens eines sich bewegenden Verkehrsobjektes in der ersten und zweiten stereoskopischen Bildaufnahme durch ein neuronales Netz; eines Bestimmens eines Aufenthaltsortes und einer Bewegungsrichtung des sich bewegenden Verkehrsobjektes auf Basis der ersten und zweiten stereoskopischen Aufnahme; und eines Vorhersagens einer Kollision sich bewegenden Verkehrsobjektes mit dem Kraftfahrzeug auf Basis des bestimmten Aufenthaltsortes und der bestimmten Bewegungsrichtung. Dabei kann entweder zuerst das Verkehrsobjekt identifiziert werden und dann der Aufenthaltsort und die Bewegungsrichtung bestimmt werden oder es kann zuerst des Aufenthaltsortes und die Bewegungsrichtung bestimmt werden und dann das sich bewegende Verkehrsobjekt identifiziert werden. Der zukünftige Weg des Verkehrsobjektes ergibt sich aus dem Aufenthaltsort und der Bewegungsrichtung. Falls sich der Weg des Verkehrsobjektes und der Weg des Kraftfahrzeuges treffen, wird eine Notbremsung ausgelöst.
  • Durch dieses Verfahren wird der technische Vorteil erreicht, dass eine höhere Zuverlässigkeit einer Notbremsung erhöht wird, selbst wenn Fußgänger als Verkehrsobjekte in einem beliebigen Winkel in den Fahrweg treten.
  • In einer technisch vorteilhaften Ausführungsform des Verfahrens berechnet das neuronale Netz eine Aufenthaltswahrscheinlichkeit um den Aufenthaltsort des sich bewegenden Verkehrsobjektes herum. Die Aufenthaltswahrscheinlichkeit gibt an, mit welcher Wahrscheinlichkeit sich das Verkehrsobjekt zu einem späteren Zeitpunkt um den ursprünglichen Aufenthaltsort befindet. Dadurch wird der technische Vorteil erreicht, dass sich Kollisionen zuverlässiger vorhersagen lassen.
  • In einer weiteren technisch vorteilhaften Ausführungsform des Verfahrens wird die Aufenthaltswahrscheinlichkeit auf Basis einer Ortsinformation berechnet. Die Ortsinformation gibt an, wie sich das Verkehrsobjekt an einem bestimmten Ort verhält. Beispielsweise verhält sich ein Fußgänger als Verkehrsobjekt an einer Bushaltestelle anders als an einem Zebrastreifen. Befindet sich der Fußgänger an der Bushaltestelle, verharrt dieser mit hoher Wahrscheinlichkeit am gleichen Ort. Befindet sich der Fußgänger beispielsweise an einem Zebrastreifen, so überquert dieser mit hoher Wahrscheinlichkeit die Fahrbahn. Dieses Verhalten kann auf Basis des Ortes des Verkehrsobjektes erfasst werden und diese Ortsinformation kann bei der Berechnung zukünftigen Aufenthaltswahrscheinlichkeit berücksichtigt werden. Dadurch wird der ebenfalls technische Vorteil erreicht, dass sich Kollisionen zuverlässiger vorhersagen lassen.
  • In einer weiteren technisch vorteilhaften Ausführungsform des Verfahrens wird die Ortsinformation über eine drahtlose Datenschnittstelle an das Kraftfahrzeug übermittelt. Dadurch wird der ebenfalls technische Vorteil erreicht, dass stets aktuelle Ortsinformationen verwendet werden können und das zeitabhängige Verhalten der Verkehrsobjekte erfasst werden kann. Beispielsweise verhält sich ein Fußgänger als Verkehrsobjekt zum Zeitpunkt eines Großereignisses, wie beispielsweise einem Fußballspiel, anders als zu anderen Zeiten. Diese zeitabhängige Ortsinformation kann bei der Berechnung zukünftigen Aufenthaltswahrscheinlichkeit berücksichtigt werden.
  • In einer weiteren technisch vorteilhaften Ausführungsform des Verfahrens wird die Ortsinformation durch ein Verkehrsüberwachungssystem erhalten. Das Verkehrsüberwachungssystem umfasst beispielsweise fest eingerichtete Kameras, mit denen das Verhalten der Verkehrsobjekte überwacht werden kann. Aus dem Verhalten der Verkehrsobjekte kann dann die Ortsinformation erhalten werden. Dadurch wird der ebenfalls technische Vorteil erreicht, dass sich die Ortsinformation in Echtzeit ermitteln lässt.
  • In einer weiteren technisch vorteilhaften Ausführungsform des Verfahrens werden der Aufenthaltsort und die Bewegungsrichtung des sich bewegenden Verkehrsobjektes kontinuierlich ermittelt. Dadurch wird der ebenfalls technische Vorteil erreicht, dass sich Kollisionen zuverlässiger vorhersagen lassen.
  • In einer weiteren technisch vorteilhaften Ausführungsform des Verfahrens eine Geschwindigkeit des sich bewegenden Verkehrsobjektes auf Basis der ersten und zweiten stereoskopischen Aufnahme ermittelt. Dadurch wird der technische Vorteil erreicht, dass sich eine Vorhersagegenauigkeit erhöht.
  • In einer weiteren technisch vorteilhaften Ausführungsform des Verfahrens wird eine Notbremsung des Kraftfahrzeuges ausgelöst, falls eine Kollision mit dem Verkehrsobjekt vorhergesagt wird. Dadurch wird der technische Vorteil erreicht, dass Kollisionen sicher verhindert werden können
  • In einer weiteren technisch vorteilhaften Ausführungsform des Verfahrens wird der zeitliche Abstand zwischen der ersten und zweiten stereoskopischen Bildaufnahme in Abhängigkeit der Fahrzeuggeschwindigkeit verringert, d.h. eine Framerate wird erhöht. Dadurch wird der technische Vorteil erreicht, dass sich Kollisionen auch bei hohen Geschwindigkeiten zuverlässig vorhersagen lassen.
  • Gemäß einem zweiten Aspekt wird diese technische Aufgabe durch ein automatische Notfallbremssystem für ein Kraftfahrzeug gelöst, mit einem stereoskopischen Aufnahmesystem zum Erzeugen einer ersten und einer zweiten, späteren stereoskopischen Bildaufnahme einer Verkehrssituation; einem neuronalen Netz zum Identifizieren eines sich bewegenden Verkehrsobjektes in der ersten und zweiten stereoskopischen Bildaufnahme; einer elektronischen Bestimmungseinrichtung zum Bestimmen eines Aufenthaltsortes und einer Bewegungsrichtung des sich bewegenden Verkehrsobjektes auf Basis der ersten und zweiten stereoskopischen Aufnahme; und einer elektronischen Vorhersageeinrichtung zum Vorhersagen einer Kollision sich bewegenden Verkehrsobjektes mit dem Kraftfahrzeug auf Basis des bestimmten Aufenthaltsortes und der bestimmten Bewegungsrichtung. Durch das automatische Notfallbremssystem werden die gleichen technischen Vorteile wie durch das Verfahren nach dem ersten Aspekt gelöst.
  • Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden im Folgenden näher beschrieben.
  • Es zeigen:
    • 1 ein Blockdiagramm eines Verfahrens zum Betreiben eines automatischen Bremssystems;
    • 2 eine schematische Ansicht eines Kraftfahrzeuges mit einem stereoskopischen Aufnahmesystem;
    • 3 eine Entfernungsmatrix;
    • 4 eine weitere Darstellung der Entfernungsmatrix;
    • 5 eine schematische Ansicht eines Aufenthaltsortes.
  • 1 zeigt ein Blockdiagramm eines Verfahrens zum Betreiben eines automatischen Notfallbremssystems in einem Kraftfahrzeug. In Schritt S101 wird eine erste und eine zweite, spätere, zeitlich versetzte stereoskopische Bildaufnahme einer Verkehrssituation erzeugt. Durch die stereoskopische Bildaufnahme der Verkehrssituation mittels zwei Kameras kann die Entfernung zu allen Verkehrsobjekten im Sichtfeld bestimmt werden. Die Verkehrsobjekte können feststehende Objekte sein, wie beispielsweise Verkehrsschilder oder Begrenzungspfosten oder aber auch sich bewegende Objekte, wie beispielsweise Fußgänger oder Radfahrer.
  • Im Schritt S102 werden die sich bewegenden Verkehrsobjekte in der ersten und zweiten stereoskopischen Bildaufnahme durch ein künstliches neuronales Netz identifiziert. Das neuronale Netz ist trainiert, Verkehrsobjekte zu erfassen und zu unterscheiden, wie beispielsweise Fahrspuren, Fußgänger, Fahrradfahrer, Verkehrsschilder oder andere Kraftfahrzeuge auf der Straße. Künstliche neuronale Netze umfassen informationstechnisch nachgebildete Neuronen und gewichtete Verbindungen zwischen diesen. Diese künstlichen neuronalen Netze können für Klassifikationsaufgaben mit Trainingsdaten trainiert werden, wie beispielsweise die Erkennung bestimmter Objekte in Bildaufnahmen.
  • Anschließend wird in Schritt S103 ein Aufenthaltsort und eine Bewegungsrichtung der sich bewegenden Verkehrsobjekte auf Basis der ersten und zweiten stereoskopischen Aufnahme bestimmt. Dadurch können die sich bewegenden Verkehrsobjekte verfolgt werden, wie beispielsweise Fußgänger, Fahrräder oder andere Fahrzeuge.
  • Schließlich wird in Schritt S104 eine Kollision des sich bewegenden Verkehrsobjektes mit dem Kraftfahrzeug auf Basis des bestimmten Aufenthaltsortes und der bestimmten Bewegungsrichtung vorhergesagt.
  • Das Verfahren sagt das Verhalten aller sich bewegenden Verkehrsobjekte zuverlässig voraus, wie beispielsweise von anderen Kraftfahrzeugen, Fußgängern oder Fahrradfahrern, und vermeidet unnötige Notbremsungen. Dies ist beispielsweise der Fall, wenn sich ein Fußgänger als Verkehrsobjekt nahe an der Fahrbahn befindet, jedoch nicht die Absicht hat, die Fahrbahn zu betreten.
  • Obwohl das Verfahren primär mittels einer stereoskopischen Erkennung von Verkehrsobjekten funktioniert, kann dieses durch andere Verfahren, wie beispielsweise Radar oder Lidar, ergänzt werden, um dessen Funktionalität zu erhöhen.
  • 2 zeigt eine schematische Ansicht eines Kraftfahrzeuges 107 mit einem stereoskopischen Aufnahmesystem 105. Durch Verwendung des stereoskopischen Aufnahmesystems 105 ist es möglich, die Entfernung und Richtung des Kraftfahrzeugs 107 zu allen Verkehrsobjekten 103 im Sichtfeld zu bestimmen. Die beiden Frontkameras des stereoskopischen Aufnahmesystems 105 sind beispielsweise in einem gegenseitigen Abstand von 20 bis 65 cm installiert. Der Ausgang der beiden Frontkameras wird miteinander verglichen, so dass durch einen Algorithmus eine Tiefenkarte (Depth Map) der Vorderansicht erstellt wird. Da die Verkehrsobjekte 103 in den Kamerabildern einen gewissen Versatz aufweisen ist es möglich, die Tiefenkarte der Vorderansicht zu erzeugen, die einer menschlichen Tiefenwahrnehmung entspricht.
  • Der Algorithmus wird verwendet, um eine dreidimensionale Ansicht auf Basis der Bildaufnahmen zu erzeugen, eine Tiefeninformation zu erhalten und eine genaue Entfernung und Richtung zwischen dem Kraftfahrzeug 107 und Verkehrsobjekten 103 vor diesem zu berechnen. Durch zeitliches Verfolgen der Verkehrsobjekte 103 und deren Aufenthaltsort, kann eine Bewegungsrichtung dieser Verkehrsobjekte 103 erhalten werden.
  • Ein trainiertes, künstliches neuronales Netzwerk 109 (ANN - Artificial Neural Network) kann verwendet werden, um Verkehrsobjekte 103 zu erfassen und in sich bewegende und stillstehende Objekte zu klassifizieren und das zeitliche Verhalten jedes sich bewegenden Verkehrsobjekts 103 zu verfolgen und vorherzusagen. Daneben kann das neuronale Netz 109 als elektronische Bestimmungseinrichtung 111 zum Bestimmen des Aufenthaltsortes 115 und elektronische Vorhersageeinrichtung 113 zum Vorhersagen einer Kollision des sich bewegenden Verkehrsobjektes 103 mit dem Kraftfahrzeug 107 verwendet werden. Die Bestimmungseinrichtung 111 und Vorhersageeinrichtung 113 können jedoch auch durch andere Softwaremodule gebildet sein.
  • Zu diesem Zweck kann eine Wahrscheinlichkeitsverteilung um den Aufenthaltsort jedes Objekts durch das neuronales Netz 109 erzeugt werden. Um das neuronale Netz 109 zum Vorhersagen des Verhaltens trainieren, können zusätzlich synthetische Daten verwendet werden, so dass seltene Verkehrssituationen berücksichtigt werden können, wie beispielsweise eine Person die unvermittelt auf die Straße springt.
  • Das Verfahren kann auf einem einzigen Chip (System on a Chip - SoC) implementiert sein, der einfach in das Notfallbremssystem 100 zu integrieren ist und modular mit anderen Fahrerassistenzsystemen (Advanced Driver Assistance Systems - ADAS) zu kombinieren ist. Dadurch wird eine hohe Skalierbarkeit erreicht.
  • Die erfassten Verkehrsobjekte 103 und die Ausgabe des stereoskopischen Aufnahmesystems 105 werden in einer Eingabe verschmolzen.
  • 3 zeigt eine Entfernungsmatrix 121, die die Entfernung des Kraftfahrzeugs 107 zu den jeweiligen Punkten in der erfassten Bildaufnahme 123 angibt. Die Entfernung der Person zum Kraftfahrzeug 107 beträgt beispielsweise 20,3 m. Die Entfernungsmatrix 121 wird durch das stereoskopische Aufnahmesystem 105 erhalten und die Auswertung der damit erfassten Bildinformation erhalten.
  • Die Bildaufnahme 123 umfasst als Rechtecke, die Ergebnisse der Identifizierung der Verkehrsobjekte 103 durch das neuronale Netz 109. Die erfassten Verkehrsobjekte 103 umfassen beispielsweise Fußgänger, Fahrzeuge und Verkehrsschilder.
  • 4 zeigt eine weitere Darstellung der Entfernungsmatrix 121. In dieser Darstellung sind die als Rechtecke erfassten Verkehrsobjekte 103 in der Entfernungsmatrix 121 eingezeichnet.
  • 5 zeigt eine schematische Ansicht eines berechneten Aufenthaltsortes 115 und einer berechneten Aufenthaltswahrscheinlichkeit 117 für das sich bewegende Verkehrsobjekt 103 um den ursprünglichen Aufenthaltsort 115 herum. Das neuronale Netz 109 kann nicht nur den Aufenthaltsort 115 des Verkehrsobjektes 103 berechnen, sondern zusätzlich eine Verteilung der Aufenthaltswahrscheinlichkeit 117 des Verkehrsobjektes 103 um diesen ursprünglichen Aufenthaltsort 115 zu einem späteren Zeitpunkt, um den zukünftigen Weg des Verkehrsobjektes 103 vorherzusagen.
  • Die Aufenthaltswahrscheinlichkeit 117 für das Verkehrsobjekt 103 kann auf Basis einer Ortsinformation 119 berechnet werden. Die Ortsinformation 119 gibt an, wie sich das Verkehrsobjekt 103 an einem bestimmten Ort verhält. Der Ort kann beispielsweise durch entsprechende GPS-Koordinaten definiert sein. Beispielsweise verhält sich ein Fußgänger als Verkehrsobjekt 103 an einer Bushaltestelle anders als an einem Zebrastreifen. Befindet sich der Fußgänger an der Bushaltestelle, verharrt dieser mit hoher Wahrscheinlichkeit am gleichen Ort. Befindet sich der Fußgänger beispielsweise an einem Zebrastreifen, so überquert dieser mit hoher Wahrscheinlichkeit die Fahrbahn. Diese Ortsinformation 119 kann bei der Berechnung zukünftigen Aufenthaltswahrscheinlichkeit 117 berücksichtigt werden, beispielsweise durch jeweilige Wahrscheinlichkeitsmatrizen oder Multiplikation mit vorgegebenen Verteilungen, die das jeweilige Verhalten des Verkehrsobjektes 103 abbilden.
  • Die Ortsinformation 119 kann über eine drahtlose Datenschnittstelle an das Kraftfahrzeug 107 übermittelt werden, so dass stets aktuelle Ortsinformationen 119 verwendet werden können und das zeitabhängige Verhalten der Verkehrsobjekte 103 erfasst werden kann. Derartige Datenschnittstellen können beispielsweise über ein Mobilfunknetz implementiert sein.
  • Da beispielsweise Fußgänger unterschiedliches Verhalten in unterschiedlichen Stadtteilen aufweisen, wird das neuronale Netz 109, das das Verhalten und den Weg der Verkehrsobjekte 103 vorhersagt, mit aktuellen Daten aktualisiert. Zu diesem Zweck kommuniziert das Kraftfahrzeug 107 beispielsweise mit einer CAR2X-Infrastruktur, um neue Daten zu empfangen oder zu senden. Durch diese Daten kann das neuronale Netz 109 eine realistische Vorhersage des Verhaltens der Verkehrsobjekte treffen. Dadurch wird sichergestellt, dass das neuronale Netz 109 stets aktuell angelernt ist und fortlaufend verbessert werden kann. Der Algorithmus kann durch die Datenschnittstelle während einer Verwendung des Kraftfahrzeugs dazulernen und weiterentwickelt werden.
    Beispielsweise verhält sich ein Fußgänger als Verkehrsobjekt 103 zum Zeitpunkt eines Großereignisses, wie beispielsweise einem Fußballspiel, anders als zu anderen Zeiten. Die zeitabhängige Ortsinformation 119 kann bei der Berechnung zukünftigen Aufenthaltswahrscheinlichkeit 117 berücksichtigt werden. Die Ortsinformation 119 über das Verhalten der Verkehrsobjekte 103 an einem bestimmten Ort kann durch ein Verkehrsüberwachungssystem erhalten werden. Dadurch kann das Verhalten von Verkehrsobjekten 103, wie beispielsweise Fußgängern, noch zuverlässiger zuverlässig vorhergesagt werden.
  • Die Ortsinformation 119 kann Informationen, wie beispielsweise GPS-Koordinaten der Position von U-Bahn-Stationen, Bushaltestellen, Verkehrsschildern oder Zebrastreifen, oder Informationen über typische Bewegungswinkel oder Bewegungsrichtungen von Verkehrsobjekten 103 umfassen, um den zukünftigen Aufenthaltsort oder die Aufenthaltswahrscheinlichkeit 117 für das Verkehrsobjekt 103 zu bestimmen.
  • Das Verfolgen der Verkehrsobjekte 103 kann mit einer hohen Framerate durchgeführt werden, um sicherzustellen, dass das Notfallbremssystem 100 auch bei höheren Geschwindigkeiten einwandfrei funktioniert. Durch die höhere Framerate verringert sich der zeitliche Abstand zwischen zwei stereoskopischen Bildaufnahmen. Die Framerate kann beispielsweise in Abhängigkeit der Geschwindigkeit des Kraftfahrzeugs 107 ausgewählt werden. Der zukünftige Aufenthaltsort der Verkehrsobjekte 103 wird zu jedem Zeitschritt berechnet und aktualisiert, um einen gleichmäßigen Fluss der Bewegungsrichtung der Verkehrsteilnehmer zu erhalten.
  • Alle entsprechenden Berechnungen können auf einem Chip mit integriertem Grafikprozessor (Graphics Processing Unit - GPU) zur Objekterfassung durchgeführt werden.
  • Durch ein Erfassen aller Verkehrsobjekte 103 und ein Vorhersagen von deren voraussichtlichem Weg ist es leichter und zuverlässiger, Gefahrensituationen vorherzusagen und auf diese vorbereitet zu sein, als bei herkömmlichen Verfahren. Dadurch lassen sich Notbremsungen vermeiden, die für die Insassen des Kraftfahrzeugs 107 unangenehm sein können.
  • Da der zukünftige Aufenthaltsort 115 und die Bewegungsrichtung von sich bewegenden Verkehrsobjekten 103 zur gleichen Zeit vorhergesagt werden kann, können unnötige Notbremsungen vermieden werden. Das Notfallbremssystem kann beispielsweise erfassen, ob ein Fußgänger neben der Straße steht, um auf einen Bus zu warten oder ob sich dieser auf die Fahrbahn bewegt. Da das Verfahren auf künstlicher Intelligenz basiert, kann dieses im Laufe der Zeit immer genauere Vorhersagen treffen und besser arbeiten als herkömmliche Systeme.
  • Das Verfahren funktioniert in allen Verkehrssituationen. In diesen Verkehrssituationen spielt keine Rolle, unter welchem Winkel und in welcher Geschwindigkeit sich bewegende Verkehrsobjekte 103 in den Fahrweg des Kraftfahrzeugs 107 geraten. Das Verfahren kann daher auch bei höheren Geschwindigkeiten verwendet werden, wie beispielsweise auf einer Autobahn. Die höhere Framerate kann verwendet werden, um Frontalzusammenstöße zu verhindern.
  • Eine Integration des Verfahrens zum Betreiben des automatischen Notfallbremssystems 100 in bestehende Kraftfahrzeuge 107 ist einfach und verwendet dieselbe Hardware, die bereits heute in diesen Kraftfahrzeugen 107 zum Einsatz kommt. Da gefährliche Verkehrssituationen rechtzeitig und zuverlässig vorhergesagt werden können, können starke Notbremsungen vermieden werden. Das Verfahren kann das Verhalten von Straßenbenutzern vorhersagen und liefert stabilere und ruckfreiere Ergebnisse in belebten Verkehrssituationen, wie beispielsweise Stadtzentren, als herkömmliche Verfahren.
  • Alle in Verbindung mit einzelnen Ausführungsformen der Erfindung erläuterten und gezeigten Merkmale können in unterschiedlicher Kombination in dem erfindungsgemäßen Gegenstand vorgesehen sein, um gleichzeitig deren vorteilhafte Wirkungen zu realisieren.
  • Alle Verfahrensschritte können durch Vorrichtungen implementiert werden, die zum Ausführen des jeweiligen Verfahrensschrittes geeignet sind. Alle Funktionen, die von gegenständlichen Merkmalen ausgeführt werden, können ein Verfahrensschritt eines Verfahrens sein.
  • Der Schutzbereich der vorliegenden Erfindung ist durch die Ansprüche gegeben und wird durch die in der Beschreibung erläuterten oder den Figuren gezeigten Merkmale nicht beschränkt.
  • Bezugszeichenliste
  • 100
    Notfallbremssystem
    103
    Verkehrsobjekt
    105
    stereoskopisches Aufnahmesystem
    107
    Verkehrsobjekt
    109
    neuronales Netz
    111
    Bestimmungseinrichtung
    113
    Vorhersageeinrichtung
    115
    Aufenthaltsort
    117
    Aufenthaltswahrscheinlichkeit
    119
    Ortsinformation
    121
    Entfernungsmatrix
    123
    Bildaufnahme

Claims (10)

  1. Verfahren zum Betreiben eines automatischen Notfallbremssystems (100) in einem Kraftfahrzeug (107), mit den Schritten: - Erzeugen (S101) einer ersten und einer zweiten, späteren stereoskopischen Bildaufnahme einer Verkehrssituation; - Identifizieren (S102) eines sich bewegenden Verkehrsobjektes (103) in der ersten und zweiten stereoskopischen Bildaufnahme durch ein neuronales Netz (109) ; - Bestimmen (S103) eines Aufenthaltsortes (115) und einer Bewegungsrichtung des sich bewegenden Verkehrsobjektes (103) auf Basis der ersten und zweiten stereoskopischen Aufnahme; und - Vorhersagen (S104) einer Kollision sich bewegenden Verkehrsobjektes (103) mit dem Kraftfahrzeug (107) auf Basis des bestimmten Aufenthaltsortes (115) und der bestimmten Bewegungsrichtung.
  2. Verfahren nach Anspruch 1, wobei das neuronale Netz (109) eine Aufenthaltswahrscheinlichkeit (117) um den Aufenthaltsort (115) des sich bewegenden Verkehrsobjektes (103) herum berechnet.
  3. Verfahren nach Anspruch 2, wobei die Aufenthaltswahrscheinlichkeit (117) auf Basis einer Ortsinformation (119) berechnet wird.
  4. Verfahren nach Anspruch 3, wobei die Ortsinformation (119) über eine drahtlose Datenschnittstelle an das Kraftfahrzeug (107) übermittelt wird.
  5. Verfahren nach Anspruch 3 oder 4, wobei die Ortsinformation (119) durch ein Verkehrsüberwachungssystem erhalten wird.
  6. Verfahren nach einem der vorangehenden Ansprüche, wobei der Aufenthaltsort (115) und die Bewegungsrichtung des sich bewegenden Verkehrsobjektes (103) kontinuierlich ermittelt werden.
  7. Verfahren nach einem der vorangehenden Ansprüche, wobei eine Geschwindigkeit des sich bewegenden Verkehrsobjektes (103) auf Basis der ersten und zweiten stereoskopischen Aufnahme ermittelt wird.
  8. Verfahren nach einem der vorangehenden Ansprüche, wobei eine Notbremsung des Kraftfahrzeuges (107) ausgelöst wird, falls eine Kollision mit dem Verkehrsobjekt (103) vorhergesagt wird.
  9. Verfahren nach einem der vorangehenden Ansprüche, wobei der zeitliche Abstand zwischen der ersten und zweiten stereoskopischen Bildaufnahme in Abhängigkeit der Fahrzeuggeschwindigkeit verringert wird.
  10. Automatische Notfallbremssystem (100) für ein Kraftfahrzeug, mit: - einem stereoskopischen Aufnahmesystem (105) zum Erzeugen einer ersten und einer zweiten, späteren stereoskopischen Bildaufnahme einer Verkehrssituation; - einem neuronalen Netz (109) zum Identifizieren eines sich bewegenden Verkehrsobjektes (103) in der ersten und zweiten stereoskopischen Bildaufnahme; - einer elektronischen Bestimmungseinrichtung (111) zum Bestimmen eines Aufenthaltsortes (115) und einer Bewegungsrichtung des sich bewegenden Verkehrsobjektes (103) auf Basis der ersten und zweiten stereoskopischen Aufnahme; und - einer elektronischen Vorhersageeinrichtung (113) zum Vorhersagen einer Kollision des sich bewegenden Verkehrsobjektes (103) mit dem Kraftfahrzeug (107) auf Basis des bestimmten Aufenthaltsortes (115) und der bestimmten Bewegungsrichtung.
DE102018120228.8A 2018-08-20 2018-08-20 Verfahren zum Betreiben eines automatischen Bremssystems Withdrawn DE102018120228A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102018120228.8A DE102018120228A1 (de) 2018-08-20 2018-08-20 Verfahren zum Betreiben eines automatischen Bremssystems
DE102019122015.7A DE102019122015A1 (de) 2018-08-20 2019-08-15 Verfahren zum betreiben eines automatischen bremssystems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018120228.8A DE102018120228A1 (de) 2018-08-20 2018-08-20 Verfahren zum Betreiben eines automatischen Bremssystems

Publications (1)

Publication Number Publication Date
DE102018120228A1 true DE102018120228A1 (de) 2018-11-29

Family

ID=64109613

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102018120228.8A Withdrawn DE102018120228A1 (de) 2018-08-20 2018-08-20 Verfahren zum Betreiben eines automatischen Bremssystems
DE102019122015.7A Pending DE102019122015A1 (de) 2018-08-20 2019-08-15 Verfahren zum betreiben eines automatischen bremssystems

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE102019122015.7A Pending DE102019122015A1 (de) 2018-08-20 2019-08-15 Verfahren zum betreiben eines automatischen bremssystems

Country Status (1)

Country Link
DE (2) DE102018120228A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019114737A1 (de) * 2019-06-03 2020-12-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Vorhersage des Verhaltens eines Verkehrsteilnehmers
DE102019215625A1 (de) * 2019-10-11 2021-04-15 Robert Bosch Gmbh Verfahren zum Betreiben einer Fahrzeugsteuerung

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019114737A1 (de) * 2019-06-03 2020-12-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Vorhersage des Verhaltens eines Verkehrsteilnehmers
DE102019215625A1 (de) * 2019-10-11 2021-04-15 Robert Bosch Gmbh Verfahren zum Betreiben einer Fahrzeugsteuerung

Also Published As

Publication number Publication date
DE102019122015A1 (de) 2019-10-02

Similar Documents

Publication Publication Date Title
CN112307921B (zh) 一种车载端多目标识别跟踪预测方法
DE102017217056B4 (de) Verfahren und Einrichtung zum Betreiben eines Fahrerassistenzsystems sowie Fahrerassistenzsystem und Kraftfahrzeug
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
DE102015100812B4 (de) Verfahren zum Verwenden von Strassenniveaubildern zum Verbessern eines Modus eines automatisierten Fahrens für ein Fahrzeug
US11380105B2 (en) Identification and classification of traffic conflicts
DE102005053461B4 (de) Verfahren und Vorrichtung zur Verkehrssteuerung
DE102018102027A1 (de) Effizientes situationsbewusstsein durch ereigniserzeugung und episodischen speicherabruf für autonome antriebssysteme
DE112018000479T5 (de) Ereignisvorhersagesystem, Ereignisvorhersageverfahren, Aufzeichnungsmedium und sich bewegender Körper
DE102014201159A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
DE102009043458A1 (de) Fahrunterstützungssystem für Fahrzeuge
EP2116958B1 (de) Verfahren und Vorrichtung zum Ermitteln des Fahrbahnverlaufs im Bereich vor einem Fahrzeug
WO2006133474A1 (de) Verfahren und bildauswertungseinheit zur szenenanalyse
DE112016007501T5 (de) Regel-/steuervorrichtung und regel-/steuerverfahren
DE102016202594A1 (de) Verfahren und Vorrichtung zum Interpretieren einer Fahrzeugumgebung eines Fahrzeugs sowie Fahrzeug
WO2009049976A1 (de) Verfahren zur schätzung der relativbewegung von video-objekten und fahrerassistenzsystem für kraftfahrzeuge
DE102019122015A1 (de) Verfahren zum betreiben eines automatischen bremssystems
CN114694060B (zh) 一种道路抛洒物检测方法、电子设备及存储介质
EP2521070A2 (de) Verfahren und System zum Erfassen einer statischen oder dynamischen Szene, zum Bestimmen von Rohereignissen und zum Erkennen von freien Flächen in einem Beobachtungsgebiet
DE102023111485A1 (de) Nachverfolgungssegmentbereinigung nachverfolgter objekte
Zheng Developing a traffic safety diagnostics system for unmanned aerial vehicles usingdeep learning algorithms
CN115762153A (zh) 倒车检测方法及装置
DE102020200876B4 (de) Verfahren zum Verarbeiten von Sensordaten einer Sensorik eines Fahrzeugs
Dopfer et al. What can we learn from accident videos?
DE102020200875A1 (de) Verfahren zum Bereitstellen von Sensordaten durch eine Sensorik eines Fahrzeugs
Noh et al. Vision based pedestrian potential risk analysis based on automated behavior feature extraction for smart and safe city

Legal Events

Date Code Title Description
R084 Declaration of willingness to licence
R230 Request for early publication
R163 Identified publications notified
R118 Application deemed withdrawn due to claim for domestic priority