EP2082388B1 - Method and apparatus for identifying concealed objects in road traffic - Google Patents

Method and apparatus for identifying concealed objects in road traffic Download PDF

Info

Publication number
EP2082388B1
EP2082388B1 EP07821156.2A EP07821156A EP2082388B1 EP 2082388 B1 EP2082388 B1 EP 2082388B1 EP 07821156 A EP07821156 A EP 07821156A EP 2082388 B1 EP2082388 B1 EP 2082388B1
Authority
EP
European Patent Office
Prior art keywords
vehicle
information
vehicles
sensors
surrounding area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP07821156.2A
Other languages
German (de)
French (fr)
Other versions
EP2082388A1 (en
Inventor
Matthias Strauss
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Teves AG and Co oHG
Original Assignee
Continental Teves AG and Co oHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to DE102006049101 priority Critical
Application filed by Continental Teves AG and Co oHG filed Critical Continental Teves AG and Co oHG
Priority to DE102007048809A priority patent/DE102007048809A1/en
Priority to PCT/EP2007/060788 priority patent/WO2008043795A1/en
Publication of EP2082388A1 publication Critical patent/EP2082388A1/en
Application granted granted Critical
Publication of EP2082388B1 publication Critical patent/EP2082388B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking

Description

  • Die Erfindung betrifft Verfahren zur Erkennung von verdeckten Objekten im Straßenverkehr mit den Merkmalen des Oberbegriffs des Anspruchs 1 sowie eine Vorrichtung zum Durchführen des Verfahrens.The invention relates to methods for detecting obscured objects in traffic with the features of the preamble of claim 1 and an apparatus for performing the method.
    • 1. Stand der Technik1. State of the art
  • Unfälle resultieren fast immer aus einem Fehlverhalten eines Verkehrsteilnehmers. Dieses Fehlverhalten kann mehrere Ursachen haben:
  1. 1.) Mangelnde Erfahrung
  2. 2.) Absichtlich hohe Risikobereitschaft
  3. 3.) Übersehen der relevanten Objekte oder Unaufmerksamkeit
  4. 4.) Schlechte Sicht
Accidents almost always result from the misconduct of a road user. This misconduct can have several causes:
  1. 1.) Lack of experience
  2. 2.) Intentionally high risk-taking
  3. 3.) Overlook the relevant objects or inattention
  4. 4.) Bad view
  • Die ersten 3 Punkte bringen hierbei die größte Gefahr mit sich. Dem 4. wird kein hohes Gefahrenpotential zugemessen, da ein Verkehrsteilnehmer in einer solchen Situation möglichst vorsichtig sein wird und ansonsten unter Punkt 2 fällt.The first 3 points bring with it the biggest danger. The 4th is not assigned a high risk potential, as a road user in such a situation will be as careful as possible and otherwise falls under point 2.
  • Da Punkt 1 und 2 alleine von den persönlichen Eigenschaften des Fahrers abhängen, ist hier kaum etwas zu bewirken, außer durch eine verbesserte Ausbildung oder höhere Sanktionen.Since points 1 and 2 depend on the personal characteristics of the driver alone, there is little to be done except through improved training or sanctions.
  • Für die letzten beiden Punkte wurde in den vergangenen Jahrzehnten bereits viel in Fahrerassistenzsysteme investiert, die auf klassischen Umfeldsensorik wie Video- oder Strahlsensoren beruhen. Aber auch für diese Sensoren gibt es Beschränkungen, die den Erfassungsbereich betreffen. Solche können z.B. Gegenstände, Nebel oder Schnee den Erfassungsbereich begrenzen. In kritischen Verkehrssituationen wie z. B. drohenden Kollisionen mit anderen Fahrzeugen kann ein Fahrer häufig nicht schnell genug bzw. nicht situationsgerecht reagieren.For the last two points, much has already been invested in driver assistance systems in recent decades, which are based on classic environment sensors such as video or beam sensors. But even for these sensors, there are limitations that affect the detection area. Such may e.g. Objects, fog or snow limit the coverage area. In critical traffic situations such. B. impending collisions with other vehicles, a driver often can not respond quickly enough or not appropriate to the situation.
  • Aus EP 0 473 866 A2 ist ein System bekannt, bei dem ein Sensor eine Vielzahl von potenziellen Kollisionsobjekten erfasst und mit Hilfe der erfassten Daten eine mögliche Kollision vorhergesagt wird. Zur Vermeidung der Kollision wird vorgeschlagen, dass von einer Fahrzeugsteuereinheit Bremsmittel und/oder Lenkmittel aktiviert werden, um eine Kollision zu vermeiden. Es wird nicht angegeben, auf welche Weise eine Steuereinheit entscheidet, ob die Lenkmittel, die Bremsmittel oder beides eingesetzt werden müssen, um die Kollision zu vermeiden.Out EP 0 473 866 A2 For example, a system is known in which a sensor acquires a plurality of potential collision objects and predicts a possible collision with the aid of the acquired data. To avoid the collision, it is proposed that braking means and / or steering means are activated by a vehicle control unit in order to avoid a collision. It is not stated how a control unit decides whether the steering means, the braking means or both must be used to avoid the collision.
  • Aus US 6,049 295 A1 ist ein Verfahren bekannt, das Kollisionen zwischen Fahrzeugen verhindern soll, die eine Kreuzung ohne Verkehrszeichen oder einen schlecht einsehbaren Straßenabschnitt befahren. Dieses Verfahren erfordert eine straßenfeste Einrichtung und fahrzeuggebundene Einrichtungen, die per Funk miteinander in Verbindung stehen.Out US Pat. No. 6,049,295 A1 a method is known which is intended to prevent collisions between vehicles that drive on a junction without traffic signs or a poorly visible road section. This method requires a road-solid device and vehicle-mounted devices that communicate with each other by radio.
  • Aus DE 198 30 547 Al ist weiter ein Kreuzungswarnsystem bekannt, das ebenfalls auf straßenseitige und fahrzeugseitige Einrichtungen angewiesen ist.Out DE 198 30 547 Al is further known for an intersection warning system which also relies on roadside and on-board facilities.
  • Die Schrift GB 2405279A offenbart ein System zur Kollisionsvermeideung für ein Kraftfahrzeug, das zur Erkennung von kritischen Objekten den Einsatz von Umfelderfassungssensoren wie Kamera-, Lidarsysteme und zudem ein GPS System zur Positionsbestimmung des EGO Fahrzeugs und eine Kommunikation zwischen den Fahrzeugen vorsieht.The font GB 2405279A discloses a collision avoidance system for a motor vehicle for detection of critical objects, the use of environment detection sensors such as camera, Lidarsysteme and also provides a GPS system for determining the position of the EGO vehicle and communication between the vehicles.
  • Die Schrift US 5983161A beschreibt ein Kontrollsystem für ein Fahrzeug mit einer Warnfunktion zur Kollisionsvermeidung. Dazu wird das Umfeld um das Fahrzeug mit verschiedenartigen Sensoren und einer Kamera überwacht und relevante Objekte werden dem Fahrer im Videobild angezeigt. Nachteilig ist, dass verdeckte kollisionsrelevante Objekte dem Fahrer im Videobild nicht angezeigt werden können.The font US 5983161A describes a control system for a vehicle with a warning function for collision avoidance. For this purpose, the environment around the vehicle is monitored with various sensors and a camera and relevant objects are displayed to the driver in the video image. The disadvantage is that hidden collision-relevant objects can not be displayed to the driver in the video image.
  • Aufgabe der Erfindung ist es ein Verfahren bereitzustellen, das die bisherigen Einschränkungen des Standes der Technik bezüglich der Umfelderfassung aufhebt und das insbesondere verdeckte Objekte im Straßenverkehr erkennt und diese dem Fahrer zuverlässig anzeigt.The object of the invention is to provide a method which overcomes the previous limitations of the prior art with respect to the environment detection and recognizes the particular hidden objects in traffic and reliably displays these to the driver.
  • Diese Aufgabe wird erfindungsgemäß mit den Merkmalen des Anspruchs 1 sowie den Merkmalen des Anspruchs 8 gelöst.This object is achieved with the features of claim 1 and the features of claim 8.
  • In einer ersten Ausgestaltung der Erfindung erfolgt bei dem Verfahren zur Erkennung von verdeckten Objekten im Straßenverkehr bei dem einerseits die Umgebung eines Fahrzeuges und andererseits Bewegungsgrößen des eigenen Fahrzeuges mittels Sensoren erfasst werden, diese als Information an im Umfeld befindliche Fahrzeuge mittels einer Schnittstelle 17 zur Fahrzeug zu Fahrzeug-Kommunikation 60) übertragen und von den im Umfeld befindlichen Fahrzeugen empfangen werden, wobei das Schritte durchlaufen werden:
    1. a) die Daten der Sensoren (10, 20, 30, 40) ein Umfeldmodell (50) erweitern
    2. b) das erweiterte Umfeldmodell (50) mittels einer Anzeige (8.0) im eigenen Fahrzeug aktualisiert wiedergegeben wird
    3. c) eine Situationsanalyse (70) des Umfelds und eine Bewertung der Situation im eigenen Fahrzeug durchgeführt wird
    4. d) Objekte, die eine Unfallgefahr repräsentieren in der Anzeige mit einer hohen Priorität visualisiert werden
    5. e) vordefinierte Schritte zur Reduktion der Unfallgefahr im eigenen Fahrzeug aktiviert werden
    durch aus, dass die empfangen Information priorisiert ausgewertet und die zu übertragenden Information nach einer Relevanzprüfung priorisiert gesendet werden.In a first embodiment of the invention takes place in the method for detecting obscured objects in traffic in which on the one hand the environment of a vehicle and on the other hand movement quantities of the own vehicle are detected by sensors, these as information to surrounding vehicles by means of an interface 17 to the vehicle Vehicle communication 60) are transmitted and received by the surrounding vehicles, wherein the steps are passed through:
    1. a) the data of the sensors (10, 20, 30, 40) expand an environment model (50)
    2. b) the extended environment model (50) is updated by means of a display (8.0) in the own vehicle
    3. c) a situation analysis (70) of the environment and an assessment of the situation in one's own vehicle is carried out
    4. d) Objects representing an accident risk are visualized in the display with a high priority
    5. e) predefined steps to reduce the risk of accidents in your own vehicle are activated
    by that the received information is evaluated prioritized and the information to be transmitted is sent prioritized after a relevance check.
  • Besonders vorteilhaft ist die Ausgestaltung des Verfahrens in der Art, dass die empfangen Information an ein eigenes Fahrerassistenzsystem (14) weitergeleitet werden und bei erkannten Fahrzeugen in der Umgebung, die ein aktiviertes Fahrerassistenzsystem aufweisen, die gesendeten Information zu dem jeweiligen Fahrerassistenzsystem des jeweiligen Fahrzeuges zugeführt werden.The embodiment of the method is particularly advantageous in that the received information is forwarded to a separate driver assistance system (14) and, in the case of detected vehicles in the environment having an activated driver assistance system, the transmitted information is supplied to the respective driver assistance system of the respective vehicle ,
  • In einer weitern vorteilhaften Ausgestaltung erfolgen vordefinierten Schritte im Fahrzeug 1 zur Reduktion der Unfallgefahr durch die Straffung der Gurte, und/oder das Vorfüllen der Bremsanlage des Fahrzeuges.In a further advantageous embodiment, predefined steps in the vehicle 1 to reduce the risk of accidents carried out by tightening the straps, and / or the priming of the brake system of the vehicle.
  • In einer vorteilhaften Ausbildung des erfindungegemäßen Verfahrens wird als visueller Sensor eine Stereokamera mit einem 12 bit Dynamikbereich verwendet, die eine Obejektracking und eine Objektverfolgung ausführt. Hierdurch erfolgt eine Art Reduktion der zu bewertenden Datenmenge, bei der Modifikation des Umfeldmodells.In an advantageous embodiment of the method according to the invention, a stereo camera with a 12-bit dynamic range is used as the visual sensor, which carries out an object tracking and an object tracking. This results in a kind of reduction the amount of data to be evaluated, when modifying the environment model.
  • Eine besonders vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens zeichnet sich dadurch aus, dass die gesendeten Information in Form von Positions- und Dynamikinformationspaketen (29) erfolgt. Durch den paketorientierten Ansatz werden alle paketorientierten Übertragungsprotokolle adressiert.A particularly advantageous embodiment of the method according to the invention is characterized in that the transmitted information takes place in the form of position and dynamic information packets (29). The packet-oriented approach addresses all packet-oriented transmission protocols.
  • Die Aufgabe wird gelöst durch die erfindungsgemäße Vorrichtung, umfassend mindestens einen Speicher, mindestens eine Rechnereinheit (15) und mindestens eine Schnittstelle (17) für den Datenaustausch, wobei die Informationen aus den benachbarten Fahrzeugen über das Kommunikationssystem (60) und über die Schnittstelle (17) zu der Rechnereinheit (15) weitergeleitet werden, die Daten des eigenen Fahrzeugs (1) durch die Sensoren (10, 20, 30) ermittelt, aktualisiert und über die Sensordatenverarbeitung (50) an ein Umfeldmodell (50) weitergeleitet werden, wobei unter Echtzeitbedingungen die eigene Position, das Umfeld und die Position der benachbarten Fahrzeuge über das Positionsbestimmungssystem (12) ermittelt und dem Rechner über die Schnittstelle (17) an das Umfeldmodell (50) zugeführt wird, aus den empfangenen Informationen und den ermittelten Daten eine Voraussage der Bewegungsbahn des eigenen Fahrzeugs, des Umfeld und der benachbarten Fahrzeuge erfolgt, wobei bei Gefahr eine Signalisierung über eine Ausgabeeinheit (80) an den Fahrer erfolgt oder durch ein Eingreifen mittels der Fahrzeugsicherheits- und /oder Fahrassistenzsysteme (13,14) in die Bewegungsbahn des eigenen Fahrzeugs oder Signalisieren des Eingriffs der Bewegungsbahn des Fahrzeuges (1) an die benachbarten Fahrzeuge erfolgt.The object is achieved by the device according to the invention, comprising at least one memory, at least one computer unit (15) and at least one interface (17) for the data exchange, wherein the information from the neighboring vehicles via the communication system (60) and via the interface (17 ) are forwarded to the computer unit (15), the data of the own vehicle (1) by the sensors (10, 20, 30) determined, updated and forwarded via the sensor data processing (50) to an environment model (50), wherein under real-time conditions the own position, the environment and the position of the neighboring vehicles is determined via the position determination system (12) and fed to the computer via the interface (17) to the environment model (50), from the received information and the determined data a prediction of the trajectory of the own vehicle, the environment and the adjacent vehicles is carried out, which at risk S signaling to the driver via an output unit (80) or by intervention of the vehicle safety and / or driver assistance systems (13, 14) in the movement path of the own vehicle or signaling the engagement of the movement path of the vehicle (1) with the adjacent vehicles ,
  • Ein Ausführungsbeispiel der Erfindung ist in den Zeichnungen dargestellt und wird im Folgenden näher beschrieben.An embodiment of the invention is illustrated in the drawings and will be described in more detail below.
  • Es zeigen
    • Fig. 1
    Eine erfindungsgemäße Anzeigemdarstellung im Fahrzeug
    Fig. 2
    Erfindungsgemäße Blockschaltbild
    Fig. 3
    Ein Beispiel für ein Datenmodell
    Show it
    Fig. 1
    An inventive display representation in the vehicle
    Fig. 2
    Block diagram according to the invention
    Fig. 3
    An example of a data model
  • In dem Fahrzeug 1 befinden sich mindestens ein Kommunikations, ein Positionsbestimmungs-, Fahrzeugsicherheit-, Fahrerassistenzsystem 11/12/13/14, sowie Sensoren 10, 20, 30 und eine Sensordatenverarbeitung 40, und mindestens eine Rechnereinheit 15 mit Speicher die über drahtgebundene oder mobilen Datenbusleitungen einen Datenaustausch mit den Systementen und Sensoren durchführt, wobei auf der Rechnereinheit ein dynamisch änderbares Umfeldmodell 50, die Sensordatenverarbeitungseinheit 40 und eine Situationsanalyse 70 ausgeführt wird. Bevorzugt werden das Umfeldmodell 50, die Sensordatenverarbeitungseinheit 40 und die Situationsanalyse als Module aufgebaut. In der in Fig. 1 dargestellten Ausführungsform spiegelt sich das modulare Konzept wieder. Bespielweise erfolgt über das Kommunikationssystem 11 die der Austausch von Informationen über ein Mobilfunknetz wie GSM und das Kommunikationssystem 60 wird zur für die Übertragung und den Empfang von Information von Fahrzeug zu Fahrzeug eingesetzt. In einer bevorzugten Ausführungsform ist es angedacht, dass sämtliche Kommunikationsfunktionalität in einer einzigen Kommunikationssystem ausgeführt wird.In the vehicle 1 there are at least one communication, a position determination, vehicle safety, driver assistance system 11/12/13/14, and sensors 10, 20, 30 and a sensor data processing 40, and at least one computer unit 15 with memory via wired or mobile Data bus lines performs a data exchange with the system elements and sensors, wherein on the computer unit a dynamically changeable environment model 50, the sensor data processing unit 40 and a situation analysis 70 is performed. The environment model 50, the sensor data processing unit 40 and the situation analysis are preferably constructed as modules. In the in Fig. 1 The embodiment shown reflects the modular concept. For example, the communication system 11 exchanges information over a cellular network such as GSM and the communication system 60 is used for the transmission and reception of information from vehicle to vehicle. In a preferred embodiment, it is envisaged that all communication functionality will be performed in a single communication system.
  • Als eine Ausgabeeinheit wird eine elektronische Anzeige im Fahrzeug 80 eingesetzt, die ortsfest und/oder variable für den Fahrer sichtbar im Fahrgastraum angebracht werden kann. Um den Erfassungsbereich sowohl für den Fahrer als auch für die Sensoren zu erweitern wird auf ein Verfahren zurückgegriffen, dessen Erfassungsbereich nicht von optischen Sichtverhältnissen eingeschränkt wird. Ein solches Verfahren ist die bereits erwähnte Fahrzeug-Fahrzeug Kommunikation. Das Kommunikationssystem 60 ist mindestens ausgelegt zur Fahrzeug zu Fahrzeug Kommunikation. Erfindungsgemäß wird als Kommunikationssystem eine standardisierte, nicht optische, funkbasierte Informationsübertragungsverfahren unterstützendes System für die Kommunikation zwischen mindestens zwei Fahrzeugen bzw. Teilnehmern eingesetzt. Das Kommunikationssystem 110 unterstützt unterschiedliche mobile Übertragungsverfahren, die eine Informationsverteilung im so genannten Point to Point Verbindung aufbauen, wogegen das Kommunikationssystem 60 einen Broadcast-Mode durchführt. Als Broadcast oder Rundruf in einem rechnergestützten Netzwerk wird die Übertragung von Datenpakete von einem Punkt, bzw. Fahrzeug aus, an alle Fahrzeuge bzw. Teilnehmer innerhalb eines Netzes verstanden. Mit ihr werden über definierte Funkstandards wie z.B. IEEE 802.11p Umfeldinformationen übertragen und im eigenen Fahrzeug dargestellt werden. In Gefahrensituationen erfolgt nach Ausführung des erfindungegemäßen Verfahrens zusätzlich eine Warnung oder ein Eingriff in das Fahrzeugverhalten. Mittels der Kommunikationssystem 11 und 60 werden unterschiedliche mobile Übertragungsverfahren, wie WLAN, DSRC, GSM, GPRS, UMTS, ausgeführt.As an output unit, an electronic display is used in the vehicle 80, which can be mounted stationary and / or variable visible to the driver in the passenger compartment. To the To extend detection range for both the driver and the sensors, a method is used whose detection range is not limited by optical visibility. One such method is the vehicle-vehicle communication already mentioned. The communication system 60 is at least configured for vehicle-to-vehicle communication. According to the invention, a standardized, non-optical, radio-based information transmission method supporting system for the communication between at least two vehicles or participants is used as a communication system. The communication system 110 supports various mobile transmission methods that establish information distribution in the so-called point-to-point connection, whereas the communication system 60 performs a broadcast mode. As broadcast or broadcast in a computer-based network, the transmission of data packets from a point, or vehicle, to all vehicles or subscribers within a network is understood. It is used to transmit environment information via defined radio standards such as eg IEEE 802.11p and display it in your own vehicle. In dangerous situations carried out after execution of the method according to the invention in addition a warning or interference with the vehicle behavior. By means of the communication system 11 and 60 different mobile transmission methods, such as WLAN, DSRC, GSM, GPRS, UMTS, are executed.
  • Positionsbestimmungssysteme 12 dienen zur Bestimmung der eigenen Position. Als Positionsbestimmungssysteme eignen sich GPS-Sender und Empfänger sowie Navigationssysteme. Erfindungsgemäß können auch integrierte Positionsbestimmungssysteme, die beide Funktionalitäten in einem Gerät vereinen eingesetzt werden. Als Fahrzeugsicherheitssystemen 13 sind alle im Fahrzeug verfügbaren Bremssysteme mit elektronischer Regelung einsetzbar. Fahrzeugsicherheitssysteme können das Electronic Break System (EBS) 131, das Engine Management System (EMS) 132, Antiblockiersystem (ABS) 133, Antriebs-Schlupf-Regelung (ASR), Elektronisches Stabilitätsprogramm (ESP), Elektronische Differentialsperre (EDS), Transmission Control Unit (TCU), Elektronische Bremskraftverteilung (EBV) und/oder Motor-Schleppmomenten-Regelung (MSR) sein.Positioning systems 12 serve to determine the own position. Positioning systems are GPS transmitters and receivers as well as navigation systems. According to the invention, integrated position determination systems that combine both functionalities in one device can also be used. As vehicle safety systems 13, all braking systems available in the vehicle can be used with electronic control. Vehicle safety systems may include the Electronic Break System (EBS) 131, the Engine Management System (EMS) 132, Antilock Braking System (ABS) 133, Traction Control (ASR), Electronic Stability Program (ESP), Electronic Differential Lock (EDS), Transmission Control Unit (TCU), Electronic Brake Force Distribution (EBV) and / or Engine Drag Torque Control (MSR).
  • Fahrerassistenzsysteme 14 sind elektronische Zusatzeinrichtungen in Fahrzeugen zur Unterstützung des Fahrers in bestimmten Fahrsituationen. Hierbei stehen oft Sicherheitsaspekte, aber auch die Steigerung des Fahrkomforts im Vordergrund. Diese Systeme greifen teilautonom oder autonom in Antrieb, Steuerung (z.B. Gas, Bremse) oder Signalisierungseinrichtungen des Fahrzeuges ein oder warnen durch geeignete Mensch-Maschine-Schnittstellen den Fahrer kurz vor oder während kritischer Situationen. Solche Fahrassistenzsysteme sind beispielsweise Einparkhilfe (Sensorarrays zur Hinderniss- und Abstandserkennung), Bremsassistent (BAS), Tempomat, Adaptive Cruise Control oder Abstandsregeltempomat (ACC) 141, Abstandswarner, Abbiegeassistent, Stauassistent, Spurerkennungssystem, Spurhalteassistent/Spurassistent (Querführungsunterstützung, lane departure warning (LDW)) 142, Spurhalteunterstützung (lane keeping support)), Spurwechselassistent (lane change assistance), Spurwechselunterstützung (lane change support), Intelligent Speed Adaption (ISA), Adaptives Kurvenlicht, Reifendruckkontrollsystem, Fahrerzustandserkennung, Verkehrszeichenerkennung, Platooning, Automatische Notbremsung (ANB), Auf- und Abblendassistent für das Fahrlicht, Nachtsichtsystem (Night Vision).Driver assistance systems 14 are electronic ancillary devices in vehicles to assist the driver in certain driving situations. Here are often safety aspects, but also the increase in ride comfort in the foreground. These systems partly autonomously or autonomously intervene in drive, control (eg gas, brake) or signaling devices of the vehicle or warn the driver shortly before or during critical situations by means of suitable man-machine interfaces. Such driver assistance systems are, for example, parking assistance (sensor arrays for obstacle and distance detection), brake assist (BAS), cruise control, adaptive cruise control (ACC) 141, distance warning, turn assistant, traffic jam assistant, lane detection system, lane departure warning / lane assistant (lane departure warning, LDW )) 142, lane keeping support), lane change assist, lane change support, Intelligent Speed Adaptation (ISA), adaptive cornering light, tire pressure monitoring system, driver condition detection, traffic sign recognition, platooning, automatic emergency braking (ANB), headlamp dipping and dipping assist, night vision system.
  • Durch die Integration von verschiedenen Systemen werden alle funktionellen Vorteile der einzelnen Subsysteme beibehalten und zusätzlich wird deren Gesamtleistung gesteigert. Während die einzelnen Subsysteme Unfälle reduzieren können, indem sie das Risiko bestimmter Gefahren minimieren, die nur für das eigene Fahrzeug gelten, können erfindungsgemäß komplexe Gefahrensituationen gelöst werden, an der insbesondere zahlreiche Fahrzeuge beteiligt sind.By integrating different systems, all the functional advantages of the individual subsystems are retained and, in addition, their overall performance is increased. While the individual subsystems can reduce accidents by minimizing the risk of certain dangers which apply only to one's own vehicle, complex dangerous situations can be solved according to the invention in which, in particular, numerous vehicles are involved.
  • Die Aufbau in Fig. 2 zeigt eine multi-sensoriellen Umgebungserfassung mit vernetztem Umfeldmodell. Kern des erfindungsgemäßen Verfahren sind die Schritte Sensordatenaufbereitung 40, Bildung und Ergänzung der Umfeldmodells 50 mittels der Sensordatenverarbeitung 40 und der Fahrzeug zu Fahrzeug Kommunikation 60, und die Zuführung des Umfeldmodels an eine Situationsanalyse.The construction in Fig. 2 shows a multi-sensorial environment detection with networked environment model. The core of the method according to the invention are the steps of sensor data processing 40, formation and completion of the environment model 50 by means of the sensor data processing 40 and the vehicle-to-vehicle communication 60, and the delivery of the environment model to a situation analysis.
  • Das Umfeldmodell 50 weißt eine Schnittstelle zu den Fahrzeugsicherheitssystem und Fahrerassistenzsystemen und ermöglichtgleichzeitig eine Validierung der Umgebungserfassung.The environment model 50 knows an interface to the vehicle safety system and driver assistance systems and at the same time enables validation of the environmental detection.
  • Zu Beginn des Verfahrens wird eine Bestandsaufnahme aller verwendbaren Sensoren durchgeführt und erstellt. Diese umfasst sowohl eine funktionelle Beschreibung als auch alle wichtigen Leistungsmerkmale der Sensoren. Trotz der Vielzahl der verfügbaren Sensoren werden die verwendeten Sensoren nach Technologie in folgende drei Kategorien eingeteilt: Lidar 10 basierend auf scannenden oder feststehenden Laserstrahlen und Radar 20 mit Ausprägungen für Fernbereichsradar und Nahbereichsradar und visuelle Sensoren in der Ausführung als Kameras 30, sowohl für den sichtbaren Bereich als auch für den unsichtbaren Bereich, der beispielsweise die Wärmestrahlung umfasst.At the beginning of the procedure an inventory of all usable sensors is carried out and created. This includes both a functional description and all important features of the sensors. Despite the variety of available sensors, the sensors used are grouped by technology into the following three categories: lidar 10 based on scanning or fixed laser beams and radar 20 with features for long-range radar and near-field radar and visual sensors in the form of cameras 30, both for the visible range and for the invisible range, which includes, for example, the heat radiation.
  • Mit elektromagnetischen Wellen misst ein Radarsystem die Entfernung zu und gleichzeitig die Geschwindigkeit von Objekten, indem die Objekt-Rückstreuung ausgewertet wird. Für die Generierung der Radarwellen werden verschiedene Möglichkeiten wie Pulse-Radar, FMCW (frequency modulated continuous wave) und FSK (frequency shift keying) Modulation, sowie Kombinationen davon eingesetzt. Für den Abstandsregeltempomaten (ACC) wird ein Fernbereichsradar eingesetzt, bei dem Entfernungen bis zu 150 Metern gemessen werden können und die Objekte als punktförmig angesehen werden.With electromagnetic waves, a radar system measures the distance to and at the same time the speed of objects by evaluating the object backscatter. For the generation of the radar waves various possibilities are used such as pulse radar, FMCW (frequency modulated continuous wave) and FSK (frequency shift keying) modulation, as well as combinations thereof. Adaptive Cruise Control (ACC) uses a far-range radar that can measure distances up to 150 meters and spot objects as punctiform.
  • Beim Nahbereichsradar werden gleichzeitig mehrere Sensoren (Sender und Empfänger) verwendet, die jeweils einen deutlich größeren öffnungwinkel (bis +/- 60°) besitzen. Durch verkoppelte Auswertung der Empfangssignale können auch mehrere Objekte bis zu einer Entfernung von 30 Metern lokalisiert werden. Während das Fernbereichsradar bei einer Frequenz von 77 GHz arbeitet, benutzt das Nahbereichsradar den Frequenzbereich um 24 GHz bzw. 79 GHz. Ein wichtiger Vorteil von Radar ist die Unempfindlichkeit der Radarwellenausbreitung gegenüber Witterungseinflüssen wie Regen, Schneefall oder Nebel.Short-range radar uses several sensors (transmitter and receiver) at the same time, each with a much larger opening angle (up to +/- 60 °). By coupling evaluation of the received signals, it is also possible to locate several objects up to a distance of 30 meters. While the far-field radar operates at a frequency of 77 GHz, the short-range radar uses the frequency range around 24 GHz and 79 GHz, respectively. An important advantage of radar is the insensitivity of the radar wave propagation to weather influences such as rain, snow or fog.
  • Im Gegensatz zu Radar wird bei Lidar die Objektgeschwindigkeit gewöhnlich über mehrere Entfernungsmessungen bestimmt und nicht direkt durch Auswertung des Dopplereffektes. Nichtscannende Systeme mit mehreren Laserstrahlen und Photodioden (Multi-Beam-Lidar) werden wie das Fernbereichsradar für Abstandesregelung (ACC) eingesetzt, wobei durch die größere Anzahl an Strahlen eine bessere laterale Auflösung im Vergleich zum Fernbereichsradar erzielt wird. Im Nahbereich wird überwiegend scannendes Lidar eingesetzt, das im Prinzip eine komplette Rundumsicht (360° Öffnungswinkel) ermöglicht. Um Nickbewegungen des Fahrzeuges zu kompensieren ist es angedacht mehrere Abtastebene zu benutzen.Unlike radar, the object speed is usually determined by Lidar over several distance measurements and not directly by evaluating the Doppler effect. Non-scanning systems with multiple laser beams and photodiodes (multi-beam lidar) become like the far-range radar for distance control (ACC) are used, whereby the larger number of beams a better lateral resolution compared to the long-range radar is achieved. At close range, predominantly scanning lidar is used, which in principle allows a complete all-round view (360 ° opening angle). To compensate for pitching movements of the vehicle, it is intended to use several scanning plane.
  • Kameras bieten im Gegensatz zu den entfernungsmessenden Prinzipien von Radar und Lidar ein hochauflösendes Bild der Fahrumgebung . Da die Kontrastverhältnisse im Straßenverkehr oft sehr groß sind, wird erfindungsgemäß eine hechdynamische Kameras mit bspw. einem 12 Bit Dynamikbereich eingesetzt. Während für die Spurerkennung Grauwertkameras einsetzbar sind, sind für eine zuverlässige Ampeldetektion Farbkameras vorgesehen. Um die 2D-Information einer Monoksmera mit Entfernungsinformation zu verknüpfen, werden nach der Erfindung Stereokamera mit einer horizontalen Basis, wie das Augenpaar beim Menschen, und bestimmt die Disparitäten zwischen den beiden Bildern hauptsächlich an vertikalen Kanten zur Entfernungsbestimmung. Des weiteren ist es erfindungsgemäß angedacht bewegliche Kameras einzusetzen, wie scannende Ansätze bei Lidar oder Radar, eine deutliche Vergrößerung des Blickwinkels, mit einer zusätzlichen Steuerung in der Blickrichtung z.B. basierend auf der Aufmerksamkeit. Erfindungsgemäß ist es auch angedacht, dass Wärmebildkameras für die Fußgängererkennung einzusetzen, da die Temperatur des menschlichen Körpers ein zuverlässiges Detektionsmerkmal darstellt.Cameras offer a high-resolution picture of the driving environment, in contrast to the distance-measuring principles of radar and lidar. Since the contrast ratios in the road traffic are often very large, a hechdynamische cameras with, for example, a 12-bit dynamic range is used according to the invention. While grayscale cameras can be used for track recognition, color cameras are provided for reliable amp detection. In order to associate the 2D information of a monoksmera with distance information, according to the invention, a stereo camera with a horizontal base, such as the human eye pair, and determines the disparities between the two images mainly on vertical edges for distance determination. Furthermore, according to the invention, it is intended to use movable cameras, such as scanning attachments in lidar or radar, significantly increasing the viewing angle, with additional control in the viewing direction, e.g. based on the attention. According to the invention, it is also contemplated to use thermal imaging cameras for pedestrian detection, since the temperature of the human body is a reliable detection feature.
  • Erfindungsgemäß werden durch den Einsatz der genannten Sensoren, die Nachteile der einzelnen Sensoren in der Kombination miteinander, aufgehoben und ein Mehrwert durch den kombinierten Einsatz generiert.According to the invention, the use of the mentioned sensors, the disadvantages of the individual sensors in the combination with each other, repealed and added value generated by the combined use.
  • Der Block Sensordatenaufbereitung 40 berücksichtigt in besonderer Weise die zusätzlichen Anforderungen eines multisensoriellen Ansatzes. Sobald Sensordaten in Beziehung gesetzt werden, wird sowohl die gegenseitige Lage der Sensoren als auch eine gemeinsame Zeitbasis in Bezug zu einander gesetzt. Hier zu erfolgt nach der Erfindung eine Ortskalibrierung zur Bestimmung der geometrischen Relation der Objekte und Fahrzeuge zu einander, eine Zeitsynchronisation zur Bestimmung der zeitlichen Relation der Objekte und Fahrzeuge zu einander und der Sensormodellierung, bei der eine Berücksichtigung von Sensoreigenschaften eingeht. Als Bezugspunkt für das Koordinatensystem ist es erfindungsgemäß angedacht, das Eigenfahrzeug zu verwenden, das natürlich mit ortsgebundener Information z.B. von Navigationskarten bzw. Positionsbestimmungssysteme 12 entsprechend in Verbindung gebraucht wird.The block sensor data processing 40 takes into account in a special way the additional requirements of a multi-sensorial approach. Once sensor data is correlated, both the mutual position of the sensors and a common time base are related to each other. Here, according to the invention, a location calibration for determining the geometric relation of the objects and vehicles to each other, a time synchronization for determining the temporal relation of the objects and vehicles to each other and the sensor modeling, in which a consideration of sensor properties received. As a reference point for the coordinate system, according to the invention it is intended to use the own vehicle, which of course is provided with localized information e.g. of navigation maps or positioning systems 12 is used accordingly in conjunction.
  • Da sich die Objekte im Verkehrsumfeld oft mit hoher Geschwindigkeit bewegen, wird eine gemeinsame Zeitbasis für einen multisensoriellen Ansatz definiert. Stereokameras z.B. werden synchron betrieben, um beide Messungen zum gleichen Zeitpunkt zu erhalten. Erfindungsgemäß werden auch asynchrone Systeme verwendet, wenn die Messungen mit einem Zeitstempel versehen werden, der von einer gemeinsamen Systemuhr (Master-Clock) geliefert wird.Since the objects in the traffic environment often move at high speed, a common time base for a multi-sensorial approach is defined. Stereo Cameras e.g. are operated synchronously to obtain both measurements at the same time. According to the invention, asynchronous systems are also used if the measurements are provided with a time stamp which is supplied by a common system clock (master clock).
  • Für das eingesetzte Multisensorsystem Radar-Lidar-Kamera werden alle bekannten und benötigten Sensoreigenschaften in Sensormodellen zu hinterlegt und dann bei der Sensordatenverarbeitung explizit berücksichtigt, da die Eigenschaften der einzelnen Sensoren, wie Reichweite, Öffnungswinkel auch bei Änderungen, z.B. anderes Kameraobjektiv, effizient zu berücksichtigen sind.For the used multi-sensor radar lidar camera system, all known and required sensor properties are stored in sensor models and then explicitly taken into account in the sensor data processing, since the properties of the individual Sensors, such as range, opening angle even with changes, eg other camera lens, are to be considered efficiently.
  • Im Umfeldmodell 50 werden alle Ergebnisse der multisensoriellen Fahrumgebungserfassung und der zusätzlich empfangen Informationen aus der Umgebung durch die Fahrzeug zu Fahrzeug Kommunikation über das Kommunikationssystem 60 zusammengetragen. Empfang und Aktualisierung der Informationen aus den benachbarten Fahrzeugen erfolgt in der Art, das die benachbarten Fahrzeuge 2 und 3 ihre Positions- und Dynamikinformationspakete 29 (PDP), wie in Fig.3 beispielhaft angegeben, über das im jeweiligen Fahrzeug befindliche und für den Informationsaustausch zwischen mindestens zwei Fahrzeugen zuständige Kommunikationssystem für die Fahrzeug zu Fahrzeug Kommunikation fortlaufend senden.In the environment model 50, all the results of the multisensorial driving environment detection and additionally received information from the environment are collected by the vehicle-to-vehicle communication via the communication system 60. Receiving and updating the information from the neighboring vehicles is done in the way that the neighboring vehicles 2 and 3 their position and dynamic information packets 29 (PDP), as in Figure 3 by way of example, via the communication system located in the respective vehicle and responsible for the exchange of information between at least two vehicles for the vehicle to vehicle continuously send communication.
  • Die das jeweilige Fahrzeug repräsentierenden und verteilten Positions- und Dynamikinformationspakete 2 enthalten Informationen, z.B. die Fahrzeugkennung 21, die GPS-Daten mit genauen Informationen über das Spurhalten 22, die individuelle Fahrzeugparameter 23, wie z.B. die Fahrzeuggeometrie mit Länge 231, Breite 232, Wendekreis, den Fahrzeugtyp (PKW / Geländefahrzeug / Klein-Lastkraftwagen / LKW / usw.) 233, die vorab bekannten Informationen der Fahrzeugdynamik 24 mit max. Längsbeschleunigung und -verzögerung 241, max. Querbeschleunigung 242, max. Fahrzeuggeschwindigkeit 23, die aktuelle Fahrzeuggeschwindigkeit 245, die Längsbeschleunigung, die Querbeschleunigung, die aktuelle Gierrate, den aktuellen Lenkwinkel.The position and dynamic information packages 2 representing and distributing the respective vehicle contain information, e.g. the vehicle identifier 21, the GPS data with accurate lane keeping information 22, the individual vehicle parameters 23, e.g. the vehicle geometry with length 231, width 232, turning circle, the vehicle type (car / off-road vehicle / small truck / truck / etc.) 233, the previously known information of the vehicle dynamics 24 with max. Longitudinal acceleration and deceleration 241, max. Lateral acceleration 242, max. Vehicle speed 23, the current vehicle speed 245, the longitudinal acceleration, the lateral acceleration, the current yaw rate, the current steering angle.
  • Des Weiteren beinhalten die Positions- und Dynamikinformationspakete 29 Informationen über die aktuell im jeweiligen Fahrzeug aktiven Fahrzeugsicherheitssysteme 25 und Fahrerassistenzsysteme 25, sowie Informationen über die Fahrbahnparameter 26, wie z.B. Böschungswinkel und geschätzte Reibung. Vorgesehen sind weitere Felder in den Positions- und Dynamikinformationspakete 2 für optionale Angaben 27, wie den Zustand von Ampelsignalen oder die Position von erkannten Fußgängern.Furthermore, the position and dynamic information packs 29 contain information about the currently in the respective Vehicle active vehicle safety systems 25 and driver assistance systems 25, as well as information about the lane parameters 26, such as slope angle and estimated friction. Further fields are provided in the position and dynamic information packages 2 for optional information 27, such as the status of traffic lights or the position of recognized pedestrians.
  • Die Position- und Dynamikinformationen aller benachbarten Fahrzeuge, mit denen das eigene Fahrzeug kommuniziert, werden in einem dynamisch aktualisierten, internen Speicher der Rechnereinheit 15, die als Datenbank ausgestaltet sein kann, gespeichert.The position and dynamic information of all neighboring vehicles, with which the own vehicle communicates, are stored in a dynamically updated, internal memory of the computer unit 15, which can be configured as a database.
  • Wenn das sendende Fahrzeug bereits über ein aktives Positions-und Dynamikinformationspaket in der Datenbank verfügt, d.h. es bereits vom empfangenden, eigenen Fahrzeug "erkannt" wird, werden die Daten mit dem neuesten Positions- und Dynamikinformationspakete aktualisiert.If the sending vehicle already has an active position and dynamics information packet in the database, i. it is already "recognized" by the receiving own vehicle, the data is updated with the latest position and dynamics information packets.
  • Fährt das Fahrzeug gerade in den Kommunikationsbereich, wird es mit dem ursprünglichen Positions- und Dynamikinformationspakete in die Datenbank eingegeben. Die Positions- und Dynamikinformationspakete 2 eines Fahrzeugs, das die Zone verlässt und das nach einem aktiven Zeitraum keine Daten mehr sendet, werden aus der Datenbank entfernt.When the vehicle is just entering the communication area, it is entered into the database with the original position and dynamics information packets. The position and dynamics information packets 2 of a vehicle leaving the zone and no longer transmitting data after an active period are removed from the database.
  • Die Aktualisierung und Übertragung der eigenen Positions- und Dynamikdaten des eigenen Fahrzeugs.erfolgt in der Art, dass im eigenen Fahrzeugs die gleichen Daten wie beschrieben erfasst und berechnet und das gesamte Positions-und Dynamikdatenpaket durch das eigene Kommunikationssystem an die benachbarten Fahrzeuge übertragen werden.The updating and transmission of the own position and dynamics data of the own vehicle is done in such a way that the same data as described are recorded and calculated in the own vehicle and the entire position and dynamic data packet are transmitted by the own communication system to the neighboring vehicles.
  • Die Positionsdaten des ersten Positionsbestimmungssystems, der als ein GPS Empfänger ausgeführt sein kann, werden als Basisinformation verwendet. Diese Daten werden an das Umfeldmodell 50 weitergeleitet.The position data of the first positioning system, which may be implemented as a GPS receiver, is used as basic information. These data are forwarded to the environment model 50.
  • Das Umfeldmodell 50 umfasst erfindungsgemäß eine Vielzahl von vorab bekannten Objekttypen, die zur Beschreibung der Fahrumgebung, in einem sogenannten Objektkatalog strukturiert sind.According to the invention, the environment model 50 comprises a multiplicity of previously known object types which are structured to describe the driving environment in a so-called object catalog.
  • Zu jedem Objekt gibt es eine Anzahl von Attributen, die entweder mit der Sensorik gemessen und bestimmt werden, zum Beispiel Breite, Höhe, Entfernung, Geschwindigkeit, oder aber in einer sehr einfachen Ausführungsform als Look-Up Tabelle oder in einer weiteren Ausführungsform in der bereits erwähnten Datenbank erfasst sind, wie Anzahl der Fahrspuren, Zuordnung von Ampeln und Geschwindigkeitsbeschränkungen.For each object, there are a number of attributes that are either measured and determined with the sensors, for example, width, height, distance, speed, or in a very simple embodiment as a look-up table or in another embodiment in the already are recorded, such as number of lanes, assignment of traffic lights and speed limits.
  • Bei den Objekten unterscheidet man zwischen statischen Objekten, d.h. Objekte, die zur Infrastruktur gehören, wie Fahrspuren, Verkehrszeichen oder Randbebauung und dynamischen Objekten. Die Beschreibung der Bewegung dynamischer Objekte erfolgt durch unterlagerte Dynamikmodelle, die relativ zu objektspezifischen Koordinatensystemen formuliert werden.The objects are distinguished between static objects, i. Objects that are part of the infrastructure, such as lanes, traffic signs or peripheral buildings and dynamic objects. The description of the movement of dynamic objects is made by subordinate dynamics models, which are formulated relative to object-specific coordinate systems.
  • Fußgänger oder ungeschützte Verkehrsteilnehmer werden gesondert behandelt, da sowohl deren Erkennung als auch die dafür notwendigen Form und Dynamikmodelle, wie veränderliche Gestalt durch Arm- und Beinbewegungen, abrupte Richtungswechsel möglich sind und somit wesentlich komplexer sind als z. B. bei Fahrzeugen.Pedestrians or unprotected road users are treated separately, since both their recognition and the necessary shape and dynamic models, such as variable shape by arm and leg movements, abrupt changes of direction are possible and thus much more complex than z. B. in vehicles.
  • Die Situationsanalyse 70 definiert und beschreibt die Beziehungen zwischen den gefundenen Objekten, wie zum Beispiel Einscherer oder Gassenfahrt bei der Funktion des Stauassistenten Abhängig von der Komplexität der Fahrerassistenzsystems, wie Abstandsanzeige, Abstandswarnung, Abstandsregeltempomat, Stauassistent, Notbremsung, werden unterschiedliche Abstraktionsstufen bei der Situationsanalyse, wie Abstand zum vorausfahrenden Fahrzeug, Berücksichtigung der eigenen Geschwindigkeit, Einscherer-Situation, mögliche Ausweichmanöver, erfindungsgemäß gebildet. Neben den Daten aus der Umgebungserfassung werden die Informationen aus der und Kommunikation mit anderen Fahrzeugen und/oder der Infrastruktur verwendet. Die gesamte verfügbare Information über die aktuelle Situation wird nun im erweiterten Umfeldmodell abgespeichert und steht der Situationsanalyse 70 zur Verfügung.Depending on the complexity of the driver assistance system, such as distance display, distance warning, cruise control, congestion assistant, emergency braking, the situation analysis 70 defines and describes the different levels of abstraction in the situation analysis, such as Distance to the vehicle ahead, taking into account the own speed, Einscherer situation, possible evasive maneuvers, formed according to the invention. In addition to the environmental data, the information from and communication with other vehicles and / or the infrastructure is used. The entire available information about the current situation is now stored in the extended environment model and is available to the situation analysis 70.
  • Die Anzeige im Fahrzeug 80 wird entweder direkt im Videobild oder auch als virtuelles Bild aus dem Blickwinkel, wir in Fig. 1 angedeutet, der Vogelperspektive dargestellt. Es ist angedacht, dass die Erkennungsergebnisse, wie Fahrzeuge oder Spurmarkierungen, direkt ins Bild einzutragen. Falls keine Videoaufnahmen zur Verfügung stehen oder der Erfassungsbereich anderer Sensoren größer als das Kamerablickfeld ist, werden die erkannten Objekte in einem virtuellen Bild dargestellt.The display in the vehicle 80 is either directly in the video image or as a virtual image from the point of view, we in Fig. 1 indicated, the bird's eye view presented. It is intended that the recognition results, such as vehicles or lane markings, enter directly into the image. If there are no video recordings available or the coverage of other sensors is greater than the camera field of view, the detected objects are displayed in a virtual image.
  • Eine Anzeige im Fahrzeug wird dann wie in Fig. 1 dargestellt erfolgen, für den Fall, dass sich zwei Fahrzeuge 1 und 2 als Linksabbieger gegenüber stehen und einer der beiden den entgegenkommenden Verkehr nicht sehen werden, da dieser von dem anderen Linksabbieger verdeckt wird, wobei der der Fahrer des Fahrzeugs 2 sofort erkennen würde, dass er nicht abbiegen darf.An ad in the vehicle is then as in Fig. 1 be shown, in the event that two vehicles 1 and 2 are facing left turn and one of the two will not see the oncoming traffic, as it is covered by the other left turn, the driver of the vehicle 2 would immediately recognize that he may not turn.
  • Da durch das Verfahren das Sichtfeld erweitert und die Entscheidungsgrundlage in vielen Fällen erheblich beeinflusst wird, sind zahlreiche zusätzliche Variationen möglich, so dass das beschriebene Ausführungsbeispiel keine Einschränkung darstellt.Since the method broadens the field of view and the decision base is considerably influenced in many cases, numerous additional variations are possible, so that the exemplary embodiment described does not represent any restriction.
  • Durch das erweiterte Sichtfeld, werden vorteilhaft von vornherein Gefahrensituationen vermieden und somit die Anforderungen an passive Sicherheitssysteme minimiert bzw. reduziert.Due to the extended field of view, it is advantageous to avoid dangerous situations from the outset, thus minimizing or reducing the requirements for passive safety systems.
  • Durch das Verfahren ist es in vorteilhaftweise möglich, anhand einer Situationsanalyse die Gefahr, die von einem Objekt ausgeht, zu bestimmen. Handelt es sich dann um ein sehr hohes Gefahrenpotential werden das Objekt in der Anzeige besonders hervorgehoben werden und Maßnahmen zur Vermeidung eines Unfalls eingeleitet. Solche Maßnahmen sind z.B. die Straffung der Gurte, das Vorfüllen der Bremsanlage. Es ist auch angedacht, dem Fahrer akustischen, haptische und visuellen Hinweise dem Fahrer auszugeben, dass eine Gefahrensituation im entstehen ist. Die eingeleiteten Maßnahmen werden wiederum über das Kommunikationssystem 60 an die Umgebung übertragen, um den in der Umgebung befindlichen Fahrzeugen die eingeleiteten Maßnahmen mitzuteilen.By means of the method, it is advantageously possible to determine the danger emanating from an object on the basis of a situation analysis. If it is then a very high risk, the object will be highlighted in the ad and measures to avoid an accident initiated. Such measures are e.g. the tightening of the straps, the priming of the brake system. It is also thought to give the driver acoustic, haptic and visual cues to the driver that a dangerous situation is developing. The initiated measures are in turn transmitted via the communication system 60 to the environment in order to notify the measures introduced to the vehicles located in the vicinity.
  • Die relevanten Informationen werden an die Fahrerassistenzsysteme in den Fahrzeugen 2 und 3, die sich in unmittelbarer Umgebung befinden weitergegeben, um deren Erfassungsbereich ebenfalls zu erweitern. Es entsteht hierdurch ein Netz von Fahrzeugen, bei dem die nutzbare Informationsreichweite für das einzelne Fahrzeug stark erweitert wird. Der Fahrer des einzelnen Fahrzeuges wird bei seinen Handlungen nicht durch die Auswertung der Umfelderfassung, die lediglich eine begrenzte örtliche Reichweite besitzt, eingeschränkt. Hierdurch wird das Vorliegen von bestimmten örtlichen Gegebenheiten zu einem bestimmten Zeitpunkt den Fahrer zugänglich gemacht, wodurch dann in vorteilhafter Weise Maßnahmen ergriffen werden können, um zum Bespiel Unfälle zu vermeiden.The relevant information is forwarded to the driver assistance systems in the vehicles 2 and 3, which are located in the immediate vicinity, in order to also expand their detection range. This creates a network of vehicles in which the useful information range for the individual vehicle is greatly expanded. The driver of the individual vehicle is not in his actions by the evaluation of the Umfassungsfassung, which has only a limited local range limited. As a result, the presence of certain local conditions at a certain time the driver made accessible, which then measures can be taken in an advantageous manner to avoid accidents, for example.

    • Claims (8)

    1. A method for detecting concealed objects in road traffic, in which on the one hand the environs of a vehicle and on the other hand movement variables of the particular vehicle are sensed by means of sensors, these are transmitted as information to vehicles located in the surrounding area by means of an interface (17) for vehicle-to-vehicle communication (60) and are received by the vehicles located in the surrounding area,
      wherein the following steps are carried out:
      a) the data from the sensors (10, 20, 30, 40) expand a surrounding area model (50), at least one sensor being configured as a camera,
      b) the expanded surrounding area model (50) is displayed in updated form in the particular vehicle by means of a display (80),
      c) a situation analysis (70) of the surrounding area and an evaluation of the situation is carried out in the particular vehicle,
      d) objects which represent a risk of accident are visualized in the display with a high priority,
      e) predefined steps to reduce the risk of accident are activated in the particular vehicle,
      f) the information concerning the steps initiated to reduce the risk of accident is transmitted to the environs via the communication system (60) for vehicle-to-vehicle communication,
      characterized in that
      g) detection results, such as a vehicle or lane markings, are entered directly in the video image of the camera, and
      h) if no video recordings are available or the sensing range of other sensors is greater than a field of view of the camera, detected objects are displayed in a virtual image from a bird's eye view.
    2. The method according to claim 1,
      characterized in that
      the information is transmitted by means of multicast and/or unicast and/or broadcast transmission.
    3. The method according to any of the preceding claims,
      characterized in that
      the received information is evaluated with priority and the information to be transmitted is transmitted with priority after relevance testing.
    4. The method according to any of the preceding claims,
      characterized in that
      the received information is passed on to a driver assistance system (14) of the particular vehicle and, if vehicles which have an activated driver assistance system are detected in the environs, the transmitted information is supplied to the respective driver assistance system of the respective vehicle.
    5. The method according to any of the preceding claims,
      characterized in that
      the predefined steps to reduce the risk of accident in the vehicle (1) tightening the seatbelts and/or prefilling the brake systems are carried out.
    6. The method according to any of the preceding claims,
      characterized in that
      the sensor 30 is a stereo camera with a 12-bit dynamic range.
    7. The method according to any of the preceding claims,
      characterized in that
      the transmitted information takes place in the form of position information packets and dynamic information packets (29).
    8. A device for carrying out the method according to claim 1, comprising at least one memory, at least one processing unit (15) and at least one interface (17) for exchanging data and a display unit,
      wherein the information from the neighbouring vehicles is passed on to the processing unit (15) via the communication system (60) and via the interface (17),
      the data of the particular vehicle (1) are determined by the sensors (10, 20, 30), are updated and are passed on to a surrounding area model (50) via the sensor data processing (50), wherein, under real time conditions, the position of the particular vehicle, the surrounding area and the position of the neighbouring vehicles are determined via the position determination system (12) and are supplied to the processor via the interface (17) to the surrounding area model (50), wherein, in the event of risk, a signalling to the driver takes place via the interface to an output unit (80) or an intervention in the movement path of the particular vehicle takes place by means of the vehicle safety and/or driver assistance systems (13, 14) and/or a signalling of the intervention in the movement path of the vehicle (1) takes place to the neighbouring vehicles,
      characterized in that
      the display unit is designed in such a way that detection results, such as a vehicle or lane markings, are entered directly in the video image of the camera, and
      if no video recordings are available or the sensing range of other sensors is greater than a field of view of the camera, detected objects are displayed in a virtual image from a bird's eye view.
    EP07821156.2A 2006-10-13 2007-10-10 Method and apparatus for identifying concealed objects in road traffic Active EP2082388B1 (en)

    Priority Applications (3)

    Application Number Priority Date Filing Date Title
    DE102006049101 2006-10-13
    DE102007048809A DE102007048809A1 (en) 2006-10-13 2007-10-10 Method and device for detecting hidden objects in traffic
    PCT/EP2007/060788 WO2008043795A1 (en) 2006-10-13 2007-10-10 Method and apparatus for identifying concealed objects in road traffic

    Publications (2)

    Publication Number Publication Date
    EP2082388A1 EP2082388A1 (en) 2009-07-29
    EP2082388B1 true EP2082388B1 (en) 2015-08-19

    Family

    ID=38834995

    Family Applications (1)

    Application Number Title Priority Date Filing Date
    EP07821156.2A Active EP2082388B1 (en) 2006-10-13 2007-10-10 Method and apparatus for identifying concealed objects in road traffic

    Country Status (4)

    Country Link
    US (1) US8179281B2 (en)
    EP (1) EP2082388B1 (en)
    DE (1) DE102007048809A1 (en)
    WO (1) WO2008043795A1 (en)

    Cited By (1)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    DE102019102679A1 (en) * 2019-02-04 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Method, device, computer program and computer program product for providing a path of an object for a vehicle

    Families Citing this family (84)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US20060058829A1 (en) * 2003-03-19 2006-03-16 Sampson Douglas C Intragastric volume-occupying device
    JP4254844B2 (en) * 2006-11-01 2009-04-15 トヨタ自動車株式会社 Travel control plan evaluation device
    JP4371137B2 (en) * 2006-11-10 2009-11-25 トヨタ自動車株式会社 Automatic operation control device
    JP4525670B2 (en) * 2006-11-20 2010-08-18 トヨタ自動車株式会社 Travel control plan generation system
    DE102008040077A1 (en) * 2008-07-02 2010-01-07 Robert Bosch Gmbh Driver assistance process
    US8169338B2 (en) * 2008-07-25 2012-05-01 GM Global Technology Operations LLC Inter-vehicle communication feature awareness and diagnosis system
    US8935055B2 (en) * 2009-01-23 2015-01-13 Robert Bosch Gmbh Method and apparatus for vehicle with adaptive lighting system
    US8977428B2 (en) 2009-03-06 2015-03-10 Toyota Jidosha Kabushiki Kaisha Vehicle drive support device
    DE102009020328A1 (en) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft A method for displaying differently well visible objects from the environment of a vehicle on the display of a display device
    DE102009048493A1 (en) * 2009-09-25 2011-04-07 Valeo Schalter Und Sensoren Gmbh A driver assistance system for a vehicle, vehicle with a driver assistance system, and method for assisting a driver in driving a vehicle
    EP2302412B1 (en) * 2009-09-29 2012-08-15 Volvo Car Corporation System and method for evaluation of an automotive vehicle forward collision threat
    DE102009053707B4 (en) 2009-11-18 2013-03-07 Man Truck & Bus Ag Device for displaying an obstacle in the range of movement of a commercial vehicle
    DE102010015686A1 (en) * 2010-04-21 2011-10-27 Audi Ag Method for operating a motor vehicle and motor vehicle
    US8965676B2 (en) * 2010-06-09 2015-02-24 Toyota Motor Engineering & Manufacturing North America, Inc. Computationally efficient intersection collision avoidance system
    US8639437B2 (en) * 2010-06-09 2014-01-28 Toyota Motor Engineering & Manufacturing North America, Inc. Computationally efficient intersection collision avoidance system
    DE102011077997A1 (en) 2010-06-23 2012-01-05 Continental Teves Ag & Co. Ohg Method and system for accelerated object recognition and / or accelerated object attribute recognition and use of the method
    US8405541B2 (en) * 2010-09-01 2013-03-26 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-range radar system
    DE102011075674A1 (en) 2011-05-11 2012-11-15 Continental Teves Ag & Co. Ohg Distance determination by means of a camera sensor
    WO2013009692A2 (en) * 2011-07-08 2013-01-17 Godfrey Matthew R Systems and methods for tracking and monitoring an electronic device
    US8706458B2 (en) * 2011-10-05 2014-04-22 International Business Machines Corporation Traffic sensor management
    DE102011116169A1 (en) * 2011-10-14 2013-04-18 Continental Teves Ag & Co. Ohg Device for assisting a driver when driving a vehicle or for autonomously driving a vehicle
    US8630806B1 (en) * 2011-10-20 2014-01-14 Google Inc. Image processing for vehicle control
    US9146898B2 (en) * 2011-10-27 2015-09-29 Magna Electronics Inc. Driver assist system with algorithm switching
    DE102011086520A1 (en) 2011-11-17 2013-05-23 Robert Bosch Gmbh Damage limitation for a motor vehicle in a dangerous situation
    CN103998951A (en) 2011-11-21 2014-08-20 大陆-特韦斯贸易合伙股份公司及两合公司 Method and device for the position determination of objects by means of communication signals, and use of the device
    CN104067141B (en) 2011-11-21 2016-08-24 大陆-特韦斯贸易合伙股份公司及两合公司 For the object in road traffic is carried out, based on signal of communication, method and apparatus and the application of this device that position determines
    JP5936258B2 (en) * 2012-03-22 2016-06-22 富士重工業株式会社 Driving assistance device
    US10609335B2 (en) 2012-03-23 2020-03-31 Magna Electronics Inc. Vehicle vision system with accelerated object confirmation
    DE102012208254A1 (en) 2012-05-16 2013-11-21 Continental Teves Ag & Co. Ohg Method and system for creating a current situation image
    DE102012210069A1 (en) 2012-06-14 2013-12-19 Continental Teves Ag & Co. Ohg Method and system for adapting a vehicle start-up behavior to a traffic signal system and use of the system
    KR101493360B1 (en) * 2012-07-30 2015-02-23 주식회사 케이티 Method of vehicle driving managing through detection state change of around cars and system for it
    US9344989B2 (en) 2012-09-06 2016-05-17 Apple Inc. System with wireless messages to enhance location accuracy
    US9595195B2 (en) 2012-09-06 2017-03-14 Apple Inc. Wireless vehicle system for enhancing situational awareness
    DE102012221004A1 (en) 2012-11-16 2014-05-22 Continental Teves Ag & Co. Ohg Method for improved determination of proprietary position of vehicle, involves determining proprietary position from absolute position information, distance and navigation satellite signals by vehicle
    DE102012023498A1 (en) 2012-12-03 2014-06-05 Continental Automotive Gmbh Method for guiding automatic and/or assistive vehicle i.e. motor car, involves transmitting stored information to vehicle to decide whether track portion is suitable to guide automatic and/or assisting vehicle by environment sensor system
    DE102012024959A1 (en) * 2012-12-20 2014-06-26 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Method for operating vehicle e.g. passenger car, involves calculating position of object, and determining instantaneous detection area of sensor based on determined position of object when object is not detected by sensor
    US10796510B2 (en) * 2012-12-20 2020-10-06 Brett I. Walker Apparatus, systems and methods for monitoring vehicular activity
    DE102012025159A1 (en) 2012-12-21 2014-06-26 Continental Teves Ag & Co. Ohg Method and system for learning traffic events and use of the system
    DE102013201836A1 (en) 2013-02-05 2014-08-07 Continental Teves Ag & Co. Ohg Method and device for detecting the presence of objects in a passenger compartment of a vehicle
    DE102013215098A1 (en) * 2013-08-01 2015-02-05 Bayerische Motoren Werke Aktiengesellschaft Environmental models for vehicles
    DE102013215100A1 (en) * 2013-08-01 2015-02-05 Bayerische Motoren Werke Aktiengesellschaft Providing an environment model in case of failure of a sensor of a vehicle
    DE102013220312A1 (en) * 2013-10-08 2015-04-09 Bayerische Motoren Werke Aktiengesellschaft Means of transport and method for exchanging information with a means of transportation
    DE102013220526A1 (en) * 2013-10-11 2015-04-16 Bayerische Motoren Werke Aktiengesellschaft Fail-safe sensor architecture for driver assistance systems
    JP6107618B2 (en) * 2013-11-26 2017-04-05 株式会社デンソー Peripheral mobile object display device
    US9666069B2 (en) * 2014-02-14 2017-05-30 Ford Global Technologies, Llc Autonomous vehicle handling and performance adjustment
    US9079587B1 (en) * 2014-02-14 2015-07-14 Ford Global Technologies, Llc Autonomous control in a dense vehicle environment
    DE102014007030A1 (en) * 2014-05-13 2015-11-19 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Method and device for warning against a critical traffic situation
    DE102014211013A1 (en) * 2014-06-10 2015-12-17 Continental Teves Ag & Co. Ohg Vehicle communication device
    JP6237580B2 (en) * 2014-11-13 2017-11-29 株式会社デンソー Motor control device
    CN104442571B (en) * 2014-11-26 2016-06-01 重庆长安汽车股份有限公司 A kind of night-vision navigation integrated system and control method
    DE102015105784A1 (en) * 2015-04-15 2016-10-20 Denso Corporation Distributed system for detecting and protecting vulnerable road users
    US9802661B1 (en) 2015-11-04 2017-10-31 Zoox, Inc. Quadrant configuration of robotic vehicles
    US10745003B2 (en) 2015-11-04 2020-08-18 Zoox, Inc. Resilient safety system for a robotic vehicle
    US10000124B2 (en) 2015-11-04 2018-06-19 Zoox, Inc. Independent steering, power, torque control and transfer in vehicles
    US9734455B2 (en) 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
    US10401852B2 (en) 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
    US9720415B2 (en) 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
    US9507346B1 (en) 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
    US9910441B2 (en) 2015-11-04 2018-03-06 Zoox, Inc. Adaptive autonomous vehicle planner logic
    US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
    US9612123B1 (en) 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
    US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
    US10248119B2 (en) 2015-11-04 2019-04-02 Zoox, Inc. Interactive autonomous vehicle command controller
    US9754490B2 (en) 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
    US9494940B1 (en) 2015-11-04 2016-11-15 Zoox, Inc. Quadrant configuration of robotic vehicles
    US9878664B2 (en) 2015-11-04 2018-01-30 Zoox, Inc. Method for robotic vehicle communication with an external environment via acoustic beam forming
    US10334050B2 (en) 2015-11-04 2019-06-25 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
    US9804599B2 (en) * 2015-11-04 2017-10-31 Zoox, Inc. Active lighting control for communicating a state of an autonomous vehicle to entities in a surrounding environment
    US9958864B2 (en) 2015-11-04 2018-05-01 Zoox, Inc. Coordination of dispatching and maintaining fleet of autonomous vehicles
    US9916703B2 (en) 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
    US10496766B2 (en) 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
    KR20170053903A (en) * 2015-11-09 2017-05-17 삼성전자주식회사 Apparatus and method for transmission of message between vehicle to vehicle
    US9632507B1 (en) 2016-01-29 2017-04-25 Meritor Wabco Vehicle Control Systems System and method for adjusting vehicle platoon distances based on predicted external perturbations
    DE102016002603A1 (en) * 2016-03-03 2017-09-07 Audi Ag Method for determining and providing a database containing environmental data relating to a predetermined environment
    US10150414B2 (en) * 2016-07-08 2018-12-11 Ford Global Technologies, Llc Pedestrian detection when a vehicle is reversing
    DE102016213038A1 (en) * 2016-07-18 2018-01-18 Zf Friedrichshafen Ag Method for providing sensor information for a motor vehicle
    EP3273423B1 (en) * 2016-07-21 2019-03-13 Continental Automotive GmbH Device and method for a vehicle for recognizing a pedestrian
    DE102016215825A1 (en) * 2016-08-23 2018-03-01 Bayerische Motoren Werke Aktiengesellschaft Method for externally providing map data for assistance systems of motor vehicles
    US9928746B1 (en) * 2016-09-16 2018-03-27 Ford Global Technologies, Llc Vehicle-to-vehicle cooperation to marshal traffic
    US10338594B2 (en) * 2017-03-13 2019-07-02 Nio Usa, Inc. Navigation of autonomous vehicles to enhance safety under one or more fault conditions
    US10423162B2 (en) 2017-05-08 2019-09-24 Nio Usa, Inc. Autonomous vehicle logic to identify permissioned parking relative to multiple classes of restricted parking
    US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
    US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
    CN110875797A (en) * 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 Data transmission method, device and equipment for intelligently driving automobile

    Family Cites Families (11)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US5249157A (en) 1990-08-22 1993-09-28 Kollmorgen Corporation Collision avoidance system
    US6553130B1 (en) * 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
    US5983161A (en) 1993-08-11 1999-11-09 Lemelson; Jerome H. GPS vehicle collision avoidance warning and control system and method
    US7042345B2 (en) * 1996-09-25 2006-05-09 Christ G Ellis Intelligent vehicle apparatus and method for using the apparatus
    JP3857402B2 (en) 1997-12-05 2006-12-13 富士通株式会社 Intersection collision prevention method and system, storage medium storing intersection collision prevention program, and intersection apparatus
    JPH11328598A (en) 1998-05-18 1999-11-30 Toyota Motor Corp Intersection alarm system
    US6289332B2 (en) * 1999-02-26 2001-09-11 Freightliner Corporation Integrated message display system for a vehicle
    US6526352B1 (en) 2001-07-19 2003-02-25 Intelligent Technologies International, Inc. Method and arrangement for mapping a road
    DE10301468B4 (en) * 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Device for monitoring the environment of a vehicle
    JP4040441B2 (en) 2002-12-04 2008-01-30 トヨタ自動車株式会社 Vehicle communication device
    GB2400353A (en) * 2003-04-09 2004-10-13 Autoliv Dev Pedestrian detecting system provided on a motor vehicle

    Cited By (1)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    DE102019102679A1 (en) * 2019-02-04 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Method, device, computer program and computer program product for providing a path of an object for a vehicle

    Also Published As

    Publication number Publication date
    US20100045482A1 (en) 2010-02-25
    WO2008043795A1 (en) 2008-04-17
    DE102007048809A1 (en) 2008-07-10
    EP2082388A1 (en) 2009-07-29
    US8179281B2 (en) 2012-05-15

    Similar Documents

    Publication Publication Date Title
    CN106103232B (en) Travel controlling system, on-vehicle display and drive-control system
    Paul et al. Advanced driver assistance systems
    US8903639B2 (en) Method of dynamic intersection mapping
    US10286913B2 (en) System and method for merge assist using vehicular communication
    DE102011115323B4 (en) Identification of a vehicle threat on a full windshield head-up display
    DE102016120508A1 (en) Autonomous driving at intersections based on perceptual data
    EP3437343B1 (en) Method, devices and computer program for initiating or carrying out a cooperative driving manoeuvre
    DE102017210252A1 (en) Vehicle communication network and method of using and manufacturing same
    DE102012214988B4 (en) Vehicle gaming system with augmented reality for front and rear seats for entertainment and information for passengers
    DE102016119265A1 (en) ALGORITHMS FOR THE AVOIDANCE OF TRAFFIC ACCIDENTS WHEN SWITCHING DOWN AND LEFT TO CROSSROADS
    DE112014005021T5 (en) Travel control device, server and in-vehicle device
    DE102016119486A1 (en) METHOD FOR IMPROVING THE PERFORMANCE OF TURNING ASSISTANTS IN AUTOMOTIVE BROTHERS
    EP2814014B1 (en) Method for coordinating the operation of motor vehicles
    DE102007049603B4 (en) A collision avoidance system for assisting vehicle rearward movement
    EP2826031B1 (en) Method for detecting traffic jams using a wireless vehicle-to-vehicle communication system
    EP2084045B1 (en) Method for sensing the environment of a vehicle
    EP2481038B1 (en) Portable communication tool, driver assistance system comprising a portable communication tool, and method for aiding a driver when operating a vehicle
    DE102014213171A1 (en) System for autonomous vehicle guidance and motor vehicle
    EP1751728B1 (en) Assistance system for motor vehicles
    EP2335234B1 (en) Method for avoiding collisions
    DE102016221314A1 (en) INDEPENDENT TRAVEL SYSTEM
    DE10326358B4 (en) Device for driver warning and stopping distance shortening
    DE102014102762A1 (en) A system and method for improving the sensor vision of a vehicle in an autonomous driving mode
    DE102015117620A1 (en) Method and system for reducing the impact of an impaired driver
    EP2583263B1 (en) Method for combining a road sign recognition system and a lane detection system of a motor vehicle

    Legal Events

    Date Code Title Description
    AK Designated contracting states

    Kind code of ref document: A1

    Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

    17P Request for examination filed

    Effective date: 20090513

    DAX Request for extension of the european patent (deleted)
    17Q First examination report despatched

    Effective date: 20110330

    INTG Intention to grant announced

    Effective date: 20150415

    AK Designated contracting states

    Kind code of ref document: B1

    Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: FG4D

    Free format text: NOT ENGLISH

    REG Reference to a national code

    Ref country code: CH

    Ref legal event code: EP

    REG Reference to a national code

    Ref country code: IE

    Ref legal event code: FG4D

    Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

    REG Reference to a national code

    Ref country code: AT

    Ref legal event code: REF

    Ref document number: 744286

    Country of ref document: AT

    Kind code of ref document: T

    Effective date: 20150915

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R096

    Ref document number: 502007014161

    Country of ref document: DE

    REG Reference to a national code

    Ref country code: LT

    Ref legal event code: MG4D

    REG Reference to a national code

    Ref country code: NL

    Ref legal event code: MP

    Effective date: 20150819

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: GR

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20151120

    Ref country code: FI

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    Ref country code: LV

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    Ref country code: LT

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: SE

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    Ref country code: ES

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    Ref country code: PT

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20151221

    Ref country code: PL

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    Ref country code: IS

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20151219

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: NL

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: CZ

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    Ref country code: EE

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    Ref country code: DK

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    Ref country code: SK

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    Ref country code: IT

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R097

    Ref document number: 502007014161

    Country of ref document: DE

    REG Reference to a national code

    Ref country code: CH

    Ref legal event code: PL

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: RO

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    Ref country code: LU

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20151010

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: MC

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    REG Reference to a national code

    Ref country code: IE

    Ref legal event code: MM4A

    GBPC Gb: european patent ceased through non-payment of renewal fee

    Effective date: 20151119

    26N No opposition filed

    Effective date: 20160520

    REG Reference to a national code

    Ref country code: FR

    Ref legal event code: ST

    Effective date: 20160630

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: LI

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20151031

    Ref country code: CH

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20151031

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: SI

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    Ref country code: FR

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20151102

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: IE

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20151010

    Ref country code: GB

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20151119

    REG Reference to a national code

    Ref country code: AT

    Ref legal event code: MM01

    Ref document number: 744286

    Country of ref document: AT

    Kind code of ref document: T

    Effective date: 20151010

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: AT

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20151010

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: HU

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

    Effective date: 20071010

    Ref country code: BG

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: CY

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: BE

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20151031

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: TR

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    Ref country code: MT

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20150819

    PGFP Annual fee paid to national office [announced from national office to epo]

    Ref country code: DE

    Payment date: 20191031

    Year of fee payment: 13

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R084

    Ref document number: 502007014161

    Country of ref document: DE