DE102007049516A1 - Objects e.g. pedestrian, multimodal-determination system for vehicle i.e. car, has danger processor, where measure for increasing passive security is triggered by relevant objects during detection of danger situation by processor - Google Patents

Objects e.g. pedestrian, multimodal-determination system for vehicle i.e. car, has danger processor, where measure for increasing passive security is triggered by relevant objects during detection of danger situation by processor Download PDF

Info

Publication number
DE102007049516A1
DE102007049516A1 DE102007049516A DE102007049516A DE102007049516A1 DE 102007049516 A1 DE102007049516 A1 DE 102007049516A1 DE 102007049516 A DE102007049516 A DE 102007049516A DE 102007049516 A DE102007049516 A DE 102007049516A DE 102007049516 A1 DE102007049516 A1 DE 102007049516A1
Authority
DE
Germany
Prior art keywords
sensor
radar
objects
situation
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102007049516A
Other languages
German (de)
Inventor
Matthias Strauss
Jürgen Pfeiffer
Adam Swoboda
Enrico RÜCK
Stefan Dr. Lüke
Stefan Heinrich
Timo Seifert
Carsten Birke
Robert Baier
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Teves AG and Co OHG
ADC Automotive Distance Control Systems GmbH
Original Assignee
Continental Teves AG and Co OHG
ADC Automotive Distance Control Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Teves AG and Co OHG, ADC Automotive Distance Control Systems GmbH filed Critical Continental Teves AG and Co OHG
Priority to DE102007049516A priority Critical patent/DE102007049516A1/en
Publication of DE102007049516A1 publication Critical patent/DE102007049516A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9321—Velocity regulation, e.g. cruise control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9325—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles for inter-vehicle distance regulation, e.g. navigating in platoons

Abstract

The system has a radar sensor (10) and camera sensor (20), where an object detected by the sensors and determined by object tracking (31, 41) of the sensors is assigned to an object confirmation and situation analysis (42) for verification. Vehicle information and lane prediction (43) are considered for the verification. The analysis (42) determines relevant objects (60), where a measure for increasing a passive security is triggered by the relevant objects and driver information (80) during the detection of a danger situation by a danger processor (90).

Description

Die Erfindung betrifft das Gebiet der multimodalen Objekterkennung anhand eines Umfeldmodells im Straßenverkehr und betrifft insbesondere ein System mit den Merkmalen des Oberbegriffs des Anspruchs 1.The The invention relates to the field of multimodal object recognition an environment model in road traffic and more particularly relates to a system having the features of the preamble of claim 1.

Systeme zur Vermeidung oder Milderung unfallbedingter Verletzungen wurden bislang im Wesentlichen getrennt und unabhängig von den Systemen entwickelt, die der Vermeidung von Unfällen dienen. Passive und aktive Sicherheit eines Fahrzeugs wurden voneinander unabhängig betrachtet.systems to avoid or mitigate accidental injury so far essentially developed separately and independently of the systems, the avoidance of accidents serve. Passive and active safety of a vehicle were different from each other independently considered.

Heute setzt sowohl die aktive als auch die passive Sicherheit auf elektronische Systeme wie das elektronische Stabilitätsprogramm (ESP), die Adaptive Cruise Control (ACC), Gurtstraffer und Airbags. Deren Potenzial ist allerdings erst dann vollständig nutzbar, wenn Informationen über den Fahrzustand, das Fahrzeugumfeld und den Fahrer selbst allen Subsystemen zur Verfügung stehen.today puts both active and passive security on electronic Systems like the Electronic Stability Program (ESP), the Adaptive Cruise Control (ACC), belt tensioners and airbags. Their potential is only then complete usable if information about the driving condition, the vehicle environment and the driver himself all Subsystems available stand.

Der Effekt dieser Vernetzung führt zu einem verkürzten Anhalteweg (Reduced Stopping Distance, RSD). Im so genannten 30-Meter-Auto werden die Einzelsysteme der aktiven Sicherheit – Reifen, Fahrwerk und Bremse- zu einem optimierten Gesamtsystem verbunden. Dieses Gesamtsystem verkürzt nicht nur den Bremsweg auf 30 Meter, sondern auch den Anhalteweg – zusätzlich mit den Bestandteilen Reaktions- und Schwellweg signifikant.Of the Effect of this networking leads to a shortened Stopping distance (RSD). In the so-called 30-meter car will be the individual systems of active safety - tires, chassis and brakes - connected to an optimized overall system. This overall system shortened not only the braking distance to 30 meters, but also the stopping distance - in addition to the components reaction and Schwellweg significantly.

Eine Verkürzung des Schwellwegs, der vom Zeitpunkt des ersten Bremspedalkontakts bis zum vollen Aufbau der Bremsleistung zurückgelegt wurde, brachte die elektrohydraulische Bremse (EHB) in Kombination mit einem Bremsassistenten (BA). Die EHB zeichnet sich durch einen besonders schnellen Druckaufbau aus.A shortening the Schwellwegs, the time of the first brake pedal contact was completed until the full build up of braking power, brought the Electrohydraulic brake (EHB) in combination with a brake assistant (BA). The EHB is characterized by a particularly fast pressure build-up out.

Zur Verkürzung der Reaktionszeit wurde das Fahrzeuge in einem nächsten Schritt mit einem Bugradar ausgerüstet, das Abstand und Relativgeschwindigkeit zum voraus fahrenden Fahrzeug misst. Deuten diese auf eine Notsituation, leitet die aktivierte Adaptive Cruise Control (ACC) eine Fremdbremsung bis zum gesetzlichen Limit von 0,2 bis 0,3 g ein und fordert den Fahrer durch ein Signal zur Übernahme des Bremsvorgangs auf, falls diese Fremdbremsung nicht ausreicht. Übernimmt der Fahrer die Bremsaktivitäten, unterstützt ihn der erweiterte Bremsassistent (BA+), der die Umfeldinformationen mit dem Bremsbetätigungssignal des Fahrers vernetzt.to shortening The reaction time was the vehicles in a next step with a bug radar equipped, the distance and relative speed to the vehicle ahead measures. Interpret this to an emergency situation, directs the activated Adaptive Cruise Control (ACC) a third-party braking to the statutory Limit of 0.2 to 0.3 g and asks the driver by a signal for takeover the braking process, if this foreign braking is insufficient. Takes over the driver's braking activities, supports him the advanced Brake Assist (BA +), the environment information with the brake actuation signal networked by the driver.

Diese Vernetzung von Abstands- und Bremsinformationen wirkt auch bei ausgeschaltetem ACC. Dieser erste Schritt der Vernetzung deckt schon einen großen Teil der Unfälle ab, bei denen sich das Fahrzeug zuvor in einer kritischen fahrdynamischen Situation befunden hatte.These Networking of distance and braking information is also effective when switched off ACC. This first step of networking already covers a large part the accidents from where the vehicle previously in a critical driving dynamics situation had found.

Die DE 199 28 915 A1 offenbart ein Verfahren, mit dem die Sichtweite im Blickfeld eines Kraftfahrzeuges exakt bestimmbar ist, so dass der Fahrer mit Hilfe der Sichtweiteninformation zu einer angepassten Fahrweise veranlasst werden kann. Hierbei misst ein monokularer Videosensor den Kontrast eines von einem Radar- oder LIDAR-Sensor erfassten Objekts, und aus den vom Radar- oder LIDAR-Sensor und vom monokularen Videosensor gelieferten Messwerten wird die Sichtweite bestimmt. Alternativ dazu wird die Entfernung des mindestens einen Objekts und dessen Kontrast mittels eines binokularen Videosensors gemessen und anschliessend wird aus den Kontrast- und Entfernungsmesswerten die Sichtweite bestimmt. Ausser der Kontrastmessung erfolgt keine weitere Auswertung der vom Videosensor aufgenommenen Bilddaten. Des Weiteren erweist es sich als nachteilig, dass die für grössere Messbereiche geeigneten LIDAR-Sensoren mit steigender Entfernung zu einem Objekt die Ortsauflösung verlieren, womit eine Verschlechterung der Objekterkennung einhergehtThe DE 199 28 915 A1 discloses a method with which the visibility in the field of view of a motor vehicle can be determined exactly, so that the driver can be made with the help of the visibility information to a customized driving style. Here, a monocular video sensor measures the contrast of an object detected by a radar or LIDAR sensor, and the readings from the radar or LIDAR sensor and monocular video sensor determine the range of view. Alternatively, the distance of the at least one object and its contrast is measured by means of a binocular video sensor, and then the range of sight is determined from the contrast and distance measurement values. Apart from the contrast measurement, there is no further evaluation of the image data recorded by the video sensor. Furthermore, it proves to be disadvantageous that the LIDAR sensors suitable for larger measuring ranges lose the spatial resolution with increasing distance to an object, which results in a deterioration of the object recognition

Die DE 10305861 offenbart eine Vorrichtung eines Kraftfahrzeuges zur räumlichen Erfassung einer Szene innerhalb und/oder ausserhalb des Kraftfahrzeuges mit einem mit einer elektronischen Detektionseinrichtung gekoppelten LIDAR-Sensor und einem mit einer Bildverarbeitungseinrichtung verbundenen Bildsensor zur Aufnahme und Auswertung von Bildern der Szene, wobei die Detektionseinrichtung und die Bildverarbeitungseinrichtung mit einem Rechner zur Ermittlung räumlicher Daten der Szene gekoppelt sind.The DE 10305861 discloses a device of a motor vehicle for the spatial detection of a scene within and / or outside of the motor vehicle with a LIDAR sensor coupled to an electronic detection device and an image sensor connected to an image sensor for recording and evaluation of images of the scene, wherein the detection device and the image processing device with a computer for determining spatial data of the scene are coupled.

Aus der WO 03/006289 ist ein Verfahren zum automatischen Auslösen einer Verzögerung eines Fahrzeugs zur Verhinderung einer Kollision mit einem weiteren Objekt bekannt, bei dem in Abhän gigkeit von Radar-oder Lidarsignalen oder Videosignalen Objekte im Kursbereich des Fahrzeugs detektiert sowie Bewegungsgrössen des Fahrzeugs erfasst werden. In Abhängigkeit von dem erkannten Objekt und der Bewegungsgrössen soll ein Gefährdungspotential bestimmt werden. Nach Maßgabe dieses Gefährdungspotentials sollen die Verzögerungsmittel in mindestens drei Zuständen betrieben werden. Darüber hinaus ist eine Verminderung der Folgen einer bevorstehenden Kollision mit einem weiteren Objekt vorgesehen, indem passive oder aktive Rückhaltesysteme aktiviert werden.From the WO 03/006289 a method for automatically triggering a deceleration of a vehicle to prevent a collision with another object is known in which, depending on radar or Lidarsignalen or video signals objects in the heading range of the vehicle detected and motion variables of the vehicle are detected. Depending on the detected object and the motion variables, a hazard potential should be determined. According to this hazard potential, the delay means should be operated in at least three states. In addition, a reduction of the consequences of an imminent collision with another object is provided by activating passive or active restraint systems.

Bekannt sind Verfahren und Systeme, die auf einem Strahlsensor basierend, den der Fahrer in einer Gefahrensituation beim Einleiten einer Bremsung unterstützt, indem beim Loslassen des Gaspedals die Bremsanlage vorfüllen wird (Prefill), während der Zeit, in der der Fahrer keines der Pedale berührt eine leicht Verzögerung von bis zu 0,3 g eingeleiten (Prebrake) wird, und bei einer Betätigung der Bremse durch den Fahrer der Bremsassistent aufgrund niedrigerer Schwellwerte früher eingreift.Are known methods and systems based on a beam sensor, which supports the driver in a dangerous situation when initiating a braking, by releasing the accelerator pedal the brake system will prefill, during the time in which the driver touches any of the pedals a slight deceleration of up to 0.3 g is introduced (Prebrake), and when the brake is pressed by the driver the Brake Assist due to lower thresholds intervenes earlier.

Trotz der sehr hohen Leistungsfähigkeit der Systeme, ergeben sich systembedingte anwendungsspezifische Beschränkungen:
Stehende Fahrzeuge oder Gegenstände werden von den Strahlsensoren nicht erkannt. Hierdurch erfolgt nur eine Klassifizierung bezüglich der Strahlsensoreigenschaften des Objektes, jedoch nicht um welchen Gegenstand es sich tatsächlich handelt, und ob es sich überhaupt um einen Gegenstand auf der Straße, daneben, darunter oder darüber handelt. Aus dieser Situationsanalyse kann aufgrund der hohen Unsicherheit keine starken autonomen Bremsungen eingeleitet werden. Des Weiteren wird die Reichweite des Sensors ständig durch Fahrzeuge oder Gegenstände in der Umgebung begrenzt und der Reibwert, der für die Eingriffs und Warnstrategie von bedeutender Wichtigkeit ist, ist nicht von vornherein bekannt.Despite the very high performance of the systems, there are system-specific application-specific restrictions:
Standing vehicles or objects are not recognized by the beam sensors. As a result, only a classification with respect to the beam sensor properties of the object, but does not concern which object it is actually, and whether it is at all an object on the road, next to, below or above. Due to the high uncertainty, no strong autonomous braking can be initiated from this situation analysis. Furthermore, the range of the sensor is constantly limited by vehicles or objects in the environment and the coefficient of friction, which is of significant importance for the intervention and warning strategy, is not known in advance.

Der Erfindung liegt die Aufgabe zu zugrunde, ein einfaches, robustes System zur Unterscheidung von Objekten im Umfeld eines Fahrzeugs zur Verfügung zu stellen, um hierauf aufbauend zuverlässige Bremsstrategien abzuleiten.Of the Invention is the object of a simple, robust System for distinguishing objects in the environment of a vehicle to disposal in order to derive reliable braking strategies based thereon.

Diese Aufgabe wird erfindungsgemäß durch ein System mit den Merkmalen des Anspruchs 1 gelöst.These The object is achieved by a System solved with the features of claim 1.

Die Aufgabe wird gelöst durch ein System zur multimodalen Bestimmung von Objekten in einem vor und/oder hinter einem Fahrzeug liegenden Blickfeld, wobei mittels eines ersten Sensors 10 eine erste Umfeldererfassung 30 durchgeführt wird, das Sensorausgangssignal einem ersten Sensorsignalanalyseverfahren mit Objektauffindung 31 zugeführt wird, und mittels eines zweiten Sensors 20 eine weitere Umfelderfassung durchgeführt wird, das Sensorausgangssignal des zweiten Sensorausgangssignal 23 einem zweiten Sensorsignanalyseverfahrens mit Objektauffindung 41 zugeführt wird, wobei durch die Sensoren 10, 20 erfassten und durch die Sensorsignalanalyseverfahren 31, 41 ermittelten und bestimmten Objekt an ein Objektbestätigungsund Situationsanalyse-Modul 42 zur Verifikation zugeführt werden, wobei zur Verifikation weitere Fahrzeuginformationen und die Fahrspurprädiktion (43) berücksichtigt werden, und das Objektbestätigungs- und Situationsanalyse-Modul (42) relevante Objekte (60) bestimmt, wobei durch die relevanten Objekte (60) und die Fahrerinformation (80) bei Erkennung einer Gefahrensi tuation durch den Gefahrenrechner (90) Maßnahmen zur Erhöhung der passiven Sicherheit (120) eingeleitet werden.The object is achieved by a system for multimodal determination of objects in a front and / or behind a vehicle field of view, wherein by means of a first sensor 10 a first environment survey 30 is performed, the sensor output signal to a first sensor signal analysis method with object detection 31 is supplied, and by means of a second sensor 20 another environment detection is performed, the sensor output signal of the second sensor output signal 23 a second sensor signal analysis method with object detection 41 is fed, wherein by the sensors 10 . 20 detected and by the sensor signal analysis method 31 . 41 determined and determined object to an object confirmation and situation analysis module 42 for verification, with further vehicle information and the lane prediction ( 43 ) and the object confirmation and situation analysis module ( 42 ) relevant objects ( 60 ), whereby the relevant objects ( 60 ) and the driver information ( 80 ) upon detection of a dangerous situation by the hazard computer ( 90 ) Measures to increase passive safety ( 120 ) be initiated.

In einer vorteilhaften Ausgestaltung wir als erster Sensor 10 ein Radarsensor und der zweite Sensor ein visueller Sensor 20 eingesetzt, wobei die Sensoren unterschiedlichen Bereich des elektromagnetischen Wellespektrums erfassen und das System in einem Fahrerassistenzsystem mit Frontsensorik integriert wird.In an advantageous embodiment, we as the first sensor 10 a radar sensor and the second sensor a visual sensor 20 used, the sensors detect different area of the electromagnetic wave spectrum and the system is integrated in a driver assistance system with front sensors.

Eine besonders vorteilhafte Ausgestaltung des Systems wird dadurch gestaltet, das der erste Sensor 10 ein Radarsensor und der zweite Sensor eine Kamera ist.A particularly advantageous embodiment of the system is designed by the first sensor 10 a radar sensor and the second sensor is a camera.

Besonders vorteilhaft ist, dass das System den Datenfluss zwischen den beiden Sensoren durch die Vorauswahl von relevanten Objekten im Radar minimiert. Durch die geringere zu bewertenden Datenmenge wird die Rechchengeschwindigkeit zur Bestimmung von relevanten Objekten erheblich erhöht.Especially It is advantageous that the system controls the flow of data between the two Minimize sensors by preselecting relevant objects in the radar. Due to the lower amount of data to be evaluated, the computational speed becomes considerably increased for the determination of relevant objects.

In einer besonders vorteilhaften Ausgestaltung der Erfindung erfolgt eine Anpassung der Erfassungsbereiche von Videokamera und Radar, wobei der ermittelte gemeinsame Erfassungbereich, der abzubildend und von Relevanz ist und von den Sensoren gemeinsam überwacht wird.In a particularly advantageous embodiment of the invention takes place an adaptation of the detection areas of video camera and radar, wherein the determined common detection area to be imaged and of relevance and monitored by the sensors together becomes.

In einer weiteren Ausgestaltung wird erfolgt die Durchführung einer Bremsstrategie mit mindestens 0,3 g mit einer Erhöhung der Verzögerung kurz vor dem Stillstand über die Sicherheitssysteme 120 erfolgt, wodurch das Gefühl einer Notbremsung erzeugt wird.In a further embodiment, the implementation of a braking strategy with at least 0.3 g with an increase in the delay shortly before stopping via the security systems 120 takes place, whereby the feeling of emergency braking is generated.

Diese Lösung hat den Vorteil, dass es sich bei der Erfindung um eine Zielbestätigung handelt, da die ermittelten Daten aus der Umfelderkennung überprüft, verifiziert und bestätigt werden, um die Sensoren gegenseitig zu ergänzen, wodurch die Datenübertragung zwischen den Sensoren einfach zu realisieren ist und keine hohen systemtechnischen Anforderungen gestellt werden müssen.These solution has the advantage that the invention is a destination confirmation, since the determined data from the environment identifier checked, verified and confirmed be to complement each other's sensors, reducing data transmission between the sensors is easy to implement and no high system technical requirements must be made.

Weitere vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.Further advantageous embodiments are specified in the subclaims.

Bei der Erfindung handelt es sich um eine Zielbestätigung, da die ermittelten Daten aus der Umfelderkennung überprüft, verifiziert und bestätigt werden, um die Sensoren gegenseitig zu ergänzen, wobei die Datenübertragung bzw. Datenaustausch zwischen den Sensoren einfach zu realisieren ist und keine komplexen systemtechnischen Anforderungen zu erfüllen sind.at the invention is a destination confirmation, since the determined Data from the environment detection verified, verified and confirmed be to complement each other's sensors, allowing data transmission or easy to implement data exchange between the sensors and no complex system-technical requirements have to be met.

In einer vorteilhaften Ausgestaltung der Erfindung wird die Fahrbahnmarkierungen für eine verbesserte Situationsanalyse herangezogen.In An advantageous embodiment of the invention is the road markings for one improved situation analysis.

Ein Ausführungsbeispiel der Erfindung ist in den Zeichnungen dargestellt und wird im folgenden näher beschrieben.An embodiment of the invention is in the drawings and will be described in more detail below.

Es zeigenIt demonstrate

1 Eine Gesamtübersicht über das System gemäß der Erfindung 1 An overview of the system according to the invention

2 Eine graphische Auswertung der mittlere Wahrscheinlichkeiten für ein Erkennung eines Fahrzeug 2 A graphical evaluation of the average probabilities for vehicle detection

Das Grundprinzip der Erfindung liegt, wie in 1 dargestellt darin, dass der Radarsensor 10 zunächst eine Vorauswahl relevanter Ziele bzw. Objekte 60 durchführt. Die Position dieser Objekte wird direkt oder, wie in 1 gezeigt, der Kamera indirekt über eine Objektbestimmung und uns Situationsanalyse 42 gemeldet. Kann die Kamera in bestimmten Bereich ein Objekt als relevant klassifizieren, wird dieses als relevantes Ziel bzw. Objekt angenommen. Das Prinzip bei der Erkennung ist es, verschiedene optische Eigenschaften eines Fahrzeugs an der vom Radar 10 bestimmten Position im Blickfeld zu suchen, an der vom Radar 10 ein Ziel erkannt wurde. Je nach dem, ob viele oder nur wenige Eigenschaften erkannt wurden steigt oder somit die Erkennungsrate und somit die Wahrscheinlichkeit, dass es sich bei dem erkannten Objekt bspw. um ein Fahrzeug handelt.The basic principle of the invention lies, as in 1 shown in that the radar sensor 10 First, a preselection of relevant goals or objects 60 performs. The position of these objects is directly or as in 1 shown the camera indirectly via an object determination and us situation analysis 42 reported. If the camera can classify an object as relevant in a specific area, this is assumed to be a relevant target or object. The principle in detection is to different optical properties of a vehicle at the radar 10 to look for a specific position in the field of vision at the radar 10 a goal was detected. Depending on whether many or only a few properties were detected increases or thus the recognition rate and thus the probability that it is the detected object, for example, is a vehicle.

Durch den Einsatz einer Radar-Nahbereichssensorik (24-GHz-Radar) 10 sind nicht nur Komfort-Funktionen wie Full-Speed-Range-ACC oder aktive Einparkhilfen mit Brems- und Lenkeingriff realisierbar, sondern auch verbesserte Sicherheitsfunktionen. Ein weiterer Schritt in Richtung mehr Sicherheit wird mit der Einführung von bildverarbeitenden Kamerasystemen 20 vollzogen. Sie erlauben neben der Detektion von Objekts auch deren Klassifizierung, was wiederum eine verbesserte Aktivierung von Sicherheitssystemen zur Folge hat.By using a radar short-range sensor (24 GHz radar) 10 Not only are comfort functions such as full-speed range ACC or active parking aids with braking and steering intervention possible, but also improved safety functions. Another step towards more security comes with the introduction of image processing camera systems 20 completed. In addition to the detection of objects, they also allow their classification, which in turn results in improved activation of security systems.

Besonders vorteilhaft bei dem System ist, dass je größer ein Gegenstand ist, desto höher liegt die Wahrscheinlichkeit, dass es als Fahrzeug erkannt wird. Wird der Schwellwert sehr niedrig angesetzt, würde die Kamera Ziele in der Größe eines mittleren Kartons bestätigen. Zusätzlich steigt die Erkennungswahrscheinlichkeit des Radars mit dem Eisengehalt eines Objek tes. Das heißt je größer und metallhaltiger ein Objekt ist, desto wahrscheinlicher ergibt sich ein autonomer Bremseneingriff, was dann dem Sachverhalt entspricht, dass es sich auch um eine potentiell gefährliche Situation handeln kann.Especially The advantage of the system is that the larger an item is, the better higher is the Probability that it is recognized as a vehicle. Will the Threshold set very low, the camera would be targets in the Size of one middle boxes confirm. additionally the detection probability of the radar increases with the iron content of an object. This means the bigger and bigger the more metalliferous an object is, the more likely it will be an autonomous brake intervention, which then corresponds to the facts, that it can also be a potentially dangerous situation.

Das System wird vollständig in einem Fahrzeug 1 eingebaut. Der Radarsensor 10 besitzt eine sehr hohe longitudinale Auflösung. Erfindungsgemäß wird dieser durch einen Sensor 20 ergänzt, der über eine bereits erwähnte sehr hohe laterale Auflösung verfügt. Hierfür wird ein Videosensor 20 eingesetzt. Mit dem System werden vom Radar 10 erkannte Objekte durch das Objektracking 31 erfaßt und durch die Situationsanalyse 32 klassifiziert. Die Objektauffindung für Sensor I 32 enthält drei Bestandteile. Aus den Sensordaten des Radars 10 werden zunächst Objekte detektiert und gebildet. Gefundene Objekte werden zugeordnet und über die Zeit verfolgt. Neben den direkt messbaren Objektattributen wie Größe, Entfernung und Geschwindigkeit, werden aus den Objektmerkmalen auch Metadaten, wie Objekt ist Fußgänger, Auto oder die Bedeutung eines Verkehrsschildes durch Klassifikation abgeleitet. Hierdurch erfolgt die teilweise nacheinander, häufig aber auch abwechselnd und rückgekoppelt, Objektdetektion, Objektbildung, Objektzuordnung, Objektverfolgung, und eine Objektattributierung sowie Objektklassifikation.The system is completely in a vehicle 1 built-in. The radar sensor 10 has a very high longitudinal resolution. According to the invention this is by a sensor 20 added, which has an already mentioned very high lateral resolution. For this purpose, a video sensor 20 used. With the system are radar 10 detected objects through the object tracking 31 captured and through the situation analysis 32 classified. The object discovery for sensor I 32 contains three ingredients. From the sensor data of the radar 10 First objects are detected and formed. Found objects are assigned and tracked over time. In addition to the directly measurable object attributes such as size, distance and speed, metadata, such as object is pedestrian, car or the meaning of a road sign by classification are derived from the object features. This results in the partial succession, but often also alternately and fed back, object detection, object formation, object assignment, object tracking, and object attribution and object classification.

Durch die Objektdetektion bzw. Objektbildung werden aus den Daten der Sensorerfassung konkrete Objekte gebildet. Beim Radar 10 werden z.B. Reflexionspunkte, die nahe genug beieinander liegen und die gleiche Relativgeschwindigkeit besitzen, zu einem Objekt zusammengefasst werden. Ähnliches gilt für den Einsatz eines Lidar-Systeme zusammen oder getrennt mit einem Radar 10. Hier werden z.B. Scanpunkte, die die gleiche Entfer nung besitzen und benachbart sind, im ersten Schritt zu einer Objekthypothese zusammengefasst. In 2D-Bildern des Kamerasensors 20 werden auf Basis der vom Radar und/oder dem Lidar detektierten Objektpositionen zur Objektbildung verschiedene Detektionsmethoden, die Merkmale wie Form, Farbe, Kanten, Histogramme aus der Bildanalyse oder auch den optischen Fluss im Objekttracking für den visuellen Sensor 41, eingesetzt. Gerade durch die Beschränkung der visuellen Objektdetektion auf die Bereiche, in denen bereits Objekte vom Radar und/oder Lidar detektiert wurden kann der Rechenaufwand insgesamt minimiert werden.By object detection or object formation, concrete objects are formed from the data of the sensor detection. At the radar 10 For example, reflection points that are close enough to each other and have the same relative velocity are combined into one object. The same applies to the use of a lidar systems together or separately with a radar 10 , Here, for example, scan points which have the same distance and are adjacent are combined in the first step to form an object hypothesis. In 2D images of the camera sensor 20 On the basis of the object positions detected by the radar and / or the lidar, different detection methods are used, the features such as shape, color, edges, histograms from the image analysis or also the optical flow in the object tracking for the visual sensor 41 used. Precisely because of the limitation of visual object detection to the areas in which objects have already been detected by the radar and / or lidar, the overall computational effort can be minimized.

Die Objektzuordnung betrifft sowohl die Identifikation desselben Objektes in unterschiedlichen Sensordaten als auch die Objekttracking 31, 41 über die Zeit. Hierzu erfolgt eine genügend genau Orts- und Zeitkalibrierung der Sensoren 10 und 20. Es wird erfindungsgemäß unterschieden mit welcher Gewichtung, ob und wie die unterschiedlichen Sensorendaten vom Radar 10 und dem Kamerabild 23 verarbeitet werden. Beispielweise ist es angedacht die Sensordaten gewissermaßen gleichberechtigt oder mit einem Master-Sensor in der Ausgestaltung als Kamera, der notwendige und hilfreiche Zusatzinformation in Form von Fahrzeuginformationen 70 von anderen Sensoren zur Verifikation durch die erfindungsgemäße Vorauswahl von interessierenden Regionen durch Radar 10 im Bild zu werden. Hierbei wird berücksicht, dass ein minimal zu gestaltender Datenflusses bzw. ein minimales Datenaufkommen erzeugt wird. Die Objektverfolgung 31 und 41 berücksichtigt hierdurch die zeitliche Abfolge der Sensordaten und umfasst die Prädiktion des Bewegungsverhaltens von Objekten.The object assignment concerns both the identification of the same object in different sensor data and the object tracking 31 . 41 over time. For this purpose, a sufficiently accurate location and time calibration of the sensors 10 and 20 , It is distinguished according to the invention with what weight, whether and how the different sensor data from the radar 10 and the camera image 23 are processed. For example, it is thought the sensor data in a sense equal or with a master sensor in the embodiment as a camera, the necessary and helpful additional information in the form of vehicle information 70 from other sensors for verification by the inventive pre-selection of regions of interest by radar 10 to become in the picture. This takes into account that a minimal to be designed Data flow or a minimal amount of data is generated. The object tracking 31 and 41 takes into account the temporal sequence of the sensor data and includes the prediction of the movement behavior of objects.

Die Situationsanalyse 32 und 42 definiert und beschreibt die Beziehungen zwischen den gefundenen Objekten, wie zum Beispiel Einscherer oder Gassenfahrt. Abhängig von der Komplexität der anzusprechenden passiven und aktiven Sicherheitssysteme 120 wie Abstandsanzeige, Abstandswarnung, Abstandsregeltempomat, Stauassistent, Notbremsung, usw. sind unterschiedliche Abstraktionsstufen bei der Situationsanalyse 32 und 42 wie Abstand zum vorausfahrenden Fahrzeug, Berücksichtigung der eigenen Geschwindigkeit, Einscherer-Situation, mögliche Ausweichmanöver angedacht. Neben den Daten aus der Umgebungserfassung ist es erfindungsgemäß angedacht Vorwissen z.B. aus digitalen Karten und Kommunikation mit anderen Fahrzeugen und/oder der Infrastruktur einzusetzen.The situation analysis 32 and 42 Defines and describes the relationships between the objects found, such as Einscherer or Gassenfahrt. Depending on the complexity of the passive and active safety systems to be addressed 120 such as distance display, distance warning, cruise control, congestion assistant, emergency braking, etc. are different levels of abstraction in the situation analysis 32 and 42 such as distance to the vehicle ahead, consideration of own speed, Einscherer situation, possible evasive maneuvers. In addition to the data from the environmental detection, according to the invention it is intended to use prior knowledge, for example from digital maps and communication with other vehicles and / or the infrastructure.

Die gesamte verfügbare Information über die aktuelle Situation wird in einer Objektbestätigung und Situationsanalyse 42 abgespeichert und steht allen anzusprechen passiven und aktiven Sicherheitssystem 120 über den Gefahrenrechner 90 und der Arbitrierung 100 zur Verfügung. Denn die abwägende Betrachtung der aktuellen Verkehrssituation mit der eigenen Aktionsplanung erlaubt eine Risikobewertung und somit eine entsprechende Handlungsableitung.All available information about the current situation will be in an object confirmation and situation analysis 42 stored and is available to address all passive and active security system 120 about the danger calculator 90 and the arbitration 100 to disposal. Because the consideration of the current traffic situation with the own action planning allows a risk assessment and thus a corresponding action derivation.

Diese Redundanz und Komplementarität trägt maßgebend zur Robustheit und Zuverlässigkeit der multisensoriellen Umgebungserfassung bei, da zwei Module zur Objekdetektion, Objektracking und zur Situationsanalyse 32, 43 beim dem System zum Einsatz kommen. Die Objektbestätigung und Situationsanalyse 42 dient die attributierten Objekte mit Meta- Information zu versehen. Ob ein detektiertes Objekt ein wichtiges Objekt ist oder nicht, erfolgt mit statistischen Klassifikatoren, die je nach verwendeter Sensorik 10, 20 eine Vielzahl von Merkmalen in der Entscheidung berücksichtigen.This redundancy and complementarity significantly contributes to the robustness and reliability of the multi-sensor environmental detection, as two modules for object detection, object tracking and situation analysis 32 . 43 when using the system. The object confirmation and situation analysis 42 The attributed objects are provided with meta information. Whether a detected object is an important object or not, is done with statistical classifiers, depending on the sensor used 10 . 20 consider a variety of features in the decision.

Je nach Einstufung des Objektes erfolgt eine Aktivierung des Sicherheitssystem 120 in Form einer die Bremsanforderung an die Elekronischen Bremsen Kontrolleinheit 110 aus der radarbasierten Situationsanalyse, da statische oder dynamische Objekte 50 erkannt wurden.Depending on the classification of the object, the security system is activated 120 in the form of a brake request to the electronic brakes control unit 110 from the radar-based situation analysis, because static or dynamic objects 50 were detected.

Parallel werden wie bereits erwähnt zusätzlich Objekte erkannt, die nicht mit einem Radarsensor 10 messbar sind. So zum Beispiel Fahrspuren, die verwendet werden, um die Voraussage über das wahrscheinliche Verhalten erkannten Objektes, wie eines Fahrzeuges oder auch die des eigenen Fahrzeuges zu verbessern. Die Fahrspurfindung 22 nimmt eine aktive Rolle im Erkennungsprozess und wird beispielsweise mittels Kalmanfiltern umgesetzt. Durch Bekanntsein des Verlaufes der Spurmarkierung und der höheren lateralen Messgenauigkeit bei den erkannten Objekten, ist eine wesentlich differenziertere Eingriffsentscheidung möglich.In parallel, as already mentioned, additional objects are detected that are not with a radar sensor 10 are measurable. For example, lanes used to improve the prediction of the likely behavior of an object, such as a vehicle or even one's own vehicle. The lane finding 22 takes an active role in the recognition process and is implemented, for example, using Kalman filters. By knowing the course of the lane marking and the higher lateral accuracy of the detected objects, a significantly differentiated intervention decision is possible.

Basierend auf dem zuverlässigeren Situationsanalyse und deren Ergebnis ist es möglich wesentlich stärker als bisher in das Fahrverhalten des Fahrzeuges einzugreifen. Der bisher realisierte Bremseneingriff wurde aufgrund des unzureichenden Umfeldmodells freiwillig auf 0,3 g begrenzt. Diese Begrenzung kann wegfallen oder zumindest nach oben verschoben werden. Vorteilhaft und sinnvoll erscheint zunächst eine Bremsung mit 0,6 g, da der Bereich über 0,4 g vom Fahrer als Gefahr wahrgenommen wird. Zusätzlich ist das System dann auch bei Regennasser Fahrbahn (mu = 0,7) funktionsfähig. Bei höheren Verzögerungen könnte dann der Fahrer mit dem Fuß wieder ins Gaspedal fallen könnten, und somit den Eingriff abrechen würden.Based on the more reliable Situation analysis and its result, it is possible much stronger than previously intervene in the handling of the vehicle. The so far realized brake intervention was due to the inadequate environmental model voluntarily limited to 0.3 g. This limitation can be omitted or at least move up. Advantageous and useful appears first a braking at 0.6 g, as the range above 0.4 g from the driver as a hazard is perceived. additionally the system is then also functional in rain wet roadway (mu = 0.7). at higher delays could then the driver with his foot again could fall into the gas pedal, and thus cancel the engagement.

Darüber hinaus kann der Gefahrenrechner 90 zur weiteren Verbesserung der passiven Sicherheit in Abhängigkeit von dem ermittelten Gefahrenpotential Stellgrößen zum Schließen von Fahrzeugöffnungen 122 erzeugen. Vorzugsweise werden die Fenster und das Schiebedach 122 bei einem drohenden Unfall geschlossen. Steigt das Gefahrenpotential weiter und steht ein „Crash" unmittelbar bevor, so werden die Fahrzeuginsassen über einen elektromotorischen, reversiblen Gurtstraffer 121 gesichert und positioniert und es sinkt das Risiko der Insassen verletzt zu werden.In addition, the danger calculator can 90 to further improve the passive safety as a function of the determined hazard potential manipulated variables for closing vehicle openings 122 produce. Preferably, the windows and the sunroof 122 closed in the event of an imminent accident. If the danger potential increases further and if a "crash" is imminent, the vehicle occupants will have an electromotive, reversible belt tensioner 121 secured and positioned and it reduces the risk of injuring the occupants.

Vorteilhaft vorgesehen sind optische und/oder haptische Warn- und/oder Führungshinweise bzw. Handlungsanweisungen zum Warnen 123 und/oder Leiten des Fahrers zu einer an die aktuelle Fahrzeugsituation angepassten Fahrerreaktion. Die Warnhinweise erfolgen vorzugsweise mittels eines vibrierenden Pedals 124 und/oder vibrierenden Sitzes und/oder einer aktustischen und/oder visuellen Anzeige.Advantageously provided are optical and / or haptic warning and / or guidance instructions or instructions for warning 123 and / or directing the driver to a driver response adapted to the current vehicle situation. The warnings are preferably carried out by means of a vibrating pedal 124 and / or vibrating seat and / or an auditory and / or visual display.

Die Führungshinweise werden mittels einer veränderten Bedienkraft an mindestens einem Pedal und/oder der Lenkhandhabe gegeben, so dass der Fahrer über die zu- oder abnehmende Bedienkraft zu situationsgerechter Fahrzeugführung veranlasst wird.The Procedural instructions are changed by means of an Operating force on at least one pedal and / or the steering handle given so that the driver over the increasing or decreasing operating force is prompted to situation-appropriate vehicle guidance.

Die Funktionen des Gefahrenrechners 90 bestehen im wesentlichen in der Berechnung fahrdynamischer Kennzahlen, der Berechnung von Gefahrenpotentialen und der Berechnung der Ansteuersignale.The functions of the hazard computer 90 consist essentially in the calculation of driving dynamics key figures, the calculation of hazard potentials and the calculation of the control signals.

Mittels des Gefahrenrechners 90 wird die Situation in geeigneter Weise bewertet und die Gefahrenpotentiale bestimmt. Das Gefahrenpotential wird als dimensionslose Größe im Bereich zwischen 0 und 100 festgelegt. Das Gefahrenpotential ist abhängig von der Beschleunigung, die bei dem Fahrmanöver notwendig ist, dass durchgeführt werden muss, um den Unfall zu verhindern. Je größer die notwendige Beschleunigung ist ist, je gefährlicher ist auch die Situation und desto gefährlicher wird das Fahrmanöver von den Insassen wahrgenommen. Die Umrechnung von notwendiger Beschleunigung in Gefahrenpotential unterscheidet sich für Quer- und Längsbeschleunigung. Eine geringere notwendige Querbeschleunigung erzeugt ein höheres vergleichbares Gefahrenpotential.By means of the danger calculator 90 will the Si evaluated in a suitable manner and the potential dangers determined. The hazard potential is defined as dimensionless size in the range between 0 and 100. The hazard potential depends on the acceleration that is necessary in the maneuver that must be performed to prevent the accident. The greater the necessary acceleration, the more dangerous the situation and the more dangerous the driving maneuver will be perceived by the occupants. The conversion of necessary acceleration into danger potential differs for lateral and longitudinal acceleration. A lower necessary lateral acceleration generates a higher comparable hazard potential.

Die passiven und aktiven Sicherheitssysteme werden lediglich aufgrund von Schwellenwertabfragen der Gefahrenpotentiale angesteuert. Dabei können mehrere Gefahrenpotentiale kombiniert werden, um einen passiven und aktiven Sicherheitssysteme zu aktivieren. Dies bedeutet, dass die Zustandsbewertung zunächst nicht die Auswahl bzw. die Betätigungsdosierung der passiven und aktiven Sicherheitssysteme beinhaltet. Dabei wird eine bestimmte Situation durch mehrere Gefahrenpotentiale bewertet. Dies lässt eine umfangreichere Bewertung der Situation zu. Es gibt Gefahrenpotentiale, die unabhängig von den passiven und aktiven Sicherheitssystemen die Situation bewerten. So kann es beispielsweise ein Gefahrenpotential geben, das den längsdynamischen Fahrzustand bewertet. Entsprechend gibt es ein allgemeingültiges Gefahrenpotential, das den querdynamischen Fahrzustand beschreibt. Im Gegensatz zu diesen allgemeingültigen Gefahrenpotentialen gibt es auf bestimmte passiven und aktiven Sicherheitssysteme zugeschnittene spezielle Gefahrenpotentiale. Diese Gefahrenpotentiale tragen der Tatsache Rechnung, dass unterschiedliche passive und aktive Sicherheitssysteme auch unterschiedliche Aktivierungszeiten haben. Das bedeutet, dass dieselbe Situation für einen passives und aktives Sicherheitssystem mit langer Aktivierungszeit vergleichsweise kriti scher ist als für eines mit kurzer. Es gibt also allgemeingültige und speziell auf passive und aktive Sicherheitssysteme zugeschnittene Gefahrenpotentiale.The passive and active safety systems are merely due driven by thresholds of hazard potentials. There are several Hazardous potential combined to a passive and active To activate security systems. This means that the condition assessment first not the selection or the operating dosage which includes passive and active safety systems. It will a certain situation is evaluated by several hazard potentials. This leaves a more comprehensive assessment of the situation too. There are potential hazards the independent evaluate the situation from the passive and active security systems. Thus, for example, there can be a danger potential that is the longitudinal dynamic Driving condition evaluated. Accordingly, there is a general hazard potential which describes the lateral dynamic driving condition. In contrast to these universal hazards There are tailored to specific passive and active security systems special danger potentials. These potential dangers carry the Fact bill that different passive and active security systems also have different activation times. It means that same situation for a passive and active safety system with a long activation time comparatively critical is as for one with a short one. So there are universal and specific to passive and active safety systems tailored risk potentials.

Die in dem elektronischen Steuersystem vorgesehene Arbitrierungseinheit 110 weist vorzugsweise einen Zustandsautomaten auf, der das Verhalten des Fahrers anhand von Größen, die den Gaspedalweg, die Gaspedalgeschwindigkeit und die Umsetzzeit zwischen Gas- und Bremspedal und/oder den Zustand (An/Aus) des Bremslichts und/oder gemessene und/oder berechnete Bremsdrücke der Bremsanlage und/oder der Fahrzeugbeschleunigung und/oder deren Ableitungen wiedergeben in Korrelation zu einem von dem Gefahrenpotentialen abhängigen Ansteuergrößen arbitriert und in Abhängigkeit von dem Ergebnis Bremsdruckvorgaben des Gefahrenrechners freischaltet. In Abhängigkeit von der Entwicklung des Gefahrenpotentials (Wert und/oder Gradient) kann der Stelleingriff, wie der Bremseneingriff, auch autonom, d.h. gegen den Fahrerwunsch, stattfinden. Der autonome Stelleingriff, wie Bremseneingriff, ist dabei bzgl. des Wertes der Stellgröße, wie dem Bremsdruck, begrenzt.The arbitration unit provided in the electronic control system 110 preferably has a state machine that monitors the behavior of the driver based on the quantities, the accelerator pedal travel, the accelerator pedal speed and the reaction time between the accelerator and brake pedals and / or the state (on / off) of the brake light and / or measured and / or calculated brake pressures the braking system and / or the vehicle acceleration and / or their derivatives arbitrate in correlation to a dependent of the hazard potential control variables and unlocks depending on the result brake pressure specifications of the hazard calculator. Depending on the development of the danger potential (value and / or gradient), the control intervention, such as the brake intervention, can also take place autonomously, ie against the driver's request. The autonomous control intervention, such as brake intervention, is limited in terms of the value of the manipulated variable, such as the brake pressure.

In Abhängigkeit von dem Zustand der Arbitriereinheit 100 werden dann Stelleingriffe für die Verzögerungseinrichtungen der aktiven und passiven Sicherheitssysteme des Fahrzeugs zur Verfügung gestellt, die verschiedene Bremsdruckanforderungen beinhalten, die von einer Vorbefüllung der Bremsanlage zur Verringerung der Ansprechzeit bis zur maximalen Bremsdruckeinsteuerung reichen.Depending on the state of the arbitration unit 100 Then interventions are provided for the deceleration devices of the active and passive safety systems of the vehicle, which include various brake pressure requirements, ranging from a pre-filling of the brake system to reduce the response time to the maximum brake pressure.

Hierzu wertet der Zustandsautomat das Verhalten des Fahrers aus und schaltet davon abhängig Bremsdruckvorgaben des Gefahrenrechners frei. Ausgewertet wird im Wesentlichen die Fußbe wegung des Fahrers. Diese lässt Rückschlüsse darüber zu, wie gefährlich der Fahrer die gleiche Situation einschätzt bzw. ob er überhaupt eine kritische Situation erkannt hat. Erst wenn der Fahrer diese kritische Situation bestätigt, wird Fahrer unabhängig Bremsdruck aufgebaut.For this The state machine evaluates the behavior of the driver and switches depending on brake pressure specifications of the danger computer. Essentially, the evaluation is carried out Foot movement of the Driver. This leaves Conclusions about how dangerous the driver assesses the same situation or whether he at all has recognized a critical situation. Only when the driver this confirmed critical situation driver becomes independent Brake pressure built up.

Abschließend soll noch einmal betont werden, dass es bei der Erfindung um eine Zielbestätigung handelt, da die Daten überprüft, verifiziert und bestätigt werden, um die Sensoren gegenseitig zu ergänzen, wodurch die Datenübertragung zwischen den Sensoren einfach zu realisieren ist und keine hohen systemtechnischen Anforderungen gestellt werden.To conclude to emphasize once again that it is a destination confirmation in the invention, as the data is verified verified and confirmed be to complement each other's sensors, reducing data transmission between the sensors is easy to implement and no high system technical requirements are made.

11
Fahrzeugvehicle
1010
Radarradar
2020
Kamerasensorcamera sensor
2121
Kameracamera
2222
Fahrspurfindunglane finding
2323
Kamerabildcamera image
3030
Objektauffindung für Sensor Iobject discovery for sensor I
3131
Objekttracking für Sensor Iobject tracking for sensor I
3232
Situationsanalyse für Sensor Isituation analysis for sensor I
4040
Perzeption für visuellen Sensorperceptions for visual sensor
4141
Objekttracking für visuellen Sensorobject tracking for visual sensor
4242
Objektbestätigung und SituationsanalyseObject confirmation and situation analysis
4343
Fahrspurprädiktionlane prediction
5050
stastische und dynamische Objektestastische and dynamic objects
6060
Relevante Obejkterelevant properties matching
7070
Fahrzeuginformationvehicle information
8080
Fahrerinformationdriver information
9090
Gefahrenrechnerrisk calculator
100100
Arbitrierungarbitration
110110
Elektronische Bremsen Kontrolleinheit (ECU)electronic Brake control unit (ECU)
120120
Sicherheitssystemesecurity systems
121121
Gurtebelts
122122
Schiebedach, FensterSunroof, window
123123
Warnungwarning
124124
Pedalrückwirkung (Force Feedback Pedal FFP)Pedal reaction (Force Feedback Pedal FFP)

Claims (6)

System zur multimodalen Bestimmung von Objekten in einem vor und/oder hinter einem Fahrzeug liegenden Blickfeld, wobei mittels eines ersten Sensors (10) eine erste Umfeldererfassung (30) durchgeführt wird, das Sensorausgangssignal einem ersten Sensorsignalanalyseverfahren mit Objektauffindung (31) zugeführt wird, und mittels eines zweiten Sensors (20) eine weitere Umfelderfassung durchgeführt wird, das Sensorausgangssignal des zweiten Sensorausgangssignal (23) einem zweiten Sensorsignanalyseverfahrens mit Objektauffindung (41) zugeführt wird, dadurch gekennzeichnet, dass durch die Sensoren (10, 20) erfassten und durch die Sensorsignalanalyseverfahren (31, 41) ermittelten und bestimmten Objekt an ein Objektbestätigungs- und Situationsanalyse-Modul (42) zur Verifikation zugeführt werden, wobei zur Verifikation weitere Fahrzeuginformationen und die Fahrspurprädiktion (43) berücksichtigt werden, und das Objektbestätigungs- und Situationsanalyse-Modul (42) relevante Objekte (60) bestimmt, wobei durch die relevanten Objekte (60) und die Fahrerinformation (80) bei Erkennung einer Gefahrensituation durch den Gefahrenrechner (90) Maßnahmen zur Erhöhung der passiven Sicherheit (120) eingeleitet werden.System for multimodal determination of objects in a front and / or behind a vehicle field of view, wherein by means of a first sensor ( 10 ) a first environment detection ( 30 ), the sensor output signal is subjected to a first sensor signal analysis method with object detection ( 31 ), and by means of a second sensor ( 20 ) a further environment detection is performed, the sensor output signal of the second sensor output signal ( 23 ) a second sensor signal analysis method with object discovery ( 41 ), characterized in that by the sensors ( 10 . 20 ) and detected by the sensor signal analysis method ( 31 . 41 ) and determined object to an object confirmation and situation analysis module ( 42 ) are supplied for verification, wherein for verification further vehicle information and the lane prediction ( 43 ) and the object confirmation and situation analysis module ( 42 ) relevant objects ( 60 ), whereby the relevant objects ( 60 ) and the driver information ( 80 ) upon detection of a dangerous situation by the hazard computer ( 90 ) Measures to increase passive safety ( 120 ) be initiated. System nach Anspruch 1 dadurch gekennzeichnet, dass der erste Sensor (10) ein Radarsensor und der zweite Sensor ein visueller Sensor ist, wobei die Sensoren unterschiedlichen Bereich des elektromagnetischen Wellespektrums erfassen und das System in einem Fahrerassistenzsystem mit Frontsensorik integriert wird.System according to claim 1, characterized in that the first sensor ( 10 ) a radar sensor and the second sensor is a visual sensor, wherein the sensors detect different portion of the electromagnetic wave spectrum and the system is integrated in a driver assistance system with front sensors. System an einem der vorangegangenen Ansprüche oh 1 dadurch gekennzeichnet, das der erste Sensor (10) ein Radarsensor und der zweite Sensor eine Kamera ist.System according to one of the preceding claims, characterized in that the first sensor ( 10 ) is a radar sensor and the second sensor is a camera. System nach einem der vorangegangen Ansprüche, dadurch gekennzeichnet, dass eine Minimierung des Datenflusses zwischen den Sensoren durch die Vorauswahl von relevanten Objekten im Radar (10) erfolgt.System according to one of the preceding claims, characterized in that a minimization of the data flow between the sensors by the preselection of relevant objects in the radar ( 10 ) he follows. System nach einem der vorangegangen Ansprüche, dadurch gekennzeichnet, dass eine Anpassung der Erfassungsbereiche von Videokamera und Radar erfolgt, wobei der vom Radar (10) erfasste Bereich durch die Videokamera (20) ausgewertet wird.System according to one of the preceding claims, characterized in that an adjustment of the detection areas of video camera and radar takes place, wherein the radar ( 10 ) detected area by the video camera ( 20 ) is evaluated. System nach einem der vorangegangen Ansprüche dadurch kennzeichnet, dass eine Bremsstrategie mit mindestens 0,3 g mit einer Erhöhung der Verzögerung kurz vor dem Stillstand erfolgt über die Sicherheitssysteme (120) erfolgt, wodurch ein Gefühl einer Notbremsung für den Fahrer erzeugt wird.System according to one of the preceding claims characterized in that a braking strategy with at least 0.3 g with an increase in the delay shortly before standstill via the safety systems ( 120 ), thereby creating a sense of emergency braking for the driver.
DE102007049516A 2006-10-13 2007-10-15 Objects e.g. pedestrian, multimodal-determination system for vehicle i.e. car, has danger processor, where measure for increasing passive security is triggered by relevant objects during detection of danger situation by processor Withdrawn DE102007049516A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102007049516A DE102007049516A1 (en) 2006-10-13 2007-10-15 Objects e.g. pedestrian, multimodal-determination system for vehicle i.e. car, has danger processor, where measure for increasing passive security is triggered by relevant objects during detection of danger situation by processor

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102006049102.5 2006-10-13
DE102006049102 2006-10-13
DE102007049516A DE102007049516A1 (en) 2006-10-13 2007-10-15 Objects e.g. pedestrian, multimodal-determination system for vehicle i.e. car, has danger processor, where measure for increasing passive security is triggered by relevant objects during detection of danger situation by processor

Publications (1)

Publication Number Publication Date
DE102007049516A1 true DE102007049516A1 (en) 2008-04-24

Family

ID=39198613

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102007049516A Withdrawn DE102007049516A1 (en) 2006-10-13 2007-10-15 Objects e.g. pedestrian, multimodal-determination system for vehicle i.e. car, has danger processor, where measure for increasing passive security is triggered by relevant objects during detection of danger situation by processor

Country Status (1)

Country Link
DE (1) DE102007049516A1 (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010003375A1 (en) * 2010-03-29 2011-09-29 Bayerische Motoren Werke Aktiengesellschaft Surrounding evaluation system, particularly for use in speed monitoring systems in vehicle, has electronic controller and sensor mediums for detecting objects in surrounding of vehicle
EP2615598A1 (en) 2012-01-11 2013-07-17 Honda Research Institute Europe GmbH Vehicle with computing means for monitoring and predicting traffic participant objects
EP2431225B1 (en) 2010-09-17 2013-11-27 SMR Patents S.à.r.l. Method for an automotive hazardous detection and information system
DE102013200028A1 (en) * 2013-01-02 2014-07-03 Bayerische Motoren Werke Aktiengesellschaft Method for situation-adaptive changing of steering stiffness of motor car, involves parameterizing angle controller/steering angle rate controller for steering intervention such that criticality of situation is reflected in stiffness
DE102013205361A1 (en) * 2013-03-26 2014-10-02 Continental Teves Ag & Co. Ohg System and method for archiving touch events of a vehicle
DE202013006196U1 (en) * 2013-07-09 2014-10-13 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Driver assistance system for a motor vehicle and motor vehicle
DE102013225804A1 (en) 2013-12-12 2015-06-18 Continental Teves Ag & Co. Ohg Method and device for assisting the driver of a motor vehicle in dangerous situations
US9096228B2 (en) 2010-06-23 2015-08-04 Continental Teves Ag & Co. Ohg Method and system for accelerated object recognition and/or accelerated object attribute recognition and use of said method
WO2015125022A3 (en) * 2014-02-20 2015-11-26 Mobileye Vision Technologies Ltd. Advanced driver assistance system based on radar-cued visual imaging
DE102015206918A1 (en) 2014-06-13 2015-12-17 Ford Global Technologies, Llc Method for operating an electromechanical vehicle brake system
US9539992B2 (en) 2014-06-13 2017-01-10 Ford Global Technologies, Llc Method for operating an electromechanical vehicle brake system
US9539994B2 (en) 2014-06-13 2017-01-10 Ford Global Technologies, Llc Method for operating an electromechanical vehicle braking
DE102015217497A1 (en) * 2015-09-14 2017-03-16 Volkswagen Aktiengesellschaft Method and device for synchronizing a first local environment map with a second local environment map in an environment of a motor vehicle
CN107813821A (en) * 2016-09-12 2018-03-20 北京行易道科技有限公司 Method for early warning and device
CN111025332A (en) * 2018-10-04 2020-04-17 罗伯特·博世有限公司 Environmental sensing system for a motor vehicle
DE102019207916A1 (en) * 2019-05-29 2020-12-03 Continental Automotive Gmbh Method for the automated braking of a vehicle
DE102021004068A1 (en) 2021-08-06 2021-11-04 Daimler Ag Method for operating an assistance system for speed-dependent distance control of a vehicle
DE102021211255A1 (en) 2021-10-06 2023-04-06 Zf Friedrichshafen Ag Computer-implemented method, hardware module and computer program for selecting at least one camera sensor of a camera system of a driving system for object recognition while the driving system is driving and driving system that can be operated automatically

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010003375B4 (en) 2010-03-29 2021-07-22 Bayerische Motoren Werke Aktiengesellschaft Environment evaluation system in a vehicle with sensor means for detecting objects in the vicinity of the vehicle
DE102010003375A1 (en) * 2010-03-29 2011-09-29 Bayerische Motoren Werke Aktiengesellschaft Surrounding evaluation system, particularly for use in speed monitoring systems in vehicle, has electronic controller and sensor mediums for detecting objects in surrounding of vehicle
US9096228B2 (en) 2010-06-23 2015-08-04 Continental Teves Ag & Co. Ohg Method and system for accelerated object recognition and/or accelerated object attribute recognition and use of said method
EP2431225B1 (en) 2010-09-17 2013-11-27 SMR Patents S.à.r.l. Method for an automotive hazardous detection and information system
EP2615598A1 (en) 2012-01-11 2013-07-17 Honda Research Institute Europe GmbH Vehicle with computing means for monitoring and predicting traffic participant objects
US9104965B2 (en) 2012-01-11 2015-08-11 Honda Research Institute Europe Gmbh Vehicle with computing means for monitoring and predicting traffic participant objects
DE102013200028A1 (en) * 2013-01-02 2014-07-03 Bayerische Motoren Werke Aktiengesellschaft Method for situation-adaptive changing of steering stiffness of motor car, involves parameterizing angle controller/steering angle rate controller for steering intervention such that criticality of situation is reflected in stiffness
DE102013205361A1 (en) * 2013-03-26 2014-10-02 Continental Teves Ag & Co. Ohg System and method for archiving touch events of a vehicle
US9333954B2 (en) 2013-07-09 2016-05-10 GM Global Technology Operations LLC Driver assistance system for a motor vehicle
CN104276172A (en) * 2013-07-09 2015-01-14 通用汽车环球科技运作有限责任公司 Driver assistance system for a motor vehicle
DE202013006196U1 (en) * 2013-07-09 2014-10-13 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Driver assistance system for a motor vehicle and motor vehicle
DE102013225804A1 (en) 2013-12-12 2015-06-18 Continental Teves Ag & Co. Ohg Method and device for assisting the driver of a motor vehicle in dangerous situations
US10690770B2 (en) 2014-02-20 2020-06-23 Mobileye Vision Technologies Ltd Navigation based on radar-cued visual imaging
US9664789B2 (en) 2014-02-20 2017-05-30 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
WO2015125022A3 (en) * 2014-02-20 2015-11-26 Mobileye Vision Technologies Ltd. Advanced driver assistance system based on radar-cued visual imaging
US10274598B2 (en) 2014-02-20 2019-04-30 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
DE102015206918A1 (en) 2014-06-13 2015-12-17 Ford Global Technologies, Llc Method for operating an electromechanical vehicle brake system
US9539994B2 (en) 2014-06-13 2017-01-10 Ford Global Technologies, Llc Method for operating an electromechanical vehicle braking
US9592812B2 (en) 2014-06-13 2017-03-14 Ford Global Technologies, Llc Method for operating an electromechanical vehicle brake system
US9539992B2 (en) 2014-06-13 2017-01-10 Ford Global Technologies, Llc Method for operating an electromechanical vehicle brake system
DE102015217497A1 (en) * 2015-09-14 2017-03-16 Volkswagen Aktiengesellschaft Method and device for synchronizing a first local environment map with a second local environment map in an environment of a motor vehicle
CN107813821A (en) * 2016-09-12 2018-03-20 北京行易道科技有限公司 Method for early warning and device
CN111025332A (en) * 2018-10-04 2020-04-17 罗伯特·博世有限公司 Environmental sensing system for a motor vehicle
DE102019207916A1 (en) * 2019-05-29 2020-12-03 Continental Automotive Gmbh Method for the automated braking of a vehicle
DE102021004068A1 (en) 2021-08-06 2021-11-04 Daimler Ag Method for operating an assistance system for speed-dependent distance control of a vehicle
DE102021211255A1 (en) 2021-10-06 2023-04-06 Zf Friedrichshafen Ag Computer-implemented method, hardware module and computer program for selecting at least one camera sensor of a camera system of a driving system for object recognition while the driving system is driving and driving system that can be operated automatically

Similar Documents

Publication Publication Date Title
EP2095351B1 (en) System for determining objects
DE102007049516A1 (en) Objects e.g. pedestrian, multimodal-determination system for vehicle i.e. car, has danger processor, where measure for increasing passive security is triggered by relevant objects during detection of danger situation by processor
EP2242674B1 (en) Method and assistance system for detecting objects in the surrounding area of a vehicle
EP1554604B2 (en) Method and device for preventing a collision of vehicles
EP1486933B1 (en) Driver assistance System
DE102009017152B4 (en) Method and device for longitudinal and transverse guidance of a motor vehicle
EP2183140B1 (en) Method and device for supporting the process of leaving a parking space of motor vehicles
EP1559607B1 (en) Method for vehicle collision warning.
EP2066544B1 (en) Method for determining direction of travel in a motor vehicle
EP3281830A1 (en) Control system and control method for determining a trajectory and for generating associated signals or control commands
EP3153376B1 (en) Method and device for determining the adaptive reaction time of a driver of a motor vehicle
DE102016226040A1 (en) Method and device in a motor vehicle for pedestrian protection
DE102010063006A1 (en) Comfort feature in a driver assistance system with front camera
EP1609689B1 (en) Brake assistant for motor vehicles
DE102005023832A1 (en) Method and system for avoiding a collision of a motor vehicle with an object
WO2014041023A1 (en) Methods and devices for collision warning during lane changes
WO2007051835A1 (en) Method for assistance to a driver while driving a vehicle
DE102017125454A1 (en) Frontal impact mitigation system for a vehicle and method
WO2008071473A1 (en) Method and device for detecting an obstacle in a region surrounding a motor vehicle, and motor vehicle
DE102020112686A1 (en) Adaptive autonomous emergency braking system taking into account the steering path and control method for the same
DE102011087781A1 (en) Method and system for reducing accident damage in a collision between two vehicles
WO2016180665A1 (en) Method for controlling a functional device of a motor vehicle on the basis of merged sensor data, control device, driver assistance system and motor vehicle
EP1652161B1 (en) Device for classifying at least one object in the vicinity of a vehicle
DE102016007630A1 (en) Method for determining an emergency braking situation of a vehicle and device for carrying out the method
DE102020129538A1 (en) Driver assistance device

Legal Events

Date Code Title Description
ON Later submitted papers
OR8 Request for search as to paragraph 43 lit. 1 sentence 1 patent law
8105 Search report available
R012 Request for examination validly filed
R012 Request for examination validly filed

Effective date: 20140910

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee