DE102009013326A1 - Vehicle controlling method, involves producing image of object, determining object data and surrounding data from image of object, and classifying object using object data and surrounding data - Google Patents

Vehicle controlling method, involves producing image of object, determining object data and surrounding data from image of object, and classifying object using object data and surrounding data Download PDF

Info

Publication number
DE102009013326A1
DE102009013326A1 DE102009013326A DE102009013326A DE102009013326A1 DE 102009013326 A1 DE102009013326 A1 DE 102009013326A1 DE 102009013326 A DE102009013326 A DE 102009013326A DE 102009013326 A DE102009013326 A DE 102009013326A DE 102009013326 A1 DE102009013326 A1 DE 102009013326A1
Authority
DE
Germany
Prior art keywords
vehicle
data
relevance
determined
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102009013326A
Other languages
German (de)
Inventor
Manuel Dipl.-Ing. Beck
Andreas Dr.-Ing. Schwarzhaupt
Istvan Dipl.-Ing. Vegh
Jan Dr.-Ing. Wirnitzer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102009013326A priority Critical patent/DE102009013326A1/en
Publication of DE102009013326A1 publication Critical patent/DE102009013326A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/20—Road profile, i.e. the change in elevation or curvature of a plurality of continuous road segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/30—Road curve radius
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9325—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles for inter-vehicle distance regulation, e.g. navigating in platoons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9329—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles cooperating with reflectors or transponders
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

The method involves detecting objects (O1, O2) e.g. road sign, in a surrounding of a vehicle (F) by a radar system (1), and detecting a progress of a road (R). A driver assistance system (3) is controlled based on relevance and/or classification of the objects and/or the progress. The relevance of the objects is determined from the data, detected by the radar system, with respect to present situation (S) of the vehicle. An image of the objects is produced for examining the relevance. Object data and surrounding data are determined from the image, and are used for classifying the objects.

Description

Die Erfindung betrifft ein Verfahren zur Steuerung eines Fahrzeugs, wobei mittels eines Radarsystems zumindest ein Objekt in einem Umfeld des Fahrzeugs und mittels zumindest einer Kamera ein Verlauf einer Straße erfasst werden, wobei in Abhängigkeit einer Relevanz und/oder Klassifizierung des Objekts und/oder in Abhängigkeit des Verlaufs der Straße ein Fahrerassistenzsystem des Fahrzeugs gesteuert wird.The The invention relates to a method for controlling a vehicle, wherein by means of a radar system at least one object in an environment of the vehicle and by means of at least one camera a course of a Road are detected, depending on a Relevance and / or classification of the object and / or depending on the course of the road controlled a driver assistance system of the vehicle becomes.

Aus der EP 1 566 659 A1 ist ein Radarsystem eines Fahrzeugs für das Übertragen elektromagnetischer Wellen während einer Überwachung eines Erfassungsbereichs bekannt. Der Erfassungsbereich ist in mehrere Erfassungsregionen unterteilt, wobei mittels des Radarsystems ein Objekt in jeder der Erfassungsregionen erfassbar ist. Bei einer Anwendung des Radarsystems in Verbindung mit einer Geschwindigkeitsregelanlage des Fahrzeugs sind aus einem mittels des Radarsystems erfassten Bild des Objekts dessen Form und Abmessungen ermittelbar, wobei anhand der Form und den Abmessungen ermittelbar ist, um welche Art von Objekt es sich handelt. Weiterhin ist mittels einer Kamera anhand von Straßenmarkierungen ein Verlauf einer Straße, auf welcher sich das Fahrzeug befindet, ermittelbar, wobei eine Eigenbewegung des Fahrzeugs anhand eines Gierratensensors, eines Lenkwinkelsensors und eines Raddrehzahlsensors schätzbar ist. Zusätzlich ist ermittelbar, ob sich das Objekt bewegt oder steht. Anhand der ermittelten Daten des Objekts wird die Geschwindigkeitsregelanlage gesteuert.From the EP 1 566 659 A1 For example, a radar system of a vehicle for transmitting electromagnetic waves during monitoring of a detection range is known. The detection area is divided into a plurality of detection regions, wherein an object in each of the detection regions can be detected by means of the radar system. In an application of the radar system in conjunction with a speed control system of the vehicle, its shape and dimensions can be determined from an image of the object detected by means of the radar system, it being possible with the aid of the shape and the dimensions to determine which type of object is involved. Furthermore, a course of a road on which the vehicle is located can be determined by means of a camera on the basis of road markings, it being possible to estimate an intrinsic movement of the vehicle on the basis of a yaw rate sensor, a steering angle sensor and a wheel speed sensor. In addition, it can be determined whether the object is moving or standing. Based on the determined data of the object, the cruise control system is controlled.

Weiterhin ist aus der US 2008/0169966 A1 ein Radarsystem für ein Fahrzeug bekannt, welches eine Übertragungseinheit zur Übertragung eines Radarsignals an ein Objekt und eine Empfangseinheit zum Empfang eines von dem Objekt reflektierten Radarsignals umfasst. Eine Existenz des erfassten Objekts wird in Abhängigkeit eines Vergleichs einer Intensität des reflektierten Radarsignals mit einem vorgegebenen Intensitätsgrenzwert beurteilt. Mittels des Radarsystems ist beispielsweise eine Erfassungseinheit zur Erfassung eines Straßenverlaufs gekoppelt, wobei die Erfassungseinheit aus einer Kamera zur Bilderfassung und einer Bildverarbeitungseinheit gebildet ist. Mittels der Erfassungseinheit sind Straßenmarkierungen erfassbar, verarbeitbar und einer Signalverarbeitungseinheit des Radarsystems zuführbar, wobei mittels der Signalverarbeitungseinheit ein Verlauf einer Straße ermittelbar ist.Furthermore, from the US 2008/0169966 A1 a radar system for a vehicle is known which comprises a transmission unit for transmitting a radar signal to an object and a receiving unit for receiving a radar signal reflected by the object. An existence of the detected object is judged in accordance with a comparison of an intensity of the reflected radar signal with a predetermined intensity threshold. By means of the radar system, for example, a detection unit for detecting a road course is coupled, wherein the detection unit is formed by a camera for image acquisition and an image processing unit. By means of the detection unit, road markings can be detected, processed and fed to a signal processing unit of the radar system, wherein a course of a road can be determined by means of the signal processing unit.

Ferner offenbart die US 2008/0042812 A1 eine Vorrichtung und ein Verfahren, wobei mittels einer Kamera eines Fahrzeugs ein digitales Video erfasst wird und anhand einer Auswertung eines Pixelversatzes zumindest ein Bereich von Interesse in dem Video identifiziert wird. Dabei kann eine Gruppe von Pixeln beispielsweise ein Fahrzeug oder ein Verkehrszeichen repräsentieren. Um verbesserte Tiefeninformation des Videos zu erzeugen und eine Gültigkeit der erfassten Videodaten zu überprüfen werden mittels eines Radarsystems Radardaten erzeugt, anhand derer die Videodaten ergänzt werden. Mittels der Radardaten werden Bewegungen von Objekten ermittelt und verifiziert.Further, the US 2008/0042812 A1 a device and a method, wherein by means of a camera of a vehicle, a digital video is detected and based on an evaluation of a pixel offset at least a region of interest is identified in the video. In this case, a group of pixels may represent, for example, a vehicle or a traffic sign. In order to produce improved depth information of the video and to check the validity of the captured video data, radar data is generated by means of a radar system, by means of which the video data is supplemented. By means of the radar data, movements of objects are determined and verified.

Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Steuerung eines Fahrzeugs anzugeben.Of the Invention is based on the object, a relation to the Prior art improved method for controlling a vehicle specify.

Bei dem erfindungsgemäßen Verfahren zur Steuerung eines Fahrzeugs werden mittels eines Radarsystems zumindest ein Objekt in einem Umfeld des Fahrzeugs und mittels zumindest einer Kamera ein Verlauf einer Straße erfasst, wobei in Abhängigkeit einer Relevanz und/oder Klassifizierung des Objekts und/oder in Abhängigkeit des Verlaufs der Straße ein Fahrerassistenzsystem des Fahrzeugs gesteuert wird.at the method of the invention for control of a vehicle are at least one by means of a radar system Object in an environment of the vehicle and by means of at least one Camera detects a course of a road, depending on a relevance and / or classification of the object and / or in Dependence of the course of the road a driver assistance system the vehicle is controlled.

Erfindungsgemäß wird aus mittels des Radarsystems erfassten Daten eine Relevanz des Objekts bezüglich einer aktuellen Situation des Fahrzeugs ermittelt. Zur Überprüfung dieser Relevanz wird mittels der Kamera zumindest ein Bild des Objekts erzeugt, aus welchem Objektdaten und Umgebungsdaten ermittelt werden, anhand derer das Objekt klassifiziert wird.According to the invention from data collected by the radar system, a relevance of the object determined with respect to a current situation of the vehicle. To verify this relevance is by means of Camera generates at least one image of the object from which object data and environment data by which the object is classified becomes.

Unter der Relevanz des Objekts für die aktuelle Situation des Fahrzeugs wird verstanden, welchen Einfluss das erfasste Objekt aufgrund seiner Objekteigenschaften, wie z. B. seiner Abmessungen, Form, Position, Geschwindigkeit und/oder Relativgeschwindigkeit, und/oder aufgrund von Eigenschaften der Umgebung des Fahrzeugs, wie z. B. einer Kurvenkrümmung und/oder Breite der Fahrspur, aktuell oder zukünftig auf das Fahrzeug bzw. dessen Bewegung hat.Under the relevance of the object to the current situation of the object Vehicle is understood, which influence the detected object due to its object properties, such. B. its dimensions, shape, Position, speed and / or relative speed, and / or due to characteristics of the environment of the vehicle, such. B. a curve curvature and / or width of the lane, current or in the future on the vehicle or its movement.

Mittels des erfindungsgemäßen Verfahrens ist es in vorteilhafter Weise möglich, die mittels des Radarsystems erfassten Daten, insbesondere die Relevanz des Objekts für die aktuelle Situation des Fahrzeugs zu überprüfen und gegebenenfalls anzupassen und somit eine zuverlässige Funktion des Fahrerassistenzsystems sicherzustellen, woraus ein erhöhter Komfort und eine erhöhte Sicherheit für Insassen des Fahrzeugs resultieren.through of the method according to the invention, it is in an advantageous Possible, the data collected by the radar system, in particular the relevance of the object for the current one Situation of the vehicle to check and if necessary adapt and thus a reliable function of the driver assistance system to ensure, from which increased comfort and an increased Safety for occupants of the vehicle result.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.embodiments The invention will be described in more detail below with reference to drawings explained.

Dabei zeigen:there demonstrate:

1 schematisch eine Situation eines Fahrzeugs in dessen Umgebung, und 1 schematically a situation of a vehicle in its environment, and

2 schematisch die Situation gemäß 1 und zur Überprüfung einer Relevanz eines Objekts für das Fahrzeug ermittelte Daten. 2 schematically the situation according to 1 and data determined to check a relevance of an object for the vehicle.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.each other corresponding parts are in all figures with the same reference numerals Mistake.

1 zeigt eine Situation S eines Fahrzeugs 1 mit einem Radarsystem 2 und einer Kamera 3. 1 shows a situation S of a vehicle 1 with a radar system 2 and a camera 3 ,

Das Fahrzeug 1 fährt auf einer Straße R auf einer Fahrspur L, wobei sich auf der gleichen Fahrspur L ein erstes Objekt O1, bei welchem es sich ebenfalls um ein Fahrzeug handelt, in Fahrtrichtung vor dem Fahrzeug 1 befindet.The vehicle 1 drives on a road R on a lane L, wherein on the same lane L, a first object O1, which is also a vehicle, in the direction of travel in front of the vehicle 1 located.

Zusätzlich befindet sich neben der Fahrspur L in gleicher Entfernung zu dem Fahrzeug 1 wie das erste Objekt O1 ein zweites Objekt O2, bei welchem es sich um ein Verkehrszeichen handelt.In addition, located next to the lane L at the same distance to the vehicle 1 like the first object O1, a second object O2, which is a traffic sign.

Mittels des Radarsystems 1 wird die Umgebung des Fahrzeugs F erfasst, wobei die Fahrspur L und die vor dem Fahrzeug F befindlichen Objekte O1 und O2 erfasst werden. Auch wird anhand der mittels des Radarsystems 1 ermittelten Daten eine Relevanz der Objekte O1 und O2 für die aktuelle Situation S des Fahrzeugs F ermittelt.By means of the radar system 1 the environment of the vehicle F is detected, whereby the lane L and the objects O1 and O2 located in front of the vehicle F are detected. Also, by means of the radar system 1 determined data determines a relevance of the objects O1 and O2 for the current situation S of the vehicle F.

Die Relevanz der Objekte O1 und O2 für das Fahrzeug F ist dabei insbesondere von deren Art und Bewegung abhängig, wobei zur Ermittlung der Relevanz die mittels des Radarsystems erfassten Daten der Objekte O1 und O2, beispielsweise deren Abmessungen, Form, Position, Geschwindigkeit und/oder Relativgeschwindigkeit mit hinterlegten Vergleichsdaten verglichen werden, wobei durch diesen Vergleich die Relevanz der Objekte O1 und O2 für das ermittelt wird.The Relevance of the objects O1 and O2 for the vehicle F is included depending in particular on their nature and movement, where to determine the relevance of those detected by the radar system Data of the objects O1 and O2, for example their dimensions, shape, Position, speed and / or relative speed with stored comparison data comparison, the relevance of this comparison Objects O1 and O2 for which is determined.

Anhand der mittels des Radarsystems 1 erfassten Daten und der Relevanz der Objekte O1 und O2 wird ein Fahrerassistenzsystem 3 des Fahrzeugs F gesteuert. Bei dem Fahrerassistenzsystem 3 kann es sich beispielsweise um ein Spurerkennungssystem, einen Spurhalteassistent, einen Abstandsregeltempomat, einen Bremsassistent und/oder um weitere allgemein bekannte Fahrerassistenzsysteme handeln.On the basis of the radar system 1 captured data and the relevance of the objects O1 and O2 is a driver assistance system 3 the vehicle F controlled. In the driver assistance system 3 it may be, for example, a lane detection system, a lane departure warning, a proximity control, a brake assist and / or other well-known driver assistance systems.

Um die mittels des Radarsystems 1 ermittelten Daten zu überprüfen und zu verifizieren, umfasst das Fahrzeug F zusätzlich zumindest eine Kamera 2, anhand derer ebenfalls die Umgebung des Fahrzeugs F erfasst wird.To the by means of the radar system 1 In addition, the vehicle F comprises at least one camera 2 , on the basis of which also the environment of the vehicle F is detected.

Wie in 2 dargestellt ist, werden mittels der Kamera 2 zusätzlich Objektdaten der Objekte O1 und O2 und Umgebungsdaten des Fahrzeugs F sowie der Objekte O1 und O2 ermittelt.As in 2 is represented by the camera 2 additionally determined object data of the objects O1 and O2 and environmental data of the vehicle F and the objects O1 and O2.

Die Kamera 2 erfasst dabei insbesondere die Umgebung vor dem Fahrzeug F, wobei aus einem erfassten Bild der Umgebung als Objektdaten der Objekte O1 und O2 deren Abmessungen, wie z. B. eine Objektbreite bO1 des Objekts O1, sowie deren Form, Position, Geschwindigkeit und/oder Relativgeschwindigkeit erfasst werden.The camera 2 detects in particular the environment in front of the vehicle F, wherein from a captured image of the environment as object data of the objects O1 and O2 whose dimensions, such. B. an object width b O1 of the object O1, as well as their shape, position, speed and / or relative speed are detected.

Weiterhin werden aus dem Bild der Umgebung als Umgebungsdaten eine Kurvenkrümmung rL der Fahrspur L, eine Breite bL der Fahrspur L, ein Objektversatz yO1L in der Fahrspur L und ein Versatz yFL des Fahrzeugs F in der Fahrspur L ermittelt. Anhand dieser Ermittlung, einer so genannten Fernbereichsspurerkennung, wird das Objekt O1 der Fahrspur L zugeordnet und eine eigene Position des Fahrzeugs F in der Fahrspur L wird bestimmt.Further, from the image of the environment as environmental data a curve curvature r L of the traffic lane L, a width L determined b the traffic lane L, an object offset y O1L in the traffic lane L, and an offset y FL of the vehicle F in the traffic lane L. On the basis of this determination, a so-called long range track recognition, the object O1 is assigned to the lane L and a separate position of the vehicle F in the lane L is determined.

Anhand der mittels der Kamera 2 ermittelten Objektdaten und Umgebungsdaten werden die Objekte O1 und O2 klassifiziert, d. h. es wird zum einen ermittelt, um welche Art von Objekten es sich handelt. Dabei wird insbesondere zwischen stehenden Objekten und sich bewegenden Objekten unterschieden, wobei aufgrund der Abmessungen und Form der Objekte O1 und O2 auch ermittelt wird, ob es sich bei den Objekten O1 und O2 um Fahrzeuge, Fußgänger, Tiere, Bepflanzungen, eine Randbebauung oder Verkehrzeichen handelt.On the basis of the camera 2 determined object data and environmental data objects O1 and O2 are classified, ie it is on the one hand determines what kind of objects it is. In particular, a differentiation is made between stationary objects and moving objects, and it is also determined on the basis of the dimensions and shape of the objects O1 and O2 whether the objects O1 and O2 are vehicles, pedestrians, animals, plantings, peripheral buildings or traffic signs ,

Zu dieser Klassifizierung der Objekte O1 und O2 werden diese mit nicht näher dargestellten hinterlegten Mustern verglichen. Diese Muster werden insbesondere bei einer Herstellung des Fahrzeugs F in einer ebenfalls nicht näher dargestellten Speichereinheit des Fahrzeugs F hinterlegt, wobei jedem dieser Muster zumindest eine Bedeutung zugewiesen ist. Durch einen Vergleich der erfassten Objektdaten der Objekte O1 und O2, insbesondere deren Abmessungen, Form und/oder Position, mit den Mustern, wird ermittelt, um welche Art von Objekt es sich bei den Objekten O1 und O2 jeweils handelt, so dass diese klassifiziert werden.To This classification of the objects O1 and O2 will not do this compared stored patterns compared. These Patterns become particularly in a production of the vehicle F in a storage unit, also not shown of the vehicle F deposited, with each of these patterns at least a meaning is assigned. By comparing the detected Object data of the objects O1 and O2, in particular their dimensions, Shape and / or position, with the patterns, is determined by which Type of object The objects O1 and O2 are each, so that these are classified.

Auch die Relevanz der Objekte O1 und O2 wird anhand der mittels der Kamera 2 erfassten Objektdaten, insbesondere der Position, Geschwindigkeit und/oder Relativgeschwindigkeit der Objekte O1 und O2, ermittelt, wobei zur Ermittlung der Relevanz die erfassten Objektdaten mit hinterlegten Vergleichsdaten, insbesondere Mustern verglichen werden. Zu diesem Zweck ist den Mustern in Abhängigkeit ihrer Bedeutung und Eigenschaften, wie der Position, Geschwindigkeit und/oder Relativgeschwindigkeit, die beispielsweise als Kennlinien hinterlegt sind, jeweils eine Relevanz zugeordnet. Zusätzlich leitet sich die Relevanz der Objekte O1 und O2 aus den Umgebungsdaten, d. h. der Kurvenkrümmung rL der Fahrspur L, der Breite bL der Fahrspur L, dem Objektversatz yO1L in der Fahrspur L und dem Versatz yFL des Fahrzeugs F in der Fahrspur L ab. Mit anderen Worten ergibt sich die Relevanz der Objekte O1 und O2 aus einer Gesamtsituation in der Umgebung des Fahrzeugs, wobei die Gesamtsituation durch fahrzeugeigene Parameter, die Objekt- und die Umgebungsdaten gemeinsam geprägt ist.Also, the relevance of the objects O1 and O2 is determined by means of the camera 2 detected object data, in particular the position, speed and / or relative speed of the objects O1 and O2, determined, wherein the ascertained object data are compared with stored comparison data, in particular patterns to determine the relevance. For this purpose, the patterns are each assigned a relevance depending on their meaning and properties, such as position, speed and / or relative speed, which are stored, for example, as characteristic curves. additionally The relevance of the objects O1 and O2 is derived from the environmental data, ie the curvature r L of the lane L, the width b L of the lane L, the object offset y O1L in the lane L and the offset y FL of the vehicle F in the lane L from. In other words, the relevance of the objects O1 and O2 results from an overall situation in the surroundings of the vehicle, the overall situation being coined by vehicle-specific parameters, the object data and the environment data.

Anhand dieser Klassifikation und Relevanz, d. h. anhand der mittels der Kamera 2 erfassten Objekt- und Umgebungsdaten, wird die aufgrund der anhand des Radarsystems erfassten Daten ermittelte Relevanz der Objekte O1 und O2 bezüglich der aktuellen Situation S des Fahrzeugs F bestätigt oder gegebenenfalls angepasst. Das heißt, es wird verglichen, ob die mittels der Kamera 2 erfassten Objekt- und Umgebungsdaten mit den mittels des Radarsystems 1 erfassten Daten übereinstimmen oder von diesen abweichen und in Abhängigkeit der Ergebnisse des Vergleichs wird die Relevanz des jeweiligen Objekts O1, O2 bezüglich der aktuellen Situation S des Fahrzeugs F angepasst.Based on this classification and relevance, ie by means of the camera 2 detected object and environmental data, the determined based on the data collected by the radar system relevance of the objects O1 and O2 with respect to the current situation S of the vehicle F is confirmed or adjusted if necessary. That is, it is compared whether the means of the camera 2 captured object and environmental data with the means of the radar system 1 If the detected data corresponds to or differs from the detected data, and depending on the results of the comparison, the relevance of the respective object O1, O2 with respect to the current situation S of the vehicle F is adjusted.

Die Relevanz der Objekte O1, O2 ergibt sich dabei insbesondere aus der Bewegung und Position der Objekte O1, O2 in der Umgebung des Fahrzeugs F und der Bewegung des eigenen Fahrzeugs F bezüglich der Objekte O1, O2.The Relevance of the objects O1, O2 results in particular from the Movement and position of the objects O1, O2 in the vicinity of the vehicle F and the movement of the own vehicle F with respect to Objects O1, O2.

Handelt es sich bei dem Fahrerassistenzsystem 3 beispielsweise um den Abstandsregeltempomat, so hat das Objekt O1 eine große Relevanz für das Fahrzeug F, da es sich auf der gleichen Fahrspur L wie das Fahrzeug F vor diesem befindet. Das Objekt O2, d. h. das Verkehrsschild, weist in diesem Fall eine geringere Relevanz bezüglich der aktuellen Situation S für das Fahrzeug F auf.Is it the driver assistance system? 3 For example, the distance control, the object O1 has a great relevance for the vehicle F, since it is on the same lane L as the vehicle F before this. The object O2, ie the traffic sign, in this case has a lower relevance with respect to the current situation S for the vehicle F.

Handelt es sich bei dem Fahrerassistenzsystem 3 jedoch um ein System, welches aufgrund erfasster Geschwindigkeitsbegrenzungen automatisch eine Geschwindigkeit des Fahrzeugs F steuert und/oder einen Fahrer des Fahrzeugs F auf das Vorhandensein der Geschwindigkeitsbegrenzung hinweist, so hat das Objekt O2 eine große Relevanz bezüglich der aktuellen Situation S des Fahrzeugs F.Is it the driver assistance system? 3 However, to a system which automatically controls a speed of the vehicle F due to detected speed limits and / or a driver of the vehicle F indicates the presence of the speed limit, the object O2 has a great relevance to the current situation S of the vehicle F.

Aus der Überprüfung und Anpassung der Relevanz der Objekte O1 und O2 bezüglich der aktuellen Situation S des Fahrzeugs F in Abhängigkeit der ermittelten Objektdaten und Umgebungsdaten ergibt sich in besonders Gewinn bringender Weise, dass Fehlauslösungen des Fahrerassistenzsystems 3 aufgrund einer ungenau bzw. fehlerhaft bestimmten Relevanz der Objekte O1 und O2 vermieden oder zumindest weitestgehend reduziert werden.From the review and adaptation of the relevance of the objects O1 and O2 with respect to the current situation S of the vehicle F as a function of the determined object data and environmental data results in a particularly profit-making way that false triggering of the driver assistance system 3 be avoided or at least largely reduced due to an inaccurate or incorrectly determined relevance of the objects O1 and O2.

Aus der Vermeidung derartiger Fehlauslösungen ergibt sich sowohl ein Sicherheitsgewinn für Insassen des Fahrzeugs F als auch für andere Verkehrsteilnehmer. Auch werden Beschädigungen an dem Fahrzeug F, welche beispielsweise durch Kollisionen mit den Objekten O1 und O2 hervorgerufen werden können, durch die optimale Auslösung des Fahrerassistenzsystems 3 vermieden, woraus wiederum eine Kostenreduktion resultiert.From the avoidance of such false triggering results in both a security gain for occupants of the vehicle F and for other road users. Also, damage to the vehicle F, which can be caused for example by collisions with the objects O1 and O2, by the optimal activation of the driver assistance system 3 avoided, which in turn results in a cost reduction.

11
Radarsystemradar system
22
Kameracamera
33
FahrerassistenzsystemDriver assistance system
bL b l
Breitewidth
FF
Fahrzeugvehicle
LL
Fahrspurlane
O1O1
Objektobject
O2O2
Objektobject
RR
StraßeStreet
rL r L
Kurvenkrümmungcurvature
yFL y FL
Versatzoffset
yO1L y O1L
Objektversatzobject offset

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • - EP 1566659 A1 [0002] EP 1566659 A1 [0002]
  • - US 2008/0169966 A1 [0003] US 2008/0169966 A1 [0003]
  • - US 2008/0042812 A1 [0004] US 2008/0042812 A1 [0004]

Claims (5)

Verfahren zur Steuerung eines Fahrzeugs (F), wobei mittels eines Radarsystems (1) zumindest ein Objekt (O1, O2) in einer Umgebung des Fahrzeugs (F) und mittels zumindest einer Kamera (2) ein Verlauf einer Straße (R) erfasst werden, wobei in Abhängigkeit einer Relevanz und/oder Klassifizierung des Objekts (O1, O2) und/oder in Abhängigkeit des Verlaufs der Straße (R) ein Fahrerassistenzsystem (3) des Fahrzeugs (F) gesteuert wird, dadurch gekennzeichnet, dass aus mittels des Radarsystems (1) erfassten Daten eine Relevanz des Objekts (O1, O2) bezüglich einer aktuellen Situation (S) des Fahrzeugs (F) ermittelt wird und zur Überprüfung dieser Relevanz mittels der Kamera (2) zumindest ein Bild des Objekts (O1, O2) erzeugt wird, aus welchem Objektdaten und Umgebungsdaten ermittelt werden, anhand derer das Objekt (O1, O2) klassifiziert wird.Method for controlling a vehicle (F), using a radar system ( 1 ) at least one object (O1, O2) in an environment of the vehicle (F) and by means of at least one camera ( 2 ) a course of a road (R) are detected, wherein depending on a relevance and / or classification of the object (O1, O2) and / or depending on the course of the road (R) a driver assistance system ( 3 ) of the vehicle (F), characterized in that by means of the radar system ( 1 ), a relevance of the object (O1, O2) with respect to a current situation (S) of the vehicle (F) is determined and for checking this relevance by means of the camera ( 2 ) at least one image of the object (O1, O2) is generated, from which object data and environmental data are determined, by means of which the object (O1, O2) is classified. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in Abhängigkeit der mittels der Kamera (2) erfassten Objektdaten und/oder Umgebungsdaten des Fahrzeugs (F) und/oder des Objekts (O1, O2) die ermittelte Relevanz des Objekts (O1, O2) für die aktuelle Situation (S) des Fahrzeugs (F) bestätigt oder gegebenenfalls angepasst wird.A method according to claim 1, characterized in that depending on the means of the camera ( 2 ) detected object data and / or environmental data of the vehicle (F) and / or the object (O1, O2) the determined relevance of the object (O1, O2) for the current situation (S) of the vehicle (F) is confirmed or adjusted if necessary. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zur Ermittlung der Relevanz des Objekts (O1, O2) mittels des Radarsystems (1) eine Fahrspur (L) oder mehrere Fahrspuren (L) der Straße (R) ermittelt wird oder werden, auf welcher sich das Fahrzeug (F) und/oder das Objekt (O1, O2) befinden.A method according to claim 1 or 2, characterized in that for determining the relevance of the object (O1, O2) by means of the radar system ( 1 ) a lane (L) or lanes (L) of the road (R) is or will be determined on which the vehicle (F) and / or the object (O1, O2) are located. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass mittels der Kamera (2) zur Klassifikation des Objekts (O1, O2) die Fahrspur (L), eine Kurvenkrümmung (rL) der Fahrspur (L), eine Breite (bL) der Fahrspur (L), ein Objektversatz (yO1L) in der Fahrspur (L) und/oder ein Versatz (yFL) des Fahrzeugs (F) in der Fahrspur (L) ermittelt werden.Method according to claim 3, characterized in that by means of the camera ( 2 ) for classifying the object (O1, O2) the lane (L), a curve curvature (r L ) of the traffic lane (L), a width (b L ) of the traffic lane (L), an object offset (y O1L ) in the traffic lane ( L) and / or an offset (y FL ) of the vehicle (F) in the lane (L) are determined. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels der Kamera (2) zur Klassifizierung des Objekts (O1, O2) dessen Abmessungen, Form, Position, Geschwindigkeit und/oder Relativgeschwindigkeit ermittelt werden.Method according to one of the preceding claims, characterized in that by means of the camera ( 2 ) for the classification of the object (O1, O2) whose dimensions, shape, position, speed and / or relative speed are determined.
DE102009013326A 2009-03-16 2009-03-16 Vehicle controlling method, involves producing image of object, determining object data and surrounding data from image of object, and classifying object using object data and surrounding data Withdrawn DE102009013326A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102009013326A DE102009013326A1 (en) 2009-03-16 2009-03-16 Vehicle controlling method, involves producing image of object, determining object data and surrounding data from image of object, and classifying object using object data and surrounding data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009013326A DE102009013326A1 (en) 2009-03-16 2009-03-16 Vehicle controlling method, involves producing image of object, determining object data and surrounding data from image of object, and classifying object using object data and surrounding data

Publications (1)

Publication Number Publication Date
DE102009013326A1 true DE102009013326A1 (en) 2009-11-12

Family

ID=41152849

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009013326A Withdrawn DE102009013326A1 (en) 2009-03-16 2009-03-16 Vehicle controlling method, involves producing image of object, determining object data and surrounding data from image of object, and classifying object using object data and surrounding data

Country Status (1)

Country Link
DE (1) DE102009013326A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010033774A1 (en) 2010-08-09 2011-05-12 Daimler Ag Vehicle i.e. lorry, operating method, involves detecting environment data of vehicle environment, determining environment information from recorded camera images, and searching objects in images based on vehicle illuminations
WO2014071939A1 (en) * 2012-11-06 2014-05-15 Conti Temic Microelectronic Gmbh Method and device for recognising traffic signs for a vehicle
DE102020205629A1 (en) 2020-05-05 2021-11-11 Zf Friedrichshafen Ag Method for controlling a vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1566659A1 (en) 2004-02-18 2005-08-24 Omron Corporation Method and device for determining the center position and extension of an object in a lidar image
US20080042812A1 (en) 2006-08-16 2008-02-21 Dunsmoir John W Systems And Arrangements For Providing Situational Awareness To An Operator Of A Vehicle
US20080169966A1 (en) 2006-08-09 2008-07-17 Fujitsu Ten Limited On-vehicle radar device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1566659A1 (en) 2004-02-18 2005-08-24 Omron Corporation Method and device for determining the center position and extension of an object in a lidar image
US20080169966A1 (en) 2006-08-09 2008-07-17 Fujitsu Ten Limited On-vehicle radar device
US20080042812A1 (en) 2006-08-16 2008-02-21 Dunsmoir John W Systems And Arrangements For Providing Situational Awareness To An Operator Of A Vehicle

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010033774A1 (en) 2010-08-09 2011-05-12 Daimler Ag Vehicle i.e. lorry, operating method, involves detecting environment data of vehicle environment, determining environment information from recorded camera images, and searching objects in images based on vehicle illuminations
WO2014071939A1 (en) * 2012-11-06 2014-05-15 Conti Temic Microelectronic Gmbh Method and device for recognising traffic signs for a vehicle
US10223600B2 (en) 2012-11-06 2019-03-05 Conti Temic Microelectronic Gmbh Method and device for recognizing traffic signs for a vehicle
DE102020205629A1 (en) 2020-05-05 2021-11-11 Zf Friedrichshafen Ag Method for controlling a vehicle

Similar Documents

Publication Publication Date Title
DE102016209678B4 (en) Method for operating a motor vehicle, motor vehicle and system for processing data on crosswind loads acting on a motor vehicle
DE102015224192B4 (en) Detection of an open area
DE102017203838A1 (en) Method and system for environment detection
EP2867093B1 (en) Method and system for information usage
DE102013210941A1 (en) Method and device for operating a vehicle
DE10336638A1 (en) Apparatus for classifying at least one object in a vehicle environment
DE102009006113A1 (en) Vehicle's surrounding representation providing method, involves subjecting sensor objects to fusion to generate fusion objects, and fusing existence possibilities of fusion objects based on existence possibilities of sensor objects
DE102016212326A1 (en) Method for processing sensor data for a position and / or orientation of a vehicle
DE102010049091A1 (en) Method for operating at least one sensor of a vehicle and vehicle with at least one sensor
DE102009007885A1 (en) Method for identifying motor vehicles getting into own lane or getting out of own lane, involves automatically evaluating driving characteristics relative to lane exchange based on detected data i.e. image data of camera
DE102012107885A1 (en) Method for determining a lane course for a vehicle
DE102019206178A1 (en) Method and device for estimating an intention to change lanes of a vehicle
DE102009018311A1 (en) Method and apparatus for operating a radar-based environment recognition system
WO2016177372A1 (en) Method and device for detecting and evaluating environmental influences and road condition information in the vehicle surroundings
DE102008020007A1 (en) Driver assisting method for vehicle, involves performing edge detection by horizontal and vertical sobel-edge operator, determining gray value gradient, generating binary signal by evaluation of gray value gradients
DE102016213369A1 (en) Method and device for monitoring a blind spot area of a vehicle
DE102017005320A1 (en) Method for operating a vehicle
EP1652161B2 (en) Device for classifying at least one object in the vicinity of a vehicle
DE102018009434A1 (en) Control system and method for a motor vehicle for processing multi-reflected signals
DE102013006172A1 (en) Method for operating a driver assistance system and driver assistance system
DE102012024959A1 (en) Method for operating vehicle e.g. passenger car, involves calculating position of object, and determining instantaneous detection area of sensor based on determined position of object when object is not detected by sensor
DE102011113325A1 (en) Method for object recognition by image data, involves recognizing objects in vicinity of vehicle and differentiating objects in object types, where distance in Y-direction is determined for all objects recognized in vicinity
DE102015214425A1 (en) Method for detecting a course of rails
DE102010022706A1 (en) Method for adaptive parameterization of function driver assistance system of motor vehicle, involves providing motor vehicle with navigation system including digital map
DE102009013326A1 (en) Vehicle controlling method, involves producing image of object, determining object data and surrounding data from image of object, and classifying object using object data and surrounding data

Legal Events

Date Code Title Description
OAV Publication of unexamined application with consent of applicant
R005 Application deemed withdrawn due to failure to request examination