DE102011087894A1 - Method and vehicle assistance system for active warning and / or navigation aid for avoiding a collision of a vehicle body part and / or a vehicle wheel with an object - Google Patents

Method and vehicle assistance system for active warning and / or navigation aid for avoiding a collision of a vehicle body part and / or a vehicle wheel with an object Download PDF

Info

Publication number
DE102011087894A1
DE102011087894A1 DE102011087894A DE102011087894A DE102011087894A1 DE 102011087894 A1 DE102011087894 A1 DE 102011087894A1 DE 102011087894 A DE102011087894 A DE 102011087894A DE 102011087894 A DE102011087894 A DE 102011087894A DE 102011087894 A1 DE102011087894 A1 DE 102011087894A1
Authority
DE
Germany
Prior art keywords
vehicle
camera
evaluation
image
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102011087894A
Other languages
German (de)
Inventor
Volker NIEMZ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102011087894A priority Critical patent/DE102011087894A1/en
Priority to PCT/EP2012/072873 priority patent/WO2013083384A1/en
Priority to JP2014545155A priority patent/JP6073358B2/en
Priority to EP12798642.0A priority patent/EP2788968B1/en
Publication of DE102011087894A1 publication Critical patent/DE102011087894A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18145—Cornering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur aktiven Warnung und/oder zur Navigationshilfe zur Vermeidung einer Kollision eines Fahrzeugkarosserieteils und/oder eines Fahrzeugrades mit mindestens einem Bordstein und/oder einem anderem ähnlichen Objekt, wobei das mindestens eine Objekt anhand einer Auswertung der mittels mindestens einer am Fahrzeug befindlichen Kamera aufgenommenen Bilder der Fahrzeugumgebung erkannt wird und beim Vorliegen einer möglichen Kollision zwischen einem Fahrzeugkarosserieteils und/oder einem Fahrzeugrad und dem mindestens einen erkannten Objekt eine aktive Warnung ausgegeben wird und/oder aktiv in das Fahrzeugdynamik eingegriffen wird. Dabei wird das Muster der aktuell umgebenden Straße mittels einer Auswertung mindestens eines mittels mindestens einer am Fahrzeug befindlichen Kamera aufgenommenen Bildes der Fahrzeugumgebung bestimmt und mindestens ein mittels mindestens einer seitlich am Fahrzeug befindlichen Kamera aufgenommenes Bild der Fahrzeugumgebung auf Unterschiede zu der bestimmten Muster der aktuell umgebenden Straße zur Erkennung des mindestens einen Objekts ausgewertet.The present invention relates to a method for active warning and / or navigation aid for avoiding a collision of a vehicle body part and / or a vehicle wheel with at least one curb and / or another similar object, wherein the at least one object based on an evaluation by means of at least one on Vehicle detected camera images of the vehicle environment is detected and in the presence of a possible collision between a vehicle body part and / or a vehicle and the at least one detected object, an active warning is issued and / or actively intervened in the vehicle dynamics. In this case, the pattern of the currently surrounding road is determined by evaluating at least one image of the vehicle environment taken by at least one camera located on the vehicle and at least one image of the vehicle environment taken by at least one camera on the side of the vehicle for differences from the specific pattern of the currently surrounding road evaluated for detecting the at least one object.

Description

Stand der TechnikState of the art

Die vorliegende Erfindung betrifft ein Verfahren zur aktiven Warnung und/oder zur Navigationshilfe zur Vermeidung einer Kollision eines Fahrzeugkarosserieteils und/oder eines Fahrzeugrades mit mindestens einem Bordstein und/oder einem anderem ähnlichen Objekt und ein Fahrzeugassistenzsystem zur Durchführung des erfindungsgemäßen Verfahrens. Auch betrifft die Erfindung ein Fahrzeug mit einem erfindungsgemäßen Fahrzeugassistenzsystem.The present invention relates to a method for active warning and / or navigation aid for avoiding a collision of a vehicle body part and / or a vehicle wheel with at least one curb and / or another similar object and a vehicle assistance system for carrying out the method according to the invention. The invention also relates to a vehicle having a vehicle assistance system according to the invention.

Am Markt existieren eine Reihe reiner Rückfahrkamerasysteme. Diese haben die Aufgabe dem Fahrer ein reales Abbild des rückwärtigen Geschehens zu geben.There are a number of pure reversing camera systems on the market. These have the task to give the driver a real image of the rearward events.

Neben diesen Systemen drängen immer stärker Multikamerasysteme in den Markt. Diese ermöglichen die Darstellung des Fahrzeugumfeldes aus einer Vogelperspektive (Top-View).In addition to these systems, more and more multi-camera systems are entering the market. These allow the presentation of the vehicle environment from a bird's eye view (top view).

In Zukunft wird es nicht mehr ausreichen nur die unmittelbaren Fahrzeugumgebung darzustellen, sondern der Markt verlangt nach Systemen, welche den Fahrer beim Benutzen des Fahrzeuges in diversen Situationen unterstützen.In the future, it will no longer suffice to represent only the immediate vehicle environment, but the market demands systems that assist the driver in using the vehicle in various situations.

Mittels von seitlich am Fahrzeug insbesondere am Radkastenrand oder im Spiegelgehäuse montierten Kameras kann der Bereich seitlich um das Fahrzeug hinreichend erfasst werden.By means of cameras mounted on the side of the vehicle, in particular on the edge of the wheel arch or in the mirror housing, the area can be sufficiently grasped laterally around the vehicle.

In der 1 ist eine Draufsicht eines Fahrzeuges (Auto) 10 mit einem Mehrkamerasystem 20 mit einer typischen, aus dem Stand der Technik bekannten Konfiguration dargestellt.In the 1 is a top view of a vehicle (car) 10 with a multi-camera system 20 with a typical configuration known in the art.

Mittels von seitlich am Fahrzeug 10 insbesondere am Radkastenrand oder im Spiegelgehäuse 45, 55 montierten Kameras 40, 50 kann der Bereich seitlich um das Fahrzeug 10 hinreichend erfasst werden. An dem Fahrzeug können weitere Kameras wie zum Beispiel eine Frontkamera 30 und eine Heckkamera 60 vorhanden sein. In der 1 sind auch die Räder 70, 80, 90, 100 des Fahrzeuges 10 dargestellt.By means of the side of the vehicle 10 especially at the edge of the wheel arch or in the mirror housing 45 . 55 mounted cameras 40 . 50 The area can be sideways around the vehicle 10 be sufficiently recorded. On the vehicle, other cameras such as a front camera 30 and a rear camera 60 to be available. In the 1 are also the wheels 70 . 80 . 90 . 100 of the vehicle 10 shown.

In der 2 ist eine Teil-Seitenansicht des Fahrzeuges aus der 1 mit dem entsprechenden Multikamerasystem 20 dargestellt. Während der Fahrt auf einer Straße 110 wird stets der unmittelbare Bereich 111 seitlich um das Fahrzeug 10 (ca. 1m) auf das Vorhandensein eines Bordsteins untersucht. Dies gelingt beispielsweise auf eine einfache Art und Weise mittels der Auswertung der detektierten Gradienten (Gradientenerkennung z.B. mittels des Sobel-Operators). Diese werden dann mittels entsprechend definierter Klassifikatoren verglichen.In the 2 is a partial side view of the vehicle from the 1 with the corresponding multi-camera system 20 shown. While driving on a road 110 always becomes the immediate area 111 laterally around the vehicle 10 (about 1m) for the presence of a curb. This is achieved, for example, in a simple manner by means of the evaluation of the detected gradients (gradient detection, for example by means of the Sobel operator). These are then compared by means of appropriately defined classifiers.

Die Lage des erkannten Bordsteins kann nun mit der aktuellen Fahrzeugbewegung verglichen werden. Sollte das hintere Rad (im Fall der Vorwärtsfahrt) oder das vordere Rad (im Fall der Rückwärtsfahrt) mit einem Bordstein kollidieren, so soll der Fahrer rechtzeitig gewarnt werden.The location of the detected curb can now be compared with the current vehicle movement. Should the rear wheel (in the case of forward travel) or the front wheel (in the case of reverse travel) collide with a curb, the driver should be warned in good time.

Weiterhin denkbar ist das Ausüben eines Lenkrucks in die Fahrsollrichtung, um eine entsprechende Kollision zu vermeiden.It is also conceivable to exert a steering pressure in the desired direction of travel in order to avoid a corresponding collision.

3 zeigt ein typisches Ergebnis einer Bordsteinkollision. Darin sind das verformte Fahrzeugrad 80 und der Bordstein 120 zu erkennen. 3 shows a typical result of a curb collision. Therein are the deformed vehicle wheel 80 and the curb 120 to recognize.

Bei Vorliegen von scharfen beziehungsweise engen Kurven treten insbesondere Bordsteinkollisionen sehr häufig auf. In den 4a, 4b und 4c ist das Fahrzeug 10 aus der 1 bei Befahren einer engen Kurve, die am Ende einer Straße 110 auftritt, in drei verschiedenen Positionen dargestellt. Der Fahrer befährt die Kurve mit einem zu engen Radius. Das Vorderrad 80 passiert die Kurve, das Hinterrad 90 kollidiert mit dem Bordstein 120. Das Hinterrad (Reifen, Felge) 90 könnte erhebliche Schädigungen davon tragen und der Fahrkomfort könnte dabei auch erheblich beeinträchtigt werden.In the presence of sharp or tight curves, in particular curb collisions occur very frequently. In the 4a . 4b and 4c is the vehicle 10 from the 1 Driving on a tight bend at the end of a road 110 occurs, presented in three different positions. The driver drives the curve with too narrow a radius. The front wheel 80 the curve, the rear wheel, happens 90 collides with the curb 120 , The rear wheel (tires, rim) 90 could cause significant damage and ride comfort could be significantly affected.

Aus dem Stand der Technik, insbesondere aus den Dokumenten DE 10 2005 037 273 A1 und DE 10 2005 015 463 B4 , sind Navigationsassistenten zur Vermeidung von Bordsteinkollisionen bekannt, die kamerabasiert arbeiten und Bordsteine anhand einer Objekterkennung identifizieren. Hier ist jedoch lediglich allgemein eine Mustererkennung angegeben, bei der detektierte Objekte mit vorbekannten eingespeicherten Mustern verglichen werden. Nachteilig dabei ist, dass die aus dem Stand der Technik bekannten Navigationsassistenten genügend Speicherplatz für die Einspeicherung der Vielzahl von vorbekannten Mustern haben müssen und/oder über eine hohe Rechenleistung verfügen müssen, damit insbesondere die Vergleichszeit mit den vielen vorhandenen Mustern kurz genug ist, um in einer Gefahrsituation geeignet schnell reagieren zu können. From the prior art, in particular from the documents DE 10 2005 037 273 A1 and DE 10 2005 015 463 B4 , Navigation Assistants are known to avoid curb collisions, which work camera-based and identify curbs by object recognition. Here, however, only a pattern recognition is generally indicated, in which detected objects are compared with previously stored patterns. The disadvantage here is that the navigation assistants known from the prior art must have sufficient storage space for the storage of the plurality of known patterns and / or must have a high computing power, so that in particular the comparison time with the many existing patterns is short enough to a dangerous situation to react quickly.

Offenbarung der ErfindungDisclosure of the invention

Bei dem erfindungsgemäßen Verfahren zur aktiven Warnung und/oder zur Navigationshilfe zur Vermeidung einer Kollision eines Fahrzeugkarosserieteils und/oder eines Fahrzeugrades mit mindestens einem Bordstein und/oder einem anderem ähnlichen Objekt, wird das mindestens eine Objekt anhand einer Auswertung der mittels mindestens einer am Fahrzeug befindlichen Kamera aufgenommenen Bilder der Fahrzeugumgebung erkannt. Ferner wird beim Vorliegen einer möglichen Kollision zwischen einem Fahrzeugkarosserieteil und/oder einem Fahrzeugrad und dem mindestens einen erkannten Objekt eine aktive Warnung ausgegeben und/oder aktiv in das Fahrzeugdynamik insbesondere in die Lenkung eingegriffen. Bei dem erfindungsgemäßen Verfahren wird das Muster der aktuell umgebenden Straße mittels einer Auswertung mindestens eines mittels mindestens einer am Fahrzeug befindlichen Kamera aufgenommenen Bildes der Fahrzeugumgebung bestimmt und mindestens ein mittels mindestens einer seitlich am Fahrzeug befindlichen Kamera aufgenommenen Bild der Fahrzeugumgebung auf Unterschiede zu der bestimmten Muster der aktuell umgebenden Straße zur Erkennung des mindestens einen Objekts ausgewertet.In the method according to the invention for active warning and / or navigation aid for avoiding a collision of a vehicle body part and / or a vehicle wheel with at least one curb and / or another similar object, the at least one object is based on an evaluation by means of at least one located on the vehicle Camera captured images of the vehicle environment detected. Further, in the presence of a possible collision between a vehicle body part and / or a vehicle wheel and the at least one detected Object issued an active warning and / or actively intervened in the vehicle dynamics in particular in the steering. In the method according to the invention, the pattern of the currently surrounding road is determined by evaluating at least one image of the vehicle surroundings recorded by at least one camera located on the vehicle and at least one image of the vehicle environment recorded by at least one camera located laterally on the vehicle for differences from the specific pattern of the vehicle currently evaluated surrounding road for detecting the at least one object.

Erfindungsgemäß wird weiterhin ein Fahrzeugassistenzsystem zur Durchführung des erfindungsgemäßen Verfahrens bereitgestellt, das eine Auswerteeinheit umfasst, die dazu ausgebildet ist, mindestens ein Bordstein und/oder ein anderes ähnliches Objekt anhand einer eine Mustererkennung der aktuell umgebenden Straße umfassenden Auswertung mindestens eines mittels mindestens einer, insbesondere seitlich am Fahrzeug befindlichen, Kamera aufgenommenen Bild der Fahrzeugumgebung zu bestimmen und beim Vorliegen einer möglichen Kollision zwischen einem Fahrzeugkarosserieteil und/oder einem Fahrzeugrad mit dem mindestens einen bestimmten Objekt ein Warn- und/oder Steuersignal zu erzeugen. Ferner umfasst das erfindungsgemäße Fahrzeugassistenzsystem eine Warneinheit, die dazu ausgebildet ist, beim Vorliegen eines von der Auswerteeinheit erzeugten Warnsignals eine aktive Warnung auszugeben, und/oder eine Steuereinheit, die dazu ausgebildet ist, beim Vorliegen eines von der Auswerteeinheit erzeugten Steuersignals in die Fahrzeugdynamik, insbesondere in die Lenkung, aktiv einzugreifen. According to the invention, a vehicle assistance system for carrying out the method according to the invention is furthermore provided, which comprises an evaluation unit which is designed to have at least one curb and / or another similar object based on at least one evaluation of at least one, in particular laterally, evaluation of the currently surrounding road On the vehicle, camera recorded image of the vehicle environment to determine and to generate a warning and / or control signal in the presence of a possible collision between a vehicle body part and / or a vehicle with the at least one specific object. Furthermore, the vehicle assistance system according to the invention comprises a warning unit, which is designed to output an active warning in the presence of a warning signal generated by the evaluation unit, and / or a control unit, which is adapted to the presence of a control signal generated by the evaluation unit in the vehicle dynamics, in particular into the steering, actively intervene.

Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.The dependent claims show preferred developments of the invention.

Erfindungsgemäß wird eine aktive Warnung und/oder eine Navigierassistenz zum Vermeiden eines Rad bzw. Reifenkontakts mit einem Bordstein und/oder ähnlicher Objekte in einfacher Weise bereitgestellt. Bei dem erfindungsgemäßen Verfahren wird anhand einer Auswertung von Bildern der Fahrzeugumgebung das Muster der aktuellen Straße bestimmt. Anhand eines Vergleichs mit dem Muster der aktuell umgebenden Straße werden Bilder eines sich am Fahrzeug seitlich erstreckenden Bereichs der Fahrzeugumgebung auf das Vorhandensein von sich seitlich am Fahrzeug befindlichen Hindernissen, wie zum Beispiel Bordsteine und/oder ähnlichen Objekte, untersucht. So wird erfindungsgemäß ein rechenarmes und dadurch schnell durchführbares Verfahren zur Erkennung von Hindernissen, wie zum Beispiel von Bordsteinen und/oder ähnlichen Objekten, eingesetzt. Bei dem erfindungsgemäßen Verfahren entfällt der lang andauernde und rechenintensive Vergleich mit vielen vorbekannten Mustern zur Erkennung von Hindernissen. Auch entfällt bei der erfindungsgemäßen Bestimmung des Musters der aktuell umgebenden Straße die rechenintensive und langandauernde Auswertung von mehreren hintereinander aufgenommenen Bildern der Fahrzeugumgebung, die zumindest ein Stück der zu befahrenen Straße abbilden. According to the invention, an active warning and / or navigation assistance for avoiding wheel or tire contact with a curb and / or similar objects is provided in a simple manner. In the method according to the invention, the pattern of the current road is determined on the basis of an evaluation of images of the vehicle surroundings. Based on a comparison with the current surrounding road pattern, images of a vehicle-laterally-extending region of the vehicle environment are examined for the presence of side-to-side obstacles, such as curbs and / or similar objects. Thus, according to the invention, a low-index and thus quickly feasible method for detecting obstacles, such as curbs and / or similar objects used. In the method according to the invention eliminates the long-lasting and compute-intensive comparison with many previously known patterns for the detection of obstacles. Also omitted in the inventive determination of the pattern of the currently surrounding road, the computationally intensive and long-lasting evaluation of several consecutively recorded images of the vehicle environment that map at least a piece of the road to be traveled.

Ein Fahrzeugassistenzsystem zum Durchführen des erfindungsgemäßen Verfahren braucht keine relevante zusätzliche Module mit hoher Rechenleistung. Da bei einem üblichen Fahrzeugassistenzsystem mindestens eine Kamera und eine Auswerteeinheit vorhanden sind, sind auch in der Regel keine zusätzlichen Systeme zum Durchführen der erfindungsgemäße Erkennung von Hindernissen vorzusehen.A vehicle assistance system for carrying out the method according to the invention does not need any relevant additional modules with high computing power. Since in a conventional vehicle assistance system at least one camera and an evaluation unit are present, no additional systems for carrying out the detection of obstacles according to the invention are to be provided as a rule.

Vorteilhafterweise wird bei dem erfindungsgemäßen Verfahren mittels einer am Fahrzeug befindlichen Front- und/oder Heckkamera mindestens ein Bild eines Straßenstückes zur Bestimmung der Muster der aktuell umgebenden Straße aufgenommen und mit mindestens einem mittels der mindestens einen seitlichen Kamera aufgenommenen Bild der Fahrzeugumgebung zur Erkennung des mindestens einen Objekts korreliert.Advantageously, in the method according to the invention by means of a front and / or rear camera located on the vehicle at least one image of a street piece for determining the pattern of the current surrounding road and recorded with at least one captured by the at least one side camera image of the vehicle environment for detecting the at least one Object correlates.

Bei dem erfindungsgemäßen Verfahren wird untersucht, ob die Pixel nahe des Rades dem Bild der Straße oder einem Hindernis entspricht. Im Fall einer Front- und/oder Heckkamera (Rückfahrkamera) kann zunächst geprüft werden, ob sich ein Hindernis im unmittelbaren Umfeld befindet. Das kann mittels eines Parkpilots oder per Videosensorik geschehen. Wurde kein Objekt erkannt, kann der Bildbereich direkt hinter bzw. vor dem Stoßfänger in eine Speichereinheit als repräsentatives Muster für die umgebende Straße gespeichert werden. Das gespeicherte Bild des Straßenstückes kann nun mit dem Bild der seitlichen Kamera korreliert werden. Dabei ist eventuell das Durchführen eines Histogrammangleichs aufgrund unterschiedlicher Belichtungssituationen notwendig. Durch diesen Schritt ist das Muster der aktuell umgebenden Straße bekannt und der Bildbereich in der Nähe des Rades kann auf einen signifikanten Unterschied zu dem jeweiligen Straßenmuster ausgewertet werden. Unterschiede zu dem jeweiligen Straßenmuster werden genau dann festgestellt, wenn keine Straße im Bild abgebildet ist, sondern ein Bordstein oder ein anderes Hindernis.In the method according to the invention, it is examined whether the pixels near the wheel correspond to the image of the road or an obstacle. In the case of a front and / or rear camera (reversing camera) can first be checked whether an obstacle is in the immediate vicinity. This can be done by means of a parking pilots or by video sensors. If no object has been detected, the image area directly behind or in front of the bumper can be stored in a storage unit as a representative pattern for the surrounding road. The stored image of the street piece can now be correlated with the image of the lateral camera. It may be necessary to perform a histogram adjustment due to different exposure situations. Through this step, the pattern of the currently surrounding road is known and the image area near the wheel can be evaluated for a significant difference to the respective road pattern. Differences to the respective road pattern are determined if and only if no road is shown in the picture, but a curb or another obstacle.

In einer weiteren vorteilhaften Ausführungsform der Erfindung wird das Muster der aktuell umgebenden Straße in einfacher Weise mittels einer Erkennung von entsprechenden Strukturwiderholungen in mindestens einem mittels mindestens einer, insbesondere seitlich am Fahrzeug befindlichen, Kamera aufgenommenen Bild der Fahrzeugumgebung bestimmt.In a further advantageous embodiment of the invention, the pattern of the currently surrounding road is determined in a simple manner by means of a recognition of corresponding structural responses in at least one image of the vehicle environment taken by at least one camera, in particular laterally on the vehicle.

Anstelle des Mustervergleichs (Pattern-Vergleich) der Bilder der Front- und/oder Heckkamera mit den Bildern der seitlichen Kamera, lässt sich die Straße in einfacher Weise auch über eine entsprechende Strukturwiederholung erkennen. Instead of the pattern comparison (pattern comparison) of the images of the front and / or rear camera with the images of the side camera, the road can be easily recognized by a corresponding structure repetition.

Insbesondere wird bei der erfindungsgemäßen Erkennung des Musters der aktuell umgebenden Straße mindestens ein vordefinierter Bildausschnitt eines mittels der mindestens einen seitlichen Kamera aufgenommenen Bildes der Fahrzeugumgebung ausgewertet, wobei in dem vordefinierten Bildausschnitt der direkte Bereich der Fahrzeugumgebung knapp vor und/oder neben einem Fahrzeugteil, insbesondere angrenzend an einem Fahrzeugteil, insbesondere knapp vor dem Seitenschweller, abgebildet wird.In particular, in the inventive detection of the pattern of the currently surrounding road, at least one predefined image section of an image of the vehicle environment captured by the at least one lateral camera is evaluated, wherein in the predefined image section the direct area of the vehicle surroundings is just ahead and / or next to a vehicle part, in particular adjacent on a vehicle part, in particular just before the side skirts, is displayed.

Das erfindungsgemäße Verfahren zur Erkennung des Bodenmusters mittels der Verwendung des direkten Bildausschnittes knapp vor dem Seitenschweller, wobei der Seitenschweller ebenfalls von der Kamera erkannt werden und die Karosserie durch die am Fahrzeug angebrachten Spiegel gesehen werden kann, ist sehr leicht und schnell durchführbar.The inventive method for detecting the ground pattern by means of the use of the direct image section just before the side skirts, wherein the side skirts are also recognized by the camera and the body can be seen through the mirrors mounted on the vehicle, is very easy and fast to carry out.

Dadurch kann ein automatisiertes Einparksystem bereits Kenntnis über die Position des Bordsteins besitzen.This allows an automated parking system already have knowledge of the position of the curb.

Vorzugsweise wird bei der erfindungsgemäßen Bestimmung des mindestens einen Objekts zusätzlich eine Objekterkennung und/oder Objektverfolgung mittels einer Auswertung von Bildern der Fahrzeugumgebung eingesetzt, die mittels mindestens einer am Fahrzeug befindlichen Kamera aufgenommenen werden.In the case of the determination according to the invention of the at least one object, preferably object recognition and / or object tracking by means of an evaluation of images of the vehicle surroundings are used, which are recorded by means of at least one camera located on the vehicle.

Bei dem erfindungsgemäßen Verfahren kann eine Objektverfolgung (Tracking) von über eine nach vorn gerichtete Kamera erkannten Objekten durchgeführt werden. Insbesondere werden zusätzlich oder alternativ auch über eine Heckkamera erkannte Objekte verwendet, die insbesondere im Fall einer erkannten Straße oder eines sich entlang der Straße ausdehnenden Hindernisses nach vorne extrapoliert werden können. Es ist auch eine Extrapolationsunterstützung durch GPS denkbar. Die Extrapolationslänge ist in diesem Fall von der Darstellung der aktuellen Fahrzeugumgebung auf der GPS-Karte anhängig. Bei Vorliegen einer kurz bevorstehenden Einfahrt oder einer scharfen Kurve darf das rückwärtiges Bild nur sehr wenig extrapoliert werden; im Fall einer geraden Strasse ist jedoch eine weitere Extrapolation denkbar. Dadurch wird die Detektionswahrscheinlichkeit für einen Bordstein erhöht, da die Struktur der Fahrzeugumgebung genauer untersucht wird.In the method according to the invention, an object tracking (tracking) of objects detected via a front-facing camera can be performed. In particular, additionally or alternatively, objects recognized via a rear camera are also used, which can be extrapolated forward, in particular in the case of a recognized road or an obstacle extending along the road. It is also an extrapolation support by GPS conceivable. The extrapolation length in this case depends on the representation of the current vehicle environment on the GPS map. If there is an imminent entrance or a sharp turn, the rear image may be extrapolated very little; in the case of a straight road, however, further extrapolation is conceivable. This increases the detection probability for a curb as the structure of the vehicle environment is examined more closely.

Insbesondere wird erfindungsgemäß zusätzlich eine Höhe des mindestens einen Objekts mittels einer Auswertung mindestens eines Bildes der Fahrzeugumgebung bestimmt, das insbesondere mittels einer am Fahrzeug befindlichen Stereokamera und/oder Zeilenkamera aufgenommen wird. Hierdurch kann die Detektionswahrscheinlichkeit für einen Bordstein erhöht werden, da ein weiteres Merkmal zur Verfügung steht.In particular, according to the invention, a height of the at least one object is additionally determined by means of an evaluation of at least one image of the vehicle surroundings, which is recorded in particular by means of a stereo camera and / or line camera located on the vehicle. As a result, the detection probability for a curb can be increased because another feature is available.

Bei einer besonders bevorzugten Ausführungsform der Erfindung wird mindestens ein als Hindernis erkanntes Objekt, insbesondere mindestens ein als Hindernis erkannter Bordstein, einem Klassifikator als Muster zur Erkennung von ähnlichen Hindernissen zugeführt.In a particularly preferred embodiment of the invention, at least one object recognized as an obstacle, in particular at least one curb recognized as an obstacle, is fed to a classifier as a pattern for the detection of similar obstacles.

Erfindungsgemäß werden Klassifikatoren angelernt. Während eines automatisierten Einparkversuch mittels eines Parklenkassistenten (Park-Steering-Control) richtet sich das Fahrzeug automatisiert in einer Längsparklücke an einem Bordstein aus. Das System kennt also bereits die Lage und das Vorhandensein eines Bordsteins. Diese Informationen können von dem bildverarbeitenden Algorithmus direkt genutzt werden und entsprechende Objekte im Bild automatisch dem Klassifikator zugeführt werden, was einer Autolernfunktion des Klassifikators für Bordsteinrepräsentationen im Bild entspricht.According to the classifiers are trained. During an automated parking attempt by means of a parking steering assistant (Park Steering Control), the vehicle is automatically aligned in a longitudinal parking space on a curb. The system already knows the location and the presence of a curb. This information can be used directly by the image processing algorithm and corresponding objects in the image are automatically fed to the classifier, which corresponds to an auto-learning function of the classifier for curb representations in the image.

Weiterhin kann der Klassifikator durch Negativ-Erlebnisse lernen. Sollte ein Hindernis überfahren werden, welches nicht als Gefahrobjekt klassifiziert wurde, entstehen entsprechende Ruckbewegungen der Karosserie und Räder. Diese lassen sich mittels verschiedener Sensoren (Reifendrucksensor, Niveausensoren, Sensoren für Längs- und Querbeschleunigung und/oder Gierrate) erkennen.Furthermore, the classifier can learn through negative experiences. Should an obstacle be run over that has not been classified as a danger object, corresponding jerking movements of the body and wheels will result. These can be detected by means of various sensors (tire pressure sensor, level sensors, sensors for longitudinal and lateral acceleration and / or yaw rate).

Dadurch können dem Klassifikator insbesondere Informationen von Hindernissen zugeführt werden, die sich in einer aktuell sehr häufig befahrenen Umgebung befinden. Bei der Verwendung eines entsprechend angelernten Klassifikators, muss ein detektiertes Hindernis aus einer solchen häufig befahrenen Umgebung nur mit einer geringen Anzahl von im Klassifikator vorhandenen Mustern, die den Hindernisse dieser besonderen Umgebung entsprechen, verglichen werden. Dadurch wird der mit dem Vergleichsalgorithmus verbundenen Rechenaufwand und dadurch auch die entsprechende Vergleichszeit erheblich reduziert. As a result of this, the classifier can be supplied, in particular, with information about obstacles which are located in a currently very frequently traveled environment. When using a suitably trained classifier, a detected obstacle from such a frequently traveled environment need only be compared with a small number of patterns present in the classifier corresponding to the obstacles of that particular environment. As a result, the computational effort associated with the comparison algorithm and thus also the corresponding comparison time are considerably reduced.

Weiterhin wird erfindungsgemäß ein Fahrzeug mit einem erfindungsgemäßen Fahrzeugassistenzsystem bereitgestellt.Furthermore, according to the invention, a vehicle is provided with a vehicle assistance system according to the invention.

Die Vorteile des erfindungsgemäßen Fahrzeugassistenzsystems und des erfindungsgemäßen Fahrzeuges entsprechen im Wesentlichen den Vorteilen des entsprechenden erfindungsgemäßen Verfahrens. Aus diesem Grund wird auf eine Widerholung verzichtet.The advantages of the vehicle assistance system according to the invention and the vehicle according to the invention essentially correspond to the Advantages of the corresponding method according to the invention. For this reason, a repetition is waived.

Zeichnungendrawings

Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitenden Zeichnungen im Detail beschrieben. In den Zeichnungen ist:Hereinafter, embodiments of the invention will be described in detail with reference to the accompanying drawings. In the drawings:

1 eine Draufsicht eines Fahrzeuges mit einem Multikamerasystem nach dem Stand der Technik, 1 a top view of a vehicle with a multi-camera system according to the prior art,

2 eine Seitenansicht des Fahrzeuges aus der 1 mit dem entsprechenden Multikamerasystem nach dem Stand der Technik, 2 a side view of the vehicle from the 1 with the corresponding multi-camera system according to the prior art,

3 ein Bild eines Rades eines Fahrzeuges währen einer Bordsteinkollision, 3 an image of a wheel of a vehicle during a curb collision,

4a bis 4c eine Draufsicht des Fahrzeuges aus der 1 mit dem Multikamerasystem nach dem Stand der Technik in drei unterschiedlichen Positionen beim Befahren einer engen Kurve, 4a to 4c a plan view of the vehicle from the 1 with the multi-camera system according to the prior art in three different positions when driving on a tight curve,

5 eine Draufsicht eines Fahrzeuges mit einem erfindungsgemäßen Fahrzeugassistenzsystem nach einer ersten Ausführungsform der Erfindung, und 5 a top view of a vehicle with a vehicle assistance system according to the invention according to a first embodiment of the invention, and

6 eine Seitenansicht eines Fahrzeuges mit einem erfindungsgemäßen Fahrzeugassistenzsystem nach einer zweiten Ausführungsform der Erfindung. 6 a side view of a vehicle with a vehicle assistance system according to the invention according to a second embodiment of the invention.

Ausführungsformen der ErfindungEmbodiments of the invention

In 5 dargestellt ist eine Draufsicht eines Fahrzeuges 10 mit einem erfindungsgemäßen Fahrzeugassistenzsystem 20 nach einer ersten Ausführungsform der Erfindung.In 5 shown is a plan view of a vehicle 10 with a vehicle assistance system according to the invention 20 according to a first embodiment of the invention.

Mittels von seitlich am Fahrzeug 10 insbesondere am Radkastenrand oder im Spiegelgehäuse 45, 55 montierten Kameras 40, 50 kann der seitliche Bereich des Fahrzeuges 10 hinreichend erfasst werden. An dem Fahrzeug 10 können weitere Kameras, wie zum Beispiel eine Frontkamera 30 und eine Heckkamera 60, vorhanden sein. In der 5 sind auch die Räder 70, 80, 90, 100 des Fahrzeuges 10 dargestellt. Bei dem erfindungsgemäße Fahrzeugassistenzsystem 20 zur aktiven Warnung und/oder zur Navigationshilfe zur Vermeidung einer Kollision eines Fahrzeugrades 70, 80, 90, 100 mit einem Bordstein und/oder ähnlichen Objekten wird mittels am Fahrzeug 10 befindlicher Kameras 30, 40, 50, 60 geprüft, ob ein Bordstein erkannt wird. Mittels des erfindungsgemäßen Fahrzeugassistenzsystems 20 wird bei Vorliegen einer möglichen Kollision eine Warnung an den Fahrer ausgegeben und/oder aktiv in die Lenkung eingegriffen. Bei dem erfindungsgemäßen Fahrzeugassistenzsystem 20 nach der ersten Ausführungsform der Erfindung erfolgt die Objekterkennung in besonderer Weise über eine Mustererkennung, indem über eine Frontkamera 30 und/oder eine Heckkamera ein Straßenstück aufgenommen wird, das mit dem Bild einer seitlichen Kamera 40, 50 korreliert wird, um einen Bordstein oder ein anderes Hindernis zu erkennen.By means of the side of the vehicle 10 especially at the edge of the wheel arch or in the mirror housing 45 . 55 mounted cameras 40 . 50 can be the lateral area of the vehicle 10 be sufficiently recorded. On the vehicle 10 can use more cameras, such as a front camera 30 and a rear camera 60 , to be available. In the 5 are also the wheels 70 . 80 . 90 . 100 of the vehicle 10 shown. In the vehicle assistance system according to the invention 20 for active warning and / or navigation aid to avoid a collision of a vehicle wheel 70 . 80 . 90 . 100 with a curb and / or similar objects is by means of the vehicle 10 located cameras 30 . 40 . 50 . 60 checked if a curb is detected. By means of the vehicle assistance system according to the invention 20 In the event of a possible collision, a warning is issued to the driver and / or actively intervenes in the steering. In the vehicle assistance system according to the invention 20 According to the first embodiment of the invention, the object recognition takes place in a special way via a pattern recognition by a front camera 30 and / or a rear camera a piece of road is taken, the with the image of a side camera 40 . 50 is correlated to detect a curb or other obstacle.

In der 2 ist eine Seitenansicht eines Fahrzeuges 10 mit einem erfindungsgemäßen Fahrzeugassistenzsystem 20 nach einer zweiten Ausführungsform der Erfindung dargestellt. Während der Fahrt auf einer Straße 110 wird stets der unmittelbare Bereich 111 seitlich um das Fahrzeug 10 auf das Vorhandensein eines Bordsteins untersucht. Eine Erkennung des Muster der aktuell umgebenden Straße ist über eine Erkennung von entsprechende Strukturwiderholungen möglich. Auch kann der direkte Bildausschnitt verwendet werden, der den Bereich 112 der Fahrzeugumgebung in der Nähe eines Fahrzeugteils, insbesondere eines Rades 80 und/oder den Bereich 113 der Fahrzeugumgebung knapp vor dem Seitenschweller 42 abbildet.In the 2 is a side view of a vehicle 10 with a vehicle assistance system according to the invention 20 illustrated according to a second embodiment of the invention. While driving on a road 110 always becomes the immediate area 111 laterally around the vehicle 10 examined for the presence of a curb. Recognition of the pattern of the currently surrounding road is possible via recognition of corresponding structural responses. Also, the direct image section can be used, which is the area 112 the vehicle environment in the vicinity of a vehicle part, in particular a wheel 80 and / or the area 113 the vehicle environment just before the side skirts 42 maps.

Neben der voranstehenden schriftlichen Offenbarung wird hiermit zur weiteren Offenbarung der Erfindung ergänzend auf die Darstellung in den 5 und 6 Bezug genommen.In addition to the above written disclosure is hereby further disclosure of the invention supplementary to the representation in the 5 and 6 Referenced.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102005037273 A1 [0013] DE 102005037273 A1 [0013]
  • DE 102005015463 B4 [0013] DE 102005015463 B4 [0013]

Claims (10)

Verfahren zur aktiven Warnung und/oder zur Navigationshilfe zur Vermeidung einer Kollision eines Fahrzeugkarosserieteils und/oder eines Fahrzeugrades (70, 80, 90, 100) mit einem Objekt, insbesondere einem Bordstein (120), wobei das Objekt anhand einer Auswertung von Kamerabildern der Fahrzeugumgebung erkannt wird und wobei beim Vorliegen einer möglichen Kollision zwischen einem Fahrzeugkarosserieteils und/oder einem Fahrzeugrad (70, 80, 90, 100) und dem erkannten Objekt (120) eine Warnung an den Fahrer ausgegeben wird und/oder aktiv in die Fahrzeugdynamik eingegriffen wird, dadurch gekennzeichnet, dass ein Muster der aktuell umgebenden Straße (110) durch eine Auswertung eines mittels mindestens einer sich am Fahrzeug (10) befindlichen Kamera (40, 50) aufgenommenen Bildes bestimmt wird, und zur Erkennung des Objekts (120) ein mittels mindestens einer seitlich am Fahrzeug (10) befindlichen Kamera (40, 50) aufgenommenes Bild auf Unterschiede zu dem bestimmten Muster der aktuell umgebenden Straße (110) ausgewertet wird.Method for active warning and / or navigation aid for avoiding a collision of a vehicle body part and / or a vehicle wheel ( 70 . 80 . 90 . 100 ) with an object, in particular a curb ( 120 ), wherein the object is detected on the basis of an evaluation of camera images of the vehicle surroundings and wherein, in the presence of a possible collision between a vehicle body part and / or a vehicle wheel ( 70 . 80 . 90 . 100 ) and the recognized object ( 120 ) a warning is issued to the driver and / or is actively intervened in the vehicle dynamics, characterized in that a pattern of the currently surrounding road ( 110 ) by an evaluation of at least one on the vehicle ( 10 ) camera ( 40 . 50 ) and the recognition of the object ( 120 ) by means of at least one laterally on the vehicle ( 10 ) camera ( 40 . 50 ) recorded image for differences to the particular pattern of the currently surrounding road ( 110 ) is evaluated. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mindestens ein Bild eines Straßenstückes mittels einer am Fahrzeug (10) befindlichen Frontkamera (30) und/oder Heckkamera (60) zur Bestimmung der Muster der aktuell umgebenden Straße (110) aufgenommen wird und mit dem mindestens einen mittels der mindestens einen seitlichen Kamera (40, 50) aufgenommenen Bild der Fahrzeugumgebung zur Erkennung des mindestens einen Objekts (120) korreliert wird.A method according to claim 1, characterized in that at least one image of a road piece by means of a vehicle ( 10 ) front camera ( 30 ) and / or rear camera ( 60 ) for determining the patterns of the currently surrounding road ( 110 ) and with the at least one by means of at least one lateral camera ( 40 . 50 ) recorded image of the vehicle environment for detecting the at least one object ( 120 ) is correlated. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Muster der aktuell umgebenden Straße (110) mittels einer Auswertung mindestens eines mittels mindestens einer insbesondere seitlich am Fahrzeug befindlichen Kamera (40, 50) aufgenommenen Bildes der Fahrzeugumgebung zur Erkennung von entsprechenden Strukturwiederholungen bestimmt wird. Method according to claim 1 or 2, characterized in that the pattern of the currently surrounding road ( 110 ) by means of an evaluation of at least one by means of at least one particular laterally on the vehicle located camera ( 40 . 50 ) recorded image of the vehicle environment for the detection of corresponding structure repetitions. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der Erkennung des Musters der direkte Bereich der Fahrzeugumgebung knapp vor (112) und/oder neben einem Fahrzeugteil, insbesondere angrenzend (113) an einem Fahrzeugteil, vorzugsweise an einem Fahrzeugrad (70, 80, 90, 100), insbesondere knapp vor dem Seitenschweller (42), in einem vordefinierten Bildausschnitt eines Bildes der seitlichen Kamera (40, 50) ausgewertet wird.A method according to claim 1, characterized in that in the recognition of the pattern of the direct area of the vehicle environment just before ( 112 ) and / or next to a vehicle part, in particular adjacent ( 113 ) on a vehicle part, preferably on a vehicle wheel ( 70 . 80 . 90 . 100 ), especially just before the side skirts ( 42 ), in a predefined image section of an image of the lateral camera ( 40 . 50 ) is evaluated. Verfahren nach einem der vorangehenden Ansprüchen, dadurch gekennzeichnet, dass bei der Bestimmung des mindestens einen Objekts zusätzlich eine Objekterkennung und/oder Objektverfolgung mittels einer Auswertung von Kamerabildern der Fahrzeugumgebung durchgeführt wird und/oder zusätzlich die Höhe des mindestens einen Objekts durch eine Auswertung mindestens eines Bildes der Fahrzeugumgebung bestimmt wird, das insbesondere mittels einer am Fahrzeug befindlichen Stereokamera und/oder Zeilenkamera aufgenommen wird.Method according to one of the preceding claims, characterized in that in the determination of the at least one object additionally an object recognition and / or object tracking by means of an evaluation of camera images of the vehicle environment is performed and / or additionally the height of the at least one object by an evaluation of at least one image the vehicle environment is determined, which is recorded in particular by means of a vehicle located on the stereo camera and / or line camera. Verfahren nach einem der vorangehenden Ansprüchen, dadurch gekennzeichnet, dass mindestens ein als Hindernis erkanntes Objekt (120), insbesondere mindestens ein als Hindernis erkannter Bordstein (120), einem Klassifikator zur Erkennung von ähnlichen Hindernissen als Muster zugeführt wird.Method according to one of the preceding claims, characterized in that at least one object recognized as an obstacle ( 120 ), in particular at least one obstacle recognized as an obstacle ( 120 ) is fed to a classifier for detecting similar obstacles as a pattern. Fahrzeugassistenzsystem (20) zur Durchführung des Verfahrens nach mindesten einem der vorangehenden Ansprüchen, gekennzeichnet durch eine Auswerteeinheit, die dazu ausgebildet ist, mindestens ein Objekt, insbesondere einen Bordstein (120), anhand einer eine Mustererkennung der aktuell umgebenden Straße umfassenden Auswertung mindestens eines mittels mindestens einer, insbesondere seitlich am Fahrzeug (10) befindlichen Kamera (40, 50) aufgenommenen Bildes der Fahrzeugumgebung zu bestimmen und beim Vorliegen einer möglichen Kollision zwischen einem Fahrzeugkarosserieteils und/oder einem Fahrzeugrad (70, 80, 90, 110) mit dem mindestens einen erkannten Objekt (120) ein Warn- und/oder Steuersignal zu erzeugen, und eine Warneinheit, die dazu ausgebildet ist, beim Vorliegen eines von der Auswerteeinheit erzeugten Warnsignal eine aktive Warnung auszugeben, und/oder eine Steuereinheit, die dazu ausgebildet ist, beim Vorliegen eines von der Auswerteeinheit erzeugten Steuersignal in das Fahrzeugdynamik aktiv einzugreifen.Vehicle assistance system ( 20 ) for performing the method according to at least one of the preceding claims, characterized by an evaluation unit, which is designed to at least one object, in particular a curb ( 120 ), based on a pattern recognition of the current surrounding road comprehensive evaluation of at least one by at least one, in particular laterally on the vehicle ( 10 ) camera ( 40 . 50 ), and in the event of a possible collision between a vehicle body part and / or a vehicle wheel ( 70 . 80 . 90 . 110 ) with the at least one recognized object ( 120 ) to generate a warning and / or control signal, and a warning unit which is adapted to output an active warning in the presence of a warning signal generated by the evaluation unit, and / or a control unit, which is designed, in the presence of one of the evaluation unit generated control signal to actively intervene in the vehicle dynamics. Fahrzeugassistenzsystem (20) nach Anspruch 7, dadurch gekennzeichnet, dass die Auswerteeinheit weiter dazu ausgebildet ist, zusätzlich eine Objekterkennung und/oder Objektverfolgung zur Bestimmung des mindestens einen Objekts mittels einer Auswertung von Kamerabildern durchzuführen und/oder zusätzlich die Höhe des mindestens einen erkannten Objekts (120) mittels einer Auswertung mindestens eines Bildes der Fahrzeugumgebung zu bestimmen, das insbesondere mittels mindestens einer am Fahrzeug (10) befindlichen Stereokamera und/oder Zeilenkamera aufgenommen wurde.Vehicle assistance system ( 20 ) according to claim 7, characterized in that the evaluation unit is further adapted to additionally perform an object recognition and / or object tracking for determining the at least one object by means of an evaluation of camera images and / or additionally the height of the at least one recognized object ( 120 ) by means of an evaluation of at least one image of the vehicle surroundings, which is determined in particular by means of at least one vehicle ( 10 ) and / or line camera was recorded. Fahrzeugassistenzsystem (20) nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass die Auswerteeinheit dazu ausgebildet ist, mindestens ein detektiertes Objekt (120) mittels eines Klassifikators zu klassifizieren und mindestens ein als Hindernis erkanntes Objekt (120), insbesondere mindestens ein als Hindernis erkannter Bordstein (120) dem Klassifikator zur Erkennung von ähnlichen Hindernissen als Muster zuzuführen.Vehicle assistance system ( 20 ) according to one of claims 7 or 8, characterized in that the evaluation unit is adapted to at least one detected object ( 120 ) by means of a classifier and at least one object recognized as an obstacle ( 120 ), in particular at least one obstacle recognized as an obstacle ( 120 ) as a pattern to the classifier for the recognition of similar obstacles. Fahrzeug (10) mit einem Fahrzeugassistenzsystem (20) nach mindestens einem der Ansprüchen 7 bis 9. Vehicle ( 10 ) with a vehicle assistance system ( 20 ) according to at least one of claims 7 to 9.
DE102011087894A 2011-12-07 2011-12-07 Method and vehicle assistance system for active warning and / or navigation aid for avoiding a collision of a vehicle body part and / or a vehicle wheel with an object Withdrawn DE102011087894A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102011087894A DE102011087894A1 (en) 2011-12-07 2011-12-07 Method and vehicle assistance system for active warning and / or navigation aid for avoiding a collision of a vehicle body part and / or a vehicle wheel with an object
PCT/EP2012/072873 WO2013083384A1 (en) 2011-12-07 2012-11-16 Method and vehicle assistance system for active warning and/or for navigation aid for preventing a collision of a vehicle body part and/or a vehicle wheel with an object
JP2014545155A JP6073358B2 (en) 2011-12-07 2012-11-16 Active warning and / or navigation assistance method for avoiding collision between vehicle body and / or wheel and object
EP12798642.0A EP2788968B1 (en) 2011-12-07 2012-11-16 Method and vehicle assistance system for active warning and/or for navigation aid for preventing a collision of a vehicle body part and/or a vehicle wheel with an object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011087894A DE102011087894A1 (en) 2011-12-07 2011-12-07 Method and vehicle assistance system for active warning and / or navigation aid for avoiding a collision of a vehicle body part and / or a vehicle wheel with an object

Publications (1)

Publication Number Publication Date
DE102011087894A1 true DE102011087894A1 (en) 2013-06-13

Family

ID=47326078

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011087894A Withdrawn DE102011087894A1 (en) 2011-12-07 2011-12-07 Method and vehicle assistance system for active warning and / or navigation aid for avoiding a collision of a vehicle body part and / or a vehicle wheel with an object

Country Status (4)

Country Link
EP (1) EP2788968B1 (en)
JP (1) JP6073358B2 (en)
DE (1) DE102011087894A1 (en)
WO (1) WO2013083384A1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014006546A1 (en) * 2014-05-06 2015-11-12 Audi Ag motor vehicle
DE102014006547A1 (en) 2014-05-06 2015-11-12 Audi Ag Driver assistance system for a motor vehicle and method for issuing a warning
DE102014209907A1 (en) * 2014-05-23 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Adjusting a parking end position or a reversal point using a side camera as part of an automated parking maneuver
DE102016011342A1 (en) 2016-09-21 2017-03-02 Daimler Ag Motor vehicle with a vehicle assistance system
DE102016111079A1 (en) 2016-06-17 2017-12-21 Valeo Schalter Und Sensoren Gmbh Method for object height detection of an object in the environment of a motor vehicle and driver assistance system
DE102016119729A1 (en) * 2016-10-17 2018-04-19 Connaught Electronics Ltd. Controlling a passenger transport vehicle with all-round vision camera system
DE102021109445A1 (en) 2021-04-15 2022-10-20 Bayerische Motoren Werke Aktiengesellschaft wheel of a vehicle

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016175549A (en) * 2015-03-20 2016-10-06 株式会社デンソー Safety confirmation support device, safety confirmation support method
JP6771658B2 (en) * 2017-04-20 2020-10-21 三菱電機株式会社 Parking support control device and parking support control method
DE102018214551A1 (en) 2018-08-28 2020-03-05 Bayerische Motoren Werke Aktiengesellschaft Turn assistant in the vehicle
KR102616205B1 (en) * 2018-10-08 2023-12-21 주식회사 에이치엘클레무브 Back Warning Apparatus, Method thereof and Control System

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19926559A1 (en) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Method and device for detecting objects in the vicinity of a road vehicle up to a great distance
DE10307229A1 (en) * 2003-02-14 2004-04-15 Valeo Schalter Und Sensoren Gmbh Device for monitoring vicinity of motor vehicle to avoid collisions with obstacles, has sensor which detects distance covered, and distance sensor arranged at side of vehicle
DE102005036782A1 (en) * 2005-08-02 2007-02-15 Magna Donnelly Gmbh & Co. Kg Operation method for image evaluation system, involves determination of image shift vector from image difference of object feature images whereby camera movement vector and image shift vector are fed to computer unit as input data
DE102005015463B4 (en) 2005-04-04 2007-02-15 Magna Donnelly Gmbh & Co. Kg Vehicle with distance control system
DE102005037273A1 (en) 2005-08-08 2007-02-15 Robert Bosch Gmbh Lane assistance system for vehicles
DE102008010119A1 (en) * 2007-02-21 2008-11-20 Denso Corp., Kariya-shi Device for detecting an object and system for communication between vehicles
DE102009016562A1 (en) * 2009-04-06 2009-11-19 Daimler Ag Method for identifying objects in periphery of vehicle, involves recording image of periphery of vehicle at vehicle position, and another image of periphery of vehicle at another vehicle position by camera arranged on vehicle
DE102011014699A1 (en) * 2011-03-22 2012-09-27 Audi Ag Method for operating driver assistance system for protection of motor car, involves determining recording locations of object from different positions of motor car based on three-dimensional positional data and endangerment value

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000161915A (en) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd On-vehicle single-camera stereoscopic vision system
JP2001341599A (en) * 2000-05-31 2001-12-11 Nissan Motor Co Ltd Lane deviation warning device
JP2004090869A (en) * 2002-09-03 2004-03-25 Advics:Kk Traveling obstacle preventative device of vehicle
JP2004098981A (en) * 2002-09-12 2004-04-02 Nissan Motor Co Ltd Vehicle steering support device
JP4033017B2 (en) * 2003-03-28 2008-01-16 日産自動車株式会社 Ambient monitoring device for vehicles
DE102005003191A1 (en) * 2005-01-24 2006-07-27 Robert Bosch Gmbh Motor vehicle e.g. passenger car`s, surrounding field detecting device for parking spot measurement, has light source and camera arranged with basis distance from one another, which serves to determine distance between vehicle and obstacle
JP2007022290A (en) * 2005-07-15 2007-02-01 Alpine Electronics Inc Top view image forming device and its display method
JP5157067B2 (en) * 2006-01-06 2013-03-06 トヨタ自動車株式会社 Automatic travel map creation device and automatic travel device.
DE102007022524A1 (en) * 2007-05-14 2008-11-20 Bayerische Motoren Werke Aktiengesellschaft motor vehicle
US8694195B2 (en) * 2007-12-04 2014-04-08 Volkswagen Ag Motor vehicle having a wheel-view camera and method for controlling a wheel-view camera system
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8044781B2 (en) * 2008-11-10 2011-10-25 Volkswagen Ag System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
JP5150527B2 (en) * 2009-02-03 2013-02-20 株式会社日立製作所 Vehicle collision avoidance support device
DE102009032542B4 (en) * 2009-07-10 2021-12-16 Audi Ag Method for operating a driver assistance system of a vehicle and driver assistance system
JP5686281B2 (en) * 2009-12-25 2015-03-18 株式会社リコー Three-dimensional object identification device, and mobile object control device and information providing device provided with the same

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19926559A1 (en) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Method and device for detecting objects in the vicinity of a road vehicle up to a great distance
DE10307229A1 (en) * 2003-02-14 2004-04-15 Valeo Schalter Und Sensoren Gmbh Device for monitoring vicinity of motor vehicle to avoid collisions with obstacles, has sensor which detects distance covered, and distance sensor arranged at side of vehicle
DE102005015463B4 (en) 2005-04-04 2007-02-15 Magna Donnelly Gmbh & Co. Kg Vehicle with distance control system
DE102005036782A1 (en) * 2005-08-02 2007-02-15 Magna Donnelly Gmbh & Co. Kg Operation method for image evaluation system, involves determination of image shift vector from image difference of object feature images whereby camera movement vector and image shift vector are fed to computer unit as input data
DE102005037273A1 (en) 2005-08-08 2007-02-15 Robert Bosch Gmbh Lane assistance system for vehicles
DE102008010119A1 (en) * 2007-02-21 2008-11-20 Denso Corp., Kariya-shi Device for detecting an object and system for communication between vehicles
DE102009016562A1 (en) * 2009-04-06 2009-11-19 Daimler Ag Method for identifying objects in periphery of vehicle, involves recording image of periphery of vehicle at vehicle position, and another image of periphery of vehicle at another vehicle position by camera arranged on vehicle
DE102011014699A1 (en) * 2011-03-22 2012-09-27 Audi Ag Method for operating driver assistance system for protection of motor car, involves determining recording locations of object from different positions of motor car based on three-dimensional positional data and endangerment value

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014006546A1 (en) * 2014-05-06 2015-11-12 Audi Ag motor vehicle
DE102014006547A1 (en) 2014-05-06 2015-11-12 Audi Ag Driver assistance system for a motor vehicle and method for issuing a warning
DE102014209907A1 (en) * 2014-05-23 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Adjusting a parking end position or a reversal point using a side camera as part of an automated parking maneuver
DE102016111079A1 (en) 2016-06-17 2017-12-21 Valeo Schalter Und Sensoren Gmbh Method for object height detection of an object in the environment of a motor vehicle and driver assistance system
DE102016011342A1 (en) 2016-09-21 2017-03-02 Daimler Ag Motor vehicle with a vehicle assistance system
DE102016119729A1 (en) * 2016-10-17 2018-04-19 Connaught Electronics Ltd. Controlling a passenger transport vehicle with all-round vision camera system
DE102021109445A1 (en) 2021-04-15 2022-10-20 Bayerische Motoren Werke Aktiengesellschaft wheel of a vehicle

Also Published As

Publication number Publication date
WO2013083384A1 (en) 2013-06-13
JP6073358B2 (en) 2017-02-01
JP2015507776A (en) 2015-03-12
EP2788968A1 (en) 2014-10-15
EP2788968B1 (en) 2015-08-19

Similar Documents

Publication Publication Date Title
EP2788968B1 (en) Method and vehicle assistance system for active warning and/or for navigation aid for preventing a collision of a vehicle body part and/or a vehicle wheel with an object
DE102009006335B4 (en) Method for assisting the driver of a motor vehicle
DE102014107917A1 (en) A method and apparatus for avoiding a collision of a vehicle comprising a motor vehicle and a trailer with an obstacle
DE102010043742A1 (en) Method for selecting a parking space in the case of several parking spaces suitable for parking
WO2014127777A2 (en) Method and device for determining a traffic lane state
DE102010001258A1 (en) Driver assistance process
DE102008020007A1 (en) Driver assisting method for vehicle, involves performing edge detection by horizontal and vertical sobel-edge operator, determining gray value gradient, generating binary signal by evaluation of gray value gradients
WO2014075936A1 (en) Method and device for warning against cross traffic when leaving a parking space
DE102011056671A1 (en) Determining a height profile of a vehicle environment using a 3D camera
DE102012213344A1 (en) Method for driver assistance on board of motor vehicle, particularly for traffic sign recognition, involves determining direction change of motor vehicle, selecting camera image as function of direction change, and determining traffic sign
WO2008071473A1 (en) Method and device for detecting an obstacle in a region surrounding a motor vehicle, and motor vehicle
DE102014204872B4 (en) A method and display system for displaying environmental information of a vehicle
DE102006050214A1 (en) A method of assisting a driver when driving with a vehicle
DE102009039085A1 (en) Method for maneuvering vehicle, involves detecting low-floor barricade in circumference of vehicle by remote sensor of vehicle, where distance of barricade to vehicle is determined
DE102010023164A1 (en) Method for warning presence of pillar in environment to rider of motor car, involves computing path length of prospective track of motor car by driver assistance system, and accounting path length while checking satisfied warning criterion
DE102012216753A1 (en) Method for assisting e.g. parking maneuver of e.g. motor vehicle on road surface, involves maximally detecting future swept area and/or area covered by target position of vehicle, during movement of vehicle along trajectory
DE112017006366T5 (en) Parking assist device
DE102010026222A1 (en) Method for assisting driver during driving and/or maneuvering of car, involves optically outputting orientation aids and optically outputting detected areas on display units from perspective view, where images are superimposed with aids
DE102013021827A1 (en) A method for warning a driver of a motor vehicle of a risk of collision by outputting a non-optical warning signal, collision warning system and motor vehicle
DE102017217441A1 (en) Method for carrying out a curb parking of a motor vehicle, device and motor vehicle
DE102008025773A1 (en) Local and movement conditions estimating method for observed object i.e. vehicle, involves determining distance, detecting shifting of portion of object, and estimating parameter of local and movement condition
DE10125966A1 (en) Curve warning system for drivers of long vehicles, such as buses or goods vehicles, has a rear facing sensor arrangement and a control computer for calculating if an impact will occur and warning the driver accordingly
DE102016111079A1 (en) Method for object height detection of an object in the environment of a motor vehicle and driver assistance system
DE102016213377B4 (en) Method for clearance height detection
DE102020124920A1 (en) METHOD OF OPERATING A DRIVING ASSISTANCE SYSTEM FOR A VEHICLE, COMPUTER PROGRAM PRODUCT, DRIVING ASSISTANCE SYSTEM AND VEHICLE

Legal Events

Date Code Title Description
R163 Identified publications notified
R005 Application deemed withdrawn due to failure to request examination