DE102011113099A1

DE102011113099A1 - Method for determining e.g. wall in rear area of passenger car during parking, involves determining surroundings information, and determining positional information of dynamic objects in surroundings based on two surroundings information

Info

Publication number: DE102011113099A1
Application number: DE102011113099A
Authority: DE
Inventors: Dr. Haja Andreas; Hellward Broszio; Nikolaus Meine
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2011-09-09
Filing date: 2011-09-09
Publication date: 2013-03-14

Abstract

The method involves determining surroundings information containing positional information of static objects (24, 25), in surroundings (23) of a vehicle (20). Another surroundings information, containing positional information of the static objects and dynamic objects (26) in the surroundings, is determined. Positional information of the dynamic objects is determined based on both the surroundings information. Two images of the surroundings of the vehicle are detected by a camera (21), and movement of the vehicle between detection of the images is detected. An independent claim is also included for a driver assistance system.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung von Objekten in einer Umgebung eines Fahrzeugs und ein Fahrerassistenzsystem, welches das Verfahren Zur Bestimmung von Objekten verwendet. Die vorliegende Erfindung betrifft insbesondere ein Verfahren zur Bestimmung von Objekten in einem Rückraum des Fahrzeugs, um beispielsweise einem Fahrer des Fahrzeugs Informationen über Objekte hinter dem Fahrzeug beim Rangieren und Einparken bereitzustellen.The present invention relates to a method for determining objects in an environment of a vehicle and to a driver assistance system that uses the method for determining objects. More particularly, the present invention relates to a method of determining objects in a vehicle's rear space to provide, for example, information about objects behind the vehicle when maneuvering and parking to a driver of the vehicle.

Fahrzeuge, beispielsweise Personenkraftwagen oder Lastkraftwagen, können über sogenannte Fahrerassistenzsysteme verfügen, um einen Fahrer des Fahrzeugs beim Führen des Fahrzeugs zu unterstützen. Beispielsweise kann ein Fahrerassistenzsystem einem Fahrer des Fahrzeugs beim Rückwärtsfahren anzeigen, ob im Bereich hinter dem Fahrzeug kollisionsgefährdete Objekte vorhanden sind.Vehicles, such as passenger cars or trucks, may have so-called driver assistance systems to assist a driver of the vehicle in driving the vehicle. For example, a driver assistance system can indicate to a driver of the vehicle when reversing whether there are collision-prone objects in the area behind the vehicle.

In diesem Zusammenhang ist beispielsweise aus der DE 10 2009 012 917 A1 eine Hinderniserkennungsvorrichtung für Fahrzeuge bekannt. Die Hinderniserkennungsvorrichtung umfasst eine Kamera und verarbeitet sich ergebende Bilddaten, um Objekte als mögliche Hindernisse zu erkennen. Ein Größenwert, beispielsweise der Abstand von zwei Hecklampen, gesendet von einem vorausfahrenden Fahrzeug, und ein entsprechender Größenwert, wie er in einem von der Kamera aufgenommenen Bild gemessen wird, werden verwendet, um den Abstand zu dem vorausfahrenden Fahrzeug zu berechnen. Weiterhin können Objekte entsprechend festen Hindernissen, die innerhalb des Bearbeitungsbereichs liegen, oder Objekte entsprechend beweglichen Hindernissen, die innerhalb des Verarbeitungsbereichs liegen, aus den Bilddaten extrahiert werden. Dies erfolgt beispielsweise durch Anlegen oder Anwenden einer Schablonenanpassung an das Bild unter Verwendung von Schablonen, welche gemäß dem Inhalt der Straßen/Fahrzeug-Information gewählt werden. Die Position der Größe jeglicher fester und/oder beweglicher Hindernisse innerhalb des Bearbeitungsbereichs wird somit erhalten.In this context, for example, from the DE 10 2009 012 917 A1 an obstacle detection device for vehicles known. The obstacle detection device includes a camera and processes resulting image data to detect objects as potential obstacles. A magnitude value, for example, the distance of two tail lamps transmitted from a preceding vehicle and a corresponding magnitude value, as measured in an image taken by the camera, are used to calculate the distance to the preceding vehicle. Furthermore, objects corresponding to fixed obstacles located within the processing area or objects corresponding to moving obstacles located within the processing area may be extracted from the image data. This is done, for example, by applying or applying template matching to the image using templates selected according to the content of the road / vehicle information. The position of the size of any fixed and / or movable obstacles within the processing area is thus obtained.

Die 10 2009 023 326 A1 betrifft eine Vorrichtung und ein Verfahren zum Detektieren eines kritischen Bereichs und eine Fußgängerdetektionsvorrichtung unter Verwendung derselben. Die Fußgängerdetektionsvorrichtung umfasst einen Bildgenerator zum Aufzeichnen von Bildern von einer Umgebung des Fahrzeugs und Erzeugen von Bildausgaben, einen Sensor zum Erkennen von Hindernissen um das Fahrzeug und Liefern von Distanzdaten der Distanz zwischen den Hindernissen und dem Fahrzeug, eine Selektionseinrichtung zum Selektieren eines kritischen Bereichs unter Verwendung der Distanzdaten zum Identifizieren der Fahrzeugumgebung und sich bewegender Hindernisse und Detektieren einer vorgegebenen Umgebung und der die sich bewegenden Hindernisse umgebenden Bereiche als kritische Bereiche, und eine Fußgängerdetektionseinrichtung zum Detektieren der Fußgänger vorzugsweise anhand von Bildern, die den kritischen Bereichen entsprechen.The 10 2009 023 326 A1 relates to an apparatus and method for detecting a critical area and a pedestrian detection apparatus using the same. The pedestrian detection apparatus includes an image generator for recording images of surroundings of the vehicle and generating image outputs, a sensor for detecting obstacles around the vehicle, and providing distance data of the distance between the obstacles and the vehicle, selection means for selecting a critical area using the distance data for identifying the vehicle surroundings and moving obstacles, and detecting a predetermined environment and the areas surrounding the moving obstacles as critical areas, and pedestrian detection means for detecting the pedestrians preferably from images corresponding to the critical areas.

Die DE 10 2009 057 336 A1 betrifft eine Vorrichtung zur Überwachung eines Raumbereichs außerhalb des Fahrzeugs. Die erfindungsgemäße Vorrichtung umfasst eine Informationsverarbeitungseinheit zur Unterscheidung von statischen Objekten sowie von sich bewegenden Objekten und Personen, wobei die Informationsverarbeitungseinheit basierend auf mindestens einem Signal eines berührungslosen Sensors Informationen über statische Objekte sowie über sich bewegende Objekte und Personen innerhalb des Raumbereichs erhält.The DE 10 2009 057 336 A1 relates to a device for monitoring a space outside the vehicle. The device according to the invention comprises an information processing unit for distinguishing static objects as well as moving objects and persons, wherein the information processing unit receives information about static objects as well as about moving objects and persons within the spatial area based on at least one signal of a non-contact sensor.

Die DE 10 2007 022 524 A1 betrifft ein Kraftfahrzeug mit einer Abbildungseinrichtung zum Erzeugen eines Abbildes eines Strahlungsmusters auf einem das Fahrzeug umgebenden Gelände. Eine Erfassungseinheit zum mehrfachen zeitlich aufeinanderfolgenden Erfassen von durch das Gelände beeinflussten Abbildern des Strahlungsmusters und eine Prozessoreinrichtung sind derart eingerichtet, dass, basierend auf dem Unterschied zwischen zeitlich unmittelbar oder mittelbar aufeinanderfolgenden erfassten Bildern des Strahlungsmusters, ein Hindernis in dem Gelände detektiert wird. Vorteilhafterweise kann aus einer Relativgeschwindigkeit der Hindernisse in den Koordinaten des Fahrzeugs und der Kenntnis der Fahrzeuggeschwindigkeit relativ zur Fahrbahn die Geschwindigkeit der Hindernisse relativ zur Fahrbahn errechnet werden. Auf diese Weise kann ein Fahrzeug statische Hindernisse, beispielsweise Fahrbahnbegrenzungen, von den beweglichen Hindernissen, beispielsweise einen Fußgänger, unterscheiden.The DE 10 2007 022 524 A1 relates to a motor vehicle with an imaging device for generating an image of a radiation pattern on a terrain surrounding the vehicle. A detection unit for multiple temporally successive detection of terrain-influenced images of the radiation pattern and a processor device are arranged such that, based on the difference between temporally directly or indirectly successive acquired images of the radiation pattern, an obstacle in the terrain is detected. Advantageously, the speed of the obstacles relative to the roadway can be calculated from a relative speed of the obstacles in the coordinates of the vehicle and the knowledge of the vehicle speed relative to the roadway. In this way, a vehicle can distinguish static obstacles, such as lane boundaries, from the moving obstacles, such as a pedestrian.

Die DE 10 2007 053 311 A1 betrifft ein Ansteuersystem für ein Roboterfahrzeug. Das Ansteuersystem umfasst mindestens eine externe Kamera, die zum Erzeugen von Bilddaten eines Arbeitsbereichs sowie des Roboterfahrzeugs ausgebildet ist. Eine Logikeinheit ermittelt die Position des Roboterfahrzeugs und berechnet Fahranweisungen für das Roboterfahrzeug. Gemäß einer Ausführungsform erkennt die Logikeinheit statische und/oder bewegliche Hindernisse innerhalb des Arbeitsbereichs.The DE 10 2007 053 311 A1 relates to a drive system for a robotic vehicle. The drive system comprises at least one external camera, which is designed to generate image data of a work area and of the robotic vehicle. A logic unit determines the position of the robot vehicle and calculates driving instructions for the robot vehicle. According to one embodiment, the logic unit detects static and / or moving obstacles within the workspace.

Die DE 69 633 202 T2 betrifft eine automatische Fahrleiteinrichtung für ein Fahrzeug. Die Einrichtung umfasst einen automatischen Fahrabschnitt, der dazu ausgebildet ist, eine Straße vor dem Fahrzeug basierend auf erfassten Straßendaten zu erkennen und das Fahrzeug so zu steuern, dass es auf der erkannten Straße gemäß einem auf der Straßenkarte voreingestellten Kurs fährt. Die Einrichtung umfasst weiterhin einen Navigationsabschnitt, der eine Straßenkarteninformationsspeichereinrichtung umfasst, welche Straßendaten enthält und dazu ausgebildet ist, eine gegenwärtige Position des Fahrzeugs auf der Straßenkarte zu bestimmen und den automatischen Fahrabschnitt so zu instruieren, dass er das Fahrzeug derart leitet, dass es dem Kurs folgt. Der automatische Fahrabschnitt umfasst Fahrsteuermittel, welche dazu ausgebildet sind, ein sich bewegendes Hindernis auf der Straße vor dem Fahrzeug zu erfassen und das Fahrzeug so zu steuern, dass es sich dem sich bewegenden Hindernis mit niedriger Geschwindigkeit nähert oder anhält.The DE 69 633 202 T2 relates to an automatic Fahrleiteinrichtung for a vehicle. The device includes an automatic driving section configured to detect a road in front of the vehicle based on detected road data and to control the vehicle so that it drives on the recognized road according to a pre-set course on the road map. The apparatus further comprises a navigation section including road map information storage means including road data and adapted to determine a current position of the vehicle on the road map and to instruct the automatic driving section to guide the vehicle to follow the course , The automatic driving section includes travel control means configured to detect a moving obstacle on the road ahead of the vehicle and to control the vehicle to approach or stop the moving obstacle at a low speed.

Bei einer Auslegung von Fahrerassistenzsystemen mit einem Regeleingriff oder einer Warnausgabe ist es aus Sicherheitsgründen wünschenswert, eine unterschiedliche Behandlung von statischen und bewegten Objekten vorzusehen. Beispielsweise kann bei statischen Hindernissen eine optische Warnausgabe erfolgen, wohingegen bei bewegten Hindernissen eine akustische Warnausgabe erfolgt. Übliche Klassifikationsverfahren zur gezielten Erkennung von Fußgängern sind jedoch bei Park- und Rangieranwendungen nur bedingt geeignet, da üblicherweise verwendete Kameras, sogenannte Parkkameras, in der Regel eine hohe Linsenverzerrung aufweisen und insbesondere im Nahbereich des Fahrzeugs Hindernisse nur teilweise sichtbar sind. Die üblichen Klassifikationsverfahren können mit diesen Problemen nur bedingt umgehen, wodurch insbesondere bewegliche Hindernisse häufig nicht erkannt werden. Um die Probleme bei üblichen Klassifikationsverfahren zu vermeiden, kann beispielsweise das sogenannte Trainings-Set des Klassifikationsverfahrens erweitert werden, d. h., eine Datenbasis des Klassifikationsverfahrens wird um spezielle Teilansichten von beispielsweise Fußgängern erweitert. Zur Kompensation der starken Linsenverzerrung kann beispielsweise die Gestalt von Objekten im Trainings-Set adaptiv an die für die jeweilige Bildposition geltenden Verzerrungsparameter angepasst werden. Dies erfordert jedoch einen erheblichen Rechenaufwand und ist im Allgemeinen nicht hinreichend robust.In a design of driver assistance systems with a control intervention or a warning output, it is desirable for safety reasons to provide a different treatment of static and moving objects. For example, in the case of static obstacles, an optical warning output can take place, whereas with moving obstacles an acoustic warning output takes place. However, conventional classification methods for the targeted detection of pedestrians are only of limited suitability in parking and maneuvering applications, since conventionally used cameras, so-called parking cameras, generally have a high lens distortion and, in particular, obstacles are only partially visible in the vicinity of the vehicle. The usual classification methods can only handle these problems to a limited extent, as a result of which, in particular, moving obstacles are frequently not recognized. To avoid the problems with conventional classification methods, for example, the so-called training set of the classification method can be extended, i. h., a database of the classification method is extended to special partial views of, for example, pedestrians. To compensate for the strong lens distortion, for example, the shape of objects in the training set can be adapted adaptively to the distortion parameters that apply to the respective image position. However, this requires a considerable amount of computation and is generally not sufficiently robust.

Aufgabe der vorliegenden Erfindung ist es daher, eine einfache durchführbare und robuste Hinderniserkennung auf der Grundlage von Bildern einer Parkkamera bereitzustellen.The object of the present invention is therefore to provide a simple and robust obstacle detection based on images of a parking camera.

Diese Aufgabe wird gemäß der vorliegenden Erfindung durch ein Verfahren zur Bestimmung von Objekten in einer Umgebung eines Fahrzeugs nach Anspruch 1, ein Fahrerassistenzsystem nach Anspruch 8 und ein Fahrzeug nach Anspruch 10 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungsformen der Erfindung.This object is achieved according to the present invention by a method for determining objects in an environment of a vehicle according to claim 1, a driver assistance system according to claim 8 and a vehicle according to claim 10. The dependent claims define preferred and advantageous embodiments of the invention.

Gemäß der vorliegenden Erfindung wird ein Verfahren zur Bestimmung von Objekten in einer Umgebung eines Fahrzeugs bereitgestellt. Bei dem Verfahren wird eine erste Umgebungsinformation bestimmt, welche nur Positionsinformationen von statischen Objekten in der Umgebung aufweist. Weiterhin wird eine zweite Umgebungsinformation bestimmt, welche Positionsinformationen von statischen und dynamischen Objekten in der Umgebung aufweist. In Abhängigkeit von der ersten Umgebungsinformation und der zweiten Umgebungsinformation werden Positionsinformationen von dynamischen Objekten in der Umgebung bestimmt. Verfahren zur Bestimmung von nur statischen Objekten in der Umgebung, beispielsweise ein sogenanntes Structure-from-Motion-Verfahren, arbeiten zuverlässig und sind mit verhältnismäßig geringem Rechenaufwand realisierbar. Ein Verfahren zur Bestimmung von Positionsinformationen von Objekten allgemein, d. h., von statischen und dynamischen Objekten, kann beispielsweise mit einem sogenannten Differenzbildverfahren realisiert werden. Ein derartiges Verfahren liefert zwar keine Unterscheidung zwischen statischen und dynamischen Objekten, kann jedoch Objekte allgemein zuverlässig bestimmen und mit verhältnismäßig geringem Rechenaufwand realisiert werden. Darüber hinaus können beide Verfahren auch in Verbindung mit Bildern verwendet werden, welche eine hohe Linsenverzerrung aufweisen, wie sie üblicherweise von einer Parkkamera eines Fahrzeugs geliefert werden. Da beide Verfahren ohne Mustervergleiche mit Trainingsdaten arbeiten, sind sie nicht nur robust gegenüber Linsenverzerrungen, sondern auch gegenüber teilweise verdeckten oder nur teilweise erfassten Objekten. Durch Verwenden der Positionsinformationen der statischen Objekte in der Umgebung in Kombination mit den Positionsinformationen von statischen und dynamischen, d. h. unbestimmten oder beliebigen Objekten in der Umgebung, können Positionsinformationen von dynamischen Objekten auf einfache Art und Weise bestimmt werden. Dadurch ist eine zuverlässige Unterscheidung und Bestimmung von statischen und dynamischen Objekten in der Umgebung des Fahrzeugs möglich.According to the present invention, a method for determining objects in an environment of a vehicle is provided. In the method, a first environment information is determined which has only position information of static objects in the environment. Furthermore, a second environment information is determined which has position information of static and dynamic objects in the environment. Depending on the first environment information and the second environment information, positional information of dynamic objects in the environment is determined. Methods for determining only static objects in the environment, for example a so-called structure-from-motion method, operate reliably and can be implemented with relatively little computational effort. A method for determining position information of objects in general, d. h., Of static and dynamic objects, can be realized for example with a so-called difference image method. Although such a method provides no distinction between static and dynamic objects, but can generally reliably determine objects and realized with relatively little computational effort. Moreover, both methods can also be used in conjunction with images having high lens distortion, such as are commonly provided by a parking camera of a vehicle. Since both methods work without pattern comparisons with training data, they are not only robust against lens distortions, but also against partially obscured or only partially detected objects. By using the position information of the static objects in the environment in combination with the position information of static and dynamic, d. H. indefinite or arbitrary objects in the environment, position information of dynamic objects can be easily determined. This makes it possible to reliably distinguish and determine static and dynamic objects in the surroundings of the vehicle.

Die zuvor verwendeten Begriffe „statisches Objekt” und „dynamisches Objekt”, welche auch nachfolgend verwendet werden, werden nachfolgend definiert: ein statisches Objekt in der Umgebung des Fahrzeugs bezeichnet ein Objekt, welches sich bezogen auf die Umgebung des Fahrzeugs, also beispielsweise bezogen auf die Fahrbahn, nicht bewegt. Demgegenüber bezeichnet ein dynamisches Objekt ein Objekt, welches sich bezogen auf die Umgebung bewegt. Ein statisches Objekt kann beispielsweise ein Pfosten, ein geparktes Fahrzeug, ein Laternenmast, eine Mauer, ein Randstein oder dergleichen sein. Ein dynamisches Objekt kann beispielsweise ein sich bewegender Fußgänger, ein sich bewegender Radfahrer, ein sich bewegendes Tier oder dergleichen sein.The previously used terms "static object" and "dynamic object", which are also used below, are defined below: a static object in the vicinity of the vehicle denotes an object which relates to the surroundings of the vehicle, that is to say, for example Road surface, not moving. In contrast, a dynamic object refers to an object that moves relative to the environment. A static object may be, for example, a post, a parked vehicle, a lamppost, a wall, a curb or the like. For example, a dynamic object may be a moving pedestrian, a be a moving cyclist, a moving animal or the like.

Gemäß einer Ausführungsform umfasst das Bestimmen der ersten Umgebungsinformation ein Erfassen eines ersten Bildes der Umgebung des Fahrzeugs, ein Erfassen eines zweiten Bildes der Umgebung des Fahrzeugs und ein Bestimmen einer Bewegung des Fahrzeugs zwischen dem Erfassen des ersten Bildes und dem Erfassen des zweiten Bildes. Anders ausgedrückt werden das erste Bild und das zweite Bild nacheinander während einer Bewegung des Fahrzeugs erfasst. Ein Aufnahmewinkel und ein Aufnahmeausschnitt des ersten und zweiten Beides sind bezogen auf das Fahrzeug gleich. Das erste Bild und das zweite Bild können also beispielsweise mit Hilfe einer an dem Fahrzeug fest angebrachten Kamera erfasst werden. Das Bestimmender Bewegung des Fahrzeugs zwischen dem Erfassendes ersten Bildes und dem Erfassen des zweiten Bildes kann beispielsweise auf Odometriedaten des Fahrzeugs, beispielsweise einer zwischen dem Erfassen des ersten Bildes und dem Erfassen des zweiten Bildes zurückgelegten Wegstrecke und dabei eingestelltem Lenkwinkel, bestimmt werden. In Abhängigkeit von dem ersten Bild, dem zweiten Bild und der Bewegung des Fahrzeugs zwischen dem Erfassen des ersten Bildes und dem Erfassen des zweiten Bildes wird die erste Umgebungsinformation bestimmt. Die Bestimmung der ersten Umgebungsinformation kann beispielsweise mit Hilfe eines in dem Stand der Technik bekannten Structure-from-Motion-Verfahren (SfM) bestimmt werden, welches eine Menge von 3D-Punkten auf rein statischen Objekten mit hoher Genauigkeit liefert.According to one embodiment, determining the first environmental information comprises acquiring a first image of the surroundings of the vehicle, acquiring a second image of the surroundings of the vehicle, and determining movement of the vehicle between acquiring the first image and acquiring the second image. In other words, the first image and the second image are sequentially detected during movement of the vehicle. A take-up angle and a take-up detail of the first and second both are the same with respect to the vehicle. The first image and the second image can thus be detected, for example, by means of a camera fixedly attached to the vehicle. The determination of the movement of the vehicle between the detection of the first image and the detection of the second image can be determined for example on odometry data of the vehicle, for example a distance covered between the detection of the first image and the detection of the second image and the steering angle set. Depending on the first image, the second image and the movement of the vehicle between the detection of the first image and the detection of the second image, the first environmental information is determined. The determination of the first environment information may be determined, for example, by means of a structure-from-motion (SfM) method known in the art, which provides a set of 3D points on purely static objects with high accuracy.

Gemäß einer weiteren Ausführungsform wird das Bestimmen der zweiten Umgebungsinformation durchgeführt, indem ein erstes Bild der Umgebung des Fahrzeugs erfasst wird und ein zweites Bild der Umgebung des Fahrzeugs erfasst wird. Es können auch die zur Bestimmung der ersten Umgebungsinformation erfassten Bilder verwendet werden. In Abhängigkeit von dem ersten Bild und dem zweiten Bild wird ein Differenzbild bestimmt, indem einem Bildpunkt des Differenzbildes ein Differenzwert zwischen einem Wert eines Bildpunktes des ersten Bildes und einem Wert eines Bildpunktes des zweiten Bildes zugeordnet wird. Die zweite Umgebungsinformation wird in Abhängigkeit von dem Differenzbild bestimmt. Da sich das Fahrzeug zwischen dem Erfassen des ersten Bildes und dem Erfassen des zweiten Bildes bewegen kann und somit die Perspektiven des ersten Bildes und des zweiten Bildes unterschiedlich sind, kann das Differenzbild bestimmt werden, indem in dem ersten Bild mindestens ein Fahrbahnmerkmal bestimmt wird und das Fahrbahnmerkmal zusätzlich in dem zweiten Bild bestimmt wird. Auf der Grundlage des zweiten Bildes wird ein drittes Bild derart erzeugt, dass das mindestens eine Fahrbahnmerkmal in dem dritten Bild an der gleichen Position wie in dem ersten Bild angeordnet ist. Anders ausgedrückt wird das dritte Bild erzeugt, indem das zweite Bild derart verschoben wird, dass es bezüglich dem Fahrbahnmerkmal mit dem ersten Bild korrespondiert. Für eine möglichst genaue Schätzung der Fahrbahnebene können beispielsweise vier oder mehr Fahrbahnmerkmale verwendet werden, oder das mindestens eine Fahrbahnmerkmal kann vier oder mehr signifikante Teilmerkmale aufweisen, die durch verschieben des zweiten Bildes zu dem ersten Bild ausgerichtet werden. Das Differenzbild wird schließlich bestimmt, indem einem Bildpunkt des Differenzbildes ein Differenzwert zwischen einem Wert eines Bildpunktes des ersten Bildes und einem Wert eines entsprechenden Bildpunktes des dritten Bildes zugeordnet wird. Bewegte Objekte weisen in dem ersten Bild und in dem zweiten Bild (und somit auch in dem dritten Bild) eine unterschiedliche Position auf. In dem Differenzbild ergeben sich somit Differenzwerte ungleich Null für Bildpunkte, welche dem bewegten Objekt entsprechen. Statische Objekte weisen in Abhängigkeit ihrer perspektivischen Läge zu der Fahrbahn ebenfalls unterschiedliche Positionen im ersten und zweiten Bild (und somit auch im dritten Bild) auf. Lediglich die Fahrbahn selbst ist in dem ersten und dritten Bild im Wesentlichen identisch, so dass in dem Differenzbild an den Stellen ein Objekt angezeigt wird, an denen der Differenzwert im Wesentlichen ungleich Null ist. Eine Unterscheidung zwischen statischen und dynamischen Objekten ist in dem Differenzbild hingegen nicht möglich. Dafür ist das Differenzbild auf einfache Art und Weise berechenbar, indem jedem Bildpunkt ein Differenzwert entsprechender Bildpunkte des ersten und dritten Bildes zugeordnet wird.In accordance with a further embodiment, the determination of the second environment information is performed by acquiring a first image of the surroundings of the vehicle and acquiring a second image of the surroundings of the vehicle. It is also possible to use the images acquired to determine the first environment information. Depending on the first image and the second image, a difference image is determined by assigning a pixel of the difference image a difference value between a value of a pixel of the first image and a value of a pixel of the second image. The second environment information is determined depending on the difference image. Since the vehicle can move between the detection of the first image and the detection of the second image and thus the perspectives of the first image and the second image are different, the difference image can be determined by determining at least one lane feature in the first image and the Track feature is additionally determined in the second image. Based on the second image, a third image is formed such that the at least one lane feature in the third image is located at the same position as in the first image. In other words, the third image is generated by shifting the second image to correspond to the first image with respect to the lane feature. For example, four or more lane features may be used for the most accurate estimate of the lane plane, or the at least one lane feature may have four or more significant sub-features that are aligned by shifting the second image to the first image. The difference image is finally determined by assigning to a pixel of the difference image a difference value between a value of a pixel of the first image and a value of a corresponding pixel of the third image. Moving objects have a different position in the first image and in the second image (and thus also in the third image). In the differential image, therefore, difference values not equal to zero result for pixels which correspond to the moving object. Static objects also have different positions in the first and second image (and thus also in the third image) as a function of their perspective position relative to the roadway. Only the lane itself is substantially identical in the first and third images, so that in the difference image at the locations an object is displayed at which the difference value is substantially nonzero. A distinction between static and dynamic objects, however, is not possible in the difference image. For this purpose, the difference image can be calculated in a simple way by assigning to each pixel a difference value of corresponding pixels of the first and third images.

Durch Kombinieren der beiden Verfahren können Positionsinformationen von Objekten der zweiten Umgebungsinformation auf der Basis der ersten Umgebungsinformation in statische und dynamische Objekte unterschieden werden.By combining the two methods, position information of objects of the second environment information can be distinguished into static and dynamic objects based on the first environment information.

Vorzugsweise umfassen das erste Bild und das zweite Bild jeweils eine Draufsicht eines Fahrbahnbereichs hinter dem Fahrzeug. Eine derartige Draufsicht kann beispielsweise mit Hilfe einer Parkkamera, welche beispielsweise an einer Rückseite des Fahrzeugs angebracht ist und ein entsprechendes Weitwinkelobjektiv aufweist, erfasst werden.Preferably, the first image and the second image each comprise a plan view of a roadway area behind the vehicle. Such a top view can be detected, for example, with the aid of a parking camera, which is attached, for example, to a rear side of the vehicle and has a corresponding wide-angle lens.

Gemäß einer weiteren Ausführungsform wird eine Information an einen Fahrer des Fahrzeugs in Abhängigkeit von den Positionsinformationen der dynamischen Objekte ausgegeben. Darüber hinaus kann eine weitere Information in Abhängigkeit von den Positionsinformationen der statischen Objekte an den Fahrer des Fahrzeugs ausgegeben werden. Vorzugsweise werden in Abhängigkeit davon, ob statische oder dynamische Objekte in der Umgebung des Fahrzeugs erfasst werde, unterschiedliche Informationen an den Fahrer ausgegeben, beispielsweise eine akustische Warnung bei dynamischen Objekten und eine optische Warnung bei statischen Objekten. Dadurch kann der Fahrer bei einer drohenden Kollision mit beispielsweise einem Fußgänger besonders intensiv gewarnt werden, wohingegen eine drohende Kollision mit einem statischen Objekt, beispielsweise einem Pfosten, lediglich über eine entsprechende Anzeigevorrichtung dargestellt wird.According to a further embodiment, information is output to a driver of the vehicle in dependence on the position information of the dynamic objects. In addition, further information may be output to the driver of the vehicle depending on the position information of the static objects. Preferably, depending on whether there are static or dynamic objects in the environment the vehicle is detected, different information output to the driver, such as an audible warning of dynamic objects and an optical warning of static objects. As a result, the driver can be particularly intensively warned in the event of an imminent collision with, for example, a pedestrian, whereas an imminent collision with a static object, for example a post, is only displayed via a corresponding display device.

Gemäß der vorliegenden Erfindung wird ferner ein Fahrerassistenzsystem bereitgestellt, welches eine Kamera und eine Verarbeitungseinheit umfasst. Die Kamera ist in der Lage, Bilder einer Umgebung des Fahrzeugs, insbesondere eines Rückraums des Fahrzeugs in einer Draufsicht, zu erfassen. Die Verarbeitungseinheit ist ausgestaltet, in Abhängigkeit von den erfassten Bildern eine erste Umgebungsinformation zu bestimmen, welche Positionsinformationen von statischen Objekten in der Umgebung aufweist, und in Abhängigkeit von den erfassten Bildern eine zweite Umgebungsinformation zu bestimmen, welche Positionsinformationen von statischen und dynamischen Objekten in der Umgebung aufweist. Weiterhin ist die Verarbeitungseinheit in der Lage, in Abhängigkeit von der ersten Umgebungsinformation und der zweiten Umgebungsinformation Positionsinformationen von dynamischen Objekten in der Umgebung zu bestimmen. Das Fahrerassistenzsystem ist somit zur Durchführung des zuvor beschriebenen Verfahrens und seiner Ausführungsformen ausgestaltet und umfasst daher auch die zuvor beschriebenen Vorteile.According to the present invention there is further provided a driver assistance system comprising a camera and a processing unit. The camera is able to capture images of an environment of the vehicle, in particular a rear space of the vehicle in a plan view. The processing unit is configured to determine depending on the captured images a first environment information having position information of static objects in the environment, and depending on the captured images, to determine second environmental information which position information of static and dynamic objects in the environment having. Furthermore, the processing unit is able to determine position information of dynamic objects in the environment in dependence on the first environment information and the second environment information. The driver assistance system is thus designed to carry out the method described above and its embodiments, and therefore also includes the advantages described above.

Gemäß der vorliegenden Erfindung wird schließlich ein Fahrzeug mit einem Fahrerassistenzsystem, wie es zuvor beschrieben wurde, bereitgestellt. Mit Hilfe des Fahrerassistenzsystems kann einem Fahrer des Fahrzeugs eine zuverlässige Information über dynamische Objekte in der Umgebung des Fahrzeugs, insbesondere in einem Rückraum des Fahrzeugs beim Rangieren und Einparken, gegeben werden, wodurch eine Kollisionsgefahr mit einem dynamischen Objekt, beispielsweise einem Fußgänger, vermindert werden kann.Finally, according to the present invention, a vehicle having a driver assistance system as described above is provided. With the aid of the driver assistance system, reliable information about dynamic objects in the surroundings of the vehicle, in particular in a rear space of the vehicle when maneuvering and parking, can be given to a driver of the vehicle, whereby a risk of collision with a dynamic object, for example a pedestrian, can be reduced ,

Die vorliegende Erfindung wird nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen im Detail beschrieben werden.The present invention will be described below in detail with reference to the accompanying drawings.

1 zeigt Verfahrensschritte eines Verfahrens gemäß einer Ausführungsform der vorliegenden Erfindung. 1 shows method steps of a method according to an embodiment of the present invention.

2 zeigt ein Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung beim Erfassen eines ersten Bildes einer Umgebung des Fahrzeugs. 2 shows a vehicle according to an embodiment of the present invention when capturing a first image of an environment of the vehicle.

3 zeigt das Fahrzeug der 2 beim Erfassen eines zweiten Bildes in der Umgebung des Fahrzeugs. 3 shows the vehicle the 2 when capturing a second image in the vicinity of the vehicle.

1 zeigt Verfahrensschritte eines Verfahrens zur Bestimmung von Objekten in einer Umgebung des Fahrzeugs. Mit einer Kamera werden Bilder eines Bereichs hinter dem Fahrzeug, insbesondere eine Draufsicht eines Fahrbahnbereichs hinter dem Fahrzeug, in einem Schritt 10 erfasst. Im Schritt 11 werden jeweils mindestens zwei der erfassten Kamerabilder einer Differenzbildanalyse unterzogen. Bei der Differenzbildanalyse werden Bildbereiche detektiert, die sich geometrisch von der Fahrbahn abheben. Die Bildbereiche mit hoher Differenz werden als Hindernis erkannt. Dabei kann jedoch nicht zwischen statischen und bewegten Objekten in der Umgebung unterschieden werden. Um die bewegten Objekte von den statischen zu unterscheiden, wird ein sogenanntes Structure-from-Motion-Verfahren (SfM) in Schritt 12 durchgeführt, welchem ebenfalls mindestens zwei Kamerabilder zugeführt werden. Dem SfM-Verfahren werden weiterhin Odometriedaten des Fahrzeugs zugeführt, welche eine Bewegung der Kamera zwischen dem Erfassen der mindestens zwei Kamerabilder beschreiben. Auf der Grundlage der Kamerabewegung werden 3D-Punkte der statischen Szene in der Umgebung bestimmt. Die 3D-Punkte der statischen Szene, welche im aktuellen Kamerabild sichtbar sind, werden in Schritt 13 in die Bildebene, beispielsweise in die Fahrbahnebene, projiziert. 1 shows method steps of a method for determining objects in an environment of the vehicle. With a camera, images of an area behind the vehicle, in particular a top view of a road area behind the vehicle, in one step 10 detected. In step 11 At least two of the captured camera images are each subjected to a differential image analysis. In differential image analysis, image areas are detected that stand out geometrically from the road surface. The image areas with a high difference are recognized as obstacles. However, it is not possible to distinguish between static and moving objects in the environment. To distinguish the moving objects from the static ones, a so-called structure-from-motion (SfM) method is used in step 12 performed, which also at least two camera images are supplied. The SfM method further Odometriedaten the vehicle supplied, which describe a movement of the camera between the detection of the at least two camera images. Based on the camera movement, 3D points of the static scene in the environment are determined. The 3D points of the static scene, which are visible in the current camera image, will be in step 13 in the image plane, for example, in the road plane, projected.

In Schritt 14 werden die Bildbereiche des Differenzbildes von der Differenzbildanalyse 11 mit hoher Differenz, welche die projizierten 3D-Punkte der statischen Szene aus dem SfM-Verfahren enthalten, als statische Hindernisse deklariert. Die übrigen Bildbereiche mit hoher Differenz aus der Bilddifferenzanalyse 11 werden den bewegten Hindernissen zugeordnet. Somit können Objekte in der Umgebung des Fahrzeugs bestimmt werden und in statische Hindernisse und dynamische Hindernisse unterschieden werden.In step 14 become the image areas of the difference image from the difference image analysis 11 with high difference, containing the projected 3D points of the static scene from the SfM method, declared as static obstacles. The remaining image areas with a high difference from the image difference analysis 11 are assigned to the moving obstacles. Thus, objects in the vicinity of the vehicle can be determined and distinguished into static obstacles and dynamic obstacles.

Das zuvor beschriebene Verfahren wird nachfolgend an einem Beispiel unter Bezugnahme auf die 2 und 3 veranschaulicht werden.The method described above will be described below by way of example with reference to FIGS 2 and 3 be illustrated.

2 zeigt ein Fahrzeug 20 mit einer Kamera 21 und einer Verarbeitungseinheit 22. Die Verarbeitungseinheit 22 ist mit der Kamera 21 gekoppelt und zur Durchführung des zuvor beschriebenen Verfahrens zur Bestimmung von Objekten in einer Umgebung des Fahrzeugs 20 ausgestaltet. Die Kamera 21 ist in einem hinteren Bereich des Fahrzeugs derart angebracht, dass sie eine Umgebung 23 im Bereich hinter dem Fahrzeug 20 erfassen kann. Die Kamera 21 ist beispielsweise an einer Heckklappe des Fahrzeugs 20 angebracht. Um den in 2 gezeigten Bereich der Umgebung 23 erfassen zu können, kann die Kamera 21 ein Weitwinkelobjektiv aufweisen, welches starke Verzerrungen aufweist. Daher sind Klassifikationsverfahren, welche Objekte in der Umgebung 23 mit vorgegebenen Mustern vergleichen, nicht robust anwendbar. In der Umgebung 23, welche von der Kamera 21 erfasst werden kann, befinden sich zwei statische Objekte 24, 25, beispielsweise ein Pfosten, ein anderes Fahrzeug oder eine kleine Mauer, und ein dynamisches Objekt 26, beispielsweise ein Fußgänger, welcher sich in Richtung des Pfeils 27 bewegt. Weiterhin befindet sich in der Umgebung 23 eine Fahrbahnmarkierung 28. Zu einem ersten Zeitpunkt wird ein erstes Bild der Szene, wie sie in 2 dargestellt wird, von der Kamera 21 erfasst. 2 shows a vehicle 20 with a camera 21 and a processing unit 22 , The processing unit 22 is with the camera 21 coupled and for carrying out the method described above for determining objects in an environment of the vehicle 20 designed. The camera 21 is mounted in a rear portion of the vehicle so as to provide an environment 23 in the area behind the vehicle 20 can capture. The camera 21 is for example on a tailgate of the vehicle 20 appropriate. To the in 2 shown area of the environment 23 The camera can detect 21 have a wide-angle lens, which has strong distortions. Therefore, classification methods are what objects in the environment 23 compare with given patterns, not robust applicable. In the neighborhood 23 which from the camera 21 can be detected, there are two static objects 24 . 25 for example, a post, another vehicle or a small wall, and a dynamic object 26 For example, a pedestrian, which is in the direction of the arrow 27 emotional. It is located in the area 23 a road marking 28 , At a first point in time, a first image of the scene, as seen in 2 is shown by the camera 21 detected.

3 zeigt die Szene der 2 zu einem späteren Zeitpunkt. Zwischen dem in 2 gezeigten Zeitpunkt und dem in 3 gezeigten Zeitpunkt hat sich das Fahrzeug geringfügig bewegt, wodurch sich der von der Kamera 21 aufnehmbare Umgebungsbereich 23 ebenfalls verändert hat. Weiterhin hat sich das dynamische Objekt 26 in der Bewegungsrichtung 27 bewegt. Die statischen Objekte 24 und 25 haben ihre Position bezüglich der ebenfalls statischen Fahrbahnmarkierung 28 beibehalten. Zu dem in 3 gezeigten Zeitpunkt wird ein zweites Bild der Umgebung 23 des Fahrzeugs 20 erfasst. 3 shows the scene of 2 at a later time. Between the in 2 shown time and the in 3 As shown, the vehicle has moved slightly, resulting in the camera 21 Recordable environment 23 also changed. Furthermore, the dynamic object has 26 in the direction of movement 27 emotional. The static objects 24 and 25 have their position regarding the also static lane marking 28 maintained. To the in 3 A second picture of the surroundings is shown 23 of the vehicle 20 detected.

Das erste und das zweite erfasste Bild werden der Differenzbildanalyse 11 zugeführt. Bei der Differenzbildanalyse wird das in 3 aufgenommene zweite Bild zunächst derart gedreht und verschoben, dass der Ausschnitt der Fahrbahnmarkierung 28 in dem zweiten Bild näherungsweise die gleiche Lage hat wie der Ausschnitt der Fahrbahnmarkierung 28 in dem ersten Bild. Dann wird ein Differenzbild erzeugt, indem jedem Bildpunkt des Differenzbildes ein Differenzwert von entsprechenden Bildpunkten des ersten und des verschobenen und gedrehten zweiten Bildes zugeordnet wird. Dies hat zur Folge, dass im Bereich der Fahrbahnmarkierung 28 in dem Differenzbild im Wesentlichen Differenzwerte von Null erzeugt werden. In den Bereichen des dynamischen Objekts 26 werden hingegen Werte ungleich Null erzeugt. Auch in den Bereichen der statischen Objekte 24 und 25 werden Differenzwerte ungleich Null erzeugt, da sich die Perspektive der Kamera 21 zwischen den beiden Bildern unterscheidet und somit Objekte, welche nicht in der Fahrbahnebene liegen, auch in dem ersten und dem verschobenen und gedrehten zweiten Bild unterschiedlich sind. Anstatt der Fahrbahnmarkierung 28 können auch andere Merkmale der Fahrbahn zur Anpassung des zweiten Bildes an das erste Bild verwendet werden, beispielsweise eine Texturierung von einem Kopfsteinpflastermuster der Fahrbahn oder sonstige Fahrbahnmerkmale, wie z. B. ein Kanaldeckel oder ein Randstein.The first and second captured images become the difference image analysis 11 fed. In the difference image analysis, the in 3 recorded second image first rotated and moved so that the section of the lane marking 28 in the second image has approximately the same position as the section of the road marking 28 in the first picture. Then, a difference image is generated by assigning to each pixel of the difference image a difference value of corresponding pixels of the first and the shifted and rotated second images. As a result, in the area of the lane marking 28 essentially difference values of zero are generated in the difference image. In the areas of the dynamic object 26 On the other hand, values not equal to zero are generated. Also in the fields of static objects 24 and 25 Differential values other than zero are generated as the perspective of the camera 21 distinguishes between the two images and thus objects which are not in the road plane, also in the first and the shifted and rotated second image are different. Instead of the lane marking 28 Other characteristics of the roadway may also be used to adapt the second image to the first image, for example texturing of a cobblestone pattern of the roadway or other roadway features such as roadway. B. a manhole cover or curb.

Zusammenfassend stellt die Differenzbildanalyse 11 somit eine Umgebungsinformation bereit, welche Positionsinformationen von statischen und dynamischen Objekten in der Umgebung aufweist. Eine Unterscheidung zwischen statischen und dynamischen Objekten ist hingegen nicht möglich.In summary, the difference image analysis represents 11 thus providing environmental information having position information of static and dynamic objects in the environment. A distinction between static and dynamic objects, however, is not possible.

Das erste und das zweite Kamerabild werden dem Structure-from-Motion-Verfahren 12 zugeführt, welches anhand der Bewegung des Fahrzeugs 20 und dem ersten und zweiten Bild eine Umgebungsinformation bestimmt, welche Positionsinformationen von den statischen Objekten 24, 25 aufweist. Mit Hilfe dieser Informationen ist eine Unterscheidung der Objekte der Differenzbildanalyse 11 in statische und dynamische Objekte möglich.The first and second camera images become the structure-from-motion technique 12 supplied, which is based on the movement of the vehicle 20 and the first and second images determine environmental information which includes position information from the static objects 24 . 25 having. With the help of this information is a distinction of the objects of the difference image analysis 11 into static and dynamic objects possible.

Statt der zuvor beschriebenen Differenzbildanalyse auf der Grundlage des ersten Bildes und des zweiten Bildes kann auch eine Bestimmung einer Umgebungsinformation auf der Grundlage von Ultraschallsignalen verwendet werden. Bei einer Hinderniserkennung mit Ultraschallsignalen können ebenfalls bewegte und statische Hindernisse erkannt, aber nicht unterschieden werden. Diese Unterscheidung kann jedoch mit Hilfe des ersten und zweiten Bildes und dem Structure-from-Motion-Verfahren durchgeführt werden.Instead of the above-described difference image analysis on the basis of the first image and the second image, it is also possible to use a determination of environmental information on the basis of ultrasound signals. In obstacle detection with ultrasonic signals, moving and static obstacles can also be detected, but not differentiated. However, this distinction can be made using the first and second images and the structure-from-motion technique.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102009012917 A1 [0003]
DE 102009023326 A1 [0004]
DE 102009057336 A1 [0005]
DE 102007022524 A1 [0006]
DE 102007053311 A1 [0007]
DE 69633202 T2 [0008]

Claims

Method for determining objects in an environment of a vehicle, comprising: determining a first environment information which contains position information of static objects ( 24 . 25 ) in the neighborhood ( 23 ), determining second environmental information, which position information of static and dynamic objects ( 24 - 26 ) in the neighborhood ( 23 ), and - determining position information of dynamic objects ( 26 ) in the neighborhood ( 23 ) depending on the first environment information and the second environment information.

The method of claim 1, wherein determining the first environmental information comprises: - acquiring a first image of the environment ( 23 ) of the vehicle ( 20 ), - capture a second image of the environment ( 23 ) of the vehicle ( 20 ), - determining a movement of the vehicle ( 20 between detecting the first image and detecting the second image, and determining the first environmental information in dependence on the first image, the second image and the movement of the vehicle between the detection of the first image and the detection of the second image.

The method of claim 1 or 2, wherein determining position information comprises discriminating static (1). 24 . 25 ) and dynamic ( 26 ) Comprises objects of the second environment information based on the first environment information.

Method according to one of the preceding claims, wherein determining the second environment information comprises: - acquiring a first image of the environment ( 23 ) of the vehicle ( 20 ), - capture a second image of the environment ( 23 ) of the vehicle ( 20 Determining a difference image as a function of the first image and the second image, wherein one pixel of the difference image is assigned a difference value between a value of a pixel of the first image and a value of a pixel of the second image, and determining the second environmental information in Dependence on the difference image.

The method of claim 4, wherein determining the difference image comprises: determining at least one lane feature; 28 ) in the first image, - determining the at least one roadway feature ( 28 ) in the second image, - generating a third image as a function of the second image such that the at least one roadway feature ( 28 ) in the third image at the same position as in the first image, and - determining the difference image by assigning to a pixel of the difference image a difference value between a value of a pixel of the first image and a value of a corresponding pixel of the third image.

Method according to one of claims 2-5, wherein the first and second image is a plan view of a lane area behind the vehicle ( 20 ).

Method according to one of the preceding claims, further comprising: outputting information to a driver of the vehicle in dependence on the position information of the dynamic objects ( 26 ).

Driver assistance system, comprising: - a camera ( 21 ), which is designed, images of an environment ( 23 ) of the vehicle ( 20 ), and - a processing unit ( 22 ) which is configured to determine a first environment information in dependence on the captured images, which position information of static objects ( 24 . 25 ) in the environment, depending on the captured images, to determine a second environment information which contains position information of static and dynamic objects ( 24 - 26 ) in the environment, and position information of dynamic objects ( 26 ) in the environment depending on the first environment information and the second environment information.

Driver assistance system according to claim 8, wherein the driver assistance system for implementing the method according to one of claims 1-7 configured.

Vehicle with a driver assistance system according to claim 8 or 9.