DE102006060893A1 - Device and method for determining a free space in front of a vehicle - Google Patents

Device and method for determining a free space in front of a vehicle Download PDF

Info

Publication number
DE102006060893A1
DE102006060893A1 DE102006060893A DE102006060893A DE102006060893A1 DE 102006060893 A1 DE102006060893 A1 DE 102006060893A1 DE 102006060893 A DE102006060893 A DE 102006060893A DE 102006060893 A DE102006060893 A DE 102006060893A DE 102006060893 A1 DE102006060893 A1 DE 102006060893A1
Authority
DE
Germany
Prior art keywords
image
vehicle
edges
free space
observation area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102006060893A
Other languages
German (de)
Inventor
Thomas Dipl.-Ing. Fechner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ADC Automotive Distance Control Systems GmbH
Original Assignee
ADC Automotive Distance Control Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ADC Automotive Distance Control Systems GmbH filed Critical ADC Automotive Distance Control Systems GmbH
Priority to DE102006060893A priority Critical patent/DE102006060893A1/en
Priority to EP07722345A priority patent/EP2021975A1/en
Priority to PCT/DE2007/000788 priority patent/WO2007131470A1/en
Priority to DE112007000332T priority patent/DE112007000332A5/en
Publication of DE102006060893A1 publication Critical patent/DE102006060893A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung (14) zum Bestimmen eines Freiraums vor einem Fahrzeug (10), umfassend: - einen bildgebenden Sensor (16), der ausgebildet ist, um ein Bild eines Beobachtungsbereichs (22) vor dem Fahrzeug (10) aufzunehmen; - eine Bildverarbeitungseinheit (18), die ausgebildet ist, um das aufgenommene Bild zu verarbeiten, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und - eine Mustererkennungseinheit (20), die ausgebildet ist, um als Freiraum vor dem Fahrzeug (10) denjenigen Teil des Beobachtungsbereichs (22) zu bestimmen, der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.The invention relates to a device (14) for determining a free space in front of a vehicle (10), comprising: - an imaging sensor (16) which is designed to record an image of an observation area (22) in front of the vehicle (10); an image processing unit (18) arranged to process the captured image to obtain a processing image in which image edges in the image are marked; and - a pattern recognition unit (20), which is designed to determine as free space in front of the vehicle (10) that part of the observation area (22) which corresponds to an image edge-free area of the processing image starting from a lower image edge of the image.

Description

Die Erfindung betrifft eine Vorrichtung zum Bestimmen eines Freiraums vor einem Fahrzeug gemäß Anspruch 1 und ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug gemäß Anspruch 15.The The invention relates to a device for determining a free space in front of a vehicle according to claim 1 and a method for determining a clearance in front of a vehicle according to claim 15th

Zukünftige Fahrerassistenzsysteme für Stop&Go-Unterstützung und Systeme zum führerlosen Betreiben von Transport-Fahrzeugen wie beispielsweise U-Bahnen, Züge oder Schwebebahnen werden ein vollautomatisches Wiederanfahren realisieren. Dazu muss der Anfahrtsraum direkt vor dem Fahrzeug (Kraftfahrzeug, U-Bahn, Zug) von dem Wiederanfahren nach einem Stop, beispielsweise in einem Stau, ein vorausfahrendes Fahrzeug wartet vor einer Ampel oder ein Halt der U-Bahn in einer Station, überwacht werden. Für ein sicheres Wideranfahren ist es wichtig, zu erkennen, ob der Anfahrtsraum frei ist und sich in der Zwischenzeit keine Personen oder andere Objekte in den Raum vor dem Fahrzeug hineinbewegt haben. Dies kann zum Beispiel mit den üblichen Strahlsensoren wie Radar-, Lidar-, Ultraschall-Systemen umgesetzt werden. Auf Grund ihres Einbauorts in der Fahrzeugfront, insbesondere im Kühlergrill oder Scheinwerfer, sind aber zum Beispiel Radar- oder Lidar-Systeme nur begrenzt in der Lage, einen Raum unmittelbar vor dem Fahrzeug zu überwachen. Vorzuziehen ist daher ein hinter einer Windschutzscheibe angebrachtes Sensorsystem, zum Beispiel ein Kamerasystem, das einen sehr viel breiteren Raum vor dem Fahrzeug erfassen kann. Es sind zum Beispiel stereobasierte Kamerasysteme bekannt, die eine dreidimensionale Erkennung von Hindernissen erlauben. Der Aufwand für derartige Stereokameras ist allerdings kostenintensiv und erfordert relativ viel Bauraum im Bereich der Windschutzscheibe im Fahrzeug, da zwei Kameras in diesen Bereich angeordnet werden müssen.Future driver assistance systems for stop and go support and Systems for driverless Operating transport vehicles such as subways, trains or Suspended runways will realize a fully automatic restart. For this purpose, the approach room directly in front of the vehicle (motor vehicle, Subway, train) from the restart after a stop, for example in a traffic jam, a vehicle in front is waiting in front of a traffic light or a stop of the subway in a station, to be monitored. For a sure Going backwards it is important to realize if the approach room is free is and in the meantime no persons or other objects into the space in front of the vehicle. This can be, for example with the usual Beam sensors such as radar, lidar, ultrasound systems implemented become. Due to its location in the vehicle front, in particular in the grille However, for example, radar or lidar systems are limited in able to monitor a space immediately in front of the vehicle. Therefore, it is preferable to mount behind a windshield Sensor system, for example, a camera system that a lot can capture wider space in front of the vehicle. They are, for example stereobased camera systems known to be a three-dimensional Allow detection of obstacles. The effort for such However, stereo cameras is costly and requires relatively a lot of space in the windscreen in the vehicle, as two Cameras must be placed in this area.

Aufgabe der vorliegenden Erfindung ist es daher, eine Vorrichtung und ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug zu schaffen, welche verbesserte Eigenschaften gegenüber dem Stand der Technik haben.task The present invention is therefore an apparatus and a To provide a method for determining a clearance in front of a vehicle which have improved properties over the prior art.

Diese Aufgabe wird durch eine Vorrichtung zum Bestimmen eines Freiraums vor einem Fahrzeug mit den Merkmalen nach Anspruch 1 und ein entsprechendes Verfahren mit den Merkmalen nach Anspruch 17 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.These The object is achieved by a device for determining a free space in front of a vehicle with the features of claim 1 and a corresponding Method with the features of claim 17 solved. Further embodiments The invention will become apparent from the dependent claims.

Ein wesentlicher Gedanke der Erfindung besteht nun darin, dass mit einem einzigen bildgebenden Sensor ein Bild vor dem Fahrzeug aufgenommen wird und die Kanten darin analysiert werden, die beispielsweise durch Begrenzungslinien von Schatten oder Fahrbahnmarkierungen in dem Bild enthalten sind (Bildkanten). Durch Auswertung dieser Bildkanten, die einen Rückschluss auf Hindernisse vor dem Fahrzeug geben, kann dann der Freiraum vor dem Fahrzeug als derjenige Raum gewertet werden, der ausgehend von einem unteren Rand des Bildes einem Bildkanten-freien Bereich entspricht. Die bedeutet, dass derjenige Bereich vor dem Fahrzeug als Freiraum betrachtet wird, in dem keine Bildkanten-verursachtenden Objekte enthalten sind. Diese Bewertung des Freiraumes vor dem Fahrzeug funktioniert sowohl bei stehendem Fahrzeug (z.B. im Stau oder vor dem Anfahren) als auch bei fahrendem Fahrzeug und bietet daher die Möglichkeit, in nahezu allen im Straßenverkehr auftretenden Situationen ein Objekt vor dem Fahrzeug zu erkennen.One essential idea of the invention is that with a single imaging sensor a picture is taken in front of the vehicle and the edges analyzed therein, for example, by Boundary lines of shadows or lane markings in the Image are included (image edges). By evaluating these image edges, the one conclusion to give up obstacles in front of the vehicle, then can the free space in front the vehicle is to be considered as the space starting from a lower edge of the image corresponds to an image edge-free area. This means that the area in front of the vehicle as a free space is considered, in which no image edge-causing objects are included. This review of the free space in front of the vehicle works both when the vehicle is stationary (for example, in a traffic jam or before the start) and when the vehicle is moving and therefore offers the Possibility, in almost all on the road occurring situations to recognize an object in front of the vehicle.

Außerdem können auch nacheinander zwei Bilder von einem zu überwachenden Bereich vor dem Fahrzeug aufgenommen, diese beiden Bilder miteinander verglichen und die unterschiedlichen Elemente in diesen beiden Bildern durch Bewegungskanten in einem Differenzbild abgebildet werden. Hieran anschließend kann eine Mustererkennung auf diese Bewegungskanten angewendet werden, um festzustellen, ob sich in einem überwachten Bereich vor dem Fahrzeug Objekte hineinbewegen. Werden nur wenige Bewegungskanten festgestellt, so kann davon ausgegangen werden, dass sich kein Objekt vor dem Fahrzeug befindet, da durch den Eintritt dieses Objekts in den Bereich vor dem Fahrzeug in einem Zeitraum zwischen den beiden Bildern eine Bewegungskante für dieses Objekt im Differenzbild entstehen würde. Da weiterhin durch den erfindungsgemäßen Ansatz lediglich ein bildgebender Sensor verwendet wird, ist eine kostengünstigere Implementierung als beispielsweise ein Stereokamerasystem möglich. Außerdem reicht ein geringerer Bauraum zur Anordnung eines solchen Sensors im Fahrzeug aus.Besides, too two consecutive pictures of an area to be monitored in front of the vehicle taken, compared these two pictures and the different elements in these two images by moving edges be mapped in a difference image. Then afterwards pattern recognition is applied to these motion edges, to determine whether it is in a supervised area before the Move vehicle objects into it. Will only a few movement edges found, it can be assumed that no object located in front of the vehicle, due to the entry of this object in the area in front of the vehicle in a period between the two Images a moving edge for this object would arise in the difference image. Because continued by the inventive approach only an imaging sensor is used is a lower cost Implementation as for example a stereo camera system possible. In addition, enough a smaller space for the arrangement of such a sensor in the vehicle.

Die vorliegende Erfindung betrifft gemäß einer Ausführungsform eine Vorrichtung zum Bestimmen eines Freiraums vor einem Fahrzeug, umfassend:

  • – einen bildgebenden Sensor, der ausgebildet ist, um ein Bild eines Beobachtungsbereichs vor dem Fahrzeug aufzunehmen;
  • – eine Bildverarbeitungseinheit, die ausgebildet ist, um das aufgenommene Bild zu verarbeiten, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und
  • – eine Mustererkennungseinheit, die ausgebildet ist, um als Freiraum vor dem Fahrzeug denjenigen Teil des Beobachtungsbereichs zu bestimmen, der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.
The present invention relates in one embodiment to an apparatus for determining a clearance in front of a vehicle, comprising:
  • An imaging sensor configured to capture an image of an observation area in front of the vehicle;
  • An image processing unit configured to process the captured image to obtain a processing image in which image edges in the image are marked; and
  • A pattern recognition unit which is designed to determine as free space in front of the vehicle that part of the observation area which corresponds to an image edge-free region of the processing image starting from a lower image edge of the image.

Bei einer weiteren Ausführungsform kann die Bildverarbeitungseinheit ausgebildet sein, um Fahrbahnmarkierungen und/oder einen Schattenverlauf zu erkennen und als Bildkante in dem Bild zu markieren. Dies bietet den Vorteil, dass hierdurch eine spezielle Anpassung an typische Fahrsituationen erfolgen kann, so dass zum Beispiel schon häufig auftretende Kantenverläufe auf der Fahrbahn in der Bildverarbeitungseinheit vorprogrammiert und somit die Auswertung erleichtert werden kann. Alternativ oder zusätzlich kann auch eine Mindestlänge von Schatten-bedingten Kanten vorgesehen sein, so dass schon vorab eine Einschätzung der Größe des entsprechenden Objekts abgeschätzt werden kann.In a further embodiment, the Image processing unit to be formed to recognize lane markers and / or a shadow profile and mark as an image edge in the image. This offers the advantage that in this way a special adaptation to typical driving situations can take place, so that, for example, already frequently occurring edge courses on the roadway in the image processing unit can be preprogrammed and thus the evaluation can be facilitated. Alternatively or additionally, a minimum length of shadow-related edges can also be provided so that an estimate of the size of the corresponding object can be estimated in advance.

Auch kann in einer Ausführungsform die Vorrichtung zum Bestimmen eines Freiraums vor dem Fahrzeug

  • – den bildgebenden Sensor umfassen, der ausgebildet ist, um zu einem ersten Zeitpunkt das Bild und zu einem nach dem ersten Zeitpunkt liegenden zweiten Zeitpunkt ein zweites Bild eines Beobachtungsbereichs vor dem Fahrzeug aufzunehmen;
  • – die Bildverarbeitungseinheit ausgebildet ist, um durch Bilden einer Differenz von Bilddaten des Bildes und Bilddaten des zweiten Bildes ein Differenzbild zu erhalten, welches Bewegungskanten aufweist, die durch sich unterscheidende Bildpunktwerte der Bilddaten des Bildes gegenüber den Bilddaten des zweiten Bildes definiert sind; und
  • – eine Mustererkennungseinheit, die ausgebildet ist, um als Freiraum vor dem Fahrzeug denjenigen Teil des Beobachtungsbereichs zu bestimmen, der einem Bewegungskanten-freien Bereich des Differenzbildes ausgehend von einem unteren Bildrand des Differenzbildes entspricht.
Also, in one embodiment, the apparatus may be for determining a clearance in front of the vehicle
  • Comprise the imaging sensor, which is designed to record the image at a first point in time and to record a second image of an observation area in front of the vehicle at a second point in time lying after the first point in time;
  • - the image processing unit is adapted to obtain, by taking a difference of image data of the image and image data of the second image, a difference image having motion edges defined by differing pixel values of the image data of the image versus the image data of the second image; and
  • - A pattern recognition unit which is designed to determine as free space in front of the vehicle that part of the observation area corresponding to a moving edge-free area of the difference image, starting from a lower image edge of the difference image.

Dies ermöglicht nicht nur bei Einzelbildern ein Hindernis vor dem Fahrzeug zu erkennen und damit eine deutliche Flexibilisierung des Einsatzszenarios zu bieten. Insbesondere kann die Sicherheit eines fahrenden Fahrzeugs deutlich erhöht werden, wenn dieser dynamische Aspekt der Hinderniserkennung mitberücksichtigt wird.This allows not only to recognize an obstacle in front of the vehicle with individual pictures and thus a clear flexibilization of the deployment scenario Offer. In particular, the safety of a moving vehicle clearly increased when this dynamic aspect of obstacle detection is taken into account becomes.

Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann die Bildverarbeitungseinheit ausgebildet sein, um einen Schwellenwert auf Bildpunktwerte des Differenzbildes anzuwenden, derart, dass in dem Differenzbild nur Bewegungskanten enthalten sind, deren Bildpunktwerte über dem Schwellenwert liegen. Dies bietet den Vorteil, dass geringfügige Störungen in dem Differenzbild bei der Mustererkennung nicht berücksichtigt werden und damit eine Mustererkennung deutlich störungsfreier arbeitet.According to one another embodiment According to the present invention, the image processing unit can be formed be a threshold on pixel values of the difference image apply such that in the difference image only motion edges are included whose pixel values are above the threshold. This offers the advantage that minor disturbances in the difference image not taken into account in the pattern recognition and thus a pattern recognition works much more trouble-free.

In einer weiteren Ausführungsform wird die Bewegungsrichtung der Kanten analysiert. Kanten, die sich in den beobachteten Bereich hineinbewegen werden stärker gewichtet als Kanten, die sich aus dem beobachteten Bereich hinausbewegen. Mit anderen Worten ausgedrückt kann die Mustererkennungseinheit ausgebildet sein, um eine Bewegungsrichtung der Kanten zu analysieren und um beim Bestimmen des Freiraums vor dem Fahrzeug diejenigen Bewegungskanten, die sich in den Beobachtungsbereich hineinbewegen stärker zu gewichten als Bewegungskanten, die sich aus dem Beobachtungsbereich hinausbewegen, wobei das stärkere Gewichten der sich in den Beobachtungsbereich hineinbewegenden Beobachtungskanten derart erfolgt, dass bezüglich dieser sich in den Bewegungsbereich hineinbewegenden Beobachtungskanten ein Sicherheitsabstand in dem zu bestimmenden Freiraum vor dem Fahrzeug vorgesehen wird. Damit wird sichergestellt, dass Objekte, die sich in den beobachteten Bereich hineinbewegen als besonders kollisionsgefährdet behandelt werden.In a further embodiment the direction of movement of the edges is analyzed. Edges that are move into the observed area are weighted more heavily as edges that move out of the observed area. In other words For example, the pattern recognition unit may be configured to have a movement direction to analyze the edges and to assist in determining the free space the vehicle those motion edges that are in the observation area move in stronger to weight as movement edges, resulting from the observation area move out, with the heavier weights the observation edge moving into the observation area such that with respect this observation edge moving into the movement area a safe distance in the space to be determined in front of the vehicle is provided. This will ensure that objects that are move into the observed area treated as particularly vulnerable to collision become.

Der bildgebende Sensor kann in einer weiteren Ausbildungsform der vorliegenden Erfindung ausgebildet sein, um das Bild und das zweite Bild während einem Stillstand des Fahrzeugs aufzunehmen. Insbesondere kurz vorm Wiederanfahren ist es wichtig, mögliche Objekte im Anfahrtsraum vor einem Fahrzeug sicher zu erkennen. Weiterhin kann durch diese Funktion der Fahrer bei einer psychologisch oftmals als monoton betrachteten Verkehrssituation zusätzlich beispielsweise visuell unterstützt werden kann. Zugleich kann die Auswertung von Bildern im stehenden Zustand des Fahrzeugs deutlich erleichtert werden, da aufgrund der in der Regel geringen Änderungen von Bild zu Bild die Bildverarbeitung weniger Ressourcen in Form von Rechenleistung beansprucht.Of the Imaging sensor can be present in a further embodiment of the present Be formed to the image and the second image during a Stop the vehicle. In particular, shortly before restarting is it important, possible To recognize objects in the approach area in front of a vehicle safely. Farther This feature allows the driver to be psychologically often In addition, for example visually considered as monotone traffic situation supports can be. At the same time, the evaluation of images in the standing Condition of the vehicle can be significantly relieved, because of the usually minor changes from image to image the image processing less resources in shape claimed by computing power.

In einer weiteren Ausführungsform der vorliegenden Erfindung kann die Mustererkennungseinheit ausgebildet sein, um ein Blockieren des Anfahrens des Fahrzeugs zu signalisieren, wenn nicht mindestens ein Freiraum von einer vordefinierten Größe vor dem Fahrzeug erkannt wurde. Hierdurch lässt sich sicherstellen, dass kein Auffahrunfall bei einem zu geringen Abstand zu einem vorausfahrenden Fahrzeug verursacht wird. Auch kann sichergestellt werden, dass kein Anfahren von Personen erfolgt, die möglicherweise während einem Warten der Fahrzeuge auf die Fahrbahn getreten und zwischen die Fahrzeuge gelaufen sind.In a further embodiment According to the present invention, the pattern recognition unit can be formed be to signal a blocking of starting the vehicle, if not at least one free space of a predefined size in front of the Vehicle was detected. This ensures that no rear-end collision if the distance to a preceding vehicle is too short is caused. Also, it can be ensured that no startup is done by persons who may while Waiting for the vehicles on the road and stepped between the vehicles have run.

Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann die Mustererkennungseinheit auch ausgebildet sein, um ein Blockieren des Anfahrens des Fahrzeugs zu signalisieren, wenn ein Objekt mit einer vordefinierten Mindestgröße in einem vordefinierten Bereich vor dem Fahrzeug erkannt wurde. Dies ermöglicht, dass das Anfahren vor allem dann blockiert wird, wenn große Objekte, wie beispielsweise Personen, in dem Bereich vor dem Fahrzeug erkannt werden. Werden dagegen kleinere Objekte vor dem Fahrzeug erkannt, wie beispielsweise Müll oder Zeitungen, kann ein Anfahren des Fahrzeugs trotzdem erfolgen, ohne dass eine Gefahr für das Fahrzeug oder eine Person zu befürchten ist.According to a further embodiment of the present invention, the pattern recognition unit may also be designed to signal a blocking of the startup of the vehicle if an object having a predefined minimum size was detected in a predefined area in front of the vehicle. This allows the approach to be blocked especially when large objects, such as For example, people are detected in the area in front of the vehicle. However, if smaller objects are detected in front of the vehicle, such as garbage or newspapers, a start of the vehicle can still be done without a risk to the vehicle or a person is to be feared.

Die Mustererkennungseinheit kann gemäß einer Ausführungsform der Erfindung ausgebildet sein, eine geometrische Berechnung des Freiraums vor dem Fahrzeug aus den ermittelten Werten des Differenzbildes durchzuführen, indem der Abstand d Punktes zum bildgebenden Sensor aus der Einbauhöhe h des bildgebenden Sensors im Fahrzeug, dem Sensornickwinkel α, der Bildzeile y des Punktes, dessen Abstand bestimmt werden soll, der Pixelgröße η sowie der Brennweite f gemäß der folgenden Formel bestimmt wird:

Figure 00060001
According to one embodiment of the invention, the pattern recognition unit can be designed to perform a geometric calculation of the free space in front of the vehicle from the determined values of the differential image by the distance d point to the imaging sensor from the installation height h of the imaging sensor in the vehicle, the sensor pitch angle α Image line y of the point whose distance is to be determined, the pixel size η and the focal length f is determined according to the following formula:
Figure 00060001

In einer weiteren Ausführungsform der vorliegenden Erfindung kann der bildgebende Sensor ausgebildet sein, um nach dem zweiten Zeitpunkt weitere Bilder aufzunehmen, und die Bildverarbeitungseinheit kann ferner ausgebildet sein, um das erste und zweite Bild sowie die weiteren Bilder zu speichern und um aus dem zweiten Bild und weiteren Bildern weitere Differenzbilder mit entsprechenden Bewegungskanten aufzunehmen. Hierdurch bietet sich die Möglichkeit, während dem Stillstand den Freiraum vor dem Fahrzeug kontinuierlich zu überwachen.In a further embodiment According to the present invention, the imaging sensor can be formed to take more pictures after the second time, and the image processing unit may be further configured to to save the first and second picture as well as the other pictures and from the second picture and further pictures further difference pictures to absorb with corresponding movement edges. This offers itself the possibility, while standstill to continuously monitor the space in front of the vehicle.

Auch kann die Mustererkennungseinheit gemäß einer weiteren Ausführungsform der vorliegenden Erfindung ausgebildet sein, um ein Eindringen eines Objektes in einen freizuhaltenden Raum vor einem stehenden Fahrzeug durch einen Vergleich der Bewegungskanten in unterschiedlichen Differenzbildern zu erkennen. Hierdurch kann nicht nur der statische Zustand vor dem Fahrzeug durch Auswertung eines einzigen Differenzbildes erfolgen, sondern auch eine Bewegung eines Objektes erkannt werden. Hierbei wird beispielsweise unterschieden zwischen Bewegungen in den Beobachtungsraum hinein und Bewegungen aus dem Beobachtungsraum hinaus. Eine Bewegung aus dem Beobachtungsraum hinaus, z.B. aufgrund eines anfahrenden Fahrzeugs sollte möglichst nicht das eigene Wiederanfahren blockieren. Dagegen kann eine Bewegung in den Beobachtungsraum hinein als Kollisionsrelevant eingestuft werden und beispielsweise infolgedessen ein automatisches Wiederanfahren blockiert werden. Die Mustererkennungseinheit kann realisiert werden, indem spaltenweise die Kantenpixel zu einem Profil aufintegriert werden. Werden in diesem Profil Peaks erkannt die oberhalb eines gewissen Schwellwertes liegen, so wird zum Beispiel ein Flag gesetzt und damit signalisiert, dass sich etwas in den Beobachtungsbereich bewegt hatAlso may be the pattern recognition unit according to another embodiment be formed of the present invention to prevent penetration of a Object in a space to be kept in front of a stationary vehicle by a comparison of the movement edges in different difference pictures to recognize. This not only allows the static state before the vehicle by evaluating a single difference image, but also a movement of an object can be detected. in this connection For example, a distinction is made between movements in the observation room into and out of the observation room. A movement out of the observation room, e.g. due to an arriving Vehicle should be as possible do not block your own restart. In contrast, a movement into the observation room classified as relevant for collision and, for example, as a result, an automatic restart be blocked. The pattern recognition unit can be realized by integrating the edge pixels into a profile in columns become. Are in this profile detected peaks above one certain threshold, so for example, a flag is set and thus signaling that something is in the observation area has moved

In einer weiteren Ausführungsform kann die Mustererkennungseinheit ausgebildet sein, um aus einer Mehrzahl von Differenzbildern eine Bewegung eines in den freizuhaltenden Raum vor dem Fahrzeug eindringenden Objektes in diesem freizuhaltenden Raum nach zu verfolgen. Dies bietet die Möglichkeit abzuschätzen, ob das Objekt in Kürze den Bereich vor dem Fahrzeug verlassen wird, so dass bereits vorbereitende Maßnahmen zum Wiederanfahren getroffen werden können.In a further embodiment For example, the pattern recognition unit may be designed to be composed of a Plurality of difference images a movement of one to be kept in the Space in front of the vehicle penetrating object in this to be kept Space to track. This provides the opportunity to estimate whether the object soon leave the area in front of the vehicle, so that already preparatory activities can be taken to restart.

In einer weiteren Ausführungsform der vorliegenden Erfindung kann der bildgebende Sensor eine Kamera sein. Dies ermöglicht neben der Verwendung eines Ultraschall-Sensors, eines Radar-Sensors oder eines Lidar-Sensors eine kostengünstige Implementierung der Erfindung. Das Bild einer Kamera kann zudem für weitere Funktionen des Fahrerassistenzsystems verwendet werden.In a further embodiment In the present invention, the imaging sensor may be a camera be. this makes possible besides the use of an ultrasonic sensor, a radar sensor or a lidar sensor is a cost effective implementation of the Invention. The image of a camera can also be used for other functions of the driver assistance system be used.

Weiterhin kann in einer Ausführungsform der vorliegenden Erfindung die Vorrichtung einen weiteren bildgebenden Sensor aufweisen und die Mustererkennungseinheit ausgebildet sein, um die Bilddaten des ersten oder zweiten Bildes mit Bilddaten des weiteren bildgebenden Sensors auf Plausibilität zu überprüfen. Dies stellt sicher, dass ein Fehler in dem bildgebenden Sensor einfach und schnell erkannt werden kann und eine Gefährdung von Sachwerten oder Personen aufgrund einer ungewollten Wiederanfahrt des Fahrzeugs vermieden werden kann.Farther can in one embodiment In the present invention, the device has another imaging Have sensor and the pattern recognition unit be formed, to the image data of the first or second image with image data of the other to verify the plausibility of the imaging sensor. This ensures that an error in the imaging sensor can be detected easily and quickly can and a danger of property or persons due to accidental re-entry of the vehicle can be avoided.

Auch kann in einer Ausführungsform ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug bereitgestellt sein, das folgende Schritte umfasst:

  • – Aufnehmen eines Bildes eines Beobachtungsbereichs vor dem Fahrzeug;
  • – Verarbeiten des aufgenommenen Bildes, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und
  • – Bestimmen desjenigen Teils des Beobachtungsbereichs als Freiraum vor dem Fahrzeug, der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.
Also, in one embodiment, a method for determining a clearance in front of a vehicle may be provided, comprising the steps of:
  • - taking an image of an observation area in front of the vehicle;
  • Processing the captured image to obtain a processing image in which image edges in the image are marked; and
  • - Determining that part of the observation area as a free space in front of the vehicle, which corresponds to a picture edge-free area of the processing image from a lower edge of the image.

In einer weiteren Ausführungsform der vorliegenden Erfindung kann ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug vorgesehen sein, das die folgenden Schritte aufweist:

  • – Aufnehmen eines ersten Bildes eines Beobachtungsbereichs vor dem Fahrzeug zu einem ersten Zeitpunkt und eines zweiten Bildes des Beobachtungsbereichs vor dem Fahrzeug zu einem nach dem ersten Zeitpunkt liegenden zweiten Zeitpunkt durch einen bildgebenden Sensor;
  • – Bilden einer Differenz von Bilddaten des ersten Bildes und Bilddaten des zweiten Bildes, um ein Differenzbild zu erhalten, welches Bewegungskanten aufweist, die durch sich unterscheidende Bildpunktwerte der Bilddaten des ersten Bildes gegenüber den Bilddaten des zweiten Bildes definiert sind; und
  • – Bestimmen desjenigen Teils des Beobachtungsbereichs als Freiraum vor dem Fahrzeug, der einem Bewegungskanten-freien Bereich des Differenzbildes ausgehend von einem unteren Bildrand des Differenzbildes entspricht. Dieses Bestimmen kann beispielsweise dadurch erfolgen, dass ein Setzen eines Flags ausgeführt wird, wenn die Musterekennungseinheit Kantenbewegungen in den Beobachtungsbereich hinein detektiert. Die Mustererkennungseinheit kann realisiert werden, indem spaltenweise die Kantenpixel zu einem Profil aufintegriert werden. Werden in diesem Profil Peaks erkannt die oberhalb eines gewissen Schwellwertes liegen, so wird das Flag gesetzt und damit signalisiert, dass sich etwas in den Beobachtungsbereich bewegt hat.
In a further embodiment of the present invention, a method for determining a clearance in front of a vehicle may be provided, comprising the following steps:
  • - taking a first image of an observation area in front of the vehicle at a first time and a second image of the observation area in front of the vehicle at a second time lying after the first time by an imaging sensor;
  • - forming a difference of image data of the first image and image data of the second image to obtain a difference image having motion edges defined by differing pixel values of the image data of the first image versus the image data of the second image; and
  • - Determining that part of the observation area as a free space in front of the vehicle, which corresponds to a moving edge-free area of the difference image, starting from a lower edge image of the difference image. This determination can be made, for example, by the fact that a setting of a flag is carried out when the pattern recognition unit detects edge movements in the observation area. The pattern recognition unit can be realized by integrating the edge pixels into a profile in columns. If peaks are detected in this profile which are above a certain threshold value, then the flag is set and thus signaled that something has moved into the observation area.

Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit den in den Zeichnungen dargestellten Ausführungsbeispielen.Further Advantages and applications The present invention will become apparent from the following description in conjunction with the embodiments illustrated in the drawings.

In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in den Zeichnungen werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.In the description, in the claims, in the abstract and in the drawings are those in the listed below List of reference symbols used terms and associated reference numerals used.

Die Zeichnungen zeigen inThe Drawings show in

1 eine Darstellung der Einsatzmöglichkeit eines Ausführungsbeispiels der vorliegenden Erfindung; 1 a representation of the use of an embodiment of the present invention;

2 eine Darstellung der Erfassung von Bewegungskanten in einem Bild; 2 a representation of the detection of movement edges in an image;

3 eine Darstellung der geometrischen Berechnung des tatsächlichen Freiraums vor dem Fahrzeug aus den in dem Differenzbild ermittelten Werten; und 3 a representation of the geometric calculation of the actual free space in front of the vehicle from the values determined in the difference image; and

4 eine Darstellung der Gewichtung der Bewegungskanten zur Beurteilung des Freiraumes vor einem Fahrzeug abhängig von einer Bewegungsrichtung eines Objektes vor das Fahrzeug. 4 a representation of the weighting of the movement edges for assessing the free space in front of a vehicle depending on a direction of movement of an object in front of the vehicle.

Im Folgenden können gleiche und/oder funktional gleiche Elemente mit den gleichen Bezugszeichen versehen sein. Die im Folgenden angegebenen absoluten Werte und Maßangaben sind nur beispielhafte Werte und stellen keine Einschränkung der Erfindung auf derartige Dimensionen dar.in the Following can identical and / or functionally identical elements with the same reference numerals be provided. The absolute values given below and dimensions are only exemplary values and do not represent a limitation of Invention on such dimensions.

1 zeigt eine Darstellung der Einsatzmöglichkeit eines Ausführungsbeispiels der vorliegenden Erfindung. Hierbei ist ein Fahrzeug 10 dargestellt, dass sich beispielsweise in einem Stau hinter einem Lastwagen 12 befindet. Das Fahrzeug 10 ist mit einem Ausführungsbeispiel der erfindungsgemäßen Vorrichtung 14 ausgestattet. 1 shows a representation of the use of an embodiment of the present invention. Here is a vehicle 10 shown that, for example, in a traffic jam behind a truck 12 located. The vehicle 10 is with an embodiment of the device according to the invention 14 fitted.

Das in 1 dargestellte Ausführungsbeispiel der Vorrichtung 14 umfasst einen bildgebenden Sensor 16, der beispielsweise eine optische Kamera, ein Ultraschallsensor, ein Radarsensor oder Lidarsensor sein kann. Ferner umfasst die Vorrichtung 14 eine Bildverarbeitungseinheit 18 sowie eine mit der Bildverarbeitungseinheit 18 gekoppelte Mustererkennungseinheit 20. Der bildgebende Sensor 16 kann im Bereich der Windschutzscheibe des Fahrzeugs 10 angeordnet sein. Hierdurch ergibt sich ein Beobachtungsbereich 22, der durch die erhöhte Anordnung des bildgebenden Sensors 16 wesentlich größer ist, als es bei einer Montage des Sensors beispielsweise im Front-, insbesondere Kühlerbereich eines Kraftfahrzeugs möglich ist.This in 1 illustrated embodiment of the device 14 includes an imaging sensor 16 which may be, for example, an optical camera, an ultrasonic sensor, a radar sensor or lidar sensor. Furthermore, the device comprises 14 an image processing unit 18 and one with the image processing unit 18 coupled pattern recognition unit 20 , The imaging sensor 16 Can be in the area of the windshield of the vehicle 10 be arranged. This results in an observation area 22 due to the increased arrangement of the imaging sensor 16 is substantially larger than is possible in a mounting of the sensor, for example in the front, in particular radiator area of a motor vehicle.

In diesem Beobachtungsbereich 22 kann ein Objekt 24 erkannt werden, beispielsweise eine Person, die während dem Stau zwischen das Fahrzeug 10 und den Lastwagen 12 gelaufen ist. Der bildgebende Sensor 16 nimmt hierzu ein erstes Bild auf, in dem sich das Objekt 24 noch nicht zwischen dem Fahrzeug 10 und dem Lastwagen 12 befindet. Danach wird ein zweites Bild aufgenommen, bei dem sich das Objekt 24 bereits zwischen dem Fahrzeug 10 und dem Lastwagen 12 befindet. Das erste und zweite Bild werden dann miteinander verglichen, indem ein Differenzbild aus dem ersten und zweiten Bild erzeugt wird. Die durch das Objekt 24 im zweiten Bild verursachten Unterschiede führen hierbei zu Bewegungskanten im Differenzbild, die aus der Anwesenheit des Objekts 24 in dem Beobachtungsbereich 22 resultieren. Es wird nun ein Abstand zwischen der durch das Objekt 24 verursachten untersten Bewegungskante und einem unteren Rand des Differenzbildes gemessen, der einen Rückschluss auf die Position des Objekts 24 in dem Beobachtungsbereich 22 beziehungsweise einen Rückschluss auf einen Abstand des Objektes 24 vom Fahrzeug 10 ermöglicht. Hierbei wird davon ausgegangen, dass der untere Rand des Differenzbildes beziehungsweise des ersten und zweiten Bildes der Frontposition des Fahrzeugs 10 entspricht.In this observation area 22 can be an object 24 be recognized, for example, a person during the traffic jam between the vehicle 10 and the truck 12 has gone. The imaging sensor 16 takes a first picture, in which the object 24 not yet between the vehicle 10 and the truck 12 located. Thereafter, a second image is taken, in which the object 24 already between the vehicle 10 and the truck 12 located. The first and second images are then compared with each other by producing a difference image from the first and second images. The through the object 24 Differences caused in the second image lead to movement edges in the difference image resulting from the presence of the object 24 in the observation area 22 result. There will now be a distance between through the object 24 caused bottom trailing edge and a lower edge of the difference image measured, a conclusion on the position of the object 24 in the observation area 22 or a conclusion to a distance of the object 24 from the vehicle 10 allows. Here, it is assumed that the lower edge of the difference image or the first and second image of the front position of the vehicle 10 equivalent.

2 zeigt eine Darstellung der Erfassung von Bildkanten beispielhaft an Hand von zwei Bildern. In der linken Teildarstellung von 2 ist ein Bild einer Kamera wiedergegeben, in dem dargestellt ist, wie sich das Fahrzeug mit der erfindungsgemäßen Vorrichtung auf einer Strasse hinter einem Lastwagen 12 befindet. Als Grundannahme wird dabei davon ausgegangen, dass eine leere Fahrspur bis auf die Fahrbahnmarkierungen keine starken (Bild-) Kanten enthält. Sich durch "erhabene" Objekte bildende Schattenkanten heben sich über ihren Kontrast von der Fahrbahn ab und lassen auf Objekte oder Hindernisse auf der Fahrbahn (oder zumindest direkt daneben) schließen. In der rechten Teildarstellung von 2 ist erkennbar, wie Bildkanten in der (statischen) Auswertung eines einzelnen Bildes ermittelt und markiert werden können. Insbesondere ist gut zu sehen, dass durch die Fahrbahnmarkierungen und die Bildkanten des Schattenverlaufs hinter dem Lastwagen der vor dem Fahrzeug liegende Bereich derart analysiert wurde, dass im Bereich 30 keine Bewegungskanten vor dem Fahrzeug erkannt wurden und dass dieser Bereich 30 als Freiraum vor dem Fahrzeug betrachtet werden kann. Dagegen werden in einem Randbereich der Fahrbahn die Seitenstreifen durch die Kantenerkennung erkannt und als Begrenzung für den Freiraum vor dem Fahrzeug gewertet. Im rechten Teildiagramm der 2 ist durch die Kantenerkennung klar zu erkennen, dass sich kein Objekt zwischen dem Fahrzeug und dem Lastwagen befindet. Dies ermöglicht zugleich die Verwendung der Erfindung zur Spurführung. Ändert sich auch der Abstand zum vorausfahrenden LKW bei der Fahrt nicht, ergibt sich auch im Bewegungsbild keine Bewegungsbildkante, so dass hierauf keine Veränderung des Abstandes zum LKW und damit keine Einschränkung des Freiraumes vor dem Fahrzeug zu verzeichnen ist. 2 shows an illustration of the detection of image edges by way of example with reference to two images. In the left partial representation of 2 is a picture of a camera reproduced, which is shown as the vehicle with the device according to the invention on a road behind a load dare 12 located. As a basic assumption, it is assumed that an empty lane, except for the lane markings, does not contain any strong (image) edges. Shadow edges formed by "raised" objects stand out from the roadway in their contrast and suggest objects or obstacles on the roadway (or at least directly next to it). In the right partial representation of 2 It can be seen how image edges can be determined and marked in the (static) evaluation of a single image. In particular, it can be clearly seen that the area in front of the vehicle was analyzed in such a way by the lane markings and the image edges of the shadow course behind the truck that in the area 30 No movement edges were detected in front of the vehicle and that this area 30 as a free space in front of the vehicle can be considered. In contrast, the side strips are detected by edge detection in an edge region of the road and evaluated as a limit to the free space in front of the vehicle. In the right part diagram the 2 is clearly recognizable by the edge detection that there is no object between the vehicle and the truck. This also allows the use of the invention for tracking. If the distance to the preceding truck does not change during the journey, there is no moving image edge in the moving image, so that there is no change in the distance to the truck and thus no restriction of the free space in front of the vehicle.

In 3 ist dargestellt, wie eine geometrische Berechnung des Freiraums vor dem Fahrzeug aus den ermittelten Werten des Differenzbildes durchgeführt wird, das aus von einer hinter dem Rückspiegel an der Windschutzscheibe eines Kraftfahrzeugs montierten Kamera aufgenommen Bildern erzeugt wurde. Hierbei stellt 3 eine Möglichkeit zur Abstandsbestimmung eines Punktes d zur Kamera beziehungsweise dem bildgebenden Sensor dar. Der Abstand wird aus der Kameraeinbauhöhe h in dem Fahrzeug, dem Kameranickwinkel α, der Bildzeile y des Punktes dessen Abstand bestimmt werden soll, der Pixelgröße η sowie der Kamerabrennweite f gemäß der Formel

Figure 00120001
bestimmt.In 3 It is shown how a geometric calculation of the free space in front of the vehicle is carried out from the determined values of the differential image, which was generated from images taken by a camera mounted behind the rearview mirror on the windshield of a motor vehicle. Hereby poses 3 the distance is determined from the camera installation height h in the vehicle, the camera pitch angle α, the image line y of the point whose distance is to be determined, the pixel size η and the camera focal length f according to the formula
Figure 00120001
certainly.

Im Folgenden wird ein beispielhaftes Verfahren beschrieben, das eine automatische Freiraumbestimmung mittels monokularer Kamera realisiert, zum Beispiel für das Wiederanfahren eines angehaltenen Fahrzeugs. Es ist vorgesehen, dass ein automatisches Wiederanfahren nur erfolgt, wenn ein Freiraum vor dem Fahrzeug so bemessen ist, dass er größer als ein vorher als ausreichend groß definierter Freiraum ist und im Sensorsystem beziehungsweise der zugehörigen Auswerteeinheit hinterlegt ist. Kann dies nicht durch ein oder mehrere Sensorsysteme (Kamera, Ultraschall, Radar, Lidar, etc.) verifiziert werden, ist ein aktiver Eingriff, zum Beispiel des Fahrzeugführers, notwendig, damit die Fahrt fortgesetzt wird.in the The following describes an exemplary method which is a automatic free space determination realized by means of monocular camera, for example for the restart of a stopped vehicle. It is intended that an automatic restart only takes place when there is a free space before the vehicle is sized so that it is larger than one before as sufficient large defined free space is and in the sensor system or the associated evaluation unit is deposited. Can not this be done by one or more sensor systems (camera, Ultrasound, radar, lidar, etc.) is an active one Intervention, for example, the driver, necessary for the Ride is continued.

Im Folgenden wird eine vorteilhaft ausgestaltete Vorrichtung und ein ebensolches Verfahren beschrieben, das den Freiraum vor einem Fahrzeug vor einer Wiederanfahrt bestimmt. Das Fahrzeug ist mit mindestens einem Sensorsystem, mit zugehöriger Auswerteeinheit und einer Speichervorrichtung ausgestattet. In der Speichervorrichtung werden ab Stillstand des Fahrzeugs Informationen über bewegte Objekte im Erfassungsbereich des Sensors beziehungsweise der Sensoren in gespeichert. Optional werden bewegte Objekte während des Stillstands nachverfolgt, um weitere Informationen zum Beispiel über die Relativgeschwindigkeit zu erhalten oder ein wahrscheinliches Verhalten des Objektes vorherzusagen (Querbewegung, Objekt bewegt sich auf das Fahrzeug zu oder vom Fahrzeug weg).in the Below is an advantageously configured device and a just described a method that the space in front of a vehicle determined before a return. The vehicle is with at least a sensor system, with associated evaluation unit and a storage device. In the storage device When the vehicle is at a standstill, information about moving objects is displayed in the detection range of the sensor or sensors in saved. Optionally, moving objects are tracked during standstill, for more information about, for example, the relative speed or predict a probable behavior of the object (Transverse movement, object moves to the vehicle to or from the vehicle path).

Kommen mehrere Sensorsysteme zum Einsatz, so werden ihre Daten zur Plausibilisierung des Ergebnisses zusammengeführt (Sensordatenfusion). Möglich ist auch eine Beschränkung auf Objekte, die sich auf der Fahrbahn oder in einem zuvor definierten relevanten Bereich befinden. Das Verfahren selektiert also Objekte, die nach dem Stillstand in den Freiraum vor dem Fahrzeug eintreten. Vor einer Wiederanfahrt wird geprüft, ob sich diese Objekte noch vor dem Fahrzeug befinden oder diesen Bereich bereits wieder verlassen haben. Ein Kriterium, ob ein aktiver Eingriff, z.B. des Fahrzeugsführers, zur Fortsetzung der Fahrt vorgesehen ist oder auch eine automatische Wiederanfahrt erfolgt, wird in Abhängigkeit davon getroffen, dass sich eines der vorher beschriebenen selektierten Objekte noch in dem vorgegebenen Freiraum aufhält. Weitere Kriterien können z.B. die Objekteigenschaften (Größe, Relativgeschwindigkeit, Mensch, Gegenstand, Fahrzeug etc.) sein.Come Several sensor systems are used, so their data for plausibility of the result (Sensor data fusion). Possible is also a limitation on objects that are on the road or in a previously defined relevant Area are located. The method thus selects objects that are after stand still in the space in front of the vehicle. In front of you Restart is checked whether these objects are still in front of the vehicle or this Have already left the area. A criterion of whether an active intervention, e.g. the driver of the vehicle, is intended to continue the journey or an automatic Restart is done, depending on that one of the previously described selected objects still in stops the given free space. Other criteria can be e.g. the object properties (size, relative speed, Human, object, vehicle etc.).

Das vorstehend beschriebene Verfahren ist unter anderem für einen Kamerasensor geeignet. Unter der Annahme, dass eine leere Fahrspur keine starken Kanten enthält, werden die Kanten in den Bilddaten extrahiert. Sich in das Bild bewegende "erhabene" Objekte bilden Schattenkanten und heben sich über ihren Kontrast von der Fahrbahn ab. Ein Verfahren zur Erkennung von bewegten Objekten mit einer Kamera könnte etwa wie folgt ablaufen:

  • 1. Es wird ein Differenzbild aus zwei aufeinander folgenden Bildern berechnet. Es entsteht ein Bild mit Bewegungskanten.
  • 2. Es wird ein Schwellenwert auf das Differenzbild angewendet, so dass nur starke Bewegungskanten verbleiben.
  • 3. Alle Bewegungskanten werden während des Stillstands gespeichert.
  • 4. Vor einer Wiederanfahrt wird der Freiraum berechnet, zum Beispiel werden ausgehend vom unteren Bildrand die nächsten gespeicherten Bewegungskanten bestimmt. Die entstehende Kontur begrenzt den Freiraum.
The method described above is suitable, inter alia, for a camera sensor. Assuming that an empty lane does not contain strong edges, the edges in the image data are extracted. Shadow edges that move into the picture form shadow edges and stand out from the roadway in their contrast. A method of detecting moving objects with a camera could be as follows:
  • 1. A difference image is calculated from two successive images. The result is a picture with moving edges.
  • 2. A threshold value is applied to the difference image, so that only strong Bewegungsungskan remain.
  • 3. All motion edges are stored during standstill.
  • 4. Before a restart, the free space is calculated, for example, starting from the lower edge of the image, the next stored movement edges are determined. The resulting contour limits the free space.

Alternativ kann das Verfahren gemäß einem Ausführungsbeispiel auch folgendermaßen ablaufen, wie es in 4 näher dargestellt ist:

  • 1. Es wird ein Differenzbild aus zwei aufeinander folgenden Bildern T1 und T1 + dt berechnet. Es entsteht ein (Differenz-)Bild mit Bewegungskanten.
  • 2. Es wird ein Schwellenwert auf das Differenzbild angewendet, so dass nur starke Bewegungskanten verbleiben.
  • 3. Die Bewegungskanten werden spaltenweise aufintegriert, so dass ein Kantenprofil entsteht.
  • 4. Überschreitet das Profil einen Schwellwert wird ein Freiraum-Flag gesetzt, das eine Bewegung in den Freiraum anzeigt
  • 5. Vor einer Wiederanfahrt wird das Freiraum-Flag abgefragt. Beispielsweise kann das Wiederanfahren blockiert werden, wenn das Freiraum-Flag gesetzt ist und das Wiederanfahren erst dann freigegeben werden, wenn sichergestellt ist, dass sich kein Objekt mehr vor dem Fahrzeug befindet. Dies kann durch ein Rücksetzen des Flags erfolgen, wenn sich das Objekt aus dem Beobachtungsbereich hinausbewegt und durch eine Auswertung diese sich aus dem Beobachtungsbereich hinausbewegenden Bewegungskanten ein Löschen des Flags bewirken.
Alternatively, the method according to an exemplary embodiment can also proceed as follows 4 is shown in more detail:
  • 1. A difference image is calculated from two successive images T1 and T1 + dt. The result is a (difference) image with motion edges.
  • 2. A threshold value is applied to the difference image so that only strong motion edges remain.
  • 3. The movement edges are integrated on a column-by-column basis so that an edge profile is created.
  • 4. If the profile exceeds a threshold, a free space flag is set that indicates movement into the free space
  • 5. Before a restart, the free space flag is queried. For example, restarting may be blocked if the clearance flag is set and restarting is not enabled until it is certain that there is no object in front of the vehicle. This can be done by resetting the flag when the object moves out of the observation area and causes an erasure of the flag by evaluating this movement edge moving out of the observation area.

Weiterhin werden auch beim Analysieren des Differenzbildes statische Bildkanten wie z.B. die Fahrbahnmarkierungen herausgefiltert, da diese in beiden Bildern auftreten. Somit kann der Focus lediglich auf die „sich bewegenden" Bildkanten gerichtet werden, was die Bildverarbeitung deutlich erleichtert.Farther also become static image edges when analyzing the difference image such as. the lane markings filtered out, as these in both Images occur. Thus, the focus can only be directed to the "moving" image edges, which makes the image processing much easier.

1010
Fahrzeugvehicle
1212
Lastwagentruck
1414
Vorrichtung zum Bestimmen eines Freiraums vor einemcontraption for determining a free space in front of a
Fahrzeugvehicle
1616
bildgebender Sensor, Kameraimaging Sensor, camera
1818
BildverarbeitungseinheitImage processing unit
2020
MustererkennungseinheitPattern recognition unit
2222
Beobachtungsbereichobservation area
2424
Objektobject
3030
als Freiraum erkennbarer Bereichwhen Free space recognizable area

Claims (17)

Vorrichtung (14) zum Bestimmen eines Freiraums vor einem Fahrzeug (10), umfassend: – einen bildgebenden Sensor (16), der ausgebildet ist, um ein Bild eines Beobachtungsbereichs (22) vor dem Fahrzeug (10) aufzunehmen; – eine Bildverarbeitungseinheit (18), die ausgebildet ist, um das aufgenommene Bild zu verarbeiten, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und – eine Mustererkennungseinheit (20), die ausgebildet ist, um als Freiraum vor dem Fahrzeug (10) denjenigen Teil des Beobachtungsbereichs (22) zu bestimmen, der einem Bildkantenfreien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.Contraption ( 14 ) for determining a free space in front of a vehicle ( 10 ), comprising: - an imaging sensor ( 16 ) which is adapted to form an image of an observation area ( 22 ) in front of the vehicle ( 10 ); An image processing unit ( 18 ) configured to process the captured image to obtain a processing image in which image edges in the image are marked; and a pattern recognition unit ( 20 ), which is designed to be free in front of the vehicle ( 10 ) that part of the observation area ( 22 ) corresponding to an image edge free area of the processing image from a lower image edge of the image. Vorrichtung (14) gemäß Anspruch 1, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (18) ausgebildet ist, um Fahrbahnmarkierungen und/oder einen Schattenverlauf zu erkennen und als Bildkante in dem Bild zu markieren.Contraption ( 14 ) according to claim 1, characterized in that the image processing unit ( 18 ) is formed to recognize lane markers and / or a shadow course and mark as an image edge in the image. Vorrichtung (14) gemäß Anspruch 1, dadurch gekennzeichnet, dass – der bildgebende Sensor (16) ausgebildet ist, um zu einem ersten Zeitpunkt das Bild und zu einem nach dem ersten Zeitpunkt liegenden zweiten Zeitpunkt ein zweites Bild des Beobachtungsbereichs (22) vor dem Fahrzeug (10) aufzunehmen; – die Bildverarbeitungseinheit (18) ausgebildet ist, um durch Bilden einer Differenz von Bilddaten des Bildes und Bilddaten des zweiten Bildes ein Differenzbild zu erhalten, welches Bewegungskanten aufweist, die durch sich unterscheidende Bildpunktwerte der Bilddaten des Bildes gegenüber den Bilddaten des zweiten Bildes definiert sind, wobei das Differenzbild als Verarbeitungsbild bereitgestellt wird; und – die Mustererkennungseinheit (20) ausgebildet ist, um als Freiraum vor dem Fahrzeug (10) denjenigen Teil des Beobachtungsbereichs (22) zu bestimmen, der einem Bewegungskanten-freien Bereich des Differenzbildes ausgehend von einem unteren Bildrand des Differenzbildes entspricht.Contraption ( 14 ) according to claim 1, characterized in that - the imaging sensor ( 16 ) is formed, at a first time the image and at a second time after the second time a second image of the observation area ( 22 ) in front of the vehicle ( 10 ); The image processing unit ( 18 ) is adapted to obtain, by taking a difference of image data of the image and image data of the second image, a difference image having moving edges defined by differing pixel values of the image data of the image versus the image data of the second image, the difference image being a processing image provided; and - the pattern recognition unit ( 20 ) is designed to be free space in front of the vehicle ( 10 ) that part of the observation area ( 22 ), which corresponds to a moving edge-free region of the difference image starting from a lower image edge of the difference image. Vorrichtung gemäß Anspruch 3, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (18) ausgebildet ist, um einen Schwellenwert auf Bildpunktwerte des Differenzbildes anzuwenden, derart, dass in dem Differenzbild nur Bewegungskanten enthalten sind, deren Bildpunktwerte über dem Schwellenwert liegen.Device according to claim 3, characterized in that the image processing unit ( 18 ) is adapted to apply a threshold value to pixel values of the difference image such that in the difference image only motion edges are included whose pixel values are above the threshold value. Vorrichtung gemäß einem der Ansprüche 3 oder 4, dadurch gekennzeichnet, dass der bildgebende Sensor (16) ausgebildet ist, um das Bild und das zweite Bild während einem Stillstand des Fahrzeugs (10) aufzunehmen.Device according to one of claims 3 or 4, characterized in that the imaging sensor ( 16 ) is formed to the image and the second image during a standstill of the vehicle ( 10 ). Vorrichtung gemäß Anspruch 5, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um ein Blockieren des Anfahrens des Fahrzeugs (10) zu signalisieren, wenn nicht mindestens ein Freiraum von einer vordefinierten Größe vor dem Fahrzeug (10) erkannt wurde.Device according to claim 5, characterized in that the pattern recognition unit ( 20 ) is configured to block the starting of the vehicle ( 10 ), if not at least one clearance of a predefined size in front of the vehicle ( 10 ) was detected. Vorrichtung gemäß Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um ein Blockieren des Anfahrens des Fahrzeugs (10) zu signalisieren, wenn ein Objekt (24) mit einer vordefinierten Mindestgröße in einem vordefinierten Bereich vor dem Fahrzeug (10) erkannt wurde.Device according to claim 5 or 6, characterized in that the pattern recognition unit ( 20 ) is configured to block the starting of the vehicle ( 10 ) to signal when an object ( 24 ) with a predefined minimum size in a predefined area in front of the vehicle ( 10 ) was detected. Vorrichtung gemäß einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, eine geometrische Berechnung des Freiraums vor dem Fahrzeug aus den ermittelten Werten des Differenzbildes durchzuführen, indem der Abstand d Punktes zum bildgebenden Sensor (16) aus der Einbauhöhe h des bildgebenden Sensors (16) im Fahrzeug, dem Sensornickwinkel α, der Bildzeile y des Punktes, dessen Abstand bestimmt werden soll, der Pixelgröße η sowie der Brennweite f gemäß der folgenden Formel bestimmt wird:
Figure 00190001
Device according to one of claims 3 to 7, characterized in that the pattern recognition unit ( 20 ) is designed to perform a geometric calculation of the free space in front of the vehicle from the determined values of the differential image by the distance d point to the imaging sensor ( 16 ) from the installation height h of the imaging sensor ( 16 ) in the vehicle, the sensor pitch angle α, the image line y of the point whose distance is to be determined, the pixel size η and the focal length f are determined according to the following formula:
Figure 00190001
Vorrichtung gemäß einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass der bildgebende Sensor (16) ausgebildet ist, um nach dem zweiten Zeitpunkt weitere Bilder aufzunehmen und die Bildverarbeitungseinheit (18) ferner ausgebildet ist, um das Bild und das zweite Bild sowie die weiteren Bilder zu speichern und um aus dem zweiten Bild und weiteren Bildern weitere Differenzbilder mit entsprechenden Bewegungskanten aufzunehmen.Device according to one of claims 3 to 8, characterized in that the imaging sensor ( 16 ) is adapted to take further images after the second time and the image processing unit ( 18 ) is further configured to store the image and the second image and the further images and to record from the second image and further images further difference images with corresponding movement edges. Vorrichtung gemäß Anspruch 9, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um ein Eindringen eines Objektes (24) in einen freizuhaltenden Raum vor einem stehenden Fahrzeug (10) durch einen Vergleich der Bewegungskanten in unterschiedlichen Differenzbildern zu erkennen.Device according to claim 9, characterized in that the pattern recognition unit ( 20 ) is designed to prevent intrusion of an object ( 24 ) in a free space in front of a stationary vehicle ( 10 ) by comparing the movement edges in different difference images. Vorrichtung gemäß Anspruch 10, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um eine Bewegungsrichtung der Kanten zu analysieren und um beim Bestimmen des Freiraums vor dem Fahrzeug (10) diejenigen Bewegungskanten, die sich in den Beobachtungsbereich (22) hineinbewegen stärker zu gewichten als Bewegungskanten, die sich aus dem Beobachtungsbereich (22) hinausbewegen, wobei das stärkere Gewichten der sich in den Beobachtungsbereich (22) hineinbewegenden Beobachtungskanten derart erfolgt, dass bezüglich dieser sich in den Bewegungsbereich (22) hineinbewegenden Beobachtungskanten ein Sicherheitsabstand in dem zu bestimmenden Freiraum vor dem Fahrzeug (10) vorgesehen wird.Device according to claim 10, characterized in that the pattern recognition unit ( 20 ) is configured to analyze a direction of movement of the edges and to determine the free space in front of the vehicle ( 10 ) those edges of motion that are in the observation area ( 22 Move inwards to weight more than movement edges, resulting from the observation area ( 22 ), whereby the heavier weights of the observation area ( 22 ) in such a way that with respect to this in the range of motion ( 22 ) moving in the observation edge a safety distance in the free space to be determined in front of the vehicle ( 10 ) is provided. Vorrichtung gemäß einem der Ansprüche 10 oder 11, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um bei stehendem Fahrzeug (10) eine Bewegungsrichtung der Kanten zu analysieren und um beim Bestimmen des Freiraums vor dem Fahrzeug (10) diejenigen Bewegungskanten, die sich in den Beobachtungsbereich (22) hineinbewegen stärker zu gewichten als Bewegungskanten, die sich aus dem Beobachtungsbereich (22) hinausbewegen, wobei das stärkere Gewichten der sich in den Beobachtungsbereich (22) hineinbewegenden Beobachtungskanten derart erfolgt, dass bezüglich dieser sich in den Bewegungsbereich (22) hineinbewegenden Beobachtungskanten ein Signal gesetzt wird und wobei ein Wiederanfahren des Fahrzeugs (10) in Abhängigkeit von dem Signal erfolgt.Device according to one of claims 10 or 11, characterized in that the pattern recognition unit ( 20 ) is formed in order to be stationary when the vehicle is stationary ( 10 ) to analyze a direction of movement of the edges and to determine the free space in front of the vehicle ( 10 ) those edges of motion that are in the observation area ( 22 Move inwards to weight more than movement edges, resulting from the observation area ( 22 ), whereby the heavier weights of the observation area ( 22 ) in such a way that with respect to this in the range of motion ( 22 ) moving in observation edges and a restart of the vehicle ( 10 ) in response to the signal. Vorrichtung gemäß Anspruch 12, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um die Bewegungskanten der Differenzbilder spaltenweise aufzuintegrieren, so dass ein Kantenprofil entsteht und bei einem Überschreiten des Profils über einen Schwellwert das Signal zu setzen, um eine Bewegung in den Freiraum anzuzeigen.Device according to claim 12, characterized in that the pattern recognition unit ( 20 ) is formed in order to aufintegrieren the moving edges of the difference images column by column, so that an edge profile is formed and to set when exceeding the profile above a threshold signal, to indicate a movement in the free space. Vorrichtung gemäß einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um aus einer Mehrzahl von Differenzbildern eine Bewegung eines in den freizuhaltenden Raum vor dem Fahrzeug (10) eindringenden Objektes (24) in diesem freizuhaltenden Raum nachzuverfolgen.Device according to one of claims 9 to 13, characterized in that the pattern recognition unit ( 20 ) is adapted to move from a plurality of differential images a movement of a space to be kept clear in front of the vehicle ( 10 ) penetrating object ( 24 ) in this room to be kept free. Vorrichtung gemäß einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass der bildgebende Sensor (16) eine Kamera ist.Device according to one of claims 1 to 14, characterized in that the imaging sensor ( 16 ) is a camera. Vorrichtung gemäß einem der Ansprüche 3 bis 15, dadurch gekennzeichnet, dass die Vorrichtung (14) einen weiteren bildgebenden Sensor aufweist und die Bildverarbeitungseinheit (18) ausgebildet ist, um die Bilddaten des Bildes oder des zweiten Bildes mit Bilddaten des weiteren bildgebenden Sensors auf Plausibilität zu überprüfen.Device according to one of claims 3 to 15, characterized in that the device ( 14 ) has a further imaging sensor and the image processing unit ( 18 ) is designed to check the image data of the image or the second image with image data of the further imaging sensor for plausibility. Verfahren (14) zum Bestimmen eines Freiraums vor einem Fahrzeug (10), mit folgenden Schritten: – Aufnehmen eines Bildes eines Beobachtungsbereichs (22) vor dem Fahrzeug (10); – Verarbeiten des aufgenommenen Bildes, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und – Bestimmen desjenigen Teils des Beobachtungsbereichs (22) als Freiraum vor dem Fahrzeug (10), der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.Procedure ( 14 ) for determining a free space in front of a vehicle ( 10 ), comprising the following steps: - taking an image of an observation area ( 22 ) in front of the vehicle ( 10 ); Processing the captured image to obtain a processing image in which image edges in the image are marked; and Determining the part of the observation area ( 22 ) as clearance in front of the vehicle ( 10 ) corresponding to an image edge-free region of the processing image from a lower image edge of the image.
DE102006060893A 2006-05-12 2006-12-22 Device and method for determining a free space in front of a vehicle Pending DE102006060893A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102006060893A DE102006060893A1 (en) 2006-05-12 2006-12-22 Device and method for determining a free space in front of a vehicle
EP07722345A EP2021975A1 (en) 2006-05-12 2007-05-03 Device and method for the determination of the clearance in front of a vehicle
PCT/DE2007/000788 WO2007131470A1 (en) 2006-05-12 2007-05-03 Device and method for the determination of the clearance in front of a vehicle
DE112007000332T DE112007000332A5 (en) 2006-05-12 2007-05-03 Device and method for determining a free space in front of a vehicle

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102006022739 2006-05-12
DE102006022739.5 2006-05-12
DE102006060893A DE102006060893A1 (en) 2006-05-12 2006-12-22 Device and method for determining a free space in front of a vehicle

Publications (1)

Publication Number Publication Date
DE102006060893A1 true DE102006060893A1 (en) 2007-11-15

Family

ID=38331149

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102006060893A Pending DE102006060893A1 (en) 2006-05-12 2006-12-22 Device and method for determining a free space in front of a vehicle
DE112007000332T Pending DE112007000332A5 (en) 2006-05-12 2007-05-03 Device and method for determining a free space in front of a vehicle

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE112007000332T Pending DE112007000332A5 (en) 2006-05-12 2007-05-03 Device and method for determining a free space in front of a vehicle

Country Status (3)

Country Link
EP (1) EP2021975A1 (en)
DE (2) DE102006060893A1 (en)
WO (1) WO2007131470A1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007039377A1 (en) * 2007-08-21 2009-02-26 Audi Ag Method for automatic longitudinal guidance of a motor vehicle by means of a longitudinal driver assistance system with Stop & Go function
DE102009058488A1 (en) * 2009-12-16 2011-06-22 Audi Ag, 85057 A method of assisting in driving a motor vehicle
DE102010009620A1 (en) 2010-02-27 2011-09-01 Volkswagen Ag Method for detecting obstacle in car surroundings, involves detecting image by monocular image capture system, comparing intensity difference with predetermined threshold, and detecting obstacle when difference is larger than threshold
US8421859B2 (en) 2008-04-24 2013-04-16 GM Global Technology Operations LLC Clear path detection using a hierachical approach
US8634593B2 (en) 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
US8917904B2 (en) 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
DE102015115012A1 (en) * 2015-09-08 2017-03-09 Connaught Electronics Ltd. Method for generating an environment map of an environment of a motor vehicle based on an image of a camera, driver assistance system and motor vehicle
US9852357B2 (en) 2008-04-24 2017-12-26 GM Global Technology Operations LLC Clear path detection using an example-based approach
EP3428682A1 (en) * 2017-07-11 2019-01-16 Valeo Schalter und Sensoren GmbH Method for detecting an obstacle in the vicinity of a motor vehicle, evaluation unit, driver assistance system and motor vehicle
US20210041235A1 (en) * 2019-08-09 2021-02-11 Volkswagen Aktiengesellschaft Method and device for determining a parallax problem in sensor data of two sensors
DE102020200183A1 (en) * 2020-01-09 2021-07-15 Continental Automotive Gmbh Method for creating a probabilistic free space map with static and dynamic objects
DE102021003728A1 (en) 2021-07-20 2023-01-26 Daimler Truck AG Method for operating a gated camera, control device for carrying out such a method, gated camera device with such a control device and motor vehicle with such a gated camera device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5555312A (en) * 1993-06-25 1996-09-10 Fujitsu Limited Automobile apparatus for road lane and vehicle ahead detection and ranging
US20020159616A1 (en) * 1999-09-29 2002-10-31 Akihiro Ohta Image recognition apparatus and image processing apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2674354A1 (en) * 1991-03-22 1992-09-25 Thomson Csf Method of analysing sequences of road images, device for implementing it and its application to obstacle detection
US6163022A (en) * 1997-05-20 2000-12-19 Matsushita Electric Industrial Co., Ltd. Imaging apparatus, distance measurement apparatus and method for measuring distance
WO1999053430A1 (en) * 1998-04-13 1999-10-21 Eyematic Interfaces, Inc. Vision architecture to describe features of persons
DE19936585A1 (en) * 1999-08-03 2001-02-15 Foerderung Angewandter Informa Method and device for detecting cyclists moving towards it has an exposure unit, an analyzer and a signaling unit interconnected via wires with the exposure unit taking sequences of pictures for a surrounding scene for evaluation.
JP2001357484A (en) * 2000-06-14 2001-12-26 Kddi Corp Road abnormality detector
US20060088188A1 (en) * 2004-10-11 2006-04-27 Alexander Ioffe Method for the detection of an obstacle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5555312A (en) * 1993-06-25 1996-09-10 Fujitsu Limited Automobile apparatus for road lane and vehicle ahead detection and ranging
US20020159616A1 (en) * 1999-09-29 2002-10-31 Akihiro Ohta Image recognition apparatus and image processing apparatus

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BERTOZZI,M.,BROGGI,A.:Vision-Based Vehicle Guidance.In:IEEE Computer (30, No.7, 1997,S.49-55; *
BROGGI,A.,et.al.:Visual Perception of Obstacles and Vehicles for Platooning.In:IEEE Transactions on Intelligent Transportation Systems, Vol.1,No.3.,Sept.2000,S.164-176; *
CERRI,P.,GRISLERI,P.:Free Space Detection on Highways using Time Correlation between Stabilized Sub-pixel precision IPM IMAGES.In: Proceedings of the 2005 IEEE Inernational Conference on Robotics and Automation, April 2005,S.2223-2228; *
LIU,Tie,et.al.:A Novel Approach of Road Recognition Based on Deformable Template and Genetic Algorithm.In:Intelligent Transportation Systems, 2003,Vol.2, IEEE,Vol.2,S.1251-1256; *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007039377B4 (en) * 2007-08-21 2011-11-10 Audi Ag Method for automatic longitudinal guidance of a motor vehicle by means of a longitudinal driver assistance system with Stop & Go function
DE102007039377A1 (en) * 2007-08-21 2009-02-26 Audi Ag Method for automatic longitudinal guidance of a motor vehicle by means of a longitudinal driver assistance system with Stop & Go function
US8634593B2 (en) 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
US9852357B2 (en) 2008-04-24 2017-12-26 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8917904B2 (en) 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
US8421859B2 (en) 2008-04-24 2013-04-16 GM Global Technology Operations LLC Clear path detection using a hierachical approach
EP2339375A3 (en) * 2009-12-16 2013-06-05 Audi AG Method for supporting a driver of a motor vehicle
DE102009058488A1 (en) * 2009-12-16 2011-06-22 Audi Ag, 85057 A method of assisting in driving a motor vehicle
DE102009058488B4 (en) * 2009-12-16 2014-07-31 Audi Ag A method of assisting in driving a motor vehicle
DE102010009620B4 (en) 2010-02-27 2019-09-12 Volkswagen Ag Method and device for detecting at least one obstacle in a vehicle environment
DE102010009620A1 (en) 2010-02-27 2011-09-01 Volkswagen Ag Method for detecting obstacle in car surroundings, involves detecting image by monocular image capture system, comparing intensity difference with predetermined threshold, and detecting obstacle when difference is larger than threshold
DE102015115012A1 (en) * 2015-09-08 2017-03-09 Connaught Electronics Ltd. Method for generating an environment map of an environment of a motor vehicle based on an image of a camera, driver assistance system and motor vehicle
EP3428682A1 (en) * 2017-07-11 2019-01-16 Valeo Schalter und Sensoren GmbH Method for detecting an obstacle in the vicinity of a motor vehicle, evaluation unit, driver assistance system and motor vehicle
DE102017115475A1 (en) * 2017-07-11 2019-01-17 Valeo Schalter Und Sensoren Gmbh Method for detecting an obstacle in an environmental region of a motor vehicle, evaluation device, driver assistance system and motor vehicle
US20210041235A1 (en) * 2019-08-09 2021-02-11 Volkswagen Aktiengesellschaft Method and device for determining a parallax problem in sensor data of two sensors
US11719825B2 (en) * 2019-08-09 2023-08-08 Volkswagen Aktiengesellschaft Method and device for determining a parallax problem in sensor data of two sensors
DE102020200183A1 (en) * 2020-01-09 2021-07-15 Continental Automotive Gmbh Method for creating a probabilistic free space map with static and dynamic objects
US11820404B2 (en) 2020-01-09 2023-11-21 Continental Automotive Gmbh Method for creating a probabilistic free space map with static and dynamic objects
DE102021003728A1 (en) 2021-07-20 2023-01-26 Daimler Truck AG Method for operating a gated camera, control device for carrying out such a method, gated camera device with such a control device and motor vehicle with such a gated camera device
DE102021003728B4 (en) 2021-07-20 2023-04-20 Daimler Truck AG Method for operating a gated camera, control device for carrying out such a method, gated camera device with such a control device and motor vehicle with such a gated camera device

Also Published As

Publication number Publication date
EP2021975A1 (en) 2009-02-11
DE112007000332A5 (en) 2008-11-13
WO2007131470A1 (en) 2007-11-22

Similar Documents

Publication Publication Date Title
DE102006060893A1 (en) Device and method for determining a free space in front of a vehicle
EP1928687B1 (en) Method and driver assistance system for sensor-based driving off control of a motor vehicle
EP3187383B1 (en) Method and device for remotely actuating an actuator of a vehicle
DE102009009815A1 (en) Method and device for detecting parking spaces
EP2879116B1 (en) Method and device for detecting whether a vehicle can drive through
DE102016122296A1 (en) Method for detecting and classifying an object by means of at least one sensor device based on an occupancy map, driver assistance system and motor vehicle
EP3818466B1 (en) Quick identification of dangerous or endangered objects in the surroundings of a vehicle
DE102015116542A1 (en) Method for determining a parking area for parking a motor vehicle, driver assistance system and motor vehicle
DE102018217746A1 (en) Method for operating a driver assistance system of a motor vehicle and motor vehicle
DE102013012930A1 (en) Method for determining a current distance and / or a current speed of a target object from a reference point in a camera image, camera system and motor vehicle
EP3173817A1 (en) Method for detecting and locating a garage and motor vehicle
WO2017045802A1 (en) Device and method for start assistance for a motor vehicle
DE102017120765A1 (en) Method for characterizing a parking space bounded by two objects for a motor vehicle, parking assistance system and motor vehicle
DE102016012345A1 (en) Method for recognizing objects
DE102012024879A1 (en) Driver assistance system for at least partially decelerating a motor vehicle, motor vehicle and corresponding method
DE102015216352A1 (en) Method for detecting a possible collision of a vehicle with a pedestrian on the basis of high-resolution recordings
EP2163429B1 (en) Method for image-supported monitoring of a vehicle environment, especially the environment of a goods vehicle
DE102013012778A1 (en) Method for detecting a moving pedestrian on the basis of characteristic features and optical flow vectors of an image, camera system and motor vehicle
EP1944212B1 (en) Method and device for recognising potentially dangerous objects for a vehicle
DE102013022050A1 (en) Method for tracking a target vehicle, in particular a motorcycle, by means of a motor vehicle, camera system and motor vehicle
DE102018202753A1 (en) Method for determining a distance between a motor vehicle and an object
DE102016118538A1 (en) Method for classifying a traffic sign in a surrounding area of a motor vehicle, computing device, driver assistance system and motor vehicle
DE102015112389A1 (en) Method for detecting at least one object on a road in a surrounding area of a motor vehicle, camera system and motor vehicle
EP2856205A1 (en) Method and device for detecting objects
DE102017212379A1 (en) Method and system for detecting a free area within a parking lot

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
R012 Request for examination validly filed

Effective date: 20131002