DE102006060893A1 - Device and method for determining a free space in front of a vehicle - Google Patents
Device and method for determining a free space in front of a vehicle Download PDFInfo
- Publication number
- DE102006060893A1 DE102006060893A1 DE102006060893A DE102006060893A DE102006060893A1 DE 102006060893 A1 DE102006060893 A1 DE 102006060893A1 DE 102006060893 A DE102006060893 A DE 102006060893A DE 102006060893 A DE102006060893 A DE 102006060893A DE 102006060893 A1 DE102006060893 A1 DE 102006060893A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- vehicle
- edges
- free space
- observation area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Die Erfindung betrifft eine Vorrichtung (14) zum Bestimmen eines Freiraums vor einem Fahrzeug (10), umfassend: - einen bildgebenden Sensor (16), der ausgebildet ist, um ein Bild eines Beobachtungsbereichs (22) vor dem Fahrzeug (10) aufzunehmen; - eine Bildverarbeitungseinheit (18), die ausgebildet ist, um das aufgenommene Bild zu verarbeiten, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und - eine Mustererkennungseinheit (20), die ausgebildet ist, um als Freiraum vor dem Fahrzeug (10) denjenigen Teil des Beobachtungsbereichs (22) zu bestimmen, der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.The invention relates to a device (14) for determining a free space in front of a vehicle (10), comprising: - an imaging sensor (16) which is designed to record an image of an observation area (22) in front of the vehicle (10); an image processing unit (18) arranged to process the captured image to obtain a processing image in which image edges in the image are marked; and - a pattern recognition unit (20), which is designed to determine as free space in front of the vehicle (10) that part of the observation area (22) which corresponds to an image edge-free area of the processing image starting from a lower image edge of the image.
Description
Die Erfindung betrifft eine Vorrichtung zum Bestimmen eines Freiraums vor einem Fahrzeug gemäß Anspruch 1 und ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug gemäß Anspruch 15.The The invention relates to a device for determining a free space in front of a vehicle according to claim 1 and a method for determining a clearance in front of a vehicle according to claim 15th
Zukünftige Fahrerassistenzsysteme für Stop&Go-Unterstützung und Systeme zum führerlosen Betreiben von Transport-Fahrzeugen wie beispielsweise U-Bahnen, Züge oder Schwebebahnen werden ein vollautomatisches Wiederanfahren realisieren. Dazu muss der Anfahrtsraum direkt vor dem Fahrzeug (Kraftfahrzeug, U-Bahn, Zug) von dem Wiederanfahren nach einem Stop, beispielsweise in einem Stau, ein vorausfahrendes Fahrzeug wartet vor einer Ampel oder ein Halt der U-Bahn in einer Station, überwacht werden. Für ein sicheres Wideranfahren ist es wichtig, zu erkennen, ob der Anfahrtsraum frei ist und sich in der Zwischenzeit keine Personen oder andere Objekte in den Raum vor dem Fahrzeug hineinbewegt haben. Dies kann zum Beispiel mit den üblichen Strahlsensoren wie Radar-, Lidar-, Ultraschall-Systemen umgesetzt werden. Auf Grund ihres Einbauorts in der Fahrzeugfront, insbesondere im Kühlergrill oder Scheinwerfer, sind aber zum Beispiel Radar- oder Lidar-Systeme nur begrenzt in der Lage, einen Raum unmittelbar vor dem Fahrzeug zu überwachen. Vorzuziehen ist daher ein hinter einer Windschutzscheibe angebrachtes Sensorsystem, zum Beispiel ein Kamerasystem, das einen sehr viel breiteren Raum vor dem Fahrzeug erfassen kann. Es sind zum Beispiel stereobasierte Kamerasysteme bekannt, die eine dreidimensionale Erkennung von Hindernissen erlauben. Der Aufwand für derartige Stereokameras ist allerdings kostenintensiv und erfordert relativ viel Bauraum im Bereich der Windschutzscheibe im Fahrzeug, da zwei Kameras in diesen Bereich angeordnet werden müssen.Future driver assistance systems for stop and go support and Systems for driverless Operating transport vehicles such as subways, trains or Suspended runways will realize a fully automatic restart. For this purpose, the approach room directly in front of the vehicle (motor vehicle, Subway, train) from the restart after a stop, for example in a traffic jam, a vehicle in front is waiting in front of a traffic light or a stop of the subway in a station, to be monitored. For a sure Going backwards it is important to realize if the approach room is free is and in the meantime no persons or other objects into the space in front of the vehicle. This can be, for example with the usual Beam sensors such as radar, lidar, ultrasound systems implemented become. Due to its location in the vehicle front, in particular in the grille However, for example, radar or lidar systems are limited in able to monitor a space immediately in front of the vehicle. Therefore, it is preferable to mount behind a windshield Sensor system, for example, a camera system that a lot can capture wider space in front of the vehicle. They are, for example stereobased camera systems known to be a three-dimensional Allow detection of obstacles. The effort for such However, stereo cameras is costly and requires relatively a lot of space in the windscreen in the vehicle, as two Cameras must be placed in this area.
Aufgabe der vorliegenden Erfindung ist es daher, eine Vorrichtung und ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug zu schaffen, welche verbesserte Eigenschaften gegenüber dem Stand der Technik haben.task The present invention is therefore an apparatus and a To provide a method for determining a clearance in front of a vehicle which have improved properties over the prior art.
Diese Aufgabe wird durch eine Vorrichtung zum Bestimmen eines Freiraums vor einem Fahrzeug mit den Merkmalen nach Anspruch 1 und ein entsprechendes Verfahren mit den Merkmalen nach Anspruch 17 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.These The object is achieved by a device for determining a free space in front of a vehicle with the features of claim 1 and a corresponding Method with the features of claim 17 solved. Further embodiments The invention will become apparent from the dependent claims.
Ein wesentlicher Gedanke der Erfindung besteht nun darin, dass mit einem einzigen bildgebenden Sensor ein Bild vor dem Fahrzeug aufgenommen wird und die Kanten darin analysiert werden, die beispielsweise durch Begrenzungslinien von Schatten oder Fahrbahnmarkierungen in dem Bild enthalten sind (Bildkanten). Durch Auswertung dieser Bildkanten, die einen Rückschluss auf Hindernisse vor dem Fahrzeug geben, kann dann der Freiraum vor dem Fahrzeug als derjenige Raum gewertet werden, der ausgehend von einem unteren Rand des Bildes einem Bildkanten-freien Bereich entspricht. Die bedeutet, dass derjenige Bereich vor dem Fahrzeug als Freiraum betrachtet wird, in dem keine Bildkanten-verursachtenden Objekte enthalten sind. Diese Bewertung des Freiraumes vor dem Fahrzeug funktioniert sowohl bei stehendem Fahrzeug (z.B. im Stau oder vor dem Anfahren) als auch bei fahrendem Fahrzeug und bietet daher die Möglichkeit, in nahezu allen im Straßenverkehr auftretenden Situationen ein Objekt vor dem Fahrzeug zu erkennen.One essential idea of the invention is that with a single imaging sensor a picture is taken in front of the vehicle and the edges analyzed therein, for example, by Boundary lines of shadows or lane markings in the Image are included (image edges). By evaluating these image edges, the one conclusion to give up obstacles in front of the vehicle, then can the free space in front the vehicle is to be considered as the space starting from a lower edge of the image corresponds to an image edge-free area. This means that the area in front of the vehicle as a free space is considered, in which no image edge-causing objects are included. This review of the free space in front of the vehicle works both when the vehicle is stationary (for example, in a traffic jam or before the start) and when the vehicle is moving and therefore offers the Possibility, in almost all on the road occurring situations to recognize an object in front of the vehicle.
Außerdem können auch nacheinander zwei Bilder von einem zu überwachenden Bereich vor dem Fahrzeug aufgenommen, diese beiden Bilder miteinander verglichen und die unterschiedlichen Elemente in diesen beiden Bildern durch Bewegungskanten in einem Differenzbild abgebildet werden. Hieran anschließend kann eine Mustererkennung auf diese Bewegungskanten angewendet werden, um festzustellen, ob sich in einem überwachten Bereich vor dem Fahrzeug Objekte hineinbewegen. Werden nur wenige Bewegungskanten festgestellt, so kann davon ausgegangen werden, dass sich kein Objekt vor dem Fahrzeug befindet, da durch den Eintritt dieses Objekts in den Bereich vor dem Fahrzeug in einem Zeitraum zwischen den beiden Bildern eine Bewegungskante für dieses Objekt im Differenzbild entstehen würde. Da weiterhin durch den erfindungsgemäßen Ansatz lediglich ein bildgebender Sensor verwendet wird, ist eine kostengünstigere Implementierung als beispielsweise ein Stereokamerasystem möglich. Außerdem reicht ein geringerer Bauraum zur Anordnung eines solchen Sensors im Fahrzeug aus.Besides, too two consecutive pictures of an area to be monitored in front of the vehicle taken, compared these two pictures and the different elements in these two images by moving edges be mapped in a difference image. Then afterwards pattern recognition is applied to these motion edges, to determine whether it is in a supervised area before the Move vehicle objects into it. Will only a few movement edges found, it can be assumed that no object located in front of the vehicle, due to the entry of this object in the area in front of the vehicle in a period between the two Images a moving edge for this object would arise in the difference image. Because continued by the inventive approach only an imaging sensor is used is a lower cost Implementation as for example a stereo camera system possible. In addition, enough a smaller space for the arrangement of such a sensor in the vehicle.
Die vorliegende Erfindung betrifft gemäß einer Ausführungsform eine Vorrichtung zum Bestimmen eines Freiraums vor einem Fahrzeug, umfassend:
- – einen bildgebenden Sensor, der ausgebildet ist, um ein Bild eines Beobachtungsbereichs vor dem Fahrzeug aufzunehmen;
- – eine Bildverarbeitungseinheit, die ausgebildet ist, um das aufgenommene Bild zu verarbeiten, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und
- – eine Mustererkennungseinheit, die ausgebildet ist, um als Freiraum vor dem Fahrzeug denjenigen Teil des Beobachtungsbereichs zu bestimmen, der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.
- An imaging sensor configured to capture an image of an observation area in front of the vehicle;
- An image processing unit configured to process the captured image to obtain a processing image in which image edges in the image are marked; and
- A pattern recognition unit which is designed to determine as free space in front of the vehicle that part of the observation area which corresponds to an image edge-free region of the processing image starting from a lower image edge of the image.
Bei einer weiteren Ausführungsform kann die Bildverarbeitungseinheit ausgebildet sein, um Fahrbahnmarkierungen und/oder einen Schattenverlauf zu erkennen und als Bildkante in dem Bild zu markieren. Dies bietet den Vorteil, dass hierdurch eine spezielle Anpassung an typische Fahrsituationen erfolgen kann, so dass zum Beispiel schon häufig auftretende Kantenverläufe auf der Fahrbahn in der Bildverarbeitungseinheit vorprogrammiert und somit die Auswertung erleichtert werden kann. Alternativ oder zusätzlich kann auch eine Mindestlänge von Schatten-bedingten Kanten vorgesehen sein, so dass schon vorab eine Einschätzung der Größe des entsprechenden Objekts abgeschätzt werden kann.In a further embodiment, the Image processing unit to be formed to recognize lane markers and / or a shadow profile and mark as an image edge in the image. This offers the advantage that in this way a special adaptation to typical driving situations can take place, so that, for example, already frequently occurring edge courses on the roadway in the image processing unit can be preprogrammed and thus the evaluation can be facilitated. Alternatively or additionally, a minimum length of shadow-related edges can also be provided so that an estimate of the size of the corresponding object can be estimated in advance.
Auch kann in einer Ausführungsform die Vorrichtung zum Bestimmen eines Freiraums vor dem Fahrzeug
- – den bildgebenden Sensor umfassen, der ausgebildet ist, um zu einem ersten Zeitpunkt das Bild und zu einem nach dem ersten Zeitpunkt liegenden zweiten Zeitpunkt ein zweites Bild eines Beobachtungsbereichs vor dem Fahrzeug aufzunehmen;
- – die Bildverarbeitungseinheit ausgebildet ist, um durch Bilden einer Differenz von Bilddaten des Bildes und Bilddaten des zweiten Bildes ein Differenzbild zu erhalten, welches Bewegungskanten aufweist, die durch sich unterscheidende Bildpunktwerte der Bilddaten des Bildes gegenüber den Bilddaten des zweiten Bildes definiert sind; und
- – eine Mustererkennungseinheit, die ausgebildet ist, um als Freiraum vor dem Fahrzeug denjenigen Teil des Beobachtungsbereichs zu bestimmen, der einem Bewegungskanten-freien Bereich des Differenzbildes ausgehend von einem unteren Bildrand des Differenzbildes entspricht.
- Comprise the imaging sensor, which is designed to record the image at a first point in time and to record a second image of an observation area in front of the vehicle at a second point in time lying after the first point in time;
- - the image processing unit is adapted to obtain, by taking a difference of image data of the image and image data of the second image, a difference image having motion edges defined by differing pixel values of the image data of the image versus the image data of the second image; and
- - A pattern recognition unit which is designed to determine as free space in front of the vehicle that part of the observation area corresponding to a moving edge-free area of the difference image, starting from a lower image edge of the difference image.
Dies ermöglicht nicht nur bei Einzelbildern ein Hindernis vor dem Fahrzeug zu erkennen und damit eine deutliche Flexibilisierung des Einsatzszenarios zu bieten. Insbesondere kann die Sicherheit eines fahrenden Fahrzeugs deutlich erhöht werden, wenn dieser dynamische Aspekt der Hinderniserkennung mitberücksichtigt wird.This allows not only to recognize an obstacle in front of the vehicle with individual pictures and thus a clear flexibilization of the deployment scenario Offer. In particular, the safety of a moving vehicle clearly increased when this dynamic aspect of obstacle detection is taken into account becomes.
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann die Bildverarbeitungseinheit ausgebildet sein, um einen Schwellenwert auf Bildpunktwerte des Differenzbildes anzuwenden, derart, dass in dem Differenzbild nur Bewegungskanten enthalten sind, deren Bildpunktwerte über dem Schwellenwert liegen. Dies bietet den Vorteil, dass geringfügige Störungen in dem Differenzbild bei der Mustererkennung nicht berücksichtigt werden und damit eine Mustererkennung deutlich störungsfreier arbeitet.According to one another embodiment According to the present invention, the image processing unit can be formed be a threshold on pixel values of the difference image apply such that in the difference image only motion edges are included whose pixel values are above the threshold. This offers the advantage that minor disturbances in the difference image not taken into account in the pattern recognition and thus a pattern recognition works much more trouble-free.
In einer weiteren Ausführungsform wird die Bewegungsrichtung der Kanten analysiert. Kanten, die sich in den beobachteten Bereich hineinbewegen werden stärker gewichtet als Kanten, die sich aus dem beobachteten Bereich hinausbewegen. Mit anderen Worten ausgedrückt kann die Mustererkennungseinheit ausgebildet sein, um eine Bewegungsrichtung der Kanten zu analysieren und um beim Bestimmen des Freiraums vor dem Fahrzeug diejenigen Bewegungskanten, die sich in den Beobachtungsbereich hineinbewegen stärker zu gewichten als Bewegungskanten, die sich aus dem Beobachtungsbereich hinausbewegen, wobei das stärkere Gewichten der sich in den Beobachtungsbereich hineinbewegenden Beobachtungskanten derart erfolgt, dass bezüglich dieser sich in den Bewegungsbereich hineinbewegenden Beobachtungskanten ein Sicherheitsabstand in dem zu bestimmenden Freiraum vor dem Fahrzeug vorgesehen wird. Damit wird sichergestellt, dass Objekte, die sich in den beobachteten Bereich hineinbewegen als besonders kollisionsgefährdet behandelt werden.In a further embodiment the direction of movement of the edges is analyzed. Edges that are move into the observed area are weighted more heavily as edges that move out of the observed area. In other words For example, the pattern recognition unit may be configured to have a movement direction to analyze the edges and to assist in determining the free space the vehicle those motion edges that are in the observation area move in stronger to weight as movement edges, resulting from the observation area move out, with the heavier weights the observation edge moving into the observation area such that with respect this observation edge moving into the movement area a safe distance in the space to be determined in front of the vehicle is provided. This will ensure that objects that are move into the observed area treated as particularly vulnerable to collision become.
Der bildgebende Sensor kann in einer weiteren Ausbildungsform der vorliegenden Erfindung ausgebildet sein, um das Bild und das zweite Bild während einem Stillstand des Fahrzeugs aufzunehmen. Insbesondere kurz vorm Wiederanfahren ist es wichtig, mögliche Objekte im Anfahrtsraum vor einem Fahrzeug sicher zu erkennen. Weiterhin kann durch diese Funktion der Fahrer bei einer psychologisch oftmals als monoton betrachteten Verkehrssituation zusätzlich beispielsweise visuell unterstützt werden kann. Zugleich kann die Auswertung von Bildern im stehenden Zustand des Fahrzeugs deutlich erleichtert werden, da aufgrund der in der Regel geringen Änderungen von Bild zu Bild die Bildverarbeitung weniger Ressourcen in Form von Rechenleistung beansprucht.Of the Imaging sensor can be present in a further embodiment of the present Be formed to the image and the second image during a Stop the vehicle. In particular, shortly before restarting is it important, possible To recognize objects in the approach area in front of a vehicle safely. Farther This feature allows the driver to be psychologically often In addition, for example visually considered as monotone traffic situation supports can be. At the same time, the evaluation of images in the standing Condition of the vehicle can be significantly relieved, because of the usually minor changes from image to image the image processing less resources in shape claimed by computing power.
In einer weiteren Ausführungsform der vorliegenden Erfindung kann die Mustererkennungseinheit ausgebildet sein, um ein Blockieren des Anfahrens des Fahrzeugs zu signalisieren, wenn nicht mindestens ein Freiraum von einer vordefinierten Größe vor dem Fahrzeug erkannt wurde. Hierdurch lässt sich sicherstellen, dass kein Auffahrunfall bei einem zu geringen Abstand zu einem vorausfahrenden Fahrzeug verursacht wird. Auch kann sichergestellt werden, dass kein Anfahren von Personen erfolgt, die möglicherweise während einem Warten der Fahrzeuge auf die Fahrbahn getreten und zwischen die Fahrzeuge gelaufen sind.In a further embodiment According to the present invention, the pattern recognition unit can be formed be to signal a blocking of starting the vehicle, if not at least one free space of a predefined size in front of the Vehicle was detected. This ensures that no rear-end collision if the distance to a preceding vehicle is too short is caused. Also, it can be ensured that no startup is done by persons who may while Waiting for the vehicles on the road and stepped between the vehicles have run.
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann die Mustererkennungseinheit auch ausgebildet sein, um ein Blockieren des Anfahrens des Fahrzeugs zu signalisieren, wenn ein Objekt mit einer vordefinierten Mindestgröße in einem vordefinierten Bereich vor dem Fahrzeug erkannt wurde. Dies ermöglicht, dass das Anfahren vor allem dann blockiert wird, wenn große Objekte, wie beispielsweise Personen, in dem Bereich vor dem Fahrzeug erkannt werden. Werden dagegen kleinere Objekte vor dem Fahrzeug erkannt, wie beispielsweise Müll oder Zeitungen, kann ein Anfahren des Fahrzeugs trotzdem erfolgen, ohne dass eine Gefahr für das Fahrzeug oder eine Person zu befürchten ist.According to a further embodiment of the present invention, the pattern recognition unit may also be designed to signal a blocking of the startup of the vehicle if an object having a predefined minimum size was detected in a predefined area in front of the vehicle. This allows the approach to be blocked especially when large objects, such as For example, people are detected in the area in front of the vehicle. However, if smaller objects are detected in front of the vehicle, such as garbage or newspapers, a start of the vehicle can still be done without a risk to the vehicle or a person is to be feared.
Die Mustererkennungseinheit kann gemäß einer Ausführungsform der Erfindung ausgebildet sein, eine geometrische Berechnung des Freiraums vor dem Fahrzeug aus den ermittelten Werten des Differenzbildes durchzuführen, indem der Abstand d Punktes zum bildgebenden Sensor aus der Einbauhöhe h des bildgebenden Sensors im Fahrzeug, dem Sensornickwinkel α, der Bildzeile y des Punktes, dessen Abstand bestimmt werden soll, der Pixelgröße η sowie der Brennweite f gemäß der folgenden Formel bestimmt wird: According to one embodiment of the invention, the pattern recognition unit can be designed to perform a geometric calculation of the free space in front of the vehicle from the determined values of the differential image by the distance d point to the imaging sensor from the installation height h of the imaging sensor in the vehicle, the sensor pitch angle α Image line y of the point whose distance is to be determined, the pixel size η and the focal length f is determined according to the following formula:
In einer weiteren Ausführungsform der vorliegenden Erfindung kann der bildgebende Sensor ausgebildet sein, um nach dem zweiten Zeitpunkt weitere Bilder aufzunehmen, und die Bildverarbeitungseinheit kann ferner ausgebildet sein, um das erste und zweite Bild sowie die weiteren Bilder zu speichern und um aus dem zweiten Bild und weiteren Bildern weitere Differenzbilder mit entsprechenden Bewegungskanten aufzunehmen. Hierdurch bietet sich die Möglichkeit, während dem Stillstand den Freiraum vor dem Fahrzeug kontinuierlich zu überwachen.In a further embodiment According to the present invention, the imaging sensor can be formed to take more pictures after the second time, and the image processing unit may be further configured to to save the first and second picture as well as the other pictures and from the second picture and further pictures further difference pictures to absorb with corresponding movement edges. This offers itself the possibility, while standstill to continuously monitor the space in front of the vehicle.
Auch kann die Mustererkennungseinheit gemäß einer weiteren Ausführungsform der vorliegenden Erfindung ausgebildet sein, um ein Eindringen eines Objektes in einen freizuhaltenden Raum vor einem stehenden Fahrzeug durch einen Vergleich der Bewegungskanten in unterschiedlichen Differenzbildern zu erkennen. Hierdurch kann nicht nur der statische Zustand vor dem Fahrzeug durch Auswertung eines einzigen Differenzbildes erfolgen, sondern auch eine Bewegung eines Objektes erkannt werden. Hierbei wird beispielsweise unterschieden zwischen Bewegungen in den Beobachtungsraum hinein und Bewegungen aus dem Beobachtungsraum hinaus. Eine Bewegung aus dem Beobachtungsraum hinaus, z.B. aufgrund eines anfahrenden Fahrzeugs sollte möglichst nicht das eigene Wiederanfahren blockieren. Dagegen kann eine Bewegung in den Beobachtungsraum hinein als Kollisionsrelevant eingestuft werden und beispielsweise infolgedessen ein automatisches Wiederanfahren blockiert werden. Die Mustererkennungseinheit kann realisiert werden, indem spaltenweise die Kantenpixel zu einem Profil aufintegriert werden. Werden in diesem Profil Peaks erkannt die oberhalb eines gewissen Schwellwertes liegen, so wird zum Beispiel ein Flag gesetzt und damit signalisiert, dass sich etwas in den Beobachtungsbereich bewegt hatAlso may be the pattern recognition unit according to another embodiment be formed of the present invention to prevent penetration of a Object in a space to be kept in front of a stationary vehicle by a comparison of the movement edges in different difference pictures to recognize. This not only allows the static state before the vehicle by evaluating a single difference image, but also a movement of an object can be detected. in this connection For example, a distinction is made between movements in the observation room into and out of the observation room. A movement out of the observation room, e.g. due to an arriving Vehicle should be as possible do not block your own restart. In contrast, a movement into the observation room classified as relevant for collision and, for example, as a result, an automatic restart be blocked. The pattern recognition unit can be realized by integrating the edge pixels into a profile in columns become. Are in this profile detected peaks above one certain threshold, so for example, a flag is set and thus signaling that something is in the observation area has moved
In einer weiteren Ausführungsform kann die Mustererkennungseinheit ausgebildet sein, um aus einer Mehrzahl von Differenzbildern eine Bewegung eines in den freizuhaltenden Raum vor dem Fahrzeug eindringenden Objektes in diesem freizuhaltenden Raum nach zu verfolgen. Dies bietet die Möglichkeit abzuschätzen, ob das Objekt in Kürze den Bereich vor dem Fahrzeug verlassen wird, so dass bereits vorbereitende Maßnahmen zum Wiederanfahren getroffen werden können.In a further embodiment For example, the pattern recognition unit may be designed to be composed of a Plurality of difference images a movement of one to be kept in the Space in front of the vehicle penetrating object in this to be kept Space to track. This provides the opportunity to estimate whether the object soon leave the area in front of the vehicle, so that already preparatory activities can be taken to restart.
In einer weiteren Ausführungsform der vorliegenden Erfindung kann der bildgebende Sensor eine Kamera sein. Dies ermöglicht neben der Verwendung eines Ultraschall-Sensors, eines Radar-Sensors oder eines Lidar-Sensors eine kostengünstige Implementierung der Erfindung. Das Bild einer Kamera kann zudem für weitere Funktionen des Fahrerassistenzsystems verwendet werden.In a further embodiment In the present invention, the imaging sensor may be a camera be. this makes possible besides the use of an ultrasonic sensor, a radar sensor or a lidar sensor is a cost effective implementation of the Invention. The image of a camera can also be used for other functions of the driver assistance system be used.
Weiterhin kann in einer Ausführungsform der vorliegenden Erfindung die Vorrichtung einen weiteren bildgebenden Sensor aufweisen und die Mustererkennungseinheit ausgebildet sein, um die Bilddaten des ersten oder zweiten Bildes mit Bilddaten des weiteren bildgebenden Sensors auf Plausibilität zu überprüfen. Dies stellt sicher, dass ein Fehler in dem bildgebenden Sensor einfach und schnell erkannt werden kann und eine Gefährdung von Sachwerten oder Personen aufgrund einer ungewollten Wiederanfahrt des Fahrzeugs vermieden werden kann.Farther can in one embodiment In the present invention, the device has another imaging Have sensor and the pattern recognition unit be formed, to the image data of the first or second image with image data of the other to verify the plausibility of the imaging sensor. This ensures that an error in the imaging sensor can be detected easily and quickly can and a danger of property or persons due to accidental re-entry of the vehicle can be avoided.
Auch kann in einer Ausführungsform ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug bereitgestellt sein, das folgende Schritte umfasst:
- – Aufnehmen eines Bildes eines Beobachtungsbereichs vor dem Fahrzeug;
- – Verarbeiten des aufgenommenen Bildes, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und
- – Bestimmen desjenigen Teils des Beobachtungsbereichs als Freiraum vor dem Fahrzeug, der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.
- - taking an image of an observation area in front of the vehicle;
- Processing the captured image to obtain a processing image in which image edges in the image are marked; and
- - Determining that part of the observation area as a free space in front of the vehicle, which corresponds to a picture edge-free area of the processing image from a lower edge of the image.
In einer weiteren Ausführungsform der vorliegenden Erfindung kann ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug vorgesehen sein, das die folgenden Schritte aufweist:
- – Aufnehmen eines ersten Bildes eines Beobachtungsbereichs vor dem Fahrzeug zu einem ersten Zeitpunkt und eines zweiten Bildes des Beobachtungsbereichs vor dem Fahrzeug zu einem nach dem ersten Zeitpunkt liegenden zweiten Zeitpunkt durch einen bildgebenden Sensor;
- – Bilden einer Differenz von Bilddaten des ersten Bildes und Bilddaten des zweiten Bildes, um ein Differenzbild zu erhalten, welches Bewegungskanten aufweist, die durch sich unterscheidende Bildpunktwerte der Bilddaten des ersten Bildes gegenüber den Bilddaten des zweiten Bildes definiert sind; und
- – Bestimmen desjenigen Teils des Beobachtungsbereichs als Freiraum vor dem Fahrzeug, der einem Bewegungskanten-freien Bereich des Differenzbildes ausgehend von einem unteren Bildrand des Differenzbildes entspricht. Dieses Bestimmen kann beispielsweise dadurch erfolgen, dass ein Setzen eines Flags ausgeführt wird, wenn die Musterekennungseinheit Kantenbewegungen in den Beobachtungsbereich hinein detektiert. Die Mustererkennungseinheit kann realisiert werden, indem spaltenweise die Kantenpixel zu einem Profil aufintegriert werden. Werden in diesem Profil Peaks erkannt die oberhalb eines gewissen Schwellwertes liegen, so wird das Flag gesetzt und damit signalisiert, dass sich etwas in den Beobachtungsbereich bewegt hat.
- - taking a first image of an observation area in front of the vehicle at a first time and a second image of the observation area in front of the vehicle at a second time lying after the first time by an imaging sensor;
- - forming a difference of image data of the first image and image data of the second image to obtain a difference image having motion edges defined by differing pixel values of the image data of the first image versus the image data of the second image; and
- - Determining that part of the observation area as a free space in front of the vehicle, which corresponds to a moving edge-free area of the difference image, starting from a lower edge image of the difference image. This determination can be made, for example, by the fact that a setting of a flag is carried out when the pattern recognition unit detects edge movements in the observation area. The pattern recognition unit can be realized by integrating the edge pixels into a profile in columns. If peaks are detected in this profile which are above a certain threshold value, then the flag is set and thus signaled that something has moved into the observation area.
Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit den in den Zeichnungen dargestellten Ausführungsbeispielen.Further Advantages and applications The present invention will become apparent from the following description in conjunction with the embodiments illustrated in the drawings.
In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in den Zeichnungen werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.In the description, in the claims, in the abstract and in the drawings are those in the listed below List of reference symbols used terms and associated reference numerals used.
Die Zeichnungen zeigen inThe Drawings show in
Im Folgenden können gleiche und/oder funktional gleiche Elemente mit den gleichen Bezugszeichen versehen sein. Die im Folgenden angegebenen absoluten Werte und Maßangaben sind nur beispielhafte Werte und stellen keine Einschränkung der Erfindung auf derartige Dimensionen dar.in the Following can identical and / or functionally identical elements with the same reference numerals be provided. The absolute values given below and dimensions are only exemplary values and do not represent a limitation of Invention on such dimensions.
Das
in
In
diesem Beobachtungsbereich
In
Im Folgenden wird ein beispielhaftes Verfahren beschrieben, das eine automatische Freiraumbestimmung mittels monokularer Kamera realisiert, zum Beispiel für das Wiederanfahren eines angehaltenen Fahrzeugs. Es ist vorgesehen, dass ein automatisches Wiederanfahren nur erfolgt, wenn ein Freiraum vor dem Fahrzeug so bemessen ist, dass er größer als ein vorher als ausreichend groß definierter Freiraum ist und im Sensorsystem beziehungsweise der zugehörigen Auswerteeinheit hinterlegt ist. Kann dies nicht durch ein oder mehrere Sensorsysteme (Kamera, Ultraschall, Radar, Lidar, etc.) verifiziert werden, ist ein aktiver Eingriff, zum Beispiel des Fahrzeugführers, notwendig, damit die Fahrt fortgesetzt wird.in the The following describes an exemplary method which is a automatic free space determination realized by means of monocular camera, for example for the restart of a stopped vehicle. It is intended that an automatic restart only takes place when there is a free space before the vehicle is sized so that it is larger than one before as sufficient large defined free space is and in the sensor system or the associated evaluation unit is deposited. Can not this be done by one or more sensor systems (camera, Ultrasound, radar, lidar, etc.) is an active one Intervention, for example, the driver, necessary for the Ride is continued.
Im Folgenden wird eine vorteilhaft ausgestaltete Vorrichtung und ein ebensolches Verfahren beschrieben, das den Freiraum vor einem Fahrzeug vor einer Wiederanfahrt bestimmt. Das Fahrzeug ist mit mindestens einem Sensorsystem, mit zugehöriger Auswerteeinheit und einer Speichervorrichtung ausgestattet. In der Speichervorrichtung werden ab Stillstand des Fahrzeugs Informationen über bewegte Objekte im Erfassungsbereich des Sensors beziehungsweise der Sensoren in gespeichert. Optional werden bewegte Objekte während des Stillstands nachverfolgt, um weitere Informationen zum Beispiel über die Relativgeschwindigkeit zu erhalten oder ein wahrscheinliches Verhalten des Objektes vorherzusagen (Querbewegung, Objekt bewegt sich auf das Fahrzeug zu oder vom Fahrzeug weg).in the Below is an advantageously configured device and a just described a method that the space in front of a vehicle determined before a return. The vehicle is with at least a sensor system, with associated evaluation unit and a storage device. In the storage device When the vehicle is at a standstill, information about moving objects is displayed in the detection range of the sensor or sensors in saved. Optionally, moving objects are tracked during standstill, for more information about, for example, the relative speed or predict a probable behavior of the object (Transverse movement, object moves to the vehicle to or from the vehicle path).
Kommen mehrere Sensorsysteme zum Einsatz, so werden ihre Daten zur Plausibilisierung des Ergebnisses zusammengeführt (Sensordatenfusion). Möglich ist auch eine Beschränkung auf Objekte, die sich auf der Fahrbahn oder in einem zuvor definierten relevanten Bereich befinden. Das Verfahren selektiert also Objekte, die nach dem Stillstand in den Freiraum vor dem Fahrzeug eintreten. Vor einer Wiederanfahrt wird geprüft, ob sich diese Objekte noch vor dem Fahrzeug befinden oder diesen Bereich bereits wieder verlassen haben. Ein Kriterium, ob ein aktiver Eingriff, z.B. des Fahrzeugsführers, zur Fortsetzung der Fahrt vorgesehen ist oder auch eine automatische Wiederanfahrt erfolgt, wird in Abhängigkeit davon getroffen, dass sich eines der vorher beschriebenen selektierten Objekte noch in dem vorgegebenen Freiraum aufhält. Weitere Kriterien können z.B. die Objekteigenschaften (Größe, Relativgeschwindigkeit, Mensch, Gegenstand, Fahrzeug etc.) sein.Come Several sensor systems are used, so their data for plausibility of the result (Sensor data fusion). Possible is also a limitation on objects that are on the road or in a previously defined relevant Area are located. The method thus selects objects that are after stand still in the space in front of the vehicle. In front of you Restart is checked whether these objects are still in front of the vehicle or this Have already left the area. A criterion of whether an active intervention, e.g. the driver of the vehicle, is intended to continue the journey or an automatic Restart is done, depending on that one of the previously described selected objects still in stops the given free space. Other criteria can be e.g. the object properties (size, relative speed, Human, object, vehicle etc.).
Das vorstehend beschriebene Verfahren ist unter anderem für einen Kamerasensor geeignet. Unter der Annahme, dass eine leere Fahrspur keine starken Kanten enthält, werden die Kanten in den Bilddaten extrahiert. Sich in das Bild bewegende "erhabene" Objekte bilden Schattenkanten und heben sich über ihren Kontrast von der Fahrbahn ab. Ein Verfahren zur Erkennung von bewegten Objekten mit einer Kamera könnte etwa wie folgt ablaufen:
- 1. Es wird ein Differenzbild aus zwei aufeinander folgenden Bildern berechnet. Es entsteht ein Bild mit Bewegungskanten.
- 2. Es wird ein Schwellenwert auf das Differenzbild angewendet, so dass nur starke Bewegungskanten verbleiben.
- 3. Alle Bewegungskanten werden während des Stillstands gespeichert.
- 4. Vor einer Wiederanfahrt wird der Freiraum berechnet, zum Beispiel werden ausgehend vom unteren Bildrand die nächsten gespeicherten Bewegungskanten bestimmt. Die entstehende Kontur begrenzt den Freiraum.
- 1. A difference image is calculated from two successive images. The result is a picture with moving edges.
- 2. A threshold value is applied to the difference image, so that only strong Bewegungsungskan remain.
- 3. All motion edges are stored during standstill.
- 4. Before a restart, the free space is calculated, for example, starting from the lower edge of the image, the next stored movement edges are determined. The resulting contour limits the free space.
Alternativ
kann das Verfahren gemäß einem Ausführungsbeispiel
auch folgendermaßen
ablaufen, wie es in
- 1. Es wird ein Differenzbild aus zwei aufeinander folgenden Bildern T1 und T1 + dt berechnet. Es entsteht ein (Differenz-)Bild mit Bewegungskanten.
- 2. Es wird ein Schwellenwert auf das Differenzbild angewendet, so dass nur starke Bewegungskanten verbleiben.
- 3. Die Bewegungskanten werden spaltenweise aufintegriert, so dass ein Kantenprofil entsteht.
- 4. Überschreitet das Profil einen Schwellwert wird ein Freiraum-Flag gesetzt, das eine Bewegung in den Freiraum anzeigt
- 5. Vor einer Wiederanfahrt wird das Freiraum-Flag abgefragt. Beispielsweise kann das Wiederanfahren blockiert werden, wenn das Freiraum-Flag gesetzt ist und das Wiederanfahren erst dann freigegeben werden, wenn sichergestellt ist, dass sich kein Objekt mehr vor dem Fahrzeug befindet. Dies kann durch ein Rücksetzen des Flags erfolgen, wenn sich das Objekt aus dem Beobachtungsbereich hinausbewegt und durch eine Auswertung diese sich aus dem Beobachtungsbereich hinausbewegenden Bewegungskanten ein Löschen des Flags bewirken.
- 1. A difference image is calculated from two successive images T1 and T1 + dt. The result is a (difference) image with motion edges.
- 2. A threshold value is applied to the difference image so that only strong motion edges remain.
- 3. The movement edges are integrated on a column-by-column basis so that an edge profile is created.
- 4. If the profile exceeds a threshold, a free space flag is set that indicates movement into the free space
- 5. Before a restart, the free space flag is queried. For example, restarting may be blocked if the clearance flag is set and restarting is not enabled until it is certain that there is no object in front of the vehicle. This can be done by resetting the flag when the object moves out of the observation area and causes an erasure of the flag by evaluating this movement edge moving out of the observation area.
Weiterhin werden auch beim Analysieren des Differenzbildes statische Bildkanten wie z.B. die Fahrbahnmarkierungen herausgefiltert, da diese in beiden Bildern auftreten. Somit kann der Focus lediglich auf die „sich bewegenden" Bildkanten gerichtet werden, was die Bildverarbeitung deutlich erleichtert.Farther also become static image edges when analyzing the difference image such as. the lane markings filtered out, as these in both Images occur. Thus, the focus can only be directed to the "moving" image edges, which makes the image processing much easier.
- 1010
- Fahrzeugvehicle
- 1212
- Lastwagentruck
- 1414
- Vorrichtung zum Bestimmen eines Freiraums vor einemcontraption for determining a free space in front of a
- Fahrzeugvehicle
- 1616
- bildgebender Sensor, Kameraimaging Sensor, camera
- 1818
- BildverarbeitungseinheitImage processing unit
- 2020
- MustererkennungseinheitPattern recognition unit
- 2222
- Beobachtungsbereichobservation area
- 2424
- Objektobject
- 3030
- als Freiraum erkennbarer Bereichwhen Free space recognizable area
Claims (17)
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102006060893A DE102006060893A1 (en) | 2006-05-12 | 2006-12-22 | Device and method for determining a free space in front of a vehicle |
EP07722345A EP2021975A1 (en) | 2006-05-12 | 2007-05-03 | Device and method for the determination of the clearance in front of a vehicle |
PCT/DE2007/000788 WO2007131470A1 (en) | 2006-05-12 | 2007-05-03 | Device and method for the determination of the clearance in front of a vehicle |
DE112007000332T DE112007000332A5 (en) | 2006-05-12 | 2007-05-03 | Device and method for determining a free space in front of a vehicle |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102006022739 | 2006-05-12 | ||
DE102006022739.5 | 2006-05-12 | ||
DE102006060893A DE102006060893A1 (en) | 2006-05-12 | 2006-12-22 | Device and method for determining a free space in front of a vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102006060893A1 true DE102006060893A1 (en) | 2007-11-15 |
Family
ID=38331149
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102006060893A Pending DE102006060893A1 (en) | 2006-05-12 | 2006-12-22 | Device and method for determining a free space in front of a vehicle |
DE112007000332T Pending DE112007000332A5 (en) | 2006-05-12 | 2007-05-03 | Device and method for determining a free space in front of a vehicle |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE112007000332T Pending DE112007000332A5 (en) | 2006-05-12 | 2007-05-03 | Device and method for determining a free space in front of a vehicle |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2021975A1 (en) |
DE (2) | DE102006060893A1 (en) |
WO (1) | WO2007131470A1 (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007039377A1 (en) * | 2007-08-21 | 2009-02-26 | Audi Ag | Method for automatic longitudinal guidance of a motor vehicle by means of a longitudinal driver assistance system with Stop & Go function |
DE102009058488A1 (en) * | 2009-12-16 | 2011-06-22 | Audi Ag, 85057 | A method of assisting in driving a motor vehicle |
DE102010009620A1 (en) | 2010-02-27 | 2011-09-01 | Volkswagen Ag | Method for detecting obstacle in car surroundings, involves detecting image by monocular image capture system, comparing intensity difference with predetermined threshold, and detecting obstacle when difference is larger than threshold |
US8421859B2 (en) | 2008-04-24 | 2013-04-16 | GM Global Technology Operations LLC | Clear path detection using a hierachical approach |
US8634593B2 (en) | 2008-04-24 | 2014-01-21 | GM Global Technology Operations LLC | Pixel-based texture-less clear path detection |
US8917904B2 (en) | 2008-04-24 | 2014-12-23 | GM Global Technology Operations LLC | Vehicle clear path detection |
DE102015115012A1 (en) * | 2015-09-08 | 2017-03-09 | Connaught Electronics Ltd. | Method for generating an environment map of an environment of a motor vehicle based on an image of a camera, driver assistance system and motor vehicle |
US9852357B2 (en) | 2008-04-24 | 2017-12-26 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
EP3428682A1 (en) * | 2017-07-11 | 2019-01-16 | Valeo Schalter und Sensoren GmbH | Method for detecting an obstacle in the vicinity of a motor vehicle, evaluation unit, driver assistance system and motor vehicle |
US20210041235A1 (en) * | 2019-08-09 | 2021-02-11 | Volkswagen Aktiengesellschaft | Method and device for determining a parallax problem in sensor data of two sensors |
DE102020200183A1 (en) * | 2020-01-09 | 2021-07-15 | Continental Automotive Gmbh | Method for creating a probabilistic free space map with static and dynamic objects |
DE102021003728A1 (en) | 2021-07-20 | 2023-01-26 | Daimler Truck AG | Method for operating a gated camera, control device for carrying out such a method, gated camera device with such a control device and motor vehicle with such a gated camera device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5555312A (en) * | 1993-06-25 | 1996-09-10 | Fujitsu Limited | Automobile apparatus for road lane and vehicle ahead detection and ranging |
US20020159616A1 (en) * | 1999-09-29 | 2002-10-31 | Akihiro Ohta | Image recognition apparatus and image processing apparatus |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2674354A1 (en) * | 1991-03-22 | 1992-09-25 | Thomson Csf | Method of analysing sequences of road images, device for implementing it and its application to obstacle detection |
US6163022A (en) * | 1997-05-20 | 2000-12-19 | Matsushita Electric Industrial Co., Ltd. | Imaging apparatus, distance measurement apparatus and method for measuring distance |
WO1999053430A1 (en) * | 1998-04-13 | 1999-10-21 | Eyematic Interfaces, Inc. | Vision architecture to describe features of persons |
DE19936585A1 (en) * | 1999-08-03 | 2001-02-15 | Foerderung Angewandter Informa | Method and device for detecting cyclists moving towards it has an exposure unit, an analyzer and a signaling unit interconnected via wires with the exposure unit taking sequences of pictures for a surrounding scene for evaluation. |
JP2001357484A (en) * | 2000-06-14 | 2001-12-26 | Kddi Corp | Road abnormality detector |
US20060088188A1 (en) * | 2004-10-11 | 2006-04-27 | Alexander Ioffe | Method for the detection of an obstacle |
-
2006
- 2006-12-22 DE DE102006060893A patent/DE102006060893A1/en active Pending
-
2007
- 2007-05-03 DE DE112007000332T patent/DE112007000332A5/en active Pending
- 2007-05-03 WO PCT/DE2007/000788 patent/WO2007131470A1/en active Application Filing
- 2007-05-03 EP EP07722345A patent/EP2021975A1/en not_active Ceased
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5555312A (en) * | 1993-06-25 | 1996-09-10 | Fujitsu Limited | Automobile apparatus for road lane and vehicle ahead detection and ranging |
US20020159616A1 (en) * | 1999-09-29 | 2002-10-31 | Akihiro Ohta | Image recognition apparatus and image processing apparatus |
Non-Patent Citations (4)
Title |
---|
BERTOZZI,M.,BROGGI,A.:Vision-Based Vehicle Guidance.In:IEEE Computer (30, No.7, 1997,S.49-55; * |
BROGGI,A.,et.al.:Visual Perception of Obstacles and Vehicles for Platooning.In:IEEE Transactions on Intelligent Transportation Systems, Vol.1,No.3.,Sept.2000,S.164-176; * |
CERRI,P.,GRISLERI,P.:Free Space Detection on Highways using Time Correlation between Stabilized Sub-pixel precision IPM IMAGES.In: Proceedings of the 2005 IEEE Inernational Conference on Robotics and Automation, April 2005,S.2223-2228; * |
LIU,Tie,et.al.:A Novel Approach of Road Recognition Based on Deformable Template and Genetic Algorithm.In:Intelligent Transportation Systems, 2003,Vol.2, IEEE,Vol.2,S.1251-1256; * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007039377B4 (en) * | 2007-08-21 | 2011-11-10 | Audi Ag | Method for automatic longitudinal guidance of a motor vehicle by means of a longitudinal driver assistance system with Stop & Go function |
DE102007039377A1 (en) * | 2007-08-21 | 2009-02-26 | Audi Ag | Method for automatic longitudinal guidance of a motor vehicle by means of a longitudinal driver assistance system with Stop & Go function |
US8634593B2 (en) | 2008-04-24 | 2014-01-21 | GM Global Technology Operations LLC | Pixel-based texture-less clear path detection |
US9852357B2 (en) | 2008-04-24 | 2017-12-26 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
US8917904B2 (en) | 2008-04-24 | 2014-12-23 | GM Global Technology Operations LLC | Vehicle clear path detection |
US8421859B2 (en) | 2008-04-24 | 2013-04-16 | GM Global Technology Operations LLC | Clear path detection using a hierachical approach |
EP2339375A3 (en) * | 2009-12-16 | 2013-06-05 | Audi AG | Method for supporting a driver of a motor vehicle |
DE102009058488A1 (en) * | 2009-12-16 | 2011-06-22 | Audi Ag, 85057 | A method of assisting in driving a motor vehicle |
DE102009058488B4 (en) * | 2009-12-16 | 2014-07-31 | Audi Ag | A method of assisting in driving a motor vehicle |
DE102010009620B4 (en) | 2010-02-27 | 2019-09-12 | Volkswagen Ag | Method and device for detecting at least one obstacle in a vehicle environment |
DE102010009620A1 (en) | 2010-02-27 | 2011-09-01 | Volkswagen Ag | Method for detecting obstacle in car surroundings, involves detecting image by monocular image capture system, comparing intensity difference with predetermined threshold, and detecting obstacle when difference is larger than threshold |
DE102015115012A1 (en) * | 2015-09-08 | 2017-03-09 | Connaught Electronics Ltd. | Method for generating an environment map of an environment of a motor vehicle based on an image of a camera, driver assistance system and motor vehicle |
EP3428682A1 (en) * | 2017-07-11 | 2019-01-16 | Valeo Schalter und Sensoren GmbH | Method for detecting an obstacle in the vicinity of a motor vehicle, evaluation unit, driver assistance system and motor vehicle |
DE102017115475A1 (en) * | 2017-07-11 | 2019-01-17 | Valeo Schalter Und Sensoren Gmbh | Method for detecting an obstacle in an environmental region of a motor vehicle, evaluation device, driver assistance system and motor vehicle |
US20210041235A1 (en) * | 2019-08-09 | 2021-02-11 | Volkswagen Aktiengesellschaft | Method and device for determining a parallax problem in sensor data of two sensors |
US11719825B2 (en) * | 2019-08-09 | 2023-08-08 | Volkswagen Aktiengesellschaft | Method and device for determining a parallax problem in sensor data of two sensors |
DE102020200183A1 (en) * | 2020-01-09 | 2021-07-15 | Continental Automotive Gmbh | Method for creating a probabilistic free space map with static and dynamic objects |
US11820404B2 (en) | 2020-01-09 | 2023-11-21 | Continental Automotive Gmbh | Method for creating a probabilistic free space map with static and dynamic objects |
DE102021003728A1 (en) | 2021-07-20 | 2023-01-26 | Daimler Truck AG | Method for operating a gated camera, control device for carrying out such a method, gated camera device with such a control device and motor vehicle with such a gated camera device |
DE102021003728B4 (en) | 2021-07-20 | 2023-04-20 | Daimler Truck AG | Method for operating a gated camera, control device for carrying out such a method, gated camera device with such a control device and motor vehicle with such a gated camera device |
Also Published As
Publication number | Publication date |
---|---|
EP2021975A1 (en) | 2009-02-11 |
DE112007000332A5 (en) | 2008-11-13 |
WO2007131470A1 (en) | 2007-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102006060893A1 (en) | Device and method for determining a free space in front of a vehicle | |
EP1928687B1 (en) | Method and driver assistance system for sensor-based driving off control of a motor vehicle | |
EP3187383B1 (en) | Method and device for remotely actuating an actuator of a vehicle | |
DE102009009815A1 (en) | Method and device for detecting parking spaces | |
EP2879116B1 (en) | Method and device for detecting whether a vehicle can drive through | |
DE102016122296A1 (en) | Method for detecting and classifying an object by means of at least one sensor device based on an occupancy map, driver assistance system and motor vehicle | |
EP3818466B1 (en) | Quick identification of dangerous or endangered objects in the surroundings of a vehicle | |
DE102015116542A1 (en) | Method for determining a parking area for parking a motor vehicle, driver assistance system and motor vehicle | |
DE102018217746A1 (en) | Method for operating a driver assistance system of a motor vehicle and motor vehicle | |
DE102013012930A1 (en) | Method for determining a current distance and / or a current speed of a target object from a reference point in a camera image, camera system and motor vehicle | |
EP3173817A1 (en) | Method for detecting and locating a garage and motor vehicle | |
WO2017045802A1 (en) | Device and method for start assistance for a motor vehicle | |
DE102017120765A1 (en) | Method for characterizing a parking space bounded by two objects for a motor vehicle, parking assistance system and motor vehicle | |
DE102016012345A1 (en) | Method for recognizing objects | |
DE102012024879A1 (en) | Driver assistance system for at least partially decelerating a motor vehicle, motor vehicle and corresponding method | |
DE102015216352A1 (en) | Method for detecting a possible collision of a vehicle with a pedestrian on the basis of high-resolution recordings | |
EP2163429B1 (en) | Method for image-supported monitoring of a vehicle environment, especially the environment of a goods vehicle | |
DE102013012778A1 (en) | Method for detecting a moving pedestrian on the basis of characteristic features and optical flow vectors of an image, camera system and motor vehicle | |
EP1944212B1 (en) | Method and device for recognising potentially dangerous objects for a vehicle | |
DE102013022050A1 (en) | Method for tracking a target vehicle, in particular a motorcycle, by means of a motor vehicle, camera system and motor vehicle | |
DE102018202753A1 (en) | Method for determining a distance between a motor vehicle and an object | |
DE102016118538A1 (en) | Method for classifying a traffic sign in a surrounding area of a motor vehicle, computing device, driver assistance system and motor vehicle | |
DE102015112389A1 (en) | Method for detecting at least one object on a road in a surrounding area of a motor vehicle, camera system and motor vehicle | |
EP2856205A1 (en) | Method and device for detecting objects | |
DE102017212379A1 (en) | Method and system for detecting a free area within a parking lot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OM8 | Search report available as to paragraph 43 lit. 1 sentence 1 patent law | ||
R012 | Request for examination validly filed |
Effective date: 20131002 |