DE102010045511A1 - Method and device for detecting lane markings in an image - Google Patents

Method and device for detecting lane markings in an image Download PDF

Info

Publication number
DE102010045511A1
DE102010045511A1 DE102010045511A DE102010045511A DE102010045511A1 DE 102010045511 A1 DE102010045511 A1 DE 102010045511A1 DE 102010045511 A DE102010045511 A DE 102010045511A DE 102010045511 A DE102010045511 A DE 102010045511A DE 102010045511 A1 DE102010045511 A1 DE 102010045511A1
Authority
DE
Germany
Prior art keywords
image
lane
shadow
vehicle
lane markings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102010045511A
Other languages
German (de)
Inventor
Dr.-Ing. Grimm Michael
Dipl.-Ing. Keppler Martin
Dipl.-Inform. Mehren Dirk
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102010045511A priority Critical patent/DE102010045511A1/en
Priority to PCT/EP2011/004249 priority patent/WO2012034637A1/en
Publication of DE102010045511A1 publication Critical patent/DE102010045511A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Detektion von Fahrbahnmarkierungen (FM1, FM2) in einem Bild (B), wobei eine Umgebung eines Fahrzeugs (1) in zumindest einem Bild (B) erfasst wird, wobei Fahrbahnmarkierungen (FM1, FM2) in dem Bild (B) detektiert werden und aus den Fahrbahnmarkierungen (FM1, FM2) ein Fahrspurverlauf ermittelt wird, wobei bei der Detektion der Fahrbahnmarkierungen (FM1, FM2) im Bild (B) vorhandene Schattenbereiche (S1, S2) berücksichtigt werden. Erfindungsgemäß wird eine Lichteinfallsrichtung (R) ermittelt und anhand der Lichteinfallsrichtung (R) wird eine Wahrscheinlichkeit ermittelt, ob im Bild (B) ein einer Fahrbahnmarkierung (FM1, FM2) ähnlicher Schattenbereich (S1, S2) und/oder eine einer Fahrbahnmarkierung (FM1, FM2) ähnliche Schattenlücke (SL) aus einem aufgrund eines Lichtscheins (L) einer Lichtquelle mit der ermittelten Lichteinfallsrichtung (R) erzeugten Schattenwurf eines oder mehrerer Objekte (O1, O2) in der Umgebung des Fahrzeugs (1) resultieren, wobei eine Plausibilisierung von als potenzielle Fahrbahnmarkierungen in dem Bild (B) erkannten Strukturen durchgeführt wird und wobei in Abhängigkeit der Größe der Wahrscheinlichkeit als Schattenbereich (S1, S2) und/oder Schattenlücke (SL) identifizierte potenzielle Fahrbahnmarkierungen bei der Ermittlung des Fahrspurverlaufs verworfen werden. Die Erfindung betrifft weiterhin eine Vorrichtung (2) zur Detektion von Fahrbahnmarkierungen (FM1, FM2) in einem Bild (B).The invention relates to a method for the detection of lane markings (FM1, FM2) in an image (B), the surroundings of a vehicle (1) being recorded in at least one image (B), lane markings (FM1, FM2) in the image ( B) are detected and a lane course is determined from the lane markings (FM1, FM2), shadow areas (S1, S2) present in the image (B) being taken into account when the lane markings (FM1, FM2) are detected. According to the invention, a direction of incidence of light (R) is determined and, on the basis of the direction of incidence of light (R), a probability is determined whether in the image (B) a shadow area (S1, S2) similar to a lane marking (FM1, FM2) and / or a lane marking (FM1, FM2) similar shadow gap (SL) results from a shadow cast by one or more objects (O1, O2) in the vicinity of the vehicle (1) due to a light (L) from a light source with the determined direction of incidence of light (R), with a plausibility check of as potential lane markings in the image (B) recognized structures is carried out and depending on the size of the probability as a shadow area (S1, S2) and / or shadow gap (SL) identified potential lane markings are discarded when determining the course of the lane. The invention further relates to a device (2) for the detection of road markings (FM1, FM2) in an image (B).

Description

Die Erfindung betrifft ein Verfahren zur Detektion von Fahrbahnmarkierungen in einem Bild, wobei eine Umgebung eines Fahrzeugs in zumindest einem Bild erfasst wird, wobei Fahrbahnmarkierungen in dem Bild detektiert werden und aus den Fahrbahnmarkierungen ein Fahrspurverlauf ermittelt wird, wobei bei der Detektion der Fahrbahnmarkierungen im Bild vorhandene Schattenbereiche berücksichtigt werden.The invention relates to a method for detecting lane markings in an image, wherein an environment of a vehicle is detected in at least one image, wherein lane markings are detected in the image and from the lane markings a lane course is determined, wherein upon detection of the lane markings in the image existing Shadow areas are taken into account.

Die Erfindung betrifft weiterhin eine Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild, umfassend zumindest eine Bilderfassungseinheit zur Erfassung einer Umgebung eines Fahrzeugs in zumindest einem Bild, umfassend eine Auswerteeinheit zur Detektion der Fahrbahnmarkierungen in dem Bild, zur Ermittlung eines Fahrspurverlaufs aus den Fahrbahnmarkierungen und zur Berücksichtigung von im Bild vorhandenen Schattenbereichen bei der Detektion der Fahrbahnmarkierungen.The invention further relates to a device for detecting lane markings in an image, comprising at least one image capture unit for detecting an environment of a vehicle in at least one image, comprising an evaluation unit for detecting the lane markings in the image, for determining a lane course from the lane markings and for consideration of existing in the image shadow areas in the detection of the lane markings.

Aus der US 2010/0041714 A1 sind ein Verfahren und eine Vorrichtung zur Detektion von Fahrbahnmarkierungen auf einer Fahrbahn, auf welcher sich ein Fahrzeug bewegt, bekannt. Mittels einer am Fahrzeug angeordneten Bilderfassungseinheit werden Bilder der Umgebung des Fahrzeugs erfasst. Die erfassten Bilder werden bezüglich einer Helligkeit normalisiert, bevor die Fahrbahnmarkierungen innerhalb der Bilder in Hauptrichtungen detektiert werden. In jeder Hauptrichtung werden in den Bildern anschließend mittels Filtern anhand einer Kantendetektion und Liniendetektion mögliche Kandidaten für Fahrbahnmarkierungen erkannt und mittels eines Transformationsverfahrens werden aus den Kandidaten die Fahrbahnmarkierungen identifiziert. Fahrbahnmarkierungen in scharfen Kurven werden von verschiedenen Schatten von Gebäuden und Bäumen als ablenkende Faktoren unterschieden.From the US 2010/0041714 A1 For example, a method and an apparatus for detecting lane markings on a roadway on which a vehicle is moving are known. By means of an image acquisition unit arranged on the vehicle, images of the surroundings of the vehicle are acquired. The captured images are normalized for brightness before the lane markers within the images are detected in main directions. In each main direction, possible candidates for lane markings are subsequently identified in the images by means of filters using edge detection and line detection, and the lane markings are identified from the candidates by means of a transformation process. Road markings in sharp turns are distinguished from various shadows of buildings and trees as distracting factors.

Weiterhin ist aus der US 2006/0274917 A1 ein Verfahren zur Reduzierung des optischen Einflusses von Schatten in der Verarbeitung von Bildern in einer videobasierten Verkehrserfassungsvorrichtung bekannt. In dem Verfahren wird zunächst ein Bildbereich mit einer relativ konstanten Helligkeit ermittelt. Anschließend wird dieser Bereich einem Schattenbereich zugeordnet und der optische Einfluss des Bildbereichs wird aus dem Bild entfernt. Eine Abgrenzung des Schattenbereichs von einer Umgebung erfolgt insbesondere durch Detektion von Kanten zwischen dem Schattenbereich und der Umgebung.Furthermore, from the US 2006/0274917 A1 a method for reducing the optical impact of shadows in the processing of images in a video-based traffic detection device known. In the method, first an image area with a relatively constant brightness is determined. Subsequently, this area is assigned to a shadow area and the optical influence of the image area is removed from the image. A delineation of the shadow area from an environment takes place in particular by detecting edges between the shadow area and the surroundings.

Ferner beschreibt die US 6,819,779 B1 ein Verfahren zur Detektion von Fahrbahnmarkierungen in einem elektronisch gespeicherten Bild. Das Bild wird mittels einer Bilderfassungseinheit erfasst, zeigt zumindest eine Fahrbahnmarkierung und deren Umgebung und wird als Array aus Bildpunkten gespeichert. Anhand einer Kantendetektion wird eine Liste charakteristischer Kanten erzeugt, welche das Bild formen. Aus der Liste werden gemäß vorgegebener Kriterien Paare von zu Fahrbahnmarkierungen gehörigen Kanten gefiltert. Diese Paare von Kanten werden in Listen sortiert, welche zu einzelnen Fahrbahnmarkierungen gehören. Diese einzelnen Fahrbahnmarkierungen, welche jeweils eine linke und eine rechte Grenze einer Fahrspur definieren, werden geometrisch identifiziert. Dreidimensionale Kurven werden entlang der rechten und linken Fahrspurmarkierungen gelegt, um einen Fahrspurverlauf zu formen. Zusätzlich werden zur Detektion der Fahrspurmarkierungen Schatten aus den Bildern entfernt.Furthermore, the describes US Pat. No. 6,819,779 B1 a method for detecting lane markings in an electronically stored image. The image is captured by an image capture unit, displays at least one lane marker and its surroundings, and is stored as an array of pixels. Edge detection is used to generate a list of characteristic edges that shape the image. From the list, pairs of edges belonging to lane markings are filtered according to predetermined criteria. These pairs of edges are sorted into lists that belong to individual lane markings. These individual lane markings, which respectively define a left and a right border of a lane, are identified geometrically. Three-dimensional curves are placed along the right and left lane markings to form a lane course. Additionally, shadows are removed from the images to detect the lane markers.

Die DE 103 38 764 B4 offenbart ein Verfahren zur Aktivierung eines Nachtsichtsystems in einem Fahrzeug. In einem ersten Schritt wird eine aktuelle Position des Fahrzeugs ermittelt, bevor in einem zweiten Schritt eine Position der Sonne relativ zum Fahrzeug unter Verwendung der ermittelten Positionsdaten des Fahrzeugs ermittelt wird. In einem dritten Schritt wird eine Notwendigkeit ermittelt, einen Fahrer des Fahrzeugs durch ein Verfahren zur Verbesserung der Sicht in dem Fahrzeug zu unterstützen, wobei die Notwendigkeit zur Unterstützung unter Verwendung der ermittelten Position der Sonne relativ zum Fahrzeug ermittelt wird. Die Notwendigkeit zur Verbesserung der Sicht wird daraus abgeleitet, ob sich die Sonne in Relation zum Fahrzeug über oder unter dem Horizont befindet.The DE 103 38 764 B4 discloses a method of activating a night vision system in a vehicle. In a first step, a current position of the vehicle is determined before, in a second step, a position of the sun relative to the vehicle is determined using the determined position data of the vehicle. In a third step, a need is identified to assist a driver of the vehicle by a method of improving visibility in the vehicle, determining the need for assistance using the detected position of the sun relative to the vehicle. The need to improve visibility is derived from whether the sun is above or below the horizon in relation to the vehicle.

Zusätzlich ist aus der DE 103 38 766 B4 ein Fahrzeugdatenbussystem mit einem Datenbus bekannt, wobei über den Datenbus mehrere angeschlossene Busteilnehmer in Datenübertragungsverbindung stehen. Weiterhin ist eine als Busteilnehmer ausgebildete Ortungseinheit vorgesehen, die zur Ermittlung wenigstens von Fahrzeugpositionsdaten und zum Ausgeben der ermittelten Fahrzeugpositionsdaten auf den Datenbus eingerichtet ist, wobei die Ortungseinheit eine Ortungssensorik aufweist, die wenigstens einen GPS-Empfänger umfasst. Die Ortungseinheit ist zusätzlich zur Ermittlung von Sonnenstandsdaten unter Verwendung der ermittelten Fahrzeugpositionsdaten und zum Ausgeben der ermittelten Sonnenstandsdaten auf den Datenbus eingerichtet, um aus der Richtung der Sonneneinstrahlung in das Fahrzeug abzuleiten, welche Art von Sichtbehinderung für den Fahrer durch die Sonne möglich ist. Zusätzlich ist als weiterer Busteilnehmer eine Einrichtung, welche Sonnenstandsdaten vom Datenbus empfängt, zum Ermitteln der Notwendigkeit vorgesehen, einen Fahrer des Fahrzeugs durch Aktivierung einer Anordnung zur Verbesserung der Sicht in einem Fahrzeug zu unterstützen. Die Anordnung zur Verbesserung der Sicht in einem Fahrzeug umfasst eine Kamera zum Beobachten eines Raumwinkelbereichs und eine Anzeigevorrichtung im Innenraum des Fahrzeugs zum Anzeigen der Bilder der Kamera.In addition is from the DE 103 38 766 B4 a vehicle data bus system with a data bus, wherein over the data bus several connected bus subscribers are in data transmission connection. Furthermore, a locating unit embodied as a bus subscriber is provided, which is set up for determining at least vehicle position data and for outputting the determined vehicle position data on the data bus, the locating unit having a locating sensor system comprising at least one GPS receiver. The locating unit is set up in addition to the determination of sun position data using the determined vehicle position data and outputting the ascertained sun position data on the data bus to derive from the direction of solar radiation into the vehicle, which type of visual obstruction for the driver by the sun is possible. In addition, as a further bus subscriber, means for receiving sun position data from the data bus for determining the necessity of assisting a driver of the vehicle by activating an arrangement for improving the visibility in a vehicle is provided. The arrangement for improving the visibility in a vehicle includes a camera for observing a solid angle range and a display device in the interior of the vehicle for displaying the images of the camera.

Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Detektion von Fahrbahnmarkierungen in einem Bild anzugeben. Weiterhin liegt der Erfindung die Aufgabe zugrunde, eine verbesserte Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild anzugeben.The invention has for its object to provide a comparison with the prior art improved method for detecting lane markings in a picture. Furthermore, the invention has for its object to provide an improved device for the detection of lane markings in a picture.

Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Vorrichtung durch die im Anspruch 8 angegebenen Merkmale gelöst.With regard to the method, the object is achieved by the features specified in claim 1 and in terms of the device by the features specified in claim 8.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

In einem Verfahren zur Detektion von Fahrbahnmarkierungen in einem Bild wird eine Umgebung eines Fahrzeugs in zumindest einem Bild erfasst, wobei Fahrbahnmarkierungen in dem Bild detektiert werden und aus den Fahrbahnmarkierungen ein Fahrspurverlauf ermittelt wird, wobei bei der Detektion der Fahrbahnmarkierungen im Bild vorhandene Schattenbereiche berücksichtigt werden.In a method for detecting lane markings in an image, an environment of a vehicle is detected in at least one image, wherein lane markings are detected in the image and a lane course is determined from the lane markings, wherein shadow regions present in the detection of the lane markings in the image are taken into account.

Erfindungsgemäß werden eine Lichteinfallsrichtung und anhand der Lichteinfallsrichtung eine Wahrscheinlichkeit ermittelt, ob im Bild ein einer Fahrbahnmarkierung ähnlicher Schattenbereich und/oder eine einer Fahrbahnmarkierung ähnliche Schattenlücke aus einem aufgrund eines Lichtscheins einer Lichtquelle mit der ermittelten Lichteinfallsrichtung erzeugten Schattenwurf eines oder mehrerer Objekte in der Umgebung des Fahrzeugs resultieren, wobei eine Plausibilisierung von als potenzielle Fahrbahnmarkierungen in dem Bild erkannten Strukturen durchgeführt wird und in Abhängigkeit der Größe der Wahrscheinlichkeit als Schattenbereich und/oder Schattenlücke identifizierte potenzielle Fahrbahnmarkierungen bei der Ermittlung des Fahrspurverlaufs verworfen werden.According to the invention, a light incidence direction and, based on the direction of light incidence, a probability are determined as to whether a shadow area similar to a lane marking in the image and / or a shadow gap similar to a lane marking result from a shadow cast of one or more objects in the surroundings of the vehicle due to a light beam of a light source with the detected light incidence direction result in a plausibility of structures recognized as potential lane markers in the image is performed and depending on the size of the probability identified as a shadow area and / or shadow gap potential lane markings are discarded in the determination of the lane course.

Hieraus ergibt sich als Vorteil, dass die Erkennung und Detektion von Fahrbahnmarkierungen im Bild, d. h. in der Umgebung des Fahrzeugs, verbessert ist und zuverlässig aus Schattenbereichen und/oder Schattenlücken resultierende potenzielle Fahrbahnmarkierungen von realen Fahrbahnmarkierungen unterschieden werden. Daraus resultiert in besonders vorteilhafter Weise, dass Fehlwarnungen und/oder Fehleingriffe bei einer Nutzung des Verfahrens zur Unterstützung eines Fahrers bei der Spurführung seines Fahrzeugs vermieden werden.This results in the advantage that the detection and detection of lane markings in the image, d. H. in the vicinity of the vehicle, and reliably distinguishes potential shadow markings from shadow areas and / or shadow gaps from real road markings. This results in a particularly advantageous manner that false warnings and / or incorrect interventions are avoided when using the method to assist a driver in the tracking of his vehicle.

Die Lichteinfallsrichtung wird dabei insbesondere relativ zum Fahrzeug und/oder relativ zu einer Himmelsrichtung, beispielsweise der Himmelrichtung ”Nord”, ermittelt. Der Richtungssinn der Lichteinfallsrichtung setzt sich aus einem horizontalen Winkel, d. h. dem so genannten Azimut, und einem vertikalen Winkel, d. h. der so genannten Elevation, zusammen.The direction of light incidence is determined in particular relative to the vehicle and / or relative to a cardinal direction, for example the sky direction "north". The sense of direction of the light incidence direction is made up of a horizontal angle, i. H. the so-called azimuth, and a vertical angle, d. H. the so-called elevation, together.

In einer bevorzugten Weiterbildung des erfindungsgemäßen Verfahrens wird bei der Ermittlung der Lichteinfallsrichtung ein Sonnenstand anhand einer Position des Fahrzeugs, einer Ausrichtung des Fahrzeugs relativ zu einer Himmelsrichtung, einem Kalenderdatum und/oder einer aktuellen Uhrzeit ermittelt. Diese Ermittlung zeichnet sich zum einen dadurch aus, dass sie besonders einfach und ohne großen zusätzlichen Aufwand durchführbar ist. Zum anderen ist der Sonnenstand sehr exakt ermittelbar.In a preferred embodiment of the method according to the invention, a sun position is determined on the basis of a position of the vehicle, an orientation of the vehicle relative to a cardinal direction, a calendar date and / or a current time when determining the light incident direction. This determination is characterized on the one hand by the fact that it is particularly simple and feasible without much additional effort. On the other hand, the position of the sun can be determined very precisely.

Weiterhin wird gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens überprüft, ob sich in dem Schattenbereich und/oder der Schattenlücke ein oder mehrere Fahrbahnmarkierungen befinden. In Schattenbereichen sind Fahrbahnmarkierungen aufgrund der verringerten Helligkeit und der daraus resultierenden Verringerung eines Kontrasts zwischen den Fahrbahnmarkierungen und einer Fahrbahnoberfläche schwieriger zu detektieren. Hierzu sind aufwändige Verfahren erforderlich. Aufgrund der Erfassung des Schattenbereichs und/oder der Schattenlücken ist es möglich, diese aufwändigen Verfahren lediglich in begrenzten Bereichen des Bilds, das heißt den Schattenbereichen, durchzuführen und somit den Aufwand bei der Ermittlung der Fahrbahnmarkierungen bei steigender Zuverlässigkeit zu verringern.Furthermore, it is checked according to an embodiment of the method according to the invention, whether there are one or more lane markings in the shadow area and / or the shadow gap. In shadow areas, lane markings are more difficult to detect due to the reduced brightness and consequent reduction in contrast between the lane markings and a road surface. For this complex procedures are required. Due to the detection of the shadow area and / or the shadow gaps, it is possible to carry out these complex procedures only in limited areas of the image, ie the shadow areas, and thus to reduce the effort in determining the lane markings with increasing reliability.

Um zu ermitteln, ob die Lichtquelle, insbesondere die Sonne von Wolken oder in der Umgebung des Fahrzeugs befindlichen Objekten verdeckt ist, wird vorzugsweise eine Stärke eines Lichtscheins ermittelt, welcher bei der Plausibilisierung der potenziellen Fahrbahnmarkierungen berücksichtigt wird. Somit ist die Detektion der Fahrbahnmarkierungen weiter verbessert. Insbesondere wird auch berücksichtigt, dass bei geringer Stärke des Lichtscheins der Lichtquelle weniger Schattenbereiche und/oder Schattenlücken ausgebildet sind bzw. weniger stark ausgeprägt ausgebildet sind, so dass deren Kontrast zu ungehindert beleuchteten Bereichen bzw. zum jeweiligen Schattenbereich verringert ist.In order to determine whether the light source, in particular the sun, is obscured by clouds or objects located in the surroundings of the vehicle, it is preferable to determine a luminous intensity that is taken into account in the plausibility check of the potential lane markings. Thus, the detection of the lane markings is further improved. In particular, it is also taken into account that with less intensity of the light source of the light source, fewer shadow areas and / or shadow gaps are formed or formed less pronounced, so that their contrast to unimpeded illuminated areas or to the respective shadow area is reduced.

Um weiterhin schnell und sicher zu ermitteln, ob die ermittelten potenziellen Fahrbahnmarkierungen aus einem Schattenwurf und/oder einer Schattenlücke eines oder mehrerer Objekte resultieren, wird bei der Ermittlung der potenziellen Fahrbahnmarkierungen und/oder Plausibilisierung bevorzugt eine Größe und/oder Form der Objekte und/oder ein Abstand der zumindest einen Bilderfassungseinheit zu den Objekten berücksichtigt.In order to further determine quickly and reliably whether the determined potential lane markings result from a shadow and / or a shadow gap of one or more objects, in determining the potential lane markings and / or plausibility is preferably a size and / or shape of the objects and / or a distance of the at least one image acquisition unit to the objects taken into account.

Gemäß einer zweckmäßigen Ausgestaltung des erfindungsgemäßen Verfahrens wird bei der Ermittlung der potenziellen Fahrbahnmarkierungen und/oder Plausibilisierung eine Straßenkategorie einer Straße, auf welcher sich das Fahrzeug bewegt, berücksichtigt. Somit ist es möglich, dass eine Wahrscheinlichkeit eines Vorhandenseins bestimmter Objekte, wie beispielsweise Leitplanken und/oder Leitpfosten, die bestimmte Schattenbereiche und/oder Schattenlücke erzeugen, in die Ermittlung und/oder Plausibilisierung einbezogen wird. Beispielsweise ist die Wahrscheinlichkeit für Leitplanken auf Autobahnen höher als auf Gemeindestraßen. Somit ist auch die Wahrscheinlichkeit auf Autobahnen höher als auf Gemeindestraßen, dass aufgrund eines Schattenwurfs der Leitplanke Schattenbereiche und/oder Schattenlücken als potenzielle Fahrbahnmarkierungen ermittelt werden. According to an expedient embodiment of the method according to the invention, when determining the potential lane markings and / or plausibility check, a street category of a road on which the vehicle is moving is taken into account. Thus, it is possible that a likelihood of the presence of certain objects, such as crash barriers and / or guide posts, which generate certain shadow areas and / or shadow gaps, is included in the determination and / or plausibility check. For example, the probability of guardrails on highways is higher than on local roads. Thus, the likelihood on highways is higher than on local roads, that due to a shadow of the guardrail shadow areas and / or shadow gaps are determined as potential lane markings.

Alternativ oder zusätzlich wird berücksichtigt, ob sich das Fahrzeug auf, unterhalb, oberhalb und/oder innerhalb eines oder mehrerer Bauwerke zum Führen von Verkehrswegen befindet. Diese Ausgestaltung führt wiederum zu dem Vorteil, dass eine Wahrscheinlichkeit eines Vorhandenseins bestimmter Objekte, wie beispielsweise Leitplanken und/oder Leitpfosten, in die Ermittlung und/oder Plausibilisierung einbezogen werden kann. Dabei ist eine Wahrscheinlichkeit für das Vorhandensein von Leitplanken auf Brücken besonders hoch. Dagegen ist es bei einem Durchfahren von Tunneln unwahrscheinlich oder nicht möglich, dass aufgrund von Sonnenlicht erzeugte Schattenbereiche und/oder Schattenlücken als potenzielle Fahrbahnmarkierungen erkannt werden.Alternatively or additionally, it is considered whether the vehicle is located on, below, above and / or within one or more structures for guiding traffic routes. This embodiment in turn leads to the advantage that a probability of the presence of certain objects, such as crash barriers and / or guide posts, can be included in the determination and / or plausibility check. In this case, a probability for the presence of crash barriers on bridges is particularly high. By contrast, when driving through tunnels, it is unlikely or impossible for shadow areas and / or shadow gaps created by sunlight to be recognized as potential lane markings.

In einer Weiterbildung des Verfahrens wird anhand eines Geländemodells einer digitalen Karte einer Navigationsvorrichtung und der ermittelten Lichteinfallsrichtung und/oder eines Städtemodells einer digitalen Karte einer Navigationsvorrichtung und der ermittelten Lichteinfallsrichtung ermittelt, ob sich in einer Sichtlinie zwischen einer Fahrzeugposition und der Lichtquelle Geländestrukturen, Pflanzen und/oder Bauwerke befinden, wobei die ermittelten Geländestrukturen, Pflanzen und/oder Bauwerke bei der Ermittlung der potenziellen Fahrbahnmarkierungen und/oder der Plausibilisierung berücksichtigt werden. Dadurch wird ermöglicht, dass in einfacher und schneller Weise ermittelt werden kann, ob Geländestrukturen, Pflanzen und/oder Bauwerke in der Umgebung des Fahrzeugs vorhanden sind, welche in Abhängigkeit der Lichteinfallsrichtung als Fahrbahnmarkierungen interpretierbare Schattenbereiche und/oder Schattenlücken erzeugen oder einen Bereich, in welchem sich das Fahrzeug befindet, vollständig beschatten, so dass die Wahrscheinlichkeit von derart fehlinterpretierbaren Schattenbereichen und/oder Schattenlücken sehr gering ist.In a development of the method, it is determined on the basis of a terrain model of a digital map of a navigation device and the determined light incidence direction and / or a city model of a digital map of a navigation device and the determined direction of light incidence whether terrain structures, plants and / or in a line of sight between a vehicle position and the light source or structures, taking into account the identified off-road structures, plants and / or structures in determining the potential lane markings and / or the plausibility check. This makes it possible to determine in a simple and rapid manner whether terrain structures, plants and / or structures are present in the surroundings of the vehicle, which generate interpretable shadow areas and / or shadow gaps as road markings depending on the light incident direction or an area in which the vehicle is completely shaded, so that the probability of such misinterpretable shadow areas and / or shadow gaps is very low.

Die Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild umfasst zumindest eine Bilderfassungseinheit zur Erfassung einer Umgebung eines Fahrzeugs in zumindest einem Bild und eine Auswerteeinheit zur Detektion der Fahrbahnmarkierungen in dem Bild, zur Ermittlung eines Fahrspurverlaufs aus den Fahrbahnmarkierungen und zur Berücksichtigung von im Bild vorhandenen Schattenbereichen bei der Detektion der Fahrbahnmarkierungen.The device for detecting lane markings in an image comprises at least one image capture unit for detecting a surroundings of a vehicle in at least one image and an evaluation unit for detecting the lane markings in the image, for determining a lane course from the lane markings and for taking account of shadow regions present in the image the detection of lane markings.

Erfindungsgemäß ist die Auswerteeinheit mit einer Ermittlungseinheit zur Ermittlung einer Lichteinfallsrichtung gekoppelt, wobei mittels der Auswerteeinheit anhand der Lichteinfallsrichtung eine Wahrscheinlichkeit ermittelbar ist, ob im Bild ein einer Fahrbahnmarkierung ähnlicher Schattenbereich und/oder eine einer Fahrbahnmarkierung ähnliche Schattenlücke aus einem aufgrund eines Lichtscheins einer Lichtquelle mit der ermittelten Lichteinfallsrichtung erzeugten Schattenwurf eines oder mehrerer Objekte in der Umgebung des Fahrzeugs resultieren, wobei mittels der Auswerteeinheit eine Plausibilisierung von als potenzielle Fahrbahnmarkierungen in dem Bild erkannten Strukturen und in Abhängigkeit der Größe der Wahrscheinlichkeit eine Verwerfung der als Schattenbereich und/oder Schattenlücke identifizierten potenziellen Fahrbahnmarkierungen bei der Ermittlung des Fahrspurverlaufs durchführbar sind.According to the invention, the evaluation unit is coupled to a detection unit for determining a direction of light incidence, whereby a probability can be determined by means of the evaluation unit based on the light incidence direction, whether a shadow area similar to a lane marking and / or a shadow gap similar to a lane marking from a light source of a light source By means of the evaluation unit, a plausibility check of structures identified as potential lane markings in the image and, depending on the size of the likelihood, a rejection of the potential lane markings identified as the shadow area and / or shadow gap contribute to the detected light incidence direction the determination of the lane course are feasible.

Die Vorrichtung zeichnet sich dabei durch einen einfachen Aufbau aus und es ist in besonders vorteilhafter Weise nur ein geringer Aufwand zur Realisierung der Funktion der Vorrichtung erforderlich. Weiterhin kann insbesondere ein Fahrerassistenzsystem zur Unterstützung eines Fahrers eines Fahrzeugs bei der Spurführung des Fahrzeugs in seiner Funktion verbessert werden und Fehlwarnungen und/oder Fehleingriffe werden vermieden oder zumindest reduziert.The device is characterized by a simple structure and it is in a particularly advantageous manner only a small effort to realize the function of the device required. Furthermore, in particular, a driver assistance system for assisting a driver of a vehicle in the tracking of the vehicle can be improved in its function, and false warnings and / or incorrect interventions are avoided or at least reduced.

Die Ermittlungseinheit umfasst vorzugsweise zumindest einen Lichtsensor zur Erfassung einer Stärke eines Lichtscheins oder ist mit diesem gekoppelt. Mittels des Lichtsensors, welcher beispielsweise als Fotowiderstand, Fotodiode, Fototransistor, pyroelektrischer Sensor, Fotozelle und/oder Solarzelle ausgebildet ist, ist die Stärke des Lichtscheins der Lichtquelle sehr genau und gleichzeitig einfach sowie mit geringem Aufwand ermittelbar. Somit ist ermittelbar, ob beispielsweise die Sonne als Lichtquelle von Wolken oder Objekten verdeckt ist oder der Lichtschein der ungehindert ist.The determination unit preferably comprises at least one light sensor for detecting a strength of a light beam or is coupled thereto. By means of the light sensor, which is designed for example as a photoresistor, photodiode, phototransistor, pyroelectric sensor, photocell and / or solar cell, the intensity of the light source of the light source can be determined very accurately and at the same time simply and with little effort. Thus, it can be determined whether, for example, the sun is hidden as a light source of clouds or objects or the light is unhindered.

In einer besonders bevorzugten Ausgestaltung der erfindungsgemäßen Vorrichtung ist die Auswerteeinheit mit einer Ortungseinheit, einer Navigationsvorrichtung und/oder einer Empfangseinheit zum Empfang von Positionsdaten des Fahrzeugs, eines Kalenderdatums, einer Uhrzeit und/oder einer Ausrichtung des Fahrzeugs zu einer Himmelsrichtung gekoppelt. Aufgrund dieser Ausbildung der Vorrichtung ist ein Sonnenstand sehr einfach und sehr genau ermittelbar. Insbesondere sind bei der Verwendung der Vorrichtung in modernen Fahrzeugen mit Navigationsvorrichtung keine zusätzlichen Anordnungen zur Ermittlung dieser Daten erforderlich. Alternativ oder zusätzlich zeichnet sich auch der zusätzliche Einbau der Ortungseinheit und/oder der Empfangseinheit zum Empfang von Positionsdaten des Fahrzeugs durch einen geringen Material- und Montageaufwand aus.In a particularly preferred embodiment of the device according to the invention, the evaluation unit is provided with a locating unit, a navigation device and / or a receiving unit for receiving position data of the vehicle Calendar date, a time and / or an orientation of the vehicle coupled to a cardinal direction. Because of this design of the device, a position of the sun is very simple and can be determined very accurately. In particular, when using the device in modern vehicles with navigation devices, no additional arrangements are required for determining this data. Alternatively or additionally, the additional installation of the locating unit and / or the receiving unit for receiving position data of the vehicle is characterized by a low material and assembly costs.

Ausführungsbeispiele des Verfahrens werden im Folgenden anhand von Zeichnungen näher erläutert:Embodiments of the method are explained in more detail below with reference to drawings:

Dabei zeigen:Showing:

1 schematisch ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild, und 1 schematically a vehicle with a device according to the invention for the detection of lane markings in an image, and

2 schematisch ein Bild einer Umgebung des Fahrzeugs gemäß 1. 2 schematically an image of an environment of the vehicle according to 1 ,

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.

In 1 ist ein Fahrzeug 1 mit einer erfindungsgemäßen Vorrichtung 2 zur Detektion von Fahrbahnmarkierungen FM1, FM2 in einem in 2 gezeigten Bild B dargestellt. Bei den Fahrbahnmarkierungen FM1, FM2 kann es sich um bauliche Begrenzungen einer in 2 näher dargestellten Fahrbahn FB und auf die Fahrbahn FB aufgebrachte Linien handeln.In 1 is a vehicle 1 with a device according to the invention 2 for the detection of road markings FM1, FM2 in an in 2 shown image B. The road markings FM1, FM2 may be structural limitations of a 2 roadway FB described in detail and act on the road FB applied lines.

Die Vorrichtung 2 umfasst eine Bilderfassungseinheit 2.1 zur Erfassung einer Umgebung eines Fahrzeugs 1 in zumindest einem Bild B. Die Vorrichtung 2 umfasst weiterhin eine mit der Bilderfassungseinheit 2.1 gekoppelte Auswerteeinheit 2.2 zur Auswertung des Bilds B.The device 2 includes an image capture unit 2.1 for detecting an environment of a vehicle 1 in at least one picture B. The device 2 further includes one with the image capture unit 2.1 coupled evaluation unit 2.2 to evaluate the image B.

Zusätzlich weist die Vorrichtung 2 eine Ermittlungseinheit 2.3 zur Ermittlung einer in 2 näher dargestellten Lichteinfallsrichtung R eines Lichtscheins L einer nicht näher dargestellten Lichtquelle auf, wobei die Ermittlungseinheit 2.3 mit der Auswerteeinheit 2.2 gekoppelt ist. Die Ermittlungseinheit 2.3 umfasst einen Lichtsensor 2.3.1 zur Erfassung einer Stärke des Lichtscheins L, wobei der Lichtsensor 2.3.1 als Fotowiderstand, Fotodiode, Fototransistor, pyroelektrischer Sensor, Fotozelle und/oder Solarzelle ausgebildet ist.In addition, the device 2 a determination unit 2.3 to determine an in 2 Light incident direction R of a light beam L closer to a light source not shown in more detail, wherein the detection unit 2.3 with the evaluation unit 2.2 is coupled. The determination unit 2.3 includes a light sensor 2.3.1 for detecting a strength of the light sheet L, wherein the light sensor 2.3.1 as a photoresistor, photodiode, phototransistor, pyroelectric sensor, photocell and / or solar cell is formed.

Die Auswerteeinheit 2.2 ist ferner mit einer Navigationsvorrichtung 3 gekoppelt, wobei mittels der Navigationsvorrichtung 3 eine Position POS des Fahrzeugs 1, ein Kalenderdatum D, eine Uhrzeit T und eine Ausrichtung A des Fahrzeugs 1 zu einer Himmelsrichtung, beispielsweise eine Nordausrichtung, an die Auswerteeinheit 2.2 übertragbar sind.The evaluation unit 2.2 is further with a navigation device 3 coupled, wherein by means of the navigation device 3 a position POS of the vehicle 1 , a calendar date D, a time T and an orientation A of the vehicle 1 to a cardinal direction, for example a north orientation, to the evaluation unit 2.2 are transferable.

Die Vorrichtung 2 zur Detektion der Fahrbahnmarkierungen FM1, FM2 ist mit einer Fahrerassistenzvorrichtung 4 zur Unterstützung eines Fahrers des Fahrzeugs 1 bei einer Spurführung des Fahrzeugs 1 gekoppelt. Die Fahrerassistenzvorrichtung 4 ist derart ausgebildet, dass eine automatische und aktive Spurführung innerhalb Fahrspuren FS1, FS2 begrenzender Fahrbahnmarkierungen FM1, FM2 mittels Lenkeingriffen erfolgt und/oder dass der Fahrer vor einem Verlassen der Fahrspur FS1, FS2 oder Fahrbahn FB durch optische, akustische und/oder haptische Signale gewarnt wird. Hierzu wird aus den Fahrbahnmarkierungen FM1, FM2 mittels der Auswerteeinheit 2.2 ein Fahrspurverlauf ermittelt.The device 2 for the detection of the lane markings FM1, FM2 is with a driver assistance device 4 to assist a driver of the vehicle 1 in a tracking of the vehicle 1 coupled. The driver assistance device 4 is designed such that an automatic and active tracking within lanes FS1, FS2 limiting road markings FM1, FM2 is done by means of steering interventions and / or that the driver warned before leaving the lane FS1, FS2 or lane FB by optical, acoustic and / or haptic signals becomes. For this purpose, from the road markings FM1, FM2 by means of the evaluation unit 2.2 determines a lane course.

2 zeigt ein mittels der Bilderfassungseinheit 2.1 aufgenommenes Bild B der Umgebung des Fahrzeugs 1, wobei sich das Fahrzeug 1 auf einer Fahrbahn FB mit zwei Fahrspuren FS1, FS2 bewegt. 2 shows by means of the image capture unit 2.1 taken picture B of the environment of the vehicle 1 , where the vehicle 1 on a carriageway FB with two lanes FS1, FS2 moved.

Eine rechte Fahrspur FS1 ist rechtsseitig von einer ersten Fahrbahnmarkierung FM1 begrenzt, welche als durchgezogene Linie ausgebildet ist. Linksseitig ist die rechte Fahrspur FS1 von einer zweiten Fahrbahnmarkierung FM2 begrenzt, wobei die zweite Fahrbahnmarkierung FM2 gleichzeitig eine linke Fahrspur FS2 von der rechten Fahrspur FS1 trennt. Die zweite Fahrbahnmarkierung FM2 ist als unterbrochene Linie ausgebildet. Linksseitig ist die linke Fahrspur FS2 von einem als Leitplanke, insbesondere von einem als zwei übereinander angeordneten Leitplanken ausgebildeten Objekt O1 begrenzt.A right lane FS1 is bounded on the right side by a first lane marking FM1, which is formed as a solid line. On the left side, the right lane FS1 is bounded by a second lane marking FM2, the second lane marking FM2 simultaneously separating a left lane FS2 from the right lane FS1. The second lane marking FM2 is formed as a broken line. On the left side, the left lane FS2 is bounded by an object O1 designed as a guardrail, in particular by an obstacle designed as two guardrails arranged one above the other.

Die Detektion der Fahrbahnmarkierungen FM1, FM2 in dem Bild B der Umgebung des Fahrzeugs 1 erfolgt mittels der Auswerteeinheit 2.2, wobei die Fahrbahnmarkierungen FM1, FM2 mittels allgemein bekannter Verfahren in dem Bild detektiert werden. Diese Verfahren umfassen insbesondere eine Kantendetektion und/oder eine Ermittlung der Fahrbahnmarkierungen FM1, FM2 aufgrund eines Kontrastverhältnisses zwischen den Fahrbahnmarkierungen FM1, FM2 und der Fahrbahn.The detection of the lane markers FM1, FM2 in the image B of the surroundings of the vehicle 1 takes place by means of the evaluation unit 2.2 wherein the lane markers FM1, FM2 are detected in the image by well-known methods. These methods comprise, in particular, an edge detection and / or a determination of the road markings FM1, FM2 on the basis of a contrast ratio between the road markings FM1, FM2 and the roadway.

Aufgrund des Lichtscheins L der Sonne mit der dargestellten Lichteinfallsrichtung R entsteht im linken Bereich der linken Fahrspur FS2 ein Schattenwurf der Leitplanke, so dass sich ein Schattenbereich S1 ausbildet. Aufgrund der nicht vollflächigen Ausbildung der Leitplanke wird diese in Teilbereichen von dem Lichtschein L durchleuchtet, so dass der Schattenbereich S1 ebenfalls nicht vollflächig ausgebildet ist. Dabei bilden sich in dem Schattenbereich S1 Schattenlücken SL aus.Due to the light beam L of the sun with the light incidence direction R, a shadow cast of the guardrail is produced in the left-hand area of the left lane FS2, so that a shadow area S1 is formed. Due to the non-entire surface of the guardrail this is illuminated in some areas of the light L, so that the shadow area S1 also not full surface is trained. Shadow gaps SL are formed in the shadow area S1.

Die dargestellten Schattenlücken SL sind in ihrer Anordnung und Ausformung der als unterbrochene Linie ausgebildeten Fahrbahnmarkierung FM2 ähnlich. Damit die Schattenlücken SL von der Auswerteeinheit 2.2 nicht als Fahrbahnmarkierungen FM1, FM2 detektiert werden und zu Fehleingriffen und/oder Fehlwarnungen der Fahrerassistenzvorrichtung 4 führen, wird ermittelt, ob ein Lichtschein L mit einer Lichteinfallsrichtung R vorhanden ist, welcher den dargestellten Schattenbereich S1 mit den Schattenlücken SL verursachen könnte.The illustrated shadow gaps SL are similar in their arrangement and shape of the formed as a broken line pavement marking FM2. So that the shadow gaps SL from the evaluation unit 2.2 are not detected as lane markers FM1, FM2 and incorrect interventions and / or false warnings of the driver assistance device 4 lead, it is determined whether a light L with a light incidence direction R is present, which could cause the shadow area shown S1 with the shadow gaps SL.

Hierzu ist die Auswerteeinheit 2.2 mit der Ermittlungseinheit 2.3 gekoppelt, mittels welcher die Lichteinfallsrichtung R des Lichtscheins L ermittelt wird. Im dargestellten Ausführungsbeispiel wird bei der Ermittlung der Lichteinfallsrichtung R ein Sonnenstand ermittelt, da der erzeugte Schattenbereich S1 und die Schattenlücken SL aufgrund des Lichtscheins L mit der Lichteinfallsrichtung R der Sonne auf der Fahrbahn FB entstehen. Zusätzlich ist es möglich, Lichtscheine L und deren Lichteinfallsrichtungen R anderer Lichtquellen, beispielsweise von Straßenbeleuchtungen und/oder von Scheinwerfern zu ermitteln.This is the evaluation unit 2.2 with the investigative unit 2.3 coupled, by means of which the light incident direction R of the light L is determined. In the illustrated embodiment, a sun position is determined in determining the light incidence direction R, since the generated shadow area S1 and the shadow gaps SL arise due to the light L with the light incident direction R of the sun on the road FB. In addition, it is possible to detect light beams L and their light incidence directions R of other light sources, for example street lights and / or headlights.

Die Ermittlung des Sonnenstands wird mittels der Auswerteeinheit 2.2 durchgeführt, wobei hierzu ein oder mehrere Algorithmen vorgesehen sind, mittels welchen der Sonnenstand insbesondere in Koordinaten relativ zum Fahrzeug 1 oder in Koordinaten bezogen zur Erde ermittelt wird. Die Ermittlung des Sonnenstands erfolgt anhand der Position POS des Fahrzeugs 1, des Kalenderdatums D, der Uhrzeit T und der Ausrichtung A des Fahrzeugs 1 zur Himmelsrichtung ”Nord”, wobei diese Daten von der Navigationsvorrichtung 3 an die Auswerteeinheit 2.2 übertragen werden. Die Übertragung erfolgt vorzugsweise über einen nicht dargestellten Datenbus des Fahrzeugs 1, beispielsweise einen CAN-Bus oder LIN-Bus. Die Ermittlung des Sonnenstands wird insbesondere mittels eines aus der DE 103 38 764 B4 bekannten Verfahrens und/oder mittels eines aus der DE 103 38 766 B4 bekannten Verfahrens durchgeführt.The determination of the position of the sun is made by means of the evaluation unit 2.2 carried out, for which purpose one or more algorithms are provided, by means of which the sun's position, in particular in coordinates relative to the vehicle 1 or in coordinates relative to the earth is determined. The determination of the position of the sun is based on the position POS of the vehicle 1 , the calendar date D, the time T and the orientation A of the vehicle 1 to the direction "North", this data from the navigation device 3 to the evaluation unit 2.2 be transmitted. The transmission preferably takes place via a data bus (not shown) of the vehicle 1 , for example, a CAN bus or LIN bus. The determination of the position of the sun is in particular by means of one of DE 103 38 764 B4 known method and / or by means of one of the DE 103 38 766 B4 performed known method.

Alternativ zu der Ermittlung des Sonnenstands mittels der Auswerteeinheit 2.2 erfolgt diese mittels der Navigationsvorrichtung 3, wobei der Sonnenstand dann in nicht näher dargestellter Weise in Koordinatenform an die Auswerteeinheit 2.2 übertragen wird.Alternatively to the determination of the position of the sun using the evaluation unit 2.2 this is done by means of the navigation device 3 , Where the sun is then in a manner not shown in coordinate form to the evaluation 2.2 is transmitted.

Unter Zugrundelegen der Lichteinfallsrichtung R des Lichtscheins L der Sonne, d. h. des Sonnenstands, wird mittels der Auswerteeinheit 2.2 eine Wahrscheinlichkeit ermittelt, ob im Bild ein einer Fahrbahnmarkierung FM1, FM2 ähnlicher Schattenbereich S1 und/oder eine einer Fahrbahnmarkierung FM1, FM2 ähnliche Schattenlücke SL vorhanden sind, die aus dem aufgrund des Lichtscheins L mit der ermittelten Lichteinfallsrichtung R erzeugten Schattenwurf der Leitplanke resultieren. Mit anderen Worten: Es wird ermittelt, ob sich die Sonne in einem geeigneten Winkel, d. h. Elevation, und einer geeigneten Richtung, d. h. Azimut, befindet, um ähnlich zu Fahrbahnmarkierungen FM1, FM2 ausgebildete Schattenbereich S1 und Schattenlücken SL zu erzeugen.Based on the direction of light incidence R of the light L of the sun, ie the position of the sun, is determined by means of the evaluation unit 2.2 determines a likelihood, whether in the image of a road marking FM1, FM2 similar shadow area S1 and / or a road marking FM1, FM2 similar shadow gap SL are present, resulting from the generated due to the light sheet L with the detected light incidence direction R shadow of the guardrail. In other words, it is determined whether the sun is at an appropriate angle, ie, elevation, and a suitable direction, ie, azimuth, to produce shadow areas S1 and shadow gaps SL formed similarly to lane markers FM1, FM2.

Um eine Verwendung des Schattenbereichs S1 und der Schattenlücken SL als falsch identifizierte Fahrbahnmarkierungen FM1, FM2 zum Betrieb der Fahrerassistenzvorrichtung 4 zu vermeiden, werden zunächst mittels der Auswerteeinheit 2.2 alle Strukturen auf der Fahrbahn FB, welche Fahrbahnmarkierungen FM1, FM2 darstellen könnten, als potenzielle Fahrbahnmarkierungen hinterlegt.In order to use the shadow area S1 and the shadow gaps SL as incorrectly identified road markings FM1, FM2 for operating the driver assistance device 4 to be avoided, first by means of the evaluation unit 2.2 all structures on the roadway FB, which could represent road markings FM1, FM2, deposited as potential lane markings.

Diese potenziellen Fahrbahnmarkierungen werden einer mittels der Auswerteeinheit 2.2 durchgeführten Plausibilisierung unterzogen, wobei anhand der Plausibilisierung ermittelt wird, ob die als potenzielle Fahrbahnmarkierungen in dem Bild B erkannten Strukturen Fahrbahnmarkierungen FM1, FM2 oder Schattenbereiche S1 und/oder Schattenlücken SL sind. In Abhängigkeit der ermittelten Größe der Wahrscheinlichkeit als Schattenbereiche S1 und/oder Schattenlücken SL identifizierte potenzielle Fahrbahnmarkierungen werden verworfen und nicht zum Betrieb der Fahrerassistenzvorrichtung 4 verwendet.These potential lane markings become one by means of the evaluation unit 2.2 plausibility check carried out, it being determined based on the plausibility check whether the structures recognized as potential lane markings in the image B lanes road markings FM1, FM2 or shadow areas S1 and / or shadow gaps SL. Depending on the determined size of the probability identified as shadow areas S1 and / or shadow gaps SL potential lane markings are discarded and not for the operation of the driver assistance device 4 used.

Um die Zuverlässigkeit der Vorrichtung 2 bei der Ermittlung der Fahrbahnmarkierungen FM1, FM2 und der Detektion von Schattenbereichen S1 und Schattenlücken SL weiter zu verbessern, wird bei der Ermittlung des Sonnenstands zunächst mittels des Lichtsensors 2.3.1 eine Stärke des Lichtscheins L ermittelt. Aus der Lichtstärke wird abgeleitet, ob die Sonne von Wolken oder anderen Objekten verdeckt ist oder die Umgebung ungehindert ausleuchtet.To the reliability of the device 2 in the determination of the lane markings FM1, FM2 and the detection of shadow areas S1 and shadow gaps SL is further improved when determining the position of the sun, first by means of the light sensor 2.3.1 a strength of the light L determined. The light intensity is used to determine whether the sun is obscured by clouds or other objects, or whether the surroundings are illuminated unhindered.

Bei den Objekten handelt es sich um Geländestrukturen, Pflanzen und/oder Bauwerke. Anhand eines Geländemodells einer digitalen Karte der Navigationsvorrichtung 3, eines Städtemodells der digitalen Karte einer Navigationsvorrichtung 3 und der ermittelten Lichteinfallsrichtung R ermittelt die Auswerteeinheit 2.2, ob sich in einer Sichtlinie zwischen einer aktuellen Fahrzeugposition und der Lichtquelle Geländestrukturen, Pflanzen und/oder Bauwerke befinden, welche die Umgebung des Fahrzeugs 1 verschatten und somit zu geringen Stärken des Lichtscheins L führen. Insbesondere wird ermittelt, ob sich an einer Fahrbahnseite, aus deren Richtung die Sonne einstrahlt, Wald befindet, welcher zu Schattenwürfen führen kann.The objects are terrain structures, plants and / or structures. Based on a terrain model of a digital map of the navigation device 3 , a city model of the digital map of a navigation device 3 and the determined light incidence direction R determines the evaluation unit 2.2 whether terrain structures, plants and / or structures are located in a line of sight between a current vehicle position and the light source, which surrounds the vehicle 1 shadow and thus lead to low levels of light L. In particular, it is determined whether on a road side, from whose direction the Sun shines in, forest is located, which can lead to Schattenwürfen.

Befindet sich ein Objekt in der Sichtlinie zwischen der Fahrzeugposition und der Sonne und/oder ist die Sonne von Wolken verdeckt, ist die Stärke des Lichtscheins L gering. Bei geringen Stärken des Lichtscheins L ist es unwahrscheinlich, dass ein Kontrast zwischen den Schattenlücken SL und dem Schattenbereich S1 ausreichend groß ist, dass die Auswerteeinheit 2.2 die Schattenlücken SL als Fahrbahnmarkierungen FM1, FM2 identifiziert. Dies wird bei der Plausibilisierung der potenziellen Fahrbahnmarkierungen berücksichtigt, wobei bei Unterschreitung eines Grenzwerts der Stärke des Lichtscheins L potenzielle Fahrbahnmarkierungen als reale Fahrbahnmarkierungen FM1, FM2 erkannt werden.If an object is in the line of sight between the vehicle position and the sun and / or the sun is obscured by clouds, the intensity of the light L is low. At low magnitudes of the light L, it is unlikely that a contrast between the shadow gaps SL and the shadow area S1 is sufficiently large that the evaluation unit 2.2 the shadow gaps SL identified as lane markers FM1, FM2. This is taken into account in the plausibility check of the potential lane markings, whereby if a lumen intensity limit L is exceeded, potential lane markings are recognized as real lane markings FM1, FM2.

Alternativ oder zusätzlich werden bei der Plausibilisierung weiterhin eine Größe und Form des als Leitplanke ausgebildeten Objekts O1 und ein Abstand der Bilderfassungseinheit 7 zu dem Objekt O1 berücksichtigt. Hierzu wird die Leitplanke mittels der Auswerteeinheit 2.2 vermessen und der Abstand zu der Bilderfassungseinheit 7 wird ermittelt. Aus der Größe, Form, dem Abstand und der ermittelten Lichteinfallsrichtung R wird ermittelt, ob das Objekt O1 einen Schattenwurf erzeugen kann, aus welchem ein Schattenbereich S1 mit Schattenlücken SL entsteht, welche als Fahrbahnmarkierungen FM1, FM2 interpretierbar sind. In Abhängigkeit davon, ob das Objekt O1 einen derartigen Schattenwurf erzeugen kann, wird die Größe der Wahrscheinlichkeit angepasst.Alternatively or additionally, in the case of the plausibility check, a size and shape of the object O1 designed as a guardrail and a distance of the image capture unit are further determined 7 taken into account for the object O1. For this purpose, the guardrail by means of the evaluation unit 2.2 measure and the distance to the image acquisition unit 7 is determined. From the size, shape, the distance and the determined light incidence direction R, it is determined whether the object O1 can produce a shadow, from which a shadow area S1 with shadow gaps SL arises, which can be interpreted as lane markings FM1, FM2. Depending on whether the object O1 can produce such a shadow, the size of the probability is adjusted.

Ebenfalls alternativ oder zusätzlich wird bei der Plausibilisierung eine Straßenkategorie einer Straße, auf welcher sich das Fahrzeug 1 bewegt, berücksichtigt. In Abhängigkeit der Straßenkategorie wird geschätzt, wie wahrscheinlich es ist, dass sich ein einen Schattenbereich S1 und/oder zumindest eine Schattenlücke SL erzeugendes Objekt O1, wie beispielsweise die Leitplanke, auf der befahrenen Straße befindet. Da Leitplanken auf Autobahnen sehr häufig vorkommen, auf Gemeindestraßen dagegen nicht, ist es auf Autobahnen wahrscheinlicher, dass ein durch Leitplanken verursachter Schattenbereich S1 und/oder eine Schattenlücke SL als Fahrbahnmarkierungen FM1, FM2 identifiziert werden, als auf Gemeindestraßen. Die Daten der Straßenkategorie werden vorzugsweise von der Navigationsvorrichtung 3 an die Auswerteeinheit 2.2 übertragen. In Abhängigkeit der aus der Straßenkategorie abgeleiteten Ergebnisse wird wiederum die Wahrscheinlichkeit zur Plausibilisierung angepasst.Also alternatively or additionally, the plausibility check is a street category of a road on which the vehicle 1 moved, taken into account. Depending on the road category, it is estimated how likely it is that an object O1 generating a shadow area S1 and / or at least one shadow gap SL, such as the guardrail, is on the busy road. Because guardrails are very common on motorways, but not on local roads, on motorways it is more likely that a shadow area S1 caused by crash barriers and / or a shadow gap SL will be identified as lane markers FM1, FM2 than on municipal roads. The data of the road category is preferably from the navigation device 3 to the evaluation unit 2.2 transfer. Depending on the results derived from the road category, the probability of a plausibility check is adjusted again.

Ferner wird vorzugsweise berücksichtigt, ob sich das Fahrzeug 1 auf, unterhalb, oberhalb und/oder innerhalb eines oder mehrerer Bauwerke zum Führen von Verkehrswegen befindet. Hierbei wird insbesondere erfasst, ob sich dass Fahrzeug 1 auf einer Brücke befindet, da die Wahrscheinlichkeit für Leitplanken, welche die dargestellten Schattenbereiche S1 und Schattenlücken SL hervorrufen, auf Brücken besonders hoch ist. Weiterhin wird insbesondere erfasst, ob sich das Fahrzeug 1 in einem Tunnel bewegt. In einem Tunnel ist es unwahrscheinlich, dass Schattenbereiche S1 und Schattenlücken SL durch einen von der Sonne erzeugten Lichtschein L erzeugt werden. Vielmehr wird ein Lichtschein L in einem Tunnel von künstlichen Lichtquellen erzeugt. Die Daten, ob sich das Fahrzeug 1 auf, unterhalb, oberhalb und/oder innerhalb eines oder mehrerer derartiger Bauwerke befindet, werden wiederum vorzugsweise von der Navigationsvorrichtung 3 zur Verfügung gestellt und an die Auswerteeinheit 2.2 übertragen.Furthermore, it is preferably considered whether the vehicle 1 located on, below, above and / or within one or more structures for traffic routes. In particular, it is detected whether the vehicle 1 is located on a bridge, since the probability of crash barriers, which cause the shadow areas S1 and shadow gaps SL shown, is particularly high on bridges. Furthermore, it is detected in particular whether the vehicle 1 moved in a tunnel. In a tunnel, shadow areas S1 and shadow gaps SL are unlikely to be generated by a sunshine L generated by the sun. Rather, a light L is generated in a tunnel of artificial light sources. The data, whether the vehicle 1 on, below, above and / or within one or more of such structures are again preferably by the navigation device 3 provided and to the evaluation unit 2.2 transfer.

Es wird weiterhin vorzugsweise überprüft, ob Schattenbereiche S2 von einem sich mit dem Fahrzeug mitbewegenden Objekt O2 erzeugt werden. Im dargestellten Ausführungsbeispiel handelt es sich Objekt O2 um einen Lastkraftwagen. Da in diesem Schattenbereich S2 und dem von der Leitplanke erzeugten Schattenbereich S1 aufgrund von verminderten Kontrasten zwischen Fahrbahnmarkierungen FM1, FM2 und der Fahrbahn FB eine Detektion der Fahrbahnmarkierungen FM1, FM2 erschwert ist, wird eine Einstellung von optischen Parametern der Bilderfassungseinheit 2.1, insbesondere Kontrasteinstellungen, an die Eigenschaften Umgebung in den Schattenbereichen S1, S2 angepasst. Weiterhin wird die Detektion der Fahrbahnmarkierungen FM1, FM2 in den Schattenbereichen S1, S2 vorzugsweise alternativ oder zusätzlich detaillierter und aufwändiger durchgeführt, um eine zuverlässige Detektion der Fahrbahnmarkierungen FM1, FM2 zu ermöglichen.It is further preferably checked whether shadow areas S2 are generated by an object O2 moving with the vehicle. In the illustrated embodiment, object O2 is a truck. Since detection of the lane markers FM1, FM2 is difficult in this shadow area S2 and the shadow area S1 generated by the guardrail due to reduced contrasts between lane markers FM1, FM2 and the lane FB, adjustment of optical parameters of the image acquisition unit becomes 2.1 , in particular contrast settings, adapted to the properties environment in the shadow areas S1, S2. Furthermore, the detection of the lane markings FM1, FM2 in the shadow areas S1, S2 is preferably carried out alternatively or additionally in a more detailed and complex manner in order to enable a reliable detection of the lane markings FM1, FM2.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Fahrzeugvehicle
2two
Vorrichtungcontraption
2.12.1
BilderfassungseinheitImage capture unit
2.22.2
Auswerteeinheitevaluation
2.32.3
Ermittlungseinheitdetermining unit
2.3.12.3.1
Lichtsensorlight sensor
33
Navigationsvorrichtungnavigation device
44
FahrerassistenzvorrichtungDriver assistance device
AA
Ausrichtungalignment
BB
Bildimage
DD
Kalenderdatumcalendar date
FBFB
Fahrbahnroadway
FM1FM1
Fahrbahnmarkierungroad marking
FM2FM2
Fahrbahnmarkierungroad marking
FS1FS1
Fahrspurlane
FS2FS2
Fahrspurlane
LL
Lichtscheinglow
O1O1
Objektobject
O2O2
Objektobject
POSPOS
Positionposition
RR
LichteinfallsrichtungLight direction
S1 S1
Schattenbereichshadow area
S2S2
Schattenbereichshadow area
SLSL
Schattenlückeshadow gap
TT
Uhrzeittime of day

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 2010/0041714 A1 [0003] US 2010/0041714 A1 [0003]
  • US 2006/0274917 A1 [0004] US 2006/0274917 A1 [0004]
  • US 6819779 B1 [0005] US 6819779 B1 [0005]
  • DE 10338764 B4 [0006, 0043] DE 10338764 B4 [0006, 0043]
  • DE 10338766 B4 [0007, 0043] DE 10338766 B4 [0007, 0043]

Claims (10)

Verfahren zur Detektion von Fahrbahnmarkierungen (FM1, FM2) in einem Bild (B), wobei eine Umgebung eines Fahrzeugs (1) in zumindest einem Bild (B) erfasst wird, wobei Fahrbahnmarkierungen (FM1, FM2) in dem Bild (B) detektiert werden und aus den Fahrbahnmarkierungen (FM1, FM2) ein Fahrspurverlauf ermittelt wird, wobei bei der Detektion der Fahrbahnmarkierungen (FM1, FM2) im Bild (B) vorhandene Schattenbereiche (S1, S2) berücksichtigt werden, dadurch gekennzeichnet, dass eine Lichteinfallsrichtung (R) ermittelt wird und dass anhand der Lichteinfallsrichtung (R) eine Wahrscheinlichkeit ermittelt wird, ob im Bild (B) ein einer Fahrbahnmarkierung (FM1, FM2) ähnlicher Schattenbereich (S1, S2) und/oder eine einer Fahrbahnmarkierung (FM1, FM2) ähnliche Schattenlücke (SL) aus einem aufgrund eines Lichtscheins (L) einer Lichtquelle mit der ermittelten Lichteinfallsrichtung (R) erzeugten Schattenwurf eines oder mehrerer Objekte (O1, O2) in der Umgebung des Fahrzeugs (1) resultieren, und dass eine Plausibilisierung von als potenzielle Fahrbahnmarkierungen in dem Bild (B) erkannten Strukturen durchgeführt wird, wobei in Abhängigkeit der Größe der Wahrscheinlichkeit als Schattenbereich (S1, S2) und/oder Schattenlücke (SL) identifizierte potenzielle Fahrbahnmarkierungen bei der Ermittlung des Fahrspurverlaufs verworfen werden.Method for detecting lane markings (FM1, FM2) in an image (B), wherein an environment of a vehicle ( 1 ) is detected in at least one image (B), wherein lane markings (FM1, FM2) in the image (B) are detected and from the lane markings (FM1, FM2) a lane course is determined, wherein in the detection of the lane markings (FM1, FM2 ) in the image (B) existing shadow areas (S1, S2) are taken into account, characterized in that a light incidence direction (R) is determined and that on the basis of the direction of light incidence (R) a probability is determined whether in the image (B) of a lane marking ( FM1, FM2) similar shadow area (S1, S2) and / or a road marking (FM1, FM2) similar shadow gap (SL) from a due to a light (L) of a light source with the detected light incidence direction (R) generated shadow cast one or more objects (O1, O2) in the vicinity of the vehicle ( 1 ) and that a plausibility check of structures recognized as potential lane markings in the image (B) is carried out, wherein potential lane markings identified as shadow area (S1, S2) and / or shadow gap (SL) depend on the size of the likelihood Lane course be discarded. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der Ermittlung der Lichteinfallsrichtung (R) ein Sonnenstand anhand einer Position (POS) des Fahrzeugs (1), einer Ausrichtung (A) des Fahrzeugs (1) relativ zu einer Himmelsrichtung, einem Kalenderdatum (D) und/oder einer aktuellen Uhrzeit (T) ermittelt wird.A method according to claim 1, characterized in that when determining the direction of light incidence (R) a position of the sun based on a position (POS) of the vehicle ( 1 ), an orientation (A) of the vehicle ( 1 ) relative to a direction, a calendar date (D) and / or a current time (T) is determined. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass überprüft wird, ob sich in dem Schattenbereich (S1, S2) und/oder der Schattenlücke (SL) ein oder mehrere Fahrbahnmarkierungen (FM1, FM2) befinden.A method according to claim 1 or 2, characterized in that it is checked whether one or more lane markings (FM1, FM2) are in the shadow area (S1, S2) and / or the shadow gap (SL). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Stärke des Lichtscheins (L) ermittelt wird.Method according to one of the preceding claims, characterized in that a strength of the light (L) is determined. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Ermittlung der potenziellen Fahrbahnmarkierungen und/oder Plausibilisierung eine Größe und/oder Form der Objekte (O1, O2) und/oder ein Abstand der zumindest einen Bilderfassungseinheit (2.1) zu den Objekten (O1, O2) berücksichtigt wird.Method according to one of the preceding claims, characterized in that when determining the potential lane markings and / or plausibility a size and / or shape of the objects (O1, O2) and / or a distance of the at least one image capture unit ( 2.1 ) is taken into account for the objects (O1, O2). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Ermittlung der potenziellen Fahrbahnmarkierungen und/oder Plausibilisierung eine Straßenkategorie einer Straße, auf welcher sich das Fahrzeug (1) bewegt, berücksichtigt wird und/oder berücksichtigt wird, ob sich das Fahrzeug (1) auf, unterhalb, oberhalb und/oder innerhalb eines oder mehrerer Bauwerke zum Führen von Verkehrswegen befindet.Method according to one of the preceding claims, characterized in that in the determination of the potential lane markings and / or plausibility check a street category of a road on which the vehicle ( 1 ), takes into account and / or takes into account whether the vehicle ( 1 ) located on, below, above and / or within one or more structures for traffic routes. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand eines Geländemodells einer digitalen Karte einer Navigationsvorrichtung (3) und der ermittelten Lichteinfallsrichtung (R) und/oder eines Städtemodells einer digitalen Karte einer Navigationsvorrichtung (3) und der ermittelten Lichteinfallsrichtung (R) ermittelt wird, ob sich in einer Sichtlinie zwischen einer Position (POS) des Fahrzeugs (1) und der Lichtquelle Geländestrukturen, Pflanzen und/oder Bauwerke befinden, wobei die ermittelten Geländestrukturen, Pflanzen und/oder Bauwerke bei der bei der Ermittlung der potenziellen Fahrbahnmarkierungen und/oder Plausibilisierung berücksichtigt werden.Method according to one of the preceding claims, characterized in that based on a terrain model of a digital map of a navigation device ( 3 ) and the determined light incidence direction (R) and / or a city model of a digital map of a navigation device ( 3 ) and the determined direction of light incidence (R) is determined whether in a line of sight between a position (POS) of the vehicle ( 1 ) and the light source terrain structures, plants and / or structures, wherein the determined terrain structures, plants and / or structures are taken into account in the determination of the potential lane markings and / or plausibility. Vorrichtung (2) zur Detektion von Fahrbahnmarkierungen (FM1, FM2) in einem Bild (B), umfassend zumindest eine Bilderfassungseinheit (2.1) zur Erfassung einer Umgebung eines Fahrzeugs (1) in zumindest einem Bild (B), umfassend eine Auswerteeinheit (2.2) zur Detektion der Fahrbahnmarkierungen (FM1, FM2) in dem Bild (B), zur Ermittlung eines Fahrspurverlaufs aus den Fahrbahnmarkierungen (FM1, FM2) und zur Berücksichtigung von im Bild (B) vorhandenen Schattenbereichen (S1, S2) bei der Detektion der Fahrbahnmarkierungen (FM1, FM2), dadurch gekennzeichnet, dass die Auswerteeinheit (2,2) mit einer Ermittlungseinheit (2.3) zur Ermittlung einer Lichteinfallsrichtung (R) gekoppelt ist, wobei mittels der Auswerteeinheit (2.2) und anhand der Lichteinfallsrichtung (R) eine Wahrscheinlichkeit ermittelbar ist, ob im Bild (B) ein einer Fahrbahnmarkierung (FM1, FM2) ähnlicher Schattenbereich (S1, S2) und/oder eine einer Fahrbahnmarkierung (FM1, FM2) ähnliche Schattenlücke (SL) aus einem aufgrund eines Lichtscheins (L) einer Lichtquelle mit der ermittelten Lichteinfallsrichtung (R) erzeugten Schattenwurf eines oder mehrerer Objekte (O1, O2) in der Umgebung des Fahrzeugs (1) resultieren, und dass mittels der Auswerteeinheit (2.2) eine Plausibilisierung von als potenzielle Fahrbahnmarkierungen in dem Bild (B) erkannten Strukturen und in Abhängigkeit der Größe der Wahrscheinlichkeit eine Verwerfung der als Schattenbereich (S1, S2) und/oder Schattenlücke (SL) identifizierten potenziellen Fahrbahnmarkierungen bei der Ermittlung des Fahrspurverlaufs durchführbar sind.Contraption ( 2 for detecting lane markings (FM1, FM2) in an image (B), comprising at least one image capture unit ( 2.1 ) for detecting an environment of a vehicle ( 1 ) in at least one image (B), comprising an evaluation unit ( 2.2 for detecting the lane markings (FM1, FM2) in the image (B), for determining a lane course from the lane markings (FM1, FM2) and for taking into account the shadow areas (S1, S2) present in the image (B) in the detection of the lane markings (FM1, FM2), characterized in that the evaluation unit ( 2.2 ) with an identification unit ( 2.3 ) is coupled to determine a direction of light incidence (R), wherein by means of the evaluation unit ( 2.2 ) and based on the direction of light incidence (R) a probability can be determined whether in the image (B) a shadow area (S1, S2) similar to a lane marking (FM1, FM2) and / or a shadow lane (SL) similar to a lane marking (FM1, FM2) from a shadow cast of one or more objects (O1, O2) in the surroundings of the vehicle generated by a light beam (L) of a light source with the determined light incident direction (R) ( 1 ) and that by means of the evaluation unit ( 2.2 ) a plausibility of recognized as potential lane markers in the image (B) structures and depending on the size of the probability of a rejection of the shadow area (S1, S2) and / or shadow gap (SL) identified potential lane markers in determining the lane course are feasible. Vorrichtung (2) nach Anspruch 8, dadurch gekennzeichnet, dass die Ermittlungseinheit (2.3) zumindest einen Lichtsensor (2.3.1) zur Erfassung einer Stärke des Lichtscheins (L) umfasst oder mit diesem gekoppelt ist. Contraption ( 2 ) according to claim 8, characterized in that the determination unit ( 2.3 ) at least one light sensor ( 2.3.1 ) for detecting a strength of the light (L) or is coupled thereto. Vorrichtung (2) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Auswerteeinheit (2.2) mit einer Ortungseinheit, einer Navigationsvorrichtung (3) und/oder einer Empfangseinheit zum Empfang einer Position (POS) des Fahrzeugs (1), eines Kalenderdatums (D), einer Uhrzeit (T) und/oder einer Ausrichtung (A) des Fahrzeugs (1) zu einer Himmelsrichtung gekoppelt ist.Contraption ( 2 ) according to claim 8 or 9, characterized in that the evaluation unit ( 2.2 ) with a locating unit, a navigation device ( 3 ) and / or a receiving unit for receiving a position (POS) of the vehicle ( 1 ), a calendar date (D), a time (T) and / or an orientation (A) of the vehicle ( 1 ) is coupled to a cardinal direction.
DE102010045511A 2010-09-15 2010-09-15 Method and device for detecting lane markings in an image Withdrawn DE102010045511A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102010045511A DE102010045511A1 (en) 2010-09-15 2010-09-15 Method and device for detecting lane markings in an image
PCT/EP2011/004249 WO2012034637A1 (en) 2010-09-15 2011-08-24 Method and device for detecting roadway markings in an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102010045511A DE102010045511A1 (en) 2010-09-15 2010-09-15 Method and device for detecting lane markings in an image

Publications (1)

Publication Number Publication Date
DE102010045511A1 true DE102010045511A1 (en) 2012-03-15

Family

ID=44514632

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010045511A Withdrawn DE102010045511A1 (en) 2010-09-15 2010-09-15 Method and device for detecting lane markings in an image

Country Status (2)

Country Link
DE (1) DE102010045511A1 (en)
WO (1) WO2012034637A1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014206768A1 (en) * 2014-04-08 2015-10-08 Volkswagen Aktiengesellschaft Method and device for determining solar radiation
DE102019209064A1 (en) * 2019-06-24 2020-12-24 Zf Friedrichshafen Ag Device for reacting to shaded objects in the vicinity of a vehicle
CN112613370A (en) * 2020-12-15 2021-04-06 浙江大华技术股份有限公司 Target defect detection method, device and computer storage medium
DE102021213881A1 (en) 2021-12-07 2023-06-07 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for operating a vehicle
WO2023222961A1 (en) * 2022-05-19 2023-11-23 Stellantis Auto Sas Method for managing the path of a motor vehicle in its traffic lane
DE102022122339A1 (en) 2022-09-05 2024-03-07 Bayerische Motoren Werke Aktiengesellschaft Method and device for measuring a parking space for a motor vehicle
DE102023101366B3 (en) 2023-01-20 2024-03-21 Cariad Se Computer-implemented method, processor circuit and system for determining a marking course of a lane marking of a lane that is currently being traveled by a vehicle

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10325163B2 (en) * 2016-11-22 2019-06-18 Ford Global Technologies, Llc Vehicle vision
DE102017001814A1 (en) 2017-02-27 2017-10-19 Daimler Ag Method for detecting lane markings

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819779B1 (en) 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
DE10338766B4 (en) 2003-08-23 2005-12-22 Daimlerchrysler Ag Vehicle data bus system with locating unit
US20060274917A1 (en) 1999-11-03 2006-12-07 Cet Technologies Pte Ltd Image processing techniques for a video based traffic monitoring system and methods therefor
DE10338764B4 (en) 2003-08-23 2007-08-16 Daimlerchrysler Ag Method and system for activating a night vision system
US20100041714A1 (en) 2008-08-15 2010-02-18 Jean-Baptiste Blanc Bi-aryl aminotetralines

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003306102A (en) * 2002-04-11 2003-10-28 Toshiba Corp Passing vehicle detection device, and rear side alarm device for drive supporting system
JP4616046B2 (en) * 2005-03-22 2011-01-19 本田技研工業株式会社 VEHICLE IMAGE PROCESSING SYSTEM, VEHICLE IMAGE PROCESSING METHOD, VEHICLE IMAGE PROCESSING PROGRAM, AND VEHICLE
DE102006062061B4 (en) * 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for determining a position based on a camera image from a camera
JP4988786B2 (en) * 2009-04-09 2012-08-01 株式会社日本自動車部品総合研究所 Boundary line recognition device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060274917A1 (en) 1999-11-03 2006-12-07 Cet Technologies Pte Ltd Image processing techniques for a video based traffic monitoring system and methods therefor
US6819779B1 (en) 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
DE10338766B4 (en) 2003-08-23 2005-12-22 Daimlerchrysler Ag Vehicle data bus system with locating unit
DE10338764B4 (en) 2003-08-23 2007-08-16 Daimlerchrysler Ag Method and system for activating a night vision system
US20100041714A1 (en) 2008-08-15 2010-02-18 Jean-Baptiste Blanc Bi-aryl aminotetralines

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014206768A1 (en) * 2014-04-08 2015-10-08 Volkswagen Aktiengesellschaft Method and device for determining solar radiation
DE102019209064A1 (en) * 2019-06-24 2020-12-24 Zf Friedrichshafen Ag Device for reacting to shaded objects in the vicinity of a vehicle
DE102019209064B4 (en) 2019-06-24 2022-09-29 Zf Friedrichshafen Ag Device for reacting to shadowed objects in the surroundings of a vehicle
CN112613370A (en) * 2020-12-15 2021-04-06 浙江大华技术股份有限公司 Target defect detection method, device and computer storage medium
DE102021213881A1 (en) 2021-12-07 2023-06-07 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for operating a vehicle
WO2023222961A1 (en) * 2022-05-19 2023-11-23 Stellantis Auto Sas Method for managing the path of a motor vehicle in its traffic lane
FR3135682A1 (en) * 2022-05-19 2023-11-24 Psa Automobiles Sa Method for managing the trajectory of a motor vehicle in its lane
DE102022122339A1 (en) 2022-09-05 2024-03-07 Bayerische Motoren Werke Aktiengesellschaft Method and device for measuring a parking space for a motor vehicle
DE102023101366B3 (en) 2023-01-20 2024-03-21 Cariad Se Computer-implemented method, processor circuit and system for determining a marking course of a lane marking of a lane that is currently being traveled by a vehicle

Also Published As

Publication number Publication date
WO2012034637A1 (en) 2012-03-22

Similar Documents

Publication Publication Date Title
DE102010045511A1 (en) Method and device for detecting lane markings in an image
EP2057583B1 (en) Automatic high beam control method
DE102006010295B4 (en) Camera system with at least two image recorders
WO2014032904A1 (en) Method and apparatus for identifying a position of a vehicle in a lane
WO2011157251A1 (en) Method for combining a road sign recognition system and a lane detection system of a motor vehicle
EP1557692A1 (en) Method for detecting marked hazardous locations and/or road works in the vicinity of roadways
EP2033165B1 (en) Method for picking up a traffic space
EP3488607B1 (en) Camera device for recording an environmental area of a vehicle, and method for providing a driver assistance function
WO2013113500A1 (en) Driver assistance system and method for virtual representation of a road layout under obscured visibility and/or poor visibility conditions
DE102011088130A1 (en) Method and device for detecting a braking situation
DE112015001128T5 (en) Display object information display device
DE102009002101A1 (en) Method and device for illuminating road side areas
DE102005039895A1 (en) Lane Departure Warning and / or Lane Keeping System
DE102007025147B4 (en) Lane departure warning and / or lane departure warning system
DE102016012313A1 (en) Device for assisting a driver of a vehicle with a projection device
EP1028387B2 (en) Device for recognizing the environment, in particuliar for recognising traffic road signs
DE102011116304A1 (en) Vehicle has image forming medium with pre-determined detection range, where transmitting medium is provided for transmitting images generated by image forming medium
DE102011055441A1 (en) Method for determining spacing between preceding and forthcoming motor cars by using mono camera in e.g. adaptive cruise control system, involves determining spacing between cars based on information about license plate number
DE102017221839A1 (en) Method for determining the position of a vehicle, control unit and vehicle
DE102010049214A1 (en) Method for determining lane course for vehicle for e.g. controlling lane assistance device, involves determining global surrounding data from fusion of lane course data with card data, and determining lane course of vehicle from global data
DE102008050456B4 (en) Method and apparatus for lane detection
WO2019057553A1 (en) Method and device for determining a highly precise position and for operating an automated vehicle
DE102016119592A1 (en) Method for detecting objects in an environmental region of a motor vehicle taking into account sensor data in the infrared wavelength range, object recognition device, driver assistance system and motor vehicle
EP2748759A1 (en) Method and device for detecting disturbing objects in the surrounding air of a vehicle
EP3856557A1 (en) Method for detecting light conditions in a vehicle

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20140401