DE102010045511A1 - Method and device for detecting lane markings in an image - Google Patents
Method and device for detecting lane markings in an image Download PDFInfo
- Publication number
- DE102010045511A1 DE102010045511A1 DE102010045511A DE102010045511A DE102010045511A1 DE 102010045511 A1 DE102010045511 A1 DE 102010045511A1 DE 102010045511 A DE102010045511 A DE 102010045511A DE 102010045511 A DE102010045511 A DE 102010045511A DE 102010045511 A1 DE102010045511 A1 DE 102010045511A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- lane
- shadow
- vehicle
- lane markings
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur Detektion von Fahrbahnmarkierungen (FM1, FM2) in einem Bild (B), wobei eine Umgebung eines Fahrzeugs (1) in zumindest einem Bild (B) erfasst wird, wobei Fahrbahnmarkierungen (FM1, FM2) in dem Bild (B) detektiert werden und aus den Fahrbahnmarkierungen (FM1, FM2) ein Fahrspurverlauf ermittelt wird, wobei bei der Detektion der Fahrbahnmarkierungen (FM1, FM2) im Bild (B) vorhandene Schattenbereiche (S1, S2) berücksichtigt werden. Erfindungsgemäß wird eine Lichteinfallsrichtung (R) ermittelt und anhand der Lichteinfallsrichtung (R) wird eine Wahrscheinlichkeit ermittelt, ob im Bild (B) ein einer Fahrbahnmarkierung (FM1, FM2) ähnlicher Schattenbereich (S1, S2) und/oder eine einer Fahrbahnmarkierung (FM1, FM2) ähnliche Schattenlücke (SL) aus einem aufgrund eines Lichtscheins (L) einer Lichtquelle mit der ermittelten Lichteinfallsrichtung (R) erzeugten Schattenwurf eines oder mehrerer Objekte (O1, O2) in der Umgebung des Fahrzeugs (1) resultieren, wobei eine Plausibilisierung von als potenzielle Fahrbahnmarkierungen in dem Bild (B) erkannten Strukturen durchgeführt wird und wobei in Abhängigkeit der Größe der Wahrscheinlichkeit als Schattenbereich (S1, S2) und/oder Schattenlücke (SL) identifizierte potenzielle Fahrbahnmarkierungen bei der Ermittlung des Fahrspurverlaufs verworfen werden. Die Erfindung betrifft weiterhin eine Vorrichtung (2) zur Detektion von Fahrbahnmarkierungen (FM1, FM2) in einem Bild (B).The invention relates to a method for the detection of lane markings (FM1, FM2) in an image (B), the surroundings of a vehicle (1) being recorded in at least one image (B), lane markings (FM1, FM2) in the image ( B) are detected and a lane course is determined from the lane markings (FM1, FM2), shadow areas (S1, S2) present in the image (B) being taken into account when the lane markings (FM1, FM2) are detected. According to the invention, a direction of incidence of light (R) is determined and, on the basis of the direction of incidence of light (R), a probability is determined whether in the image (B) a shadow area (S1, S2) similar to a lane marking (FM1, FM2) and / or a lane marking (FM1, FM2) similar shadow gap (SL) results from a shadow cast by one or more objects (O1, O2) in the vicinity of the vehicle (1) due to a light (L) from a light source with the determined direction of incidence of light (R), with a plausibility check of as potential lane markings in the image (B) recognized structures is carried out and depending on the size of the probability as a shadow area (S1, S2) and / or shadow gap (SL) identified potential lane markings are discarded when determining the course of the lane. The invention further relates to a device (2) for the detection of road markings (FM1, FM2) in an image (B).
Description
Die Erfindung betrifft ein Verfahren zur Detektion von Fahrbahnmarkierungen in einem Bild, wobei eine Umgebung eines Fahrzeugs in zumindest einem Bild erfasst wird, wobei Fahrbahnmarkierungen in dem Bild detektiert werden und aus den Fahrbahnmarkierungen ein Fahrspurverlauf ermittelt wird, wobei bei der Detektion der Fahrbahnmarkierungen im Bild vorhandene Schattenbereiche berücksichtigt werden.The invention relates to a method for detecting lane markings in an image, wherein an environment of a vehicle is detected in at least one image, wherein lane markings are detected in the image and from the lane markings a lane course is determined, wherein upon detection of the lane markings in the image existing Shadow areas are taken into account.
Die Erfindung betrifft weiterhin eine Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild, umfassend zumindest eine Bilderfassungseinheit zur Erfassung einer Umgebung eines Fahrzeugs in zumindest einem Bild, umfassend eine Auswerteeinheit zur Detektion der Fahrbahnmarkierungen in dem Bild, zur Ermittlung eines Fahrspurverlaufs aus den Fahrbahnmarkierungen und zur Berücksichtigung von im Bild vorhandenen Schattenbereichen bei der Detektion der Fahrbahnmarkierungen.The invention further relates to a device for detecting lane markings in an image, comprising at least one image capture unit for detecting an environment of a vehicle in at least one image, comprising an evaluation unit for detecting the lane markings in the image, for determining a lane course from the lane markings and for consideration of existing in the image shadow areas in the detection of the lane markings.
Aus der
Weiterhin ist aus der
Ferner beschreibt die
Die
Zusätzlich ist aus der
Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Detektion von Fahrbahnmarkierungen in einem Bild anzugeben. Weiterhin liegt der Erfindung die Aufgabe zugrunde, eine verbesserte Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild anzugeben.The invention has for its object to provide a comparison with the prior art improved method for detecting lane markings in a picture. Furthermore, the invention has for its object to provide an improved device for the detection of lane markings in a picture.
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Vorrichtung durch die im Anspruch 8 angegebenen Merkmale gelöst.With regard to the method, the object is achieved by the features specified in claim 1 and in terms of the device by the features specified in claim 8.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.
In einem Verfahren zur Detektion von Fahrbahnmarkierungen in einem Bild wird eine Umgebung eines Fahrzeugs in zumindest einem Bild erfasst, wobei Fahrbahnmarkierungen in dem Bild detektiert werden und aus den Fahrbahnmarkierungen ein Fahrspurverlauf ermittelt wird, wobei bei der Detektion der Fahrbahnmarkierungen im Bild vorhandene Schattenbereiche berücksichtigt werden.In a method for detecting lane markings in an image, an environment of a vehicle is detected in at least one image, wherein lane markings are detected in the image and a lane course is determined from the lane markings, wherein shadow regions present in the detection of the lane markings in the image are taken into account.
Erfindungsgemäß werden eine Lichteinfallsrichtung und anhand der Lichteinfallsrichtung eine Wahrscheinlichkeit ermittelt, ob im Bild ein einer Fahrbahnmarkierung ähnlicher Schattenbereich und/oder eine einer Fahrbahnmarkierung ähnliche Schattenlücke aus einem aufgrund eines Lichtscheins einer Lichtquelle mit der ermittelten Lichteinfallsrichtung erzeugten Schattenwurf eines oder mehrerer Objekte in der Umgebung des Fahrzeugs resultieren, wobei eine Plausibilisierung von als potenzielle Fahrbahnmarkierungen in dem Bild erkannten Strukturen durchgeführt wird und in Abhängigkeit der Größe der Wahrscheinlichkeit als Schattenbereich und/oder Schattenlücke identifizierte potenzielle Fahrbahnmarkierungen bei der Ermittlung des Fahrspurverlaufs verworfen werden.According to the invention, a light incidence direction and, based on the direction of light incidence, a probability are determined as to whether a shadow area similar to a lane marking in the image and / or a shadow gap similar to a lane marking result from a shadow cast of one or more objects in the surroundings of the vehicle due to a light beam of a light source with the detected light incidence direction result in a plausibility of structures recognized as potential lane markers in the image is performed and depending on the size of the probability identified as a shadow area and / or shadow gap potential lane markings are discarded in the determination of the lane course.
Hieraus ergibt sich als Vorteil, dass die Erkennung und Detektion von Fahrbahnmarkierungen im Bild, d. h. in der Umgebung des Fahrzeugs, verbessert ist und zuverlässig aus Schattenbereichen und/oder Schattenlücken resultierende potenzielle Fahrbahnmarkierungen von realen Fahrbahnmarkierungen unterschieden werden. Daraus resultiert in besonders vorteilhafter Weise, dass Fehlwarnungen und/oder Fehleingriffe bei einer Nutzung des Verfahrens zur Unterstützung eines Fahrers bei der Spurführung seines Fahrzeugs vermieden werden.This results in the advantage that the detection and detection of lane markings in the image, d. H. in the vicinity of the vehicle, and reliably distinguishes potential shadow markings from shadow areas and / or shadow gaps from real road markings. This results in a particularly advantageous manner that false warnings and / or incorrect interventions are avoided when using the method to assist a driver in the tracking of his vehicle.
Die Lichteinfallsrichtung wird dabei insbesondere relativ zum Fahrzeug und/oder relativ zu einer Himmelsrichtung, beispielsweise der Himmelrichtung ”Nord”, ermittelt. Der Richtungssinn der Lichteinfallsrichtung setzt sich aus einem horizontalen Winkel, d. h. dem so genannten Azimut, und einem vertikalen Winkel, d. h. der so genannten Elevation, zusammen.The direction of light incidence is determined in particular relative to the vehicle and / or relative to a cardinal direction, for example the sky direction "north". The sense of direction of the light incidence direction is made up of a horizontal angle, i. H. the so-called azimuth, and a vertical angle, d. H. the so-called elevation, together.
In einer bevorzugten Weiterbildung des erfindungsgemäßen Verfahrens wird bei der Ermittlung der Lichteinfallsrichtung ein Sonnenstand anhand einer Position des Fahrzeugs, einer Ausrichtung des Fahrzeugs relativ zu einer Himmelsrichtung, einem Kalenderdatum und/oder einer aktuellen Uhrzeit ermittelt. Diese Ermittlung zeichnet sich zum einen dadurch aus, dass sie besonders einfach und ohne großen zusätzlichen Aufwand durchführbar ist. Zum anderen ist der Sonnenstand sehr exakt ermittelbar.In a preferred embodiment of the method according to the invention, a sun position is determined on the basis of a position of the vehicle, an orientation of the vehicle relative to a cardinal direction, a calendar date and / or a current time when determining the light incident direction. This determination is characterized on the one hand by the fact that it is particularly simple and feasible without much additional effort. On the other hand, the position of the sun can be determined very precisely.
Weiterhin wird gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens überprüft, ob sich in dem Schattenbereich und/oder der Schattenlücke ein oder mehrere Fahrbahnmarkierungen befinden. In Schattenbereichen sind Fahrbahnmarkierungen aufgrund der verringerten Helligkeit und der daraus resultierenden Verringerung eines Kontrasts zwischen den Fahrbahnmarkierungen und einer Fahrbahnoberfläche schwieriger zu detektieren. Hierzu sind aufwändige Verfahren erforderlich. Aufgrund der Erfassung des Schattenbereichs und/oder der Schattenlücken ist es möglich, diese aufwändigen Verfahren lediglich in begrenzten Bereichen des Bilds, das heißt den Schattenbereichen, durchzuführen und somit den Aufwand bei der Ermittlung der Fahrbahnmarkierungen bei steigender Zuverlässigkeit zu verringern.Furthermore, it is checked according to an embodiment of the method according to the invention, whether there are one or more lane markings in the shadow area and / or the shadow gap. In shadow areas, lane markings are more difficult to detect due to the reduced brightness and consequent reduction in contrast between the lane markings and a road surface. For this complex procedures are required. Due to the detection of the shadow area and / or the shadow gaps, it is possible to carry out these complex procedures only in limited areas of the image, ie the shadow areas, and thus to reduce the effort in determining the lane markings with increasing reliability.
Um zu ermitteln, ob die Lichtquelle, insbesondere die Sonne von Wolken oder in der Umgebung des Fahrzeugs befindlichen Objekten verdeckt ist, wird vorzugsweise eine Stärke eines Lichtscheins ermittelt, welcher bei der Plausibilisierung der potenziellen Fahrbahnmarkierungen berücksichtigt wird. Somit ist die Detektion der Fahrbahnmarkierungen weiter verbessert. Insbesondere wird auch berücksichtigt, dass bei geringer Stärke des Lichtscheins der Lichtquelle weniger Schattenbereiche und/oder Schattenlücken ausgebildet sind bzw. weniger stark ausgeprägt ausgebildet sind, so dass deren Kontrast zu ungehindert beleuchteten Bereichen bzw. zum jeweiligen Schattenbereich verringert ist.In order to determine whether the light source, in particular the sun, is obscured by clouds or objects located in the surroundings of the vehicle, it is preferable to determine a luminous intensity that is taken into account in the plausibility check of the potential lane markings. Thus, the detection of the lane markings is further improved. In particular, it is also taken into account that with less intensity of the light source of the light source, fewer shadow areas and / or shadow gaps are formed or formed less pronounced, so that their contrast to unimpeded illuminated areas or to the respective shadow area is reduced.
Um weiterhin schnell und sicher zu ermitteln, ob die ermittelten potenziellen Fahrbahnmarkierungen aus einem Schattenwurf und/oder einer Schattenlücke eines oder mehrerer Objekte resultieren, wird bei der Ermittlung der potenziellen Fahrbahnmarkierungen und/oder Plausibilisierung bevorzugt eine Größe und/oder Form der Objekte und/oder ein Abstand der zumindest einen Bilderfassungseinheit zu den Objekten berücksichtigt.In order to further determine quickly and reliably whether the determined potential lane markings result from a shadow and / or a shadow gap of one or more objects, in determining the potential lane markings and / or plausibility is preferably a size and / or shape of the objects and / or a distance of the at least one image acquisition unit to the objects taken into account.
Gemäß einer zweckmäßigen Ausgestaltung des erfindungsgemäßen Verfahrens wird bei der Ermittlung der potenziellen Fahrbahnmarkierungen und/oder Plausibilisierung eine Straßenkategorie einer Straße, auf welcher sich das Fahrzeug bewegt, berücksichtigt. Somit ist es möglich, dass eine Wahrscheinlichkeit eines Vorhandenseins bestimmter Objekte, wie beispielsweise Leitplanken und/oder Leitpfosten, die bestimmte Schattenbereiche und/oder Schattenlücke erzeugen, in die Ermittlung und/oder Plausibilisierung einbezogen wird. Beispielsweise ist die Wahrscheinlichkeit für Leitplanken auf Autobahnen höher als auf Gemeindestraßen. Somit ist auch die Wahrscheinlichkeit auf Autobahnen höher als auf Gemeindestraßen, dass aufgrund eines Schattenwurfs der Leitplanke Schattenbereiche und/oder Schattenlücken als potenzielle Fahrbahnmarkierungen ermittelt werden. According to an expedient embodiment of the method according to the invention, when determining the potential lane markings and / or plausibility check, a street category of a road on which the vehicle is moving is taken into account. Thus, it is possible that a likelihood of the presence of certain objects, such as crash barriers and / or guide posts, which generate certain shadow areas and / or shadow gaps, is included in the determination and / or plausibility check. For example, the probability of guardrails on highways is higher than on local roads. Thus, the likelihood on highways is higher than on local roads, that due to a shadow of the guardrail shadow areas and / or shadow gaps are determined as potential lane markings.
Alternativ oder zusätzlich wird berücksichtigt, ob sich das Fahrzeug auf, unterhalb, oberhalb und/oder innerhalb eines oder mehrerer Bauwerke zum Führen von Verkehrswegen befindet. Diese Ausgestaltung führt wiederum zu dem Vorteil, dass eine Wahrscheinlichkeit eines Vorhandenseins bestimmter Objekte, wie beispielsweise Leitplanken und/oder Leitpfosten, in die Ermittlung und/oder Plausibilisierung einbezogen werden kann. Dabei ist eine Wahrscheinlichkeit für das Vorhandensein von Leitplanken auf Brücken besonders hoch. Dagegen ist es bei einem Durchfahren von Tunneln unwahrscheinlich oder nicht möglich, dass aufgrund von Sonnenlicht erzeugte Schattenbereiche und/oder Schattenlücken als potenzielle Fahrbahnmarkierungen erkannt werden.Alternatively or additionally, it is considered whether the vehicle is located on, below, above and / or within one or more structures for guiding traffic routes. This embodiment in turn leads to the advantage that a probability of the presence of certain objects, such as crash barriers and / or guide posts, can be included in the determination and / or plausibility check. In this case, a probability for the presence of crash barriers on bridges is particularly high. By contrast, when driving through tunnels, it is unlikely or impossible for shadow areas and / or shadow gaps created by sunlight to be recognized as potential lane markings.
In einer Weiterbildung des Verfahrens wird anhand eines Geländemodells einer digitalen Karte einer Navigationsvorrichtung und der ermittelten Lichteinfallsrichtung und/oder eines Städtemodells einer digitalen Karte einer Navigationsvorrichtung und der ermittelten Lichteinfallsrichtung ermittelt, ob sich in einer Sichtlinie zwischen einer Fahrzeugposition und der Lichtquelle Geländestrukturen, Pflanzen und/oder Bauwerke befinden, wobei die ermittelten Geländestrukturen, Pflanzen und/oder Bauwerke bei der Ermittlung der potenziellen Fahrbahnmarkierungen und/oder der Plausibilisierung berücksichtigt werden. Dadurch wird ermöglicht, dass in einfacher und schneller Weise ermittelt werden kann, ob Geländestrukturen, Pflanzen und/oder Bauwerke in der Umgebung des Fahrzeugs vorhanden sind, welche in Abhängigkeit der Lichteinfallsrichtung als Fahrbahnmarkierungen interpretierbare Schattenbereiche und/oder Schattenlücken erzeugen oder einen Bereich, in welchem sich das Fahrzeug befindet, vollständig beschatten, so dass die Wahrscheinlichkeit von derart fehlinterpretierbaren Schattenbereichen und/oder Schattenlücken sehr gering ist.In a development of the method, it is determined on the basis of a terrain model of a digital map of a navigation device and the determined light incidence direction and / or a city model of a digital map of a navigation device and the determined direction of light incidence whether terrain structures, plants and / or in a line of sight between a vehicle position and the light source or structures, taking into account the identified off-road structures, plants and / or structures in determining the potential lane markings and / or the plausibility check. This makes it possible to determine in a simple and rapid manner whether terrain structures, plants and / or structures are present in the surroundings of the vehicle, which generate interpretable shadow areas and / or shadow gaps as road markings depending on the light incident direction or an area in which the vehicle is completely shaded, so that the probability of such misinterpretable shadow areas and / or shadow gaps is very low.
Die Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild umfasst zumindest eine Bilderfassungseinheit zur Erfassung einer Umgebung eines Fahrzeugs in zumindest einem Bild und eine Auswerteeinheit zur Detektion der Fahrbahnmarkierungen in dem Bild, zur Ermittlung eines Fahrspurverlaufs aus den Fahrbahnmarkierungen und zur Berücksichtigung von im Bild vorhandenen Schattenbereichen bei der Detektion der Fahrbahnmarkierungen.The device for detecting lane markings in an image comprises at least one image capture unit for detecting a surroundings of a vehicle in at least one image and an evaluation unit for detecting the lane markings in the image, for determining a lane course from the lane markings and for taking account of shadow regions present in the image the detection of lane markings.
Erfindungsgemäß ist die Auswerteeinheit mit einer Ermittlungseinheit zur Ermittlung einer Lichteinfallsrichtung gekoppelt, wobei mittels der Auswerteeinheit anhand der Lichteinfallsrichtung eine Wahrscheinlichkeit ermittelbar ist, ob im Bild ein einer Fahrbahnmarkierung ähnlicher Schattenbereich und/oder eine einer Fahrbahnmarkierung ähnliche Schattenlücke aus einem aufgrund eines Lichtscheins einer Lichtquelle mit der ermittelten Lichteinfallsrichtung erzeugten Schattenwurf eines oder mehrerer Objekte in der Umgebung des Fahrzeugs resultieren, wobei mittels der Auswerteeinheit eine Plausibilisierung von als potenzielle Fahrbahnmarkierungen in dem Bild erkannten Strukturen und in Abhängigkeit der Größe der Wahrscheinlichkeit eine Verwerfung der als Schattenbereich und/oder Schattenlücke identifizierten potenziellen Fahrbahnmarkierungen bei der Ermittlung des Fahrspurverlaufs durchführbar sind.According to the invention, the evaluation unit is coupled to a detection unit for determining a direction of light incidence, whereby a probability can be determined by means of the evaluation unit based on the light incidence direction, whether a shadow area similar to a lane marking and / or a shadow gap similar to a lane marking from a light source of a light source By means of the evaluation unit, a plausibility check of structures identified as potential lane markings in the image and, depending on the size of the likelihood, a rejection of the potential lane markings identified as the shadow area and / or shadow gap contribute to the detected light incidence direction the determination of the lane course are feasible.
Die Vorrichtung zeichnet sich dabei durch einen einfachen Aufbau aus und es ist in besonders vorteilhafter Weise nur ein geringer Aufwand zur Realisierung der Funktion der Vorrichtung erforderlich. Weiterhin kann insbesondere ein Fahrerassistenzsystem zur Unterstützung eines Fahrers eines Fahrzeugs bei der Spurführung des Fahrzeugs in seiner Funktion verbessert werden und Fehlwarnungen und/oder Fehleingriffe werden vermieden oder zumindest reduziert.The device is characterized by a simple structure and it is in a particularly advantageous manner only a small effort to realize the function of the device required. Furthermore, in particular, a driver assistance system for assisting a driver of a vehicle in the tracking of the vehicle can be improved in its function, and false warnings and / or incorrect interventions are avoided or at least reduced.
Die Ermittlungseinheit umfasst vorzugsweise zumindest einen Lichtsensor zur Erfassung einer Stärke eines Lichtscheins oder ist mit diesem gekoppelt. Mittels des Lichtsensors, welcher beispielsweise als Fotowiderstand, Fotodiode, Fototransistor, pyroelektrischer Sensor, Fotozelle und/oder Solarzelle ausgebildet ist, ist die Stärke des Lichtscheins der Lichtquelle sehr genau und gleichzeitig einfach sowie mit geringem Aufwand ermittelbar. Somit ist ermittelbar, ob beispielsweise die Sonne als Lichtquelle von Wolken oder Objekten verdeckt ist oder der Lichtschein der ungehindert ist.The determination unit preferably comprises at least one light sensor for detecting a strength of a light beam or is coupled thereto. By means of the light sensor, which is designed for example as a photoresistor, photodiode, phototransistor, pyroelectric sensor, photocell and / or solar cell, the intensity of the light source of the light source can be determined very accurately and at the same time simply and with little effort. Thus, it can be determined whether, for example, the sun is hidden as a light source of clouds or objects or the light is unhindered.
In einer besonders bevorzugten Ausgestaltung der erfindungsgemäßen Vorrichtung ist die Auswerteeinheit mit einer Ortungseinheit, einer Navigationsvorrichtung und/oder einer Empfangseinheit zum Empfang von Positionsdaten des Fahrzeugs, eines Kalenderdatums, einer Uhrzeit und/oder einer Ausrichtung des Fahrzeugs zu einer Himmelsrichtung gekoppelt. Aufgrund dieser Ausbildung der Vorrichtung ist ein Sonnenstand sehr einfach und sehr genau ermittelbar. Insbesondere sind bei der Verwendung der Vorrichtung in modernen Fahrzeugen mit Navigationsvorrichtung keine zusätzlichen Anordnungen zur Ermittlung dieser Daten erforderlich. Alternativ oder zusätzlich zeichnet sich auch der zusätzliche Einbau der Ortungseinheit und/oder der Empfangseinheit zum Empfang von Positionsdaten des Fahrzeugs durch einen geringen Material- und Montageaufwand aus.In a particularly preferred embodiment of the device according to the invention, the evaluation unit is provided with a locating unit, a navigation device and / or a receiving unit for receiving position data of the vehicle Calendar date, a time and / or an orientation of the vehicle coupled to a cardinal direction. Because of this design of the device, a position of the sun is very simple and can be determined very accurately. In particular, when using the device in modern vehicles with navigation devices, no additional arrangements are required for determining this data. Alternatively or additionally, the additional installation of the locating unit and / or the receiving unit for receiving position data of the vehicle is characterized by a low material and assembly costs.
Ausführungsbeispiele des Verfahrens werden im Folgenden anhand von Zeichnungen näher erläutert:Embodiments of the method are explained in more detail below with reference to drawings:
Dabei zeigen:Showing:
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.
In
Die Vorrichtung
Zusätzlich weist die Vorrichtung
Die Auswerteeinheit
Die Vorrichtung
Eine rechte Fahrspur FS1 ist rechtsseitig von einer ersten Fahrbahnmarkierung FM1 begrenzt, welche als durchgezogene Linie ausgebildet ist. Linksseitig ist die rechte Fahrspur FS1 von einer zweiten Fahrbahnmarkierung FM2 begrenzt, wobei die zweite Fahrbahnmarkierung FM2 gleichzeitig eine linke Fahrspur FS2 von der rechten Fahrspur FS1 trennt. Die zweite Fahrbahnmarkierung FM2 ist als unterbrochene Linie ausgebildet. Linksseitig ist die linke Fahrspur FS2 von einem als Leitplanke, insbesondere von einem als zwei übereinander angeordneten Leitplanken ausgebildeten Objekt O1 begrenzt.A right lane FS1 is bounded on the right side by a first lane marking FM1, which is formed as a solid line. On the left side, the right lane FS1 is bounded by a second lane marking FM2, the second lane marking FM2 simultaneously separating a left lane FS2 from the right lane FS1. The second lane marking FM2 is formed as a broken line. On the left side, the left lane FS2 is bounded by an object O1 designed as a guardrail, in particular by an obstacle designed as two guardrails arranged one above the other.
Die Detektion der Fahrbahnmarkierungen FM1, FM2 in dem Bild B der Umgebung des Fahrzeugs
Aufgrund des Lichtscheins L der Sonne mit der dargestellten Lichteinfallsrichtung R entsteht im linken Bereich der linken Fahrspur FS2 ein Schattenwurf der Leitplanke, so dass sich ein Schattenbereich S1 ausbildet. Aufgrund der nicht vollflächigen Ausbildung der Leitplanke wird diese in Teilbereichen von dem Lichtschein L durchleuchtet, so dass der Schattenbereich S1 ebenfalls nicht vollflächig ausgebildet ist. Dabei bilden sich in dem Schattenbereich S1 Schattenlücken SL aus.Due to the light beam L of the sun with the light incidence direction R, a shadow cast of the guardrail is produced in the left-hand area of the left lane FS2, so that a shadow area S1 is formed. Due to the non-entire surface of the guardrail this is illuminated in some areas of the light L, so that the shadow area S1 also not full surface is trained. Shadow gaps SL are formed in the shadow area S1.
Die dargestellten Schattenlücken SL sind in ihrer Anordnung und Ausformung der als unterbrochene Linie ausgebildeten Fahrbahnmarkierung FM2 ähnlich. Damit die Schattenlücken SL von der Auswerteeinheit
Hierzu ist die Auswerteeinheit
Die Ermittlung des Sonnenstands wird mittels der Auswerteeinheit
Alternativ zu der Ermittlung des Sonnenstands mittels der Auswerteeinheit
Unter Zugrundelegen der Lichteinfallsrichtung R des Lichtscheins L der Sonne, d. h. des Sonnenstands, wird mittels der Auswerteeinheit
Um eine Verwendung des Schattenbereichs S1 und der Schattenlücken SL als falsch identifizierte Fahrbahnmarkierungen FM1, FM2 zum Betrieb der Fahrerassistenzvorrichtung
Diese potenziellen Fahrbahnmarkierungen werden einer mittels der Auswerteeinheit
Um die Zuverlässigkeit der Vorrichtung
Bei den Objekten handelt es sich um Geländestrukturen, Pflanzen und/oder Bauwerke. Anhand eines Geländemodells einer digitalen Karte der Navigationsvorrichtung
Befindet sich ein Objekt in der Sichtlinie zwischen der Fahrzeugposition und der Sonne und/oder ist die Sonne von Wolken verdeckt, ist die Stärke des Lichtscheins L gering. Bei geringen Stärken des Lichtscheins L ist es unwahrscheinlich, dass ein Kontrast zwischen den Schattenlücken SL und dem Schattenbereich S1 ausreichend groß ist, dass die Auswerteeinheit
Alternativ oder zusätzlich werden bei der Plausibilisierung weiterhin eine Größe und Form des als Leitplanke ausgebildeten Objekts O1 und ein Abstand der Bilderfassungseinheit
Ebenfalls alternativ oder zusätzlich wird bei der Plausibilisierung eine Straßenkategorie einer Straße, auf welcher sich das Fahrzeug
Ferner wird vorzugsweise berücksichtigt, ob sich das Fahrzeug
Es wird weiterhin vorzugsweise überprüft, ob Schattenbereiche S2 von einem sich mit dem Fahrzeug mitbewegenden Objekt O2 erzeugt werden. Im dargestellten Ausführungsbeispiel handelt es sich Objekt O2 um einen Lastkraftwagen. Da in diesem Schattenbereich S2 und dem von der Leitplanke erzeugten Schattenbereich S1 aufgrund von verminderten Kontrasten zwischen Fahrbahnmarkierungen FM1, FM2 und der Fahrbahn FB eine Detektion der Fahrbahnmarkierungen FM1, FM2 erschwert ist, wird eine Einstellung von optischen Parametern der Bilderfassungseinheit
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 11
- Fahrzeugvehicle
- 2two
- Vorrichtungcontraption
- 2.12.1
- BilderfassungseinheitImage capture unit
- 2.22.2
- Auswerteeinheitevaluation
- 2.32.3
- Ermittlungseinheitdetermining unit
- 2.3.12.3.1
- Lichtsensorlight sensor
- 33
- Navigationsvorrichtungnavigation device
- 44
- FahrerassistenzvorrichtungDriver assistance device
- AA
- Ausrichtungalignment
- BB
- Bildimage
- DD
- Kalenderdatumcalendar date
- FBFB
- Fahrbahnroadway
- FM1FM1
- Fahrbahnmarkierungroad marking
- FM2FM2
- Fahrbahnmarkierungroad marking
- FS1FS1
- Fahrspurlane
- FS2FS2
- Fahrspurlane
- LL
- Lichtscheinglow
- O1O1
- Objektobject
- O2O2
- Objektobject
- POSPOS
- Positionposition
- RR
- LichteinfallsrichtungLight direction
- S1 S1
- Schattenbereichshadow area
- S2S2
- Schattenbereichshadow area
- SLSL
- Schattenlückeshadow gap
- TT
- Uhrzeittime of day
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- US 2010/0041714 A1 [0003] US 2010/0041714 A1 [0003]
- US 2006/0274917 A1 [0004] US 2006/0274917 A1 [0004]
- US 6819779 B1 [0005] US 6819779 B1 [0005]
- DE 10338764 B4 [0006, 0043] DE 10338764 B4 [0006, 0043]
- DE 10338766 B4 [0007, 0043] DE 10338766 B4 [0007, 0043]
Claims (10)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102010045511A DE102010045511A1 (en) | 2010-09-15 | 2010-09-15 | Method and device for detecting lane markings in an image |
PCT/EP2011/004249 WO2012034637A1 (en) | 2010-09-15 | 2011-08-24 | Method and device for detecting roadway markings in an image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102010045511A DE102010045511A1 (en) | 2010-09-15 | 2010-09-15 | Method and device for detecting lane markings in an image |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102010045511A1 true DE102010045511A1 (en) | 2012-03-15 |
Family
ID=44514632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102010045511A Withdrawn DE102010045511A1 (en) | 2010-09-15 | 2010-09-15 | Method and device for detecting lane markings in an image |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102010045511A1 (en) |
WO (1) | WO2012034637A1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014206768A1 (en) * | 2014-04-08 | 2015-10-08 | Volkswagen Aktiengesellschaft | Method and device for determining solar radiation |
DE102019209064A1 (en) * | 2019-06-24 | 2020-12-24 | Zf Friedrichshafen Ag | Device for reacting to shaded objects in the vicinity of a vehicle |
CN112613370A (en) * | 2020-12-15 | 2021-04-06 | 浙江大华技术股份有限公司 | Target defect detection method, device and computer storage medium |
DE102021213881A1 (en) | 2021-12-07 | 2023-06-07 | Robert Bosch Gesellschaft mit beschränkter Haftung | Method and device for operating a vehicle |
WO2023222961A1 (en) * | 2022-05-19 | 2023-11-23 | Stellantis Auto Sas | Method for managing the path of a motor vehicle in its traffic lane |
DE102022122339A1 (en) | 2022-09-05 | 2024-03-07 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for measuring a parking space for a motor vehicle |
DE102023101366B3 (en) | 2023-01-20 | 2024-03-21 | Cariad Se | Computer-implemented method, processor circuit and system for determining a marking course of a lane marking of a lane that is currently being traveled by a vehicle |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10325163B2 (en) * | 2016-11-22 | 2019-06-18 | Ford Global Technologies, Llc | Vehicle vision |
DE102017001814A1 (en) | 2017-02-27 | 2017-10-19 | Daimler Ag | Method for detecting lane markings |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6819779B1 (en) | 2000-11-22 | 2004-11-16 | Cognex Corporation | Lane detection system and apparatus |
DE10338766B4 (en) | 2003-08-23 | 2005-12-22 | Daimlerchrysler Ag | Vehicle data bus system with locating unit |
US20060274917A1 (en) | 1999-11-03 | 2006-12-07 | Cet Technologies Pte Ltd | Image processing techniques for a video based traffic monitoring system and methods therefor |
DE10338764B4 (en) | 2003-08-23 | 2007-08-16 | Daimlerchrysler Ag | Method and system for activating a night vision system |
US20100041714A1 (en) | 2008-08-15 | 2010-02-18 | Jean-Baptiste Blanc | Bi-aryl aminotetralines |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003306102A (en) * | 2002-04-11 | 2003-10-28 | Toshiba Corp | Passing vehicle detection device, and rear side alarm device for drive supporting system |
JP4616046B2 (en) * | 2005-03-22 | 2011-01-19 | 本田技研工業株式会社 | VEHICLE IMAGE PROCESSING SYSTEM, VEHICLE IMAGE PROCESSING METHOD, VEHICLE IMAGE PROCESSING PROGRAM, AND VEHICLE |
DE102006062061B4 (en) * | 2006-12-29 | 2010-06-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for determining a position based on a camera image from a camera |
JP4988786B2 (en) * | 2009-04-09 | 2012-08-01 | 株式会社日本自動車部品総合研究所 | Boundary line recognition device |
-
2010
- 2010-09-15 DE DE102010045511A patent/DE102010045511A1/en not_active Withdrawn
-
2011
- 2011-08-24 WO PCT/EP2011/004249 patent/WO2012034637A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060274917A1 (en) | 1999-11-03 | 2006-12-07 | Cet Technologies Pte Ltd | Image processing techniques for a video based traffic monitoring system and methods therefor |
US6819779B1 (en) | 2000-11-22 | 2004-11-16 | Cognex Corporation | Lane detection system and apparatus |
DE10338766B4 (en) | 2003-08-23 | 2005-12-22 | Daimlerchrysler Ag | Vehicle data bus system with locating unit |
DE10338764B4 (en) | 2003-08-23 | 2007-08-16 | Daimlerchrysler Ag | Method and system for activating a night vision system |
US20100041714A1 (en) | 2008-08-15 | 2010-02-18 | Jean-Baptiste Blanc | Bi-aryl aminotetralines |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014206768A1 (en) * | 2014-04-08 | 2015-10-08 | Volkswagen Aktiengesellschaft | Method and device for determining solar radiation |
DE102019209064A1 (en) * | 2019-06-24 | 2020-12-24 | Zf Friedrichshafen Ag | Device for reacting to shaded objects in the vicinity of a vehicle |
DE102019209064B4 (en) | 2019-06-24 | 2022-09-29 | Zf Friedrichshafen Ag | Device for reacting to shadowed objects in the surroundings of a vehicle |
CN112613370A (en) * | 2020-12-15 | 2021-04-06 | 浙江大华技术股份有限公司 | Target defect detection method, device and computer storage medium |
DE102021213881A1 (en) | 2021-12-07 | 2023-06-07 | Robert Bosch Gesellschaft mit beschränkter Haftung | Method and device for operating a vehicle |
WO2023222961A1 (en) * | 2022-05-19 | 2023-11-23 | Stellantis Auto Sas | Method for managing the path of a motor vehicle in its traffic lane |
FR3135682A1 (en) * | 2022-05-19 | 2023-11-24 | Psa Automobiles Sa | Method for managing the trajectory of a motor vehicle in its lane |
DE102022122339A1 (en) | 2022-09-05 | 2024-03-07 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for measuring a parking space for a motor vehicle |
DE102023101366B3 (en) | 2023-01-20 | 2024-03-21 | Cariad Se | Computer-implemented method, processor circuit and system for determining a marking course of a lane marking of a lane that is currently being traveled by a vehicle |
Also Published As
Publication number | Publication date |
---|---|
WO2012034637A1 (en) | 2012-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102010045511A1 (en) | Method and device for detecting lane markings in an image | |
EP2057583B1 (en) | Automatic high beam control method | |
DE102006010295B4 (en) | Camera system with at least two image recorders | |
WO2011157251A1 (en) | Method for combining a road sign recognition system and a lane detection system of a motor vehicle | |
DE102012024873A1 (en) | Method and control device for providing a road ahead | |
DE102012215322A1 (en) | Method and device for detecting a position of a vehicle on a lane | |
DE102011082600A1 (en) | Recognition of a vehicle driving in a non-permissible driving direction | |
EP1557692A1 (en) | Method for detecting marked hazardous locations and/or road works in the vicinity of roadways | |
WO2013113500A1 (en) | Driver assistance system and method for virtual representation of a road layout under obscured visibility and/or poor visibility conditions | |
DE112015001128T5 (en) | Display object information display device | |
DE102011088130A1 (en) | Method and device for detecting a braking situation | |
DE102009002101A1 (en) | Method and device for illuminating road side areas | |
DE102005039895A1 (en) | Lane Departure Warning and / or Lane Keeping System | |
DE102016210534A1 (en) | Method for classifying an environment of a vehicle | |
DE102007025147B4 (en) | Lane departure warning and / or lane departure warning system | |
WO2007144250A1 (en) | Method for picking up a traffic space | |
EP1028387B2 (en) | Device for recognizing the environment, in particuliar for recognising traffic road signs | |
DE102011116304A1 (en) | Vehicle has image forming medium with pre-determined detection range, where transmitting medium is provided for transmitting images generated by image forming medium | |
DE102011055441A1 (en) | Method for determining spacing between preceding and forthcoming motor cars by using mono camera in e.g. adaptive cruise control system, involves determining spacing between cars based on information about license plate number | |
WO2008132130A1 (en) | Driving lane detection using cameras having different focal lengths | |
EP3688412A1 (en) | Method and device for determining a highly precise position and for operating an automated vehicle | |
DE102015216927B4 (en) | Method and device for automatic documentation of traffic violations | |
DE102016119592A1 (en) | Method for detecting objects in an environmental region of a motor vehicle taking into account sensor data in the infrared wavelength range, object recognition device, driver assistance system and motor vehicle | |
EP2748759A1 (en) | Method and device for detecting disturbing objects in the surrounding air of a vehicle | |
EP3856557A1 (en) | Method for detecting light conditions in a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20140401 |