DE102020003924A1

DE102020003924A1 - Method for camera-based recognition of at least one lane and a vehicle using the method

Info

Publication number: DE102020003924A1
Application number: DE102020003924.3A
Authority: DE
Inventors: Klaus Hermann
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2020-06-30
Filing date: 2020-06-30
Publication date: 2020-09-17

Abstract

Die Erfindung betrifft ein Verfahren zum kamerabasierten Erkennen wenigstens einer Fahrspur (1) in einem entgegen einer Fahrtrichtung (F) eines Fahrzeugs (2) ausgerichteten ersten Sichtbereich (3.1), bei dem zum Erkennen der Fahrspur (1) und Generierung von Fahrspurinformationen Kamerabilder von wenigstens zwei Kameras (4) ausgewertet werden, wobei eine erste Kamera (4.1) wenigstens teilweise entgegen der Fahrtrichtung (F) ausgerichtet ist und den ersten Sichtbereich (3.1) erfasst und eine zweite Kamera (4.2) wenigstens teilweise in Fahrtrichtung (F) ausgerichtet ist und einen zweiten Sichtbereich (3.2) erfasst. Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass die zweite Kamera (3.2) in Fahrtrichtung (F) vorausliegende Fahrspurmarkierungen (5) erfasst und diese mit Hilfe von Geometrie-Informationen und Odometrie-Informationen aus dem zweiten Sichtbereich (3.2) in den ersten Sichtbereich (3.1) transponiert werden.

The invention relates to a method for the camera-based detection of at least one lane (1) in a first field of view (3.1) oriented against a direction of travel (F) of a vehicle (2), in which camera images of at least two cameras (4) are evaluated, a first camera (4.1) being at least partially aligned against the direction of travel (F) and capturing the first field of view (3.1) and a second camera (4.2) being at least partially aligned in the direction of travel (F) and a second field of view (3.2) captured. The method according to the invention is characterized in that the second camera (3.2) detects lane markings (5) lying ahead in the direction of travel (F) and transfers these with the help of geometry information and odometry information from the second viewing area (3.2) to the first viewing area (3.1 ) can be transposed.

Description

Die Erfindung betrifft ein Verfahren zum kamerabasierten Erkennen wenigstens einer Fahrspur in einem entgegen einer Fahrtrichtung eines Fahrzeugs ausgerichteten ersten Sichtbereich nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug, welches das Verfahren nutzt.The invention relates to a method for camera-based detection of at least one lane in a first field of vision oriented against a direction of travel of a vehicle according to the type defined in more detail in the preamble of claim 1, and a vehicle which uses the method.

Um bei einer teil- oder vollautomatisierten Steuerung von Fahrzeugen Manöver gefahrlos durchführen zu können, werden für eine Umgebungserkennung hochpräzise Sensordaten benötigt, welche einer Fahrzeugsteuereinheit zur Steuerung des Fahrzeugs übermittelt werden. Hierzu zählen beispielsweise Informationen von in der Nähe befindlichen weiteren Verkehrsteilnehmern, einem Straßenverlauf oder stationären Umgebungsobjekten. Liegen diese Informationen vor, kann die Fahrzeugsteuereinheit eine Trajektorie für das Fahrzeug unter Vermeidung von Kollisionen berechnen.In order to be able to safely carry out maneuvers in the case of partially or fully automated control of vehicles, high-precision sensor data are required for environmental detection, which are transmitted to a vehicle control unit for controlling the vehicle. This includes, for example, information from other road users in the vicinity, a course of the road or stationary surrounding objects. If this information is available, the vehicle control unit can calculate a trajectory for the vehicle while avoiding collisions.

Ein Teilbereich der Umgebungserkennung stellt dabei das Erfassen von Abständen dar. Hierzu werden beispielsweise Radarsensoren, Lidare, Ultraschallsensoren und/oder Kameras eingesetzt. In Abhängigkeit des Sensortyps können zu verschiedenen Situationen Probleme bei einer Messgrößenerfassung auftreten. So können insbesondere Radarsensoren und Ultraschallsensoren bei Regen, insbesondere bei dem Auftreten von Spritzwasserfontänen, falsche Abstandsinformationen liefern. Tritt Nebel auf, ist die Sichtweite von Kameras eingeschränkt, wodurch diese entfernte Objekte nicht erkennen können. Ein weiteres Problem im Zusammenhang des Einsatzes von Kameras sind Reflektionen, welche beispielsweise bei tiefstehender Sonne auftreten können, da hier helles von der Sonne ausgestrahltes Licht direkt in die Kamera einfällt und somit einen von der Kamera umfassten optischen Sensor blendet. In diesem Fall ist eine korrekte Umgebungserkennung mit Hilfe von Kameras nicht möglich. Bei einem solchen Systemausfall kann das Durchführen von Manövern wie Fahrspurwechseln eingeschränkt oder nicht durchführbar sein.A sub-area of the environment recognition is the detection of distances. For this purpose, for example, radar sensors, lidars, ultrasonic sensors and / or cameras are used. Depending on the type of sensor, problems with measured variable acquisition can occur in various situations. In particular, radar sensors and ultrasonic sensors can provide incorrect distance information when it rains, in particular when spray water fountains occur. If fog occurs, the range of vision of cameras is limited, which means that they cannot see distant objects. Another problem in connection with the use of cameras are reflections, which can occur, for example, when the sun is low, since here bright light emitted by the sun falls directly into the camera and thus blinds an optical sensor encompassed by the camera. In this case, correct detection of the surroundings with the aid of cameras is not possible. In the event of such a system failure, performing maneuvers such as changing lanes may be restricted or impossible.

Aus der DE 10 2017 116 213 A1 ist ein Verfahren und eine Vorrichtung zur Fahrspurerkennung mit einer Rückfahrkamera bekannt. Dabei erfasst eine an einer Rückseite eines Fahrzeugs angebrachte Rückfahrkamera einen rückseitigen Bereich hinter dem Fahrzeug und erzeugt Kamerabilder, welche von einem künstlichen neuronalen Netz zur Erkennung von Fahrspuren und Bereitstellen von Fahrspurinformationen ausgewertet werden. Die dabei erzeugten Fahrspurinformationen werden anschließend einem Fahrerassistenzsystem als zusätzliche Ressource zum Steuern des Fahrzeugs bereitgestellt. Als weitere Ressource werden dem Fahrerassistenzsystem Sensordaten bereitgestellt, welche von einer weiteren Kamera, einem Lidar, einem Radar, einem Ultraschallsystem oder einer Infrarotkamera erzeugt werden. Die mit Hilfe verschiedener Sensortypen erzeugten Sensordaten können dabei für eine Gegenvalidierung von den Sensoren erzeugter Messdaten fusioniert werden. Ferner können die Fahrspurinformationen mit einer Cloud geteilt werden, wobei sie mit Positionsdaten versehen werden, damit weitere Fahrzeuge die erzeugten Fahrspurinformationen eines jeweiligen örtlichen Abschnitts vorab nutzen können. Die Sensordatenfusion umfasst dabei auch eine Fusionierung mit Hilfe wenigstens zweier Kameras erzeugter Daten. Nachteilig ist dabei jedoch, dass die Kamerabilder ausschließlich unter optimalen Bedingungen erzeugbar sind, wodurch eine Durchführung des offenbarten Verfahrens bei widrigen optischen Bedingungen, wie ein Blenden der Kameras durch eine tiefstehende Sonne, nicht möglich ist.From the DE 10 2017 116 213 A1 a method and a device for lane recognition with a reversing camera are known. A reversing camera attached to the rear of a vehicle detects a rear area behind the vehicle and generates camera images which are evaluated by an artificial neural network to identify lanes and provide lane information. The lane information generated in the process is then made available to a driver assistance system as an additional resource for controlling the vehicle. As a further resource, the driver assistance system is provided with sensor data which are generated by a further camera, a lidar, a radar, an ultrasound system or an infrared camera. The sensor data generated with the aid of different sensor types can be merged for a counter-validation of measurement data generated by the sensors. Furthermore, the lane information can be shared with a cloud, in which case it is provided with position data so that other vehicles can use the generated lane information of a respective local section in advance. The sensor data fusion also includes a fusion of data generated with the aid of at least two cameras. The disadvantage here, however, is that the camera images can only be generated under optimal conditions, which means that it is not possible to carry out the disclosed method under adverse optical conditions, such as the cameras being dazzled by a low sun.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur kamerabasierten Erkennung wenigstens einer hinter einem Fahrzeug liegenden Fahrspuren anzugeben, welches eine Fahrspurerkennung auch bei widrigen optischen Bedingungen wie einer Blendung einer rückwärtigen, die hinter dem Fahrzeug liegenden Fahrspuren erfassenden Kamera, ermöglicht.The present invention is based on the object of specifying a method for camera-based detection of at least one lane behind a vehicle, which enables lane detection even under adverse optical conditions such as dazzling a rear camera that detects the lanes behind the vehicle.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum kamerabasierten Erkennen wenigstens einer Fahrspur in einem entgegen einer Fahrtrichtung eines Fahrzeugs ausgerichteten ersten Sichtbereich mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein Fahrzeug, welches das Verfahren nutzt, ergeben sich auch aus den hiervon abhängigen Ansprüchen.According to the invention, this object is achieved by a method for camera-based detection of at least one lane in a first field of vision oriented against a direction of travel of a vehicle with the features of claim 1. Advantageous refinements and developments, as well as a vehicle that uses the method, also result from the claims that are dependent on this.

Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art erfindungsgemäß dadurch gelöst, dass die zweite Kamera in Fahrtrichtung vorausliegende Fahrspurmarkierungen erfasst und diese mit Hilfe von Geometrie-Informationen und Odometrie-Informationen aus dem zweiten Sichtbereich in den ersten Sichtbereich transponiert werden.This object is achieved according to the invention in a method of the type mentioned at the outset in that the second camera detects lane markings lying ahead in the direction of travel and these are transposed from the second field of view into the first field of view with the aid of geometry information and odometry information.

Im Falle, dass in einem Bereich hinter dem Fahrzeug eine starke Lichtquelle vorliegt, welche die erste vom Fahrzeug umfasste Kamera blendet, beispielsweise eine tiefstehende Sonne oder direkt auf die erste Kamera ausgerichtete Schweinwerfer eines hinter dem Fahrzeug fahrenden weiteren Fahrzeugs, ist mit Hilfe des Verfahrens eine Erkennung von hinter dem Fahrzeug befindlichen Fahrspuren weiterhin möglich. Da die starke Lichtquelle von einer rückwärtigen Seite auf das Fahrzeug scheint, wird die zweite Kamera durch die starke Lichtquelle nicht beeinträchtigt und kann weiterhin vor dem Fahrzeug liegende Fahrspurmarkierungen erfassen und zum Erkennen der Fahrspuren verwertbare Kamerabilder erzeugen. Mit Hilfe der von der zweiten Kamera erzeugten Kamerabilder werden Fahrspurinformationen generiert, welche eine Zuordnung einer Relativposition zwischen Fahrzeug und Fahrspurmarkierungen erlauben. Bewegt sich das Fahrzeug weiter in Fahrtrichtung fort, wandern die Fahrspurmarkierungen aus dem zweiten in den ersten Sichtbereich. Durch die Zuordnung der Relativposition zwischen Fahrzeug und Fahrspurmarkierungen lässt sich somit eine Position bzw. ein Verlauf der Fahrspuren im rückwärtigen Teil hinter dem Fahrzeug bestimmen, wodurch die Fahrspuren zur Erkennung ebendieser in von der ersten Kamera erzeugten Kamerabilder einblendbar sind.In the event that there is a strong light source in an area behind the vehicle that blinds the first camera comprised by the vehicle, for example a low-lying sun or headlights of another vehicle driving behind the vehicle that are directly aimed at the first camera, the method can be used to Detection of lanes behind the vehicle is still possible. Since the strong light source shines onto the vehicle from a rear side, the second camera is not impaired by the strong light source and can continue to detect lane markings in front of the vehicle Generate usable camera images to recognize the lanes. With the help of the camera images generated by the second camera, lane information is generated which allows a relative position to be assigned between the vehicle and the lane markings. If the vehicle continues to move in the direction of travel, the lane markings move from the second to the first viewing area. By assigning the relative position between the vehicle and lane markings, a position or a course of the lanes in the rear part behind the vehicle can be determined, so that the lanes can be faded in to identify them in camera images generated by the first camera.

Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass die Fahrspurinformationen wenigstens eine der folgenden Informationen umfassen:

- Fahrspurpunkte zur Kennzeichnung von Fahrspurmarkierungen;
- eine Anzahl an im ersten Sichtbereich vorhandener Fahrspuren;
- eine aktuell vom Fahrzeug befahrene Fahrspur;
- eine Information, ob eine im ersten Sichtbereich vorhandene Fahrspur von einem weiteren Verkehrsteilnehmer befahren wird; und/oder
- wenigstens eine Fahrspurbreite.

Hierbei handelt es sich um relevante Umgebungsinformationen. Insbesondere mit Hilfe der Fahrspurpunkte lässt sich zudem die Relativposition zwischen Fahrzeug und Fahrspurmarkierungen zuordnen.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des Verfahrens umfassen die Geometrie-Informationen wenigstens eine der folgenden Informationen:

- geometrische Dimensionen des Fahrzeugs;
- eine Einbauposition der wenigstens zwei Kameras; und/oder
- eine Ausrichtung der wenigstens zwei Kameras.

An advantageous development of the method provides that the lane information includes at least one of the following information:

- Lane points for marking lane markings;
a number of lanes present in the first field of view;
- a lane currently being used by the vehicle;
- Information as to whether a lane in the first field of vision is being used by another road user; and or
- at least one lane width.

This is relevant environmental information. With the help of the lane points in particular, the relative position between the vehicle and the lane markings can also be assigned.
According to a further advantageous embodiment of the method, the geometry information includes at least one of the following information:

- geometrical dimensions of the vehicle;
- An installation position of the at least two cameras; and or
an alignment of the at least two cameras.

Um ein Transponieren der Fahrspurmarkierungen aus dem zweiten in den ersten Sichtbereich zu ermöglichen, müssen Geometrie-Information vorliegen, welche eine Relativposition und eine Ausrichtung zwischen Fahrspurmarkierungen und den von den Kameras erfassten Sichtbereichen beschreiben. Bezüglich der Fahrzeugdimensionen ist insbesondere eine Fahrzeugausdehnung in Fahrtrichtung relevant, da bei einem langen Fahrzeug die Fahrspurmarkierungen beim Befahren der Fahrbahn später im ersten Sichtbereich auftauchen, als bei einem kurzen Fahrzeug.In order to enable the lane markings to be transposed from the second to the first viewing area, geometry information must be available which describes a relative position and an alignment between lane markings and the viewing areas captured by the cameras. With regard to the vehicle dimensions, the extent of the vehicle in the direction of travel is particularly relevant, since with a long vehicle the lane markings appear later in the first field of vision when driving on the roadway than with a short vehicle.

Eine weitere vorteilhafte Ausgestaltung des Verfahrens sieht ferner vor, dass die Odometrie-Informationen wenigstens eine der folgenden Informationen umfassen:

- eine Fahrgeschwindigkeit des Fahrzeugs; und/oder
- eine Bewegungsrichtung des Fahrzeugs.

Another advantageous embodiment of the method also provides that the odometry information includes at least one of the following information:

- a traveling speed of the vehicle; and or
- a direction of movement of the vehicle.

Neben den Geometrie-Informationen werden Odometrie-Informationen zur korrekten Vorhersage des Auftauchens der Fahrspurmarkierungen im ersten Sichtbereich benötigt. So tauchen beispielsweise die Fahrspurmarkierungen im ersten Sichtbereich früher auf, je schneller das Fahrzeug fährt. Ebenso ist die Bewegungsrichtung des Fahrzeugs, beispielsweise abgeleitet aus einer Lenkradstellung, entscheidend in welchem Bildausschnitt des ersten Sichtbereichs die Fahrspurmarkierungen auftauchen.In addition to the geometry information, odometry information is required for the correct prediction of the appearance of the lane markings in the first field of vision. For example, the lane markings in the first field of vision appear earlier the faster the vehicle drives. The direction of movement of the vehicle, for example derived from a steering wheel position, is also decisive in which image section of the first field of view the lane markings appear.

Entsprechend einer weiteren vorteilhaften Ausgestaltung des Verfahrens werden die Fahrspurinformationen einem Fahrerassistenzsystem zum wenigstens teilautomatisierten Steuern des Fahrzeugs übermittelt.According to a further advantageous embodiment of the method, the lane information is transmitted to a driver assistance system for the at least partially automated control of the vehicle.

Somit lassen sich die Fahrspurinformationen vorteilhaft zur Steuerung des Fahrzeugs nutzen. Insbesondere durch eine Information über die Fahrspurbreite sowie die vom im Fahrzeug befahrene Fahrspur und potenzielle auf weiteren Fahrspuren vorhandene Verkehrsteilnehmer lässt sich das Fahrzeug kollisionsfrei steuern. Dies ist besonders relevant, wenn das Fahrzeug von einem weiteren Fahrzeug überholt wird, beispielsweise einem Einsatzfahrzeug.The lane information can thus be used advantageously to control the vehicle. In particular, information about the lane width as well as the lane used by the vehicle and potential road users in other lanes enables the vehicle to be steered without collision. This is particularly relevant if the vehicle is overtaken by another vehicle, for example an emergency vehicle.

Bevorzugt ist eine Kalibrierung durchführbar, um Fahrspurmarkierungen zuverlässig aus dem zweiten Sichtbereich in den ersten Sichtbereich zu transponieren, wobei zusätzlich zur zweiten Kamera, die in Fahrtrichtung vorausliegende Fahrspurmarkierungen erfasst, die erste Kamera entgegen der Fahrtrichtung zurückliegende Fahrspurmarkierungen erfasst, um das Transponieren der Fahrspurmarkierungen anzupassen.A calibration can preferably be carried out in order to reliably transpose lane markings from the second field of view into the first field of view, wherein in addition to the second camera that detects lane markings ahead in the direction of travel, the first camera detects lane markings that are behind in the direction of travel in order to adapt the transposition of the lane markings.

Das Transponieren der Fahrspurmarkierungen aus dem zweiten in den ersten Sichtbereich erfolgt insbesondere mit Hilfe eines auf einer Recheneinheit ausgeführten Algorithmus unter Ausnutzung der Geometrie-Informationen und der Odometrie-Informationen. Dabei kann es vorkommen, dass beispielsweise aufgrund einer Dejustage einer der Kameraausrichtungen, einer fehlerhaften Geometrie-Informationen und/oder einer fehlerhaften Odometrie-Informationen Sensordaten erzeugt werden, welche nicht der Realität entsprechen. Dies führt dazu, dass die im ersten Sichtbereich eingeblendeten Fahrspurpunkte zur Kennzeichnung der Fahrspurmarkierungen nicht exakt auf den Fahrspurmarkierungen liegen, wodurch Fahrspuren zur Realität versetzt erkannt werden. Mit Hilfe der Kalibrierung kann dieser Versatz ausgeglichen werden. Dies erfordert jedoch, dass optische Bedingungen vorliegen, zu denen auch die erste Kamera die Fahrspurmarkierungen erkennen kann. Erkennt die erste Kamera die im ersten Sichtbereich vorliegenden Fahrspurmarkierungen, können diese mit den aus dem zweiten Sichtbereich in den ersten Sichtbereich transponierten Fahrspurmarkierungen beziehungsweise den Fahrspurpunkten zur Kennzeichnung der Fahrspurmarkierungen zur Deckung gebracht werden. Dabei wird der Algorithmus zum Transponieren der Fahrspurmarkierungen angepasst.The transposition of the lane markings from the second to the first viewing area takes place in particular with the aid of an algorithm executed on a computing unit using the geometry information and the odometry information. It can happen that, for example, due to a misalignment of one of the camera alignments, incorrect geometry information and / or incorrect odometry information, sensor data are generated which do not correspond to reality. This has the result that the lane points shown in the first viewing area for identifying the lane markings are not exactly on the lane markings which means that lanes are recognized offset from reality. This offset can be compensated for with the aid of calibration. However, this requires that optical conditions exist under which the first camera can also recognize the lane markings. If the first camera detects the lane markings present in the first field of view, these can be made to coincide with the lane markings transposed from the second field of view into the first field of view or the lane points for identifying the lane markings. The algorithm for transposing the lane markings is adapted.

Bei einem Fahrzeug mit wenigstens zwei Kameras, einer Recheneinheit und einer Einrichtung zum Erfassen und Verarbeiten von Odometrie-Informationen ist mit Hilfe von den Kameras erzeugter Kamerabilder eine Durchführung des beschriebenen Verfahrens möglich. Dabei liegen Geometrie-Informationen zur Kennzeichnung von Fahrzeugdimensionen, Einbaupositionen der Kameras und/oder von Ausrichtungen der Kameras auf der Recheneinheit vor. Die Odometrie-Informationen können von einem beliebigen Odometrie-System bereitgestellt werden. Beispielsweise können dabei Positions- und/oder Abstandsinformationen von einem GPS, einem Lidar, einem Radar oder Ultraschallsystem erzeugt und daraus Bewegungsinformationen abgeleitet werden. Auch können weitere Fahrzeugsysteme zum Bereitstellen der Odometrie-Informationen genutzt werden, wie das Bestimmen einer Fahrzeuggeschwindigkeit aus einer Raddrehzahl, einer Fortbewegungsrichtung des Fahrzeugs aus einem Lenkwinkel oder Sensordaten, welche von einem ESP, ASR und/oder ABS bereitgestellt werden. Bei dem Fahrzeug kann es sich außerdem um ein beliebiges Fahrzeug wie einen PKW, LKW, eine Baumaschine, eine Landmaschine oder dergleichen handeln.In a vehicle with at least two cameras, a computing unit and a device for capturing and processing odometry information, it is possible to carry out the described method with the aid of camera images generated by the cameras. Geometry information for the identification of vehicle dimensions, installation positions of the cameras and / or orientations of the cameras is available on the computing unit. The odometry information can be provided by any odometry system. For example, position and / or distance information can be generated by a GPS, a lidar, a radar or ultrasound system and movement information derived therefrom. Further vehicle systems can also be used to provide the odometry information, such as determining a vehicle speed from a wheel speed, a direction of movement of the vehicle from a steering angle or sensor data provided by an ESP, ASR and / or ABS. The vehicle can also be any vehicle such as a car, truck, construction machine, agricultural machine or the like.

Bevorzugt ist wenigstens eine der Kameras als Multi-Purpose Camera ausgeführt. Dabei handelt es sich um eine Kamera, welche für verschiedene Fahrzeugfunktionen genutzt wird. Dazu zählen beispielsweise das Bereitstellen von Kamerabildern zum Erleichtern eines Einparkvorgangs, zur Detektion von Verkehrszeichen, und/oder weiteren Verkehrsteilnehmern sowie zum Durchführen eines kamerabasierte Odometrieverfahrens und/oder dergleichen. Somit kann eine Vorrichtung zur Durchführung des Verfahrens besonders einfach und günstig gestaltet werden, indem bereits vorhandene Systemkomponenten genutzt werden.At least one of the cameras is preferably designed as a multi-purpose camera. This is a camera that is used for various vehicle functions. These include, for example, the provision of camera images to facilitate a parking process, to detect traffic signs and / or other road users and to carry out a camera-based odometry method and / or the like. A device for carrying out the method can thus be designed in a particularly simple and inexpensive manner by using existing system components.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sowie des Fahrzeugs ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figuren näher beschrieben wird.Further advantageous configurations of the method according to the invention and of the vehicle also emerge from the exemplary embodiment which is described in more detail below with reference to the figures.

Dabei zeigen:

1 eine Draufsicht auf ein Fahrzeug, welches mit einem erfindungsgemäßen Verfahren Fahrspuren erkennt; und
2 eine Erfassung von Fahrspurmarkierungen aus Sicht einer in Fahrtrichtung und einer entgegen der Fahrtrichtung ausgerichteten Kamera zu zwei unterschiedlichen Zeitpunkten sowie ein Kamerabild welches von einer geblendeten, entgegen der Fahrtrichtung ausgerichteten Kamera erzeugt wurde.

Show:

1 a plan view of a vehicle which detects lanes using a method according to the invention; and
2 a detection of lane markings from the point of view of a camera oriented in the direction of travel and a camera oriented against the direction of travel at two different times as well as a camera image which was generated by a dazzled camera oriented against the direction of travel.

1 zeigt ein in einer Fahrspur 1 fahrendes Fahrzeug 2, welches sich in Fahrtrichtung F in der Fahrspur 1 fortbewegt. Das Fahrzeug 2 umfasst eine erste Kamera 4.1, welche einen ersten Sichtbereich 3.1 erfasst, eine zweite Kamera 4.2, welche einen zweiten Sichtbereich 3.2 erfasst sowie eine Recheneinheit 6, welche von den Kamers 4 erzeugte Kamerabilder empfängt und auswertet. Ferner umfasst das Fahrzeug eine Einrichtung zum Erfassen und Verarbeiten von Odometrie-Informationen 7, die in dem Beispiel aus 1 von der Recheneinheit 6 ausgebildet wird. Ferner liegen auf der Recheneinheit 6 Geometrie-Informationen vor, welche geometrische Dimensionen des Fahrzeugs 2 sowie eine Einbauposition der beiden Kameras 4 und deren Ausrichtung relativ zum Fahrzeug 2 umfassen. Die erste Kamera 4.1 ist dabei so am Fahrzeug 2 angebracht und zu diesem ausgerichtet, dass der erste von ihr erfasste Sichtbereich 3.1 wenigstens teilweise entgegen der Fahrtrichtung F ausgerichtet ist, sodass die erste Kamera 4.1 einen rückwärtigen Teil hinter dem Fahrzeug 2 erfasst. Dabei kann eine erste Kameraachse 8.1 mit einer Fahrzeugachse 9 zusammenfallen, parallel zu dieser sein oder einen Winkelversatz zu dieser aufweisen. Dies gilt entsprechend für die zweite Kamera 4.2 und eine zweite Kameraachse 8.2, wobei der zweite Sichtbereich 3.2 wenigstens teilweise in Fahrtrichtung F ausgerichtet ist. 1 shows one in a lane 1 moving vehicle 2 , which is in the direction of travel F in the lane 1 moved. The vehicle 2 includes a first camera 4.1 which has a first field of view 3.1 captured a second camera 4.2 , which has a second viewing area 3.2 recorded as well as an arithmetic unit 6th which from the Kamers 4th receives and evaluates generated camera images. The vehicle further comprises a device for acquiring and processing odometry information 7th that in the example 1 from the computing unit 6th is trained. Furthermore are on the computing unit 6th Geometry information indicates what geometrical dimensions of the vehicle 2 as well as an installation position for the two cameras 4th and their orientation relative to the vehicle 2 include. The first camera 4.1 is so on the vehicle 2 attached and aligned with this, that the first field of vision covered by it 3.1 is at least partially aligned against the direction of travel F, so that the first camera 4.1 a rear part behind the vehicle 2 detected. A first camera axis 8.1 with a vehicle axle 9 coincide, be parallel to this or have an angular offset to this. The same applies to the second camera 4.2 and a second camera axis 8.2 , the second viewing area 3.2 is at least partially aligned in the direction of travel F.

Die Fahrbahn umfasst mehrere Fahrspuren 1, welche durch Fahrspurmarkierungen 5 voneinander getrennt sind. Dabei kann es sich um typische Fahrspurmarkierungen 5 handeln, beispielsweise einen Einzel- oder einen Doppelstrich, wobei der oder die Striche durchgehend oder unterbrochen ausgeführt sein können. Dabei kann es sich insbesondere um einen Mittelstreifen einer Fahrbahn oder eine Kennzeichnung zur Markierung eines Fahrbahnrandes handeln. Ferner kann eine Farbe des Striches weiß, zur Kennzeichnung einer temporär geänderten Verkehrsführung, beispielsweise in einem Baustellenbereich gelb, oder in einer beliebig anderen Farbe ausgeführt sein. Ferner kann die Fahrspur 1 als Beschleunigungs- oder Verzögerungsstreifens zum Auf- oder Abfahren auf einer Autobahn ausgeführt sein.The roadway comprises several lanes 1 , which by lane markings 5 are separated from each other. These can be typical lane markings 5 act, for example a single or a double line, whereby the line or lines can be continuous or interrupted. This can in particular be a median of a roadway or a marking for marking the edge of the roadway. Furthermore, a color of the line can be white to identify a temporarily changed traffic routing, for example yellow in a construction site area, or in any other color. Furthermore, the lane 1 be designed as an acceleration or deceleration strip for driving up or down a motorway.

Die zweite Kamera 4.2 erfasst dabei vor dem Fahrzeug 2 vorausliegende Fahrspurmarkierungen 5, welche von der Recheneinheit 6 detektiert und mit Fahrspurpunkten P_mn versehen werden. Dabei werden die Fahrspurpunkte P_mn entsprechend einem regelmäßigen oder unregelmäßigen Muster, beispielsweise in einem regelmäßigen Abstand zueinander, auf die Fahrspurmarkierungen 5 gelegt. Dabei wird jeder Fahrspurpunkt P_mn mit einer eindeutigen Kennung versehen. In dem Beispiel in 1 werden dabei in Fahrtrichtung F links vom Fahrzeug 2 gelegene Fahrspurmarkierungen 5 mit P_1n und rechts vom Fahrzeug 2 gelegene Fahrspurmarkierungen 5 mit P_2n bezeichnet. Ferner werden die Fahrspurpunkte Pmn entsprechend einem Abstand zum Fahrzeug 2 durchnummeriert. Einem vom Fahrzeug 2 am weitesten entfernten Fahrspurpunkt P_mn wird in diesem Beispiel die Ziffer 1 zugeordnet. Mit abnehmendem Abstand zum Fahrzeug 2 steigt die entsprechende Ziffer an. So folgt auf den Fahrspurpunkt P₁₁ der Fahrspurpunkt P₁₂ , bis hin zum Fahrspurpunkt P_1n . Dies gilt entsprechend für die rechte Fahrspurmarkierung 5, welche mit P_2n gekennzeichnet ist. Generell ist auch eine beliebige andere Zählweise möglich. The second camera 4.2 captured in front of the vehicle 2 lane markings ahead 5 , which from the computing unit 6th detected and with lane points P _mn be provided. The lane points are thereby P _mn according to a regular or irregular pattern, for example at a regular distance from one another, on the lane markings 5 placed. Each lane point becomes P _mn provided with a unique identifier. In the example in 1 are left of the vehicle in the direction of travel F. 2 located lane markings 5 With P _1n and to the right of the vehicle 2 located lane markings 5 With P _2n designated. Furthermore, the lane points Pmn corresponding to a distance to the vehicle 2 numbered. One from the vehicle 2 at the furthest lane point P _mn becomes in this example the number 1 assigned. With decreasing distance to the vehicle 2 the corresponding number increases. So follows the lane point P ₁₁ the lane point P ₁₂ , up to the lane point P _1n . This applies accordingly to the right-hand lane marking 5 which with P _2n is marked. Any other counting method is generally also possible.

Das Beispiel in 1 zeigt dabei zwei Momentaufnahmen. Die Fahrspurpunkte P₁₁ , P₁₂ , P_1n , P₂₁ , P₂₂ und P_2n liegen zum Zeitpunkt t₁ vor dem Fahrzeug 2 im zweiten Sichtbereich 3.2. Dadurch, dass sich das Fahrzeug 2 auf der Fahrbahn in Fahrtrichtung F fortbewegt, liegen die entsprechenden Fahrspurpunkte P₁₁ , P₁₂ , P_1n , P₂₁ , P₂₂ und P_2n zum Zeitpunkt t_1+Δt in Fahrtrichtung F hinter dem Fahrzeug 2 im ersten Sichtbereich 3.1 und werden in von der ersten Kamera 4.1 erzeugte Kamerabilder eingeblendet. Dabei fallen die Fahrspurpunkte P_mn , mit entsprechenden Fahrspurmarkierungen 5 zusammen.The example in 1 shows two snapshots. The lane points P ₁₁ , P ₁₂ , P _1n , P ₂₁ , P ₂₂ and P _2n lie at the time t ₁ in front of the vehicle 2 in the second viewing area 3.2 . By that the vehicle 2 Moving on the lane in the direction of travel F, the corresponding lane points are P ₁₁ , P ₁₂ , P _1n , P ₂₁ , P ₂₂ and P _2n at the time t _{1 + Δt} in the direction of travel F behind the vehicle 2 in the first viewing area 3.1 and be in from the first camera 4.1 generated camera images are displayed. The lane points fall P _mn , with corresponding lane markings 5 together.

Hierzu wurden die Fahrspurpunkte P_mn mit Hilfe eines auf der Recheneinheit 6 ausgeführten Algorithmus unter Einsatz der Geometrie-Informationen und Odometrie-Informationen in den ersten Sichtbereich 3.1 transponiert. Ist es der ersten Kamera 4.1 nicht möglich, aufgrund von widrigen optischen Bedingungen, beispielsweise einer tiefstehenden Sonne, die Fahrspurmarkierungen 5 zu erfassen, so liegen mit Hilfe der Fahrspurpunkte P_mn trotzdem in den von der ersten Kamera 4.1 erzeugten Kamerabildern Informationen zur Kennzeichnung einer Position der Fahrspurmarkierungen 5 vor. Durch eine Analyse der Fahrspurmarkierungen 5 können weitere Fahrspurinformationen generiert werden. Beispielsweise kann eine Anzahl im ersten Sichtbereich 3.1 vorliegender Fahrspuren 1, eine aktuell vom Fahrzeug 2 und/oder von einem weiteren Verkehrsteilnehmer befahrene Fahrspur 1, und/oder eine Fahrspurbreite b_FS ermittelt werden. Aus den Fahrspurinformationen lassen sich weitere Erkenntnisse ableiten, wie beispielsweise eine Fahrspurneigung, ein Fahrspurtyp, wie eine Beschleunigungs- oder Verzögerungsspur, oder ein aktuell vom Fahrzeug 2 befahrenes Land, welches auf Basis von typischen länderspezifischen Gesetzen zur Markierung von Fahrspuren erkennbar ist.The lane points were used for this P _mn with the help of one on the computing unit 6th executed algorithm using the geometry information and odometry information in the first field of view 3.1 transposed. Is it the first camera 4.1 not possible due to adverse optical conditions, for example a low sun, the lane markings 5 to capture, lie with the help of the lane points P _mn anyway in the from the first camera 4.1 generated camera images information for identifying a position of the lane markings 5 in front. By analyzing the lane markings 5 further lane information can be generated. For example, a number in the first viewing area 3.1 existing lanes 1 , one currently from the vehicle 2 and / or the lane used by another road user 1 , and / or a lane width b _FS can be determined. Further findings can be derived from the lane information, such as a lane inclination, a lane type, such as an acceleration or deceleration lane, or a current information from the vehicle 2 traveled country, which is recognizable on the basis of typical country-specific laws for marking traffic lanes.

2 zeigt den mit der zweiten Kamera 4.2 erfassten zweiten Sichtbereich 3.2 zum Zeitpunkt ti sowie den mit der ersten Kamera 4.1 erfassten ersten Sichtbereich 3.1 zum Zeitpunkt t_1+Δt . Zur Vereinfachung sind nur ein Randstreifen und eine Mittellinie mit Fahrspurpunkten P_1n und P_2n versehen, es ist jedoch auch möglich, eine beliebige Anzahl an Fahrspuren mit Fahrspurpunkten P_mn zu versehen. In 2 ließe sich beispielsweise eine weitere Fahrspurmarkierung 5 zur Kennzeichnung eines weiteren Fahrbahnrandes mit Fahrspurpunkten P_3n kennzeichnen (nicht dargestellt).
Mit Hilfe eines erfindungsgemäßen Verfahrens lassen sich die Fahrspurpunkte P_mn in den ersten Sichtbereich 3.1 zeigenden Kamerabildern auf den Fahrspurmarkierungen 5 einblenden. Lassen sich die Fahrspurmarkierungen 5, wie im unteren Teil von 2 gezeigt, aufgrund von widrigen optischen Bedingungen, beispielsweise durch ein Auftreten eines aus einer tief stehenden Sonne 10 resultierenden Artefakts in Form eines Lensflares 11, nicht erkennen, so kennzeichnen die Fahrspurpunkte P_mn die Positionen, an denen die Fahrspurmarkierungen 5 tatsächlich vorliegen. Diese Information lässt sich vorteilhafterweise von einem Fahrerassistenzsystem zur wenigstens teilautomatisierten Steuerung des Fahrzeugs 2 verwenden. 2 shows the one with the second camera 4.2 detected second viewing area 3.2 at time ti as well as with the first camera 4.1 captured first field of view 3.1 at the time t _{1 + Δt} . For the sake of simplicity, there are only a shoulder and a center line with lane points P _1n and P _2n provided, but it is also possible to have any number of lanes with lane points P _mn to provide. In 2 For example, another lane marking could be used 5 for marking another edge of the lane with lane points P _3n mark (not shown).
With the aid of a method according to the invention, the lane points can be determined P _mn in the first viewing area 3.1 showing camera images on the lane markings 5 fade in. Let the lane markings 5 , as in the lower part of 2 shown due to adverse optical conditions, for example by an occurrence of a low sun 10 resulting artifact in the form of a lens flare 11 , do not recognize, so mark the lane points P _mn the positions at which the lane markings 5 actually exist. This information can advantageously be transferred from a driver assistance system for at least partially automated control of the vehicle 2 use.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

DE 102017116213 A1 [0004]

Claims

A method for the camera-based detection of at least one lane (1) in a first viewing area (3.1) oriented against a direction of travel (F) of a vehicle (2), in which camera images from at least two cameras (4 ) are evaluated, with a first camera (4.1) being at least partially oriented against the direction of travel (F) and capturing the first field of view (3.1) and a second camera (4.2) being at least partially oriented in the direction of travel (F) and a second field of view ( 3.2), characterized in that the second camera (3.2) detects lane markings (5) lying ahead in the direction of travel (F) and transfers these with the help of geometry information and odometry information from the second viewing area (3.2) to the first viewing area (3.1 ) can be transposed.

Procedure according to Claim 1 , characterized in that the lane information includes at least one of the following information: - lane points (P _1n , P _2n , P _mn ) for identifying lane markings (5); - A number of lanes (1) present in the first viewing area (3.1); - A lane (1) currently being used by the vehicle (2); - Information as to whether a lane (1) present in the first field of vision (3.1) is being used by another road user; and / or - at least one lane width (b _FS ).

Procedure according to Claim 1 or 2 , characterized in that the geometry information comprises at least one of the following information: - geometric dimensions of the vehicle (2); - An installation position of the at least two cameras (4); and / or - an alignment of the at least two cameras (4).

Method according to one of the Claims 1 to 3 characterized in that the odometry information includes at least one of the following information: - a driving speed of the vehicle (2); and / or - a direction of movement of the vehicle (2).

Method according to one of the Claims 1 to 4th , characterized in that the lane information is transmitted to a driver assistance system for at least partially automated control of the vehicle (2).

Method according to one of the Claims 1 to 5 , characterized in that a calibration can be carried out in order to reliably transpose lane markings (5) from the second viewing area (3.2) into the first viewing area (3.1), in addition to the second camera (4.2), the lane markings ahead in the direction of travel (F) (5) detected, the first camera (4.1) detects lane markings (5) back against the direction of travel (F) in order to adapt the transposition of the lane markings (5).

Vehicle (2) with at least two cameras (4), a computing unit (6) and a device (7) for capturing and processing odometry information, characterized in that camera images generated by the cameras (4) carry out a method according to one of the preceding claims is possible.

Vehicle (2) after Claim 7 , characterized in that at least one of the cameras (4) is designed as a multi-purpose camera.