DE102021001046A1 - Method for recognizing the course of a lane and vehicle - Google Patents

Method for recognizing the course of a lane and vehicle Download PDF

Info

Publication number
DE102021001046A1
DE102021001046A1 DE102021001046.9A DE102021001046A DE102021001046A1 DE 102021001046 A1 DE102021001046 A1 DE 102021001046A1 DE 102021001046 A DE102021001046 A DE 102021001046A DE 102021001046 A1 DE102021001046 A1 DE 102021001046A1
Authority
DE
Germany
Prior art keywords
vehicle
longitudinal section
marking objects
horizontal distance
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102021001046.9A
Other languages
German (de)
Inventor
Klaus Hermann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102021001046.9A priority Critical patent/DE102021001046A1/en
Publication of DE102021001046A1 publication Critical patent/DE102021001046A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung eines Fahrspurverlaufs in einem von einem Fahrzeug befahrenen Gefahrenbereich (1), wobei zur Erfassung eines temporär geänderten Fahrspurverlaufs mittels wenigstens einer Kamera Markierungsobjekte (2) erkannt und ihre Relativpositionen zueinander bestimmt werden. Die Erfindung ist gekennzeichnet durch zumindest folgende Verfahrensschritte:- Bestimmen eines horizontalen Abstands (d) zweier in eine Fahrtrichtung (F) des Fahrzeugs aufeinanderfolgenden Markierungsobjekte (2.1, 2.2) in eine Querrichtung (Q) zu einer vom Fahrzeug befahrenen Fahrspur (3);- Vergleich des horizontalen Abstands (d) mit einem Schwellwert;- Bei einem über dem Schwellwert liegenden horizontalen Abstand (d):Überprüfen eines in die Fahrtrichtung (F) liegenden Längsabschnitts (A) zwischen den beiden Markierungsobjekten (2.1, 2.2) auf das Vorhandensein zumindest eines Objekts (4) und/oder einer Person (5); und/oder- Überprüfen des Längsabschnitts (A) auf eine zwischen den Markierungsobjekten (2.1, 2.2) angeordnete zumindest abschnittsweise in die Fahrtrichtung (F) durchgezogene Linie (6); und- Bei Vorhandensein zumindest eines Objekts (4), zumindest einer Person (5) und/oder der durchgezogenen Linie (6) im Längsabschnitt (A): Markieren des Längsabschnitts (A) als nicht befahrbarer Bereich.The invention relates to a method for recognizing the course of a lane in a danger area (1) in which a vehicle is traveling, whereby marking objects (2) are recognized by means of at least one camera and their relative positions are determined to detect a temporarily changed course of the lane. The invention is characterized by at least the following method steps: determining a horizontal distance (d) between two marking objects (2.1, 2.2) following one another in a direction of travel (F) of the vehicle in a transverse direction (Q) to a lane (3) in which the vehicle is traveling; Comparison of the horizontal distance (d) with a threshold value; - In the case of a horizontal distance (d) above the threshold value: at least a check of a longitudinal section (A) lying in the direction of travel (F) between the two marking objects (2.1, 2.2) for the presence an object (4) and / or a person (5); and / or- checking the longitudinal section (A) for a line (6) which is arranged between the marking objects (2.1, 2.2) and is at least sectionally continuous in the direction of travel (F); and- If there is at least one object (4), at least one person (5) and / or the solid line (6) in the longitudinal section (A): Marking the longitudinal section (A) as a non-drivable area.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung eines Fahrspurverlaufs in einem von einem Fahrzeug befahrenen Gefahrenbereich nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug zur Durchführung des Verfahrens.The invention relates to a method for recognizing the course of a lane in a danger area in which a vehicle is traveling according to the type defined in more detail in the preamble of claim 1, and to a vehicle for carrying out the method.

Mit Hilfe eines Spurhalteassistenten oder eines Abstandsregeltempomats sind Fahrzeuge bereits heutzutage bereits wenigstens teilautomatisiert steuerbar. Künftig werden auch hochautomatisierte sowie vollautomatisierte Fahrzeuge eingesetzt. Zur automatisierten Steuerung von Fahrzeugen ist es erforderlich, dass ein Fahrzeug seine Umgebung mit Hilfe von Sensoren überwacht. Dabei kann es vorkommen, dass insbesondere in einem Gefahrenbereich wie einer sich verengenden Fahrbahn oder einer Baustelle bestimmte Umgebungsobjekte nicht oder falsch erkannt werden.With the help of a lane departure warning system or an adaptive cruise control system, vehicles can already be controlled at least partially automatically. In the future, highly automated and fully automated vehicles will also be used. For the automated control of vehicles, it is necessary for a vehicle to monitor its surroundings with the aid of sensors. It can happen that, in particular in a danger area such as a narrowing roadway or a construction site, certain surrounding objects are not recognized or are incorrectly recognized.

Häufig wird ein geänderter Fahrspurverlauf durch an einer Fahrspurgrenze positionierte Markierungsobjekte wie Pylonen oder Warnbarken kenntlich gemacht. Dabei kann es vorkommen, dass ein Fahrerassistenzsystem des Fahrzeugs wenigstens eines der Markierungsobjekte übersieht und daraufhin eine vermeintliche Lücke in einer Fahrspurbegrenzung erkennt. Beispielsweise kann das Fahrerassistenzsystem diese Lücke für eine Ausfahrt halten. In diesem Falle besteht die Gefahr, dass ein wenigstens teilautomatisiert gesteuertes Fahrzeug, insbesondere ein hochautomatisiert gesteuertes Fahrzeug eine Fahrspur verlässt und so beispielsweise in einen Bereich einer Baustelle hineinfährt, in dem gearbeitet wird. Dies ist unbedingt zu vermeiden.A changed course of the lane is often made recognizable by marking objects such as pylons or warning barges positioned on a lane boundary. It can happen that a driver assistance system of the vehicle overlooks at least one of the marking objects and then detects a supposed gap in a lane delimitation. For example, the driver assistance system can keep this gap for an exit. In this case, there is the risk that an at least partially automated controlled vehicle, in particular a highly automated controlled vehicle, will leave a lane and thus, for example, enter an area of a construction site in which work is being carried out. It is essential to avoid this.

Die DE 10 2004 003 848 A1 offenbart ein Verfahren zur Erkennung von gekennzeichneten Gefahr- und/oder Baustellen im Bereich von Fahrbahnen. Mit Hilfe des in der Druckschrift offenbarten Verfahrens lassen sich Gefahrenstellen wie Baustellen erkennen, um eine fahrzeugführende Person zu warnen und/oder um ein Fahrerassistenzsystem vorzukonditionieren, um ein Steuerverhalten des Fahrzeugs angemessen auf die Gefahrenstelle anzupassen. Zur Umgebungsüberwachung verwendet das Fahrzeug ein Lidar und/oder Kameras. Zur Erkennung eines Gefahrenbeziehungsweise Baustellenbereichs werden von diesen Sensoren erzeugte Sensordaten auf das Vorhandensein von Markierungen und deren Verlauf ausgewertet. Zusätzlich oder alternativ wird eine solche Gefahren- beziehungsweise Baustelle durch das Vorhandensein charakteristischer Gegenstände erkannt. Hierzu zählen beispielsweise Barrieren, Pylone und Barken. Zur angemessenen Anpassung eines Steuerverhaltens eines Fahrzeugs kann es vorteilhaft sein, auch einen Straßentyp zu erkennen. Dies erfolgt gemäß der Druckschrift beispielsweise über eine Analyse von am Seitenrand der Fahrbahn positionierten Leitpfosten. Um Leitpfosten zuverlässig von Pylonen oder Barken unterscheiden zu können, wird neben dem reinen Erkennen solcher Gegenstände auch ein Relativabstand dieser Objekte zueinander erfasst und ausgewertet. Da typischerweise Leitpfosten einen anderen Abstand zueinander aufweisen als Barken oder Pylonen, können diese voneinander unterschieden werden.The DE 10 2004 003 848 A1 discloses a method for recognizing marked danger and / or construction sites in the area of roadways. With the aid of the method disclosed in the publication, hazard areas such as construction sites can be identified in order to warn a person driving the vehicle and / or to precondition a driver assistance system in order to adapt a control behavior of the vehicle appropriately to the hazard area. The vehicle uses a lidar and / or cameras to monitor the surroundings. To identify a hazard or construction site area, sensor data generated by these sensors are evaluated for the presence of markings and their course. Additionally or alternatively, such a hazard or construction site is recognized by the presence of characteristic objects. These include, for example, barriers, pylons and barges. In order to appropriately adapt a control behavior of a vehicle, it can be advantageous to also recognize a type of road. According to the publication, this is done, for example, by analyzing delineator posts positioned on the side edge of the roadway. In order to be able to reliably distinguish delineator posts from pylons or barges, in addition to the pure detection of such objects, a relative distance between these objects is also recorded and evaluated. Since delineator posts are typically at a different distance from one another than barges or pylons, they can be distinguished from one another.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zur Erkennung eines Fahrspurverlaufs anzugeben, mit dessen Hilfe das Risiko gesenkt wird, dass ein Fahrzeug unzulässigerweise in einen von einer Fahrspur abgegrenzten Bereich einer Fahrbahn einfährt.The present invention is based on the object of specifying an improved method for recognizing the course of a lane, with the aid of which the risk is reduced that a vehicle will inadmissibly drive into an area of a roadway delimited by a lane.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur Erkennung eines Fahrspurverlaufs mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Ansprüchen.According to the invention, this object is achieved by a method for recognizing the course of a lane having the features of claim 1. Advantageous refinements and developments result from the dependent claims.

Bei einem Verfahren zur Erkennung eines Fahrspurverlaufs in einem von einem Fahrzeug befahrenen Gefahrenbereich werden zur Erfassung eines temporär geänderten Fahrspurverlaufs mittels wenigstens einer Kamera Markierungsobjekte erkannt und ihre Relativpositionen zueinander bestimmt. Um das Risiko zu senken, dass das Fahrzeug in einen von einer Fahrspur abgegrenzten unzulässigen Bereich einfährt, werden erfindungsgemäß zumindest die folgenden Verfahrensschritte ausgeführt:

  • - Bestimmen eines horizontalen Abstands zweier in einer Fahrtrichtung des Fahrzeugs aufeinanderfolgenden Markierungsobjekte in eine Querrichtung zu einer vom Fahrzeug befahrenen Fahrspur;
  • - Vergleich des horizontalen Abstands mit einem Schwellwert;
  • - bei einem über dem Schwellwert liegenden horizontalen Abstand: Überprüfen eines in die Fahrtrichtung liegenden Längsabschnitts zwischen den beiden Markierungsobjekten auf das Vorhandensein zumindest eines Objekts und/oder einer Person; und/oder
  • - Überprüfen des Längsabschnitts auf eine zwischen den Markierungsobjekten angeordnete zumindest abschnittsweise in die Fahrtrichtung durchgezogene Linie; und
  • - bei Vorhandensein zumindest eines Objekts, zumindest einer Person und/oder der durchgezogenen Linie im Längsabschnitt: Markieren des Längsabschnitts als nicht befahrbarerer Bereich.
In a method for recognizing the course of a traffic lane in a danger area traveled by a vehicle, marking objects are recognized by means of at least one camera and their relative positions are determined in order to detect a temporarily changed course of the traffic lane. In order to reduce the risk of the vehicle entering an impermissible area delimited by a lane, at least the following method steps are carried out according to the invention:
  • Determining a horizontal distance between two marking objects following one another in a direction of travel of the vehicle in a direction transverse to a lane in which the vehicle is traveling;
  • - comparison of the horizontal distance with a threshold value;
  • if the horizontal distance is above the threshold value: checking a longitudinal section lying in the direction of travel between the two marking objects for the presence of at least one object and / or a person; and or
  • - Checking the longitudinal section for a line which is arranged between the marking objects and is at least sectionally continuous in the direction of travel; and
  • - In the presence of at least one object, at least one person and / or the solid line in the longitudinal section: marking the longitudinal section as a non-drivable area.

Mit Hilfe des erfindungsgemäßen Verfahrens wird eine potentiell zwischen zwei Markierungsobjekten aufgefundene Lücke auf das Vorhandensein von Personen, Objekten oder Fahrspurmarkierungen hin untersucht, um zu verhindern, dass eine Lücke erkannt wird, obwohl tatsächlich keine Lücke vorliegt. Der als nicht befahrbare Bereich markierte Längsabschnitt lässt sich dann als Eingangsgröße für ein Fahrerassistenzsystem nutzen. Handelt es sich um ein teilautomatisiert steuerbares Fahrzeug, so kann beispielsweise eine Warnung ausgegeben werden, wenn eine fahrzeugführende Person selbstständig in die Lücke einfährt oder droht, in diese einzufahren. Handelt es sich hingegen um ein hochautomatisiert oder gar vollautomatisiert steuerbares Fahrzeug, so lässt sich ein selbstständiges Einfahren seitens des Fahrzeugs in die Lücke verhindern. Das Einfahren in die vermeintliche Lücke lässt sich dabei während eines automatisierten Betriebs des Fahrzeugs sowie in einem Übergabezeitraum, in welchem eine fahrzeugführende Person dazu aufgefordert wird, eine Steuerung des Fahrzeugs zu übemehmen, zuverlässig verhindern.With the aid of the method according to the invention, a gap that is potentially found between two marking objects is indicated for the presence of people, objects or lane markings investigated to prevent a gap from being detected when there is actually no gap. The longitudinal section marked as a non-drivable area can then be used as an input variable for a driver assistance system. In the case of a partially automated controllable vehicle, a warning can be issued, for example, if a person driving the vehicle drives into the gap independently or threatens to drive into it. If, on the other hand, it is a highly automated or even fully automated controllable vehicle, the vehicle can be prevented from driving into the gap on its own. Driving into the supposed gap can be reliably prevented during automated operation of the vehicle and in a handover period in which a person driving the vehicle is requested to take control of the vehicle.

Bei den Markierungsobjekten kann es sich um typische zur Kennzeichnung von Gefahrenstellen verwendeten Objekte handeln. Insbesondere werden hierzu oftmals Wambarken und/oder Pylone verwendet. Diese können auch mit einem Lichtzeichen wie einem Dauerlicht oder einem Blinklicht versehen sein.The marking objects can be typical objects used to mark danger spots. In particular, warning boats and / or pylons are often used for this purpose. These can also be provided with a light signal such as a permanent light or a flashing light.

Der horizontale Abstand zwischen den Markierungsobjekten in die Querrichtung beziehungsweise quer zur Fahrtrichtung kann an einer beliebigen Stelle eines Markierungsobjekts beginnen. Beispielsweise kann eine äußere Umrandung eines Markierungsobjekts oder ein Mittelpunkt eines Markierungsobjekts als Ausgangspunkt zur Abstandsbestimmung herangezogen werden.The horizontal distance between the marking objects in the transverse direction or transversely to the direction of travel can begin at any point on a marking object. For example, an outer border of a marking object or a center point of a marking object can be used as a starting point for determining the distance.

Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass ein Schwellwert verwendet wird, welcher größer ist als eine Fahrzeugbreite. Weisen die beiden aufeinanderfolgenden Markierungsobjekte einen horizontalen Abstand quer zur Fahrtrichtung auf, welcher kleiner ist als eine Fahrzeugbreite so besteht die Gefahr, dass beim Hindurchfahren des Fahrzeugs zwischen die Markierungsobjekte zumindest eins der Markierungsobjekte vom Fahrzeug gerammt wird. Solche Fahrmanöver werden von bewährten Fahrerassistenzsystemen typischerweise vermieden. Erst bei einem Schwellwert welcher über der Fahrzeugbreite liegt, ist mit einem erhöhten Gefahrenpotential zu rechnen, dass das Fahrzeug in eine vermeintliche Lücke zwischen den aufeinanderfolgenden Markierungsobjekten gelenkt wird. Der Schwellwert kann dabei beliebig groß gewählt werden. Beispielsweise kann er dem 1,2-fachen, 1,5-fachen oder dem 4-fachen der Fahrzeugbreite entsprechen.An advantageous development of the method provides that a threshold value is used which is greater than the width of the vehicle. If the two successive marking objects have a horizontal distance transverse to the direction of travel which is smaller than the width of the vehicle, there is a risk that at least one of the marking objects will be rammed by the vehicle when the vehicle is driving through between the marking objects. Such driving maneuvers are typically avoided by proven driver assistance systems. Only at a threshold value which is above the vehicle width is there to be expected an increased risk potential that the vehicle is steered into an alleged gap between the successive marking objects. The threshold value can be selected as large as desired. For example, it can be 1.2 times, 1.5 times or 4 times the vehicle width.

Entsprechend einer weiteren vorteilhaften Ausgestaltung des Verfahrens wird der horizontale Abstand quer zur Fahrtrichtung basierend auf Triangulation mittels einer Stereokamera ermittelt. Hierdurch ist eine besonders zuverlässige Berechnung des horizontalen Abstands möglich. Bevorzugt ist dabei die Stereokamera in Fahrtrichtung des Fahrzeugs ausgerichtet, um einen dem Fahrzeug vorausliegenden Fahrbahnabschnitt zu erfassen. Da insbesondere hochautomatisiert beziehungsweise vollautomatisiert steuerbare Fahrzeuge eine umfangreiche Umgebungserfassung erfordern, weisen solche Fahrzeuge typischerweise eine oder mehrere Kameras auf. Da auch das Gewinnen von Abstandsinformationen dabei notwendig ist, verfügen solche Fahrzeuge insbesondere auch über wenigstens eine Stereokamera. So sind zur Durchführung des erfindungsgemäßen Verfahrens keine zusätzlichen Sensoren erforderlich.According to a further advantageous embodiment of the method, the horizontal distance transverse to the direction of travel is determined based on triangulation by means of a stereo camera. This enables a particularly reliable calculation of the horizontal distance. The stereo camera is preferably oriented in the direction of travel of the vehicle in order to capture a section of the road ahead of the vehicle. Since vehicles that can be controlled in a highly automated or fully automated manner in particular require extensive coverage of the surroundings, such vehicles typically have one or more cameras. Since it is also necessary to obtain distance information, such vehicles also have at least one stereo camera. No additional sensors are required to carry out the method according to the invention.

Eine weitere vorteilhafte Ausgestaltung des Verfahrens sieht ferner vor, dass der horizontale Abstand quer zur Fahrtrichtung mittels einer Monokamera ermittelt wird, wobei zur Abstandsberechnung insbesondere standardisierte Maße der Markierungsobjekte und/oder in von der Monokamera erzeugten Kamerabildern erkannter Fahrzeugzeuge berücksichtigt werden. Durch das Verwenden einer Monokamera kann das erfindungsgemäße Verfahren auch bei Fahrzeugen eingesetzt werden, welche anstelle einer Stereokamera lediglich eine Monokamera aufweisen. Da somit eine Abstandsbestimmung mittels Triangulation nicht möglich ist, wird zur Berechnung der Abstände ein Größenvergleich durchgeführt. Dabei werden die bekannten Größen der Markierungsobjekte in Relation gesetzt zu einem Abstand der Markierungsobjekte zueinander in wenigstens einem Kamerabild. So weisen insbesondere Warnbarken und Pylone standardisierte Abmaße auf. Da diese Markierungsobjekte somit immer die gleichen Dimensionen aufweisen, eignen sich diese als Größenreferenz. Zusätzlich oder alternativ lassen sich auch die Dimensionen erkannter Fahrzeuge zur Abstandsberechnung heranziehen. So kann beispielsweise ein Fahrzeugtyp wie ein bestimmtes Baustellenfahrzeug und/oder ein Einsatzfahrzeug wie ein Polizeifahrzeug erkannt werden und in einer Datenbank mit dem Fahrzeugtyp verknüpfte Fahrzeugdimensionen abgerufen werden.A further advantageous embodiment of the method also provides that the horizontal distance transverse to the direction of travel is determined by means of a mono camera, with standardized dimensions of the marking objects and / or vehicle vehicles recognized in camera images generated by the mono camera being taken into account for the distance calculation. By using a mono camera, the method according to the invention can also be used in vehicles which only have a mono camera instead of a stereo camera. Since it is not possible to determine the distance by means of triangulation, a size comparison is carried out to calculate the distances. The known sizes of the marking objects are set in relation to a distance between the marking objects in at least one camera image. Warning boats and pylons in particular have standardized dimensions. Since these marking objects always have the same dimensions, they are suitable as a size reference. Additionally or alternatively, the dimensions of recognized vehicles can also be used to calculate the distance. For example, a vehicle type such as a specific construction site vehicle and / or an emergency vehicle such as a police vehicle can be recognized and vehicle dimensions linked to the vehicle type can be called up in a database.

Bevorzugt wird ein als nicht befahrbar markierter Bereich von einem Fahrerassistenzsystem zur zumindest teilautomatisierten Steuerung des Fahrzeugs berücksichtigt. So lässt sich das Risiko senken, dass das Fahrzeug einen unzulässigen Fahrbahnbereich betritt. Hierdurch kann analog die Sicherheit im Straßenverkehr erhöhen werden.An area marked as not drivable is preferably taken into account by a driver assistance system for the at least partially automated control of the vehicle. In this way, the risk of the vehicle entering an impermissible lane area can be reduced. In this way, road safety can be increased by analogy.

Bei einem Fahrzeug mit wenigstens einer Kamera und wenigstens einer Recheneinheit ist erfindungsgemäß die Recheneinheit dazu eingerichtet, ein im vorigen beschriebenes Verfahren auszuführen. Bei dem Fahrzeug kann es sich um ein beliebiges Fahrzeug wie einen PKW, LKW, Transporter, Bus oder dergleichen handeln. Das Fahrzeug ist zumindest teilautomatisiert steuerbar. Bevorzugt ist das Fahrzeug hochautomatisiert oder vollautomatisiert steuerbar. Die Kamera kann dabei als Mono- oder Stereokamera ausgeführt sein und Licht im sichtbaren Spektrum und/oder im Infrarotbereich detektieren. Das Detektieren von Infrarotlicht ermöglicht auch eine zuverlässige Objekterkennung bei Dunkelheit. Hierzu kann das Fahrzeug zusätzlich auch spezielle Infrarotleuchtmittel aufweisen. Bevorzugt ist die Kamera in Fahrtrichtung des Fahrzeugs ausgerichtet um einen dem Fahrzeug vorausliegenden Fahrbahnabschnitt zu erfassen. Die Recheneinheit kann von einem zentralen Bordcomputer des Fahrzeugs, einer separaten Recheneinheit oder einem Steuergerät eines Fahrzeuguntersystems ausgebildet sein. Dabei weist die Recheneinheit zumindest einen Prozessor sowie ein Speichermedium auf, auf welchem ein Computerprogrammprodukt zur Durchführung des erfindungsgemäßen Verfahrens gespeichert ist. Der Prozessor ist dabei dazu eingerichtet, das Computerprogrammprodukt auszuführen.In the case of a vehicle with at least one camera and at least one computing unit, the computing unit is set up according to the invention to carry out a method described above to execute. The vehicle can be any vehicle such as a car, truck, van, bus or the like. The vehicle can be controlled at least partially automatically. The vehicle can preferably be controlled in a highly automated or fully automated manner. The camera can be designed as a mono or stereo camera and detect light in the visible spectrum and / or in the infrared range. The detection of infrared light also enables reliable object detection in the dark. For this purpose, the vehicle can also have special infrared illuminants. The camera is preferably aligned in the direction of travel of the vehicle in order to capture a section of the road ahead of the vehicle. The arithmetic unit can be formed by a central on-board computer of the vehicle, a separate arithmetic unit or a control unit of a vehicle subsystem. The computing unit has at least one processor and a storage medium on which a computer program product for carrying out the method according to the invention is stored. The processor is set up to execute the computer program product.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figur näher beschrieben wird.Further advantageous refinements of the method according to the invention also result from the exemplary embodiment, which is described in more detail below with reference to the figure.

Dabei zeigt die einzige Figur eine Prinzipdarstellung eines von einem Fahrerassistenzsystem ausgewerteten Kamerabilds.The single figure shows a basic representation of a camera image evaluated by a driver assistance system.

Die Figur zeigt ein mit einer Kamera eines Fahrzeugs aufgenommenes Kamerabild 8. Das Fahrzeug fährt in Fahrtrichtung F auf einer Fahrspur 3 einer Fahrbahn 9 durch einen Gefahrenbereich 1, hier in Form einer Baustelle. Die Fahrspur 3 ist durch eine temporäre durchgezogene Linie 6 und Markierungsobjekte 2 von einem für ein Befahren unzulässigen Bereich 10 abgegrenzt. Der unzulässige Bereich 10 ist für eine Befahrung vom Fahrzeug gesperrt, da im unzulässigen Bereich 10 gearbeitet wird. Bei den Markierungsobjekten 2 handelt es sich beispielsweise wie in der Figur gezeigt um Pylone. Bei den Markierungsobjekten 2 kann es sich generell jedoch auch um beispielsweise Warnbarken handeln.The figure shows a camera image recorded with a camera of a vehicle 8th . The vehicle travels in the direction of travel F in one lane 3 a lane 9 through a danger area 1 , here in the form of a construction site. The lane 3 is by a temporary solid line 6th and marking objects 2 from an area that is not permitted for driving 10 delimited. The prohibited area 10 is blocked for vehicle access because it is in the impermissible area 10 is being worked on. With the marking objects 2 it is, for example, as shown in the figure to pylons. With the marking objects 2 however, it can generally also be a question of warning barges, for example.

Das Kamerabild 8 wird von einer Recheneinheit des Fahrzeugs analysiert. Dabei werden einige der Markierungsobjekte 2 als solche erkannt. Dies ist in der Figur jeweils durch einen Erkennungsrahmen 11 gekennzeichnet. Das Markierungsobjekt 2.NE wurde dabei vom Fahrerassistenzsystem nicht erkannt. Hierdurch besteht die Gefahr, dass das Fahrerassistenzsystem einen korrekten Verlauf der Fahrspur 3 nicht richtig vorhersagt, wodurch das Fahrzeug in eine zwischen den Markierungsobjekten 2.1 und 2.2 vermeintlich vorliegende Lücke hineingesteuert wird. So könnte das Fahrzeug beispielsweise die Lücke für eine Ausfahrt halten, oder bei einem kurvigen Fahrspurverlauf das Fahrzeug geradeaus durch die Lücke aus der Kurve hinaus steuern (nicht dargestellt).The camera image 8th is analyzed by a computing unit in the vehicle. In doing so, some of the marking objects 2 recognized as such. This is indicated in the figure by means of a detection frame 11 marked. The marking object 2.NE was not recognized by the driver assistance system. As a result, there is a risk that the driver assistance system will ensure the correct course of the lane 3 does not correctly predict, causing the vehicle to be in between the marking objects 2.1 and 2.2 allegedly existing gap is steered into it. For example, the vehicle could hold the gap for an exit or, in the case of a winding lane, steer the vehicle straight ahead through the gap out of the curve (not shown).

Ein solches Fahrmanöver lässt sich mit Hilfe eines erfindungsgemäßen Verfahrens zuverlässig verhindern.Such a driving maneuver can be reliably prevented with the aid of a method according to the invention.

Hierzu wird zwischen zwei erkannten Markierungsobjekten, in dem in der Figur gezeigten Beispiel den Markierungsobjekte 2.1 und 2.2, ein horizontaler Abstand d in eine Querrichtung Q orthogonal zur Fahrtrichtung F bestimmt. Der horizontale Abstand d spannt zusammen mit einem Längsabstand L der Markierungsobjekte 2.1 und 2.2 zueinander in die Fahrtrichtung F einen Längsabschnitt A auf. In dem Beispiel in der Figur ist ein Längsabschnitt A gezeigt. Da das Fahrerassistenzsystem nicht „weiß“, ob zwischen zwei erkannten Markierungsobjekten 2 ein weiteres Markierungsobjekt 2.NE übersehen wurde, wird analog ein entsprechender Längsabschnitt A zwischen den Markierungsobjekten 2.2 und 2.3 sowie den hierauf folgenden Markierungsobjekten 2 aufgespannt. Dies ist in der Figur aus Gründen der Übersichtlichkeit jedoch nicht gezeigt.For this purpose, between two recognized marking objects, in the example shown in the figure, the marking objects 2.1 and 2.2 , a horizontal distance d in a transverse direction Q orthogonal to the direction of travel F is determined. The horizontal distance d spans together with a longitudinal distance L of the marking objects 2.1 and 2.2 to each other in the direction of travel F a longitudinal section A. on. In the example in the figure is a longitudinal section A. shown. Because the driver assistance system does not “know” whether between two recognized marking objects 2 another marking object 2.NE was overlooked, a corresponding longitudinal section is analogous A. between the marking objects 2.2 and 2.3 as well as the following marking objects 2 stretched. However, this is not shown in the figure for reasons of clarity.

Mit Hilfe bewährter Bilderkennungsverfahren wird der Längsabschnitt A auf das Vorhandensein von wenigstens einem Objekt 4, wenigstens einer Person 5 und/oder das Vorhandensein zumindest eines Abschnitts 6.1 der durchgezogenen Linie 6 hin analysiert. Ist wenigstens ein solches Objekt 4, eine solche Person 5 und/oder ein Abschnitt 6.1 der durchgezogenen Linie 6 im Längsabschnitt A vorhanden, so wird der Längsabschnitt A als nicht befahrbarer Bereich markiert. In diesem Falle wird diese Information als Eingangsgröße für ein Fahrerassistenzsystem verwendet, woraufhin eine Steuerung des Fahrzeugs in den unzulässigen Bereich 10 hinein verhindert wird. Dabei kann das nicht erkannte Markierungsobjekt 2.NE gegebenenfalls erkannt werden und als Objekt 4 klassifiziert werden.With the help of proven image recognition methods, the longitudinal section A. for the presence of at least one object 4th , at least one person 5 and / or the presence of at least one section 6.1 the solid line 6th analyzed. Is at least one such object 4th , such a person 5 and / or a section 6.1 the solid line 6th in the longitudinal section A. is present, the longitudinal section A. marked as a non-passable area. In this case, this information is used as an input variable for a driver assistance system, whereupon the vehicle is controlled into the inadmissible range 10 is prevented from entering. The unrecognized marking object can thereby 2.NE may be recognized and as an object 4th be classified.

Zur Bestimmung des horizontalen Abstands d werden mit einer Stereokamera gewonnene Tiefeninformationen ausgewertet oder bei Einsatz einer Monokamera bekannte Dimensionen im Kamerabild 8 erkannter Gegenstände wie den Markierungsobjekten 2 und/oder Fahrzeugen 7 genutzt. So sind insbesondere die Markierungsobjekte 2 in ihren Dimensionen genormt. Zudem kann ein das Verfahren durchführendes Fahrzeug eine Datenbank aufweisen, mit bekannten Dimensionen für im Kamerabild 8 erkannte Fahrzeuge 7. Dabei kann es sich bei den Fahrzeugen 7 insbesondere um Baustellenfahrzeuge und/oder Einsatzfahrzeuge wie ein Polizeifahrzeug handeln.To determine the horizontal distance d, depth information obtained with a stereo camera is evaluated or, if a mono camera is used, known dimensions in the camera image 8th recognized objects such as the marking objects 2 and / or vehicles 7th used. So are the marking objects in particular 2 standardized in their dimensions. In addition, a vehicle performing the method can have a database with known dimensions for in the camera image 8th recognized vehicles 7th . This can be the case with the vehicles 7th in particular to be construction site vehicles and / or emergency vehicles such as a police vehicle.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 102004003848 A1 [0004]DE 102004003848 A1 [0004]

Claims (6)

Verfahren zur Erkennung eines Fahrspurverlaufs in einem von einem Fahrzeug befahrenen Gefahrenbereich (1), wobei zur Erfassung eines temporär geänderten Fahrspurverlaufs mittels wenigstens einer Kamera Markierungsobjekte (2) erkannt und ihre Relativpositionen zueinander bestimmt werden, gekennzeichnet durch zumindest folgende Verfahrensschritte: - Bestimmen eines horizontalen Abstands (d) zweier in eine Fahrtrichtung (F) des Fahrzeugs aufeinanderfolgenden Markierungsobjekte (2.1, 2.2) in eine Querrichtung (Q) zu einer vom Fahrzeug befahrenen Fahrspur (3); - Vergleich des horizontalen Abstands (d) mit einem Schwellwert; - Bei einem über dem Schwellwert liegenden horizontalen Abstand (d): Überprüfen eines in die Fahrtrichtung (F) liegenden Längsabschnitts (A) zwischen den beiden Markierungsobjekten (2.1, 2.2) auf das Vorhandensein zumindest eines Objekts (4) und/oder einer Person (5); und/oder - Überprüfen des Längsabschnitts (A) auf eine zwischen den Markierungsobjekten (2.1, 2.2) angeordnete zumindest abschnittsweise in die Fahrtrichtung (F) durchgezogene Linie (6); und - Bei Vorhandensein zumindest eines Objekts (4), zumindest einer Person (5) und/oder der durchgezogenen Linie (6) im Längsabschnitt (A): Markieren des Längsabschnitts (A) als nicht befahrbarer Bereich.Method for recognizing the course of a traffic lane in a danger area (1) in which a vehicle is traveling, whereby marking objects (2) are recognized by means of at least one camera and their relative positions are determined to detect a temporarily changed traffic lane, characterized by at least the following method steps: Determination of a horizontal distance (d) two marking objects (2.1, 2.2) following one another in a direction of travel (F) of the vehicle in a transverse direction (Q) to a lane (3) in which the vehicle is traveling; - Comparison of the horizontal distance (d) with a threshold value; - If the horizontal distance (d) is above the threshold value: Checking a longitudinal section (A) lying in the direction of travel (F) between the two marking objects (2.1, 2.2) for the presence of at least one object (4) and / or a person ( 5); and / or - checking the longitudinal section (A) for a line (6) which is arranged between the marking objects (2.1, 2.2) and is at least sectionally continuous in the direction of travel (F); and - If there is at least one object (4), at least one person (5) and / or the solid line (6) in the longitudinal section (A): Marking the longitudinal section (A) as a non-drivable area. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein Schwellwert verwendet wird, welcher größer ist als eine Fahrzeugbreite.Procedure according to Claim 1 , characterized in that a threshold value is used which is greater than a vehicle width. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der horizontale Abstand (d) basierend auf Triangulation mittels einer Stereokamera ermittelt wird.Procedure according to Claim 1 or 2 , characterized in that the horizontal distance (d) is determined based on triangulation by means of a stereo camera. Verfahren nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass der horizontale Abstand (d) mittels einer Monokamera ermittelt wird, wobei zur Abstandsberechnung insbesondere standardisierte Maße der Markierungsobjekte (2) und/oder in von der Monokamera erzeugten Kamerabildern erkannter Fahrzeuge (7) berücksichtigt werden.Method according to one of the Claims 1 to 2 , characterized in that the horizontal distance (d) is determined by means of a mono camera, with standardized dimensions of the marking objects (2) and / or vehicles (7) recognized in camera images generated by the mono camera being taken into account for the distance calculation. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein als nicht befahrbarer Bereich markierter Längsabschnitt (A) als Eingangsgröße von einem Fahrerassistenzsystem zur zumindest teilautomatisierten Steuerung des Fahrzeugs berücksichtigt wird.Method according to one of the Claims 1 to 4th , characterized in that a longitudinal section (A) marked as a non-drivable area is taken into account as an input variable by a driver assistance system for the at least partially automated control of the vehicle. Fahrzeug mit wenigstens einer Kamera und wenigstens einer Recheneinheit, dadurch gekennzeichnet, dass die Recheneinheit dazu eingerichtet ist ein Verfahren nach einem der Ansprüche 1 bis 5 durchzuführen.Vehicle with at least one camera and at least one computing unit, characterized in that the computing unit is set up for a method according to one of the Claims 1 to 5 perform.
DE102021001046.9A 2021-02-26 2021-02-26 Method for recognizing the course of a lane and vehicle Withdrawn DE102021001046A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021001046.9A DE102021001046A1 (en) 2021-02-26 2021-02-26 Method for recognizing the course of a lane and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021001046.9A DE102021001046A1 (en) 2021-02-26 2021-02-26 Method for recognizing the course of a lane and vehicle

Publications (1)

Publication Number Publication Date
DE102021001046A1 true DE102021001046A1 (en) 2021-05-06

Family

ID=75485578

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021001046.9A Withdrawn DE102021001046A1 (en) 2021-02-26 2021-02-26 Method for recognizing the course of a lane and vehicle

Country Status (1)

Country Link
DE (1) DE102021001046A1 (en)

Similar Documents

Publication Publication Date Title
EP1928687B1 (en) Method and driver assistance system for sensor-based driving off control of a motor vehicle
DE102015206144A1 (en) Method and device for safe parking of a vehicle
DE102015205142B4 (en) Driver assistance method and driver assistance system
DE102016118497A1 (en) Determining a virtual lane for a road traveled by a motor vehicle
EP2479077A1 (en) Method for operating a driver assistance system on a motor vehicle outputting a recommendation related to an overtaking manoeuvre and motor vehicle
DE102017212607A1 (en) Method and device for environment-based adaptation of driver assistance system functions
DE102011014699A1 (en) Method for operating driver assistance system for protection of motor car, involves determining recording locations of object from different positions of motor car based on three-dimensional positional data and endangerment value
DE102018104104A1 (en) Driver assistance method for a vehicle
DE102010020135A1 (en) Driver assistance device for vehicle, has traffic sign recognition device providing presence of current parking zone in current vehicle environment, and signaling device emitting parking prohibition signal in no-parking zone
DE102018203063A1 (en) Collision risk-prediction unit
DE102014111012A1 (en) A method for assisting a driver of a motor vehicle when parking out, driver assistance system and motor vehicle
DE102015116542A1 (en) Method for determining a parking area for parking a motor vehicle, driver assistance system and motor vehicle
DE102016117712A1 (en) Method for at least semi-autonomous maneuvering of a motor vehicle taking into account a detection range of a sensor, driver assistance system and motor vehicle
DE102018201896A1 (en) Determining the driving of a vehicle on a driveway
DE212017000196U1 (en) Motor vehicle with a device for measuring a distance between a first vehicle and a second vehicle immediately ahead of the first vehicle
DE102013003219A1 (en) Method for assisting driver of motor car on fast lane of two-lane road, involves driving preceding vehicle longer than preset time on fast lane, without having recognizable overhauling intent or avoidance intent
DE102017120765A1 (en) Method for characterizing a parking space bounded by two objects for a motor vehicle, parking assistance system and motor vehicle
DE102016012345A1 (en) Method for recognizing objects
DE102020007057A1 (en) Vehicle and method for determining a headroom
DE102017104869A1 (en) Method for generating a driving authorization signal for a motor vehicle for entering a roundabout, device for a motor vehicle, driver assistance system and motor vehicle
DE102014223259A1 (en) Method for estimating the lane course of a roadway
DE102021001046A1 (en) Method for recognizing the course of a lane and vehicle
DE102018203064A1 (en) Collision risk-prediction unit
DE102016119592A1 (en) Method for detecting objects in an environmental region of a motor vehicle taking into account sensor data in the infrared wavelength range, object recognition device, driver assistance system and motor vehicle
DE102020001532A1 (en) Method for reducing incorrect detection of objects in the vicinity of a vehicle, device for carrying out such a method, and vehicle with such a device

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee