DE102021005731A1 - Method for operating sensor-based environmental monitoring of a vehicle - Google Patents

Method for operating sensor-based environmental monitoring of a vehicle Download PDF

Info

Publication number
DE102021005731A1
DE102021005731A1 DE102021005731.7A DE102021005731A DE102021005731A1 DE 102021005731 A1 DE102021005731 A1 DE 102021005731A1 DE 102021005731 A DE102021005731 A DE 102021005731A DE 102021005731 A1 DE102021005731 A1 DE 102021005731A1
Authority
DE
Germany
Prior art keywords
camera
vehicle
lidar
account
sun
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021005731.7A
Other languages
German (de)
Inventor
Christian Kobetz
Konstantin Fichtner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102021005731.7A priority Critical patent/DE102021005731A1/en
Publication of DE102021005731A1 publication Critical patent/DE102021005731A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb einer sensorgestützten Umgebungsüberwachung eines Fahrzeugs (1), wobei von einer Kamera (2) erzeugte Kamerabilder von einer Recheneinheit (3) unter Berücksichtigung des Einflusses von optischen Lichtschwertern (4) ausgewertet werden, und wobei das Risiko des Auftretens von optischen Lichtschwertern (4) unter Berücksichtigung eines Sonnenstands ermittelt wird. Die Erfindung ist dadurch gekennzeichnet, dass die Recheneinheit (3) den Sonnenstand unter Berücksichtigung einer Richtung und Intensität der von einem am Fahrzeug (1) angeordneten Lidar (5) gemessenen Infrarotstrahlung ermittelt und unter Berücksichtigung einer Einbausituation der Kamera (2) und des Lidars (5) am Fahrzeug (1) und dem ermittelten Sonnenstand eine Lichtschwert-Risiko-Region (LSR) in von der Kamera (2) erzeugten Kamerabildern bestimmt, in der das Risiko des Auftretens von Lichtschwertern (4) besteht.The invention relates to a method for operating sensor-supported environmental monitoring of a vehicle (1), camera images generated by a camera (2) being evaluated by a computing unit (3), taking into account the influence of optical lightsabers (4), and the risk of occurrence is determined by optical lightsabers (4) taking into account a position of the sun. The invention is characterized in that the computing unit (3) determines the position of the sun taking into account a direction and intensity of the infrared radiation measured by a lidar (5) arranged on the vehicle (1) and taking into account an installation situation of the camera (2) and the lidar ( 5) on the vehicle (1) and the determined position of the sun, a lightsaber risk region (LSR) is determined in the camera images generated by the camera (2), in which there is a risk of lightsabers (4) appearing.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb einer sensorgestützten Umgebungsüberwachung eines Fahrzeugs nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug zur Durchführung des Verfahrens.The invention relates to a method for operating sensor-supported environmental monitoring of a vehicle according to the type defined in more detail in the preamble of claim 1, and to a vehicle for carrying out the method.

Mit Hilfe von Fahrerassistenzsystemen lässt sich der Komfort und die Sicherheit für Fahrzeuginsassen verbessern. Fahrerassistenzsysteme erfordern dabei typischerweise eine Fahrzeugumgebung mit Hilfe von Sensoren zu überwachen. Hierzu werden meist Sensoren wie Kameras, Lidare, Radarsysteme und/oder Ultraschallsensoren verwendet. Die von den entsprechenden Sensoren erzeugten Sensordaten werden von einer Recheneinheit ausgewertet, um statische und/oder dynamische Umgebungsobjekte zu erkennen.With the help of driver assistance systems, comfort and safety for vehicle occupants can be improved. Driver assistance systems typically require a vehicle environment to be monitored with the aid of sensors. For this purpose, sensors such as cameras, lidars, radar systems and / or ultrasonic sensors are mostly used. The sensor data generated by the corresponding sensors are evaluated by a computing unit in order to identify static and / or dynamic objects in the surroundings.

Eine besonders zuverlässige Objekterkennung ist insbesondere für autonom gesteuerte Fahrzeuge relevant, da die Steuerung eines entsprechenden Fahrzeugs alleinig durch ein entsprechendes Computersystem erfolgt und somit falsch erkannte bzw. klassifizierte Objekte die Unfallgefahr erhöhen. Zur Verbesserung der Objekterkennung werden typischerweise die Sensordaten verschiedener Sensortypen miteinander fusioniert.Particularly reliable object recognition is particularly relevant for autonomously controlled vehicles, since a corresponding vehicle is controlled solely by a corresponding computer system and thus incorrectly recognized or classified objects increase the risk of accidents. To improve object recognition, the sensor data from different sensor types are typically merged with one another.

Jeder Sensortyp weist dabei eigenen Vor- und Nachteile auf. Eine Objekterkennung durch die Auswertung von Kamerabildern wird beispielsweise durch das Auftreten von Artefakten nachteilig beeinflusst. So treten beim Vorhandensein heller Lichtquellen Blendeffekte in Kamerabildern auf, die zum Überstrahlen relevanter Umgebungsobjekte führen können. Auch können sogenannte optische Lichtschwerter, auch als Lightsword bezeichnet, auftreten, wodurch ein einzelnes zusammenhängendes Objekt in einem Kamerabild wie zwei zueinander getrennte Objekte erscheinen kann. Dies ist beispielsweise der Fall, wenn ein LKW mit Anhänger zwischen die Sonne und ein Fahrzeug mit entsprechender Kameraüberwachung in den Sichtbereich der Kamera hineinfährt. Der LKW mit Anhänger wird von einem entsprechendem Fahrzeugsteuergerät auf Basis von Lidarsensordaten oder Radarsensordaten als ein Objekt erkannt, auf Basis entsprechender Kameradaten jedoch für zwei Objekte gehalten. Somit ist eine erfolgreiche Sensorfusion nicht mehr möglich, wodurch die korrekte Funktionsweise von Fahrerassistenzsystemen beeinträchtigt werden kann.Each type of sensor has its own advantages and disadvantages. Object recognition through the evaluation of camera images is adversely affected, for example, by the occurrence of artifacts. For example, when bright light sources are present, glare effects occur in camera images, which can lead to overexposure to relevant surrounding objects. So-called optical lightsabers, also known as lightswords, can also appear, as a result of which a single coherent object can appear in a camera image like two separate objects. This is the case, for example, when a truck with a trailer drives between the sun and a vehicle with appropriate camera monitoring in the field of view of the camera. The truck with trailer is recognized as one object by a corresponding vehicle control device on the basis of lidar sensor data or radar sensor data, but is mistaken for two objects on the basis of corresponding camera data. Successful sensor fusion is therefore no longer possible, which can impair the correct functioning of driver assistance systems.

Aus der DE 10 2019 008 722 A1 sind ein Verfahren zum Betrieb einer optischen Erfassungsvorrichtung in Abhängigkeit einer Lichtschwertwahrscheinlichkeit sowie eine optische Erfassungsvorrichtung bekannt. Dabei wird basierend auf einer Position und Ausrichtung des Fahrzeugs sowie unter Berücksichtigung einer aktuellen Uhrzeit ein Sonnenstand errechnet und unter Berücksichtigung der Einbausituation einer Kamera am Fahrzeug ein entsprechender Bereich in Kamerabildern ermittelt, indem durch die Sonne hervorgerufene Lichtschwerter auftreten können. Der entsprechende Bereich wird in der Auswertung von Kamerabildern gesondert behandelt. Beispielsweise wird der entsprechende Bereich von einer Objekterkennung ausgenommen und/oder die Kamerabilder werden in diesem Bereich auf das Auftreten von Lichtschwertern hin analysiert. Nachteilig ist dabei jedoch, dass der Sonnenstand errechnet wird, was dazu führt, dass der abgeschätzte Bereich in den Kamerabildern in dem mit dem Auftreten von Lichtschwertern zu rechnen ist, nur vergleichsweise ungenau bestimmt werden kann.From the DE 10 2019 008 722 A1 a method for operating an optical detection device as a function of a lightsaber probability and an optical detection device are known. A position of the sun is calculated based on a position and orientation of the vehicle and taking into account the current time and, taking into account the installation situation of a camera on the vehicle, a corresponding area is determined in camera images in which lightsabers caused by the sun can occur. The corresponding area is treated separately in the evaluation of camera images. For example, the corresponding area is excluded from object detection and / or the camera images are analyzed in this area for the appearance of lightsabers. However, the disadvantage here is that the position of the sun is calculated, which means that the estimated area in the camera images in which the appearance of lightsabers is to be expected can only be determined comparatively imprecisely.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum Betrieb einer sensorgestützten Umgebungsüberwachung eines Fahrzeugs anzugeben, welches eine besonders zuverlässige und damit sichere Umgebungsüberwachung ermöglicht.The present invention is based on the object of specifying an improved method for operating sensor-supported environmental monitoring of a vehicle which enables particularly reliable and therefore safe environmental monitoring.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum Betrieb einer sensorgestützten Umgebungsüberwachung eines Fahrzeugs mit den Merkmalen des Anspruchs 1 sowie ein Fahrzeug mit den einer Kamera, einem Lidar und einer Recheneinheit gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Ansprüchen.According to the invention, this object is achieved by a method for operating sensor-supported environmental monitoring of a vehicle having the features of claim 1 and a vehicle having a camera, a lidar and a computing unit. Advantageous refinements and developments result from the dependent claims.

Bei einem Verfahren zum Betrieb einer sensorgestützten Umgebungsüberwachung eines Fahrzeugs der eingangs genannten Art, werden von einer Kamera erzeugte Kamerabilder von einer Recheneinheit unter Berücksichtigung des Einflusses von optischen Lichtschwertern ausgewertet, wobei das Risiko des Auftretens von optischen Lichtschwertern unter Berücksichtigung eines Sonnenstands ermittelt wird und wobei erfindungsgemäß die Recheneinheit den Sonnenstand unter Berücksichtigung einer Richtung und Intensität der von einem Fahrzeug angeordneten Lidar gemessenen Infrarotstrahlung ermittelt und unter Berücksichtigung einer Einbausituation der Kamera und des Lidars am Fahrzeug und dem ermittelten Sonnenstand eine Lichtschwert-Risiko-Region in von der Kamera erzeugten Kamerabildern bestimmt, in der das Risiko des Auftretens von Lichtschwertern besteht.In a method for operating sensor-based environmental monitoring of a vehicle of the type mentioned at the outset, camera images generated by a camera are evaluated by a computing unit taking into account the influence of optical lightsabers, the risk of optical lightsabers occurring being determined taking into account the position of the sun and according to the invention the arithmetic unit determines the position of the sun taking into account a direction and intensity of the infrared radiation measured by the lidar arranged by a vehicle and, taking into account an installation situation of the camera and the lidar on the vehicle and the determined position of the sun, determines a lightsaber risk region in camera images generated by the camera, in who is at risk of lightsabers appearing.

Mit Hilfe des erfindungsgemäßen Verfahrens lässt sich die Lage der Lichtschwert-Risiko-Region in Kamerabildern gegenüber dem Stand der Technik besonders zuverlässig ermitteln, wodurch sich analog die Zuverlässigkeit einer kamerabasierten Objekterkennung verbessern lässt. So ist es nicht mehr erforderlich, den Sonnenstand nur relativ grob und ungenau abzuschätzen, sondern der Sonnenstand lässt sich vergleichsweise genau messen. Lidare verwenden typischerweise Infrarotlaser und sind somit dazu in der Lage, Infrarotstrahlung zu erfassen und auszuwerten. Somit sind außer dem Vorsehen eines Lidars am Fahrzeug keine weiteren physischen Änderungen des Fahrzeugaufbaus notwendig.With the aid of the method according to the invention, the position of the lightsaber risk region in camera images can be determined particularly reliably compared to the prior art, whereby the reliability of camera-based object recognition can be improved analogously. It's not like that It is more necessary to estimate the position of the sun only relatively roughly and imprecisely, but the position of the sun can be measured comparatively precisely. Lidars typically use infrared lasers and are therefore able to detect and evaluate infrared radiation. Thus, apart from the provision of a lidar on the vehicle, no further physical changes to the vehicle structure are necessary.

In einzelnen Kamerabildern können viele verschiedene Lichtquellen vorliegen. Sonstige Lichtquellen wie beispielsweise Reklametafeln oder Straßenlaternen sind jedoch in der Regel nicht ausreichend hell genug, um ausreichend helle optische Lichtschwerter hervorzurufen, die in einer Kamerabildauswertung zum Zerteilen eines zusammenhängenden Objekts in mehrere Objekte führen können. Über die Intensität der Infrarotstrahlung lässt sich somit ein Grenzwert definieren, über den die Lichtschwerterkennung auf relevante Bildbereiche eingeschränkt werden kann. So gibt die Sonne vergleichsweise viel Infrarotstrahlung ab, wodurch durch einen vergleichsweise hoch gewählten Intensitätswert der vom Lidar gemessenen Infrarotstrahlung der Bereich in dem Lichtschwerter auftreten können auf den Bildbereich beschränkt wird, in dem auch die Sonne steht.Many different light sources can be present in individual camera images. However, other light sources such as billboards or street lamps are usually not bright enough to produce sufficiently bright optical lightsabers, which can lead to the division of a coherent object into several objects in a camera image evaluation. Using the intensity of the infrared radiation, a limit value can thus be defined, via which the lightsaber detection can be restricted to relevant image areas. The sun emits a comparatively large amount of infrared radiation, which means that the area in which the lightsaber can occur is limited to the image area in which the sun is located due to a comparatively high intensity value of the infrared radiation measured by the lidar.

Die Information über die Lichtschwert-Risiko-Region lässt sich auf vielfältige Art und Weise weiterverarbeiten. Beispielsweise kann analog zum Stand der Technik der entsprechende Bereich der Kamerabilder von einer weiteren Objekterkennung ausgespart werden.The information about the lightsaber risk region can be further processed in a variety of ways. For example, analogously to the prior art, the corresponding area of the camera images can be left out of a further object recognition.

Gemäß einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens werden jedoch zwei in einem Kamerabild zumindest partiell in der Lichtschwert-Risiko-Region erkannte und unmittelbar zueinander durch ein Lichtschwert getrennte Objekte von der Recheneinheit als ein einziges Objekt behandelt. Durch die Anwendung des erfindungsgemäßen Verfahrens lässt sich somit verhindern, dass ein Objekt durch Lichtschwerter in mehrere einzelne Objekte zerteilt wird. Hierdurch lässt sich die Zuverlässigkeit der kamerabasierten Objekterkennung noch weiter steigern. Dabei ist es nicht erforderlich, dass ein Lichtschwert in einem Kamerabild erkannt werden muss. Alleinig der Kontakt eines Objekts zur Lichtschwert-Risiko-Region reicht aus, dass die Recheneinheit das entsprechende Objekt weiterhin als ein einziges Objekt behandelt. Das entsprechende Objekt kann auch an einer Seite oder beidseitig aus der Lichtschwert-Risiko-Region herausragen.According to an advantageous development of the method according to the invention, however, two objects that are at least partially recognized in a camera image in the lightsaber risk region and that are directly separated from one another by a lightsaber are treated as a single object by the computing unit. By using the method according to the invention, it is thus possible to prevent an object from being divided into several individual objects by lightsabers. This allows the reliability of the camera-based object recognition to be increased even further. It is not necessary for a lightsaber to be recognized in a camera image. Merely the contact of an object with the lightsaber risk region is sufficient for the processing unit to continue to treat the corresponding object as a single object. The corresponding object can also protrude from the lightsaber risk region on one side or on both sides.

Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens werden zur Nachverfolgung eines Objekts Sensordaten der Kamera mit Sensordaten des Lidars und/oder eines Radarsystems fusioniert. Das erfindungsgemäße Verfahren erlaubt somit das Durchführen einer Sensorfusion von Kameradaten mit Lidardaten und/oder Radarsystemdaten, auch wenn optische Lichtschwerter auftreten. Wie eingangs bereit erwähnt, lässt sich die Zuverlässigkeit in der Objekterkennung durch eine Sensorfusion verbessern. Insbesondere das Nachverfolgen erkannter Objekte trägt zum zuverlässigen Einsatz von Fahrerassistenzsystemen bei. Somit lässt sich auch der Betrieb von autonomen Fahrzeugen noch sicherer gestalten.According to a further advantageous embodiment of the method according to the invention, sensor data from the camera are fused with sensor data from the lidar and / or a radar system in order to track an object. The method according to the invention thus allows the implementation of a sensor fusion of camera data with lidar data and / or radar system data, even if optical lightsabers occur. As already mentioned at the beginning, the reliability in object recognition can be improved by a sensor fusion. Tracking detected objects in particular contributes to the reliable use of driver assistance systems. This means that the operation of autonomous vehicles can also be made even safer.

Bei einem Fahrzeug mit einer Kamera, einem Lidar und einer Recheneinheit sind erfindungsgemäß die Kamera, das Lidar und die Recheneinheit zur Durchführung eines in vorigen beschriebenen Verfahrens eingerichtet. Bei dem Fahrzeug handelt es sich um ein beliebiges Fahrzeug wie einen PKW, LKW, Transporter, Bus oder dergleichen. Die Kamera kann als Mono- oder Stereokamera ausgeführt sein. Mit Hilfe des Lidars lässt sich der Sonnenstand bestimmen, wobei vom Lidar gemessene Infrarotstrahlung von der Recheneinheit ausgewertet wird. Hierzu werden Intensität und Richtung der vom Lidar gemessenen Infrarotstrahlung analysiert. Die Recheneinheit umfasst entsprechenden Programmcode, dessen Ausführung auf einem Prozessor eine Ausführung des erfindungsgemäßen Verfahrens bewirkt.In a vehicle with a camera, a lidar and a computing unit, the camera, the lidar and the computing unit are set up according to the invention to carry out a method described above. The vehicle is any vehicle such as a car, truck, van, bus or the like. The camera can be designed as a mono or stereo camera. The position of the sun can be determined with the aid of the lidar, with infrared radiation measured by the lidar being evaluated by the computing unit. For this purpose, the intensity and direction of the infrared radiation measured by the lidar are analyzed. The processing unit comprises corresponding program code, the execution of which on a processor causes the method according to the invention to be executed.

Bevorzugt weist das Fahrzeug eine autonome Betriebsweise auf. Wie bereits erwähnt, sind autonome Fahrzeuge im Besonderen auf eine zuverlässige Objekterkennung angewiesen. Mit Hilfe des erfindungsgemäßen Verfahrens lässt sich eine kamerabasierte Objekterkennung verbessern und durch die Möglichkeit, auch beim Auftreten von optischen Lichtschwertern eine Sensorfusion von Sensoren unterschiedlichen Typs durchzuführen, auch die Nachverfolgung von Objekten zuverlässig gewährleisten. Hierdurch lässt sich die Sicherheit im Straßenverkehr verbessern.The vehicle preferably has an autonomous mode of operation. As already mentioned, autonomous vehicles are particularly dependent on reliable object recognition. With the aid of the method according to the invention, camera-based object recognition can be improved and, thanks to the possibility of carrying out a sensor fusion of sensors of different types even when optical lightsabers appear, the tracking of objects can also be reliably ensured. This improves road safety.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zum Betrieb einer sensorgestützten Umgebungsüberwachung eines Fahrzeugs sowie des Fahrzeugs ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.Further advantageous refinements of the method according to the invention for operating sensor-supported environmental monitoring of a vehicle and of the vehicle also emerge from the exemplary embodiments, which are described in more detail below with reference to the figures.

Dabei zeigen:

  • 1 eine schematische Darstellung einer Fahrsituation eines auf einer mittleren Spur fahrenden Fahrzeugs, welches von einem Fahrzeuggespann überholt wird; und
  • 2 die in 1 gezeigte Fahrsituation zu einem späteren Zeitpunkt, wobei es zu einer Bildung eines optischen Lichtschwerts zwischen einer Zugmaschine und einem Anhänger des Fahrzeuggespanns kommt.
Show:
  • 1 a schematic representation of a driving situation of a vehicle traveling in a middle lane which is overtaken by a vehicle combination; and
  • 2 in the 1 shown driving situation at a later point in time, whereby there is a bil An optical lightsaber comes between a tractor and a trailer of the vehicle combination.

1 zeigt ein erfindungsgemäßes Fahrzeug 1, welches in eine Fahrtrichtung F auf einer Fahrbahn 6 fährt. Das Fahrzeug 1 weist eine Kamera 2, ein Lidar 5 sowie eine Recheneinheit 3 auf. Von der Kamera 2 erzeugte Kamerabilder sowie vom Lidar 5 erzeugte Sensordaten werden von der Recheneinheit 3 zur Erkennung statischer und/oder dynamischer Umgebungsobjekte ausgewertet. Das Fahrzeug 1 wird Rechts von einem auf die Fahrbahn 6 auffahrenden Fahrzeuggespann 8 aus einer Zugmaschine 8.1, beispielsweise einem LKW, und einem Anhänger 8.2, überholt. 1 shows a vehicle 1 according to the invention which is traveling in a direction of travel F on a roadway 6. The vehicle 1 has a camera 2, a lidar 5 and a computing unit 3. Camera images generated by the camera 2 and sensor data generated by the lidar 5 are evaluated by the computing unit 3 to identify static and / or dynamic objects in the surroundings. The vehicle 1 is overtaken on the right by a vehicle combination 8 from a tractor 8.1, for example a truck, and a trailer 8.2, which is driving onto the lane 6.

Ferner zeigt 1 eine tiefstehende Sonne 7. Die tiefstehende Sonne 7 kann in von der Kamera 2 erzeugten Kamerabildern zu Blendeffekten führen, insbesondere zu sogenannten, in 2 gezeigten, optischen Lichtschwertern 4. Bei einem Lichtschwert 4 handelt es sich um das Hindurchscheinen hellen Lichts durch einen Spalt, sodass das Risiko besteht, dass die Recheneinheit 3 unter Anwendung von Bilderkennungsalgorithmen in den Kamerabildern anstelle eines einzelnen, eigentlich zusammenhängenden Objekts, zwei separate Objekte wahrnimmt. Dies ist insbesondere problematisch für die Nachverfolgung von Umgebungsobjekten, da ein bereits erkanntes und nachverfolgtes Umgebungsobjekt durch das Lichtschwert in mehrere „neue“ Objekte zerfällt. Sensoren anderen Typs, beispielsweise das Lidar 5 und/oder auch ein Radarsystem, werden durch das Auftreten von Lichtschwertern 4 hingegen nicht beeinflusst. Entsprechend erkennt die Recheneinheit 3 unter Auswertung von Lidardaten und/oder Radarsystemdaten weiterhin ein einzelnes Objekt anstelle von zwei Objekten. Diese Problematik erschwert die Objektverfolgung, wenn eine Sensorfusion der Kamera 2 mit dem Lidar 5 und/oder einem nicht dargestellten Radarsystem durchgeführt wird.Also shows 1 a low-lying sun 7. The low-lying sun 7 can lead to glare effects in camera images generated by the camera 2, in particular to so-called in 2 shown, optical lightsabers 4. A lightsaber 4 is the shining through of bright light through a gap, so there is a risk that the computing unit 3 will perceive two separate objects using image recognition algorithms in the camera images instead of a single, actually coherent object . This is particularly problematic for the tracking of surrounding objects, since an already recognized and tracked surrounding object breaks up into several “new” objects by the lightsaber. Sensors of a different type, for example the lidar 5 and / or a radar system, on the other hand, are not influenced by the occurrence of lightsabers 4. Correspondingly, the computing unit 3 continues to recognize a single object instead of two objects by evaluating lidar data and / or radar system data. This problem makes object tracking more difficult when a sensor fusion of the camera 2 with the lidar 5 and / or a radar system (not shown) is carried out.

Das Lidar 5 ist dazu eingerichtet Infrarotstrahlung zu messen. Da die Sonne 7 Infrarotstrahlung mit einer vergleichsweise hohen Intensität abstrahlt, ist die Recheneinheit 3 dazu in der Lage unter Berücksichtigung der Intensität und Richtung der vom Lidar 5 gemessenen Infrarotstrahlung einen Sonnenstand zu berechnen. Unter Berücksichtigung der Einbaulage von Lidar 5 und Kamera 2 am Fahrzeug 1 berechnet die Recheneinheit 3 dann eine Lichtschwert-Risiko-Region LSR, in der mit dem Auftreten von optischen Lichtschwertern 4 in den von der Kamera 2 erzeugten Kamerabildern zu rechnen ist.The lidar 5 is set up to measure infrared radiation. Since the sun 7 emits infrared radiation with a comparatively high intensity, the computing unit 3 is able to calculate the position of the sun, taking into account the intensity and direction of the infrared radiation measured by the lidar 5. Taking into account the installation position of lidar 5 and camera 2 on vehicle 1, computing unit 3 then calculates a lightsaber risk region LSR in which optical lightsabers 4 can be expected to appear in the camera images generated by camera 2.

In 1 hat das Fahrzeuggespann 8 die Lichtschwert-Risiko-Region LSR noch nicht erreicht. Die Recheneinheit 3 ordnet entsprechend durch Auswertung von der Kamera 2 erzeugter Kamerabilder und vom Lidar 5 erzeugter Sensordaten jeweils dem Fahrzeuggespann 8 eine einzelne Objekt-ID zu.In 1 the vehicle combination 8 has not yet reached the lightsaber risk region LSR. The computing unit 3 assigns an individual object ID to the vehicle combination 8 in each case by evaluating camera images generated by the camera 2 and sensor data generated by the lidar 5.

In 2 hat das Fahrzeuggespann 8 das Fahrzeug 1 überholt, sodass die Sonne 7 durch die Lücke zwischen Zugmaschine 8.1 und Anhänger 8.2 in Richtung der Kamera 2 hindurch fällt. Hierdurch wird in den Kamerabildern die Zugmaschine 8.1 vom Anhänger 8.2 durch das Lichtschwert 4 getrennt. Während unter Auswertung der vom Lidar 5 und/oder einem Radarsystem erzeugter Sensordaten die Recheneinheit 3 weiterhin dem Fahrzeuggespann 8 eine einzelne Objekt-ID zuordnet, so würde die Recheneinheit 3 ohne Anwendung eines erfindungsgemäßen Verfahrens durch Auswertung der Kamerabilder dem Fahrzeuggespann 8 zwei Objekt-IDs zuordnen. Dies lässt sich jedoch mit Hilfe des erfindungsgemäßen Verfahrens verhindern, sodass auch eine Auswertung der Kamerabilder zu einer Zuordnung einer einzelnen Objekt-ID zum Fahrzeuggespann 8 führt.In 2 the vehicle combination 8 has overtaken the vehicle 1 so that the sun 7 falls through the gap between the tractor 8.1 and the trailer 8.2 in the direction of the camera 2. As a result, the tractor 8.1 is separated from the trailer 8.2 by the lightsaber 4 in the camera images. While the processing unit 3 continues to assign a single object ID to the vehicle combination 8 while evaluating the sensor data generated by the lidar 5 and / or a radar system, the processing unit 3 would assign two object IDs to the vehicle combination 8 without using a method according to the invention by evaluating the camera images . However, this can be prevented with the aid of the method according to the invention, so that an evaluation of the camera images also leads to an assignment of an individual object ID to the vehicle combination 8.

Hierzu werden von der Recheneinheit 3 Objekte die in der Lichtschwert-Risiko-Region LSR liegen oder die diese zumindest berühren als ein einzelnes zusammenhängendes Objekt behandelt. Dies ist in 2 bei dem Fahrzeuggespann 8 der Fall, da die Zugmaschine 8.1 und der Anhänger 8,2 durch die Lichtschwert-Risiko-Region LSR voneinander getrennt werden, beziehungsweise die Lichtschwert-Risiko-Region LSR berühren.For this purpose, objects which are located in the lightsaber risk region LSR or which at least touch it are treated as a single coherent object by the computing unit 3. This is in 2 the case with the vehicle combination 8, since the tractor 8.1 and the trailer 8.2 are separated from one another by the lightsaber risk region LSR, or touch the lightsaber risk region LSR.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 102019008722 A1 [0005]DE 102019008722 A1 [0005]

Claims (5)

Verfahren zum Betrieb einer sensorgestützten Umgebungsüberwachung eines Fahrzeugs (1), wobei von einer Kamera (2) erzeugte Kamerabilder von einer Recheneinheit (3) unter Berücksichtigung des Einflusses von optischen Lichtschwertern (4) ausgewertet werden, und wobei das Risiko des Auftretens von optischen Lichtschwertern (4) unter Berücksichtigung eines Sonnenstands ermittelt wird, dadurch gekennzeichnet, dass die Recheneinheit (3) den Sonnenstand unter Berücksichtigung einer Richtung und Intensität der von einem am Fahrzeug (1) angeordneten Lidar (5) gemessenen Infrarotstrahlung ermittelt und unter Berücksichtigung einer Einbausituation der Kamera (2) und des Lidars (5) am Fahrzeug (1) und dem ermittelten Sonnenstand eine Lichtschwert-Risiko-Region (LSR) in von der Kamera (2) erzeugten Kamerabildern bestimmt, in der das Risiko des Auftretens von Lichtschwertern (4) besteht.Method for operating sensor-supported environmental monitoring of a vehicle (1), with camera images generated by a camera (2) being evaluated by a computing unit (3) taking into account the influence of optical lightsabers (4), and the risk of optical lightsabers ( 4) is determined taking into account a position of the sun, characterized in that the arithmetic unit (3) determines the position of the sun taking into account a direction and intensity of the infrared radiation measured by a lidar (5) arranged on the vehicle (1) and taking into account an installation situation of the camera ( 2) and the lidar (5) on the vehicle (1) and the determined position of the sun, a lightsaber risk region (LSR) in which there is a risk of lightsabers (4) occurring is determined in the camera images generated by the camera (2). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zwei in einem Kamerabild zumindest partiell in der Lichtschwert-Risiko-Region (LSR) erkannte und unmittelbar zueinander durch ein Lichtschwert (4) getrennte Objekte von der Recheneinheit (3) als ein einziges Objekt behandelt werden.Procedure according to Claim 1 , characterized in that two objects recognized in a camera image at least partially in the lightsaber risk region (LSR) and directly separated from one another by a lightsaber (4) are treated as a single object by the computing unit (3). Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass zur Nachverfolgung eines Objekts Sensordaten der Kamera (2) mit Sensordaten des Lidars (5) und/oder eines Radarsystems fusioniert werden.Procedure according to Claim 2 , characterized in that for tracking an object sensor data from the camera (2) are fused with sensor data from the lidar (5) and / or a radar system. Fahrzeug (1) mit einer Kamera (2), einem Lidar (5) und einer Recheneinheit (3), dadurch gekennzeichnet, dass die Kamera (2), das Lidar (5) und die Recheneinheit (3) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 3 eingerichtet sind.Vehicle (1) with a camera (2), a lidar (5) and a computing unit (3), characterized in that the camera (2), the lidar (5) and the computing unit (3) for performing a method according to a the Claims 1 until 3 are set up. Fahrzeug (1) nach Anspruch 4, gekennzeichnet durch eine autonome Betriebsweise.Vehicle (1) after Claim 4 , characterized by an autonomous mode of operation.
DE102021005731.7A 2021-11-19 2021-11-19 Method for operating sensor-based environmental monitoring of a vehicle Pending DE102021005731A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021005731.7A DE102021005731A1 (en) 2021-11-19 2021-11-19 Method for operating sensor-based environmental monitoring of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021005731.7A DE102021005731A1 (en) 2021-11-19 2021-11-19 Method for operating sensor-based environmental monitoring of a vehicle

Publications (1)

Publication Number Publication Date
DE102021005731A1 true DE102021005731A1 (en) 2022-01-05

Family

ID=79019858

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021005731.7A Pending DE102021005731A1 (en) 2021-11-19 2021-11-19 Method for operating sensor-based environmental monitoring of a vehicle

Country Status (1)

Country Link
DE (1) DE102021005731A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022120255A1 (en) 2022-08-11 2024-02-22 Bayerische Motoren Werke Aktiengesellschaft Assistance system and assistance procedures for a vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019008722A1 (en) 2019-12-16 2020-08-20 Daimler Ag Method for operating an optical detection device as a function of a lightsaber probability and optical detection device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019008722A1 (en) 2019-12-16 2020-08-20 Daimler Ag Method for operating an optical detection device as a function of a lightsaber probability and optical detection device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022120255A1 (en) 2022-08-11 2024-02-22 Bayerische Motoren Werke Aktiengesellschaft Assistance system and assistance procedures for a vehicle

Similar Documents

Publication Publication Date Title
DE102018203807A1 (en) Method and device for detecting and evaluating road conditions and weather-related environmental influences
WO2012152268A2 (en) Redundant object detection for driver assistance systems
DE102016212326A1 (en) Method for processing sensor data for a position and / or orientation of a vehicle
DE102011014699A1 (en) Method for operating driver assistance system for protection of motor car, involves determining recording locations of object from different positions of motor car based on three-dimensional positional data and endangerment value
WO2018206213A1 (en) Method and apparatus for the spatially resolved detection of an object outside a vehicle with the aid of a sensor installed in a vehicle
DE102015221911A1 (en) Driver assistance system
DE102018213262A1 (en) Method for operating a motor vehicle, in particular a motorcycle, computer program
DE102016117712A1 (en) Method for at least semi-autonomous maneuvering of a motor vehicle taking into account a detection range of a sensor, driver assistance system and motor vehicle
DE102021002377A1 (en) Process for predictive, camera-based parking lot detection and vehicle
WO2020216562A1 (en) Method for determining a safety level of a target function of a vehicle, safety system and vehicle
DE102010049216A1 (en) Method for operating camera i.e. stereo camera, arranged at car, involves detecting distance of object via image evaluation, and calibrating camera when distance determined by sensing unit deviates from distance determined by evaluation
DE102010023199A1 (en) Method for operating image capturing device for realizing outer mirror functions of motor vehicle, involves monitoring momentary state of cameras in dependence of result of comparison and/or merging of environmental characteristics
DE102016203727A1 (en) A method for avoiding a collision between a first vehicle and a second vehicle and control device
WO2015090691A1 (en) Method for generating a model of the surroundings of a motor vehicle, driver assistance system and motor vehicle
DE102021005731A1 (en) Method for operating sensor-based environmental monitoring of a vehicle
DE102015010535A1 (en) Camera-based environmental detection for commercial vehicles
DE102019100318A1 (en) Device and method for improving assistance systems for lateral vehicle movements
DE102013022076A1 (en) Method for determining a width of a target vehicle by means of a camera system of a motor vehicle, camera system and motor vehicle
DE102017010495A1 (en) Method and device for projecting at least one piece of information onto a projection surface
DE102019121919A1 (en) Identification of soiling on a roadway
DE102017115473A1 (en) Method for controlling a functional device of a driver assistance system in a motor vehicle, control device, driver assistance system and motor vehicle
EP3520020A1 (en) Road sign classification in a surrounding area of a motor vehicle
EP2743130B1 (en) Method and device for controlling a light distribution from the lamp of a vehicle
DE102017206973A1 (en) Method for using an indirect detection of a covered road user for controlling a driver assistance system or a Fahrrauomatisierungsfunktion a vehicle
DE102017211044A1 (en) Driver assistance system for collision warning by determining the wheel angle of neighboring vehicles

Legal Events

Date Code Title Description
R230 Request for early publication
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: MERCEDES-BENZ GROUP AG, DE

Free format text: FORMER OWNER: DAIMLER AG, STUTTGART, DE