DE102021129088A1 - Method for generating three-dimensional environmental information of an optical detection device, computer program product, computer-readable storage medium, optical detection device, assistance system and motor vehicle - Google Patents

Method for generating three-dimensional environmental information of an optical detection device, computer program product, computer-readable storage medium, optical detection device, assistance system and motor vehicle Download PDF

Info

Publication number
DE102021129088A1
DE102021129088A1 DE102021129088.0A DE102021129088A DE102021129088A1 DE 102021129088 A1 DE102021129088 A1 DE 102021129088A1 DE 102021129088 A DE102021129088 A DE 102021129088A DE 102021129088 A1 DE102021129088 A1 DE 102021129088A1
Authority
DE
Germany
Prior art keywords
dimensional
optical detection
detection device
dimensional image
electronic computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021129088.0A
Other languages
German (de)
Inventor
Thorsten Beuth
Varun Ravi Kumar
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102021129088.0A priority Critical patent/DE102021129088A1/en
Priority to PCT/EP2022/079535 priority patent/WO2023083590A1/en
Publication of DE102021129088A1 publication Critical patent/DE102021129088A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen einer dreidimensionalen Umgebungsinformation (11) einer optischen Erfassungseinrichtung (3), mit den Schritten:- Aussenden von einer Vielzahl von Lichtimpulsen (7) in die Umgebung (6);- Empfangen von in der Umgebung (6) reflektierten Lichtimpulsen (8);- Auswerten der empfangenen Lichtimpulse (8) mittels einer elektronischen Recheneinrichtung (4); gekennzeichnet durch die Schritte:- Erzeugen mindestens eines zweidimensionalen Bilds (12) der Umgebung (6) mittels in Abhängigkeit von empfangenem Umgebungslicht (19) der Umgebung (6);- Erzeugen mindestens einer dreidimensionalen Punktwolke (13) der Umgebung (6) mittels in Abhängigkeit von den reflektierten Lichtimpulsen (9); und- Erzeugen der dreidimensionalen Umgebungsinformation (11) in Abhängigkeit von dem erzeugten zweidimensionalen Bild (12) und in Abhängigkeit von der dreidimensionalen Punktwolke (13).Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium, eine optische Erfassungseinrichtung (3) sowie ein Assistenzsystem (2).The invention relates to a method for generating three-dimensional information about the surroundings (11) of an optical detection device (3), with the steps: - Emitting a large number of light pulses (7) into the surroundings (6); - Receiving in the surroundings (6) reflected light pulses (8); - evaluating the received light pulses (8) by means of an electronic computing device (4); characterized by the steps:- generating at least one two-dimensional image (12) of the environment (6) by means of received ambient light (19) of the environment (6);- generating at least one three-dimensional point cloud (13) of the environment (6) by means of in Dependence on the reflected light pulses (9); and- generating the three-dimensional environmental information (11) as a function of the generated two-dimensional image (12) and as a function of the three-dimensional point cloud (13). The invention also relates to a computer program product, a computer-readable storage medium, an optical detection device (3) and an assistance system (2).

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen einer dreidimensionalen Umgebungsinformation einer Umgebung einer optischen Erfassungseinrichtung eines Assistenzsystems eines Kraftfahrzeugs. Es erfolgt das Aussenden von einer Vielzahl von Lichtimpulsen in die Umgebung mittels der optischen Erfassungseinrichtung. Es werden die reflektierten Lichtimpulse in der Umgebung mittels der optischen Erfassungseinrichtung empfangen. Es erfolgt das Auswerten der empfangenen Lichtimpulse mittels einer elektronischen Recheneinrichtung der optischen Erfassungseinrichtung. Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium, eine optische Erfassungseinrichtung, ein Assistenzsystem sowie ein entsprechendes Kraftfahrzeug.The invention relates to a method for generating three-dimensional information about the surroundings of an optical detection device of an assistance system of a motor vehicle. A large number of light pulses are emitted into the environment by means of the optical detection device. The reflected light pulses in the surroundings are received by the optical detection device. The received light pulses are evaluated by means of an electronic computing device of the optical detection device. Furthermore, the invention relates to a computer program product, a computer-readable storage medium, an optical detection device, an assistance system and a corresponding motor vehicle.

Aus dem Stand der Technik ist bereits bekannt, dass beispielsweise eine Lidarsensoreinrichtung auch als optische Erfassungseinrichtung bezeichnet werden kann. Mittels der Lidarsensoreinrichtung kann dabei beispielsweise auch ein zweidimensionales Bild erzeugt werden. Ferner ist bekannt, dass Lidarsensoren mittels der Lichtlaufzeitmessung (Time-of-Flight - ToF) eine Reichweitenmessung durchführen, wobei diese durch den Aspekt der Lasersicherheit eingeschränkt ist. Bei den Lidarsensoreinrichtungen kann es aufgrund der Messtechnik zu sogenannten Mehrdeutigkeitsproblemen kommen, im Speziellen bei indirekten Laufzeitmessungen. Beispielsweise kann ein Objekt in einem Meter gemessen werden, obwohl es sich in 13 Meter Entfernung befindet, weil ein Mehrdeutigkeitsbereich von zwölf Metern vorliegt. Beispielsweise kann das Objekt zwischen einem und zwölf Metern ausgebildet sein. Auf Basis der Lichtlaufzeitmessung kann jedoch lediglich am Anfang der Messung herausgefunden werden, ob sich das Objekt beispielsweise zwischen null und zwölf Metern, zwischen 12 und 24 Metern oder in anderen Entfernungsmehrdeutigkeitendistanzen befindet. Um diesem Mehrdeutigkeitsbereich verbessert entgegenzukommen, ist aus dem Stand der Technik bekannt, dass Messungen mit unterschiedlichen Mehrdeutigkeitsbereichen kombiniert und verglichen werden. Diese Technik erhöht allerdings die Belastung auf den Laser der Lidarsensoreinrichtung, da für die Bestimmung eines korrekten Abstandes die doppelte Anzahl an Messungen nötig ist.It is already known from the prior art that a lidar sensor device, for example, can also be referred to as an optical detection device. A two-dimensional image can also be generated by means of the lidar sensor device, for example. Furthermore, it is known that lidar sensors carry out a range measurement using the time-of-flight measurement (time-of-flight - ToF), this being limited by the aspect of laser safety. With the lidar sensor devices, so-called ambiguity problems can occur due to the measurement technology, especially with indirect transit time measurements. For example, an object can be measured at one meter even though it is 13 meters away because there is a 12 meter ambiguity range. For example, the object can be formed between one and twelve meters. Based on the time-of-flight measurement, however, it can only be found out at the beginning of the measurement whether the object is, for example, between zero and twelve meters, between 12 and 24 meters or at other distance ambiguity distances. In order to deal better with this area of ambiguity, it is known from the prior art that measurements with different areas of ambiguity are combined and compared. However, this technique increases the load on the laser of the lidar sensor device, since twice the number of measurements is required to determine a correct distance.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium, eine optische Erfassungseinrichtung, ein Assistenzsystem sowie ein Kraftfahrzeug zu schaffen, mittels welchen verbessert eine dreidimensionale Umgebungsinformation einer Umgebung erzeugt werden kann.The object of the present invention is to create a method, a computer program product, a computer-readable storage medium, an optical detection device, an assistance system and a motor vehicle, by means of which improved three-dimensional environmental information of an environment can be generated.

Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium, eine optische Erfassungseinrichtung, ein Assistenzsystem sowie ein Kraftfahrzeug gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.This object is achieved by a method, a computer program product, a computer-readable storage medium, an optical detection device, an assistance system and a motor vehicle according to the independent patent claims. Advantageous embodiments are specified in the dependent claims.

Ein Aspekt der Erfindung betrifft ein Verfahren zum Erzeugen einer dreidimensionalen Umgebungsinformation einer Umgebung einer optischen Erfassungseinrichtung eines Assistenzsystems eines Kraftfahrzeugs. Mittels der optischen Erfassungseinrichtung wird eine Vielzahl von Lichtimpulsen oder anderweitig modulierten kontinuierlichen Lasermessungen in die Umgebung ausgesendet. Es werden die von in der Umgebung reflektierten Lichtimpulse des Lasers mittels der optischen Erfassungseinrichtung empfangen. Es erfolgt das Auswerten der empfangenen Lichtimpulse, insbesondere als Empfangssignale, mittels einer elektronischen Recheneinrichtung der optischen Erfassungseinrichtung.One aspect of the invention relates to a method for generating three-dimensional environmental information of an area surrounding an optical detection device of an assistance system of a motor vehicle. A large number of light pulses or otherwise modulated continuous laser measurements are emitted into the environment by means of the optical detection device. The laser light pulses reflected from the surroundings are received by the optical detection device. The received light pulses are evaluated, in particular as received signals, by means of an electronic computing device of the optical detection device.

Es ist ebenso vorgesehen, dass mindestens ein zweidimensionales Bild der Umgebung mittels einer Empfangseinrichtung der optischen Erfassungseinrichtung in Abhängigkeit von empfangenem Umgebungslicht, oder auch anderer technischer Beleuchtungen, der Umgebung mittels der elektronischen Recheneinrichtung erzeugt wird. Es wird die dreidimensionalen Umgebungsinformation in Abhängigkeit von dem erzeugten zweidimensionalen Bild, oder einer Serie von zweidimensionalen Bildern, und in Abhängigkeit von der dreidimensionalen Punktwolke, oder deren Rohdaten, erzeugt.It is also provided that at least one two-dimensional image of the environment is generated by means of a receiving device of the optical detection device depending on received ambient light or other technical lighting of the environment using the electronic computing device. The three-dimensional environment information is generated as a function of the generated two-dimensional image, or a series of two-dimensional images, and as a function of the three-dimensional point cloud or its raw data.

Somit wird es ermöglicht, dass lediglich mittels der einen optischen Erfassungseinrichtung, welche sowohl ein zweidimensionales Bilder als auch dreidimensionale Punktwolke/Messungen erzeugen kann, die dreidimensionale Umgebungsinformation korrigiert werden kann.This makes it possible for the three-dimensional environmental information to be corrected only by means of the one optical detection device, which can generate both a two-dimensional image and three-dimensional point cloud/measurements.

Die optische Erfassungseinrichtung kann beispielsweise die zweidimensionalen Bilder mit unterschiedlichen Bildformaten, beispielsweise mittels einer Grauskala oder modifizierten Bayer/IR-Konfiguration verwenden. Im einfachsten Fall handelt es sich bei der optischen Erfassungseinrichtung um einen sogenannten Flash-Lidar, mit der Option, auch zweidimensional Beleuchtungsinformationen zu erfassen. Diese optische Erfassungseinrichtung kann abwechselnd dreidimensionale und zweidimensionale Bilder mit unterschiedlichen Parametern aufnehmen. Die dreidimensionalen Bilder können sich zum Beispiel durch die Wiederholfrequenz unterscheiden und damit unterschiedliche Mehrdeutigkeitsbereiche haben.For example, the optical detection device can use the two-dimensional images with different image formats, for example by means of a gray scale or modified Bayer/IR configuration. In the simplest case, the optical detection device is a so-called flash lidar, with the option of also detecting two-dimensional lighting information. This optical detection device can alternately record three-dimensional and two-dimensional images with different parameters. The three-dimensional images can differ, for example, in terms of the repetition frequency and thus have different areas of ambiguity.

Auf diese Weise können ausreichend dreidimensionale Daten im Nahbereich erfasst werden, ohne dass sich eine sehr schnelle Selbstbewegung des Kraftfahrzeugs ereignen muss, da die aktive Messung hier unterstützt und eine Berechnung der Abstände durch den Optical Flow typischerweise nicht bei niedrigen Geschwindigkeiten funktioniert. Die dreidimensionalen Daten können verwendet werden, um dreidimensionale Daten im zweidimensionalen Bild durch Perspektive oder ein neuronales Netzwerk zu korrigieren. Sollte sich das Kraftfahrzeug dabei schnell genug bewegen, kann das neuronale Netzwerk dazu verwendet werden, um zusätzlich dreidimensionale Informationen durch die Tiefenvervollständigungsalgorithmen zur Unterstützung eines dreidimensionalen Sensorsystems hinzuzufügen. Dies kann bereits ausreichen, um eine Reichweitenleistung und Korrektur der Mehrdeutigkeit auf bis zu 50 oder 100 Meter zu vergrößern, was insbesondere für ein Stadtszenario oder Mittelgeschwindigkeitsszenario ausreichend ist.In this way, sufficient three-dimensional data can be recorded at close range without the motor vehicle having to move very quickly itself, since the active measurement supports this and a calculation of the distances using the optical flow typically does not work at low speeds. The three-dimensional data can be used to correct three-dimensional data in the two-dimensional image by perspective or a neural network. If the motor vehicle is moving fast enough, the neural network can be used to add additional three-dimensional information through the depth completion algorithms to support a three-dimensional sensor system. This may already be enough to increase range performance and ambiguity correction up to 50 or 100 meters, which is particularly sufficient for an urban or medium-speed scenario.

Zunächst wird eine grobe dreidimensionale Schätzung des zweidimensionalen Bilds durchgeführt, um die dreidimensionalen Daten auf ihren Mehrdeutigkeitsbereich zu korrigieren und mögliche Falschmeldungen nach Möglichkeit zu beseitigen. Dies ist eventuell nicht möglich, weil sich das Kraftfahrzeug nicht schnell genug bewegt. Die grobe Schätzung hat schlechte Genauigkeits- und Präzisionswerte, aber diese müssen lediglich besser sein als der Mehrdeutigkeitsbereich der Lidarsensoreinrichtung, um in dieser Messung sinnvoll zu sein, was wiederum die Anforderung an die Leistung der elektronischen Recheneinrichtung senkt.First, a rough three-dimensional estimation of the two-dimensional image is performed in order to correct the three-dimensional data for their ambiguity range and to eliminate possible false reports as far as possible. This may not be possible because the motor vehicle is not moving fast enough. The rough estimate has poor accuracy and precision values, but these need only be better than the ambiguity range of the lidar sensor device to be meaningful in this measurement, which in turn lowers the performance requirement of the electronic computing device.

Sollte die optische Erfassungseinrichtung keinen Mehrdeutigkeitsbereich aufweisen, weil beispielsweise über eine direkte Lichtlaufzeitmessung (direct ToF) die Umgebung erfasst wird, ist es dennoch möglich, falsch-positive Messungen zu korrigieren.If the optical detection device does not have an area of ambiguity, for example because the environment is detected via a direct time-of-flight measurement (direct ToF), it is still possible to correct false-positive measurements.

Mithilfe dieses Verfahrens kann die erste Fehlerebene der dreidimensionalen Daten korrigiert werden. Normalerweise, gemäß dem Stand der Technik, würde dies durch die Messung mit verschiedenen Messfrequenzen geschehen, aber dies erlaubt jedenfalls nur eine Korrektur von einem Mehrdeutigkeitsbereich in den anderen Mehrdeutigkeitsbereich. Indem nun erfindungsgemäß auch die zweidimensionalen Messungen für die dreidimensionale Rekonstruktion dazwischengeschaltet wird, kann die Genauigkeit der optischen Erfassungseinrichtung für die finale dreidimensionale Punktwolke erhöht werden.This method can be used to correct the first level of error in the three-dimensional data. Normally, according to the state of the art, this would be done by measuring with different measuring frequencies, but in any case this only allows a correction from one ambiguity area to the other ambiguity area. Since the two-dimensional measurements for the three-dimensional reconstruction are now also interposed according to the invention, the accuracy of the optical detection device for the final three-dimensional point cloud can be increased.

Es hat sich als vorteilhaft erwiesen, wenn auf Basis des mindestens einen zweidimensionalen Bilds trigonometrische Abschätzungen mittels der elektronischen Recheneinrichtung berechnet werden und die dreidimensionale Umgebungsinformation im zweidimensionalen Bild erzeugt und/oder korrigiert wird. Auf Basis der trigonometrischen Abschätzungen ist es somit ermöglicht eine grobe Auswertung der Umgebung durchzuführen und so die Mehrdeutigkeiten mit Hilfe dieser Abschätzungen aufzulösen und die dreidimensionale Umgebungsinformation entsprechend zu korrigieren.It has proven to be advantageous if trigonometric estimates are calculated using the electronic computing device on the basis of the at least one two-dimensional image and the three-dimensional environmental information is generated and/or corrected in the two-dimensional image. Based on the trigonometric estimates, it is thus possible to carry out a rough evaluation of the environment and thus to resolve the ambiguities with the help of these estimates and to correct the three-dimensional environment information accordingly.

Gemäß einer vorteilhaften Ausgestaltungsform wird im zweidimensionalen Bild beziehungsweise in einer Bildfolge von mindestens einem Bild ein optischer Fluss oder ein perspektivischer freier Raum mittels der elektronischen Recheneinrichtung bestimmt und die dreidimensionale Umgebungsinformation wird in Abhängigkeit von dem optischen Fluss im zweidimensionalen Bild erzeugt. Insbesondere auf Basis von beispielsweise zwei kürzlich aufeinanderfolgenden zweidimensionalen Bildern kann somit eine Veränderung der Positionierung von Objekten innerhalb des Bilds erkannt werden und es kann die optische Bewegung beziehungsweise der optische Fluss detektiert werden. Diese Information kann dann dazu genutzt werden, um die finale, korrigierte dreidimensionale Umgebungsinformation zuverlässig in Zusammenschau mit der dreidimensionalen Punktwolke zu erzeugen.According to an advantageous embodiment, an optical flow or a perspective free space is determined in the two-dimensional image or in an image sequence of at least one image using the electronic computing device and the three-dimensional environmental information is generated as a function of the optical flow in the two-dimensional image. In particular, on the basis of, for example, two two-dimensional images that followed one another recently, a change in the positioning of objects within the image can thus be recognized and the optical movement or the optical flow can be detected. This information can then be used to reliably generate the final, corrected three-dimensional environment information in conjunction with the three-dimensional point cloud.

Bevorzugt kann zumindest ein erstes zweidimensionales Bild der Umgebung zu einem ersten Zeitpunkt erfasst werden und ein zweites zweidimensionales Bild zu einem zum ersten Zeitpunkt späteren zweiten Zeitpunkt erfasst werden und der optische Fluss auf Basis des ersten zweidimensionalen Bilds und des zweiten zweidimensionalen Bilds detektiert werden. Insbesondere kann somit die optische Bewegung beziehungsweise ein optischer Fluss innerhalb der zwei Bilder beziehungsweise durch die Unterscheidung der zwei Bilder festgestellt werden. Insbesondere kann dies mittels der elektronischen Recheneinrichtung durchgeführt werden. Somit kann die optische Bewegung zuverlässig erfasst werden und dazu genutzt werden, um die dreidimensionale Umgebungsinformation zuverlässig zu erzeugen.Preferably, at least a first two-dimensional image of the surroundings can be captured at a first point in time and a second two-dimensional image can be captured at a second point in time that is later than the first point in time, and the optical flow can be detected on the basis of the first two-dimensional image and the second two-dimensional image. In particular, the optical movement or an optical flow within the two images or by distinguishing between the two images can thus be determined. In particular, this can be carried out using the electronic computing device. The optical movement can thus be reliably detected and used to reliably generate the three-dimensional environmental information.

Ebenfalls vorteilhaft ist, wenn die optische Erfassungseinrichtung als Lidarsensoreinrichtung bereitgestellt wird. Beispielsweise kann mittels eines sogenannten Flash-Lidars die Umgebung erfasst werden. Ferner kann die Lidarsensoreinrichtung sowohl aktiv als auch passiv ausgebildet sein. Unter aktiv ist insbesondere eine aktive beziehungsweise direkte Lichtlaufzeitmessung zu verstehen. Unter passiv ist insbesondere eine indirekte Lichtlaufzeitmessung zu verstehen. Bevorzugt ist die Lidarsensoreinrichtung zum Erfassen der Umgebung mittels der indirekten Lichtlaufzeitmessung ausgebildet.It is also advantageous if the optical detection device is provided as a lidar sensor device. For example, the surroundings can be recorded using what is known as a flash lidar. Furthermore, the lidar sensor device can be embodied both actively and passively. Active is to be understood in particular as an active or direct measurement of the time of flight. Passive is to be understood in particular as meaning an indirect time-of-flight measurement. The lidar sensor device is preferably designed to detect the surroundings by means of indirect time-of-flight measurement.

Weiterhin vorteilhaft ist, wenn die Lidarsensoreinrichtung zum Erfassen der Umgebung mittels einer indirekten Lichtlaufzeitmessung bereitgestellt wird. Insbesondere mittels der indirekten Lichtlaufzeitmessung wird kontinuierliches, moduliertes Licht ausgesendet und es wird die Phase des reflektierten Lichts genutzt, um die entsprechende Entfernung zu dem Objekt zu bestimmen. Die direkte Lichtlaufzeitmessung hingegen sendet kurze Impulse von Licht aus, welche lediglich für wenige Nanosekunden ausgesendet werden und es kann die Zeit gemessen werden, bis das emittierte Licht wiederum als reflektiertes oder gestreutes Licht zurück empfangen wird. Insbesondere mittels der indirekten Lichtlaufzeitmessung kann eine höhere Auflösung gegenüber der direkten Lichtlaufzeitmessung realisiert werden.It is also advantageous if the lidar sensor device is provided for detecting the surroundings by means of an indirect time-of-flight measurement. In particular, by means of the indirect time-of-flight measurement, continuous, modulated light is emitted and the phase of the reflected light is used to determine the corresponding distance to the object. Direct time-of-flight measurement, on the other hand, emits short pulses of light that are only emitted for a few nanoseconds and the time can be measured until the emitted light is received back as reflected or scattered light. In particular, by means of the indirect time-of-flight measurement, a higher resolution can be achieved compared to the direct light-time-of-flight measurement.

Weiterhin vorteilhaft ist, wenn die Erzeugung der dreidimensionalen Umgebungsinformation mittels einer künstlichen Intelligenz, insbesondere mittels eines oder mehrerer verschalteten neuronalen Netzwerken, der elektronischen Recheneinrichtung durchgeführt wird. Insbesondere kann das neuronale Netzwerk angelernt werden, um die entsprechenden Entfernungsmehrdeutigkeiten bei der indirekten Lichtlaufzeitmessung aufzulösen. Insbesondere das Zusammenführen des zweidimensionalen Bildes und die Erzeugung beispielsweise des optischen Flusses mit der dreidimensionalen Punktwolke kann vorteilhaft mittels des neuronalen Netzwerks durchgeführt werden. Insbesondere kann dadurch schnell und zuverlässig die dreidimensionale Umgebungsinformation erzeugt und gegebenenfalls korrigiert werden. Beispielsweise kann somit in Echtzeit eine Umgebungserfassung realisiert werden, wodurch ein Assistenzsystem, beispielsweise eines zumindest teilweise autonomen Kraftfahrzeugs, verbessert und sicherer im Straßenverkehr geführt werden kann. It is also advantageous if the three-dimensional environmental information is generated by means of an artificial intelligence, in particular by means of one or more interconnected neural networks, of the electronic computing device. In particular, the neural network can be trained to resolve the corresponding distance ambiguities in the indirect time-of-flight measurement. In particular, the merging of the two-dimensional image and the generation of, for example, the optical flow with the three-dimensional point cloud can advantageously be carried out using the neural network. In particular, the three-dimensional environmental information can thereby be generated quickly and reliably and, if necessary, corrected. For example, a detection of the surroundings can be realized in real time, as a result of which an assistance system, for example an at least partially autonomous motor vehicle, can be improved and operated more safely in road traffic.

Ebenfalls vorteilhaft ist, wenn als die dreidimensionale Information eine Tiefeninformation erzeugt wird. Somit kann, insbesondere ohne eine große Bewegung des Kraftfahrzeugs detektieren zu müssen, bereits frühzeitig die Tiefeninformation erzeugt werden, wodurch eine verbesserte Umgebungserfassung realisiert werden kann. Insbesondere kann beispielsweise schnell herausgefunden werden, dass sich ein Objekt nicht in der Nähe, insbesondere innerhalb der beispielsweise ersten Entfernungsmehrdeutigkeitsdistanz, befindet. Dadurch können entsprechende Aktionen des Kraftfahrzeugs zuverlässig realisiert werden.It is also advantageous if depth information is generated as the three-dimensional information. The depth information can thus be generated early on, in particular without having to detect a large movement of the motor vehicle, as a result of which an improved detection of the surroundings can be implemented. In particular, it can quickly be found out, for example, that an object is not in the vicinity, in particular within the first ambiguity distance, for example. As a result, corresponding actions of the motor vehicle can be reliably implemented.

Ferner hat es sich als vorteilhaft erwiesen, wenn mittels der Tiefeninformation eine Auflösung von Entfernungsmehrdeutigkeiten der optischen Erfassungseinrichtung durchgeführt wird. Beispielsweise kann die optische Erfassungseinrichtung Entfernungsmehrdeutigkeiten aufweisen. Dies bedeutet insbesondere, dass, sollte die optische Erfassungseinrichtung eine Entfernungsmehrdeutigkeitsdistanz von zwölf Metern aufweisen, sich das Objekt sowohl bei einem Meter als auch bei 13 Metern als auch bei 25 Metern usw. aufhalten kann. Durch die Entfernung der Entfernungsmehrdeutigkeit kann zuverlässig festgestellt werden, ob sich das Objekt bei einem Meter, 13 Metern oder 25 Metern usw. befindet. Ferner kann auch realisiert werden, dass zumindest erfasst werden kann, in welcher Entfernungsmehrdeutigkeitsdistanz sich das Objekt nicht befindet, was insbesondere im Nahbereich bereits zuverlässige Rückschlüsse darauf zulässt, welche Aktion des Kraftfahrzeugs, beispielsweise zumindest teilweise autonom, durchgeführt werden muss, um eine kritische Situation im Straßenverkehr zu verhindern.Furthermore, it has proven to be advantageous if distance ambiguities of the optical detection device are resolved by means of the depth information. For example, the optical detection device can have distance ambiguities. In particular, this means that should the optical detection device have a range ambiguity distance of twelve meters, the object can be located at one meter or at 13 meters or at 25 meters and so on. By removing the range ambiguity, it can be reliably determined whether the object is at 1 meter, 13 meters, or 25 meters, and so on. Furthermore, it can also be realized that it can at least be detected at which distance ambiguity distance the object is not located, which already allows reliable conclusions to be drawn, especially in the close-up range, as to which action the motor vehicle must carry out, for example at least partially autonomously, in order to avoid a critical situation in the prevent road traffic.

Gemäß einer weiteren vorteilhaften Ausgestaltungsform wird zusätzlich mittels einer Kamera ein weiteres zweidimensionales Bild der Umgebung erfasst und bei der Erzeugung der dreidimensionalen Umgebungsinformation berücksichtigt. Somit kann die Information eines weiteren Umgebungssensors genutzt werden, um die dreidimensionale Umgebungsinformation verbessert zu erzeugen. Dadurch kann eine vollumfängliche Erfassung der Umgebung realisiert werden. Insbesondere können dabei die Stärken der einzelnen Sensoren genutzt werden, um die Umgebungserfassung zu verbessern.According to a further advantageous embodiment, a further two-dimensional image of the environment is additionally captured by means of a camera and taken into account when generating the three-dimensional environment information. The information from a further environment sensor can thus be used to generate the three-dimensional environment information in an improved manner. In this way, a comprehensive detection of the surroundings can be realized. In particular, the strengths of the individual sensors can be used to improve the detection of the surroundings.

In einer weiteren vorteilhaften Ausgestaltungsform wird das zweidimensionale Bild als Graubild erzeugt oder es wird das zweidimensionale Bild als modifizierte Bayer-Konfiguration erzeugt. Bei der Bayer-Konfiguration kann beispielsweise ein Fotosensor verwendet werden, der mit einem Farbfilm überzogen ist. Alternativ kann auch in Graustufen das Bild erzeugt werden. Somit ist es auf einfache Art und Weise ermöglicht, mittels der optischen Erfassungseinrichtung das zweidimensionale Bild zu erzeugen.In a further advantageous embodiment, the two-dimensional image is generated as a gray image or the two-dimensional image is generated as a modified Bayer configuration. For example, in the Bayer configuration, a photosensor coated with a color film can be used. Alternatively, the image can also be generated in shades of grey. It is thus made possible in a simple manner to generate the two-dimensional image by means of the optical detection device.

Bei dem vorgestellten Verfahren handelt es sich insbesondere um ein computerimplementiertes Verfahren. Daher betrifft ein weiterer Aspekt der Erfindung ein Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung dazu veranlassen, wenn die Programmcodemittel von der elektronischen Recheneinrichtung abgearbeitet werden, ein entsprechendes Verfahren nach dem vorhergehenden Aspekt durchzuführen.The method presented is in particular a computer-implemented method. A further aspect of the invention therefore relates to a computer program product with program code means which cause an electronic computing device to carry out a corresponding method according to the preceding aspect when the program code means are processed by the electronic computing device.

Ein nochmals weiterer Aspekt der Erfindung betrifft daher auch ein computerlesbares Speichermedium mit einem Computerprogrammprodukt.Another aspect of the invention therefore also relates to a computer-readable storage medium with a computer program product.

Ein nochmals weiterer Aspekt der Erfindung betrifft eine optische Erfassungseinrichtung mit zumindest einer elektronischen Recheneinrichtung, wobei die optische Erfassungseinrichtung zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels der optischen Erfassungseinrichtung durchgeführt.Yet another aspect of the invention relates to an optical detection device at least one electronic computing device, wherein the optical detection device is designed to carry out a method according to the preceding aspect. In particular, the method is carried out using the optical detection device.

Bei der optischen Erfassungseinrichtung handelt es sich bevorzugt um eine Lidarsensoreinrichtung. Die Lidarsensoreinrichtung ist insbesondere bevorzugt zur indirekten Lichtlaufzeitmessung ausgebildet.The optical detection device is preferably a lidar sensor device. The lidar sensor device is particularly preferably designed for indirect time-of-flight measurement.

Ferner betrifft die Erfindung auch ein Assistenzsystem mit einer optischen Erfassungseinrichtung nach dem vorhergehenden Aspekt. Das Assistenzsystem ist beispielsweise zum zumindest teilweise autonomen Betrieb beziehungsweise vollautonomen Betrieb eines Kraftfahrzeugs ausgebildet. Daher betrifft ein nochmals weiterer Aspekt der Erfindung auch ein Kraftfahrzeug mit einem erfindungsgemäßen Assistenzsystem, wobei das Kraftfahrzeug beispielsweise zumindest teilweise autonom oder auch vollautonom ausgebildet sein kann.Furthermore, the invention also relates to an assistance system with an optical detection device according to the preceding aspect. The assistance system is designed, for example, for at least partially autonomous operation or fully autonomous operation of a motor vehicle. Therefore, yet another aspect of the invention also relates to a motor vehicle with an assistance system according to the invention, in which case the motor vehicle can be designed, for example, to be at least partially autonomous or else fully autonomous.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.Further features of the invention result from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description, as well as the features and combinations of features mentioned below in the description of the figures and/or shown alone in the figures, can be used not only in the combination specified in each case, but also in other combinations, without going beyond the scope of the invention leave. The invention is therefore also to be considered to include and disclose embodiments that are not explicitly shown and explained in the figures, but that result from the explained embodiments and can be generated by separate combinations of features. Versions and combinations of features are also to be regarded as disclosed which therefore do not have all the features of an originally formulated independent claim. Furthermore, embodiments and combinations of features, in particular through the embodiments presented above, are to be regarded as disclosed which go beyond or deviate from the combinations of features presented in the back references of the claims.

Dabei zeigen:

  • 1 eine schematische Draufsicht auf eine Ausführungsform eines Kraftfahrzeugs mit einer Ausführungsform eines Assistenzsystems mit einer Ausführungsform einer optischen Erfassungseinrichtung;
  • 2 eine schematische Seitenansicht einer Ausführungsform einer optischen Erfassungseinrichtung; und
  • 3 ein schematisches Ablaufdiagramm gemäß einer Ausführungsform des Verfahrens.
show:
  • 1 a schematic plan view of an embodiment of a motor vehicle with an embodiment of an assistance system with an embodiment of an optical detection device;
  • 2 a schematic side view of an embodiment of an optical detection device; and
  • 3 a schematic flow chart according to an embodiment of the method.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.Elements that are the same or have the same function are provided with the same reference symbols in the figures.

1 zeigt eine schematische Draufsicht auf eine Ausführungsform eines Kraftfahrzeugs 1 mit einer Ausführungsform eines Assistenzsystems 2. Das Assistenzsystem 2 kann zum Beispiel zum zumindest teilweise autonomen Betrieb des Kraftfahrzeugs 1 oder auch zum vollautonomen Betrieb des Kraftfahrzeugs 1 ausgebildet sein. Das Assistenzsystem 2 weist zumindest eine optische Erfassungseinrichtung 3 auf. Die optische Erfassungseinrichtung 3 weist vorliegend ferner eine elektronische Recheneinrichtung 4 auf. Bevorzugt kann die optische Erfassungseinrichtung 3 als Lidarsensoreinrichtung ausgebildet sein. Das Kraftfahrzeug 1 beziehungsweise das Assistenzsystem 2 kann ferner eine Kamera 5 aufweisen. Mittels der optischen Erfassungseinrichtung 3 und beispielsweise mittels der Kamera 5 kann eine Umgebung 6 des Kraftfahrzeugs 1 beziehungsweise der optischen Erfassungseinrichtung 3 erfasst werden. 1 1 shows a schematic top view of an embodiment of a motor vehicle 1 with an embodiment of an assistance system 2. The assistance system 2 can be designed, for example, for at least partially autonomous operation of the motor vehicle 1 or also for fully autonomous operation of the motor vehicle 1. The assistance system 2 has at least one optical detection device 3 . In the present case, the optical detection device 3 also has an electronic computing device 4 . The optical detection device 3 can preferably be embodied as a lidar sensor device. The motor vehicle 1 or the assistance system 2 can also have a camera 5 . The surroundings 6 of the motor vehicle 1 or the optical detection device 3 can be detected by means of the optical detection device 3 and for example by means of the camera 5 .

Mittels der optischen Erfassungseinrichtung wird eine Vielzahl von Lichtimpulsen 7 in die Umgebung 6 ausgesendet, wobei von in der Umgebung 6 reflektierten Lichtimpulsen 9 mittels der optischen Erfassungseinrichtung 3 empfangen werden. Die empfangenen Lichtimpulse 9 werden mittels der elektronischen Recheneinrichtung 4 der optischen Erfassungseinrichtung 3 ausgewertet. Es wird mindestens ein zweidimensionales Bild 12 (3) der Umgebung 6 mittels einer Empfangseinrichtung 18 (2) der optischen Erfassungseinrichtung 3 in Abhängigkeit von empfangenem Umgebungslicht 19 (2) der Umgebung 6 mittels der elektronischen Recheneinrichtung 4 erzeugt. Es wird mindestens eine dreidimensionale Punktwolke 13 (3) der Umgebung 6 mittels derselben Empfangseinrichtung 18 in Abhängigkeit von den reflektierten Lichtimpulsen mittels der elektronischen Recheneinrichtung 4 erzeugt und eine dreidimensionale Umgebungsinformation 11 (3) in Abhängigkeit von dem erzeugten zweidimensionalen Bild 12 und in Abhängigkeit von der dreidimensionalen Punktwolke 13 erzeugt.A large number of light pulses 7 are emitted into the surroundings 6 by means of the optical detection device, light pulses 9 reflected from the surroundings 6 being received by the optical detection device 3 . The received light pulses 9 are evaluated by the electronic computing device 4 of the optical detection device 3 . At least one two-dimensional image 12 ( 3 ) of the environment 6 by means of a receiving device 18 ( 2 ) of the optical detection device 3 as a function of received ambient light 19 ( 2 ) of the environment 6 generated by the electronic computing device 4. At least one three-dimensional point cloud 13 ( 3 ) of the surroundings 6 is generated by the same receiving device 18 as a function of the reflected light pulses by means of the electronic computing device 4 and three-dimensional surroundings information 11 ( 3 ) as a function of the generated two-dimensional image 12 and as a function of the three-dimensional point cloud 13.

Auf Basis der Beleuchtung der Umgebung 6, was dem Umgebungslicht 19 entspricht, aus natürlichen oder künstlichen Quellen kann wiederum ein zweidimensionales Farb- oder Graustufenbild erzeugt werden und eine Auswertung der Umgebung 6 realisiert werden.On the basis of the illumination of the environment 6, which corresponds to the ambient light 19, from natural or artificial sources, a two-dimensional color or grayscale image can in turn be generated and an evaluation of the environment 6 can be implemented.

Insbesondere, wenn die optische Erfassungseinrichtung 3 zum indirekten Messen der Lichtlaufzeit ausgebildet ist, können Entfernungsmehrdeutigkeiten 10 auftauchen. Beispielsweise ist das Objekt 8 vorliegend zwischen einem und zwölf Metern ausgebildet. Auf Basis der Lichtlaufzeitmessung kann jedoch lediglich am Anfang der Messung herausgefunden werden, ob sich das Objekt 8 beispielsweise zwischen null und zwölf Metern, zwischen 12 und 24 Metern oder in anderen Entfernungsmehrdeutigkeitendistanzen befindet.Distance ambiguities 10 can arise, in particular if the optical detection device 3 is designed for indirect measurement of the light propagation time. For example, in the present case the object 8 is formed between one and twelve meters. Based on the time-of-flight measurement, however, it can only be found out at the beginning of the measurement whether the object 8 is located, for example, between zero and twelve meters, between 12 and 24 meters or at other distance ambiguity distances.

Durch das erfindungsgemäße Verfahren ist nun vorgesehen, dass eine entsprechende dreidimensionale Umgebungsinformation 11 erzeugt wird, welche dazu genutzt wird, um die Entfernungsmehrdeutigkeiten 10 bereits frühzeitig, und im besten Fall ohne eine große relative Bewegung des Kraftfahrzeugs 1 realisieren zu müssen, aufzulösen.The method according to the invention now provides that corresponding three-dimensional environmental information 11 is generated, which is used to resolve the distance ambiguities 10 early on, and in the best case without having to realize a large relative movement of the motor vehicle 1 .

2 zeigt eine schematische Seitenansicht einer Ausführungsform einer optischen Erfassungseinrichtung 3. Die optische Erfassungseinrichtung 3 weist insbesondere die elektronische Recheneinrichtung 4, sowie eine Sendeeinrichtung 17 zum aktiven Aussenden der Lichtimpulse 7 auf. Die optische Erfassungseinrichtung 3 weist ferner die Empfangseinrichtung 18 auf, wobei mittels der Empfangseinrichtung 18 die reflektierten Lichtimpulse 9 und eine Umgebungsbeleuchtung der Umgebung 6, also das Umgebungslicht 19, erfasst werden kann. 2 shows a schematic side view of an embodiment of an optical detection device 3. The optical detection device 3 has, in particular, the electronic computing device 4 and a transmission device 17 for actively transmitting the light pulses 7. FIG. The optical detection device 3 also has the receiving device 18 , with the receiving device 18 being able to detect the reflected light pulses 9 and an ambient illumination of the surroundings 6 , that is to say the ambient light 19 .

3 zeigt hierzu ein schematisches Ablaufdiagramm gemäß einer Ausführungsform des Verfahrens. Bei einer Ausführungsform des Verfahrens zum Erzeugen der dreidimensionalen Umgebungsinformation 11 werden die Lichtimpulse 7 in die Umgebung 6 mittels der optischen Erfassungseinrichtung 3 ausgesendet. Es erfolgt das Empfangen von in der Umgebung 6 reflektierten Lichtimpulsen 9 mittels der optischen Erfassungseinrichtung 3. Es erfolgt dann das Auswerten der empfangenen Lichtimpulse 9 mittels der elektronischen Recheneinrichtung 4 der optischen Erfassungseinrichtung 3. Hierzu wird in einem ersten Schritt S1 mindestens ein zweidimensionales Bild 12 der Umgebung 6 mittels der Empfangseinrichtung 18 in Abhängigkeit von empfangenem Umgebungslicht 19 erzeugt. Es kann dann in einem zweiten Schritt S2 eine Rekonstruktion des Bildes durchgeführt werden, beispielsweise kann im zweiten Schritt S2 auf Basis von zwei zweidimensionalen Bildern 12 ein optischer Fluss 16 innerhalb der zweidimensionalen Bilder 12 bestimmt werden. Hierzu kann insbesondere mittels der elektronischen Recheneinrichtung 4, welche beispielsweise als niedrigdimensioniertes neuronales Netzwerk vorliegend ausgebildet ist, die Rekonstruktion durchgeführt werden. In einem dritten Schritt S3 erfolgt dann das Erzeugen einer dreidimensionalen Punktwolke 13 der Umgebung 6 mittels der derselben Empfangseinrichtung 18. Es wird dann die dreidimensionale Umgebungsinformation 11 in einem vierten Schritt S4 in Abhängigkeit von dem erzeugten zweidimensionalen Bild 12 und in Abhängigkeit von der dreidimensionalen Punktwolke 13 erzeugt. Insbesondere kann dann wiederum die dreidimensionale Umgebungsinformation 11 dazu genutzt werden, um in einem fünften Schritt S5 eine gesamtheitlichen dreidimensionalen Datensatz 14 zu erstellen. 3 shows a schematic flow chart according to an embodiment of the method. In one embodiment of the method for generating the three-dimensional environmental information 11 , the light pulses 7 are emitted into the environment 6 by means of the optical detection device 3 . Light pulses 9 reflected in the surroundings 6 are received by the optical detection device 3. The received light pulses 9 are then evaluated by the electronic computing device 4 of the optical detection device 3. For this purpose, in a first step S1, at least one two-dimensional image 12 of the Environment 6 generated by the receiving device 18 depending on received ambient light 19. A reconstruction of the image can then be carried out in a second step S2; for example, an optical flow 16 within the two-dimensional images 12 can be determined in the second step S2 on the basis of two two-dimensional images 12. For this purpose, the reconstruction can be carried out in particular by means of the electronic computing device 4, which is embodied, for example, as a low-dimension neural network. In a third step S3, a three-dimensional point cloud 13 of the surroundings 6 is then generated using the same receiving device 18. The three-dimensional surroundings information 11 is then generated in a fourth step S4 depending on the generated two-dimensional image 12 and depending on the three-dimensional point cloud 13 generated. In particular, the three-dimensional environmental information 11 can then in turn be used to create an overall three-dimensional data record 14 in a fifth step S5.

Insbesondere zeigt somit die 3, dass die dreidimensionale Umgebungsinformation 11 nun dazu genutzt wird, um zusätzlich mit den zweidimensionalen Bildern 12 zum gesamtheitlichen dreidimensionalen Datensatz 14 zu gelangen, wobei hierbei zusätzlich insbesondere ein neuronales Netzwerk 15 vorgeschlagen ist. Hierbei kann der Abstand der nicht bekannten dreidimensionalen Werte des dreidimensionalen Bilds geschätzt werden. So kann die dreidimensionale Information extrahiert werden, welche in der dreidimensionalen Punktwolke 13 noch nicht ausreichend war. Es ist dabei möglich, die dreidimensionalen Messungen zu erhalten, die mindestens eine Größenordnung über die aktiven 3D-Messungen liegen, wenn insbesondere die Lidarsensoreinrichtung als Blitzlidar (Flash-Lidar) ausgebildet sein kann.In particular, the 3 that the three-dimensional environmental information 11 is now used to additionally arrive at the overall three-dimensional data set 14 with the two-dimensional images 12, with a neural network 15 being additionally proposed in particular. Here, the distance between the unknown three-dimensional values of the three-dimensional image can be estimated. In this way, the three-dimensional information that was not yet sufficient in the three-dimensional point cloud 13 can be extracted. It is possible to obtain the three-dimensional measurements that are at least one order of magnitude greater than the active 3D measurements if, in particular, the lidar sensor device can be embodied as a flash lidar (flash lidar).

Es kann ferner vorgesehen sein, dass das Verfahren auch zweiteilig ausgebildet ist und zum Beispiel nur das zweidimensionale Bild 12 dazu verwendet wird, um die Entfernungsmehrdeutigkeiten 10 zu beseitigen, aber damit jedoch nicht der gesamtheitliche dreidimensionale Datensatz 14 erzeugt werden kann. Im Trainingsprozess für das neuronale Netzwerk 15 können die dreidimensionalen Daten des Lidar-Aspekts des Sensors verwendet werden, um beim Training des Sensors zu helfen, da diese als Ground Truth betrachtet werden können.It can also be provided that the method is also designed in two parts and, for example, only the two-dimensional image 12 is used to eliminate the distance ambiguities 10, but the overall three-dimensional data set 14 cannot be generated in this way. In the training process for the neural network 15, the three-dimensional data of the lidar aspect of the sensor can be used to help train the sensor as this can be viewed as ground truth.

Insbesondere ist somit gezeigt, dass beispielsweise im zweiten Schritt S2 der optische Fluss 16 mittels der elektronischen Recheneinrichtung 4 detektiert wird und die dreidimensionale Umgebungsinformation 11 in Abhängigkeit von dem optischen Fluss 16 im zweidimensionalen Bild 12 erzeugt wird. Hierzu kann insbesondere vorgesehen sein, dass zumindest ein erstes zweidimensionales Bild 12 der Umgebung 6 zu einem ersten Zeitpunkt erfasst wird und zumindest ein zweites zweidimensionales Bild 12 zu einem zum ersten Zeitpunkt späteren zweiten Zeitpunkt erfasst wird und der optische Fluss 16 auf Basis des ersten zweidimensionalen Bilds 12 und des zweiten zweidimensionalen Bilds 12 detektiert wird.In particular, it is thus shown that, for example, in the second step S2 the optical flow 16 is detected by the electronic computing device 4 and the three-dimensional environmental information 11 is generated as a function of the optical flow 16 in the two-dimensional image 12 . For this purpose, it can be provided in particular that at least a first two-dimensional image 12 of the surroundings 6 is captured at a first point in time and at least a second two-dimensional image 12 is captured at a second point in time that is later than the first point in time and the optical flow 16 is based on the first two-dimensional image 12 and the second two-dimensional image 12 is detected.

Insbesondere kann zusätzlich vorgesehen sein, dass mittels der Kamera 5 ein weiteres zweidimensionales Bild der Umgebung 6 erfasst wird und bei der Erzeugung der dreidimensionalen Umgebungsinformation 11 berücksichtigt wird. Das zweidimensionale Bild 12 der optischen Erfassungseinrichtung 3 kann insbesondere als Graubild erzeugt werden oder auch als modifizierte Bayer-Konfiguration erzeugt werden.In particular, it can also be provided that a further two-dimensional image of the surroundings 6 is captured by means of the camera 5 and is taken into account in the generation of the three-dimensional environment information 11 . The two-dimensional image 12 of the optical detection device 3 can be generated in particular as a gray image or as a modified Bayer configuration.

Claims (15)

Verfahren zum Erzeugen einer dreidimensionalen Umgebungsinformation (11) einer Umgebung (6) einer optischen Erfassungseinrichtung (3) eines Assistenzsystems (2) eines Kraftfahrzeugs (1), mit den Schritten: - Aussenden von einer Vielzahl von Lichtimpulsen (7) in die Umgebung (6) mittels einer Sendeeinrichtung (17) der optischen Erfassungseinrichtung (3); - Empfangen von in der Umgebung (6) reflektierten Lichtimpulsen (9) mittels der optischen Erfassungseinrichtung (3); - Auswerten der empfangenen Lichtimpulse (9) mittels einer elektronischen Recheneinrichtung (4) der optischen Erfassungseinrichtung (3); gekennzeichnet durch die Schritte: - Erzeugen mindestens eines zweidimensionalen Bilds (12) der Umgebung (6) mittels einer Empfangseinrichtung (18) der optischen Erfassungseinrichtung (3) in Abhängigkeit von empfangenem Umgebungslicht (19) der Umgebung (6) mittels der elektronischen Recheneinrichtung (4); - Erzeugen mindestens einer dreidimensionalen Punktwolke (13) der Umgebung (6) mittels derselben Empfangseinrichtung (18) in Abhängigkeit von den reflektierten Lichtimpulsen (9) mittels der elektronischen Recheneinrichtung (4); und - Erzeugen der dreidimensionalen Umgebungsinformation (11) in Abhängigkeit von dem erzeugten zweidimensionalen Bild (12) und in Abhängigkeit von der dreidimensionalen Punktwolke (13).Method for generating three-dimensional environmental information (11) of an environment (6) of an optical detection device (3) of an assistance system (2) of a motor vehicle (1), with the steps: - emitting a large number of light pulses (7) into the environment (6 ) by means of a transmission device (17) of the optical detection device (3); - Receiving in the environment (6) reflected light pulses (9) by means of the optical detection device (3); - Evaluation of the received light pulses (9) by means of an electronic computing device (4) of the optical detection device (3); characterized by the steps: - generating at least one two-dimensional image (12) of the surroundings (6) by means of a receiving device (18) of the optical detection device (3) as a function of received ambient light (19) of the surroundings (6) by means of the electronic computing device (4 ); - Generating at least one three-dimensional point cloud (13) of the environment (6) by means of the same receiving device (18) as a function of the reflected light pulses (9) by means of the electronic computing device (4); and - generating the three-dimensional environment information (11) as a function of the generated two-dimensional image (12) and as a function of the three-dimensional point cloud (13). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass auf Basis des mindestens einen zweidimensionalen Bilds (12) trigonometrische Abschätzungen mittels der elektronischen Recheneinrichtung (4) berechnet werden und die dreidimensionale Umgebungsinformation (11) im zweidimensionalen Bild (12) erzeugt und/oder korrigiert wird.procedure after claim 1 , characterized in that on the basis of the at least one two-dimensional image (12) trigonometric estimates are calculated by means of the electronic computing device (4) and the three-dimensional environmental information (11) is generated and/or corrected in the two-dimensional image (12). Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass auf Basis des mindestens einen zweidimensionalen Bilds (12) ein optischer Fluss (16) mittels der elektronischen Recheneinrichtung (4) detektiert wird und die dreidimensionale Umgebungsinformation (11) in Abhängigkeit von dem optischen Fluss (16) im zweidimensionalen Bild (12) erzeugt und/oder korrigiert wird.procedure after claim 1 or 2 , characterized in that on the basis of the at least one two-dimensional image (12) an optical flow (16) is detected by means of the electronic computing device (4) and the three-dimensional environmental information (11) depending on the optical flow (16) in the two-dimensional image ( 12) is generated and/or corrected. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die optische Erfassungseinrichtung (3) als Lidarsensoreinrichtung bereitgestellt wird.Method according to one of the preceding claims, characterized in that the optical detection device (3) is provided as a lidar sensor device. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Lidarsensoreinrichtung zum Erfassen der Umgebung (6) mittels einer indirekten Lichtlaufzeitmessung bereitgestellt wird.procedure after claim 4 , characterized in that the lidar sensor device for detecting the environment (6) is provided by means of an indirect time-of-flight measurement. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erzeugung der dreidimensionalen Umgebungsinformation (11) mittels einer künstlichen Intelligenz, insbesondere mittels eines neuronalen Netzwerks (15), der elektronischen Recheneinrichtung (4) durchgeführt wird.Method according to one of the preceding claims, characterized in that the three-dimensional environmental information (11) is generated by means of an artificial intelligence, in particular by means of a neural network (15), of the electronic computing device (4). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus der dreidimensionalen Umgebungsinformation (11) eine Tiefeninformation erzeugt wird.Method according to one of the preceding claims, characterized in that depth information is generated from the three-dimensional environmental information (11). Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass mittels der Tiefeninformation eine Auflösung von Entfernungsmehrdeutigkeiten (10) der optischen Erfassungseinrichtung (3) durchgeführt wird.procedure after claim 7 , characterized in that a resolution of distance ambiguities (10) of the optical detection device (3) is carried out by means of the depth information. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich mittels einer Kamera (5) ein weiteres zweidimensionales Bild der Umgebung (6) erfasst wird und bei der Erzeugung der dreidimensionalen Umgebungsinformation (11) berücksichtigt wird.Method according to one of the preceding claims, characterized in that a further two-dimensional image of the surroundings (6) is additionally captured by means of a camera (5) and is taken into account when generating the three-dimensional surroundings information (11). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zweidimensionale Bild (12) als Graubild erzeugt wird oder das zweidimensionale Bild (12) als modifizierte Bayer-Konfiguration erzeugt wird.Method according to one of the preceding claims, characterized in that the two-dimensional image (12) is generated as a gray image or the two-dimensional image (12) is generated as a modified Bayer configuration. Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung (4) dazu veranlasst, wenn die Programmcodemittel von der elektronischen Recheneinrichtung (4) abgearbeitet werden, ein Verfahren nach einem der Ansprüche 1 bis 10 durchzuführen.Computer program product with program code means, which causes an electronic computing device (4) to do so when the program code means are processed by the electronic computing device (4), a method according to one of Claims 1 until 10 to perform. Computerlesbares Speichermedium mit einem Computerprogrammprodukt nach Anspruch 11.Computer-readable storage medium containing a computer program product claim 11 . Optische Erfassungseinrichtung (3) mit zumindest einer elektronischen Recheneinrichtung (4), wobei die optische Erfassungseinrichtung (3) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 10 ausgebildet ist.Optical detection device (3) with at least one electronic computing device (4), wherein the optical detection device (3) for carrying out a method according to one of Claims 1 until 10 is trained. Assistenzsystem (2) mit einer optischen Erfassungseinrichtung (3) nach Anspruch 13.Assistance system (2) with an optical detection device (3). Claim 13 . Kraftfahrzeug (1) mit einem Assistenzsystem (2) nach Anspruch 14.Motor vehicle (1) with an assistance system (2). Claim 14 .
DE102021129088.0A 2021-11-09 2021-11-09 Method for generating three-dimensional environmental information of an optical detection device, computer program product, computer-readable storage medium, optical detection device, assistance system and motor vehicle Pending DE102021129088A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021129088.0A DE102021129088A1 (en) 2021-11-09 2021-11-09 Method for generating three-dimensional environmental information of an optical detection device, computer program product, computer-readable storage medium, optical detection device, assistance system and motor vehicle
PCT/EP2022/079535 WO2023083590A1 (en) 2021-11-09 2022-10-24 Method for generating three-dimensional surround information of an optical detection device, computer program product, computer-readable storage medium, optical detection device, assistance system, and motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021129088.0A DE102021129088A1 (en) 2021-11-09 2021-11-09 Method for generating three-dimensional environmental information of an optical detection device, computer program product, computer-readable storage medium, optical detection device, assistance system and motor vehicle

Publications (1)

Publication Number Publication Date
DE102021129088A1 true DE102021129088A1 (en) 2023-05-11

Family

ID=84360342

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021129088.0A Pending DE102021129088A1 (en) 2021-11-09 2021-11-09 Method for generating three-dimensional environmental information of an optical detection device, computer program product, computer-readable storage medium, optical detection device, assistance system and motor vehicle

Country Status (2)

Country Link
DE (1) DE102021129088A1 (en)
WO (1) WO2023083590A1 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11906660B2 (en) * 2019-08-30 2024-02-20 Nvidia Corporation Object detection and classification using LiDAR range images for autonomous machine applications
WO2021188625A1 (en) * 2020-03-18 2021-09-23 Analog Devices, Inc. Systems and methods for phase unwrapping

Also Published As

Publication number Publication date
WO2023083590A1 (en) 2023-05-19

Similar Documents

Publication Publication Date Title
EP2504718B1 (en) Method for detecting objects
DE102020123920B3 (en) Method and system for the automatic labeling of radar data
DE102013206707A1 (en) Method for checking an environment detection system of a vehicle
DE102018124108A1 (en) METHOD AND DEVICE FOR DETECTING ROAD LIMITATION
EP3714286B1 (en) Method and device for ascertaining an installation angle between a roadway on which a vehicle travels and a detection direction of a measurement or radar sensor
EP3430423B1 (en) Method for improving detection of at least one object in an environment of a motor vehicle by means of an indirect measurement using sensors, control device, driver assistance system, and motor vehicle
DE102006046843A1 (en) Motor vehicle surrounding detecting method for use in area of driver assistance system, involves processing data for detecting objects and free area in surrounding of motor vehicle, and dividing surrounding into cells with attributes
DE102018215753A1 (en) Device and method for determining a trajectory of a vehicle
DE102020200911B3 (en) Method for recognizing objects in the surroundings of a vehicle
DE102019210767A1 (en) Method and device for fusing a plurality of signals from an ultrasonic sensor system of a means of locomotion
DE102020214596A1 (en) Method for generating training data for a recognition model for recognizing objects in sensor data of an environment sensor system of a vehicle, method for generating such a recognition model and method for controlling an actuator system of a vehicle
DE102017122440A1 (en) A method for locating and further developing a digital map by a motor vehicle; localization device
DE102020119954A1 (en) Method for generating an occupancy grid map for at least one static object, computer program product, computer-readable storage medium and assistance system
DE102021129088A1 (en) Method for generating three-dimensional environmental information of an optical detection device, computer program product, computer-readable storage medium, optical detection device, assistance system and motor vehicle
DE102017201796A1 (en) Control device for determining a self-motion of a motor vehicle and motor vehicle and method for providing the control device
DE102020214937A1 (en) Automated reliability test of an infrastructure-supported control technology
DE102014104713A1 (en) Register a clustered scene with pairs of scans
DE102020125448A1 (en) Card plausibility check procedures
DE102019101127A1 (en) Process for processing data obtained by ultrasound
EP3715908A1 (en) Method and device for optically measuring distances
DE102019210129A1 (en) Method for checking a calibration of several sensors and a motor vehicle with several sensors
DE102018213994A1 (en) Method and system for determining the movement of a motor vehicle
DE102019209849B4 (en) Method and control device for distance-measuring image processing for a stereo camera device for a vehicle and stereo camera system with a stereo camera device and a control device
EP3614172B1 (en) Method and device for optically measuring distances
DE102011108468A1 (en) Method of generating three-dimensional environment information of motor vehicle, involves increasing occupancy probability of voxels of voxel based environment map, such that voxels are contacted or cut lines of sight