DE102022131848A1

DE102022131848A1 - METHOD OF OPERATING A LIDAR SYSTEM AND LIDAR SYSTEM

Info

Publication number: DE102022131848A1
Application number: DE102022131848.6A
Authority: DE
Inventors: Marco Heinen; Patrick Reichel; Kai Fischer
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2022-12-01
Filing date: 2022-12-01
Publication date: 2024-06-06
Also published as: WO2024115439A1

Abstract

Die Anmeldung betrifft ein Verfahren zum Betrieb eines Lidar-Systems (10), aufweisend:Aussenden eines Sendesignals (22) mit einer Abfolge von Lichtpulsen (EP.1, EP.2, EP.3, EP4),Empfangen einer Reflexion des Sendesignals (22) als Empfangssignal (30),Abtasten des Empfangssignals (30) mittels Schwellenabtastung,Rekonstruieren des Empfangssignals (30) unter Verwendung von Abtastzeitpunkten der Schwellenabtastung mittels eines iterativen Verfahrens.Die Anmeldung betrifft weiter ein Lidar-System (10), ein Fahrzeug (20) mit einem solchen Lidar-System (10) sowie eine Verwendung des Lidar-Systems (10) in einem Fahrzeug (20).The application relates to a method for operating a lidar system (10), comprising: transmitting a transmission signal (22) with a sequence of light pulses (EP.1, EP.2, EP.3, EP4), receiving a reflection of the transmission signal (22) as a reception signal (30), sampling the reception signal (30) by means of threshold sampling, reconstructing the reception signal (30) using sampling times of the threshold sampling by means of an iterative method. The application further relates to a lidar system (10), a vehicle (20) with such a lidar system (10) and a use of the lidar system (10) in a vehicle (20).

Description

Technisches GebietTechnical area

Die Anmeldung betrifft ein Verfahren zum Betrieb eines Lidar-Systems, ein Lidar-System, ein Fahrzeug mit dem Lidar-System sowie eine Verwendung des Lidar-Systems in einem Fahrzeug.The application relates to a method for operating a lidar system, a lidar system, a vehicle with the lidar system and a use of the lidar system in a vehicle.

Hintergrundbackground

Moderne Fahrzeuge (Autos, Transporter, Lastwagen, Motorräder etc.) verfügen über eine Vielzahl an Sensoren, deren Daten zur Fahrerinformation dienen und/oder Fahrerassistenzsystemen zur Verfügung gestellt werden. Über die Sensoren werden die Umgebung des Fahrzeugs sowie andere Verkehrsteilnehmer erfasst. Basierend auf den erfassten Daten kann ein Modell der Fahrzeugumgebung erzeugt werden und auf Veränderungen in dieser Fahrzeugumgebung reagiert werden.Modern vehicles (cars, vans, trucks, motorcycles, etc.) have a large number of sensors whose data is used to provide information to the driver and/or to driver assistance systems. The sensors record the vehicle's surroundings and other road users. Based on the recorded data, a model of the vehicle's environment can be created and changes in this vehicle environment can be responded to.

Ein wichtiges Sensorprinzip für die Erfassung der Umgebung, z. B. von Fahrzeugen, ist dabei die Lidartechnik (Lidar engl. Light Detection and Ranging). Ein Lidar-System weist eine optische Sendeeinrichtung und eine optische Empfangseinrichtung auf. Die Sendeeinrichtung kann ein optisches Sendesignal aussenden, das gepulst sein kann. In einem Lidar-System können insbesondere Laserstrahlen im ultravioletten, visuellen oder infraroten Bereich zum Einsatz kommen. Durch die Empfangseinrichtung kann das optische Signal nach Reflexion an einem Objekt in einem Detektionsbereich in der Umgebung des Lidar-Systems als optisches Empfangssignal empfangen werden. Das Empfangssignal kann unter Verwendung des Sendesignals durch eine Recheneinheit des Lidar-Systems nach einem Lichtlaufzeitverfahren ausgewertet werden und es können die räumliche Lage und der Abstand der Objekte, an denen die Reflexion erfolgte, ermittelt werden. Zudem ist die Ermittlung einer Relativgeschwindigkeit möglich. Unter Reflexion oder reflektiertem Licht wird vorliegend jegliches zurückgeworfenes Licht verstanden und soll insbesondere auch durch Streuung oder Absoptions-Emission zurückgeworfenes Licht umfassen. Zur Abstandsermittlung zu Objekten können insbesondere sogenannte Time-of-Flight (TOF) Systeme Anwendung finden.An important sensor principle for detecting the environment, e.g. of vehicles, is Lidar technology (Lidar, English for Light Detection and Ranging). A Lidar system has an optical transmitter and an optical receiver. The transmitter can emit an optical transmission signal, which can be pulsed. In a Lidar system, laser beams in the ultraviolet, visual or infrared range can be used in particular. The receiver can receive the optical signal as an optical reception signal after reflection from an object in a detection area in the vicinity of the Lidar system. The reception signal can be evaluated using the transmission signal by a computing unit of the Lidar system using a time-of-flight method and the spatial position and distance of the objects on which the reflection occurred can be determined. It is also possible to determine a relative speed. In this case, reflection or reflected light is understood to mean any light that is reflected back and is intended in particular to include light that is reflected back by scattering or absorption emission. So-called Time-of-Flight (TOF) systems can be used in particular to determine the distance to objects.

Lidar-Systeme werden für verschiedene Funktionen ständig weiterentwickelt, z. B. für die Erfassung von Umgebungsinformationen im Nah- und Fernbereich von Fahrzeugen, wie Personenkraftwaren oder Nutzfahrzeugen. Lidar-Systeme können auch als Sensorsysteme für Fahrerassistenzsysteme, insbesondere Assistenzsysteme zur autonomen oder teilautonomen Fahrzeugsteuerung, dienen. Sie können insbesondere zur Erkennung von Hindernissen und/oder anderen Verkehrsteilnehmern im Front-, Heck- oder im Totwinkel-Bereich eines Fahrzeuges genutzt werden.Lidar systems are constantly being developed for various functions, e.g. for the acquisition of environmental information in the near and far range of vehicles, such as passenger cars or commercial vehicles. Lidar systems can also serve as sensor systems for driver assistance systems, in particular assistance systems for autonomous or semi-autonomous vehicle control. They can be used in particular to detect obstacles and/or other road users in the front, rear or blind spot area of a vehicle.

Das Lidar-System kann als ein mit Lichtblitzen arbeitendes System, ein sogenanntes Flash-Lidar, ausgebildet sein. Dabei kann ein Bereich eines Umfelds mit einem Lichtblitz (engl. Flash) ausgeleuchtet und die an etwaigen Objekten reflektierten Empfangssignale können mit der Empfangseinrichtung erfasst werden.The lidar system can be designed as a system that works with flashes of light, a so-called flash lidar. An area of an environment can be illuminated with a flash of light and the reception signals reflected from any objects can be recorded with the receiving device.

Scannende Lidar-Systeme senden Lichtstrahlen aus, die sich in einer Scanrichtung bewegen. Punktscanner leuchten dabei Bereiche des Umfeldes punktweise an. Linienscanner leuchten Bereiche des Umfeldes linienweise an.Scanning lidar systems emit light beams that move in a scanning direction. Point scanners illuminate areas of the surrounding area point by point. Line scanners illuminate areas of the surrounding area line by line.

In WO2021/249983A1 wird ein Lidar-System beschrieben, bei dem zum mehrfachen Abtasten eines selben Bereiches eines Umfelds eine Pulsfolge eines Laserlichts ausgesendet wird. Die Abstände zwischen den Pulsen der Pulsfolge unterscheiden sich voneinander. Das Lidar-System kann als Punktscanner, Linienscanner oder Flash-Lidar ausgebildet sein.In WO2021/249983A1 A lidar system is described in which a pulse sequence of laser light is emitted to scan the same area of an environment multiple times. The distances between the pulses in the pulse sequence differ from one another. The lidar system can be designed as a point scanner, line scanner or flash lidar.

ÜbersichtOverview

Ein Verfahren zum Betrieb eines Lidar-Systems weist die folgenden Schritte auf:

Aussenden eines Sendesignals mit einer Abfolge von Lichtpulsen,
Empfangen einer Reflexion des Sendesignals als Empfangssignal,
Abtasten des Empfangssignals mittels Schwellenabtastung,
Rekonstruieren des Empfangssignals unter Verwendung von Abtastzeitpunkten der Schwellenabtastung mittels eines iterativen Verfahrens.

A method for operating a lidar system comprises the following steps:

Emitting a transmission signal with a sequence of light pulses,
Receiving a reflection of the transmitted signal as a received signal,
Sampling the received signal using threshold sampling,
Reconstructing the received signal using sampling times of the threshold sampling by means of an iterative procedure.

Durch Auswertung des Empfangssignals unter Verwendung des Sendesignals kann ein Objekt in einem Detektionsbereich des Lidar-Systems, an dem die Reflexion erfolgte, detektiert werden. Z. B. mittels eines TOF-Verfahrens kann die Entfernung zu dem Objekt ermittelt werden. Weiter ist die Ermittlung einer Relativgeschwindigkeit zwischen Lidar-System und dem Objekt möglich.By evaluating the received signal using the transmitted signal, an object can be detected in a detection area of the lidar system where the reflection occurred. For example, the distance to the object can be determined using a TOF method. It is also possible to determine a relative speed between the lidar system and the object.

Der Lichtpuls kann z. B. ein kurzer Laser-Puls sein, der z. B. eine Form hat, die einem Dirac-Impuls angenähert ist. Die Dauer des ausgesendeten realen Lichtpulses kann z. B. im ns-Bereich liegen. Die Abfolge von Lichtpulsen weist die Lichtpulse in kurzen zeitlichen Abständen auf. Die Abstände können z. B. im ns-Bereich liegen.The light pulse can be, for example, a short laser pulse that has a shape that is similar to a Dirac pulse. The duration of the emitted real light pulse can be, for example, in the ns range. The sequence of light pulses has the light pulses at short time intervals. The intervals can be, for example, in the ns range.

Die Lichtpulse der Abfolge von Lichtpulsen werden in die gleiche Richtung ausgesendet. Dies ermöglicht ihre Reflexion an einem gleichen Objekt, wobei dann durch die Rekonstruktion des Empfangssignals weitere Informationen über das Objekt ermittelbar sind, z. B. die Größe und/oder Oberflächenbeschaffenheit des Objektes.The light pulses of the sequence of light pulses are emitted in the same direction. This enables them to be reflected on the same object, whereby further information about the object can then be determined by reconstructing the received signal, e.g. the size and/or surface texture of the object.

Schwellenabtastung ist ein Abtastverfahren für ein Signal, insbesondere ein analoges Signal, bei dem die Abtastzeitpunkte erfasst werden, zu denen das Signal als Wert den Wert einer vorgebbaren Schwelle annimmt. Als Resultat einer Schwellenabtastung erhält man also die Abtastzeitpunkte, die diejenigen Zeitpunkte angeben, zu denen das abgetastete Signal als Wert den Schwellenwert annimmt. Die Anzahl der Abtastzeitpunkte in einem gegebenen Zeitraum hängt also von der Signalform des abgetasteten Signals ab.Threshold sampling is a sampling method for a signal, particularly an analog signal, in which the sampling times are recorded at which the signal assumes the value of a predeterminable threshold. The result of threshold sampling is therefore the sampling times that indicate the times at which the sampled signal assumes the threshold value. The number of sampling times in a given period of time therefore depends on the signal shape of the sampled signal.

Das Verfahren bietet den Vorteil, dass das Empfangssignal und insbesondere die Form des Empfangssignals auf effiziente Art und Weise in einer Empfangseinrichtung eines Lidar-Systems rekonstruiert werden kann. Aus der Rekonstruktion des Empfangssignals können dann weitere Informationen über das Objekt, an dem die Reflexion erfolgte, gewonnen werden.The method offers the advantage that the received signal and in particular the shape of the received signal can be efficiently reconstructed in a receiving device of a lidar system. From the reconstruction of the received signal, further information about the object on which the reflection occurred can then be obtained.

In einer Ausführungsform weist das iterative Verfahren eine Ermittlung einer Kostenfunktion auf, welche eine Abweichung eines Modells des Empfangssignals von der Schwelle der Schwellenabtastung zu den Abtastpunkten betrifft, wobei das Modell iterativ verbessert wird und die Kostenfunktion ein Maß für die Güte des Modells darstellt.In one embodiment, the iterative method comprises determining a cost function relating to a deviation of a model of the received signal from the threshold of the threshold sampling to the sampling points, wherein the model is iteratively improved and the cost function represents a measure of the quality of the model.

In einer Ausführungsform kann das iterative Verfahren die Modellierung eines Einzel-Modells aufweisen. Das Einzel-Modell modelliert dabei ein Empfangssignal für einen einzelnen Lichtpuls. Die jeweiligen Einzel-Modelle der Pulse der Abfolge werden auf der Zeitachse bezogen auf die jeweiligen Zeitpunkte des Aussendens der Lichtpulse angeordnet. Dies bedeutet, dass die Einzel-Modelle in der gleichen Reihenfolge und mit den gleichen Abständen zueinander auf der Zeitachse angeordnet werden, wie die jeweils zugehörigen Lichtpulse des Sendesignals. Dann wird eine Überlagerungsfunktion aus einer Überlagerung der Einzel-Modelle ermittelt. Die Überlagerungsfunktion kann z. B. eine Addition der Einzel-Modelle oder eine Faltung der Einzel-Modelle sein. Die Kostenfunktion wird dann in dieser Ausführungsform für die Abweichung der Überlagerungsfunktion von der Schwelle der Schwellenabtastung zu den Abtastzeitpunkten ermittelt.In one embodiment, the iterative method can comprise the modeling of an individual model. The individual model models a received signal for an individual light pulse. The respective individual models of the pulses in the sequence are arranged on the time axis in relation to the respective times of transmission of the light pulses. This means that the individual models are arranged on the time axis in the same order and at the same distances from one another as the respective associated light pulses of the transmission signal. A superposition function is then determined from a superposition of the individual models. The superposition function can, for example, be an addition of the individual models or a convolution of the individual models. The cost function is then determined in this embodiment for the deviation of the superposition function from the threshold of the threshold sampling at the sampling times.

Das Einzel-Modell weist eine erste Anzahl diskreter Stützstellen auf und die Schwellenabtastung weist eine zweite Anzahl Abtastzeitpunkte auf. Die Stützstellen des Einzelmodells sind in einer diskreten Darstellung des Einzel-Modells diejenigen Stellen, an denen das Einzel-Modell einem diskreten Wert auf der Zeitachse zugeordneten Funktionswert aufweist. Der zeitliche Abstand der Stützstellen voneinander kann jeweils gleich sein, d. h. die Stützstellen können äquidistant sein. Es sind aber auch andere zeitliche Anordnungen der Stützstellen denkbar. In Ausführungsformen ist die erste Anzahl kleiner als oder gleich groß wie die zweite Anzahl. Die Abtastzeitpunkte der Schwellenabtastung sind durch die Funktionswerte des Empfangssignals bestimmt, nämlich dann, wenn das Empfangssignal den Schwellenwert der Schwellenabtastung schneidet. Die Anzahl der Stützstellen des Einzel-Modells soll nun höchstens so groß sein wie die Anzahl der Abtastzeitpunkte für den Empfang des Empfangssignals. Sonst könnte sich ein unterbestimmtes Problem ergeben, dessen Lösung schwierig sein könnte.The individual model has a first number of discrete support points and the threshold sampling has a second number of sampling times. In a discrete representation of the individual model, the support points of the individual model are those points at which the individual model has a function value assigned to a discrete value on the time axis. The time interval between the support points can be the same, i.e. the support points can be equidistant. However, other temporal arrangements of the support points are also conceivable. In embodiments, the first number is less than or equal to the second number. The sampling times of the threshold sampling are determined by the function values of the received signal, namely when the received signal intersects the threshold value of the threshold sampling. The number of support points of the individual model should now be at most as large as the number of sampling times for receiving the received signal. Otherwise, an under-determined problem could arise, the solution of which could be difficult.

Die Abstände der Lichtpulse der Abfolge können sich voneinander unterscheiden und insbesondere im Verlauf der Abfolge größer werden. Möglich ist z. B. dass die Abstände der Lichtpulse eine geometrische Folge bilden. Auch die Anzahl der Lichtpulse in der Abfolge kann variieren und z. B. zwischen 2 und 10, insbesondere 4, Lichtpulse betragen. Abstand der Lichtpulse voneinander und/oder die Anzahl der Lichtpulse in einer Abfolge können vorgegeben werden und insbesondere im Laufe des Betriebs des Lidar-Systems angepasst werden. In Ausführungsformen ist es möglich, den Abstand der Lichtpulse voneinander und/oder die Anzahl der Lichtpulse in der Abfolge iterativ zu verbessern.The distances between the light pulses in the sequence can differ from one another and can become larger, in particular, over the course of the sequence. It is possible, for example, for the distances between the light pulses to form a geometric sequence. The number of light pulses in the sequence can also vary and can be, for example, between 2 and 10, in particular 4, light pulses. The distance between the light pulses and/or the number of light pulses in a sequence can be specified and, in particular, adjusted over the course of operation of the lidar system. In embodiments, it is possible to iteratively improve the distance between the light pulses and/or the number of light pulses in the sequence.

Die Abfolge der Lichtpulse kann wiederholt ausgesendet werden. D. h. nach dem Sendesignal mit der Abfolge von Lichtpulsen kann ein weiteres Sendesignal mit einer weiteren Abfolge von Lichtpulsen ausgesendet werden. Dabei können die Abfolgen jeweils in die gleiche Richtung ausgesendet werden und/oder in verschiedene Richtungen ausgesendet werden, um z. B. eine Scanning-Effekt zu erzielen. Es ist auch möglich mehrere Abfolgen in eine Richtung und danach mehrere Abfolgen in eine andere Richtung auszusenden und so einen Scanning-Effekt zu erzeugen. Die Abstände der Abfolgen voneinander kann in Zeitverlauf gleich bleiben oder sich verändern. Insbesondere kann der Abstand der Abfolgen voneinander im Verlauf des Betriebs des Lidar-Systems angepasst werden. In Ausführungsformen ist es möglich, den Abstand der Abfolgen voneinander iterativ zu verbessern.The sequence of light pulses can be transmitted repeatedly. This means that after the transmission signal with the sequence of light pulses, another transmission signal with another sequence of light pulses can be transmitted. The sequences can each be transmitted in the same direction and/or in different directions, for example to achieve a scanning effect. It is also possible to transmit several sequences in one direction and then several sequences in another direction, thus creating a scanning effect. The distances between the sequences can remain the same or change over time. In particular, the distance between the sequences can be adjusted during the operation of the lidar system. In embodiments, it is possible to iteratively improve the distance between the sequences.

Die Kostenfunktion kann mittels einer Monte-Carlo-Methode, insbesondere einer Metropolis-Monte-Carlo-Methode verbessert werden.The cost function can be improved using a Monte Carlo method, in particular a Metropolis Monte Carlo method.

Der Schwellenwert der Schwellenabtastung, die Form des Einzel-Modells, die Anzahl der Lichtpulse in der Abfolge, der Abstand der Lichtpulse in der Abfolge und/oder der Abstand zur weiteren Abfolge können vorgebbar sein. Diese Parameter sind insbesondere iterativ verbesserbar.The threshold value of the threshold sampling, the shape of the individual model, the number of light pulses in the sequence, the distance between the light pulses in the sequence and/or the distance to the next sequence can be specified. These parameters can be improved iteratively in particular.

In Ausführungsformen kann auf die iterative Verbesserung des Modells ein maschinelles Lernverfahren angewendet werden. Das maschinelle Lernverfahren kann dabei insbesondere die Wahl des Schwellenwertes, die Form des Einzel-Modells, die Anzahl der Lichtpulse in der Abfolge, den Abstand der Lichtpulse in der Abfolge und/oder den Abstand zur weiteren Abfolge betreffen.In embodiments, a machine learning method can be applied to the iterative improvement of the model. The machine learning method can in particular relate to the choice of the threshold value, the shape of the individual model, the number of light pulses in the sequence, the spacing of the light pulses in the sequence and/or the spacing to the further sequence.

Ein Lidar-System weist eine optische Sendeeinrichtung auf, welche eingerichtet ist, ein Sendesignal mit einer Abfolge von Lichtpulsen auszusenden. Das Lidar-System weist weiter eine optische Empfangseinrichtung auf, welche eingerichtet ist, eine Reflexion des Sendesignals als Empfangssignal zu empfangen. Das Lidar-System weist weiter eine Recheneinheit auf, welche eingerichtet ist, das Empfangssignal mittels Schwellenabtastung abzutasten und das Empfangssignal unter Verwendung der Abtastzeitpunkte mittels eines iterativen Verfahrens zu rekonstruieren.A lidar system has an optical transmitting device which is configured to emit a transmitted signal with a sequence of light pulses. The lidar system also has an optical receiving device which is configured to receive a reflection of the transmitted signal as a received signal. The lidar system also has a computing unit which is configured to sample the received signal using threshold sampling and to reconstruct the received signal using the sampling times using an iterative method.

Die Empfangseinrichtung kann einen Empfangssensor zu opto-elektrischen Wandlung des Empfangssignals aufweisen und die Recheneinheit kann zur Schwellenabtastung des durch den Empfangssensor ausgegebenen elektrischen Signals ausgebildet sein. Der Empfangssensor kann zumindest eine Fotodiode, insbesondere zumindest eine Lawinenfotodiode, aufweisen, wobei das von dem Empfangssensor ausgegebene elektrische Signal von einer durch die zumindest eine Fotodiode empfangenen Lichtintensität des Empfangssignals abhängt. Der Schwellenwert der Schwellenabtastung kann von dem Empfangssensor, insbesondere der Fotodiode, der Empfangseinrichtung abhängen.The receiving device can have a receiving sensor for opto-electrical conversion of the received signal and the computing unit can be designed for threshold scanning of the electrical signal output by the receiving sensor. The receiving sensor can have at least one photodiode, in particular at least one avalanche photodiode, wherein the electrical signal output by the receiving sensor depends on a light intensity of the received signal received by the at least one photodiode. The threshold value of the threshold scanning can depend on the receiving sensor, in particular the photodiode, of the receiving device.

Ein Fahrzeug kann das zuvor beschriebene Lidar-System aufweisen, wobei das Lidar-System z. B. zur Objekterkennung, Entfernungsmessung, Geschwindigkeitsmessung und/oder weiterer Eigenschaften des erkannten Objektes verwendet werden kann. Weitere Eigenschaften des erkannten Objektes können z. B. die Größe des Objektes betreffen.A vehicle can have the lidar system described above, whereby the lidar system can be used, for example, for object detection, distance measurement, speed measurement and/or other properties of the detected object. Other properties of the detected object can, for example, relate to the size of the object.

FigurenlisteCharacter list

Ausführungsbeispiele sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert.Examples of embodiments are shown in the drawing and are explained in more detail in the following description.

Es zeigen schematisch

1 ein Ablaufdiagramm eines Verfahrens zum Betrieb eines Lidar-Systems,
2 eine Darstellung eines Fahrzeuges mit Lidar-System,
3 beispielhaft ein Ausführungsbeispiel eines Empfangssignal als elektrisches Signal am Ausgang einer Fotodiode,
4 beispielhaft ein weiteres Ausführungsbeispiel des Empfangssignals als elektrisches Signal am Ausgang der Fotodiode,
5 ein Sendesignal mit einem ausgesendeten Lichtpuls und ein Empfangssignal mit dem zugehörigen reflektierten Puls,
6 ein Sendesignal mit einem ausgesendeten Lichtpuls, ein Empfangssignal mit dem zugehörigen reflektierten Puls,
7 ein Sendesignal mit einer Abfolge von Lichtpulsen, ein zugehöriges Empfangssignal, eine Schwellenabtastung des Empfangssignals und die zugehörigen Abtastzeitpunkte
8 das Sendesignal mit der Abfolge von Lichtpulsen, die jeweiligen zugehörigen Einzel-Modelle und eine Überlagerungsfunktion der Einzel-Modelle mit Abweichungen, und
9 das Sendesignal mit der Abfolge von Lichtpulsen, verbesserte jeweilige Einzel-Modelle und ein verbessertes Modell der Empfangsfunktion mit Abweichungen.

They show schematically

1 a flow chart of a method for operating a lidar system,
2 a representation of a vehicle with Lidar system,
3 an example of an embodiment of a received signal as an electrical signal at the output of a photodiode,
4 by way of example, another embodiment of the received signal as an electrical signal at the output of the photodiode,
5 a transmission signal with a transmitted light pulse and a reception signal with the corresponding reflected pulse,
6 a transmission signal with a transmitted light pulse, a reception signal with the corresponding reflected pulse,
7 a transmitted signal with a sequence of light pulses, an associated received signal, a threshold sample of the received signal and the associated sampling times
8th the transmission signal with the sequence of light pulses, the respective associated individual models and a superposition function of the individual models with deviations, and
9 the transmission signal with the sequence of light pulses, improved individual models and an improved model of the reception function with deviations.

Es werden in den Figuren die gleichen Bezugszeichen für gleiche oder ähnliche Elemente verwendet. Darstellungen in den Figuren sind können nicht maßstäblich sein.The same reference symbols are used in the figures for identical or similar elements. Representations in the figures may not be to scale.

FigurenbeschreibungCharacter description

1 zeigt ein Verfahren zum Betrieb eines Lidar-Systems 10 (2) mit den Schritten:

S1: Aussenden eines Sendesignals 22 durch eine optische Sendeeinrichtung 12 des Lidar-Systems 10. Das Sendesignal 22 weist eine Abfolge von Lichtpulsen EP.1, EP.2, EP.3, EP4 auf.
S2: Empfangen einer Reflexion des Sendesignals 22 als Empfangssignal 30 durch eine optische Empfangseinrichtung 14 des Lidar-Systems 10.
S3: Abtasten des Empfangssignals 30 durch eine Recheneinheit 16 des Lidar-Systems 10 mittels Schwellenabtastung.
S4: Rekonstruieren des Empfangssignals 30 durch die Recheneinheit 16 unter Verwendung von Abtastzeitpunkten der Schwellenabtastung mittels eines iterativen Verfahrens.

1 shows a method for operating a lidar system 10 ( 2 ) with the steps:

S1: Transmission of a transmission signal 22 by an optical transmission device 12 of the lidar system 10. The transmission signal 22 has a sequence of light pulses EP.1, EP.2, EP.3, EP4.
S2: Receiving a reflection of the transmitted signal 22 as a received signal 30 by an optical receiving device 14 of the lidar system 10.
S3: Sampling of the received signal 30 by a computing unit 16 of the lidar system 10 by means of threshold sampling.
S4: Reconstructing the received signal 30 by the computing unit 16 using sampling times of the threshold sampling by means of an iterative method.

In 2 ist schematisch ein Fahrzeug 20, zum Beispiel ein Personenkraftwagen, dargestellt. In einem Frontbereich des Fahrzeuges 20 ist das Lidar-System 10 angeordnet. Das Lidar-System 10 weist die optische Sendeeinrichtung 12 und die optische Empfangseinrichtung 14 auf. In der Recheneinheit 16 kann zur Detektion, Entfernungsermittlung und/oder Geschwindigkeitsermittlung zu einem im Detektionsbereich 26 befindlichen Objekt O das Sendesignal 22 und das Empfangssignal 30 ausgewertet werden. Durch die Recheneinheit 16 kann ebenfalls der Sendevorgang in der Sendeeinrichtung 12 sowie der Empfangsvorgang in der Empfangseinrichtung 14 kontrolliert und gesteuert werden.In 2 a vehicle 20, for example a passenger car, is shown schematically. The lidar system 10 is arranged in a front area of the vehicle 20. The lidar system 10 has the optical transmitting device 12 and the optical receiving device 14. In the computing unit 16, the transmitted signal 22 and the received signal 30 can be evaluated for the detection, distance determination and/or speed determination of an object O located in the detection area 26. The computing unit 16 can also monitor and control the transmission process in the transmitting device 12 and the reception process in the receiving device 14.

Der Detektionsbereich 26 befindet sich vor dem Frontbereich des Fahrzeuges 20. Dadurch kann im dargestellten Beispiel ein Bereich in Fahrtrichtung vor dem Fahrzeug 20 überwacht werden. Es ist ebenfalls möglich, das Lidar-System 10 in anderen Bereichen des Fahrzeuges 20 anzuordnen, zum Beispiel im Heckbereich und/oder in Seitenbereichen. Es ist ebenfalls möglich, mehrere Lidar-Systeme 10 an dem Fahrzeug 20 anzuordnen, insbesondere auch in Eckbereichen des Fahrzeuges 20.The detection area 26 is located in front of the front area of the vehicle 20. In the example shown, this allows an area in the direction of travel in front of the vehicle 20 to be monitored. It is also possible to arrange the lidar system 10 in other areas of the vehicle 20, for example in the rear area and/or in side areas. It is also possible to arrange several lidar systems 10 on the vehicle 20, in particular in corner areas of the vehicle 20.

Mit dem Lidar-System 10 können stehende oder bewegte Objekte O, insbesondere Fahrzeuge, Personen, Tiere, Pflanzen, Hindernisse, Fahrbahnunebenheiten, insbesondere Schlaglöcher oder Steine, Fahrbahnbegrenzungen, Verkehrszeichen, Freiräume, insbesondere Parklücken, Niederschlag oder dergleichen, in dem Detektionsbereich 26 erfasst werden. Insbesondere ermöglicht das Verfahren zum Betrieb des Lidar-Systems 10 durch die Rekonstruktion des Empfangssignals 30 die Ermittlung weiterer Eigenschaften des Objektes, welche über die Detektion, Entfernungsermittlung oder Geschwindigkeitsermittlung hinausgehen.With the lidar system 10, stationary or moving objects O, in particular vehicles, people, animals, plants, obstacles, road surface irregularities, in particular potholes or stones, road markings, traffic signs, open spaces, in particular parking spaces, precipitation or the like, can be detected in the detection area 26. In particular, the method for operating the lidar system 10 enables the determination of further properties of the object by reconstructing the received signal 30, which go beyond detection, distance determination or speed determination.

In einem Ausführungsbeispiel kann das Lidar-System 10 die Entfernung zu einem reflektierenden remittierenden Objekt O über das ToF-Prinzip ermitteln. Das Lidar-System 10 kann über die Sendeeinrichtung 12 kurze Laserpulse EP.1, EP.2, EP.3, EP4, z. B. von Nanosekunden Dauer, in seine Umgebung, insbesondere seinen Detektionsbereich 26, aussenden. Das Lidar-System 10 kann über seine Empfangseinrichtung 14 das zurückkehrende, am Objekt O reflektierte Licht empfangen. Die Zeit zwischen Emission und Empfang des Lichts wird mit hoher Genauigkeit (Gigahertz) gemessen, und die Lichtlaufzeit vom Lidar-System 10 zu dem Objekt O und zurück zum Lidar-System 10 wird mit der halben Lichtgeschwindigkeit multipliziert, um die Entfernung zwischen dem Lidar-System 10 und dem erfassten Objekt O zu berechnen.In one embodiment, the lidar system 10 can determine the distance to a reflective, remitting object O using the ToF principle. The lidar system 10 can emit short laser pulses EP.1, EP.2, EP.3, EP4, e.g. of nanosecond duration, into its surroundings, in particular its detection area 26, via the transmitting device 12. The lidar system 10 can receive the returning light reflected from the object O via its receiving device 14. The time between emission and reception of the light is measured with high accuracy (gigahertz), and the light travel time from the lidar system 10 to the object O and back to the lidar system 10 is multiplied by half the speed of light to calculate the distance between the lidar system 10 and the detected object O.

3 zeigt eine Darstellung des Empfangssignals 30 in Form des elektrischen Ausgangssignals einer Lawinen-Fotodiode und ihres Schwellenwertes TDC zur Zeit-Digital-Wandlung (engl. TDC time-to-digital conversion). Der Schwellenwert TDC definiert über eine Schwellenabtastung die Breite EPW der Spitze des Empfangssignals 30. Die aus der Breite EPW der Spitze resultierende Echo-Pulsbreite in Metern ist das Produkt aus der Lichtgeschwindigkeit c und der mit dem Schwellenwert TDC abgetasteten zeitlichen Breite EPW der Spitze des Empfangssignals 30. Die zeitlichen Breite EPW ergibt sich dabei als Abstand der beiden Abtastzeitpunkte, bei denen das Empfangssignal 30 die Schwelle TDC schneidet. 3 shows a representation of the received signal 30 in the form of the electrical output signal of an avalanche photodiode and its threshold value TDC for time-to-digital conversion. The threshold value TDC defines the width EPW of the peak of the received signal 30 via a threshold sampling. The echo pulse width in meters resulting from the width EPW of the peak is the product of the speed of light c and the temporal width EPW of the peak of the received signal 30 sampled with the threshold value TDC. The temporal width EPW is the distance between the two sampling times at which the received signal 30 intersects the threshold TDC.

Das reflektierte Licht wird als Empfangssignal 30 von einem oder mehreren Empfangssensoren, wie z. B. Lawinen-Fotodioden empfangen. Der zumindest eine Empfangssensor wandelt eine momentane Lichtintensität des Empfangssignals 30 in einen elektrischen Strom um und gibt ein dem Empfangssignal 30 entsprechendes elektrisches Signal aus. Das vom Empfangssensor ausgegebene elektrische Signal entspricht einem Strom, der mit der Zeit variiert. Es ist in 3 als Empfangssignal 30 mit einer Pulshöhe PH dargestellt.The reflected light is received as a reception signal 30 by one or more reception sensors, such as avalanche photodiodes. The at least one reception sensor converts a momentary light intensity of the reception signal 30 into an electrical current and outputs an electrical signal corresponding to the reception signal 30. The electrical signal output by the reception sensor corresponds to a current that varies over time. It is in 3 as received signal 30 with a pulse height PH.

In 3 weist der vom Empfangssensor empfangene Lichtimpuls eine zeitliche Dauer von einigen, ca. 10 Nanosekunden (ns) auf und wird in ein Empfangssignal 30 in Form eines elektrischen Stromsignals übersetzt, das bei einem Zeitpunkt von etwa 300 ns über ein Grundrauschen NF ansteigt, bevor es bei ca. 310 ns wieder in Richtung des Grundrauschens NF abfällt. Multipliziert man die Zeit, in der der erste Anstieg stattfindet, mit der Lichtgeschwindigkeit c = 3×10⁸ m/s und dividiert durch den Faktor 2 ergibt sich ein berechneter Objektabstand von ca. 45 m = (3 ×10^-7 s × 3 ×10⁸ m/s) / 2. Der abschließende Divisor 2 berücksichtigt dabei den Lichtweg vom Lidar-System 10 zum Objekt O und zurück. Die Spitzenform des Empfangssignals 30 in Form des elektrischen Signals über der Zeit in 3 folgt der zeitlichen Verteilung der Lichtintensität des reflektierten Sendesignals 22, wenn Effekte der Fotodiode wie Sättigung und Nichtlinearität vernachlässigt werden können. Die zeitliche Verteilung des Empfangssignals 30 hängt ihrerseits von verschiedenen Parametern ab. Zu diesen Parametern gehören z. B. die Form und die Dauer des ausgesandten Laserpulses EP.1, EP.2, EP.3, EP4, der Grad der atmosphärischen Streuung sowie die geometrischen und materiellen Eigenschaften des Objekts O, an dem der Lichtimpuls EP.1, EP.2, EP.3, EP4 zum Lidar-System reflektiert wurde. Stumpfe Objekte O mit unregelmäßigen Oberflächen „verwaschen“ typischerweise und erhöhen die zeitliche Dauer des Empfangssignals 30, während stark reflektierende Objekte wie Retroreflektoren dazu neigen, eine klar definierte Rücklaufspitze von kurzer Dauer und ausgeprägter Höhe PH zu erzeugen.In 3 the light pulse received by the receiving sensor has a duration of a few, approximately 10 nanoseconds (ns) and is translated into a received signal 30 in the form of an electrical current signal, which rises above a background noise NF at a time of approximately 300 ns before falling back towards the background noise NF at approximately 310 ns. Multiplying the time in which the first rise takes place by the speed of light c = 3×10 ⁸ m/s and dividing by the factor 2 results in a calculated object distance of approximately 45 m = (3 ×10 ^-7 s × 3 ×10 ⁸ m/s) / 2. The final divisor 2 takes into account the light path from the lidar system 10 to the object O and back. The peak shape of the received signal 30 in the form of the electrical signal over time in 3 follows the temporal distribution of the light intensity of the reflected transmission signal 22 if effects of the photodiode such as saturation and non-linearity can be neglected. The temporal distribution of the reception signal 30 in turn depends on various parameters. These parameters include, for example, the shape and duration of the emitted laser pulse EP.1, EP.2, EP.3, EP4, the degree of atmospheric scattering and the geometric and material properties of the object O at which the light pulse EP.1, EP.2, EP.3, EP4 was reflected to the lidar system. Blunt objects O with irregular surfaces typically "wash out" and increase the temporal duration of the reception signal 30, while highly reflective objects such as retroreflectors tend to produce a clearly defined return peak of short duration and pronounced height PH.

Da die Form des Empfangssignals 30 Informationen über die Eigenschaften des detektierten Objektes O umfasst, kann es erwünscht sein, die gesamte Form des Empfangssignals 30 zu kennen, und Informationen über die Signalform an elektronische Signalverarbeitungsverfahren und Objekterkennungsverfahren und/oder Klassifizierungsverfahren zu übermitteln. Die Abtastung des gesamten Empfangssignals 30 kann jedoch in Bezug auf die Hardware kostspielig sein, z. B. bei anwendungsspezifischen integrierten Schaltungen (ASICs) und in Bezug auf die Menge der erzeugten Daten, die dann weiterverarbeitet werden müssen.Since the shape of the received signal 30 includes information about the properties of the detected object O, it may be desirable to know the entire shape of the received signal 30 and to transmit information about the signal shape to electronic signal processing methods and object detection methods and/or classification methods. However, sampling the entire received signal 30 may be costly in terms of hardware, e.g. in application-specific integrated circuits (ASICs), and in terms of the amount of data generated that then needs to be further processed.

Daher ist es vorteilhaft, nicht das gesamte Empfangssignal 30 abzutasten. Stattdessen können z. B. reduzierte Merkmale des Empfangssignals 30, wie z. B. die maximale Pulshöhe PH, die mit der Spitzenintensität des Empfangssignals 30 korreliert, ermittelt werden. Diese Spitzenintensität wiederum korreliert mit dem optischen Reflexionsvermögen und anderen Eigenschaften des reflektierenden Objekts O. Die Spitzenhöhe des Empfangssignals 30 korreliert daher mit dem Reflexionsvermögen des Objekts O und kann zusätzlich für z. B. eine Objektklassifizierung verwendet werden.It is therefore advantageous not to sample the entire received signal 30. Instead, for example, reduced features of the received signal 30, such as the maximum pulse height PH, which correlates with the peak intensity of the received signal 30, can be determined. This peak intensity in turn correlates with the optical reflectivity and other properties of the reflecting object O. The peak height of the received signal 30 therefore correlates with the reflectivity of the object O and can additionally be used for example for object classification.

Alternativ oder zusätzlich kann die Breite des Empfangssignals 30 abgetastet werden. Auf das Empfangssignal 30 wird ein Schwellenwert TDC für die Zeit-DigitalWandlung angewandt. Der Zeitpunkt t1, zu dem das das Empfangssignal 30 erstmals über den Schwellenwert TDC ansteigt (ca. 301 ns in 3), und der spätere Zeitpunkt t2, an dem das Empfangssignal 30 den Schwellenwert TDC unterschreitet (ca. 308 ns in 3), werden beide in der Recheneinheit 16, z. B. in einem ASIC der Recheneinheit 16, bestimmt. In der folgenden Signalverarbeitung ist t1 ein erster Näherungswert für die Lichtumlaufzeit bei der Berechnung der Entfernung des Objektes O. Die Differenz oder „zeitliche Breite“, t2 - t1, der Spitze kann mit der Lichtgeschwindigkeit multipliziert werden, um die so genannte Echo Pulse Width EPW zu erhalten, siehe 3. Die Breite EPW für das Empfangssignal 30 ist in einer Punktwolkenausgabe des Lidar-Systems 10 enthalten. Stark reflektierende Objekte O, wie das Nummernschild des Autos und ein Verkehrszeichen, führen typischerweise zu „breiten“ Empfangssignalen 30 mit großer Breite EPW.Alternatively or additionally, the width of the received signal 30 can be sampled. A threshold value TDC for the time-to-digital conversion is applied to the received signal 30. The time t1 at which the received signal 30 first rises above the threshold value TDC (approx. 301 ns in 3 ), and the later time t2 at which the received signal 30 falls below the threshold value TDC (approx. 308 ns in 3 ), both are determined in the computing unit 16, e.g. in an ASIC of the computing unit 16. In the following signal processing, t1 is a first approximation for the light round trip time when calculating the distance of the object O. The difference or "temporal width", t2 - t1, of the peak can be multiplied by the speed of light to obtain the so-called Echo Pulse Width EPW, see 3 . The width EPW for the received signal 30 is contained in a point cloud output of the lidar system 10. Highly reflective objects O, such as the license plate of the car and a traffic sign, typically result in “wide” received signals 30 with a large width EPW.

Im Vergleich zu einem schwach reflektierenden (matten) Objekt O neigt ein stark reflektierendes Objekt nicht nur zu einer Erhöhung der Spitzenhöhe PH, sondern auch die Breite EPW wird größer. Daher kann die Breite EPW zur Klassifizierung des Reflexionsgrads eines Objekts verwendet werden, alternativ oder zusätzlich zur Pulshöhe PH. Ein technischer und wirtschaftlicher Vorteil der Abtastung der Breite EPW anstelle der Höhe PH ist eine einfachere Recheneinheit 16, z. B. der ASIC-Logik und/oder des ASIC-Design. Die Abtastung der Breite komm mit einer direkten Abtastung aus, d. h. dem Vergleich des momentanen Signalwertes des Empfangssignals 30 mit dem Schwellenwert TDC. Der daraus resultierende logische 0/1-Ausgang entspricht einem Signal unter oder über dem Schwellenwert TDC. Die Abtastung der Spitzenhöhe PH hingegen erfordert eine etwas kompliziertere (numerische) Differenzierung des Empfangssignals 30, um den Zeitpunkt zu bestimmen, an dem die Ableitung das Vorzeichen wechselt und die Spitze PH erreicht wird.Compared to a weakly reflective (matte) object O, a strongly reflective object not only tends to increase the peak height PH, but also the width EPW becomes larger. Therefore, the width EPW can be used to classify the reflectance of an object, alternatively or in addition to the pulse height PH. A technical and economic advantage of sampling the width EPW instead of the height PH is a simpler computing unit 16, e.g. the ASIC logic and/or the ASIC design. Sampling the width requires a direct sampling, i.e. comparing the instantaneous signal value of the received signal 30 with the threshold value TDC. The resulting logical 0/1 output corresponds to a signal below or above the threshold value TDC. Sampling the peak height PH, on the other hand, requires a somewhat more complicated (numerical) differentiation of the received signal 30 in order to determine the point in time at which the derivative changes sign and the peak PH is reached.

Die Ermittlung der Breite EPW hat zwar den Vorteil einer einfachen und wirtschaftlichen Durchführung, kann aber zu Problemen in der Vergleichbarkeit zwischen Punktwolkendaten von Breiten EPW Abtastung und Höhen PH Abtastung führen. Although the determination of the width EPW has the advantage of being simple and economical to carry out, it can lead to problems in the comparability between point cloud data from width EPW sampling and height PH sampling.

Bestimmte Verfahren zur Objekterkennung und Klassifizierung, wie z. B. tiefe neuronale Netze, die mit der Punktwolke als Eingabe arbeiten, könnten auf die Verwendung der Breiten EPW Abtastung oder Höhen PH Abtastung konzipiert sein. Die Wahl der jeweils anderen Abtastung kann zu unerwünschten Effekten führen.Certain object detection and classification methods, such as deep neural networks, that work with the point cloud as input might be designed to use width EPW sampling or height PH sampling. Choosing the other sampling may lead to undesirable effects.

In 4 ist ein weiteres Beispiel eines speziellen Effektes der Abtastung der Breite EPW dargestellt. Unter Bedingungen wie dem dargestellten streifenden Einfall von emittiertem Laserlicht auf eine Oberfläche, z. B. die Fahrbahn, entspricht die gespreizte geometrische Schichtprojektion einem erweiterten Bereich von Objektentfernungen, aus denen das Licht zum Lidar-System 10 zurückkehrt, für einen einzigen ausgesendeten Lichtpuls 28. Dieser erweiterte Bereich von beleuchteten und reflektierenden Objektabständen führt zu einer zeitlich gestreuten empfangenen Lichtintensität und einem entsprechend gestreuten Empfangssignal 30 in 4. Die Form des Empfangssignals 30 unterscheidet sich dann deutlich von der typischen Form für ein Objekt 10, das unter einem stumpfen Winkel beleuchtet wird. Bei einem streifenden Einfall des Sendesignals kann daher die Korrelation zwischen Intensität, also Höhe PH, und Breite EPW verloren gehen.In 4 another example of a special effect of scanning the width EPW is shown. Under conditions such as the illustrated grazing incidence of emitted laser light on a surface, e.g. the roadway, the spread geometric layer projection corresponds to an extended range of object distances from which the light returns to the lidar system 10 for a single emitted light pulse 28. This extended range of illuminated and reflected object distances leads to a temporally scattered received light intensity and a correspondingly scattered received signal 30 in 4 The shape of the received signal 30 then differs significantly from the typical shape for an object 10 that is illuminated at an obtuse angle. If the transmitted signal is incident at a grazing angle, the correlation between intensity, i.e. height PH, and width EPW can therefore be lost.

Der in 4 dargestellte Fall führt beispielsweise zu einer großen Breite EPW des Empfangssignals 30, während die Höhe PH niedrig ist, weil die Reflektivität des beleuchteten Objekts O, hier Asphalt/Straßenbelag, niedrig ist. Ein Verfahren, das auf ein hohes Reflexionsvermögen des Objekts O schließen könnte, wenn der EPW hoch ist (wie es oft und typischerweise der Fall ist, siehe 3), kann unter Umständen versagen und die Straße vor dem Lidar-System 10 unter Bedingungen wie in 4 falsch als stark reflektierendes Objekt klassifizieren.The 4 For example, the case shown leads to a large width EPW of the received signal 30, while the height PH is low, because the reflectivity of the illuminated object O, here asphalt/road surface, is low. A method that could conclude that the object O has a high reflectivity if the EPW is high (as is often and typically the case, see 3 ), may fail and block the road ahead of the lidar system 10 under conditions such as 4 incorrectly classified as a highly reflective object.

Alternativ oder zusätzlich zu den zuvor beschriebenen Verfahren zur Abtastung der Höhe PH und/oder Abtastung der Breite EPW kann das im Folgenden beschriebene Verfahren zum Betrieb des Lidar-Systems 10 Anwendung finden.Alternatively or in addition to the previously described methods for scanning the height PH and/or scanning the width EPW, the method described below for operating the lidar system 10 can be used.

Das im Folgenden beschriebene Verfahren zum Betrieb des Lidar-Systems 10 ermöglicht, eine gute Rekonstruktion oder Annäherung an die Form des reflektierten, zurückkehrenden Pulses RP auf einer handhabbaren endlichen Menge von Abtastpunkten 32 zu finden. In Ausführungsformen ist die Anzahl der Abtastpunkte 32 größer als 1, wie bei der Abtastung der Höhe PH und auch größer als 2, wie bei der Abtastung der Breite EPW. The method of operating the lidar system 10 described below enables a good reconstruction or approximation of the shape of the reflected returning pulse RP to be found on a manageable finite set of sample points 32. In embodiments, the number of sample points 32 is greater than 1, as in the case of sampling the height PH, and also greater than 2, as in the case of sampling the width EPW.

5 zeigt einen schematischen, einmaligen kurzen (Nanosekunde oder kürzer) ausgesandten Lichtimpuls EP im oberen Teil. 5 zeigt die Intensität des zurückkehrenden, reflektierten Pulses RP als Funktion der Zeit im unteren Teil. 5 shows a schematic, single short (nanosecond or shorter) emitted light pulse EP in the upper part. 5 shows the intensity of the returning reflected pulse RP as a function of time in the lower part.

6 zeigt im oberen Teil eine schematische Darstellung eines sehr kurzen (Nanosekunde oder kürzer), ausgesandten Laserpulses und des daraus resultierenden reflektierten Pulses RP. Die Darstellung im unteren Teil von 6 entspricht dabei dem elektrischen Signal am Ausgang der Fotodiode der Empfangseinheit 14. 6 shows in the upper part a schematic representation of a very short (nanosecond or shorter) emitted laser pulse and the resulting reflected pulse RP. The representation in the lower part of 6 corresponds to the electrical signal at the output of the photodiode of the receiving unit 14.

Für das im Folgenden beschriebene Verfahren wird ein Näherungswert in Form eines Einzel-Modells 28 für den reflektierten Puls RP verwendet. Ein sinnvoller Kandidat für eine solche erste Näherung in Form des Einzel-Modells 28 ist z. B. eine Gaußsche Glockenkurve mit geschätzter Höhe und Breite. Die Anzahl der Stützstellen für die Approximation beträgt 6 für das in 6 dargestellte Ausführungsbeispiel. Die Zahl der Stützstellen ist bevorzugt gleich oder kleiner gewählt werden als die Anzahl der Abtastpunkte der Schwellenabtastung von 7. Wenn die Anzahl der Stützstellen für das diskrete Einzel-Modell 28 größer gewählt wird als die Anzahl der von der Schwellenabtastung ermittelten Abtastzeitpunkte, so können sich Probleme ergeben. Es könnte sich ein unterbestimmtes Optimierungsproblem ergeben, für das eine Lösung schwierig wäre.For the method described below, an approximation in the form of a single model 28 is used for the reflected pulse RP. A reasonable candidate for such a first approximation in the form of the single model 28 is, for example, a Gaussian bell curve with estimated height and width. The number of support points for the approximation is 6 for the 6 The number of support points is preferably chosen to be equal to or smaller than the number of sampling points of the threshold sampling of 7 If the number of support points for the discrete single model 28 is chosen to be larger than the number of sampling times determined by the threshold sampling, problems may arise. An underdetermined optimization problem could arise, for which a solution would be difficult.

Beispielsweise können die Stützstellen für das Einzel-Modell 28 zeitlich äquidistant angeordnet in einem Zeitraster ZR angeordnet sein. Ein äquidistanter zeitlicher Abstand der Stützstellen ist jedoch optional. Es sind auch andere zeitliche Anordnungen der Stützstellen des Einzel-Modells 28 denkbar.For example, the support points for the individual model 28 can be arranged equidistantly in time in a time grid ZR. However, an equidistant temporal spacing of the support points is optional. Other temporal arrangements of the support points of the individual model 28 are also conceivable.

In 6 ist im unteren Teil die (unbekannte) Form der Kurve des reflektierten Pulses RP dargestellt, die mit dem oben in 6 dargestellten emittierten Laser-puls EP entspricht. Ebenfalls dargestellt ist ein Zeitraster ZR, das hier aus 6 Zeiten besteht. Die erste Schätzung (1. Näherung) für das Einzel-Modell 28 umfasst 6 Stützstellen zu den Zeitpunkten des Zeitrasters ZR mit Werten, die einer vernünftigen Näherungsform eines reflektierten Lichtpulses RP entsprechen können, z. B. eine Gaußsche Glockenfunktion. Dieser erste Näherungswert des Einzel-Modells 28 stellt den Anfangszustand eines iterativen Verfahrens dar. Mittels des iterativen Verfahrens, z. B. eines Monte-Carlo Sampling Verfahrens, kann die wahre Form des reflektierten Pulses RP angenähert werden.In 6 In the lower part the (unknown) shape of the curve of the reflected pulse RP is shown, which is compared with the 6 shown emitted laser pulse EP. Also shown is a time grid ZR, which here consists of 6 times. The first estimate (1st approximation) for the individual model 28 includes 6 support points at the times of the time grid ZR with values that can correspond to a reasonable approximation of a reflected light pulse RP, e.g. a Gaussian bell function. This first approximation value of the individual model 28 represents the initial state of an iterative process. Using the iterative process, e.g. a Monte Carlo sampling process, the true shape of the reflected pulse RP can be approximated.

In 7a ist schematisch eine Abfolge von vier sehr kurzen, emittierten Laserpulsen EP.1, EP.2, EP.3, EP.4 mit zeitlichen Abständen in einer geometrischer Abfolge von 1 ns, 2 ns, 4 ns dargestellt. Das Sendesignal 22 mit der Abfolge von Lichtpulsen EP1, EP.2, EP.3, EP.4, wie sie in 7a dargestellt ist, bildet die physikalische Grundlage für die nachfolgende Abtastung und iterative Verbesserung. Für das Ausführungsbeispiel des Scan-Lidars emittiert die optische Sendeeinrichtung 12, z. B. durch eine Laserdiode, eine Abfolge, auch Kadenz genannt, von Lichtpulsen EP.1, EP.2, EP.3, EP.4. Im in 7 dargestellten Ausführungsbeispiel weisen die Lichtpulse EP1, EP.2, EP.3, EP.4 einen geometrischen Zeitverlauf auf. Unter geometrischem Zeitverlauf, auch geometrische Progression genannt, versteht man hier einen zunehmenden zeitlichen Abstand zwischen den emittierten Lichtimpulsen EP1, EP.2, EP.3, EP.4, wobei der zeitliche Abstand zwischen Impulsnummer n und Impulsnummer n + 1 den Abstand zwischen n - 1 und n um einen konstanten Faktor übersteigt. Im Beispiel von 7a ist dieser konstante Faktor 2 und der anfängliche zeitliche Abstand zwischen dem ersten (n = 1) Lichtpuls EP.1 und dem zweiten (n = 2) Lichtpuls EP.2 ist 1 ns. Dies führt zu einer Abfolge an Abständen von 1 ns - 2 ns - 4 ns. Der geometrische Progressionsfaktor muss nicht 2 sein, sondern einen beliebigen numerischen Wert größer als 1 annehmen. Der genaue Wert des Progressionsfaktors kann z. B. während eines Systemtests des Lidar-Systems abgestimmt und/oder im Rahmen des iterativen Verfahrens zum Betrieb des Lidar-Systems 10 verbessert werden.In 7a is shown schematically a sequence of four very short emitted laser pulses EP.1, EP.2, EP.3, EP.4 with time intervals in a geometric sequence of 1 ns, 2 ns, 4 ns. The transmission signal 22 with the sequence of light pulses EP1, EP.2, EP.3, EP.4, as shown in 7a is shown, forms the physical basis for the subsequent scanning and iterative improvement. For the embodiment of the scanning lidar, the optical transmitter 12 emits, e.g. by a laser diode, a sequence, also called cadence, of light pulses EP.1, EP.2, EP.3, EP.4. In the 7 In the embodiment shown, the light pulses EP1, EP.2, EP.3, EP.4 have a geometric time course. Geometric time course, also called geometric progression, is understood here to mean an increasing time interval between the emitted light pulses EP1, EP.2, EP.3, EP.4, whereby the time interval between pulse number n and pulse number n + 1 exceeds the distance between n - 1 and n by a constant factor. In the example of 7a this constant factor is 2 and the initial time interval between the first (n = 1) light pulse EP.1 and the second (n = 2) light pulse EP.2 is 1 ns. This results in a sequence of intervals of 1 ns - 2 ns - 4 ns. The geometric progression factor does not have to be 2, but can take on any numerical value greater than 1. The exact value of the progression factor can be adjusted, for example, during a system test of the lidar system and/or improved as part of the iterative procedure for operating the lidar system 10.

7b zeigt die Intensität des Lichts des Empfangssignals 30, das von einem Objekt O zurückkommt, das von den vier Pulsen von 7a beleuchtet wurde. Es ist eine Überlagerung, z. B. die Summe, über die vier einzelnen reflektierten Pulse RP. Ein Schwellenwert TDC wird auf die gesamte empfangene Intensität des Empfangssignals 30 angewendet. In 7b ist also das Empfangssignal 30 des reflektierten Lichts, d. h. die reflektierte Abfolge von Lichtpulsen, die von einem beleuchteten Objekt O zurückkehrt und an der Empfangseinheit 14 ankommt, gezeigt. Im Rahmen der Annäherung an eine perfekte Linearität des Empfängers, also weit genug entfernt von Betriebsbedingungen, die zu einer Sättigung z. B. einer Fotodiode führen, ist das Empfangssignal 30 eine Überlagerung, im dargestellten Beispiel eine Summe, der einzelnen reflektierten Pulse RP für jeden ausgesendeten Lichtpuls EP.1, EP.2, EP.3, EP.4 in der Abfolge. Beispiele solcher einzelnen reflektierten Pulse RP sind z. B. im unteren Teil von 5, im unteren Teil von 6 und in 7b dargestellt. 7b shows the intensity of the light of the received signal 30 coming back from an object O which is generated by the four pulses of 7a It is a superposition, e.g. the sum, over the four individual reflected pulses RP. A threshold value TDC is applied to the total received intensity of the received signal 30. In 7b Thus, the reception signal 30 of the reflected light, ie the reflected sequence of light pulses returning from an illuminated object O and arriving at the receiving unit 14, is shown. In the context of approaching a perfect linearity of the receiver, i.e. far enough away from operating conditions that lead to a saturation of a photodiode, for example, the received signal 30 is a superposition, in the example shown a sum, of the individual reflected pulses RP for each emitted light pulse EP.1, EP.2, EP.3, EP.4 in the sequence. Examples of such individual reflected pulses RP are e.g. in the lower part of 5 , in the lower part of 6 and in 7b shown.

Das Empfangssignal 30 entspricht damit der Überlagerung der reflektierten Pulse RP. Im in 7b dargestellten Ausführungsbeispiel weist die Überlagerung und damit das Empfangssignal 30 mehrere lokale Minima und Maxima auf. Wären die Lichtpulse EP.1, EP.2, EP.3, EP.4 mit äquidistanten Abständen in der Abfolge ausgesendet worden, so würde sich das Muster der Minima und Maxima im Empfangssignal 30 nahezu perfekt wiederholen. In einem solchen Fall würden man durch die Form des Empfangssignals 30 nur wenige oder keine zusätzlichen Informationen ermitteln können, die nicht bereits in den durch zwei Sendepulse EP.1, EP.2, EP.3, EP.4 erzeugten Minima und Maxima enthalten sind.The received signal 30 thus corresponds to the superposition of the reflected pulses RP. In 7b In the embodiment shown, the superposition and thus the received signal 30 has several local minima and maxima. If the light pulses EP.1, EP.2, EP.3, EP.4 had been emitted at equidistant intervals in the sequence, the pattern of the minima and maxima in the received signal 30 would repeat almost perfectly. In such a case, the shape of the received signal 30 would allow little or no additional information to be determined that is not already contained in the minima and maxima generated by two transmitted pulses EP.1, EP.2, EP.3, EP.4.

Die Sendepulse mit unterschiedlichen Abständen zueinander auszusenden, bietet also Vorteile. Vorgeschlagen wird die Emission in einer geometrisch fortschreitenden Abfolge vor, die zu einem nicht repetitiven Muster von Minima und Maxima beim Empfangssignal 30 führt. Jede Impulsreflexion, also jeder reflektierte Puls RP, enthält dabei zusätzliche Informationen, die z. B. durch die Abtastung, insbesondere die Schwellenabtastung, ermittelt werden können.Sending the transmission pulses at different distances from one another therefore offers advantages. It is proposed that the emission should occur in a geometrically progressive sequence, which leads to a non-repetitive pattern of minima and maxima in the received signal 30. Each pulse reflection, i.e. each reflected pulse RP, contains additional information that can be determined, for example, by sampling, in particular threshold sampling.

In 7c sind sechs Abtastpunkte dargestellt. Sie markieren die Abtastzeitpunkte, zu denen das Intensitätssignal des Empfangssignals 30 den Schwellenwert TDC geschnitten hat.In 7c Six sampling points are shown. They mark the sampling times at which the intensity signal of the received signal 30 has crossed the threshold value TDC.

Bei der Schwellenabtastung wird der Schwellenwert TDC mit dem Empfangssignal 30 verglichen. Bevorzugt erfolgt der Vergleich mittels einer robusten und kostengünstigen Abtastlogik, wie sie auch für in Bezug auf 2 und/oder 3 beschriebene Verfahren Anwendung finden kann. Z. B. kann die Abtastlogik mittels einer Pegelvergleichslogik realisiert werden, welche einfach z. B. in einem ASIC oder einem anderen eingebetteten integrierten Schaltkreis implementiert werden kann.During threshold sampling, the threshold value TDC is compared with the received signal 30. Preferably, the comparison is carried out using a robust and cost-effective sampling logic, as is also used for 2 and or 3 described method can be applied. For example, the sampling logic can be implemented using a level comparison logic, which can be easily implemented, for example, in an ASIC or another embedded integrated circuit.

In 7c und 7d sind die sechs resultierenden Abtastpunkte 32 dargestellt. Die Abtastzeitpunkte befinden sich zu den Zeitpunkten, an denen das Empfangssignal 30 den Schwellenwert TDC Schwelle überschreitet oder unterschreitet. Man beachte, dass das erste lokale Minimum des Empfangssignals 30 den Schwellenwert TDC nicht unterschreitet, während das zweite lokale Minimum den Schwellenwert TDC nur knapp unterschreitet. Wären diese Minima etwas mehr oder weniger ausgeprägt, dann hätte sich eine andere Anzahl von Abtastpunkten, z. B. 8 oder 4, statt 6, ergeben.In 7c and 7d the six resulting sampling points 32 are shown. The sampling times are at the times at which the received signal 30 exceeds or falls below the threshold value TDC threshold. Note that the first local minimum of the received signal 30 does not fall below the threshold value TDC, while the second local minimum only just falls below the threshold value TDC. If these minima were slightly more or less pronounced, a different number of sampling points would have resulted, e.g. 8 or 4, instead of 6.

Der in 7d dargestellte Satz von digitalisierten Abtastzeitpunkten enthält die Informationen, die in weiteren Verfahrensschritten, z. B. durch einen Prozessor zur Signalverarbeitung, zur Rekonstruktion der Form des Empfangssignals verwendet werden können. Die Zahl der Abtatzeitpunkte kann variieren: Wäre das erste lokale Minimum der Intensitätskurve des Empfangssignals in 7b und 7c etwas ausgeprägter gewesen, dann wären es 8 statt 6 Abtastzeitpunkte gewesen. Wäre das zweite lokale Minimum in 7b und 7c etwas weniger ausgeprägt, dann gäbe es 4 statt 6 Abtastzeitpunkte.The 7d The set of digitized sampling times shown contains the information that can be used in further process steps, e.g. by a signal processing processor, to reconstruct the shape of the received signal. The number of sampling times can vary: If the first local minimum of the intensity curve of the received signal in 7b and 7c had been somewhat more pronounced, then there would have been 8 sampling times instead of 6. If the second local minimum in 7b and 7c had been somewhat less pronounced, then there would have been 4 sampling times instead of 6.

In 7a und 7b sind weitere Informationen veranschaulicht, die an den Prozessor zur Signalverarbeitung, auf dem das Verfahren ausgeführt werden kann, weitergeleitet werden und damit für das iterative Verfahren zur Verfügung stehen. Diese Informationen umfassen die Abfolge von Lichtpulsen EP.1, EP.2, EP.3, EP.4, wie z. B. in 7a dargestellt, sowie der Anzahl der Abtastpunkte, welche im in 7 dargestellten Fall 6 ist, sowie dem Schwellenwert TDC, der der Höhe der Abtastpunkte 32 entlang der vertikalen Achse entspricht. Die Höhe der Abtastpunkte 32 ist gleich für jeden der Abtastpunkte 32. Die Informationen, die an den Prozessor weitergeleitet werden, können außerdem die Zeit für jeden der Abtastpunkte 32, also die Abtastzeitpunkte umfassen. Die Abtastzeitpunkte entsprechen dabei dem Wert entlang der horizontalen Achse in 7d.In 7a and 7b further information is illustrated which is forwarded to the signal processing processor on which the method can be carried out and is thus available for the iterative process. This information includes the sequence of light pulses EP.1, EP.2, EP.3, EP.4, as in 7a shown, as well as the number of sampling points, which are in 7 shown in case 6, and the threshold value TDC, which corresponds to the height of the sampling points 32 along the vertical axis. The height of the sampling points 32 is the same for each of the sampling points 32. The information passed to the processor may also include the time for each of the sampling points 32, i.e. the sampling times. The sampling times correspond to the value along the horizontal axis in 7d .

Die vorgeschlagene Abtastung reduziert sich für den Fall, dass die Abfolge von ausgesendeten Lichtpulsen genau einen emittierten Laserpuls EP, EP.1 aufweist, auf die Abtastung der Breite EPW, die in Verbindung mit 3 und 4 beschrieben wurde.The proposed scanning is reduced to the scanning of the width EPW in the case that the sequence of emitted light pulses has exactly one emitted laser pulse EP, EP.1, which in conjunction with 3 and 4 was described.

Ein Verfahren zur Rekonstruktion des Empfangssignals nach der Schwellenabtastung weist nun folgendes auf: Ein Einzel-Modell 28 (6) eines reflektierten Pulses RP wird für den zu rekonstruierenden reflektierten Impuls berechnet. Ein sinnvoller Kandidat für diese erste Näherung ist z. B. eine Gaußsche Glockenkurve mit geschätzter Höhe PH und Breite EPW. Die Anzahl der Stützstellen für die Approximation in dem Einzel-Modell 28 beträgt 6 im Fall von 6. Die Anzahl der Stützstellen solte gleich oder kleiner gewählt werden als die Anzahl der Abtastzeitpunkte der Schwellenabtastung. Die Anzahl der Abtastzeitpunkte entsprich der Anzahl der Abtastpunkte 32 der Schwellenabtastung und beträgt im in 7 dargestellten Beispiel ebenfalls 6. Wenn die Anzahl der Stützstellen für das diskrete Einzel-Modell 28 größer gewählt wird als Anzahl der von Abtastpunkte 32 , so könnte sich ein unterbestimmtes Optimierungsproblem ergeben, das unlösbar sein könnte.A method for reconstructing the received signal after threshold sampling now comprises the following: A single model 28 ( 6 ) of a reflected pulse RP is calculated for the reflected pulse to be reconstructed. A reasonable candidate for this first approximation is, for example, a Gaussian bell curve with estimated height PH and width EPW. The number of support points for the approximation in the single model 28 is 6 in the case of 6 . The number of support points should be equal to or smaller than the number of sampling points of the threshold sampling. The number of sampling points corresponds to the number of sampling points 32 of the threshold sampling and is in 7 shown example also 6. If the number of support points for the discrete single model 28 is chosen to be greater than the number of of sampling points 32 , an underdetermined optimization problem could arise that could be unsolvable.

Im einfachsten Fall können die Stützstellen für das Einzel-Modell 28 zeitlich äquidistant angeordnet sein, wie in 6 vorgeschlagen. Ein äquidistanter zeitlicher Abstand ist jedoch optional und kann durch ein anderes, möglicherweise besser geeignetes, Zeitraster ZR ersetzt werden.In the simplest case, the support points for the individual model 28 can be arranged equidistantly in time, as in 6 suggested. However, an equidistant time interval is optional and can be replaced by another, possibly more suitable, time grid ZR.

In 8 ist die Konstruktion einer Kostenfunktion mit nichtnegativem, skalarem Wert dargestellt. Für jeden Lichtpuls EP.1, EP.2, EP.3, EP.4 in der Abfolge wird ein Einzel-Modell 28.1, 28.2, 28.3, 28.4 zur Approximation des reflektierten Pulses RP erstellt und zeitlich so verschoben, dass es sich um den entsprechenden Sende-Lichtpuls EP.1, EP.2, EP.3, EP.4 befindet. Dann wird die Überlagerung, z. B. Summe über alle diese verschobenen Einzel-Modelle 28.1, 28.2, 28.3, 28.4 ermittelt. Die resultierende Summenkurve 34 ist die erste Näherung für die Rekonstruktion des Empfangssignals 30.In 8th the construction of a cost function with a non-negative, scalar value is shown. For each light pulse EP.1, EP.2, EP.3, EP.4 in the sequence, an individual model 28.1, 28.2, 28.3, 28.4 is created to approximate the reflected pulse RP and shifted in time so that it is located around the corresponding transmitted light pulse EP.1, EP.2, EP.3, EP.4. Then the superposition, e.g. sum of all of these shifted individual models 28.1, 28.2, 28.3, 28.4, is determined. The resulting sum curve 34 is the first approximation for the reconstruction of the received signal 30.

Es kann passieren, dass die verschobenen Stützstellen der Einzel-Modelle 28.1, 28.2, 28.3, 28.4 nicht mit den Abtastzeitpunkten zusammenfallen. Eine direkte Summe von Abtastwerten 32 und Stützstellen zu gleichen Zeitpunkten kann daher nicht immer berechnet werden. Zur Berechnung der Summenkurve 34 wird daher eine lineare Interpolation der verschobenen Einzel-Modelle 28.1, 28.2, 28.3, 28.4 zu Zeitpunkten vorgeschlagen, die mit den Abtastzeitpunkten zusammenfallen. Dies ist schematisch durch lineare Segmente im unteren Teil von 8 dargestellt.It can happen that the shifted support points of the individual models 28.1, 28.2, 28.3, 28.4 do not coincide with the sampling times. A direct sum of sample values 32 and support points at the same time points cannot therefore always be calculated. To calculate the cumulative curve 34, a linear interpolation of the shifted individual models 28.1, 28.2, 28.3, 28.4 at times that coincide with the sampling times is therefore proposed. This is shown schematically by linear segments in the lower part of 8th shown.

Die Kostenfunktion kann nun wie folgt definiert werden $cost = \sum_{i = 1}^{N} D i^{2}$

wobei Di=D1, D2, D3, D4, D5, D6 die Differenz zwischen dem Schwellenwert TDC und der linear interpolierten Näherung 34 des Modells des Empfangssignals 30 ist. Die obere Summengrenze, N, ist die Anzahl der Abtastzeitpunkte, also N = 6 für das in in 7, 8 und 9 dargestellte Ausführungsbeispiel.The cost function can now be defined as follows

cost = \sum_{i = 1}^{N} D i^{2}

where Di=D1, D2, D3, D4, D5, D6 is the difference between the threshold value TDC and the linearly interpolated approximation 34 of the model of the received signal 30. The upper sum limit, N, is the number of sampling times, i.e. N = 6 for the in 7 , 8th and 9 illustrated embodiment.

Es wird also die Form des Einzel-Modells 28 kopiert und zeitlich auf jeden Zeitpunkt des Aussendens eines Lichtpulses EP.1, EP.2, EP.3, EP.4 verschoben. Die Summe über die verschobenen Einzel-Modelle ergibt die erste Näherung 34 für das Empfangssignal 30. Im in 8 dargestellten Beispiel werden vier Einzel-Modelle 28.1, 28.2, 28.3, 28.4 addiert und es werden lineare Interpolationslinien zwischen den Stützstellen der Einzel-Modelle 28.1, 28.2, 28.3, 28.4und den Abtastpunkten 32 eingefügt. An den Abtastpunkten 32 weicht die Näherung 34 vom Schwellenwert TDC um D1, D2 ... D6 ab. Im in 8 gezeigten Fall sind sowohl D5 als auch D6 nahezu Null. Die Kostenfunktion, die eine Güte für das iterative Verfahren darstellt und die insbesondere zur Optimierung minimiert werden kann, kann die Summe aller quadrierten Abweichungen, d. h. D1² + D2² + D3² + D4² + D5² + D6² sein.The shape of the individual model 28 is copied and shifted in time to each point in time at which a light pulse EP.1, EP.2, EP.3, EP.4 is emitted. The sum of the shifted individual models results in the first approximation 34 for the received signal 30. In 8th In the example shown, four individual models 28.1, 28.2, 28.3, 28.4 are added and linear interpolation lines are inserted between the support points of the individual models 28.1, 28.2, 28.3, 28.4 and the sampling points 32. At the sampling points 32, the approximation 34 deviates from the threshold value TDC by D1, D2 ... D6. In the 8th In the case shown, both D5 and D6 are almost zero. The cost function, which represents a goodness of fit for the iterative procedure and which can be minimized in particular for optimization, can be the sum of all squared deviations, ie D1 ² + D2 ² + D3 ² + D4 ² + D5 ² + D6 ² .

Nun kann das Einzel-Modell 28, 28.1, 28.2, 28.3, 28.4 in einem iterativen Verfahren, z. B. einem Metropolis-Monte-Carlo-Algorithmus zur Konvergenz iteriert werden.Now the individual model 28, 28.1, 28.2, 28.3, 28.4 can be iterated in an iterative procedure, e.g. a Metropolis Monte Carlo algorithm to convergence.

Z. B. kann hierfür die Kostenfunktion auf folgende Weise minimiert werden.For example, the cost function can be minimized in the following way.

Im Iterationsschritt j wird eine der Stützstellen des Einzel-Modells 28 zufällig ausgewählt und der Intensitätswert (entlang der vertikalen Achse in 7) der Stützstelle wird zufällig durch Addition oder Subtraktion einer Zufallszahl verändert. Die Kostenfunktion cost_j, die dem neu modifizierten Einzel-Modell entspricht, wird berechnet, und das Boltzmann-Gewicht B_j wird wie folgt berechnet $B_{j} = e x p [(c o s t_{j - 1} - c o s t_{j}) / T],$

wobei T eine dimensionslose, nicht-negative „Temperatur“ ist, die fest gewählt werden kann oder optional als Funktion des Iterations-Index j in einem als „simuliertes Glühen“ bekannten Optimierungsverfahren variiert werden kann. Wenn T für kleine Werte von j groß gewählt wird und dann schrittweise auf einen Wert von (fast) Null reduziert wird, wenn j zunimmt, dann hilft dieses „Annealing“ in der Regel dabei, zu vermeiden, dass der Optimierer in lokalen Minima der Kostenfunktion hängen bleibt.In iteration step j, one of the support points of the single model 28 is randomly selected and the intensity value (along the vertical axis in 7 ) of the support point is randomly changed by adding or subtracting a random number. The cost function cost _j corresponding to the newly modified single model is calculated, and the Boltzmann weight B _j is calculated as follows

B_{j} = e x p [(c O s t_{j - 1} - c O s t_{j}) / T],

where T is a dimensionless, non-negative "temperature" that can be chosen fixed or optionally varied as a function of the iteration index j in an optimization procedure known as "simulated annealing". If T is chosen large for small values of j and then gradually reduced to a value of (nearly) zero as j increases, then this "annealing" usually helps to avoid the optimizer getting stuck in local minima of the cost function.

Die zufällige Verschiebung eines Stichprobenpunktes im Schritt j wird mit einer Wahrscheinlichkeit $p_{j} = m i n (1, B_{j})$

akzeptiert.The random shift of a sample point in step j is calculated with a probability

p_{j} = m i n (1, B_{j})

accepted.

Das bedeutet: Bei jedem Iterationsschritt j wird eine Zufallszahl r_j aus einer Gleichverteilung auf dem Intervall [0, 1) gezogen, und der Zug wird angenommen, wenn r_j<p_j. Andernfalls wird die Monte-Carlo-Bewegung verworfen und der Stichprobenpunkt wird wieder an die Stelle gesetzt, an der er sich in Iterationsschritt j-1 befand.This means: At each iteration step j, a random number r _j is drawn from a uniform distribution on the interval [0, 1), and the move is accepted if r _j <p _j . Otherwise, the Monte Carlo move is discarded and the sample point is placed back at the position it was in iteration step j-1.

Der Iterationsindex j=1 entspricht dem Anfangszustand (erste Annäherung), wie oben und in Verbindung mit 6 und 7 beschrieben. Wenn die Iteration fortschreitet und j immer größere Werte annimmt, sinkt der Wert der Kostenfunktion zunächst schnell, dann langsamer, und schließlich konvergiert er konvergiert und stabilisiert sich auf einem Niveau, auf dem er um einen konstanten Mittelwert schwankt. Die Beobachtung des Mittelwerts der Kostenfunktion über die letzten (z. B. 10) Iterationen zu beobachten und die Iteration abzubrechen, wenn der Mittelwert unter einen bestimmten Schwellenwert sinkt, ist ein mögliches und allgemein bewährtes Abbruchkriterium für die Iteration.The iteration index j=1 corresponds to the initial state (first approximation), as above and in connection with 6 and 7 As the iteration progresses and j becomes larger, the value of the cost function decreases initially quickly, then more slowly, and finally it converges and stabilizes at a level where it fluctuates around a constant mean. Observing the mean of the cost function over the last (say 10) iterations and stopping the iteration when the mean falls below a certain threshold is a possible and generally proven stopping criterion for the iteration.

9 zeigt die Rekonstruktion 34.M des Empfangssignals 30, nachdem das iterative Verfahren konvergiert ist und einen Näherungswert 28.1.M, 28.2.M, 28.3.M, 28.4.M für die Form des reflektierten Pulses RP, also das Einzel-Modell 28, gefunden hat. 9 shows the reconstruction 34.M of the received signal 30 after the iterative procedure has converged and found an approximate value 28.1.M, 28.2.M, 28.3.M, 28.4.M for the shape of the reflected pulse RP, i.e. the individual model 28.

Nachdem das iterative Verfahren, z. B. die Metropolis-Monte-Carlo-Optimierung, konvergiert hat, ist das konvergierte Einzel-Modell 28.1.M, 28.2.M, 28.3.M, 28.4.M nahe an der (unbekannten) wahren Form des reflektierten Pulses RP. Ebenso ist die Summe 34.M über die konvergierten verschobenen Einzel-Modelle 28.1.M, 28.2.M, 28.3.M, 28.4.M nahe an der (unbekannten) wahren Form des Empfangssignals 30. Der Wert der konvergierten Kostenfunktion wird niedrig sein, wenn auch nicht null, aufgrund der Unzulänglichkeiten z. B. durch die Abtastung, Diskretisierung und/oder der linearen Interpolation.After the iterative procedure, e.g. the Metropolis Monte Carlo optimization, has converged, the converged single model 28.1.M, 28.2.M, 28.3.M, 28.4.M is close to the (unknown) true shape of the reflected pulse RP. Likewise, the sum 34.M over the converged shifted single models 28.1.M, 28.2.M, 28.3.M, 28.4.M is close to the (unknown) true shape of the received signal 30. The value of the converged cost function will be low, although not zero, due to the imperfections e.g. due to the sampling, discretization and/or linear interpolation.

Mittels des Verfahrens lassen sich also diskrete Werte der konvergierten Näherungsfunktion 34.M des Empfangssignals 30 ermitteln. Die Form dieser Näherungsfunktion 34.M kann Informationen umfassen, die über die Informationen eines einfachen Empfangspulses, wie z. B. in Verbindung mit 3 oder 4 beschrieben hinausgehen können.The method can therefore be used to determine discrete values of the converged approximation function 34.M of the received signal 30. The form of this approximation function 34.M can include information that goes beyond the information of a simple received pulse, such as in connection with 3 or 4 described.

Die Anzahl der Abtastpunkte 32 hängt auch hier von der Anzahl der Minima und Maxima im Empfangssignal 30 ab, die wiederum von der Anzahl der ausgesendeten Impulse EP in der Kadenz, also der Abfolge der Lichtpulse im Sendesignal 22, abhängt. Mit der Anzahl der ausgesandten Lichtpulse EP erhöht sich in der Regel auch die Anzahl der Abtastpunkte 32.Here, too, the number of sampling points 32 depends on the number of minima and maxima in the received signal 30, which in turn depends on the number of pulses EP emitted in the cadence, i.e. the sequence of light pulses in the transmitted signal 22. As the number of light pulses EP emitted increases, the number of sampling points 32 also generally increases.

Eine gut aufgelöste Näherung 34.M mit vielen Abtastpunkten erleichtert die Objekterkennung und -klassifizierung durch nachgeschaltete Verfahren.A well-resolved approximation 34.M with many sample points facilitates object detection and classification by downstream methods.

Das oben beschriebene iterative Verfahren, z. B. das Metropolis-Monte-Carlo-Verfahren kann rechnerisch aufwendig werden, was möglicherweise für den Einsatz auf eingebetteter Hardware, wie z. B. einem elektronischen Steuergerät an Bord eines Fahrzeugs, innerhalb oder außerhalb des Lidar-Systems 10, zu Problemen führen kann.The iterative method described above, e.g., the Metropolis Monte Carlo method, can be computationally expensive, potentially causing problems for use on embedded hardware, such as an electronic control unit on board a vehicle, inside or outside the lidar system 10.

Es wird daher vorgeschlagen, eine große Vielfalt an Daten, die das Verfahren verarbeitet zu verwenden, z. B. die Abfolge der Lichtpulse betreffend, den Schwellenwert TDC betreffend, die Wiederholung der Abfolgen betreffend und/oder die Abtastung betreffend. Die konvergierten Ergebnisse des Verfahrens, also insbesondere das konvergierte Einzel-Modell 28 können dann für das Training eines künstlichen neuronalen Netzes verwendet werden. Die Eingangsschichten dieses Netzes nehmen die Eingangsdaten auf, und die Ausgangsschicht kann einen Kanal für jeden Abtastpunkt 32 des Einzel-Modells 28 repräsentieren.It is therefore proposed to use a wide variety of data that the method processes, e.g. concerning the sequence of light pulses, concerning the threshold value TDC, concerning the repetition of the sequences and/or concerning the sampling. The converged results of the method, in particular the converged individual model 28, can then be used for training an artificial neural network. The input layers of this network receive the input data, and the output layer can represent a channel for each sampling point 32 of the individual model 28.

Das Neuronale Netz kann mit Algorithmen wie Rückpropagation trainiert werden, wenn eine ausreichende Menge an Trainingsdaten, also Eingabe-Ausgabe-Paare, zur Verfügung steht. Die Trainingsdaten können z. B. im Rahmen Messfahrten gewonnen werden, bei denen das Lidar-System 10 mit verschiedenen Objekten O und verschiedenen Umgebungsbedingungen konfrontiert wird. Z. B. können Messfahrten bei verschiedenen klimatische Bedingungen und/oder mit verschiedenen Fahrzeugen 20 durchgeführt werden. So kann die Variationen in den Trainingsdaten vergrößert werden und die Leistung des neuronalen Netzes unter Bedingungen außerhalb des Trainingssets zu verbessert werden.The neural network can be trained with algorithms such as backpropagation if a sufficient amount of training data, i.e. input-output pairs, is available. The training data can be obtained, for example, during test runs in which the lidar system 10 is confronted with different objects O and different environmental conditions. For example, test runs can be carried out under different climatic conditions and/or with different vehicles 20. In this way, the variations in the training data can be increased and the performance of the neural network can be improved under conditions outside the training set.

Optional kann iterative Verfahren auf einige der Eingabedaten angewendet werden, die ein Lidar-System 10 während des Betriebs erhält. Das sich daraus ergebende neue Ergebnis des iterativen Verfahrens, z. B. die sich daraus ergebende Metropolis-Monte-Carlo-Ausgabe, kann zum weiteren Training des Neuronalen Netzes verwendet werden. Solch ein unüberwachtes Lernen des Netzes kann die Leistung des Netzes unter langsam variierenden (driftenden) Umgebungsbedingungen verbessern und stabilisieren. Die Vorwärtskopplung durch ein trainiertes neuronales Netz der erwarteten Dimension mit z. B. 10 oder weniger Eingangskanälen, 10 oder weniger Ausgangskanälen und wenigen, z. B. 2-5, Schichten, ist rechnerisch günstig und eignet sich daher für die Integration in eingebettete Hardware, wie z. B. im Fahrzeug.Optionally, iterative procedures can be applied to some of the input data that a lidar system 10 receives during operation. The resulting new result of the iterative procedure, e.g. the resulting Metropolis Monte Carlo output, can be used to further train the neural network. Such unsupervised learning of the network can improve and stabilize the performance of the network under slowly varying (drifting) environmental conditions. Feedforward through a trained neural network of the expected dimension with e.g. 10 or fewer input channels, 10 or fewer output channels and few, e.g. 2-5, layers is computationally cheap and is therefore suitable for integration into embedded hardware, such as in the vehicle.

In dieser Beschreibung wurde die Annäherung an beliebig kurze, Dirac-Delta-ähnliche, Sende-Lichtpulse EP verwendet. Wenn die Sende-Lichtpulse EP nicht viel kürzer als das zurückkehrende Intensitätssignal sind, können die zuvor beschriebenen die Summationen zur Bildung der Überlagerungsfunktion durch eine Faltung ersetzt werden. Das Prinzip des Verfahrens und das Funktionieren des vorgeschlagenen Lidar-Systems 10 bleibt durch eine Verwendung der Faltung statt der Summe unberührt und bietet Ergebnisse in gleicher vorteilhafter Weise.In this description, the approximation of arbitrarily short, Dirac-delta-like, transmitted light pulses EP has been used. If the transmitted light pulses EP are not much shorter than the returning intensity signal, the previously described summations for forming the superposition function can be replaced by a convolution. The principle of the method and the functioning of the proposed lidar system 10 remains unaffected by using the convolution instead of the sum and offers results in an equally advantageous manner.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

WO 2021249983 A1 [0007]

Claims

Method for operating a lidar system (10), comprising: transmitting a transmission signal (22) with a sequence of light pulses (EP.1, EP.2, EP.3, EP4), receiving a reflection of the transmission signal (22) as a reception signal (30), sampling the reception signal (30) by means of threshold sampling, reconstructing the reception signal (30) using sampling times of the threshold sampling by means of an iterative method.

Procedure according to Claim 1 , wherein the iterative method comprises determining a cost function which relates to a deviation of a model (34) of the received signal from the threshold of the threshold sampling at the sampling times, wherein the model (34) is iteratively improved and the cost function represents a measure of the quality of the model (34).

Procedure according to Claim 2 , wherein the iterative method comprises: modelling an individual model (28, 28.1, 28.2, 28.3, 28.4) of a received signal for an individual light pulse (EP.1, EP.2, EP.3, EP4) and arranging the respective individual model (28, 28.1, 28.2, 28.3, 28.4) on the time axis relative to the respective times of emission of the light pulses (EP.1, EP.2, EP.3, EP4), determining a superposition function from a superposition of the individual models (28, 28.1, 28.2, 28.3, 28.4), determining the cost function for the deviation of the superposition function from the threshold of the threshold sampling at the sampling times.

Procedure according to Claim 3 , wherein the individual model (28, 28.1, 28.2, 28.3, 28.4) of the received signal has a first number of discrete support points and the threshold sampling has a second number of sampling times, the first number being less than or equal to the second number.

Method according to one of the preceding claims, wherein the distances between the light pulses of the sequence differ from one another and in particular become larger in the course of the sequence.

Procedure according to Claim 5 , where the distances between the light pulses form a geometric sequence.

Method according to one of the preceding claims, comprising: Emitting a further transmission signal with a further sequence of light pulses.

Method according to one of the preceding claims, wherein the cost function is improved by means of a Monte Carlo method, in particular a Metropolis Monte Carlo method.

Method according to one of the preceding claims, wherein the threshold value (TDC) of the threshold sampling, the shape of the individual model, the number of light pulses (EP.1, EP.2, EP.3, EP4) in the sequence, the distance of the light pulses in the sequence (EP.1, EP.2, EP.3, EP4) and/or the distance to the further sequence can be specified and in particular can be improved iteratively.

Method according to one of the preceding claims, wherein a machine learning method is applicable to the iterative improvement of the model, wherein the machine learning method relates in particular to the choice of the threshold value, the shape of the individual model, the number of light pulses (EP.1, EP.2, EP.3, EP4) in the sequence, the spacing of the light pulses in the sequence (EP.1, EP.2, EP.3, EP4) and/or the spacing to the further sequence.

Lidar system comprising: an optical transmitting device (12) which is configured to transmit a transmitting signal (22) with a sequence of light pulses (EP.1, EP.2, EP.3, EP4), an optical receiving device (14) which is configured to receive a reflection of the transmitting signal (22) as a receiving signal (30), a computing unit (16) which is configured to sample the receiving signal (30) by means of threshold sampling and to reconstruct the receiving signal (30) using the sampling times by means of an iterative method.

Lidar system according to Claim 11 , wherein the receiving device (14) has a receiving sensor for opto-electrical conversion of the received signal (30) and the computing unit (16) is designed for threshold scanning of the electrical signal output by the receiving sensor.

Lidar system according to Claim 12 , wherein the receiving sensor has at least one photodiode, in particular at least one avalanche photodiode, wherein the electrical signal output by the receiving sensor depends on a light intensity of the received signal (30) received by the at least one photodiode, and wherein the threshold value (TDC) of the threshold sampling depends on the receiving sensor, in particular on the photodiode, of the receiving device (14).

Vehicle (20) with a lidar system (10) according to one of the Claims 11 - 13 .

Use of the lidar system (10) according to one of the Claims 11 - 13 in a vehicle (20), wherein the lidar system (10) is used for object detection, distance measurement, speed measurement and/or determination of further properties of a detected object.