DE102019128661A1

DE102019128661A1 - Processing of measurement data from an active optical sensor system

Info

Publication number: DE102019128661A1
Application number: DE102019128661.1A
Authority: DE
Inventors: Sambit Mohapatra; Heinrich Gotzig; Senthil Kumar Yogamani; Mohamed-Elamir Mohamed
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2019-10-23
Filing date: 2019-10-23
Publication date: 2021-04-29

Abstract

Ein Verfahren zur Verarbeitung von Messdaten eines aktiven optischen Sensorsystems (4), wobei durch das Sensorsystem (4) ein Sichtfeld (5) während aufeinander folgender Messzyklen wiederholt abgetastet wird, beinhaltet die Verarbeitung einer ersten Menge (6a) von Abtastpunkten, die durch Abtasten eines ersten Teils (5a) des Sichtfeldes während eines vordefinierten ersten Teilzeitraums eines der Messzyklen durch ein Rechensystem (3) erzeugt wird, um einen ersten Prozess wenigstens teilweise auszuführen, wobei der erste Prozess nach dem ersten Teilzeitraum und bevor der entsprechende Messzyklus abgeschlossen ist, initiiert wird.

A method for processing measurement data from an active optical sensor system (4), wherein the sensor system (4) repeatedly scans a field of view (5) during successive measurement cycles, includes the processing of a first set (6a) of scanning points obtained by scanning a first part (5a) of the field of view during a predefined first partial period of one of the measurement cycles is generated by a computing system (3) in order to at least partially execute a first process, the first process being initiated after the first partial period and before the corresponding measurement cycle is completed .

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Verarbeitung von Messdaten eines aktiven optischen Sensorsystems, das an oder in einem Fahrzeug montiert ist, wobei durch das Sensorsystem ein Sichtfeld während aufeinander folgender Messzyklen wiederholt abgetastet wird. Die Erfindung betrifft ferner eine Sensoranordnung für ein Fahrzeug und ein Computerprogrammprodukt.The present invention relates to a method for processing measurement data from an active optical sensor system that is mounted on or in a vehicle, the sensor system repeatedly scanning a field of view during successive measurement cycles. The invention also relates to a sensor arrangement for a vehicle and a computer program product.

Messdaten von aktiven optischen Sensorsystemen, beispielsweise Lidar-Systemen, können im Zusammenhang mit Kraftfahrzeuganwendungen, insbesondere zum Detektieren von Hindernissen oder für eine Pfadplanung von zumindest teilweise autonomen Fahrzeugen, verwendet werden.Measurement data from active optical sensor systems, for example lidar systems, can be used in connection with motor vehicle applications, in particular for detecting obstacles or for path planning for at least partially autonomous vehicles.

In bekannten Systemen wird ein Sichtfeld des Sensorsystems während Messzyklen wiederholt abgetastet, wobei jeder Messzyklus bis zu mehrere hundert Millisekunden dauern kann. Daher wird die Verarbeitung der Messdaten in bekannten Systemen direkt durch eine Latenz von potentiell Hunderten von Millisekunden beeinflusst.In known systems, a field of view of the sensor system is repeatedly scanned during measurement cycles, each measurement cycle being able to last up to several hundred milliseconds. The processing of the measurement data in known systems is therefore directly influenced by a latency of potentially hundreds of milliseconds.

Andererseits führt jeder Messzyklus zu einer Punktwolke von Messdaten oder Abtastpunkten, die eine große Menge an zu bearbeitenden Daten beinhalten kann. Die Latenz bei der Verarbeitung der Messdaten kann daher eine signifikante Auswirkung auf Hindernisdetektionsprozesse haben. Dabei kann ein elektronisches Fahrzeugführungssystem eines teilweise oder vollständig autonomen Fahrzeugs basierend auf den Messdaten des Sensorsystems ein Hindernis detektieren und/oder eine zukünftige Trajektorie des Fahrzeugs planen und kann folglich Brems- oder Lenkhandlungen. Folglich verringert die Latenz die Sicherheit, insbesondere wenn es zu Stadtfahrszenen mit vielen Objekten kommt, die in schneller Folge plötzlich erscheinen können.On the other hand, each measurement cycle leads to a point cloud of measurement data or sampling points, which can contain a large amount of data to be processed. The latency in processing the measurement data can therefore have a significant impact on obstacle detection processes. An electronic vehicle control system of a partially or completely autonomous vehicle can detect an obstacle based on the measurement data of the sensor system and / or plan a future trajectory of the vehicle and can consequently brake or steer actions. As a result, latency reduces safety, especially when it comes to city driving scenes with many objects that can appear suddenly in quick succession.

Andere Prozesse zum maschinellen Sehen wie zum Beispiel Objektdetektions- oder Klassifikationsprozesse leiden ebenfalls unter der Latenz. Die Klasse eines Objekts kann beispielsweise auch für die Pfadplanung verwendet werden, die direkt durch die Latenz beeinflusst wird.Other machine vision processes such as object detection or classification processes also suffer from latency. The class of an object can also be used, for example, for path planning, which is directly influenced by latency.

Daher ist es eine Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept für die Verarbeitung von Messdaten eines aktiven optischen Sensorsystems bereitzustellen, das die Latenz und/oder ihre nachteiligen Effekte verringert.It is therefore an object of the present invention to provide an improved concept for processing measurement data of an active optical sensor system which reduces the latency and / or its disadvantageous effects.

Gemäß dem verbesserten Konzept wird dieses Problem durch den jeweiligen Gegenstand der unabhängigen Ansprüche gelöst. Weitere Implementierungen und bevorzugte Ausführungsformen sind der Gegenstand der abhängigen Ansprüche.According to the improved concept, this problem is solved by the respective subject matter of the independent claims. Further implementations and preferred embodiments are the subject of the dependent claims.

Das verbesserte Konzept basiert auf der Idee, eine Teilmenge von Messdaten, die während eines Messzyklus erzeugt werden, zu verarbeiten, sobald ein erster Teil des Sichtfeldes abgetastet wurde, und nicht darauf zu warten, bis das vollständige Sichtfeld abgetastet ist beziehungsweise die vollständigen Messdaten des entsprechenden Messzyklus verfügbar sind.The improved concept is based on the idea of processing a subset of measurement data generated during a measurement cycle as soon as a first part of the field of view has been scanned, and not to wait until the complete field of view has been scanned or the complete measurement data of the corresponding one Measuring cycle are available.

Gemäß dem verbesserten Konzept wird ein Verfahren zur Verarbeitung von Messdaten eines aktiven optischen Sensorsystems, das in oder an einem Fahrzeug, insbesondere einem Kraftfahrzeug, montiert ist, bereitgestellt. Ein Sichtfeld des Sensorsystems wird von dem Sensorsystem während aufeinander folgender Messzyklen wiederholt, insbesondere periodisch, abgetastet. Eine erste Menge von Abtastpunkten, die durch Abtasten eines ersten Teils des Sichtfeldes während eines vordefinierten ersten Teilzeitraums eines der Messzyklen erzeugt wird, insbesondere durch das Sensorsystem, wird von einem Rechensystem verarbeitet, um einen ersten Prozess wenigstens teilweise auszuführen. Dabei wird der erste Prozess initiiert, nachdem der erste Teilzeitraum geendet hat und bevor der entsprechende Messzyklus abgeschlossen ist.According to the improved concept, a method for processing measurement data of an active optical sensor system that is mounted in or on a vehicle, in particular a motor vehicle, is provided. A field of view of the sensor system is repeatedly scanned, in particular periodically, by the sensor system during successive measurement cycles. A first set of scanning points, which is generated by scanning a first part of the field of view during a predefined first partial period of one of the measurement cycles, in particular by the sensor system, is processed by a computing system in order to at least partially carry out a first process. The first process is initiated after the first partial period has ended and before the corresponding measurement cycle is completed.

Per Definition weist ein aktives optisches Sensorsystem eine Lichtquelle zum Emittieren von Licht beziehungsweise Lichtimpulsen auf. Die Lichtquelle kann beispielsweise als Laser, insbesondere als Infrarotlaser, implementiert sein. Ferner weist ein aktives optisches Sensorsystem per Definition mindestens einen optischen Detektor auf, um reflektierte Teile des emittierten Lichts zu detektieren. Insbesondere ist das aktive optische Sensorsystem dazu eingerichtet, eines oder mehrere Sensorsignale basierend auf den detektierten Bruchteilen des Lichts zu erzeugen und die Sensorsignale zu verarbeiten und/oder auszugeben. Die Messdaten können beispielsweise als Sensorsignale verstanden werden, die basierend auf den detektierten Bruchteilen von reflektiertem Licht erzeugt werden.By definition, an active optical sensor system has a light source for emitting light or light pulses. The light source can be implemented as a laser, in particular as an infrared laser, for example. Furthermore, an active optical sensor system by definition has at least one optical detector in order to detect reflected parts of the emitted light. In particular, the active optical sensor system is set up to generate one or more sensor signals based on the detected fractions of the light and to process and / or output the sensor signals. The measurement data can be understood, for example, as sensor signals that are generated based on the detected fractions of reflected light.

Hier und im Folgenden kann „Licht“ derart verstanden werden, dass es elektromagnetische Wellen im sichtbaren Bereich, im Infrarotbereich und/oder im Ultraviolettbereich beinhaltet. Folglich kann der Ausdruck „optisch“ derart verstanden werden, dass er sich auf Licht gemäß diesem Verständnis bezieht.Here and in the following, “light” can be understood to include electromagnetic waves in the visible range, in the infrared range and / or in the ultraviolet range. Thus, the term “optical” can be understood to refer to light as understood.

Insbesondere ist das Sichtfeld, FoV, durch einen Bereich eines ersten Detektionswinkels und einen Bereich eines zweiten Detektionswinkels definiert. Der erste und der zweite Detektionswinkel können beispielsweise horizontalen beziehungsweise vertikalen Abtastwinkeln entsprechen. Dabei kann der horizontale Winkel einem Winkel entsprechen, den eine Projektion eines einfallenden Strahls von reflektiertem Licht in eine vorbestimmte Ebene mit einer vordefinierten Längsachse einschließt. Daher kann er als Azimutwinkel verstanden werden. Der vertikale Winkel kann beispielsweise als Winkel verstanden werden, den der Lichtstrahl mit der vordefinierten Ebene einschließt.In particular, the field of view, FoV, is defined by a range of a first detection angle and a range of a second detection angle. The first and the second detection angle can correspond, for example, to horizontal or vertical scanning angles. The horizontal angle can correspond to an angle that a projection of an incident ray of includes reflected light in a predetermined plane with a predefined longitudinal axis. Therefore it can be understood as an azimuth angle. The vertical angle can be understood, for example, as the angle that the light beam includes with the predefined plane.

Dabei kann die Ebene beispielsweise eine Ebene sein, die zu einer Oberfläche einer Straße, auf der das Fahrzeug positioniert ist, parallel ist oder zu der Straßenoberfläche ungefähr parallel ist. Die Ebene kann beispielsweise einer Emissionsebene des Sensorsystems entsprechen, wobei das Sensorsystem dazu eingerichtet ist, die Lichtimpulse mit verschiedenen Emissionswinkeln innerhalb der Ebene zu emittieren. Die Längsachse kann beispielsweise innerhalb der Ebene liegen und zu einer Längsachse des Fahrzeugs oder einer Längsachse des Sensorsystems parallel sein, wobei die Längsachse des Sensorsystems beispielsweise als Emissionsrichtung mit einem Emissionswinkel von null definiert ist.Here, the plane can be, for example, a plane that is parallel to a surface of a road on which the vehicle is positioned or is approximately parallel to the road surface. The plane can, for example, correspond to an emission plane of the sensor system, the sensor system being set up to emit the light pulses with different emission angles within the plane. The longitudinal axis can, for example, lie within the plane and be parallel to a longitudinal axis of the vehicle or a longitudinal axis of the sensor system, the longitudinal axis of the sensor system being defined, for example, as an emission direction with an emission angle of zero.

Das Sensorsystem kann beispielsweise eine Ablenkeinheit aufweisen, um ankommende Lichtstrahlen aus verschiedenen Abtastrichtungen, das heißt mit verschiedenen horizontalen Abtastwinkeln, auf den mindestens einen optischen Detektor abzulenken. Die Ablenkeinheit kann beispielsweise einen drehbaren Spiegel oder ein bewegliches Spiegelelement aufweisen. Abhängig von dem vertikalen Abtastwinkel des ankommenden Lichts kann ferner das ankommende Licht auf verschiedene optische Detektoren des mindestens einen optischen Detektors abgelenkt werden.The sensor system can, for example, have a deflection unit in order to deflect incoming light beams from different scanning directions, that is to say with different horizontal scanning angles, onto the at least one optical detector. The deflection unit can for example have a rotatable mirror or a movable mirror element. Depending on the vertical scanning angle of the incoming light, the incoming light can furthermore be deflected onto different optical detectors of the at least one optical detector.

In solchen Implementierungen können ankommende Lichtstrahlen mit verschiedenen vertikalen Abtastwinkeln gleichzeitig detektiert werden, während ankommende Lichtstrahlen mit verschiedenen horizontalen Winkeln nacheinander detektiert werden können.In such implementations, incoming light beams with different vertical scanning angles can be detected simultaneously, while incoming light beams with different horizontal angles can be detected one after the other.

Folglich kann das Abtasten des FoV durch das Sensorsystem beispielsweise als einmalige Abtastung aller durch die vertikalen und die horizontalen Winkel definierten Richtungen verstanden werden. Das Abtasten des ersten Teils des Sichtfeldes entspricht beispielsweise dem Abtasten von Abtastrichtungen mit horizontalen und/oder vertikalen Winkeln, die dem ersten Teil des Sichtfeldes entsprechen.Consequently, the scanning of the FoV by the sensor system can be understood, for example, as a single scanning of all directions defined by the vertical and horizontal angles. The scanning of the first part of the field of view corresponds, for example, to the scanning of scanning directions with horizontal and / or vertical angles which correspond to the first part of the field of view.

Der erste Teil des Sichtfeldes kann beispielsweise durch einen vordefinierten ersten Bereich von horizontalen Abtastwinkeln definiert sein. Dann kann der erste Teil des Sichtfeldes alle horizontalen Abtastwinkel, die innerhalb des ersten Bereichs von horizontalen Abtastwinkeln liegen, und alle vertikale Abtastwinkel beinhalten.The first part of the field of view can be defined, for example, by a predefined first range of horizontal scanning angles. Then the first part of the field of view can include all horizontal scanning angles which are within the first range of horizontal scanning angles and all vertical scanning angles.

Insbesondere können die Abtastpunkte durch das Sensorsystem und/oder das Rechensystem basierend auf den Messdaten erzeugt werden. Die Abtastpunkte entsprechen insbesondere jeweiligen dreidimensionalen Positionsinformationen, die von den Messdaten abgerufen werden. Ein Abtastpunkt kann beispielsweise durch den jeweiligen vertikalen und horizontalen Abtastwinkel und einen radialen Abstand von den optischen Detektoren, der beispielsweise durch das Berechnung Rechensystem basierend auf einer Laufzeitmessung bestimmt werden kann, gegeben sein. Alternativ oder zusätzlich können die Abtastpunkte durch jeweilige dreidimensionale kartesische Koordinaten oder durch andere dreidimensionale Koordinaten, die basierend auf den Abtastwinkeln und dem radialen Abstand berechnet werden, gegeben sein.In particular, the scanning points can be generated by the sensor system and / or the computing system based on the measurement data. The scanning points correspond in particular to respective three-dimensional position information that is retrieved from the measurement data. A scanning point can be given, for example, by the respective vertical and horizontal scanning angle and a radial distance from the optical detectors, which can be determined, for example, by the calculation system based on a transit time measurement. Alternatively or additionally, the scanning points can be given by respective three-dimensional Cartesian coordinates or by other three-dimensional coordinates which are calculated based on the scanning angles and the radial distance.

Insbesondere wird während jedes Messzyklus der aufeinander folgenden Messzyklen das gesamte FoV exakt einmal abgetastet, was zu einer jeweiligen Punktwolke von Abtastpunkten mit einer definierten Größe führt, die durch die Anzahl von möglichen horizontalen und vertikalen Abtastwinkeln für jeden Messzyklus gegeben ist. Die erste Menge von Abtastpunkten ist insbesondere durch eine Teilmenge der Abtastpunkte der Punktwolke des entsprechenden Messzyklus gegeben, wobei die erste Menge von Abtastpunkten kleiner ist als die vollständige Punktwolke.In particular, the entire FoV is scanned exactly once during each measuring cycle of the successive measuring cycles, which leads to a respective point cloud of scanning points with a defined size, which is given by the number of possible horizontal and vertical scanning angles for each measuring cycle. The first set of sampling points is given in particular by a subset of the sampling points of the point cloud of the corresponding measurement cycle, the first set of sampling points being smaller than the complete point cloud.

Insbesondere ist der erste Teilzeitraum kürzer als ein Zeitraum der Messzyklen. Beispielsweise kann eine Dauer des ersten Teilzeitraums 1/2 oder weniger, vorzugsweise 1/4 oder weniger, beispielsweise 1/10 oder weniger, des Zeitraums des Messzyklus sein.In particular, the first partial period is shorter than a period of the measuring cycles. For example, a duration of the first partial period can be 1/2 or less, preferably 1/4 or less, for example 1/10 or less, of the period of the measurement cycle.

Hier und im Folgenden kann jeder Vorgang als Prozess verstanden werden, der durch das Rechensystem und/oder durch ein Fahrerassistenzsystem, ADAS, oder ein elektrisches Fahrzeugführungssystem unter Verwendung der Messdaten oder der Abtastpunkte ausgeführt wird. Insbesondere kann ein Prozess einen oder mehrere Algorithmen zum maschinellen Sehen, Bildverarbeitungs-Algorithmen und/oder Algorithmen oder Verfahren zum wenigstens teilweise autonomen Lenken oder Steuern des Fahrzeugs beinhalten.Here and in the following, each process can be understood as a process that is carried out by the computing system and / or by a driver assistance system, ADAS, or an electrical vehicle guidance system using the measurement data or the scanning points. In particular, a process can include one or more algorithms for machine vision, image processing algorithms and / or algorithms or methods for at least partially autonomous steering or control of the vehicle.

Das Rechensystem kann beispielsweise eine oder mehrere Verarbeitungseinheiten, beispielsweise CPUs, FPGAs, ECUs und so weiter beinhalten. Einzelne Verarbeitungseinheiten des Rechensystems können von dem Rechensystem beinhaltet sein oder können von dem Fahrzeug, aber nicht von dem Sensorsystem, beinhaltet sein.The computing system can include, for example, one or more processing units, for example CPUs, FPGAs, ECUs and so on. Individual processing units of the computing system can be included in the computing system or can be included in the vehicle, but not in the sensor system.

Mittels des verbesserten Konzepts wird der erste Prozess insbesondere unmittelbar oder sobald wie möglich, nachdem der erste Teilzeitraum geendet hat, initiiert. Folglich kann die Verarbeitung der ersten Menge von Abtastpunkten zum Ausführen des ersten Prozesses früher, insbesondere bevor das vollständige FoV abgetastet wurde, starten. Daher wirkt sich die Latenz aufgrund der Ausführung der Abtastung weniger auf den ersten Prozess aus. Insbesondere leidet der erste Prozess nicht unter der Latenz des vollständigen Messzyklus, sondern nur unter der Latenz, die durch die Abtastung der ersten Menge von Abtastpunkten beziehungsweise die Abtastung des ersten Teils des FoV verursacht wird.By means of the improved concept, the first process is carried out immediately or as soon as as possible after the first partial period has ended. As a result, the processing of the first set of sampling points for performing the first process can start earlier, in particular before the complete FoV has been sampled. Therefore, the latency due to the execution of the scan has less of an impact on the first process. In particular, the first process does not suffer from the latency of the complete measurement cycle, but only from the latency caused by the sampling of the first set of sampling points or the sampling of the first part of the FoV.

Daher können insbesondere sicherheitsrelevante Prozesse, beispielsweise Hindernisdetektionsprozesse, von diesem verringerten Effekt der Latenz profitieren, da die vollständige Punktwolke, die den Abtastpunkten entspricht, die während des vollständigen Messzyklus erfasst werden, in vielen Fällen für die Ausführung des ersten Prozesses nicht erforderlich sein kann. Wenn beispielsweise ein Hindernis innerhalb des ersten Teils des FoV identifiziert wird, besteht kein Bedarf zu warten, bis der restliche Teil des FoV abgetastet wird, um eine Reaktion zu initiieren. Diese Möglichkeit wird durch das Verfahren gemäß dem verbesserten Konzept ausgenutzt.Safety-relevant processes in particular, for example obstacle detection processes, can therefore benefit from this reduced effect of latency, since the complete point cloud, which corresponds to the sampling points that are recorded during the complete measurement cycle, may in many cases not be required for the execution of the first process. For example, if an obstacle is identified within the first part of the FoV, there is no need to wait until the remainder of the FoV is scanned to initiate a response. This possibility is exploited by the method according to the improved concept.

Gemäß mindestens einer Implementierung des Verfahrens gemäß dem verbesserten Konzept wird jeder Messzyklus der aufeinander folgenden Messzyklen in mindestens zwei Teilzeiträume mit dem jeweiligen ersten Teilzeitraum und einem jeweiligen zweiten Teilzeitraum unterteilt.According to at least one implementation of the method according to the improved concept, each measurement cycle of the successive measurement cycles is divided into at least two partial periods with the respective first partial period and a respective second partial period.

Die Anzahl der mindestens zwei Teilzeiträume pro Messzyklus kann sich gemäß der speziellen Anwendung unterscheiden. Insbesondere kann die Anzahl der mindestens zwei Teilzeiträume auch während der wiederholten Abtastung des FoV dynamisch angepasst werden. Wenn beispielsweise ein Objekt detektiert wird, kann die Länge der Teilzeiträume gemäß einem Abstand des detektierten Objekts vom Sensorsystem angepasst werden. Da die Länge des Teilzeitraums sich direkt in die jeweilige Größe des jeweiligen Teils des FoV überträgt, der während des jeweiligen Teilzeitraums abgetastet wird, und die Größe des jeweiligen Teils des FoV beispielsweise durch einen jeweiligen Teilbereich von horizontalen Abtastwinkeln gegeben ist, erfordern Objekte, dass ein größerer Bereich von horizontalen Winkeln abgetastet wird, je näher sie sind.The number of at least two partial periods per measurement cycle can differ depending on the specific application. In particular, the number of at least two partial time periods can also be dynamically adapted during the repeated sampling of the FoV. If, for example, an object is detected, the length of the partial time periods can be adapted according to a distance between the detected object and the sensor system. Since the length of the partial period translates directly into the respective size of the respective part of the FoV that is scanned during the respective partial period, and the size of the respective part of the FoV is given, for example, by a respective partial range of horizontal scanning angles, objects require that a the closer they are, the larger the range of horizontal angles is scanned.

Gemäß mindestens einer Implementierung initiiert das Rechensystem den ersten Prozess, unmittelbar nachdem der erste Teilzeitraum geendet hat oder sobald der erste Teilzeitraum geendet hat, insbesondere bevor der zweite Teilzeitraum, der unmittelbar nach dem ersten Teilzeitraum folgt, abgeschlossen ist.According to at least one implementation, the computing system initiates the first process immediately after the first partial period has ended or as soon as the first partial period has ended, in particular before the second partial period, which immediately follows the first partial period, is completed.

Gemäß mehreren Implementierungen entspricht der erste Teilzeitraum einem initialen Teilzeitraum des Messzyklus, was bedeutet, dass der jeweilige Messzyklus und der jeweilige erste Teilzeitraum gleichzeitig starten.According to several implementations, the first partial period corresponds to an initial partial period of the measurement cycle, which means that the respective measurement cycle and the respective first partial period start at the same time.

Gemäß mehreren Implementierungen enthält der erste Prozess einen Hindernisdetektionsprozess. Insbesondere kann ein Hindernis als Objekt verstanden werden, das in einer vordefinierten kritischen Region in einer Umgebung des Fahrzeugs oder des Sensorsystems angeordnet ist.According to several implementations, the first process includes an obstacle detection process. In particular, an obstacle can be understood as an object that is arranged in a predefined critical region in the vicinity of the vehicle or the sensor system.

Hier und im Folgenden kann eine Hindernisdetektion derart verstanden werden, dass basierend auf den gemessenen Abstandsinformationen, insbesondere radialen Abständen, der jeweiligen Abtastpunkte und wahlweise jeweilige Richtungsinformation direkt verwendet werden, um zu bestimmen, ob ein Hindernis vorhanden ist oder nicht und in welchem Abstand das Hindernis angeordnet ist und wahlweise in welcher Richtung vom Fahrzeug. Insbesondere beinhaltet der Hindernisdetektionsprozess nicht notwendigerweise irgendeine weitere Analyse hinsichtlich des Typs des Objekts, welches das Hindernis darstellt, wie zum Beispiel Objektklassifikation oder Zuweisung von semantischen Informationen zum Hindernis, oder hinsichtlich der Dynamik des Hindernisses.Here and in the following, obstacle detection can be understood to mean that based on the measured distance information, in particular radial distances, the respective scanning points and optionally respective directional information are used directly to determine whether or not an obstacle is present and at what distance the obstacle is arranged and optionally in which direction from the vehicle. In particular, the obstacle detection process does not necessarily include any further analysis with regard to the type of object which the obstacle represents, such as object classification or assignment of semantic information to the obstacle, or with regard to the dynamics of the obstacle.

Das verbesserte Konzept ist für den Objektdetektionsprozess als ersten Prozess besonders vorteilhaft, da in sich schnell ändernden Umgebungen eine effektiv verringerte Latenz von einigen zehn oder Hunderten von Millisekunden das Risiko von Kollisionen des Fahrzeugs mit dem Hindernis wesentlich verringern kann. Daher kann das verbesserte Konzept die höchste Priorität, um Kollisionen zuverlässiger zu vermeiden, bereitstellen.The improved concept is particularly advantageous for the object detection process as the first process, since in rapidly changing environments an effectively reduced latency of tens or hundreds of milliseconds can significantly reduce the risk of the vehicle colliding with the obstacle. Therefore, the improved concept can provide the highest priority to avoid collisions more reliably.

Gemäß mehreren Implementierungen wird ein Kollisionsvermeidungsprozess von dem Rechensystem initiiert, wenn anhand des Hindernisdetektionsprozesses ein Hindernis detektiert wird.According to several implementations, a collision avoidance process is initiated by the computing system when an obstacle is detected using the obstacle detection process.

Während der Hindernisdetektionsprozess als Algorithmus verstanden werden kann, der bestimmt, ob ein Hindernis im jeweiligen Teil des Sichtfeldes vorhanden ist, kann der Kollisionsvermeidungsprozess als Prozess durch ein ADAS oder ein anderes elektronisches Fahrzeugführungssystem verstanden werden, das basierend auf der Hindernisdetektion Sicherheitshandlungen initiieren kann, um das Risiko einer Kollision zu verringern. Der Kollisionsvermeidungsprozess kann beispielsweise Brems- oder Lenkmanöver beinhalten, die durch das Fahrzeugführungssystem wenigstens teilweise automatisch initiiert werden.While the obstacle detection process can be understood as an algorithm that determines whether an obstacle is present in the respective part of the field of view, the collision avoidance process can be understood as a process by an ADAS or another electronic vehicle guidance system that can initiate safety actions based on the obstacle detection in order to achieve the Reduce the risk of a collision. The collision avoidance process can include, for example, braking or steering maneuvers that are at least partially initiated automatically by the vehicle guidance system.

Mittels des verbesserten Konzepts können der Kollisionsvermeidungsprozess und insbesondere die Sicherheitshandlungen schneller initiiert werden.By means of the improved concept, the collision avoidance process and in particular the safety actions can be initiated more quickly.

Gemäß mehreren Implementierungen wird ein zweiter Prozess von dem Rechensystem initiiert, nachdem der erste Teilzeitraum geendet hat, insbesondere parallel zum Initiieren des ersten Prozesses, und bevor der erste Messzyklus abgeschlossen ist. Die erste Menge von Abtastpunkten wird von der Recheneinheit verarbeitet, um den zweiten Prozess wenigstens teilweise parallel zu dem ersten Prozess auszuführen.According to several implementations, a second process is initiated by the computing system after the first partial period has ended, in particular parallel to the initiation of the first process, and before the first measurement cycle is completed. The first set of sampling points is processed by the computing unit in order to carry out the second process at least partially in parallel with the first process.

Der zweite Prozess kann auf derselben Verarbeitungseinheit wie der erste Prozess oder an einer anderen Verarbeitungseinheit des Rechensystems durchgeführt werden.The second process can be carried out on the same processing unit as the first process or on a different processing unit in the computing system.

Gemäß mehreren Implementierungen wird die erste Menge von Abtastpunkten in einem Speicherelement, beispielsweise einem Puffer, des Rechensystems, insbesondere durch das Rechensystem, gespeichert.According to several implementations, the first set of sampling points is stored in a storage element, for example a buffer, of the computing system, in particular by the computing system.

Wenn der erste und/oder der zweite Prozess während aufeinander folgender Teilzeiträume nach dem ersten Teilzeitraum, insbesondere während des zweiten Teilzeitraums, wiederholt oder fortgesetzt werden, kann daher die gespeicherte erste Menge von Abtastpunkten zusätzlich zu einer jeweiligen zweiten Menge von Abtastpunkten, die während des zweiten Teilzeitraums erzeugt werden, verwendet werden. Abhängig von der speziellen Implementierung des ersten und/oder des zweiten Prozesses wird jedoch die gespeicherte erste Menge von Abtastpunkten nicht notwendigerweise in wiederholten Zyklen verwendet.If the first and / or the second process are repeated or continued during successive sub-periods after the first sub-period, in particular during the second sub-period, the stored first set of sampling points in addition to a respective second set of sampling points that occurred during the second Part of the period can be used. However, depending on the particular implementation of the first and / or the second process, the stored first set of sample points is not necessarily used in repeated cycles.

Beispielsweise kann ein Objektdetektionsprozess nicht notwendigerweise die erste Menge von Abtastpunkten verwenden, wenn die zweite Menge von Abtastpunkten bereits verfügbar ist und die erste Menge von Abtastpunkten bereits analysiert wurde. Andererseits können die Objektdetektions-, Klassifikations- oder Segmentierungsprozesse mit der ersten Menge von Abtastpunkten beginnen und die zweite Menge von Abtastpunkten zusammen mit der ersten Menge von Abtastpunkten verwenden, um die jeweilige Ausgabe oder das jeweilige Analyseergebnis des zweiten Prozesses iterativ zu verbessern.For example, an object detection process may not necessarily use the first set of sample points if the second set of sample points is already available and the first set of sample points has already been analyzed. On the other hand, the object detection, classification or segmentation processes can start with the first set of sample points and use the second set of sample points together with the first set of sample points in order to iteratively improve the respective output or the respective analysis result of the second process.

Gemäß mehreren Implementierungen enthält der zweite Prozess einen Klassifikationsprozess, insbesondere einen Bild- oder Objektklassifikationsprozess, und/oder einen Objektdetektionsprozess und/oder einen Segmentierungsprozess, insbesondere einen semantischen Segmentierungsprozess.According to several implementations, the second process contains a classification process, in particular an image or object classification process, and / or an object detection process and / or a segmentation process, in particular a semantic segmentation process.

Ein Bildklassifikationsprozess kann beispielsweise bestimmen, welche Art von Objekt im FoV oder im jeweiligen Teil des FoV vorhanden ist, und kann wahlweise eine jeweilige Wahrscheinlichkeit für die Klassifikation bestimmen.An image classification process can, for example, determine which type of object is present in the FoV or in the respective part of the FoV, and can optionally determine a respective probability for the classification.

Ein Objektdetektionsprozess kann beispielsweise bestimmen, wo bestimmte Objekte im Bild angeordnet sind, beispielsweise durch Bestimmen eines jeweiligen Begrenzungsrahmens des Objekts. Mit anderen Worten, der Objektdetektionsprozess kann bestimmen, wo sich das Objekt befindet und um welche Art von Objekt es sich handelt.An object detection process can, for example, determine where certain objects are arranged in the image, for example by determining a respective bounding box of the object. In other words, the object detection process can determine where the object is and what kind of object it is.

Ein Segmentierungsprozess kann als Benennen jedes Abtastpunkts oder Pixels gemäß semantischer Informationen hinsichtlich des Typs von Objekt, das dem Abtastpunkt oder Pixel entspricht, verstanden werden.A segmentation process can be understood as naming each sample point or pixel according to semantic information regarding the type of object that corresponds to the sample point or pixel.

Gemäß mehreren Implementierungen wird die erste Menge von Abtastpunkten, insbesondere als Eingabe, in ein künstliches neuronales Netzwerk, insbesondere durch das Rechensystem, eingespeist, um den zweiten Prozess auszuführen.According to several implementations, the first set of sampling points, in particular as input, is fed into an artificial neural network, in particular by the computing system, in order to carry out the second process.

Das neuronale Netzwerk, das als Software-Algorithmus verstanden werden kann, ist insbesondere für einen oder mehrere Prozesse zum maschinellen Sehen, beispielsweise einschließlich des Objektdetektions- und/oder Segmentierungs- und/oder Klassifikationsprozesses, trainiert.The neural network, which can be understood as a software algorithm, is trained in particular for one or more processes for machine vision, for example including the object detection and / or segmentation and / or classification process.

Gemäß mehreren Implementierungen wird das neuronale Netzwerk als gepulstes neuronales Netzwerk, SNN, oder als faltendes neuronales Netzwerk, CNN, implementiert.According to several implementations, the neural network is implemented as a pulsed neural network, SNN, or a convolutional neural network, CNN.

Gemäß mehreren Implementierungen wird ein Zwischenergebnis des zweiten Prozesses durch das Rechensystem mit einem vordefinierten Zielergebnis verglichen.According to several implementations, an intermediate result of the second process is compared with a predefined target result by the computing system.

Das Zwischenergebnis entspricht insbesondere einer Ausgabe des neuronalen Netzwerks oder kann aus der Ausgabe des neuronalen Netzwerks erhalten werden. Das Zwischenergebnis kann beispielsweise einem Konfidenzniveau oder einer Menge von Konfidenzniveaus für eine Klassifikation, Segmentierung und/oder Objektdetektion, die durch den zweiten Prozess ausgeführt werden, entsprechen.The intermediate result corresponds in particular to an output of the neural network or can be obtained from the output of the neural network. The intermediate result can, for example, correspond to a confidence level or a set of confidence levels for a classification, segmentation and / or object detection that are carried out by the second process.

Das Zielergebnis kann beispielsweise einem gewünschten minimalen Konfidenzniveau oder einer Menge von jeweiligen minimalen Konfidenzniveaus entsprechen.The target result can correspond, for example, to a desired minimum confidence level or to a set of respective minimum confidence levels.

Gemäß mehreren Implementierungen wird ein dritter Prozess durch das Rechensystem basierend auf dem Zwischenergebnis abhängig von einem Ergebnis des Vergleichs ausgeführt.According to several implementations, a third process is performed by the computing system executed based on the intermediate result depending on a result of the comparison.

Insbesondere kann der dritte Prozess ausgeführt werden, wenn das Zwischenergebnis dem Zielergebnis, beispielsweise bis auf einen vordefinierten Toleranzbereich, entspricht.In particular, the third process can be carried out when the intermediate result corresponds to the target result, for example up to a predefined tolerance range.

Wenn das Zwischenergebnis dem Zielergebnis entspricht, kann das Zwischenergebnis auch als Endergebnis des zweiten Prozesses betrachtet werden.If the intermediate result corresponds to the target result, the intermediate result can also be regarded as the final result of the second process.

Gemäß mehreren Implementierungen wird der Puffer des Speicherelements abhängig von dem Ergebnis des Vergleichs geleert, gelöscht oder freigegeben, um überschrieben zu werden, wird insbesondere geleert, gelöscht oder freigegeben, um überschrieben zu werden, wenn das Zielergebnis erreicht ist.According to several implementations, the buffer of the memory element is emptied, erased or released in order to be overwritten, in particular emptied, erased or released in order to be overwritten when the target result is reached, depending on the result of the comparison.

Gemäß mehreren Implementierungen beinhaltet der dritte Prozess einen Pfadplanungsprozess für eine wenigstens teilweise automatische Steuerung des Fahrzeugs.According to several implementations, the third process includes a path planning process for at least partially automatic control of the vehicle.

Der Pfadplanungsprozess kann beispielsweise Informationen, die durch den Objektdetektions-, Klassifikations- und/oder Segmentierungsprozess erzeugt werden, für die Pfadplanung verwenden.The path planning process can, for example, use information that is generated by the object detection, classification and / or segmentation process for the path planning.

Gemäß mehreren Implementierungen wird eine zweite Menge von Abtastpunkten, die durch Abtasten eines zweiten Teils des Sichtfeldes während eines vordefinierten zweiten Teilzeitraums des entsprechenden Messzyklus erzeugt wurde, durch das Rechensystem verarbeitet, wobei der zweite Teilzeitraum auf den ersten Teilzeitraum, insbesondere unmittelbar, folgt. Dabei wird die Verarbeitung der zweiten Menge von Abtastpunkten gestartet, nachdem der zweite Teilzeitraum geendet hat und bevor der entsprechende Messzyklus abgeschlossen ist. Gemäß mehreren Implementierungen beinhaltet die Verarbeitung der zweiten Menge von Abtastpunkten das Wiederholen des ersten Prozesses basierend auf der zweiten Menge von Abtastpunkten, insbesondere anstatt basierend auf der ersten Menge von Abtastpunkten.According to several implementations, a second set of scanning points, which was generated by scanning a second part of the field of view during a predefined second sub-period of the corresponding measurement cycle, is processed by the computing system, the second sub-period following the first sub-period, in particular immediately. The processing of the second set of sampling points is started after the second partial period has ended and before the corresponding measuring cycle is completed. According to several implementations, processing the second set of sample points includes repeating the first process based on the second set of sample points, in particular rather than based on the first set of sample points.

Insbesondere kann der erste Prozess wiederholt oder in mehreren Instanzen basierend auf verschiedenen Eingangsdaten, insbesondere basierend auf der ersten und der zweiten und gegebenenfalls weiteren Mengen von Abtastpunkten, die während des entsprechenden Messzyklus erzeugt wurden, ausgeführt werden.In particular, the first process can be carried out repeatedly or in several instances based on different input data, in particular based on the first and second and possibly further sets of sampling points that were generated during the corresponding measurement cycle.

Gemäß mehreren Implementierungen wird der zweite Prozess abhängig von einem Ergebnis des Vergleichs des Zwischenergebnisses des zweiten Prozesses mit dem vordefinierten Zielergebnis durch die Recheneinheit basierend auf der ersten Menge von Abtastpunkten und basierend auf der zweiten Menge von Abtastpunkten wiederholt.According to several implementations, the second process is repeated as a function of a result of the comparison of the intermediate result of the second process with the predefined target result by the computing unit based on the first set of sampling points and based on the second set of sampling points.

Insbesondere wird der wiederholte zweite Prozess initiiert, nachdem der zweite Teilzeitraum geendet hat und bevor der entsprechende Messzyklus abgeschlossen ist.In particular, the repeated second process is initiated after the second partial period has ended and before the corresponding measurement cycle is completed.

Insbesondere kann der zweite Prozess basierend auf der ersten und der zweiten Menge von Abtastpunkten wiederholt werden, wenn das Zielergebnis durch das Zwischenergebnis nicht erreicht wird.In particular, the second process can be repeated based on the first and the second set of sampling points if the target result is not achieved by the intermediate result.

Gemäß mehreren Implementierungen wird eine Kombination der ersten und der zweiten Menge von Abtastpunkten als Eingabe in das künstliche neuronale Netzwerk eingespeist, um den zweiten Prozess zu wiederholen.According to several implementations, a combination of the first and second sets of sample points is fed as input to the artificial neural network to repeat the second process.

Gemäß mehreren Implementierungen des Verfahrens beinhaltet das Verfahren das wiederholte Abtasten des FoV durch das Sensorsystem während der aufeinander folgenden Messzyklen. Insbesondere beinhaltet das Verfahren das Erzeugen der ersten Menge von Abtastpunkten durch Abtasten des ersten Teils des FoV.According to several implementations of the method, the method includes the repeated sampling of the FoV by the sensor system during the successive measurement cycles. In particular, the method includes generating the first set of sample points by sampling the first part of the FoV.

Gemäß mehreren Implementierungen beinhaltet das Verfahren das Erzeugen der zweiten Menge von Abtastpunkten durch Abtasten des zweiten Teils des FoV.According to several implementations, the method includes generating the second set of sample points by sampling the second portion of the FoV.

Gemäß dem verbesserten Konzept wird auch eine Sensoranordnung für ein Fahrzeug, insbesondere ein Kraftfahrzeug, bereitgestellt. Die Sensoranordnung enthält ein Rechensystem und ein aktives optisches Sensorsystem, das dazu eingerichtet ist, ein Sichtfeld während aufeinander folgender Messzyklen wiederholt abzutasten. Das Sensorsystem ist dazu eingerichtet, durch Abtasten eines ersten Teils des Sichtfeldes durch einen vordefinierten ersten Teilzeitraum eines der Messzyklen eine erste Menge von Abtastpunkten zu erzeugen. Das Rechensystem ist dazu eingerichtet, die erste Menge von Abtastpunkten zu verarbeiten, um einen ersten Prozess wenigstens teilweise durchzuführen und den ersten Prozess nach dem ersten Teilzeitraum und bevor der entsprechende Messzyklus abgeschlossen ist, zu initiieren.According to the improved concept, a sensor arrangement for a vehicle, in particular a motor vehicle, is also provided. The sensor arrangement contains a computing system and an active optical sensor system which is set up to repeatedly scan a field of view during successive measuring cycles. The sensor system is set up to generate a first set of scanning points by scanning a first part of the field of view through a predefined first partial period of one of the measuring cycles. The computing system is set up to process the first set of sampling points in order to at least partially carry out a first process and to initiate the first process after the first partial period and before the corresponding measurement cycle is completed.

Weitere Implementierungen der Sensoranordnung gemäß dem verbesserten Konzept folgen direkt aus den verschiedenen Implementierungen des Verfahrens gemäß dem verbesserten Konzept und umgekehrt. Insbesondere ist eine Sensoranordnung gemäß dem verbesserten Konzept dazu eingerichtet oder programmiert, ein Verfahren gemäß dem verbesserten Konzept auszuführen, oder die Sensoranordnung führt ein Verfahren gemäß dem verbesserten Konzept aus.Further implementations of the sensor arrangement according to the improved concept follow directly from the various implementations of the method according to the improved concept and vice versa. In particular, a sensor arrangement according to the improved concept is set up or programmed to carry out a method according to the improved concept, or the Sensor arrangement carries out a method according to the improved concept.

Gemäß dem verbesserten Konzept wird ein Fahrzeug bereitgestellt, wobei das Fahrzeug eine Sensoranordnung gemäß dem verbesserten Konzept aufweist.According to the improved concept, a vehicle is provided, the vehicle having a sensor arrangement according to the improved concept.

Gemäß mehreren Implementierungen des Fahrzeugs wird das Fahrzeug als wenigstens teilweise autonom steuerbares Fahrzeug implementiert.According to several implementations of the vehicle, the vehicle is implemented as an at least partially autonomously controllable vehicle.

Gemäß einem weiteren Aspekt des verbesserten Konzepts wird ein Computerprogramm mit Befehlen bereitgestellt. Wenn die Befehle durch eine Sensoranordnung gemäß dem verbesserten Konzept, insbesondere durch das Rechensystem der Sensoranordnung, ausgeführt werden, veranlassen die Befehle die Sensoranordnung, ein Verfahren gemäß dem verbesserten Konzept auszuführen.According to a further aspect of the improved concept, a computer program with instructions is provided. If the commands are executed by a sensor arrangement according to the improved concept, in particular by the computing system of the sensor arrangement, the commands cause the sensor arrangement to carry out a method according to the improved concept.

Gemäß dem verbesserten Konzept wird auch ein computerlesbares Speichermedium, das ein Computerprogramm gemäß dem verbesserten Konzept speichert, bereitgestellt.According to the improved concept, a computer-readable storage medium that stores a computer program according to the improved concept is also provided.

Das Computerprogramm und das computerlesbare Speichermedium können jeweils als Computerprogrammprodukte bezeichnet werden.The computer program and the computer-readable storage medium can each be referred to as computer program products.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als erfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von denen abweichen.Further features of the invention emerge from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description as well as the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the specified combination, but also in other combinations without departing from the scope of the invention . Embodiments of the invention that are not explicitly shown and explained in the figures, but emerge and can be generated from the explained embodiments by means of separate combinations of features, are therefore also to be regarded as covered and disclosed. Designs and combinations of features are also to be regarded as disclosed, which therefore do not have all the features of an originally formulated independent claim. In addition, designs and combinations of features, in particular through the statements set out above, are to be regarded as disclosed that go beyond the combinations of features set forth in the back-references of the claims or differ from them.

In den Figuren zeigen

1 schematisch ein Fahrzeug mit einer beispielhaften Implementierung einer Sensoranordnung gemäß dem verbesserten Konzept.
2 ein Ablaufdiagramm einer beispielhaften Implementierung eines Verfahrens gemäß dem verbesserten Konzept.
3 Abtastpunkte einer weiteren beispielhaften Implementierung einer Sensoranordnung gemäß dem verbesserten Konzept und
4 Teilmengen der Abtastpunkte von 3.

Show in the figures

1 schematically a vehicle with an exemplary implementation of a sensor arrangement according to the improved concept.
2 a flowchart of an exemplary implementation of a method according to the improved concept.
3 Sampling points of a further exemplary implementation of a sensor arrangement according to the improved concept and FIG
4th Subsets of the sampling points of 3 .

In 1 ist ein Kraftfahrzeug 1 mit einer Sensoranordnung 2 gemäß dem verbesserten Konzept gezeigt.In 1 is a motor vehicle 1 with a sensor arrangement 2 shown according to the improved concept.

Die Sensoranordnung 2 weist ein Rechensystem 3, beispielsweise eines oder mehrere elektronische Steuergeräte, ECU, des Fahrzeugs 1 und ein aktives optisches Sensorsystem 4, das beispielsweise als Lidar-System oder Laserscanner implementiert ist, auf.The sensor arrangement 2 has a computing system 3 , for example one or more electronic control units, ECU, of the vehicle 1 and an active optical sensor system 4th , which is implemented, for example, as a lidar system or laser scanner.

Ein Sichtfeld 5 des Sensorsystems 4 ist beispielsweise durch einen vordefinierten Bereich von horizontalen Abtastwinkeln und einen vordefinierten Bereich der vertikalen Abtastwinkel definiert. Insbesondere kann der Bereich von horizontalen Abtastwinkeln einen Kreissektor in einer Ebene definieren, die zu einer Straßenoberfläche parallel ist, auf der sich das Fahrzeug 1 befindet, wobei in 1 die Ebene beispielsweise zur Zeichnungsebene parallel sein kann. Das Sensorsystem 4 kann das vollständige FoV 5 während aufeinander folgender Messzyklen wiederholt abtasten. Während jedes Messzyklus sind die Abtastergebnisse in einer jeweiligen Menge von Abtastpunkten 6 in 3 schematisch gezeigt.A field of vision 5 of the sensor system 4th is defined, for example, by a predefined range of horizontal scanning angles and a predefined range of vertical scanning angles. In particular, the range of horizontal scan angles can define a sector of a circle in a plane that is parallel to a road surface on which the vehicle is located 1 is located, where in 1 the plane can be parallel to the plane of the drawing, for example. The sensor system 4th can scan the complete FoV 5 repeatedly during successive measuring cycles. During each measurement cycle, the sampling results are in a respective set of sampling points 6th in 3 shown schematically.

Gemäß dem verbesserten Konzept wird das Sichtfeld 5 in mindestens zwei, im gezeigten Beispiel vier, Teile 5a, 5b, 5c, 5d unterteilt, die jeweiligen Teilsektoren des Sektors entsprechen, der das FoV definiert. Die Teile 5a, 5b, 5c, 5d können beispielsweise durch Definieren von jeweiligen Teilbereichen des Bereichs von horizontalen Abtastwinkeln definiert sein. Die vertikalen Abtastwinkel von jedem der Teile 5a, 5b, 5c, 5d können dem vollständigen Bereich des vertikalen Winkels des FoV 5 entsprechen.According to the improved concept, the field of view becomes 5 in at least two, in the example shown four, parts 5a , 5b , 5c , 5d which correspond to the respective subsectors of the sector that defines the FoV. The parts 5a , 5b , 5c , 5d can be defined, for example, by defining respective partial areas of the range of horizontal scanning angles. The vertical scan angles of each of the parts 5a , 5b , 5c , 5d can correspond to the full range of the vertical angle of the FoV 5.

Jeder der Teile 5a, 5b, 5c, 5d des FoV 5 wird während eines jeweiligen Teilzeitraums jedes Messzyklus abgetastet.Each of the parts 5a , 5b , 5c , 5d of the FoV 5 is scanned each measurement cycle during a respective partial period.

Folglich führt während jedes der Teilzeiträume die Abtastung des jeweiligen Teils 5a, 5b, 5c, 5d des FoV 5 zu einer jeweiligen Teilmenge 6a, 6b, 6c, 6d der Abtastpunkte 6, wie in 4 schematisch gezeigt.As a result, during each of the sub-periods, the respective part is sampled 5a , 5b , 5c , 5d of FoV 5 for a respective subset 6a , 6b , 6c , 6d the sampling points 6th , as in 4th shown schematically.

Abhängig von der konkreten Implementierung des Sensorsystems und der jeweiligen Anwendung kann beispielsweise jeder der Teilzeiträume eine jeweilige Dauer in der Größenordnung von mehreren Millisekunden oder mehreren zehn Millisekunden aufweisen, kann beispielsweise zwischen 5 und 10 ms liegen.Depending on the specific implementation of the sensor system and the respective application, each of the partial time periods can, for example, have a respective duration on the order of several milliseconds or tens of milliseconds, for example between 5 and 10 ms.

Im Folgenden wird die Funktion der Sensoranordnung 2 mit Bezug auf eine beispielhafte Implementierung eines Verfahrens gemäß dem verbesserten Konzept mit Bezug auf ein entsprechendes Ablaufdiagramm, das in 2 schematisch dargestellt ist, genauer erläutert.The following is the function of the sensor arrangement 2 with reference to an exemplary implementation of a method according to the improved concept with reference to a corresponding flowchart shown in FIG 2 is shown schematically, explained in more detail.

In Schritt S1 des Verfahrens tastet das Sensorsystem 4 den ersten Teil 5a des FoV 5 ab, um die erste Teilmenge 6a von Abtastpunkten zu erzeugen.In step S1 the sensor system scans during the process 4th the first part 5a des FoV 5 to the first subset 6a to generate sampling points.

In Schritt S2 führt das Rechensystem 3 einen Hindernisdetektionsprozess aus, unmittelbar nachdem die erste Teilmenge 6a von Abtastpunkten verfügbar ist.In step S2 runs the computing system 3 an obstacle detection process immediately after the first subset 6a of sampling points is available.

In Schritt S3 wird durch das Rechensystem 3 analysiert, ob ein Hindernis im jeweiligen Teil 5a des FoV 5 detektiert wird. Wenn dies der Fall ist, führt das Rechensystem 3 einen Kollisionsvermeidungsprozess in Schritt S4 des Verfahrens aus, beispielsweise durch Initiieren von einer oder mehreren Sicherheitshandlungen, um das Risiko einer Kollision zu vermeiden, wie zum Beispiel Brems- und/oder Lenkmanöver. Falls ein Hindernis detektiert wurde oder nicht, fährt das Verfahren ferner mit Schritt S1 fort, wobei die beschriebenen Schritte wiederholt werden, wobei nun der zweite Teil 5b des FoV abgetastet wird, wobei die jeweilige zweite Teilmenge 6b von Abtastpunkten erzeugt wird. Dann werden die Schritte S2, S3, und abhängig vom Ergebnis von S3, S4 wiederholt, und so weiter.In step S3 is made by the computing system 3 analyzes whether there is an obstacle in the respective part 5a of the FoV 5 is detected. If so, the computing system performs 3 a collision avoidance process in step S4 of the procedure, for example by initiating one or more safety actions in order to avoid the risk of a collision, such as braking and / or steering maneuvers. If an obstacle was detected or not, the method continues with step S1 continued, repeating the steps described, now with the second part 5b of the FoV is scanned, the respective second subset 6b is generated by sampling points. Then the steps S2 , S3 , and repeated depending on the result of S3, S4, and so on.

Schritt S5 bis S9 des Verfahrens können insbesondere parallel zu den Schritten S2 bis S4 ausgeführt werden.step S5 to S9 of the method can in particular run parallel to the steps S2 to S4 are executed.

In Schritt S5 kann das Rechensystem 3 die erste Teilmenge 6a von Abtastpunkten in einem Puffer des Rechensystems 3 speichern. In Schritt S6 kann die erste Teilmenge 6a von Abtastpunkten durch ein neuronales Netzwerk, beispielsweise ein CNN oder ein SNN, analysiert werden, um einen Objektdetektions- und Klassifikationsprozess auszuführen.In step S5 can the computing system 3 the first subset 6a of sampling points in a buffer of the computing system 3 to save. In step S6 can be the first subset 6a of sampling points can be analyzed by a neural network such as a CNN or an SNN in order to carry out an object detection and classification process.

In Schritt S7 kann das Rechensystem 3 bestimmen, ob die Klassifikation und Objektdetektion, die durch das neuronale Netzwerk in Schritt S6 ausgeführt werden, eine ausreichende Klassifikationskonfidenz ergibt. Wenn dies der Fall ist, kann das Rechensystem 3 die Ausgabeinformationen, die durch das neuronale Netzwerk erzeugt werden, in Schritt S8 verwenden, um beispielsweise eine Pfadplanung für das Fahrzeug 1 und/oder weitere Anwendungen durchzuführen. Außerdem kann der Puffer in Schritt S9 geleert werden, wodurch der verfügbare Speicher des Puffers freigegeben wird.In step S7 can the computing system 3 determine whether the classification and object detection carried out by the neural network in step S6 performed, results in a sufficient classification confidence. If so, the computing system can 3 the output information generated by the neural network in step S8 can be used, for example, to plan a path for the vehicle 1 and / or carry out other applications. You can also use the buffer in step S9 emptied, which frees the available memory of the buffer.

Dann wird Schritt S1 durchgeführt und die Schleife, die S6, S6 und S7 beinhaltet, wird basierend auf der zweiten Teilmenge 6b von Abtastpunkten wiederholt.Then step S1 performed and the loop including S6, S6 and S7 is based on the second subset 6b repeated by sampling points.

Wenn in Schritt S7 festgestellt wird, dass die Klassifikation die gewünschte Konfidenz nicht erfüllt, wird der Puffer nicht geräumt und die Schleife, die S5, S6 und S7 enthält, wird mit den kombinierten Daten wiederholt, die durch die erste Teilmenge 6a und die zweite Teilmenge 6b der Abtastpunkte dargestellt sind.If in step S7 if it is determined that the classification does not meet the desired confidence, the buffer is not flushed and the loop containing S5, S6 and S7 is repeated with the combined data obtained by the first subset 6a and the second subset 6b of the sampling points are shown.

Die Verarbeitung der individuellen Abtastschritte kann zu einer geringeren Rechenbelastung, da eine verringerte Menge an Abtastpunkten während jedes Schritts verarbeitet wird, und auch zu einer geringeren Latenz führen.Processing the individual sample steps can result in less computational load since a reduced amount of sample points are processed during each step, and also can result in lower latency.

Da die individuellen Teilmengen 6a, 6b, 6c, 6d von Abtastpunkten für die Objektklassifikation und -detektion verwendet werden sobald sie verfügbar sind, kann eine schnellere Pfadplanung erreicht werden.As the individual subsets 6a , 6b , 6c , 6d of sampling points are used for object classification and detection as soon as they are available, faster path planning can be achieved.

Falls Daten von einem einzelnen Teilzeitraum keine ausreichenden Informationen für eine Klassifikation bereitstellen, können aufeinander folgende Teilzeiträume abgetastet werden, bis eine ausreichende Klassifikation ausgeführt werden kann. Dies kann auch durch einen adaptiven Algorithmus durchgeführt werden, in dem die Größe der jeweiligen Teile 5a, 5b, 5c, 5d des FoV 5 abhängig von dem Abstand der detektierten Objekte eingestellt werden kann.If data from a single sub-period does not provide sufficient information for a classification, successive sub-periods can be scanned until a sufficient classification can be carried out. This can also be done by an adaptive algorithm in which the size of the respective parts 5a , 5b , 5c , 5d of the FoV 5 can be set depending on the distance between the detected objects.

Insbesondere für dünnbesetzte Punktwolken sind neuronale Netzwerke, wie zum Beispiel gepulste neuronale Netzwerke, SNN, die eine spitzen-basierte Verarbeitung aufweisen, daher für eine Hardware-Implementierung von Algorithmen zum maschinellen Lernen mit verringertem Leistungsverbrauch sehr gut geeignet.In particular for thinly populated point clouds, neural networks, such as, for example, pulsed neural networks, SNNs, which have peak-based processing, are therefore very well suited for a hardware implementation of algorithms for machine learning with reduced power consumption.

Von einem Speichergesichtspunkt können, wenn ein bestimmter Teilzeitraum oder eine Gruppe von Teilzeiträumen genügend Informationen liefert, um eine ausreichend hohe Wahrscheinlichkeit einer Objektklasse zu ergeben, die jeweiligen Daten sicher verworfen werden, was zu einer geringeren Speichernutzung führt.From a storage point of view, if a certain sub-period or a group of sub-periods provides enough information to give a sufficiently high probability of an object class, the respective data can be safely discarded, resulting in less memory usage.

Claims

Method for processing measurement data of an active optical sensor system (4) which is mounted on or in a vehicle (1), a field of view (5) being repeatedly scanned by the sensor system (4) during successive measurement cycles; characterized in that - a first set (6a) of scanning points, which was generated by scanning a first part (5a) of the field of view (5) during a predefined first partial period of one of the measurement cycles, is processed by a computing system (3) to determine a at least partially perform the first process; and the first process is initiated after the first partial period and before the corresponding measurement cycle is completed.

Procedure according to Claim 1 , characterized in that the first process includes an obstacle detection process.

Procedure according to Claim 2 , characterized in that a collision avoidance process is initiated by the computing system (3) when an obstacle is detected on the basis of the obstacle detection process.

Method according to one of the Claims 1 to 3 , characterized in that - a second process is initiated by the computing system (3) after the first partial period and before the corresponding measuring cycle is completed; and - the first set (6a) of sampling points is processed by the computing system (3) in order to execute the second process in parallel with the first process.

Procedure according to Claim 4 , characterized in that the second process contains a classification process and / or an object detection process and / or a segmentation process.

Method according to one of the Claims 4 or 5 , characterized in that the first set (6a) of sampling points is fed into an artificial neural network in order to carry out the second process.

Method according to one of the Claims 4 to 6th , characterized in that an intermediate result of the second process is compared by the computing system (3) with a predetermined target result.

Procedure according to Claim 7 , characterized in that a third process is carried out as a function of a result of the comparison by the computing system (3) based on the intermediate result.

Procedure according to Claim 8 , characterized in that the third process contains a path planning process for at least partially automatic control of the vehicle (1).

Method according to one of the Claims 1 to 9 , characterized in that - a second set (6b) of scanning points, which was generated by scanning a second part (5b) of the field of view (5) during a predefined second partial period of the corresponding measurement cycle, is processed by the computing system (3), wherein the second partial period follows the first partial period; and - the processing of the second set (6b) of sampling points is started after the second partial period and before the corresponding measuring cycle is completed.

Procedure according to Claim 10 , characterized in that processing the second set (6b) of sample points includes repeating the first process based on the second set of sample points.

Method according to one of the Claims 10 or 11 and after one of the Claims 7 to 9 , characterized in that the second process is repeated as a function of a result of the comparison by the computing system (3) based on the first set (6a) and the second set (6b) of sampling points.

Procedure according to Claim 12 and Claim 6 , characterized in that a combination of the first set (6a) and the second set (6b) of sampling points is fed into the artificial neural network to repeat the second process.

Sensor arrangement for a vehicle (1), the sensor arrangement (2) containing a computing system (3) and an active optical sensor system (4), set up to repeatedly scan a field of view (5) during successive measuring cycles; characterized in that - the sensor system (4) is set up to generate a first set (6a) of scanning points by scanning a first part (5a) of the field of view (5) during a predefined first partial period of one of the measuring cycles; and - the computing system is set up to process the first set (6a) of sampling points in order to at least partially carry out a first process and to initiate the first process after the first partial period and before the corresponding measurement cycle is completed.

Computer program product containing commands which, when sent by a sensor arrangement (2) to Claim 14 are carried out, causing the sensor arrangement (2) to perform a method according to one of the Claims 1 to 13th perform.