DE102017201490A1

DE102017201490A1 - Method for monitoring the environment of a motor vehicle

Info

Publication number: DE102017201490A1
Application number: DE102017201490.3A
Authority: DE
Inventors: Heiko Freienstein; Florian Drews
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2017-01-31
Filing date: 2017-01-31
Publication date: 2018-08-02
Also published as: WO2018141588A1

Abstract

Verfahren zur Überwachung des Umfeldes (3) eines Kraftfahrzeugs (1) mit mindestens einem Lidarsensor (4) aufweisend die folgenden Schritte:a) Erkennung von Reflektierpunkten (8) im Umfeld (3) des Kraftfahrzeuges (1), wobei die Reflektierpunkte (8) eine Reflektanz oberhalb einer vorgebbaren Schwelle aufweisen,b) Erkennung von bewegten Clustern aus den in Schritt a) erkannten Reflektierpunkten (8), undc) Identifikation von Objekten (2) anhand von in Schritt b) erkannten Clustern.Method for monitoring the surroundings (3) of a motor vehicle (1) with at least one lidar sensor (4) comprising the following steps: a) detection of reflection points (8) in the environment (3) of the motor vehicle (1), the reflection points (8) have a reflectance above a predefinable threshold, b) detection of moving clusters from the reflecting points (8) detected in step a), and c) identification of objects (2) on the basis of clusters detected in step b).

Description

Stand der TechnikState of the art

Die vorliegende Erfindung betrifft ein Verfahren zur Überwachung des Umfeldes eines Kraftfahrzeugs.The present invention relates to a method for monitoring the environment of a motor vehicle.

Moderne Kraftfahrzeuge weisen eine Vielzahl von Sicherheitssystemen auf, die insbesondere Insassen des Kraftfahrzeugs in verschiedensten Unfallsituationen schützen können. Die Auslösung solcher Sicherheitssysteme erfolgt regelmäßig über Sensoren im Kraftfahrzeug, die beispielsweise eine bei einer Kollision innerhalb des Kraftfahrzeugs auftretende Beschleunigung erfassen können. Um Fehlauslösungen von Sicherheitssystemen zu vermeiden, werden diese nach bekannten Verfahren meist erst dann ausgelöst, wenn eine Unfallsituation mit einer hinreichend großen Wahrscheinlichkeit vorliegt. Das bedeutet insbesondere, dass Sicherheitssysteme oft erst spät ausgelöst werden, beispielsweise wenn eine Kollision bereits stattgefunden hat und bereits eine deutlich messbare Beschleunigung innerhalb des Kraftfahrzeugs hervorgerufen hat.Modern motor vehicles have a large number of safety systems that can protect in particular occupants of the motor vehicle in a wide variety of accident situations. The triggering of such safety systems is carried out regularly via sensors in the motor vehicle, which can detect, for example, a occurring during a collision within the motor vehicle acceleration. In order to avoid false triggering of security systems, these are usually triggered by known methods only when an accident situation exists with a sufficiently high probability. This means, in particular, that safety systems are often triggered late, for example, when a collision has already taken place and has already caused a clearly measurable acceleration within the motor vehicle.

Auch ist es bekannt, das Umfeld des Kraftfahrzeugs zu überwachen, um eine Kollision bereits zu erkennen, bevor diese stattgefunden hat.It is also known to monitor the environment of the motor vehicle in order to detect a collision before it has taken place.

Offenbarung der ErfindungDisclosure of the invention

Hier wird ein besonders vorteilhaftes Verfahren zur Überwachung des Umfeldes eines Kraftfahrzeugs vorgestellt. Die abhängigen Ansprüche geben besonders vorteilhafte Weiterbildungen des Verfahrens an.Here, a particularly advantageous method for monitoring the environment of a motor vehicle is presented. The dependent claims specify particularly advantageous developments of the method.

Die angegebenen Verfahrensschritte a) bis c) werden bevorzugt in der angegebenen Reihenfolge durchlaufen.The specified process steps a) to c) are preferably run through in the order given.

Zur Durchführung des beschriebenen Verfahrens wird mindestens ein in dem Kraftfahrzeug integrierter Lidarsensor verwendet. Lidar steht in diesem Zusammenhang für „light detection and ranging“. Bei einem Lidarsensor handelt es sich um einen Sensor, mit dem durch optische Messung insbesondere Abstände zwischen dem Sensor und Objekten in dessen Umfeld gemessen werden können. Von dem Lidarsensor wird bevorzugt ein Laserstrahl ausgesendet, der von Objekten im Umfeld des Lidarsensors reflektiert wird. Durch Messung des aus dem Umfeld des Sensors reflektierten Lichts kann jeder Raumrichtung um den Lidarsensor jeweils (über eine Laufzeitmessung des reflektierten Lichts) ein Abstand und (über eine Messung der Lichtintensität des reflektierten Lichts) eine Reflektanz zugeordnet werden. Bevorzugt wird von dem mindestens einen Lidarsensor ein jeweiliges elektronisches Signal ausgegeben, in dem einer Vielzahl von Messpunkten (entsprechend einer Vielzahl von Raumrichtungen um den Lidarsensor) jeweils zumindest ein Abstandswert und ein Reflektanzswert zugeordnet sind.For carrying out the method described, at least one lidar sensor integrated in the motor vehicle is used. Lidar stands for "light detection and ranging" in this context. A lidar sensor is a sensor with which optical distances can be used to measure distances between the sensor and objects in its surroundings. Of the lidar sensor, a laser beam is preferably emitted which is reflected by objects in the vicinity of the lidar sensor. By measuring the light reflected from the surroundings of the sensor, each space direction around the lidar sensor can be assigned a distance (via a propagation time measurement of the reflected light) and a reflectance (via a measurement of the light intensity of the reflected light). The respective at least one lidar sensor preferably emits a respective electronic signal in which a plurality of measuring points (corresponding to a plurality of spatial directions around the lidar sensor) are each assigned at least one distance value and one reflectance value.

Mindestens ein Lidarsensor ist bevorzugt in einem vorderen Bereich des Kraftfahrzeugs angeordnet, so dass zumindest ein Bereich vor dem Kraftfahrzeug durch das beschriebene Verfahren überwacht werden kann. Dabei bezieht sich die Angabe „vor dem Kraftfahrzeug“ auf eine übliche Fahrtrichtung des Kraftfahrzeugs. Es ist auch bevorzugt, dass auch an weiteren Stellen des Kraftfahrzeugs Lidarsensoren vorgesehen sind, so dass auch weitere Bereiche des Umfelds des Kraftfahrzeugs durch das beschriebene Verfahren überwacht werden können. Beispielsweise kann ein Lidarsensor in einem hinteren Bereich des Kraftfahrzeugs vorgesehen sein, so dass ein Bereich hinter dem Kraftfahrzeug überwacht werden kann. Das kann beispielsweise bei einer Rückwärtsfahrt vorteilhaft sein.At least one lidar sensor is preferably arranged in a front area of the motor vehicle so that at least one area in front of the motor vehicle can be monitored by the described method. In this case, the statement "in front of the motor vehicle" refers to a usual direction of travel of the motor vehicle. It is also preferred that lidar sensors are also provided at other locations of the motor vehicle, so that also further areas of the surroundings of the motor vehicle can be monitored by the described method. For example, a lidar sensor may be provided in a rear area of the motor vehicle, so that an area behind the motor vehicle can be monitored. This can be advantageous, for example, when reversing.

In Schritt a) wird das Umfeld des Kraftfahrzeugs bevorzugt mit dem Lidarsensor abgetastet. Dazu wird bevorzugt einer Vielzahl von über einen Raumwinkelbereich um den Lidarsensor verteilten Messpunkten jeweils ein Abstandswert (für einen Abstand zwischen einem Objekt und dem Lidarsensor) und jeweils ein Reflektanzwert zugeordnet. Wird für einen Messpunkt kein reflektiertes Licht empfangen oder liegt ein Messwert für die Lichtintensität des reflektierten Lichts unterhalb einer vorgebbaren Schwelle, so wird diesem Messpunkt bevorzugt kein Abstandswert und kein Reflektanzwert zugeordnet. Alternativ werden derartigen Messpunkten ein fester Abstandswert (beispielsweise unendlich) und ein fester Reflektanzwert (beispielsweise null) zugeordnet, die indizieren, dass sich unter diesem Raumwinkel kein Objekt mit messbarer Reflektivität näher als ein maximal erfassbarer Abstand an dem Lidarsensor befindet. Weiterhin ist es bevorzugt, dass der von dem Lidarsensor überwachte Raumwinkelbereich kontinuierlich und insbesondere zeilenweise abgetastet wird. Unter der Abtastung einer Zeile ist hier insbesondere zu verstehen, dass Messpunkte unter einem festen Winkel beispielsweise zu einer Straßenoberfläche aufgenommen werden. Der Raumwinkelbereich umfasst bevorzugt eine Mehrzahl von Zeilen, die nacheinander abgetastet werden. Sind alle Zeilen abgetastet worden, beginnt die Abtastung mit der ersten abzutastenden Zeile erneut.In step a), the environment of the motor vehicle is preferably scanned with the lidar sensor. For this purpose, a distance value (for a distance between an object and the lidar sensor) and in each case a reflectance value is preferably assigned to a multiplicity of measuring points distributed over a solid angle region around the lidar sensor. If no reflected light is received for a measuring point or if a measured value for the light intensity of the reflected light lies below a predefinable threshold, then preferably no distance value and no reflectance value are assigned to this measuring point. Alternatively, such measuring points are assigned a fixed distance value (for example infinite) and a fixed reflectance value (for example zero) which indicate that no object with measurable reflectivity is closer to the lidar sensor than a maximum detectable distance at this solid angle. Furthermore, it is preferred that the spatial angle range monitored by the lidar sensor is scanned continuously and in particular line by line. The scanning of a line is to be understood here in particular that measuring points are recorded at a fixed angle, for example, to a road surface. The solid angle region preferably comprises a plurality of lines which are scanned in succession. Once all the lines have been scanned, the scan begins again with the first line to be scanned.

Aus dem von dem Lidarsensor aufgenommenen Messsignal werden in Schritt a) bevorzugt solche Punkte erkannt, denen ein Reflektanzwert oberhalb einer vorgebbaren Schwelle zugeordnet ist. Diese Punkte werden hier als Reflektierpunkte bezeichnet, um sie von den übrigen Punkten abzugrenzen. Die vorgebbare Schwelle ist bevorzugt derart gewählt, dass nur besonders gut reflektierende Oberflächen wie beispielsweise Nummernschilder oder Reflektoren (insbesondere Nummernschilder oder Reflektoren von Kraftfahrzeugen) eine Reflektanz erzeugen, die oberhalb der vorgebbaren Schwelle liegt. Das bedeutet, dass in Schritt a) bevorzugt solche Punkte als Reflektierpunkte erkannt werden, die besonders gut reflektierenden Oberflächen zugeordnet werden können. Weiterhin ist es bevorzugt, dass die vorgebbare Schwelle in Abhängigkeit von Einflüssen wie beispielsweise einer Helligkeit des Umfelds des Kraftfahrzeugs gewählt wird. Insbesondere ist es bevorzugt, dass bei Tageslicht ein anderer Wert für die vorgebbare Schwelle gewählt wird als bei Nacht.From the measurement signal recorded by the lidar sensor, in step a) preferably those points are detected to which a reflectance value above a predefinable threshold is assigned. These points are referred to here as reflecting points to differentiate them from the other points. The predefinable threshold is preferably chosen such that only particularly well reflecting surfaces such as license plates or reflectors (especially license plates or reflectors of motor vehicles) produce a reflectance that is above the predetermined threshold. This means that in step a) preferably those points are recognized as reflecting points, which can be assigned to particularly well reflecting surfaces. Furthermore, it is preferred that the predefinable threshold is selected as a function of influences such as, for example, a brightness of the surroundings of the motor vehicle. In particular, it is preferred that a different value for the predefinable threshold be selected in daylight than at night.

Insbesondere aufgrund von gesetzlichen Bestimmungen weisen insbesondere Kraftfahrzeuge Reflektoren und Nummernschilder an vorgegebenen Positionen auf. Derartige besonders gut reflektierende Objekte an Kraftfahrzeugen sind damit besonders gut geeignet, Kraftfahrzeuge von anderen Objekten zu unterscheiden bzw. sogar Informationen über die Position und Ausrichtung von Kraftfahrzeugen zu gewinnen. Besonders starke Reflektionen treten durch retroreflektierende Flächen auf. Retroreflektierende Flächen sind üblicherweise an Reflektoren von Kraftfahrzeugen aber auch an Reflektoren an Fahrrädern oder entsprechender Schutzkleidung vorgesehen. Retroreflektierende Flächen bestehen normalerweise aus mehreren Einzelflächen, welche derart in einem Winkel zueinander angeordnet sind, dass einfallendes Licht zwischen den Einzelflächen derart mehrfach reflektiert wird, dass es parallel zur Einfallsrichtung zur Lichtquelle zurück geworfen wird. Retroreflektierende Flächen können beispielsweise durch in einem Winkel zueinander stehende Teilflächen oder mit linsenförmigen Flächen eingerichtet sein. Scheinwerfer eines Kraftfahrzeug wirken aufgrund Ihrer für die Bündelung des Lichts vorgesehenen Formgestaltung häufig wie retrofeflektierende Flächen.In particular, due to legal provisions have in particular motor vehicles on reflectors and license plates at predetermined positions. Such particularly well reflective objects on motor vehicles are thus particularly well suited to distinguish motor vehicles from other objects or even to gain information about the position and orientation of motor vehicles. Particularly strong reflections occur through retroreflective surfaces. Retroreflective surfaces are usually provided on reflectors of motor vehicles but also on reflectors on bicycles or appropriate protective clothing. Retroreflective surfaces normally consist of a plurality of individual surfaces, which are arranged at an angle to one another such that incident light is reflected several times between the individual surfaces in such a way that it is thrown back parallel to the direction of incidence to the light source. Retroreflecting surfaces can be set up, for example, by partial surfaces which are at an angle to one another or by lens-shaped surfaces. Headlamps of a motor vehicle often act as retroflecting surfaces due to their design intended for bundling the light.

Hintergrundlicht und Licht von weiteren Lichtquellen, wie beispielsweise von Scheinwerfern (insbesondere von Kraftfahrzeugen), wird bevorzugt bei der Messung des reflektierten Lichts unterdrückt. Das ist mit einem Lidarsensor besonders gut möglich, weil ein Lidarsensor Laserlicht mit einem sehr engen Spektrum an (insbesondere nicht sichtbaren) Wellenlängen verwendet. Gegebenenfalls kann der Lidarsensor auch nur Laserlicht mit einer speziellen Modulation verwenden, welches anhand der Modulation klar von sonstigen Lichtquellen unterscheidbar ist. Bevorzugt wird nur reflektiertes Licht der entsprechenden Wellenlänge und speziellen Modulation gemessen und ausgewertet. Auch können zu den Wellenlängen des Lidarsensors benachbarte Wellenlängen gemessen werden. Enthält Licht nur die Wellenlängen und Modulation des Lidarsensors, so kann davon ausgegangen werden, dass es sich um Licht handelt, das vom Lidarsensor ausgesendet und von einem Objekt reflektiert wurde. Enthält Licht aber auch dazu benachbarte Wellenlängen, so kann davon ausgegangen werden, dass das Licht von einer Lichtquelle wie beispielsweise einem Scheinwerfer stammt, der ein (zumindest über den entsprechenden Bereich) kontinuierliches Spektrum aussendet. Somit kann zwischen reflektiertem Licht und Licht von anderen Lichtquellen unterschieden werden, sofern sich im Umfeld des Lidarsensors keine andere Lichtquelle befindet, die Licht mit gleichem eng begrenzten Wellenlängenspektrum und der identischen Modulation aussendet wie der Lidarsensor.Background light and light from other light sources, such as headlamps (especially motor vehicles) is preferably suppressed in the measurement of the reflected light. This is particularly well possible with a lidar sensor because a lidar sensor uses laser light with a very narrow spectrum of (in particular invisible) wavelengths. Optionally, the Lidarsensor can also use only laser light with a special modulation, which is clearly distinguishable from other light sources based on the modulation. Preferably, only reflected light of the corresponding wavelength and specific modulation is measured and evaluated. Also, adjacent wavelengths to the wavelengths of the lidar sensor can be measured. If light contains only the wavelengths and modulation of the lidar sensor, it can be assumed that it is light that was emitted by the lidar sensor and reflected by an object. If light also contains neighboring wavelengths, it can be assumed that the light originates from a light source, such as a headlight, which emits a continuous spectrum (at least over the corresponding area). Thus, it is possible to differentiate between reflected light and light from other light sources, as long as there is no other light source in the vicinity of the lidar sensor which emits light with the same narrowly limited wavelength spectrum and the identical modulation as the lidar sensor.

In Schritt b) werden bevorzugt Cluster von Reflektierpunkten erkannt. Ein Cluster von Reflektierpunkten umfasst bevorzugt eine Mehrzahl von Reflektierpunkten, die einem einzelnen Objekt im Umfeld des Kraftfahrzeugs zugeordnet werden können (beziehungsweise mehreren Objekten gemeinsam, sofern diese derart nah beieinander angeordnet sind, dass eine Unterscheidung nicht möglich ist).In step b) clusters of reflection points are preferably detected. A cluster of Reflektierpunkten preferably comprises a plurality of Reflektierpunkten that can be assigned to a single object in the environment of the motor vehicle (or more objects together, if they are arranged so close to each other that a distinction is not possible).

Bevorzugt werden in Schritt c) Abstände zwischen Reflektierpunkten eines bewegten Clusters ermittelt und diese Abstände zur Identifikation von Objekten ausgewertet. Befindet sich beispielsweise ein Kraftfahrzeug mit zwei Reflektoren im überwachten Umfeld des Lidarsensors, so bilden die den Reflektoren zugeordneten Reflektierpunkte bevorzugt ein Cluster. Bewegt sich das derart erfasste Kraftfahrzeug relativ zu dem Lidarsensor, so verschieben sich zwar die den Reflektoren zugeordneten Reflektierpunkte, der Abstand zwischen diesen bleibt aber konstant. Durch die Zusammenfassung von Reflektierpunkten zu Clustern können Objekte, wie beispielsweise Kraftfahrzeuge, besonders zuverlässig erkannt werden. Andere Objekte im überwachten Umfeld des Kraftfahrzeugs können einzelne besonders gut reflektierende Stellen aufweisen, die fälschlicherweise beispielsweise für einen Reflektor eines Kraftfahrzeugs gehalten werden können. Auch können mehrere Objekte gemeinsam derart angeordnet sein, dass besonders gut reflektierende Oberflächen dieser Objekte in einer Anordnung vorliegen, die der von Reflektoren eines Kraftfahrzeugs entspricht. Es ist allerdings sehr unwahrscheinlich, dass in einem solchen Fall der Abstand zwischen dabei erfassten Reflektierpunkten konstant bleibt, wenn sich die Obejkte bewegen. Somit kann in Schritt c) durch die gemäß Schritt b) zu Clustern zusammengefassten Reflektierpunkte besonders gut zwischen Objekten wie Kraftfahrzeugen und anderen Objekten unterschieden werden. Weil Kraftfahrzeuge aufgrund deren Robustheit und Geschwindigkeit bei einer Kollision besonders große Schäden verursachen können, ist es vorteilhaft, insbesondere andere Kraftfahrzeuge im Umfeld des Kraftfahrzeugs zuverlässig zu erkennen.Preferably, in step c) distances between Reflektierpunkten a moving cluster are determined and evaluated these distances for the identification of objects. For example, if a motor vehicle with two reflectors is located in the monitored environment of the lidar sensor, then the reflectors associated with the reflectors preferably form a cluster. If the motor vehicle thus detected moves relative to the lidar sensor, then the reflectors associated with the reflectors shift, but the distance between them remains constant. By combining Reflektierpunkten into clusters objects, such as motor vehicles, can be detected particularly reliable. Other objects in the monitored environment of the motor vehicle may have individual particularly well reflecting points, which may be mistaken for a reflector of a motor vehicle, for example. Also, several objects can be arranged together in such a way that particularly well reflecting surfaces of these objects are present in an arrangement which corresponds to that of reflectors of a motor vehicle. However, in such a case, it is very unlikely that the distance between detected reflectors will remain constant as the subjects move. Thus, in step c) can be distinguished particularly well between objects such as motor vehicles and other objects by the summarized according to step b) to clusters Reflektierpunkte. Because motor vehicles can cause particularly great damage due to their robustness and speed in the event of a collision, it is advantageous to reliably detect in particular other motor vehicles in the vicinity of the motor vehicle.

In Lösungen gemäß dem Stand der Technik werden insbesondere Radar- oder Videosysteme zur Umfeldüberwachung eines Kraftfahrzeugs eingesetzt. Radar- und Videosysteme können die optischen Retroreflektoren in vielen Fällen allerdings nicht erkennen, da z.B. Radar eine Wellenlänge besitzt, in denen Reflektionen an Reflektoren nicht auftreten. Video kann beispielsweise Scheinwerfer (die gut sichtbare Reflektierpunkte bilden) nur im eingeschalteten Zustand gut erkennen, weil Videosysteme selbst nicht aktiv Strahlung aussenden, welche reflektiert wird und als Reflektierpunkt sichtbar ist. Ferner muss zur Auswertung von Videos eines Video-Systems zur Umfeldüberwachung eines Kraftfahrzeugs eine sogenannte Figur-Hintergrundtrennung durchgeführt werden. Eine solche Figur-Hintergrundtrennung ist ein Verfahren zur Auswertung von Videomaterial mit welchem Objekte vor einem Hintergrund erkannt werden können. Durch die einfache Erkennungsaufgabe von Reflekjtierpunkten, die sich gleichartig durch den Raum bewegen, ist die Figur Hintergrundtrennung mit dem beschriebenen Verfahren sehr viel einfacher, als z.B. auf Video Signalen.Radar or video systems are particularly useful in prior art solutions used for monitoring the environment of a motor vehicle. However, radar and video systems can not detect the optical retroreflectors in many cases, since, for example, radar has a wavelength in which reflections on reflectors do not occur. Video, for example, can easily detect headlights (which form highly visible reflection points) only when they are switched on, because video systems themselves do not actively emit radiation, which is reflected and visible as a reflection point. Furthermore, a so-called figure background separation must be performed to evaluate videos of a video system for monitoring the environment of a motor vehicle. Such a figure background separation is a method for evaluating video material with which objects can be detected against a background. Due to the simple recognition task of reflecting points that move through the room in a similar way, the figure background separation is much easier with the described method than, for example, on video signals.

Der für das beschriebene Verfahren verwendete Lidarsensor weist bevorzugt einen besonders großen Dynamikumfang auf um sowohl schwach reflektierende Flächen (z.B. lambertsche Oberflächen) als auch retroreflektierende Flächen identifizieren zu können. Die Verwendung eines Lidarsensors kann damit dazu beitragen, dass gemäß dem beschriebenen Verfahren auch beziehungsweise insbesondere Reflektierpunkte ausgewertet werden können. Reflektierpunkte werden bevorzugt nicht nur mit berücksichtigt, sondern sogar bevorzugt und insbesondere auch ausschließlich für das beschriebene Verfahren verwendet. Lidarsensoren für automotive Anwendungen sind weniger universell einsetzbar als Videokameras. Daher kamen bisher in Kraftfahrzeugen üblicherweise keine Lidarsensoren zum Einsatz. Insbesondere im Zusammenhang mit autonomem Fahren werden in Kraftfahrzeugen vermehrt auch Lidarsensoren eingesetzt. Bei Versuchen zum autonomen Fahren hat sich überraschend gezeigt, dass eine besonders zuverlässige Erkennung von Objekten im Umfeld eines Kraftfahrzeugs entgegen der bisher üblichen Vorgehensweise erzielt werden kann, wenn die Reflektierpunkte nicht von der Auswertung ausgenommen werden, sondern, im Gegenteil, gerade bevorzugt oder sogar ausschließlich für diese herangezogen werden.The lidar sensor used for the described method preferably has a particularly large dynamic range in order to be able to identify both poorly reflective surfaces (for example Lambertian surfaces) and retroreflective surfaces. The use of a lidar sensor can thus contribute to the fact that according to the described method also or in particular reflection points can be evaluated. Reflection points are preferably not only taken into account, but even preferred and in particular also used exclusively for the method described. Lidar sensors for automotive applications are less universally applicable than video cameras. As a result, lid lasers have traditionally not been used in motor vehicles. Especially in connection with autonomous driving lidded sensors are increasingly used in motor vehicles. In experiments on autonomous driving has surprisingly been found that a particularly reliable detection of objects in the environment of a motor vehicle can be achieved contrary to the usual procedure, if the Reflektierpunkte are not excluded from the evaluation, but, on the contrary, just preferred or even exclusively be used for this.

Weiterhin ist in vielen bekannten Systemen die Berücksichtigung von Reflektierpunkten nicht möglich, weil diese Punkte von einem entsprechenden Sensor (wie beispielsweise einer Videokamera) nicht ausgegeben werden. Insbesondere an Schnittstellen, beispielsweise zwischen Messelektronik und Auswerteelektronik, werden Reflektierpunkte üblicherweise nicht übergeben. Aus diesem Grund ist gemäß Stand der Technik die Verwendung der Reflektierpunkte zur Erkennung von Objekten nicht möglich.Furthermore, in many known systems, the consideration of Reflektierpunkten is not possible because these points are not output from a corresponding sensor (such as a video camera). In particular at interfaces, for example between measuring electronics and evaluation electronics, reflection points are usually not handed over. For this reason, according to the prior art, it is not possible to use the reflecting points to detect objects.

In einer bevorzugten Ausführungsform des Verfahrens werden in Schritt a) Punkte mit einer Reflektanz unterhalb der vorgebbaren Schwelle aus einem Signal des Lidarsensors herausgefiltert.In a preferred embodiment of the method, in step a) points with a reflectance below the predefinable threshold are filtered out of a signal of the lidar sensor.

Die Punkte mit einer Reflektanz unterhalb der vorgebbaren Schwelle werden bevorzugt in den Schritten b) und c) nicht verwendet. Bei den Punkten mit einer Reflektanz unterhalb der vorgebbaren Schwelle handelt es sich um die Punkte, die keine Reflektierpunkte sind. Das Herausfiltern der Punkte mit einer Reflektanz unterhalb der vorgebbaren Schwelle erfolgt bevorzugt durch eine entsprechende Software. Alternativ kann der Lidarsensor aber auch derart ausgeführt sein, dass ein Messsignal nur erzeugt wird, wenn eine entsprechende Lichtmenge in den Sensor einfällt.The points with a reflectance below the predefinable threshold are preferably not used in steps b) and c). The points with a reflectance below the predefinable threshold are the points that are not reflective points. The filtering out of the points with a reflectance below the predefinable threshold is preferably carried out by an appropriate software. Alternatively, however, the lidar sensor can also be embodied such that a measurement signal is only generated if a corresponding amount of light is incident on the sensor.

In einer weiteren bevorzugten Ausführungsform des Verfahrens wird in Schritt c) ein auf Maschinenlernen basierendes System zur Identifikation von Objekten anhand der bewegten Cluster verwendet.In a further preferred embodiment of the method, a machine learning-based system for identifying objects based on the moving clusters is used in step c).

In der Software zum Herausfiltern der Punkte kann beispielsweise ein selbstlernendes System (insbesondere ein selbstlernendes neurales Netz) eingesetzt werden. Die Auswertung der Reflektor Reflexe kann aber auch genutzt werden, um parallel zu einem selbstlernenden System einen redundanten Plausibilitätspfad zu implementieren. Dies kann beispielsweise dadurch erfolgen, dass das Herausfiltern der Punkte bzw. die Auswertung der Punkte in einem (von einem Hauptsteuergerät separaten) Neben-Steuergerät erfolgt. Ein solches Nebensteuergerät kann beispielsweise ein Airbag-Steuergerät sein. Im Vergleich zu einem Hauptsteuergeräten hat das Nebensteuergerät eine geringe Rechenleistung und auf diesem Steuergerät kann gerade kein selbstlernendes System eingesetzt werden. Vielmehr werden auf dem Nebensteuergerät Aufprallzeitpunkt, Aufprallpunkt, Aufprallwahrscheinlichkeit und Aufprallgeschwindigkeit aus den Reflektanzen bzw. Reflektierpunkten direkt über einfachere Formeln ermittelt. Zum Beispiel kann ein sehr kompakter Kalman Filter eingesetzt werden, wie er heutzutage für die effiziente Auswertung von Radarreflexe genutzt wird. Ein solcher Kalmanfilter basiert auf einfachen aber verläßlichen physikalischen Modellen.In the software for filtering out the points, for example, a self-learning system (in particular a self-learning neural network) can be used. However, the evaluation of the reflector reflexes can also be used to implement a redundant plausibility path parallel to a self-learning system. This can be done, for example, by filtering out the points or evaluating the points in a secondary control device (separate from a main control device). Such a secondary control device may be, for example, an airbag control unit. Compared to a main control units, the auxiliary control unit has a low computing power and no self-learning system can be used on this control unit. Rather, impact time, impact point, impact probability and impact velocity from the reflectances or reflection points are determined directly on simpler formulas on the auxiliary control unit. For example, a very compact Kalman filter can be used, as it is used today for the efficient evaluation of radar reflections. Such a Kalman filter is based on simple but reliable physical models.

Bei einem auf Maschinenlernen basierenden System handelt es sich um ein System, welches durch Training anhand von Beispieldaten eingerichtet wird um die zu erfüllende Aufgabe (hier die Identifikation von Objekten) zu beherrschen. In solchen Systemen ist häufig ein neurales Netz implementiert, welches dazu geeignet ist anhand von Eingangsdaten (hier Reflektierpunkten und Cluster von Reflektierpunkten) Ausgangsdaten (hier Informationen über aus den Daten identifizierte Objekte) zu generieren. Bei einem neuralen Netz handelt es sich insbesondere um ein Computersystem, das einem lernfähigen biologischen System nachgebildet ist. Neurale Netze eignen sich besonders gut zur Mustererkennung. Bei dem beschriebenen Verfahren kann in Schritt c) mit dem neuralen Netz besonders gut erkannt werden, ob es sich bei einem Objekt beispielsweise um ein Kraftfahrzeug handelt oder um ein potentiell weniger gefährliches Objekt. Beispielsweise kann das neurale Netz für die Verwendung gemäß dem beschriebenen Verfahren vorbereitet werden, indem in das neurale Netz Signale des Lidarsensors für eine Vielzahl von möglichen Situationen (d.h. für verschiedenste Anordnungen von verschiedensten Objekten im Umfeld des Kraftfahrzeugs) eingegeben werden zusammen mit von einem Menschen erstellten Informationen zum Gefahrenpotential der jeweiligen Situation. Anhand der so eingegebenen Beispielsituationen kann das neurale Netz lernen, das Gefahrenpotential einer realen Situation im Sinne einer menschlichen Einschätzung richtig zu bewerten.A system based on machine learning is a system that is set up by training on the basis of sample data in order to master the task to be performed (here the identification of objects). In such systems, a neural network is often implemented, which is suitable for generating input data (in this case, information about objects identified from the data) on the basis of input data (here, reflection points and clusters of reflection points). In particular, a neural network is a computer system that is modeled on a learning biological system. Neural networks are particularly suitable for pattern recognition. In the described method, it can be particularly well recognized in step c) with the neural network whether an object is, for example, a motor vehicle or a potentially less dangerous object. For example, the neural network may be prepared for use in accordance with the described method by inputting into the neural network signals from the lidar sensor for a variety of possible situations (ie, for various arrangements of various objects around the motor vehicle) along with man-made ones Information about the danger potential of the respective situation. Based on the example situations entered in this way, the neural network can learn to correctly assess the potential danger of a real situation in terms of a human assessment.

In einer weiteren bevorzugten Ausführungsform ist das Verfahren zur Auslösung mindestens einer Sicherheitsfunktion des Kraftfahrzeugs eingerichtet, wobei nachfolgend zu Schritt c) folgende Verfahrensschritte durchgeführt werden:

d) Erstellen einer Prognose, ob ein Zusammenstoß mit einem in Schritt c) erkannten Objekt erfolgen kann, und
e) Ausgabe eines Signals zur Auslösung mindestens einer Sicherheitsfunktion, wenn in Schritt d) eine Prognose für einen Zusammenstoß erstellt wurde.

In a further preferred embodiment, the method for triggering at least one safety function of the motor vehicle is set up, the following method steps being carried out subsequently to step c):

d) making a prediction as to whether a collision with an object detected in step c) can occur, and
e) outputting a signal for triggering at least one safety function if a prognosis for a collision has been created in step d).

Die Schritte d) und e) werden bevorzugt in der angegebenen Reihenfolge durchlaufen.The steps d) and e) are preferably run through in the order given.

Bei der mindestens einen Sicherheitsfunktion kann es sich beispielsweise um ein Airbag, einen Gurtstraffer, eine automatische Notbremsung, ein automatisches Ausweichmanöver, einen Fußgängerschutz (wie beispielsweise ein Fußgängerairbag) und/oder ein Warnsignal für den Fahrer handeln.The at least one safety function may be, for example, an airbag, a belt tensioner, an automatic emergency braking, an automatic evasive maneuver, a pedestrian protection (such as a pedestrian airbag) and / or a warning signal for the driver.

In Schritt d) wird bevorzugt die erwartete Trajektorie des Kraftfahrzeugs bestimmt. Dazu können Informationen von im Kraftfahrzeug vorgesehenen Sensoren beispielsweise für die Geschwindigkeit des Kraftfahrzeugs, eine Lenkradstellung, eine Gaspedalstellung und/oder eine Drehzahl, eine Last und/oder ein Drehmoment einer Verbrennungskraftmaschine verwendet werden. Auch können weitere im Kraftfahrzeug verfügbare Informationen berücksichtigt werden, wie beispielsweise solche betreffend Einstellungen von elektronischen Fahrassistenzsystemen und/oder solche aus einem GPS-Signal.In step d), the expected trajectory of the motor vehicle is preferably determined. For this purpose, information from sensors provided in the motor vehicle can be used, for example for the speed of the motor vehicle, a steering wheel position, an accelerator pedal position and / or a rotational speed, a load and / or a torque of an internal combustion engine. Also, other information available in the motor vehicle can be taken into account, such as those relating to settings of electronic driver assistance systems and / or those from a GPS signal.

Weiterhin erfolgt in Schritt d) bevorzugt eine Nachverfolgung der Position von in Schritt c) identifizierten Objekten, um die Prognose zu erstellen, ob eine Kollision bevorsteht. Insbesondere wird bevorzugt jeweils eine erwartete Trajektorie für alle gemäß Schritt c) im Umfeld des Kraftfahrzeugs erfassten Objekte bestimmt. Dazu wird bevorzugt eine zeitliche Veränderung der mit dem Lidarsensor erfassten Signale ausgewertet.Furthermore, in step d), it is preferable to track the position of objects identified in step c) in order to make the prediction as to whether a collision is imminent. In particular, an expected trajectory is preferably determined in each case for all objects detected according to step c) in the environment of the motor vehicle. For this purpose, a temporal change of the signals detected by the lidar sensor is preferably evaluated.

Insbesondere in Schritt d) ist es von Vorteil, nur für solche Objekte eine erwartete Trajektorie zu bestimmen, die gemäß Schritt c) anhand von sich bewegenden Clustern aus Reflektierpunkten erkannt wurden. Damit kann das Verfahren auf potentiell gefährliche Objekte reduziert und somit erheblich beschleunigt werden.In particular, in step d), it is advantageous to determine only for such objects an expected trajectory, which were detected according to step c) on the basis of moving clusters of Reflektierpunkten. Thus, the process can be reduced to potentially dangerous objects and thus significantly accelerated.

Aus einem Vergleich der erwarteten Trajektorien des Kraftfahrzeugs und der Objekte im Umfeld des Kraftfahrzeugs kann ermittelt werden, ob es zu einer Kollision mit einem Objekt im Umfeld des Kraftfahrzeugs kommen kann.From a comparison of the expected trajectories of the motor vehicle and the objects in the vicinity of the motor vehicle, it can be determined whether a collision with an object in the environment of the motor vehicle can occur.

Reflektoren an Kraftfahrzeugen sind üblicherweise derart angeordnet, dass aus dem Abstand von Reflektoren (und damit aus dem Abstand von entsprechenden Reflektierpunkten) die Breite eines Kraftfahrzeugs erkannt werden kann. Bevorzugt wird eine derart ermittelte Breite eines Kraftfahrzeugs bei dem Vergleich der Trajektorien berücksichtigt.Reflectors on motor vehicles are usually arranged such that from the distance of reflectors (and thus from the distance of corresponding Reflektierpunkten) the width of a motor vehicle can be detected. Preferably, such a determined width of a motor vehicle is taken into account when comparing the trajectories.

Wird in Schritt d) eine bevorstehende Kollision prognostiziert, wird bevorzugt gemäß Schritt e) mindestens eine Sicherheitsfunktion ausgelöst. Bevorzugt wird in Schritt d) auch ermittelt, welche Bereiche des Kraftfahrzeugs besonders von der bevorstehenden Kollision betroffen sein werden. In dem Fall können in Schritt e) Sicherheitsfunktionen in Abhängigkeit des besonders betroffenen Bereichs des Kraftfahrzeugs ausgelöst werden. Beispielsweise werden Seitenairbags bevorzugt insbesondere dann ausgelöst, wenn eine seitliche Kollision bevorsteht.If an imminent collision is predicted in step d), at least one safety function is preferably triggered in accordance with step e). In step d), it is also preferably determined which regions of the motor vehicle will be particularly affected by the impending collision. In this case, safety functions can be triggered in step e) depending on the particularly affected area of the motor vehicle. For example, side airbags are preferably triggered in particular when a lateral collision is imminent.

In einer weiteren bevorzugten Ausführungsform des Verfahrens wird in Schritt d) eine Aufprallschwere zwischen einem identifizierten Objekt und dem Kraftfahrzeug abgeschätzt, wobei mindestens ein entsprechender Parameter erzeugt wird, der in Schritt e) an die mindestens eine Sicherheitsfunktion übergeben wird.In a further preferred embodiment of the method, an impact severity between an identified object and the motor vehicle is estimated in step d), wherein at least one corresponding parameter is generated, which is transferred to the at least one safety function in step e).

Unter der Aufprallschwere ist insbesondere eine Aufprallgeschwindigkeit zu verstehen (also eine im Zeitpunkt einer Kollision vorliegende Relativgeschwindigkeit zwischen dem Kraftfahrzeug und einem Objekt in dessen Umfeld). Ebenso kann die Objektausdehnung des Kollisionsfahrzeugs vermessen und daraus eine Massenschätzung abgeleitet werden, welche wiederum zusammen mit der Geschwindigkeit und Geometrie in eine Aufprallschwere umgerechnet werden kann. Auch kann die Aufprallschwere eine Information darüber umfassen, wie schadensanfällig ein von einer bevorstehenden Kollision betroffener Bereich des Kraftfahrzeugs ist. Beispielsweise kann die Aufprallschwere bei einer bevorstehenden seitlichen Kollision bevorzugt größer angenommen werden als bei einer bevorstehenden frontalen Kollision. Bei einer seitlichen Kollision in die Fahrgastzelle ist eine Verletzungsgefahr für Insassen eines Kraftfahrzeugs regelmäßig erheblich größer als bei einer frontalen Kollision, bei der der Vorderwagen als Knautschzone Schutz bietet.The impact severity is to be understood as meaning, in particular, an impact velocity (that is to say a relative velocity between the motor vehicle and an object in its surroundings present at the time of a collision). Likewise, the object extent of the collision vehicle can be measured and used to derive a mass estimate which, in turn, can be converted into an impact severity along with velocity and geometry. Also, the impact severity may include information about how vulnerable an area of the motor vehicle affected by an impending collision is. For example, the impact severity in an imminent side collision may preferably be assumed to be greater than in an imminent frontal collision. In a side collision in the passenger compartment, a risk of injury to occupants of a motor vehicle is usually considerably greater than in a frontal collision, in which the front end provides protection as a crumple zone.

Bevorzugt wird eine Sicherheitsfunktion nur ausgelöst, wenn eine jeweils dafür vorgegebene Mindestaufprallschwere überschritten wird. Das gilt insbesondere für irreversible Sicherheitssysteme wie beispielsweise Airbags, die nur für ein einmaliges Auslösen eingerichtet sind und anschließend unter erheblichem Reparaturaufwand ersetzt werden müssen. Beispielsweise wird ein Airbag bevorzugt nicht ausgelöst, wenn eine Kollision mit einer Aufprallgeschwindigkeit unterhalb einer vorgegebenen Schwelle prognostiziert wird.Preferably, a safety function is triggered only if a respectively predetermined minimum impact severity is exceeded. This is especially true for irreversible security systems such as airbags, which are set up only for a single triggering and then need to be replaced with considerable repair. For example, an airbag is preferably not triggered when a collision with an impact speed below a predetermined threshold is predicted.

Bei dem gemäß dieser Ausführungsform erzeugten Parameter kann es sich beispielsweise um die erwartete Aufprallgeschwindigkeit einer prognostizierten Kollision handeln. Auch kann beispielsweise eine Information über die von der prognostizierten Kollision besonders betroffenen Bereiche des Kraftfahrzeugs generiert werden.The parameter generated according to this embodiment may, for example, be the expected impact velocity of a predicted collision. It is also possible, for example, to generate information about the areas of the motor vehicle which are particularly affected by the predicted collision.

In einer weiteren bevorzugten Ausführungsform des Verfahrens erfolgt in Schritt c) eine Verifikation der identifizierten Objekte mit mindestens einem weiteren Verfahren zur Erkennung von Objekten.In a further preferred embodiment of the method, in step c) a verification of the identified objects takes place with at least one further method for the recognition of objects.

Das mindestens eine weitere Verfahren zur Erkennung von Objekten kann beispielsweise das Auswerten von einem Signal einer Videokamera, einem Radarsensor und/oder einer Wärmebildkamera oder Ultraschall umfassen. Wird mit mindestens einem derartigen weiteren Verfahren und mit dem hier beschriebenen Verfahren ein Objekt erkannt, so ist die Wahrscheinlichkeit für einen Fehler besonders gering. Bevorzugt wird zumindest verglichen, ob mit den verschiedenen Verfahren ein Objekt erfasst worden ist, mit dem eine Kollision bevorsteht. Beispielsweise kann mit allen Verfahren jeweils individuell eine Entscheidung erhalten werden, ob eine bestimmte Sicherheitsfunktion auszulösen ist. Nur in dem Fall, dass mit mehreren oder vorzugsweise mit allen betrachteten Verfahren ein jeweiliges Auslösesignal zum Auslösen dieser bestimmten Sicherheitsfunktion generiert wird, wird die Sicherheitsfunktion tatsächlich ausgelöst. Alternativ ist es auch möglich, dass die mit den verschiedenen Verfahren ermittelten Daten selbst verglichen werden. Beispielsweise kann verglichen werden, ob Parameter wie Position, Form, Größe, Anzahl, Geschwindigkeit, Bewegungsrichtung und/oder Klassifikation von erfassten Objekten bei den verschiedenen Verfahren übereinstimmen. In dem Fall wird die mindestens eine Sicherheitsfunktion nur dann ausgelöst, wenn mehrere oder vorzugsweise alle betrachteten Verfahren für mehrere oder vorzugsweise alle der genannten Parameter im Rahmen von vorgebbaren Toleranzen gleiche Werte ergeben.The at least one further method for detecting objects may comprise, for example, the evaluation of a signal from a video camera, a radar sensor and / or a thermal imaging camera or ultrasound. If an object is detected with at least one such further method and with the method described here, the probability of an error is particularly low. It is preferably at least compared whether with the various methods an object has been detected, with which a collision is imminent. For example, a decision can be individually obtained with each method as to whether a particular safety function is to be triggered. Only in the event that a respective trigger signal for triggering this particular safety function is generated with a plurality or preferably with all considered methods, the safety function is actually triggered. Alternatively, it is also possible that the data obtained with the various methods themselves be compared. For example, it can be compared whether parameters such as position, shape, size, number, speed, direction of movement and / or classification of detected objects in the various methods match. In that case, the at least one safety function is only triggered if several or preferably all of the methods considered result in the same values for a plurality or preferably all of the mentioned parameters within predefinable tolerances.

Insbesondere ist es auch möglich, ein Signal eines Lidarsensors nach dem beschriebenen Verfahren (vorzugsweise nur unter Ausnutzung der Reflektierpunkte) auszuwerten und als ein weiteres Verfahren zur Erkennung von Objekten das gleiche Signal unter Verwendung aller Punkte auszuwerten. Wird beispielsweise aus der Gesamtheit aller Punkte ein Objekt erkannt, kann durch Auswertung der Reflektierpunkte gemäß dem beschriebenen Verfahren verifiziert werden, ob das erkannte Objekt ein Kraftfahrzeug ist.In particular, it is also possible to evaluate a signal of a lidar sensor according to the method described (preferably only using the reflection points) and to evaluate the same signal using all points as another method of detecting objects. If, for example, an object is detected from the totality of all points, it can be verified by evaluating the reflection points according to the method described whether the detected object is a motor vehicle.

In einer weiteren bevorzugten Ausführungsform des Verfahrens wird mindestens ein einem erkannten Reflektierpunkt zugeordneter Überprüfungsbereich verstärkt auf (insbesondere weitere) Reflektierpunkte überprüft.In a further preferred embodiment of the method, at least one check region assigned to a detected reflection point is checked more intensively for (in particular further) reflection points.

Wird ein Reflektierpunkt erkannt, so können weitere Reflektierpunkte besonders wahrscheinlich in dessen unmittelbarer Umgebung vorliegen. Das liegt insbesondere daran, dass Kraftfahrzeuge regelmäßig eine Mehrzahl von Reflektierpunkten aufweisen. Wird also ein Reflektor eines Kraftfahrzeugs als ein Reflektierpunkt erkannt, kann durch verstärkte Überprüfung der Umgebung dieses erkannten Reflektierpunktes ein weiterer Reflektor des Kraftfahrzeugs besonders gut erkannt werden. Entsprechend wird bevorzugt ein Überprüfungsbereich als eine Umgebung eines erkannten Reflektierpunktes festgelegt. Der Überprüfungsbereich kann auch als eine Region of Interest bezeichnet werden.If a Reflektierpunkt detected, so further Reflektierpunkte can be particularly likely to be in its immediate vicinity. This is in particular because motor vehicles regularly have a plurality of Reflektierpunkten. Thus, if a reflector of a motor vehicle is recognized as a Reflektierpunkt, a further reflector of the motor vehicle can be particularly well recognized by intensified review of the environment of this detected Reflektierpunktes. Accordingly, it is preferable to set a checking area as an environment of a detected reflecting point. The scope of verification may also be referred to as a region of interest.

Unter einer verstärkten Überprüfung des Überprüfungsbereichs ist insbesondere zu verstehen, dass dieser Bereich mit einer besonders hohen Frequenz abgetastet wird. Wird das Umfeld des Kraftfahrzeugs nach Schritt a) beispielsweise mit einem Lidarsensor kontinuierlich und insbesondere zeilenweise abgetastet, so kann ein Abtasten aller abzutastenden Zeilen als ein Zyklus bezeichnet werden. In der vorliegenden Ausführungsform ist es bevorzugt, dass nur in jedem zweiten Zyklus das gesamte abzutastende Umfeld des Kraftfahrzeugs abgetastet wird. In den dazwischen liegenden Zyklen wird bevorzugt nur der mindestens eine Überprüfungsbereich abgetastet. Insbesondere dadurch kann der mindestens eine Überprüfungsbereich eines erkannten Reflektierpunktes verstärkt überprüft werden. Die vorliegende Ausführungsform kann Zykluszeiten reduzieren, wodurch eine besonders schnelle Abtastung der Umgebung des Kraftfahrzeugs erfolgen kann.An intensified check of the checking area is to be understood in particular as meaning that this area is scanned at a particularly high frequency. If the environment of the motor vehicle is scanned continuously and in particular line by line after step a), for example with a lidar sensor, then a scan of all the lines to be scanned can be designated as one cycle. In the present embodiment, it is preferred that only in every second cycle, the entire scanned environment of the motor vehicle is scanned. In the intermediate cycles, preferably only the at least one check area is scanned. In particular, the at least one checking area of a recognized one can thereby be identified Reflektierpunktes be checked. The present embodiment can reduce cycle times, whereby a particularly fast scanning of the environment of the motor vehicle can take place.

Der mindestens eine Überprüfungsbereich ist bevorzugt als ein Bereich des Umfelds des Kraftfahrzeugs mit einer vorgegebenen Größe und Form festgelegt. Dieser Bereich kann insbesondere durch Angabe von entsprechenden Raumwinkeln und Abständen zum Kraftfahrzeug angegeben werden. Die vorgegebene Größe und Form eines Überprüfungsbereichs kann insbesondere von einem Raumwinkel, einem Abstand zum Kraftfahrzeug und/oder einer Reflektanz eines erkannten Reflektierpunktes abhängen. Ein einem weiter entfernten erkannten Reflektierpunkte zugeordneter Überprüfungsbereich kann beispielsweise mit einem kleineren Raumwinkelbereich definiert sein als der Überprüfungsbereich eines näheren erkannten Reflektierpunktes.The at least one inspection area is preferably defined as an area of the surroundings of the motor vehicle with a predetermined size and shape. This area can be specified in particular by specifying corresponding solid angles and distances to the motor vehicle. The predefined size and shape of a checking area may in particular depend on a solid angle, a distance to the motor vehicle and / or a reflectance of a detected reflecting point. For example, a check area assigned to more distant detected reflectors may be defined with a smaller solid angle range than the check area of a closer detected reflect spot.

Der mindestens eine Überprüfungsbereich ist bevorzugt zeitlich unveränderlich festgelegt. Alternativ ist es bevorzugt, dass der mindestens eine Überprüfungsbereich zeitlich veränderlich festgelegt ist. Insbesondere ist es bevorzugt, dass der mindestens eine Überprüfungsbereich für jeden (oder jeden zweiten) Zyklus einer Abtastung des Umfelds des Kraftfahrzeugs neu auf die beschriebene Weise festgelegt wird.The at least one check area is preferably fixed in time immutable. Alternatively, it is preferable that the at least one check area is set to be variable in time. In particular, it is preferred that the at least one check area for each (or every other) cycle of a scan of the surroundings of the motor vehicle is newly set in the manner described.

Der jeweilige Überprüfungsbereich ist bevorzugt symmetrisch um den erkannten Reflektierpunkt festgelegt. Zudem oder alternativ ist es bevorzugt, dass bei der Festlegung des Überprüfungsbereichs eine Bewegung des entsprechenden Reflektierpunktes (beziehungsweise eines diesem zugeordneten Objekts) berücksichtigt wird. Das kann insbesondere dadurch erfolgen, dass der Überprüfungsbereich nicht symmetrisch um den erkannten Reflektierpunkt festgelegt wird. Stattdessen kann der Überprüfungsbereich beispielsweise in Richtung der Bewegung verschoben sein. Auch ist es bevorzugt, dass der in einem Zyklus abzutastende Überprüfungsbereich (insbesondere symmetrisch) um eine Position festgelegt wird, die für den erkannten Reflektierpunkt in dem entsprechenden Zyklus erwartet wird. Dazu kann beispielsweise aus einer vergangenen Veränderung der Position des erkannten Reflektierpunktes dessen Bewegung ermittelt und in die Zukunft extrapoliert werden, beispielsweise unter Annahme unveränderter Geschwindigkeit und Bewegungsrichtung. Dabei kann insbesondere auch berücksichtigt werden, wie sich die Bewegung eines Kraftfahrzeugs verändern kann. Dafür bestehen physikalische Grenzen, die insbesondere durch das Konzept des Kammschen Kreises beschrieben werden können. Auf die Reifen eines Kraftfahrzeugs wirkende Beschleunigungskräfte, Verzögerungskräfte und seitliche Führungskräfte können bei (vektorieller) Addition maximal einer Gesamtkraft entsprechen, die sich aus der Reibung der Reifen auf dem Untergrund ergibt. Bei Überschreiten dieser Kräfte kann es beispielsweise zu einem Durchdrehen eines Reifens, zu einem Ausbrechen und/oder zu einem Rutschen des Kraftfahrzeugs kommen. Die mögliche Veränderung einer Bewegung eines Kraftfahrzeugs ist durch die maximale Gesamtkraft begrenzt. Es kann daher davon ausgegangen werden, dass sich ein Kraftfahrzeug insbesondere im Rahmen der durch den Kammschen Kreis definierten Grenzen bewegt. Unter Berücksichtigung dieser Grenzen kann ein Überprüfungsbereich für einen erkannten Reflektierpunkt (insbesondere der Größe nach) festgelegt werden. Weiterhin ist es bevorzugt, dass die Größe und/oder die Form eines Überprüfungsbereichs eines erkannten Reflektierpunktes entsprechend üblichen Abmessungen beziehungsweise Formen von Kraftfahrzeugen festgelegt wird. Besonders bevorzugt werden dabei übliche Positionen und/oder Abstände von Reflektoren an Kraftfahrzeugen berücksichtigt. Es ist aber regelmäßig nicht erforderlich, dass ein einem erkannten Reflektierpunkt zugeordneter Überprüfungsbereich den erkannten Reflektierpunkt selbst umfasst. Auch kann ein Überprüfungsbereich mehrere nicht zusammenhängende Teilbereiche umfassen. Beispielsweise kann der Überprüfungsbereich eines erkannten Reflektierpunktes derart festgelegt sein, dass dieser an einer Mehrzahl von möglichen Positionen von Reflektoren jeweilige Teilbereiche umfasst. Dabei können die möglichen Positionen der Reflektoren entsprechend üblicher Positionen und Abstände von Reflektoren an Kraftfahrzeugen relativ zu dem erkannten Reflektierpunkt festgelegt werden.The respective checking area is preferably defined symmetrically around the detected reflecting point. In addition or as an alternative, it is preferable for a movement of the corresponding reflection point (or of an object associated therewith) to be taken into account in the determination of the examination region. This can be done in particular by the fact that the inspection area is not determined symmetrically around the detected Reflektierpunkt. Instead, the checking area may be shifted in the direction of the movement, for example. It is also preferable that the inspection area to be scanned in one cycle (particularly, symmetrical) is set around a position expected for the detected reflection point in the corresponding cycle. For this purpose, for example, from a past change in the position of the detected Reflektierpunktes whose movement is determined and extrapolated into the future, for example, assuming unchanged speed and direction of movement. It can also be considered in particular how the movement of a motor vehicle can change. There are physical limits that can be described in particular by the concept of Kamm's circle. Acceleration forces, deceleration forces and lateral guiding forces acting on the tires of a motor vehicle can correspond at maximum to a total force resulting from the friction of the tires on the ground during (vectorial) addition. When these forces are exceeded, for example, a spinning of a tire, a break-out and / or a slippage of the motor vehicle may occur. The possible change in a movement of a motor vehicle is limited by the maximum total force. It can therefore be assumed that a motor vehicle moves in particular within the limits defined by Kamm's circle. Taking these limits into account, a check area for a detected reflection point (in particular size) can be set. Furthermore, it is preferred that the size and / or the shape of a checking region of a detected reflection point is determined in accordance with conventional dimensions or shapes of motor vehicles. Particular preference is given to usual positions and / or distances of reflectors on motor vehicles are taken into account. However, it is regularly not necessary for a checking area assigned to a detected reflection point to include the detected reflection point itself. Also, a check area may include multiple non-contiguous portions. By way of example, the checking region of a detected reflection point can be determined in such a way that it comprises respective partial regions at a plurality of possible positions of reflectors. In this case, the possible positions of the reflectors can be set according to conventional positions and distances of reflectors on motor vehicles relative to the detected Reflektierpunkt.

Als weiterer Aspekt wird ein Steuergerät für ein Kraftfahrzeug vorgestellt, wobei das Steuergerät zur Durchführung des beschriebenen Verfahrens eingerichtet ist.As a further aspect, a control device for a motor vehicle is presented, wherein the control device is set up to carry out the described method.

Die weiter vorne beschriebenen besonderen Vorteile und Ausgestaltungsmerkmale des Verfahrens sind auf das beschriebene Steuermodul anwendbar und übertragbar.The particular advantages and design features of the method described above are applicable to the control module described and transferable.

Hier auch beschrieben werden sollen ein Computerprogramm zur Durchführung des beschriebenen Verfahrens und ein maschinenlesbares Speichermedium auf dem dieses Computerprogramm gespeichert ist.Also to be described here is a computer program for carrying out the described method and a machine-readable storage medium on which this computer program is stored.

Weitere Einzelheiten der Erfindung und ein Ausführungsbeispiel, auf welches die Erfindung jedoch nicht beschränkt ist, werden anhand der Zeichnungen näher erläutert. Es zeigen:

1: eine schematische Darstellung eines Kraftfahrzeugs mit einem Objekt in dessen Umfeld,
2: eine schematische Darstellung eines Signals eines Lidarsensors für die in 1 gezeigte Situation,
3: eine Darstellung eines Kraftfahrzeugs, welches für das beschriebene Verfahren eingerichtet ist, und
4: eine Blockdiagrammdarstellung des beschriebenen Verfahrens.

Further details of the invention and an embodiment to which the invention is not limited, however, are explained in more detail with reference to the drawings. Show it:

1 : a schematic representation of a motor vehicle with an object in its environment,
2 FIG. 2: a schematic representation of a signal of a lidar sensor for the in 1 shown situation,
3 a representation of a motor vehicle, which is set up for the described method, and
4 : a block diagram representation of the described method.

1 zeigt ein Kraftfahrzeug 1 mit einem Lidarsensor 4. Der Lidarsensor 4 ist dazu bestimmt und eingerichtet, ein Umfeld 3 des Kraftfahrzeugs jedenfalls über einen Raumwinkelbereich 6 zu überwachen. Im Umfeld 3 des Kraftfahrzeugs 1 befindet sich in diesem Beispiel ein Objekt 2. Beispielsweise kann es sich bei dem Objekt 2 um ein anderes Kraftfahrzeug handeln. Das Kraftfahrzeug 1 und das Objekt 2 bewegen sich, wie durch Pfeile angedeutet, aufeinander zu, so dass eine Kollision bevorstehen kann. Das Objekt 2 weist zwei Reflektoren 5 auf. 1 shows a motor vehicle 1 with a lidar sensor 4 , The lidar sensor 4 is intended and furnished, an environment 3 of the motor vehicle in any case over a solid angle range 6 to monitor. In the environment 3 of the motor vehicle 1 In this example, there is an object 2 , For example, the object may be 2 to act another car. The car 1 and the object 2 move towards each other, as indicated by arrows, so that a collision may be imminent. The object 2 has two reflectors 5 on.

In 2 ist für die Situation aus 1 ein Signal des Lidarsensors 4 des Kraftfahrzeugs 1 visualisiert. Auch hier ist das Umfeld 3 des Kraftfahrzeugs 1 mit dem überwachten Raumwinkelbereich 6 eingezeichnet. Anstelle des tatsächlich vorhandenen Objekts 2 sind in 2 vom Lidarsensor 4 erfasste Punkte 7 gezeigt. Es ist also in 2 dargestellt, wie die tatsächliche Situation aus 1 mit dem Lidarsensor 4 erfasst werden kann. Das Signal des Lidarsensors 4 umfasst eine Mehrzahl von Punkten 7. Jedem dieser Punkte ist ein Abstandswert und ein Reflektanzwert zugeordnet. Der Reflektanzwert ist in dieser Darstellung durch die Größe der Punkte 7 angedeutet. Dort, wo sich in 1 das Objekt 2 befindet, sind in 2 vier Punkte 7 zu erkennen. An den Positionen der Reflektoren 5 des Objekts 2 sind in 2 drei Reflektierpunkte 8 zu erkennen. Die drei Reflektierpunkte 8 bilden in diesem Beispiel ein Cluster, anhand dessen das Objekt 2 erkannt werden kann. Das Cluster hat hier eine charakteristische Form, die üblicherweise auch „L-Shape“ genannt wird. Anhand solcher charakteristischer Formen der Reflektierpunkte 8 können viele Objekte sehr effizient identifiziert werden. Die übrigen Punkte 7 mit geringerer Reflektanz werden bevorzugt aus einem Signal des Lidarsensors 4 herausgefiltert. Diese Punkte 7 sind hier nur zur Veranschaulichung eingezeichnet.In 2 is out for the situation 1 a signal from the lidar sensor 4 of the motor vehicle 1 visualized. Again, the environment 3 of the motor vehicle 1 with the monitored solid angle range 6 located. Instead of the actual existing object 2 are in 2 from the lidar sensor 4 recorded points 7 shown. So it's in 2 presented as the actual situation 1 with the lidar sensor 4 can be detected. The signal of the lidar sensor 4 includes a plurality of points 7 , Each of these points is assigned a distance value and a reflectance value. The reflectance value in this illustration is the size of the points 7 indicated. There, where in 1 the object 2 is located in 2 four points 7 to recognize. At the positions of the reflectors 5 of the object 2 are in 2 three reflection points 8th to recognize. The three reflection points 8th form in this example a cluster, on the basis of which the object 2 can be recognized. The cluster has a characteristic shape here, which is usually called "L-Shape". Based on such characteristic forms of the Reflektierpunkte 8th Many objects can be identified very efficiently. The remaining points 7 with less reflectance are preferred from a signal of the lidar sensor 4 filtered out. These points 7 are shown here for illustrative purposes only.

3 zeigt ein Kraftfahrzeug 1, welches für die Durchführung des beschriebenen Verfahrens eingerichtet ist. Das Kraftfahrzeug weist mindestens einen Lidarsensor 4 auf. Signale des Lidarsensors werden einerseits nach einem üblichen Verfahren verarbeitet, bei welchem Reflektierpunkte nicht gesonderter berücksichtigt werden. Dies geschieht im Hauptsteuergerät 9. Signale des Lidarsensors werden zusätzlich mit dem hier beschriebenen Verfahren in einem weiteren Steuergerät 10 verarbeitet. Das weitere Steuergerät 10 ist insbesondere ein Airbag-Steuergerät, welches (ursprünglich) zur Steuerung eines Airbags vorgesehen ist und auf welchem das beschriebene Verfahren implementiert ist. Für die Durchführung des beschriebenen Verfahrens ist eine kleinere Rechenleistung auf einem Steuergerät erforderlich als für übliche Verfahren zur Auswertung der Signale eines Lidarsensors. Daher kann das weitere Steuergerät kleiner dimensioniert sein als das Hauptsteuergerät. Dies ist bei Airbag-Steuergeräten üblicherweise der Fall. 3 shows a motor vehicle 1 , which is set up for carrying out the method described. The motor vehicle has at least one lidar sensor 4 on. Signals of the lidar sensor are, on the one hand, processed by a conventional method in which reflection points are not considered separately. This happens in the main control unit 9 , Signals of the Lidarsensors are additionally using the method described here in another controller 10 processed. The further control unit 10 is in particular an airbag control unit, which (originally) is provided for controlling an airbag and on which the described method is implemented. For the implementation of the described method, a smaller computing power on a control unit is required than for conventional methods for evaluating the signals of a lidar sensor. Therefore, the other controller may be smaller in size than the main controller. This is usually the case with airbag control units.

4 zeigt ein Ablaufdiagramm einer Ausführungsform des beschriebenen Verfahrens. Zu erkennen sind die Verfahrensschritte a) bis d), welche permanent bzw. nach Art einer Schleife iterativ wiederholt durchgeführt werden. Wenn in Schritt d) eine Prognose für einen Zusammenstoß erstellt wurde erfolgt Schritt e) ur Ausgabe eines Signals zur Auslösung mindestens einer Sicherheitsfunktion. 4 shows a flowchart of an embodiment of the described method. Evident are the process steps a) to d), which are carried out repeatedly iteratively or in the manner of a loop. If a prognosis for a collision has been created in step d), step e) ur outputs a signal for triggering at least one safety function.

Claims

Method for monitoring the environment (3) of a motor vehicle (1) having at least one lidar sensor (4), comprising the following steps: a) detection of Reflektierpunkten (8) in the environment (3) of the motor vehicle (1), wherein the Reflektierpunkte (8) have a reflectance above a predetermined threshold, b) detection of moving clusters from the reflecting points (8) detected in step a), and c) Identification of objects (2) on the basis of clusters detected in step b).

Method according to Claim 1 , wherein in step a) points with a reflectance below the predefinable threshold are filtered out of a signal of the lidar sensor (4).

Method according to one of the preceding claims, wherein in step c) a machine learning based system for the identification of objects (2) is used on the basis of the moving cluster.

Method according to one of the preceding claims, wherein in step c) distances between Reflektierpunkten a moving cluster are determined and these distances for the identification of objects (2) are evaluated.

Method according to one of the preceding claims, wherein the method for triggering at least one safety function of the motor vehicle (1) is set up and subsequent to step c) the following method steps are carried out: d) making a prediction as to whether a collision can occur with an object (2) detected in step c), and e) outputting a signal for triggering at least one safety function if a prognosis for a collision has been created in step d).

Method according to Claim 5 in which, in step d), a tracking of the position of objects (2) identified in step c) takes place in order to produce the prognosis.

Method according to one of Claims 5 or 6 , wherein in step d) an impact severity between an identified object (2) and the motor vehicle (1) is estimated and at least one corresponding parameter is generated, which is passed to the at least one safety function in step e).

Method according to one of the preceding claims, wherein in step c) a verification of the identified objects (2) with at least one further method for detecting objects (2), wherein preferably the further method for detecting objects (2), preferably on the main control unit is performed in a motor vehicle and the method steps a) to c) are carried out on a secondary control unit, which is provided in addition to a main control unit in a motor vehicle.

Method according to one of the preceding claims, wherein at least one check area assigned to a detected reflection point (8) is checked more intensively for reflection points (8).

Control device for a motor vehicle (1), which is set up to carry out a method according to one of the preceding claims.

Control unit after Claim 10 wherein the controller is a slave controller provided for use in addition to a main controller in a motor vehicle, and which has a lower computational power compared to the main controller.

Computer program, which is set up, all steps of the procedure according to one of Claims 1 to 9 perform.

Machine-readable storage medium on which the computer program is based Claim 12 is stored.