DE102019111608A1

DE102019111608A1 - Method for determining the proper movement of a motor vehicle, electronic computing device and electronic vehicle guidance system

Info

Publication number: DE102019111608A1
Application number: DE102019111608.2A
Authority: DE
Inventors: Stefan Milz; Victor Vaquero; Kai Fischer
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2019-05-06
Filing date: 2019-05-06
Publication date: 2020-11-12

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Eigenbewegung (E) eines Kraftfahrzeugs (1) mittels eines elektronischen Fahrzeugführungssystems (2) mit den Schritten:- Erzeugen einer Punktwolke (12) einer Umgebung (5) mittels einer elektronischen Recheneinrichtung (3) des elektronischen Fahrzeugführungssystems (2) durch Erfassen der Umgebung (5) mittels einer Erfassungseinrichtung (4);- Erstes Auswerten der Punktwolke (12) und zweites Auswerten der Punktwolke (12) mittels der elektronischen Recheneinrichtung (3);- Bestimmen von einem dynamischen Objekt (6) in der Umgebung (5) mittels der ersten Auswertung mittels eines ersten neuronalen Netzwerks (15) und/oder mittels der zweiten Auswertung mittels eines zweiten neuronalen Netzwerks (16); und- Bestimmen der Eigenbewegung (E) durch Entfernen des dynamischen Objekts (6) auf Basis einer um das dynamische Objekt (6) reduzierten Punktwolke (33).Ferner betrifft die Erfindung ein Computerprogrammprodukt, eine elektronische Recheneinrichtung (3) sowie ein elektronisches Fahrzeugführungssystem (2).The invention relates to a method for determining a proper movement (E) of a motor vehicle (1) by means of an electronic vehicle guidance system (2) with the following steps: - Generating a point cloud (12) of an environment (5) by means of an electronic computing device (3) of the electronic vehicle guidance system (2) by capturing the surroundings (5) by means of a capturing device (4); - First evaluation of the point cloud (12) and second evaluation of the point cloud (12) by means of the electronic computing device (3); - Determination of a dynamic object (6) in the environment (5) by means of the first evaluation by means of a first neural network (15) and / or by means of the second evaluation by means of a second neural network (16); and - determining the proper movement (E) by removing the dynamic object (6) on the basis of a point cloud (33) reduced by the dynamic object (6). Furthermore, the invention relates to a computer program product, an electronic computing device (3) and an electronic vehicle guidance system ( 2).

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Eigenbewegung eines Kraftfahrzeugs in einer Umgebung des Kraftfahrzeugs mittels eines Fahrerassistenzsystems des Kraftfahrzeugs. Ferner betrifft die Erfindung ein Computerprogrammprodukt, eine elektronische Recheneinrichtung sowie ein elektronisches Fahrzeugführungssystem.The invention relates to a method for determining a proper movement of a motor vehicle in the surroundings of the motor vehicle by means of a driver assistance system of the motor vehicle. The invention also relates to a computer program product, an electronic computing device and an electronic vehicle control system.

Aus dem Stand der Technik ist bereits bekannt, dass mittels einer Punktwolke die Eigenbewegung und Kartierung für eine Vorhersage der Eigenbewegung auf Basis von 3D-Informationen durchgeführt werden kann. In diesem Kontext sind bildbasierte Methoden, zum Beispiel die Eigenschaftsextraktion für Kanten und Flächen aus den Bildern bekannt, um die entsprechenden Translationen und Rotationen bestimmen zu können. Es hat sich jedoch herausgestellt, dass die Bestimmung dieser Translationen und Rotationen aufgrund von sich bewegender Objekte, wie beispielsweise Kraftfahrzeuge oder Fußgänger im Bild, sich erheblich erschwert. Die Eigenschaften von dynamischen Objekten haben einen negativen Einfluss auf die Bestimmung der Eigenbewegung des Kraftfahrzeugs, was insbesondere zu einer größeren Positionierungsungenauigkeit innerhalb der Umgebungskarte führt.It is already known from the prior art that the intrinsic movement and mapping for a prediction of the intrinsic motion on the basis of 3D information can be carried out by means of a point cloud. Image-based methods, for example property extraction for edges and surfaces from the images, are known in this context in order to be able to determine the corresponding translations and rotations. However, it has been found that the determination of these translations and rotations on the basis of moving objects, such as motor vehicles or pedestrians in the image, is made considerably more difficult. The properties of dynamic objects have a negative influence on the determination of the motor vehicle's own movement, which in particular leads to greater positioning inaccuracy within the map of the surroundings.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt, eine elektronische Recheneinrichtung sowie ein elektronisches Fahrzeugführungssystem zu schaffen, mittels welchen eine verbesserte Bestimmung der Eigenbewegung durchgeführt werden kann.The object of the present invention is to create a method, a computer program product, an electronic computing device and an electronic vehicle control system by means of which an improved determination of the intrinsic movement can be carried out.

Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt, eine elektronische Recheneinrichtung sowie ein elektronisches Fahrzeugführungssystem gemäß den unabhängigen Patenansprüchen gelöst.This object is achieved by a method, a computer program product, an electronic computing device and an electronic vehicle control system according to the independent patent claims.

Ein Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen einer Eigenbewegung eines Kraftfahrzeugs in einer Umgebung des Kraftfahrzeugs mittels eines elektronischen Fahrzeugführungssystems des Kraftfahrzeugs. Es wird eine Punktwolke der Umgebung mittels einer elektronischen Recheneinrichtung des elektronischen Fahrzeugführungssystems durch Erfassen der Umgebung mittels einer Erfassungseinrichtung des elektronischen Fahrzeugführungssystems erzeugt. Es erfolgen ein erstes Auswerten der Punktwolke in Abhängigkeit eines ersten Entscheidungskriteriums und ein zweites Auswerten der Punktwolke in Abhängigkeit eines zum ersten Entscheidungskriterium unterschiedlichen zweiten
Entscheidungskriteriumsmittels der elektronischen Recheneinrichtungt. Es wird zumindest ein dynamisches Objekt in der Umgebung in Abhängigkeit der ersten Auswertung mittels eines ersten neuronalen Netzwerks der elektronischen Recheneinrichtung bestimmt und/oder es wird das zumindest eine dynamische Objekt in der Umgebung in Abhängigkeit der zweiten Auswertung mittels eines zum ersten neuronalen Netzwerk unterschiedlichen zweiten neuronalen Netzwerks der elektronischen Recheneinrichtung bestimmt. Es erfolgt ein Erzeugen einer reduzierten Punktwolke durch Entfernen des zumindest einen dynamischen Objekts aus der Punktwolke durch die elektronische Recheneinrichtung abhängig von den Informationen, die bei der Bestimmung des dynamischen Objekts mittels des ersten neuronalen Netzwerks und/oder des zweiten neuronalen Netzwerks erhalten werden. Es erfolgt ein Bestimmen der Eigenbewegung des Kraftfahrzeugs durch Auswerten der reduzierten Punktwolke.One aspect of the invention relates to a method for determining a proper movement of a motor vehicle in the surroundings of the motor vehicle by means of an electronic vehicle guidance system of the motor vehicle. A point cloud of the surroundings is generated by means of an electronic computing device of the electronic vehicle guidance system by capturing the surroundings by means of a capturing device of the electronic vehicle guidance system. A first evaluation of the point cloud takes place as a function of a first decision criterion and a second evaluation of the point cloud takes place as a function of a second different from the first decision criterion
Decision criterion by means of the electronic computing device. At least one dynamic object in the environment is determined as a function of the first evaluation by means of a first neural network of the electronic computing device and / or the at least one dynamic object in the environment is determined as a function of the second evaluation by means of a second neural network different from the first neural network Network of the electronic computing device determined. A reduced point cloud is generated by removing the at least one dynamic object from the point cloud by the electronic computing device as a function of the information obtained when determining the dynamic object by means of the first neural network and / or the second neural network. The intrinsic movement of the motor vehicle is determined by evaluating the reduced point cloud.

Dadurch ist es ermöglicht, dass verbessert die Eigenbewegung des Kraftfahrzeugs bestimmt werden kann. Dies hat insbesondere den Hintergrund darin, dass die Bestimmung der Eigenbewegung nicht durch das dynamische Objekt, insbesondere aufgrund der dabei entstehenden Fehler, die mit dem dynamischen Objekt einhergehen, durchgeführt werden kann. Mit anderen Worten wird das dynamische Objekt entfernt beziehungsweise herausgefiltert und es wird erst dann die Eigenbewegung bestimmt. Insbesondere wird dann lediglich an statischen Objekten in der Umgebung die Eigenbewegung bestimmt. Dadurch kann zuverlässig und verbessert die Eigenbewegung des Kraftfahrzeugs bestimmt werden.This makes it possible for the vehicle's own motion to be determined in an improved manner. The reason for this, in particular, is that the determination of the intrinsic movement cannot be carried out by the dynamic object, in particular because of the errors that arise in the process and that are associated with the dynamic object. In other words, the dynamic object is removed or filtered out and only then is its own movement determined. In particular, the proper movement is then only determined on static objects in the environment. As a result, the movement of the motor vehicle can be determined reliably and in an improved manner.

Als dynamisches Objekt können insbesondere Fußgänger, Fahrräder, weitere Kraftfahrzeuge, Züge oder weitere dynamische Objekte angesehen werden.Pedestrians, bicycles, other motor vehicles, trains or other dynamic objects in particular can be viewed as dynamic objects.

Bevorzugt ist vorgesehen, dass das dynamische Objekt in Abhängigkeit der ersten Auswertung und der zweiten Auswertung bestimmt wird.It is preferably provided that the dynamic object is determined as a function of the first evaluation and the second evaluation.

Mit anderen Worten findet eine Auswertung zur Eigenbewegung erst dann statt, wenn die Umgebung um das zumindest eine dynamische Objekt „bereinigt“, also entfernt beziehungsweise herausgefiltert, wurde. Somit wird eine verbesserte Punktwolke zur Auswertung für die Eigenbewegung bereitgestellt. Des Weiteren ist die Punktwolke um das zumindest eine dynamische Objekte bereinigt, mit anderen Worten weist diese Punktwolke eine geringere Anzahl an Punkten auf, wodurch eine schnellere beziehungsweise verbesserte Verarbeitung dieser Punktwolke durchgeführt werden kann.In other words, an evaluation of the proper movement only takes place when the environment has been “cleaned up” by the at least one dynamic object, that is, removed or filtered out. This provides an improved point cloud for evaluating the proper movement. Furthermore, the point cloud has been cleared of the at least one dynamic object, in other words this point cloud has a smaller number of points, so that faster or improved processing of this point cloud can be carried out.

Insbesondere handelt es sich beim dem Anlernen des ersten neuronalen Netzwerks und des zweiten neuronalen Netzwerks um ein überwachtes Anlernen. Eine Optimierung kann beispielsweise durch ADAM durchgeführt werden. Die Gewichte können insbesondere mittels der HE-Methode initialisiert werden, wobei zusätzlich die Batch-Normalisierung genutzt werden kann. Als Aktivierungsfunktion kann insbesondere eine ReLu-Funktion genutzt werden.In particular, the teaching of the first neural network and the second neural network is a monitored teaching. An optimization can for example, be carried out by ADAM. The weights can in particular be initialized by means of the HE method, in which case the batch normalization can also be used. In particular, a ReLu function can be used as an activation function.

Insbesondere wird der Vorteil genutzt, dass die Umgebung auf Basis des dynamischen Objekts besser verstanden werden kann und somit die Eigenbewegung und eine Umgebungskarte besser bestimmt werden können. Insbesondere kann dies ferner durch die Gewichtung des dynamischen Objekts geschehen. Beispielsweise kann bestimmt werden, sollte ein Objekt statisch, beispielsweise ein Haus, sein, dass entsprechende Eigenschaften des Objekts genutzt werden, um die Eigenbewegung und Kartierung zur Erstellung der Umgebungskarte zu bestimmen. Sollte beispielsweise detektiert werden, dass es sich bei dem Objekt um ein statisches bewegliches Objekt handelt, beispielsweise um ein geparktes Kraftfahrzeug, ist dies der elektronischen Recheneinrichtung beziehungsweise den neuronalen Netzwerken bekannt, dass dieses später eventuell nicht mehr aufgefunden werden kann. Eine weitere Bewertung findet insbesondere darin statt, dass es sich bei dem Objekt um ein dynamisches Objekt handelt, welches zukünftig nicht mehr zur Bestimmung der Eigenbewegung und/oder der Umgebungskarte genutzt werden soll. Mit anderen Worten kann mittels der elektronischen Recheneinrichtung eine Klassifizierung durchgeführt werden, ob es sich bei dem erfassten Objekt um ein statisches dynamisches Objekt, ein dynamisches, also ein sich bewegendes, Objekt oder um ein statisches Objekt, beispielsweise eine Mauer, handelt. Diese Klassifizierung kann dann bei der Auswertung zusätzlich berücksichtigt werden.In particular, the advantage is used that the environment can be better understood on the basis of the dynamic object and thus the own movement and a map of the environment can be better determined. In particular, this can also be done by weighting the dynamic object. For example, if an object should be static, for example a house, it can be determined that corresponding properties of the object are used to determine its own movement and mapping for creating the environment map. If, for example, it is detected that the object is a static moving object, for example a parked motor vehicle, this is known to the electronic computing device or the neural networks, so that it may no longer be able to be found later. A further assessment takes place in particular that the object is a dynamic object which in future should no longer be used to determine its own movement and / or the map of the surroundings. In other words, the electronic computing device can be used to classify whether the detected object is a static dynamic object, a dynamic, ie moving object, or a static object, for example a wall. This classification can then also be taken into account in the evaluation.

Mit anderen Worten ist es durch das erfindungsgemäße Verfahren ermöglicht verbessert eine Odometrie des Kraftfahrzeugs und Kartierung der Umgebung (odometry an mapping) durchführen zu können.In other words, the method according to the invention enables an odometry of the motor vehicle and a mapping of the surroundings to be carried out in an improved manner.

Insbesondere kann vorgesehen sein, dass bei der ersten Auswertung und/oder bei der zweiten Auswertung virtuelle Ansichten der Umgebung als Entscheidungskriterien erzeugt werden. Insbesondere kann die Punktwolke derart ausgewertet werden, dass bei der ersten Auswertung das dynamische Objekt in einer virtuellen ersten Ansicht der Umgebung als das erste Entscheidungskriterium bestimmt wird und bei der zweiten Auswertung das dynamische Objekt in einer virtuellen zweiten Ansicht der Umgebung als das zweite Entscheidungskriterium bestimmt wird. Insbesondere ist vorgesehen, dass die virtuelle erste Ansicht und/oder die virtuelle zweite Ansicht nicht zum Anzeigen für einen Benutzer des elektronischen Fahrzeugführungssystems ausgebildet sind. Es handelt sich somit insbesondere um einen Verarbeitungsschritt, welcher in der elektronischen Recheneinrichtung als Zwischenschritt durchgeführt wird.
Gemäß einer vorteilhaften Ausgestaltungsform wird zusätzlich in Abhängigkeit der bestimmten Eigenbewegung und der Bestimmung des dynamischen Objekts auf Basis der ersten Auswertung und der zweiten Auswertung eine Umgebungskarte der Umgebung mittels der elektronischen Recheneinrichtung erzeugt. Insbesondere handelt es sich bei der Umgebungskarte um eine 3D-Umgebungskarte. Insbesondere durch das Herausfiltern des dynamischen Objekts und der Bestimmung der Eigenbewegung kann somit verbessert die 3D-Umgebungskarte erzeugt werden. Insbesondere können dadurch so genannte Geister innerhalb der Umgebungskarte reduziert werden, was zu einer verbesserten Erzeugung der Umgebungskarte führt.In particular, it can be provided that in the first evaluation and / or in the second evaluation, virtual views of the surroundings are generated as decision criteria. In particular, the point cloud can be evaluated in such a way that in the first evaluation the dynamic object in a virtual first view of the surroundings is determined as the first decision criterion and in the second evaluation the dynamic object in a virtual second view of the surroundings is determined as the second decision criterion . In particular, it is provided that the virtual first view and / or the virtual second view are not designed to be displayed for a user of the electronic vehicle guidance system. It is therefore in particular a processing step which is carried out in the electronic computing device as an intermediate step.
According to an advantageous embodiment, an environment map of the environment is additionally generated by means of the electronic computing device as a function of the determined intrinsic movement and the determination of the dynamic object on the basis of the first evaluation and the second evaluation. In particular, the environment map is a 3D environment map. In particular, by filtering out the dynamic object and determining its own movement, the 3D environment map can be generated in an improved manner. In particular, so-called ghosts within the environment map can thereby be reduced, which leads to an improved generation of the environment map.

Ebenfalls vorteilhaft ist, wenn zum Entfernen des zumindest einen dynamischen Objekts die erste Auswertung und die zweite Auswertung fusioniert werden. Mit anderen Worten werden die erste Auswertung und die zweite Auswertung zusammengesetzt und entsprechend ausgewertet. Die Auswertung der Eigenbewegung und/oder der Umgebungskarte findet somit erst aus der fusionierten Auswertung statt. Dadurch ist es ermöglicht, dass die Information bezüglich des erfassten dynamischen Objekts der ersten Auswertung und der zweiten Auswertung vorteilhaft fusioniert wird und beispielsweise somit dynamische Objekte nicht übersehen werden können. Sollte beispielsweise ein dynamisches Objekt nur bei der ersten Auswertung auftreten und nicht bei der zweiten Auswertung, so kann dadurch verhindert werden, dass dieses dynamische Objekt nicht mit ausgewertet wird. Durch die Fusionierung können somit dynamische Objekte verbessert herausgefiltert beziehungsweise entfernt werden, wodurch die Bestimmung der Eigenbewegung und die Erstellung der Umgebungskarte verbessert durchgeführt werden können.It is also advantageous if the first evaluation and the second evaluation are merged to remove the at least one dynamic object. In other words, the first evaluation and the second evaluation are combined and evaluated accordingly. The evaluation of the own movement and / or the map of the surroundings therefore only takes place from the merged evaluation. This enables the information relating to the detected dynamic object of the first evaluation and the second evaluation to be advantageously merged and, for example, dynamic objects cannot be overlooked. If, for example, a dynamic object only occurs in the first evaluation and not in the second evaluation, this can prevent this dynamic object from being evaluated as well. As a result of the merging, dynamic objects can thus be filtered out or removed in an improved manner, as a result of which the determination of their own movement and the creation of the environment map can be carried out in an improved manner.

In einer weiteren vorteilhaften Ausgestaltungsform wird bei der ersten Auswertung virtuell als eine erste Ansicht eine Frontansicht als erstes Entscheidungskriterium aus der Punktwolke erzeugt und/oder bei der zweiten Auswertung virtuell als eine zweite Ansicht eine Vogelansicht als zweites Entscheidungskriterium aus der Punktwolke erzeugt. Bei diesen Ansichten handelt es sich um unterschiedliche Ansichten, wodurch verbessert das dynamische Objekt innerhalb der Frontansicht und/oder der Vogelansicht erfasst werden kann. Bei der Frontansicht handelt es sich insbesondere um ein zweidimensionales Feld, welches beispielsweise die Dimensionen von 451 x 64 x 2 aufweisen kann bezugnehmend auf die Polarkoordinaten und das geometrische Modell der Erfassungseinrichtung. Bei der Vogelansicht, welche auch als Bird-View-Ansicht bezeichnet werden kann, kann die Punktwolke über ein Netz, welches beispielsweise ein Netz von 0,1 qm² aufweist, welches 60 m nach vorne aufweisen kann und 25 m nach hinten aufweisen kann, bereitgestellt werden. Insbesondere kann die Vogelansicht dabei sechs unterschiedliche Eigenschaften aufweisen, welche ein Eingangsfeld von 500 x 600 x 6 aufweisen kann.In a further advantageous embodiment, in the first evaluation, a front view is virtually generated as a first decision criterion from the point cloud as a first view and / or in the second evaluation, a bird's view is generated virtually as a second decision criterion from the point cloud. These views are different views, as a result of which the dynamic object can be better captured within the front view and / or the bird view. The front view is, in particular, a two-dimensional field which, for example, can have dimensions of 451 × 64 × 2 with reference to the polar coordinates and the geometric model of the detection device. With the bird view, which is also known as the bird view may be the point cloud over a network, comprising for example a power of 0.1 sq m ^2, which can be 60 m may comprise forward and 25 m to the rear may be provided. In particular, the bird's view can have six different properties, which an input field of 500 x 600 x 6 can have.

Insbesondere kann vorgesehen sein, dass bei der Frontansicht eine Region von 78 im horizontalen Sichtfeld der Front des Kraftfahrzeugs erfasst wird. Die übrigen Punkte der Punktwolke können dann auf eine Frontsicht projiziert werden, um das geometrische Modell für die Erfassungseinrichtung, beispielsweise in einem 64 x 451-Feld zu erzeugen.In particular, it can be provided that, in the front view, a region of 78 is recorded in the horizontal field of view of the front of the motor vehicle. The remaining points of the point cloud can then be projected onto a front view in order to generate the geometric model for the detection device, for example in a 64 × 451 field.

Ferner hat es sich als vorteilhaft erwiesen, wenn zur Erzeugung der Vogelansicht ein jeder Punkt der Punktwolke auf einen virtuellen Boden projiziert wird und zumindest eine Zelle mit den Punkten mit einer vorgegebenen Fläche, insbesondere mit einer Fläche von einer jeweiligen Seitenlänge von 0,1 m, diskretisiert wird. Mit anderen Worten wird zur Erzeugung der Vogelansicht die Punktwolke in ein Netz, ein sogenanntes Grid, aufgeteilt. Eine jede Zelle des Netzes weist dabei eine hier mit einer jeweiligen Seitenlänge von 0,1 m auf. Dieser Zelle können unterschiedliche Eigenschaften, insbesondere sechs Eigenschaften, zugewiesen werden. Durch eine jeweilige Auswertung dieser Zelle kann somit zuverlässig das dynamische Objekt bestimmt werden, wodurch eine verbesserte Bestimmung der Eigenbewegung realisiert werden kann.Furthermore, it has proven to be advantageous if, in order to generate the bird's view, each point of the point cloud is projected onto a virtual floor and at least one cell with the points has a predetermined area, in particular an area of a respective side length of 0.1 m, is discretized. In other words, the point cloud is divided into a network, a so-called grid, to generate the bird's view. Each cell of the network has one here with a side length of 0.1 m. Different properties, in particular six properties, can be assigned to this cell. By evaluating this cell, the dynamic object can thus be reliably determined, whereby an improved determination of its own movement can be realized.

Es hat sich weiterhin als vorteilhaft erwiesen, wenn zum Bestimmen des dynamischen Objekts in der Frontansicht einem jedem Punkt der Punktwolke ein Abstandswert und/oder ein Reflexionswert zugewiesen werden. Bei dem Abstandswert handelt es sich insbesondere um den Abstand des Punktes zur Erfassungseinrichtung. Der Reflexionswert gibt insbesondere die Reflexionseigenschaften des Punktes wieder. Insbesondere kann auf Basis des Abstandswerts und/oder des Reflexionswertes zuverlässig das dynamische Objekt bestimmt werden. Insbesondere kann dadurch bestimmt werden, ob es sich bei dem erfassten Objekt um ein statisches Objekt oder ein dynamisches Objekt handelt. Dadurch ist eine verbesserte Bestimmung der Eigenbewegung möglich.It has also proven to be advantageous if, in order to determine the dynamic object in the front view, a distance value and / or a reflection value are assigned to each point of the point cloud. The distance value is in particular the distance between the point and the detection device. The reflection value particularly reflects the reflection properties of the point. In particular, the dynamic object can be reliably determined on the basis of the distance value and / or the reflection value. In particular, it can thereby be determined whether the detected object is a static object or a dynamic object. This enables an improved determination of the proper movement.

Gemäß einer weiteren vorteilhaften Ausgestaltungsform werden zum Bestimmen des dynamischen Objekts in der Vogelansicht einem jedem Punkt der Punktwolke ein Binärbelegungswert und/oder ein Normalbelegungswert und/oder ein Reflexionswert und/oder zumindest ein Höhenwert zugewiesen. Bei dem Binärbewegungswert kann es sich insbesondere um die Eigenschaft handeln, ob die Zelle belegt ist oder nicht belegt ist. Sollte beispielsweise die Zelle belegt sein, so kann dieser ein Wert von 1 zugewiesen werden, sollte die Zelle frei sein, so kann dieser ein Wert von 0 zugewiesen werden. Dadurch ist es ermöglicht, dass in Abhängigkeit der vorgegebenen Werte, welche insbesondere sechs Eigenschaften eines jeden Punkts beschreiben, das dynamische Objekt in Abhängigkeit der Vogelansicht bestimmt werden kann. Dadurch ist eine verbesserte Bewertung der Eigenbewegung innerhalb der Umgebung des Kraftfahrzeugs ermöglicht.According to a further advantageous embodiment, a binary occupancy value and / or a normal occupancy value and / or a reflection value and / or at least one height value are assigned to each point of the point cloud to determine the dynamic object in the bird's view. The binary movement value can in particular be the property of whether the cell is occupied or not. For example, if the cell is occupied, a value of 1 can be assigned to it; if the cell is free, a value of 0 can be assigned. This enables the dynamic object to be determined as a function of the bird's view as a function of the predefined values, which in particular describe six properties of each point. This enables an improved evaluation of the natural movement within the surroundings of the motor vehicle.

Ferner hat es sich als vorteilhaft erwiesen, wenn als der zumindest eine Höhenwert ein durchschnittlicher Höhenwert und/oder ein minimaler Höhenwert und/oder ein maximaler Höhenwert bestimmt wird. Insbesondere kann somit jedem Punkt eine entsprechende Eigenschaft bezüglich der Höhe zugwiesen werden. Dadurch kann verbessert das dynamische Objekt als dynamisches Objekt bestimmt werden. Dies ermöglicht eine verbesserte Bestimmung der Eigenbewegung des Kraftfahrzeugs.Furthermore, it has proven to be advantageous if an average altitude value and / or a minimum altitude value and / or a maximum altitude value is determined as the at least one altitude value. In particular, a corresponding property with regard to the height can be assigned to each point. As a result, the dynamic object can be determined as a dynamic object in an improved manner. This enables an improved determination of the motor vehicle's own motion.

In einer weiteren vorteilhaften Ausgestaltungsform werden das erste neuronale Netzwerk und/oder das zweite neuronale Netzwerk als ein tiefenneuronales Netzwerk bereitgestellt. Beispielsweise kann vorgesehen sein, dass das erste neuronale Netzwerk zumindest sechs Schichten und eine Eingabeschicht und eine Ausgabeschicht aufweist. Ferner kann vorgesehen sein, dass auch das zweite neuronale Netzwerk beispielsweise sechs Schichten und eine Eingabe- und eine Ausgabeschicht aufweist. Durch die Nutzung der neuronalen Netzwerke als tiefenneuronale Netzwerke kann zuverlässig die Bestimmung des dynamischen Objekts durchgeführt werden. Insbesondere kann zuverlässig bestimmt werden, ob es sich bei dem erfassten Objekt um ein statisches Objekt, oder ein dynamisches Objekt handelt. Ferner kann insbesondere eine Klassifizierung des Objekts durchgeführt werden, beispielsweise ob es sich bei dem statischen Objekt um ein geparktes Fahrzeug handelt, also um ein Fahrzeug das bewegt werden kann, oder um beispielsweise ein Haus als um ein Objekt, das tatsächlich nicht bewegt wird und dann zur Bestimmung der Eigenbewegung und der Kartierung genutzt werden kann. Dadurch kann eine Klassifizierung des Objekts und eine Bestimmung der Dynamik oder Statik des Objekts durchgeführt werden. Dies verbessert die Bestimmung der Eigenbewegung und die Erzeugung der Umgebungskarte.In a further advantageous embodiment, the first neural network and / or the second neural network are provided as a deep neural network. For example, it can be provided that the first neural network has at least six layers and one input layer and one output layer. Furthermore, it can be provided that the second neural network also has, for example, six layers and an input and an output layer. By using the neural networks as deep neural networks, the dynamic object can be reliably determined. In particular, it can be reliably determined whether the detected object is a static object or a dynamic object. Furthermore, the object can in particular be classified, for example whether the static object is a parked vehicle, i.e. a vehicle that can be moved, or, for example, a house as an object that is actually not moved and then can be used to determine proper movement and mapping. A classification of the object and a determination of the dynamics or statics of the object can thereby be carried out. This improves the determination of the proper motion and the generation of the environment map.

Ferner hat es sich als vorteilhaft erwiesen, wenn mittels der elektronischen Recheneinrichtung zumindest ein weiteres dynamisches Objekt, insbesondere eine Vielzahl von weiteren dynamischen Objekten, aus der reduzierten Punktwolke entfernt werden. Mit anderen Worten ist vorgesehen, dass innerhalb der erfassten Umgebung jedes dynamische Objekt herausgefiltert wird. Unter Vielzahl ist vorliegend insbesondere mehr als zwei zu verstehen. Durch das Herausfiltern der Vielzahl, insbesondere aller dynamischer Objekte, in der Umgebung des Kraftfahrzeugs ist es ermöglicht, dass zuverlässig die Eigenbewegung und die Umgebungskarte erstellt werden können. Insbesondere ist bevorzugt vorgesehen, dass als Erfassungseinrichtung ein Lidarsensor genutzt wird und zumindest die dynamischen Objekte, welche durch den Lidarsensor aufgrund der Reichweitenbeschränkung erfassbar sind, erfasst werden und herausgefiltert werden.Furthermore, it has proven to be advantageous if at least one further dynamic object, in particular a multiplicity of further dynamic objects, are removed from the reduced point cloud by means of the electronic computing device. In other words, it is provided that each dynamic object is filtered out within the captured environment. Under multitude is present especially to understand more than two. By filtering out the large number, in particular all dynamic objects, in the vicinity of the motor vehicle, it is possible to reliably create the own movement and the environment map. In particular, it is preferably provided that a lidar sensor is used as the detection device and at least the dynamic objects that can be detected by the lidar sensor due to the range limitation are detected and filtered out.

Gemäß einer weiteren vorteilhaften Ausgestaltungsform wird mittels einer als Lidarsensoreinrichtung ausgebildeten Erfassungseinrichtung die Umgebung des Kraftfahrzeugs erfasst. Ferner ist es auch möglich, dass die Umgebung mittels eines Kamerasensors, eines Ultraschallsensors und/oder eines Radarsensors erfasst werden kann. Insbesondere handelt es sich bei der Erfassungseinrichtung somit um eine Erfassungseinrichtung, mittels welcher die Punktwolke erzeugt werden kann. Beispielsweise kann die Lidarsensoreinrichtung Lasereinrichtungselemente aufweisen, mittels welchen die Umgebung erfasst werden kann. Dadurch ist beispielsweise eine horizontale Erfassung von 0,1725 ermöglicht. Dadurch kann eine zuverlässige Erfassung der Umgebung realisiert werden.According to a further advantageous embodiment, the surroundings of the motor vehicle are detected by means of a detection device designed as a lidar sensor device. Furthermore, it is also possible that the surroundings can be recorded by means of a camera sensor, an ultrasonic sensor and / or a radar sensor. In particular, the detection device is thus a detection device by means of which the point cloud can be generated. For example, the lidar sensor device can have laser device elements by means of which the surroundings can be detected. This enables a horizontal detection of 0.1725, for example. A reliable detection of the environment can thereby be realized.

In einer weiteren vorteilhaften Ausgestaltungsform wird das erste neuronale Netzwerk als faltendes und entfaltendes neuronales Netzwerk bereitgestellt und/oder das zweite neuronale Netzwerk als faltendes und entfaltendes neuronales Netzwerk bereitgestellt. Das faltende neuronale Netzwerk wird auch als Convolutional Neural Network (CNN) bezeichnet. Das entfaltende neuronale Netzwerk wird auch als Deconvolutional Neural Network (DNN) bezeichnet. Die jeweiligen neuronalen Netzwerke haben somit ein extrahierendes (kontraktives) Netzwerkteil, um die Eigenschaften herauszufiltern und ein expansives Netzwerkteil, welches zur Erzeugung der Originalauflösung herangezogen werden kann, um danach eine Per-Pixelvorhersage treffen zu können. Merkmale aus dem extrahierenden und dem expansiven Teil mit gleicher Auflösung werden während des Expansivschrittes verkettet, sodass reichere Grob- und Feinmerkmale an die nächsten Schichten weitergegeben werden können. Insbesondere kann vorgesehen sein, dass die Auflösung des ersten neuronalen Netzwerks 64 x 451 beträgt und für das zweite neuronale Netzwerk 500 x 600 beträgt. Für jeden Ausgabepixel wird dann eine Vorhersagewahrscheinlichkeit erhalten, dass dieses Pixel-Raster zu einem beweglichen Objekt gehört oder nicht.In a further advantageous embodiment, the first neural network is provided as a folding and unfolding neural network and / or the second neural network is provided as a folding and unfolding neural network. The convolutional neural network is also known as the convolutional neural network (CNN). The unfolding neural network is also known as the Deconvolutional Neural Network (DNN). The respective neural networks thus have an extracting (contractive) network part in order to filter out the properties and an expansive network part which can be used to generate the original resolution so that a per-pixel prediction can then be made. Features from the extracting and expanding parts with the same resolution are concatenated during the expansion step, so that richer coarse and fine features can be passed on to the next layers. In particular, it can be provided that the resolution of the first neural network is 64 × 451 and for the second neural network is 500 × 600. A probability of prediction is then obtained for each output pixel that this pixel grid belongs to a moving object or not.

Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren nach dem vorhergehenden Aspekt durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung abgearbeitet wird.Another aspect of the invention relates to a computer program product with program code means which are stored in a computer-readable medium in order to carry out the method according to the preceding aspect when the computer program product is processed on a processor of an electronic computing device.

Ein Computerprogramm ist eine Sammlung von Anweisungen zur Ausführung einer bestimmten Aufgabe, die darauf ausgelegt ist. eine bestimmte Klasse von Problemen zu lösen. Die Anweisungen eines Programms sind so konzipiert, dass sie von einem Computer ausgeführt werden und es ist erforderlich, dass ein Computer in der Lage ist, Programme auszuführen.A computer program is a collection of instructions for performing a specific task that is designed to do so. solve a certain class of problems. A program's instructions are designed to be carried out by a computer and it is necessary that a computer be able to run programs.

Datenspeicherung ist die Aufzeichnung (Speicherung) von Informationen (Daten) auf einem Speichermedium. Die Aufzeichnung kann die durch praktisch jede Form von Energie erreicht werden. Die elektronische Datenspeicherung benötigt elektrische Energie für das Speichern und Abrufen von Daten.Data storage is the recording (storage) of information (data) on a storage medium. The recording can be achieved by practically any form of energy. Electronic data storage requires electrical energy to store and retrieve data.

Ein nochmals weiterer Aspekt der Erfindung betrifft eine elektronische Recheneinrichtung zum Bestimmen einer Eigenbewegung eines Kraftfahrzeugs mit einem Computerprogrammprodukt nach dem vorhergehenden Aspekt. Die elektronische Recheneinrichtung weist eine Prozessoreinrichtung auf, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung einen Programmcode aufweisen, der dazu eingerichtet ist, beim Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.Yet another aspect of the invention relates to an electronic computing device for determining a proper movement of a motor vehicle with a computer program product according to the preceding aspect. The electronic computing device has a processor device which is set up to carry out an embodiment of the method according to the invention. For this purpose, the processor device can have at least one microprocessor and / or at least one microcontroller and / or at least one FPGA (Field Programmable Gate Array) and / or at least one DSP (Digital Signal Processor). Furthermore, the processor device can have a program code which is set up to carry out the embodiment of the method according to the invention when it is executed by the processor device. The program code can be stored in a data memory of the processor device.

Ein nochmals weiterer Aspekt der Erfindung betrifft ein elektronisches Fahrzeugführungssystem für ein Kraftfahrzeug mit einer Erfassungseinrichtung und mit einer elektronischen Recheneinrichtung nach dem vorhergehenden Aspekt, wobei das elektronische Fahrzeugführungssystem zum Durchführen eines Verfahrens nach einem der vorhergehenden Aspekte ausgebildet ist. Insbesondere wird das Verfahren mittels des elektronischen Fahrzeugführungssystems durchgeführt. Das elektronische Fahrzeugführungssystem kann zum zumindest teilweise autonomen Betrieb beziehungsweise zum vollautonomen Betrieb des Kraftfahrzeugs herangezogen werden.Yet another aspect of the invention relates to an electronic vehicle guidance system for a motor vehicle with a detection device and with an electronic computing device according to the preceding aspect, the electronic vehicle guidance system being designed to carry out a method according to one of the preceding aspects. In particular, the method is carried out by means of the electronic vehicle guidance system. The electronic vehicle control system can be used for at least partially autonomous operation or for fully autonomous operation of the motor vehicle.

Ein nochmals weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem elektronischen Fahrzeugführungssystem nach dem vorhergehenden Aspekt. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet.Yet another aspect of the invention relates to a motor vehicle with an electronic vehicle guidance system according to the preceding aspect. The motor vehicle is designed in particular as a passenger vehicle.

Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen der elektronischen Recheneinrichtung, des elektronisches Fahrzeugführungssystems sowie des Kraftfahrzeugs anzusehen. Die elektronische Recheneinrichtung, das elektronische Fahrzeugführungssystem sowie das Kraftfahrzeug weisen dazu gegenständliche Merkmale auf, welche ein Durchführen des Verfahrens und eine vorteilhafte Ausgestaltungsform davon ermöglichen.Advantageous embodiments of the method are to be regarded as advantageous embodiments of the electronic computing device, the electronic vehicle guidance system and the motor vehicle. The electronic computing device, the electronic vehicle guidance system and the motor vehicle have objective features for this purpose which enable the method and an advantageous embodiment thereof to be carried out.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nahfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch aus separierten Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungsformen, als offenbart anzusehen, die über die in Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.Further features of the invention emerge from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description and the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the combination specified, but also in other combinations or on their own, without the scope of the Invention to leave. There are thus also embodiments of the invention to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, but arise from separate combinations of features from the explained embodiments and can be generated. There are also designs and combinations of features to be seen as disclosed, which therefore do not have all the features of an originally formulated claim. In addition, designs and combinations of features, in particular through the embodiments set out above, are to be regarded as disclosed, which go beyond or differ from the combinations of features set forth in the back-references of the claims.

Ausführungsbeispiele werden nachfolgend anhand von schematischen Zeichnungen erläutert.Exemplary embodiments are explained below with reference to schematic drawings.

Dabei zeigen:

1 eine schematische Draufsicht auf ein Kraftfahrzeug mit einer Ausführungsform eines elektronischen Fahrzeugführungssystems; und
2 ein schematisches Blockschaltbild einer Ausführungsform des elektronischen Fahrzeugführungssystems.

Show:

1 a schematic plan view of a motor vehicle with an embodiment of an electronic vehicle guidance system; and
2 a schematic block diagram of an embodiment of the electronic vehicle guidance system.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.Identical or functionally identical elements are provided with the same reference symbols in the figures.

1 zeigt in einer schematischen Draufsicht ein Kraftfahrzeug 1 mit einer Ausführungsform eines elektronischen Fahrzeugführungssystems 2. Das elektronische Fahrzeugführungssystem 2 weist eine elektronische Recheneinrichtung 3 sowie eine Erfassungseinrichtung 4 auf. Die Erfassungseinrichtung 4 ist zum Erfassen einer Umgebung 5 des Kraftfahrzeugs 1 ausgebildet. In der Umgebung 5 befindet sich insbesondere ein Objekt, welches insbesondere als ein dynamisches Objekt 6 ausgebildet sein kann. Als dynamisches Objekt 6 kann beispielsweise ein weiteres Kraftfahrzeug, ein Fußgänger, ein Fahrrad oder ein Zug angesehen werden. Mittels der Erfassungseinrichtung 4 kann eine Erfassungsstrahlung 7 aus einer Aussendeeinrichtung 8 der Erfassungseinrichtung 4 in die Umgebung 5 ausgesendet werden. Die an dem dynamischen Objekt 6 reflektierte Reflexionsstrahlung 9 kann mittels einer Empfangseinrichtung 10 der Erfassungseinrichtung 4 empfangen werden. 1 shows a motor vehicle in a schematic plan view 1 with an embodiment of an electronic vehicle guidance system 2 . The electronic vehicle guidance system 2 has an electronic computing device 3 and a detection device 4. The detection device 4 is for detecting an environment 5 of the motor vehicle 1 educated. In the neighborhood 5 in particular, there is an object which, in particular, is a dynamic object 6th can be formed. As a dynamic object 6th For example, another motor vehicle, a pedestrian, a bicycle or a train can be viewed. By means of the detection device 4, detection radiation 7th from a broadcast facility 8th the detection device 4 in the environment 5 be sent out. The one on the dynamic object 6th reflected reflection radiation 9 can by means of a receiving device 10 the detection device 4 are received.

Darüber hinaus kann die Erfassungseinrichtung 4 eine weitere elektronische Recheneinrichtung, die beispielsweise durch einen Mikrocontroller, einen digitalen Signalprozessor oder einen FPGA (Field Programmable Gate Array - integrierter Schaltkreis) gebildet sein kann, umfassen. Mit dieser elektronischen Recheneinrichtung kann die Aussendeeinrichtung 8 zum Aussenden angesteuert werden. Darüber hinaus kann die elektronische Recheneinrichtung Signale der Empfangseinrichtung 10 auswerten, die mit der Empfangseinrichtung 10 auf Grundlage der empfangenen Reflexionsstrahlung 9 erzeugt werden.In addition, the detection device 4 can comprise a further electronic computing device, which can be formed, for example, by a microcontroller, a digital signal processor or an FPGA (Field Programmable Gate Array - integrated circuit). With this electronic computing device, the transmitting device 8th can be controlled for transmission. In addition, the electronic computing device can receive signals from the receiving device 10 evaluate that with the receiving device 10 based on the received reflection radiation 9 be generated.

Bei der Erfassungseinrichtung 4 handelt es sich insbesondere um einen Lidarsensor. Mit anderen Worten wird mittels einer als Lidarsensoreinrichtung ausgebildeten Erfassungseinrichtung 4 die Umgebung 5 des Kraftfahrzeugs 1 erfasst.The detection device 4 is in particular a lidar sensor. In other words, by means of a detection device 4 designed as a lidar sensor device, the surroundings 5 of the motor vehicle 1 detected.

Im vorliegenden Ausführungsbeispiel ist die Erfassungseinrichtung 4 an einer Frontseite 11 des Kraftfahrzeugs 1 ausgebildet. Die elektronische Recheneinrichtung 3 weist insbesondere ein Computerprogrammprodukt mit Programmcodemittel auf, um die Durchführung des erfindungsgemäßen Verfahrens zu ermöglichen.In the present exemplary embodiment, the detection device 4 is on a front side 11 of the motor vehicle 1 educated. The electronic computing device 3 has in particular a computer program product with program code means in order to enable the method according to the invention to be carried out.

2 zeigt als schematisches Blockschaltbild eine Ausführungsform des elektronischen Fahrzeugführungssystems 2. Im folgenden Ausführungsbeispiel ist insbesondere die elektronische Recheneinrichtung 3 des elektronischen Fahrzeugführungssystems 2 gezeigt. 2 shows as a schematic block diagram an embodiment of the electronic vehicle guidance system 2 . In the following exemplary embodiment, the electronic computing device is in particular 3 of the electronic vehicle guidance system 2 shown.

Ein Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen einer Eigenbewegung E (1) des Kraftfahrzeugs 1 in der Umgebung 5 des Kraftfahrzeugs 1 mittels des elektronischen Fahrzeugführungssystems 2. Es wird eine Punktwolke 12 der Umgebung 5 mittels der elektronischen Recheneinrichtung 3 des elektronischen Fahrzeugführungssystems 2 durch Erfassen der Umgebung 5 mittels der Erfassungseinrichtung 4 des elektronischen Fahrzeugführungssystems 2 erzeugt. Es erfolgen eine erste Auswertung der Punktwolke 12 und eine zur ersten Auswertung unterschiedliche zweite Auswertung der Punktwolke 12 mittels der elektronischen Recheneinrichtung 3. Es wird das zumindest eine dynamische Objekt 6 in der Umgebung 5 in Abhängigkeit der ersten Auswertung mittels eines ersten neuronalen Netzwerks 15 der elektronischen Recheneinrichtung 3 bestimmt und/oder es wird das zumindest eine dynamische Objekt in der Umgebung 5 in Abhängigkeit der zweiten Auswertung mittels eines zum ersten neuronalen Netzwerk 15 unterschiedlichen zweiten neuronalen Netzwerk 16 der elektronischen Recheneinrichtung 3 bestimmt. Es erfolgt ein Erzeugen einer reduzierten Punktwolke 33 durch Entfernen des zumindest einen dynamischen Objekts 6 aus der Punktwolke 12 durch die elektronische Recheneinrichtung 3 abhängig von den Informationen, die bei der Bestimmung des dynamischen Objekts 6 mittels des ersten neuronalen Netzwerks 15 und/oder des zweiten neuronalen Netzwerks 16 erhalten werden. Es erfolgt ein Bestimmen der Eigenbewegung E des Kraftfahrzeugs 1 durch Auswerten der reduzierten Punktwolke 33.One aspect of the invention relates to a method for determining a proper movement E. ( 1 ) of the motor vehicle 1 in the neighborhood 5 of the motor vehicle 1 by means of the electronic vehicle guidance system 2 . It becomes a point cloud 12 the environment 5 by means of the electronic computing device 3 of the electronic vehicle guidance system 2 by sensing the environment 5 by means of the detection device 4 of the electronic vehicle guidance system 2 generated. An initial evaluation of the point cloud takes place 12 and a second evaluation of the point cloud that differs from the first evaluation 12 using the electronic Computing device 3 . It will be at least one dynamic object 6th in the neighborhood 5 depending on the first evaluation using a first neural network 15th the electronic computing device 3 determined and / or the at least one dynamic object in the environment 5 as a function of the second evaluation by means of a neural network for the first 15th different second neural network 16 the electronic computing device 3 certainly. A reduced point cloud is generated 33 by removing the at least one dynamic object 6th from the point cloud 12 by the electronic computing device 3 depending on the information obtained in determining the dynamic object 6th by means of the first neural network 15th and / or the second neural network 16 can be obtained. The proper movement is determined E. of the motor vehicle 1 by evaluating the reduced point cloud 33 .

Insbesondere kann vorgesehen sein, dass bei der ersten Auswertung und/oder bei der zweiten Auswertung virtuelle Ansichten 13, 14 der Umgebung 5 als Entscheidungskriterien erzeugt werden. Insbesondere kann die Punktwolke 12 derart ausgewertet werden, dass bei der ersten Auswertung das dynamische Objekt 6 in einer virtuellen ersten Ansicht 13 der Umgebung 5 als das erste Entscheidungskriterium bestimmt wird und bei der zweiten Auswertung das dynamische Objekt 6 in einer virtuellen zweiten Ansicht 14 der Umgebung 5 als das zweite Entscheidungskriterium bestimmt wird. Insbesondere ist vorgesehen, dass die virtuelle erste Ansicht 13 und/oder die virtuelle zweite Ansicht 14 nicht zum Anzeigen für einen Benutzer des elektronischen Fahrzeugführungssystems 2 ausgebildet sind. Es handelt sich somit insbesondere um einen Verarbeitungsschritt, welcher in der elektronischen Recheneinrichtung 3 als Zwischenschritt durchgeführt wird. Insbesondere wird im vorliegenden Ausführungsbeispiel die erste Auswertung mittels der ersten Ansicht 13 und die zweite Auswertung mittels der zweiten Ansicht 14 durchgeführt.In particular, it can be provided that during the first evaluation and / or during the second evaluation, virtual views 13 , 14th the environment 5 are generated as decision criteria. In particular, the point cloud 12 be evaluated in such a way that the dynamic object 6th in a virtual first view 13 the environment 5 is determined as the first decision criterion and the dynamic object in the second evaluation 6th in a virtual second view 14th the environment 5 is determined as the second decision criterion. In particular, it is provided that the virtual first view 13 and / or the virtual second view 14th not for display to a user of the electronic vehicle guidance system 2 are trained. It is therefore in particular a processing step that takes place in the electronic computing device 3 is carried out as an intermediate step. In particular, in the present exemplary embodiment, the first evaluation is carried out using the first view 13 and the second evaluation using the second view 14th carried out.

Dadurch ist es ermöglicht, dass verbessert die Eigenbewegung E des Kraftfahrzeugs 1 bestimmt werden kann. Dies hat insbesondere den Hintergrund darin, dass die Bestimmung der Eigenbewegung E nicht durch das dynamische Objekt 6, insbesondere aufgrund der dabei entstehenden Fehler, die mit dem dynamischen Objekt 6 einhergehen, durchgeführt werden kann. Mit anderen Worten wird das dynamische Objekt 6 entfernt beziehungsweise herausgefiltert und es wird erst dann die Eigenbewegung E bestimmt. Insbesondere wird dann lediglich an statischen Objekten in der Umgebung 5 die Eigenbewegung E bestimmt. Dadurch kann zuverlässig und verbessert die Eigenbewegung E des Kraftfahrzeugs 1 bestimmt werden.This makes it possible that the proper movement is improved E. of the motor vehicle 1 can be determined. The reason for this in particular is that the determination of proper motion E. not through the dynamic object 6th , especially because of the errors that arise with the dynamic object 6th go hand in hand, can be carried out. In other words, it becomes the dynamic object 6th removed or filtered out and only then will the proper movement E. certainly. In particular, only static objects in the area are then used 5 the proper motion E. certainly. This can be reliable and improves proper movement E. of the motor vehicle 1 to be determined.

Als dynamisches Objekt 6 können insbesondere Fußgänger, Fahrräder, weitere Kraftfahrzeuge, Züge oder weitere dynamische Objekte 6 angesehen werden.As a dynamic object 6th can in particular pedestrians, bicycles, other motor vehicles, trains or other dynamic objects 6th be considered.

Bevorzugt ist vorgesehen, dass das dynamische Objekt 6 mittels der ersten Auswertung, vorliegende mittels der ersten Ansicht 13, und mittels der zweiten Auswertung, vorliegend mittels der zweiten Ansicht 14, bestimmt wird.It is preferably provided that the dynamic object 6th by means of the first evaluation, present by means of the first view 13 , and by means of the second evaluation, in this case by means of the second view 14th , is determined.

Mit anderen Worten findet eine Auswertung zur Eigenbewegung E erst dann statt, wenn die Umgebung 5 um das zumindest eine dynamische Objekt 6 „bereinigt“, also herausgefiltert, wurde. Somit wird eine verbesserte Punktwolke 12, welcher der reduzierten Punktwolke 33 entspricht, zur Auswertung für die Eigenbewegung E bereitgestellt. Des Weiteren ist die Punktwolke 12 um das zumindest eine dynamische Objekte 6 bereinigt, mit anderen Worten weist diese Punktwolke 12 eine geringere Anzahl an Punkten auf, wodurch eine schnellere beziehungsweise verbesserte Verarbeitung dieser Punktwolke 12, also der reduzierten Punktwolke 33, durchgeführt werden kann.In other words, there is an evaluation of the proper movement E. only take place when the environment 5 around the at least one dynamic object 6th Was "cleaned up", ie filtered out. This creates an improved point cloud 12 , which of the reduced point cloud 33 corresponds to the evaluation for the proper movement E. provided. Furthermore is the point cloud 12 around the at least one dynamic object 6th adjusted, in other words this point cloud 12 a smaller number of points, resulting in faster or improved processing of this point cloud 12 , i.e. the reduced point cloud 33 , can be carried out.

Insbesondere handelt es sich beim dem Anlernen des ersten neuronalen Netzwerks 15 und des zweiten neuronalen Netzwerks 16 um ein überwachtes Anlernen. Eine Optimierung kann beispielsweise durch ADAM durchgeführt werden. Die Gewichte können insbesondere mittels der HE-Methode initialisiert werden, wobei zusätzlich die Batch-Normalisierung genutzt werden kann. Als Aktivierungsfunktion kann insbesondere eine ReLu-Funktion genutzt werden.In particular, it involves teaching the first neural network 15th and the second neural network 16 a supervised learning. Optimization can be carried out by ADAM, for example. The weights can in particular be initialized by means of the HE method, in which case the batch normalization can also be used. In particular, a ReLu function can be used as an activation function.

Insbesondere wird der Vorteil genutzt, dass die Umgebung 5 auf Basis des dynamischen Objekts 6 besser verstanden werden kann und somit die Eigenbewegung E und die Umgebungskarte U besser bestimmt werden können. Insbesondere kann dies ferner durch die Gewichtung des dynamischen Objekts 6 geschehen. Beispielsweise kann bestimmt werden, sollte ein Objekt statisch, beispielsweise ein Haus, sein, dass entsprechende Eigenschaften des Objekts genutzt werden, um die Eigenbewegung E und Kartierung zur Erstellung der Umgebungskarte U zu bestimmen. Sollte beispielsweise detektiert werden, dass es sich bei dem Objekt um ein statisches bewegliches Objekt handelt, beispielsweise um ein geparktes Kraftfahrzeug, ist dies der elektronischen Recheneinrichtung 3 beziehungsweise den neuronalen Netzwerken 15, 16 bekannt, dass dieses später eventuell nicht mehr aufgefunden werden kann. Eine weitere Bewertung findet insbesondere darin statt, dass es sich bei dem Objekt um ein dynamisches Objekt 6 handelt, welches zukünftig nicht mehr zur Bestimmung der Eigenbewegung E und/oder der Umgebungskarte U genutzt werden soll. Mit anderen Worten kann mittels der elektronischen Recheneinrichtung 3 eine Klassifizierung durchgeführt werden, ob es sich bei dem erfassten Objekt um ein statisches dynamisches Objekt, ein dynamisches, also ein sich bewegendes, Objekt 6 oder um ein statisches Objekt, beispielsweise eine Mauer, handelt. Diese Klassifizierung kann dann bei der Auswertung zusätzlich berücksichtigt werden.In particular, the advantage is used that the environment 5 based on the dynamic object 6th can be better understood and thus the proper movement E. and the map of the area U can be better determined. In particular, this can also be done by weighting the dynamic object 6th happen. For example, it can be determined if an object should be static, for example a house, that corresponding properties of the object are used to control its own movement E. and mapping to create the environment map U to determine. Should it be detected, for example, that the object is a static moving object, for example a parked motor vehicle, this is the case with the electronic computing device 3 or the neural networks 15th , 16 known that it may not be able to be found later. Another evaluation takes place in particular that the object is a dynamic object 6th acts, which in future will no longer be used to determine proper movement E. and / or the map of the area U should be used. With others Words can by means of the electronic computing device 3 a classification can be carried out as to whether the detected object is a static dynamic object, a dynamic, ie a moving object 6th or a static object such as a wall. This classification can then also be taken into account in the evaluation.

Mit anderen Worten ist es durch das erfindungsgemäße Verfahren ermöglicht verbessert eine Odometrie des Kraftfahrzeugs 1 und eine Kartierung der Umgebung 5 (odometry an mapping) durchführen zu können.In other words, the method according to the invention enables an odometry of the motor vehicle to be improved 1 and a map of the area 5 (odometry an mapping).

Insbesondere zeigt die 2, dass eine erste Bestimmung 17 des dynamischen Objekts 6 mittels des ersten neuronalen Netzwerks 15 durchgeführt wird. Ferner zeigt die 2, dass eine zweite Bestimmung 18 mittels des zweiten neuronalen Netzwerks 16 durchgeführt wird. Die Bestimmung 17, 18 des dynamischen Objekts 6 kann somit sowohl auf Basis der ersten Auswertung, vorliegend der ersten Ansicht 13, als auch auf Basis der zweiten Auswertung, vorliegend der zweiten Ansicht 14, durchgeführt werden. Dadurch kann zuverlässig das dynamische Objekt 6 bestimmt werden. Eine Reduzierung der Punktwolke 12 auf die reduzierte Punktwolke 33 kann somit auf Basis der Informationen der ersten Bestimmung 17 und/oder der zweiten Bestimmung 18 durchgeführt werden. Dies hat den Vorteil, sollte das dynamische Objekt 6 in einer der Auswertungen beziehungsweise Ansichten 13, 14 nicht bestimmt werden können, so kann das dynamische Objekt 6 dennoch auf Basis der anderen Auswertung beziehungsweise Ansicht 13, 14 bestimmt werden. Somit kann zuverlässig die reduzierte Punktwolke 33 erzeugt werden. Insbesondere, sollten beide neuronalen Netzwerke 15, 16 das dynamische Objekt 6 bestimmen, kann die reduzierte Punktwolke 33 entsprechend erzeugt werden.In particular, the 2 that a first determination 17th of the dynamic object 6th by means of the first neural network 15th is carried out. Furthermore, the 2 that a second determination 18th by means of the second neural network 16 is carried out. The determination 17th , 18th of the dynamic object 6th can thus be based on the first evaluation, in this case the first view 13 , as well as on the basis of the second evaluation, in this case the second view 14th , be performed. This can reliably use the dynamic object 6th to be determined. A reduction in the point cloud 12 on the reduced point cloud 33 can thus be based on the information from the first determination 17th and / or the second determination 18th be performed. This has the advantage should the dynamic object 6th in one of the evaluations or views 13 , 14th cannot be determined, so can the dynamic object 6th nevertheless on the basis of the other evaluation or view 13 , 14th to be determined. This means that the reduced point cloud 33 be generated. In particular, both neural networks should 15th , 16 the dynamic object 6th can determine the reduced point cloud 33 are generated accordingly.

Insbesondere kann auch eine Fusionierung 19 der Bestimmungen 17, 18 des dynamischen Objekts 6 durchgeführt werden. Bevorzugt ist vorgesehen, dass das dynamische Objekt 6 mittels des ersten neuronalen Netzwerks 15 und mittels des zweiten neuronalen Netzwerks 16 bestimmt wird. Insbesondere zeigt die 2, dass zum Entfernen des zumindest einen dynamischen Objekts 6 die erste Auswertung, vorliegend die erste Ansicht 13, und die zweite Auswertung, vorliegend die zweite Ansicht 14, fusioniert werden, was insbesondere durch die Fusionierung 19 dargestellt ist. Die Fusionierung 19 findet insbesondere nach der ersten Bestimmung 17 und der zweiten Bestimmung 18 und insbesondere vor der Erzeugung der reduzierten Punktwolke 33 statt. Bei diesem weiteren Beispiel wird die reduzierte Punktwolke 33 dann nicht direkt auf Basis der Information der Bestimmung 17 und/oder der Bestimmung 18 erzeugt, sondern aus den Informationen der Fusionierung 19.In particular, a merger 19th of the provisions 17th , 18th of the dynamic object 6th be performed. It is preferably provided that the dynamic object 6th by means of the first neural network 15th and by means of the second neural network 16 is determined. In particular, the 2 that to remove the at least one dynamic object 6th the first evaluation, in this case the first view 13 , and the second evaluation, in this case the second view 14th , to be merged, something in particular through the merger 19th is shown. The merger 19th takes place especially after the first determination 17th and the second determination 18th and especially before the generation of the reduced point cloud 33 instead of. In this further example, the reduced point cloud 33 then not directly on the basis of the information from the destination 17th and / or determination 18th generated, but from the information of the merger 19th .

Zusätzlich kann vorgesehen sein, dass in Abhängigkeit der bestimmten Eigenbewegung E und der Bestimmung 17, 18 des dynamischen Objekts 6 auf Basis der ersten Auswertung, vorliegend der ersten Ansicht 13, und der zweiten Auswertung, vorliegende der zweiten Ansicht 14, eine Umgebungskarte U der Umgebung 5 mittels der elektronischen Recheneinrichtung 3 erzeugt wird.In addition, it can be provided that depending on the determined proper movement E. and determination 17th , 18th of the dynamic object 6th based on the first evaluation, in this case the first view 13 , and the second evaluation, present the second view 14th , a map of the area U the environment 5 by means of the electronic computing device 3 is produced.

Ferner zeigt die 2, dass als erste Ansicht 13 insbesondere eine Frontansicht aus der Punktwolke 12 erzeugt wird und/oder als zweite Ansicht 14 eine Vogelansicht aus der Punktwolke 12 erzeugt wird. Zur Erzeugung der Vogelansicht kann insbesondere jeder Punkt der Punktwolke 12 auf einem virtuellen Boden projiziert werden und zumindest eine Zelle mit den Punkten mit einer vorgegeben Fläche, insbesondere mit einer Fläche von einer jeweiligen Seitenlänge von 0,1 m, diskretisiert werden.Furthermore, the 2 that as the first view 13 in particular a front view from the point cloud 12 is generated and / or as a second view 14th a bird's view from the point cloud 12 is produced. In particular, each point of the point cloud can be used to generate the bird's view 12 are projected on a virtual floor and at least one cell with the points with a predetermined area, in particular with an area of a respective side of 0.1 m, discretized.

Insbesondere kann zum Bestimmen des dynamischen Objekts 6 in der Frontansicht also in der ersten Ansicht 13 einem jedem Punkt der Punktwolke ein Abstandswert 20 und/oder ein Reflexionswert 21 zugewiesen werden.In particular, it can be used to determine the dynamic object 6th in the front view so in the first view 13 a distance value for each point of the point cloud 20th and / or a reflection value 21st be assigned to.

Bei dem Abstandswert handelt es sich insbesondere um den Abstand des Punktes zur Erfassungseinrichtung 4. Der Reflexionswert gibt insbesondere die Reflexionseigenschaften des Punktes wieder. Insbesondere kann auf Basis des Abstandswerts 20 und/oder des Reflexionswertes 21 zuverlässig das dynamische Objekt 6 bestimmt werden. Insbesondere kann dadurch bestimmt werden, ob es sich bei dem erfassten Objekt um ein statisches Objekt oder ein dynamisches Objekt 6 handelt. Dadurch ist eine verbesserte Bestimmung der Eigenbewegung E möglich.The distance value is in particular the distance between the point and the detection device 4. The reflection value particularly reflects the reflection properties of the point. In particular, on the basis of the distance value 20th and / or the reflection value 21st reliable the dynamic object 6th to be determined. In particular, it can thereby be determined whether the detected object is a static object or a dynamic object 6th acts. This improves the determination of the proper motion E. possible.

Ferner kann vorgesehen sein, dass zum Bestimmen des dynamischen Objekts 6 in der Vogelansicht, also in der zweiten Ansicht 14, einem jedem Punkt der Punktwolke 12 ein Binärbelegungswert 22 und/oder ein Normalbelegungswert 23 und/oder ein Reflexionswert 24 und/oder ein Höhenwert 25, 26, 27 zugewiesen wird. Insbesondere kann als der zumindest eine Höhenwert 25, 26, 27 ein durchschnittlicher Höhenwert 25 und/oder ein minimaler Höhenwert 26 und/oder ein maximaler Höhenwert bestimmt werden. Bei dem jeweiligen Höhenwert 25, 26, 27 handelt es sich insbesondere um einen Höhenwert das dynamische Objekt 6 betreffend.Furthermore, it can be provided that for determining the dynamic object 6th in the bird view, i.e. in the second view 14th , each point of the point cloud 12 a binary occupancy value 22nd and / or a normal occupancy value 23 and / or a reflection value 24 and / or an altitude value 25th , 26th , 27 is assigned. In particular, the at least one height value 25th , 26th , 27 an average altitude value 25th and / or a minimum height value 26th and / or a maximum height value can be determined. At the respective height value 25th , 26th , 27 it is in particular a height value of the dynamic object 6th concerning.

Das erste neuronale Netzwerk 15 und/oder das zweite neuronale Netzwerk 16 sind insbesondere als tiefenneuronales Netzwerk ausgebildet. Insbesondere weist im vorliegenden Ausführungsbeispiel das erste neuronale Netzwerk 15 und das zweite neuronale Netzwerk 16 jeweils eine Eingabeschicht 28 und eine Ausgabeschicht 29 auf. Zwischen den jeweiligen Eingabeschichten 28 und Ausgabeschichten 29 sind weitere Schichten 30 eingebettet. Das erste neuronale Netzwerk 15 und das zweite neuronale Netzwerk 16 weisen insbesondere einen faltenden Teil 31 und einen entfaltenden Teil 32 auf. Mit anderen Worten wird das erste neuronale Netzwerk 15 als faltendes und entfaltendes neuronales Netzwerk bereitgestellt und/oder das zweite neuronale Netzwerk 16 als faltendes und entfaltendes neuronales Netzwerk bereitgestellt.The first neural network 15th and / or the second neural network 16 are designed in particular as a deep neural network. In particular, in the present exemplary embodiment, the first neural network 15th and the second neural network 16 one input layer each 28 and an output layer 29 on. Between the respective input layers 28 and output layers 29 are more layers 30th embedded. The first neural network 15th and the second neural network 16 in particular have a folding part 31 and an unfolding part 32 on. In other words, it becomes the first neural network 15th provided as a folding and unfolding neural network and / or the second neural network 16 provided as a folding and unfolding neural network.

Des Weiteren kann insbesondere vorgesehen sein, dass bei der ersten Bestimmung 17 und bei der zweiten Bestimmung 18 zumindest ein weiteres dynamisches Objekt, insbesondere eine Vielzahl von weiteren dynamischen Objekten 6, aus der reduzierten Punktwolke 33 herausgefiltert werden können. Insbesondere findet somit die Bestimmung der Eigenbewegung E beziehungsweise die Erzeugung der Umgebungskarte U mit einem gesäuberten Umgebungsbild, insbesondere von dem dynamischen Objekt 6 herausgefilterten Umgebungsbild, statt.Furthermore, it can be provided in particular that in the first determination 17th and at the second determination 18th at least one further dynamic object, in particular a large number of further dynamic objects 6th , from the reduced point cloud 33 can be filtered out. In particular, the proper motion is determined E. or the generation of the environment map U with a cleaned image of the surroundings, in particular of the dynamic object 6th filtered out environmental image instead.

Claims

Method for determining a proper movement (E) of a motor vehicle (1) in an environment (5) of the motor vehicle (1) by means of an electronic vehicle guidance system (2) of the motor vehicle (1), comprising the steps: - Generating a point cloud (12) of the surroundings (5) by means of an electronic computing device (3) of the electronic vehicle guidance system (2) by detecting the surroundings (5) by means of a detection device (4) of the electronic vehicle guidance system (2); - First evaluation of the point cloud (12) as a function of a first decision criterion and a second evaluation of the point cloud (12) as a function of a second decision criterion different from the first decision criterion by means of the electronic computing device (3); - Determination of at least one dynamic object (6) in the environment (5) as a function of the first evaluation by means of a first neural network (15) of the electronic computing device (3); and or - Determination of at least one dynamic object (6) in the environment (5) as a function of the second evaluation by means of a second neural network (16) of the electronic computing device (3) that is different from the first neural network (15); - Generating a reduced point cloud (33) by removing the at least one dynamic object (6) from the point cloud (12) by the electronic computing device (3) depending on the information obtained when determining the dynamic object (6) by means of the first neural Network (15) and / or the second neural network (16) are obtained; and - Determination of the proper movement (E) of the motor vehicle (1) by evaluating the reduced point cloud (33).

Procedure according to Claim 1 , characterized in that, in addition, depending on the determined proper movement (E) and the determination of the dynamic object (6) based on the first evaluation and the second evaluation, an environment map (U) of the environment (5) is generated by means of the electronic computing device (3) becomes.

Procedure according to Claim 1 or 2 , characterized in that the first evaluation and the second evaluation are merged to remove the at least one dynamic object (6).

Method according to one of the preceding claims, characterized in that in the first evaluation, a front view is virtually generated as a first decision criterion from the point cloud (12) as a first view (13) and / or in the second evaluation virtually as a second view (14) ) a bird's eye view is generated from the point cloud (12) as a second decision criterion.

Procedure according to Claim 4 , characterized in that each point of the point cloud (12) is projected onto a virtual floor to generate the bird's view and discretizes at least one cell with the points with a predetermined area, in particular with an area of a respective side length of 0.1 m becomes.

Procedure according to Claim 4 , characterized in that a distance value (20) and / or a reflection value (21) is assigned to each point of the point cloud (12) to determine the dynamic object (6) in the front view.

Procedure according to Claim 4 and / or 5, characterized in that in order to determine the dynamic object (6) in the bird's view, a binary occupancy value (22) and / or a normal occupancy value (23) and / or a reflection value (24) and for each point of the point cloud (12) / or at least one height value (25, 26, 27) is assigned.

Procedure according to Claim 7 characterized in that an average height value (24) and / or a minimum height value (25) and / or a maximum height value (26) is determined as the at least one height value.

Method according to one of the preceding claims, characterized in that the first neural network (15) and / or the second neural network (16) is provided as a deep neural network.

Method according to one of the preceding claims, characterized in that at least one further dynamic object (6), in particular a plurality of further dynamic objects (6), is removed from the reduced point cloud (33) by means of the electronic computing device (3).

Method according to one of the preceding claims, characterized in that the surroundings (5) of the motor vehicle (1) are recorded by means of a detection device (4) designed as a lidar sensor device.

Method according to one of the preceding claims, characterized in that the first neural network (15) is provided as a folding and unfolding neural network and / or the second neural network (16) is provided as a folding and unfolding neural network.

Computer program product with program code means which are stored in a computer-readable medium in order to implement the method according to one of the Claims 1 to 12 perform.

Electronic computing device (3) for determining a proper movement (E) of a motor vehicle (1) with a computer program product Claim 13 .

Electronic vehicle guidance system (2) for a motor vehicle (1) with a detection device (4) and with an electronic computing device (3) according to Claim 14 , wherein the electronic vehicle guidance system (2) for performing a method according to one of Claims 1 to 12 is trained.