-
Die Erfindung betrifft ein Verfahren zum Verarbeiten einer von einer Umgebungserfassungseinrichtung eines Kraftfahrzeugs erzeugten Punktwolke, wobei die Punktwolke eine Umgebung des Kraftfahrzeugs repräsentiert und eine Menge von Punkten in einem Ortsraum aufweist, mit einem Bereitstellen der Punktwolke durch die Umgebungserfassungseinrichtung an eine Recheneinrichtung. Die Erfindung betrifft auch eine Recheneinrichtung zum Verarbeiten einer von einer Umgebungserfassungseinrichtung eines Kraftfahrzeugs erzeugten Punktwolke, wobei die Punktwolke eine Umgebung des Kraftfahrzeugs repräsentiert und eine Menge von Punkten in einem Ortsraum aufweist.
-
Das Verarbeiten von Punktwolken, insbesondere von sogenannten „Sparse Point Clouds“, also lückenbehafteten Punktwolken, wie sie beispielsweise von Lidar-Sensoreinrichtungen oder eine Radar-Sensoreinrichtungen bereitgestellt werden, bereitet in neuralen oder neuronalen Netzwerken einige Schwierigkeiten. Der Hauptgrund hierfür ist, dass bei Punktwolken im Gegensatz zu Bildern, deren Daten inhärent eine Ordnung, nämlich die räumliche Relation der Bildpunkte zueinander zu Grunde liegt, welche direkt in die Architektur des neuralen Netzwerks mitübernommen werden kann, aufgrund der Lückenhaftigkeit oder sogenannten „Sparseness“ der Daten in der Punktwolke eine solche Ordnung nicht vorhanden ist und entsprechend nicht in die Architektur des neuralen Netzwerks übertragen werden kann. Zusätzlich ist hier das Ordnen der Eingabe für das neurale Netzwerk problematisch, da aufgrund der Ununterscheidbarkeit zweier jeweiliger Punkte in der Punktwolke ein Austauschen von jeweils zwei Punkten in der Eingabe zu dem gleichen Ergebnis führen sollte.
-
In bekannten Ansätzen werden nun entweder wie beispielsweise in dem Artikel „A 3d convolutional neural network for real-time object recognition,, von D. Maturana et al. aus der IEEE/RSJ International Conference on Intelligent Robots and Systems vom September 2015 aus jeweiligen Punktwolken dreidimensionale Umrisse erzeugt und mit einem dreidimensionalen Raster beschrieben, welches dann die Eingabe für das neurale Netzwerk bildet. In anderen bekannten Ansätzen wird eine Eingabeschicht eines neuralen Netzwerkes trainiert, um die in der Punktmenge inhärent vorhandenen Symmetrien zu erlernen, was beispielsweise in dem Artikel „Pointnet: Deep Learning and Pont Sets for 3d Classification and Segmentation“ von Charles R. Qi et al. im arXiv:1612.00593v2 vom 10. April 2017 beschrieben ist. Was das Ordnen der Eingabe angeht, so wurden hier Vorschläge gemacht, die Eingabe zu Randomisieren oder ein entsprechendes rekurrentes neurales Netzwerk zur Lösung des Problems zu trainieren.
-
Da derartige Punktwolken auch bei der Erfassung der Umgebung von Kraftfahrzeugen eine immer wichtigere Rolle spielen, gleichzeitig allerdings gerade in einem Kraftfahrzeug nur begrenzte Rechenressourcen vorhanden sind ist hier eine vereinfachte und dennoch verlässliche Verarbeitung der Punktwolken gewünscht.
-
Es stellt sich somit die Aufgabe, das Verarbeiten von einer Punktwolke, welche eine Umgebung eines Kraftfahrzeugs repräsentiert, durch ein neurales Netzwerk vereinfachen.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus abhängigen Patentansprüchen, der Beschreibung und der Figur.
-
Ein Aspekt der Erfindung betrifft ein Verfahren zum Verarbeiten einer von einer Umgebungserfassungseinrichtung eines Kraftfahrzeugs erzeugten Punktwolke. Die Punktwolke repräsentiert dabei eine von der Umgebungserfassungseinrichtung erfasste Umgebung des Kraftfahrzeugs und weist eine Menge von Punkten in einem Ortsraum auf. Die Punkte können beispielsweise eine räumliche Kontur einer abgetasteten Oberfläche repräsentieren. Die Umgebungserfassungseinrichtung kann insbesondere eine Lidar-Einrichtung und/oder eine Radar-Einrichtung sein oder umfassen. Die Umgebungserfassungseinrichtung kann als entsprechend eine Lidar-Einheit und oder eine Radar-Einheit aufweisen. Insbesondere kann die Umgebungserfassungseinrichtung auch eine Stereo-Kamera-Einrichtung und/oder eine Ultraschallsensoreinrichtung umfassen oder sein. Das Verarbeiten der Punktwolke kann dabei insbesondere als ein Aufbereiten der Punktwolke für ein weiteres Verarbeiten der Punktwolke, das heißt der in der Punktwolke enthaltenen Information, durch ein neurales Netz verstanden werden und/oder für ein Trainieren oder Konfigurieren eines neuralen Netzes für ein durch das konfigurierte oder trainierte neurale Netz erfolgendes Verarbeiten.
-
Ein Verfahrensschritt ist dabei ein Bereitstellen der Punktwolke durch die Umgebungserfassungseinrichtung an eine Recheneinrichtung. Bei der Recheneinrichtung handelt es sich bevorzugt um eine Recheneinrichtung des Kraftfahrzeugs. Die Punktwolke wird dabei mit der Menge von Punkten bereitgestellt, wobei die Punkte beispielsweise jeweils durch zwei- oder drei- oder vier-dimensionale Vektoren beschrieben werden können. Dies ist möglich, da das vorgeschlagene und im Folgenden beschriebene Verfahren nicht auf eine bestimmte Anzahl von Dimensionen beschränkt, sondern vielmehr allgemeingültig ist.
-
Ein nächster Verfahrensschritt ist ein Abbilden der Punktwolke in einen ersten und/oder zweiten mathematischen Merkmalsraum. Bei dem Merkmalsraum hatte handelt es sich um einen Raum im Sinne eines mathematischen Raums, der hier und im Folgenden zur eindeutigen Referenzierung als Merkmalsraum bezeichnet wird. Dabei können die Punkte der Punktwolke sowohl in dem jeweiligen Merkmalsraum als auch in dem Ortsraum beispielsweise jeweils in Form von Vektoren repräsentiert sein. Da, wie im Folgenden ausgeführt, hier zwei unterschiedliche mathematische Merkmalsräume in Betracht kommen, ein Abbilden der Punktwolke in einen der beiden mathematischen Merkmalräume allerdings bereits beträchtliche Vorteile mit sich bringt, kann entsprechend die Punktwolke oder äquivalent eine Repräsentation der Punktwolke in den jeweiligen ersten oder zweiten mathematischen Merkmalsraum abgebildet werden.
-
In dem jeweiligen Merkmalsraum werden Objekte und damit auch die abgebildete Punktwolke entsprechend Poincaretransformations-invariant und/oder Permutations-invariant repräsentiert. Entsprechend kann beispielsweise eine im Ortsraum poincaretransformierte, also verschobene oder rotierte Punktwolke auf eine identische Repräsentation der Punktwolke in dem ersten Merkmalsraum abgebildet werden wie die ursprüngliche, nicht poincaretransformierte Punktwolke. So kann zum Beispiel eine im Ortsraum permutierte Punktwolke, also eine Punktwolke, bei der einzelne Punkte vertauscht und somit umgeordnet werden, ebenfalls auf eine identische Repräsentation der Punktwolke in dem zweiten Merkmalsraum abgebildet werden, wie die ursprüngliche, nicht permutierte Punktwolke. Auch kann äquivalent eine Repräsentation der Punktwolke in einem der mathematischen Merkmalsräume Poincareetransformations-invariant oder Permutations-invariant in den jeweiligen anderen mathematischen Merkmalsraum abgebildet werden.
-
Das Abbilden erfolgt dabei durch die Recheneinrichtung mittels eines Anwendens einer insbesondere jeweils für den ersten und/oder den zweiten Merkmalsraum vorgegebenen ersten und/oder zweiten Transformationvorschrift auf die Punktwolke. Damit wird hier im Folgenden die erste Transformationsvorschrift für den Poincareetransformationsinvarianten Merkmalsraum als Translationsvorschrift Q bezeichnet und die zweite vorgegebenen Translationsvorschrift für Permutations-invarianten Merkmalsraum als Transformationsvorschrift F. Es werden also durch die jeweilige Transformationsvorschriften die die Punktwolke in dem jeweiligen Ursprungsraum beschreibenden Vektoren oder Punkte oder die die entsprechende Repräsentation der Punktwolke in dem jeweiligen Ursprungsraum beschreibenden Vektoren oder Punkte durch die zugeordnete Transformationsvorschrift in den jeweiligen Zielraum der Transformation, also beispielsweise den ersten oder den zweiten Merkmalsraum, abgebildet.
-
Ein weiterer Verfahrensschritt ist ein Bereitstellen zumindest eines Merkmalsvektors, welcher die Punktwolke und/oder die Repräsentation der Punktwolke in dem ersten oder zweiten Merkmalsraum repräsentiert, als zumindest einen Eingabevektor an ein neurales Netzwerk. Bei dem neuralen Netzwerk kann es sich hier insbesondere um ein sogenanntes tiefes neurales Netzwerk mit mehreren verborgenen Schichten (sogenannten „hidden Layers“) handeln, oder das neurale Netzwerk ein solches tiefes neurales Netzwerk umfassen.
-
Ein darauf folgender Verfahrensschritt kann beispielsweise ein Trainieren oder Konfigurieren des neuralen Netzwerks mittels des Eingabevektors zum Verarbeiten der jeweiligen Punktwolke, das heißt der in der Punktwolke enthaltenen Information umfassen. Dabei können die genannten Verfahrensschritte des Bereitstellens der Punktwolke, des Abbildens der Punktwolke und des Bereitstellens des Merkmals-Vektors wiederholt erfolgen, umso in mehreren Durchläufen das neurale Netzwerk zu trainieren bzw. zu konfigurieren. In einem bestimmungsgemäßen Betrieb eines entsprechend trainierten oder konfigurierten neuralen Netzwerks kann jeweils auf die Verfahrensschritte des Bereitstellens der Punktwolke, das Abbildens der Punktwolke und des Bereitstellen des Merkmals-Vektors ein Auswerten des Merkmals-Vektors durch das neurale Netzwerk erfolgen.
-
Es wird somit vorliegend ein Verfahren zur Vorverarbeitung einer Punktwolke vor einem Auswerten der Punktwolke durch ein neurales Netzwerk vorgeschlagen, bei welchem durch eine jeweils vorgegebenen Transformationsvorschrift aus der Punktwolke ein Merkmal in Form eines Merkmalsvektors erzeugt wird, welches bezüglich einer von Poincaretransformation und/oder einer Permutation invariant ist. Dies führt zu dem Vorteil, dass redundante Strukturen innerhalb des neuralen Netzes, welche sonst erforderlich sind um die der Poincaretransformation und/oder Permutation entsprechende Symmetrie zu berücksichtigen, vermieden werden und entsprechend weniger Training beziehungsweise weniger Trainingsdaten für das Trainieren oder Konfigurieren des neuralen Netzes erforderlich sind. Damit wird das Verarbeiten in dem neuralen Netz sowohl während des Trainings als auch bei bestimmungsgemäßen Gebrauch mit einem Auswerten der Punktwolke oder der in der Punktwolke enthaltenen Information beschleunigt. Entsprechend kann hier vorteilhafterweise eine Recheneinrichtung, in welcher das neurale Netz implementiert ist, mit einer im Vergleich zum Stand der Technik verringerten Rechenkapazität ausgestattet sein. Durch das vorgeschlagene Verfahren wird somit im Gegensatz zu den bekannten Ansätzen das Kern des Problems, welches in der Symmetrie der Punktwolke bezüglich von Poincaretransformationen und Permutationen der einzelnen Punkte besteht explizit berücksichtigt. In dem beschriebenen Verfahren wird somit die Translations- und Rotationssymmetrie, also die Symmetrie bezüglich der Poincaretransformationen und/oder die Symmetrie bezüglich der Permutationen der einzelnen Punkte der Punktwolke explizit abgebildet, sodass das neurale Netz diese Symmetrien nicht mehr (implizit) lernen muss. Genau dieses implizite Lernen erfordert jedoch im Stand der Technik im Vergleich zum vorgeschlagenen Verfahren größere neurale Netze, welche entsprechend mehr Rechenkapazitäten erfordern und zusätzlich ein längeres Training mit mehr Daten als das vorgeschlagene Verfahren.
-
In einer vorteilhaften Ausführungsform ist vorgesehen, dass die Punktwolke bei dem Abbilden zunächst von einem Ortsraum, welcher bevorzugt zwei oder drei, aber auch mehr als drei Dimensionen aufweisen kann, in den ersten mathematischen Merkmalsraum abgebildet wird, in welchem Objekte Poincareetransformations-invariant repräsentiert werden. Dies erfolgt mittels eines Anwendens der ersten vorgegebenen Tranformationsvorschrift Q auf die Punktwolke. Von dem ersten mathematischen Merkmalsraum wird die Punktwolke (also eine Repräsentation der Punktwolke in dem ersten Merkmalsraum) sodann in den zweiten mathematischen Merkmalsraum abgebildet, in welchem Objekte Permutations-invariant repräsentiert werden. Dies erfolgt mittels eines Anwendens der zweiten vorgegebenen Transformationsvorschrift F auf die Punktwolke (oder die Repräsentation der Punktwolke).
-
Damit die Punktwolke (oder die Repräsentation der Punktwolke), das heißt der Merkmalsvektor, bei dem Bereitstellen an das neurale Netzwerk invariant gegenüber Translation und Rotation ist, wird die Punktwolke also in den ersten mathematischen Merkmalsraum abgebildet. Damit die Repräsentation der Punktwolke, also der Merkmalsvektor, auch unabhängig von der Ordnung der Punkte der Punktwolke ist, also der Merkmalsvektor invariant gegenüber Permutationen ist, wird die Punktwolke, das heißt die Repräsentation der Punktwolke in dem ersten mathematischen Merkmalsraum von dem ersten in den zweiten mathematischen Merkmalsraum abgebildet.
-
Das hat den Vorteil, dass sowohl die Symmetrie bezüglich Translation und Rotation der Punktwolke als auch die Symmetrie der Punktwolke bezüglich Permutationen der Punkte bereits explizit im Merkmalsvektor kompensiert ist und somit nicht durch das neurale Netz erlernt werden muss. Dabei ist die hier vorgeschlagene Reihenfolge besonders intuitiv verständlich, wie die folgenden Ausführungen noch deutlich machen werden, und stellt somit einen besonders anschaulichen Weg dies zu erreichen dar. Entsprechend können die jeweiligen Transformationsvorschriften besonders leicht gefunden oder ausgewählt werden. Grundsätzlich ist hier auch das umgekehrte Vorgehen denkbar, bei welchem die Punktwolke von dem Ortsraum zunächst in den zweiten mathematischen Merkmalsraum abgebildet wird, und von diesem in den ersten. Allerdings ist es hier schwieriger die entsprechenden Transformationvorschriften zu finden, es ist also mit komplexeren Transformationsvorschriften und entsprechend mehr Rechenaufwand zu rechnen.
-
In einer anderen vorteilhaften Ausführung zum ist vorgesehen, dass die erste Transformationsvorschrift Q, welche die Punktwolke oder eine Repräsentation der Punktwolke in den ersten mathematischen Merkmalsraum abbildet, in welchem Objekte Poincareetransformations-invariant repräsentiert werden, in Abhängigkeit einer vorbestimmten Metrik, insbesondere der Euklidischen Metrik, vorgegeben wird. Das Merkmal des ersten mathematischen Merkmalsraums ist also ein durch die jeweilige Metrik bestimmter Abstand zwischen den Punkten der Punktwolke. Der erste Merkmalsraum kann entsprechend als Abstandsraum bezeichnet werden.
-
Das hat den Vorteil, dass auf besonders einfache Weise die Anforderung der Invarianz bezüglich der Poincareetransformation in dem ersten mathematischen Merkmalsraum erfüllt ist. Die Euklidische Metrik ist besonders anschaulich und führt zu einer besonders einfachen Transformationsvorschrift.
-
Dabei kann vorgesehen sein, dass der erste mathematischen Merkmalsraum, in welchem Objekte Poincareetransformations-invariant repräsentiert werden, die Dimension n*(n-1)/2 hat, wobei n die Anzahl der Punkte der Punktwolke ist. Insbesondere weist dabei der Ortsraum der Punktwolke die Dimension n*d auf, wobei d die Dimension des Raumes ist, in welchem die Punkte der Punktwolke jeweils definiert sind. Typischerweise gilt also d=2 oder d=3. Die erste vorgegebene Transformationsvorschrift Q kann also die Punktwolke aus einem n*d-dimensionalen Raum in einen n*(n-1)/2-dimensionalen Raum, welcher auf positive Werte beschränkt ist, abbilden. Die Punktwolke wird damit aus einem Ortsraum, dessen Dimension die Anzahl der aller Koordinaten- oder Vektoreinträge der die Punkte der Punktwolke beschreibenden Koordinaten oder Vektoren abgebildet in den Merkmalsraum, dessen Dimensionen der Anzahl aller möglichen Abstände zwischen den Punkten der Punktwolke entspricht. Wird beispielsweise somit die Punktwolke durch hundert zweidimensionale Vektoren oder zweidimensionale Koordinaten beschrieben, so wird die Punktwolke in einem zweihundert-dimensionalen Ortsraum beschrieben. Von diesem wird die Punktwolke nun im vorliegenden Beispiel in einen 19.900-dimensionalen Raum abgebildet, welcher jedoch nur positive Zahlen, nämlich die Abstände enthält.
-
Dies liefert den Vorteil, dass für beliebigdimensionale Punktwolken, also sowohl Punktwolken mit in zwei Dimensionen beschreibbaren Punkten als auch Punktwolken mit in drei Dimensionen beschreibaren Punkten eine Darstellung erreicht wird, welche bezüglich der Poincaretransformationen, also Translation und Rotation, invariant ist.
-
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die zweite Transformationsvorschrift F, welche die Punktwolke oder eine Repräsentation der Punktwolke in den zweiten mathematischen Merkmalsraum abbildet, in welchem Objekte permutations-invariant repräsentiert werden, in Abhängigkeit von einem elementarsymmetrischen Polynom oder als ein elementarsymmetrisches Polynom vorgegeben wird. Alternativ kann die zweite Transformationsvorschrift F in Abhängigkeit von einer Kombination, insbesondere einer Linearkombination, mehrerer elementarsymmetrischer Polynome oder als eine Kombination, insbesondere als eine Linearkombination, mehrerer elementarsymmetrischer Polynome vorgegeben werden.
-
Das hat den Vorteil, dass die Translationsvorschrift invariant gegenüber Permutationen ist und somit eine Transformationsvorschrift, welche die Punktwolke oder die Repräsentation der Punktwolke in den zweiten mathematischen Merkmalsraum abbildet gefunden ist. Da zwischen den elementarsymmetrischen Polynomen und den Leistungssummen in Form der Newton-Girard-Formel ein Zusammenhang besteht, können auch zusammengesetzte Transformationsvorschriften aus einer Kombination von elementarsymmetrischen Polynomen funktionieren. Gegebenenfalls kann die Transformationsvorschrift auch in Abhängigkeit von einem oder mehreren elementarsymmetrischen Polynomen vorgegeben werden, sodass die bestmögliche Transformationsvorschrift, welche als ein solches elementarsymmetrisches Polynom oder eine Kombination von elementarsymmetrischen Polynomen vorgegeben ist, durch eine Näherungsfunktion angenähert werden kann. Beispielsweise kann dies wie unten beschrieben durch ein (weiteres) neurales Netz erfolgen. Die Annäherung oder Approximation der elementarsymmetrischen Polynome durch die zweite Transformationsvorschrift gibt hier den Vorteil, dass gegebenenfalls mit einem verringerten Rechenaufwand ein für die jeweilige Anwendung ausreichend gutes Ergebnis erzielt werden kann.
-
Dabei kann das elementarsymmetrische Polynom oder die elementarsymmetrischen Polynome, in dessen oder deren Abhängigkeit die zweite Transformationsvorschrift vorgegeben wird, durch ein weiteres neurales Netzwerk approximiert werden, welches zum Anwenden der zweite Transformationsvorschrift auf die Punktwolke oder die Repräsentation der Punktwolke genutzt wird.
-
Das hat den Vorteil, dass einerseits das oder die jeweiligen elementarsymmetrischen Polynome besonders gut approximiert werden kann, andererseits auch eine mögliche Schnittstellenproblematik umgangen wird, da das das oder die Polynome approximierende weitere neurale Netzwerk auf einfache Weise dem oben genannten neuralen Netzwerk zum Verarbeiten der Punktwolke voran geschaltet werden kann oder innerhalb dessen realisiert werden kann. Die Kenntnis des oder der elementarsymmetrischen Polynome erhöht dabei die Effektivität und Effizienz bei dem Konfigurieren oder Trainieren des entsprechenden neuralen Netzwerkes.
-
In einer weiteren vorteilhaften Ausführungsform kann aber vorgesehen sein, dass der zweite mathematische Merkmalsraum, in welchem Objekte permutations-invariant repräsentiert werden, die Dimension n*(n-1)/2 hat, wobei n die Anzahl der Punkte der Punktwolke ist. Durch die zweite Transformationsvorschrift wird also die Dimension des ersten mathematischen Merkmalsraums erhalten, falls der erste Merkmalsraum der Ursprungsraum für die zweite Transformationsvorschrift ist.
-
Das hat den Vorteil, dass mittels der elementarsymmetrischen Polynome die Transformationsvorschrift exakt vorgegeben werden kann. Überdies kann so die zweite Transformationsvorschrift ohne weiteres innerhalb eines bestehenden Systems mit einem vorgegebenen neuralen Netzwerk aktiviert oder deaktiviert werden, da ein Eingabevektor, welcher die Punktwolke in dem ersten Merkmalsraum und in dem zweite Merkmalsraum repräsentiert jeweils die gleiche Dimension aufweist. Damit kann das neurale Netzwerk Information in Form des Eingabevektors des ersten Merkmalsraums und des zweiten Merkmalsraums besonders einfach wahlweise verarbeiten.
-
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass der Punktwolke vor dem Abbilden in den jeweiligen mathematischen Merkmalsraum vor dem Abbilden in einen oder vor dem Abbilden in jeglichen der beiden Merkmalsräume an einem vorgegebenen Ort, insbesondere an einem willkürlich vorgegebenen Ort, so viele Punkte hinzugefügt werden, dass die Anzahl n der Punkte der Punktwolke einer vorgegebenen Anzahl von Eingabe- oder Input-Neuronen des neuralen Netzwerks entspricht, an welches der Merkmalsvektor bereitgestellt wird. Es kann somit die Punktwolke entsprechend der Architektur des neuralen Netzwerkes in „aufgefüllt“ werden. Diese zusätzlichen aufgefüllten Punkte befinden sich dabei an bevorzugt an einem einzigen vorgegebenen Ort. Die Eigenschaften des Ortes spielen dabei keine Rolle. Insofern kann der Ort willkürlich vorgegeben werden. Das neurale Netz kann entsprechend trainiert oder konfiguriert werden, die Punkte der Punktwolke, welche sich an diesem vorgegebenen Ort befinden zu ignorieren.
-
Das hat den Vorteil, dass das neurale Netz die Punktwolke unabhängig von der Anzahl der ursprünglichen Punkte, welche in Abhängigkeit der Umgebung oder sonstiger Ereignisse variieren kann, stets effizient bearbeiten kann. Das Verarbeiten von Merkmalsvektoren mit wechselnder Größe ist mit einem vorgegebenen neuralen Netzwerk mit vorgegebener Anzahl von Eingabeneuronen nämlich problematisch.
-
Ein weiterer Aspekt der Erfindung betrifft eine Recheneinrichtung zum Verarbeiten einer von einer Umgebungserfassungseinrichtung eines Kraftfahrzeugs erzeugten Punktwolke, wobei die Punktwolke ein Umgebung des Kraftfahrzeugs repräsentiert und eine Menge von Punkten in einem Ortsraum aufweist. Dabei ist die Recheneinrichtung ausgebildet, eine durch die Umgebungserfassung bereitgestellte Punktwolke in einem mathematischen Merkmalsraum abzubilden, in welchem Objekte Poincareetransformations-invariant und/oder der Permutations-invariant repräsentiert werden, und zwar mittels eines Anwendens einer vorgegebenen ersten und/oder zweiten Transformationsvorschrift auf die Punktwolke. Des Weiteren ist die Recheneinrichtung ausgebildet, einen Merkmalsvektor, welcher die Punktwolke in dem ersten oder in dem zweiten Merkmalsraum repräsentiert als Eingabevektor an ein neurales Netzwerk bereitzustellen.
-
Vorteile und vorteilhafte Ausführungsformen der Recheneinrichtung entsprechen hier Vorteilen und vorteilhaften Ausführungsformen des Verfahrens.
-
Ein Aspekt der Erfindung betrifft auch ein Kraftfahrzeug mit einer solchen Recheneinrichtung. Insbesondere kann das Kraftfahrzeug dabei auch eine Umgebungserfassungseinrichtung zum Erzeugen der Punktwolke und/oder ein neurales Netzwerk zum Verarbeiten des Merkmalsvektors als Eingabevektor und damit zum Auswerten der Punktwolke aufweisen.
-
Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
-
Ausführungsbeispiele der Erfindung werden nachfolgend anhand einer schematischen Zeichnung näher erläutert. Dabei zeigt die einzige Figur ein Kraftfahrzeug mit einer beispielhaften Ausführungsform einer Recheneinrichtung zum Verarbeiten einer Punktwolke.
-
In der einzigen Fig. ist ein Kraftfahrzeug 1 mit einer Recheneinrichtung 2 zum Verarbeiten einer von einer Umgebungserfassungseinrichtung 3, welche vorliegend als Lidar-Sensoreinrichtung ausgeführt ist, erzeugten Punktwolke 4 dargestellt. Die Punktwolke 4 repräsentiert dabei eine Umgebung 5 des Kraftfahrzeugs 1 und umfasst eine Menge von Punkten 6 in einem Ortsraum 7.
-
Die Recheneinrichtung 2 ist nun ausgebildet, die durch die Umgebungserfassungseinrichtung 3 bereitgestellte Punktwolke 4 in einen ersten mathematischen Merkmalsraum 8 abzubilden, in welchem Objekte Poincareetransformations-invariant repräsentiert werden und sodann eine entsprechende Repräsentation der Punktwolke von dem ersten Merkmalsraum 8 in einen zweiten mathematischen Merkmalsraum 9 abzubilden, in welchem Objekte Permutations-invariant repräsentiert werden. Des Weiteren ist die Recheneinrichtung 2 ausgebildet, einen Merkmalsvektor 10, welcher die Punktwolke 4 in dem entsprechenden Merkmalsraum 8,9, vorliegend in dem zweiten Merkmalsraum 9, repräsentiert, als einen Eingabevektor an ein neurales Netz 11, welches dem Verarbeiten der in der Punktwolke 4 enthaltenen Information dient, bereitzustellen. Das neurale Netzwerk 11 verfügt hier über Eingabeneuronen 12, auf welche der Eingabevektor 10 abgebildet wird, um das Verarbeiten im neuralen Netz 11 zu initiieren. Vorliegend ist das neurale Netzwerk 11 dabei in der Recheneinrichtung 2 implementiert.
-
Das Abbilden von dem Ortsraum 7 in dem ersten mathematischen Merkmalsraums 8 erfolgt dabei vorliegend mittels eines Anwenden einer der ersten vorgegebenen Transformationsvorschrift Q auf die Punktwolke 4 (oder die Repräsentation der Punktwolke 4). Das Abbilden von dem ersten mathematischen Merkmalsraum 8 in den zweiten mathematischen Merkmalsraum 9, in welchem Objekte Permutations-invariant repräsentiert werden, erfolgt mittels eines Anwendens einer zweiten vorgegebenen Translationsvorschrift F auf die Repräsentation der Punktwolke 4. Die erste Transformationsvorschrift Q ist dabei vorliegend in Abhängigkeit der euklidischen Metrik vorgegeben. Der Ortsraum umfasst entsprechend vorliegend sämtliche Koordinaten der Punkte der Punktwolke 4 und hat entsprechend die Dimension n*d, wobei d die Dimension des Raumes ist, in welchem die Punkte 6 der Punktewolke 4 jeweils definiert sind und n die Anzahl der Punkte 6 der Punktwolke 4 ist. Da sich die Anzahl der möglichen Abstände somit zu n*(n-1)/2 ergibt, hat der zweite mathematische Merkmalsraum die Dimension n*(n-1)/2.
-
Aus dem ersten Merkmalsraum 8 wird nun mittels der weiteren zweiten vorgegebenen Transformationsvorschrift F die entsprechende Repräsentation der Punktwolke 4 in dem ersten mathematischen Merkmalsraum 8 in den zweiten mathematischen Merkmalsraum 9 abgebildet. Die Transformationsvorschrift F kann dabei beispielsweise als ein elementarsymmetrisches Polynom oder aufgrund der Newton-Girard-Formel auch eine Kombination unterschiedlicher elementarsymmetrischer Polynome vorgegeben sein. Dabei hat der zweite mathematische Merkmalsraum 8 ebenfalls die Dimension n*(n-1)/2, sodass auch wenn das Abbilden in den zweiten Merkmalsraum 9 durch die zweite Translationsvorschrift F unterbleibt durch die Recheneinrichtung 2 jeweils ein Merkmalsvektor der Dimension n*(n-1)/2 bereitgestellt wird, welcher die Punktwolke 4 in dem jeweiligen mathematischen Merkmalsraum 8 oder 9 repräsentiert und als der Eingabevektor 10 für das neurale Netzwerk 11 bereitgestellt wird.
-
Damit wird in den vorgeschlagenen Verfahren vor dem Einspeisen der Information in das neurale Netzwerk 11 sowohl eine Translations- und Rotations-Symmetrie als auch eine Symmetrie bezüglich der Permutation, also der Ordnung der Punkte 6 der Punktwolke 4 explizit berücksichtigt, sodass das neurale Netzwerk 11 die jeweilige Symmetrie nicht implizit erlernen muss.
