DE102022201508A1

DE102022201508A1 - Verfahren und Vorrichtung zum Verarbeiten von Daten

Info

Publication number: DE102022201508A1
Application number: DE102022201508.8A
Authority: DE
Inventors: Di Feng; Florian Drews; Jasmine Richter; Claudius Glaeser; Lars Rosenbaum; Florian Faion; Fabian Timm
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-02-14
Filing date: 2022-02-14
Publication date: 2023-08-17
Also published as: WO2023152350A1

Abstract

Verfahren zum Verarbeiten von mit wenigstens einem Raumbereich assoziierten ersten Daten, aufweisend: Aufteilen der ersten Daten in wenigstens einen ersten Teildatensatz, der mit einem ersten Teil des Raumbereichs assoziiert ist, und einen zweiten Teildatensatz, der mit einem zweiten Teil des Raumbereichs assoziiert ist, wobei der zweite Teil des Raumbereichs zumindest bereichsweise verschieden ist von dem ersten Teil des Raumbereichs, Transformieren des zweiten Teildatensatzes, beispielsweise basierend auf einem Bezug zwischen dem zweiten Teil des Raumbereichs und dem ersten Teil des Raumbereichs, wobei ein transformierter zweiter Teildatensatz erhalten wird, Auswerten des ersten Teildatensatzes und des transformierten zweiten Teildatensatzes mittels eines Detektors zur Objektdetektion.

Description

Stand der Technik
Die Offenbarung bezieht sich auf ein Verfahren zum Verarbeiten von mit wenigstens einem Raumbereich assoziierten ersten Daten.
Die Offenbarung bezieht sich ferner auf eine Vorrichtung zum Verarbeiten von mit wenigstens einem Raumbereich assoziierten ersten Daten.
Offenbarung der Erfindung
Beispielhafte Ausführungsformen beziehen sich auf ein Verfahren, beispielsweise ein computerimplementiertes Verfahren, zum Verarbeiten von mit wenigstens einem Raumbereich assoziierten ersten Daten, beispielsweise Sensordaten, aufweisend: Aufteilen der ersten Daten in wenigstens einen ersten Teildatensatz, der mit einem ersten Teil des Raumbereichs assoziiert ist, und einen zweiten Teildatensatz, der mit einem zweiten Teil des Raumbereichs assoziiert ist, wobei der zweite Teil des Raumbereichs zumindest bereichsweise verschieden ist von dem ersten Teil des Raumbereichs, Transformieren des zweiten Teildatensatzes, beispielsweise basierend auf einem Bezug zwischen dem zweiten Teil des Raumbereichs und dem ersten Teil des Raumbereichs, wobei ein transformierter zweiter Teildatensatz erhalten wird, Auswerten des ersten Teildatensatzes und des transformierten zweiten Teildatensatzes mittels eines Detektors zur Objektdetektion. Auf diese Weise ist bei weiteren beispielhaften Ausführungsformen eine effiziente Auswertung des ersten Teildatensatzes und des transformierten zweiten Teildatensatzes möglich.
Bei weiteren beispielhaften Ausführungsformen kann das Auswerten des ersten Teildatensatzes und des transformierten zweiten Teildatensatzes beispielsweise mittels desselben Detektors zur Objektdetektion bzw. einer selben Instanz eines Detektors zur Objektdetektion ausgeführt werden, wobei beispielsweise der Detektor bereits trainiert sein kann.
Bei weiteren beispielhaften Ausführungsformen kann es sich bei dem Bezug zwischen dem zweiten Teil des Raumbereichs und dem ersten Teil des Raumbereichs beispielsweise um eine Winkellage des zweiten Teils des Raumbereichs bezogen auf den ersten Teil des Raumbereichs, beispielsweise gegenüber einem Referenzpunkt, z.B. Mittelpunkt, handeln. Beispielsweise ist ein jeweiliger Teil des Raumbereichs bei weiteren beispielhaften Ausführungsformen jeweils durch wenigstens einen Winkel bzw. Raumwinkel bzw. Winkelbereich bzw. Raumwinkelbereich charakterisierbar.
Bei weiteren beispielhaften Ausführungsformen kann es sich bei dem Transformieren beispielsweise um ein Rotieren handeln, z.B. so, dass eine Referenzachse eines zweiten Teils des Raumbereichs auf eine Referenzachse eines anderen, z.B. ersten, Teils des Raumbereichs abgebildet wird.
Bei weiteren beispielhaften Ausführungsformen kann es sich bei dem Transformieren beispielsweise um ein Spiegeln handeln, z.B. so, dass eine Referenzachse eines zweiten Teils des Raumbereichs auf eine Referenzachse eines anderen, z.B. ersten, Teils des Raumbereichs abgebildet wird.
Bei weiteren beispielhaften Ausführungsformen kann für das Transformieren auch eine andere Transformation als die vorstehend beispielhaft genannten Transformationen (Rotieren, Spiegeln) verwendet werden.
Bei weiteren beispielhaften Ausführungsformen kann beispielsweise der Detektor für die Objektdetektion mittels eines z.B. konventionellen Trainingsverfahrens trainiert werden für z.B. den ersten Teil des Raumbereichs (oder beispielsweise einen beliebigen Teil des Raumbereichs (z.B. den zweiten Teil des Raumbereichs), wobei der beliebige Teil des Raumbereichs z.B. kleiner ist als der (gesamte) Raumbereich), und der auf diese Weise trainierte Detektor kann bei weiteren beispielhaften Ausführungsformen z.B. sowohl für das Auswerten des ersten Teildatensatzes als auch für das Auswerten des transformierten zweiten Teildatensatzes verwendet werden, beispielsweise insbesondere ohne dass der Detektor für das Auswerten des transformierten zweiten Teildatensatzes modifiziert, beispielsweise weiter trainiert, wird, z.B. bezogen auf das Auswerten des ersten Teildatensatzes.
Bei weiteren beispielhaften Ausführungsformen weist der Detektor wenigstens ein, beispielsweise künstliches, beispielsweise tiefes, neuronales Netzwerk, beispielsweise vom CNN (Convolutional Neural Network)-Typ (auf Faltungsoperationen basierendes neuronales Netz), auf, beispielsweise vom RPN (Region Proposal Network)-Typ.
Bei weiteren beispielhaften Ausführungsformen kann für den Detektor auch ein RPN vorgesehen sein, das beispielsweise nicht auf CNN basiert.
Bei weiteren beispielhaften Ausführungsformen ist das RPN dazu ausgebildet, basierend auf den ersten Daten, beispielsweise für festgelegte Positionen („Anker“), z.B. im Bereich eines Referenzobjekts, beispielsweise rund um ein Referenzobjekt wie z.B. ein Fahrzeug, zu ermitteln, ob sich ein Objekt in der Nähe der Anker befindet. Bei weiteren beispielhaften Ausführungsformen ist das RPN dazu ausgebildet, für wenigstens einen, beispielsweise mehrere, beispielsweise alle, Anker eine erste Kenngröße, z.B. eine „Objectness-Score“, zu ermitteln, die eine Zuversicht des RPN für das Vorhandensein eines Objekts an der betreffenden Position charakterisiert. Bei weiteren beispielhaften Ausführungsformen kann vorgesehen sein, dass, falls auf diese Weise ein Objekt in der Nähe eines Ankers detektiert wird, das RPN zusätzlich dessen räumliche Ausdehnung ermittelt, beispielsweise schätzt, beispielsweise in Form einer begrenzenden Box („Bounding Box“).
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass die ersten Daten wenigstens eines der folgenden Elemente aufweisen: a) Daten einer LIDAR-Sensoreinrichtung, beispielsweise charakterisierbar durch eine Punktewolke, b) Daten einer Radar-Sensoreinrichtung, c) Daten eines Bildsensors, beispielsweise digitale Bilddaten. Bei weiteren beispielhaften Ausführungsformen kann alternativ oder ergänzend zu den vorstehend beispielhaft genannten Typen von Sensoreinrichtungen auch ein anderer Sensortyp, z.B. für ein Umfeld beispielsweise eines Fahrzeugs, verwendet werden.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass das Verfahren aufweist: Transformieren eines mit dem transformierten zweiten Teildatensatz assoziierten Detektionsergebnis, beispielsweise basierend auf dem Bezug zwischen dem zweiten Teil des Raumbereichs und dem ersten Teil des Raumbereichs, wobei beispielsweise ein transformiertes zweites Detektionsergebnis erhalten wird.
Mit anderen Worten kann bei weiteren beispielhaften Ausführungsformen eine bekannte Transformation für die Daten z.B. eines zweiten Gebiets verwendet werden, die sie derart abbildet, dass sie sich wie die Daten aus z.B. einem ersten Gebiet verhalten.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass das Verfahren aufweist: Aggregieren des transformierten zweiten Detektionsergebnisses mit einem ersten Detektionsergebnis, das mit dem ersten Teildatensatz assoziiert ist.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass das Verfahren aufweist: Aufteilen der ersten Daten in n viele Teildatensätze, mit n>1, die jeweils mit einem n-ten Teil des Raumbereichs assoziiert sind, Transformieren einer ersten Anzahl N1 der n vielen Teildatensätze, wobei N1 viele transformierte Teildatensätze erhalten werden, Auswerten eines ersten Teildatensatzes der n vielen Teildatensätze und wenigstens eines, beispielsweise aller, transformierten Teildatensätze der N1 vielen transformierten Teildatensätze mittels des, beispielsweise desselben, Detektors.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass das Verfahren wenigstens eines der folgenden Elemente aufweist: a) Transformieren von mit den N1 vielen transformierten Teildatensätzen assoziierten Detektionsergebnissen, wobei beispielsweise jeweils ein transformiertes zweites Detektionsergebnis erhalten wird, b) Aggregieren der transformierten zweiten Detektionsergebnisse mit einem ersten Detektionsergebnis, das mit dem ersten Teildatensatz der n vielen Teildatensätze assoziiert ist. Dies ermöglicht beispielsweise eine effiziente Darstellung und ggf. Weiterverarbeitung der mit unterschiedlichen Teilen des Raumbereichs assoziierten Detektionsergebnisse.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass das Transformieren ein Rotieren aufweist, beispielsweise um einen Referenzpunkt, beispielsweise Mittelpunkt, einer die ersten Daten bereitstellenden Sensoreinrichtung. Beispielsweise kann die Sensoreinrichtung wie vorstehend bereits beschrieben bei manchen Ausführungsformen als LIDAR-Sensoreinrichtung ausgebildet sein, und der Referenzpunkt kann beispielsweise einen Mittelpunkt der LIDAR-Sensoreinrichtung charakterisieren.
Bei weiteren beispielhaften Ausführungsformen kann alternativ oder ergänzend zu dem Rotieren auch wenigstens eine andere bekannte Transformation verwendet werden.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass die mit dem Raumbereich assoziierten ersten Daten mit einem Winkel von 360° (z.B. in einer virtuellen Ebene parallel zu einem Boden wie beispielsweise einer Fahrbahnoberfläche) assoziiert sind, wobei ein n-ter Teil des Raumbereichs mit einem Winkel von 360° / n assoziiert ist. Bei weiteren beispielhaften Ausführungsformen kann eine derartige Aufteilung des Raumbereichs beispielsweise bei der Verwendung einer LIDAR-Sensoreinrichtung für ein Fahrzeug, beispielsweise Kraftfahrzeug, verwendet werden, beispielsweise um vier jeweils zumindest in etwa 90° große Teile des Raumbereichs, beispielsweise um das Fahrzeug herum, zu erhalten. Auf diese Weise kann z.B. ein Umfeld des Fahrzeugs effizient in mehrere entsprechende Teile des Raumbereichs untergliedert werden, wobei die mit einem jeweiligen Teil des Raumbereichs assoziierten Teildatensätze effizient basierend auf dem Prinzip gemäß den Ausführungsformen verarbeitbar sind.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass die mit dem Raumbereich assoziierten ersten Daten mit einem Summenwinkel von x° (z.B. in einer virtuellen Ebene parallel zu einem Boden wie beispielsweise einer Fahrbahnoberfläche) assoziiert sind, wobei ein n-ter Teil des Raumbereichs mit einem Winkel von (x / n)° assoziiert ist, mit x <> 360. Mit anderen Worten kann bei weiteren beispielhaften Ausführungsformen der Raumbereich auch mit einem anderen Winkel als 360° assoziiert sein, beispielsweise mit weniger als 360° oder mehr als 360°, wobei z.B. die entsprechenden Teile des Raumbereichs jeweiligen Anteilen des (gesamten) Raumbereichs von x° entsprechen.
Weitere beispielhafte Ausführungsformen beziehen sich auf eine Vorrichtung zur Ausführung des Verfahrens gemäß den Ausführungsformen.
Weitere beispielhafte Ausführungsformen beziehen sich auf ein Fahrzeug, beispielsweise Kraftfahrzeug, mit wenigstens einer Vorrichtung gemäß den Ausführungsformen.
Weitere beispielhafte Ausführungsformen beziehen sich auf ein computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, das Verfahren gemäß den Ausführungsformen auszuführen.
Weitere beispielhafte Ausführungsformen beziehen sich auf ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren gemäß den Ausführungsformen auszuführen.
Weitere beispielhafte Ausführungsformen beziehen sich auf ein Datenträgersignal, das das Computerprogramm gemäß den Ausführungsformen überträgt und/oder charakterisiert.
Weitere beispielhafte Ausführungsformen beziehen sich auf eine Verwendung des Verfahrens gemäß den Ausführungsformen und/oder der Vorrichtung gemäß den Ausführungsformen und/oder des Fahrzeugs gemäß den Ausführungsformen und/oder des computerlesbaren Speichermediums gemäß den Ausführungsformen und/oder des Computerprogramms gemäß den Ausführungsformen und/oder des Datenträgersignals gemäß den Ausführungsformen für wenigstens eines der folgenden Elemente: a) räumliche Kompression, b) Spezialisierung des Detektors, c) Einsparen einer Kapazität des Detektors, d) Reduzieren von Netzwerkparametern (z.B. wenigstens eines tiefen neuronalen Netzes) des Detektors, beispielsweise Reduktion einer Anzahl trainierbarer Netzwerkparameter, z.B. Anzahl von Faltungskernen und/oder Anzahl von Netzwerkebenen bzw. -schichten des Detektors, e) Erhöhen der Leistung des Detektors, f) Steuern eines Überlapps von Teildatensätzen, beispielsweise bezüglich zueinander benachbarten Teilen des Raumbereichs, g) Verwenden eines, beispielsweise bereits trainierten, Detektors, für einen größeren Raumbereich, beispielsweise als den Raumbereich, für den der Detektor bereits trainiert worden ist, wobei beispielsweise der Detektor für das Verwenden nicht verändert, also z.B. unverändert belassen, wird, h) Erkennung von Objekten, beispielsweise für wenigstens eine Anwendung in Fahrzeugen, beispielsweise Fahrerassistenzsystemen, i) Erkennung von Objekten für die Robotik und/oder cyberphysische Systeme, j) Erkennung von Objekten für die Sicherheitstechnik.
Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen der Erfindung, die in den Figuren der Zeichnung dargestellt sind. Dabei bilden alle beschriebenen oder dargestellten Merkmale für sich oder in beliebiger Kombination den Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbeziehung sowie unabhängig von ihrer Formulierung bzw. Darstellung in der Beschreibung bzw. in der Zeichnung.
In der Zeichnung zeigt:

1 schematisch ein vereinfachtes Flussdiagramm gemäß beispielhaften Ausführungsformen,
2 schematisch ein vereinfachtes Flussdiagramm gemäß weiteren beispielhaften Ausführungsformen,
3 schematisch ein vereinfachtes Blockdiagramm gemäß weiteren beispielhaften Ausführungsformen,
4 schematisch ein vereinfachtes Blockdiagramm gemäß weiteren beispielhaften Ausführungsformen,
5 schematisch ein vereinfachtes Blockdiagramm gemäß weiteren beispielhaften Ausführungsformen,
6 schematisch vereinfachte Diagramme gemäß weiteren beispielhaften Ausführungsformen,
7 schematisch vereinfachte Diagramme gemäß weiteren beispielhaften Ausführungsformen,
8 schematisch ein vereinfachtes Blockdiagramm gemäß weiteren beispielhaften Ausführungsformen,
9 schematisch Aspekte von Verwendungen gemäß weiteren beispielhaften Ausführungsformen,
10 schematisch Aspekte eines Region Proposal Networks gemäß weiteren beispielhaften Ausführungsformen.

Beispielhafte Ausführungsformen, vgl. 1 und 5, beziehen sich auf ein Verfahren, beispielsweise ein computerimplementiertes Verfahren, zum Verarbeiten von mit wenigstens einem Raumbereich RB (5) assoziierten ersten Daten DAT-1 (1), beispielsweise Sensordaten, aufweisend: Aufteilen 100 der ersten Daten DAT-1 in wenigstens einen ersten Teildatensatz TD-1, der mit einem ersten Teil RB-1 (5) des Raumbereichs RB assoziiert ist, und einen zweiten Teildatensatz TD-2, der mit einem zweiten Teil RB-2 des Raumbereichs RB assoziiert ist, wobei der zweite Teil RB-2 des Raumbereichs RB zumindest bereichsweise verschieden ist von dem ersten Teil RB-1 des Raumbereichs, Transformieren 102 (1) des zweiten Teildatensatzes TD-2, beispielsweise basierend auf einem Bezug zwischen dem zweiten Teil RB-2 des Raumbereichs und dem ersten Teil RB-1 des Raumbereichs RB, wobei ein transformierter zweiter Teildatensatz TD-2' erhalten wird, Auswerten 104 des ersten Teildatensatzes TD-1 und des transformierten zweiten Teildatensatzes TD-2' mittels eines Detektors DET zur Objektdetektion. Auf diese Weise ist bei weiteren beispielhaften Ausführungsformen eine effiziente Auswertung 104 des ersten Teildatensatzes TD-1 und des transformierten zweiten Teildatensatzes TD-2' möglich.
Bei weiteren beispielhaften Ausführungsformen kann das Auswerten 104 des ersten Teildatensatzes TD-1 und des transformierten zweiten Teildatensatzes TD-2' beispielsweise mittels desselben Detektors DET zur Objektdetektion bzw. einer selben Instanz eines Detektors zur Objektdetektion ausgeführt werden, wobei beispielsweise der Detektor DET bereits trainiert sein kann. Das Auswerten 104 führt z.B. auf jeweilige Detektionsergebnisse DE-1, DE-2.
Bei weiteren beispielhaften Ausführungsformen können beispielsweise unterschiedliche Teildatensätze zeitlich nacheinander mittels desselben Detektors DET ausgewertet werden. Bei weiteren beispielhaften Ausführungsformen können beispielsweise unterschiedliche Teildatensätze zeitlich zumindest teilweise überlappend bzw. gleichzeitig mittels mehrerer Instanzen des Detektors DET ausgewertet werden, wobei die mehreren Instanzen des Detektors DET ggf. mehr Rechenzeitressourcen benötigen gegenüber einer einzelnen Instanz bzw. einem einzigen (selben) Detektor DET, der die unterschiedlichen Teildatensätze zeitlich nacheinander auswertet.
Bei weiteren beispielhaften Ausführungsformen kann das Prinzip gemäß den Ausführungsformen z.B. als räumliche Kompression (englisch: spatial compression) aufgefasst bzw. bezeichnet werden, weil z.B. ein (gesamter) Raumbereich RB auf einem kleineren Teil bzw. Teilraumbereich abgebildet wird, z.B. in Bezug auf die Auswertung durch den Detektor DET.
Bei weiteren beispielhaften Ausführungsformen kann es sich bei dem Bezug zwischen dem zweiten Teil RB-2 (5) des Raumbereichs RB und dem ersten Teil RB-1 des Raumbereichs RB beispielsweise um eine Winkellage des zweiten Teils RB-2 des Raumbereichs RB bezogen auf den ersten Teil RB-1 des Raumbereichs, beispielsweise gegenüber einem Referenzpunkt RP, z.B. Mittelpunkt, handeln. Beispielsweise ist ein jeweiliger Teil RB-1, RB-2 des Raumbereichs RB bei weiteren beispielhaften Ausführungsformen jeweils durch wenigstens einen Winkel bzw. Raumwinkel bzw. Winkelbereich bzw. Raumwinkelbereich charakterisierbar.
Bei dem beispielhaft abgebildeten Raumbereich RB der 5 handelt es sich beispielsweise um ein Umfeld des Referenzpunkts RP, das einen Winkelbereich (z.B. in einer Ebene) von 360° charakterisiert. Beispielhaft ist der Raumbereich RB vorliegend in n=4 jeweils z.B. etwa 90° charakterisierende Teilbereiche RB-1, RB-2, RB-3, RB-4 aufgeteilt.
Bei weiteren beispielhaften Ausführungsformen kann beispielsweise der Detektor DET (1, 5) für die Objektdetektion mittels eines z.B. konventionellen Trainingsverfahrens trainiert werden für z.B. den ersten Teil RB-1 (5) des Raumbereichs RB (oder beispielsweise einen beliebigen Teil des Raumbereichs RB (z.B. den zweiten Teil RB-2 des Raumbereichs), wobei der beliebige Teil des Raumbereichs RB z.B. kleiner ist als der (gesamte) Raumbereich RB), und der auf diese Weise trainierte Detektor kann bei weiteren beispielhaften Ausführungsformen z.B. sowohl für das Auswerten des ersten Teildatensatzes TD-1 als auch für das Auswerten des transformierten zweiten Teildatensatzes TD-2' verwendet werden, beispielsweise insbesondere ohne dass der Detektor für das Auswerten des transformierten zweiten Teildatensatzes modifiziert, beispielsweise weiter trainiert, wird, z.B. bezogen auf das Auswerten des ersten Teildatensatzes.
Bei weiteren beispielhaften Ausführungsformen weist der Detektor DET wenigstens ein, beispielsweise künstliches, beispielsweise dichtes, neuronales Netzwerk, beispielsweise vom CNN (Convolutional Neural Network)-Typ (auf Faltungsoperationen basierendes neuronales Netz), auf, beispielsweise vom RPN (Region Proposal Network)-Typ.
Bei weiteren beispielhaften Ausführungsformen, vgl. 10, ist das Region Proposal Network RPN dazu ausgebildet, basierend auf den ersten Daten DAT-1 bzw. basierend auf den entsprechenden Teildatensätzen TD-1, TD-2, .., beispielsweise für festgelegte Positionen („Anker“), z.B. im Bereich eines Referenzobjekts, beispielsweise rund um ein Referenzobjekt wie z.B. ein Fahrzeug, s. z.B. den Referenzpunkt RP gemäß 5, zu ermitteln, ob sich ein Objekt in der Nähe der Anker befindet. Bei weiteren beispielhaften Ausführungsformen ist das Region Proposal Network RPN dazu ausgebildet, für wenigstens einen, beispielsweise mehrere, beispielsweise alle, Anker eine erste Kenngröße, z.B. eine „Objectness-Score“, zu ermitteln, die eine Zuversicht des Region Proposal Network RPN für das Vorhandensein eines Objekts an der betreffenden Position charakterisiert. Bei weiteren beispielhaften Ausführungsformen kann vorgesehen sein, dass, falls auf diese Weise ein Objekt in der Nähe eines Ankers detektiert wird, das Region Proposal Network RPN zusätzlich dessen räumliche Ausdehnung ermittelt, beispielsweise schätzt, beispielsweise in Form einer begrenzenden Box („Bounding Box“). 10 zeigt hierzu beispielhaft schematisch die ersten Daten DAT-1, die dem als Region Proposal Network RPN ausgebildeten Detektor zuführbar sind, sowie ein Detektionsergebnis DE, das der Detektor RPN daraus ermittelt, und das Informationen über detektierte Objekte 01, 02 aufweisen kann, beispielsweise in Form der genannten begrenzenden Boxen.
Bei weiteren beispielhaften Ausführungsformen, 5, kann der Detektor DET, RPN den schematisch in 10 abgebildeten Ablauf beispielhaft für mehrere (ggf. transformierte)Teildatensätze TD-1, TD-2, TD-3, TD-4 ausführen, wobei beispielsweise jeweils derselbe Detektor DET, RPN verwendbar ist.
Bei weiteren beispielhaften Ausführungsformen, 4, ist vorgesehen, dass die ersten Daten DAT-1 wenigstens eines der folgenden Elemente aufweisen: a) Daten DAT-LID einer LIDAR-Sensoreinrichtung, beispielsweise charakterisierbar durch eine Punktewolke, b) Daten DAT-RAD einer Radar-Sensoreinrichtung, c) Daten DAT-BILD eines Bildsensors, beispielsweise digitale Bilddaten.
Bei weiteren beispielhaften Ausführungsformen, 1, ist vorgesehen, dass das Verfahren aufweist: Transformieren 106 eines mit dem transformierten zweiten Teildatensatz TD-2' assoziierten Detektionsergebnis DE-2, beispielsweise basierend auf dem Bezug zwischen dem zweiten Teil RB-2 des Raumbereichs RB und dem ersten Teil RB-1 des Raumbereichs RB, wobei beispielsweise ein transformiertes zweites Detektionsergebnis DE-2' erhalten wird. Durch das Transformieren 106 kann - bezüglich dem zweiten Detektionsergebnis DE-2 - gleichsam die Auswirkung des Transformierens 102' kompensiert, beispielsweise „rückgängig gemacht“ werden, so dass nach dem Transformieren 106 z.B. die Detektionsergebnisse DE-1, DE-2' jeweils einen selben Bezug zu einer Referenz, beispielsweise dem ersten Detektionsergebnis DE-1, aufweisen. Dadurch ist es bei weiteren beispielhaften Ausführungsformen vorteilhaft möglich, denselben Detektor DET, RPN für eine Auswertung von mit unterschiedlichen Teilen RB-1, RB-2, ... des Raumbereichs RB assoziierte Daten zu verwenden, obwohl die jeweiligen Teildatensätze TD-1, TD-2, ... z.B. unterschiedlichen Winkelbereichen des Raumbereichs RB entsprechen. Zudem können die Detektionsergebnisse DE-1, DE-2' effizient z.B. jeweils in vergleichbarer Weise ausgewertet werden.
Bei weiteren beispielhaften Ausführungsformen, 1, ist vorgesehen, dass das Verfahren aufweist: Aggregieren 108 des transformierten zweiten Detektionsergebnisses DE-2' mit einem ersten Detektionsergebnis DE-1, das mit dem ersten Teildatensatz TD-1 assoziiert ist. Dies ermöglicht bei weiteren beispielhaften Ausführungsformen vorteilhaft eine effiziente gemeinsame Auswertung (nicht gezeigt) der Detektionsergebnisse DE-1, DE-2'.
Bei weiteren beispielhaften Ausführungsformen, 2, 5, ist vorgesehen, dass das Verfahren aufweist: Aufteilen 110 der ersten Daten DAT-1 in n viele, mit n>1 (s. 5 für ein beispielhaftes Szenario mit n=4), Teildatensätze TD-1, TD-2, ..., TD-n die jeweils mit einem n-ten Teil des Raumbereichs RB assoziiert sind, Transformieren 112 einer ersten Anzahl N1 der n vielen Teildatensätze TD-2, ..., TD-n, wobei N1 viele transformierte Teildatensätze TD-2', ..., TD-n' erhalten werden, Auswerten 114 eines ersten Teildatensatzes TD-1 der n vielen Teildatensätze und wenigstens eines, beispielsweise aller, transformierten Teildatensätze TD-2', ..., TD-n' der N 1 vielen transformierten Teildatensätze mittels des, beispielsweise desselben, Detektors DET. Dies führt bei dem Beispiel von 5 mit n=4 zu den vier Detektionsergebnissen DE-1, DE-2, DE-3, DE-4.
Bei weiteren beispielhaften Ausführungsformen, 2, ist vorgesehen, dass das Verfahren wenigstens eines der folgenden Elemente aufweist: a) Transformieren 116 von mit den N1 vielen transformierten Teildatensätzen assoziierten Detektionsergebnissen DE-2, ..., DE-n (z.B. für 5 DE-2, ..., DE-4), wobei beispielsweise jeweils ein transformiertes zweites Detektionsergebnis DE-2', ..., DE-n' (z.B. für 5 DE-2', DE-3', DE-4') erhalten wird, b) Aggregieren 118 ( 2) der transformierten zweiten Detektionsergebnisse DE-2', ..., DE-n' mit einem ersten Detektionsergebnis DE-1, das mit dem ersten Teildatensatz TD-1 der n vielen Teildatensätze assoziiert ist. Dies ermöglicht beispielsweise eine effiziente Darstellung und ggf. Weiterverarbeitung der mit unterschiedlichen Teilen RB-1, RB-2, RB-3, RB-4 des Raumbereichs RB assoziierten Detektionsergebnisse, s. z.B. das Bezugszeichen DE'' gemäß 5.
Bei weiteren beispielhaften Ausführungsformen, 1, 2, ist vorgesehen, dass das Transformieren 106, 116 ein Rotieren 106a, 116a aufweist, beispielsweise um einen Referenzpunkt RP (5), beispielsweise Mittelpunkt, einer die ersten Daten DAT-1 bereitstellenden Sensoreinrichtung 10 (8). Beispielsweise kann die Sensoreinrichtung 10 wie vorstehend bereits beschrieben bei manchen Ausführungsformen als LIDAR-Sensoreinrichtung ausgebildet sein, und der Referenzpunkt kann beispielsweise einen Mittelpunkt der LIDAR-Sensoreinrichtung charakterisieren.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass die mit dem Raumbereich RB assoziierten ersten Daten DAT-1 mit einem Winkel von 360° (z.B. in einer virtuellen Ebene parallel zu einem Boden wie beispielsweise einer Fahrbahnoberfläche) assoziiert sind, wobei ein n-ter Teil des Raumbereichs mit einem Winkel von 360° / n assoziiert ist. Dies ist beispielhaft für n=4 in 5 abgebildet. Bei weiteren beispielhaften Ausführungsformen kann eine derartige Aufteilung des Raumbereichs RB beispielsweise bei der Verwendung einer LIDAR-Sensoreinrichtung 10 (8) für ein Fahrzeug, beispielsweise Kraftfahrzeug 15, verwendet werden, beispielsweise um vier jeweils zumindest in etwa 90° große Teile RB-1, RB-2, RB-3, RB-4 (5) des Raumbereichs RB, beispielsweise um das Fahrzeug 15 (8) herum, zu erhalten. Auf diese Weise kann z.B. ein Umfeld U des Fahrzeugs 15 effizient in mehrere entsprechende Teile des Raumbereichs RB untergliedert werden, wobei die mit einem jeweiligen Teil des Raumbereichs assoziierten Teildatensätze TD-1, TD-2, TD-3, TD-4 effizient basierend auf dem Prinzip gemäß den Ausführungsformen verarbeitbar sind.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass die mit dem Raumbereich RB assoziierten ersten Daten DAT mit einem Summenwinkel von x° (z.B. in einer virtuellen Ebene parallel zu einem Boden wie beispielsweise einer Fahrbahnoberfläche) assoziiert sind, wobei ein n-ter Teil des Raumbereichs RB mit einem Winkel von (x / n)° assoziiert ist, mit x <> 360. Mit anderen Worten kann bei weiteren beispielhaften Ausführungsformen der Raumbereich RB auch mit einem anderen Winkel als 360° assoziiert sein, beispielsweise mit weniger als 360° oder mehr als 360°, wobei z.B. die entsprechenden Teile des Raumbereichs jeweiligen Anteilen des (gesamten) Raumbereichs von x° entsprechen.
6 zeigt schematisch zwei Diagramme D1, D2 zum Vergleich einer Detektorleistung von, beispielsweise konventionellen, Detektoren zur Objektdetektion im Kontext einer LIDAR-Sensoreinrichtung für ein Kraftfahrzeug. Ein erster Detektor vom RPN-Typ ist für ein gesamtes 360° aufweisendes Sichtfeld einer beispielhaften LIDAR-Sensoreinrichtung 10 trainiert worden („det360“), und ein zweiter Detektor vom RPN-Typ ist für einen Winkelbereich von 90° des gesamten Sichtfelds trainiert worden („det90“).
Diagramm D1 zeigt eine Detektorleistung gemäß dem mean Average Precision (mAP)-Maß für eine Auswertung in einem 90°-Winkelbereich, in dem der zweite Detektor „det90“ trainiert worden ist. Der dem Bezugszeichen det90 zugeordnete Schraffurtyp gibt Raumbereiche an, in denen der zweite Detektor det90 eine höhere Detektorleistung gemäß dem mAP-Maß aufweist, und der dem Bezugszeichen det360 zugeordnete Schraffurtyp gibt Raumbereiche an, in denen der erste Detektor det360 eine höhere Detektorleistung gemäß dem mAP-Maß aufweist, In dem gesamten 90°-Winkelbereich des Diagramms D1 ist der zweite Detektor „det90“ - bezüglich des mAP-Maßes - besser als der erste Detektor det360, was darauf hinweist, dass der zweite Detektor det90 sich auf das eingeschränkte Sichtfeld besser spezialisiert hat.
Diagramm D2 zeigt eine zu Diagramm D1 vergleichbare Darstellung, nun jedoch für eine Auswertung in dem gesamten Sichtfeld von 360°. Wie bereits aus Diagramm D1 ersichtlich, ist auch in dem Diagramm D2 der spezialisierte zweite Detektor det90 in dem 90°-Frontbereich FB besser als der erste Detektor det360, hat aber in den anderen Bereichen AB, insbesondere „hinter“ (in 6 links von) dem Fahrzeug 15, eine deutlich schwächere mAP, was durch eine fehlende Äquivarianz (sowohl Rotationsäquivarianz als auch Translationsäquivarianz) von RPNs bedingt ist.
7 zeigt schematisch zwei Diagramme D3, D4 zur Bewertung einer Detektorleistung eines basierend auf dem Prinzip gemäß den Ausführungsformen verwendeten dritten Detektors DET („det4x90“), wie er für n=4 Teile RB-1, RB-2, RB-3, RB4 des Raumbereichs RB von 360° z.B. gemäß der schematischen Darstellung von 5 verwendbar ist. D.h., der dritte Detektor det4x90 ist z.B. dazu ausgebildet, den Teildatensatz TD-1 und transformierte Teildatensätze TD-2', TD-3', TD-4' auszuwerten, die jeweils mit einem entsprechenden Teil RB-1, RB-2, RB-3, RB-4 des Raumbereichs RB assoziiert sind.
Diagramm D3 zeigt die Detektorleistung des dritten Detektors det4x90 im Vergleich zu dem ersten Detektor det360, und Diagramm D4 zeigt die Detektorleistung des dritten Detektors det4x90 im Vergleich zu dem zweiten Detektor det90.
Der dem Bezugszeichen det4x90 zugeordnete Schraffurtyp gibt Raumbereiche an, in denen der dritte Detektor det4x90 eine höhere Detektorleistung gemäß dem mAP-Maß aufweist, und der dem Bezugszeichen det360 (Diagramm D3) bzw. det90 (Diagramm D4) zugeordnete Schraffurtyp gibt Raumbereiche an, in denen der erste Detektor det360 bzw. der zweite Detektor det90 eine höhere Detektorleistung gemäß dem mAP-Maß aufweist.
Aus Diagramm D3 ist zu erkennen, dass der dritte Detektor det4x90 im gesamten Raumbereich von 360° ein größeres mAP-Maß aufweist als der erste Detektor, mithin der dritte Detektor det4x90 in dem gesamten Raumbereich von 360° besser ist als der erste Detektor det360.
Aus Diagramm D4 ist zu erkennen, dass der dritte Detektor det4x90 in dem Frontbereich FB hinsichtlich des mAP-Maßes vergleichbar ist mit dem zweiten Detektor det90, in den anderen Bereichen AB jedoch deutlich besser als der zweite Detektor det90.
Weitere beispielhafte Ausführungsformen, 3, beziehen sich auf eine Vorrichtung 200 zur Ausführung des Verfahrens gemäß den Ausführungsformen.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass die Vorrichtung 200 aufweist: eine wenigstens einen Rechenkern 202a, 202b, 202c aufweisende Recheneinrichtung („Computer“) 202, eine der Recheneinrichtung 202 zugeordnete Speichereinrichtung 204 zur zumindest zeitweisen Speicherung wenigstens eines der folgenden Elemente: a) Daten DAT (z.B. die ersten Daten DAT-1 bzw. daraus ableitbare Daten TD-1, TD-2, ..., DE-1, DE-2, ..., DE-2', DE-3', ...), b) Computerprogramm PRG, beispielsweise zur Ausführung des Verfahrens gemäß den Ausführungsformen.
Bei weiteren beispielhaften Ausführungsformen weist die Speichereinrichtung 204 einen flüchtigen Speicher (z.B. Arbeitsspeicher (RAM)) 204a auf, und/oder einen nichtflüchtigen (NVM-) Speicher (z.B. Flash-EEPROM) 204b, oder eine Kombination hieraus oder mit anderen, nicht explizit genannten Speichertypen.
Bei weiteren beispielhaften Ausführungsformen ist die Vorrichtung 200 zur Realisierung der Funktion des Detektors DET ausgebildet, beispielsweise zum Training und/oder zu Auswertung eines auf wenigstens einem künstlichen tiefen neuronalen Netz z.B. vom Region Proposal Network-Typ.
Weitere beispielhafte Ausführungsformen beziehen sich auf ein computerlesbares Speichermedium SM, umfassend Befehle PRG, die bei der Ausführung durch einen Computer 202 diesen veranlassen, das Verfahren gemäß den Ausführungsformen auszuführen.
Weitere beispielhafte Ausführungsformen beziehen sich auf ein Computerprogramm PRG, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer 202 diesen veranlassen, das Verfahren gemäß den Ausführungsformen auszuführen.
Weitere beispielhafte Ausführungsformen beziehen sich auf ein Datenträgersignal DCS, das das Computerprogramm PRG gemäß den Ausführungsformen überträgt und/oder charakterisiert.
Das Datenträgersignal DCS ist beispielsweise über eine optionale Datenschnittstelle 206 der Vorrichtung 200 empfangbar. Ebenfalls sind z.B. die ersten Daten DAT-1 über die optionale Datenschnittstelle 206 übertragbar, z.B. von wenigstens einer entsprechenden Sensoreinrichtung 10, 10a, 10b, 10c empfangbar. Beispielsweise symbolisiert der optionale Block 10 eine LIDAR-Sensoreinrichtung, der optionale Block 10a symbolisiert eine RADAR-Einrichtung, der optionale Block 10b symbolisiert eine, z.B. digitale, Bildsensoreinrichtung, und der optionale Block 10c symbolisiert eine sonstige Sensoreinrichtung wie z.B. eine Umfeldsensoreinrichtung, z.B. für ein Fahrzeug.
Weitere beispielhafte Ausführungsformen, 8, beziehen sich auf ein Fahrzeug 15, beispielsweise Kraftfahrzeug 15, mit wenigstens einer Vorrichtung 200 gemäß den Ausführungsformen. Optional weist das Fahrzeug 15 ein oder mehrere Sensoreinrichtungen 10 auf, die z.B. die ersten Daten DAT-1 bereitstellen.
Nachfolgend ist eine beispielhafte Verarbeitung der ersten Daten DAT-1 der Sensoreinrichtung 10 des Kraftfahrzeugs 15 gemäß weiteren beispielhaften Ausführungsformen beschrieben. Es wird beispielhaft davon ausgegangen, dass die Sensoreinrichtung 10 als LIDAR-Sensoreinrichtung ausgebildet ist und die ersten Daten DAT-1 eine Punktewolke bilden.
Die zu verarbeitenden Lidar-Daten DAT-1 in Form einer Punktwolke werden z.B. in vier Teile TD-1, TD-2, TD-3, TD-4 partitioniert, s. auch 5, die (z.B. bis auf den ersten Teildatensatz TD-1) jeweils um den Mittelpunkt bzw. Referenzpunkt RP der Lidar-Sensoreinrichtung „nach vorne“ rotiert werden, also bei dem Beispiel gemäß 5 in den Frontbereich FB, z.B. entsprechend dem ersten Teil RB-1 des Raumbereichs RB. Das Rotieren kann beispielsweise ähnlich zu dem Block 112 gemäß 2 erfolgen. Beispielsweise wird jede Punktwolken-Partition, die mit einem entsprechenden Teildatensatz TD-1, TD-2, TD-3, TD-4 korrespondiert, in einen eigenen Batch geschrieben, so dass sich in diesem Fall eine Batchgröße von vier ergibt.
Sodann wird ein z.B. für einen Raumbereich von 90° ausgebildeter Detektor DET (5), beispielsweise direkt, z.B. ohne jegliche Modifikation, auf die rotierten Punktwolken bzw. die sie charakterisierenden Teildatensätze TD-1, TD-2, TD-3, TD-4 angewendet, was separate (ggf. rotierte, im Falle der Raumbereiche RB-2, RB-3, RB-4) Detektionsergebnisse DE-1, DE-2, DE-3, DE-4 für jeden Teil RB-1, RB-2, RB-3, RB-4 ergibt.
Da die Detektionsergebnisse („Detektionen“), z.B. wie schon die Punktwolken, (mit Ausnahme von DE-1) individuell rotiert in vier Batches vorliegen, wird beispielsweise die vorangehende Rotation, z.B. Batch-weise, wieder rückgängig gemacht, z.B. durch eine erneute (inverse) Rotation. Anschließend werden z.B. die zurückrotierten Detektionen DE-2', DE-3', DE-4' zusammen mit dem nicht rotierten Detektionsergebnis DE-1 des Frontbereichs FB in einen einzigen Batch, also z.B. ein gemeinsames Detektionsergebnis DE''', aggregiert, z.B. konkateniert.
Bei weiteren beispielhaften Ausführungsformen ist keinerlei Anpassung an dem Detektor DET vorgesehen, so dass z.B. ein konventioneller, z.B. trainierter, 90°-Detektor vom RPN-Typ verwendbar ist, um die verschiedenen Teildatensätze TD-1, TD-2, ..., TD-n auszuwerten. Vorteilhaft werden bei weiteren beispielhaften Ausführungsformen z.B. lediglich Module bzw. Computerprogramme für die beschriebenen Transformationen, z.B. Rotationen, und Reshaping Operationen (also z.B. das Aggregieren) vorgesehen.
Mit anderen Worten kann bei weiteren beispielhaften Ausführungsformen ein z.B. konventioneller 90°-Detektor durch das Prinzip gemäß den Ausführungsformen so eingesetzt werden, dass eine effiziente Objektdetektion in einem größeren Raumbereich RB möglich ist, als es dem Bereich (von hier vorliegend beispielsweise 90°) entspricht, für den der konventionelle 90°-Detektor ausgelegt bzw. trainiert worden ist.
Bei weiteren beispielhaften Ausführungsformen bleiben Ein- und Ausgabeschnittstellen des (basierend auf dem Prinzip gemäß den Ausführungsformen) erweiterten Detektors DET, z.B. unverändert, erhalten. Darüber hinaus ist es bei weiteren beispielhaften Ausführungsformen möglich, den Ansatz z.B. des Transformierens schon während eines Trainings des Detektors anzuwenden. Dazu können beispielsweise Labels den jeweiligen Partitionen bzw. Teildatensätzen TD-1, ..., TD-n zugeordnet werden und z.B. ebenfalls entsprechend rotiert werden.
Bei weiteren beispielhaften Ausführungsformen kann, z.B. bei einem radialsymmetrischen Messprinzip der Sensoreinrichtung 10, wie dies z.B. bei der LIDAR-Sensoreinrichtung 10 der Fall ist, die Partitionierung bzw. Aufteilung auch abweichend von den vorstehend beispielhaft genannten Ausführungsformen vorgenommen werden, ist also insbesondere nicht auf einen Fall von z.B. 4 Partitionen bzw. Teilen RB-1, ..., RB-4 des Raumbereichs RB je 90° beschränkt.
Bei weiteren beispielhaften Ausführungsformen sind z.B. auch andere Aufteilungen wie beispielsweise 2×180°, 3×120°, bis hin zu 360×1° oder weniger (z.B. mehr als 360 Teilbereiche mit entsprechend < 1°) ebenfalls denkbar und induzieren z.B. jeweils mehr Spezialisierung des Detektors.
Bei weiteren beispielhaften Ausführungsformen ist auch denkbar, das Aufteilen so vorzunehmen, dass sich die Teile RB-1, ..., RB-n überlappen.
Bei weiteren beispielhaften Ausführungsformen kann das Prinzip gemäß den Ausführungsformen, beispielsweise eine räumliche Kompression, auch bei anderen Daten als z.B. LIDAR-Daten angewendet werden. Ein Beispiel ist z.B. eine radiale Geschwindigkeit bei gemessenen Radar-Locations. Diese ist z.B. abhängig von der Geschwindigkeit des Fahrzeugs 15, auf dem der Radar-Sensor befestigt ist. Ein RPN z.B. als Detektor für Radar-Daten wäre nicht äquivariant bezüglich der Geschwindigkeitsänderungen des Fahrzeugs. Analog zur spatial compression gemäß beispielhaften Ausführungsformen könnten die Radar-Daten bei weiteren beispielhaften Ausführungsformen aber z.B. so aufbereitet (z.B. komprimiert) werden, dass sie so scheinen, als wären sie bei stehendem Fahrzeug aufgenommen worden.
Bei weiteren beispielhaften Ausführungsformen kann das Prinzip gemäß den Ausführungsformen, beispielsweise eine räumliche Kompression, auch auf ein Kamerabild angewendet werden. Z.B. kann bei weiteren beispielhaften Ausführungsformen eine linke Hälfte eines Kamerabildes als gespiegelte Version der rechten Hälfte interpretiert werden, z.B. gemäß zwei Teildatensätzen TD-1, TD-2. Bei weiteren beispielhaften Ausführungsformen kann ein spezialisierter Detektor z.B. auf der rechten Seite eines Kamerabildes trainiert werden und dann z.B. ebenfalls auf die gespiegelte linke Hälfte angewendet werden.
Bei weiteren beispielhaften Ausführungsformen kann eine durch das Prinzip gemäß den Ausführungsformen, beispielsweise die spatial compression, eingesparte Detektorkapazität dazu verwendet werden, um eine Parameteranzahl eines Detektors DET, z.B. bei gleichbleibender Leistung, zu verringern.
Weitere beispielhafte Ausführungsformen, 9, beziehen sich auf eine Verwendung 300 des Verfahrens gemäß den Ausführungsformen und/oder der Vorrichtung 200 gemäß den Ausführungsformen und/oder des Fahrzeugs 15 gemäß den Ausführungsformen und/oder des computerlesbaren Speichermediums SM gemäß den Ausführungsformen und/oder des Computerprogramms PRG gemäß den Ausführungsformen und/oder des Datenträgersignals DCS gemäß den Ausführungsformen für wenigstens eines der folgenden Elemente: a) räumliche Kompression 301, b) Spezialisierung 302 des Detektors DET, c) Einsparen 303 einer Kapazität des Detektors DET, d) Reduzieren 304 von Netzwerkparametern (z.B. wenigstens eines tiefen neuronalen Netzes) RPN des Detektors DET, beispielsweise Reduktion einer Anzahl trainierbarer Netzwerkparameter, z.B. Anzahl von Faltungskernen und/oder Anzahl von Netzwerkebenen bzw. -schichten des Detektors DET, e) Erhöhen 305 der Leistung des Detektors DET, f) Steuern 306 eines Überlapps von Teildatensätzen TD-1, TD-2, beispielsweise bezüglich zueinander benachbarten Teilen RB-1, RB-2 des Raumbereichs RB, g) Verwenden 307 eines, beispielsweise bereits trainierten, Detektors DET, für einen größeren Raumbereich RB, beispielsweise als den Raumbereich RB, für den der Detektor DET bereits trainiert worden ist, wobei beispielsweise der Detektor DET für das Verwenden 307 nicht verändert, also z.B. unverändert belassen, wird, insbesondere nicht weitertrainiert bzw. nachtrainiert wird, h) Erkennung 308 von Objekten, beispielsweise für wenigstens eine Anwendung in Fahrzeugen 15, beispielsweise Fahrerassistenzsystemen, i) Erkennung 309 von Objekten für die Robotik und/oder cyberphysische Systeme, j) Erkennung 310 von Objekten für die Sicherheitstechnik.

Claims

Verfahren, beispielsweise computerimplementiertes Verfahren, zum Verarbeiten von mit wenigstens einem Raumbereich (RB) assoziierten ersten Daten (DAT-1), beispielsweise Sensordaten, aufweisend: Aufteilen (100) der ersten Daten (DAT-1) in wenigstens einen ersten Teildatensatz (TD-1), der mit einem ersten Teil (RB-1) des Raumbereichs (RB) assoziiert ist, und einen zweiten Teildatensatz (TD-2), der mit einem zweiten Teil (RB-2) des Raumbereichs (RB) assoziiert ist, wobei der zweite Teil (RB-2) des Raumbereichs (RB) zumindest bereichsweise verschieden ist von dem ersten Teil (RB-1) des Raumbereichs (RB), Transformieren (102) des zweiten Teildatensatzes (TD-2), beispielsweise basierend auf einem Bezug zwischen dem zweiten Teil (RB-2) des Raumbereichs (RB) und dem ersten Teil (RB-1) des Raumbereichs (RB), wobei ein transformierter zweiter Teildatensatz (TD-2') erhalten wird, Auswerten (104) des ersten Teildatensatzes (TD-1) und des transformierten zweiten Teildatensatzes (TD-2') mittels eines Detektors (DET) zur Objektdetektion.
Verfahren nach Anspruch 1, wobei der Detektor (DET) wenigstens ein, beispielsweise künstliches, neuronales Netzwerk, beispielsweise vom CNN (Convolutional Neural Network)-Typ, aufweist, beispielsweise vom RPN (Regional Proposal Network)-Typ.
Verfahren nach wenigstens einem der vorstehenden Ansprüche, wobei die ersten Daten (DAT-1) wenigstens eines der folgenden Elemente aufweisen: a) Daten (DAT-LID) einer LIDAR-Sensoreinrichtung (10a), beispielsweise charakterisierbar durch eine Punktewolke, b) Daten (DAT-RAD) einer Radar-Sensoreinrichtung (10b), c) Daten (DAT-BILD) eines Bildsensors (10c), beispielsweise digitale Bilddaten.
Verfahren nach wenigstens einem der vorstehenden Ansprüche, aufweisend: Transformieren (106) eines mit dem transformierten zweiten Teildatensatz (TD-2') assoziierten Detektionsergebnis (DE-2), beispielsweise basierend auf dem Bezug zwischen dem zweiten Teil (RB-2) des Raumbereichs (RB) und dem ersten Teil (RB-1) des Raumbereichs (RB), wobei beispielsweise ein transformiertes zweites Detektionsergebnis (DE-2') erhalten wird.
Verfahren nach Anspruch 4, aufweisend: Aggregieren (108) des transformierten zweiten Detektionsergebnisses (DE-2') mit einem ersten Detektionsergebnis (DE-1), das mit dem ersten Teildatensatz (TD-1) assoziiert ist.
Verfahren nach wenigstens einem der vorstehenden Ansprüche, aufweisend: Aufteilen (110) der ersten Daten (DAT-1) in n viele Teildatensätze (TD-1, TD-2, ..., TD-n), mit n>1, die jeweils mit einem n-ten Teil (RB-n) des Raumbereichs (RB) assoziiert sind, Transformieren (112) einer ersten Anzahl N1 (TD-2, ..., TD-n) der n vielen Teildatensätze (TD-1, TD-2, ..., TD-n), wobei N1 viele transformierte Teildatensätze (TD-2', ..., TDn') erhalten werden, Auswerten (114) eines ersten Teildatensatzes (TD-1) der n vielen Teildatensätze (TD-1, TD-2, ..., TD-n) und wenigstens eines, beispielsweise aller, transformierten Teildatensätze (TD-2') der N1 vielen transformierten Teildatensätze (TD-2', ..., TD-n') mittels des Detektors (DET).
Verfahren nach Anspruch 6, aufweisend wenigstens eines der folgenden Elemente: a) Transformieren (116) von mit den N1 vielen transformierten Teildatensätzen (TD-2', ..., TD-n') assoziierten Detektionsergebnissen (DE-2, ..., DE-n), wobei beispielsweise jeweils ein transformiertes zweites Detektionsergebnis (DE-2', ..., DE-n') erhalten wird, b) Aggregieren (118) der transformierten zweiten Detektionsergebnisse (DE-2', ..., DE-n') mit einem ersten Detektionsergebnis (DE-1), das mit dem ersten Teildatensatz (TD-1) der n vielen Teildatensätze (TD-1, TD-2, ..., TD-n) assoziiert ist.
Verfahren nach wenigstens einem der vorstehenden Ansprüche, wobei das Transformieren (106; 116) ein Rotieren (106a; 116a) aufweist, beispielsweise um einen Referenzpunkt (RP), beispielsweise Mittelpunkt, einer die ersten Daten (DAT-1) bereitstellenden Sensoreinrichtung (10).
Verfahren nach wenigstens einem der vorstehenden Ansprüche, wobei die mit dem Raumbereich (RB) assoziierten ersten Daten (DAT-1) mit einem Winkel von 360° assoziiert sind, und wobei ein n-ter Teil (RB-n) des Raumbereichs (RB) mit einem Winkel von 360° / n assoziiert ist.
Vorrichtung (200) zur Ausführung des Verfahrens nach wenigstens einem der vorstehenden Ansprüche.
Fahrzeug (15), beispielsweise Kraftfahrzeug, mit wenigstens einer Vorrichtung (200) nach Anspruch 10.
Computerlesbares Speichermedium (SM), umfassend Befehle (PRG), die bei der Ausführung durch einen Computer (202) diesen veranlassen, das Verfahren nach wenigstens einem der Ansprüche 1 bis 9 auszuführen.
Computerprogramm (PRG), umfassend Befehle, die bei der Ausführung des Programms (PRG) durch einen Computer (202) diesen veranlassen, das Verfahren nach wenigstens einem der Ansprüche 1 bis 9 auszuführen.
Datenträgersignal (DCS), das das Computerprogramm (PRG) nach Anspruch 13 überträgt und/oder charakterisiert.
Verwendung des Verfahrens nach wenigstens einem der Ansprüche 1 bis 9 und/oder der Vorrichtung (200) nach Anspruch 10 und/oder des Fahrzeugs (15) nach Anspruch 11 und/oder des computerlesbaren Speichermediums (SM) nach Anspruch 12 und/oder des Computerprogramms (PRG) nach Anspruch 13 und/oder des Datenträgersignals (DCS) nach Anspruch 14 für wenigstens eines der folgenden Elemente: a) räumliche Kompression (301), b) Spezialisierung (302) des Detektors (DET), c) Einsparen (303) einer Kapazität des Detektors (DET), d) Reduzieren (304) von Netzwerkparametern des Detektors (DET), e) Erhöhen (305) der Leistung des Detektors (DET), f) Steuern (306) eines Überlapps von Teildatensätzen, beispielsweise bezüglich zueinander benachbarten Teilen des Raumbereichs (RB), g) Verwenden (307) eines, beispielsweise bereits trainierten, Detektors (DET), für einen größeren Raumbereich, beispielsweise als den Raumbereich, für den der Detektor (DET) bereits trainiert worden ist, wobei beispielsweise der Detektor (DET) für das Verwenden (306) nicht verändert, also z.B. unverändert belassen, wird, h) Erkennung (308) von Objekten, beispielsweise für wenigstens eine Anwendung in Fahrzeugen, beispielsweise Fahrerassistenzsystemen, i) Erkennung (309) von Objekten für die Robotik und/oder cyberphysische Systeme, j) Erkennung (310) von Objekten für die Sicherheitstechnik.