DE112020003963T5

DE112020003963T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm

Info

Publication number: DE112020003963T5
Application number: DE112020003963.3T
Authority: DE
Inventors: Yusuke HIEIDA; Suguru Aoki; Yuki Yamamoto
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2019-08-22
Filing date: 2020-08-11
Publication date: 2022-05-05
Also published as: US20220292296A1; JPWO2021033591A1; WO2021033591A1

Abstract

Die vorliegende Offenbarung bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm, die eine Verbesserung der Objekterkennungsgenauigkeit ermöglichen. Auf der Basis der Positionen von Merkmalsmengen, die aus einer Punktwolke erhalten wurden, die dichte Erfassungspunkte von LiDAR oder dergleichen aufweist, werden die Merkmalsmengen der dichten Erfassungspunkte und die Merkmalsmengen der spärlichen Erfassungspunkte von Millimeterwellenradar oder dergleichen innerhalb eines vorbestimmten Abstands gruppiert und integriert, die Punktwolke wird unter Verwendung der Merkmalsmengen der integrierten Merkmalsmengen der integrierten dichten Erfassungspunkte wiederhergestellt, und eine Objekterkennungsverarbeitung, wie z. B. semantische Segmentierung, wird durchgeführt. Die vorliegende Offenbarung ist auf mobile Körper anwendbar.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm, und insbesondere auf eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm zur Verbesserung der Objekterkennungsgenauigkeit.
STAND DER TECHNIK
Es wurde eine Technik vorgeschlagen, bei der die Umgebung eines Fahrzeugs mit verschiedenen Sensoren wie einem Millimeterwellenradar, einer Stereokamera und einem am Fahrzeug angebrachten Lichterkennungs- und Entfernungsmesser oder einem bildgebenden Laser-Erkennungs- und Entfernungsmesser (LiDAR) erfasst und die Erkennungsgenauigkeit für ein Objekt in der Umgebung des Fahrzeugs durch Kombination der Erfassungsergebnisse verbessert wird.
Es gibt jedoch einen Fall, in dem die Erkennungsgenauigkeit für ein Objekt nicht nur durch die einfache Kombination der Erfassungsergebnisse der Vielzahl der am Fahrzeug angebrachten Sensoren verbessert werden kann.
Selbst wenn beispielsweise ein Erfassungsergebnis eines Sensors, der ein Ergebnis einer spärlichen Erfassung liefert, z. B. von einem Millimeterwellenradar, und ein Erfassungsergebnis, das eine von einem LiDAR oder einer Stereokamera gelieferte dichte dreidimensionale Punktwolke enthält, berechnet wurde, einfach integriert werden, kann die Erkennungsgenauigkeit möglicherweise nicht verbessert werden.
Daher wurde eine Technik zur Verbesserung der Verarbeitungsgenauigkeit für ein bestimmtes Objekt entwickelt, indem ein Bild verarbeitet wird, das auch für die Verwendung bei einer anderen Verarbeitung aufgenommen wurde (siehe Patentschrift 1).
LISTE DER ANFÜHRUNGEN
PATENTSCHRIFT
Patentschrift 1: Japanische Patentanmeldungs-Offenlegungsnummer 2019- 016161
KURZDARSTELLUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
Aber auch im Falle der Anwendung der Technik nach Patentschrift 1 und der Verwendung des aufgenommenen Bildes zur Verwendung in einer anderen Verarbeitung besteht die Möglichkeit, dass sich die Erkennungsergebnisse der mehreren Sensoren widersprechen.
Die vorliegende Offenbarung wurde im Hinblick auf eine solche Situation gemacht und verbessert insbesondere die Erkennungsgenauigkeit für ein Objekt durch Erkennung des Objekts durch geeignete Integration eines Ergebnisses einer dichten Erfassung und eines Ergebnisses einer spärlichen Erfassung unter den Erfassungsergebnissen durch eine Vielzahl von Sensoren eines Fahrzeugs.
LÖSUNGEN DER PROBLEME
Eine Informationsverarbeitungsvorrichtung und ein Programm gemäß einem Aspekt der vorliegenden Offenbarung sind eine Informationsverarbeitungsvorrichtung und ein Programm, die Folgendes aufweisen: eine erste Erfassungseinheit, die so ausgebildet ist, dass sie eine erste Merkmalsmenge erfasst, die eine Merkmalsmenge eines Erfassungspunkts ist, der von einem ersten Sensor erkannt wird; eine zweite Erfassungseinheit, die so ausgebildet ist, dass sie eine zweite Merkmalsmenge erfasst, die eine Merkmalsmenge eines Erfassungspunkts ist, der von einem zweiten Sensor erkannt wird; und eine integrierte Merkmalsmengen-Berechnungseinheit, die so ausgebildet ist, dass sie eine integrierte Merkmalsmenge berechnet, die durch Integrieren der ersten Merkmalsmenge und der zweiten Merkmalsmenge auf der Basis eines relativen Abstands zwischen den jeweiligen Erfassungspunkten der ersten Merkmalsmenge und der zweiten Merkmalsmenge erhalten wird.
Ein Informationsverarbeitungsverfahren gemäß einem Aspekt der vorliegenden Offenbarung ist ein Informationsverarbeitungsverfahren einer Informationsverarbeitungsvorrichtung, die eine erste Erfassungseinheit, eine zweite Erfassungseinheit und eine integrierte Merkmalsmengen-Berechnungseinheit enthält, wobei das Informationsverarbeitungsverfahren die folgenden Schritte beinhaltet: Erfassen einer ersten Merkmalsmenge, die eine Merkmalsmenge eines von einem ersten Sensor erkannten Erfassungspunktes ist, durch die erste Erfassungseinheit; Erfassen einer zweiten Merkmalsmenge, die eine Merkmalsmenge eines von einem zweiten Sensor erkannten Erfassungspunktes ist, durch die zweite Erfassungseinheit; und Berechnen einer integrierten Merkmalsmenge, die durch Integrieren der ersten Merkmalsmenge und der zweiten Merkmalsmenge erhalten wird, auf der Basis eines relativen Abstands zwischen den jeweiligen Erfassungspunkten der ersten Merkmalsmenge und der zweiten Merkmalsmenge durch die Berechnungseinheit für die integrierte Merkmalsmenge.
In einem Aspekt der vorliegenden Offenbarung wird eine erste Merkmalsmenge, bei der es sich um eine Merkmalsmenge eines von einem ersten Sensor erkannten Erfassungspunktes handelt, erfasst, eine zweite Merkmalsmenge, bei der es sich um eine Merkmalsmenge eines von einem zweiten Sensor erkannten Erfassungspunktes handelt, wird erfasst; und eine integrierte Merkmalsmenge, die durch Integrieren der ersten Merkmalsmenge und der zweiten Merkmalsmenge erhalten wird, wird auf der Basis eines relativen Abstands zwischen den jeweiligen Erfassungspunkten der ersten Merkmalsmenge und der zweiten Merkmalsmenge berechnet.
Figurenliste

1 ist ein Diagramm zur Beschreibung eines Umrisses der vorliegenden Offenbarung.
2 ist ein Diagramm zur Beschreibung eines Konfigurationsbeispiels eines Fahrzeugsteuersystems im Sinne der vorliegenden Offenbarung.
3 ist ein Blockdiagramm zur Beschreibung eines Konfigurationsbeispiels in einem Fall, in dem eine Objekterkennungseinheit der vorliegenden Offenbarung durch PointNet++ konfiguriert wird.
4 ist ein Blockdiagramm zur Beschreibung eines Konfigurationsbeispiels einer n-ten Merkmalsmengen-Berechnungseinheit in einer lokalen Merkmalsmengen-Berechnungseinheit in 4.
5 ist ein Blockdiagramm zur Beschreibung der Verarbeitung in der lokalen Merkmalsmengen-Berechnungseinheit und einer globalen Merkmalsmengen-Berechnungseinheit in 4.
6 ist ein Blockdiagramm zur Beschreibung eines Konfigurationsbeispiels einer n-ten Merkmalsmengen-Berechnungseinheit in der globalen Merkmalsmengen-Berechnungseinheit in 4.
7 ist ein Blockdiagramm zur Beschreibung eines Konfigurationsbeispiels einer ersten Ausführungsform einer Objekterkennungseinheit im Sinne der vorliegenden Offenbarung.
8 ist ein Diagramm zur Beschreibung eines Verfahrens zur Integration von Merkmalsmengen unterschiedlicher Spärlichkeit und Dichte.
9 ist ein Diagramm zur Beschreibung eines Verfahrens zur Gewinnung einer globalen Merkmalsmenge aus einer Merkmalsmenge, in der Merkmalsmengen mit unterschiedlicher Spärlichkeit und Dichte integriert werden.
10 ist ein Diagramm zur Beschreibung einer Integrationstabelle, die erzeugt wird, wenn Merkmalsmengen mit unterschiedlicher Spärlichkeit und Dichte integriert werden.
11 ist ein Flussdiagramm zur Beschreibung der Objekterkennungsverarbeitung der ersten Ausführungsform.
12 ist ein Diagramm zur Beschreibung einer Modifikation der ersten Ausführungsform.
13 ist ein Blockdiagramm zur Beschreibung eines Konfigurationsbeispiels einer zweiten Ausführungsform einer Objekterkennungseinheit im Sinne der vorliegenden Offenbarung.
14 ist ein Flussdiagramm zur Beschreibung der Objekterkennungsverarbeitung der zweiten Ausführungsform.
15 ist ein Diagramm, das ein Konfigurationsbeispiel eines Universalcomputers darstellt.

MODUS ZUM AUSFÜHREN DER ERFINDUNG
Eine vorteilhafte Ausführungsform der vorliegenden Offenbarung wird unter Bezugnahme auf die beigefügten Zeichnungen im Detail beschrieben. Es ist zu beachten, dass in der vorliegenden Beschreibung und den Zeichnungen redundante Beschreibungen von Konfigurationselementen, die im Wesentlichen die gleiche funktionale Konfiguration aufweisen, durch die Angabe desselben Zeichens entfallen.
Im Folgenden werden Modi zum Ausführen der vorliegenden Technologie beschrieben. Die Beschreibung wird in der folgenden Reihenfolge präsentiert.

1. Umriss der vorliegenden Offenbarung
2. Erste Ausführungsform
3. Zweite Ausführungsform
4. Beispiel einer Ausführung durch Software

<<1. Umriss der vorliegenden Offenbarung>>
Die vorliegende Offenbarung integriert in geeigneter Weise ein Sparse-Sensing-Ergebnis und ein Dense-Sensing-Ergebnis unter den Erfassungsergebnissen von einer Vielzahl von Sensoren eines Fahrzeugs und erkennt ein Objekt, wodurch die Objekterkennungsgenauigkeit verbessert wird.
Zunächst wird ein Umriss einer Objekterkennungseinheit der vorliegenden Offenbarung unter Bezugnahme auf 1 beschrieben.
Eine Objekterkennungseinheit 11 in 1 erkennt ein Objekt auf der Basis eines Erfassungsergebnisses, das von einem Sensor 12-1 erhalten wird, der ein Dense-Sensing-Ergebnis erhalten kann, wie z. B. von einer Stereokamera oder einem LiDAR, und eines Erfassungsergebnisses, das von einem Sensor 12-2 erhalten wird, der ein Sparse-Sensing-Ergebnis erhalten kann, wie z. B. von einem Millimeterwellenradar, und gibt ein Erkennungsergebnis als dichte semantische 3D-Segmentierungsinformationen aus. Beachten Sie, dass die Spärlichkeit und Dichte der Erfassungsergebnisse hier nicht nur räumliche Spärlichkeit und Dichte, sondern auch zeitliche Spärlichkeit und Dichte sein kann, oder eine Kombination aus räumlicher und zeitlicher Spärlichkeit und Dichte sein kann.
Im Einzelnen weist die Objekterkennungseinheit 11 eine Integrationsverarbeitungseinheit 21, eine Wiederherstellungseinheit 22 und eine semantische Segmentierungseinheit 23 auf.
Die Integrationsverarbeitungseinheit 21 integriert lokale Merkmalsmengen, die auf dem Sparse-Sensing-Ergebnis basieren, das von dem Sensor 12-2, z. B. einem Millimeterwellenradar, geliefert wird, mit lokalen Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis basieren, das von dem Sensor 12-1, z. B. einem LiDAR, geliefert wird, unter Bezugnahme auf die lokalen Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis basieren, und gibt integrierte Merkmalsmengen an die Wiederherstellungseinheit 22 aus.
Die Wiederherstellungseinheit 22 stellt globale Merkmalsmengen, die Merkmalsmengen einschließlich einer dichten Punktwolke sind und in der Objekterkennungsverarbeitung einschließlich der semantischen Segmentierung benötigt werden, auf der Basis der lokalen Merkmalsmengen, die von der Integrationsverarbeitungseinheit 21 geliefert werden, und des Dense-Sensing-Ergebnisses, das von dem Sensor 12-1 wie LiDAR geliefert wird, wieder her und gibt die globalen Merkmalsmengen an die semantische Segmentierungseinheit 23 aus.
Die semantische Segmentierungseinheit 23 führt die Objekterkennungsverarbeitung in Einheiten von Punkten in der dichten Punktwolke auf der Basis der globalen Merkmalsmengen durch, die die Merkmalsmengen einschließlich der dichten Punktwolke sind, die von der Wiederherstellungseinheit 22 geliefert wird, und gibt dichte semantische 3D-Segmentierungsinformationen aus, die ein Erkennungsergebnis sind.
Das heißt, die Integrationsverarbeitungseinheit 21 und die Wiederherstellungseinheit 22 in der Objekterkennungseinheit 11 fungieren als eine Konfiguration zur Berechnung der Merkmalsmengen jeder Punktwolke, und die semantische Segmentierungseinheit 23 fungiert als eine Konfiguration zur Durchführung der Klassifizierung (Objekterkennung) der Merkmalsmengen jeder Punktwolke.
Mit der obigen Konfiguration können durch Integration der Merkmalsmengen, die auf dem Sparse-Sensing-Ergebnis basieren, mit den Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis basieren, unter Bezugnahme auf die Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis basieren, die Merkmalsmengen, die auf der Vielzahl von Erfassungsergebnissen mit unterschiedlicher Spärlichkeit und Dichte basieren, in geeigneter Weise integriert werden, und die Merkmalsmenge, die auf dem Dense-Sensing-Ergebnis basiert, kann erhalten werden.
Infolgedessen kann die Objekterkennungsverarbeitung unter Verwendung der dichten Merkmalsmenge, bei der die auf der Vielzahl von Erfassungsergebnissen mit unterschiedlicher Spärlichkeit und Dichte basierenden Merkmalsmengen in geeigneter Weise integriert werden, implementiert werden, so dass die Erkennungsgenauigkeit hinsichtlich der Objekterkennungsverarbeitung verbessert werden kann.
<<2. Erste Ausführungsform>>
<Konfigurationsbeispiel des Fahrzeugsteuersystems>
2 ist ein Blockdiagramm, das ein schematisches funktionelles Konfigurationsbeispiel eines Fahrzeugsteuersystems 100 eines Fahrzeugs 51 als ein Beispiel für ein Mobilkörper-Steuersystem eines Fahrzeugs zeigt, auf das die vorliegende Technologie anwendbar ist. Das Fahrzeug 51 in 2 entspricht dem Fahrzeug 31 in 1.
Außerdem wird das Fahrzeug, das mit dem Fahrzeugsteuersystem 100 ausgestattet ist, im Folgenden als Benutzerauto oder Benutzerfahrzeug bezeichnet, um es von anderen Fahrzeugen zu unterscheiden.
Das Fahrzeugsteuersystem 100 weist eine Eingabeeinheit 101, eine Datenerfassungseinheit 102, eine Kommunikationseinheit 103, eine fahrzeuginterne Einrichtung 104, eine Ausgabesteuereinheit 105, eine Ausgabeeinheit 106, eine Antriebssystem-Steuereinheit 107, ein Antriebssystem 108, eine Karosseriesystem-Steuereinheit 109, ein Karosseriesystem 110, eine Speichereinheit 111 und eine Steuereinheit für automatisches Fahren 112 auf. Die Eingabeeinheit 101, die Datenerfassungseinheit 102, die Kommunikationseinheit 103, die Ausgabesteuereinheit 105, die Fahrsystem-Steuereinheit 107, die Karosseriesystem-Steuereinheit 109, die Speichereinheit 111 und die Steuereinheit für automatisches Fahren 112 sind über ein Kommunikationsnetz 121 miteinander verbunden. Das Kommunikationsnetz 121 weist zum Beispiel ein Bordkommunikationsnetz auf, das einem beliebigen Standard, wie z. B. einem Controller Area Network (CAN), einem Local Interconnect Network (LIN), einem Local Area Network (LAN) oder FlexRay (eingetragenes Markenzeichen), einem Bus und dergleichen entspricht. Beachten Sie, dass die Einheiten des Fahrzeugsteuersystems 100 auch ohne das Kommunikationsnetz 121 direkt verbunden sein können.
Beachten Sie, dass im Folgenden, in dem Fall, in dem die Einheiten des Fahrzeugsteuersystems 100 Kommunikation über das Kommunikationsnetz 121 durchführen, die Beschreibung des Kommunikationsnetzes 121 ausgelassen wird. Beispielsweise wird in dem Fall, in dem die Eingabeeinheit 101 und die Steuereinheit für automatisches Fahren 112 Kommunikation über das Kommunikationsnetz 121 durchführen, einfach beschrieben, dass die Eingabeeinheit 101 und die Steuereinheit für automatisches Fahren 112 Kommunikation durchführen.
Die Eingabeeinheit 101 weist eine Vorrichtung auf, die von einem Insassen verwendet wird, um verschiedene Daten, Anweisungen und dergleichen einzugeben. Beispielsweise weist die Eingabeeinheit 101 Bedienungsvorrichtungen, wie z. B. ein Touchpanel, eine Taste, ein Mikrofon, einen Schalter und einen Hebel sowie eine Bedienungsvorrichtung auf, die in der Lage ist, Daten, Anweisungen und dergleichen durch ein anderes Verfahren als eine manuelle Bedienung, wie z. B. Sprache oder Geste, und dergleichen einzugeben. Außerdem kann die Eingabeeinheit 101 zum Beispiel eine Fernbedienungsvorrichtung sein, die Infrarotstrahlen oder andere Funkwellen verwendet, oder eine extern angeschlossene Vorrichtung, wie z. B. ein Mobilgerät oder ein tragbares Gerät, das mit dem Betrieb des Fahrzeugsteuersystems 100 kompatibel ist. Die Eingabeeinheit 101 erzeugt ein Eingangssignal auf der Basis der Daten, Anweisungen und dergleichen, die von dem Fahrgast eingegeben werden, und liefert das Eingangssignal an jede Einheit des Fahrzeugsteuersystems 100.
Die Datenerfassungseinheit 102 weist verschiedene Sensoren und dergleichen auf, die Daten erfassen, die für die Verarbeitung des Fahrzeugsteuersystems 100 verwendet werden, und liefert die erfassten Daten an jede Einheit des Fahrzeugsteuersystems 100.
Die Datenerfassungseinheit 102 enthält beispielsweise verschiedene Sensoren zur Erkennung des Zustands des Benutzerautos und dergleichen. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel einen Gyrosensor, einen Beschleunigungssensor, eine Trägheitsmesseinrichtung (IMU) und Sensoren auf, um einen Betätigungsbetrag eines Fahrpedals, einen Betätigungsbetrag eines Bremspedals, einen Lenkwinkel eines Lenkrads, eine Drehzahl einer Kraftmaschine, eine Drehzahl eines Motors oder eine Drehgeschwindigkeit von Rädern oder dergleichen zu erkennen.
Außerdem weist die Datenerfassungseinheit 102 zum Beispiel verschiedene Sensoren zum Erfassen von Informationen außerhalb des Autos des Benutzers auf. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel Bildgebungsvorrichtungen wie etwa eine Time-of-Flight (ToF)-Kamera, eine Stereokamera, eine monokulare Kamera, eine Infrarotkamera und andere Kameras auf. Außerdem weist die Datenerfassungseinheit 102 zum Beispiel einen Umfeldsensor zum Erfassen des Wetters, eines meteorologischen Phänomens oder dergleichen, und Umgebungsinformationserfassungssensoren zum Erfassen von Objekten im Umfeld des Benutzerautos auf. Der Umfeldsensor weist zum Beispiel einen Regensensor, einen Nebelsensor, einen Sonnenscheinsensor, einen Schneesensor und dergleichen auf. Der Umgebungsinformationserfassungssensor weist zum Beispiel einen Ultraschallsensor, ein Radargerät, ein Light Detection and Ranging- oder Laser Imaging Detection and Ranging (LiDAR)-Gerät ein Sonar, und dergleichen auf.
Darüber hinaus enthält die Datenerfassungseinheit 102 z. B. verschiedene Sensoren zur Erfassung der aktuellen Position des Benutzerautos. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel einen Global Navigation Satellite System (GNSS)-Empfänger auf, der ein GNSS-Signal von einem GNSS-Satelliten empfängt.
Außerdem weist die Datenerfassungseinheit 102 zum Beispiel verschiedene Sensoren zum Erfassen von Informationen innerhalb des Fahrzeugs auf. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel eine Abbildungsvorrichtung, die einen Fahrer abbildet, einen Biosensor, der biologische Informationen des Fahrers erfasst, ein Mikrofon, das Schall in einem Fahrzeuginnenraum aufnimmt, und dergleichen auf. Der Biosensor ist beispielsweise auf einer Sitzfläche, einem Lenkrad oder dergleichen angebracht und erfasst die biometrischen Informationen eines auf einem Sitz sitzenden Fahrgastes oder des Fahrers, der das Lenkrad hält.
Die Kommunikationseinheit 103 kommuniziert mit dem fahrzeuginternen Gerät 104 und verschiedenen Geräten außerhalb des Fahrzeugs, einem Server, einer Basisstation und dergleichen, überträgt von jeder Einheit des Fahrzeugsteuersystems 100 gelieferte Daten und liefert die empfangenen Daten an jede Einheit des Fahrzeugsteuersystems 100. Beachten Sie, dass ein von der Kommunikationseinheit 103 unterstütztes Kommunikationsprotokoll nicht besonders beschränkt ist, und dass die Kommunikationseinheit 103 eine Vielzahl von Kommunikationsprotokolltypen unterstützen kann.
Beispielsweise führt die Kommunikationseinheit 103 Drahtloskommunikation mit dem fahrzeuginternen Gerät 104 mittels Drahtlos-LAN, Bluetooth (eingetragenes Markenzeichen), Nahfeldkommunikation (NFC), Drahtlos-USB (WUSB) oder dergleichen durch. Außerdem führt die Kommunikationseinheit 103 zum Beispiel verdrahtete Kommunikation mit dem fahrzeuginternen Gerät 104 mittels Universal Serial Bus (USB), High-Definition Multimedia Interface (HDMI, eingetragenes Markenzeichen), einer Mobile High-Definition Link (MHL) oder dergleichen über eine Anschlussklemme (nicht dargestellt) (und nötigenfalls ein Kabel) durch.
Darüber hinaus kommuniziert die Kommunikationseinheit 103 zum Beispiel über eine Basisstation oder einen Zugangspunkt mit Vorrichtungen (zum Beispiel einem Anwendungsserver oder einem Steuerungsserver), die auf einem externen Netzwerk (zum Beispiel dem Internet, einem Cloud-Netzwerk oder einem firmenspezifischen Netzwerk) vorhanden sind. Außerdem kommuniziert die Kommunikationseinheit 103 zum Beispiel mit einem Endgerät (zum Beispiel einem Endgerät eines Fußgängers oder eines Ladens oder einem Machine-Type Communication (MTC)-Endgerät), das in der Nähe des Benutzerautos vorhanden ist, mittels Peer-to-Peer (P2P)-Technologie. Darüber hinaus führt die Kommunikationseinheit 103 zum Beispiel V2X-Kommunikation, wie z. B. Fahrzeug-zu-Fahrzeug-Kommunikation, Fahrzeug-zu-Infrastruktur-Kommunikation, Fahrzeug-zu-Wohnung-Kommunikation und Fahrzeug-zu-Fußgänger-Kommunikation durch. Außerdem weist die Kommunikationseinheit 103 zum Beispiel eine Beacon-Empfangseinheit auf, die Funkwellen oder elektromagnetische Wellen empfängt, die von einer an der Straße installierten Funkstation oder dergleichen übertragen werden, und erfasst Informationen, wie z. B. die aktuelle Position, Stau, Verkehrsregelung oder erforderliche Zeit.
Das fahrzeuginterne Gerät 104 weist beispielsweise ein mobiles Gerät oder ein tragbares Gerät eines Fahrgasts, ein Informationsgerät, das im Benutzerfahrzeug mitgeführt wird oder an diesem angebracht ist, ein Navigationsgerät für die Suche nach einer Route zu einem beliebigen Ziel und dergleichen auf.
Die Ausgabesteuereinheit 105 steuert die Ausgabe verschiedener Informationsarten an den Fahrgast des Benutzerautos oder an die Außenseite des Fahrzeugs. Die Ausgabesteuereinheit 105 steuert die Ausgabe von visuellen Informationen (zum Beispiel Bilddaten) und auditorischen Informationen (zum Beispiel Tondaten) von der Ausgabeeinheit 106 durch Erzeugen eines Ausgangssignals, das mindestens eine der visuellen Informationen oder der auditorischen Informationen enthält, und durch Liefern des Ausgangssignals zum Beispiel an die Ausgabeeinheit 106. Insbesondere synthetisiert die Ausgabesteuereinheit 105 zum Beispiel Bilddaten, die von unterschiedlichen Bildgebungsvorrichtungen der Datenerfassungseinheit 102 erfasst werden, um ein Vogelperspektivenbild, ein Panoramabild oder dergleichen zu erzeugen, und liefert ein Ausgangssignal, welches das erzeugte Bild enthält, an die Ausgabeeinheit 106. Außerdem erzeugt die Ausgabesteuereinheit 105 zum Beispiel Tondaten, die einen Warnton, eine Warnmeldung oder dergleichen in Bezug auf Gefahr, wie z. B. Kollision, Kontakt, Eintritt in eine Gefahrenzone oder dergleichen enthalten, und liefert ein Ausgangssignal, das die erzeugten Tondaten enthält, an die Ausgabeeinheit 106.
Die Ausgabeeinheit 106 weist eine Vorrichtung auf, die in der Lage ist, die visuellen Informationen oder auditorischen Informationen an den Fahrgast des Benutzerautos oder zur Außenseite des Fahrzeugs auszugeben. Beispielsweise weist die Ausgabeeinheit 106 eine Anzeigevorrichtung, eine Instrumententafel, einen Lautsprecher, einen Kopfhörer, ein tragbares Gerät, wie z. B. ein Display in Brillenausführung, das von einem Fahrgast getragen wird, einen Projektor, eine Lampe oder dergleichen auf. Die in der Ausgabeeinheit 106 enthaltene Anzeigevorrichtung kann zum Beispiel ein Head-Up-Display, ein Display in Übertragungsausführung oder ein Display zum Anzeigen der visuellen Informationen in einem Sichtfeld des Fahrers sein, wie z. B. eine Vorrichtung, die eine Augmented Reality (AR)-Anzeigefunktion besitzt, zusätzlich zu einer Vorrichtung, die ein normales Display hat.
Die Fahrsystem-Steuereinheit 107 steuert das Fahrsystem 108, indem sie verschiedene Steuersignale erzeugt und die Steuersignale dem Fahrsystem 108 zuführt. Außerdem liefert die Fahrsystem-Steuereinheit 107 nach Bedarf ein Steuersignal zu jeder Einheit außer dem Fahrsystem 108, um eine Benachrichtigung über einen Steuerungszustand des Fahrsystems 108 oder dergleichen auszugeben.
Das Antriebssystem 108 weist verschiedene, mit dem Antriebssystem des Benutzerautos verbundene, Vorrichtungen auf. Beispielsweise weist das Antriebssystem 108 eine Antriebskraft-Erzeugungsvorrichtung zum Erzeugen einer Antriebskraft für eine interne Brennkraftmaschine oder einen Antriebsmotor, einen Antriebskraft-Übertragungsmechanismus zum Übertragen der Antriebskraft auf die Räder, einen Lenkmechanismus zum Einstellen des Lenkwinkels, eine Bremsvorrichtung zum Erzeugen einer Bremskraft, ein Antiblockiersystem (ABS), eine elektronische Stabilitätskontrolle (ESC), eine elektrische Servolenkvorrichtung und dergleichen auf.
Die Karosseriesystem-Steuereinheit 109 steuert das Karosseriesystem 110, indem sie verschiedene Steuersignale erzeugt und die Steuersignale dem Karosseriesystem 110 zuführt. Außerdem liefert die Karosseriesystem-Steuereinheit 109 nach Bedarf ein Steuersignal zu jeder Einheit außer dem Karosseriesystem 110, um eine um eine Benachrichtigung über einen Steuerungszustand des Karosseriesystems 110 oder dergleichen auszugeben.
Das Karosseriesystem 110 weist verschiedene Karosseriesystemvorrichtungen auf, die an einer Fahrzeugkarosserie montiert sind. Beispielsweise weist das Karosseriesystem 110 ein schlüsselloses Zugangssystem, ein intelligentes Schlüsselsystem, eine Fensterhebervorrichtung, einen elektrisch verstellbaren Sitz, ein Lenkrad, eine Klimaanlage, verschiedene Leuchten (zum Beispiel Scheinwerfer, Rückfahrscheinwerfer, Bremsleuchten, Blinkleuchten, Nebelscheinwerfer und dergleichen), und dergleichen auf.
Die Speichereinheit 111 weist zum Beispiel eine magnetische Speichervorrichtung, wie z. B. einen Nur-Lese-Speicher (ROM), einen Direktzugriffsspeicher (RAM), und ein Festplattenlaufwerk (HDD), eine Halbleiter-Speichervorrichtung, eine optische Speichervorrichtung, eine magneto-optische Speichervorrichtung und dergleichen auf. Die Speichereinheit 111 speichert verschiedene Programme, Daten und dergleichen, die von jeder Einheit des Fahrzeugsteuersystems 100 genutzt werden. Beispielsweise speichert die Speichereinheit 111 Kartendaten, wie z. B. eine hochgenaue dreidimensionale Karte, eine dynamische Karte, eine globale Karte, die weniger Genauigkeit als die hochgenaue Karte hat, aber einen großen Bereich abdeckt, und eine lokale Karte, die Informationen über das Umfeld des Benutzerautos enthält.
Die Steuereinheit für automatisches Fahren 112 führt eine Steuerung in Bezug auf automatisches Fahren durch, wie z. B. autonomes Fahren oder Fahrassistenz. Insbesondere führt die Steuereinheit für automatisches Fahren 112 zum Beispiel eine kooperative Steuerung zum Zweck der Implementierung einer Funktion eines fortschrittlichen Fahrerassistenzsystems (ADAS), einschließlich Kollisionsvermeidung oder Aufprallmilderung des Benutzerautos auf der Basis eines Fahrzeugabstands, Fahrzeuggeschwindigkeits-Aufrechterhaltungsfahren, Kollisionswarnung des Benutzerautos, Fahrspurverlassenswarnung des Benutzerautos und dergleichen durch. Außerdem führt die Steuereinheit für automatisches Fahren 112 zum Beispiel die kooperative Steuerung zum Zweck des automatischen Fahrens und dergleichen von autonomem Fahren durch, ohne von einer Bedienung des Fahrers abhängig zu sein. Die Steuereinheit für automatisches Fahren 112 weist eine Erfassungseinheit 131, eine Eigenpositions-Schätzungseinheit 132, eine Situationsanalyseeinheit 133, eine Planungseinheit 134 und eine Operationssteuereinheit 135 auf.
Die Erfassungseinheit 131 erkennt verschiedene Arten von Informationen, die zum Steuern des automatischen Fahrens notwendig sind. Die Erfassungseinheit 131 weist eine Fahrzeugaußenseiten-Informationserfassungseinheit 141, eine Fahrzeuginnenraum-Informationserfassungseinheit 142 und eine Fahrzeugzustands-Erfassungseinheit 143 auf.
Die Fahrzeugaußenseiten-Informationserfassungseinheit 141 führt eine Verarbeitung des Erfassens von Informationen außerhalb des Benutzerautos auf der Basis von Daten oder Signalen von den jeweiligen Einheiten des Fahrzeugsteuersystems 100 durch. Beispielsweise führt die Fahrzeugaußenseiten-Informationserfassungseinheit 141 eine Erfassungsverarbeitung, Erkennungsverarbeitung und Verfolgungsverarbeitung für ein Objekt im Umfeld des Benutzerautos und eine Verarbeitung des Erfassens einer Distanz zu dem Objekt durch. Zu erkennende Objekte schließen zum Beispiel Fahrzeuge, Personen, Hindernisse, Strukturen, Straßen, Verkehrsampeln, Verkehrsschilder, Straßenmarkierungen und dergleichen ein. Außerdem führt die Fahrzeugaußenseiten-Informationserfassungseinheit 141 zum Beispiel eine Verarbeitung des Erfassens einer Umgebung im Umfeld des Benutzerautos durch. Die zu erkennende Umgebung schließt zum Beispiel Wetter, Temperatur, Luftfeuchtigkeit, Helligkeit, Straßenoberflächenzustand und dergleichen ein. Die Fahrzeugaußenseiten-Informationserfassungseinheit 141 liefert Daten, die Ergebnisse der Erfassungsverarbeitung angeben, an die Selbstortungs-Schätzungseinheit 132, eine Kartenanalyseeinheit 151, eine Verkehrsregel-Erkennungseinheit 152 und eine Situationserkennungseinheit 153 der Situationsanalyseeinheit 133 sowie eine Notfallvermeidungseinheit 171 und dergleichen der Operationssteuereinheit 135.
Die Fahrzeugaußenseiten-Informationserfassungseinheit 141 weist ferner eine Objekterkennungseinheit 181 auf.
Die Objekterkennungseinheit 181 hat eine Konfiguration, die der Objekterkennungseinheit 41a in 1 entspricht, führt eine Objektauthentifizierungsverarbeitung auf der Basis einer Punktwolke (Punktwolkeninformationen) durch, die von den Umgebungsinformationserfassungssensoren, wie z. B. einem Ultraschallsensor, einem Radar, einem Light Detection and Ranging oder Laser Imaging Detection and Ranging (LiDAR), einer Stereokamera und einem Sonar der Datenerfassungseinheit 102, geliefert wird, und authentifiziert ein Objekt in Einheiten von Punkten einer Punktwolke um das Benutzerauto.
Im Einzelnen führt die Objekterkennungseinheit 181 eine Objekterkennungsverarbeitung für eine Vielzahl von Erfassungsergebnissen mit unterschiedlicher Spärlichkeit und Dichte durch, die von der Datenerfassungseinheit 102 geliefert werden, indem sie ein tiefes neuronales Netzwerk (DNN) verwendet, zum Beispiel durch eine Konfiguration, auf die PointNet++ angewendet wird, und ein Objekt in Einheiten von Punkten erkennt.
Beachten Sie, dass die Konfiguration der Objekterkennungseinheit 181 im Folgenden detailliert beschrieben wird.
Die Fahrzeuginnenraum-Informationserfassungseinheit 142 führt eine Verarbeitung des Erfassens von Informationen innerhalb des Fahrzeugs auf der Basis von Daten oder Signalen von jeder Einheit des Fahrzeugsteuersystems 100 durch. Beispielsweise führt die Fahrzeuginnenraum-Informationserfassungseinheit 142 eine Fahrerauthentifizierungsverarbeitung und Erkennungsverarbeitung, Fahrerzustands-Erfassungsverarbeitung, Fahrgast-Erfassungsverarbeitung, Fahrzeuginnenraumumgebungs-Erfassungsverarbeitung und dergleichen durch. Der zu erkennende Zustand des Fahrers beinhaltet zum Beispiel die körperliche Verfassung, den Wachzustand, das Konzentrationsniveau, das Ermüdungsniveau, die Sichtlinienrichtung oder dergleichen. Die zu erkennende Fahrzeuginnenraumumgebung beinhaltet zum Beispiel Temperatur, Feuchtigkeit, Helligkeit, Geruch und dergleichen. Die Fahrzeuginnenraum-Informationserfassungseinheit 142 liefert Daten, die Ergebnisse der Erfassungsprozesse angeben, an die Situationserkennungseinheit 153 der Situationsanalyseeinheit 133, die Notfallereignis-Vermeidungseinheit 171 der Operationssteuereinheit 135 und dergleichen.
Die Fahrzeugzustands-Erfassungseinheit 143 führt eine Verarbeitung des Erfassens des Zustands des Benutzerautos auf der Basis von Daten oder Signalen von den jeweiligen Einheiten des Fahrzeugsteuersystems 100 durch. Der zu erkennende Zustand des Benutzerautos beinhaltet zum Beispiel die Geschwindigkeit, die Beschleunigung, den Lenkwinkel, die Anwesenheit oder Abwesenheit einer Abnormalität, den Inhalt einer Abnormalität, den Fahrbetriebszustand, die Position und Neigung des elektrisch verstellbaren Sitzes, den Türverriegelungszustand und die Zustände von anderen fahrzeuginternen Vorrichtungen oder dergleichen. Die Fahrzeugzustands-Erfassungseinheit 143 liefert Daten, die Ergebnisse der Erfassungsverarbeitung angeben, an die Situationserkennungseinheit 153 der Situationsanalyseeinheit 133, die Notfallvermeidungseinheit 171 der Operationssteuereinheit 135 und dergleichen.
Die Eigenpositions-Schätzungseinheit 132 führt eine Verarbeitung des Abschätzens der Position, der Lage und dergleichen des Benutzerautos auf der Basis der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100, wie z. B. der Fahrzeugaußenseiten-Informationserfassungseinheit 141 und der Situationserkennungseinheit 153 der Situationsanalyseeinheit 133, durch. Außerdem erzeugt die Eigenpositions-Schätzungseinheit 132 nach Bedarf eine lokale Karte (im Folgenden als Eigenpositions-Schätzungskarte bezeichnet), die zum Schätzen der Eigenposition verwendet wird. Die Eigenpositions-Schätzungskarte ist eine hochpräzise Karte, die eine Technologie wie z. B. Simultane Lokalisierung und Kartenerstellung (SLAM) oder dergleichen verwendet. Die Eigenpositions-Schätzungseinheit 132 liefert Daten, die ein Ergebnis der Schätzungsverarbeitung angeben, an die Kartenanalyseeinheit 151, die Verkehrsregel-Erkennungseinheit 152 und die Situationserkennungseinheit 153 der Situationsanalyseeinheit 133 und dergleichen.
Außerdem veranlasst die Eigenpositions-Schätzungseinheit 132 die Speichereinheit 111, die Eigenpositions-Schätzungskarte zu speichern.
Die Situationsanalyseeinheit 133 führt eine Verarbeitung des Analysierens der Situation des Benutzerautos und seiner Umgebung durch. Die Situationsanalyseeinheit 133 weist die Kartenanalyseeinheit 151, die Verkehrsregel-Erkennungseinheit 152, die Situationserkennungseinheit 153 und eine Situationsprognoseeinheit 154 auf.
Die Kartenanalyseeinheit 151 führt nach Bedarf eine Verarbeitung des Analysierens verschiedener in der Speichereinheit 111 gespeicherter Karten unter Verwendung der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100 wie z. B. der Eigenpositions-Schätzungseinheit 132 und der Fahrzeugaußenseiten-Informationserfassungseinheit 141, durch und erstellt eine Karte, die Informationen enthält, die für die Verarbeitung von automatischem Fahren notwendig sind. Die Kartenanalyseeinheit 151 liefert die erstellte Karte an die Verkehrsregel-Erkennungseinheit 152, die Situationserkennungseinheit 153, die Situationsprognoseeinheit 154 sowie eine Routenplanungseinheit 161, eine Aktionsplanungseinheit 162 und eine Operationsplanungseinheit 163 der Planungseinheit 134 und dergleichen.
Die Verkehrsregel-Erkennungseinheit 152 führt eine Verarbeitung des Erkennens von Verkehrsregeln im Umfeld des Benutzerautos auf der Basis der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100, wie z. B. der Eigenpositions-Schätzungseinheit 132, der Fahrzeugaußeninformations-Erfassungseinheit 141 und der Kartenanalyseeinheit 151, durch. Durch die Erkennungsverarbeitung werden zum Beispiel Position und Zustand der Signale im Umfeld des Benutzerautos, der Inhalt der Verkehrsregelung im Umfeld des Benutzerautos, eine befahrbare Fahrspur und dergleichen erkannt. Die Verkehrsregel-Erkennungseinheit 152 liefert Daten, die ein Ergebnis der Erkennungsverarbeitung angeben, an die Situationsprognoseeinheit 154 und dergleichen.
Die Situationserkennungseinheit153 führt eine Verarbeitung des Erkennens der Situation bezüglich des Benutzerautos auf der Basis der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100, wie z. B. der Eigenpositions-Schätzungseinheit 132, der Fahrzeugaußenseiten-Informationserfassungseinheit 141, der Fahrzeuginnenraum-Informationserfassungseinheit 142, der Fahrzeugzustands-Erfassungseinheit 143 und der Kartenanalyseeinheit 151, durch. Beispielsweise führt die Situationserkennungseinheit 153 eine Verarbeitung des Erkennens einer Situation des Benutzerautos, der Situation im Umfeld des Benutzerautos, der Situation des Fahrers des Benutzerautos und dergleichen durch. Außerdem erzeugt die Situationserkennungseinheit 153 nach Bedarf eine lokale Karte (im Folgenden Situationserkennungskarte genannt), die zum Erkennen der Situation im Umfeld des Benutzerautos verwendet wird. Die Situationserkennungskarte ist zum Beispiel eine Belegungsgitterkarte.
Die zu erkennende Situation des Benutzerautos beinhaltet z. B. die Position, die Lage, die Bewegung (z. B. Geschwindigkeit, Beschleunigung, Fahrtrichtung und dergleichen) des Benutzerautos sowie die Anwesenheit oder Abwesenheit und den Inhalt von Abnormalitäten und dergleichen. Die zu erkennende Situation im Umfeld des Benutzerautos beinhaltet zum Beispiel Arten und Positionen von umgebenden stationären Objekten, Arten von umgebenden bewegten Objekten sowie Positionen und Bewegungen (zum Beispiel Geschwindigkeit, Beschleunigung, Bewegungsrichtung und dergleichen), Konfigurationen von umliegenden Straßen und Bedingungen von Straßenoberflächen sowie Wetter, Temperatur, Feuchtigkeit, Helligkeit und dergleichen der Umgebung. Der zu erkennende Zustand des Fahrers beinhaltet zum Beispiel körperliche Verfassung, Erregungsniveau, Konzentrationsniveau, Ermüdungsniveau, Sichtlinienbewegung, Fahrbetrieb und dergleichen.
Die Situationserkennungseinheit 153 liefert die Daten, die ein Ergebnis der Erkennungsverarbeitung angeben (die nach Bedarf die Situationserkennungskarte einschließt), an die Eigenpositions-Schätzungseinheit 132, die Situationsprognoseeinheit 154 und dergleichen. Außerdem veranlasst die Situationserkennungseinheit 153 die Speichereinheit 111, die Situationserkennungskarte zu speichern.
Die Situationsprognoseeinheit 154 führt eine Verarbeitung des Prognostizierens der Situation bezüglich des Benutzerautos auf der Basis der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100, wie z. B. der Kartenanalyseeinheit 151, der Verkehrsregel-Erkennungseinheit 152 und der Situationserkennungseinheit 153, durch. Beispielsweise führt die Situationsprognoseeinheit 154 eine Verarbeitung des Vorhersagens der Situation des Benutzerautos, der Situation im Umfeld des Benutzerautos, der Situation des Fahrers des Benutzerautos und dergleichen durch.
Die zu prognostizierende Situation des Benutzerautos beinhaltet zum Beispiel ein Verhalten des Benutzerautos, Auftreten von Abnormalität, zurücklegbare Strecke und dergleichen. Die zu prognostizierende Situation im Umfeld des Benutzerautos beinhaltet zum Beispiel ein Verhalten eines bewegten Objekts im Umfeld des Benutzerautos, eine Änderung in einem Signalzustand, eine Änderung in der Umgebung, wie z. B. Wetter, und dergleichen. Die zu prognostizierende Situation des Fahrers beinhaltet zum Beispiel ein Verhalten und eine körperliche Verfassung des Fahrers und dergleichen.
Die Situationsprognoseeinheit 154 liefert Daten, die ein Ergebnis der Prognoseverarbeitung angeben zusammen mit den Daten von der Verkehrsregel-Erkennungseinheit 152 und der Situationserkennungseinheit 153 zu der Routenplanungseinheit 161, der Aktionsplanungseinheit 162 und der Operationsplanungseinheit 163 der Planungseinheit 134 und dergleichen.
Die Routenplanungseinheit 161 plant eine Route zu einem Ziel auf der Basis der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100, wie z. B. der Kartenanalyseeinheit 151 und der Situationsprognoseeinheit 154. Beispielsweise legt die Routenplanungseinheit 161 eine Route von der aktuellen Position zu einem angegebenen Ziel auf der Basis der globalen Karte fest. Außerdem ändert die Routenplanungseinheit 161 zum Beispiel die Route gegebenenfalls auf der Basis von Situationen von Verkehrsstaus, Unfällen, Verkehrsbeschränkungen, Baustellen und dergleichen sowie der körperlichen Verfassung des Fahrers und dergleichen. Die Routenplanungseinheit 161 liefert Daten, welche die geplante Route angeben, an die Aktionsplanungseinheit 162 und dergleichen.
Die Aktionsplanungseinheit 162 plant eine Aktion des Benutzerautos für sicheres Fahren auf der von der Routenplanungseinheit 161 geplanten Route innerhalb einer geplanten Zeitspanne auf der Basis der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100, wie z. B. der Kartenanalyseeinheit 151 und der Situationsprognoseeinheit 154. Beispielsweise erstellt die Aktionsplanungseinheit 162 einen Plan des Startens, Stoppens, der Fahrtrichtungen (zum Beispiel vorwärts, rückwärts, Linksabbiegen, Rechtsabbiegen, Wenden und dergleichen), der Fahrspur, der Fahrgeschwindigkeit, des Überholens und dergleichen. Die Aktionsplanungseinheit 162 liefert Daten, welche die geplante Aktion des Benutzerautos angeben, an die Operationsplanungseinheit 163 und dergleichen.
Die Operationsplanungseinheit 163 plant eine Operation des Benutzerautos, um die durch die Aktionsplanungseinheit 162 geplante Aktion auf der Basis der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100, wie z. B. der Kartenanalyseeinheit 151 und der Situationsprognoseeinheit 154, zu implementieren. Beispielsweise plant die Operationsplanungseinheit 163 Beschleunigung, Verzögerung, einen Fahrweg und dergleichen. Die Operationsplanungseinheit 163 liefert Daten, welche die geplante Arbeitsweise des Benutzerautos angeben, an eine Beschleunigungs- und Verzögerungssteuereinheit 172 und eine Richtungssteuereinheit 173 der Operationssteuereinheit 135 und dergleichen.
Die Operationssteuereinheit 135 steuert die Operation des Benutzerautos. Die Operationssteuereinheit 135 weist die Notfallvermeidungseinheit 171, die Beschleunigungs- und Verzögerungssteuereinheit 172 und die Richtungssteuereinheit 173 auf.
Die Notfallvermeidungseinheit 171 führt eine Verarbeitung des Erfassens einer Notsituation, wie z. B. Kollision, Kontakt, Eintritt in eine Gefahrenzone, Abnormalität des Fahrers, Abnormalität des Fahrzeugs und dergleichen auf der Basis der Erfassungsergebnisse der Fahrzeugaußenseiten-Informationserfassungseinheit 141, der Fahrzeuginnenraum-Informationserfassungseinheit 142 und der Fahrzeugzustands-Erfassungseinheit 143, durch. In dem Fall, in dem die Notfallvermeidungseinheit 171 das Auftreten einer Notsituation erfasst, plant die Notfallvermeidungseinheit 171 die Operation des Benutzerautos zum Vermeiden der Notsituation, wie z. B. ein plötzlicher Halt oder eine scharfe Wende. Die Notfallvermeidungseinheit 171 liefert Daten, welche die geplante Operation des Benutzerautos angeben, zu der Beschleunigungs- und Verzögerungssteuereinheit 172, der Richtungssteuereinheit 173 und dergleichen.
Die Beschleunigungs- und Verzögerungssteuereinheit 172 führt Beschleunigung und Verzögerung durch, um die Operation des Benutzerautos, geplant durch die Operationsplanungseinheit 163 oder die Notfallvermeidungseinheit 171, zu implementieren. Beispielsweise berechnet die Beschleunigungs- und Verzögerungssteuereinheit 172 einen Steuerungszielwert einer Antriebskraft-Erzeugungsvorrichtung oder einer Bremsvorrichtung, um die geplante Beschleunigung, Verzögerung oder den plötzlichen Halt zu implementieren, und liefert einen Steuerbefehl, der den berechneten Steuerungszielwert angibt, an die Antriebssystem-Steuereinheit 107.
Die Richtungssteuereinheit 173 steuert eine Richtung, um die Operation des Benutzerautos, geplant durch die Operationsplanungseinheit 163 oder die Notfallvermeidungseinheit 171, zu implementieren. Beispielsweise berechnet die Richtungssteuereinheit 173 einen Steuerungszielwert eines Lenkmechanismus, um den von der Operationsplanungseinheit 163 oder der Notfallvermeidungseinheit 171 geplanten Fahrweg oder die scharfe Wende zu implementieren, und liefert einen Steuerbefehl, der den berechneten Steuerungszielwert angibt, an die Antriebssystem-Steuereinheit 107.
<Konfigurationsbeispiel in einem Fall, in dem die Objekterkennungseinheit von PointNet++ konfiguriert wird>
Ein Konfigurationsbeispiel in einem Fall, in dem die Objekterkennungseinheit 181 von PointNet++ selbst konfiguriert wird, wird hier beschrieben.
Hier bezieht sich PointNet++ auf ein neuronales Netzwerk, das Punktwolkeninformationen als Eingabe erhält und auf der Basis der eingegebenen Punktwolkeninformationen ein vorgegebenes Verarbeitungsergebnis ausgibt.
3 ist ein Diagramm zur Beschreibung eines Konfigurationsbeispiel der Objekterkennungseinheit 181 zeigt, die von PointNet++ konfiguriert wurde.
Die Objekterkennungseinheit 181 erhält eine globale Merkmalsmenge R auf der Basis einer Punktwolke (PC), die von der Datenerfassungseinheit 102 von einer Stereokamera oder Sensoren wie LiDAR geliefert wird, und gibt ein Erkennungsergebnis in Einheiten von Punkten durch die Objekterkennungsverarbeitung einschließlich semantischer Segmentierung aus der globalen Merkmalsmenge R aus.
Bei der Punktwolke (PC) handelt es sich beispielsweise um Punktwolkeninformationen, die Positionsinformationen für jeden Punkt (x1, y1, z1), einen Punkt (x2, y2, z2), einen Punkt (x3, y3, z3), ... und einen Punkt (xn, yn, zn) enthalten.
Außerdem ist die globale Merkmalsmenge R eine globale Merkmalsmenge R (x1, y1, z1), eine globale Merkmalsmenge R (x2, y2, z2), eine globale Merkmalsmenge R (x3, y3, z3), ..., und eine globale Merkmalsmenge R (xn, yn, zn), die (x1, y1, z1), (x2, y2, z2) und (x3, y3, z3) entspricht, und ist eine globale Merkmalsmenge in Einheiten von Punkten.
Im Einzelnen weist die Objekterkennungseinheit 181 in 3 eine lokale Merkmalsmengen-Berechnungseinheit 201, eine globale Merkmalsmengen-Berechnungseinheit 202 und eine Erkennungseinheit 203 auf.
Die lokale Merkmalsmengen-Berechnungseinheit 201 berechnet die lokalen Merkmalsmengen für jeden Punkt in der Punktwolke (PC) in Stufen und weist eine erste lokale Merkmalsmengen-Berechnungseinheit 221, eine zweite lokale Merkmalsmengen-Berechnungseinheit 222 und eine dritte lokale Merkmalsmengen-Berechnungseinheit 223 auf.
Die erste lokale Merkmalsmengen-Berechnungseinheit 221 berechnet erste Merkmalsmengen, die Merkmalsmengen der ersten Hierarchie in Einheiten von Gruppen sind, wobei jede Gruppe eine Vielzahl von Punkten unter den Punkten enthält, die die Punktwolke (PC) bilden, und gibt die ersten Merkmalsmengen an die zweite lokale Merkmalsmengen-Berechnungseinheit 222 und eine erste globale Merkmalsmengen-Berechnungseinheit 243 der globalen Merkmalsmengen-Berechnungseinheit 202 aus.
Beachten Sie, dass hier die Gruppe, die eine Einheit ist, in der die ersten Merkmalsmengen durch die erste lokale Merkmalsmengen-Berechnungseinheit 221 erhalten werden, als erste hierarchische Gruppe bezeichnet wird.
Die zweite lokale Merkmalsmengen-Berechnungseinheit 222 berechnet zweite Merkmalsmengen, die Merkmalsmengen der zweiten Hierarchie in Einheiten von Gruppen sind, wobei jede Gruppe eine Vielzahl der ersten Merkmalsmengen unter den ersten Merkmalsmengen enthält, die von der ersten lokalen Merkmalsmengen-Berechnungseinheit 221 erhalten wurden, und gibt die zweiten Merkmalsmengen an die dritte lokale Merkmalsmengen-Berechnungseinheit 223 und eine zweite globale Merkmalsmengen-Berechnungseinheit 242 der globalen Merkmalsmengen-Berechnungseinheit 202 aus.
Beachten Sie, dass hier die Gruppe, die eine Einheit ist, in der die zweiten Merkmalsmengen durch die zweite lokale Merkmalsmengen-Berechnungseinheit 222 erhalten werden, als zweite hierarchische Gruppe bezeichnet wird.
Die dritte lokale Merkmalsmengen-Berechnungseinheit 223 berechnet dritte Merkmalsmengen, die Merkmalsmengen der dritten Hierarchie in Einheiten von Gruppen sind, wobei jede Gruppe eine Vielzahl der zweiten Merkmalsmengen unter den zweiten Merkmalsmengen enthält, die durch die zweite lokale Merkmalsmengen-Berechnungseinheit 222 erhalten wurden, und gibt die dritten Merkmalsmengen an eine dritte globale Merkmalsmengen-Berechnungseinheit 241 der globalen Merkmalsmengen-Berechnungseinheit 202 aus.
Beachten Sie, dass hier die Gruppe, die eine Einheit ist, in der die dritten Merkmalsmengen durch die dritte lokale Merkmalsmengen-Berechnungseinheit 223 erhalten werden, als dritte hierarchische Gruppe bezeichnet wird.
Im Einzelnen, wie in 4 dargestellt, enthält jede der ersten lokalen Merkmalsmengen-Berechnungseinheit 221, der zweiten lokalen Merkmalsmengen-Berechnungseinheit 222 und der dritten lokalen Merkmalsmengen-Berechnungseinheit 223 eine Abtasteinheit 261, eine Gruppierungseinheit 262, eine Verbindungseinheit 263 und eine Merkmalsmengen-Berechnungseinheit 264.
Beachten Sie, dass, da die Konfigurationen der ersten lokalen Merkmalsmengen-Berechnungseinheit 221, der zweiten lokalen Merkmalsmengen-Berechnungseinheit 222 und der dritten lokalen Merkmalsmengen-Berechnungseinheit 223 im Wesentlichen ähnlich sind, sie als n-te Merkmalsmengen-Berechnungseinheit(en) in 4 dargestellt sind.
Die Abtasteinheit 261 sampelt (extrahiert) eine Punktwolke, die repräsentative Punkte enthält, die so bestimmt sind, dass ein metrischer Abstand jedes Punktes von einer gegebenen Punktwolke der (n - 1)-ten hierarchischen Gruppe weiter entfernt wird (iteratives Farthest Point Sampling (FPS)), und gibt die Punktwolke an die Gruppierungseinheit 262 aus.
Die Gruppierungseinheit 262 gruppiert für jeden abgetasteten repräsentativen Punkt die Positionsinformationen der anderen Punkte (eine andere Punktwolke als der repräsentative Punkt) innerhalb eines vorgegebenen Radius r, extrahiert die Positionsinformationen einer Punktwolke der n-ten hierarchischen Gruppe und gibt die Positionsinformationen an die Verbindungseinheit 263 aus.
Die Verbindungseinheit 263 verbindet die für jeden repräsentativen Punkt der n-ten hierarchischen Gruppe gruppierten Positionsinformationen, die von der Gruppierungseinheit 262 geliefert werden, mit den Merkmalsmengen der entsprechenden (n - 1)-ten hierarchischen Gruppe und gibt die verbundenen Informationen an die Merkmalsmengen-Berechnungseinheit 264 aus.
Die Merkmalsmengen-Berechnungseinheit 264 berechnet die Merkmalsmenge jedes abgetasteten repräsentativen Punktes auf der Basis der Positionsinformationen der Punktwolke, die für jeden repräsentativen Punkt in der Punktwolke der n-ten hierarchischen Gruppe gruppiert ist, und der entsprechenden Merkmalsmenge und gibt die Merkmalsmengen an die (n + 1)-te Merkmalsmengen-Berechnungseinheit in einer nachfolgenden Stufe oder die globale Merkmalsmengen-Berechnungseinheit 202 als die Merkmalsmengen in der Punktwolke der n-ten hierarchischen Gruppe aus, die eine Hierarchie höher als die (n - 1)-te hierarchische Gruppe ist.
Das heißt, zum Beispiel, wie im linken Teil von 5 dargestellt, wenn die Information SA1, die die Punktwolkeninformation einschließlich der Merkmalsmengen der (n - 1)-ten hierarchischen Gruppe ist, geliefert wird, tastet die Abtasteinheit 261 der n-ten Merkmalsmengen-Berechnungseinheit in der lokalen Merkmalsmengen-Berechnungseinheit 201 den repräsentativen Punkt ab, so dass der metrische Abstand jedes Punktes weiter von der Punktwolke entfernt wird (extrahiert die bezeichnete Punktwolke).
Dann, wie durch die Information SA2 angezeigt, extrahiert und gruppiert die Gruppierungseinheit 262 der n-ten Merkmalsmengen-Berechnungseinheit in der lokalen Merkmalsmengen-Berechnungseinheit 201 eine weitere Punktwolke innerhalb eines Bereichs eines vorbestimmten Radius r1, der durch den gepunkteten Kreis für jeden abgetasteten repräsentativen Punkt angezeigt wird. Zu diesem Zeitpunkt verbindet die Verbindungseinheit 263 die Informationen der gruppierten Punktwolke und die Merkmalsmengen der (n - 1)-ten hierarchischen Gruppe und gibt die verbundenen Informationen an die Merkmalsmengen-Berechnungseinheit 264 aus.
Die Merkmalsmengen-Berechnungseinheit 264 der n-ten Merkmalsmengen-Berechnungseinheit in der lokalen Merkmalsmengen-Berechnungseinheit 201 berechnet die Merkmalsmenge für jeden repräsentativen Punkt auf der Basis der gruppierten Punktwolke und gibt die Merkmalsmengen als Information SA3 einschließlich der Merkmalsmengen der n-ten hierarchischen Gruppe aus.
Die Abtasteinheit 261 der (n + 1)-ten Merkmalsmengen-Berechnungseinheit in der nachfolgenden Stufe in der lokalen Merkmalsmengen-Berechnungseinheit 201 tastet den repräsentativen Punkt ab (extrahiert die bezeichnete Punktwolke), so dass der metrische Abstand jedes Punktes von der Punktwolke gemäß der Information SA3 als die Punktwolkeninformation einschließlich der Merkmalsmengen der n-ten hierarchischen Gruppe weiter entfernt wird.
Dann, wie durch die Information SA4 angezeigt, extrahiert und gruppiert die Gruppierungseinheit 262 der (n + 1)-ten Merkmalsmengen-Berechnungseinheit in der lokalen Merkmalsmengen-Berechnungseinheit 201 eine weitere Punktwolke innerhalb eines Bereichs eines Radius r2 (> r1), der durch den gepunkteten Kreis für jeden abgetasteten repräsentativen Punkt angezeigt wird.
Darüber hinaus berechnet die Merkmalsmengen-Berechnungseinheit 264 der (n + 1)-ten Merkmalsmengen-Berechnungseinheit in der lokalen Merkmalsmengen-Berechnungseinheit 201 die Merkmalsmenge für jeden repräsentativen Punkt auf der Basis der gruppierten Punktwolke und gibt Informationen SA5 einer Punktwolke aus, die die Merkmalsmengen der (n + 1)-ten hierarchischen Gruppe enthalten.
Danach wird eine ähnliche Verarbeitung wiederholt, so dass die hierarchisierten lokalen Merkmalsmengen sequenziell berechnet und schließlich an die globale Merkmalsmengen-Berechnungseinheit 202 ausgegeben werden. Da die Radien r1 und r2 allmählich zunehmen, werden die Merkmalsmengen mit fortschreitender Hierarchie immer dünner (spärlicher Zustand).
Hier kehrt die Beschreibung zu 3 zurück.
Die globale Merkmalsmengen-Berechnungseinheit 202 berechnet die globale Merkmalsmenge R an jedem Punkt auf der Basis der ersten Merkmalsmengen, der zweiten Merkmalsmengen und der dritten Merkmalsmengen, die von der lokalen Merkmalsmengen-Berechnungseinheit 201 geliefert werden, und gibt diese aus.
Im Einzelnen weist die globale Merkmalsmengen-Berechnungseinheit 202 die dritte globale Merkmalsmengen-Berechnungseinheit 241, die zweite globale Merkmalsmengen-Berechnungseinheit 242 und die erste globale Merkmalsmengen-Berechnungseinheit 243 auf.
Die dritte globale Merkmalsmengen-Berechnungseinheit 241 stellt die Merkmalsmengen einschließlich der Punktwolke in Einheiten der zweiten hierarchischen Gruppe auf der Basis der dritten Merkmalsmengen, die von der dritten lokalen Merkmalsmengen-Berechnungseinheit 223 geliefert werden, und der zweiten Merkmalsmengen, die von der zweiten lokalen Merkmalsmengen-Berechnungseinheit 222 der lokalen Merkmalsmengen-Berechnungseinheit 201 geliefert werden, wieder her und gibt ein Wiederherstellungsergebnis an die zweite globale Merkmalsmengen-Berechnungseinheit 242 als die globale Merkmalsmenge R in Einheiten der zweiten hierarchischen Gruppe aus.
Im Einzelnen erweitert die dritte globale Merkmalsmengen-Berechnungseinheit 241 die dritten Merkmalsmengen, die von der dritten lokalen Merkmalsmengen-Berechnungseinheit 223 geliefert werden, indem sie die zweiten Merkmalsmengen in Einheiten der zweiten hierarchischen Gruppe verwendet, die von der zweiten lokalen Merkmalsmengen-Berechnungseinheit 222 geliefert werden, und stellt die dritten Merkmalsmengen als die zweiten Merkmalsmengen wieder her, die die Merkmalsmengen der Punktwolke in Einheiten der zweiten hierarchischen Gruppe sind. Dann gibt die dritte globale Merkmalsmengen-Berechnungseinheit 241 das Wiederherstellungsergebnis an die zweite globale Merkmalsmengen-Berechnungseinheit 242 als globale Merkmalsmenge R in Einheiten der zweiten hierarchischen Gruppe aus.
Die zweite globale Merkmalsmengen-Berechnungseinheit 242 stellt die Merkmalsmenge in Einheiten der ersten hierarchischen Gruppe auf der Basis der globalen Merkmalsmenge R in Einheiten der zweiten hierarchischen Gruppe, die von der zweiten globalen Merkmalsmengen-Berechnungseinheit 242 geliefert wird, und der ersten Merkmalsmengen, die von der ersten lokalen Merkmalsmengen-Berechnungseinheit 221 geliefert werden, wieder her und gibt das Wiederherstellungsergebnis an die erste globale Merkmalsmengen-Berechnungseinheit 243 als die globale Merkmalsmenge R in Einheiten der ersten hierarchischen Gruppe aus.
Im Einzelnen erweitert die zweite globale Merkmalsmengen-Berechnungseinheit 242 die zweite Merkmalsmenge, die von der dritten globalen Merkmalsmengen-Berechnungseinheit 241 geliefert wird, indem sie die ersten Merkmalsmengen in Einheiten der ersten hierarchischen Gruppe verwendet, die von der ersten lokalen Merkmalsmengen-Berechnungseinheit 221 geliefert wird, und stellt die zweite Merkmalsmenge als erste Merkmalsmengen wieder her, die die Merkmalsmengen der Punktwolke in Einheiten der ersten hierarchischen Gruppe sind. Dann gibt die zweite globale Merkmalsmengen-Berechnungseinheit 242 das Wiederherstellungsergebnis an die erste globale Merkmalsmengen-Berechnungseinheit 243 als globale Merkmalsmenge R in Einheiten der ersten hierarchischen Gruppe aus.
Die erste globale Merkmalsmengen-Berechnungseinheit 243 stellt die Merkmalsmenge in Einheiten jedes Punktes auf der Basis der globalen Merkmalsmenge R in Einheiten der ersten hierarchischen Gruppe wieder her, die von der zweiten globalen Merkmalsmengen-Berechnungseinheit 242 und der Punktwolke (PC) geliefert wird, und gibt das Wiederherstellungsergebnis an die Erkennungseinheit 203 als die globale Merkmalsmenge R aus.
Die Erkennungseinheit 203 führt eine Objekterkennungsverarbeitung (semantische Segmentierung) auf der Basis der globalen Merkmalsmenge R durch und gibt ein Objekterkennungsergebnis aus.
Im Einzelnen weist jede der dritten globalen Merkmalsmengen-Berechnungseinheit 241, der zweiten globalen Merkmalsmengen-Berechnungseinheit 242 und der ersten globalen Merkmalsmengen-Berechnungseinheit 243 in der globalen Merkmalsmengen-Berechnungseinheit 202 eine Interpolationseinheit 281 und eine Merkmalsmengen-Berechnungseinheit 282 auf, wie in 6 dargestellt.
Beachten Sie, dass, da die Konfigurationen der dritten globalen Merkmalsmengen-Berechnungseinheit 241, der zweiten globalen Merkmalsmengen-Berechnungseinheit 242 und der ersten globalen Merkmalsmengen-Berechnungseinheit 243 in der globalen Merkmalsmengen-Berechnungseinheit 202 grundsätzlich ähnlich sind, sie in 6 als n-te Merkmalsmengen-Berechnungseinheit(en) dargestellt sind.
Die Interpolationseinheit 281 führt eine Interpolationsverarbeitung auf der Basis der Positionsinformationen und der Merkmalsmengen der Punktwolke der (n + 1)-ten hierarchischen Gruppe und der Positionsinformationen und der Merkmalsmengen der n-ten hierarchischen Gruppe durch, um Positionsinformationen einer Punktwolke zu interpolieren und zu erzeugen, die die n'-te hierarchische Gruppe bildet, und sendet die Positionsinformationen an die Merkmalsmengen-Berechnungseinheit 282. Beachten Sie, dass „'“ der wiederherzustellenden Hierarchie hinzugefügt wird.
Die Merkmalsmengen-Berechnungseinheit 282 stellt die von der Interpolationseinheit 281 gelieferten Positionsinformationen der Punktwolke der n'-ten hierarchischen Gruppe und die entsprechenden Merkmalsmengen wieder her und gibt die Positionsinformationen und die Merkmalsmengen der Punktwolke der n'-ten hierarchischen Gruppe an die (n - 1)-te Merkmalsmengen-Berechnungseinheit in der nachfolgenden Stufe in der globalen Merkmalsmengen-Berechnungseinheit 202 aus.
Das heißt, zum Beispiel, wie im rechten Teil von 5 dargestellt, wenn die Information FP1, die der Information SA5 entspricht, die die Punktwolkeninformation einschließlich der Merkmalsmengen der (n + 1)-ten hierarchischen Gruppe ist, geliefert wird, interpoliert die Interpolationseinheit 281 der n-ten Merkmalsmengen-Berechnungseinheit in der globalen Merkmalsmengen-Berechnungseinheit 202 und erzeugt die Information FP2 einschließlich der Positionsinformation der Punktwolke der n'ten hierarchischen Gruppe.
Darüber hinaus berechnet die Merkmalsmengen-Berechnungseinheit 282 der n-ten Merkmalsmengen-Berechnungseinheit in der globalen Merkmalsmengen-Berechnungseinheit 202 die Merkmalsmengen der Punktwolke der interpolierten und erzeugten Information FP2 und stellt die Information FP3 wieder her, die die Positionsinformationen und die Merkmalsmengen der Punktwolke der n'-ten hierarchischen Gruppe enthalten und der Information SA3 entsprechen.
Die Interpolationseinheit 281 der (n - 1)-ten Merkmalsmengen-Berechnungseinheit in der nachfolgenden Stufe in der globalen Merkmalsmengen-Berechnungseinheit 202 interpoliert und erzeugt die Information FP4 einschließlich der Positionsinformation der (n - 1)-ten hierarchischen Gruppe aus der Information FP3 als die Punktwolkeninformation mit den Merkmalsmengen der n'-ten hierarchischen Gruppe.
Dann berechnet die Merkmalsmengen-Berechnungseinheit 282 der (n - 1)-ten Merkmalsmengen-Berechnungseinheit die Merkmalsmengen der Punktwolke der interpolierten und erzeugten Information FP4 und stellt die Information FP5 wieder her, die der Information SA1 der Punktwolke der (n - 1)'-ten hierarchischen Gruppe entspricht.
Danach werden die hierarchisierten lokalen Merkmalsmengen wiederholt durch das oben beschriebene inverse abstandsgewichtete Interpolationsverfahren berechnet, so dass schließlich die globale Merkmalsmenge R berechnet wird.
Wie oben beschrieben, bilden in der Objekterkennungseinheit 181 in 3 die lokale Merkmalsmengen-Berechnungseinheit 201 und die globale Merkmalsmengen-Berechnungseinheit 202 PointNet++ durch DNN.
Daher ist die lokale Merkmalsmengen-Berechnungseinheit 201 in 3 so ausgebildet, dass sie die Merkmalsmengen durch die dreistufige hierarchische Struktur wie die erste lokale Merkmalsmengen-Berechnungseinheit 221 bis zur dritten lokalen Merkmalsmengen-Berechnungseinheit 223 erhält, aber die Anzahl der Hierarchien kann jede andere Zahl als zwei oder drei sein, solange die hierarchische Struktur mindestens zwei oder mehr Hierarchien hat, die der Eingabeschicht und der Ausgabeschicht entsprechen.
Dann wird davon ausgegangen, dass die lokale Merkmalsmengen-Berechnungseinheit 201 und die globale Merkmalsmengen-Berechnungseinheit 202 ein Lernen (Backpropagation) durchführen, wobei beispielsweise eine Position (x, y, z) und eine Farbe (r, g, b), die Punktwolken sind, als Eingaben und ein semantisches Segmentierungsetikett als korrekte Antwort verwendet werden.
<Konfigurationsbeispiel der Objekterkennungseinheit der vorliegenden Offenbarung>
Wie oben beschrieben, kann in dem Fall, in dem die Objekterkennungseinheit 181 durch PointNet++ konfiguriert ist, eine geeignete semantische Segmentierung implementiert werden, wenn nur die durch das LiDAR erfasste Punktwolke (PC) oder nur das Erfassungsergebnis durch das Millimeterwellenradar verarbeitet wird.
Wenn jedoch zum Beispiel beim Vergleich einer LiDAR-Punktwolke (PC) mit einem Dense-Sensing-Ergebnis und einem LiDAR-Erfassungsergebnis eine semantische Segmentierung durch Integration mit einem Erfassungsergebnis eines Millimeterwellenradars mit einem relativ spärlichen Erfassungsergebnis durchgeführt wird, können die Merkmalsmengen beider Erfassungsergebnisse nicht angemessen integriert werden, so dass eine angemessene Objekterkennung möglicherweise nicht implementiert werden kann.
Das heißt, wenn die beiden Erfassungsergebnisse einfach gemittelt werden, entsteht ein großes Gewicht im Dense-Sensing-Ergebnis, so dass keine angemessene Integration durchgeführt werden kann.
Außerdem ist es denkbar, ein Gewicht festzulegen, um das Dense-Sensing-Ergebnis und das Sparse-Sensing-Ergebnis in geeigneter Weise zu integrieren. Im Dense-Sensing-Ergebnis und im Sparse-Sensing-Ergebnis sind die Existenzverhältnisse in einem lokalen Raum jedoch nicht konstant. Daher kann auch bei einfacher Festlegung eines Gewichts keine angemessene Integration durchgeführt werden.
Außerdem ist es denkbar, die Objekterkennung auf Basis des Dense-Sensing-Ergebnisses und die Objekterkennung auf Basis des Sparse-Sensing-Ergebnisses einzeln durchzuführen und die Erkennungsergebnisse dann zu integrieren. Wenn die Objekterkennungsergebnisse jedoch unterschiedlich sind, kann die Integration möglicherweise nicht durchgeführt werden.
Daher integriert die Objekterkennungseinheit 181 der vorliegenden Offenbarung in geeigneter Weise das Dense-Sensing-Ergebnis und das Sparse-Sensing-Ergebnis, indem sie die jeweiligen Positionsbeziehungen der Erfassungsergebnisse widerspiegelt, und führt dann eine Objekterkennung durch, wodurch die Erkennungsgenauigkeit verbessert wird.
7 stellt ein Konfigurationsbeispiel der Objekterkennungseinheit 181 der vorliegenden Offenbarung dar, die das Dense-Sensing-Ergebnis und das Sparse-Sensing-Ergebnis in geeigneter Weise integriert, indem sie die jeweiligen Positionsbeziehungen der Erfassungsergebnisse widerspiegelt, und dann eine Objekterkennung durchführt, wodurch die Erkennungsgenauigkeit verbessert wird.
Die Objekterkennungseinheit 181 in 7 erfasst ein Sparse-Sensing-Ergebnis eines Millimeterwellenradars 102b zusätzlich zu der Punktwolke (PC), die ein Dense-Sensing-Ergebnis von einem LiDAR 102a der Datenerfassungseinheit 102 ist, integriert und verwendet die Erfassungsergebnisse, wodurch eine Objekterkennung durch semantische Segmentierung implementiert wird.
Im Einzelnen weist die Objekterkennungseinheit 181 in 7 eine lokale Merkmalsmengen-Berechnungseinheit 301, eine Merkmalsmengen-Extraktionseinheit 302, eine globale Merkmalsmengen-Berechnungseinheit 303 und eine Erkennungseinheit 304 auf.
Beachten Sie, dass in der Objekterkennungseinheit 181 in 7 die lokale Merkmalsmengen-Berechnungseinheit 301, die globale Merkmalsmengen-Berechnungseinheit 303 und die Erkennungseinheit 304 im Grunde der lokalen Merkmalsmengen-Berechnungseinheit 201, der globalen Merkmalsmengen-Berechnungseinheit 202 und der Erkennungseinheit 203 in 3 entsprechen.
Das heißt, die lokale Merkmalsmengen-Berechnungseinheit 301 weist eine erste lokale Merkmalsmengen-Berechnungseinheit 321, eine zweite lokale Merkmalsmengen-Berechnungseinheit 322 und eine dritte lokale Merkmalsmengen-Berechnungseinheit 323 auf, und die ersten bis dritten lokalen Merkmalsmengen-Berechnungseinheiten haben Konfigurationen, die jeweils der ersten lokalen Merkmalsmengen-Berechnungseinheit 221, der zweiten lokalen Merkmalsmengen-Berechnungseinheit 222 und der dritten lokalen Merkmalsmengen-Berechnungseinheit 223 in 3 entsprechen.
Die lokale Merkmalsmengen-Berechnungseinheit 301 unterscheidet sich jedoch dadurch, dass sie außerdem eine integrierte Merkmalsmengen-Berechnungseinheit 324 enthält, um die Merkmalsmengen zu empfangen, die von der Merkmalsmengen-Extraktionseinheit 302 geliefert werden, die die Merkmalsmengen aus dem Erfassungsergebnis des Millimeterwellenradars 102b extrahiert. Außerdem führt die dritte lokale Merkmalsmengen-Berechnungseinheit 323 eine grundlegende Verarbeitung durch, die der dritten lokalen Merkmalsmengen-Berechnungseinheit 223 ähnlich ist, führt aber auch eine andere Verarbeitung durch.
Außerdem hat die lokale Merkmalsmengen-Berechnungseinheit 301 aufgrund der Bereitstellung der integrierten Merkmalsmengen-Berechnungseinheit 324 eine Konfiguration, die der Integrationsverarbeitungseinheit 21 in 1 entspricht, und die globale Merkmalsmengen-Berechnungseinheit 303 hat eine Konfiguration, die der Wiederherstellungseinheit 22 in 1 entspricht.
Beachten Sie, dass, da die erste lokale Merkmalsmengen-Berechnungseinheit 321 und die zweite lokale Merkmalsmengen-Berechnungseinheit 322 die gleichen Funktionen wie die erste lokale Merkmalsmengen-Berechnungseinheit 221 und die zweite lokale Merkmalsmengen-Berechnungseinheit 222 in 3 haben, deren Beschreibung ausgelassen wird.
Das heißt, wenn das Sparse-Sensing-Ergebnis des Millimeterwellenradars 102b erfasst wird, extrahiert die Merkmalsmengen-Extraktionseinheit 302 die Merkmalsmengen und liefert die Merkmalsmengen an die integrierte Merkmalsmengen-Berechnungseinheit 324 der lokalen Merkmalsmengen-Berechnungseinheit 301.
Die integrierte Merkmalsmengen-Berechnungseinheit 324 integriert die Merkmalsmengen der zweiten hierarchischen Gruppe, die aus der Punktwolke (PC) erhalten wurde, die das Erfassungsergebnis des LiDAR 102a ist, das das Dense-Sensing-Ergebnis ist, das von der zweiten lokalen Merkmalsmengen-Berechnungseinheit 322 geliefert wird, und die Merkmalsmengen, die von der Merkmalsmengen-Extraktionseinheit 302 geliefert werden, die aus dem Sparse-Sensing-Ergebnis des Millimeterwellenradars 102b erhalten wurde, unter Berücksichtigung der jeweiligen Positionsbeziehungen, und liefert die integrierten Merkmalsmengen an die dritte lokale Merkmalsmengen-Berechnungseinheit 323 als die Merkmalsmengen der zweiten hierarchischen Gruppe.
Im Einzelnen integriert die integrierte Merkmalsmengen-Berechnungseinheit 324 die Merkmalsmengen, die aus dem Sparse-Sensing-Ergebnis des Millimeterwellenradars 102b erhalten werden, das innerhalb eines vorbestimmten Abstands von den jeweiligen Positionen vorhanden ist, mit Bezug auf die jeweiligen Positionsinformationen der Merkmalsmengen der zweiten hierarchischen Gruppe, die aus der Punktwolke (PC) erhalten werden, die das Erfassungsergebnis des LiDAR 102a ist, das das Dense-Sensing-Ergebnis ist, das von der zweiten lokalen Merkmalsmengen-Berechnungseinheit 322 geliefert wird.
Dann liefert die integrierte Merkmalsmengen-Berechnungseinheit 324 die Merkmalsmengen, die durch Integration der Merkmalsmengen der zweiten hierarchischen Gruppe, die von der Punktwolke (PC) als Dense-Sensing-Ergebnis erhalten wurden, und die Merkmalsmengen, die von dem Sparse-Sensing-Ergebnis des Millimeterwellenradars 102b erhalten wurden, an die dritte lokale Merkmalsmengen-Berechnungseinheit 323 als die Merkmalsmengen der zweiten hierarchischen Gruppe.
Beachten Sie, dass eine detaillierte Konfiguration der integrierten Merkmalsmengen-Berechnungseinheit 324 und Details des Verfahrens zur Integration der Merkmalsmengen, die aus dem Sparse-Sensing-Ergebnis des Millimeterwellenradars 102b erhalten werden, das innerhalb eines vorbestimmten Abstands von Referenzpositionen existiert, mit Bezug auf die Positionen der Merkmalsmengen der zweiten hierarchischen Gruppe, die aus der Punktwolke (PC) erhalten werden, weiter unten beschrieben werden.
Außerdem ist die Grundfunktion der dritten lokalen Merkmalsmengen-Berechnungseinheit 323 ähnlich derjenigen der dritten lokalen Merkmalsmengen-Berechnungseinheit 223, außer dass anstelle der Merkmalsmengen der zweiten hierarchischen Gruppe, die von der zweiten lokalen Merkmalsmengen-Berechnungseinheit 322 berechnet werden, die Merkmalsmengen der dritten hierarchischen Gruppe auf der Basis der Merkmalsmengen berechnet werden, die durch Integration der beiden von der integrierten Merkmalsmengen-Berechnungseinheit 324 gelieferten Merkmalsmengen erhalten werden, so dass deren Beschreibung entfällt.
Außerdem berechnet die globale Merkmalsmengen-Berechnungseinheit 303 die globale Merkmalsmenge R an jedem Punkt auf der Basis der ersten Merkmalsmengen, der zweiten Merkmalsmengen und der dritten Merkmalsmengen, die von der lokalen Merkmalsmengen-Berechnungseinheit 301 geliefert werden, und gibt diese aus.
Im Einzelnen weist die globale Merkmalsmengen-Berechnungseinheit 303 eine dritte globale Merkmalsmengen-Berechnungseinheit 361, eine zweite globale Merkmalsmengen-Berechnungseinheit 362 und eine erste globale Merkmalsmengen-Berechnungseinheit 363 auf.
Beachten Sie, dass die dritte globale Merkmalsmengen-Berechnungseinheit 361, die zweite globale Merkmalsmengen-Berechnungseinheit 362 und die erste globale Merkmalsmengen-Berechnungseinheit 363 so ausgebildet sind, dass sie dieselben Funktionen wie die dritte globale Merkmalsmengen-Berechnungseinheit 241, die zweite globale Merkmalsmengen-Berechnungseinheit 242 und die erste globale Merkmalsmengen-Berechnungseinheit 243 in 3 haben, so dass deren Beschreibung entfällt.
Da außerdem die Erkennungseinheit 304 die gleiche Funktion hat wie die Erkennungseinheit 203 in 3, wird auf eine Beschreibung verzichtet.
<Verfahren zur Integration der Merkmalsmenge des Dense-Sensing-Ergebnisses und der Merkmalsmenge des Sparse-Sensing-Ergebnisses und Verfahren zur Gewinnung der globalen Merkmalsmenge>
Als Nächstes wird das Verfahren zur Integration der Merkmalsmengen, die aus dem Sparse-Sensing-Ergebnis des Millimeterwellenradars 102b erhalten wurden, das innerhalb eines vorbestimmten Abstands von Bezugspositionen existiert, in Bezug auf die Positionen der Merkmalsmengen der zweiten hierarchischen Gruppe, die aus der Punktwolke (PC) erhalten wurden, und das Verfahren zur Gewinnung der globalen Merkmalsmenge unter Bezugnahme auf 8 und 9 beschrieben.
Beispielsweise, wie durch den Zustand St11 im linken Teil von 8 dargestellt, werden die Positionen der Merkmalsmengen der zweiten hierarchischen Gruppe, die aus der Punktwolke (PC), d. h. dem Dense-Sensing-Ergebnis, das durch das LiDAR 102a erfasst wurde, erhalten wurden, als Merkmalsmengen P1 bis P7 angegeben, und die Positionen der Merkmalsmengen, die aus dem Sparse-Sensing-Ergebnis des Millimeterwellenradars 102b extrahiert wurden, werden als Merkmalsmengen m1 bis m3 angegeben.
Beachten Sie, dass 8 die Positionen der Merkmalsmengen P1 bis P7, die auf der Basis des Dense-Sensing-Ergebnisses erhalten wurden, und der Merkmalsmengen m1 bis m3, die auf der Basis des Sparse-Sensing-Ergebnisses erhalten wurden, in einem Überwachungsbereich Z1 des LiDAR 102a und des Millimeterwellenradars 102b der Datenerfassungseinheit 102 von dem Fahrzeug 51, das das Benutzerauto ist, zeigt.
Im Fall des Zustands St11 in 8 sucht die integrierte Merkmalsmengen-Berechnungseinheit 324 nach der Merkmalsmenge m1 bis m3 auf der Basis des Sparse-Sensing-Ergebnisses, die innerhalb eines vorbestimmten Abstands (innerhalb eines Radius r11) liegt, der durch die durchgezogenen Kreise mit Bezug auf die Merkmalsmengen P1 bis P7 auf der Basis des Dense-Sensing-Ergebnisses als zu gruppierende Merkmalsmengen gezogen wird, wie durch den Zustand St12 in 8 angezeigt.
Im Fall des Zustands St12 in 8 wird die Merkmalsmenge m1 als die Merkmalsmenge gesucht, die innerhalb des vorbestimmten Abstands der durch den ausgefüllten Kreis angezeigten Merkmalsmenge P2 gruppiert werden soll, und die Merkmalsmenge m2 wird als die Merkmalsmenge gesucht, die innerhalb des vorbestimmten Abstands der durch die ausgefüllten Kreise angezeigten Merkmalsmengen P4 und P5 gruppiert werden soll.
Da die Merkmalsmenge m3 nicht innerhalb des vorbestimmten Abstands von einer der Merkmalsmengen P1 bis P7 auf der Basis des Dense-Sensing-Ergebnisses vorhanden ist und nicht als zu gruppierende Merkmalsmenge gesucht wird, wird die Merkmalsmenge m3 aus der mit dem Dense-Sensing-Ergebnis zu integrierenden spärlichen Merkmalsmenge ausgeschlossen.
Als Nächstes integriert die Einheit 324 zur Berechnung der integrierten Merkmalsmengen die Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis basieren, mit den Merkmalsmengen, die auf dem Sparse-Sensing-Ergebnis basieren, wobei die Merkmalsmengen P1 bis P7, die auf dem Dense-Sensing-Ergebnis basieren, und die Merkmalsmengen m1 bis m3, die auf dem Sparse-Sensing-Ergebnis basieren, gruppiert werden.
Im Einzelnen erhält die Einheit 324 zur Berechnung der integrierten Merkmalsmenge eine relative Position zwischen der Position der Merkmalsmenge auf der Basis des Dense-Sensing-Ergebnisses und der Position der Merkmalsmenge auf der Basis des Sparse-Sensing-Ergebnisses aus der Position der Merkmalsmenge auf der Basis des Dense-Sensing-Ergebnisses und der entsprechenden Position der Merkmalsmenge auf der Basis des Sparse-Sensing-Ergebnisses und erzeugt eine Integrationstabelle 332 (10), die der Merkmalsmenge auf der Basis des Dense-Sensing-Ergebnisses zugeordnet wird.
Die integrierte Merkmalsmengen-Berechnungseinheit 324 integriert die Merkmalsmenge, die auf dem Dense-Sensing-Ergebnis basiert, und die Merkmalsmenge, die auf dem Sparse-Sensing-Ergebnis basiert, die als die Merkmalsmenge gesucht wird, die innerhalb des vorbestimmten Abstands auf der Basis der Integrationstabelle 332 gruppiert werden soll (10).
Beachten Sie, dass ein Verfahren zur Integration der Merkmalsmengen unter Verwendung der Integrationstabelle 332 (10) weiter unten im Detail beschrieben wird.
Beispielsweise wird im Fall des Zustands St12 in 8 die Merkmalsmenge m1 als die Merkmalsmenge gesucht, die innerhalb des vorgegebenen Abstands der Merkmalsmenge P2 gruppiert werden soll, und die Merkmalsmenge m2 wird als die Merkmalsmenge gesucht, die innerhalb des vorgegebenen Abstands der Merkmalsmengen P4 und P5 gruppiert werden soll.
Daher, wie durch den Zustand St13 angezeigt, erzeugt die integrierte Merkmalsmengen-Berechnungseinheit 324 eine Merkmalsmenge P2' durch Integration der Merkmalsmengen P2 und m1, erzeugt eine Merkmalsmenge P4' durch Integration der Merkmalsmengen P4 und m2, und erzeugt eine Merkmalsmenge P5' durch Integration der Merkmalsmengen P5 und m2. Das heißt, die Merkmalsmenge P2' ist eine Merkmalsmenge, die sich ergibt, wenn man die Merkmalsmenge m1, die auf dem Erfassungsergebnis des Millimeterwellenradars 102b basiert, in die Merkmalsmenge P2, die auf dem Erfassungsergebnis des LiDAR 102a basiert, einrechnet. Außerdem sind die Merkmalsmengen P4' und P5' Merkmalsmengen, die man erhält, indem man die Merkmalsmenge m2, die auf dem Erfassungsergebnis des Millimeterwellenradars 102b basiert, in die Merkmalsmengen P4 und P5 einrechnet, die auf dem Erfassungsergebnis des LiDAR 102a basieren.
Die integrierte Merkmalsmengen-Berechnungseinheit 324 gibt die Merkmalsmengen P1, P2', P3, P4', P5', P6 und P7, die durch den Zustand St13 in 8 angezeigt werden, an die dritte lokale Merkmalsmengen-Berechnungseinheit 323 als Merkmalsmengen der zweiten hierarchischen Gruppe aus.
Die dritte lokale Merkmalsmengen-Berechnungseinheit 323 spezifiziert beispielsweise die Merkmalsmengen P2', P4' und P6 unter den Merkmalsmengen P1, P2', P3, P4', P5', P6 und P7, die durch den Zustand St13 als vorbestimmte Merkmalsmengen angezeigt werden, und gruppiert die Merkmalsmengen innerhalb eines vorbestimmten Abstands von den spezifizierten Merkmalsmengen P2', P4' und P6 und berechnet die Merkmalsmengen.
Dabei gruppiert die dritte lokale Merkmalsmengen-Berechnungseinheit 323 beispielsweise, wie durch den Zustand St14 angezeigt, die Merkmalsmengen P1 und P3 innerhalb eines vorgegebenen Abstands (innerhalb des Radius r12 (> r11)) von der durch den durchgezogenen Kreis angezeigten Merkmalsmenge P2' und berechnet eine Merkmalsmenge P2".
In ähnlicher Weise gruppiert die dritte lokale Merkmalsmengen-Berechnungseinheit 323, wie durch den Zustand St14 angezeigt, die Merkmalsmengen P3 und P5' innerhalb des vorgegebenen Abstands von der durch den durchgezogenen Kreis angezeigten Merkmalsmenge P4' und berechnet eine Merkmalsmenge P4".
Darüber hinaus gruppiert die dritte lokale Merkmalsmengen-Berechnungseinheit 323, wie durch den Zustand St14 angezeigt, die Merkmalsmengen P5' und P7 innerhalb des vorgegebenen Abstands von der durch den durchgezogenen Kreis angezeigten Merkmalsmenge P6 und berechnet eine Merkmalsmenge P6'.
Die dritte lokale Merkmalsmengen-Berechnungseinheit 323 gibt die Merkmalsmengen der dritten hierarchischen Gruppe, einschließlich der Merkmalsmengen P2", P4" und P6', die durch den Zustand St14 angezeigt werden und wie oben beschrieben berechnet wurden, an die globale Merkmalsmengen-Berechnungseinheit 303 aus.
Beim Erfassen der Merkmalsmengen der dritten hierarchischen Gruppe des Zustands St21 in 9, der dem Zustand St14 in 8 entspricht, spezifiziert die dritte globale Merkmalsmengen-Berechnungseinheit 361 der globalen Merkmalsmengen-Berechnungseinheit 303 die Positionen der Merkmalsmengen P1, P3, P5 und P7, die der zweiten hierarchischen Gruppe entsprechen, durch Interpolation aus den Positionsinformationen der Merkmalsmengen P2" P4"und P6' auf der Basis der Informationen, die von der zweiten lokalen Merkmalsmengen-Berechnungseinheit 322 der lokalen Merkmalsmengen-Berechnungseinheit 301 geliefert werden, und spezifiziert Positionsinformationen, die den Merkmalsmengen P1 bis P7 in St11 in 8 entsprechen.
Dann, wie durch den Zustand St22 angezeigt, berechnet die dritte globale Merkmalsmengen-Berechnungseinheit 361 die Merkmalsmengen P11 bis P17 an Positionen, die den spezifizierten Merkmalsmengen P1 bis P7 entsprechen, auf der Basis der Merkmalsmengen P2", P4" und P6', und gibt die berechneten Merkmalsmengen an die zweite globale Merkmalsmengen-Berechnungseinheit 362 als die Merkmalsmengen der zweiten hierarchischen Gruppe aus.
Danach wiederholen die zweite globale Merkmalsmengen-Berechnungseinheit 362 und die erste globale Merkmalsmengen-Berechnungseinheit 363 eine ähnliche Verarbeitung, so dass die globale Merkmalsmenge R, die der Punktwolke (PC) entspricht, berechnet und an die Erkennungseinheit 304 ausgegeben wird, wie im Zustand St23 angegeben.
Die Erkennungseinheit 304 erkennt ein Objekt durch die Objekterkennungsverarbeitung, wie z. B. semantische Segmentierung, auf der Basis der globalen Merkmalsmenge R.
Durch die oben beschriebene Reihe von Verarbeitungen werden die Merkmalsmengen mit unterschiedlicher Spärlichkeit und Dichte integriert, und die dichten Merkmalsmengen können erzeugt werden, indem die Merkmalsmengen, die auf dem Sparse-Sensing-Ergebnis, wie dem Millimeterwellenradar 102b, das innerhalb eines vorbestimmten Abstands vorhanden ist, mit den Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis, wie dem LiDAR 102a, basieren, unter Bezugnahme auf die Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis basieren, integriert werden.
Demzufolge wird es möglich, die Objekterkennung, wie z. B. die semantische Segmentierung, auf der Basis der dichten Merkmalsmengen durchzuführen, die durch eine geeignete Integration der Erfassungsergebnisse von Sensoren mit unterschiedlicher Spärlichkeit und Dichte erzeugt werden, und somit die Genauigkeit der Objekterkennung zu verbessern.
<Detaillierte Konfiguration der integrierten Merkmalsmengen-Berechnungseinheit und Verfahren zur Integration von Merkmalsmengen unter Verwendung der Integrationstabelle>
Als Nächstes wird eine detaillierte Konfiguration der integrierten Merkmalsmengen-Berechnungseinheit 324 und ein Verfahren zur Integration der Merkmalsmengen unter Verwendung einer Integrationstabelle mit Bezug auf 10 beschrieben.
Die integrierte Merkmalsmengen-Berechnungseinheit 324 weist eine entsprechende Messinformations-Berechnungseinheit 331, eine Integrationstabelle 332, eine Auswahleinheit 333 und eine Integrationseinheit 334 auf.
Die entsprechende Messinformations-Berechnungseinheit 331 erzeugt die Integrationstabelle 332 auf der Basis der zweiten Merkmalsmengen, die von der zweiten lokalen Merkmalsmengen-Berechnungseinheit 322 geliefert werden, die auf der Basis der Punktwolke (PC), d. h. des vom LiDAR 102a erhaltenen Dense-Sensing-Ergebnisses, erhalten wird, und der Merkmalsmengen, die von der Merkmalsmengen-Extraktionseinheit 302 geliefert werden, die auf der Basis des vom Millimeterwellenradar 102b erhaltenen Sparse-Sensing-Ergebnisses erhalten wird.
Als Integrationstabelle 332 wird die Integrationstabelle 332, die entsprechende Messinformationen enthält, die eine relative Positionsbeziehung des Sparse-Sensing-Ergebnisses in Bezug auf die zweiten Merkmalsmengen auf der Basis des Dense-Sensing-Ergebnisses angeben, erzeugt.
Hier wird ein spezielles Verfahren zur Erzeugung der Integrationstabelle 332 durch die entsprechende Messinformations-Berechnungseinheit 331 beschrieben.
Es wird beispielsweise angenommen, dass ein Erfassungsergebnis F1, das der Punktwolke (PC) entspricht, die dem Erfassungsergebnis des LiDAR 102a entspricht, und ein Erfassungsergebnis F2 als Erfassungsergebnis, das dem Erfassungsergebnis des Millimeterwellenradars 102b entspricht, geliefert wird.
Das Erfassungsergebnis F1 enthält Positionsinformationen PS1 und ein Erfassungsergebnis SE1, das beispielsweise Farbinformationen enthält. In 10 sind die erste bis dritte Spalte von links die Positionsinformationen PS1 jeder Punktwolke, und die vierte bis sechste Spalte sind die Erfassungsergebnisse SE1 an den entsprechenden Positionen.
Das heißt, in dem Erfassungsergebnis F1, wie in der obersten Zeile dargestellt, wird angegeben, dass das Erfassungsergebnis (r1, g1, b1) an der Position (x1, y1, z1) ist, und wie in der zweiten Zeile dargestellt, wird angegeben, dass das Erfassungsergebnis (r2, g2, b2) an der Position (x2, y2, z2) ist, und danach werden die Position und das Erfassungsergebnis auf ähnliche Weise in Verbindung miteinander aufgezeichnet.
Außerdem enthält das Erfassungsergebnis F2 eine Positionsinformation PS2 und ein Erfassungsergebnis SE2, das z. B. Informationen über die Geschwindigkeit oder die Reflexionsintensität enthält. Die erste und zweite Spalte von links sind die Positionsdaten PS2, die dritte und vierte Spalte sind das Erfassungsergebnis SE2.
Das heißt, in dem Erfassungsergebnis F2, wie in der obersten Zeile dargestellt, wird angegeben, dass das Erfassungsergebnis (RF1, VE1) an der Position (X1, Y1) ist, es wird angegeben, dass das Erfassungsergebnis (RF2, VE2) an der Position (X2, Y2) ist, und danach werden die Position und das Erfassungsergebnis in ähnlicher Weise in Verbindung miteinander aufgezeichnet.
Die zweite lokale Merkmalsmengen-Berechnungseinheit 322 berechnet die Merkmalsmengen F11 als Merkmalsmengen der zweiten hierarchischen Gruppe z. B. aus dem Erfassungsergebnis F1 und gibt die Merkmalsmengen F11 an die integrierte Merkmalsmengen-Berechnungseinheit 324 aus.
Hier sind, in Bezug auf die Merkmalsmengen F11, die erste bis dritte Spalte von links die Positionsinformation PS11 und die vierte und die folgenden Spalten die (Werte der) spezifischen Merkmalsmengen. Außerdem ist die Positionsinformation PS11 eine Information, die der Positionsinformation PS1 entspricht.
Das heißt, in den Merkmalsmengen F11 wird angegeben, dass die Merkmalsmengen (A1, B1, C1, D1, E1, F1, G1, H1) an der obersten Position (x1, y1, z1) sind, es wird angegeben, dass die Merkmalsmengen (A2, B2, C2, D2, E2, F2, G2, H2) an der Position (x2, y2, z2) sind, wie in der zweiten Reihe dargestellt, und danach werden die Position und die Merkmalsmengen in ähnlicher Weise in Verbindung miteinander aufgezeichnet.
Außerdem berechnet die Merkmalsmengen-Extraktionseinheit 302 beispielsweise Merkmalsmengen F12 aus dem Erfassungsergebnis F2 und gibt die Merkmalsmengen F12 an die integrierte Merkmalsmengen-Berechnungseinheit 324 aus.
Hier sind in den Merkmalsmengen F12 die erste und zweite Spalte von links die Positionsinformation PS12 und die dritte und folgende Spalte die (Werte der) spezifischen Merkmalsmengen. Außerdem ist die Positionsinformation PS12 eine Information, die der Positionsinformation PS2 entspricht.
Das heißt, in den Merkmalsmengen F12 wird angegeben, dass die Merkmalsmengen (11, J1, K1, L1, M1, N1) an der obersten Position (X1, Y1) sind, und es wird angegeben, dass die Merkmalsmengen (12, J2, K2, L2, M2, N2) an der Position (X2, Y2) sind, wie in der zweiten Zeile dargestellt. Danach werden die Position und die Merkmalsmengen in ähnlicher Weise in Verbindung mit einander aufgezeichnet.
Die entsprechende Messinformations-Berechnungseinheit 331 erzeugt die Integrationstabelle 332, die Informationen über die relativen Positionen der Merkmalsmengen F12 mit Bezug auf die Positionsinformationen PS11 der Merkmalsmengen F11 enthält, die auf der Basis des Dense-Sensing-Ergebnisses erhalten wurden, auf der Basis der Merkmalsmengen F11 und F12.
Das heißt, dass zum Beispiel die entsprechende Messinformations-Berechnungseinheit 331 eine relative Position (RX11, RY11) zwischen der Position (x1, y1, z1) der Merkmalsmengen F11, die auf der Basis des Dense-Sensing-Ergebnisses erhalten wurden, und der Position (X1, Y1) der Merkmalsmengen F12, die auf der Basis des Sparse-Sensing-Ergebnisses erhalten wurden, und registriert die relative Position zusammen mit den Merkmalsmengen (I1, J1, K1, L1, M1, N1) auf der rechten Seite der Merkmalsmengen (A1, B1, C1, D1, E1, F1, G1, H1), wie in der obersten Zeile der Integrationstabelle 332 dargestellt.
Außerdem, obwohl nicht dargestellt, sind die relativen Positionen zwischen der Position (x1, y1, z1) der Merkmalsmengen F11 und den Merkmalsmengen F12 anderer Positionen (X2, Y2), (X3, Y3) und (X4, Y4) und die Merkmalsmengen in der Zeichnung sequenziell in der rechten Richtung registriert.
Darüber hinaus berechnet beispielsweise die entsprechende Messinformations-Berechnungseinheit 331 eine relative Position (RX12, RY12) zwischen der Position (x2, y2, z2) der Merkmalsmengen F11, die auf der Basis des dichten Erfassungsergebnisses erhalten wurden, und der Position (X1, Y1) der Merkmalsmengen F12, die auf der Basis des Sparse-Sensing-Ergebnisses erhalten wurden, und registriert die relative Position zusammen mit den Merkmalsmengen (I1, J1, K1, L1, M1, N1) auf der rechten Seite der Merkmalsmengen (A2, B2, C2, D2, E2, F2, G2, H2), wie in der zweiten Zeile der Integrationstabelle 332 dargestellt.
Außerdem, obwohl nicht dargestellt, sind die relativen Positionen zwischen der Position (x2, y2, z2) der Merkmalsmengen F11 und den Merkmalsmengen F12 anderer Positionen (X2, Y2), (X3, Y3) und (X4, Y4) und die Merkmalsmengen in der Zeichnung sequenziell in der rechten Richtung registriert.
Darüber hinaus berechnet beispielsweise die entsprechende Messinformations-Berechnungseinheit 331 eine relative Position (RX13, RY13) zwischen der Position (x3, y3, z3) der Merkmalsmengen F11, die auf der Basis des Dense-Sensing-Ergebnisses erhalten wurden, und der Position (X1, Y1) der Merkmalsmengen F12, die auf der Basis des Sparse-Sensing-Ergebnisses erhalten wurden, und registriert die relative Position zusammen mit den Merkmalsmengen (I1, J1, K1, L1, M1, N1) auf der rechten Seite der Merkmalsmengen (A3, B3, C3, D3, E3, F3, G3, H3), wie in der dritten Zeile der Integrationstabelle 332 dargestellt.
Außerdem, obwohl nicht dargestellt, sind die relativen Positionen zwischen der Position (x3, y3, z3) der Merkmalsmengen F11 und den Merkmalsmengen F12 anderer Positionen (X2, Y2), (X3, Y3) und (X4, Y4) und die Merkmalsmengen in der Zeichnung sequenziell in der rechten Richtung registriert.
Darüber hinaus berechnet beispielsweise die entsprechende Messinformations-Berechnungseinheit 331 eine relative Position (RX14, RY14) zwischen der Position (x4, y4, z4) der Merkmalsmengen F11, die auf der Basis des Dense-Sensing-Ergebnisses erhalten wurden, und der Position (X1, Y1) der Merkmalsmengen F12, die auf der Basis des Sparse-Sensing-Ergebnisses erhalten wurden, und registriert die relative Position zusammen mit den Merkmalsmengen (I1, J1, K1, L1, M1, N1) auf der rechten Seite der Merkmalsmengen (A4, B4, C4, D4, E4, F4, G4, H4), wie in der vierten Zeile der Integrationstabelle 332 dargestellt.
Außerdem, obwohl nicht dargestellt, sind die relativen Positionen zwischen der Position (x4, y4, z4) der Merkmalsmengen F11 und den Merkmalsmengen F12 anderer Positionen (X2, Y2), (X3, Y3) und (X4, Y4) und die Merkmalsmengen in der Zeichnung sequenziell in der rechten Richtung registriert.
Das heißt, in der Integrationstabelle 332 sind die drei Spalten von links die Positionsinformationen PS21 der Merkmalsmengen F11, die auf der Basis des Dense-Sensing-Ergebnisses erhalten wurden, und die sechs Spalten auf der rechten Seite sind die jeweiligen Merkmalsmengen F11. Darüber hinaus wird auf der rechten Seite davon die relative Positionsinformation PS22 mit jeder der Merkmalsmengen F12, die auf der Basis der Sparse-Sensing-Ergebnisse erhalten wurde, registriert, und die entsprechenden Merkmalsmengen F12 werden registriert. Hier ist die Positionsinformation PS21 eine Information, die den Positionsinformationen PS1 und PS11 entspricht.
Beachten Sie, dass in 10 nur die relative Position zwischen der Merkmalsmenge jeder der Positionen (x1, y1, z1) bis (x4, y4, z4) auf der Basis der Dense-Sensing-Ergebnisse und der Merkmalsmenge (11, J1, K1, L1, M1, N1) der Position (X1, Y1) auf der Basis der Sparse-Sensing-Ergebnisse und der Merkmalsmenge dargestellt ist, aber die relative Position zwischen der Merkmalsmenge auf der Basis der Sparse-Sensing-Ergebnisse, die nicht die oben genannten sind, und der Merkmalsmenge sequenziell in der rechten Richtung registriert werden, während sie nicht dargestellt sind.
Wie oben beschrieben, werden in der Integrationstabelle 332, die die entsprechenden Messinformationen enthält, die Informationen über die relativen Positionen der Merkmalsmengen, die auf dem Sparse-Sensing-Ergebnis basieren, in Bezug auf die Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis basieren, registriert.
Die Auswahleinheit 333 wählt gruppierbare Merkmalsmengen auf der Basis des Sparse-Sensing-Ergebnisses aus, die innerhalb eines vorbestimmten Abstands für jede Merkmalsmenge auf der Basis des als Referenz dienenden Dense-Sensing-Ergebnisses auf der Basis der relativen Positionsinformationen der Integrationstabelle 332 einschließlich entsprechender Messinformationen vorhanden sind, und liefert ein Auswahlergebnis an die Integrationseinheit 334.
Die Integrationseinheit 334 gibt eine integrierte Merkmalsmenge F31 aus, indem sie die gruppierbaren Merkmalsmengen auf der Basis des Sparse-Sensing-Ergebnisses, das innerhalb des vorgegebenen Abstands für jede Merkmalsmenge auf der Basis des Dense-Sensing-Ergebnisses vorliegt, auf der Basis des von der Auswahleinheit 333 gelieferten Auswahlergebnisses integriert.
Das heißt, in dem Fall von 10 wählt die Auswahleinheit 333 die Merkmalsmengen (11, J1, K1, L1, M1, N1) als Merkmalsmengen aus, die in einem Fall gruppiert werden sollen, in dem sie als innerhalb des vorbestimmten Abstands auf der Basis der relativen Position (RX11, RY11) zwischen den Merkmalsmengen (A1, B1, C1, D1, E1, F1, G1, H1) an der Position (x1, y1, z1) und den Merkmalsmengen (11, J1, K1, L1, M1, N1), die in der obersten Zeile der Integrationstabelle 332 angegeben sind, existierend betrachtet werden.
Dann, wie in der obersten Zeile der integrierten Merkmalsmenge F31 in 10 dargestellt ist, integriert die Integrationseinheit 334 die innerhalb des vorgegebenen Abstands vorhandenen gruppierten Merkmalsmengen in Bezug auf die Merkmalsmengen (A1, B1, C1, D1, E1, F1, G1, H1) an der Position (x1, y1, z1) auf der Basis des von der Auswahleinheit 333 gelieferten Auswahlergebnisses und gibt die integrierten Merkmalsmengen beispielsweise als Merkmalsmengen (O1, P1, Q1, R1, S1, T1, U1, V1, W1, ...) an der Position (x1, y1, z1) aus.
Außerdem wählt die Auswahleinheit 333 in dem Fall von 10 die Merkmalsmengen (11, J1, K1, L1, M1, N1) als Merkmalsmengen aus, die zu den Merkmalsmengen (A2, B2, C2, D2, E2, F2, G2, H2) gruppiert werden sollen, falls sie als innerhalb des vorbestimmten Abstands auf der Basis der relativen Position (RX12, RY12) zwischen den Merkmalsmengen (A2, B2, C2, D2, E2, F2, G2, H2) an der Position (x2, y2, z2) und den Merkmalsmengen (I1, J1, K1, L1, M1, N1), die in der zweiten Zeile der Integrationstabelle 332 angegeben sind, existierend betrachtet werden.
Dann, wie in der zweiten Zeile der integrierten Merkmalsmenge F31 in 10 dargestellt ist, integriert die Integrationseinheit 334 die innerhalb des vorgegebenen Abstands vorhandenen gruppierten Merkmalsmengen in Bezug auf die Merkmalsmengen (A2, B2, C2, D2, E2, F2, G2, H2) an der Position (x2, y2, z2) auf der Basis des von der Auswahleinheit 333 gelieferten Auswahlergebnisses und gibt die integrierten Merkmalsmengen beispielsweise als Merkmalsmengen (O2, P2, Q2, R2, S2, T2, U2, V2, W2, ...) an der Position (x2, y2, z2) aus.
Darüber hinaus wählt die Auswahleinheit 333 in dem Fall von 10 die Merkmalsmengen (11, J1, K1, L1, M1, N1) als Merkmalsmengen aus, die zu den Merkmalsmengen (A3, B3, C3, D3, E3, F3, G3, H3) gruppiert werden sollen, falls sie als innerhalb des vorbestimmten Abstands auf der Basis der relativen Position (RX13, RY13) zwischen den Merkmalsmengen (A3, B3, C3, D3, E3, F3, G3, H3) an der Position (x3, y3, z3) und den Merkmalsmengen (I1, J1, K1, L1, M1, N1), die in der dritten Zeile der Integrationstabelle 332 angegeben sind, existierend betrachtet werden.
Dann, wie in der dritten Zeile der integrierten Merkmalsmenge F31 in 10 dargestellt ist, integriert die Integrationseinheit 334 die innerhalb des vorgegebenen Abstands vorhandenen gruppierten Merkmalsmengen in Bezug auf die Merkmalsmengen (A3, B3, C3, D3, E3, F3, G3, H3) an der Position (x3, y3, z3) auf der Basis des von der Auswahleinheit 333 gelieferten Auswahlergebnisses und gibt die integrierten Merkmalsmengen beispielsweise als Merkmalsmengen (O3, P3, Q3, R3, S3, T3, U3, V3, W3, ...) an der Position (x3, y3, z3) aus.
Außerdem wählt die Auswahleinheit 333 in dem Fall von 10 die Merkmalsmengen (11, J1, K1, L1, M1, N1) als Merkmalsmengen aus, die zu den Merkmalsmengen (A4, B4, C4, D4, E4, F4, G4, H4) gruppiert werden sollen, falls sie als innerhalb des vorbestimmten Abstands auf der Basis der relativen Position (RX14, RY14) zwischen den Merkmalsmengen (A4, B4, C4, D4, E4, F4, G4, H4) an der Position (x4, y4, z4) und den Merkmalsmengen (I1, J1, K1, L1, M1, N1), die in der vierten Zeile der Integrationstabelle 332 angegeben sind, existierend betrachtet werden.
Dann, wie in der vierten Zeile der integrierten Merkmalsmenge F31 in 10 dargestellt ist, integriert die Integrationseinheit 334 die innerhalb des vorgegebenen Abstands vorhandenen gruppierten Merkmalsmengen in Bezug auf die Merkmalsmengen (A4, B4, C4, D4, E4, F4, G4, H4) an der Position (x4, y4, z4) auf der Basis des von der Auswahleinheit 333 gelieferten Auswahlergebnisses und gibt die integrierten Merkmalsmengen beispielsweise als Merkmalsmengen (O4, P4, Q4, R4, S4, T4, U4, V4, W4, ...) an der Position (x4, y4, z4) aus.
Wie oben beschrieben, erzeugt die entsprechende Messinformations-Berechnungseinheit 331 bei der Integration der Merkmalsmengen auf der Basis des Erfassungsergebnisses mit unterschiedlicher Spärlichkeit und Dichte die Integrationstabelle 332 und registriert die Merkmalsmengen einschließlich der relativen Positionsinformationen zwischen der Position der Merkmalsmengen auf der Basis des Dense-Sensing-Ergebnisses und der Merkmalsmengen auf der Basis des Sparse-Sensing-Ergebnisses.
Als Nächstes gruppiert die Auswahleinheit 333 die Merkmalsmengen des Sparse-Sensing-Ergebnisses innerhalb eines vorbestimmten Abstands für jede Merkmalsmenge des Dense-Sensing-Ergebnisses auf der Basis der relativen Positionsinformationen der Integrationstabelle 332.
Dann integriert die Integrationseinheit 334 die gruppierten Merkmalsmengen der Sparse-Sensing-Ergebnisse für jede Merkmalsmenge des Dense-Sensing-Ergebnisses.
Dadurch werden die Merkmalsmengen, die auf der Spärlichkeit und der Dichte basieren, in geeigneter Weise integriert, und die Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis basieren, können erzeugt werden.
Demzufolge werden die Merkmalsmengen, die auf den Erfassungsergebnissen mit unterschiedlicher Spärlichkeit und Dichte basieren, angemessen integriert, und die Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis basieren, werden erzeugt und für die Objekterkennungsverarbeitung, wie z. B. semantische Segmentierung, verwendet, wodurch die Erkennungsgenauigkeit verbessert werden kann.
<Objekterkennungsverarbeitung der ersten Ausführungsform>
Als Nächstes wird die Objekterkennungsverarbeitung durch die Objekterkennungseinheit 181 in 7 gemäß der ersten Ausführungsform unter Bezugnahme auf das Flussdiagramm in 11 beschrieben.
In Schritt S31 erfasst die erste lokale Merkmalsmengen-Berechnungseinheit 321 der lokalen Merkmalsmengen-Berechnungseinheit 301 die Punktwolke (PC), die das Dense-Sensing-Ergebnis ist, das von dem ersten Sensor einschließlich des LiDAR 102a erhalten wird, das von der Datenerfassungseinheit 102 geliefert wird. Zu diesem Zeitpunkt erfasst die erste globale Merkmalsmengen-Berechnungseinheit 363 der globalen Merkmalsmengen-Berechnungseinheit 303 auch die Punktwolke (PC), die das Dense-Sensing-Ergebnis ist, das durch das von der Datenerfassungseinheit 102 gelieferte LiDAR 102a erhalten wurde.
In Schritt S32 erfasst die Merkmalsmengen-Extraktionseinheit 302 das Sparse-Sensing-Ergebnis, das durch den zweiten Sensor einschließlich des Millimeterwellenradars 102b erhalten wurde, das von der Datenerfassungseinheit 102 geliefert wird, extrahiert die Merkmalsmengen und gibt die Merkmalsmengen an die integrierte Merkmalsmengen-Berechnungseinheit 324 aus.
In Schritt S33 berechnet die erste lokale Merkmalsmengen-Berechnungseinheit 321 die ersten Merkmalsmengen, die die Merkmalsmengen in Einheiten der ersten hierarchischen Gruppe aus der Punktwolke (PC) sind, und gibt die ersten Merkmalsmengen an die zweite lokale Merkmalsmengen-Berechnungseinheit 322 und die zweite globale Merkmalsmengen-Berechnungseinheit 362 der globalen Merkmalsmengen-Berechnungseinheit 303 aus.
In Schritt S34 erfasst die zweite lokale Merkmalsmengen-Berechnungseinheit 322 die von der ersten lokalen Merkmalsmengen-Berechnungseinheit 321 gelieferten ersten Merkmalsmengen, berechnet aus den ersten Merkmalsmengen die zweiten Merkmalsmengen, die die Merkmalsmengen in Einheiten der zweiten hierarchischen Gruppe sind, und gibt die zweiten Merkmalsmengen an die dritte lokale Merkmalsmengen-Berechnungseinheit 323 und die erste globale Merkmalsmengen-Berechnungseinheit 363 der globalen Merkmalsmengen-Berechnungseinheit 303 aus.
In Schritt S35 veranlasst die integrierte Merkmalsmengen-Berechnungseinheit 324 die entsprechende Messinformations-Berechnungseinheit 331, die relative Position zwischen den Merkmalsmengen auf der Basis des Sparse-Sensing-Ergebnisses des Millimeterwellenradars 102b als Erfassungsergebnis des zweiten Sensors und der Position der zweiten Merkmalsmengen auf der Basis der Punktwolke (PC), die das Dense-Sensing-Ergebnis des LiDAR 102a als erster Sensor ist, zu berechnen und die Integrationstabelle 332 zu erzeugen.
In Schritt S36 steuert die integrierte Merkmalsmengen-Berechnungseinheit 324 die Auswahleinheit 333, um die Merkmalsmengen auf der Basis des Sparse-Sensing-Ergebnisses, die innerhalb eines vorbestimmten Abstands in Bezug auf die zweiten Merkmalsmengen auf der Basis des Dense-Sensing-Ergebnisses vorhanden sind, auf der Basis der relativen Positionsinformationen der Integrationstabelle 332 zu gruppieren, und veranlasst die Integrationseinheit 334, die Merkmalsmengen als das Auswahlergebnis auszugeben.
In Schritt S37 steuert die integrierte Merkmalsmengen-Berechnungseinheit 324 die Integrationseinheit 334, um die gruppierten Merkmalsmengen basierend auf dem Sparse-Sensing-Ergebnis des zweiten Sensors einschließlich des Millimeterwellenradars 102b für jede zweite Merkmalsmenge basierend auf dem Dense-Sensing-Ergebnis des ersten Sensors einschließlich des LiDAR 102a auf der Basis des Auswahlergebnisses zu integrieren, und gibt die integrierten Merkmalsmengen als die Merkmalsmengen der zweiten hierarchischen Gruppe an die dritte lokale Merkmalsmengen-Berechnungseinheit 323 aus.
In Schritt S38 erfasst die dritte lokale Merkmalsmengen-Berechnungseinheit 323 die zweiten Merkmalsmengen, die durch Integration der zweiten Merkmalsmengen auf der Basis des Dense-Sensing-Ergebnisses des ersten Sensors einschließlich des LiDAR 102a und der Merkmalsmengen auf der Basis des Sparse-Sensing-Ergebnisses des zweiten Sensors einschließlich des Millimeterwellenradars 102b erhalten werden, die von der integrierten Merkmalsmengen-Berechnungseinheit 324 geliefert werden. Dann berechnet die dritte lokale Merkmalsmengen-Berechnungseinheit 323 die dritten Merkmalsmengen, die Merkmalsmengen in Einheiten der dritten hierarchischen Gruppe sind, aus den erfassten zweiten Merkmalsmengen und gibt die dritten Merkmalsmengen an die dritte globale Merkmalsmengen-Berechnungseinheit 361 der globalen Merkmalsmengen-Berechnungseinheit 303 aus.
In Schritt S39 berechnet die dritte globale Merkmalsmengen-Berechnungseinheit 361 der globalen Merkmalsmengen-Berechnungseinheit 303 die globale Merkmalsmenge R in Einheiten der dritten hierarchischen Gruppe auf der Basis der dritten Merkmalsmengen, die von der dritten lokalen Merkmalsmengen-Berechnungseinheit 323 zugeführt werden, erweitert die globale Merkmalsmenge R auf die Merkmalsmenge in Einheiten der zweiten hierarchischen Gruppe gemäß den zweiten Merkmalsmengen, die von der zweiten lokalen Merkmalsmengen-Berechnungseinheit 322 zugeführt werden, und gibt die globale Merkmalsmenge R an die zweite globale Merkmalsmengen-Berechnungseinheit 362 als die globale Merkmalsmenge R in Einheiten der zweiten hierarchischen Gruppe aus.
In Schritt S40 erweitert die zweite globale Merkmalsmengen-Berechnungseinheit 362 der globalen Merkmalsmengen-Berechnungseinheit 303 die von der dritten globalen Merkmalsmengen-Berechnungseinheit 361 gelieferte globale Merkmalsmenge R in Einheiten der zweiten hierarchischen Gruppe entsprechend der von der ersten lokalen Merkmalsmengen-Berechnungseinheit 321 gelieferten ersten Merkmalsmenge auf die Merkmalsmenge in Einheiten der ersten hierarchischen Gruppe und gibt die globale Merkmalsmenge R als globale Merkmalsmenge R in Einheiten der ersten hierarchischen Gruppe an die erste globale Merkmalsmengen-Berechnungseinheit 363 aus.
In Schritt S41 erweitert die erste globale Merkmalsmengen-Berechnungseinheit 363 der globalen Merkmalsmengen-Berechnungseinheit 303 die von der zweiten globalen Merkmalsmengen-Berechnungseinheit 362 gelieferte globale Merkmalsmenge R in Einheiten der ersten hierarchischen Gruppe auf die Merkmalsmenge in Einheiten von Punkten in der Punktwolke (PC) gemäß der Punktwolke (PC) und gibt die globale Merkmalsmenge R als die globale Merkmalsmenge R in Einheiten von Punkten an die Erkennungseinheit 304 aus.
In Schritt S42 führt die Erkennungseinheit 304 die Objekterkennungsverarbeitung, wie z. B. die dreidimensionale semantische Segmentierung, für jeden Punkt in der globalen Merkmalsmenge R in Einheiten von Punkten durch und gibt ein Objekterkennungsergebnis aus.
In Schritt S43 bestimmt die Objekterkennungseinheit 181, ob eine Anweisung zur Beendigung der Verarbeitung gegeben worden ist oder nicht. Wenn die Anweisung zur Beendigung nicht gegeben worden ist, kehrt die Verarbeitung zu Schritt S31 zurück, und die Verarbeitung in Schritt S31 und den nachfolgenden Schritten wird wiederholt.
Durch die obige Verarbeitungsreihe, wie sie in 8 bis 10 beschrieben ist, werden die Merkmalsmengen, die auf Sparse-Sensing-Ergebnissen basieren, die innerhalb eines vorbestimmten Abstands vorhanden sind, mit Bezug auf die Positionen der Merkmalsmengen, die aus dem Dense-Sensing-Ergebnis erhalten wurden, gruppiert, die Merkmalsmengen, die auf den Erfassungsergebnissen mit unterschiedlicher Spärlichkeit und Dichte basieren, werden integriert, und die Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis basieren, werden erzeugt.
Demzufolge wird die Punktwolke (PC) im Hinblick auf die Merkmalsmengen, die auf den Erfassungsergebnissen mit unterschiedlicher Spärlichkeit und Dichte basieren, auf der Basis der Merkmalsmengen wiederhergestellt, die durch Integration der Merkmalsmengen, die auf dem Sparse-Sensing-Ergebnis basieren und eine räumlich hohe Korrelation mit den Merkmalsmengen aufweisen, die auf dem Dense-Sensing-Ergebnis basieren, erhalten werden, und kann für die Objekterkennungsverarbeitung verwendet werden, so dass die Erkennungsgenauigkeit verbessert werden kann.
Beachten Sie, dass das Beispiel, in dem die Erkennungseinheit 304 die Objekterkennung durch dreidimensionale semantische Segmentierung durchführt, beschrieben worden ist, die Objekterkennung aber auch zweidimensional sein kann.
Außerdem ist das Beispiel der Verwendung der Merkmalsmengen auf der Basis der Punktwolke, die das Erfassungsergebnis des LiDAR 102a ist, als Merkmalsmengen auf der Basis des Dense-Sensing-Ergebnisses und der Merkmalsmengen auf der Basis des Erfassungsergebnisses des Millimeterwellenradars 102b als Merkmalsmengen auf der Basis des Sparse-Sensing-Ergebnisses beschrieben worden.
Jedoch können andere Merkmalsmengen, die auf Erfassungsergebnissen mit unterschiedlicher Spärlichkeit und Dichte von Sensoren mit unterschiedlichen Auflösungen beruhen, als Merkmalsmengen unter Bezugnahme auf Merkmalsmengen, die auf dem jeweils dichteren Erfassungsergebnis basieren, integriert werden.
Außerdem ist in der obigen Beschreibung der Fall der Integration der beiden Merkmalsmengen, die eine unterschiedliche Spärlichkeit und Dichte aufweisen, beschrieben worden Aber auch wenn es drei oder mehr Merkmalsmengen gibt, können die Merkmalsmengen durch ein ähnliches Verfahren wie oben beschrieben unter Bezugnahme auf die Merkmalsmengen auf der Basis des dichtesten Erfassungsergebnisses integriert werden.
<Modifikation der ersten Ausführungsform>
In der obigen Beschreibung ist das Beispiel einer angemessenen Integration der Merkmalsmengen mit räumlich unterschiedlicher Spärlichkeit und Dichte durch Integration räumlich hoch korrelierter Merkmalsmengen beschrieben worden. Es können aber nicht nur die in räumlicher Richtung hoch korrelierten Merkmalsmengen, sondern auch zeitlich nahe beieinander liegende, d. h. in zeitlicher Richtung hoch korrelierte Merkmalsmengen, integriert werden.
Das heißt, wie im linken Teil von 12 dargestellt: Man betrachte einen Fall, in dem es einen ersten Sensor gibt, der ein Dense-Sensing-Ergebnis in der Zeitrichtung erfasst, die in der Zeichnung die rechte Richtung ist, und einen zweiten Sensor, der ein Sparse-Sensing-Ergebnis in der Zeitrichtung erfasst, und die Merkmalsmengen werden integriert.
Beachten Sie, dass in 12 das Erfassungsergebnis im ersten Sensor in Einheiten von 1/6 Sekunden und im zweiten Sensor in Einheiten von 1 Sekunde erkannt wird.
In diesem Fall können z. B. in Bezug auf die Merkmalsmengen des ersten Sensors zum Zeitpunkt t, wie durch den Pfeil im rechten Teil von 12 angedeutet, die Merkmalsmengen des zweiten Sensors in einem Bereich von 0,5 Sekunden vor und nach dem Zeitpunkt t, d. h. in einem Bereich vom Zeitpunkt (t - 0,5) bis zum Zeitpunkt (t + 0,5), gruppiert und integriert werden.
Außerdem können die Merkmalsmengen, die auf dem Sparse-Sensing-Ergebnis innerhalb eines vorbestimmten Abstands beruhen, gruppiert und mit den Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis beruhen, integriert werden, und zwar nicht nur in zeitlicher, sondern auch in räumlicher Richtung, zum Beispiel in einer räumlich-zeitlichen Richtung, die durch vierdimensionale Parameter wie (x, y, z, t) festgelegt ist. Beachten Sie, dass in (x, y, z, t) x, y und z Koordinaten in räumlicher Richtung sind und t eine Koordinate in zeitlicher Richtung ist.
Darüber hinaus ist in Bezug auf die integrierte Merkmalsmengen-Berechnungseinheit 324 das Beispiel der Integration der zweiten Merkmalsmengen, die von der zweiten lokalen Merkmalsmengen-Berechnungseinheit 322 auf der Basis des Dense-Sensing-Ergebnisses berechnet wurden, und der Merkmalsmengen auf der Basis des Sparse-Sensing-Ergebnisses beschrieben worden. Die Konfiguration kann jedoch so vorgenommen werden, dass die ersten Merkmalsmengen in der vorhergehenden Stufe mit den auf dem Sparse-Sensing-Ergebnis basierenden Merkmalsmengen integriert werden.
In diesem Fall ist die Dichte der Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis basieren, höher, und der vorgegebene Abstand zu den Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis basieren und mit denen gruppiert werden sollen, ist ebenfalls gering. Daher ist es weniger wahrscheinlich, dass die Merkmalsmengen, die auf dem Sparse-Sensing-Ergebnis basieren, gruppiert und eher ausgedünnt werden. Daher ist die Wahrscheinlichkeit groß, dass die auf dem Dense-Sensing-Ergebnis basierenden Merkmalsmengen dominant integriert werden.
Darüber hinaus kann die integrierte Merkmalsmengen-Berechnungseinheit 324 so ausgebildet sein, dass sie die dritten Merkmalsmengen in der nächstfolgenden Stufe mit den Merkmalsmengen auf der Basis des Sparse-Sensing-Ergebnisses integriert.
In diesem Fall ist die Dichte der Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis basieren, gering, und der vorgegebene Abstand zu den Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis basieren und mit denen gruppiert werden sollen, ist groß. Daher ist es wahrscheinlicher, dass die Merkmalsmengen, die auf dem Sparse-Sensing-Ergebnis basieren, gruppiert werden. Daher ist die Wahrscheinlichkeit groß, dass die auf dem Sparse-Sensing-Ergebnis basierenden Merkmalsmengen dominant integriert werden.
Wie oben beschrieben, kann durch Ändern der Position, an der die integrierte Merkmalsmengen-Berechnungseinheit 324 vorgesehen ist, geändert werden, welche der Merkmalsmengen, die auf dem Dense-Sensing-Ergebnis basieren, und der Merkmalsmengen, die auf dem Sparse-Sensing-Ergebnis basieren, dominant integriert werden soll.
Daher ist zum Beispiel in einem Fall, in dem die Zuverlässigkeit der Merkmalsmengen auf der Basis des Dense-Sensing-Ergebnisses hoch und die Zuverlässigkeit der Merkmalsmengen auf der Basis des Sparse-Sensing-Ergebnisses niedrig ist, die integrierte Merkmalsmengen-Berechnungseinheit 324 so ausgebildet, dass sie die Merkmalsmengen in der vorhergehenden Stufe und die Merkmalsmengen auf der Basis des Sparse-Sensing-Ergebnisses integriert, wodurch eine Abnahme der Zuverlässigkeit der Merkmalsmengen auf der Basis des Sparse-Sensing-Ergebnisses unterdrückt wird.
Umgekehrt ist beispielsweise in einem Fall, in dem die Zuverlässigkeit der auf dem Dense-Sensing-Ergebnis basierenden Merkmalsmengen niedrig und die Zuverlässigkeit der auf dem Sparse-Sensing-Ergebnis basierenden Merkmalsmengen hoch ist, die integrierte Merkmalsmengen-Berechnungseinheit 324 so ausgebildet, dass sie die Merkmalsmengen in der nächstfolgenden Stufe und die auf dem Sparse-Sensing-Ergebnis basierenden Merkmalsmengen integriert, wodurch eine Abnahme der Zuverlässigkeit der auf dem Dense-Sensing-Ergebnis basierenden Merkmalsmengen unterdrückt wird.
<<3. Zweite Ausführungsform>>
Das Beispiel, in dem die integrierte Merkmalsmengen-Berechnungseinheit 324 die zweiten Merkmalsmengen, die auf den von der zweiten lokalen Merkmalsmengen-Berechnungseinheit 322 berechneten Dense-Sensing-Ergebnissen basieren, und die Merkmalsmengen, die auf den Sparse-Sensing-Ergebnissen basieren, integriert, um die neuen zweiten Merkmalsmengen zu bilden, und die neuen zweiten Merkmalsmengen an die dritte lokale Merkmalsmengen-Berechnungseinheit 323 ausgibt, ist beschrieben worden.
Die Integration der Merkmalsmengen, die auf den Dense-Sensing-Ergebnissen basieren, und der Merkmalsmengen, die auf den Sparse-Sensing-Ergebnissen basieren, kann jedoch in mehreren Stufen erfolgen.
13 zeigt ein Konfigurationsbeispiel einer Objekterkennungseinheit 181, in der Merkmalsmengen, die auf einem Dense-Sensing-Ergebnis basieren, und Merkmalsmengen, die auf einem Sparse-Sensing-Ergebnis basieren, in mehreren Stufen integriert werden.
Beachten Sie, dass in der Objekterkennungseinheit 181 in 13 Konfigurationen, die dieselben Funktionen wie die Konfigurationen in der Objekterkennungseinheit 181 in 7 haben, mit denselben Referenznummern bezeichnet sind, weshalb ihre Beschreibung entsprechend weggelassen wird.
Das heißt, die Objekterkennungseinheit 181 in 13 unterscheidet sich von der Objekterkennungseinheit 181 in 7 dadurch, dass eine integrierte Merkmalsmengen-Berechnungseinheit 324 in mehreren Stufen ausgebildet ist und als integrierte Merkmalsmengen-Berechnungseinheiten 324-1 und 324-2 bereitgestellt wird.
Die Funktionen der integrierten Merkmalsmengen-Berechnungseinheiten 324-1 und 324-2 sind grundsätzlich die gleichen wie die der integrierten Merkmalsmengen-Berechnungseinheit 324, unterscheiden sich jedoch in ihren Funktionen aufgrund der mehrstufigen Konfiguration.
Das heißt, die integrierte Merkmalsmengen-Berechnungseinheit 324-1 integriert erste Merkmalsmengen von Dense-Sensing-Ergebnissen, die von einer ersten lokalen Merkmalsmengen-Berechnungseinheit 321 geliefert werden, und Merkmalsmengen, die auf Sparse-Sensing-Ergebnissen basieren, und gibt die integrierten Merkmalsmengen als erste Merkmalsmengen an eine zweite lokale Merkmalsmengen-Berechnungseinheit 322 und die integrierte Merkmalsmengen-Berechnungseinheit 324-2 aus.
Die integrierte Merkmalsmengen-Berechnungseinheit 324-2 integriert zweite Merkmalsmengen von Dense-Sensing-Ergebnissen, die von der zweiten lokalen Merkmalsmengen-Berechnungseinheit 322 geliefert werden, und die ersten Merkmalsmengen, in die die Erfassungsergebnisse mit unterschiedlicher Spärlichkeit und Dichte integriert werden, die von der integrierten Merkmalsmengen-Berechnungseinheit 324-1 geliefert werden, und gibt die integrierten Merkmalsmengen als zweite Merkmalsmengen an eine dritte lokale Merkmalsmengen-Berechnungseinheit 323 aus.
Beachten Sie, dass die integrierten Merkmalsmengen-Berechnungseinheiten 324-1 und 324-2 jeweils entsprechende Messinformations-Berechnungseinheiten 331-1 und 331-2, Integrationstabellen 332-1 und 332-2, Auswahleinheiten 333-1, 333-2 und Integrationseinheiten 334-1 und 334-2 aufweisen, die im Wesentlichen die gleichen Funktionen haben wie die entsprechende Messinformations-Berechnungseinheit 331, die Integrationstabelle 332, die Auswahleinheit 333 und die Integrationseinheit 334, die unter Bezugnahme auf 10 beschrieben sind.
Die ersten, zweiten und dritten Merkmalsmengen werden nach und nach ausgedünnt, aber Merkmalsmengen mit hoher Bedeutung werden als verbleibende Merkmalsmengen belassen.
Durch die Integration der Merkmalsmengen mit unterschiedlicher Spärlichkeit und Dichte in mehreren Stufen werden die Merkmalsmengen mit hoher räumlicher (räumlich-zeitlicher) Korrelation wiederholt in Bezug auf die Merkmalsmengen mit hoher Wichtigkeit integriert, selbst im Fall der Merkmalsmengen, die auf Sparse-Sensing-Ergebnissen, wie z. B. einem Millimeterwellenradar 102b, basieren, und somit ist es möglich, die Genauigkeit einer schließlich zu erhaltenden globalen Merkmalsmenge R zu verbessern.
Demzufolge ist es möglich, eine Objekterkennungsverarbeitung, wie z. B. semantische Segmentierung, unter Verwendung der globalen Merkmalsmenge R mit hoher Genauigkeit (mit einer großen Menge an Informationen) durchzuführen und die Erkennungsgenauigkeit zu verbessern.
<Objekterkennungsverarbeitung der zweiten Ausführungsform>
Als Nächstes wird die Objekterkennungsverarbeitung durch die Objekterkennungseinheit 181 in 13 gemäß der zweiten Ausführungsform unter Bezugnahme auf das Flussdiagramm in 14 beschrieben.
In Schritt S71 erfasst die erste lokale Merkmalsmengen-Berechnungseinheit 321 einer lokalen Merkmalsmengen-Berechnungseinheit 301 die Punktwolke (PC), die das Dense-Sensing-Ergebnis ist, das von dem ersten Sensor einschließlich des LiDAR 102a erhalten wird, das von einer Datenerfassungseinheit 102 geliefert wird. Zu diesem Zeitpunkt erfasst die erste globale Merkmalsmengen-Berechnungseinheit 363 der globalen Merkmalsmengen-Berechnungseinheit 303 auch die Punktwolke (PC), die das Dense-Sensing-Ergebnis ist, das durch das von der Datenerfassungseinheit 102 gelieferte LiDAR 102a erhalten wurde.
In Schritt S72 erfasst eine Merkmalsmengen-Extraktionseinheit 302 das Sparse-Sensing-Ergebnis, das durch einen zweiten Sensor einschließlich des Millimeterwellenradars 102b erhalten wurde, das von der Datenerfassungseinheit 102 geliefert wird, extrahiert die Merkmalsmengen und gibt die Merkmalsmengen an die integrierte Merkmalsmengen-Berechnungseinheit 324-1 aus.
In Schritt S73 berechnet die erste lokale Merkmalsmengen-Berechnungseinheit 321 die ersten Merkmalsmengen, die die Merkmalsmengen in Einheiten einer ersten hierarchischen Gruppe aus der Punktwolke (PC) sind, und gibt die ersten Merkmalsmengen an die zweite lokale Merkmalsmengen-Berechnungseinheit 322, die integrierte Merkmalsmengen-Berechnungseinheit 324-1 und eine zweite globale Merkmalsmengen-Berechnungseinheit 362 der globalen Merkmalsmengen-Berechnungseinheit 303 aus.
In Schritt S74 veranlasst die integrierte Merkmalsmengen-Berechnungseinheit 324-1 die entsprechende Messinformations-Berechnungseinheit 331-1, die relative Position zwischen den Merkmalsmengen auf der Basis des Sparse-Sensing-Ergebnisses des Millimeterwellenradars 102b als Erfassungsergebnis des zweiten Sensors und der Position der ersten Merkmalsmengen auf der Basis der Punktwolke (PC), die das Dense-Sensing-Ergebnis des LiDAR 102a als erster Sensor ist, zu berechnen und die Integrationstabelle 332-1 zu erzeugen.
In Schritt S75 steuert die integrierte Merkmalsmengen-Berechnungseinheit 324-1 die Auswahleinheit 333-1, um die Merkmalsmengen auf der Basis des Sparse-Sensing-Ergebnisses, die innerhalb eines vorbestimmten Abstands in Bezug auf die ersten Merkmalsmengen auf der Basis des Dense-Sensing-Ergebnisses existieren, auf der Basis der relativen Positionsinformationen der Integrationstabelle 332-1 zu gruppieren, und veranlasst die Integrationseinheit 334-1, die Merkmalsmengen als das Auswahlergebnis auszugeben.
In Schritt S76 steuert die integrierte Merkmalsmengen-Berechnungseinheit 324-1 die Integrationseinheit 334-1, um die gruppierten Merkmalsmengen basierend auf dem Sparse-Sensing-Ergebnis des zweiten Sensors, der das Millimeterwellenradar 102b aufweist, für jede erste Merkmalsmenge basierend auf dem Dense-Sensing-Ergebnis des ersten Sensors, der das LiDAR 102a aufweist, auf der Basis des Auswahlergebnisses zu integrieren, und gibt die integrierten Merkmalsmengen als die ersten Merkmalsmengen der ersten hierarchischen Gruppe an die zweite lokale Merkmalsmengen-Berechnungseinheit 322 und die integrierte Merkmalsmengen-Berechnungseinheit 324-1 aus.
In Schritt S77 erfasst die zweite lokale Merkmalsmengen-Berechnungseinheit 322 die von der integrierten Merkmalsmengen-Berechnungseinheit 324-1 gelieferten ersten Merkmalsmengen, berechnet aus den ersten Merkmalsmengen die zweiten Merkmalsmengen, die die Merkmalsmengen in Einheiten einer zweiten hierarchischen Gruppe sind, und gibt die zweiten Merkmalsmengen an die dritte lokale Merkmalsmengen-Berechnungseinheit 323, die integrierte Merkmalsmengen-Berechnungseinheit 324-2 und die erste globale Merkmalsmengen-Berechnungseinheit 363 der globalen Merkmalsmengen-Berechnungseinheit 303 aus.
In Schritt S78 veranlasst die integrierte Merkmalsmengen-Berechnungseinheit 324-2 die entsprechende Messinformations-Berechnungseinheit 331-2, eine relative Position zwischen den von der integrierten Merkmalsmengen-Berechnungseinheit 324-1 gelieferten Merkmalsmengen und der Position der von der zweiten lokalen Merkmalsmengen-Berechnungseinheit 322 gelieferten zweiten Merkmalsmengen zu berechnen und die Integrationstabelle 332-2 zu erzeugen.
In Schritt S79 steuert die integrierte Merkmalsmengen-Berechnungseinheit 324-2 die Auswahleinheit 333-2, um die von der integrierten Merkmalsmengen-Berechnungseinheit 324-1 gelieferten Merkmalsmengen, die innerhalb eines vorbestimmten Abstands unter Bezugnahme auf die zweiten Merkmalsmengen basierend auf dem Ergebnis der dichten Abtastung vorliegen, auf der Basis der relativen Positionsinformationen der Integrationstabelle 332-2 zu gruppieren, und veranlasst die Integrationseinheit 334-2, die Merkmalsmengen als Auswahlergebnis auszugeben.
In Schritt S80 steuert die integrierte Merkmalsmengen-Berechnungseinheit 324-2 die Integrationseinheit 334-2, um die gruppierten Merkmalsmengen, die von der integrierten Merkmalsmengen-Berechnungseinheit 324-1 geliefert werden, für jede zweite Merkmalsmenge, die von der zweiten lokalen Merkmalsmengen-Berechnungseinheit 322 geliefert wird, auf der Basis des Auswahlergebnisses zu integrieren, und gibt die integrierten Merkmalsmengen an die dritte lokale Merkmalsmengen-Berechnungseinheit 323 als die zweiten Merkmalsmengen aus, die die Merkmalsmengen der zweiten hierarchischen Gruppe sind.
In Schritt S81 erfasst die dritte lokale Merkmalsmengen-Berechnungseinheit 323 die von der integrierten Merkmalsmengen-Berechnungseinheit 324-2 gelieferten zweiten Merkmalsmengen. Dann berechnet die dritte lokale Merkmalsmengen-Berechnungseinheit 323 die dritten Merkmalsmengen, die Merkmalsmengen in Einheiten der dritten hierarchischen Gruppe sind, aus den erfassten zweiten Merkmalsmengen und gibt die dritten Merkmalsmengen an die dritte globale Merkmalsmengen-Berechnungseinheit 361 der globalen Merkmalsmengen-Berechnungseinheit 303 aus.
In Schritt S82 berechnet die dritte globale Merkmalsmengen-Berechnungseinheit 361 der globalen Merkmalsmengen-Berechnungseinheit 303 die globale Merkmalsmenge R in Einheiten der dritten hierarchischen Gruppe auf der Basis der dritten Merkmalsmengen, die von der dritten lokalen Merkmalsmengen-Berechnungseinheit 323 zugeführt werden, erweitert die globale Merkmalsmenge R auf die Merkmalsmenge in Einheiten der zweiten hierarchischen Gruppe gemäß den zweiten Merkmalsmengen, die von der zweiten lokalen Merkmalsmengen-Berechnungseinheit 322 zugeführt werden, und gibt die globale Merkmalsmenge R an die zweite globale Merkmalsmengen-Berechnungseinheit 362 als die globale Merkmalsmenge R in Einheiten der zweiten hierarchischen Gruppe aus.
In Schritt S83 erweitert die zweite globale Merkmalsmengen-Berechnungseinheit 362 der globalen Merkmalsmengen-Berechnungseinheit 303 die von der dritten globalen Merkmalsmengen-Berechnungseinheit 361 gelieferte globale Merkmalsmenge R in Einheiten der zweiten hierarchischen Gruppe entsprechend der von der ersten lokalen Merkmalsmengen-Berechnungseinheit 321 gelieferten ersten Merkmalsmenge auf die Merkmalsmenge in Einheiten der ersten hierarchischen Gruppe und gibt die globale Merkmalsmenge R als globale Merkmalsmenge R in Einheiten der ersten hierarchischen Gruppe an die erste globale Merkmalsmengen-Berechnungseinheit 363 aus.
In Schritt S84 erweitert die erste globale Merkmalsmengen-Berechnungseinheit 363 der globalen Merkmalsmengen-Berechnungseinheit 303 die von der zweiten globalen Merkmalsmengen-Berechnungseinheit 362 gelieferte globale Merkmalsmenge R in Einheiten der ersten hierarchischen Gruppe auf die Merkmalsmenge in Einheiten von Punkten in der Punktwolke (PC) gemäß der Punktwolke (PC) und gibt die globale Merkmalsmenge R als die globale Merkmalsmenge R in Einheiten von Punkten an die Erkennungseinheit 304 aus.
In Schritt S85 führt die Erkennungseinheit 304 die Objekterkennungsverarbeitung, wie z. B. semantische Segmentierung, für jeden Punkt in der globalen Merkmalsmenge R in Einheiten von Punkten durch und gibt ein Objekterkennungsergebnis aus.
In Schritt S86 bestimmt die Objekterkennungseinheit 181, ob eine Anweisung zur Beendigung der Verarbeitung gegeben worden ist oder nicht. Wenn die Anweisung zur Beendigung nicht gegeben worden ist, kehrt die Verarbeitung zu Schritt S71 zurück, und die Verarbeitung in Schritt S71 und den nachfolgenden Schritten wird wiederholt.
Durch die obige Verarbeitungsreihe werden durch die Integration der Merkmalsmengen mit unterschiedlicher Spärlichkeit und Dichte in mehreren Stufen die Merkmalsmengen mit hoher räumlicher (räumlich-zeitlicher) Korrelation wiederholt in Bezug auf die Merkmalsmengen mit hoher Wichtigkeit integriert, selbst im Fall der Merkmalsmengen, die auf Sparse-Sensing-Ergebnissen, wie z. B. einem Millimeterwellenradar 102b, basieren, und somit ist es möglich, die Genauigkeit einer schließlich zu erhaltenden globalen Merkmalsmenge R zu verbessern.
Demzufolge werden die Merkmalsmengen, die auf den Erfassungsergebnissen mit unterschiedlicher Spärlichkeit und Dichte basieren, mit den Merkmalsmengen integriert, die auf dem Sparse-Sensing-Ergebnis basieren, das eine hohe räumliche (räumlichzeitliche) Korrelation in Bezug auf die Merkmalsmengen aufweist, die auf dem Dense-Sensing-Ergebnis basieren, und können für die Objekterkennungsverarbeitung verwendet werden. Daher kann die Objekterkennungsgenauigkeit verbessert werden.
Demzufolge ist es möglich, die Objekterkennungsverarbeitung, wie z. B. semantische Segmentierung, unter Verwendung der globalen Merkmalsmenge R mit hoher Genauigkeit durchzuführen und die Erkennungsgenauigkeit zu verbessern.
«4. Beispiel einer Ausführung durch Software»
Übrigens kann die oben beschriebene Verarbeitungsreihe durch Hardware oder Software ausgeführt werden. In einem Fall, in dem die Verarbeitungsreihe durch Software ausgeführt wird, wird ein Programm, das die Software bildet, von einem Aufzeichnungsmedium in einen Computer installiert, der in eine spezielle Hardware eingebaut ist, einen Universalcomputer, der in der Lage ist, verschiedene Funktionen auszuführen, indem er verschiedene Programme installiert, oder dergleichen.
15 stellt ein Konfigurationsbeispiel eines Universalcomputers dar. Der Personal Computer verfügt über eine zentrale Verarbeitungseinheit (CPU) 1001. Eine Ein-/Ausgabeschnittstelle 1005 ist über einen Bus 1004 mit der CPU 1001 verbunden. Ein Nur-Lese-Speicher (ROM) 1002 und ein Direktzugriffsspeicher (RAM) 1003 sind mit dem Bus 1004 verbunden.
An die Ein-/Ausgabeschnittstelle 1005 sind angeschlossen: eine Eingabeeinheit 1006, die eine Eingabevorrichtung, wie z. B. eine Tastatur und eine Maus, für einen Benutzer zur Eingabe von Betriebsbefehlen enthält, eine Ausgabeeinheit 1007, die einen Verarbeitungsbetriebsbildschirm und ein Bild eines Verarbeitungsergebnisses an eine Anzeigevorrichtung ausgibt, eine Speichereinheit 1008, die ein Festplattenlaufwerk zum Speichern von Programmen und verschiedenen Daten enthält, und eine Kommunikationseinheit 1009, die einen LAN-Adapter (Local Area Network) und dergleichen enthält und die Kommunikationsverarbeitung über ein durch das Internet gekennzeichnetes Netzwerk ausführt. Außerdem ist an die Ein-/Ausgabeschnittstelle 1005 ein Laufwerk 1010 angeschlossen, das Daten in Bezug auf einen Wechseldatenträger 1011 wie eine Magnetplatte (einschließlich einer flexiblen Platte), eine optische Platte (einschließlich einer Compact Disc-Read Only Memory (CD-ROM) oder einer Digital Versatile Disc (DVD)), eine magneto-optische Platte (einschließlich einer Mini-Disc (MD)) oder einen Halbleiterspeicher liest und schreibt.
Die CPU 1001 führt verschiedene Arten der Verarbeitungen gemäß einem in dem ROM 1002 gespeicherten Programm aus, oder gemäß einem Programm, das von dem Wechseldatenträger 1011, wie z. B. einer Magnetplatte, einer magneto-optischen Platte, oder einem in der Speichereinheit 1008 installierten Halbleiterspeicher gelesen und von der Speichereinheit 1008 in das RAM 1003 geladen wird. Außerdem speichert das RAM 1003 in geeigneter Weise Daten und dergleichen, die die CPU 1001 für die Ausführung der verschiedenen Verarbeitungsarten benötigt.
In dem Computer, der wie oben beschrieben konfiguriert ist, lädt die CPU 1001 beispielsweise das in der Speichereinheit 1008 gespeicherte Programm in das RAM 1003 und führt das Programm über die Ein-/Ausgabeschnittstelle 1005 und den Bus 1004 aus, wodurch die oben beschriebene Verarbeitungsreihe durchgeführt wird.
Das vom Computer (CPU 1001) auszuführende Programm kann z. B. auf dem Wechseldatenträger 1011 als Paketmedium oder dergleichen aufgezeichnet und bereitgestellt werden. Außerdem kann das Programm über ein verdrahtetes oder drahtloses Übertragungsmedium, wie z. B. ein LAN, das Internet, oder digitalen Satellitenrundfunk, bereitgestellt werden.
In dem Computer kann das Programm über die Ein-/Ausgabeschnittstelle 1005 in der Speichereinheit 1008 installiert werden, indem der Wechseldatenträger 1011 in das Laufwerk 1010 eingelegt wird. Darüber hinaus kann das Programm durch die Kommunikationseinheit 1009 über ein verdrahtetes oder drahtloses Übertragungsmedium empfangen und in der Speichereinheit 1008 installiert werden. Anders als bei der obigen Methode kann das Programm im ROM 1002 oder in der Speichereinheit 1008 im Voraus installiert werden.
Beachten Sie, dass es sich bei dem vom Computer ausgeführten Programm um ein Programm handeln kann, das in chronologischer Reihenfolge entsprechend der in der vorliegenden Patentschrift beschriebenen Reihenfolge abgearbeitet wird, oder um ein Programm, das parallel oder zu einem bestimmten Zeitpunkt ausgeführt wird, z. B. wenn ein Anruf getätigt wird.
Beachten Sie, dass die CPU 1001 in 15 die Funktion der Objekterkennungseinheit 181 in 7 und 13 implementiert.
Darüber hinaus bedeutet der Begriff „System“ in der vorliegenden Patentschrift eine Gruppe von mehreren Konfigurationselementen (Geräte, Module (Teile) und dergleichen), und es ist unerheblich, ob sich alle Konfigurationselemente in demselben Gehäuse befinden oder nicht. Daher sind sowohl eine Vielzahl von Geräten, die in separaten Gehäusen untergebracht und über ein Netzwerk verbunden sind, als auch ein Gerät, das eine Vielzahl von Modulen in einem Gehäuse unterbringt, Systeme.
Beachten Sie, dass die Ausführungsformen der vorliegenden Offenbarung nicht auf die oben beschriebenen Ausführungsformen beschränkt sind, und dass verschiedene Modifikationen vorgenommen werden können, ohne vom Kern der vorliegenden Offenbarung abzuweichen.
Beispielsweise kann die vorliegende Offenlegung eine Konfiguration des Cloud Computing annehmen, bei der eine Funktion gemeinsam genutzt und in Zusammenarbeit von einer Vielzahl von Geräten über ein Netzwerk verarbeitet wird.
Außerdem können die in den oben beschriebenen Flussdiagrammen beschriebenen Schritte durch eine einzelne Vorrichtung ausgeführt oder durch eine Vielzahl von Vorrichtungen gemeinsam genutzt und ausgeführt werden.
Darüber hinaus kann in einem Fall, in dem eine Vielzahl von Prozessen in einem Schritt enthalten ist, die Vielzahl von Prozessen, die in dem einen Schritt enthalten sind, von einer Vorrichtung ausgeführt werden oder von einer Vielzahl von Vorrichtungen gemeinsam genutzt und ausgeführt werden.
Beachten Sie, dass die vorliegende Offenbarung die folgenden Konfigurationen haben kann.

<1> Informationsverarbeitungsvorrichtung, die Folgendes aufweist:
- eine erste Erfassungseinheit, die so ausgebildet ist, dass sie eine erste Merkmalsmenge erfasst, die eine Merkmalsmenge eines von einem ersten Sensor erkannten Erfassungspunktes ist;
- eine zweite Erfassungseinheit, die so ausgebildet ist, dass sie eine zweite Merkmalsmenge erfasst, die eine Merkmalsmenge eines von einem zweiten Sensor erkannten Erfassungspunktes ist; und
- eine integrierte Merkmalsmengen-Berechnungseinheit, die so ausgebildet ist, dass sie eine integrierte Merkmalsmenge berechnet, die durch Integrieren der ersten Merkmalsmenge und der zweiten Merkmalsmenge auf der Basis eines relativen Abstands zwischen den jeweiligen Erfassungspunkten der ersten Merkmalsmenge und der zweiten Merkmalsmenge erhalten wird.
<2> Informationsverarbeitungsvorrichtung gemäß <1>, wobei
- die integrierte Merkmalsmengen-Berechnungseinheit
- ferner eine Berechnungseinheit für entsprechende Messinformationen enthält, die so ausgebildet ist, dass sie eine relative Position zwischen dem Erfassungspunkt der ersten Merkmalsmenge und dem Erfassungspunkt der zweiten Merkmalsmenge als entsprechende Messinformationen berechnet, und
- den relativen Abstand zwischen den jeweiligen Erfassungspunkten der ersten Merkmalsmenge und der zweiten Merkmalsmenge auf der Basis von Informationen über die relative Position berechnet, und die integrierte Merkmalsmenge berechnet, die durch Integrieren der ersten Merkmalsmenge und der zweiten Merkmalsmenge auf der Basis des berechneten Abstands erhalten wird.
<3> Informationsverarbeitungsvorrichtung gemäß <2>, wobei
- die Berechnungseinheit für entsprechende Messinformationen die relative Position zwischen dem Erfassungspunkt der ersten Merkmalsmenge und dem Erfassungspunkt der zweiten Merkmalsmenge als die entsprechenden Messinformationen berechnet und eine Integrationstabelle erzeugt, in der die erste Merkmalsmenge und die zweite Merkmalsmenge miteinander verbunden sind, und
- die integrierte Merkmalsmengen-Berechnungseinheit den relativen Abstand zwischen den jeweiligen Erfassungspunkten der ersten Merkmalsmenge und der zweiten Merkmalsmenge auf der Basis der Integrationstabelle berechnet und die integrierte Merkmalsmenge, die durch Integrieren der ersten Merkmalsmenge und der zweiten Merkmalsmenge erhalten wird, auf der Basis des berechneten Abstands berechnet.
- <4> Informationsverarbeitungsvorrichtung gemäß <3>, wobei
  - die integrierte Merkmalsmengen-Berechnungseinheit
  - ferner eine Auswahleinheit enthält, die ausgebildet ist, um den relativen Abstand zwischen den jeweiligen Erfassungspunkten der ersten Merkmalsmenge und der zweiten Merkmalsmenge auf der Basis der Integrationstabelle zu berechnen und die zweite Merkmalsmenge innerhalb eines vorbestimmten Abstands als eine zu gruppierende Merkmalsmenge für jede der ersten Merkmalsmengen aus den zweiten Merkmalsmengen auszuwählen, und
  - die integrierte Merkmalsmenge berechnet, die durch Integration der zweiten Merkmalsmenge, die als die Merkmalsmenge ausgewählt wurde, die als zweite Merkmalsmenge innerhalb des vorbestimmten Abstands für jede der ersten Merkmalsmengen durch die Auswahleinheit gruppiert werden soll, und der ersten Merkmalsmenge erhalten wird.
- <5> Informationsverarbeitungsvorrichtung gemäß <4>, wobei
  - die integrierte Merkmalsmengen-Berechnungseinheit
  - ferner eine Integrationseinheit enthält, die so ausgebildet ist, dass sie die integrierte Merkmalsmenge berechnet, die durch Integrieren der zweiten Merkmalsmenge, die als die als zweite Merkmalsmenge zu gruppierende Merkmalsmenge ausgewählt wurde, innerhalb des vorbestimmten Abstands für jede der ersten Merkmalsmengen durch die Auswahleinheit und die erste Merkmalsmenge erhalten wird, und
  - die integrierte Merkmalsmenge ausgibt, die von der Integrationseinheit berechnet wurde.
- <6> Informationsverarbeitungsvorrichtung gemäß einem der Punkte <1> bis <5>, die Folgendes aufweist:
  - eine Vielzahl von integrierten Merkmalsmengen-Berechnungseinheiten.
- <7> Informationsverarbeitungsvorrichtung gemäß einem der Punkte <1> bis <5>, wobei
  - der erste Sensor und der zweite Sensor unterschiedliche Auflösungen haben.
- <8> Informationsverarbeitungsvorrichtung gemäß <7>, wobei
  - die erste Merkmalsmenge und die zweite Merkmalsmenge eine unterschiedliche Spärlichkeit und Dichte haben.
- <9> Informationsverarbeitungsvorrichtung gemäß <7>, wobei
  - die Auflösung des ersten Sensors höher als die Auflösung des zweiten Sensors ist.
- <10> Informationsverarbeitungsvorrichtung gemäß <9>, wobei die erste Merkmalsmenge dichter als die zweite Merkmalsmenge ist.
- <11> Informationsverarbeitungsvorrichtung gemäß <7>, wobei
  - der erste Sensor ein LiDAR und der zweite Sensor ein Millimeterwellenradar ist.
- <12> Informationsverarbeitungsvorrichtung gemäß einem der Punkte <1> bis <11>, wobei
  - der Abstand ein räumlicher Abstand ist.
- <13> Informationsverarbeitungsvorrichtung gemäß einem der Punkte <1> bis <11>, wobei
  - der Abstand ein zeitlicher Abstand ist.
- <14> Informationsverarbeitungsvorrichtung gemäß einem der Punkte <1> bis <11>, wobei
  - der Abstand ein Abstand ist, der sich aus der Kombination eines räumlichen und eines zeitlichen Abstands ergibt.
- <15> Informationsverarbeitungsvorrichtung gemäß einem der Punkte <1> bis <14>, die ferner Folgendes aufweist:
  - eine lokale Merkmalsmengen-Berechnungseinheit, die so ausgebildet ist, dass sie die integrierte Merkmalsmenge so abtastet, dass jeder räumliche Abstand länger wird, die abgetastete integrierte Merkmalsmenge und eine andere integrierte Merkmalsmenge innerhalb eines räumlich vorgegebenen Abstands gruppiert, die abgetastete integrierte Merkmalsmenge und die gruppierte integrierte Merkmalsmenge integriert und eine lokale Merkmalsmenge berechnet.
- <16> Informationsverarbeitungsvorrichtung gemäß <15>, die ferner Folgendes aufweist:
  - eine globale Merkmalsmengen-Berechnungseinheit, die so ausgebildet ist, dass sie eine Merkmalsmenge, die der integrierten Merkmalsmenge entspricht, die aufgrund der Integration der abgetasteten integrierten Merkmalsmenge und der gruppierten integrierten Merkmalsmenge durch die lokale Merkmalsmengen-Berechnungseinheit verloren gegangen ist, auf der Basis der lokalen Merkmalsmenge wiederherstellt und die wiederhergestellte Merkmalsmenge als globale Merkmalsmenge berechnet.
<17> Informationsverarbeitungsvorrichtung gemäß <16>, bei der die lokale Merkmalsmengen-Berechnungseinheit und die globale Merkmalsmengen-Berechnungseinheit eine PointNet++-Struktur bilden.
<18> Informationsverarbeitungsverfahren einer Informationsverarbeitungsvorrichtung, die Folgendes aufweist:
- eine erste Erfassungseinheit,
- eine zweite Erfassungseinheit, und
- eine integrierte Merkmalsmengen-Berechnungseinheit, wobei das Informationsverarbeitungsverfahren die folgenden Schritte beinhaltet:
  - durch eine erste Erfassungseinheit, Erfassen einer ersten Merkmalsmenge, die eine Merkmalsmenge eines von einem ersten Sensor erkannten Erfassungspunktes ist;
  - durch die zweite Erfassungseinheit, Erfassen einer zweiten Merkmalsmenge, die eine Merkmalsmenge eines von einem zweiten Sensor erkannten Erfassungspunktes ist; und
  - durch die integrierte Merkmalsmengen-Berechnungseinheit, Berechnen einer integrierten Merkmalsmenge, die durch Integrieren der ersten Merkmalsmenge und der zweiten Merkmalsmenge auf der Basis eines relativen Abstands zwischen den jeweiligen Erfassungspunkten der ersten Merkmalsmenge und der zweiten Merkmalsmenge erhalten wird.
<19> Programm, das einen Computer veranlasst, als Folgendes zu funktionieren:
- eine erste Erfassungseinheit, die so ausgebildet ist, dass sie eine erste Merkmalsmenge erfasst, die eine Merkmalsmenge eines von einem ersten Sensor erkannten Erfassungspunktes ist;
- eine zweite Erfassungseinheit, die so ausgebildet ist, dass sie eine zweite Merkmalsmenge erfasst, die eine Merkmalsmenge eines von einem zweiten Sensor erkannten Erfassungspunktes ist; und
- eine integrierte Merkmalsmengen-Berechnungseinheit, die so ausgebildet ist, dass sie eine integrierte Merkmalsmenge berechnet, die durch Integrieren der ersten Merkmalsmenge und der zweiten Merkmalsmenge auf der Basis eines relativen Abstands zwischen den jeweiligen Erfassungspunkten der ersten Merkmalsmenge und der zweiten Merkmalsmenge erhalten wird.

Bezugszeichenliste

11: Objekterkennungseinheit
12-1, 12-2: Sensor
21: Integrationsverarbeitungseinheit
22: Wiederherstellungseinheit
23: Semantische Segmentierungseinheit
51: Fahrzeug
141: Fahrzeugaußenseiten-Informationserfassungseinheit
181: Objekterkennungseinheit
182: Fahrzeugerkennungseinheit
301: Lokale Merkmalsmengen-Berechnungseinheit
302: Merkmalsmengen-Extraktionseinheit
303: Globale Merkmalsmengen-Berechnungseinheit
304: Erkennungseinheit
321: Erste lokale Merkmalsmengen-Berechnungseinheit
322: Zweite lokale Merkmalsmengen-Berechnungseinheit
323: Dritte lokale Merkmalsmengen-Berechnungseinheit
324, 324-1, 324-2: Integrierte Merkmalsmengen-Berechnungseinheit
331, 331-1, 331-2: Berechnungseinheit für entsprechende Messinformationen
332, 332-1, 332-2: Integrationstabelle
333, 333-1, 333-2: Auswahleinheit
334, 334-1, 334-2: Integrationseinheit
361: Dritte globale Merkmalsmengen-Berechnungseinheit
362: Zweite globale Merkmalsmengen-Berechnungseinheit
363: Erste globale Merkmalsmengen-Berechnungseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2019016161 [0006]

Claims

Informationsverarbeitungsvorrichtung, die Folgendes aufweist: eine erste Erfassungseinheit, die so ausgebildet ist, dass sie eine erste Merkmalsmenge erfasst, die eine Merkmalsmenge eines von einem ersten Sensor erkannten Erfassungspunktes ist; eine zweite Erfassungseinheit, die so ausgebildet ist, dass sie eine zweite Merkmalsmenge erfasst, die eine Merkmalsmenge eines von einem zweiten Sensor erkannten Erfassungspunktes ist; und eine integrierte Merkmalsmengen-Berechnungseinheit, die so ausgebildet ist, dass sie eine integrierte Merkmalsmenge berechnet, die durch Integrieren der ersten Merkmalsmenge und der zweiten Merkmalsmenge auf der Basis eines relativen Abstands zwischen den jeweiligen Erfassungspunkten der ersten Merkmalsmenge und der zweiten Merkmalsmenge erhalten wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die integrierte Merkmalsmengen-Berechnungseinheit ferner eine Berechnungseinheit für entsprechende Messinformationen enthält, die so ausgebildet ist, dass sie eine relative Position zwischen dem Erfassungspunkt der ersten Merkmalsmenge und dem Erfassungspunkt der zweiten Merkmalsmenge als entsprechende Messinformationen berechnet, und den relativen Abstand zwischen den jeweiligen Erfassungspunkten der ersten Merkmalsmenge und der zweiten Merkmalsmenge auf der Basis von Informationen über die relative Position berechnet, und die integrierte Merkmalsmenge, die durch Integrieren der ersten Merkmalsmenge und der zweiten Merkmalsmenge erhalten wird, auf der Basis des berechneten Abstands berechnet.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Berechnungseinheit für entsprechende Messinformationen die relative Position zwischen dem Erfassungspunkt der ersten Merkmalsmenge und dem Erfassungspunkt der zweiten Merkmalsmenge als die entsprechenden Messinformationen berechnet und eine Integrationstabelle erzeugt, in der die erste Merkmalsmenge und die zweite Merkmalsmenge miteinander verbunden sind, und die integrierte Merkmalsmengen-Berechnungseinheit den relativen Abstand zwischen den jeweiligen Erfassungspunkten der ersten Merkmalsmenge und der zweiten Merkmalsmenge auf der Basis der Integrationstabelle berechnet und die integrierte Merkmalsmenge, die durch Integrieren der ersten Merkmalsmenge und der zweiten Merkmalsmenge erhalten wird, auf der Basis des berechneten Abstands berechnet.
Informationsverarbeitungsvorrichtung gemäß Anspruch 3, wobei die integrierte Merkmalsmengen-Berechnungseinheit ferner eine Auswahleinheit enthält, die ausgebildet ist, um den relativen Abstand zwischen den jeweiligen Erfassungspunkten der ersten Merkmalsmenge und der zweiten Merkmalsmenge auf der Basis der Integrationstabelle zu berechnen und die zweite Merkmalsmenge innerhalb eines vorbestimmten Abstands als eine zu gruppierende Merkmalsmenge für jede der ersten Merkmalsmengen aus den zweiten Merkmalsmengen auszuwählen, und die integrierte Merkmalsmenge berechnet, die durch Integration der zweiten Merkmalsmenge, die als die Merkmalsmenge ausgewählt wurde, die als zweite Merkmalsmenge innerhalb des vorbestimmten Abstands für jede der ersten Merkmalsmengen durch die Auswahleinheit gruppiert werden soll, und der ersten Merkmalsmenge erhalten wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 4, wobei die integrierte Merkmalsmengen-Berechnungseinheit ferner eine Integrationseinheit enthält, die so ausgebildet ist, dass sie die integrierte Merkmalsmenge berechnet, die durch Integrieren der zweiten Merkmalsmenge, die als die als zweite Merkmalsmenge zu gruppierende Merkmalsmenge ausgewählt wurde, innerhalb des vorbestimmten Abstands für jede der ersten Merkmalsmengen durch die Auswahleinheit und die erste Merkmalsmenge erhalten wird, und die integrierte Merkmalsmenge ausgibt, die von der Integrationseinheit berechnet wurde.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, die Folgendes aufweist: eine Vielzahl von integrierten Merkmalsmengen-Berechnungseinheiten.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei der erste Sensor und der zweite Sensor unterschiedliche Auflösungen haben.
Informationsverarbeitungsvorrichtung gemäß Anspruch 7, wobei die erste Merkmalsmenge und die zweite Merkmalsmenge eine unterschiedliche Spärlichkeit und Dichte haben.
Informationsverarbeitungsvorrichtung gemäß Anspruch 7, wobei die Auflösung des ersten Sensors höher als die Auflösung des zweiten Sensors ist.
Informationsverarbeitungsvorrichtung gemäß Anspruch 9, wobei die erste Merkmalsmenge dichter als die zweite Merkmalsmenge ist.
Informationsverarbeitungsvorrichtung gemäß Anspruch 7, wobei der erste Sensor ein LiDAR und der zweite Sensor ein Millimeterwellenradar ist.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei der Abstand ein räumlicher Abstand ist.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei der Abstand ein zeitlicher Abstand ist.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei der Abstand ein Abstand ist, der sich aus der Kombination eines räumlichen und eines zeitlichen Abstands ergibt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, die ferner Folgendes aufweist: eine lokale Merkmalsmengen-Berechnungseinheit, die so ausgebildet ist, dass sie die integrierte Merkmalsmenge so abtastet, dass jeder räumliche Abstand länger wird, die abgetastete integrierte Merkmalsmenge und eine andere integrierte Merkmalsmenge innerhalb eines räumlich vorgegebenen Abstands gruppiert, die abgetastete integrierte Merkmalsmenge und die gruppierte integrierte Merkmalsmenge integriert und eine lokale Merkmalsmenge berechnet.
Informationsverarbeitungsvorrichtung gemäß Anspruch 15, die ferner Folgendes aufweist: eine globale Merkmalsmengen-Berechnungseinheit, die so ausgebildet ist, dass sie eine Merkmalsmenge, die der integrierten Merkmalsmenge entspricht, die aufgrund der Integration der abgetasteten integrierten Merkmalsmenge und der gruppierten integrierten Merkmalsmenge durch die lokale Merkmalsmengen-Berechnungseinheit verloren gegangen ist, auf der Basis der lokalen Merkmalsmenge wiederherstellt und die wiederhergestellte Merkmalsmenge als eine globale Merkmalsmenge berechnet.
Informationsverarbeitungsvorrichtung gemäß Anspruch 16, wobei die lokale Merkmalsmengen-Berechnungseinheit und die globale Merkmalsmengen-Berechnungseinheit eine PointNet++-Struktur bilden.
Informationsverarbeitungsverfahren einer Informationsverarbeitungsvorrichtung, die Folgendes aufweist: eine erste Erfassungseinheit, eine zweite Erfassungseinheit, und eine integrierte Merkmalsmengen-Berechnungseinheit, wobei das Informationsverarbeitungsverfahren die folgenden Schritte beinhaltet: durch eine erste Erfassungseinheit, Erfassen einer ersten Merkmalsmenge, die eine Merkmalsmenge eines von einem ersten Sensor erkannten Erfassungspunktes ist; durch die zweite Erfassungseinheit, Erfassen einer zweiten Merkmalsmenge, die eine Merkmalsmenge eines von einem zweiten Sensor erkannten Erfassungspunktes ist; und durch die integrierte Merkmalsmengen-Berechnungseinheit, Berechnen einer integrierten Merkmalsmenge, die durch Integrieren der ersten Merkmalsmenge und der zweiten Merkmalsmenge auf der Basis eines relativen Abstands zwischen den jeweiligen Erfassungspunkten der ersten Merkmalsmenge und der zweiten Merkmalsmenge erhalten wird.
Programm, das einen Computer veranlasst, als Folgendes zu funktionieren: eine erste Erfassungseinheit, die so ausgebildet ist, dass sie eine erste Merkmalsmenge erfasst, die eine Merkmalsmenge eines von einem ersten Sensor erkannten Erfassungspunktes ist; eine zweite Erfassungseinheit, die so ausgebildet ist, dass sie eine zweite Merkmalsmenge erfasst, die eine Merkmalsmenge eines von einem zweiten Sensor erkannten Erfassungspunktes ist; und eine integrierte Merkmalsmengen-Berechnungseinheit, die so ausgebildet ist, dass sie eine integrierte Merkmalsmenge berechnet, die durch Integrieren der ersten Merkmalsmenge und der zweiten Merkmalsmenge auf der Basis eines relativen Abstands zwischen den jeweiligen Erfassungspunkten der ersten Merkmalsmenge und der zweiten Merkmalsmenge erhalten wird.