DE112020003708T5

DE112020003708T5 - Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm

Info

Publication number: DE112020003708T5
Application number: DE112020003708.8T
Authority: DE
Inventors: Yuki Yamamoto; Yusuke HIEIDA; Suguru Aoki
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2019-08-06
Filing date: 2020-07-22
Publication date: 2022-06-09
Also published as: JPWO2021024805A1; US20240257508A1; US20220277556A1; US12067761B2; WO2021024805A1

Abstract

Die vorliegende Offenbarung bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm, die es ermöglichen, die Objekterkennungsgenauigkeit zu verbessern.Eine Merkmalsmengen-Berechnungseinheit eines eigenen Fahrzeugs berechnet stufenweise eine Merkmalsmenge in Bezug auf ein Objekterkennungsergebnis in jeder von mehreren Schichten, eine Erfassungseinheit erfasst eine Merkmalsmenge in Bezug auf ein Objekterkennungsergebnis, das von einer Merkmalsmengen-Berechnungseinheit eines anderen Fahrzeugs berechnet wurde, und eine Erkennungseinheit führt eine Objekterkennung auf der Grundlage der von dem eigenen Fahrzeug berechneten Merkmalsmenge und der von dem anderen Fahrzeug berechneten erfassten Merkmalsmenge durch. Die vorliegende Offenbarung ist auf bewegliche Körper anwendbar.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm, und insbesondere auf eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm zur Verbesserung der Objekterkennungsgenauigkeit.
STAND DER TECHNIK
Es wurde eine Technik vorgeschlagen, bei der die Umgebung eines Fahrzeugs mit Hilfe von Kameras und verschiedenen Sensoren, wie z. B. Light Detection and Ranging oder Laser Imaging Detection and Ranging (LiDAR), die am Fahrzeug angebracht sind, erfasst wird und ein Objekt in der Umgebung des Fahrzeugs auf der Grundlage der Erfassungsergebnisse erkannt wird.
Wenn jedoch nur die Erkennungsergebnisse der Sensoren verwendet werden, die an dem Fahrzeug, in dem sich ein Benutzer befindet, montiert sind, wird nur das Erkennungsergebnis eines verborgenen Objekts und das Erkennungsergebnis aus einer Richtung, in der das Objekt schwer zu erkennen ist, in Abhängigkeit von der Positionsbeziehung zu anderen Fahrzeugen ermittelt, was zu einer Verschlechterung der Objekterkennungsgenauigkeit führt.
Daher ist es denkbar, eine Technik zur Verbesserung der Verarbeitungsgenauigkeit für ein bestimmtes Objekt anzuwenden, indem ein Bild verarbeitet wird, das zur Verwendung bei der Verarbeitung für ein anderes Objekt aufgenommen wurde (siehe Patentschrift 1).
LISTE DER ANFÜHRUNGEN
PATENTSCHRIFT
Patentschrift 1: Japanische Patentanmeldungs-Offenlegungsnummer 2019- 016161
KURZDARSTELLUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
Aber auch bei Anwendung der Technik nach Patentschrift 1 und der Verwendung von Erfassungsergebnissen, die durch die Erfassung anderer Fahrzeuge gewonnen wurden, besteht die Möglichkeit, dass sich die Erkennungsergebnisse aufgrund unterschiedlicher Sensoren widersprechen.
Außerdem kann selbst bei der Verwendung von Erfassungsergebnissen, die durch die Erfassung anderer Fahrzeuge gewonnen wurden, nur die Erkennungsgenauigkeit in einem gemeinsamen Beobachtungsgebiet verbessert werden, und es besteht die Möglichkeit, dass die Erkennungsgenauigkeit nicht insgesamt verbessert werden kann.
Die vorliegende Offenbarung wurde im Hinblick auf eine solche Situation gemacht und verbessert insbesondere die Objekterkennungsgenauigkeit durch die Erfassung von Merkmalsmengen, die aus Erfassungsergebnissen anderer Fahrzeuge gewonnen werden, die Auswahl und Kombination der Merkmalsmengen und die gemeinsame Verwendung der Merkmalsmengen zur Objekterkennung.
LÖSUNGEN DER PROBLEME
Eine Informationsverarbeitungsvorrichtung und ein Programm gemäß einem Aspekt der vorliegenden Offenbarung sind eine Informationsverarbeitungsvorrichtung und ein Programm, die Folgendes umfassen: eine Merkmalsmengen-Berechnungseinheit, die dazu ausgebildet ist, eine Merkmalsmenge zu berechnen, die für die Objekterkennung in Stufen in jeder einer Vielzahl von Hierarchien zu verwenden ist; eine Erfassungseinheit, die dazu ausgebildet ist, eine Merkmalsmenge zu erfassen, die für die Objekterkennung zu verwenden ist, die von einer anderen Merkmalsmengen-Berechnungseinheit berechnet wurde, die sich von der Merkmalsmengen-Berechnungseinheit unterscheidet; und eine Erkennungseinheit, die dazu ausgebildet ist, die Objekterkennung auf der Grundlage der berechneten Merkmalsmenge und der erfassten Merkmalsmenge durchzuführen.
Ein Informationsverarbeitungsverfahren gemäß einem Aspekt der vorliegenden Offenbarung entspricht der Informationsverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung.
In einem Aspekt der vorliegenden Offenbarung wird durch eine Merkmalsmengen-Berechnungseinheit eine für die Objekterkennung zu verwendende Merkmalsmenge stufenweise in jeder einer Vielzahl von Hierarchien berechnet; eine für die Objekterkennung zu verwendende Merkmalsmenge, die durch eine andere Merkmalsmengen-Berechnungseinheit, die sich von der Merkmalsmengen-Berechnungseinheit unterscheidet, berechnet wurde, wird erfasst; und die Objekterkennung wird auf der Grundlage der berechneten Merkmalsmenge und der erfassten Merkmalsmenge durchgeführt.
Figurenliste

1 ist ein Diagramm zur Beschreibung der Grundzüge eines Objekterkennungssystems im Sinne der vorliegenden Offenbarung.
2 ist ein Diagramm zur Beschreibung eines Konfigurationsbeispiels eines Fahrzeugsteuersystems im Sinne der vorliegenden Offenbarung.
3 ist ein Blockdiagramm zur Beschreibung eines Konfigurationsbeispiels einer ersten Ausführungsform einer Objekterkennungseinheit im Sinne der vorliegenden Offenbarung.
4 ist ein Flussdiagramm zur Beschreibung der Objekterkennungsverarbeitung der ersten Ausführungsform.
5 ist ein Flussdiagramm zur Beschreibung der Objekterkennungsverarbeitung der ersten Ausführungsform.
6 ist ein Flussdiagramm zur Beschreibung der Objekterkennungsverarbeitung gemäß einer Modifikation der ersten Ausführungsform.
7 ist ein Flussdiagramm zur Beschreibung der Objekterkennungsverarbeitung gemäß der Modifikation der ersten Ausführungsform.
8 ist ein Blockdiagramm zur Beschreibung eines Konfigurationsbeispiels einer zweiten Ausführungsform einer Objekterkennungseinheit im Sinne der vorliegenden Offenbarung.
9 ist ein Flussdiagramm zur Beschreibung der Objekterkennungsverarbeitung der zweiten Ausführungsform.
10 ist ein Flussdiagramm zur Beschreibung der Objekterkennungsverarbeitung der zweiten Ausführungsform.
11 ist ein Diagramm, das ein Konfigurationsbeispiel eines Universalcomputers darstellt.

MODUS ZUM AUSFÜHREN DER ERFINDUNG
Eine vorteilhafte Ausführungsform der vorliegenden Offenbarung wird unter Bezugnahme auf die beigefügten Zeichnungen im Detail beschrieben. Es ist zu beachten, dass in der vorliegenden Beschreibung und den Zeichnungen redundante Beschreibungen von Konfigurationselementen, die im Wesentlichen die gleiche funktionale Konfiguration aufweisen, durch die Angabe desselben Zeichens entfallen.
Im Folgenden werden Modi zum Ausführen der vorliegenden Technologie beschrieben. Die Beschreibung wird in der folgenden Reihenfolge präsentiert.

1. Umriss der vorliegenden Offenbarung
2. Erste Ausführungsform
3. Modifikation der ersten Ausführungsform
4. Zweite Ausführungsform
5. Beispiel einer Ausführung durch Software

«1. Umriss der vorliegenden Offenbarung»
Die vorliegende Offenlegung verbessert die Genauigkeit der Objekterkennung, indem für jedes Fahrzeug eine Umgebung um das Benutzerauto erfasst wird, eine Merkmalsmenge aus einem Erfassungsergebnis extrahiert wird, eine von einem anderen Auto extrahierte Merkmalsmenge mit der im Benutzerauto extrahierten Merkmalsmenge kombiniert wird und ein Objekt auf der Grundlage einer kombinierten Merkmalsmenge erkannt wird.
Zunächst wird ein Überblick über ein Objekterkennungssystem der vorliegenden Offenbarung unter Bezugnahme auf 1 beschrieben.
Ein Objekterkennungssystem 11 in 1 umfasst eine Vielzahl von Fahrzeugen 31-1 bis 31-5. Man beachte, dass im Objekterkennungssystem 11 in 1 die Fahrzeuge 31-1 bis 31-5 einfach als Fahrzeug(e) 31 bezeichnet werden, wenn es nicht besonders notwendig ist, die Fahrzeuge 31-1 bis 31-5 zu unterscheiden. Außerdem wird im Objekterkennungssystem 11 von 1 die Anzahl der Fahrzeuge 31 mit fünf angenommen, aber die Anzahl der Fahrzeuge kann beliebig sein, solange es mindestens ein anderes als das Benutzerauto gibt.
Außerdem wird das Fahrzeug 31, in das ein Benutzer einsteigt, insbesondere auch als Benutzerauto bezeichnet, und die anderen Fahrzeuge 31 werden auch als andere Autos bezeichnet (oder ein anderes Auto, wenn es sich um eines der anderen Fahrzeuge 31 handelt).
Im Objekterkennungssystem 11 von 1 wird davon ausgegangen, dass das Fahrzeug 31-1 das Benutzerauto ist und die Fahrzeuge 31-2 bis 31-5 die anderen Autos sind (oder ein anderes Auto, wenn man sich auf eines der Fahrzeuge 31-2 bis 31-5 bezieht).
Außerdem sind die Fahrzeuge 31-1 bis 31-5 so konfiguriert, dass sie innerhalb einer bestimmten Entfernung durch die so genannte Fahrzeug-zu-Fahrzeug-Kommunikation miteinander kommunizieren können, auch wenn dies nicht dargestellt ist.
Darüber hinaus enthalten die Fahrzeuge 31-1 bis 31-5 jeweils eine Objekterkennungsvorrichtung 41-1 bis 41-5.
Die Objekterkennungsvorrichtungen 41-1 bis 41-5 umfassen jeweils Objekterkennungseinheiten 41a-1 bis 41a-5, und die Objekterkennungseinheiten 41a-1 bis 41a-5 erfassen jeweils Umgebungsinformationen als Punktwolkeninformationen PC1 bis PC5 und extrahieren Merkmalsmengen F1 bis F5 aus den Punktwolkeninformationen PC1 bis PC5.
Dann, wenn kein Fahrzeug in der Nähe ist, führen die Objekterkennungseinheiten 41a-1 bis 41a-5 eine Objekterkennungsverarbeitung unter Verwendung der extrahierten Merkmalsmengen F1 bis F5 durch und geben die Erkennungsergebnisse SR1 bis SR5 aus.
Die Fahrzeuge 31-1 bis 31-5 führen auf der Grundlage der Erkennungsergebnisse SR1 bis SR5 jeweils verschiedene Arten der Verarbeitung durch.
Außerdem fordert jede der Objekterkennungseinheiten 41 a-1 bis 41 a-5 in einem Fall, in dem sich ein anderes Auto in der Nähe innerhalb einer vorbestimmten Entfernung befindet, die Merkmalsmenge des anderen Autos an und erfasst sie, und führt die Objekterkennungsverarbeitung unter Verwendung der Merkmalsmenge des anderen Unternehmens und der Merkmalsmenge des Benutzerautos aus.
Das heißt, im Fall des Fahrzeugs 31-1 in 1 wird angenommen, dass z. B. die Fahrzeuge 31-2 und 31-4, die sich in einem Bereich Z innerhalb der durch die gestrichelte Linie angedeuteten vorbestimmten Entfernung befinden und die Front in Fahrtrichtung des Benutzerautos erfassen, als Fahrzeuge in der Nähe des Fahrzeugs 31-1 erkannt werden.
In diesem Fall fordert die Objekterkennungseinheit 41a-1 des Fahrzeugs 31-1 die Merkmalsmengen von den Fahrzeugen 31-2 und 31-4 an, die umliegende Fahrzeuge sind.
Als Antwort auf diese Anforderung übertragen die Objekterkennungseinheiten 41a-2 und 41a-4 der Fahrzeuge 31-2 und 31-4 die jeweiligen Merkmalsmengen F2 und F4 an das Fahrzeug 31-1.
Daraufhin erfasst die Objekterkennungseinheit 41a-1 des Fahrzeugs 31-1 die von den Objekterkennungseinheiten 41a-2 und 41a-4 der Fahrzeuge 31-2 und 31-4 übertragenen Merkmalsmengen F2 und F4.
Dann führt die Objekterkennungseinheit 41a-1 des Fahrzeugs 31-1 die Objekterkennungsverarbeitung aus, indem sie die auf diese Weise erfassten Merkmalsmengen F2 und F4 und die selbst ermittelte Merkmalsmenge F1 kombiniert und verwendet.
Bei einer solchen Verarbeitung führt die Objekterkennungseinheit 41a-1 des Fahrzeugs 31-1 die Objekterkennungsverarbeitung unter Verwendung der Merkmalsmenge F2 und der Merkmalsmenge F4 auf der Grundlage der Punktwolkeninformationen eines Überwachungsbereichs der anderen Autos zusammen mit der Merkmalsmenge F1 auf der Grundlage der Punktwolkeninformationen des Überwachungsbereichs des Benutzerautos aus, wodurch die Objekterkennungsgenauigkeit verbessert wird.
Da die gesendeten und empfangenen Merkmalsmengen F2 und F4 ausreichend kleinere Informationsmengen sind als die Punktwolkeninformationen PC2 und PC4, ist es außerdem möglich, die Kommunikationslast bei der Fahrzeug-zu-Fahrzeug-Kommunikation zu unterdrücken und die Kommunikationsgeschwindigkeit zu verbessern, und es ist möglich, eine hochpräzise Objekterkennungsverarbeitung mit hoher Geschwindigkeit durchzuführen.
«2. Erste Ausführungsform»
<Konfigurationsbeispiel des Fahrzeugsteuersystems>
2 ist ein Blockdiagramm, das ein schematisches funktionelles Konfigurationsbeispiel eines Fahrzeugsteuersystems 100 eines Fahrzeugs 51 als ein Beispiel für ein Mobilkörper-Steuersystem eines Fahrzeugs zeigt, auf das die vorliegende Technologie anwendbar ist. Das Fahrzeug 51 in 2 entspricht dem Fahrzeug 31 in 1.
Außerdem wird das Fahrzeug, das mit dem Fahrzeugsteuersystem 100 ausgestattet ist, im Folgenden als Benutzerauto oder Benutzerfahrzeug bezeichnet, um es von anderen Fahrzeugen zu unterscheiden.
Das Fahrzeugsteuersystem 100 umfasst eine Eingabeeinheit 101, eine Datenerfassungseinheit 102, eine Kommunikationseinheit 103, eine fahrzeuginterne Einrichtung 104, eine Ausgabesteuereinheit 105, eine Ausgabeeinheit 106, eine Antriebssystem-Steuereinheit 107, ein Antriebssystem 108, eine Karosseriesystem-Steuereinheit 109, ein Karosseriesystem 110, eine Speichereinheit 111 und eine Steuereinheit für automatisches Fahren 112. Die Eingabeeinheit 101, die Datenerfassungseinheit 102, die Kommunikationseinheit 103, die Ausgabesteuereinheit 105, die Fahrsystem-Steuereinheit 107, die Karosseriesystem-Steuereinheit 109, die Speichereinheit 111 und die Steuereinheit für automatisches Fahren 112 sind über ein Kommunikationsnetz 121 miteinander verbunden. Das Kommunikationsnetz 121 weist zum Beispiel ein Bordkommunikationsnetz auf, das einem beliebigen Standard, wie z. B. einem Controller Area Network (CAN), einem Local Interconnect Network (LIN), einem Local Area Network (LAN) oder FlexRay (eingetragenes Markenzeichen), einem Bus und dergleichen entspricht. Beachten Sie, dass die Einheiten des Fahrzeugsteuersystems 100 auch ohne das Kommunikationsnetz 121 direkt verbunden sein können.
Beachten Sie, dass im Folgenden, in dem Fall, in dem die Einheiten des Fahrzeugsteuersystems 100 Kommunikation über das Kommunikationsnetz 121 durchführen, die Beschreibung des Kommunikationsnetzes 121 ausgelassen wird. Beispielsweise wird in dem Fall, in dem die Eingabeeinheit 101 und die Steuereinheit für automatisches Fahren 112 Kommunikation über das Kommunikationsnetz 121 durchführen, einfach beschrieben, dass die Eingabeeinheit 101 und die Steuereinheit für automatisches Fahren 112 Kommunikation durchführen.
Die Eingabeeinheit 101 weist eine Vorrichtung auf, die von einem Insassen verwendet wird, um verschiedene Daten, Anweisungen und dergleichen einzugeben. Beispielsweise weist die Eingabeeinheit 101 Bedienungsvorrichtungen, wie z. B. ein Touchpanel, eine Taste, ein Mikrofon, einen Schalter und einen Hebel sowie eine Bedienungsvorrichtung auf, die in der Lage ist, Daten, Anweisungen und dergleichen durch ein anderes Verfahren als eine manuelle Bedienung, wie z. B. Sprache oder Geste, und dergleichen einzugeben. Außerdem kann die Eingabeeinheit 101 zum Beispiel eine Fernbedienungsvorrichtung sein, die Infrarotstrahlen oder andere Funkwellen verwendet, oder eine extern angeschlossene Vorrichtung, wie z. B. ein Mobilgerät oder ein tragbares Gerät, das mit dem Betrieb des Fahrzeugsteuersystems 100 kompatibel ist. Die Eingabeeinheit 101 erzeugt ein Eingangssignal auf der Grundlage der Daten, Anweisungen und dergleichen, die von dem Fahrgast eingegeben werden, und liefert das Eingangssignal an jede Einheit des Fahrzeugsteuersystems 100.
Die Datenerfassungseinheit 102 umfasst verschiedene Sensoren und dergleichen, die Daten erfassen, die für die Verarbeitung des Fahrzeugsteuersystems 100 verwendet werden, und liefert die erfassten Daten an jede Einheit des Fahrzeugsteuersystems 100.
Die Datenerfassungseinheit 102 enthält beispielsweise verschiedene Sensoren zur Erkennung des Zustands des Benutzerautos und dergleichen. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel einen Gyrosensor, einen Beschleunigungssensor, eine Trägheitsmesseinrichtung (IMU) und Sensoren auf, um einen Betätigungsbetrag eines Fahrpedals, einen Betätigungsbetrag eines Bremspedals, einen Lenkwinkel eines Lenkrads, eine Drehzahl einer Kraftmaschine, eine Drehzahl eines Motors oder eine Drehgeschwindigkeit von Rädern oder dergleichen zu erkennen.
Außerdem weist die Datenerfassungseinheit 102 zum Beispiel verschiedene Sensoren zum Erfassen von Informationen außerhalb des Autos des Benutzers auf. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel Bildgebungsvorrichtungen wie etwa eine Time-of-Flight (ToF)-Kamera, eine Stereokamera, eine monokulare Kamera, eine Infrarotkamera und andere Kameras auf. Außerdem weist die Datenerfassungseinheit 102 zum Beispiel einen Umfeldsensor zum Erfassen des Wetters, eines meteorologischen Phänomens oder dergleichen, und Umgebungsinformationserfassungssensoren zum Erfassen von Objekten im Umfeld des Benutzerautos auf. Der Umfeldsensor weist zum Beispiel einen Regensensor, einen Nebelsensor, einen Sonnenscheinsensor, einen Schneesensor und dergleichen auf. Der Umgebungsinformationserfassungssensor umfasst zum Beispiel einen Ultraschallsensor, ein Radargerät, ein Light Detection and Ranging- oder Laser Imaging Detection and Ranging (LiDAR)-Gerät ein Sonar, und dergleichen.
Darüber hinaus enthält die Datenerfassungseinheit 102 z. B. verschiedene Sensoren zur Erfassung der aktuellen Position des Benutzerautos. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel einen Global Navigation Satellite System (GNSS)-Empfänger auf, der ein GNSS-Signal von einem GNSS-Satelliten empfängt.
Außerdem weist die Datenerfassungseinheit 102 zum Beispiel verschiedene Sensoren zum Erfassen von Informationen innerhalb des Fahrzeugs auf. Insbesondere umfasst die Datenerfassungseinheit 102 zum Beispiel eine Abbildungsvorrichtung, die einen Fahrer abbildet, einen Biosensor, der biologische Informationen des Fahrers erfasst, ein Mikrofon, das Schall in einem Fahrzeuginnenraum aufnimmt, und dergleichen. Der Biosensor ist beispielsweise auf einer Sitzfläche, einem Lenkrad oder dergleichen angebracht und erfasst die biometrischen Informationen eines auf einem Sitz sitzenden Fahrgastes oder des Fahrers, der das Lenkrad hält.
Die Kommunikationseinheit 103 kommuniziert mit dem fahrzeuginternen Gerät 104 und verschiedenen Geräten außerhalb des Fahrzeugs, einem Server, einer Basisstation und dergleichen, überträgt von jeder Einheit des Fahrzeugsteuersystems 100 gelieferte Daten und liefert die empfangenen Daten an jede Einheit des Fahrzeugsteuersystems 100. Beachten Sie, dass ein von der Kommunikationseinheit 103 unterstütztes Kommunikationsprotokoll nicht besonders beschränkt ist, und dass die Kommunikationseinheit 103 eine Vielzahl von Kommunikationsprotokolltypen unterstützen kann.
Beispielsweise führt die Kommunikationseinheit 103 Drahtloskommunikation mit dem fahrzeuginternen Gerät 104 mittels Drahtlos-LAN, Bluetooth (eingetragenes Markenzeichen), Nahfeldkommunikation (NFC), Drahtlos-USB (WUSB) oder dergleichen durch. Außerdem führt die Kommunikationseinheit 103 zum Beispiel verdrahtete Kommunikation mit dem fahrzeuginternen Gerät 104 mittels Universal Serial Bus (USB), High-Definition Multimedia Interface (HDMI, eingetragenes Markenzeichen), einer Mobile High-Definition Link (MHL) oder dergleichen über eine Anschlussklemme (nicht dargestellt) (und nötigenfalls ein Kabel) durch.
Darüber hinaus kommuniziert die Kommunikationseinheit 103 zum Beispiel über eine Basisstation oder einen Zugangspunkt mit Vorrichtungen (zum Beispiel einem Anwendungsserver oder einem Steuerungsserver), die auf einem externen Netzwerk (zum Beispiel dem Internet, einem Cloud-Netzwerk oder einem firmenspezifischen Netzwerk) vorhanden sind. Außerdem kommuniziert die Kommunikationseinheit 103 zum Beispiel mit einem Endgerät (zum Beispiel einem Endgerät eines Fußgängers oder eines Ladens oder einem Machine-Type Communication (MTC)-Endgerät), das in der Nähe des Benutzerautos vorhanden ist, mittels Peer-to-Peer (P2P)-Technologie. Darüber hinaus führt die Kommunikationseinheit 103 zum Beispiel V2X-Kommunikation, wie z. B. Fahrzeug-zu-Fahrzeug-Kommunikation, Fahrzeug-zu-Infrastruktur-Kommunikation, Fahrzeug-zu-Wohnung-Kommunikation und Fahrzeug-zu-Fußgänger-Kommunikation durch. Außerdem weist die Kommunikationseinheit 103 zum Beispiel eine Beacon-Empfangseinheit auf, die Funkwellen oder elektromagnetische Wellen empfängt, die von einer an der Straße installierten Funkstation oder dergleichen übertragen werden, und erfasst Informationen, wie z. B. die aktuelle Position, Stau, Verkehrsregelung oder erforderliche Zeit.
Das fahrzeuginterne Gerät 104 umfasst beispielsweise ein mobiles Gerät oder ein tragbares Gerät eines Fahrgasts, ein Informationsgerät, das im Benutzerfahrzeug mitgeführt wird oder an diesem angebracht ist, ein Navigationsgerät für die Suche nach einer Route zu einem beliebigen Ziel und dergleichen.
Die Ausgabesteuereinheit 105 steuert die Ausgabe verschiedener Informationsarten an den Fahrgast des Benutzerautos oder an die Außenseite des Fahrzeugs. Die Ausgabesteuereinheit 105 steuert die Ausgabe von visuellen Informationen (zum Beispiel Bilddaten) und auditorischen Informationen (zum Beispiel Tondaten) von der Ausgabeeinheit 106 durch Erzeugen eines Ausgangssignals, das mindestens eine der visuellen Informationen oder der auditorischen Informationen enthält, und durch Liefern des Ausgangssignals zum Beispiel an die Ausgabeeinheit 106. Insbesondere synthetisiert die Ausgabesteuereinheit 105 zum Beispiel Bilddaten, die von unterschiedlichen Bildgebungsvorrichtungen der Datenerfassungseinheit 102 erfasst werden, um ein Vogelperspektivenbild, ein Panoramabild oder dergleichen zu erzeugen, und liefert ein Ausgangssignal, welches das erzeugte Bild enthält, an die Ausgabeeinheit 106. Außerdem erzeugt die Ausgabesteuereinheit 105 zum Beispiel Tondaten, die einen Warnton, eine Warnmeldung oder dergleichen in Bezug auf Gefahr, wie z. B. Kollision, Kontakt, Eintritt in eine Gefahrenzone oder dergleichen enthalten, und liefert ein Ausgangssignal, das die erzeugten Tondaten enthält, an die Ausgabeeinheit 106.
Die Ausgabeeinheit 106 weist eine Vorrichtung auf, die in der Lage ist, die visuellen Informationen oder auditorischen Informationen an den Fahrgast des Benutzerautos oder zur Außenseite des Fahrzeugs auszugeben. Beispielsweise weist die Ausgabeeinheit 106 eine Anzeigevorrichtung, eine Instrumententafel, einen Lautsprecher, einen Kopfhörer, ein tragbares Gerät, wie z. B. ein Display in Brillenausführung, das von einem Fahrgast getragen wird, einen Projektor, eine Lampe oder dergleichen auf. Die in der Ausgabeeinheit 106 enthaltene Anzeigevorrichtung kann zum Beispiel ein Head-Up-Display, ein Display in Übertragungsausführung oder ein Display zum Anzeigen der visuellen Informationen in einem Sichtfeld des Fahrers sein, wie z. B. eine Vorrichtung, die eine Augmented Reality (AR)-Anzeigefunktion besitzt, zusätzlich zu einer Vorrichtung, die ein normales Display hat.
Die Fahrsystem-Steuereinheit 107 steuert das Fahrsystem 108, indem sie verschiedene Steuersignale erzeugt und die Steuersignale dem Fahrsystem 108 zuführt. Außerdem liefert die Fahrsystem-Steuereinheit 107 nach Bedarf ein Steuersignal zu jeder Einheit außer dem Fahrsystem 108, um eine Benachrichtigung über einen Steuerungszustand des Fahrsystems 108 oder dergleichen auszugeben.
Das Antriebssystem 108 weist verschiedene, mit dem Antriebssystem des Benutzerautos verbundene, Vorrichtungen auf. Beispielsweise weist das Antriebssystem 108 eine Antriebskraft-Erzeugungsvorrichtung zum Erzeugen einer Antriebskraft für eine interne Brennkraftmaschine oder einen Antriebsmotor, einen Antriebskraft-Übertragungsmechanismus zum Übertragen der Antriebskraft auf die Räder, einen Lenkmechanismus zum Einstellen des Lenkwinkels, eine Bremsvorrichtung zum Erzeugen einer Bremskraft, ein Antiblockiersystem (ABS), eine elektronische Stabilitätskontrolle (ESC), eine elektrische Servolenkvorrichtung und dergleichen auf.
Die Karosseriesystem-Steuereinheit 109 steuert das Karosseriesystem 110, indem sie verschiedene Steuersignale erzeugt und die Steuersignale dem Karosseriesystem 110 zuführt. Außerdem liefert die Karosseriesystem-Steuereinheit 109 nach Bedarf ein Steuersignal zu jeder Einheit außer dem Karosseriesystem 110, um eine um eine Benachrichtigung über einen Steuerungszustand des Karosseriesystems 110 oder dergleichen auszugeben.
Das Karosseriesystem 110 weist verschiedene Karosseriesystemvorrichtungen auf, die an einer Fahrzeugkarosserie montiert sind. Beispielsweise umfasst das Karosseriesystem 110 ein schlüsselloses Zugangssystem, ein intelligentes Schlüsselsystem, eine Fensterhebervorrichtung, einen elektrisch verstellbaren Sitz, ein Lenkrad, eine Klimaanlage, verschiedene Leuchten (zum Beispiel Scheinwerfer, Rückfahrscheinwerfer, Bremsleuchten, Blinkleuchten, Nebelscheinwerfer und dergleichen), und dergleichen.
Die Speichereinheit 111 weist zum Beispiel eine magnetische Speichervorrichtung, wie z. B. einen Nur-Lese-Speicher (ROM), einen Direktzugriffsspeicher (RAM), und ein Festplattenlaufwerk (HDD), eine Halbleiter-Speichervorrichtung, eine optische Speichervorrichtung, eine magneto-optische Speichervorrichtung und dergleichen auf. Die Speichereinheit 111 speichert verschiedene Programme, Daten und dergleichen, die von jeder Einheit des Fahrzeugsteuersystems 100 genutzt werden. Beispielsweise speichert die Speichereinheit 111 Kartendaten, wie z. B. eine hochgenaue dreidimensionale Karte, eine dynamische Karte, eine globale Karte, die weniger Genauigkeit als die hochgenaue Karte hat, aber einen großen Bereich abdeckt, und eine lokale Karte, die Informationen über das Umfeld des Benutzerautos enthält.
Die Steuereinheit für automatisches Fahren 112 führt eine Steuerung in Bezug auf automatisches Fahren durch, wie z. B. autonomes Fahren oder Fahrassistenz. Insbesondere führt die Steuereinheit für automatisches Fahren 112 zum Beispiel eine kooperative Steuerung zum Zweck der Implementierung einer Funktion eines fortschrittlichen Fahrerassistenzsystems (ADAS), einschließlich Kollisionsvermeidung oder Aufprallmilderung des Benutzerautos auf der Grundlage eines Fahrzeugabstands, Fahrzeuggeschwindigkeits-Aufrechterhaltungsfahren, Kollisionswarnung des Benutzerautos, Fahrspurverlassenswarnung des Benutzerautos und dergleichen durch. Außerdem führt die Steuereinheit für automatisches Fahren 112 zum Beispiel die kooperative Steuerung zum Zweck des automatischen Fahrens und dergleichen von autonomem Fahren durch, ohne von einer Bedienung des Fahrers abhängig zu sein. Die Steuereinheit für automatisches Fahren 112 weist eine Erfassungseinheit 131, eine Eigenpositions-Schätzungseinheit 132, eine Situationsanalyseeinheit 133, eine Planungseinheit 134 und eine Operationssteuereinheit 135 auf.
Die Erfassungseinheit 131 erkennt verschiedene Arten von Informationen, die zum Steuern des automatischen Fahrens notwendig sind. Die Erfassungseinheit 131 umfasst eine Fahrzeugaußenseiten-Informationserfassungseinheit 141, eine Fahrzeuginnenraum-Informationserfassungseinheit 142 und eine Fahrzeugzustands-Erfassungseinheit 143.
Die Fahrzeugaußenseiten-Informationserfassungseinheit 141 führt eine Verarbeitung des Erfassens von Informationen außerhalb des Benutzerautos auf der Grundlage von Daten oder Signalen von den jeweiligen Einheiten des Fahrzeugsteuersystems 100 durch. Beispielsweise führt die Fahrzeugaußenseiten-Informationserfassungseinheit 141 eine Erfassungsverarbeitung, Erkennungsverarbeitung und Verfolgungsverarbeitung für ein Objekt im Umfeld des Benutzerautos und eine Verarbeitung des Erfassens einer Distanz zu dem Objekt durch. Zu erfassende Objekte schließen zum Beispiel Fahrzeuge, Personen, Hindernisse, Strukturen, Straßen, Verkehrsampeln, Verkehrsschilder, Straßenmarkierungen und dergleichen ein. Außerdem führt die Fahrzeugaußenseiten-Informationserfassungseinheit 141 zum Beispiel eine Verarbeitung des Erfassens einer Umgebung im Umfeld des Benutzerautos durch. Die zu erfassende Umgebung schließt zum Beispiel Wetter, Temperatur, Luftfeuchtigkeit, Helligkeit, Straßenoberflächenzustand und dergleichen ein. Die Fahrzeugaußenseiten-Informationserfassungseinheit 141 liefert Daten, die Ergebnisse der Erfassungsverarbeitung angeben, an die Selbstortungs-Schätzungseinheit 132, eine Kartenanalyseeinheit 151, eine Verkehrsregel-Erkennungseinheit 152 und eine Situationserkennungseinheit 153 der Situationsanalyseeinheit 133 sowie eine Notfallvermeidungseinheit 171 und dergleichen der Operationssteuereinheit 135.
Die Fahrzeugaußenseiten-Informationserfassungseinheit 141 umfasst ferner eine Objekterkennungseinheit 181 und eine Fahrzeugerkennungseinheit 182.
Die Objekterkennungseinheit 181 hat eine Konfiguration, die der Objekterkennungseinheit 41a in 1 entspricht, führt eine Objektauthentifizierungsverarbeitung auf der Grundlage einer Punktwolke (Punktwolkeninformationen) durch, die von den Umgebungsinformationserfassungssensoren, wie z. B. einem Ultraschallsensor, einem Radar, einem Light Detection and Ranging oder Laser Imaging Detection and Ranging (LiDAR), einer Stereokamera und einem Sonar der Datenerfassungseinheit 102, geliefert wird, und authentifiziert ein Objekt in Einheiten von Punkten einer Punktwolke um das Benutzerauto.
Die Fahrzeugerkennungseinheit 182 erkennt die Annäherung eines anderen Autos im Umfeld des Benutzerautos anhand des Bildes, das von der Bildgebungsvorrichtung, z. B. einer Kamera der Datenerfassungseinheit 102, aufgenommen wurde, oder anhand der Fahrzeug-zu-Fahrzeug-Kommunikation, die z. B. über die Kommunikationseinheit 103 mit dem anderen Auto erfolgt.
Genauer gesagt, berechnet die Objekterkennungseinheit 181 eine Merkmalsmenge eines Erfassungsergebnisses einschließlich einer Punktwolke durch ein tiefes neuronales Netzwerk (DNN), führt die Objekterkennungsverarbeitung auf der Grundlage eines Berechnungsergebnisses durch und erkennt ein Objekt in Punkteinheiten.
Zu diesem Zeitpunkt, wenn die Annäherung eines anderen Autos im Umfeld des Benutzerautos von der Fahrzeugerkennungseinheit 182 erkannt wird, fordert die Objekterkennungseinheit 181 das andere Auto an und erwirbt die von der Objekterkennungseinheit 181 berechnete Merkmalsmenge des anderen Autos durch Fahrzeug-zu-Fahrzeug-Kommunikation oder dergleichen, und kombiniert die erworbene Merkmalsmenge mit der von ihr selbst berechneten Merkmalsmenge und führt die Objektauthentifizierungsverarbeitung durch.
Infolgedessen ist die Objekterkennungseinheit 181 in der Lage, die Objektauthentifizierung für alle Punktwolken um das Benutzerauto herum durchzuführen und die Genauigkeit der Objektauthentifizierung zu verbessern.
Beachten Sie, dass die Konfiguration der Objekterkennungseinheit 181 im Folgenden detailliert beschrieben wird.
Die Fahrzeuginnenraum-Informationserfassungseinheit 142 führt eine Verarbeitung des Erfassens von Informationen innerhalb des Fahrzeugs auf der Basis von Daten oder Signalen von jeder Einheit des Fahrzeugsteuersystems 100 durch. Beispielsweise führt die Fahrzeuginnenraum-Informationserfassungseinheit 142 eine Fahrerauthentifizierungsverarbeitung und Erkennungsverarbeitung, Fahrerzustands-Erfassungsverarbeitung, Fahrgast-Erfassungsverarbeitung, Fahrzeuginnenraumumgebungs-Erfassungsverarbeitung und dergleichen durch. Der zu erfassende Zustand des Fahrers umfasst zum Beispiel die körperliche Verfassung, den Wachzustand, das Konzentrationsniveau, das Ermüdungsniveau, die Sichtlinienrichtung oder dergleichen. Die zu erfassende Fahrzeuginnenraumumgebung umfasst zum Beispiel Temperatur, Feuchtigkeit, Helligkeit, Geruch und dergleichen. Die Fahrzeuginnenraum-Informationserfassungseinheit 142 liefert Daten, die Ergebnisse der Erfassungsprozesse angeben, an die Situationserkennungseinheit 153 der Situationsanalyseeinheit 133, die Notfallereignis-Vermeidungseinheit 171 der Operationssteuereinheit 135 und dergleichen.
Die Fahrzeugzustands-Erfassungseinheit 143 führt eine Verarbeitung des Erfassens des Zustands des Benutzerautos auf der Grundlage von Daten oder Signalen von den jeweiligen Einheiten des Fahrzeugsteuersystems 100 durch. Der zu erfassende Zustand des Benutzerautos umfasst zum Beispiel die Geschwindigkeit, die Beschleunigung, den Lenkwinkel, die Anwesenheit oder Abwesenheit einer Abnormalität, den Inhalt einer Abnormalität, den Fahrbetriebszustand, die Position und Neigung des elektrisch verstellbaren Sitzes, den Türverriegelungszustand und die Zustände von anderen fahrzeuginternen Vorrichtungen oder dergleichen. Die Fahrzeugzustands-Erfassungseinheit 143 liefert Daten, die Ergebnisse der Erfassungsverarbeitung angeben, an die Situationserkennungseinheit 153 der Situationsanalyseeinheit 133, die Notfallvermeidungseinheit 171 der Operationssteuereinheit 135 und dergleichen.
Die Eigenpositions-Schätzungseinheit 132 führt eine Verarbeitung des Abschätzens der Position, der Lage und dergleichen des Benutzerautos auf der Grundlage der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100, wie z. B. der Fahrzeugaußenseiten-Informationserfassungseinheit 141 und der Situationserkennungseinheit 153 der Situationsanalyseeinheit 133, durch. Außerdem erzeugt die Eigenpositions-Schätzungseinheit 132 nach Bedarf eine lokale Karte (im Folgenden als Eigenpositions-Schätzungskarte bezeichnet), die zum Schätzen der Eigenposition verwendet wird. Die Eigenpositions-Schätzungskarte ist eine hochpräzise Karte, die eine Technologie wie z. B. Simultane Lokalisierung und Kartenerstellung (SLAM) oder dergleichen verwendet. Die Eigenpositions-Schätzungseinheit 132 liefert Daten, die ein Ergebnis der Schätzungsverarbeitung angeben, an die Kartenanalyseeinheit 151, die Verkehrsregel-Erkennungseinheit 152 und die Situationserkennungseinheit 153 der Situationsanalyseeinheit 133 und dergleichen. Außerdem veranlasst die Eigenpositions-Schätzungseinheit 132 die Speichereinheit 111, die Eigenpositions-Schätzungskarte zu speichern.
Die Situationsanalyseeinheit 133 führt eine Verarbeitung des Analysierens der Situation des Benutzerautos und seiner Umgebung durch. Die Situationsanalyseeinheit 133 umfasst die Kartenanalyseeinheit 151, die Verkehrsregel-Erkennungseinheit 152, die Situationserkennungseinheit 153 und eine Situationsprognoseeinheit 154.
Die Kartenanalyseeinheit 151 führt nach Bedarf eine Verarbeitung des Analysierens verschiedener in der Speichereinheit 111 gespeicherter Karten unter Verwendung der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100 wie z. B. der Eigenpositions-Schätzungseinheit 132 und der Fahrzeugaußenseiten-Informationserfassungseinheit 141, durch und erstellt eine Karte, die Informationen enthält, die für die Verarbeitung von automatischem Fahren notwendig sind. Die Kartenanalyseeinheit 151 liefert die erstellte Karte an die Verkehrsregel-Erkennungseinheit 152, die Situationserkennungseinheit 153, die Situationsprognoseeinheit 154 sowie eine Routenplanungseinheit 161, eine Aktionsplanungseinheit 162 und eine Operationsplanungseinheit 163 der Planungseinheit 134 und dergleichen.
Die Verkehrsregel-Erkennungseinheit 152 führt eine Verarbeitung des Erkennens von Verkehrsregeln im Umfeld des Benutzerautos auf der Grundlage der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100, wie z. B. der Eigenpositions-Schätzungseinheit 132, der Fahrzeugaußeninformations-Erfassungseinheit 141 und der Kartenanalyseeinheit 151, durch. Durch die Erkennungsverarbeitung werden zum Beispiel Position und Zustand der Signale im Umfeld des Benutzerautos, der Inhalt der Verkehrsregelung im Umfeld des Benutzerautos, eine befahrbare Fahrspur und dergleichen erkannt. Die Verkehrsregel-Erkennungseinheit 152 liefert Daten, die ein Ergebnis der Erkennungsverarbeitung angeben, an die Situationsprognoseeinheit 154 und dergleichen.
Die Situationserkennungseinheit153 führt eine Verarbeitung des Erkennens der Situation bezüglich des Benutzerautos auf der Grundlage der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100, wie z. B. der Eigenpositions-Schätzungseinheit 132, der Fahrzeugaußenseiten-Informationserfassungseinheit 141, der Fahrzeuginnenraum-Informationserfassungseinheit 142, der Fahrzeugzustands-Erfassungseinheit 143 und der Kartenanalyseeinheit 151, durch. Beispielsweise führt die Situationserkennungseinheit 153 eine Verarbeitung des Erkennens einer Situation des Benutzerautos, der Situation im Umfeld des Benutzerautos, der Situation des Fahrers des Benutzerautos und dergleichen durch. Außerdem erzeugt die Situationserkennungseinheit 153 nach Bedarf eine lokale Karte (im Folgenden Situationserkennungskarte genannt), die zum Erkennen der Situation im Umfeld des Benutzerautos verwendet wird. Die Situationserkennungskarte ist zum Beispiel eine Belegungsgitterkarte.
Die zu erkennende Situation des Benutzerautos umfasst z. B. die Position, die Lage, die Bewegung (z. B. Geschwindigkeit, Beschleunigung, Fahrtrichtung und dergleichen) des Benutzerautos sowie die Anwesenheit oder Abwesenheit und den Inhalt von Abnormalitäten und dergleichen. Die zu erkennende Situation im Umfeld des Benutzerautos umfasst zum Beispiel Arten und Positionen von umgebenden stationären Objekten, Arten von umgebenden bewegten Objekten sowie Positionen und Bewegungen (zum Beispiel Geschwindigkeit, Beschleunigung, Bewegungsrichtung und dergleichen), Konfigurationen von umliegenden Straßen und Bedingungen von Straßenoberflächen sowie Wetter, Temperatur, Feuchtigkeit, Helligkeit und dergleichen der Umgebung. Der zu erkennende Zustand des Fahrers umfasst zum Beispiel körperliche Verfassung, Erregungsniveau, Konzentrationsniveau, Ermüdungsniveau, Sichtlinienbewegung, Fahrbetrieb und dergleichen.
Die Situationserkennungseinheit 153 liefert die Daten, die ein Ergebnis der Erkennungsverarbeitung angeben (die nach Bedarf die Situationserkennungskarte einschließt), an die Eigenpositions-Schätzungseinheit 132, die Situationsprognoseeinheit 154 und dergleichen. Außerdem veranlasst die Situationserkennungseinheit 153 die Speichereinheit 111, die Situationserkennungskarte zu speichern.
Die Situationsprognoseeinheit 154 führt eine Verarbeitung des Prognostizierens der Situation bezüglich des Benutzerautos auf der Grundlage der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100, wie z. B. der Kartenanalyseeinheit 151, der Verkehrsregel-Erkennungseinheit 152 und der Situationserkennungseinheit 153, durch. Beispielsweise führt die Situationsprognoseeinheit 154 eine Verarbeitung des Vorhersagens der Situation des Benutzerautos, der Situation im Umfeld des Benutzerautos, der Situation des Fahrers des Benutzerautos und dergleichen durch.
Die zu prognostizierende Situation des Benutzerautos umfasst zum Beispiel ein Verhalten des Benutzerautos, Auftreten von Abnormalität, zurücklegbare Strecke und dergleichen. Die zu prognostizierende Situation im Umfeld des Benutzerautos umfasst zum Beispiel ein Verhalten eines bewegten Objekts im Umfeld des Benutzerautos, eine Änderung in einem Signalzustand, eine Änderung in der Umgebung, wie z. B. Wetter, und dergleichen. Die zu prognostizierende Situation des Fahrers umfasst zum Beispiel ein Verhalten und eine körperliche Verfassung des Fahrers und dergleichen.
Die Situationsprognoseeinheit 154 liefert Daten, die ein Ergebnis der Prognoseverarbeitung angeben zusammen mit den Daten von der Verkehrsregel-Erkennungseinheit 152 und der Situationserkennungseinheit 153 zu der Routenplanungseinheit 161, der Aktionsplanungseinheit 162 und der Operationsplanungseinheit 163 der Planungseinheit 134 und dergleichen.
Die Routenplanungseinheit 161 plant eine Route zu einem Ziel auf der Grundlage der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100, wie z. B. der Kartenanalyseeinheit 151 und der Situationsprognoseeinheit 154. Beispielsweise legt die Routenplanungseinheit 161 eine Route von der aktuellen Position zu einem angegebenen Ziel auf der Basis der globalen Karte fest. Außerdem ändert die Routenplanungseinheit 161 zum Beispiel die Route gegebenenfalls auf der Grundlage von Situationen von Verkehrsstaus, Unfällen, Verkehrsbeschränkungen, Baustellen und dergleichen sowie der körperlichen Verfassung des Fahrers und dergleichen. Die Routenplanungseinheit 161 liefert Daten, welche die geplante Route angeben, an die Aktionsplanungseinheit 162 und dergleichen.
Die Aktionsplanungseinheit 162 plant eine Aktion des Benutzerautos für sicheres Fahren auf der von der Routenplanungseinheit 161 geplanten Route innerhalb einer geplanten Zeitspanne auf der Grundlage der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100, wie z. B. der Kartenanalyseeinheit 151 und der Situationsprognoseeinheit 154. Beispielsweise erstellt die Aktionsplanungseinheit 162 einen Plan des Startens, Stoppens, der Fahrtrichtungen (zum Beispiel vorwärts, rückwärts, Linksabbiegen, Rechtsabbiegen, Wenden und dergleichen), der Fahrspur, der Fahrgeschwindigkeit, des Überholens und dergleichen. Die Aktionsplanungseinheit 162 liefert Daten, welche die geplante Aktion des Benutzerautos angeben, an die Operationsplanungseinheit 163 und dergleichen.
Die Operationsplanungseinheit 163 plant eine Operation des Benutzerautos, um die durch die Aktionsplanungseinheit 162 geplante Aktion auf der Grundlage der Daten oder Signale von den Einheiten des Fahrzeugsteuersystems 100, wie z. B. der Kartenanalyseeinheit 151 und der Situationsprognoseeinheit 154, zu implementieren. Beispielsweise plant die Operationsplanungseinheit 163 Beschleunigung, Verzögerung, einen Fahrweg und dergleichen. Die Operationsplanungseinheit 163 liefert Daten, welche die geplante Arbeitsweise des Benutzerautos angeben, an eine Beschleunigungs- und Verzögerungssteuereinheit 172 und eine Richtungssteuereinheit 173 der Operationssteuereinheit 135 und dergleichen.
Die Operationssteuereinheit 135 steuert die Operation des Benutzerautos. Die Operationssteuereinheit 135 umfasst die Notfallvermeidungseinheit 171, die Beschleunigungs- und Verzögerungssteuereinheit 172 und die Richtungssteuereinheit 173.
Die Notfallvermeidungseinheit 171 führt eine Verarbeitung des Erfassens einer Notsituation, wie z. B. Kollision, Kontakt, Eintritt in eine Gefahrenzone, Abnormalität des Fahrers, Abnormalität des Fahrzeugs und dergleichen auf der Grundlage der Erfassungsergebnisse der Fahrzeugaußenseiten-Informationserfassungseinheit 141, der Fahrzeuginnenraum-Informationserfassungseinheit 142 und der Fahrzeugzustands-Erfassungseinheit 143, durch. In dem Fall, in dem die Notfallvermeidungseinheit 171 das Auftreten einer Notsituation erfasst, plant die Notfallvermeidungseinheit 171 die Operation des Benutzerautos zum Vermeiden der Notsituation, wie z. B. ein plötzlicher Halt oder eine scharfe Wende. Die Notfallvermeidungseinheit 171 liefert Daten, welche die geplante Operation des Benutzerautos angeben, zu der Beschleunigungs- und Verzögerungssteuereinheit 172, der Richtungssteuereinheit 173 und dergleichen.
Die Beschleunigungs- und Verzögerungssteuereinheit 172 führt Beschleunigung und Verzögerung durch, um die Operation des Benutzerautos, geplant durch die Operationsplanungseinheit 163 oder die Notfallvermeidungseinheit 171, zu implementieren. Beispielsweise berechnet die Beschleunigungs- und Verzögerungssteuereinheit 172 einen Steuerungszielwert einer Antriebskraft-Erzeugungsvorrichtung oder einer Bremsvorrichtung, um die geplante Beschleunigung, Verzögerung oder den plötzlichen Halt zu implementieren, und liefert einen Steuerbefehl, der den berechneten Steuerungszielwert angibt, an die Antriebssystem-Steuereinheit 107.
Die Richtungssteuereinheit 173 steuert eine Richtung, um die Operation des Benutzerautos, geplant durch die Operationsplanungseinheit 163 oder die Notfallvermeidungseinheit 171, zu implementieren. Beispielsweise berechnet die Richtungssteuereinheit 173 einen Steuerungszielwert eines Lenkmechanismus, um den von der Operationsplanungseinheit 163 oder der Notfallvermeidungseinheit 171 geplanten Fahrweg oder die scharfe Wende zu implementieren, und liefert einen Steuerbefehl, der den berechneten Steuerungszielwert angibt, an die Antriebssystem-Steuereinheit 107.
<Erstes Konfigurationsbeispiel der Objekterkennungseinheit>
Als Nächstes wird ein erstes Konfigurationsbeispiel der Objekterkennungseinheit 181 mit Bezug auf 3 beschrieben.
Die Objekterkennungseinheit 181 führt die Objekterkennungsverarbeitung auf der Grundlage der Punktwolke (PC) durch, die von der Datenerfassungseinheit 102 von einer Stereokamera oder Sensoren wie LiDAR geliefert wird, und gibt für jeden Punkt eine globale Merkmalsmenge R aus.
Bei der Punktwolke (PC) handelt es sich beispielsweise um Punktwolkeninformationen, die Positionsinformationen für jeden Punkt (x1, y1, z1), einen Punkt (x2, y2, z2), einen Punkt (x3, y3, z3), ... und einen Punkt (xn, yn, zn) enthalten.
Außerdem ist die globale Merkmalsmenge R eine globale Merkmalsmenge R (x1, y1, z1), eine globale Merkmalsmenge R (x2, y2, z2), eine globale Merkmalsmenge R (x3, y3, z3), ..., und eine globale Merkmalsmenge R (xn, yn, zn), die (x1, y1, z1), (x2, y2, z2) und (x3, y3, z3) entspricht, und ist ein Ergebnis der Erkennung eines Objekts in Punkteinheiten.
Genauer gesagt umfasst die Objekterkennungseinheit 181 eine lokale Merkmalsmengen-Berechnungseinheit 201, eine Merkmalsmengen-Kombinationseinheit 202, eine globale Merkmalsmengen-Berechnungseinheit 203, eine Erkennungseinheit 204, eine Merkmalsmengen-Extraktionseinheit 205, eine Merkmalsmengen-Übertragungssteuereinheit 206, eine Merkmalsmengen-Empfangssteuereinheit 207 und eine Merkmalsmengen-Auswahleinheit 208.
Die lokale Merkmalsmengen-Berechnungseinheit 201 berechnet die Merkmalsmenge für jeden Punkt in der Punktwolke (PC) in Stufen und umfasst eine erste Merkmalsmengen-Berechnungseinheit 221, eine zweite Merkmalsmengen-Berechnungseinheit 222 und eine dritte Merkmalsmengen-Berechnungseinheit 223.
Die erste Merkmalsmengen-Berechnungseinheit 221 enthält mehrschichtige Perzeptronen (MLPs) 231-1 bis 231-n für jeden Punkt, berechnet eine erste Merkmalsmenge, die eine Merkmalsmenge der ersten Stufe für jeden Punkt der Punktwolke (PC) ist, und gibt die erste Merkmalsmenge an die zweite Merkmalsmengen-Berechnungseinheit 222 und eine erste Merkmalsmengen-Extraktionseinheit 281 der Merkmalsmengen-Extraktionseinheit 205 aus.
Die zweite Merkmalsmengen-Berechnungseinheit 222 enthält MLPs 241-1 bis 241-n für jeden Punkt, berechnet eine zweite Merkmalsmenge, die eine Merkmalsmenge der zweiten Stufe ist, auf der Grundlage der ersten Merkmalsmenge, die von der ersten Merkmalsmengen-Berechnungseinheit 221 für jeden Punkt der Punktwolke (PC) geliefert wird, und gibt eine zweite Merkmalsmenge an die dritte Merkmalsmengen-Berechnungseinheit 223 und eine zweite Merkmalsmengen-Extraktionseinheit 282 der Merkmalsmengen-Extraktionseinheit 205 aus.
Die dritte Merkmalsmengen-Berechnungseinheit 223 enthält MLPs 251-1 bis 251-n für jeden Punkt, berechnet eine dritte Merkmalsmenge, die eine Merkmalsmenge der dritten Stufe ist, auf der Grundlage der zweiten Merkmalsmenge, die von der zweiten Merkmalsmengen-Berechnungseinheit 222 für jeden Punkt der Punktwolke (PC) geliefert wird, und gibt eine dritte Merkmalsmenge an die Merkmalsmengen-Kombinationseinheit 202 und eine dritte Merkmalsmengen-Extraktionseinheit 283 der Merkmalsmengen-Extraktionseinheit 205 aus.
Die Merkmalsmengen-Kombinationseinheit 202 kombiniert erste, zweite und dritte Merkmalsmengen, die von einem anderen Auto über die Kommunikationseinheit 103, die Merkmalsmengen-Empfangssteuereinheit 207 und die Merkmalsmengen-Auswahleinheit 208 geliefert werden, mit der dritten Merkmalsmenge, die von der lokalen Merkmalsmengen-Berechnungseinheit 201 geliefert wird, und gibt ein kombiniertes Ergebnis an die globale Merkmalsmengen-Berechnungseinheit 203 aus.
Genauer gesagt, umfasst die Merkmalsmengen-Kombinationseinheit 202 eine zweite Merkmalsmengen-Berechnungseinheit 271 und eine dritte Merkmalsmengen-Berechnungseinheit 272.
Die zweite Merkmalsmengen-Berechnungseinheit 271 und die dritte Merkmalsmengen-Berechnungseinheit 272 haben die gleichen Funktionen wie die zweite Merkmalsmengen-Berechnungseinheit 222 und die dritte Merkmalsmengen-Berechnungseinheit 223, berechnen die zweite Merkmalsmenge und die dritte Merkmalsmenge aus der ersten Merkmalsmenge und der zweiten Merkmalsmenge, die von dem anderen Auto geliefert werden, soweit erforderlich, und berechnen schließlich die dritte Merkmalsmenge auf der Grundlage der Merkmalsmengen des anderen Autos.
Dann kombiniert die Merkmalsmengen-Kombinationseinheit 202 die dritte Merkmalsmenge, die von dem anderen Auto erhalten wurde, und die dritte Merkmalsmenge, die von der lokalen Merkmalsmengen-Berechnungseinheit 201 berechnet wurde, z. B. durch eine Produktsumme mit festgelegten Gewichtungen.
Die Gewichtungen können gleichmäßig oder in Abhängigkeit von der Entfernung zu einem anderen Auto und von der Gleichheit der DNN-Strukturen festgelegt werden.
Die globale Merkmalsmengen-Berechnungseinheit 203 berechnet die globale Merkmalsmenge R an jedem Punkt auf der Grundlage der Merkmalsmenge (im Wesentlichen die dritte Merkmalsmenge), die von der Merkmalsmengen-Kombinationseinheit 202 z. B. durch Maxpooling geliefert wird, und gibt die globale Merkmalsmenge R an die Erkennungseinheit 204 aus. Die Erkennungseinheit 204 führt die Objekterkennungsverarbeitung auf der Grundlage der globalen Merkmalsmenge R durch und gibt ein Objekterkennungsergebnis aus, das ein Verarbeitungsergebnis ist.
Das heißt, in der Objekterkennungseinheit 181 in 3 der vorliegenden Offenbarung bilden die lokale Merkmalsmengen-Berechnungseinheit 201, die Merkmalsmengen-Kombinationseinheit 202 und die globale Merkmalsmengen-Berechnungseinheit 203 ein PointNet durch DNN.
Hier bezieht sich das PointNet auf ein neuronales Netzwerk, das Punktwolkeninformationen als Eingabe erhält und auf der Grundlage der eingegebenen Punktwolkeninformationen ein vorgegebenes Verarbeitungsergebnis ausgibt.
Das heißt, die erste Merkmalsmengen-Berechnungseinheit 221, die zweite Merkmalsmengen-Berechnungseinheit 222 und die dritte Merkmalsmengen-Berechnungseinheit 223 in der lokalen Merkmalsmengen-Berechnungseinheit 201 sind Zwischenschichten, die lokale Merkmale extrahieren.
Daher ist die lokale Merkmalsmengen-Berechnungseinheit 201 in 3 so konfiguriert, dass sie die Merkmalsmenge durch eine dreistufige hierarchische Struktur wie die erste Merkmalsmengen-Berechnungseinheit 221 bis zur dritten Merkmalsmengen-Berechnungseinheit 223 erhält, aber die Anzahl der Hierarchien kann jede andere Zahl als zwei oder drei sein, solange die hierarchische Struktur mindestens zwei oder mehr Hierarchien hat, die der Eingabeschicht und der Ausgabeschicht entsprechen.
Dann wird davon ausgegangen, dass die lokale Merkmalsmengen-Berechnungseinheit 201 und die globale Merkmalsmengen-Berechnungseinheit 203 ein Lernen (Backpropagation) durchgeführt haben, wobei beispielsweise eine Position (x, y, z) und eine Farbe (r, g, b), die Punktwolken sind, als Eingaben und ein semantisches Segmentierungsetikett als richtige Antwort verwendet werden.
Die Merkmalsmengen-Extraktionseinheit 205 extrahiert die Merkmalsmenge, die ein Berechnungsergebnis der lokalen Merkmalsmengen-Berechnungseinheit 201 ist, und liefert die Merkmalsmenge an die Merkmalsmengen-Übertragungssteuereinheit 206.
Genauer gesagt, umfasst die Merkmalsmengen-Extraktionseinheit 205 eine erste Merkmalsmengen-Extraktionseinheit 281, eine zweite Merkmalsmengen-Extraktionseinheit 282 und eine dritte Merkmalsmengen-Extraktionseinheit 283.
Die erste Merkmalsmengen-Extraktionseinheit 281 extrahiert eine erste Merkmalsmenge, die ein Berechnungsergebnis der ersten Merkmalsmengen-Berechnungseinheit 221 der lokalen Merkmalsmengen-Berechnungseinheit 201 ist, und gibt die erste Merkmalsmenge an die Merkmalsmengen-Übertragungssteuereinheit 206 aus.
Die zweite Merkmalsmengen-Extraktionseinheit 282 extrahiert eine zweite Merkmalsmenge, die ein Berechnungsergebnis der zweiten Merkmalsmengen-Berechnungseinheit 222 der lokalen Merkmalsmengen-Berechnungseinheit 201 ist, und gibt die zweite Merkmalsmenge an die Merkmalsmengen-Übertragungssteuereinheit 206 aus.
Die dritte Merkmalsmengen-Extraktionseinheit 283 extrahiert eine dritte Merkmalsmenge, die ein Berechnungsergebnis der dritten Merkmalsmengen-Berechnungseinheit 223 der lokalen Merkmalsmengen-Berechnungseinheit 201 ist, und gibt die dritte Merkmalsmenge an die Merkmalsmengen-Übertragungssteuereinheit 206 aus.
Wenn eine Anfrage nach Merkmalsmengen von einem anderen Auto in der Nähe des Benutzerautos vorliegt, steuert die Merkmalsmengen-Übertragungssteuereinheit 206 die Kommunikationseinheit 103, um die ersten bis dritten Merkmalsmengen, die z. B. durch Fahrzeug-zu-Fahrzeug-Kommunikation oder ähnliches extrahiert wurden, an das angefragte andere Auto zu übertragen.
Zu diesem Zeitpunkt überträgt die Merkmalsmengen-Übertragungssteuereinheit 206 jede der Merkmalsmengen mit Informationen zur Identifizierung, welche der ersten Merkmalsmenge, der zweiten Merkmalsmenge und der dritten Merkmalsmenge die jeweilige Merkmalsmenge ist.
Außerdem überträgt die Merkmalsmengen-Übertragungssteuereinheit 206 die Merkmalsmengen mit Informationen, die auf die Struktur eines tiefen neuronalen Netzwerks (DNN) der lokalen Merkmalsmengen-Berechnungseinheit 201 des Benutzerautos hinweisen. Hier sind die Informationen, die die DNN-Struktur angeben, zum Beispiel die Werte der Gewichtungskoeffizienten für die MLPs 231, 241 und 251, die jedem Punkt der ersten Merkmalsmengen-Berechnungseinheit 221 bis zur dritten Merkmalsmengen-Berechnungseinheit 223 entsprechen, die die Schichten im DNN sind.
In einem Fall, in dem es andere Autos in der Nähe einer vorbestimmten Entfernung um das Benutzerauto gibt, steuert die Merkmalsmengen-Empfangssteuereinheit 207 die Kommunikationseinheit 103, um die anderen Autos in der Nähe des Benutzerautos aufzufordern, die Merkmalsmengen zu übertragen, erfasst die Merkmalsmengen, die von den anderen Autos als Reaktion auf die Aufforderung übertragen werden, und liefert die Merkmalsmengen an die Merkmalsmengen-Auswahleinheit 208.
Die Merkmalsmengen-Auswahleinheit 208 wählt die erforderlichen Merkmalsmengen aus den von der Merkmalsmengen-Empfangssteuereinheit 207 gelieferten Merkmalsmengen der anderen Unternehmen in der Umgebung des Benutzerautos aus und gibt die ausgewählten Merkmalsmengen an die Merkmalsmengen-Kombinationseinheit 202 aus. Das heißt, die Merkmalsmengen-Auswahleinheit 208 wählt zum Beispiel nur die Merkmalsmengen in einem vorbestimmten Zeitbereich von einer aktuellen Zeit aus und gibt die Merkmalsmengen an die Merkmalsmengen-Kombinationseinheit 202 aus.
Außerdem extrahiert die Merkmalsmengen-Auswahleinheit 208 selektiv nur die Merkmalsmengen, die die gleiche DNN-Struktur wie das Benutzerauto haben, auf der Grundlage der Informationen, die die DNN-Strukturen der anderen Autos angeben, die den jeweiligen Merkmalsmengen zugeordnet sind, die von den anderen Autos geliefert werden, und gibt die extrahierten Merkmalsmengen an die Merkmalsmengen-Kombinationseinheit 202 aus.
Die Merkmalsmengen-Kombinationseinheit 202 kombiniert die Merkmalsmengen entsprechend den von der Merkmalsmengen-Auswahleinheit 208 auf diese Weise gelieferten Merkmalsmengen und den DNN-Strukturen der anderen Autos und gibt die kombinierte Merkmalsmenge an die globale Merkmalsmengen-Berechnungseinheit 203 aus.
Hier kann die Merkmalsmengen-Kombinationseinheit 202 beim Kombinieren der dritten Merkmalsmenge, die aus der von der Merkmalsmengen-Auswahleinheit 208 gelieferten Merkmalsmenge und der von der lokalen Merkmalsmengen-Berechnungseinheit 201 gelieferten dritten Merkmalsmenge durch die Produktsumme unter Verwendung von Gewichtungen erhalten wurde, die Gewichtungen anpassen und die dritten Merkmalsmengen kombinieren.
Wenn beispielsweise die DNN-Struktur des Benutzerautos und die DNN-Struktur des anderen Autos unterschiedlich sind, kann die Merkmalsmengen-Kombinationseinheit 202 die Gewichtung der Merkmalsmenge des anderen Autos verringern und die Gewichtung der Merkmalsmenge des Benutzerautos erhöhen und die Merkmalsmengen kombinieren.
Wenn die DNN-Struktur des Benutzerautos und die DNN-Struktur des anderen Autos gleich sind, kann die Merkmalsmengen-Kombinationseinheit 202 außerdem die Gewichtung der Merkmalsmenge des anderen Autos und die Gewichtung der Merkmalsmenge des Benutzerautos gleich setzen und die Merkmalsmengen kombinieren.
Außerdem bildet jede der ersten Merkmalsmengen-Berechnungseinheit 221, der zweiten Merkmalsmengen-Berechnungseinheit 222 und der dritten Merkmalsmengen-Berechnungseinheit 223, die die lokale Merkmalsmengen-Berechnungseinheit 201 bilden, eine lokale Verarbeitungsstruktur zur Berechnung der Merkmalsmenge für jeden Punkt.
Außerdem stellt die globale Merkmalsmengen-Berechnungseinheit 203 eine globale Verarbeitungsstruktur dar, die eine Verarbeitung durchführt, die sich nicht auf die globale Merkmalsmenge R als Ganzes auswirkt, selbst wenn die Reihenfolge der Punkte geändert wird.
Das heißt, die Objekterkennungseinheit 181 in 3 der vorliegenden Offenbarung enthält die oben beschriebene lokale Verarbeitungsstruktur, die die Verarbeitung für jeden Punkt durchführt, und die oben beschriebene globale Verarbeitungsstruktur, die das Verarbeitungsergebnis nicht beeinflusst, selbst wenn die Reihenfolge der Punkte geändert wird, und das PointNet wird als Ganzes gebildet.
Dann wird in der Objekterkennungseinheit 181 in 3 der vorliegenden Offenbarung die Merkmalsmenge für jeden Punkt in der Punktwolke (PC) durch die lokale Verarbeitungsstruktur berechnet, und die Objekterkennungsverarbeitung für jeden Punkt wird unter Verwendung der globalen Merkmalsmenge R einschließlich der berechneten Merkmalsmengen durch die globale Struktur durchgeführt.
<Objekterkennungsverarbeitung der ersten Ausführungsform>
Als Nächstes wird die Objekterkennungsverarbeitung durch die Objekterkennungseinheit 181 in 3 gemäß der ersten Ausführungsform unter Bezugnahme auf die Flussdiagramme in 4 und 5 beschrieben.
In Schritt S11 erfasst die erste Merkmalsmengen-Berechnungseinheit 221 der lokalen Merkmalsmengen-Berechnungseinheit 201 die Punktwolke (PC), die von den Umgebungsinformations-Erfassungssensoren, wie z. B. einem Ultraschallsensor, einem Radar, einem Light Detection and Ranging- oder einem Laser Imaging Detection and Ranging-(LiDAR)-Entfernungsmesser, einer Stereokamera und einem Sonar erfasst wird, die von der Datenerfassungseinheit 102 geliefert werden.
In Schritt S12 berechnet die erste Merkmalsmengen-Berechnungseinheit 221 die erste Merkmalsmenge aus der Punktwolke (PC) und gibt die erste Merkmalsmenge an die zweite Merkmalsmengen-Berechnungseinheit 222 und die erste Merkmalsmengen-Extraktionseinheit 281 der Merkmalsmengen-Extraktionseinheit 205 aus.
In Schritt S13 extrahiert die erste Merkmalsmengen-Extraktionseinheit 281 die erste Merkmalsmenge, die von der ersten Merkmalsmengen-Berechnungseinheit 221 geliefert wird, und gibt die erste Merkmalsmenge an die Merkmalsmengen-Übertragungssteuereinheit 206 aus. Daraufhin addiert die Merkmalsmengen-Übertragungssteuereinheit 206 zu der gelieferten ersten Merkmalsmenge einen Zeitstempel entsprechend der aktuellen Uhrzeit in einer Systemuhr (nicht dargestellt) und speichert die erste Merkmalsmenge.
In Schritt S14 erhält die zweite Merkmalsmengen-Berechnungseinheit 222 die erste Merkmalsmenge, die von der ersten Merkmalsmengen-Berechnungseinheit 221 geliefert wird, berechnet die zweite Merkmalsmenge aus der ersten Merkmalsmenge und gibt die zweite Merkmalsmenge an die dritte Merkmalsmengen-Berechnungseinheit 223 und die zweite Merkmalsmengen-Extraktionseinheit 282 der Merkmalsmengen-Extraktionseinheit 205 aus.
In Schritt S15 extrahiert die zweite Merkmalsmengen-Extraktionseinheit 282 der Merkmalsmengen-Extraktionseinheit 205 die zweite Merkmalsmenge, die von der zweiten Merkmalsmengen-Berechnungseinheit 222 geliefert wird, und gibt die zweite Merkmalsmenge an die Merkmalsmengen-Übertragungssteuereinheit 206 aus. Daraufhin addiert die Merkmalsmengen-Übertragungssteuereinheit 206 einen Zeitstempel, der der aktuellen Uhrzeit in der Systemuhr entspricht (nicht dargestellt), zu der gelieferten zweiten Merkmalsmenge und speichert die zweite Merkmalsmenge.
In Schritt S16 erhält die dritte Merkmalsmengen-Berechnungseinheit 223 die zweite Merkmalsmenge, die von der zweiten Merkmalsmengen-Berechnungseinheit 222 geliefert wird, berechnet die dritte Merkmalsmenge aus der zweiten Merkmalsmenge und gibt die dritte Merkmalsmenge als lokale Merkmalsmenge an die Merkmalsmengen-Kombinationseinheit 202 und die dritte Merkmalsmengen-Extraktionseinheit 283 der Merkmalsmengen-Extraktionseinheit 205 aus.
In Schritt S17 extrahiert die dritte Merkmalsmengen-Extraktionseinheit 283 der Merkmalsmengen-Extraktionseinheit 205 die dritte Merkmalsmenge, die von der dritten Merkmalsmengen-Berechnungseinheit 223 geliefert wird, und gibt die dritte Merkmalsmenge an die Merkmalsmengen-Übertragungssteuereinheit 206 aus. Daraufhin fügt die Merkmalsmengen-Übertragungssteuereinheit 206 der gelieferten dritten Merkmalsmenge einen Zeitstempel hinzu, der der aktuellen Uhrzeit in der Systemuhr entspricht (nicht dargestellt), und speichert die dritte Merkmalsmenge.
In Schritt S18 steuert die Merkmalsmengen-Übertragungssteuereinheit 206 die Kommunikationseinheit 103, um festzustellen, ob die Anforderung von Merkmalsmengen aus der Umgebung eines anderen Autos übertragen worden ist oder nicht.
Wenn in Schritt S18 festgestellt wird, dass die Anforderung von Merkmalsmengen von einem anderen Auto übertragen worden ist, geht die Verarbeitung zu Schritt S19 über.
In Schritt S19 empfängt die Merkmalsmengen-Übertragungssteuereinheit 206 die Anforderung von Merkmalsmengen, die von einem anderen Auto übertragen wurden.
In Schritt S20 wählt die Merkmalsmengen-Übertragungssteuereinheit 206 aus den gespeicherten ersten bis dritten Merkmalsmengen die erste bis dritte Merkmalsmenge aus, die dem aktuellen Zeitpunkt am nächsten liegt.
In Schritt S21 steuert die Merkmalsmengen-Übertragungssteuereinheit 206 die Kommunikationseinheit 103, um die ausgewählten ersten bis dritten Merkmalsmengen der Zeit, die der aktuellen Zeit am nächsten liegt, an das andere Auto zu übertragen, das Merkmalsmengen angefordert hat.
Zu diesem Zeitpunkt überträgt die Merkmalsmengen-Übertragungssteuereinheit 206 Eigenpositionsinformationen und Eigenlageinformationen, die von der Eigenpositions-Schätzungseinheit 132 erfasst wurden, gemeinsam an das andere Auto, das die Merkmalsmengen angefordert hat.
Beachten Sie, dass die Eigenpositionsinformationen und die Eigenlageinformationen Informationen zur Umwandlung der Positionsinformationen jedes Punktes der Punktwolke (PC) einschließlich eines Koordinatensystems (lokales Koordinatensystem) im Fahrzeug 51 in ein globales Koordinatensystem oder ein lokales Koordinatensystem des anderen Autos sind.
Daher sind in einem Fall, in dem die Positionsinformationen jedes Punktes in der Punktwolke (PC) im globalen Koordinatensystem ausgedrückt werden, die Eigenpositionsinformationen und die Eigenlageinformationen nicht erforderlich.
Außerdem wird in Schritt S18 die Verarbeitung in den Schritten S19 bis S21 übersprungen, wenn festgestellt wird, dass keine Anforderung zur Übertragung der Merkmalsmengen vorliegt, und die Merkmalsmengen werden nicht an das andere Auto übertragen.
In Schritt S22 (5) erkennt die Fahrzeugerkennungseinheit 182 ein Fahrzeug (ein anderes Auto), das sich dem Benutzerauto nähert, durch Kommunikation mit Fahrzeugen in der Umgebung des Benutzerautos durch Fahrzeug-zu-Fahrzeug-Kommunikation oder dergleichen.
In Schritt S23 bestimmt die Merkmalsmengen-Empfangssteuereinheit 207 auf der Grundlage des Erkennungsergebnisses der Fahrzeugerkennungseinheit 182, ob sich andere Autos in der Nähe des Benutzerautos innerhalb einer vorbestimmten Entfernung zum Benutzerauto befinden oder nicht.
In Schritt S23, zum Beispiel, wie in 1 dargestellt, wenn die Fahrzeuge 31-2 und 31-4 als andere Autos innerhalb eines Bereichs der gestrichelten Linie, die die vorbestimmte Entfernung vom Fahrzeug 31-1 als Benutzerauto anzeigt, vorhanden sind, wird bestimmt, dass andere Autos in der Nähe des Benutzerautos vorhanden sind. Wie in 1 dargestellt, wird, wenn festgestellt wird, dass sich andere Autos in der Nähe des Benutzerautos befinden, die Verarbeitung mit Schritt S24 fortgesetzt.
In Schritt S24 steuert die Merkmalsmengen-Empfangssteuereinheit 207 die Kommunikationseinheit 103, um die anderen Autos innerhalb der vorbestimmten Entfernung vom Benutzerauto aufzufordern, die Merkmalsmengen zu übertragen.
Bei dieser Verarbeitung wird die Anfrage eines anderen Autos im oben beschriebenen Schritt S18 in der Objekterkennungsverarbeitung in den anderen Autos empfangen, und somit werden die Merkmalsmengen von den anderen Autos durch die Verarbeitung der Schritte S19 bis S21 an das Benutzerauto übertragen.
Daher steuert die Merkmalsmengen-Empfangssteuereinheit 207 in Schritt S25 die Kommunikationseinheit 103, um die Merkmalsmengen und die Positions- und Lageinformationen der anderen Autos zu erfassen, die von den anderen Autos übertragen werden, und liefert die Merkmalsmengen und die Informationen an die Merkmalsmengen-Auswahleinheit 208.
In Schritt S26 wählt die Merkmalsmengen-Auswahleinheit 208 aus den gelieferten Merkmalsmengen die Merkmalsmengen der zum Zeitstempel hinzugefügten Zeit aus, die der aktuellen Zeit am nächsten ist, und gibt die ausgewählten Merkmalsmengen an die Merkmalsmengen-Kombinationseinheit 202 aus. Zu diesem Zeitpunkt liefert die Merkmalsmengen-Auswahleinheit 208 auch die Positions- und Lageinformationen des anderen Autos, das die ausgewählten Merkmalsmengen übertragen hat, an die Merkmalsmengen-Kombinationseinheit 202.
In Schritt S27 kombiniert die Merkmalsmengen-Kombinationseinheit 202 die Merkmalsmenge, die von dem anderen Auto übertragen und von der Merkmalsmengen-Auswahleinheit 208 geliefert wurde, und die Merkmalsmenge, die von der lokalen Merkmalsmengen-Berechnungseinheit 201 übertragen wurde, und gibt die kombinierte Merkmalsmenge an die globale Merkmalsmengen-Berechnungseinheit 203 aus.
Hier ermittelt die Merkmalsmengen-Kombinationseinheit 202 die dritte Merkmalsmenge für die erste Merkmalsmenge und die zweite Merkmalsmenge unter den von dem anderen Auto übertragenen Merkmalsmengen, indem sie die eingebaute zweite Merkmalsmengen-Berechnungseinheit 271 und die dritte Merkmalsmengen-Berechnungseinheit 272 verwendet, und kombiniert die von der lokalen Merkmalsmengen-Berechnungseinheit 201 gelieferte dritte Merkmalsmenge für jeden Punkt.
Zu diesem Zeitpunkt legt die Merkmalsmengen-Kombinationseinheit 202 die Gewichtungen entsprechend der Positionsbeziehung zwischen dem anderen Auto, das die Merkmalsmengen übertragen hat, und dem Benutzerauto sowie den DNN-Strukturen fest und kombiniert die dritten Merkmalsmengen durch die Produktsumme unter Verwendung der Gewichtungen. Darüber hinaus wandelt die Merkmalsmengen-Kombinationseinheit 202 die Positionsinformationen auf der Grundlage der Positions- und Lageinformationen des anderen Autos in ihr eigenes Koordinatensystem um und kombiniert die dritte Merkmalsmenge des anderen Autos mit der von der lokalen Merkmalsmengen-Berechnungseinheit 201 berechneten dritten Merkmalsmenge.
In Schritt S28 berechnet die globale Merkmalsmengen-Berechnungseinheit 203 die globale Merkmalsmenge R beispielsweise durch Maxpooling auf der Grundlage der dritten Merkmalsmenge, die von der Merkmalsmengen-Kombinationseinheit geliefert wird, und gibt die globale Merkmalsmenge R an die Erkennungseinheit 204 aus.
In Schritt S29 führt die Erkennungseinheit 204 die Objekterkennungsverarbeitung für jeden Punkt in der globalen Merkmalsmenge R durch und gibt das Objekterkennungsergebnis aus.
In Schritt S30 bestimmt die Objekterkennungseinheit 181, ob eine Anweisung zur Beendigung der Verarbeitung gegeben worden ist oder nicht. Wenn die Anweisung zur Beendigung nicht gegeben wurde, kehrt die Verarbeitung zu Schritt S11 zurück (4), und die Verarbeitung in Schritt S11 und den nachfolgenden Schritten wird wiederholt.
Wenn in Schritt S23 festgestellt wird, dass sich das Fahrzeug 51 nicht in der Nähe innerhalb der vorbestimmten Entfernung zum Benutzerauto befindet und keine anderen Autos vorhanden sind, wird die Verarbeitung mit Schritt S31 fortgesetzt.
In Schritt S31 gibt die Merkmalsmengen-Kombinationseinheit 202 die von der lokalen Merkmalsmengen-Berechnungseinheit 201 berechnete dritte Merkmalsmenge unverändert an die globale Merkmalsmengen-Berechnungseinheit 203 aus.
Das heißt, dass die Tatsache, dass sich keine anderen Autos in der Nähe des Benutzerautos befinden, bedeutet, dass es kein Angebot der Merkmalsmengen durch die anderen Autos gibt. Daher wird die Verarbeitung mit Schritt S30 fortgesetzt, und die globale Merkmalsmenge, die nur die dritte Merkmalsmenge des Benutzerautos verwendet, wird berechnet, und die Objekterkennungsverarbeitung wird durchgeführt.
Gemäß der obigen Verarbeitungsreihe wird in dem Fall, in dem sich ein anderes Auto in der Nähe innerhalb einer vorbestimmten Entfernung zum Benutzerauto befindet, das andere Auto aufgefordert, die Merkmalsmengen zu senden, und die bei der Objekterkennungsverarbeitung des anderen Autos berechneten Merkmalsmengen werden als Reaktion auf die Aufforderung erfasst. Dann werden die im Benutzerauto berechnete Merkmalsmenge und die erfasste Merkmalsmenge des anderen Autos kombiniert, und die Objekterkennungsverarbeitung wird gemeinsam unter Verwendung der Merkmalsmengen des Benutzerautos und des anderen Autos durchgeführt.
Da die Merkmalsmenge durch die Verwendung des Erfassungsergebnisses des anderen Autos und des Erfassungsergebnisses des Benutzerautos erhalten wird, kann die Objekterkennungsverarbeitung mit einer Erkennungsgenauigkeit implementiert werden, die dem Fall der Verwendung eines Erfassungsergebnisses der gesamten Punktwolke entspricht.
Außerdem ist in der obigen Beschreibung ein Beispiel beschrieben worden, in dem alle drei Arten von Merkmalsmengen der ersten Merkmalsmenge, der zweiten Merkmalsmenge und der dritten Merkmalsmenge an ein anderes Auto übertragen oder von einem anderen Auto übertragen werden. Einige der Arten von Merkmalsmengen können jedoch von einem anderen Auto übertragen werden. Beispielsweise kann eine oder eine Kombination von zwei der drei Arten der ersten Merkmalsmenge, der zweiten Merkmalsmenge und der dritten Merkmalsmenge übertragen werden.
Darüber hinaus können die zu übertragenden und zu empfangenden Merkmalsmengen je nach Kommunikationslast zufällig abgetastet werden, so dass die Datenmenge begrenzt ist und die Datenmenge reduziert werden kann.
Darüber hinaus ist in der obigen Beschreibung ein Beispiel beschrieben worden, bei dem die Merkmalsmengen von einem anderen Auto in der Nähe des Benutzerautos erfasst werden und die Merkmalsmenge des anderen Autos mit der Merkmalsmenge des Benutzerautos kombiniert wird und die Objekterkennungsverarbeitung durchgeführt wird. Die Merkmalsmengen können jedoch auch von anderen Objekten als dem Fahrzeug in der Nähe des Benutzerautos erfasst werden, solange die Merkmalsmengen mithilfe einer Punktwolke ermittelt werden können. So werden beispielsweise Merkmalsmengen, die auf der Grundlage der von LiDAR- oder Stereokameras am Straßenrand erfassten Punktwolke berechnet wurden, angefordert und erfasst, und die Merkmalsmenge wird mit der im Benutzerauto berechneten Merkmalsmenge kombiniert, und die Objekterkennungsverarbeitung kann durchgeführt werden.
Das heißt, dass die Merkmalsmengen von etwas anderem als dem Benutzerauto nicht nur durch die oben beschriebene V2V-Kommunikation, sondern auch durch V2X-Kommunikation erfasst werden können.
Außerdem kann bei der Objekterkennungsverarbeitung die Objekterkennungsgenauigkeit erhöht werden, wenn die Anzahl der erfassten Merkmalsmengen größer ist. Daher kann die Objekterkennungsgenauigkeit weiter verbessert werden, wenn sich mehr andere Autos in der Nähe des Benutzerautos befinden und die Merkmalsmengen von mehr anderen Autos erfasst werden.
Darüber hinaus kann die Sensorfusion in der Objekterkennungseinheit 181 der vorliegenden Offenbarung leicht implementiert werden, da die Punktwolke (PC) ein LiDAR, eine Stereokamera, ein Tiefenbild oder dergleichen sein kann.
Außerdem kann die als Eingabe dienende Punktwolke (PC) verschiedene Formen haben, solange die Punktwolkeninformationen gebildet werden, und kann zum Beispiel dreidimensionale Punktwolkeninformationen oder zweidimensionale Punktwolkeninformationen sein.
«3. Modifikationen der ersten Ausführungsform»
In der obigen Beschreibung ist ein Beispiel beschrieben worden, bei dem in dem Fall, dass sich ein anderes Auto in der Nähe des Benutzerautos befindet und das andere Auto die Merkmalsmengen anfordert, das Benutzerauto die Merkmalsmengen überträgt und ebenfalls die Merkmalsmengen anfordert, die Merkmalsmengen von dem anderen Auto erhält und die Merkmalsmengen des Benutzerautos und die Merkmalsmengen des anderen Autos kombiniert werden und die Objekterkennungsverarbeitung gemeinsam durchgeführt wird. Es kann jedoch eine Bedingung für die bei dem anderen Auto anzufordernden Merkmalsmengen festgelegt werden, und nur die Merkmalsmengen, die der festgelegten Bedingung entsprechen, können von dem anderen Auto bezogen werden.
Das heißt, zum Beispiel, ein Fall, in dem die DNN-Struktur des Benutzerautos sich von der DNN-Struktur des anderen Autos unterscheidet, das heißt, ein Fall, in dem die Gewichtungskoeffizienten und dergleichen, die mit den Berechnungen der ersten Merkmalsmengen-Berechnungseinheit 221, der zweiten Merkmalsmengen-Berechnungseinheit 222 und der dritten Merkmalsmengen-Berechnungseinheit 223 verbunden sind, unterschiedlich sind, wird berücksichtigt.
Da in einem solchen Fall die vom Benutzerauto und dem anderen Auto erhaltenen Merkmalsmengen nicht unter den gleichen Bedingungen berechnet werden, besteht die Möglichkeit, dass die Erkennungsgenauigkeit nicht unbedingt verbessert werden kann, selbst wenn die Merkmalsmengen des Benutzerautos und des anderen Autos kombiniert werden und die Objekterkennung durchgeführt wird.
Wenn also die Merkmalsmengen vom Benutzerauto an das andere Auto angefordert werden, wird die Information der DNN-Struktur des Benutzerautos (der Wert des Gewichtungskoeffizienten bei der Berechnung der Merkmalsmengen oder dergleichen) zusammen als Bedingung für die angeforderten Merkmalsmengen übertragen. Dann überträgt das andere Auto, das die Anfrage nach den Merkmalsmengen empfangen hat, die Merkmalsmengen als Antwort auf die Anfrage nur in dem Fall, in dem die DNN-Struktur mit der Bedingung übereinstimmt und diese erfüllt.
Auf diese Weise werden nur die Merkmalsmengen, die die Bedingung erfüllen, die die gleiche DNN-Struktur wie die DNN-Struktur des Benutzerautos einschließt, von dem anderen Auto übertragen, und die Merkmalsmengen des Benutzerautos und des anderen Autos, die unter der gleichen DNN-Struktur berechnet wurden, werden kombiniert und die Objekterkennungsverarbeitung wird durchgeführt. Dadurch kann die Objekterkennungsgenauigkeit verbessert werden.
Beachten Sie, dass, obwohl der Fall, in dem die Bedingung für die Merkmalsmengen die DNN-Struktur ist, beschrieben worden ist, eine andere Bedingung verwendet werden kann. Beispielsweise können Informationen verwendet werden, die einen oder zwei der ersten Merkmalsmenge, der zweiten Merkmalsmenge und der dritten Merkmalsmenge angeben, oder Informationen über einen Zeitbereich, der den Zeitpunkt angibt, zu dem die Merkmalsmenge berechnet worden ist. Außerdem kann die Bedingung für die Merkmalsmengen eine Bedingung für die Beschränkung der Merkmalsmengen auf die Merkmalsmengen eines anderen Autos sein, das sich außerhalb des Sichtfelds des Benutzerautos befindet, eine Bedingung für den Ausschluss der Merkmalsmengen anderer Autos, die sich hinter dem Benutzerauto befinden, oder eine Bedingung für die Beschränkung der Merkmalsmengen auf nur die Merkmalsmengen eines anderen Autos, das dem Benutzerauto gegenübersteht.
Hier wird die Objekterkennungsverarbeitung mit Bezug auf die Flussdiagramme in 6 und 7 in einem Fall beschrieben, in dem die Bedingung für Merkmalsmengen, die von einem anderen Auto angefordert werden sollen, festgelegt ist und die Merkmalsmengen in einem Fall angefordert werden, in dem das Benutzerauto das andere Auto auffordert, die Merkmalsmengen zu übertragen, und das andere Auto nur die Merkmalsmengen überträgt, die der festgelegten Bedingung entsprechen.
Beachten Sie, dass die Verarbeitung in den Schritten S51 bis S58, den Schritten S64 und S65 und den Schritten S71 bis S74 in den Flussdiagrammen in 6 und 7 der Verarbeitung in den Schritten S11 bis S18 und den Schritten S28 bis S31 in 4 und 5 ähnlich ist, so dass die Beschreibung dieser Schritte weggelassen wird.
Das heißt, in Schritt S58 wird in einem Fall, in dem festgestellt wird, dass die Anforderung zur Übertragung von Merkmalsmengen übertragen worden ist, die Verarbeitung mit Schritt S59 fortgesetzt.
In Schritt S59 empfängt die Merkmalsmengen-Übertragungssteuereinheit 206 die von einem anderen Auto übertragene Anforderung von Merkmalsmengen zusammen mit der Bedingung für Merkmalsmengen.
In Schritt S60 bestimmt die Merkmalsmengen-Übertragungssteuereinheit 206, ob es Merkmalsmengen gibt, die der Bedingung entsprechen oder nicht.
Wenn die Merkmalsmengen der Bedingung in Schritt S60 entsprechen, wird die Verarbeitung mit Schritt S61 fortgesetzt.
In Schritt S61 wählt die Merkmalsmengen-Übertragungssteuereinheit 206 die Merkmalsmengen, die der Bedingung entsprechen, aus den gespeicherten ersten bis dritten Merkmalsmengen aus.
In Schritt S62 steuert die Merkmalsmengen-Übertragungssteuereinheit 206 die Kommunikationseinheit 103, um die ausgewählten Merkmalsmengen, die der Bedingung entsprechen, an das andere Auto zu übertragen, das die Merkmalsmengen angefordert hat. Zu diesem Zeitpunkt überträgt die Merkmalsmengen-Übertragungssteuereinheit 206 Eigenpositionsinformationen und Eigenlageinformationen, die von der Eigenpositions-Schätzungseinheit 132 erfasst wurden, gemeinsam an das andere Auto, das die Merkmalsmengen angefordert hat.
Beachten Sie, dass in Schritt S60 die Verarbeitung mit Schritt S63 fortgesetzt wird, wenn keine Merkmalsmengen vorhanden sind, die der Bedingung entsprechen.
In Schritt S63 steuert die Merkmalsmengen-Übertragungssteuereinheit 206 die Kommunikationseinheit 103, um eine Benachrichtigung zu übertragen, die angibt, dass keine Merkmalsmengen vorhanden sind, die der Bedingung entsprechen, an das andere Auto, das die Merkmalsmengen angefordert hat.
Gemäß der obigen Verarbeitung werden in dem Fall, in dem die Merkmalsmengen von einem anderen Auto angefordert werden, und wenn die Merkmalsmengen, die der Bedingung entsprechen, zusammen mit der Anforderung empfangen werden, die Merkmalsmengen, die der Bedingung entsprechen, an das andere Auto übertragen, wohingegen in dem Fall, in dem keine Merkmalsmengen vorhanden sind, die der Bedingung entsprechen, die Benachrichtigung, dass keine Merkmalsmengen vorhanden sind, die der Bedingung entsprechen, übertragen wird.
Darüber hinaus steuert die Merkmalsmengen-Empfangssteuereinheit 207 in Schritt S66 (7) die Kommunikationseinheit 103 in dem Fall, dass sich ein anderes Auto in der Nähe des Benutzerautos befindet, um die Benachrichtigung, die Merkmalsmengen anfordert, zusammen mit den Zustandsinformationen für Merkmalsmengen an das andere Auto in der Nähe innerhalb einer vorbestimmten Entfernung vom Benutzerauto zu senden.
In Schritt S67 stellt die Merkmalsmengen-Empfangssteuereinheit 207 fest, ob von dem anderen Auto, an das die Anforderung von Merkmalsmengen übertragen wurde, eine Benachrichtigung übertragen wurde, die angibt, dass keine Merkmalsmengen vorhanden sind, die der Bedingung entsprechen.
In Schritt S67 wird in dem Fall, dass die Merkmalsmengen, die der Bedingung entsprechen, von dem anderen Auto, an das die Anforderung von Merkmalsmengen übertragen wurde, übertragen werden, zum Beispiel die Mitteilung, dass es keine Merkmalsmengen gibt, die der Bedingung entsprechen, nicht von dem anderen Auto, an das die Anforderung von Merkmalsmengen übertragen wurde, übertragen. Daher wird die Verarbeitung mit Schritt S68 fortgesetzt.
In Schritt S68 steuert die Merkmalsmengen-Empfangssteuereinheit 207 die Kommunikationseinheit 103, um die Merkmalsmengen zu erfassen, die mit dem Zustand und den Positions- und Lageinformationen des anderen Autos übereinstimmen, die von dem anderen Auto übertragen werden, und liefert die Merkmalsmengen und die erfassten Informationen an die Merkmalsmengen-Auswahleinheit 208.
In Schritt S69 wählt die Merkmalsmengen-Auswahleinheit 208 die Merkmalsmengen der zum Zeitstempel hinzugefügten Zeit aus, die unter den Merkmalsmengen, die der Bedingung entsprechen, der aktuellen Zeit am nächsten liegt, und gibt die ausgewählten Merkmalsmengen an die Merkmalsmengen-Kombinationseinheit 202 aus. Zu diesem Zeitpunkt liefert die Merkmalsmengen-Auswahleinheit 208 auch die Positions- und Lageinformationen des anderen Autos, das die ausgewählten Merkmalsmengen übertragen hat, an die Merkmalsmengen-Kombinationseinheit 202.
In Schritt S70 kombiniert die Merkmalsmengen-Kombinationseinheit 202 die Merkmalsmengen, die mit der Bedingung übereinstimmen, die von dem anderen Auto übertragen wurde, das von der Merkmalsmengen-Auswahleinheit 208 geliefert wurde, und die Merkmalsmengen des Benutzerautos, die von der lokalen Merkmalsmengen-Berechnungseinheit 201 übertragen wurden, und gibt die kombinierte Merkmalsmenge an die globale Merkmalsmengen-Berechnungseinheit 203 aus.
Darüber hinaus wird in Schritt S67 in dem Fall, in dem die Benachrichtigung, die angibt, dass keine der Bedingung entsprechenden Merkmalsmengen vorhanden sind, von dem anderen Auto übertragen worden ist, an das die Anforderung von Merkmalsmengen übertragen worden ist, die Verarbeitung mit Schritt S74 fortgesetzt.
Das heißt, in diesem Fall wird die Objekterkennungsverarbeitung nur mit den von der lokalen Merkmalsmengen-Berechnungseinheit 201 des benutzereigenen Autos berechneten Merkmalsmengen durchgeführt, da die Meldung, dass keine Merkmalsmengen vorhanden sind, die die Bedingung erfüllen, übertragen wird und die Merkmalsmengen nicht übertragen werden.
Beachten Sie, dass in dem Fall, in dem sich eine Vielzahl anderer Autos in der Nähe des Benutzerautos befinden, nur die Merkmalsmengen von einem anderen Fahrzeug, das die Merkmalsmengen, die der Bedingung entsprechen, übertragen hat, empfangen und bei der Objekterkennungsverarbeitung verwendet werden.
Durch die obige Verarbeitung werden nur die Merkmalsmengen, die der Bedingung entsprechen, von dem anderen Auto übertragen, und nur die Merkmalsmengen, die der Bedingung entsprechen und von dem Benutzerauto und dem anderen Auto berechnet werden, werden kombiniert, und die Objekterkennungsverarbeitung wird durchgeführt. Dadurch kann die Objekterkennungsgenauigkeit verbessert werden.
Beachten Sie, dass in der obigen Beschreibung ein Beispiel beschrieben wurde, in dem das Fahrzeug 51 die Anforderung von Merkmalsmengen an ein anderes Auto zusammen mit der Bedingung für die anzufordernden Merkmalsmengen an das andere in der Nähe befindliche Auto sendet, und das andere Auto, das die Anforderung erhalten hat, die Merkmalsmengen sendet, wenn es Merkmalsmengen gibt, die der Bedingung entsprechen, oder die Benachrichtigung sendet, dass es keine Merkmalsmengen gibt, die der Bedingung entsprechen, wenn es keine Merkmalsmengen gibt, die der Bedingung entsprechen.
Wenn sich jedoch ein anderes Auto in der Nähe befindet, kann das Fahrzeug 51 das andere Auto in der Nähe auffordern, die Merkmalsmengen zu übertragen, das andere Auto, das die Aufforderung erhalten hat, kann die Merkmalsmengen unabhängig von der Bedingung übertragen, und das Fahrzeug 51, das die Merkmalsmengen angefordert hat, kann die Merkmalsmengen, die der Bedingung entsprechen, aus den empfangenen Merkmalsmengen auswählen und verwenden und die nicht ausgewählten Merkmalsmengen verwerfen.
«4. Zweite Ausführungsform»
<Zweites Konfigurationsbeispiel der Objekterkennungseinheit>
In der obigen Beschreibung ist ein Beispiel beschrieben worden, in dem die Objekterkennungseinheit 181 durch PointNet konfiguriert wird. Es kann jedoch auch eine andere Konfiguration gewählt werden, solange eine DNN-Struktur implementiert ist, und zum Beispiel kann eine Objekterkennungseinheit durch PointNet++ konfiguriert werden.
Hier bezieht sich PointNet++ auf ein neuronales Netzwerk, das Punktwolkeninformationen als Eingabe empfängt und auf der Grundlage der eingegebenen Punktwolkeninformationen ein vorbestimmtes Verarbeitungsergebnis ausgibt, ähnlich wie PointNet.
8 ist ein Diagramm, das ein zweites Konfigurationsbeispiel einer Objekterkennungseinheit 181 zeigt, die von PointNet++ konfiguriert wurde.
Die Objekterkennungseinheit 181 in 8 umfasst eine lokale Merkmalsmengen-Berechnungseinheit 301, eine Merkmalsmengen-Kombinationseinheit 302, eine globale Merkmalsmengen-Berechnungseinheit 303, eine Erkennungseinheit 304, eine Merkmalsmengen-Extraktionseinheit 305, eine Merkmalsmengen-Übertragungssteuereinheit 306, eine Merkmalsmengen-Empfangssteuereinheit 307 und eine Merkmalsmengen-Auswahleinheit 308.
Die lokale Merkmalsmengen-Berechnungseinheit 301 berechnet stufenweise lokale Merkmalsmengen für jeden Punkt in einer Punktwolke (PC) und umfasst eine erste Merkmalsmengen-Berechnungseinheit 321, eine zweite Merkmalsmengen-Berechnungseinheit 322 und eine dritte Merkmalsmengen-Berechnungseinheit 323.
Die erste Merkmalsmengen-Berechnungseinheit 321 berechnet eine erste Merkmalsmenge, die eine Merkmalsmenge der ersten Stufe in Einheiten von Gruppen ist, wobei jede Gruppe eine Vielzahl von Punkten unter den Punkten enthält, die die Punktwolke (PC) bilden, und gibt die erste Merkmalsmenge an die zweite Merkmalsmengen-Berechnungseinheit 322, eine erste Merkmalsmengen-Kombinationseinheit 341 der Merkmalsmengen-Kombinationseinheit 302 und eine erste Merkmalsmengen-Extraktionseinheit 381 der Merkmalsmengen-Extraktionseinheit 305 aus.
Beachten Sie, dass hier die Gruppe, die eine Einheit ist, in der die erste Merkmalsmenge durch die erste Merkmalsmengen-Berechnungseinheit 321 erhalten wird, als erste hierarchische Gruppe bezeichnet wird.
Die zweite Merkmalsmengen-Berechnungseinheit 322 berechnet eine zweite Merkmalsmenge, die eine Merkmalsmenge der zweiten Stufe in Einheiten von Gruppen ist, wobei jede Gruppe eine Vielzahl der ersten Merkmalsmengen unter den ersten Merkmalsmengen enthält, die durch die erste Merkmalsmengen-Berechnungseinheit 321 erhalten wurden, und gibt die zweite Merkmalsmenge an die dritte Merkmalsmengen-Berechnungseinheit 323, eine zweite Merkmalsmengen-Kombinationseinheit 342 der Merkmalsmengen-Kombinationseinheit 302 und eine zweite Merkmalsmengen-Extraktionseinheit 382 der Merkmalsmengen-Extraktionseinheit 305 aus.
Beachten Sie, dass hier die Gruppe, die eine Einheit ist, in der die zweite Merkmalsmenge durch die zweite Merkmalsmengen-Berechnungseinheit 322 erhalten wird, als zweite hierarchische Gruppe bezeichnet wird.
Die dritte Merkmalsmengen-Berechnungseinheit 323 berechnet eine dritte Merkmalsmenge, die eine Merkmalsmenge der dritten Stufe in Einheiten von Gruppen ist, wobei jede Gruppe eine Vielzahl der zweiten Merkmalsmengen unter den zweiten Merkmalsmengen enthält, die durch die zweite Merkmalsmengen-Berechnungseinheit 322 erhalten wurden, und gibt die dritte Merkmalsmenge an eine dritte Merkmalsmengen-Kombinationseinheit 343 der Merkmalsmengen-Kombinationseinheit 302 und eine dritte Merkmalsmengen-Extraktionseinheit 383 der Merkmalsmengen-Extraktionseinheit 305 aus.
Beachten Sie, dass hier die Gruppe, die eine Einheit ist, in der die dritte Merkmalsmenge durch die dritte Merkmalsmengen-Berechnungseinheit 323 erhalten wird, als dritte hierarchische Gruppe bezeichnet wird.
Die Merkmalsmengen-Kombinationseinheit 302 kombiniert die erste Merkmalsmenge, die zweite Merkmalsmenge und die dritte Merkmalsmenge, die von einem anderen Auto über die Kommunikationseinheit 103, die Merkmalsmengen-Empfangssteuereinheit 307 und die Merkmalsmengen-Auswahleinheit 308 geliefert werden, mit der ersten Merkmalsmenge, der zweiten Merkmalsmenge bzw. der dritten Merkmalsmenge, die von der lokalen Merkmalsmengen-Berechnungseinheit 301 geliefert werden, und gibt die kombinierten Merkmalsmengen an die globale Merkmalsmengen-Berechnungseinheit 303 aus.
Genauer gesagt, umfasst die Merkmalsmengen-Kombinationseinheit 302 die erste Merkmalsmengen-Kombinationseinheit 341, die zweite Merkmalsmengen-Kombinationseinheit 342 und die dritte Merkmalsmengen-Kombinationseinheit 343.
Die erste Merkmalsmengen-Kombinationseinheit 341 kombiniert die erste Merkmalsmenge, die von der ersten Merkmalsmengen-Berechnungseinheit 321 geliefert wird, und die erste Merkmalsmenge, die von einem anderen Auto geliefert wird, das von der Merkmalsmengen-Auswahleinheit 308 geliefert wird, und gibt die kombinierte erste Merkmalsmenge an eine zweite Merkmalsmengen-Berechnungseinheit 362 der globalen Merkmalsmengen-Berechnungseinheit 303 aus.
Die zweite Merkmalsmengen-Kombinationseinheit 342 kombiniert die zweite Merkmalsmenge, die von der zweiten Merkmalsmengen-Berechnungseinheit 322 geliefert wird, und die zweite Merkmalsmenge, die von einem anderen Auto geliefert wird, das von der Merkmalsmengen-Auswahleinheit 308 geliefert wird, und gibt die kombinierte zweite Merkmalsmenge an eine dritte Merkmalsmengen-Berechnungseinheit 361 der globalen Merkmalsmengen-Berechnungseinheit 303 aus.
Die dritte Merkmalsmengen-Kombinationseinheit 343 kombiniert die dritte Merkmalsmenge, die von der dritten Merkmalsmengen-Berechnungseinheit 323 geliefert wird, und die dritte Merkmalsmenge, die von dem anderen Auto geliefert wird, das von der Merkmalsmengen-Auswahleinheit 308 geliefert wird, und gibt die kombinierte dritte Merkmalsmenge an eine dritte Merkmalsmengen-Berechnungseinheit 361 der globalen Merkmalsmengen-Berechnungseinheit 303 aus.
Die globale Merkmalsmengen-Berechnungseinheit 303 berechnet und gibt eine globale Merkmalsmenge R an jedem Punkt auf der Grundlage der ersten Merkmalsmenge, der zweiten Merkmalsmenge und der dritten Merkmalsmenge, die von der Merkmalsmengen-Kombinationseinheit 202 geliefert werden, aus.
Genauer gesagt, umfasst die globale Merkmalsmengen-Berechnungseinheit 303 die dritte Merkmalsmengen-Berechnungseinheit 361, die zweite Merkmalsmengen-Berechnungseinheit 362 und die erste Merkmalsmengen-Berechnungseinheit 363.
Die dritte Merkmalsmengen-Berechnungseinheit 361 stellt eine Merkmalsmenge einschließlich einer Punktwolke in Einheiten der zweiten hierarchischen Gruppe auf der Grundlage der dritten Merkmalsmenge, die von der dritten Merkmalsmengen-Kombinationseinheit 343 geliefert wird, und der zweiten Merkmalsmenge, die von der zweiten Merkmalsmengen-Kombinationseinheit 342 geliefert wird, wieder her und gibt das Wiederherstellungsergebnis an die zweite Merkmalsmengen-Berechnungseinheit 362 als eine globale Merkmalsmenge in Einheiten der zweiten hierarchischen Gruppe aus.
Genauer gesagt, erweitert die dritte Merkmalsmengen-Berechnungseinheit 361 die dritte Merkmalsmenge, die von der dritten Merkmalsmengen-Kombinationseinheit 343 geliefert wird, indem sie die zweite Merkmalsmenge in Einheiten der zweiten hierarchischen Gruppe verwendet, die von der zweiten Merkmalsmengen-Kombinationseinheit 342 geliefert wird, und stellt die dritte Merkmalsmenge als die zweite Merkmalsmenge wieder her, die die Merkmalsmenge der Punktwolke in Einheiten der zweiten hierarchischen Gruppe ist. Dann gibt die dritte Merkmalsmengen-Berechnungseinheit 361 das Wiederherstellungsergebnis an die zweite Merkmalsmengen-Berechnungseinheit 362 als globale Merkmalsmenge R in Einheiten der zweiten hierarchischen Gruppe aus.
Die zweite Merkmalsmengen-Berechnungseinheit 362 stellt eine Merkmalsmenge in Einheiten der ersten hierarchischen Gruppe auf der Grundlage der von der dritten Merkmalsmengen-Berechnungseinheit 361 gelieferten globalen Merkmalsmenge R in Einheiten der zweiten hierarchischen Gruppe und der von der ersten Merkmalsmengen-Kombinationseinheit 341 gelieferten ersten Merkmalsmenge wieder her und gibt das Wiederherstellungsergebnis an die erste Merkmalsmengen-Berechnungseinheit 363 als die globale Merkmalsmenge R in Einheiten der ersten hierarchischen Gruppe aus.
Genauer gesagt, erweitert die zweite Merkmalsmengen-Berechnungseinheit 362 die zweite Merkmalsmenge, die von der dritten Merkmalsmengen-Berechnungseinheit 361 geliefert wird, indem sie die erste Merkmalsmenge in Einheiten der ersten hierarchischen Gruppe verwendet, die von der ersten Merkmalsmengen-Kombinationseinheit 341 geliefert wird, und stellt die zweite Merkmalsmenge als erste Merkmalsmenge wieder her, die die Merkmalsmenge der Punktwolke in Einheiten der ersten hierarchischen Gruppe ist. Dann gibt die zweite Merkmalsmengen-Berechnungseinheit 362 das Wiederherstellungsergebnis an die erste Merkmalsmengen-Berechnungseinheit 363 als globale Merkmalsmenge R in Einheiten der ersten hierarchischen Gruppe aus.
Die erste Merkmalsmengen-Berechnungseinheit 363 stellt eine Merkmalsmenge in Einheiten jedes Punktes auf der Grundlage der globalen Merkmalsmenge R in Einheiten der ersten hierarchischen Gruppe wieder her, die von der zweiten Merkmalsmengen-Berechnungseinheit 362 und der Punktwolke (PC) geliefert wird, und gibt das Wiederherstellungsergebnis an die Erkennungseinheit 304 als die globale Merkmalsmenge R eines Objekts aus. Die Erkennungseinheit 304 führt eine Objekterkennungsverarbeitung auf der Grundlage der globalen Merkmalsmenge R durch und gibt ein Objekterkennungsergebnis aus.
Genauer gesagt, erweitert die erste Merkmalsmengen-Berechnungseinheit 363 die erste Merkmalsmenge, die von der zweiten Merkmalsmengen-Berechnungseinheit 362 geliefert wird, unter Verwendung der Punktwolke (PC) und stellt die erste Merkmalsmenge als globale Merkmalsmenge R auf der Grundlage der Merkmalsmenge der Punktwolke in Punkteinheiten wieder her. Dann gibt die erste Merkmalsmengen-Berechnungseinheit 363 das Wiederherstellungsergebnis an die Erkennungseinheit 304 als die globale Merkmalsmenge R in Einheiten von Punkten aus.
Das heißt, in der Objekterkennungseinheit 181 in 8 der vorliegenden Offenbarung bilden die lokale Merkmalsmengen-Berechnungseinheit 301 und die globale Merkmalsmengen-Berechnungseinheit 303 das PointNet++ durch DNN.
Das heißt, die erste Merkmalsmengen-Berechnungseinheit 321, die zweite Merkmalsmengen-Berechnungseinheit 322 und die dritte Merkmalsmengen-Berechnungseinheit 323 in der lokalen Merkmalsmengen-Berechnungseinheit 301 konfigurieren im Wesentlichen eine Eingabeschicht, eine verborgene Schicht und eine Ausgabeschicht in dem tiefen neuronalen Netzwerk (DNN).
Daher ist die lokale Merkmalsmengen-Berechnungseinheit 301 in 8 dazu ausgebildet, die Merkmalsmengen durch die dreistufige hierarchische Struktur wie die erste Merkmalsmengen-Berechnungseinheit 321 bis zur dritten Merkmalsmengen-Berechnungseinheit 323 zu erhalten, aber die Anzahl der Hierarchien kann jede andere Zahl als zwei oder drei sein, solange die hierarchische Struktur mindestens zwei oder mehr Hierarchien hat, die der Eingabeschicht und der Ausgabeschicht entsprechen.
Dann haben die lokale Merkmalsmengen-Berechnungseinheit 301 und die globale Merkmalsmengen-Berechnungseinheit 303 einen Lernprozess (Backpropagation) durchgeführt, wobei beispielsweise eine Position (x, y, z) und eine Farbe (r, g, b), die Punktwolken sind, als Eingaben und ein semantisches Segmentierungsetikett als richtige Antwort verwendet wurden.
Die Merkmalsmengen-Extraktionseinheit 305 extrahiert die Merkmalsmenge, die ein Berechnungsergebnis der lokalen Merkmalsmengen-Berechnungseinheit 301 ist, und liefert die Merkmalsmenge an die Merkmalsmengen-Übertragungssteuereinheit 306.
Genauer gesagt, umfasst die Merkmalsmengen-Extraktionseinheit 305 eine erste Merkmalsmengen-Extraktionseinheit 381, eine zweite Merkmalsmengen-Extraktionseinheit 382 und eine dritte Merkmalsmengen-Extraktionseinheit 383.
Die erste Merkmalsmengen-Extraktionseinheit 381 extrahiert eine erste Merkmalsmenge, die ein Berechnungsergebnis der ersten Merkmalsmengen-Berechnungseinheit 351 der lokalen Merkmalsmengen-Berechnungseinheit 301 ist, und gibt die erste Merkmalsmenge an die Merkmalsmengen-Übertragungssteuereinheit 306 aus.
Die zweite Merkmalsmengen-Extraktionseinheit 382 extrahiert eine zweite Merkmalsmenge, die ein Berechnungsergebnis der zweiten Merkmalsmengen-Berechnungseinheit 352 der lokalen Merkmalsmengen-Berechnungseinheit 301 ist, und gibt die zweite Merkmalsmenge an die Merkmalsmengen-Übertragungssteuereinheit 306 aus.
Die dritte Merkmalsmengen-Extraktionseinheit 383 extrahiert eine dritte Merkmalsmenge, die ein Berechnungsergebnis der dritten Merkmalsmengen-Berechnungseinheit 353 der lokalen Merkmalsmengen-Berechnungseinheit 301 ist, und gibt die dritte Merkmalsmenge an die Merkmalsmengen-Übertragungssteuereinheit 306 aus.
Wenn eine Anfrage nach Merkmalsmengen von einem anderen Auto in der Nähe des Benutzerautos vorliegt, steuert die Merkmalsmengen-Übertragungssteuereinheit 306 die Kommunikationseinheit 103, um die ersten bis dritten Merkmalsmengen, die z. B. durch Fahrzeug-zu-Fahrzeug-Kommunikation oder ähnliches extrahiert wurden, an das angefragte andere Auto zu übertragen.
Zu diesem Zeitpunkt überträgt die Merkmalsmengen-Übertragungssteuereinheit 306 jede der Merkmalsmengen mit Informationen zur Identifizierung, welche der ersten Merkmalsmenge, der zweiten Merkmalsmenge und der dritten Merkmalsmenge die jeweilige Merkmalsmenge ist.
Außerdem überträgt die Merkmalsmengen-Übertragungssteuereinheit 306 die Merkmalsmengen mit Informationen, die auf die Struktur eines tiefen neuronalen Netzwerks (DNN) der lokalen Merkmalsmengen-Berechnungseinheit 301 des Benutzerautos hinweisen.
In einem Fall, in dem sich andere Autos in der Nähe des Benutzerautos befinden, steuert die Merkmalsmengen-Empfangssteuereinheit 307 die Kommunikationseinheit 103, um die anderen Autos in der Nähe des Benutzerautos aufzufordern, die Merkmalsmengen zu übertragen, erfasst die von den anderen Autos als Reaktion auf die Aufforderung übertragenen Merkmalsmengen und liefert die Merkmalsmengen an die Merkmalsmengen-Auswahleinheit 308.
Die Merkmalsmengen-Auswahleinheit 308 extrahiert beispielsweise nur Merkmalsmengen in einem vorbestimmten Zeitbereich ab der aktuellen Zeit aus den Merkmalsmengen der anderen Unternehmen, die um das Benutzerauto herum vorhanden sind, die von der Merkmalsmengen-Empfangssteuereinheit 307 geliefert werden, und gibt die Merkmalsmengen an die Merkmalsmengen-Kombinationseinheit 302 aus.
Außerdem extrahiert die Merkmalsmengen-Auswahleinheit 308 selektiv nur die Merkmalsmenge, die die gleiche DNN-Struktur wie das Benutzerauto hat, auf der Grundlage der Informationen, die die DNN-Strukturen der anderen Autos angeben, die den jeweiligen Merkmalsmengen zugeordnet sind, die von den anderen Autos geliefert werden, und gibt die extrahierte Merkmalsmenge an die Merkmalsmengen-Kombinationseinheit 302 aus.
Genauer gesagt, gibt die Merkmalsmengen-Auswahleinheit 308 unter den ausgewählten Merkmalsmengen die erste Merkmalsmenge an die erste Merkmalsmengen-Kombinationseinheit 341 der Merkmalsmengen-Kombinationseinheit 302, die zweite Merkmalsmenge an die zweite Merkmalsmengen-Kombinationseinheit 342 bzw. die dritte Merkmalsmenge an die dritte Merkmalsmengen-Kombinationseinheit 343 aus.
Die erste Merkmalsmengen-Kombinationseinheit 341, die zweite Merkmalsmengen-Kombinationseinheit 342 und die dritte Merkmalsmengen-Kombinationseinheit 343 der Merkmalsmengen-Kombinationseinheit 302 können Gewichtungen anpassen, wenn sie die erste Merkmalsmenge, die zweite Merkmalsmenge und die dritte Merkmalsmenge, die von der Merkmalsmengen-Auswahleinheit 308 geliefert werden, mit der ersten Merkmalsmenge, der zweiten Merkmalsmenge bzw. der dritten Merkmalsmenge gemäß einer DNN-Struktur eines anderen Autos kombinieren.
Das heißt, in einem Fall, in dem die DNN-Struktur des Benutzerautos und die DNN-Struktur des anderen Autos unterschiedlich sind, kann die Merkmalsmengen-Kombinationseinheit 202 die Gewichtung der Merkmalsmenge des anderen Autos verringern und die Gewichtung der Merkmalsmenge des Benutzerautos erhöhen und die Merkmalsmengen kombinieren.
Außerdem stellt die Merkmalsmengen-Kombinationseinheit 202 in dem Fall, dass die DNN-Struktur des Benutzerautos und die DNN-Struktur des anderen Autos gleich sind, die Gewichtung der Merkmalsmenge des anderen Autos und die Gewichtung der Merkmalsmenge des Benutzerautos auf gleich ein und kombiniert die Merkmalsmengen.
Außerdem bilden die erste Merkmalsmengen-Berechnungseinheit 351, die zweite Merkmalsmengen-Berechnungseinheit 352 und die dritte Merkmalsmengen-Berechnungseinheit 353, die die lokale Merkmalsmengen-Berechnungseinheit 301 bilden, lokale Verarbeitungsstrukturen, die jeweils die Merkmalsmengen für jede Gruppe der ersten hierarchischen Gruppe, der zweiten hierarchischen Gruppe und der dritten hierarchischen Gruppe in Bezug auf die Punkte in der Punktwolke (PC) berechnen.
Darüber hinaus stellt die globale Merkmalsmengen-Berechnungseinheit 303 eine globale Verarbeitungsstruktur dar, die eine Verarbeitung durchführt, die die globale Merkmalsmenge R als Ganzes nicht beeinflusst, selbst wenn die Reihenfolge der Punkte geändert wird.
Das heißt, die Objekterkennungseinheit 181 in 8 der vorliegenden Offenbarung enthält die oben beschriebene lokale Verarbeitungsstruktur, die die Verarbeitung für jeden Punkt durchführt, und die oben beschriebene globale Verarbeitungsstruktur, die das Verarbeitungsergebnis nicht beeinflusst, selbst wenn die Reihenfolge der Punkte geändert wird, und das PointNet++ wird als Ganzes gebildet.
Dann, in der Objekterkennungseinheit 181 von 8 der vorliegenden Offenbarung, wird die Verarbeitung durch die globale Verarbeitungsstruktur durchgeführt, in der die Merkmalsmenge durch Verarbeitung für jede Gruppe der ersten hierarchischen Gruppe, der zweiten hierarchischen Gruppe und der dritten hierarchischen Gruppe mit Bezug auf die Punkte in der Punktwolke (PC) durch die lokale Verarbeitungsstruktur berechnet wird.
<Objekterkennungsverarbeitung der zweiten Ausführungsform>
Als Nächstes wird die Objekterkennungsverarbeitung durch die Objekterkennungseinheit 181 in 8 gemäß der zweiten Ausführungsform unter Bezugnahme auf die Flussdiagramme in 9 und 10 beschrieben.
In Schritt S91 erfasst die erste Merkmalsmengen-Berechnungseinheit 221 der lokalen Merkmalsmengen-Berechnungseinheit 201 die Punktwolke (PC), die von einer Stereokamera, einem LiDAR oder dergleichen erhalten wurde und von einer Datenerfassungseinheit 102 geliefert wird.
In Schritt S92 berechnet die erste Merkmalsmengen-Berechnungseinheit 321 die erste Merkmalsmenge, die die Merkmalsmenge in Einheiten der ersten hierarchischen Gruppe aus der Punktwolke (PC) ist, und gibt die erste Merkmalsmenge an die zweite Merkmalsmengen-Berechnungseinheit 322, die erste Merkmalsmengen-Kombinationseinheit 341 der Merkmalsmengen-Kombinationseinheit 302 und die erste Merkmalsmengen-Extraktionseinheit 381 der Merkmalsmengen-Extraktionseinheit 305 aus.
In Schritt S93 extrahiert die erste Merkmalsmengen-Extraktionseinheit 381 die erste Merkmalsmenge, die von der ersten Merkmalsmengen-Berechnungseinheit 321 geliefert wird, und gibt die erste Merkmalsmenge an die Merkmalsmengen-Übertragungssteuereinheit 306 aus. Daraufhin addiert die Merkmalsmengen-Übertragungssteuereinheit 306 einen Zeitstempel, der der aktuellen Uhrzeit in der Systemuhr (nicht abgebildet) entspricht, zu der gelieferten ersten Merkmalsmenge und speichert die erste Merkmalsmenge.
In Schritt S94 erhält die zweite Merkmalsmengen-Berechnungseinheit 322 die erste Merkmalsmenge, die von der ersten Merkmalsmengen-Berechnungseinheit 321 geliefert wird, berechnet die zweite Merkmalsmenge, die die Merkmalsmenge in Einheiten der zweiten hierarchischen Gruppe ist, aus der ersten Merkmalsmenge und gibt die zweite Merkmalsmenge an die dritte Merkmalsmengen-Berechnungseinheit 323, die zweite Merkmalsmengen-Kombinationseinheit 342 der Merkmalsmengen-Kombinationseinheit 302 und die zweite Merkmalsmengen-Extraktionseinheit 382 der Merkmalsmengen-Extraktionseinheit 305 aus.
In Schritt S95 extrahiert die zweite Merkmalsmengen-Extraktionseinheit 382 der Merkmalsmengen-Extraktionseinheit 305 die zweite Merkmalsmenge, die von der zweiten Merkmalsmengen-Berechnungseinheit 322 geliefert wird, und gibt die zweite Merkmalsmenge an die Merkmalsmengen-Übertragungssteuereinheit 306 aus. Daraufhin addiert die Merkmalsmengen-Übertragungssteuereinheit 306 einen Zeitstempel, der der aktuellen Uhrzeit in der Systemuhr entspricht (nicht dargestellt), zu der gelieferten zweiten Merkmalsmenge und speichert die zweite Merkmalsmenge.
In Schritt S96 erhält die dritte Merkmalsmengen-Berechnungseinheit 323 die zweite Merkmalsmenge, die von der zweiten Merkmalsmengen-Berechnungseinheit 322 geliefert wird, berechnet die dritte Merkmalsmenge, die die Merkmalsmenge in Einheiten der dritten hierarchischen Gruppe ist, aus der zweiten Merkmalsmenge und gibt die dritte Merkmalsmenge an die dritte Merkmalsmengen-Kombinationseinheit 343 der Merkmalsmengen-Kombinationseinheit 302 und die dritte Merkmalsmengen-Extraktionseinheit 383 der Merkmalsmengen-Extraktionseinheit 305 aus.
In Schritt S97 extrahiert die dritte Merkmalsmengen-Extraktionseinheit 383 der Merkmalsmengen-Extraktionseinheit 305 die dritte Merkmalsmenge, die von der dritten Merkmalsmengen-Berechnungseinheit 323 geliefert wird, und gibt die dritte Merkmalsmenge an die Merkmalsmengen-Übertragungssteuereinheit 306 aus. Daraufhin fügt die Merkmalsmengen-Übertragungssteuereinheit 306 der gelieferten dritten Merkmalsmenge einen Zeitstempel hinzu, der der aktuellen Uhrzeit in der Systemuhr entspricht (nicht dargestellt), und speichert die dritte Merkmalsmenge.
In Schritt S98 steuert die Merkmalsmengen-Übertragungssteuereinheit 306 die Kommunikationseinheit 103, um festzustellen, ob die Anforderung von Merkmalsmengen aus der Umgebung eines anderen Autos übertragen worden ist oder nicht.
Wenn in Schritt S98 festgestellt wird, dass die Anforderung von Merkmalsmengen von einem anderen Auto übertragen worden ist, geht die Verarbeitung zu Schritt S99 über.
In Schritt S99 empfängt die Merkmalsmengen-Übertragungssteuereinheit 306 die Anforderung von Merkmalsmengen, die von einem anderen Auto übertragen wurden.
In Schritt S100 wählt die Merkmalsmengen-Übertragungssteuereinheit 306 aus den gespeicherten ersten bis dritten Merkmalsmengen die erste bis dritte Merkmalsmenge aus, die dem aktuellen Zeitpunkt am nächsten liegt.
In Schritt S101 steuert die Merkmalsmengen-Übertragungssteuereinheit 306 die Kommunikationseinheit 103, um die erste bis dritte Merkmalsmenge zu dem Zeitpunkt zu übertragen, der der ausgewählten aktuellen Zeit am nächsten liegt, und zwar an das andere Fahrzeug, das die Merkmalsmenge angefordert hat. Zu diesem Zeitpunkt überträgt die Merkmalsmengen-Übertragungssteuereinheit 306 die von der Eigenpositions-Schätzungseinheit 132 erfassten Eigenpositionsinformationen zusammen mit den Eigenlageinformationen an das andere Auto, das die Merkmalsmengen angefordert hat.
Beachten Sie, dass in Schritt S98, in einem Fall, in dem bestimmt wird, dass es keine Anforderung zur Übertragung der Merkmalsmengen gibt, die Verarbeitung in den Schritten S99 bis S101 übersprungen wird, und die Merkmalsmengen nicht an das andere Auto übertragen werden.
In Schritt S102 (10) erkennt die Fahrzeugerkennungseinheit 182 ein sich dem Benutzerauto näherndes Fahrzeug durch Kommunikation mit Fahrzeugen (anderen Autos) in der Umgebung des Benutzerautos durch Fahrzeug-zu-Fahrzeug-Kommunikation oder dergleichen.
In Schritt S103 bestimmt die Merkmalsmengen-Empfangssteuereinheit 307 auf der Grundlage des Erkennungsergebnisses der Fahrzeugerkennungseinheit 182, ob sich andere Autos in der Umgebung innerhalb einer vorbestimmten Entfernung zum Benutzerauto befinden oder nicht.
Wenn in Schritt S103 festgestellt wird, dass sich andere Autos in der Nähe des Benutzerautos befinden, geht die Verarbeitung zu Schritt S104 über.
In Schritt S104 steuert die Merkmalsmengen-Empfangssteuereinheit 307 die Kommunikationseinheit 103, um die anderen Autos in der Nähe des Benutzerautos aufzufordern, die Merkmalsmengen zu übertragen.
Bei dieser Verarbeitung wird die Anfrage eines anderen Autos im oben beschriebenen Schritt S98 in der Objekterkennungsverarbeitung in den anderen Autos empfangen, und somit werden die Merkmalsmengen von den anderen Autos durch die Verarbeitung der Schritte S99 bis S101 an das Benutzerauto übertragen.
Daher steuert die Merkmalsmengen-Empfangssteuereinheit 307 in Schritt S105 die Kommunikationseinheit 103, um die Merkmalsmengen und die Positions- und Lageinformationen der anderen Autos zu erfassen, die von den anderen Autos übertragen werden, und liefert die Merkmalsmengen und die Informationen an die Merkmalsmengen-Auswahleinheit 308.
In Schritt S106 wählt die Merkmalsmengen-Auswahleinheit 308 aus den gelieferten Merkmalsmengen die Merkmalsmengen der zum Zeitstempel hinzugefügten Zeit aus, die der aktuellen Zeit am nächsten ist, und gibt die ausgewählten Merkmalsmengen an die Merkmalsmengen-Kombinationseinheit 302 aus. Zu diesem Zeitpunkt liefert die Merkmalsmengen-Auswahleinheit 308 auch die Positions- und Lageinformationen des anderen Autos, das die ausgewählten Merkmalsmengen übertragen hat, an die Merkmalsmengen-Kombinationseinheit 302.
Genauer gesagt, gibt die Merkmalsmengen-Auswahleinheit 308 unter den gelieferten Merkmalsmengen die erste Merkmalsmenge an die erste Merkmalsmengen-Kombinationseinheit 341, die zweite Merkmalsmenge an die zweite Merkmalsmengen-Kombinationseinheit 342 und die dritte Merkmalsmenge an die dritte Merkmalsmengen-Kombinationseinheit 343 aus.
In Schritt S107 kombiniert die erste Merkmalsmengen-Kombinationseinheit 341 der Merkmalsmengen-Kombinationseinheit 302 die erste Merkmalsmenge, die von dem anderen, von der Merkmalsmengen-Auswahleinheit 308 gelieferten Auto übertragen wurde, mit der ersten Merkmalsmenge, die von der ersten Merkmalsmengen-Berechnungseinheit 321 der lokalen Merkmalsmengen-Berechnungseinheit 301 übertragen wurde, und gibt die kombinierte Merkmalsmenge an die zweite Merkmalsmengen-Berechnungseinheit 362 der globalen Merkmalsmengen-Berechnungseinheit 303 aus.
Darüber hinaus kombinieren die zweite Merkmalsmengen-Kombinationseinheit 342 und die dritte Merkmalsmengen-Kombinationseinheit 343 der Merkmalsmengen-Kombinationseinheit 302 die zweite Merkmalsmenge und die dritte Merkmalsmenge, die von dem anderen, von der Merkmalsmengen-Auswahleinheit 308 gelieferten Auto übertragen wurden, mit der zweiten Merkmalsmenge und der dritten Merkmalsmenge, die von der zweiten Merkmalsmengen-Berechnungseinheit 322 bzw. der dritten Merkmalsmengen-Berechnungseinheit 323 übertragen wurden, und geben die kombinierten Merkmalsmengen an die dritte Merkmalsmengen-Berechnungseinheit 361 der globalen Merkmalsmengen-Berechnungseinheit 303 aus.
Zu diesem Zeitpunkt legen die erste Merkmalsmengen-Kombinationseinheit 341, die zweite Merkmalsmengen-Kombinationseinheit 342 und die dritte Merkmalsmengen-Kombinationseinheit 343 der Merkmalsmengen-Kombinationseinheit 302 Gewichtungen entsprechend der Positionsbeziehung zwischen dem anderen Auto, das die Merkmalsmengen übertragen hat, und dem Auto des Benutzers und den DNN-Strukturen fest, und kombinieren die ersten Merkmalsmengen, die zweiten Merkmalsmengen und die dritten Merkmalsmengen durch die Produktsumme unter Verwendung der Gewichtungen.
Im Schritt S108 berechnet die dritte Merkmalsmengen-Berechnungseinheit 361 der globalen Merkmalsmengen-Berechnungseinheit 303 die globale Merkmalsmenge R in Einheiten der dritten hierarchischen Gruppe auf der Grundlage der dritten Merkmalsmenge, die von der dritten Merkmalsmengen-Kombinationseinheit 343 geliefert wird, erweitert die globale Merkmalsmenge R auf die Merkmalsmenge in Einheiten der zweiten hierarchischen Gruppe gemäß der zweiten Merkmalsmenge, die von der zweiten Merkmalsmengen-Kombinationseinheit 342 geliefert wird, und gibt die globale Merkmalsmenge R als die globale Merkmalsmenge R in Einheiten der zweiten hierarchischen Gruppe an die zweite Merkmalsmengen-Berechnungseinheit 362 aus.
Im Schritt S109 erweitert die zweite Merkmalsmengen-Berechnungseinheit 362 der globalen Merkmalsmengen-Berechnungseinheit 303 die von der dritten Merkmalsmengen-Berechnungseinheit 361 gelieferte globale Merkmalsmenge R in Einheiten der zweiten hierarchischen Gruppe um die Merkmalsmenge in Einheiten der ersten hierarchischen Gruppe entsprechend der von der ersten Merkmalsmengen-Kombinationseinheit 341 gelieferten ersten Merkmalsmenge und gibt die globale Merkmalsmenge R als globale Merkmalsmenge R in Einheiten der ersten hierarchischen Gruppe an die erste Merkmalsmengen-Berechnungseinheit 363 aus.
In Schritt S110 erweitert die erste Merkmalsmengen-Berechnungseinheit 363 der globalen Merkmalsmengen-Berechnungseinheit 303 die von der zweiten Merkmalsmengen-Berechnungseinheit 362 gelieferte globale Merkmalsmenge R in Einheiten der ersten hierarchischen Gruppe auf die Merkmalsmenge in Einheiten von Punkten in der Punktwolke (PC) gemäß der Punktwolke (PC) und gibt die globale Merkmalsmenge R als die globale Merkmalsmenge R in Einheiten von Punkten an die Erkennungseinheit 304 aus.
In Schritt S111 führt die Erkennungseinheit 304 die Objekterkennungsverarbeitung für jeden Punkt in der globalen Merkmalsmenge R in Einheiten von Punkten durch und gibt ein Objekterkennungsergebnis aus.
In Schritt S112 bestimmt die Objekterkennungseinheit 181, ob eine Anweisung zur Beendigung der Verarbeitung gegeben worden ist oder nicht. Wenn die Anweisung zur Beendigung nicht gegeben wurde, kehrt die Verarbeitung zu Schritt S91 zurück ( 9), und die Verarbeitung in Schritt S91 und den nachfolgenden Schritten wird wiederholt.
Außerdem geht die Verarbeitung in Schritt S103 zu Schritt S113 über, wenn bestimmt wird, dass sich innerhalb der vorbestimmten Entfernung zum Benutzerauto keine Fahrzeuge in der Nähe befinden und keine anderen Autos vorhanden sind.
In Schritt S113 gibt die erste Merkmalsmengen-Kombinationseinheit 341, die zweite Merkmalsmengen-Kombinationseinheit 342 und die dritte Merkmalsmengen-Kombinationseinheit 343 der Merkmalsmengen-Kombinationseinheit 302 die erste Merkmalsmenge, die zweite Merkmalsmenge und die dritte Merkmalsmenge, die jeweils von der ersten Merkmalsmengen-Berechnungseinheit 321, der zweiten Merkmalsmengen-Berechnungseinheit 322 und der dritten Merkmalsmengen-Berechnungseinheit 323 der lokalen Merkmalsmengen-Berechnungseinheit 301 berechnet wurden, direkt an die dritte Merkmalsmengen-Berechnungseinheit 361 und die zweite Merkmalsmengen-Berechnungseinheit 362 der globalen Merkmalsmengen-Berechnungseinheit 303 aus.
Das heißt, dass die Tatsache, dass sich keine anderen Autos in der Nähe des Benutzerautos befinden, bedeutet, dass es kein Angebot der Merkmalsmengen durch die anderen Autos gibt. Daher wird die Verarbeitung mit Schritt S112 fortgesetzt, und die Objekterkennungsverarbeitung, die die erste Merkmalsmenge, die zweite Merkmalsmenge und die dritte Merkmalsmenge durch das Benutzerauto allein verwendet, wird unter Verwendung nur der berechneten ersten Merkmalsmenge, zweiten Merkmalsmenge und dritten Merkmalsmenge durchgeführt.
Gemäß der obigen Verarbeitungsreihe wird auch in der Objekterkennungseinheit 181, die durch das PointNet++ konfiguriert ist, wie in 8 dargestellt, in dem Fall, in dem ein anderes Auto in der Nähe innerhalb einer vorbestimmten Entfernung vom Benutzerauto vorhanden ist, das andere Auto aufgefordert, die Merkmalsmengen zu senden, und die Merkmalsmengen, die in der Objekterkennungsverarbeitung des anderen Autos berechnet wurden, werden als Reaktion auf die Anforderung erfasst. Dann wird das Objekt durch Kombinieren der im Benutzerauto berechneten Merkmalsmenge und der erfassten Merkmalsmenge des anderen Autos durch die kollektive Objekterkennungsverarbeitung erkannt, bei der die von dem anderen Auto erhaltene Merkmalsmenge kombiniert wird.
Da die Merkmalsmenge durch die Verwendung des Erfassungsergebnisses des anderen Autos und des Erfassungsergebnisses des Benutzerautos erhalten wird, kann die Objekterkennungsverarbeitung mit einer Erkennungsgenauigkeit implementiert werden, die dem Fall der Verwendung eines Erfassungsergebnisses der gesamten Punktwolke entspricht.
Beachten Sie, dass auch in der Objekterkennungseinheit 181 von 8, ähnlich wie bei der Modifikation in der Objekterkennungseinheit 181 von 3, bei der Aufforderung an ein anderes Auto, Merkmalsmengen zu übertragen, eine Bedingung für Merkmalsmengen zusammen übertragen werden kann, nur die Merkmalsmengen, die der Bedingung entsprechen, von dem anderen Auto übertragen werden können, oder Merkmalsmengen ohne eine Bedingung angefordert werden können und nur die Merkmalsmengen, die der Bedingung entsprechen, aus den empfangenen Merkmalsmengen ausgewählt werden und die anderen nicht ausgewählten Merkmalsmengen verworfen werden können.
Was eine Modifikation in der zweiten Ausführungsform betrifft, so ist ähnlich wie bei der Objekterkennungsverarbeitung in der Modifikation der ersten Ausführungsform nur ein Punkt, dass eine Bedingung für Merkmalsmengen übertragen wird, wenn ein anderes Auto aufgefordert wird, Merkmalsmengen zu übertragen, und nur die Merkmalsmengen, die der Bedingung entsprechen, von dem anderen Auto übertragen werden, von der zweiten Ausführungsform verschieden, und andere Punkte sind ähnlich, so dass eine Beschreibung davon weggelassen wird.
Außerdem wird in jeder der ersten Merkmalsmengen-Berechnungseinheit 321, der zweiten Merkmalsmengen-Berechnungseinheit 322 und der dritten Merkmalsmengen-Berechnungseinheit 323 der lokalen Merkmalsmengen-Berechnungseinheit 301 in der Objekterkennungseinheit 181 in 8 die Merkmalsmenge in Einheiten von Gruppen für jede Hierarchie erhalten, wobei die Informationsmenge der erhaltenen Merkmalsmenge in der Reihenfolge der ersten Merkmalsmenge, der zweiten Merkmalsmenge und der dritten Merkmalsmenge kleiner wird. Daher ist es möglich, die Kommunikationslast der Fahrzeug-Fahrzeug-Kommunikation zu reduzieren und eine Hochgeschwindigkeitskommunikation zu implementieren, indem selektiv die Merkmalsmenge einer höheren Hierarchie gesendet und empfangen wird, wenn die Merkmalsmengen von einem anderen Auto erfasst werden.
Das heißt, wenn ein anderes Auto aufgefordert wird, Merkmalsmengen zu übertragen, z. B. indem nur die zweite Merkmalsmenge statt der ersten Merkmalsmenge angefordert wird, kann die Informationsmenge der erfassten Merkmalsmenge reduziert werden, die Kommunikationslast kann verringert werden, und die Verarbeitung im Zusammenhang mit der Erfassung der Merkmalsmengen kann beschleunigt werden.
Darüber hinaus kann bei der Aufforderung an ein anderes Auto, Merkmalsmengen zu übertragen, die Kommunikationslast weiter reduziert und die Verarbeitung im Zusammenhang mit der Erfassung der Merkmalsmengen weiter beschleunigt werden, indem nur die dritte Merkmalsmenge angefordert wird, anstatt nur die zweite Merkmalsmenge anzufordern.
«5. Beispiel einer Ausführung durch Software»
Übrigens kann die oben beschriebene Verarbeitungsreihe durch Hardware oder Software ausgeführt werden. In einem Fall, in dem die Verarbeitungsreihe durch Software ausgeführt wird, wird ein Programm, das die Software bildet, von einem Aufzeichnungsmedium in einen Computer installiert, der in eine spezielle Hardware eingebaut ist, einen Universalcomputer, der in der Lage ist, verschiedene Funktionen auszuführen, indem er verschiedene Programme installiert, oder dergleichen.
11 stellt ein Konfigurationsbeispiel eines Universalcomputers dar. Der Personal Computer verfügt über eine zentrale Verarbeitungseinheit (CPU) 1001. Eine Ein-/Ausgabeschnittstelle 1005 ist über einen Bus 1004 mit der CPU 1001 verbunden. Ein Nur-Lese-Speicher (ROM) 1002 und ein Direktzugriffsspeicher (RAM) 1003 sind mit dem Bus 1004 verbunden.
An die Ein-/Ausgabeschnittstelle 1005 sind angeschlossen: eine Eingabeeinheit 1006, die eine Eingabevorrichtung, wie z. B. eine Tastatur und eine Maus, für einen Benutzer zur Eingabe von Betriebsbefehlen enthält, eine Ausgabeeinheit 1007, die einen Verarbeitungsbetriebsbildschirm und ein Bild eines Verarbeitungsergebnisses an eine Anzeigevorrichtung ausgibt, eine Speichereinheit 1008, die ein Festplattenlaufwerk zum Speichern von Programmen und verschiedenen Daten enthält, und eine Kommunikationseinheit 1009, die einen LAN-Adapter (Local Area Network) und dergleichen enthält und die Kommunikationsverarbeitung über ein durch das Internet gekennzeichnetes Netzwerk ausführt. Außerdem ist an die Ein-/Ausgabeschnittstelle 1005 ein Laufwerk 1010 angeschlossen, das Daten in Bezug auf einen Wechseldatenträger 1011 wie eine Magnetplatte (einschließlich einer flexiblen Platte), eine optische Platte (einschließlich einer Compact Disc-Read Only Memory (CD-ROM) oder einer Digital Versatile Disc (DVD)), eine magneto-optische Platte (einschließlich einer Mini-Disc (MD)) oder einen Halbleiterspeicher liest und schreibt.
Die CPU 1001 führt verschiedene Arten der Verarbeitungen gemäß einem in dem ROM 1002 gespeicherten Programm aus, oder gemäß einem Programm, das von dem Wechseldatenträger 1011, wie z. B. einer Magnetplatte, einer magneto-optischen Platte, oder einem in der Speichereinheit 1008 installierten Halbleiterspeicher gelesen und von der Speichereinheit 1008 in das RAM 1003 geladen wird. Außerdem speichert das RAM 1003 in geeigneter Weise Daten und dergleichen, die die CPU 1001 für die Ausführung der verschiedenen Verarbeitungsarten benötigt.
In dem wie oben beschrieben konfigurierten Computer lädt die CPU 1001 beispielsweise das in der Speichereinheit 1008 gespeicherte Programm in das RAM 1003 und führt das Programm über die Ein-/Ausgabeschnittstelle 1005 und den Bus 1004 aus, wodurch die oben beschriebene Verarbeitungsreihe durchgeführt wird.
Das vom Computer (CPU 1001) auszuführende Programm kann z. B. auf dem Wechseldatenträger 1011 als Paketmedium oder dergleichen aufgezeichnet und bereitgestellt werden. Außerdem kann das Programm über ein verdrahtetes oder drahtloses Übertragungsmedium, wie z. B. ein LAN, das Internet, oder digitalen Satellitenrundfunk, bereitgestellt werden.
In dem Computer kann das Programm über die Ein-/Ausgabeschnittstelle 1005 in der Speichereinheit 1008 installiert werden, indem der Wechseldatenträger 1011 in das Laufwerk 1010 eingelegt wird. Darüber hinaus kann das Programm durch die Kommunikationseinheit 1009 über ein verdrahtetes oder drahtloses Übertragungsmedium empfangen und in der Speichereinheit 1008 installiert werden. Anders als bei der obigen Methode kann das Programm im ROM 1002 oder in der Speichereinheit 1008 im Voraus installiert werden.
Beachten Sie, dass es sich bei dem vom Computer ausgeführten Programm um ein Programm handeln kann, das in chronologischer Reihenfolge entsprechend der in der vorliegenden Patentschrift beschriebenen Reihenfolge abgearbeitet wird, oder um ein Programm, das parallel oder zu einem bestimmten Zeitpunkt ausgeführt wird, z. B. wenn ein Anruf getätigt wird.
Beachten Sie, dass die CPU 1001 in 11 die Funktion der Objekterkennungseinheit 181 in 3 und 8 implementiert.
Darüber hinaus bedeutet der Begriff „System“ in der vorliegenden Patentschrift eine Gruppe von mehreren Konfigurationselementen (Geräte, Module (Teile) und dergleichen), und es ist unerheblich, ob sich alle Konfigurationselemente in demselben Gehäuse befinden oder nicht. Daher sind sowohl eine Vielzahl von Geräten, die in separaten Gehäusen untergebracht und über ein Netzwerk verbunden sind, als auch ein Gerät, das eine Vielzahl von Modulen in einem Gehäuse unterbringt, Systeme.
Beachten Sie, dass die Ausführungsformen der vorliegenden Offenbarung nicht auf die oben beschriebenen Ausführungsformen beschränkt sind, und dass verschiedene Modifikationen vorgenommen werden können, ohne vom Kern der vorliegenden Offenbarung abzuweichen.
Beispielsweise kann die vorliegende Offenlegung eine Konfiguration des Cloud Computing annehmen, bei der eine Funktion gemeinsam genutzt und in Zusammenarbeit von einer Vielzahl von Geräten über ein Netzwerk verarbeitet wird.
Außerdem können die in den oben beschriebenen Flussdiagrammen beschriebenen Schritte durch eine einzelne Vorrichtung ausgeführt oder durch eine Vielzahl von Vorrichtungen gemeinsam genutzt und ausgeführt werden.
Darüber hinaus kann in einem Fall, in dem eine Vielzahl von Prozessen in einem Schritt enthalten ist, die Vielzahl von Prozessen, die in dem einen Schritt enthalten sind, von einer Vorrichtung ausgeführt werden oder von einer Vielzahl von Vorrichtungen gemeinsam genutzt und ausgeführt werden.
Beachten Sie, dass die vorliegende Offenbarung die folgenden Konfigurationen haben kann.

<1> Informationsverarbeitungsvorrichtung, die Folgendes aufweist:
- eine Merkmalsmengen-Berechnungseinheit, die dazu ausgebildet ist, eine Merkmalsmenge zu berechnen, die für die Objekterkennung in Stufen in jeder einer Vielzahl von Hierarchien verwendet werden soll;
- eine Erfassungseinheit, die dazu ausgebildet ist, eine für die Objekterkennung zu verwendende Merkmalsmenge zu erfassen, die von einer anderen Merkmalsmengen-Berechnungseinheit berechnet wird, die sich von der Merkmalsmengen-Berechnungseinheit unterscheidet; und
- eine Erkennungseinheit, die dazu ausgebildet ist, die Objekterkennung auf der Grundlage der berechneten Merkmalsmenge und der erfassten Merkmalsmenge durchzuführen.
<2> Informationsverarbeitungsvorrichtung gemäß <1>, wobei die Merkmalsmengen-Berechnungseinheit in einem mobilen Körper vorgesehen ist, und die andere Merkmalsmengen-Berechnungseinheit in einem anderen mobilen Körper vorgesehen ist, der sich von dem mobilen Körper unterscheidet.
<3> Informationsverarbeitungsvorrichtung gemäß <1> oder <2>, wobei die Erkennungseinheit die Objekterkennung auf der Grundlage der Merkmalsmengen einer Vielzahl von Hierarchien durchführt, die in zwei oder mehr Stufen von der Merkmalsmengen-Berechnungseinheit berechnet werden.
<4> Informationsverarbeitungsvorrichtung gemäß <1> oder <2>, wobei die Erfassungseinheit die Merkmalsmengen von zwei oder mehr Hierarchien unter den Merkmalsmengen einer Vielzahl von Hierarchien erfasst, die stufenweise von der anderen Merkmalsmengen-Berechnungseinheit berechnet werden.
<5> Informationsverarbeitungsvorrichtung gemäß <1> oder <2>, wobei die Erfassungseinheit eine Merkmalsmenge einer bestimmten Hierarchie unter den Merkmalsmengen einer Vielzahl von Hierarchien erfasst, die von der anderen Merkmalsmengen-Berechnungseinheit berechnet wurden.
<6> Informationsverarbeitungsvorrichtung gemäß <2>, wobei die Erfassungseinheit eine von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge einer Hierarchie mit derselben neuronalen Netzwerkstruktur wie die Merkmalsmengen-Berechnungseinheit unter den von der anderen Merkmalsmengen-Berechnungseinheit berechneten Merkmalsmengen erfasst.
<7> Informationsverarbeitungsvorrichtung gemäß <6>, wobei, wenn eine Entfernung zwischen dem mobilen Körper und dem anderen mobilen Körper innerhalb einer vorbestimmten Entfernung liegt, die Erfassungseinheit den anderen mobilen Körper auffordert, die von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge einer Hierarchie mit derselben neuronalen Netzwerkstruktur wie die Merkmalsmengen-Berechnungseinheit zu übertragen, und die Erfassungseinheit die von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge einer Hierarchie mit derselben neuronalen Netzwerkstruktur wie die Merkmalsmengen-Berechnungseinheit unter den von der anderen Merkmalsmengen-Berechnungseinheit berechneten Merkmalsmengen erfasst, wobei die Merkmalsmenge von dem anderen mobilen Körper in Reaktion auf die Anforderung der Merkmalsmenge übertragen wird.
<8> Informationsverarbeitungsvorrichtung gemäß <7>, wobei die Erfassungseinheit den anderen mobilen Körper auffordert, die von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge einer Hierarchie mit derselben neuronalen Netzwerkstruktur wie die Merkmalsmengen-Berechnungseinheit zu übertragen, und die von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge einer Hierarchie mit derselben neuronalen Netzwerkstruktur wie die Merkmalsmengen-Berechnungseinheit unter den von der anderen Merkmalsmengen-Berechnungseinheit berechneten Merkmalsmengen erfasst, wobei die Merkmalsmenge von dem anderen mobilen Körper in Reaktion auf die Anforderung der Merkmalsmenge übertragen wird.
<9> Informationsverarbeitungsvorrichtung gemäß <7>, wobei die Erfassungseinheit den anderen mobilen Körper auffordert, die von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge zu übertragen, die von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge einer Hierarchie mit derselben neuronalen Netzwerkstruktur wie die Merkmalsmengen-Berechnungseinheit aus den von der anderen Merkmalsmengen-Berechnungseinheit berechneten Merkmalsmengen extrahiert und erfasst, wobei die Merkmalsmenge von dem anderen mobilen Körper in Reaktion auf die Anforderung der Merkmalsmenge übertragen wird, und eine von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge einer Hierarchie, die nicht dieselbe neuronale Netzwerkstruktur wie die Merkmalsmengen-Berechnungseinheit aufweist, verwirft.
<10> Informationsverarbeitungsvorrichtung gemäß einem der Punkte <1> bis <9>, die ferner Folgendes umfasst:
- eine Kombinationseinheit, die dazu ausgebildet ist, die berechnete Merkmalsmenge und die erfasste Merkmalsmenge zu kombinieren; und
- eine globale Merkmalsmengen-Berechnungseinheit, die dazu ausgebildet ist, eine globale Merkmalsmenge auf der Grundlage einer durch die Kombinationseinheit kombinierten Merkmalsmenge zu berechnen, wobei
- die Erkennungseinheit die Objekterkennung auf der Grundlage der von der globalen Merkmalsmengen-Berechnungseinheit berechneten Merkmalsmenge durchführt.
<11> Informationsverarbeitungsvorrichtung gemäß <10>, wobei, in der Merkmalsmengen-Berechnungseinheit und in der globalen Merkmalsmengen-Berechnungseinheit, die Kombinationseinheit die von der Merkmalsmengen-Berechnungseinheit stufenweise berechnete Merkmalsmenge einer letzten Hierarchie und die von der anderen Merkmalsmengen-Berechnungseinheit stufenweise berechnete Merkmalsmenge einer letzten Hierarchie kombiniert, und die globale Merkmalsmengen-Berechnungseinheit die globale Merkmalsmenge auf der Grundlage einer Merkmalsmenge berechnet, die durch Kombinieren der berechneten Merkmalsmenge der letzten Hierarchie und der erfassten Merkmalsmenge der letzten Hierarchie durch die Kombinationseinheit erhalten wird.
<12> Informationsverarbeitungsvorrichtung gemäß <11 >, wobei die Merkmalsmengen-Berechnungseinheit und die globale Merkmalsmengen-Berechnungseinheit eine PointNet-Struktur bilden.
<13> Informationsverarbeitungsvorrichtung gemäß <10>, wobei, in der Merkmalsmengen-Berechnungseinheit und in der globalen Merkmalsmengen-Berechnungseinheit, die Kombinationseinheit die von der Merkmalsmengen-Berechnungseinheit stufenweise berechnete Merkmalsmenge für jede Hierarchie und die von der anderen Merkmalsmengen-Berechnungseinheit stufenweise berechnete Merkmalsmenge für jede Hierarchie kombiniert, und die globale Merkmalsmengen-Berechnungseinheit die globale Merkmalsmenge auf der Grundlage einer Merkmalsmenge, die durch Kombinieren der berechneten Merkmalsmenge für jede Hierarchie und der erfassten Merkmalsmenge für jede Hierarchie durch die Kombinationseinheit erhalten wird, berechnet.
<14> Informationsverarbeitungsvorrichtung gemäß <13>, wobei die Merkmalsmengen-Berechnungseinheit und die globale Merkmalsmengen-Berechnungseinheit eine PointNet++ Struktur bilden.
<15> Informationsverarbeitungsvorrichtung gemäß <10>, wobei die Merkmalsmengen-Berechnungseinheit eine lokale Verarbeitungsstruktur aufweist, die eine lokale Verarbeitung für jeden Punkt in der Eingabeinformation einschließlich einer Punktwolke durchführt und die Merkmalsmenge berechnet, die für die Objekterkennung in Stufen in jeder der Vielzahl von Hierarchien zu verwenden ist, und die globale Merkmalsmengen-Berechnungseinheit eine globale Verarbeitungsstruktur aufweist, die eine globale Verarbeitung durchführt, die nicht von einer Reihenfolge der Punkte beeinflusst wird, und die globale Merkmalsmenge auf der Grundlage der von der Merkmalsmengen-Berechnungseinheit berechneten Merkmalsmenge und der erfassten Merkmalsmenge berechnet.
<16> Informationsverarbeitungsverfahren einer Informationsverarbeitungsvorrichtung, das Folgendes umfasst:
- eine Merkmalsmengen-Berechnungseinheit,
- eine Erfassungseinheit, und
- eine Erkennungseinheit,
- wobei das Informationsverarbeitungsverfahren die folgenden Schritte beinhaltet:
  - durch die Merkmalsmengen-Berechnungseinheit, Berechnen einer Merkmalsmenge, die für die Objekterkennung in Stufen in jeder einer Vielzahl von Hierarchien zu verwenden ist;
  - durch die Erfassungseinheit, Erfassen einer Merkmalsmenge, die für die Objekterkennung zu verwenden ist, die von einer anderen Merkmalsmengen-Berechnungseinheit berechnet wird, die sich von der Merkmalsmengen-Berechnungseinheit unterscheidet; und
  - durch die Erkennungseinheit, Durchführen der Objekterkennung auf der Grundlage der berechneten Merkmalsmenge und der erfassten Merkmalsmenge.
<17> Programm, das einen Computer veranlasst, als Folgendes zu funktionieren:
- eine Merkmalsmengen-Berechnungseinheit, die dazu ausgebildet ist, eine Merkmalsmenge zu berechnen, die für die Objekterkennung in Stufen in jeder einer Vielzahl von Hierarchien verwendet werden soll;
- eine Erfassungseinheit, die dazu ausgebildet ist, eine für die Objekterkennung zu verwendende Merkmalsmenge zu erfassen, die von einer anderen Merkmalsmengen-Berechnungseinheit berechnet wird, die sich von der Merkmalsmengen-Berechnungseinheit unterscheidet; und
- eine Erkennungseinheit, die dazu ausgebildet ist, die Objekterkennung auf der Grundlage der berechneten Merkmalsmenge und der erfassten Merkmalsmenge durchzuführen.

Bezugszeichenliste

11: Objekterkennungssystem
31, 51: Fahrzeug
141: Fahrzeugaußenseiten-Informationserfassungseinheit
181: Objekterkennungseinheit
182: Fahrzeugerkennungseinheit
201: Lokale Merkmalsmengen-Berechnungseinheit
202: Merkmalsmengen-Kombinationseinheit
203: Globale Merkmalsmengen-Berechnungseinheit
204: Erkennungseinheit
205: Merkmalsmengen-Extraktionseinheit
206: Merkmalsmengen-Übertragungssteuereinheit
207: Merkmalsmengen-Empfangssteuereinheit
208: Merkmalsmengen-Auswahleinheit
221: Erste Merkmalsmengen-Berechnungseinheit
222: Zweite Merkmalsmengen-Berechnungseinheit
223: Dritte Merkmalsmengen-Berechnungseinheit
271: Zweite Merkmalsmengen-Berechnungseinheit
272: Dritte Merkmalsmengen-Berechnungseinheit
281: Erste Merkmalsmengen-Extraktionseinheit
282: Zweite Merkmalsmengen-Extraktionseinheit
283: Dritte Merkmalsmengen-Extraktionseinheit
301: Merkmalsmengen-Berechnungseinheit
302: Merkmalsmengen-Kombinationseinheit
303: Globale Merkmalsmengen-Berechnungseinheit
304: Erkennungseinheit
305: Merkmalsmengen-Extraktionseinheit
306: Merkmalsmengen-Übertragungssteuereinheit
307: Merkmalsmengen-Empfangssteuereinheit
308: Merkmalsmengen-Auswahleinheit
321: Erste Merkmalsmengen-Berechnungseinheit
322: Zweite Merkmalsmengen-Berechnungseinheit
323: Dritte Merkmalsmengen-Berechnungseinheit
361: Dritte Merkmalsmengen-Berechnungseinheit
362: Zweite Merkmalsmengen-Berechnungseinheit
363: Erste Merkmalsmengen-Berechnungseinheit
381: Erste Merkmalsmengen-Extraktionseinheit
382: Zweite Merkmalsmengen-Extraktionseinheit
383: Dritte Merkmalsmengen-Extraktionseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2019016161 [0005]

Claims

Informationsverarbeitungsvorrichtung, die Folgendes umfasst: eine Merkmalsmengen-Berechnungseinheit, die dazu ausgebildet ist, eine Merkmalsmenge zu berechnen, die für die Objekterkennung in Stufen in jeder einer Vielzahl von Hierarchien verwendet werden soll; eine Erfassungseinheit, die dazu ausgebildet ist, eine für die Objekterkennung zu verwendende Merkmalsmenge zu erfassen, die von einer anderen Merkmalsmengen-Berechnungseinheit berechnet wird, die sich von der Merkmalsmengen-Berechnungseinheit unterscheidet; und eine Erkennungseinheit, die dazu ausgebildet ist, die Objekterkennung auf der Grundlage der berechneten Merkmalsmenge und der erfassten Merkmalsmenge durchzuführen.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Merkmalsmengen-Berechnungseinheit in einem mobilen Körper vorgesehen ist, und die andere Merkmalsmengen-Berechnungseinheit in einem anderen mobilen Körper vorgesehen ist, der sich von dem mobilen Körper unterscheidet.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Erkennungseinheit die Objekterkennung auf einer Grundlage der Merkmalsmengen einer Vielzahl von Hierarchien durchführt, die in zwei oder mehr Stufen von der Merkmalsmengen-Berechnungseinheit berechnet werden.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Erfassungseinheit die Merkmalsmengen von zwei oder mehr Hierarchien unter den Merkmalsmengen einer Vielzahl von Hierarchien erfasst, die stufenweise von der anderen Merkmalsmengen-Berechnungseinheit berechnet werden.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Erfassungseinheit eine Merkmalsmenge einer bestimmten Hierarchie unter den Merkmalsmengen einer Vielzahl von Hierarchien erfasst, die von der anderen Merkmalsmengen-Berechnungseinheit berechnet wurden.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Erfassungseinheit eine von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge einer Hierarchie mit derselben neuronalen Netzwerkstruktur wie die Merkmalsmengen-Berechnungseinheit unter den von der anderen Merkmalsmengen-Berechnungseinheit berechneten Merkmalsmengen erfasst.
Informationsverarbeitungsvorrichtung gemäß Anspruch 6, wobei, wenn eine Entfernung zwischen dem mobilen Körper und dem anderen mobilen Körper innerhalb einer vorbestimmten Entfernung liegt, die Erfassungseinheit den anderen mobilen Körper auffordert, die von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge einer Hierarchie mit derselben neuronalen Netzwerkstruktur wie die Merkmalsmengen-Berechnungseinheit zu übertragen, und die Erfassungseinheit die von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge einer Hierarchie mit derselben neuronalen Netzwerkstruktur wie die Merkmalsmengen-Berechnungseinheit unter den von der anderen Merkmalsmengen-Berechnungseinheit berechneten Merkmalsmengen erfasst, wobei die Merkmalsmenge von dem anderen mobilen Körper in Reaktion auf die Anforderung der Merkmalsmenge übertragen wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 7, wobei die Erfassungseinheit den anderen mobilen Körper auffordert, die von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge einer Hierarchie mit derselben neuronalen Netzwerkstruktur wie die Merkmalsmengen-Berechnungseinheit zu übertragen, und die von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge einer Hierarchie mit derselben neuronalen Netzwerkstruktur wie die Merkmalsmengen-Berechnungseinheit unter den von der anderen Merkmalsmengen-Berechnungseinheit berechneten Merkmalsmengen erfasst, wobei die Merkmalsmenge von dem anderen mobilen Körper in Reaktion auf die Anforderung der Merkmalsmenge übertragen wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 7, wobei die Erfassungseinheit den anderen mobilen Körper auffordert, die von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge zu übertragen, die von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge einer Hierarchie mit derselben neuronalen Netzwerkstruktur wie die Merkmalsmengen-Berechnungseinheit aus den von der anderen Merkmalsmengen-Berechnungseinheit berechneten Merkmalsmengen extrahiert und erfasst, wobei die Merkmalsmenge von dem anderen mobilen Körper in Reaktion auf die Anforderung der Merkmalsmenge übertragen wird, und eine von der anderen Merkmalsmengen-Berechnungseinheit berechnete Merkmalsmenge einer Hierarchie, die nicht dieselbe neuronale Netzwerkstruktur wie die Merkmalsmengen-Berechnungseinheit aufweist, verwirft.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, die ferner Folgendes umfasst: eine Kombinationseinheit, die dazu ausgebildet ist, die berechnete Merkmalsmenge und die erfasste Merkmalsmenge zu kombinieren; und eine globale Merkmalsmengen-Berechnungseinheit, die dazu ausgebildet ist, eine globale Merkmalsmenge auf einer Grundlage einer durch die Kombinationseinheit kombinierten Merkmalsmenge zu berechnen, wobei die Erkennungseinheit die Objekterkennung auf einer Grundlage der von der globalen Merkmalsmengen-Berechnungseinheit berechneten Merkmalsmenge durchführt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 10, wobei, in der Merkmalsmengen-Berechnungseinheit und in der globalen Merkmalsmengen-Berechnungseinheit, die Kombinationseinheit die von der Merkmalsmengen-Berechnungseinheit stufenweise berechnete Merkmalsmenge einer letzten Hierarchie und die von der anderen Merkmalsmengen-Berechnungseinheit stufenweise berechnete Merkmalsmenge einer letzten Hierarchie kombiniert, und die globale Merkmalsmengen-Berechnungseinheit die globale Merkmalsmenge auf einer Grundlage einer Merkmalsmenge berechnet, die durch Kombinieren der berechneten Merkmalsmenge der letzten Hierarchie und der erfassten Merkmalsmenge der letzten Hierarchie durch die Kombinationseinheit erhalten wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 11, wobei die Merkmalsmengen-Berechnungseinheit und die globale Merkmalsmengen-Berechnungseinheit eine PointNet-Struktur bilden.
Informationsverarbeitungsvorrichtung gemäß Anspruch 10, wobei, in der Merkmalsmengen-Berechnungseinheit und in der globalen Merkmalsmengen-Berechnungseinheit, die Kombinationseinheit die von der Merkmalsmengen-Berechnungseinheit stufenweise berechnete Merkmalsmenge für jede Hierarchie und die von der anderen Merkmalsmengen-Berechnungseinheit stufenweise berechnete Merkmalsmenge für jede Hierarchie kombiniert, und die globale Merkmalsmengen-Berechnungseinheit die globale Merkmalsmenge auf einer Grundlage einer Merkmalsmenge berechnet, die durch Kombinieren der berechneten Merkmalsmenge für jede Hierarchie und der erfassten Merkmalsmenge für jede Hierarchie durch die Kombinationseinheit erhalten wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 13, wobei die Merkmalsmengen-Berechnungseinheit und die globale Merkmalsmengen-Berechnungseinheit eine PointNet++ Struktur bilden.
Informationsverarbeitungsvorrichtung gemäß Anspruch 10, wobei die Merkmalsmengen-Berechnungseinheit eine lokale Verarbeitungsstruktur aufweist, die eine lokale Verarbeitung für jeden Punkt in der Eingabeinformation einschließlich einer Punktwolke durchführt und die Merkmalsmenge berechnet, die für die Objekterkennung in Stufen in jeder der Vielzahl von Hierarchien zu verwenden ist, und die globale Merkmalsmengen-Berechnungseinheit eine globale Verarbeitungsstruktur aufweist, die eine globale Verarbeitung durchführt, die von einer Reihenfolge der Punkte nicht beeinflusst wird, und die globale Merkmalsmenge auf einer Grundlage der von der Merkmalsmengen-Berechnungseinheit berechneten Merkmalsmenge und der erfassten Merkmalsmenge berechnet.
Informationsverarbeitungsverfahren einer Informationsverarbeitungsvorrichtung, das Folgendes umfasst: eine Merkmalsmengen-Berechnungseinheit, eine Erfassungseinheit, und eine Erkennungseinheit, wobei das Informationsverarbeitungsverfahren die folgenden Schritte beinhaltet: durch die Merkmalsmengen-Berechnungseinheit, Berechnen einer Merkmalsmenge, die für die Objekterkennung in Stufen in jeder einer Vielzahl von Hierarchien zu verwenden ist; durch die Erfassungseinheit, Erfassen einer Merkmalsmenge, die für die Objekterkennung zu verwenden ist, die von einer anderen Merkmalsmengen-Berechnungseinheit berechnet wird, die sich von der Merkmalsmengen-Berechnungseinheit unterscheidet; und durch die Erkennungseinheit, Durchführen der Objekterkennung auf einer Grundlage der berechneten Merkmalsmenge und der erfassten Merkmalsmenge.
Programm, das einen Computer veranlasst, als Folgendes zu funktionieren: eine Merkmalsmengen-Berechnungseinheit, die dazu ausgebildet ist, eine Merkmalsmenge zu berechnen, die für die Objekterkennung in Stufen in jeder einer Vielzahl von Hierarchien verwendet werden soll; eine Erfassungseinheit, die dazu ausgebildet ist, eine für die Objekterkennung zu verwendende Merkmalsmenge zu erfassen, die von einer anderen Merkmalsmengen-Berechnungseinheit berechnet wird, die sich von der Merkmalsmengen-Berechnungseinheit unterscheidet; und eine Erkennungseinheit, die dazu ausgebildet ist, die Objekterkennung auf der Grundlage der berechneten Merkmalsmenge und der erfassten Merkmalsmenge durchzuführen.