DE112019000325T5

DE112019000325T5 - Vorrichtung zur vorhersage des verhaltens eines sich bewegenden objekts

Info

Publication number: DE112019000325T5
Application number: DE112019000325.9T
Authority: DE
Inventors: Masayoshi Ishikawa; Hiroaki Ito
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-03-09
Filing date: 2019-03-01
Publication date: 2020-10-15
Also published as: JP7013284B2; WO2019172104A1; JP2019159535A

Abstract

Bereitgestellt wird eine Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts, die zur Vorhersage des Vorhandenseins eines sich bewegenden Objekts in einem Toter-Winkel-Bereich, während ein Rechenaufwand im Vergleich zu einer nach dem Stand der Technik verringert wird, und zur Vorhersage eines Verhaltens eines weiteren sich bewegenden Objekts auf der Basis des vorhergesagten Vorhandenseins des sich bewegenden Objekts fähig ist. Bereitgestellt werden: eine Erkennungseinheit 10, die ein sich bewegendes Objekt um ein Trägerfahrzeug erkennt; eine Begrenzungseinheit 20, die einen Vorhersagebereich schmaler als ein Toter-Winkel-Bereich im Toter-Winkel-Bereich, in dem das sich bewegende feststehende Objekt nicht direkt von der Erkennungseinheit 10 erkennbar ist, festlegt; eine Bewertungseinheit 30, die einen Fehler zwischen einem vorhergesagten Verhalten und einem tatsächlichen Verhalten des sich bewegenden Objekts berechnet; eine Schätzeinheit 40, die das Vorhandensein eines sich bewegenden Objekts im Vorhersagebereich schätzt, um den Fehler zu verringern; eine Korrektureinheit 50, die ein Erkennungsergebnis der Erkennungseinheit 10 auf der Basis eines Schätzergebnisses der Schätzeinheit 40 korrigiert; und eine Vorhersageeinheit 60, die ein Verhalten des sich bewegenden Objekts auf der Basis des von der Korrektureinheit 50

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft eine Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts, die ein Verhalten eines sich bewegenden Objekts um ein Fahrzeug vorhersagt.
Bisheriger Stand der Technik
Der Stand der Technik kennt eine Erfindung betreffend eine Fahrzeugumgebungs-Schätzvorrichtung, die einen Umgebungszustand um ein Fahrzeug schätzt (siehe folgende PTL 1). Eine Aufgabe der in PTL 1 beschriebenen Erfindung besteht im Bereitstellen einer Fahrzeugumgebungs-Schätzvorrichtung, die zum genauen Schätzen einer Fahrumgebung um ein Trägerfahrzeug auf der Basis eines vorhergesagten Kurses, etwa eines sich in einem Toter-Winkel-Bereich bewegenden Objekts, fähig ist (siehe Absatz 0005 u. Ä. der betreffenden Literatur).
Zum Erfüllen der zuvor beschriebenen Aufgabe umfasst die Fahrzeugumgebungs-Schätzvorrichtung gemäß der zuvor beschriebenen Erfindung nach dem Stand der Technik: ein Verhaltenserfassungsmittel zum Erfassen eines Verhaltens eines sich bewegenden Objekts um das Trägerfahrzeug; und ein Schätzmittel zum Schätzen einer Umgebung, welche die Bewegung des sich bewegenden Objekts beeinflusst, auf der Basis des Verhaltens des sich bewegenden Objekts (siehe Anspruch 1 u. Ä. der gleichen Literatur).
Gemäß dieser Erfindung nach dem Stand der Technik wird das Verhalten des sich bewegenden Objekts um das Trägerfahrzeug erfasst und die Umgebung, welche die Bewegung des sich bewegenden Objekts beeinflusst, wird auf der Basis des Verhaltens des sich bewegenden Objekts geschätzt, so dass eine Fahrzeugfahrumgebung geschätzt werden kann, die vom Trägerfahrzeug nicht erkennbar ist, aber vom sich bewegenden Objekt um das Trägerfahrzeug erkannt werden kann (siehe Absatz 0007 u. Ä. der gleichen Literatur).
Liste der Anführungen
Patentliteratur
PTL 1: JP 2010-267211 A
Zusammenfassung der Erfindung
Technische Aufgabe
Die Fahrzeugumgebungs-Schätzvorrichtung nach dem Stand der Technik umfasst eine Einheit zum Festlegen eines nicht erfassten Hindernisses, die eine Vielzahl von Fahrumgebungen mit verschiedenen Einstellungen wie Vorhandensein oder Fehlen, Zahl und Zustände von nicht erfassten Hindernissen annimmt. Die Einheit zum Festlegen eines nicht erfassten Hindernisses legt das Vorhandensein oder Fehlen eines nicht erfassten Hindernisses in einem Toter-Winkel-Bereich fest, in dem es für das Trägerfahrzeug schwierig ist, ein Hindernis zu erfassen (siehe Absatz 0031 u. Ä. der gleichen Literatur).
Beispielsweise legt diese Einheit zum Festlegen eines nicht erfassten Hindernisses das Vorhandensein eines weiteren Fahrzeugs unter der Annahme, dass das weitere Fahrzeug vorhanden ist, das nicht im Toter-Winkel-Bereich erfasst wurde, in dem es für das Trägerfahrzeug schwierig ist, das Hindernis an einer Kreuzung o. Ä. zu erfassen, oder unter der Annahme, dass kein nicht erfasstes weiteres Fahrzeug im Toter-Winkel-Bereich vorhanden ist, fest. Zu diesem Zeitpunkt wird eine Vielzahl von Hypothesen für Attribute wie die Zahl von Hindernissen im Toter-Winkel-Bereich, Positionen der jeweiligen Hindernisse und eine Geschwindigkeit festgelegt (siehe Absatz 0031 u. Ä. der gleichen Literatur).
Wenn die Vielzahl von Hypothesen für verschiedene Attribute einer Vielzahl von Hindernissen über den gesamten Toter-Winkel-Bereich wie in der Fahrzeugumgebungs-Schätzvorrichtung nach dem Stand der Technik festgelegt wird, besteht eine Möglichkeit, dass ein Rechenaufwand der Vorrichtung zu groß wird.
Die vorliegende Offenbarung stellt eine Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts bereit, die zur Vorhersage des Vorhandenseins eines sich bewegenden Objekts oder eines feststehenden Objekts in einem Toter-Winkel-Bereich, das nicht direkt von einem Trägerfahrzeug erkennbar ist, während ein Rechenaufwand im Vergleich zu einer nach dem Stand der Technik verringert wird, und zur Vorhersage eines Verhaltens eines weiteren sich bewegenden Objekts auf der Basis des vorhergesagten Vorhandenseins des sich bewegenden Objekts oder des feststehenden Objekts fähig ist.
Technische Lösung
Eine Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts gemäß der vorliegenden Offenbarung umfasst: eine Erkennungseinheit, die ein sich bewegendes Objekt und ein feststehendes Objekt um ein Trägerfahrzeug erkennt; eine Begrenzungseinheit, die einen Vorhersagebereich schmaler als ein Toter-Winkel-Bereich, in dem das sich bewegende Objekt und das feststehende Objekt nicht direkt von der Erkennungseinheit erkennbar sind, festlegt; eine Bewertungseinheit, die einen Fehler zwischen einem vorhergesagten Verhalten und einem tatsächlichen Verhalten des sich bewegenden Objekts berechnet; eine Schätzeinheit, die das Vorhandensein des sich bewegenden Objekts oder des feststehenden Objekts im Vorhersagebereich schätzt, um den Fehler zu verringern; eine Korrektureinheit, die ein Erkennungsergebnis der Erkennungseinheit auf der Basis eines Schätzergebnisses der Schätzeinheit korrigiert; und eine Vorhersageeinheit, die ein Verhalten des sich bewegenden Objekts auf der Basis des von der Korrektureinheit korrigierten Erkennungsergebnisses der Erkennungseinheit vorhersagt.
Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Offenbarung kann die Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts bereitgestellt werden, die zur Vorhersage des Vorhandenseins des sich bewegenden Objekts oder des feststehenden Objekts im Toter-Winkel-Bereich, das nicht direkt vom Trägerfahrzeug erkennbar ist, während der Rechenaufwand im Vergleich zu einer nach dem Stand der Technik verringert wird, und zur Vorhersage des Verhaltens eines weiteren sich bewegenden Objekts auf der Basis des vorhergesagten Vorhandenseins des sich bewegenden Objekts oder des feststehenden Objekts fähig ist.
Figurenliste

[1] 1 zeigt ein Blockdiagramm zur Darstellung eines Beispiels einer Konfiguration eines Fahrzeugs, an dem eine Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts montiert ist.
[2] 2 zeigt ein Blockdiagramm zur Darstellung eines Beispiels der Konfiguration der Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts.
[3] 3 zeigt ein Blockdiagramm zur Darstellung eines Beispiels einer Konfiguration einer Begrenzungseinheit der Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts.
[4] 4 zeigt ein Fließbild zur Darstellung eines Beispiels eines Betriebs der Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts.
[5A] 5A zeigt eine schematische Ansicht zur Darstellung von sich bewegenden Objekten um ein Trägerfahrzeug.
[5B] 5B zeigt eine schematische Ansicht zur Darstellung von sich bewegenden Objekten um das Trägerfahrzeug.
[5C] 5C zeigt eine schematische Ansicht zur Darstellung von sich bewegenden Objekten um das Trägerfahrzeug.
[5D] 5D zeigt eine schematische Ansicht zur Darstellung von sich bewegenden Objekten um das Trägerfahrzeug.
[5E] 5E zeigt eine schematische Ansicht zur Darstellung von sich bewegenden Objekten um das Trägerfahrzeug.
[6A] 6A zeigt ein Blockdiagramm zur Darstellung einer Konfiguration einer Vorhersageeinheit der Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts.
[6B] 6B zeigt ein Blockdiagramm zur Darstellung von Details einer Raumeinbettungseinheit der Vorhersageeinheit in 6A.
[7] 7 zeigt ein Graphen zur Darstellung eines Beispiels einer Änderung im Rechenaufwand o. Ä. der Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts.
[8A] 8A zeigt eine schematische Ansicht zur Darstellung einer Situation, in der ein Vorhersagebereich durch die Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts geschätzt wird.
[8B] 8B zeigt eine schematische Ansicht zur Darstellung einer Situation, nachdem der Vorhersagebereich durch die Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts geschätzt wurde.
[8C] 8C zeigt eine schematische Ansicht zur Darstellung einer Situation, in der ein neuer Vorhersagebereich durch die Vorrichtung zur neu Vorhersage des Verhaltens eines sich bewegenden Objekts geschätzt wird.
[9] 9 zeigt ein Blockdiagramm zur Darstellung eines weiteren Beispiels der Konfiguration der Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts.
[10] 10 zeigt eine schematische Ansicht zur Darstellung eines Beispiels eines Toter-Winkel-Bereichs gemäß einer Fahrzeugumgebungs-Schätzvorrichtung nach dem Stand der Technik.

Beschreibung der Ausführungsform
Nachfolgend ist eine Ausführungsform einer Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts in Bezug auf die Zeichnungen beschrieben.
1 zeigt ein Blockdiagramm zur Darstellung eines Beispiels einer Konfiguration eines Fahrzeugs, an dem die Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts gemäß der Ausführungsform der vorliegenden Offenbarung montiert ist. 2 zeigt ein Blockdiagramm zur Darstellung eines Beispiels einer Konfiguration einer Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts gemäß der Ausführungsform der vorliegenden Offenbarung.
Die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts gemäß der vorliegenden Ausführungsform ist beispielsweise eine an einem Fahrzeug montierte und ein Verhalten eines sich bewegenden Objekts um das Fahrzeug vorhersagende Vorrichtung. Die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts kann beispielsweise ein automatisches Antriebssteuersystem oder ein Antriebsunterstützungssystem eines Fahrzeugs, etwa eines Automobils, sein.
In der folgenden Beschreibung ist ein „Trägerfahrzeug“ ein zu steuerndes Fahrzeug, an dem die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts der vorliegenden Ausführungsform montiert ist, und ein „weiteres Fahrzeug“ ist ein Fahrzeug um das Trägerfahrzeug. Ferner ist ein „sich bewegendes Objekt“ beispielsweise ein Hindernis, das sich im Laufe der Zeit bewegt, etwa ein weiteres Fahrzeug umfassend ein Automobil, ein Motorrad und ein Fahrrad, ein elektrisch angetriebener Rollstuhl, ein Fußgänger, ein Tier und ein Ball. Ferner ist ein „feststehendes Objekt“ ein Hindernis umfassend das sich bewegende Objekt in einem feststehenden oder gestoppten Zustand und ein fallendes Objekt, das sich nicht selbstständig bewegt.
Die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts besteht beispielsweise aus einem an einem Fahrzeug montierten Sensor 1, einer Karteninformation 2, einem Global Positioning System (GPS) 3, einer elektronischen Steuereinheit 4 und einem Stellglied 5. Der Sensor 1 umfasst beispielsweise eine Kamera, etwa eine Monokularkamera und eine Stereokamera, ein Light Detection and Ranging (LIDAR), ein Radar u. Ä. Die Karteninformation 2 ist beispielsweise eine statische Information umfassend eine Gelände- und Straßennetzinformation.
Die elektronische Steuereinheit 4 umfasst beispielsweise eine Central Processing Unit (CPU) 4a, einen Speicher 4b umfassend einen RAM und einen ROM und eine Beschleuniger 4c. Der Beschleuniger 4c umfasst beispielsweise einen Field-Programmable Gate Array (FPGA), einen Application-Specific Integrated Circuit (ASIC), eine Graphics Processing Unit (GPU) u. Ä.
Das Stellglied 5 ist beispielsweise eine Antriebseinheit, die das Fahren des Trägerfahrzeugs gemäß einem von der elektronischen Steuereinheit 4 ausgegebenen Steuersignal steuert. Das Stellglied 5 umfasst beispielsweise ein Bremsstellglied, das einen Bremszustand des Trägerfahrzeugs steuert, ein Gaspedal-Stellglied, das einen Gaspedal-Öffnungsgrad des Trägerfahrzeugs steuert, ein Schaltstellglied, das ein Schalten des Trägerfahrzeugs steuert, ein Lenkstellglied, das ein Lenksystem des Trägerfahrzeugs steuert, u. Ä.
Die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts der vorliegenden Ausführungsform umfasst eine Erkennungseinheit 10, eine Begrenzungseinheit 20, eine Bewertungseinheit 30, eine Schätzeinheit 40, eine Korrektureinheit 50 und eine Vorhersageeinheit 60. Die Erkennungseinheit 10 besteht beispielsweise aus dem Sensor 1, der Karteninformation 2, dem GPS 3 und der elektronischen Steuereinheit 4 und erkennt die Positionsinformation eines sich bewegenden Objekts Mo und eines feststehenden Objekts So (siehe 5A) um ein Trägerfahrzeug Vs in einem dreidimensionalen Raum. Die Begrenzungseinheit 20 besteht beispielsweise aus der elektronischen Steuereinheit 4 und legt einen Vorhersagebereich PA (siehe 5B) schmaler als ein Toter-Winkel-Bereich BA im Toter-Winkel-Bereich BA fest, in dem das sich bewegende Objekt MO und das feststehende Objekt So nicht direkt von der Erkennungseinheit 10 erkennbar sind.
Die Bewertungseinheit 30 ist unter Verwendung beispielsweise der elektronischen Steuereinheit 4 ausgebildet und berechnet einen Fehler zwischen einem vorhergesagten Verhalten Tp und einem tatsächlichen Verhalten Tr (siehe 5C) des sich bewegenden Objekts Mo auf der Basis eines Erkennungsergebnisses der Erkennungseinheit 10. Die Schätzeinheit 40 ist unter Verwendung beispielsweise der elektronischen Steuereinheit 4 ausgebildet und schätzt das Vorhandensein des sich bewegenden Objekts Mo oder des feststehenden Objekts So im Vorhersagebereich PA, um den von der Bewertungseinheit 30 berechneten Fehler zu verringern. Insbesondere verringert die Schätzeinheit 40 den Fehler durch ein Gradientenabstiegsverfahren auf der Basis von einer von einer differenzierbaren Funktion in der Vorhersageeinheit 60 beschriebenen Information.
Die Korrektureinheit 50 ist unter Verwendung beispielsweise der elektronischen Steuereinheit 4 ausgebildet und korrigiert das Erkennungsergebnis der Erkennungseinheit 10 auf der Basis eines Schätzergebnisses der Schätzeinheit 40. Wenn sich das Trägerfahrzeug Vs beispielsweise von einer vorhergehenden Position zum vorhergehenden Zeitpunkt zu einer aktuellen Position zum aktuellen Zeitpunkt bewegt hat, korrigiert die Korrektureinheit 50 das Erkennungsergebnis der Erkennungseinheit 10 unter Verwendung einer Koordinate der aktuellen Position des Trägerfahrzeugs Vs. Die Vorhersageeinheit 60 ist zum Verwenden beispielsweise der elektronischen Steuereinheit 4 ausgebildet und sagt ein Verhalten des sich bewegenden Objekts Mo auf der Basis des von der Korrektureinheit 50 korrigierten Erkennungsergebnisses der Erkennungseinheit 10 vorher.
3 zeigt ein Blockdiagramm zur Darstellung eines Beispiels der Konfiguration der in 2 dargestellten Begrenzungseinheit 20. Die Begrenzungseinheit 20 umfasst beispielsweise eine erste Bestimmungseinheit 21, eine zweite Bestimmungseinheit 22, eine dritte Bestimmungseinheit 23 eine Bereichsschätzeinheit 24 und eine Referenzeinheit 25.
Die erste Bestimmungseinheit 21 dient beispielsweise als eine Toter-Winkel-Bereich-Bestimmungseinheit, die den Toter-Winkel-Bereich BA bestimmt, in dem das sich bewegende Objekt Mo und das feststehende Objekt So nicht direkt von der Erkennungseinheit 10 erkennbar sind. Insbesondere bestimmt die erste Bestimmungseinheit 21 beispielsweise einen Bereich, in dem das sich bewegende Objekt Mo und das feststehende Objekt So nicht direkt vom Trägerfahrzeug VS als Toter-Winkel-Bereich BA unter Verwendung des die Erkennungseinheit 10 bildenden Sensors 1 erkennbar sind.
Die zweite Bestimmungseinheit 22 dient beispielsweise als eine Vorhersagebereich-Festlegungseinheit, die einen Bereich bestimmt, in dem das andere sich bewegende Objekt Mo oder das feststehende Objekt So durch das sich bewegende Objekt Mo erkennbar ist, und den Vorhersagebereich PA im Bereich festlegt. Insbesondere bestimmt die zweite Bestimmungseinheit 22 beispielsweise einen Bereich, in dem das sich bewegende Objekt Mo oder das feststehende Objekt So vom anderen Fahrzeug Vo auf der Basis eines Blickwinkels einer in einem Fahrzeug montierten normalen Kamera erkennbar sind. Wenn ein Typ eines im anderen Fahrzeug Vo enthaltenen Sensors von der zweiten Bestimmungseinheit 22 erkannt werden kann, kann die zweite Bestimmungseinheit 22 einen Bereich bestimmen, in dem das sich bewegende Objekt Mo oder das feststehende Objekt So vom anderen Fahrzeug Vo entsprechend dem erkannten Typ des Sensors des anderen Fahrzeugs Vo erkennbar ist.
Die dritte Bestimmungseinheit 23 dient beispielsweise als eine Vorhersagebereich-Bestimmungseinheit, die bestimmt, ob der Vorhersagebereich PA bereits in der Verarbeitung zum vorhergehenden Zeitpunkt durch die zweite Bestimmungseinheit 22 festgelegt wurde. Zusätzlich dient, wenn der Vorhersagebereich PA bereits in der Verarbeitung zum vorhergehenden Zeitpunkt festgelegt wurde, beispielsweise die dritte Bestimmungseinheit 23 ebenfalls als eine Vorhersagebereich-Ausschlusseinheit, die einen Bereich, in dem der Vorhersagebereich PA in der Verarbeitung zum vorhergehenden Zeitpunkt festgelegt wurde, von einem Bereich, in dem der Vorhersagebereich PA neu in der Verarbeitung zum nächsten Zeitpunkt festgelegt wird, ausschließt.
Die Bereichsschätzeinheit 24 dient beispielsweise als eine Vorhersagebereich-Begrenzungseinheit, die einen Bereich schätzt, der ein Verhalten des sich bewegenden Objekts Mo beeinflusst, und ausschließlich einen im Bereich enthaltenen Bereich als den Vorhersagebereich PA festlegt. Insbesondere schätzt die Bereichsschätzeinheit 24 beispielsweise einen Bereich auf einer Straße vor dem Trägerfahrzeug Vs und einen Bereich auf einem Gehweg angrenzend an die Straße als einen Bereich, der ein Verhalten des sich bewegenden Objekts Mo beeinflusst, auf der Basis der vom Sensor 1, von der Karteninformation 2 und vom GPS 3 u. Ä. erhaltenen Information und schließt im Bereich nicht enthaltene Bereiche vom Vorhersagebereich PA aus.
Zusätzlich kann die Bereichsschätzeinheit 24 beispielsweise ebenfalls einen Bereich schätzen, in dem sich ein Abstand zum Trägerfahrzeug Vs in einem bestimmten Bereich befindet, als einen Bereich schätzen, der ein Verhalten des sich bewegenden Objekts Mo beeinflusst, oder eine entgegenkommende Spur vom Bereich, der das Verhalten des sich bewegenden Objekts Mo beeinflusst, auf der Basis der vom Sensor 1, von der Karteninformation 2 und vom GPS 3 u. Ä. erhaltenen Information ausschließen. Zusätzlich kann die Bereichsschätzeinheit 24 beispielsweise ebenfalls eine Straße o. Ä., die eine Fahrspur des Trägerfahrzeugs Vs schneidet, als einen Bereich , der ein Verhalten des sich bewegenden Objekts Mo beeinflusst, auf der Basis der vom Sensor 1, von der Karteninformation 2 und vom GPS 3 u. Ä. erhaltenen Information wie Gelände und Straßennetz schätzen.
Die Referenzeinheit 25 dient beispielsweise als eine Vorhersagebereich-Korrektureinheit, die sich auf einen Bereich, in dem sich das sich bewegende Objekt Mo wahrscheinlich befindet, auf der Basis der Karteninformation 2 zum Korrigieren des Vorhersagebereichs PA bezieht. Insbesondere bezieht sich die Referenzeinheit 25 auf Bereiche wie einen Bereich auf einer Straße und einen Bereich auf einem Gehweg auf der Basis der Karteninformation 2 und korrigiert den Vorhersagebereich PA auf der Basis der Bezugsinformation.
Nachfolgend ist ein Betrieb der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts der vorliegenden Ausführungsform beschrieben. 4 zeigt ein Fließbild zur Darstellung eines Beispiels des Betriebs der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts der vorliegenden Ausführungsform. 5A bis 5E zeigen schematische Ansichten zur Darstellung des sich bewegenden Objekts Mo und des feststehenden Objekts So um das Trägerfahrzeug Vs.
Die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts ist am Trägerfahrzeug Vs montiert wie zuvor beschrieben und umfasst die Erkennungseinheit 10, die Begrenzungseinheit 20, die Bewertungseinheit 30, die Schätzeinheit 40, die Korrektureinheit 50 und die Vorhersageeinheit 60. Die Erkennungseinheit 10 erkennt das sich bewegende Objekt Mo und das feststehende Objekt So um das Trägerfahrzeug Vs. Die Begrenzungseinheit 20 legt den Vorhersagebereich PA schmaler als den Toter-Winkel-Bereich BA im Toter-Winkel-Bereich BA, in dem das sich bewegende Objekt Mo und das feststehende Objekt So nicht direkt von der Erkennungseinheit 10 erkennbar sind, fest. Die Bewertungseinheit 30 berechnet einen Fehler zwischen dem vorhergesagten Verhalten Tp und dem tatsächlichen Verhalten Tr des sich bewegenden Objekts Mo auf der Basis eines Erkennungsergebnisses der Erkennungseinheit 10. Die Schätzeinheit 40 schätzt das Vorhandensein des sich bewegenden Objekts Mo oder des feststehenden Objekts So im Vorhersagebereich PA, um den von der Bewertungseinheit 30 berechneten Fehler zu verringern. Die Korrektureinheit 50 korrigiert das Erkennungsergebnis der Erkennungseinheit 10 auf der Basis eines Schätzergebnisses der Schätzeinheit 40. Die Vorhersageeinheit 60 sagt ein Verhalten des sich bewegenden Objekts Mo auf der Basis des von der Korrektureinheit 50 korrigierten Erkennungsergebnisses der Erkennungseinheit 10 vorher.
Zunächst erfasst die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts eine Information um das Trägerfahrzeug Vs in Schritt S1 von 4. Insbesondere wird ein Fall angenommen, in dem das Trägerfahrzeug Vs vorwärts auf einer linken Spur einer geraden Straße fährt, ein weiteres Fahrzeug Vo vor dem Trägerfahrzeug Vs fährt und das andere Fahrzeug Vo vor einem weiteren Fahrzeug Vo gestoppt ist, wie in 5A dargestellt. Zusätzlich ist ein Fußgänger P am Queren der Straße vor dem anderen Fahrzeug Vo, das gestoppt ist. In diesem Fall erfasst die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts beispielsweise eine Information um das Trägerfahrzeug Vs durch die Erkennungseinheit 10 und erkannt die Positionsinformation des sich bewegenden Objekts Mo und des feststehenden Objekts So um das Trägerfahrzeug Vs in einem dreidimensionalen Raum. In dieser Phase hat die Erkennungseinheit 10 den Fußgänger P, der das sich bewegende Objekt Mo ist, im Toter-Winkel-Bereich BA nicht erkannt.
Anschließend bestimmt in Schritt S2 von 4 die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts den Vorhersagebereich PA, der ein Bereich zur Vorhersage des Vorhandenseins des sich bewegenden Objekts Mo oder des feststehenden Objekts So ist. Insbesondere verwendet die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Verwendung beispielsweise die Begrenzungseinheit 20 , um den Vorhersagebereich PA schmaler als den Toter-Winkel-Bereich BA im Toter-Winkel-Bereich BA, in dem das sich bewegende Objekt Mo und das feststehende Objekt So nicht direkt von der Erkennungseinheit 10 erkennbar sind, festzulegen.
Insbesondere verwendet in der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts der vorliegenden Ausführungsform die Begrenzungseinheit 20 beispielsweise die in 3 dargestellte erste Bestimmungseinheit 21, um den Toter-Winkel-Bereich BA, in dem das sich bewegende Objekt Mo und das feststehende Objekt So nicht direkt von der Erkennungseinheit 10 erkennbar sind, zu bestimmen. Ferner verwendet die Begrenzungseinheit 20 beispielsweise die in 3 dargestellte zweite Bestimmungseinheit 22 zum Bestimmen eines Bereichs, in dem das sich bewegende Objekt Mo oder das feststehende Objekt So vom sich bewegenden Objekt Mo, welches das vorausfahrende andere Fahrzeug Vo ist, erkennbar ist, und legt den Vorhersagebereich PA im Bereich fest.
Somit kann der Vorhersagebereich PA schmaler als der Toter-Winkel-Bereich BA durch die Begrenzungseinheit 20 im Toter-Winkel-Bereich BA festgelegt werden, in dem für das Trägerfahrzeug Vs schwierig ist, eine direkte Beobachtung unter Verwendung des Sensors 1 im Bereich durchzuführen, in dem das andere sich bewegende Objekt Mo oder das feststehende Objekt So vom sich bewegenden Objekt Mo, welches das andere Fahrzeug Vo ist, erkennbar ist, wie in 5B dargestellt. Die Begrenzungseinheit 20 ist nicht auf die Konfiguration beschränkt, in welcher der Vorhersagebereich PA im Bereich festgelegt ist, in dem das andere sich bewegende Objekt Mo oder das feststehende Objekt So vom sich bewegenden Objekt Mo erkennbar ist.
In der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts kann die Begrenzungseinheit 20 den Vorhersagebereich beispielsweise in einem Teil des Toter-Winkel-Bereichs BA neu festlegen, in dem der Vorhersagebereich PA nicht in der Verarbeitung zum vorhergehenden Zeitpunkt festgelegt wurde. Insbesondere bestimmt die Begrenzungseinheit 20 beispielsweise, ob ein vorbestimmter Vorhersagebereich PA vorhanden ist oder nicht, in Schritt S3 von 4. Insbesondere verwendet die Begrenzungseinheit 20 beispielsweise die in 3 dargestellte dritte Bestimmungseinheit 23 zum Bestimmen, ob der Vorhersagebereich PA bereits in der Verarbeitung durch die zweite Bestimmungseinheit 22 zum vorhergehenden Zeitpunkt festgelegt wurde oder nicht. Anschließend schließt die Begrenzungseinheit 20 beispielsweise einen Bereich, in dem der Vorhersagebereich PA in der Verarbeitung zum vorhergehenden Zeitpunkt festgelegt wurde, von einem Bereich aus, in dem der Vorhersagebereich PA neu in der Verarbeitung zum nächsten Zeitpunkt festgelegt wird, wenn der Vorhersagebereich PA bereits in der Verarbeitung zum vorhergehenden Zeitpunkt festgelegt wurde.
Zusätzlich kann in der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts die Begrenzungseinheit 20 den Vorhersagebereich PA beispielsweise in einem Bereich nahe dem sich bewegenden Objekt Mo festlegen, der vermutlich ein Verhalten des sich bewegenden Objekts Mo beeinflussen wird. Insbesondere verwendet die Begrenzungseinheit 20 beispielsweise die in 3 dargestellte Bereichsschätzeinheit 24 zum Schätzen eines Bereichs nahe dem sich bewegenden Objekt Mo, in dem ein Abstand zum sich bewegenden Objekt Mo als das andere Fahrzeug Vo mehrere Meter bis mehrzehnfache Meter vor dem sich bewegenden Objekt Mo als ein Bereich, der ein Verhalten des sich bewegenden Objekts Mo beeinflusst, ist, und legt nur einen im Bereich enthaltenen Bereich als den Vorhersagebereich PA fest.
Zusätzlich kann in der Vorrichtung 100 zur Vorhersage des Verhaltens des sich bewegenden Objekts die Begrenzungseinheit 20 den Vorhersagebereich PA beispielsweise im Bereich, der das Verhalten des sich bewegenden Objekts Mo beeinflusst, auf der Basis der Karteninformation 2 um das Trägerfahrzeug Vs und der Information des GPS 3 u. Ä. festlegen. Insbesondere verwendet die Begrenzungseinheit 20 beispielsweise die in 3 dargestellte Bereichsschätzeinheit 24 zum Schätzen von Bereichen auf einer Straße und einem Gehweg vor dem sich bewegenden Objekt Mo als das andere Fahrzeug Vo als den Bereich, der das Verhalten des sich bewegenden Objekts Mo beeinflusst, und legt nur einen im Bereich enthaltenen Bereich als den Vorhersagebereich PA fest.
Im in 4 dargestellten Beispiel führt, wenn der vorbestimmte Vorhersagebereich PA in der Bestimmung von Schritt S3 vorhanden ist (Y), die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts die Verhaltensvorhersage von Schritt S7 ohne Durchführen der Verarbeitung von Schritt S4 bis S6 durch. Wenn hingegen der vorbestimmte Vorhersagebereich PA in der Bestimmung in Schritt S3 nicht vorhanden ist (N), führt die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts die Fehlerberechnung in Schritt S4 aus.
Im in 4 dargestellten Schritt S4 verwendet Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts beispielsweise die in 2 dargestellte Bewertungseinheit 30 zum Berechnen eines Fehlers zwischen dem vorhergesagten Verhalten Tr des sich bewegenden Objekts Mo auf der Basis eines Erkennungsergebnisses der Erkennungseinheit 10. Insbesondere berechnet die Bewertungseinheit 30 zunächst eine Position, eine Geschwindigkeit und eine Bewegungsrichtung des anderen Fahrzeugs Vo als das sich bewegende Objekt Mo zu jedem Zeitpunkt auf der Basis des Erkennungsergebnisses der Erkennungseinheit 10 und sagt eine Bahn des anderen Fahrzeugs Vo als das vorhergesagte Verhalten Tp des in 5C dargestellten sich bewegenden Objekts Mo voraus. Anschließend berechnet die Bewertungseinheit 30 einen Fehler zwischen der vorhergesagten Bahn des anderen Fahrzeugs Vo, das heißt dem vorhergesagten Verhalten Tp des sich bewegenden Objekts Mo, und einer von der Erkennungseinheit 10 gemessenen tatsächlichen Bahn des anderen Fahrzeugs Vo, das heißt dem tatsächlichen Verhalten Tr des sich bewegenden Objekts Mo.
Anschließend schätzt die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts einen Zustand des Vorhersagebereichs PA im in 4 dargestellten Schritt S5. Insbesondere verwendet die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts beispielsweise die in 2 dargestellte Schätzeinheit 40 zum Schätzen des Vorhandenseins einer Straße, des sich bewegenden Objekts Mo oder des feststehenden Objekts So im Vorhersagebereich PA zum Verringern des von der Bewertungseinheit 30 berechneten Fehlers. Somit wird das Vorhandensein des sich bewegenden Objekts Mo, beispielsweise des Fußgängers P o. Ä., im Vorhersagebereich PA wie in 5D dargestellt geschätzt.
Anschließend korrigiert im in 4 dargestellten Schritt S6 die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts das Erkennungsergebnis des Vorhersagebereichs PA. Insbesondere verwendet die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts beispielsweise die in 2 dargestellte Korrektureinheit 50 zum Korrigieren des Erkennungsergebnisses der Erkennungseinheit 10 auf der Basis des Schätzergebnisses der Schätzeinheit 40. Somit wird beispielsweise das von der in 5D dargestellten Schätzeinheit 40 erhaltene Schätzergebnis des sich bewegenden Objekts Mo im Vorhersagebereich PA zum Erkennungsergebnis der Erkennungseinheit 10 hinzugefügt.
Anschließend sagt die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts ein Verhalten des sich bewegenden Objekts Mo im in 4 dargestellten Schritt S7 vorher. Insbesondere verwendet die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts beispielsweise die in 2 dargestellte Vorhersageeinheit 60 zum Vorhersagen des Verhaltens des sich bewegenden Objekts Mo auf der Basis des von der Korrektureinheit 50 korrigierten Erkennungsergebnisses der Erkennungseinheit 10. Somit wird eine Bahn des anderen Fahrzeugs Vo als das sich bewegende Objekt Mo in einem Zustand vorhergesagt, in dem das Schätzergebnis des Fußgängers P als das sich bewegende Objekt im Vorhersagebereich PA widergespiegelt wird, und das vorhergesagte Verhalten Tp näher am tatsächlichen Verhalten Tr des sich bewegenden Objekts Mo wird erhalten wie in 5E dargestellt.
6A zeigt ein Blockdiagramm zur Darstellung der Konfiguration der in 2 dargestellten Vorhersageeinheit 60. Obgleich Details nachfolgend beschrieben sind, umfasst in der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts der vorliegenden Ausführungsform die Vorhersageeinheit 60 ein erstes neuronales Netz (RNN 61 (1 bis N)), ein zweites neuronales Netz (Faltungsschicht 64), ein drittes neuronales Netz (Faltungsschicht 66), eine Raumeinbettungseinheit 62 (1 bis N) und eine Verbindungseinheit (Verbindungsschicht 65). Das erste neuronale Netz sagt eine zukünftige Position von jeweils N (N ist eine positive Ganzzahl) sich bewegenden Objekten M (1 bis N) in einer Vektordarstellung vorher. Das zweite neuronale Netz erkennt eine topographische Information um das Trägerfahrzeug Vs in einer Tensordarstellung. Das dritte neuronale Netz führt eine Verarbeitung durch Kombinieren der topographischen Information und von Verarbeitungsergebnissen von einem oder mehreren sich bewegenden Objekten Mo durch. Die Raumeinbettungseinheit 62 (1 bis N) wandelt einen internen Zustand des ersten neuronalen Netzes, der die Vektordarstellung ist, um und verbindet diesen mit einem internen Zustand des zweiten neuronalen Netzes, so dass die Dimensionen übereinstimmen. Die Verbindungseinheit sammelt die von der Raumeinbettungseinheit 62 (1 bis N) umgewandelte Information für jedes der sich bewegenden Objekte Mo an und verbindet die internen Zustände des zweiten neuronalen Netzes. Die Vorhersageeinheit 60 sagt die zukünftigen Positionen des sich bewegenden Objekts Mo (1 bis N) zu jedem zukünftigen Zeitpunkt durch Anwenden des dritten neuronalen Netzes auf die von der Verbindungseinheit verbundene Tensordarstellung an.
Insbesondere ist die Vorhersageeinheit 60 beispielsweise mit dem Recurrent Neural Network (RNN) 61 (1 bis N), welches das erste neuronale Netz ist, und der Raumeinbettungseinheit 62 (1 bis N) für jedes von N (N ist eine positive Ganzzahl) sich bewegenden Objekten Mo (1 bis N) ausgestattet. Ferner weist die Vorhersageeinheit 60 eine Summenschicht 63, die Faltungsschichten 64 und 66 und die mit den N sich bewegenden Objekten Mo (1 bis N9 gemeinsame Verbindungsschicht 65 auf. Diese Schichten führen die Verarbeitung nur einmal für die N sich bewegenden Objekte Mo (1 bis N) durch.
Die Vorhersageeinheit 60 führt eine Positionsvorhersage unter Verwendung des RNN 61 (1 bis N) für jedes der sich bewegenden Objekte Mo (1 bis N) um das Trägerfahrzeug Vs durch. Die sich bewegenden Objekte Mo (1 bis N) sind N von der Erkennungseinheit 10 erkannte Objekte. Die Vorhersageeinheit 60 sammelt Zwischenzustände des RNN 61 (1 bis N) der jeweiligen sich bewegenden Objekte Mo (1 bis N) durch die Raumeinbettungseinheit 62 (1 bis N) und die Summenschicht 63 an, verbindet solch ein Ansammlungsergebnis mit einer Straßensituation und einer Verkehrssituation um das Trägerfahrzeug Vs und sagt ein Verhalten unter Berücksichtigung der Interaktion mit jedem der sich bewegenden Objekte Mo (1 bis N) und der Straßeninformation durch ein Convolutional Neural Network (CNN) voraus. Das RNN 61 (1 bis N) kann ein normales RNN oder eine Ableitung des RNN, etwa eine Gated Recurrent Unit (GRU) und ein Long-Short Term Memory (LSTM), sein.
Jedes der RNNs 61 (1 bis N) gibt Positionsdaten Pf (1 bis N) zum zukünftigen Zeitpunkt von jedem der sich bewegenden Objekte Mo (1 bis N) mit Positionsdaten Pc (1 bis N) zum aktuellen Zeitpunkt von jedem der sich bewegenden Objekte Mo (1 bis N) als Eingabe aus. Die Positionsdaten Pc (1 bis N) zum aktuellen Zeitpunkt von jedem der sich bewegenden Objekte Mo (1 bis N) sind eine relative Positionsinformation von jedem der sich bewegenden Objekte Mo (1 bis N) in einem Fahrzeugkoordinatensystem. Die Positionsdaten Pf (1 bis N) zum zukünftigen Zeitpunkt von jedem der sich bewegenden Objekte Mo (1 bis N) sind eine relative Position zum zukünftigen Zeitpunkt im Fahrzeugkoordinatensystem zum aktuellen Zeitpunkt von jedem der sich bewegenden Objekte Mo (1 bis N). Dies gibt an, wie viel sich jedes der sich bewegenden Objekte Mo (1 bis N) nach einem Ablauf einer Zeit t0, t1, ... , und tT seit dem aktuellen Zeitpunkt bewegt. Bewegungsdaten zum aktuellen Zeitpunkt des sich bewegenden Objekts Mo (1 bis N) und Bewegungsdaten zum zukünftigen Zeitpunkt des sich bewegenden Objekts Mo (1 bis N) werden im Fahrzeugkoordinatensystem auf der Basis der Position zum aktuellen Zeitpunkt von jedem der sich bewegenden Objekte Mo (1 bis N) berechnet.
Die Positionsdaten Pf (1 bis N) zum zukünftigen Zeitpunkt des sich bewegenden Objekts Mo (1 bis N) sagen eine zukünftige Position von jedem der sich bewegenden Objekte Mo (1 bis N) unter Verwendung ausschließlich einer vorhergehenden Bewegungsbahn von jedem der sich bewegenden Objekte Mo (1 bis N) vorher. Die Positionsdaten Pf (1 bis N) sind nicht notwendigerweise genaue Vorhersageinformationen und werden somit nicht als ein Ergebnis der Verhaltensvorhersage von jedem der sich bewegenden Objekte Mo (1 bis N) verwendet. Die Positionsdaten Pf (1 bis N) zum zukünftigen Zeitpunkt von jedem der sich bewegenden Objekte Mo (1 bis N) werden mit der topographischen Information durch die Verbindungsschicht 65 kombiniert, Verhaltensdaten Bf zum zukünftigen Zeitpunkt werden unter Berücksichtigung von räumlichem Einfluss wie Verkehrsinformationen und der Interaktion zwischen den sich bewegenden Objekten Mo (1 bis N) vorhergesagt und die vorhergesagten Verhaltensdaten Bf werden als ein Ergebis der Verhaltensvorhersage in der Vorhersageeinheit 60 verwendet.
Die Positionsdaten Pf (1 bis N) zum zukünftigen Zeitpunkt von jedem der sich bewegenden Objekte Mo (1 bis N) können zum einfacheren Lernen des RNN 61 (1 bis N) verwendet werden. Zum Zeitpunkt des Lernens des RNN 61 (1 bis N) kann eine Position von jedem der sich bewegenden Objekte Mo zum zukünftigen Zeitpunkt t0, t1,..., und tT auf der Basis der Positionsdaten Pf (1 bis N) zum zukünftigen Zeitpunkt von jedem der sich bewegenden Objekte Mo (1 bis N) als Lehrerinformation gegeben werden.
Da das RNN 61 (1 bis N) den Zustandsübergang des sich bewegenden Objekts Mo auf der Basis der Positionsinformation im Fahrzeugkoordinatensystem erkennt und die zukünftige Position vorhersagt, ist es schwierig, die als eine Gitterkarte gegebenen Kartendaten Md und eine Merkmalskarte erhalten durch Anwenden des CNN auf die Kartendaten Md zu kombinieren. Daher wird in der vorliegenden Ausführungsform ein interner Zustand des RNN 61 (1 bis N), der eine Darstellung des Fahrzeugkoordinatensystems ist, in ein Format, das einfach mit der Merkmalskarte verbunden werden kann, die eine Darstellung der Gitterkarte ist, unter Verwendung der Raumeinbettungseinheit 62 (1 bis N), umgewandelt. Die für jedes der sich bewegenden Objekte Mo (1 bis N) erhaltene Ausgabe der Raumeinbettungseinheit 62 (1 bis N) wird als eine Summierungsoperation in der Summenschicht 63 angesammelt und die Resultante wird mit der durch Anwenden der Faltungsschicht 64 auf die Kartendaten Md in der Verbindungsschicht 65 erhaltene Merkmalskarte verbunden. Anschließend führt das CNN die Vorhersage unter Berücksichtigung der Interaktion zwischen jedem der sich bewegenden Objekte Mo (1 bis N) und der Straßeninformation durch.
Die Kartendaten Md sind beispielsweise Daten, in denen die Straßeninformation um das Trägerfahrzeug Vs gespeichert ist, und sind eine Information umfassend eine Information zum sich bewegenden Objekt Mo (1 bis N), erhalten durch Umwandeln einer Klasseninformation von jedem Pixel, erhalten durch semantische Segmentierung des Erkennungsergebnisses durch die Erkennungseinheit 10 unter Verwendung eines Parallaxenbildes, in ein Luftbild der Umgebung des Trägerfahrzeugs Vs.
Die Ausgabe der Faltungsschicht 64 und die Ausgabe der Summenschicht 63 werden beispielsweise durch Hinzufügen der Ausgabe der Summenschicht 63 in einer Kanalrichtung des ausgegebenen Ergebnisses der Faltungsschicht 64 verbunden. Ein neuronales Netz wie eine Faltungsschicht kann zwischen der Summenschicht 63 und der Verbindungsschicht 65 hinzugefügt werden.
Die Faltungsschicht 66 wendet das CNN auf ein Verbindungsergebnis der Ausgabe der Summenschicht 63 und der Ausgabe der Faltungsschicht 64 an und gibt die Verhaltensdaten Bf zum zukünftigen Zeitpunkt aus. Die Verhaltensdaten Bf zum zukünftigen Zeitpunkt geben eine Wahrscheinlichkeit n, dass das sich bewegende Objekt Mo (1 bis N) an jeder Koordinate zum zukünftigen Zeitpunkt t0, t1,..., und tT im Koordinatensystem um das Trägerfahrzeug Vs vorhanden ist. Ein Format der Verhaltensdaten Bf zum zukünftigen Zeitpunkt ist beispielsweise das gleiche wie ein Format der Kartendaten Md.
Jede der Faltungsschichten 64 und 66 ist nicht notwendigerweise die einzelne Schicht und kann eine Vielzahl von Schichten aufweisen und die Kartendaten Md, die Faltungsschichten 64 und 66 und die Verbindungsschicht 65 können die Breite und Höhe von jedem Zwischenzustand und jeder Ausgabe durch die Verhaltensdaten Bf zum zukünftigen Zeitpunkt konstant halten oder die Breite und Höhe verkleinern oder vergrößern. Obgleich die Konfiguration in der Situation, in der die N sich bewegenden Objekte Mo (1 bis N) vorhanden sind, in der vorliegenden Ausführungsform beschrieben wurde, ist die Zahl von sich bewegenden Objekten Mo nicht darauf beschränkt und kann ein oder mehrere sein.
6B zeigt ein Blockdiagramm zur Darstellung von Details der Raumeinbettungseinheit 62 (1 bis N) in 6A. In der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts umfasst die Raumeinbettungseinheit 62 beispielsweise eine Abfragenerzeugungseinheit 62a, die eine zum Einbetten verwendete Abfrage auf der Basis der Information einer Vektordarstellung erzeugt, eine Einbettungswert-Erzeugungseinheit 62c, die eine Information zum Einbetten auf der Basis der Information der Vektordarstellung erzeugt, und eine Schlüsselerzeugungseinheit 62b, die einen Schlüssel zur Verwendung zum Einbetten auf der Basis der Information einer Tensordarstellung erzeugt. Die Raumeinbettungseinheit 62 erzeugt einen Einbettungstensor aus der Abfrage, der Information zum Einbetten und den Schlüssel.
Insbesondere umfasst die Raumeinbettungseinheit 62 beispielsweise die Abfragenerzeugungseinheit 62a, die Schlüsselerzeugungseinheit 62b, die Einbettungswert-Erzeugungseinheit 62c, eine Einbettungslast-Bestimmungseinheit 62d und eine Einbettungsverarbeitungseinheit 62e. Die Raumeinbettungseinheit 62 erzeugt eine Abfrage und einen Einbettungswert auf der Basis der Information des Fahrzeugkoordinatensystems zum Einbetten, erzeugt einen Schlüssel aus der Ausgabe der Faltungsschicht 64, die ein Einbettungsziel ist, und spiegelt einen Wert des Einbettungswerts im Wesentlichen in einem Bereich wider, in dem die Abfrage und der Schlüssel ähnlich sind. Somit kann eine Information des Fahrzeugkoordinatensystems, die eine Merkmalsmenge einer kleineren Dimension ist, in einem spezifischen Bereich der Gitterkarte eingebettet werden, der eine Merkmalsmenge einer größeren Dimension ist, und die äußerst genaue Verhaltensvorhersage wird möglich.
Die Abfragenerzeugungseinheit erzeugt die Abfrage unter Verwendung des internen Zustands des RNN 61 als Eingabe. Dies erfolgt beispielsweise durch Umwandeln eines Eingabevektors in eine Dimension d_r unter Verwendung einer vollständigen Verbindungsschicht oder eines Mehrschichtenperzeptrons. Zusätzlich kann die Abfragenerzeugungseinheit die Positionsdaten Pc des sich bewegenden Objekts Mo zum aktuellen Zeitpunkt als Eingabe empfangen. Die Schlüsselerzeugungseinheit erzeugt den Schlüssel unter Verwendung der Information der Faltungsschicht 64. Der Schlüssel ist hier ein dreidimensionaler Tensor mit der gleichen Zahl von Kanälen wie die Dimension d_r der Abfrage und der gleichen Höhe und Breite wie die von der Faltungsschicht 64 ausgegebene Merkmalskarte. Dieser dreidimensionale Tensor kann durch Anwenden des CNN auf eine räumlich codierte Information oder eine Kombination der räumlich codierten Information und der von der Faltungsschicht 64 ausgegebenen Merkmalskarte in der Kanalrichtung erhalten werden. Die räumlich codierte Information SEnc ist hier durch die folgende Formel definiert. $SEnc [2 i, j, k] = sin (\frac{j}{\frac{2i}{a^{d_{r}}}})$

$SEnc [2 i + 1, j, k] = cos (\frac{k}{\frac{2i}{a^{d_{r}}}})$
Werte in den eckigen Klammern, angefügt an SEnc, stellen jeweils einen Kanal, eine Höhe und einen Index in einer Breitenrichtung dar. Ferner ist a eine vorgegebene Konstante. Entsprechend solch einer räumlich codierten Information SEnc kann die Positionsinformation der Höhe und Breite auf der Merkmalskarte eindeutig aus der Information der Kanalrichtung erhalten werden. Zusätzlich wird eine kontinuierlich codierte Information an kontinuierlichen Höhen- und Breitenpositionen bereitgestellt. Somit weist die Schlüsselerzeugungseinheit die gleiche Höhe und Breite wie die Höhe und Breite der von der Faltungsschicht 64 ausgegebenen Merkmalskarte aus und kann eine Schlüsselkarte erzeugen, die der dreidimensionale Tensor mit der eindeutigen Information für jede Position in der Kanalrichtung ist.
Die Einbettungswert-Erzeugungseinheit 62c erzeugt einen Einbettungswert aus dem internen Zustand des RNN 61. Dieser Einbettungswert ist ein Vektor einer Dimension d_s und kann beispielsweise durch Anwenden einer Einzelschicht- oder Mehrschichten-Vollverbindungsschicht auf die Ausgabe des RNN 61 erhalten werden. Die Einbettungslast-Bestimmungseinheit 62d bestimmt eine Einbettungslast unter Verwendung der von der Abfragenerzeugungseinheit 62a erzeugten Abfrage und des von der Schlüsselerzeugungseinheit 62b erzeugten Schlüssels. Diese Einbettungslast ist ein zweidimensionaler Tensor mit der gleichen Höhe und Breite wie die von der Faltungsschicht 64 ausgegebenen Merkmalskarte und die Summe hiervon wird auf Eins normalisiert. Dies kann beispielsweise durch Erhalten einer Ähnlichkeit zwischen einem Schlüssel und einer Abfrage an jeder Höhen- und Breitenkoordinate der Schlüsselkarte durch ein inneres Produkt aus der Schlüsselkarte und der Abfrage und Durchführen einer Softmax-Operation in der räumlichen Richtung erzielt werden.
Anschließend erzeugt die Einbettungsverarbeitungseinheit 62e den dreidimensionalen Tensor mit der Dimension d_s in der Kanalrichtung und der gleichen Höhe und Breite wie die von der Faltungsschicht 64 ausgegebenen Merkmalskarte auf der Basis des Einbettungswerts und der Einbettungslast. Dies kann beispielsweise durch Senden des Einbettungswerts und der Einbettungslast, um die gleiche Dimension wie die Ausgabe der Einbettungsverarbeitungseinheit 62e zu erhalten, und Verwenden eines Elementprodukts erzielt werden. Zusätzlich wurde das Beispiel, in dem die Einbettungslast der zweidimensionale Tensor ist, in der vorliegenden Ausführungsform beschrieben; die Einbettungslast kann aber auf einen dreidimensionalen Tensor durch Erzeugen einer Vielzahl von Abfragen und Schlüsselkarten erweitert werden. Da alle der von der Raumeinbettungseinheit 62 durchgeführten Prozesse unterscheidbar sind, können die Faltungsschicht und das RNN gleichzeitig durch Fehlerrückführung gelernt werden.
7 zeigt einen Graphen zur Darstellung eines Beispiels einer Änderung im Rechenaufwand oder Stromverbrauch der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts gemäß der vorliegenden Ausführungsform im Laufe der Zeit. In 7 gibt eine gerade Linie L1 einen Rechenaufwand oder Stromverbrauch der zuvor beschriebenen Fahrzeugumgebungs-Schätzvorrichtung nach dem Stand der Technik an und eine Kurve L2 gibt den Rechenaufwand oder Stromverbrauch der Vorrichtung 100 zur Vorhersage des Verhaltens einer sich bewegenden Objekts der vorliegenden Ausführungsform an. 8A zeigt eine schematische Ansicht zur Darstellung einer Situation, in welcher der Vorhersagebereich PA durch die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts geschätzt wird. 8B zeigt eine schematische Ansicht zur Darstellung einer Situation nach dem Schätzen des Vorhersagebereichs PA durch die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts. 8C zeigt eine schematische Ansicht zur Darstellung einer Situation, in welcher die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts einen neuen Vorhersagebereich PA schätzt.
In der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts legt die Begrenzungseinheit 20 den Vorhersagebereich PA nicht fest, wenn beispielsweise das sich bewegende Objekt Mo von der Erkennungseinheit 10 nicht erkannt wurde. Daher wird der Rechenaufwand oder der Stromverbrauch der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts auf einen relativ niedrigen Wert gehalten wie von der Kurve L2 in 7 angegeben, bis das sich bewegende Objekt Mo von der Erkennungseinheit 10 erkannt wird.
10 zeigt eine schematische Ansicht zur Darstellung eines Beispiels eines Toter-Winkel-Bereichs BA in einer zuvor beschriebenen Fahrzeugumgebungs-Schätzvorrichtung 900 nach dem Stand der Technik. Die Fahrzeugumgebungs-Schätzvorrichtung 900 nach dem Stand der Technik berechnet das Vorhandensein oder Fehlen eines nicht erfassten Hindernisses im gesamten Toter-Winkel-Bereich BA ungeachtet des Vorhandenseins oder Fehlens des sich bewegenden Objekts Mo. Daher ist der Rechenaufwand oder der Stromverbrauch durch die Fahrzeugumgebungs-Schätzvorrichtung 900 nach dem Stand der Technik angegeben durch die gerade Linie L1 in 7 immer höher als der Rechenaufwand oder der Stromverbrauch der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts der vorliegenden Ausführungsform.
Anschließend wird, wenn die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts das sich bewegende Objekt Mo und das feststehende Objekt So um das Trägerfahrzeug Vs durch die Erkennungseinheit 10 erkennt wie in 8A dargestellt, beispielsweise der Vorhersagebereich PA (siehe 5B) von der Begrenzungseinheit 20 festgelegt und das Vorhandensein des sich bewegenden Objekts Mo oder des feststehenden Objekts So wird im Vorhersagebereich PA durch die Schätzeinheit 40 geschätzt. Somit nimmt der Rechenaufwand oder Stromverbrauch der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts vorübergehend zu wie durch die Kurve L2 in 7 angegeben.
In der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts der vorliegenden Ausführungsform legt jedoch die Begrenzungseinheit 20 den Vorhersagebereich PA schmaler als den Toter-Winkel-Bereich BA im Toter-Winkel-Bereich BA, in dem das sich bewegende Objekt Mo und das feststehende Objekt So nicht direkt von der Erkennungseinheit 10 erkennbar sind, fest wie zuvor beschrieben. Daher kann der Rechenaufwand oder Stromverbrauch im Vergleich zum Fall, in dem das Vorhandensein oder Fehlen des nicht erfassten Hindernisses im gesamten Toter-Winkel-Bereich BA wie in der in 10 dargestellten Fahrzeugumgebungs-Schätzvorrichtung 900 berechnet wird, verringert werden.
Die Wirkung des Verringerns des Rechenaufwands oder Stromverbrauchs in der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts der vorliegenden Ausführungsform kann durch ein beliebiges der zuvor beschriebenen Verfahren zum Festlegen des Vorhersagebereichs PA durch die Begrenzungseinheit 20 oder durch eine Kombination von beliebigen zwei oder mehr Verfahren erzielt werden. Die zwei oder mehr Verfahren zum Festlegen der Vorhersagebereiche PA können entsprechend kombiniert sein entsprechend einer Situation auf der Basis des Gleichgewichts zwischen Sicherheit und der Wirkung des Verringerns des Rechenaufwands oder Stromverbrauchs.
Zusätzlich wird in Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts ein Fall angenommen, in dem die Begrenzungseinheit 20 den Vorhersagebereich PA in einem Bereich festlegt, in dem der Vorhersagebereich PA nicht zum vorhergehenden Zeitpunkt festgelegt wurde. In diesem Fall werden das sich bewegende Objekt Mo und das feststehende Objekt So um das Trägerfahrzeug Vs zuerst von der Erkennungseinheit 10 erkannt. Nachdem der Vorhersagebereich PA von der Begrenzungseinheit 20 festgelegt ist, wird der Rechenaufwand oder Stromverbrauch der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts auf einen relativ niedrigen Wert gehalten, bis sich eine Situation des sich bewegenden Objekts Mo um das Trägerfahrzeug Vs ändert wie durch die Kurve L2 in 7 angegeben.
Anschließend, wenn sich das Trägerfahrzeug Vs und das andere Fahrzeug Vo vorwärts bewegen und sich die Situation des sich bewegenden Objekts Mo um das Trägerfahrzeug Vs ändert wie in 8B dargestellt, legt die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts den Vorhersagebereich PA im Bereich fest, in dem der Vorhersagebereich PA nicht zum vorhergehenden Zeitpunkt durch die Begrenzungseinheit 20 festgelegt wurde. Zusätzlich schätzt die Begrenzungseinheit 20 einen Zustand des Toter-Winkel-Bereichs BA auf der Basis des von der Korrektureinheit 50 korrigierten Erkennungsergebnisses der Erkennungseinheit 10 und der von der Erkennungseinheit 10 erkannten Bewegungsmenge des Trägerfahrzeugs Vs.
Somit nimmt der Rechenaufwand oder Stromverbrauch der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts wieder zu wie durch die Kurve L2 in 7 angegeben. Da aber die Begrenzungseinheit 20 den Vorhersagebereich PA im Bereich festlegt, in dem der Vorhersagebereich PA nicht zum vorhergehenden Zeitpunkt festgelegt wurde, wird die Zunahme im Rechenaufwand oder Stromverbrauch der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts mehr verringert als im Falle des zuerst Festlegens des Vorhersagebereichs PA.
Ferner legt, selbst wenn sich das Trägerfahrzeug Vs und das andere Fahrzeug Vo vorwärts bewegen und sich die Situation des sich bewegenden Objekts Mo um das Trägerfahrzeug Vs ändert wie in 8C dargestellt, die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts den Vorhersagebereich PA nicht in einem Bereich fest, in dem der Vorhersagebereich PA zum vorhergehenden Zeitpunkt durch die Begrenzungseinheit 20 festgelegt wurde. Somit nimmt der Rechenaufwand oder Stromverbrauch der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts ab wie durch die Kurve L2 in 7 angegeben. Daher kann die Zunahme im Rechenaufwand oder Stromverbrauch der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts verringert werden.
Hingegen ist der Rechenaufwand oder der Stromverbrauch der Fahrzeugumgebungs-Schätzvorrichtung 900 nach dem Stand der Technik ein etwa konstanter Wert, der höher ist als der Rechenaufwand oder der Stromverbrauch der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts der vorliegenden Ausführungsform, angegeben durch die gerade Linie L1 in 7. Somit ist als der Rechenaufwand oder der Stromverbrauch der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts der vorliegenden Ausführungsform niedriger als der Rechenaufwand oder der Stromverbrauch der Fahrzeugumgebungs-Schätzvorrichtung 900 nach dem Stand der Technik, da die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts der vorliegenden Ausführungsform die Begrenzungseinheit 20 umfasst, die den Vorhersagebereich PA schmaler als den Toter-Winkel-Bereich BA festlegt.
Wie zuvor beschrieben kann gemäß der vorliegenden Ausführungsform die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts bereitgestellt werden, die zur Vorhersage des Vorhandenseins des sich bewegenden Objekts Mo oder des feststehenden Objekts So im Toter-Winkel-Bereich BA, das nicht direkt vom Trägerfahrzeug Vs erkennbar ist, während der Rechenaufwand im Vergleich zu einer nach dem Stand der Technik verringert wird, und zur Vorhersage des Verhaltens des anderen sich bewegenden Objekts Mo auf der Basis des vorhergesagten Vorhandenseins des sich bewegenden Objekts Mo oder des feststehenden Objekts So fähig ist.
Die Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Fahrzeugs gemäß der vorliegenden Offenbarung ist nicht auf die zuvor beschriebene Ausführungsform beschränkt. Nachfolgend ist eine Modifikation der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts gemäß der zuvor beschriebenen Ausführungsform beschrieben.
9 zeigt ein Blockdiagramm zur Darstellung einer Modifikation der Konfiguration der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts gemäß der zuvor beschriebenen Ausführungsform. Eine Vorrichtung 100A zur Vorhersage des Verhaltens eines sich bewegenden Objekts gemäß der vorliegenden Modifikation unterscheidet sich von der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts gemäß der zuvor beschriebenen Ausführungsform wie in 2 beschrieben insofern, als sie eine Folgebestimmungseinheit 70 und eine Bahnplanungseinheit 80 umfasst. Andere Konfigurationen der Vorrichtung 100A zur Vorhersage des Verhaltens eines sich bewegenden Objekts gemäß der vorliegenden Modifikation sind die gleichen wie die der Vorrichtung 100 zur Vorhersage des Verhaltens eines sich bewegenden Objekts gemäß der zuvor beschriebenen Ausführungsform und somit sind die gleichen Teile mit den gleichen Bezugszeichen bezeichnet und auf eine Beschreibung von diesen wird verzichtet.
Die Vorrichtung 100A zur Vorhersage des Verhaltens eines sich bewegenden Objekts gemäß der vorliegenden Modifikation umfasst die Erkennungseinheit 10, die Begrenzungseinheit 20, die Bewertungseinheit 30, die Schätzeinheit 40, die Korrektureinheit 50, die Vorhersageeinheit 60, die Folgebestimmungseinheit 70 und die Bahnplanungseinheit 80. Die Folgebestimmungseinheit 70 ist beispielsweise zum Verwenden der elektronischen Steuereinheit 4 ausgebildet und bestimmt zum Veranlassen des Trägerfahrzeugs Vs zum Folgen dem sich bewegenden Objekt Mo, welches das vorausfahrende andere Fahrzeug Vo ist, wenn ein von der Bewertungseinheit 30 berechneter Fehler größer gleich einer Schwelle ist. Die Bahnplanungseinheit 80 veranlasst das Trägerfahrzeug Vs zum Folgen dem vorausfahrenden Fahrzeug Vo, wenn die Folgebestimmungseinheit 70 zum Folgen dem vorausfahrenden Fahrzeug bestimmt. Zusätzlich bestimmt die Bahnplanungseinheit 80 eine Zielbahn des Trägerfahrzeugs Vs auf der Basis eines Vorhersageergebnisses der Vorhersageeinheit 60, wenn die Folgebestimmungseinheit 70 nicht zum Folgen dem vorausfahrenden Fahrzeug bestimmt hat.
Gemäß der Vorrichtung 100A zur Vorhersage des Verhaltens eines sich bewegenden Objekts gemäß der vorliegenden Modifikation kann eine Gefahr durch Veranlassen des Trägerfahrzeugs Vs zum Folgen dem anderen Fahrzeug Vo verhindert werden, wenn beispielsweise das vor dem Trägerfahrzeug Vs fahrende andere Fahrzeug Vo eine abrupte Kursänderung durchführt, die bewirkt, dass der von der Bewertungseinheit 30 berechnete Fehler größer gleich der Schwelle ist. Zusätzlich kann das Trägerfahrzeug Vs zum Fahren auf der von der Bahnplanungseinheit 80 erzeugten Zielbahn veranlasst werden, wenn das vor dem Trägerfahrzeug Vs fahrende andere Fahrzeug Vo eine normale Kursänderung durchführt, die bewirkt, dass der von der Bewertungseinheit 30 berechnete Fehler kleiner gleich der Schwelle ist.
Obgleich die Ausführungsform der vorliegenden Erfindung zuvor ausführlich in Bezug auf die Zeichnungen beschrieben wurde, ist eine spezifische Konfiguration nicht auf die Ausführungsform beschränkt und Gestaltungsänderungen o. Ä., die in einem nicht vom Geist der Erfindung abweichenden Umfang erfolgen, sind in der vorliegenden Erfindung inbegriffen.
Bezugszeichenliste

2: Karteninformation
10: Erkennungseinheit
20: Begrenzungseinheit
30: Bewertungseinheit
40: Schätzeinheit
50: Korrektureinheit
60: Vorhersageeinheit
61: RNN (erstes neuronales Netz)
62: Raumeinbettungseinheit
62a: Abfragenerzeugungseinheit
62c: Einbettungswert-Erzeugungseinheit
62b: Schlüsselerzeugungseinheit
64: Faltungsschicht (zweites neuronales Netz)
65: Verbindungsschicht (Verbindungseinheit)
66: Faltungsschicht (drittes neuronales Netz)
70: Folgebestimmungseinheit
80: Bahnplanungseinheit
100: Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts
100A: Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts
BA: Toter-Winkel-Bereich
PA: Vorhersagebereich
Mo: sich bewegendes Objekt
So: feststehendes Objekt
Tp: vorhergesagtes Verhalten
Tr: tatsächliches Verhalten
Vs: Trägerfahrzeug

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2010267211 A [0005]

Claims

Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts, umfassend: eine Erkennungseinheit, die ein sich bewegendes Objekt und ein feststehendes Objekt um ein Trägerfahrzeug erkennt; eine Begrenzungseinheit, die einen Vorhersagebereich schmaler als ein Toter-Winkel-Bereich, in dem das sich bewegende Objekt und das feststehende Objekt nicht direkt von der Erkennungseinheit erkennbar sind, festlegt; eine Bewertungseinheit, die einen Fehler zwischen einem vorhergesagten Verhalten und einem tatsächlichen Verhalten des sich bewegenden Objekts berechnet; eine Schätzeinheit, die das Vorhandensein des sich bewegenden Objekts oder des feststehenden Objekts im Vorhersagebereich schätzt, um den Fehler zu verringern; eine Korrektureinheit, die ein Erkennungsergebnis der Erkennungseinheit auf der Basis eines Schätzergebnisses der Schätzeinheit korrigiert; und eine Vorhersageeinheit, die ein Verhalten des sich bewegenden Objekts auf der Basis des von der Korrektureinheit korrigierten Erkennungsergebnisses der Erkennungseinheit vorhersagt.
Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts nach Anspruch 1, wobei die Begrenzungseinheit den Vorhersagebereich in einem Bereich festlegt, in dem ein weiteres sich bewegende Objekt oder feststehende Objekt vom sich bewegenden Objekt erkennbar ist.
Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts nach Anspruch 1 oder 2, wobei die Begrenzungseinheit den Vorhersagebereich in einem Bereich festlegt, in dem der Vorhersagebereich nicht festgelegt wurde.
Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts nach Anspruch 1 bis 3, wobei die Begrenzungseinheit den Vorhersagebereich in einem Bereich nahe dem sich bewegenden Objekt festlegt, der das Verhalten des sich bewegenden Objekts vermutlich beeinflussen wird.
Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts nach Anspruch 1 bis 4, wobei die Begrenzungseinheit den Vorhersagebereich in einem Bereich festlegt, der das Verhalten des sich bewegenden Objekts auf der Basis einer Karteninformation um das Trägerfahrzeug beeinflusst.
Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts nach Anspruch 1 bis 5, wobei die Begrenzungseinheit einen Zustand des Toter-WinkelBereichs auf der Basis des von der Korrektureinheit korrigierten Erkennungsergebnisses der Erkennungseinheit und einer von der Erkennungseinheit erkannten Bewegungsmenge des Trägerfahrzeugs schätzt.
Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts nach Anspruch 1, wobei die Begrenzungseinheit nicht den Vorhersagebereich festlegt, wenn das sich bewegende Objekt nicht von der Erkennungseinheit erkannt wurde.
Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts nach Anspruch 1, wobei die Schätzeinheit den Fehler durch ein Gradientenabstiegsverfahren auf der Basis von einer von einer differenzierbaren Funktion in der Vorhersageeinheit beschriebenen Information verringert.
Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts nach Anspruch 1, ferner umfassend: Folgebestimmungseinheit, die das Bestimmen des Folgens dem sich bewegenden Objekts bestimmt, das ein vorausfahrendes Fahrzeug ist, wenn der von der Bewertungseinheit berechnete Fehler größer gleich einer Schwelle ist; und eine Bahnplanungseinheit, die das Trägerfahrzeug zum Folgen dem vorausfahrenden Fahrzeug veranlasst, wenn die Folgebestimmungseinheit das Folgen dem vorausfahrenden Fahrzeug bestimmt hat, und eine Zielbahn des Trägerfahrzeugs auf der Basis eines Vorhersageergebnisses der Vorhersageeinheit bestimmt, wenn die Folgebestimmungseinheit nicht das Folgen dem vorausfahrenden Fahrzeug bestimmt hat.
Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts nach Anspruch 1, wobei die Vorhersageeinheit umfasst: ein erstes neuronales Netz, das eine zukünftige Position von jedem der sich bewegenden Objekte in einer Vektordarstellung vorhersagt; ein zweites neuronales Netz, das eine topographische Information um das Trägerfahrzeug in einer Tensordarstellung erkennt; ein drittes neuronales Netz, das die topographische Information und ein oder mehrere Verarbeitungsergebnisse der sich bewegenden Objekte in Kombination verarbeitet; eine Raumeinbettungseinheit, die einen internen Zustand des ersten neuronalen Netzes umwandelt und diesen mit einem internen Zustand des zweiten neuronalen Netzes verbindet, so dass die Dimensionen übereinstimmen; und eine Verbindungseinheit, die eine von der Raumeinbettungseinheit umgewandelte Information für jedes der sich bewegenden Objekte ansammelt und interne Zustände des zweiten neuronalen Netzes verbindet, wobei das dritte neuronale Netz auf die durch die Verbindungseinheit verbundene Tensordarstellung angewendet wird, um eine zukünftige Position des sich bewegenden Objekts zu jedem zukünftigen Zeitpunkt vorherzusagen.
Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Objekts nach Anspruch 10, wobei die Raumeinbettungseinheit umfasst: eine Abfrageerzeugungseinheit, die eine Abfrage zur Verwendung zum Einbetten auf der Basis der Information der Vektordarstellung erzeugt; eine Einbettungswert-Erzeugungseinheit, die eine Information zur Einbettung auf der Basis der Information der Vektordarstellung erzeugt; und eine Schlüsselerzeugungseinheit, die einen Schlüssel zur Verwendung zum Einbetten auf der Basis der Information der Tensordarstellung erzeugt, und einen Einbettungstensor auf der Basis der Abfrage, der Information zum Einbetten und des Schlüssels erzeugt.