DE112019006281T5

DE112019006281T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm

Info

Publication number: DE112019006281T5
Application number: DE112019006281.6T
Authority: DE
Inventors: Shinji Igarashi
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2018-12-18
Filing date: 2019-12-05
Publication date: 2021-09-16
Also published as: US11763675B2; WO2020129656A1; CN113196106A; US20220020272A1; JP2022028989A

Abstract

Die vorliegende Offenbarung bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm, die es ermöglichen, eine geeignete Kollisionsbestimmung in Bezug auf ein Hindernis auf einer geneigten Straße durchzuführen.
Ein Ergebnis einer Objekterkennung, die basierend auf einem durch eine Kamera aufgenommenem Bild durchgeführt wird, ein Ergebnis einer basierend auf einem Abtastergebnis durchgeführten Objekterkennung, das durch ein Millimeterwellenradar durchgeführt wird, und ein Ergebnis einer basierend auf einem Abtastergebnis durchgeführten Objekterkennung, das durch ein LiDAR durchgeführt wird, werden jeweils erfasst; ein Objekterkennungsergebnis wird in Abhängigkeit von der Umgebung um ein Fahrzeug ausgewählt; und ob eine Kollisionsmöglichkeit mit dem Objekt besteht, wird basierend auf dem ausgewählten Ergebnis der Objekterkennung bestimmt. Die vorliegende Offenbarung ist auf ein in einem Fahrzeug montiertes System anwendbar.

Description

Technisches Gebiet
Die vorliegende Offenbarung bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm und insbesondere auf eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm, die es ermöglichen, eine geeignete Kollisionsbestimmung in Bezug auf ein Hindernis auf einer geneigten Straße durchzuführen.
Stand der Technik
In einem fortgeschrittenen Fahrerassistenzsystem (advanced driver-assistance system, ADAS), wie zum Beispiel adaptive Abstandsregelung (adaptive cruise control, ACC) und Vorkollisionssicherheit (precrash safety, PCS), das den Komfort und die Sicherheit verbessern soll, besteht die Notwendigkeit zu bestimmen, ob ein Fahrzeug fahren kann, nachdem das Vorhandensein oder Nichtvorhandensein eines Hindernisses bestätigt wurde, um eine Störung im System zu verhindern.
Insbesondere bei der PCS kann fälschlicherweise bestimmt werden, dass eine Kollisionsmöglichkeit in Bezug auf eine Wartungsöffnung oder ein Gitter auf einer geneigten Fahrbahnoberfläche besteht, was zu einer plötzlichen Bremsung führen kann.
Es besteht also eine Notwendigkeit, nach dem Erkennen einer Neigung auf einer Fahrbahnoberfläche eine Kollisionsbestimmung durchzuführen.
Als Technologie zum Erkennen einer Neigung wurde eine Technologie vorgeschlagen, die mithilfe einer Kamera eine Neigung anhand einer Änderung der vertikalen Position eines Heckrampenabschnitts eines vorausfahrenden Fahrzeugs schätzt (siehe Patentliteratur 1).
Referenzliste
Patentliteratur
Patentliteratur 1: Japanische Patentanmeldung Offenbarungs-Nr. 2012-088217
Offenbarung der Erfindung
Technisches Problem
Aufgrund der Verwendung einer Kamera kann die Technologie der Patentliteratur 1 jedoch durch eine Änderung der Umgebung beeinträchtigt werden, in der ein Bild zum Beispiel bei Nacht oder bei rauem Wetter aufgenommen wird. Dadurch kann die Genauigkeit beim Erkennen eines vorausfahrenden Fahrzeugs verringert sein, was zu einer Falschbestimmung führen kann.
Außerdem kann eine Neigung nicht erfolgreich geschätzt werden, wenn kein vorausfahrendes Fahrzeug vorhanden ist, da eine Änderung der vertikalen Position eines Rückleuchtenabschnitts eines vorausfahrenden Fahrzeugs erfasst werden muss.
Die vorliegende Offenbarung wurde in Anbetracht der oben beschriebenen Umstände erreicht, und insbesondere soll die vorliegende Offenbarung eine geeignete Kollisionsbestimmung in Bezug auf ein Hindernis auf einer geneigten Straße durchführen, ohne durch die Umgebung oder das Vorhandensein oder Nichtvorhandensein eines vorausfahrenden Fahrzeugs beeinflusst zu werden.
Lösung für das Problem
Eine Informationsverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung ist eine Informationsverarbeitungsvorrichtung, die einen Einwanderkennungsabschnitt, der ein vor einem Fahrzeug befindliches Objekt unter Verwendung einer Vielzahl von Erkennungsverfahren erkennt und Ergebnisse der jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführten Objekterkennungen ausgibt, und einen Kollisionsbestimmungsabschnitt, der das Ergebnis der Objekterkennung in Abhängigkeit von einer Umgebung um das Fahrzeug herum aus den Ergebnissen der jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführten Objekterkennungen auswählt und basierend auf dem ausgewählten Ergebnis der Objekterkennung bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht, enthält.
Der Informationsverarbeitungsvorrichtung entsprechen ein Informationsverarbeitungsverfahren und ein Programm gemäß dem Aspekt der vorliegenden Offenbarung.
In dem Aspekt der vorliegenden Offenbarung wird ein vor einem Fahrzeug befindliches Objekt unter Verwendung einer Vielzahl von Erkennungsverfahren erkannt; Ergebnisse der Objekterkennungen, die jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführt werden, werden ausgegeben; das Ergebnis der Objekterkennung wird in Abhängigkeit von einer Umgebung um das Fahrzeug herum aus den Ergebnissen der Objekterkennungen, die jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführt werden, ausgewählt; und basierend auf dem ausgewählten Ergebnis der Objekterkennung wird bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
Figurenliste

[1] 1 ist ein Diagramm zur Beschreibung einer Falscherfassung bei einer Kollisionsbestimmung.
[2] 2 zeigt eine Skizze einer Kollisionsbestimmung, die durch ein Millimeterwellenradar durchgeführt wird.
[3] 3 zeigt eine Skizze einer Kollisionsbestimmung, die durch LiDAR durchgeführt wird.
[4] 4 ist ein Blockdiagramm, das ein Beispiel für die Ausbildung eines Fahrzeugsteuerungssystems der vorliegenden Offenbarung zeigt.
[5] 5 ist ein Blockdiagramm, das ein Beispiel für eine Ausbildung des Fahrzeugsteuerungssystems von 4 zeigt, in der eine Falschbestimmung unterbunden wird.
[6] 6 ist ein Diagramm zur Beschreibung einer durch LiDAR durchgeführten Kollisionsbestimmung.
[7] 7 ist ein Diagramm zur Beschreibung der durch das LiDAR durchgeführten Kollisionsbestimmung.
[8] 8 ist ein Flussdiagramm, das die Verarbeitung der Fahrsteuerung zeigt.
[9] 9 zeigt ein Beispiel für eine Ausbildung eines Allzweckcomputers.

Verfahren zum Ausführen der Erfindung
Nachfolgend werden Ausführungsformen der vorliegenden Offenbarung detailliert mit Bezug auf die begleitenden Zeichnungen beschrieben. Zu beachten ist, dass in der Spezifikation und den Zeichnungen Komponenten mit im Wesentlichen gleicher funktionaler Ausbildung durch dieselbe Referenznummer gekennzeichnet sind, um eine wiederholte Beschreibung zu vermeiden.
Im Folgenden werden Ausführungsformen der vorliegenden Technologie beschrieben. Die Beschreibung erfolgt in der folgenden Reihenfolge.

1. Überblick über die vorliegende Offenbarung
2. Beispiel für die Ausbildung eines Fahrzeugsteuerungssystems, das das Fahrzeug der vorliegenden Offenbarung steuert
3. Ausbildung, in der die Falschbestimmung eines Hindernisses auf einer geneigten Straße unterbunden wird
4. Verarbeitung der Kollisionsbestimmung
5. Beispiel für das Durchführen einer Reihe von Prozessen mithilfe von Software

«1. Überblick über die vorliegende Offenbarung»
<Falscherfassung bei der Kollisionsbestimmung>
Es wird ein Überblick über die vorliegende Offenbarung beschrieben.
Ein Fahrzeug der vorliegenden Offenbarung führt eine geeignete Kollisionsbestimmung in Bezug auf ein Hindernis auf einer geneigten Straße durch, wobei ein fortgeschrittenes Fahrerassistenzsystem (ADAS) verwendet wird, das den Komfort und die Sicherheit verbessern soll.
Es wird der folgende Fall besprochen: Ein Fahrzeug 1-1, das eine automatisierte Fahrfunktion oder eine Fahrassistenzfunktion enthält, fährt auf einer ebenen Straße FL1 nach rechts in der Figur, wie zum Beispiel in einem oberen Abschnitt von 1 dargestellt. Hier zeigt 1 im oberen Abschnitt das Fahrzeug 1-1, das in der Figur von der Seite des Fahrzeugs 1-1 aus gesehen nach rechts fährt, wo sich am Ende der ebenen Straße FL1 in der Figur eine geneigte Straße SL1 anschließt.
Ferner ist eine Wartungsöffnung 2-1 in der Fahrbahnoberfläche der geneigten Straße SL1 eingebettet.
Das Fahrzeug 1-1 enthält einen externen Erkennungssensor 1a-1, um eine automatisierte Fahrfunktion oder eine Fahrassistenzfunktion durchzuführen. Ferner führt das Fahrzeug 1-1, wie durch gestrichelte Linien angedeutet, eine Abtastung in Bezug auf einen sich in Fahrtrichtung voraus liegenden Bereich unter Verwendung des externen Erkennungssensors 1a-1 durch. Das Fahrzeug 1-1 erfasst das Vorhandensein oder Nichtvorhandensein eines Hindernisses auf einer Fahrbahnoberfläche, und wenn das Hindernis erkannt wird, führt das Fahrzeug 1-1 eine Bewegung einer Notbremsung oder eine Bewegung einer Notausweichung durch, um die Sicherheit zu gewährleisten.
Beispiele für den externen Erkennungssensor 1a-1 sind eine Kamera, ein Millimeterwellenradar und LiDAR (light detection and ranging, laser imaging detection and ranging - Lichterkennung und -entfernungsmessung, Laserbilderkennung und -entfernungsmessung).
Wenn der externe Erkennungssensor 1a-1 eine Kamera ist, kann hier sogar die Größe und die Art eines vorausliegenden Objekts durch Verwendung von Bilderkennung in einer hellen Umgebung am Tag bei schönem Wetter erkannt werden. So kann man im Fall von 1 erkennen, dass die Wartungsöffnung 2-1 in der geneigten Straße SL1 eingebettet ist.
Somit wird die Wartungsöffnung 2-1 als auf einer Fahrbahnoberfläche vorhanden erkannt, jedoch wird die Wartungsöffnung 2-1 nicht als Hindernis erkannt.
In dem Fall, in dem der externe Erkennungssensor 1a-1 eine Kamera ist und ein aufgenommenes Bild verwendet wird, besteht jedoch die Möglichkeit, dass nicht erkannt wird, dass die geneigte Straße SL1 voraus liegt und die Wartungsöffnung 2-1 in der geneigten Straße SL1 eingebettet ist, wenn eine Änderung der Umgebung vorliegt, zum Beispiel bei Nacht oder bei rauem Wetter. In einem solchen Fall funktioniert die automatisierte Fahrfunktion oder die Fahrassistenzfunktion des Fahrzeugs 1-1 nicht.
Zu beachten ist, dass in dem Fall, in dem der externe Erkennungssensor 1a-1 eine Kamera ist, die Tatsache, dass die Wartungsöffnung 2-1 nicht erfolgreich erfasst wird, nur dann ein Problem darstellt, wenn eine Änderung der Umgebung vorliegt, zum Beispiel bei Nacht oder bei rauem Wetter in dem in 1 dargestellten Zustand. Ein Problem durch beispielsweise eine Falscherfassung tritt nicht auf.
Als Nächstes wird der Fall erörtert, in dem der externe Erkennungssensor 1a-1 ein Millimeterwellenradar ist.
Wenn der externe Erkennungssensor 1a-1 ein Millimeterwellenradar ist, ist es zum Beispiel bei Nacht oder bei rauem Wetter möglich, zu erkennen, dass ein bestimmtes Objekt an einem Ort vorhanden ist, an dem sich die Wartungsöffnung 2-1 befindet, obwohl nicht erfolgreich erkannt wird, ob das Zielobjekt zum Beispiel die geneigte Straße SL1 oder die Wartungsöffnung 2-1 ist.
Wenn der externe Erkennungssensor 1a-1 jedoch ein Millimeterwellenradar ist, kann der externe Erkennungssensor 1a-1 erkennen, dass sich in einem in Fahrtrichtung voraus liegenden Bereich ein bestimmtes Zielobjekt befindet, aber nicht erfolgreich erkennen, dass die Wartungsöffnung 2-1 in der Fahrbahnoberfläche der geneigten Straße SL1 eingebettet ist.
Wenn also der externe Erkennungssensor 1a-1 ein Millimeterwellenradar ist, kann das Vorhandensein eines Hindernisses auf der ebenen Straße FL1 in einem Zustand des oberen Abschnitts von 1 fälschlicherweise erkannt werden, wobei das Hindernis ein Hindernis mit einer bestimmten Höhe ist, mit dem das Fahrzeug 1-1 kollidieren kann.
Folglich erfasst das Fahrzeug 1-1 zum Beispiel fälschlicherweise, dass eine Kollisionsmöglichkeit mit dem Hindernis besteht, und führt eine Bewegung einer Notbremsung oder eine Bewegung einer Notausweichung aus, um die Kollision zu vermeiden. Eine solche Bewegung einer Notbremsung oder eine solche Bewegung einer Notausweichung kann dazu führen, dass zum Beispiel ein Unfall verursacht wird.
Zu beachten ist, dass ein ähnliches Phänomen auftreten kann, wenn ein Fahrzeug 1-2 eine Kamera oder ein Millimeterwellenradar als externen Erkennungssensor 1a-2 enthält und auf einer geneigten Straße SL2 nach rechts in der Figur bergab fährt, eine ebene Straße FL2 mit einem vorderen Ende der geneigten Straße SL2 verbunden ist und eine Wartungsöffnung 2-2 auf der ebenen Straße FL2 vorhanden ist, wie in einem unteren Abschnitt von 1 dargestellt;
Zu beachten ist, dass das Millimeterwellenradar bei Vorhandensein eines vorausfahrenden Fahrzeugs Funkwellen auf einen Bereich abstrahlt, der sich weiter voraus als das vorausfahrende Fahrzeug befindet, wobei die Wellen von einer Fahrbahnoberfläche reflektiert werden, die sich unter der Fahrzeugkarosserie des vorausfahrenden Fahrzeugs befindet, und die reflektierten Wellen empfängt. Dadurch ist es möglich, das Vorhandensein oder Nichtvorhandensein eines Objekts zu erkennen, das sich weiter vor dem vorausfahrenden Fahrzeug befindet.
Hier wird der folgende Fall erörtert: Ein Fahrzeug 11 enthält ein Millimeterwellenradar als externen Erkennungssensor 11a und fährt auf einer ebenen Straße FL nach rechts in der Figur, während es eine Abtastung in Bezug auf einen sich in Fahrtrichtung voraus liegenden Bereich durchführt; voraus befindet sich eine geneigte Straße SL; und eine Wartungsöffnung 12 ist in der geneigten Straße SL eingebettet, wie in einem oberen Abschnitt von 2 dargestellt.
Im Fall des oberen Abschnitts von 2 kann das Fahrzeug 11 aufgrund der Wellen, die durch den externen Erkennungssensor 11a abgestrahlt werden, um durch die vor ihm liegende Wartungsöffnung 12 reflektiert zu werden, nur erkennen, dass ein Hindernis vorhanden sein könnte, obwohl das Fahrzeug 11 nicht erfolgreich erkennt, welcher Art von Objekt dieses ist.
Mit diesen Informationen allein kann das Fahrzeug 11 also nicht bestimmen, ob ein vorausliegendes Objekt die in der geneigten Straße SL eingebettete Wartungsöffnung 12 ist, mit der keine Kollisionsmöglichkeit besteht, oder ob das vorausliegende Objekt ein Hindernis ist, mit dem eine Kollisionsmöglichkeit besteht.
Um das Auftreten einer Falscherfassung zu unterbinden, bleibt dem Fahrzeug 11 in einem solchen Fall nichts anderes übrig, als dem Fahrer mitzuteilen, dass ein bestimmtes Objekt vorhanden ist, obwohl nicht bestimmbar ist, um welche Art von Objekt es sich handelt.
Wenn jedoch ein vorausfahrendes Fahrzeug 11' vor dem Fahrzeug 11 vorhanden ist und in der Figur nach rechts fährt, wie in einem unteren Abschnitt von 2 dargestellt, ist es möglich zu erfassen, ob das vorausfahrende Fahrzeug 11' einen Ort durchfahren hat, der mit dem Ort der geneigten Straße SL oder der Wartungsöffnung 12 übereinstimmt. In einem solchen Fall ist nicht bekannt, ob die Wartungsöffnung 12 ein Hindernis ist. Wenn das vorausfahrende Fahrzeug 11' jedoch einen Ort durchfahren hat, an dem sich ein bestimmtes Objekt befindet, kann das Fahrzeug 11 zumindest erkennen, dass ein erfasstes Objekt kein Hindernis ist, mit dem eine Kollisionsmöglichkeit besteht.
In der vorliegenden Offenbarung wird also ein Millimeterwellenradar als externer Erkennungssensor 11a verwendet, wie im Fall des Fahrzeugs 11 von 2. Wie im unteren Abschnitt von 2 dargestellt, bestimmt das Fahrzeug 11 beim kontinuierlichen Fahren des Fahrzeugs 11 zum Erkennen eines Objekts, das ein Hindernis sein könnte, ob eine Kollisionsmöglichkeit mit dem Objekt besteht, das als möglicherweise ein Hindernis darstellendes Objekt erkannt wurde, basierend darauf, ob das vorausfahrende Fahrzeug 11' einen Ort des erfassten Objekts durchfahren hat.
Mit anderen Worten, wenn das Fahrzeug 11 der vorliegenden Offenbarung ein vorausliegendes Objekt erkennt, bestimmt das Fahrzeug 11, dass das erkannte Objekt kein Hindernis ist, wenn das vorausfahrende Fahrzeug 11' einem Ort des Objekts durchfahren hat. Dies führt dazu, dass das Auftreten einer Falscherfassung unterbunden wird.
Wenn der externe Erkennungssensor 11a jedoch ein Millimeterwellenradar ist, wird das Auftreten einer Falscherfassung nicht unterbunden, es sei denn, es ist ein vorausfahrendes Fahrzeug vorhanden, das einen Ort durchfährt, an dem sich ein Objekt befindet, das ein Hindernis sein könnte.
Hier wird der Fall der Verwendung von LiDAR als externer Erkennungssensor 11a erörtert.
LiDAR sendet Laserlicht in eine Richtung, in der die Entfernungsmessung durchgeführt wird, und empfängt das reflektierte Licht, um eine Entfernung anhand einer Hin- und Rücklaufzeit des Lichts zu erhalten und um Punktgruppeninformationen in vorgegebenen Intervallen in horizontaler und vertikaler Richtung zu erfassen.
Mit anderen Worten sendet der externe Erkennungssensor 11a beispielsweise fünf Laserlichtemissionen in vertikaler Richtung aus, wenn das Fahrzeug 11 auf der ebenen Straße FL in der Figur nach rechts fährt, wie beispielsweise in 3 dargestellt. Dann erhält der externe Erkennungssensor 11a eine Entfernung aus einer Differenz zwischen einem Zeitpunkt des Aussendens jeder Lichtemission und einem Zeitpunkt des Empfangs der Lichtemission, die durch die Wartungsöffnung 12 reflektiert wird, das in der vor ihm liegenden geneigte Straße SL vorhanden ist, um Punktgruppeninformationen bezüglich der Wartungsöffnung 12 zu erhalten.
In diesem Fall, wenn das Fahrzeug 11 in der Figur nach rechts fährt, verringert sich eine Entfernung zwischen der geneigten Straße SL und dem Fahrzeug 11 im Zeitverlauf in der Reihenfolge einer Zeit t1, einer Zeit t2 und einer Zeit t3.
Hier werden zwei der fünf Laserlichtemissionen durch die Wartungsöffnung 12, die in der geneigten Straße SL eingebettet ist, zum Zeitpunkt t1 reflektiert. Anschließend werden zum Zeitpunkt t2 drei der fünf Laserlichtstrahlen durch die Wartungsöffnung 12, die in der geneigten Straße SL eingebettet ist, reflektiert, und zum Zeitpunkt t3 werden vier der fünf Laserlichtstrahlen durch die Wartungsöffnung 12 in der geneigten Straße SL reflektiert.
Mit anderen Worten erhöht sich die Anzahl der durch die Wartungsöffnung 12 reflektierten Laserlichtstrahlen, wenn sich das Fahrzeug 11 der geneigten Straße SL nähert.
Mit anderen Worten ändert sich die Anzahl der durch die Wartungsöffnung 12 reflektierten Laserlichtstrahlen, wenn sich der externe Erkennungssensor 11a, also LiDAR, der Wartungsöffnung 12 nähert. Damit ist es möglich, anhand von dreidimensionalen Punktgruppeninformationen die Größe der Wartungsöffnung 12 und eine Neigung der geneigten Straße SL basierend auf einer zeitlichen Änderung der Größe der Wartungsöffnung 12 zu erkennen.
Folglich ermöglicht die Verwendung der Punktgruppeninformationen dem Fahrzeug 11 zu erkennen, dass ein vor ihm liegendes Objekt die geneigte Straße SL ist und dass die Wartungsöffnung 12 in der geneigten Straße SL eingebettet ist, und damit das Auftreten einer Falscherfassung zu unterbinden, wie beispielsweise die fälschliche Erfassung, dass das vorausliegende Objekt ein Hindernis ist.
In der vorliegenden Offenbarung werden also drei Arten von externen Erkennungssensoren 11a, nämlich eine Kamera, ein Millimeterwellenradar und LiDAR, kombiniert, und die jeweiligen Abtastergebnisse werden je nach Umgebung selektiv verwendet. Dies führt dazu, dass eine Falscherfassung bei einer Objekterfassung unterbunden wird.
Mit anderen Worten, ein Ergebnis einer Erkennung, die anhand eines Bildes durchgeführt wurde, das durch eine Kamera aufgenommen wurde, die als externer Erkennungssensor 11a verwendet wird, zum Beispiel bei hellem Tageslicht und schönem Wetter. Somit wird zum Beispiel ein Ergebnis der Abtastung durch ein Millimeterwellenradar verwendet, wenn bei Nacht oder bei rauem Wetter ein vorausfahrendes Fahrzeug vorhanden ist, während ein Ergebnis der Abtastung durch LiDAR verwendet wird, wenn bei Nacht oder bei rauem Wetter kein vorausfahrendes Fahrzeug vorhanden ist.
Wie oben beschrieben, ermöglicht die selektive Verwendung von Abtastergebnissen des externen Erkennungssensors 11a, der eine Vielzahl von Sensoren enthält, in Abhängigkeit von der Umgebung, eine geeignete Kollisionsbestimmung gemäß den Eigenschaften jedes der Vielzahl von Sensoren durchzuführen und somit das Auftreten einer Falscherfassung zu unterbinden.
«2. Beispiel für die Ausbildung eines Fahrzeugsteuerungssystems, das ein Fahrzeug der vorliegenden Offenbarung steuert» Als Nächstes wird ein Fahrzeugsteuerungssystem für ein Fahrzeug der vorliegenden Offenbarung unter Bezugnahme auf ein Blockdiagramm von 4 beschrieben.
4 ist ein Blockdiagramm, das ein Beispiel für den schematischen Funktionsaufbau eines Fahrzeugsteuerungssystems 100 als Beispiel für ein mobiles Fahrzeugsteuerungssystem veranschaulicht, auf das die vorliegende Technologie anwendbar ist. Das Fahrzeugsteuerungssystem 100 ist auf dem Fahrzeug 11 montiert.
Es sei vermerkt, dass, wenn ein mit dem Fahrzeugsteuerungssystem 100 versehenes Fahrzeug von anderen Fahrzeugen zu unterscheiden ist, das mit dem Fahrzeugsteuerungssystem 100 versehene Fahrzeug im Folgenden als eigenes Kraftfahrzeug oder eigenes Fahrzeug bezeichnet wird.
Das Fahrzeugsteuerungssystem 100 enthält einen Eingabeabschnitt 101, einen Datenerfassungsabschnitt 102, einen Kommunikationsabschnitt 103, eine fahrzeuginterne Ausrüstung 104, einen Ausgabesteuerungsabschnitt 105, einen Ausgabeabschnitt 106, eine Antriebssteuervorrichtung 107, ein Antriebssystem 108, eine karosseriebezogene Steuervorrichtung 109, ein karosseriebezogenes System 110, eine Speichervorrichtung 111 und eine automatisierte Fahrsteuervorrichtung 112. Der Eingabeabschnitt 101, der Datenerfassungsabschnitt 102, der Kommunikationsabschnitt 103, die Ausgabesteuerung 105, die Antriebssteuervorrichtung 107, die karosseriebezogene Steuervorrichtung 109, die Speichervorrichtung 111 und die automatisierte Fahrsteuervorrichtung 112 sind über ein Kommunikationsnetzwerk 121 miteinander verbunden. Das Kommunikationsnetzwerk 121 enthält beispielsweise einen Bus oder ein fahrzeugmontiertes Kommunikationsnetzwerk, das einem beliebigen Standard entspricht, wie zum Beispiel einem Controller Area Network (CAN), einem Local Interconnect Network (LIN), einem Local Area Network (LAN) oder FlexRay (eingetragene Marke). Zu beachten ist, dass die jeweiligen Strukturelemente des Fahrzeugsteuerungssystems 100 direkt miteinander verbunden sein können, ohne das Kommunikationsnetzwerk 121 zu verwenden.
Zu beachten ist, dass die Beschreibung des Kommunikationsnetzwerks 121 im Folgenden entfällt, wenn die jeweiligen Strukturelemente des Fahrzeugsteuerungssystems 100 über das Kommunikationsnetzwerk 121 miteinander kommunizieren. Wenn zum Beispiel der Eingabeabschnitt 101 und die automatisierte Fahrsteuervorrichtung 112 über das Kommunikationsnetzwerk 121 miteinander kommunizieren, wird einfach angegeben, dass der Eingabeabschnitt 101 und die automatisierte Fahrsteuervorrichtung 112 miteinander kommunizieren.
Der Eingabeabschnitt 101 enthält eine Vorrichtung, mit der eine Person an Bord verschiedene Daten, Anweisungen und dergleichen eingeben kann. Der Eingabeabschnitt 101 enthält beispielsweise eine Bedienvorrichtung wie ein Touchpanel, eine Taste, ein Mikrofon, einen Schalter und einen Hebel, eine Bedienvorrichtung, mit der die Eingabe durch ein anderes Verfahren als manuelle Bedienung, wie zum Beispiel durch Ton oder eine Geste, durchgeführt werden kann, und dergleichen. Alternativ kann der Eingabeabschnitt 101 beispielsweise eine extern angeschlossene Ausrüstung sein, wie eine Fernbedienungsvorrichtung, das Infrarot oder eine andere Funkwelle verwendet, oder eine mobile Ausrüstung oder eine am Körper tragbare Ausrüstung, die mit einem Betrieb des Fahrzeugsteuerungssystems 100 kompatibel ist. Der Eingabeabschnitt 101 erzeugt ein Eingabesignal anhand von Daten, einer Anweisung oder dergleichen, die durch eine Person an Bord eingegeben werden, und leitet das erzeugte Eingabesignal an die jeweiligen Strukturelemente des Fahrzeugsteuerungssystems 100 weiter.
Der Datenerfassungsabschnitt 102 enthält verschiedene Sensoren und dergleichen zum Erfassen von Daten, die für einen durch das Fahrzeugsteuerungssystem 100 durchgeführten Prozess verwendet werden, und leitet die erfassten Daten an die jeweiligen Strukturelemente des Fahrzeugsteuerungssystems 100 weiter.
Der Datenerfassungsabschnitt 102 enthält zum Beispiel verschiedene Sensoren, mit denen zum Beispiel ein Zustand des eigenen Kraftfahrzeugs erfasst werden kann. Konkret enthält der Datenerfassungsabschnitt 102 beispielsweise ein Gyroskop, einen Beschleunigungssensor, eine Trägheitsmesseinheit (IMU) und einen Sensor oder dergleichen, der dazu verwendet wird, den Betätigungsgrad eines Gaspedals, den Betätigungsgrad eines Bremspedals, den Lenkwinkel eines Lenkrads, die Drehzahl eines Verbrennungsmotors, die Drehzahl eines Elektromotors, die Geschwindigkeit der Raddrehung oder dergleichen zu erfassen.
Ferner enthält der Datenerfassungsabschnitt 102 beispielsweise verschiedene Sensoren, die dazu dienen, Informationen über die Außenseite des eigenen Kraftfahrzeugs zu erfassen. Konkret enthält der Datenerfassungsabschnitt 102 zum Beispiel eine Bildaufnahmevorrichtung wie eine Time-of-Flight(ToF)-Kamera, eine Stereokamera, eine monokulare Kamera, eine Infrarotkamera und andere Kameras. Darüber hinaus enthält der Datenerfassungsabschnitt 102 beispielsweise einen Umgebungssensor, der zum Erfassen des Wetters, eines meteorologischen Phänomens oder dergleichen dient, und einen Sensor zum Erkennen von Umgebungsinformationen, der zum Erfassen eines Objekts in der Umgebung des eigenen Kraftfahrzeugs verwendet wird. Der Umgebungssensor enthält zum Beispiel einen Regentropfensensor, einen Nebelsensor, einen Sonnenscheinsensor, einen Schneesensor und dergleichen. Der Sensor zum Erkennen von Umgebungsinformationen enthält einen Ultraschallsensor, ein Radar, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging - Lichterkennung und -entfernungsmessung, Laserbilderkennung und -entfernungsmessung), ein Sonar und dergleichen.
Darüber hinaus enthält der Datenerfassungsabschnitt 102 zum Beispiel verschiedene Sensoren, mit denen der aktuelle Standort des eigenen Kraftfahrzeugs erfasst werden kann. Konkret enthält der Datenerfassungsabschnitt 102 zum Beispiel einen Global Navigation Satellite System(GNSS)-Empfänger, der ein GNSS-Signal aus einem GNSS-Satelliten empfängt.
Ferner enthält der Datenerfassungsabschnitt 102 beispielsweise verschiedene Sensoren, die zum Erkennen von Informationen über das Innere eines Fahrzeugs verwendet werden. Konkret enthält der Datenerfassungsabschnitt 102 beispielsweise eine Bildaufnahmevorrichtung, die ein Bild eines Fahrers erfasst, einen biologischen Sensor, der biologische Informationen des Fahrers erkennt, ein Mikrofon, das Geräusche im Innenraum eines Fahrzeugs erfasst, und dergleichen. Der biologische Sensor wird zum Beispiel an einer Sitzfläche, am Lenkrad oder dergleichen angebracht und erfasst biologische Informationen einer Person an Bord, die auf einem Sitz sitzt oder eines Fahrers, der das Lenkrad hält.
Der Kommunikationsabschnitt 103 kommuniziert mit fahrzeuginternen Ausrüstungen 104 sowie verschiedenen fahrzeugexternen Ausrüstungen, einem Server, einer Basisstation und dergleichen, überträgt die durch die jeweiligen Strukturelemente des Fahrzeugsteuerungssystems 100 gelieferten Daten und liefert die empfangenen Daten an die jeweiligen Strukturelemente des Fahrzeugsteuerungssystems 100. Zu beachten ist, dass ein Kommunikationsprotokoll, das durch den Kommunikationsabschnitt 103 unterstützt wird, nicht spezifisch eingeschränkt ist. Es ist auch möglich, dass der Kommunikationsabschnitt 103 eine Vielzahl von Arten von Kommunikationsprotokollen unterstützt.
Der Kommunikationsabschnitt 103 kommuniziert beispielsweise drahtlos mit den fahrzeuginternen Ausrüstungen 104 über ein WLAN, Bluetooth (eingetragene Marke), Nahfeldkommunikation (NFC), ein drahtloses USB (WUSB) oder dergleichen. Ferner kommuniziert der Kommunikationsabschnitt 103 beispielsweise drahtgebunden mit der fahrzeuginternen Ausrüstung 104 über einen universellen seriellen Bus (USB), ein High-Definition Multimedia Interface (HDMI) (eingetragene Marke), einen Mobile High-Definition Link (MHL) oder dergleichen über einen Anschlusskontakt (nicht dargestellt) (und ggf. ein Kabel).
Ferner kommuniziert der Kommunikationsabschnitt 103 zum Beispiel mit einer Ausrüstung (zum Beispiel einem Anwendungsserver oder einem Steuerserver), die sich in einem externen Netzwerk (zum Beispiel dem Internet, einem Cloud-Netzwerk oder einem betreiberspezifischen Netzwerk) befindet, über eine Basisstation oder einen Zugangspunkt. Darüber hinaus kommuniziert der Kommunikationsabschnitt 103 zum Beispiel mit einem Endgerät (zum Beispiel einem Endgerät eines Fußgängers oder eines Ladens oder einem Endgerät für maschinelle Kommunikation (MTC)), das sich in der Nähe des eigenen Kraftfahrzeugs befindet, unter Verwendung einer Peer-to-Peer-Technologie (P2P). Darüber hinaus führt der Kommunikationsabschnitt 103 zum Beispiel V2X-Kommunikation wie Fahrzeug-zu-Fahrzeug-Kommunikation, Fahrzeug-zu-Infrastruktur-Kommunikation, Fahrzeug-zu-Haus-Kommunikation zwischen dem eigenen Kraftfahrzeug und einem Haus und Fahrzeug-zu-Fußgänger-Kommunikation durch. Ferner enthält der Kommunikationsabschnitt 103 zum Beispiel einen Bakenempfänger, empfängt eine Funkwelle oder eine elektromagnetische Welle, die zum Beispiel aus einer auf einer Straße installierten Funkstation gesendet wird, und erfasst Informationen zum Beispiel bezüglich des aktuellen Standorts, Verkehrsstaus, Verkehrsregelung oder eine benötigte Zeit.
Beispiele für die fahrzeuginterne Ausrüstung 104 sind mobile Ausrüstungen oder am Körper tragbare Ausrüstungen einer Person an Bord, Informationsgeräte, die in das eigene Kraftfahrzeug eingebracht oder daran befestigt werden, und eine Navigationsvorichtung, die eine Route zu einem Zielort sucht.
Die Ausgabesteuervorrichtung 105 steuert die Ausgabe von verschiedenen Informationen an eine Person an Bord des eigenen Kraftfahrzeugs oder nach außerhalb des eigenen Kraftfahrzeugs. Zum Beispiel erzeugt die Ausgabesteuervorrichtung 105 ein Ausgangssignal, das mindestens eine von visuellen Informationen (wie Bilddaten) oder Audioinformationen (wie Tondaten) enthält, liefert das Ausgangssignal an den Ausgabeabschnitt 106 und steuert dadurch die Ausgabe der visuellen Informationen und der Audioinformationen aus dem Ausgabeabschnitt 106. Konkret kombiniert zum Beispiel die Ausgabesteuervorrichtung 105 Daten von Bildern, die durch verschiedene Bildaufnahmevorrichtungen des Datenerfassungsabschnitts 102 aufgenommen wurden, erzeugt ein Bild aus der Vogelperspektive, ein Panoramabild oder dergleichen und liefert ein Ausgangssignal mit dem erzeugten Bild an den Ausgabeabschnitt 106. Ferner erzeugt die Ausgabesteuervorrichtung 105 beispielsweise Tondaten, die zum Beispiel einen Warnton oder eine Warnmeldung enthalten, die vor einer Gefahr wie Kollision, Berührung oder Eintritt in eine Gefahrenzone warnen, und liefert ein Ausgangssignal mit den erzeugten Tondaten an den Ausgabeabschnitt 106.
Der Ausgabeabschnitt 106 enthält eine Vorrichtung, die die visuellen Informationen oder die Audioinformationen an eine Person an Bord des eigenen Kraftfahrzeugs oder außerhalb des eigenen Kraftfahrzeugs ausgeben kann. Der Ausgabeabschnitt 106 enthält beispielsweise eine Anzeigevorrichtung, ein Armaturenbrett, einen Lautsprecher, einen Kopfhörer, eine tragbare Vorrichtung wie ein brillenartiges Display, das durch die Person an Bord getragen wird, einen Projektor, eine Lampe und dergleichen. Anstelle einer Vorrichtung, die ein übliches Display enthält, kann die im Ausgabeabschnitt 106 enthaltene Anzeigevorrichtung eine Vorrichtung sein, wie zum Beispiel ein Head-up-Display, eine transparente Anzeige oder eine Vorrichtung mit einer Augmented-Reality(AR)-Anzeigefunktion, die die visuellen Informationen im Sichtfeld eines Fahrers anzeigt.
Die Antriebssteuervorrichtung 107 erzeugt verschiedene Steuersignale, liefert diese an das Antriebssystem 108 und steuert damit das Antriebssystem 108. Ferner liefert die Antriebssteuervorrichtung 107 die Steuersignale ggf. an die anderen Strukturelemente neben dem Antriebssystem 108, um ihnen zum Beispiel einen Zustand der Steuerung des Antriebssystems 108 mitzuteilen.
Das Antriebssystem 108 enthält verschiedene Vorrichtungen im Zusammenhang mit dem Antriebsstrang des eigenen Kraftfahrzeugs. Das Antriebssystem 108 enthält beispielsweise eine Antriebskrafterzeugungsvorrichtung, wie einen Verbrennungsmotor und einen Antriebsmotor, der eine Antriebskraft erzeugt, einen Antriebskraftübertragungsmechanismus, der zum Übertragen der Antriebskraft auf die Räder verwendet wird, einen Lenkmechanismus, der den Lenkwinkel einstellt, eine Bremsvorrichtung, die eine Bremskraft erzeugt, ein Antiblockiersystem (ABS), ein elektronisches Stabilitätssteuerungssystem (ESC), eine elektrische Servolenkvorrichtung und dergleichen.
Die karosseriebezogene Steuervorrichtung 109 erzeugt verschiedene Steuersignale, liefert sie an das karosseriebezogene System 110 und steuert damit das karosseriebezogene System 110. Ferner liefert die karosseriebezogene Steuervorrichtung 109 die Steuersignale ggf. an die anderen Strukturelemente neben dem karosseriebezogenen System 110, um ihnen zum Beispiel einen Steuerungszustand des karosseriebezogenen Systems 110 mitzuteilen.
Das karosseriebezogene System 110 enthält verschiedene karosseriebezogene Vorrichtungen, die an einer Fahrzeugkarosserie vorgesehen sind. Das karosseriebezogene System 110 enthält beispielsweise ein schlüsselloses Zugangssystem, ein Smart-Key-System, eine elektrische Fensterhebervorrichtung, einen elektrisch verstellbaren Sitz, ein Lenkrad, eine Klimaanlage, verschiedene Lampen (zum Beispiel einen Scheinwerfer, eine Rückleuchte, eine Bremsleuchte, einen Blinker und einen Nebelscheinwerfer) und dergleichen.
Der Speicher 111 enthält beispielsweise einen Nur-Lese-Speicher (ROM), einen Direktzugriffsspeicher (RAM), eine magnetische Speichervorrichtung wie ein Festplattenlaufwerk (HDD), eine Halbleiterspeichervorrichtung, eine optische Speichervorrichtung, eine magneto-optische Speichervorrichtung und dergleichen. Die Speichervorrichtung 111 speichert darin verschiedene Programme, Daten und dergleichen, die durch die jeweiligen Strukturelemente des Fahrzeugsteuerungssystems 100 verwendet werden. Die Speichervorrichtung 111 speichert darin zum Beispiel Kartendaten, wie eine dreidimensionale hochgenaue Karte, eine globale Karte und eine lokale Karte. Die hochgenaue Karte ist eine dynamische Karte oder dergleichen. Die globale Karte ist weniger genau und deckt einen größeren Bereich als die hochgenaue Karte ab. Die lokale Karte enthält Informationen über die Umgebung des eigenen Kraftfahrzeugs.
Die automatisierte Fahrsteuervorrichtung 112 führt eine Steuerung durch, die sich auf das automatisierte Fahren bezieht, wie zum Beispiel autonomes Fahren oder eine Fahrhilfe. Konkret führt die automatisierte Fahrsteuervorrichtung 112 beispielsweise eine kooperative Steuerung durch, die dazu dient, eine Funktion eines fortgeschrittenen Fahrerassistenzsystems (ADAS) zu implementieren, die eine Kollisionsvermeidung oder eine Stoßdämpfung für das eigene Kraftfahrzeug, ein Hinterherfahren hinter einem vorausfahrenden Fahrzeug basierend auf einem Abstand zwischen den Fahrzeugen, ein Fahren unter Beibehaltung einer Fahrzeuggeschwindigkeit, eine Warnung vor einer Kollision des eigenen Kraftfahrzeugs, eine Warnung vor einem Abweichen des eigenen Kraftfahrzeugs von einem Fahrstreifen und dergleichen enthält. Darüber hinaus führt die automatisierte Fahrsteuervorrichtung 112 eine kooperative Steuerung durch, die zum Beispiel ein automatisiertes Fahren, d. h. ein autonomes Fahren ohne Bedienung durch einen Fahrer, ermöglichen soll. Die automatisierte Fahrsteuervorrichtung 112 enthält einen Detektor 131, einen Eigenstandortschätzer 132, einen Zustandsanalysator 133, einen Planungsabschnitt 134 und eine Bewegungssteuervorrichtung 135.
Der Detektor 131 erfasst verschiedene Informationen, die zum Steuern des automatisierten Fahrens notwendig sind. Der Detektor 131 enthält einen Fahrzeugaußeninformationsdetektor 141, einen Fahrzeuginneninformationsdetektor 142 und einen Fahrzeugzustandsdetektor 143.
Der Fahrzeugaußeninformationsdetektor 141 führt einen Prozess zum Erfassen von Informationen bezüglich der Außenseite des eigenen Kraftfahrzeugs basierend auf Daten oder einem Signal aus jedem Strukturelement des Fahrzeugsteuerungssystems 100 durch. Der Fahrzeugaußeninformationsdetektor 141 führt zum Beispiel Prozesse zum Erfassen, Erkennen und Verfolgen eines Objekts in der Umgebung des eigenen Kraftfahrzeugs sowie einen Prozess zum Erfassen einer Entfernung zum Objekt durch. Beispiele für das Erfassungszielobjekt sind ein Fahrzeug, eine Person, ein Hindernis, ein Bauwerk, eine Straße, eine Ampel, ein Verkehrszeichen und ein Straßenschild. Ferner führt zum Beispiel der Fahrzeugaußeninformationsdetektor 141 einen Prozess zum Erfassen einer Umgebung um das eigene Kraftfahrzeug herum durch. Beispiele für die Umgebung des Erfassungsziels sind Wetter, Temperatur, Luftfeuchtigkeit, Helligkeit und der Zustand der Fahrbahnoberfläche. Der Fahrzeugaußeninformationsdetektor 141 liefert Daten, die ein Ergebnis des Erkennungsprozesses angeben, zum Beispiel an den Eigenstandortschätzer 132; einen Kartenanalysator 151, einen Verkehrsregelerkennungsabschnitt 152 und einen Zustandserkennungsabschnitt 153 des Zustandsanalysators 133 und einen Notfallereignisvermeidungsabschnitt 171 der Bewegungssteuervorrichtung 135.
Der Fahrzeuginneninformationsdetektor 142 führt einen Prozess zum Erfassen von Informationen bezüglich des Inneren des eigenen Kraftfahrzeugs basierend auf Daten oder einem Signal aus jedem Strukturelement des Fahrzeugsteuerungssystems 100 durch. Der Fahrzeuginneninformationsdetektor 142 führt zum Beispiel Prozesse zum Authentifizieren und Erkennen eines Fahrers, einen Prozess zum Erfassen eines Zustands des Fahrers, einen Prozess zum Erfassen einer Person an Bord und einen Prozess zum Erfassen einer Fahrzeuginnenumgebung durch. Beispiele für den Erfassungszielzustand eines Fahrers sind ein körperlicher Zustand, ein Grad der Erregung, ein Grad der Konzentration, ein Grad der Ermüdung und eine Richtung der Sichtlinie. Beispiele für Erfassungsziele der Fahrzeuginnenumgebung sind Temperatur, Feuchtigkeit, Helligkeit und Geruch. Der Fahrzeuginneninformationsdetektor 142 liefert Daten, die ein Ergebnis des Erkennungsprozesses angeben, zum Beispiel an den Zustandserkennungsabschnitt 153 des Zustandsanalysators 133 und den Notfallereignisvermeidungsabschnitt 171 der Bewegungssteuervorrichtung 135.
Der Fahrzeugzustandsdetektor 143 führt einen Prozess zum Erfassen eines Zustands des eigenen Kraftfahrzeugs basierend auf Daten oder einem Signal aus jedem Strukturelement des Fahrzeugsteuerungssystems 100 durch. Beispiele für den Erfassungszielzustand des eigenen Kraftfahrzeugs sind die Geschwindigkeit, die Beschleunigung, ein Lenkwinkel, das Vorhandensein oder Nichtvorhandsein einer Anomalie und deren Details, ein Fahrbetriebszustand, eine Position und eine Neigung eines elektrisch verstellbaren Sitzes, ein Zustand eines Türschlosses und Zustände anderer am Fahrzeug montierter Vorrichtungen. Der Fahrzeugzustandsdetektor 143 liefert Daten, die ein Ergebnis des Erkennungsprozesses angeben, zum Beispiel an den Zustandserkennungsabschnitt 153 des Zustandsanalysators 133 und an den Notfallereignisvermeidungsabschnitt 171 der Bewegungssteuervorrichtung 135.
Der Eigenstandortschätzer 132 führt einen Prozess zum Schätzen eines Ortes, einer Stellung und dergleichen des eigenen Kraftfahrzeugs basierend auf Daten oder Signalen aus den jeweiligen Strukturelementen des Fahrzeugsteuerungssystems 100, wie dem Fahrzeugaußeninformationsdetektor 141, und dem Zustandserkennungsabschnitt 153 des Zustandsanalysators 133 durch.
Ferner erzeugt der Eigenstandortschätzer 132 ggf. eine lokale Karte (im Folgenden als Eigenstandortschätzungskarte bezeichnet), die zum Schätzen eines eigenen Standorts verwendet wird. Zum Beispiel ist die Eigenstandortschätzungskarte eine hochpräzise Karte, die eine Technologie wie simultane Lokalisierung und Kartierung (SLAM) verwendet. Der Eigenstandortschätzer 132 liefert Daten, die ein Ergebnis des Schätzungsprozesses angeben, zum Beispiel an den Kartenanalysator 151, den Verkehrsregelerkennungsabschnitt 152 und den Zustandserkennungsabschnitt 153 des Zustandsanalysators 133. Ferner speichert der Eigenstandortschätzer 132 die Eigenstandortschätzungskarte in der Speichervorrichtung 111.
Der Zustandsanalysator 133 führt einen Prozess zum Analysieren von Zuständen des eigenen Kraftfahrzeugs und seiner Umgebung durch. Der Zustandsanalysator 133 enthält den Kartenanalysator 151, den Verkehrsregelerkennungsabschnitt 152, den Zustandserkennungsabschnitt 153 und einen Zustandsvorhersageabschnitt 154.
Unter Verwendung von Daten oder Signalen aus den jeweiligen Strukturelementen des Fahrzeugsteuerungssystems 100, wie zum Beispiel dem Eigenstandortschätzer 132 und dem Fahrzeugaußeninformationsdetektor 141, führt der Kartenanalysator 151 einen Prozess zum Analysieren verschiedener Karten durch, die in der Speichervorrichtung 111 gespeichert sind, und konstruiert eine Karte, die Informationen enthält, die für einen automatisierten Fahrprozess erforderlich sind. Der Kartenanalysator 151 liefert die konstruierte Karte zum Beispiel an den Verkehrsregelerkennungsabschnitt 152, den Zustandserkennungsabschnitt 153 und den Zustandsvorhersageabschnitt 154 sowie an einen Routenplanungsabschnitt 161, einen Verhaltensplanungsabschnitt 162 und einen Bewegungsplanungsabschnitt 163 des Planungsabschnitts 134.
Der Verkehrsregelerkennungsabschnitt 152 führt einen Prozess zum Erkennen von Verkehrsregeln um das eigene Kraftfahrzeug herum basierend auf Daten oder Signalen der jeweiligen Strukturelemente des Fahrzeugsteuerungssystems 100 durch, wie zum Beispiel dem Eigenstandortschätzer 132, dem Fahrzeugaußeninformationsdetektor 141 und dem Kartenanalysator 151. Der Erkennungsprozess ermöglicht das Erkennen des Standorts und des Zustands einer Ampel in der Umgebung des eigenen Kraftfahrzeugs, der Details der Verkehrssteuerung, die in der Umgebung des eigenen Kraftfahrzeugs durchgeführt wird, und eines befahrbaren Fahrstreifens. Der Verkehrsregelerkennungsabschnitt 152 liefert Daten, die ein Ergebnis des Erkennungsprozesses angeben, zum Beispiel an den Zustandsvorhersageabschnitt 154.
Der Zustandserkennungsabschnitt 153 führt einen Prozess zum Erkennen eines auf das eigene Kraftfahrzeug bezogenen Zustands basierend auf Daten oder Signalen aus den jeweiligen Strukturelementen des Fahrzeugsteuerungssystems 100 durch, wie zum Beispiel dem Eigenstandortschätzer 132, dem Fahrzeugaußeninformationsdetektor 141, dem Fahrzeuginneninformationsdetektor 142, dem Fahrzeugzustandsdetektor 143 und dem Kartenanalysator 151. Zum Beispiel führt der Zustandserkennungsabschnitt 153 einen Prozess zum Erkennen eines Zustands des eigenen Kraftfahrzeugs, eines Zustands der Umgebung des eigenen Kraftfahrzeugs, eines Zustands eines Fahrers des eigenen Kraftfahrzeugs und dergleichen durch. Ferner erzeugt der Zustandserkennungsabschnitt 153 bei Bedarf eine lokale Karte (im Folgenden Zustandserkennungskarte genannt), die dazu verwendet wird, den Zustand der Umgebung des eigenen Kraftfahrzeugs zu erkennen. Die Zustandserkennungskarte ist zum Beispiel eine Belegungsrasterkarte.
Beispiele für den Erkennungszielzustand des eigenen Kraftfahrzeugs umfassen einen Standort, eine Stellung und eine Bewegung (wie Geschwindigkeit, Beschleunigung und Bewegungsrichtung) des eigenen Kraftfahrzeugs sowie das Vorhandensein oder Nichtvorhandensein einer Anomalie und deren Details. Beispiele für den Erkennungszielzustand der Umgebung des eigenen Kraftfahrzeugs sind die Art und der Ort eines stationären Objekts um das eigene Kraftfahrzeug, die Art, der Ort und die Bewegung (zum Beispiel Geschwindigkeit, Beschleunigung und Bewegungsrichtung) eines sich bewegenden Objekts um das eigene Kraftfahrzeug, die Beschaffenheit einer Straße um das eigene Kraftfahrzeug und der Zustand der Fahrbahnoberfläche sowie Wetter, Temperatur, Feuchtigkeit und Helligkeit um das eigene Kraftfahrzeug. Beispiele für den Erkennungszielzustand eines Fahrers sind ein körperlicher Zustand, ein Grad der Erregung, ein Grad der Konzentration, ein Grad der Ermüdung, eine Bewegung der Sichtlinie und ein Fahrbetrieb.
Der Zustandserkennungsabschnitt 153 liefert Daten, die ein Ergebnis des Erkennungsprozesses angeben (einschließlich einer Zustandserkennungskarte, falls erforderlich), zum Beispiel an den Eigenstandortschätzer 132 und den Zustandsvorhersageabschnitt 154. Ferner speichert der Zustandserkennungsabschnitt 153 die Zustandserkennungskarte in der Speichervorrichtung 111.
Der Zustandsvorhersageabschnitt 154 führt einen Prozess zum Vorhersagen eines auf das eigene Kraftfahrzeug bezogenen Zustands basierend auf Daten oder Signalen aus den jeweiligen Strukturelementen des Fahrzeugsteuerungssystems 100, wie dem Kartenanalysator 151, dem Verkehrsregelerkennungsabschnitt 152 und dem Zustandserkennungsabschnitt 153, durch. Der Zustandsvorhersageabschnitt 154 führt zum Beispiel einen Prozess zum Vorhersagen eines Zustands des eigenen Kraftfahrzeugs, eines Zustands der Umgebung des eigenen Kraftfahrzeugs, eines Zustands eines Fahrers und dergleichen durch.
Beispiele für den Vorhersagezielzustand des eigenen Kraftfahrzeugs sind das Verhalten des eigenen Kraftfahrzeugs, das Auftreten einer Anomalie im eigenen Kraftfahrzeug und eine fahrbare Strecke des eigenen Kraftfahrzeugs. Beispiele für den Vorhersagezielzustand der Umgebung des eigenen Kraftfahrzeugs sind das Verhalten eines sich bewegenden Objekts, eine Änderung des Zustands einer Ampel und eine Änderung der Umgebung wie zum Beispiel das Wetter um das eigene Kraftfahrzeug herum. Beispiele für den Vorhersagezielzustand eines Fahrers sind das Verhalten und der körperliche Zustand des Fahrers.
Der Zustandsvorhersageabschnitt 154 liefert Daten, die ein Ergebnis des Vorhersageprozesses angeben, an beispielsweise den Routenplanungsabschnitt 161, den Verhaltensplanungsabschnitt 162 und den Bewegungsplanungsabschnitt 163 des Planungsabschnitts 134 zusammen mit den Daten aus dem Verkehrsregelerkennungsabschnitt 152 und dem Zustandserkennungsabschnitt 153.
Der Routenplanungsabschnitt 161 plant eine Route zu einem Zielort basierend auf Daten oder Signalen aus den jeweiligen Strukturelementen des Fahrzeugsteuerungssystems 100, wie dem Kartenanalysator 151 und dem Zustandsvorhersageabschnitt 154. Der Routenplanungsabschnitt 161 legt zum Beispiel eine Route vom aktuellen Standort zu einem vorgegebenen Zielort basierend auf einer globalen Karte fest. Ferner ändert der Routenplanungsabschnitt 161 eine Route bei Bedarf basierend auf den Zuständen von zum Beispiel einem Verkehrsstau, einem Unfall, einer Verkehrsregelung und einer Baustelle sowie der körperlichen Verfassung eines Fahrers. Der Routenplanungsabschnitt 161 liefert Daten, die die geplante Route angeben, zum Beispiel an den Verhaltensplanungsabschnitt 162.
Basierend auf Daten oder Signalen aus den jeweiligen Strukturelementen des Fahrzeugsteuerungssystems 100, wie dem Kartenanalysator 151 und dem Zustandsvorhersageabschnitt 154, plant der Verhaltensplanungsabschnitt 162 das Verhalten des eigenen Kraftfahrzeugs, damit das eigene Kraftfahrzeug sicher auf der durch den Routenplanungsabschnitt 161 geplanten Route innerhalb einer durch den Routenplanungsabschnitt 161 geplanten Zeit fährt. Der Verhaltensplanungsabschnitt 162 plant zum Beispiel einen Bewegungsstart, einen Halt, eine Fahrtrichtung (wie eine Vorwärtsbewegung, eine Rückwärtsbewegung, eine Linksabbiegung, eine Rechtsabbiegung und einen Richtungswechsel), einen Fahrstreifen, eine Fahrgeschwindigkeit und Überholen. Der Verhaltensplanungsabschnitt 162 liefert Daten, die das geplante Verhalten des eigenen Kraftfahrzeugs angeben, zum Beispiel an den Bewegungsplanungsabschnitt 163.
Basierend auf Daten oder Signalen aus den jeweiligen Strukturelementen des Fahrzeugsteuerungssystems 100, wie zum Beispiel dem Kartenanalysator 151 und dem Zustandsvorhersageabschnitt 154, plant der Bewegungsplanungsabschnitt 163 die Bewegung des eigenen Kraftfahrzeugs, um das durch den Verhaltensplanungsabschnitt 162 geplante Verhalten zu erreichen. Der Bewegungsplanungsabschnitt 163 plant zum Beispiel Beschleunigung, Verzögerung und einen Fahrkurs. Der Bewegungsplanungsabschnitt 163 liefert Daten, die die geplante Bewegung des eigenen Kraftfahrzeugs angeben, zum Beispiel an eine Beschleunigungs-/Verzögerungssteuervorrichtung 172 und eine Richtungssteuervorrichtung 173 der Bewegungssteuervorrichtung 135.
Die Bewegungssteuervorrichtung 135 steuert die Bewegung des eigenen Kraftfahrzeugs. Die Bewegungssteuervorrichtung 135 enthält den Notfallereignisvermeidungsabschnitt 171, die Beschleunigungs-/Verzögerungssteuervorrichtung 172 und die Richtungssteuervorrichtung 173.
Basierend auf einem Ergebnis der Erfassungen, die durch den Fahrzeugaußeninformationsdetektor 141, den Fahrzeuginneninformationsdetektor 142 und den Fahrzeugzustandsdetektor 143 durchgeführt werden, führt der Notfallereignisvermeidungsabschnitt 171 einen Prozess zum Erfassen von Notfallereignissen wie Kollision, Berührung, Eintritt in eine gefährliche Zone, etwas Ungewöhnliches bei einem Fahrer und Anomalie im Fahrzeug durch. Wenn der Notfallereignisvermeidungsabschnitt 171 das Auftreten eines Notfallereignisses erfasst, plant der Notfallereignisvermeidungsabschnitt 171 eine Bewegung des eigenen Kraftfahrzeugs, wie zum Beispiel ein plötzliches Anhalten oder einen schnellen Richtungswechsel, um das Notfallereignis zu vermeiden. Der Notfallereignisvermeidungsabschnitt 171 liefert Daten, die die geplante Bewegung des eigenen Kraftfahrzeugs angeben, zum Beispiel an die Beschleunigungs-/Verzögerungssteuervorrichtung 172 und die Richtungssteuervorrichtung 173.
Die Beschleunigungs-/Verzögerungssteuervorrichtung 172 steuert die Beschleunigung/Verzögerung, um die durch den Bewegungsplanungsabschnitt 163 oder den Notfallereignisvermeidungsabschnitt 171 geplante Bewegung des eigenen Kraftfahrzeugs zu erreichen. Zum Beispiel berechnet die Beschleunigungs-/Verzögerungssteuervorrichtung 172 einen Steuersollwert für eine Antriebskrafterzeugungsvorrichtung oder eine Bremsvorrichtung, um die geplante Beschleunigung, die geplante Verzögerung oder das geplante plötzliche Anhalten zu erreichen, und liefert eine Steueranweisung, die den berechneten Steuersollwert angibt, an die Antriebssteuervorrichtung 107.
Die Richtungssteuervorrichtung 173 steuert eine Richtung, um die durch den Bewegungsplanungsabschnitt 163 oder den Notfallereignisvermeidungsabschnitt 171 geplante Bewegung des eigenen Kraftfahrzeugs zu erreichen. Zum Beispiel berechnet die Richtungssteuervorrichtung 173 einen Steuersollwert für einen Lenkmechanismus, um den durch den Bewegungsplanungsabschnitt 163 geplanten Fahrkurs oder die durch den Notfallereignisvermeidungsabschnitt 171 geplante schnelle Richtungsänderung zu erreichen, und liefert eine Steueranweisung, die den berechneten Steuersollwert angibt, an die Antriebssteuervorrichtung 107.
«3. Ausbildung, bei der die Falschbestimmung von Hindernissen auf einer geneigten Straße unterbunden wird»
Als Nächstes wird mit Bezug auf ein Blockdiagramm von 5 eine Ausbildung beschrieben, bei der eine Falschbestimmung eines Hindernisses auf einer geneigten Straße unterbunden wird. Zu beachten ist, dass 5 aus dem Beispiel der Funktionsausbildung, die das mit Bezug auf 4 beschriebene Fahrzeugsteuerungssystem 100 implementiert, eine Ausbildung mit einer Komponente zeigt, die zum Unterbinden einer Falschbestimmung eines Hindernisses auf der geneigten Straße verwendet wird.
Der Datenerfassungsabschnitt 102 enthält eine Kamera 201, ein Millimeterwellenradar 202 und das LiDAR 203. Die Kamera 201, das Millimeterwellenradar 202 und das LiDAR 203 erkennen ein Objekt in einem Bereich, der sich in Fahrtrichtung des Fahrzeugs 11 weiter vorne befindet, wie zum Beispiel einem Bereich, der sich vor dem Fahrzeug 11 und einem oberen Abschnitt einer Windschutzscheibe des Fahrzeugs 11 befindet. Zum Beispiel entsprechen die Kamera 201, das Millimeterwellenradar 202 und das LiDAR 203 dem externen Erkennungssensor 11a des Fahrzeugs 11 in 2 und 3.
Die Kamera 201 nimmt ein Bild eines Bereichs auf, der sich in Fahrtrichtung voraus befindet, und gibt das aufgenommene Bild an den Fahrzeugaußeninformationsdetektor 141 des Detektors 131 in der automatisierten Fahrsteuervorrichtung 112 aus.
Das Millimeterwellenradar 202 strahlt Funkwellen im Millimeterwellenband auf den in Fahrtrichtung vorausliegenden Bereich, empfängt die durch ein Objekt reflektierten Wellen, um Informationen über einen Ort und eine Geschwindigkeit des Objekts zu erfassen, und gibt die erfassten Informationen an den Fahrzeugaußeninformationsdetektor 141 des Detektors 131 in der automatisierten Fahrsteuervorrichtung 112 aus.
Das LiDAR 203 sendet in vorgegebenen Intervallen horizontal und vertikal Laserlicht in den in Fahrtrichtung voraus befindlichen Bereich und empfängt das durch ein Objekt reflektierte Licht, um Punktgruppeninformationen in Abhängigkeit von einem Ort und einer Form des Objekts zu erkennen, und gibt die erkannten Punktgruppeninformationen an den Fahrzeugaußeninformationsdetektor 141 des Detektors 131 in der automatisierten Fahrsteuervorrichtung 112 aus.
Basierend auf einem durch die Kamera 201 aufgenommenen Bild, einem Ergebnis der durch das Millimeterwellenradar 202 durchgeführten Erkennung und eines Ergebnisses der durch das LiDAR 203 durchgeführten Abtastung erkennt der Fahrzeugaußeninformationsdetektor 141 ein vor dem Fahrzeug 11 befindliches Objekt und führt basierend auf einem Ergebnis der Erkennung eine Kollisionsbestimmung durch. Genauer gesagt, enthält der Fahrzeugaußeninformationsdetektor 141 einen Objekterkennungsabschnitt 221, einen Neigungserkennungsabschnitt 222 und einen Kollisionsbestimmungsabschnitt 223.
Der Objekterkennungsabschnitt 221 erkennt ein Objekt basierend auf den jeweiligen Ergebnissen der Abtastung durch die Kamera 201, das Millimeterwellenradar 202 und das LiDAR 203.
Genauer gesagt, erkennt der Objekterkennungsabschnitt 221 basierend auf einem erfassten Bild, das das Ergebnis einer durch die Kamera 201 durchgeführten Abtastung ist, für jedes Pixel jedes einzelne Objekt, das sich auf dem Weg befindet und im Bild erscheint, indem er zum Beispiel eine semantische Segmentierung verwendet. So kann der Objekterkennungsabschnitt 221 zum Beispiel, wenn die Fahrbahnoberfläche auf dem Weg eine geneigte Fahrbahnoberfläche ist, oder wenn eine Wartungsöffnung oder ein Gitter vorhanden ist, aus dem Bild erkennen, dass eine geneigte Straße voraus liegt, oder eine Wartungsöffnung oder ein Gitter voraus liegt.
Ferner erkennt der Objekterkennungsabschnitt 221 das Vorhandensein oder Nichtvorhandensein eines Objekts auf dem Weg basierend auf dem Ergebnis der durch das Millimeterwellenradar 202 durchgeführten Abtastung. In diesem Fall erkennt der Objekterkennungsabschnitt 221 aus den Funkwellen im Millimeterwellenband, die auf einen vorausliegenden Bereich gestrahlt werden, eine Funkwelle mit hoher Reflexionsintensität als eine durch das Objekt reflektierte Welle. Wenn jedoch nur ein Ergebnis der durch das Millimeterwellenradar 202 durchgeführten Abtastung verwendet wird, kann der Objekterkennungsabschnitt 221 zwar einen Ort (eine Entfernung und eine Ausrichtung) eines Objekts erkennen, aber nicht erfolgreich erkennen, ob das Objekt zum Beispiel ein Fahrzeug oder ein Fußgänger ist, d. h. um was für ein Objekt es sich handelt und wie groß das Objekt ist und dergleichen.
Zu beachten ist, dass auch bei Vorhandensein eines vorausfahrenden Fahrzeugs ein Teil der Funkwellen im Millimeterwellenband durch eine Fahrbahnoberfläche reflektiert wird, die sich unter einer Fahrzeugkarosserie des vorausfahrenden Fahrzeugs befindet, und dies dazu führt, dass die durch ein Objekt reflektierten Wellen empfangen werden, das sich weiter vor dem vorausfahrenden Fahrzeug befindet. Dadurch kann der Objekterkennungsabschnitt 221 basierend auf einem Ergebnis der durch das Millimeterwellenradar 202 durchgeführten Abtastung zum Beispiel das Vorhandensein eines Objekts erkennen, das sich weiter vor dem vorausfahrenden Fahrzeug befindet.
Ferner erkennt der Objekterkennungsabschnitt 221 ein Objekt auf dem Weg basierend auf dem Ergebnis der durch das LiDAR 203 durchgeführten Abtastung. In diesem Fall kann der Objekterkennungsabschnitt 221 wie beim Millimeterwellenradar erkennen, dass sich ein Objekt vor ihm befindet, da das Ergebnis der durch das LiDAR 203 durchgeführten Abtastung durch dreidimensionale Punktgruppeninformationen dargestellt wird. Wenn jedoch das Ergebnis der durch das LiDAR 203 durchgeführten Abtastung verwendet wird, erkennt der Objekterkennungsabschnitt 221 nicht erfolgreich, um welche Art von Objekt es sich bei einem erkannten Objekt handelt. Außerdem ist es zum Beispiel bei einem vorausfahrenden Fahrzeug schwierig, Informationen über einen Bereich zu erhalten, der sich vor dem vorausfahrenden Fahrzeug befindet, da das Ergebnis der durch das LiDAR 203 durchgeführten Abtastung durch Laserlicht dargestellt wird. So wird bei einer Objekterkennung, die basierend auf einem Ergebnis der durch das LiDAR 203 durchgeführten Abtastung durchgeführt wird, eine für eine Kollisionsbestimmung notwendige Objekterkennung nicht erfolgreich durchgeführt, wenn ein vorausfahrendes Fahrzeug vorhanden ist. Zu beachten ist, dass in dem Fall, in dem ein Ergebnis der durch das LiDAR 203 durchgeführten Abtastung verwendet wird, und wenn ein Objekt vorhanden ist und das LiDAR 203 mit der Zeit näher an das Objekt herankommt, sich die Anzahl der reflektierten Laserlichtstrahlen beim Herannahen des LiDAR 203 an das Objekt erhöht, wie mit Bezug auf 3 beschrieben ist. Dadurch kann der Objekterkennungsabschnitt 221 basierend auf einer Änderung der Anzahl der reflektierten Laserlichtstrahlen die Größe und eine Neigung eines Objekts erkennen.
Der Neigungserkennungsabschnitt 222 erkennt eine Neigung einer Fahrbahnoberfläche auf dem Weg basierend auf einem Ergebnis einer Objekterkennung, die basierend auf einem durch die Kamera 201 aufgenommenen Bild durchgeführt wird, und einem Ergebnis einer Objekterfassung, die basierend auf einem Ergebnis der durch das LiDAR 203 durchgeführten Abtastung durchgeführt wird, aus den Ergebnissen der durch den Objekterkennungsabschnitt 221 durchgeführten Erkennung. Wenn zum Beispiel ein Ergebnis einer Objekterkennung verwendet wird, die unter Verwendung eines durch die Kamera 201 aufgenommenen Bildes durchgeführt wurde, erkennt der Neigungserkennungsabschnitt 222 eine Neigung einer Fahrbahnoberfläche aus Informationen über einen Bereich der Fahrbahnoberfläche basierend auf dem Ergebnis der Objekterkennung.
Ferner erkennt der Neigungserkennungsabschnitt 222 beispielsweise bei Verwendung eines Ergebnisses einer Objekterkennung, die unter Verwendung eines Ergebnisses der durch das LiDAR durchgeführten Abtastung durchgeführt wurde, ein Objekt basierend auf einer zeitlichen Änderung eines in dreidimensionalen Punktgruppeninformationen erkannten Objekts. Genauer gesagt, wenn ein Ergebnis der durch das Millimeterwellenradar durchgeführten Abtastung verwendet wird, erhöht sich die Anzahl der von einem Objekt reflektierten Laserlichtstrahlen (der Bereich des Laserlichts), je näher das Millimeterwellenradar dem Objekt kommt. Somit erkennt der Objekterkennungsabschnitt 221 die Größe des Objekts basierend auf der Anzahl der von dem Objekt reflektierten Laserlichtstrahlen (der Fläche des Laserlichts). Ferner erkennt der Neigungserkennungsabschnitt 222 eine Neigung einer Fahrbahnoberfläche basierend auf einer zeitlichen Änderung der Anzahl der vom Objekt reflektierten Laserlichtstrahlen.
Zu beachten ist, dass es schwierig ist, die Neigung einer Fahrbahnoberfläche zum Beispiel aus dem Ergebnis einer Abtastung mit einem Millimeterwellenradar zu erhalten.
Basierend auf einem Ergebnis einer durch den Objekterkennungsabschnitt 221 durchgeführten Objekterkennung führt der Kollisionsbestimmungsabschnitt 223 eine Kollisionsbestimmung durch, um zu bestimmen, ob eine Kollisionsmöglichkeit mit einem Objekt auf dem Weg besteht.
Der Kollisionsbestimmungsabschnitt 223 führt eine Kollisionsbestimmung selektiv unter Verwendung von Ergebnissen einer Objekterkennung in Abhängigkeit von den Umgebungsbedingungen durch.
Tagsüber bei schönem Wetter führt der Kollisionsbestimmungsabschnitt 223 eine Kollisionsbestimmung basierend auf einem Ergebnis einer Objekterkennung durch, die basierend auf einem durch die Kamera 201 aufgenommenen Bild durchgeführt wird.
Bei Nacht oder bei rauem Wetter führt der Kollisionsbestimmungsabschnitt 223 ferner eine Kollisionsbestimmung unter Verwendung eines Ergebnisses einer Objekterkennung, die unter Verwendung eines Ergebnisses der Abtastung durch das Millimeterwellenradar 202 durchgeführt wurde, und unter Verwendung eines Ergebnisses einer Objekterkennung, die unter Verwendung eines Ergebnisses der Abtastung durch das LiDAR 203 durchgeführt wurde, durch.
In diesem Fall, wenn ein vorausfahrendes Fahrzeug vorhanden ist, erkennt der Kollisionsbestimmungsabschnitt 223 das Vorhandensein eines Objekts auf dem Weg basierend auf einem Ergebnis einer Objekterkennung, die unter Verwendung eines Ergebnisses der durch das Millimeterwellenradar 202 durchgeführten Abtastung durchgeführt wird, und der Kollisionsbestimmungsabschnitt 223 führt eine Kollisionsbestimmung basierend darauf durch, ob das vorausfahrende Fahrzeug einen Ort des erkannten Objekts durchfahren hat.
Mit anderen Worten, wenn eine Kollisionsbestimmung basierend auf einem Ergebnis einer Objekterkennung durchgeführt wird, die unter Verwendung eines Ergebnisses der durch das Millimeterwellenradar 202 durchgeführten Abtastung durchgeführt wird, kann der Kollisionsbestimmungsabschnitt 223 das Vorhandensein eines vorausfahrenden Fahrzeugs und das Vorhandensein eines Objekts erkennen, das sich weiter vor dem vorausfahrenden Fahrzeug befindet.
Wenn jedoch ein Ergebnis einer Objekterkennung verwendet wird, die unter Verwendung eines Ergebnisses der durch das Millimeterwellenradar 202 durchgeführten Abtastung durchgeführt wird, ist es möglich, zwar das Vorhandensein eines Objekts zu erkennen, aber es ist schwierig zu unterscheiden, ob das Objekt ein Objekt ist, mit dem die Möglichkeit einer Kollision in Betracht gezogen werden muss.
In dem Fall, in dem der Kollisionsbestimmungsabschnitt 223 eine Kollisionsbestimmung basierend auf einem Ergebnis einer Objekterkennung durchführt, die unter Verwendung eines Ergebnisses der durch das Millimeterwellenradar 202 durchgeführten Abtastung durchgeführt wird, und in dem Fall, in dem ein vorausfahrendes Fahrzeug vorhanden ist, bestimmt der Kollisionsbestimmungsabschnitt 223, dass keine Kollisionsmöglichkeit mit einem erkannten Objekt vorhanden ist, wenn das vorausfahrende Fahrzeug einen Ort des erkannten Objekts durchfahren hat.
Ferner bestimmt der Kollisionsbestimmungsabschnitt 223 in dem Fall, in dem der Kollisionsbestimmungsabschnitt 223 eine Kollisionsbestimmung basierend auf einem Ergebnis einer Objekterkennung durchführt, die unter Verwendung eines Ergebnisses einer durch das Millimeterwellenradar 202 durchgeführten Abtastung durchgeführt wird, und in dem Fall, in dem ein vorausfahrendes Fahrzeug vorhanden ist, dass eine Kollisionsmöglichkeit mit einem erkannten Objekt besteht, wenn das vorausfahrende Fahrzeug einen Ort des erkannten Objekts nicht durchfahren hat, d. h. wenn es möglich ist zu erkennen, dass das vorausfahrende Fahrzeug den Ort durchfahren hat und dabei das erkannte Objekt vermieden hat.
Außerdem erkennt der Kollisionsbestimmungsabschnitt 223, wenn kein vorausfahrendes Fahrzeug vorhanden ist, basierend auf einem Ergebnis einer Objekterkennung, die unter Verwendung eines Ergebnisses der durch das LiDAR 203 durchgeführten Abtastung durchgeführt wird, dass ein Objekt auf dem Weg vorhanden ist, und führt eine Kollisionsbestimmung durch.
Mit anderen Worten, wenn eine Kollisionsbestimmung basierend auf einem Ergebnis einer Objekterkennung durchgeführt wird, die unter Verwendung eines Ergebnisses der durch das LiDAR 203 durchgeführten Abtastung durchgeführt wird, kann der Kollisionsbestimmungsabschnitt 223 die Größe und eine Neigung eines Objekts gemäß einer Änderung der von dem Objekt reflektierten Anzahl von Laserlichtstrahlen erkennen, da sich die Anzahl der von dem Objekt reflektierten Laserlichtstrahlen beim Herannahen des LiDAR 203 an das Objekt chronologisch erhöht.
Genauer gesagt, wird angenommen, dass, wie in 6 dargestellt, das Fahrzeug 11 auf der ebenen Straße FL in der Figur nach rechts fährt, ein rechtes Ende der ebenen Straße FL mit der geneigten Straße SL verbunden ist und die Wartungsöffnung 12 auf der geneigten Straße SL vorhanden ist. Hier ist der externe Erkennungssensor 11a, in den Komponenten des Datenerfassungsabschnitts 102, nämlich die Kamera 201, das Millimeterwellenradar 202 und das LiDAR 203, eingebaut sind, in einem vorderen Abschnitt des Fahrzeugs 11 angebracht. Es wird angenommen, dass, wie beispielsweise in 6 dargestellt, das LiDAR 203 aus dem externen Erkennungssensor 11a, nämlich dem Datenerfassungsabschnitt 102, die Laserlichtstrahlen L1 bis L13 in einen Bereich in Fahrtrichtung voraus aussendet und die entsprechenden reflektierten Lichtstrahlen empfängt, um dreidimensionale Punktgruppeninformationen als Objekterkennungsergebnis zu erfassen.
Hier veranschaulicht 6 einen Zustand, in dem sechs Laserlichtstrahlen L3 bis L8 aus den Laserlichtstrahlen L1 bis L13 auf die Wartungsöffnung 12 gestrahlt werden und als reflektierte Lichtstrahlen empfangen werden.
Wenn sich das Fahrzeug 11 in diesem Zustand mit der Zeit der Wartungsöffnung 12 auf der geneigten Straße SL nähert, erhöht sich die Anzahl der von der Wartungsöffnung 12 reflektierten Laserlichtstrahlen allmählich von einer Ablaufzeit t1 bis einer Ablaufzeit t3, wie in 7 dargestellt.
Mit anderen Worten, zum Zeitpunkt t1, wenn eine vorgegebene Zeitspanne seit dem Zustand von 6 verstrichen ist, werden acht Laserlichtstrahlen L2 bis L9 aus den Laserlichtstrahlen L1 bis L13 auf die Wartungsöffnung 12 gestrahlt und als reflektierte Lichtstrahlen durch das LiDAR 203 empfangen, wie in einem oberen Abschnitt von 7 dargestellt.
Danach, zum Zeitpunkt t2, werden zehn Laserlichtstrahlen L1 bis L10 aus den Laserlichtstrahlen L1 bis L13 auf die Wartungsöffnung 12 gestrahlt und als reflektierte Lichtstrahlen durch das LiDAR 203 empfangen, wie in einem Zwischenabschnitt von 7 dargestellt.
Danach, zum Zeitpunkt t3, werden alle dreizehn Laserlichtstrahlen L1 bis L13 auf die Wartungsöffnung 12 gestrahlt und als reflektierte Lichtstrahlen durch das LiDAR 203 empfangen, wie in einem unteren Abschnitt von 7 dargestellt.
Wie oben beschrieben, erhöht sich zeitlich die Anzahl der von der Wartungsöffnung 12 reflektierten Laserlichtstrahlen aus den Laserlichtstrahlen, die durch das LiDAR 203, das als externer Erkennungssensor 11a des Fahrzeugs 11 vorgesehen ist, abgestrahlt werden, beim Annähern des Fahrzeugs 11 an die Wartungsöffnung 12. Ferner unterscheidet sich die Größe einer zeitlichen Änderung der Anzahl der reflektierten Laserlichtstrahlen in Abhängigkeit von einer Neigung der Oberfläche der Wartungsöffnung 12. Mit anderen Worten, die zeitlich veränderte Anzahl der Laserlichtstrahlen ist größer, wenn die Neigung größer ist, und die zeitlich veränderte Anzahl der Laserlichtstrahlen ist kleiner, wenn die Neigung kleiner ist.
Somit erhält der Kollisionsbestimmungsabschnitt 223 eine Neigung der Oberfläche eines Objekts basierend auf einer zeitlichen Änderung der von dem Objekt reflektierten Anzahl von Laserlichtstrahlen und führt eine Kollisionsbestimmung basierend darauf durch, ob die Größe des Objekts größer als eine vorgegebene Größe ist und ob eine Neigung des Objekts größer als eine vorgegebene Neigung ist.
«4. Verarbeitung der Kollisionsbestimmung»
Als Nächstes wird die Verarbeitung der Kollisionsbestimmung, die durch das Fahrzeug 11 der vorliegenden Offenbarung durchgeführt wird, mit Bezug auf ein Flussdiagramm in 8 beschrieben.
In Schritt S11 geben die Kamera 201, das Millimeterwellenradar 202 und das LiDAR 203 des Datenerfassungsabschnitts 102 entsprechende Abtastergebnisse (ein aufgenommenes Bild in Bezug auf die Kamera 201) an den Detektor 131 der automatisierten Fahrsteuervorrichtung 112 aus.
In Schritt S12 bestimmt der Objekterkennungsabschnitt 221, ob es möglich ist, ein Objekt basierend auf dem durch die Kamera 201 aufgenommenen Bild zu erkennen. Genauer gesagt, bestimmt der Objekterkennungsabschnitt 221 unter Berücksichtigung der Beeinträchtigung durch die Umgebung, wie zum Beispiel unzureichende Helligkeit bei Nacht, bei rauem Wetter oder dergleichen, ob es möglich ist, ein Objekt basierend auf dem durch die Kamera 201 aufgenommenen Bild angemessen zu erkennen.
Wenn in Schritt S12 bestimmt wurde, dass es möglich ist, ein Objekt basierend auf dem durch die Kamera 201 aufgenommenen Bild zu erkennen, geht der Prozess weiter zu Schritt S13.
In Schritt S13 erkennt der Objekterkennungsabschnitt 221 basierend auf dem erfassten Bild, das das Ergebnis der durch die Kamera 201 durchgeführten Abtastung darstellt, für jedes Pixel ein Objekt, indem er zum Beispiel eine semantische Segmentierung verwendet.
In Schritt S14 bestimmt der Kollisionsbestimmungsabschnitt 223 basierend auf einem Ergebnis der Objekterkennung, die durch den Objekterkennungsabschnitt 221 basierend auf dem erfassten Bild, das das Ergebnis der durch die Kamera 201 durchgeführten Abtastung darstellt, durchgeführt wird, ob ein Objekt, das ein Hindernis sein könnte, auf dem Weg vorhanden ist.
Wenn zum Beispiel in Schritt S14 bestimmt wurde, dass ein Objekt, das ein Hindernis sein könnte, auf dem Weg vorhanden ist, geht der Prozess weiter zu Schritt S15.
In Schritt S15 erkennt der Neigungserkennungsabschnitt 222 eine Neigung eines Bereichs, der durch den Objekterkennungsabschnitt 221 als Fahrbahnoberfläche erkannt wurde.
In Schritt S16 bestimmt der Kollisionsbestimmungsabschnitt 223 basierend auf der Neigung der Fahrbahnoberfläche und den Informationen über das Objekt auf dem Weg, das ein Hindernis sein könnte, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
Wenn das Objekt in Schritt 16 zum Beispiel eine Person oder ein großes geparktes Fahrzeug ist oder wenn die Fahrbahnoberfläche stark geneigt ist und die Möglichkeit besteht, dass das Objekt eine Wand oder ein Zaun ist, wird bestimmt, dass eine Kollisionsmöglichkeit mit dem Objekt besteht, und der Prozess geht weiter zu Schritt S17.
In Schritt S17 benachrichtigt der Kollisionsbestimmungsabschnitt 223 den Notfallereignisvermeidungsabschnitt 171 der Bewegungssteuervorrichtung 135, dass eine Kollisionsmöglichkeit besteht.
In Schritt S18 steuert der Notfallereignisvermeidungsabschnitt 171 die Beschleunigungs-/Verzögerungssteuervorrichtung 172 und die Richtungssteuervorrichtung 173 basierend auf der Benachrichtigung aus dem Kollisionsbestimmungsabschnitt 223, um zu bewirken, dass das Antriebssystem 108 durch die Antriebssteuervorrichtung 107 angetrieben wird, um eine Kollision mit dem Objekt, das ein Hindernis sein könnte, zu vermeiden.
In Schritt S19 wird bestimmt, ob eine Anweisung zum Beenden der Verarbeitung gegeben wurde. Wenn bestimmt wird, dass die Anweisung zur Durchführung des Abbruchs nicht gegeben wurde, kehrt der Prozess zu Schritt S11 zurück, und die folgenden Prozesse werden wiederholt. Wenn in Schritt S19 bestimmt wurde, dass die Anweisung zur Durchführung des Abbruchs gegeben wurde, wird die Verarbeitung beendet.
Wenn in Schritt S14 bestimmt wurde, dass das Objekt, das ein Hindernis sein könnte, nicht auf dem Weg vorhanden ist, oder wenn in Schritt S16 bestimmt wurde, dass keine Kollisionsmöglichkeit besteht, geht der Prozess weiter zu Schritt S26.
In Schritt S26 teilt der Kollisionsbestimmungsabschnitt 223 dem Notfallereignisvermeidungsabschnitt 171 der Bewegungssteuervorrichtung 135 mit, dass keine Kollisionsbestimmungsabschnitt besteht. Zu beachten ist, dass, wenn keine Kollisionsmöglichkeit besteht, die Benachrichtigung an den Notfallereignisvermeidungsabschnitt 171 nicht unbedingt erforderlich ist. Somit kann der Prozess von Schritt S26 übersprungen werden, oder der Prozess von Schritt S26 selbst kann bei Bedarf gelöscht werden.
Wenn in Schritt S12 bestimmt wurde, dass die Objekterkennung basierend auf dem Bild nicht erfolgreich durchgeführt wurde, geht der Prozess weiter zu Schritt S20.
In Schritt S20 bestimmt der Objekterkennungsabschnitt 221, ob es möglich ist, ein Objekt basierend auf dem Ergebnis der durch das LiDAR 203 durchgeführten Abtastung zu erkennen. Genauer gesagt, ist das LiDAR 203 in der Lage, die Abtastung auch unter schwierigen Bedingungen für die Aufnahme eines Bildes mit der Kamera 201 durchzuführen, wie zum Beispiel bei unzureichender Lichtmenge zum Beispiel bei Nacht oder rauem Wetter. Somit bestimmt der Objekterkennungsabschnitt 221, ob eine Abtastung möglich ist, ohne dass zum Beispiel eine Störung des LiDAR 203 auftritt.
Wenn in Schritt S20 bestimmt wurde, dass es möglich ist, ein Objekt basierend auf dem Ergebnis der durch das LiDAR 203 durchgeführten Abtastung zu erkennen, geht der Prozess weiter zu Schritt S21.
In Schritt S21 erkennt der Objekterkennungsabschnitt 221 ein Objekt basierend auf dem Ergebnis der durch das LiDAR 203 durchgeführten Abtastung.
In Schritt S22 bestimmt der Kollisionsbestimmungsabschnitt 223 basierend auf einem Ergebnis der Objekterkennung, die basierend auf dem Ergebnis der durch das LiDAR 203 durchgeführten Abtastung durchgeführt wurde, ob ein vorausfahrendes Fahrzeug vorhanden ist. Anhand des Objekterkennungsergebnisses bestimmt der Kollisionsbestimmungsabschnitt 223, dass ein vorausfahrendes Fahrzeug vorhanden ist, wenn zum Beispiel ein Objekt vorhanden ist, das sich vor dem eigenen Kraftfahrzeug befindet und dessen Positionsbeziehung zum eigenen Kraftfahrzeug in einem vorgegebenen Zustand unverändert bleibt.
Wenn in Schritt S22 bestimmt wurde, dass kein vorausfahrendes Fahrzeug vorhanden ist, geht der Prozess weiter zu Schritt S23.
In Schritt S23 bestimmt der Kollisionsbestimmungsabschnitt 223 basierend auf dem Ergebnis der Objekterkennung, die basierend auf dem Ergebnis der durch das LiDAR 203 durchgeführten Abtastung durchgeführt wird, ob ein Objekt, das ein Hindernis sein könnte, auf dem Weg vorhanden ist.
Wenn in Schritt S23 bestimmt wurde, dass das Objekt, das ein Hindernis sein könnte, nicht auf dem Weg vorhanden ist, geht der Prozess weiter zu Schritt S24.
In Schritt S24 erkennt der Neigungserkennungsabschnitt 222 eine Neigung einer Fahrbahnoberfläche basierend auf dem Ergebnis der Objekterkennung, die basierend auf dem Ergebnis der durch das LiDAR 203 durchgeführten Abtastung durchgeführt wird.
In Schritt S25 bestimmt der Kollisionsbestimmungsabschnitt 223 basierend auf dem Ergebnis der Objekterkennung, die basierend auf dem Ergebnis der durch das LiDAR 203 durchgeführten Abtastung durchgeführt wurde, und basierend auf der Neigung der Fahrbahnoberfläche, ob eine Kollisionsmöglichkeit mit dem Objekt besteht, basierend darauf, ob das Objekt eine Größe hat, die größer als eine vorgegebene Größe ist, oder ob die Neigung größer als eine vorgegebene Neigung ist.
Wenn in Schritt S25 bestimmt wurde, dass eine Kollisionsmöglichkeit besteht, oder wenn in Schritt S23 bestimmt wurde, dass das Objekt, das ein Hindernis sein könnte, nicht auf dem Weg vorhanden ist, geht der Prozess weiter zu Schritt S17, und es wird mitgeteilt, dass eine Kollisionsmöglichkeit besteht.
Wenn in Schritt S25 bestimmt wurde, dass keine Kollisionsmöglichkeit besteht, geht der Prozess weiter zu Schritt S26, und es wird mitgeteilt, dass keine Kollisionsmöglichkeit besteht.
Wenn in Schritt S22 bestimmt wurde, dass ein vorausfahrendes Fahrzeug vorhanden ist, geht der Prozess weiter zu Schritt S27.
Mit anderen Worten, in dem Fall, in dem nur ein Ergebnis einer Objekterkennung basierend auf einem Ergebnis der durch das LiDAR 203 durchgeführten Abtastung durchgeführt wird, wird ein vorausfahrendes Fahrzeug ein Hindernis sein, wenn das vorausfahrende Fahrzeug vorhanden ist, und somit wird ein Hindernis, das sich weiter vor dem vorausfahrenden Fahrzeug befinden kann, nicht erfolgreich erkannt werden. Wenn also ein vorausfahrendes Fahrzeug vorhanden ist, ist eine Kollision nicht feststellbar, wie im Falle des Auftretens einer Störung im LiDAR 203.
In Schritt S27 bestimmt der Objekterkennungsabschnitt 221, ob es möglich ist, ein Objekt basierend auf dem Ergebnis der durch das Millimeterwellenradar 202 durchgeführten Abtastung zu erkennen. Genauer gesagt, ist das Millimeterwellenradar 202 in der Lage, die Abtastung auch unter schwierigen Bedingungen für die Aufnahme eines Bildes mit der Kamera 201 durchzuführen, wie zum Beispiel bei unzureichender Lichtmenge bei Nacht oder rauem Wetter. Somit bestimmt der Objekterkennungsabschnitt 221, ob eine Abtastung möglich ist, ohne dass zum Beispiel eine Störung des Millimeterwellenradars 202 auftritt.
Wenn in Schritt S27 bestimmt wurde, dass es möglich ist, ein Objekt basierend auf dem Ergebnis der durch das Millimeterwellenradar 202 durchgeführten Abtastung zu erkennen, geht der Prozess weiter zu Schritt S28.
In Schritt S28 erkennt der Objekterkennungsabschnitt 221 ein Objekt basierend auf dem Ergebnis der durch das Millimeterwellenradar 202 durchgeführten Abtastung.
In Schritt S29 bestimmt der Kollisionsbestimmungsabschnitt 223 basierend auf dem Ergebnis der Objekterkennung, die basierend auf dem Ergebnis der durch das Millimeterwellenradar 202 durchgeführten Abtastung durchgeführt wurde, ob ein Objekt, das ein Hindernis sein könnte, auf dem Weg vorhanden ist.
Wenn in Schritt S29 bestimmt wurde, dass das Objekt, das ein Hindernis sein könnte, nicht auf dem Weg vorhanden ist, geht der Prozess weiter zu Schritt S26, und es wird mitgeteilt, dass keine Kollisionsmöglichkeit besteht.
Andererseits, wenn in Schritt S29 bestimmt wurde, dass das Objekt, das ein Hindernis sein könnte, auf dem Weg vorhanden ist, geht der Prozess weiter zu Schritt S30.
In Schritt S30 bestimmt der Kollisionsbestimmungsabschnitt 223, ob das vorausfahrende Fahrzeug einen Ort durchfahren hat, an dem sich das Objekt befindet, das ein Hindernis sein könnte.
Wenn in Schritt S30 bestimmt wurde, dass das vorausfahrende Fahrzeug den Ort durchfahren hat, an dem sich das Objekt befindet, das ein Hindernis sein könnte, geht der Prozess weiter zu Schritt S26, und es wird mitgeteilt, dass keine Kollisionsmöglichkeit besteht.
Wenn in Schritt S30 bestimmt wurde, dass zum Beispiel das vorausfahrende Fahrzeug vorbeigefahren ist und dabei den Ort des Objekts, das ein Hindernis sein könnte, umfahren hat, geht der Prozess weiter zu Schritt S17, und es wird mitgeteilt, dass eine Kollisionsmöglichkeit besteht.
Mit anderen Worten, wird in diesem Fall bestimmt, dass das vorausfahrende Fahrzeug das Objekt als Hindernis erkannt hat und unter Ausweichen an dem Objekt vorbeigefahren ist, um eine Kollision mit dem Objekt zu vermeiden. Somit wird bestimmt, dass eine Kollisionsmöglichkeit mit dem erfassten Objekt besteht.
Wenn in Schritt S20 bestimmt wurde, dass ein Objekt basierend auf dem Ergebnis der durch das LiDAR 23 durchgeführten Abtastung nicht erfolgreich erkannt wurde, geht der Prozess weiter zu Schritt S31.
In Schritt S31 bestimmt der Objekterkennungsabschnitt 221, ob es möglich ist, ein Objekt basierend auf dem Ergebnis der durch das Millimeterwellenradar 202 durchgeführten Abtastung zu erkennen.
Wenn in Schritt S31 bestimmt wurde, dass es möglich ist, ein Objekt basierend auf dem Ergebnis der durch das Millimeterwellenradar 202 durchgeführten Abtastung zu erkennen, geht der Prozess weiter zu Schritt S32.
In Schritt S32 erkennt der Objekterkennungsabschnitt 221 ein Objekt basierend auf dem Ergebnis der durch das Millimeterwellenradar 202 durchgeführten Abtastung.
In Schritt S33 bestimmt der Kollisionsbestimmungsabschnitt 223 basierend auf einem Ergebnis der Objekterkennung, die basierend auf dem Ergebnis der durch das Millimeterwellenradar 202 durchgeführten Abtastung durchgeführt wurde, ob ein vorausfahrendes Fahrzeug vorhanden ist.
Wenn in Schritt S33 bestimmt wurde, dass ein vorausfahrendes Fahrzeug vorhanden ist, geht der Prozess weiter zu Schritt S29. Es wird bestimmt, ob ein Objekt, das ein Hindernis sein könnte, auf dem Weg liegt, und es wird eine Kollisionsbestimmung darauf basierend durchgeführt, ob das vorausfahrende Fahrzeug den Ort des Objekts durchfahren hat.
Andererseits, wenn in Schritt S33 bestimmt wurde, dass ein vorausfahrendes Fahrzeug vorhanden ist, oder wenn in Schritt S31 bestimmt wurde, dass ein Objekt basierend auf dem Ergebnis der Objekterkennung, die basierend auf dem Ergebnis der durch das Millimeterwellenradar 202 durchgeführten Abtastung durchgeführt wurde, nicht erfolgreich erkannt wurde, geht der Prozess weiter zu Schritt S34.
In Schritt S34 gibt der Kollisionsbestimmungsabschnitt 223 Informationen aus, die angeben, dass eine Kollision nicht bestimmbar ist. Mit anderen Worten, wird eine Benachrichtigung ausgegeben, dass eine Kollision basierend auf einem Ergebnis einer Objekterkennung, die basierend auf einem durch die Kamera 201 aufgenommenen Bild durchgeführt wurde, einem Ergebnis einer Objekterkennung, die basierend auf einem Ergebnis der durch das Millimeterwellenradar 202 durchgeführten Abtastung durchgeführt wurde, oder einem Ergebnis einer Objekterkennung, die basierend auf einem Ergebnis der durch das LiDAR 203 durchgeführten Abtastung durchgeführt wurde, nicht bestimmbar ist.
Bei der oben beschriebenen Verarbeitung wird bei Helligkeit, zum Beispiel bei schönem Wetter, eine Kollisionsbestimmung basierend auf einem Ergebnis der durch die Kamera 201 durchgeführten Abtastung (ein aufgenommenes Bild) durchgeführt. Damit ist es möglich, eine genaue Kollisionsbestimmung basierend auf einem Ergebnis einer genauen Objekterkennung unter Verwendung eines Bildes durchzuführen.
Wenn eine Objekterkennung basierend auf einem Bild nicht erfolgreich durchgeführt werden kann, d. h. bei rauem Wetter, in der Nacht oder dergleichen, und wenn kein vorausfahrendes Fahrzeug vorhanden ist, wird eine Kollisionsbestimmung basierend auf einem Ergebnis der durch das LiDAR durchgeführten Abtastung durchgeführt.
Wenn eine Objekterkennung basierend auf einem Bild nicht erfolgreich durchgeführt werden kann, d. h. bei rauem Wetter, bei Nacht oder dergleichen, und ein vorausfahrendes Fahrzeug vorhanden ist, wird eine Kollisionsbestimmung basierend auf einem Ergebnis der durch das Millimeterwellenradar durchgeführten Abtastung und basierend darauf, ob das vorausfahrende Fahrzeug einen Ort eines erfassten Objekts durchfahren hat, durchgeführt.
Dementsprechend ist es möglich, eine Kollisionsbestimmung auch in einem Zustand durchzuführen, in dem eine Kollision nicht basierend auf einem Bild bestimmbar ist, unabhängig Vorhandensein oder Nichtvorhandensein eines vorausfahrenden Fahrzeugs.
Folglich ist es möglich, in jedem dieser Fälle eine geeignete Kollisionsbestimmung durchzuführen, ohne durch eine Änderung der Umgebung beeinflusst zu werden.
«5. Beispiel für das Ausführen einer Reihe von Prozessen mithilfe von Software»
Zu beachten ist, dass die oben beschriebene Reihe von Prozessen mittels Hardware oder Software durchgeführt werden kann. Wenn die Reihe von Prozessen mittels Software durchgeführt wird, wird ein in der Software enthaltenes Programm von einem Aufzeichnungsmedium auf einem Computer installiert. Beispiele für einen Computer sind ein Computer, der in eine spezielle Hardware eingebaut ist, und ein Computer wie ein Allzweckcomputer, der durch Installieren verschiedener Programme verschiedene Funktionen ausführen kann.
9 zeigt ein Beispiel für die Ausbildung eines Allzweckcomputers. Dieser Computer enthält eine Zentraleinheit (CPU) 1001. Eine Ein-/Ausgabeschnittstelle 1005 ist über einen Bus 1004 mit der CPU 1001 verbunden. Ein Nur-Lese-Speicher (ROM) 1002 und ein Direktzugriffsspeicher (RAM) 1003 sind an den Bus 1004 angeschlossen.
Mit der Ein-/Ausgabeschnittstelle 1005 sind ein Eingabeabschnitt 1006, ein Ausgabeabschnitt 1007, eine Speichervorrichtung 1008 und ein Kommunikationsabschnitt 1009 verbunden. Der Eingabeabschnitt 1006 enthält Eingabevorrichtungen wie zum Beispiel eine Tastatur und eine Maus, die durch einen Benutzer zum Eingeben eines Bedienbefehls verwendet werden. Der Ausgabeabschnitt 1007 gibt einen Verarbeitungsbetriebsbildschirm und ein Bild eines Verarbeitungsergebnisses an eine Anzeigevorrichtung aus. Die Speichervorrichtung 1008 enthält zum Beispiel ein Festplattenlaufwerk, auf dem ein Programm und verschiedene Daten gespeichert sind. Der Kommunikationsabschnitt 1009 enthält zum Beispiel einen Lokalen-Netzwerk(LAN)-Adapter und führt die Kommunikationsverarbeitung über ein Netzwerk, wie es das Internet darstellt, durch. Ferner ist ein Laufwerk 1010 mit der Ein-/Ausgabeschnittstelle 1005 verbunden. Das Laufwerk 1010 liest und schreibt Daten von einem herausnehmbaren bzw. auf ein herausnehmbares Aufzeichnungsmedium 1011 wie zum Beispiel einer Magnetplatte (einschließlich einer Diskette), einer optischen Platte (einschließlich einer Compact Disc Read-Only Memory (CD-ROM) und einer Digital Versatile Disc (DVD)), einer magneto-optischen Platte (einschließlich einer Mini-Disc (MD)) oder einem Halbleiterspeicher.
Die CPU 1001 führt verschiedene Prozesse gemäß einem Programm aus, das in einem ROM 1002 gespeichert ist, oder gemäß einem Programm, das von einem herausnehmbaren Aufzeichnungsmedium 1011, wie zum Beispiel einer Magnetplatte, einer optischen Platte, einer magneto-optischen Platte oder einem Halbleiterspeicher, der auf der Speichervorrichtung 1008 zu installieren ist, gelesen und von der Speichervorrichtung 1008 in einen RAM 1003 geladen wird. Daten, die die CPU 1001 zur Durchführung verschiedener Prozesse benötigt, werden bei Bedarf ebenfalls im RAM 1003 gespeichert.
In dem Computer mit der oben beschriebenen Ausbildung wird die oben beschriebene Reihe von Prozessen durchgeführt, indem die CPU 1001 zum Beispiel ein in der Speichervorrichtung 1008 gespeichertes Programm in den RAM 1003 lädt und das Programm über die Ein-/Ausgabeschnittstelle 1005 und den Bus 1004 ausführt.
Das durch den Computer (der CPU 1001) ausgeführte Programm kann zum Beispiel dadurch bereitgestellt werden, dass es auf dem herausnehmbaren Aufzeichnungsmedium 1011 gespeichert ist, das zum Beispiel als Paketmedium dient. Ferner kann das Programm über ein drahtgebundenes oder drahtloses Übertragungsmedium wie zum Beispiel ein lokales Netzwerk, das Internet oder digitalen Satellitenrundfunk bereitgestellt werden.
Im Computer kann das Programm über die Ein-/Ausgabeschnittstelle 1005 auf den Speicher 1008 installiert werden, indem das herausnehmbare Aufzeichnungsmedium 1011 in das Laufwerk 1010 eingelegt wird. Ferner kann das Programm über das drahtgebundene oder drahtlose Übertragungsmedium, das auf der Speichervorrichtung 1008 zu installieren ist, durch den Kommunikationsabschnitt 1009 empfangen werden. Außerdem kann das Programm im Voraus auf dem ROM 1002 oder der Speichervorrichtung 1008 installiert sein.
Zu beachten ist, dass das durch den Computer ausgeführte Programm ein Programm, in dem Prozesse chronologisch in der Reihenfolge der vorliegenden Beschreibung ausgeführt werden, oder ein Programm sein kann, in dem Prozesse parallel ausgeführt werden, oder ein Prozess zu einem notwendigen Zeitpunkt, wie zum Beispiel einem Aufrufzeitpunkt ausgeführt wird.
Zu beachten ist, dass die Funktion der automatisierten Fahrsteuervorrichtung 112 von 4 durch die CPU 1001 von 9 implementiert wird. Ferner wird die Speichervorrichtung 111 von 4 durch die Speichervorrichtung 1008 von 9 implementiert.
Ferner bezieht sich das System, wie es hier verwendet wird, auf eine Sammlung einer Vielzahl von Komponenten (wie zum Beispiel Vorrichtungen und Modulen (Teilen)), und es spielt keine Rolle, ob sich alle Komponenten in einem einzigen Gehäuse befinden. Somit sind sowohl eine Vielzahl von Vorrichtungen, die in separaten Gehäusen untergebracht und über ein Netzwerk miteinander verbunden sind, als auch eine einzelne Vorrichtung, bei der eine Vielzahl von Modulen in einem einzigen Gehäuse untergebracht ist, Systeme.
Zu beachten ist, dass die Ausführungsform der vorliegenden Offenbarung nicht auf die oben beschriebenen Beispiele beschränkt ist und dass verschiedene Modifikationen daran vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen.
Die vorliegende Offenbarung kann beispielsweise auch eine Cloud-Computing-Konfiguration aufweisen, bei der eine einzelne Funktion gemeinsam genutzt wird, um durch eine Vielzahl von Vorrichtungen über ein Netzwerk kooperativ verarbeitet zu werden.
Ferner können die jeweiligen Schritte, die anhand der oben beschriebenen Flussdiagramme beschrieben sind, zusätzlich zur Ausführung durch eine einzelne Vorrichtung auch gemeinsam durch eine Vielzahl von Vorrichtungen ausgeführt werden.
Wenn ein einzelner Schritt eine Vielzahl von Prozessen enthält, kann die Vielzahl von Prozessen, die in dem einzelnen Schritt enthalten sind, zusätzlich zur Ausführung durch eine einzelne Vorrichtung auch gemeinsam durch eine Vielzahl von Vorrichtungen ausgeführt werden.
Zu beachten ist, dass die vorliegende Offenbarung auch die folgenden Ausbildungen annehmen kann.

<1> Informationsverarbeitungsvorrichtung, beinhaltend:
- einen Einwanderkennungsabschnitt, der ein vor einem Fahrzeug befindliches Objekt unter Verwendung einer Vielzahl von Erkennungsverfahren erkennt und Ergebnisse der jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführten Objekterkennungen ausgibt; und
- einen Kollisionsbestimmungsabschnitt, der das Ergebnis der Objekterkennung in Abhängigkeit von einer Umgebung um das Fahrzeug herum aus den Ergebnissen der jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführten Objekterkennungen auswählt und basierend auf dem ausgewählten Ergebnis der Objekterkennung bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
<2> Informationsverarbeitungsvorrichtung gemäß <1>, ferner beinhaltend:
- eine Kamera, die ein Bild von einem vor dem Fahrzeug befindlichen Bereich aufnimmt;
- ein Millimeterwellenradar, das Radiowellen in einem Millimeterwellenband auf den vor ihm befindlichen Bereich strahlt und die von dem Objekt reflektierten Wellen erfasst; und
- ein LiDAR, das Laserlicht auf den vor dem Fahrzeug befindlichen Bereich strahlt und das vom Objekt reflektierte Licht erfasst, in dem
- der Objekterkennungsabschnitt ein Ergebnis einer Objekterkennung unter Verwendung eines Bildes basierend auf dem durch die Kamera aufgenommenen Bild, ein Ergebnis einer Objekterkennung unter Verwendung eines Millimeterwellenradars basierend auf einem Abtastergebnis des Millimeterwellenradars und ein Ergebnis einer Objekterkennung unter Verwendung eines LiDAR basierend auf einem Abtastergebnis des LiDAR ausgibt.
<3> Informationsverarbeitungsvorrichtung gemäß <2>, bei der,
- wenn eine Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung eines Bildes in Abhängigkeit von der Umgebung um das Fahrzeug herum erfolgreich durchgeführt wird, der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung eines Bildes bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
<4> Informationsverarbeitungsvorrichtung gemäß <2> oder <3>, ferner beinhaltend:
- einen Neigungserkennungsabschnitt, der eine Neigung einer vor dem Fahrzeug befindlichen Fahrbahnoberfläche basierend auf dem Ergebnis der Objekterkennung unter Verwendung eines Bildes erkennt, bei dem
- der Kollisionsbestimmungsabschnitt anhand des Ergebnisses der Objekterkennung unter Verwendung eines Bildes und der Neigung der Fahrbahnoberfläche erkennt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
<5> Informationsverarbeitungsvorrichtung gemäß <4>, bei der,
- der Neigungserkennungsabschnitt die Neigung der vor dem Fahrzeug befindlichen Fahrbahnoberfläche basierend auf einer zeitlichen Änderung der Anzahl der durch das LiDAR erfassten reflektierten Lichtstrahlen erkennt, wobei die zeitliche Änderung mit einer zeitlichen Änderung der Entfernung zwischen dem Fahrzeug und dem Objekt auftritt.
<6> Informationsverarbeitungsvorrichtung gemäß einem von <2> bis <5>, bei der,
- wenn eine Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung eines Bildes in Abhängigkeit von der Umgebung des Fahrzeugs nicht erfolgreich durchgeführt wird, der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradar oder dem Ergebnis der Objekterkennung unter Verwendung des LiDAR bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
<7> Informationsverarbeitungsvorrichtung gemäß <6>, bei der,
- wenn die Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung eines Bildes in Abhängigkeit von der Umgebung um das Fahrzeug herum nicht erfolgreich durchgeführt wird, und wenn eine Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung des LiDAR erfolgreich durchgeführt wird, der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des LiDAR bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
<8> Informationsverarbeitungsvorrichtung gemäß <7>, bei der,
- wenn ein vorausfahrendes Fahrzeug basierend auf dem Ergebnis der Objekterkennung unter Verwendung des LiDAR nicht als vorhanden erkannt wird, die Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung des LiDAR als erfolgreich durchgeführt bestimmt wird, und der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des LiDAR bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
<9> Informationsverarbeitungsvorrichtung gemäß <8>, bei der,
- wenn das vorausfahrende Fahrzeug basierend auf dem Ergebnis der Objekterkennung unter Verwendung des LiDAR als vorhanden erkannt wird, die Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung von LiDAR als nicht erfolgreich durchgeführt bestimmt wird und der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradars bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
<10> Informationsverarbeitungsvorrichtung gemäß <9>, bei der,
- der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradars und basierend darauf, ob das vorausfahrende Fahrzeug einen Ort durchfahren hat, an dem das Objekt erkannt wurde, bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
<11> Informationsverarbeitungsvorrichtung gemäß <6>, bei der,
- wenn eine Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung des LiDAR nicht erfolgreich durchgeführt wird, der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradars bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
<12> Informationsverarbeitungsvorrichtung gemäß <11>, bei der,
- wenn das vorausfahrende Fahrzeug basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradars als vorhanden erkannt wird, der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradars bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
<13> Informationsverarbeitungsvorrichtung gemäß <12>, bei der,
- der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradars und basierend darauf, ob das vorausfahrende Fahrzeug einen Ort durchfahren hat, an dem das Objekt erkannt wurde, bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
<14> Informationsverarbeitungsvorrichtung gemäß <2>, bei der,
- wenn eine Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung eines Bildes in Abhängigkeit von der Umgebung um das Fahrzeug herum nicht erfolgreich durchgeführt wird, und wenn weder eine Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradars noch eine Objekterkennung basierend auf dem Ergebnis der Objekterkennung des LiDAR erfolgreich durchgeführt wird, der Kollisionsbestimmungsabschnitt Informationen ausgibt, die angeben, dass die Bestimmung, ob eine Kollisionsmöglichkeit mit dem Objekt besteht, nicht erfolgreich durchgeführt wurde.
<15> Informationsverarbeitungsverfahren, beinhaltend:
- Durchführen einer Einwanderkennungsverarbeitung, die das Erkennen eines vor einem Fahrzeug befindlichen Objekts unter Verwendung einer Vielzahl von Erkennungsverfahren und das Ausgeben von Ergebnissen der jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführten Objekterkennungen enthält; und
- Durchführen einer Kollisionsbestimmungsverarbeitung, die das Auswählen des Ergebnisses der Objekterkennung in Abhängigkeit von einer Umgebung um das Fahrzeug herum aus den Ergebnissen der Objekterkennungen, die jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführt werden, und das Bestimmen, ob eine Kollisionsmöglichkeit mit dem Objekt besteht, basierend auf dem ausgewählten Ergebnis der Objekterkennung enthält.
<16> Programm, das einen Computer veranlasst, als Einwanderkennungsabschnitt und als Kollisionsbestimmungsabschnitt zu arbeiten,
- wobei der Einwanderkennungsabschnitt ein vor einem Fahrzeug befindliches Objekt unter Verwendung einer Vielzahl von Erkennungsverfahren erkennt, wobei der Einwanderkennungsabschnitt Ergebnisse der jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführten Objekterkennungen ausgibt,
- wobei der Kollisionsbestimmungsabschnitt das Ergebnis der Objekterkennung in Abhängigkeit von einer Umgebung um das Fahrzeug herum aus den Ergebnissen der jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführten Objekterkennungen auswählt, wobei der Kollisionsbestimmungsabschnitt basierend auf dem ausgewählten Ergebnis der Objekterkennung bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.

Bezugszeichenliste

11: Fahrzeug
100: Fahrzeugsteuerungssystem
102: Datenerfassungsabschnitt
112: Automatisierte Fahrsteuervorrichtung
133: Zustandsanalysator
134: Planungsabschnitt
135: Bewegungssteuervorrichtung
153: Zustandserkennungsabschnitt
154: Zustandsvorhersageabschnitt
172: Beschleunigungs-/Verzögerungssteuervorrichtung
173: Richtungssteuervorrichtung
201: Kamera
202: Millimeterwellenradar
203: LiDAR
221: Objekterkennungsabschnitt
222: Neigungserkennungsabschnitt
223: Kollisionsbestimmungsabschnitt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2012088217 [0006]

Claims

Informationsverarbeitungsvorrichtung, aufweisend: einen Einwanderkennungsabschnitt, der ein vor einem Fahrzeug befindliches Objekt unter Verwendung einer Vielzahl von Erkennungsverfahren erkennt und Ergebnisse der jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführten Objekterkennungen ausgibt; und einen Kollisionsbestimmungsabschnitt, der das Ergebnis der Objekterkennung in Abhängigkeit von einer Umgebung um das Fahrzeug herum aus den Ergebnissen der jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführten Objekterkennungen auswählt und basierend auf dem ausgewählten Ergebnis der Objekterkennung bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, ferner aufweisend: eine Kamera, die ein Bild von einem vor dem Fahrzeug befindlichen Bereich aufnimmt; ein Millimeterwellenradar, das Radiowellen in einem Millimeterwellenband auf den vor ihm befindlichen Bereich strahlt und die von dem Objekt reflektierten Wellen erfasst; und LiDAR, das Laserlicht auf den vor dem Fahrzeug befindlichen Bereich strahlt und das von dem Objekt reflektierte Licht erfasst, wobei der Objekterkennungsabschnitt ein Ergebnis einer Objekterkennung unter Verwendung eines Bildes basierend auf dem durch die Kamera aufgenommenen Bildes, ein Ergebnis einer Objekterkennung unter Verwendung eines Millimeterwellenradars basierend auf einem Erkennungsergebnisses durch das Millimeterwellenradar und ein Ergebnis einer Objekterkennung unter Verwendung des LiDAR basierend auf einem Erkennungsergebnis durch das LiDAR ausgibt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei wenn eine Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung eines Bildes in Abhängigkeit von der Umgebung um das Fahrzeug herum erfolgreich durchgeführt wird, der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung eines Bildes bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, ferner aufweisend: einen Neigungserkennungsabschnitt, der eine Neigung einer vor dem Fahrzeug befindlichen Fahrbahnoberfläche basierend auf dem Ergebnis der Objekterkennung unter Verwendung eines Bildes erkennt, wobei der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung eines Bildes und der Neigung der Fahrbahnoberfläche bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
Informationsverarbeitungsvorrichtung gemäß Anspruch 4, wobei der Neigungserkennungsabschnitt die Neigung der vor dem Fahrzeug befindlichen Fahrbahnoberfläche basierend auf einer zeitlichen Änderung der Anzahl der durch das LiDAR erfassten reflektierten Lichtstrahlen erkennt, wobei die zeitliche Änderung mit einer zeitlichen Änderung der Entfernung zwischen dem Fahrzeug und dem Objekt einhergeht.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei wenn eine Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung eines Bildes in Abhängigkeit von der Umgebung um das Fahrzeug herum nicht erfolgreich durchgeführt wird, der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradars oder dem Ergebnis der Objekterkennung unter Verwendung des LiDAR bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
Informationsverarbeitungsvorrichtung gemäß Anspruch 6, wobei wenn die Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung eines Bildes in Abhängigkeit von der Umgebung um das Fahrzeug herum nicht erfolgreich durchgeführt wird, und wenn eine Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung des LiDAR erfolgreich durchgeführt wird, der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des LiDAR bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
Informationsverarbeitungsvorrichtung gemäß Anspruch 7, wobei wenn ein vorausfahrendes Fahrzeug basierend auf dem Ergebnis der Objekterkennung unter Verwendung des LiDAR nicht als vorhanden erkannt wird, die Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung des LiDAR als erfolgreich durchgeführt bestimmt wird, und der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des LiDAR bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
Informationsverarbeitungsvorrichtung gemäß Anspruch 8, wobei wenn das vorausfahrende Fahrzeug basierend auf dem Ergebnis der Objekterkennung unter Verwendung des LiDAR als vorhanden erkannt wird, die Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung des LiDAR als nicht erfolgreich durchgeführt bestimmt wird und der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradars bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
Informationsverarbeitungsvorrichtung gemäß Anspruch 9, wobei der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradars und basierend darauf, ob das vorausfahrende Fahrzeug einen Ort durchfahren hat, an dem das Objekt erkannt wurde, bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
Informationsverarbeitungsvorrichtung gemäß Anspruch 6, wobei wenn eine Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung des LiDAR nicht erfolgreich durchgeführt wird, der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradars bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
Informationsverarbeitungsvorrichtung gemäß Anspruch 11, wobei wenn das vorausfahrende Fahrzeug basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradars als vorhanden erkannt wird, der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradars bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
Informationsverarbeitungsvorrichtung gemäß Anspruch 12, wobei der Kollisionsbestimmungsabschnitt basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradars und basierend darauf, ob das vorausfahrende Fahrzeug einen Ort durchfahren hat, an dem das Objekt erkannt wurde, bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei wenn eine Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung eines Bildes in Abhängigkeit von der Umgebung um das Fahrzeug herum nicht erfolgreich durchgeführt wird, und wenn weder eine Objekterkennung basierend auf dem Ergebnis der Objekterkennung unter Verwendung des Millimeterwellenradars noch eine Objekterkennung basierend auf dem Ergebnis der Objekterkennung des LiDAR erfolgreich durchgeführt wird, der Kollisionsbestimmungsabschnitt Informationen ausgibt, die angeben, dass die Bestimmung, ob eine Kollisionsmöglichkeit mit dem Objekt besteht, nicht erfolgreich durchgeführt wurde.
Informationsverarbeitungsverfahren, aufweisend: Durchführen einer Einwanderkennungsverarbeitung, die das Erkennen eines vor einem Fahrzeug befindlichen Objekts unter Verwendung einer Vielzahl von Erkennungsverfahren und das Ausgeben von Ergebnissen der jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführten Objekterkennungen enthält; und Durchführen einer Kollisionsbestimmungsverarbeitung, die das Auswählen des Ergebnisses der Objekterkennung in Abhängigkeit von einer Umgebung um das Fahrzeug herum aus den Ergebnissen der Objekterkennungen, die jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführt werden, und das Bestimmen, ob eine Kollisionsmöglichkeit mit dem Objekt besteht, basierend auf dem ausgewählten Ergebnis der Objekterkennung enthält.
Programm, das einen Computer dazu veranlasst, als Einwanderkennungsabschnitt und als Kollisionsbestimmungsabschnitt zu arbeiten, wobei der Einwanderkennungsabschnitt ein vor einem Fahrzeug befindliches Objekt unter Verwendung einer Vielzahl von Erkennungsverfahren erkennt, wobei der Einwanderkennungsabschnitt Ergebnisse der jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführten Objekterkennungen ausgibt, der Kollisionsbestimmungsabschnitt das Ergebnis der Objekterkennung in Abhängigkeit von einer Umgebung um das Fahrzeug herum aus den Ergebnissen der jeweils unter Verwendung der Vielzahl von Erkennungsverfahren durchgeführten Objekterkennungen auswählt, wobei der Kollisionsbestimmungsabschnitt basierend auf dem ausgewählten Ergebnis der Objekterkennung bestimmt, ob eine Kollisionsmöglichkeit mit dem Objekt besteht.