DE102023102959A1

DE102023102959A1 - Vorrichtung, Verfahren und Computerprogramm zum Schätzen eines Straßenrandes

Info

Publication number: DE102023102959A1
Application number: DE102023102959.2A
Authority: DE
Inventors: Masahiro Tanaka; Mamoru Tsukamoto
Original assignee: Woven by Toyota Inc
Current assignee: Woven by Toyota Inc
Priority date: 2022-02-15
Filing date: 2023-02-07
Publication date: 2023-08-17
Also published as: JP2023118462A; CN116645651A; US20230260294A1

Abstract

Eine Vorrichtung zum Schätzen eines Straßenrandes umfasst eine Trajektorien-Schätzeinheit 41, welche eine Trajektorie eines Fahrzeugs 2 abschätzt; eine Positionsschätzeinheit 42, welche die Position eines Randes einer Straße aus Bildern abschätzt, welche während einer Fahrt des Fahrzeugs 2 von einer auf dem Fahrzeug 2 montierten Kamera 11 erzeugt werden; eine Abschnittsidentifikationseinheit 43, welche einen von dem Fahrzeug 2 befahrenen Nichterfassungsabschnitt identifiziert, als ein Bild erzeugt wurde, in dem der Rand der Straße nicht erfasst wird; eine Straßenstruktur-Bestimmungseinheit 44, welche bestimmt, ob die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Straßenrand aufweist; und eine Straßenrand-Schätzeinheit 45, welche die Position des Randes der Straße in dem Nichterfassungsabschnitt auf der Grundlage der Positionen des Randes der Straße in den Abschnitten vor und hinter dem Nichterfassungsabschnitt abschätzt, wenn die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist, und welche die Abschätzung der Position des Randes der Straße in dem Nichterfassungsabschnitt nicht vornimmt bzw. weglässt, wenn die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist.

Description

Gebiet
Die vorliegende Erfindung betrifft eine Vorrichtung, ein Verfahren und ein Computerprogramm zum Schätzen der Position eines Straßenrandes aus Bildern, welche den Straßenrand darstellen.
Hintergrund
Um einen Fahrer beim Fahren bzw. Führen eines Fahrzeugs zu unterstützen, wurde eine Technologie vorgeschlagen, bei welcher ein Straßenrand unter Verwendung von Szenenbilddaten erhalten wird, die von einer am Fahrzeug montierten Kamera erfasst werden, und die Fahrtrichtung des Fahrzeugs so gesteuert wird, dass das Fahrzeug daran gehindert wird, den Straßenrand zu überqueren (siehe die JP 2018-83563 A ). Eine in der JP 2018-83563 A offenbarte Fahrunterstützungsvorrichtung schätzt einen Abschnitt eines Straßenrandes, der für einen vorbestimmten Zeitraum nicht erhalten werden kann, auf der Grundlage eines unmittelbar vorhergehenden Straßenrandes, welcher erhalten wurde, unmittelbar bevor die Vorrichtung den Straßenrand nicht mehr erhalten kann.
Kurzfassung
Ein Straßenrand befindet sich nicht immer an einer Stelle, die von einer am Fahrzeug montierten Kamera nicht gesehen bzw. erfasst werden kann. Daher ist es wünschenswert, die Position eines Straßenrandes an einer Stelle zu schätzen, an welcher der Straßenrand in den von einer am Fahrzeug montierten Kamera erzeugten Bildern nicht dargestellt ist.
Es ist eine Aufgabe der vorliegenden Erfindung, eine Vorrichtung bereitzustellen, welche die Position eines Straßenrandes an einer Stelle geeignet abschätzen kann, welche von einer an einem Fahrzeug montierten Kamera nicht gesehen werden kann.
Gemäß einer Ausführungsform ist eine Vorrichtung zum Schätzen eines Straßenrandes bereitgestellt. Die Vorrichtung umfasst eine Trajektorien-Schätzeinheit, welche eine Trajektorie bzw. einen Fahrweg eines Fahrzeugs auf der Grundlage eines Sensorsignals, welches von einem auf dem Fahrzeug montierten Sensor zum Erfassen einer Bewegung des Fahrzeugs erhalten wird, oder der Position des Fahrzeugs, welche von einer auf dem Fahrzeug montierten Positionsbestimmungsvorrichtung bestimmt wird, abschätzt; eine Positionsschätzeinheit, welche die Position eines Randes einer von dem Fahrzeug befahrenen Straße auf der Grundlage eines den Rand der Straße darstellenden Bildes abschätzt. Das Bild entspricht einem aus Bildern, welche während einer Fahrt des Fahrzeugs von einer auf dem Fahrzeug montierten Kamera erzeugt werden. Die Vorrichtung umfasst ferner eine Abschnittsidentifikationseinheit, welche einen von dem Fahrzeug befahrenen nicht erfassten Abschnitt bzw. Nichterfassungsabschnitt identifiziert, wenn ein Bild aus den Bildern erzeugt wird, in dem der Rand der Straße nicht erfasst wird; und eine Straßenstruktur-Bestimmungseinheit, welche auf der Grundlage der Position des Fahrzeugs bei der Erzeugung des Bildes in dem Nichterfassungsabschnitt, des in dem Nichterfassungsabschnitt erzeugten Bildes oder der Bewegung des Fahrzeugs bei der Trajektorie entsprechend dem Nichterfassungsabschnitt bestimmt, ob die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist. Die Vorrichtung umfasst ferner eine Straßenrand-Schätzeinheit, welche die Position des Randes der Straße in dem Nichterfassungsabschnitt durch eine Interpolation auf der Grundlage der Positionen des Randes der Straße vor und hinter dem Nichterfassungsabschnitt entlang der Trajektorie abschätzt, wenn die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist. Die Straßenrand-Schätzeinheit nimmt die Schätzung der Position des Randes der Straße in dem Nichterfassungsabschnitt nicht vor bzw. lässt diese weg, wenn die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist.
Die Straßenstruktur-Bestimmungseinheit der Vorrichtung erfasst bevorzugt ein weiteres Fahrzeug in der Richtung ausgehend von dem Fahrzeug hin zu dem Rand der Straße vor oder hinter dem Nichterfassungsabschnitt aus dem in dem Nichterfassungsabschnitt erzeugten Bild, schätzt den Abstand von dem Fahrzeug zu dem erfassten Fahrzeug ab und bestimmt, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, wenn der geschätzte Abstand zu dem erfassten Fahrzeug größer ist als der Abstand von dem Fahrzeug zu dem Rand der Straße vor oder hinter dem Nichterfassungsabschnitt.
Die Vorrichtung umfasst bevorzugt ferner eine Speichereinheit, die Karteninformationen speichert, welche die Struktur der Straße in dem Nichterfassungsabschnitt darstellen. Die Straßenstruktur-Bestimmungseinheit bestimmt bevorzugt, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, wenn in den Karteninformationen ein Raum außerhalb der von dem Fahrzeug in dem Nichterfassungsabschnitt befahrenen Straße dargestellt ist, in den das Fahrzeug einfahren darf.
Alternativ bestimmt die Straßenstruktur-Bestimmungseinheit der Vorrichtung bevorzugt, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, wenn die Trajektorie angibt, dass das Fahrzeug für eine vorbestimmte Zeitdauer oder länger in dem Nichterfassungsabschnitt oder dem dem Nichterfassungsabschnitt unmittelbar vorausgehenden Abschnitt angehalten hat, während ein Zündschalter angeschaltet blieb.
Alternativ bestimmt die Straßenstruktur-Bestimmungseinheit der Vorrichtung bevorzugt, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, wenn die Fahrtrichtung des Fahrzeugs in dem Nichterfassungsabschnitt um einen vorbestimmten Winkel oder mehr von der Fahrtrichtung des Fahrzeugs in dem dem Nichterfassungsabschnitt unmittelbar vorausgehenden Abschnitt abweicht.
Alternativ bestimmt die Straßenstruktur-Bestimmungseinheit der Vorrichtung bevorzugt, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, wenn die durch die Trajektorie angegebene Position des Fahrzeugs in dem Nichterfassungsabschnitt weiter von der Straße entfernt liegt als eine Linie, welche die Positionen des Randes der Straße in den Abschnitten vor und hinter dem Nichterfassungsabschnitt verbindet.
Alternativ bestimmt die Straßenstruktur-Bestimmungseinheit der Vorrichtung bevorzugt, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, wenn eine Ampel, eine Haltelinie oder ein Fußgängerüberweg aus dem in dem Nichterfassungsabschnitt erzeugten Bild erfasst ist.
Gemäß einer weiteren Ausführungsform ist ein Verfahren zum Schätzen eines Straßenrandes bereitgestellt. Das Verfahren umfasst ein Abschätzen einer Trajektorie eines Fahrzeugs auf der Grundlage eines Sensorsignals, welches von einem auf dem Fahrzeug montierten Sensor zum Erfassen einer Bewegung des Fahrzeugs erhalten wird, oder der Position des Fahrzeugs, welche von einer auf dem Fahrzeug montierten Positionsbestimmungsvorrichtung bestimmt wird; und ein Abschätzen der Position eines Randes einer von dem Fahrzeug befahrenen Straße auf der Grundlage eines den Rand der Straße darstellenden Bildes. Das Bild entspricht einem aus Bildern, welche während einer Fahrt des Fahrzeugs von einer auf dem Fahrzeug montierten Kamera erzeugt werden. Das Verfahren umfasst ferner ein Identifizieren eines von dem Fahrzeug befahrenen Nichterfassungsabschnitts, wenn ein Bild aus den Bildern erzeugt wurde, in dem der Rand der Straße nicht erfasst wird; und ein Bestimmen, ob die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist, auf der Grundlage der Position des Fahrzeugs bei der Erzeugung des Bildes in dem Nichterfassungsabschnitt, des in dem Nichterfassungsabschnitt erzeugten Bildes oder der Bewegung des Fahrzeugs bei der Trajektorie entsprechend dem Nichterfassungsabschnitt. Das Verfahren umfasst ferner ein Abschätzen der Position des Randes der Straße in dem Nichterfassungsabschnitt durch eine Interpolation auf der Grundlage der Positionen des Randes der Straße vor und hinter dem Nichterfassungsabschnitt entlang der Trajektorie, wenn die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist; und ein Überspringen bzw. Weglassen der Abschätzung der Position des Randes der Straße in dem Nichterfassungsabschnitt, wenn die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist.
Gemäß einer noch weiteren Ausführungsform ist ein Computerprogramm zum Schätzen eines Straßenrandes bereitgestellt. Das Computerprogramm umfasst Anweisungen, welche einen Computer veranlassen, einen Prozess auszuführen, welcher ein Abschätzen einer Trajektorie eines Fahrzeugs auf der Grundlage eines Sensorsignals, welches von einem auf dem Fahrzeug montierten Sensor zum Erfassen einer Bewegung des Fahrzeugs erhalten wird, oder der Position des Fahrzeugs, welche von einer auf dem Fahrzeug montierten Positionsbestimmungsvorrichtung bestimmt wird; und ein Abschätzen der Position eines Randes einer von dem Fahrzeug befahrenen Straße auf der Grundlage eines den Rand der Straße darstellenden Bildes umfasst. Das Bild entspricht einem aus Bildern, welche während einer Fahrt des Fahrzeugs von einer auf dem Fahrzeug montierten Kamera erzeugt werden. Der Prozess umfasst ferner ein Identifizieren eines von dem Fahrzeug befahrenen Nichterfassungsabschnitts, wenn ein Bild aus den Bildern erzeugt wurde, in dem der Rand der Straße nicht erfasst wird; und ein Bestimmen, ob die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist, auf der Grundlage der Position des Fahrzeugs bei der Erzeugung des Bildes in dem Nichterfassungsabschnitt, des in dem Nichterfassungsabschnitt erzeugten Bildes oder der Bewegung des Fahrzeugs bei der Trajektorie entsprechend dem Nichterfassungsabschnitt. Der Prozess umfasst ferner ein Abschätzen der Position des Randes der Straße in dem Nichterfassungsabschnitt durch eine Interpolation auf der Grundlage der Positionen des Randes der Straße vor und hinter dem Nichterfassungsabschnitt entlang der Trajektorie, wenn die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist; und ein Weglassen der Abschätzung der Position des Randes der Straße in dem Nichterfassungsabschnitt, wenn die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist.
Die Vorrichtung gemäß der vorliegenden Erfindung weist einen vorteilhaften Effekt dahingehend auf, dass diese in der Lage ist, die Position eines Straßenrandes an einer Stelle geeignet abzuschätzen, welche von einer auf einem Fahrzeug montierten Kamera nicht gesehen bzw. erfasst werden kann.
Figurenliste

1 stellt die Konfiguration eines Merkmalsdaten-Sammelsystems mit einer Vorrichtung zum Schätzen eines Straßenrandes schematisch dar.
2 stellt die Konfiguration eines Fahrzeugs schematisch dar.
3 stellt die Hardwarekonfiguration einer Datenerlangungsvorrichtung dar.
4 stellt die Hardwarekonfiguration eines Servers dar, welcher einem Beispiel für die Vorrichtung zum Schätzen eines Straßenrandes entspricht.
5 ist ein funktionelles Blockdiagramm eines Prozessors des Servers mit Bezug auf einen Kartenaktualisierungsprozess mit einem Straßenrand-Schätzprozess.
6A stellt ein Beispiel des Schätzergebnisses eines Straßenrandes für den Fall dar, dass der Straßenrand an einer von einem Objekt verdeckten Position existiert.
6B stellt ein Beispiel des Schätzergebnisses eines Straßenrandes für den Fall dar, dass kein Straßenrand an einer von einem Objekt verdeckten Position existiert.
7 ist ein Betriebs-Flussdiagramm des Straßenrand-Schätzprozesses.

Beschreibung von Ausführungsformen
Eine Vorrichtung zum Schätzen eines Straßenrandes, ein Verfahren dafür, welches durch die Vorrichtung ausgeführt wird, und ein Computerprogramm dafür werden nun unter Bezugnahme auf die beigefügten Abbildungen beschrieben. Die Vorrichtung schätzt eine Trajektorie eines Fahrzeugs in einem von dem Fahrzeug befahrenen vorbestimmten Straßenabschnitt ab und erfasst aus einer Reihe von Bildern, welche die Umgebung des Fahrzeugs darstellen und von einer auf dem Fahrzeug montierten Kamera erzeugt werden, einen Straßenrand in dem Straßenabschnitt, wodurch die Position des Straßenrandes abgeschätzt wird. Zu diesem Zweck identifiziert die Vorrichtung einen von dem Fahrzeug befahrenen Abschnitt bei der Erzeugung eines Bildes, in dem kein Straßenrand erfasst wird, als einen Nichterfassungsabschnitt. Die Vorrichtung bestimmt dann auf der Grundlage des Bildes, aus bzw. in dem kein Straßenrand erfasst wird, der Position des Fahrzeugs bei der Erzeugung des Bildes oder der Bewegung des Fahrzeugs in dem identifizierten Nichterfassungsabschnitt, ob die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist. Wenn bestimmt wird, dass die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist, schätzt die Vorrichtung die Position des Straßenrandes in dem Nichterfassungsabschnitt durch eine Interpolation auf der Grundlage der Positionen des Straßenrandes vor und hinter dem Nichterfassungsabschnitt entlang der Trajektorie des Fahrzeugs ab. Wenn bestimmt wird, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, überspringt die Vorrichtung die Abschätzung der Position des Straßenrandes in dem Nichterfassungsabschnitt bzw. lässt diese weg, und bestimmt, dass der Rand nicht existiert.
Das Nachstehende beschreibt ein Beispiel, in dem die Vorrichtung zum Schätzen eines Straßenrandes auf ein Merkmalsdaten-Sammelsystem angewendet wird, welches Merkmalsdaten sammelt, die während einer Fahrt eines Fahrzeugs erhalten werden und Straßenränder, verschiedene Straßenmarkierungen, Ampeln und weitere Merkmale mit Bezug auf die Fahrt von Fahrzeugen darstellen. Die gesammelten Merkmalsdaten werden verwendet, um Karteninformationen einschließlich Informationen über Merkmale mit Bezug auf die Fahrt von Fahrzeugen zu erzeugen oder zu aktualisieren. Die Vorrichtung kann jedoch für ein anderes System als ein Merkmalsdaten-Sammelsystem verwendet werden. Die Vorrichtung kann beispielsweise auf ein Fahrzeugsteuerungssystem angewendet werden, welches bei der Fahrt eines Fahrzeugs unterstützt oder eine autonome Fahrsteuerung eines Fahrzeugs ausführt.
1 stellt die Konfiguration eines Merkmalsdaten-Sammelsystems schematisch dar, welches mit der Vorrichtung zum Schätzen eines Straßenrandes ausgerüstet ist. In der vorliegenden Ausführungsform umfasst das Merkmalsdaten-Sammelsystem 1 zumindest ein Fahrzeug 2 und einen Server 3, welcher einem Beispiel für die Vorrichtung zum Schätzen eines Straßenrandes entspricht. Jedes Fahrzeug 2 greift auf eine drahtlose Basisstation 5 zu, die beispielsweise über ein Gateway (nicht dargestellt) mit einem mit dem Server 3 verbundenen Kommunikationsnetzwerk 4 verbunden ist, wodurch eine Verbindung zum Server 3 über die drahtlose Basisstation 5 und das Kommunikationsnetzwerk 4 hergestellt wird. 1 stellt der Einfachheit halber nur ein einzelnes Fahrzeug 2 dar, das System 1 kann jedoch mehrere Fahrzeuge 2 umfassen. 1 stellt außerdem nur eine einzelne drahtlose Basisstation 5 dar, das Kommunikationsnetzwerk 4 kann jedoch mit mehreren drahtlosen Basisstationen 5 verbunden sein.
2 stellt die Konfiguration des Fahrzeugs 2 schematisch dar. Das Fahrzeug 2 umfasst eine Kamera 11, einen GPS-Empfänger 12, zumindest einen Fahrzeugbewegungssensor 13, ein Drahtlos-Kommunikationsendgerät 14 und eine Datenerlangungsvorrichtung 15, welche über ein fahrzeuginternes Netzwerk, das einem Standard, wie einem Controller-Area-Network, entspricht, kommunikationsfähig verbunden sind. Der Fahrzeugbewegungssensor 13 kann mit einer elektronischen Steuerungseinheit (ECU, nicht dargestellt) verbunden sein, welche eine Fahrt des Fahrzeugs 2 steuert. Das Fahrzeug 2 kann ferner eine Navigationsvorrichtung (nicht dargestellt) umfassen, welche eine geplante Fahrroute des Fahrzeugs 2 sucht und navigiert, so dass das Fahrzeug 2 entlang der geplanten Fahrroute fährt.
Die Kamera 11, die einem Beispiel für eine Bildaufnahmeeinheit zur Aufnahme der Umgebung des Fahrzeugs 2 entspricht, umfasst einen zweidimensionalen Detektor, welcher aus einem Array optoelektronischer Wandler, wie CCD oder C-MOS, aufgebaut ist, die eine Empfindlichkeit gegenüber sichtbarem Licht besitzen, sowie ein fokussierendes optisches System, welches ein Bild eines vorbestimmten Zielbereichs der Aufnahme auf dem zweidimensionalen Detektor erzeugt. Die Kamera 11 ist beispielsweise im Innenraum des Fahrzeugs 2 so montiert, dass diese beispielsweise zur Vorderseite, zur Rückseite oder zur Seite des Fahrzeugs 2 ausgerichtet ist. Die Kamera 11 nimmt in jeder vorbestimmten Aufnahmeperiode bzw. jedem vorbestimmten Aufnahme-Zeitintervall (z. B. 1/30 bis 1/10 Sekunden) ein Bild eines vorbestimmten Bereichs um das Fahrzeug 2 auf und erzeugt Bilder, die diesen vorbestimmten Bereich darstellen. Bei den von der Kamera 11 erhaltenen Bildern kann es sich um Farb- oder Graustufenbilder handeln. Das Fahrzeug 2 kann mehrere Kameras 11 umfassen, welche Bilder in unterschiedlichen Ausrichtungen oder mit unterschiedlichen Brennweiten aufnehmen.
Jedes Mal, wenn ein Bild erzeugt wird, gibt die Kamera 11 das erzeugte Bild über das fahrzeuginterne Netzwerk an die Datenerlangungsvorrichtung 15 aus.
Der GPS-Empfänger 12, welcher einem Beispiel für die Positionsbestimmungsvorrichtung entspricht, empfängt in vorbestimmten Intervallen GPS-Signale von GPS-Satelliten und bestimmt die Position des Fahrzeugs 2 auf der Grundlage der empfangenen GPS-Signale. Der GPS-Empfänger 12 gibt in vorbestimmten Intervallen Positionierungsinformationen, welche das Ergebnis der Bestimmung der Position des Fahrzeugs 2 auf der Grundlage der GPS-Signale anzeigen, über das fahrzeuginterne Netzwerk an die Datenerlangungsvorrichtung 15 aus. Das Fahrzeug 2 kann einen Empfänger umfassen, welcher einem anderen Satellitenpositionierungssystem als dem GPS-Empfänger 12 entspricht. In diesem Fall bestimmt dieser Empfänger die Position des Fahrzeugs 2.
Der Fahrzeugbewegungssensor 13, welcher einem Beispiel für einen Sensor zum Erfassen einer Bewegung des Fahrzeugs 2 entspricht, erhält Informationen über eine Bewegung des Fahrzeugs 2 (nachfolgend „Fahrzeugbewegungsinformationen“) und erzeugt ein Sensorsignal, welches die Fahrzeugbewegungsinformationen angibt. Die Fahrzeugbewegungsinformationen stellen beispielsweise die Raddrehzahl, die Winkelgeschwindigkeiten des Fahrzeugs 2 um drei zueinander senkrechte Achsen oder die Beschleunigung des Fahrzeugs 2 dar. Der Fahrzeugbewegungssensor 13 umfasst beispielsweise zumindest eines aus dem Folgenden: einen Raddrehzahlsensor zum Messen der Raddrehzahl des Fahrzeugs 2, einen Gyroskopsensor zum Messen der Winkelgeschwindigkeiten des Fahrzeugs 2 um drei zueinander senkrechte Achsen, und einen Beschleunigungssensor zum Messen der Beschleunigung des Fahrzeugs 2. Der Fahrzeugbewegungssensor 13 erzeugt Sensorsignale bei vorbestimmten Intervallen bzw. in vorbestimmten Abständen und gibt die erzeugten Sensorsignale über das fahrzeuginterne Netzwerk zu der Datenerlangungsvorrichtung 15 aus. In dem Fall, dass der Fahrzeugbewegungssensor 13 mit der ECU verbunden ist, werden die von dem Fahrzeugbewegungssensor 13 erzeugten Sensorsignale über die ECU und das fahrzeuginterne Netzwerk zu der Datenerlangungsvorrichtung 15 ausgegeben.
Das Drahtlos-Kommunikationsendgerät 14, welches einem Beispiel für eine Kommunikationseinheit entspricht, ist eine Vorrichtung zur Ausführung eines drahtlosen Kommunikationsprozesses, der einem vorbestimmten Standard einer drahtlosen Kommunikation entspricht, und greift beispielsweise auf die drahtlose Basisstation 5 zu, um sich über die drahtlose Basisstation 5 und das Kommunikationsnetzwerk 4 mit dem Server 3 zu verbinden. Das Drahtlos-Kommunikationsendgerät 14 erzeugt ein Uplink-Funksignal einschließlich Merkmalsdaten und Fahrinformationen, welche von der Datenerlangungsvorrichtung 15 empfangen werden, und überträgt das Uplink-Funksignal an die drahtlose Basisstation 5, um die Merkmalsdaten und die Fahrinformationen an den Server 3 zu übertragen. Darüber hinaus empfängt das Drahtlos-Kommunikationsendgerät 14 ein Downlink-Funksignal von der drahtlosen Basisstation 5 und gibt beispielsweise eine Sammelanweisung vom Server 3, die das Funksignal umfasst, an die Datenerlangungsvorrichtung 15 oder die ECU weiter.
3 stellt die Hardwarekonfiguration der Datenerlangungsvorrichtung 15 dar. Die Datenerlangungsvorrichtung 15 erzeugt Merkmalsdaten auf der Grundlage eines von der Kamera 11 erzeugten Bildes und erzeugt ferner Fahrinformationen, welche eine Fahrbewegung des Fahrzeugs 2 angeben. Um dies zu erreichen, umfasst die Datenerlangungsvorrichtung 15 eine Kommunikationsschnittstelle 21, einen Speicher 22 und einen Prozessor 23.
Die Kommunikationsschnittstelle 21, welche einem Beispiel für eine fahrzeuginterne Kommunikationseinheit entspricht, umfasst eine Schnittstellenschaltung zum Verbinden der Datenerlangungsvorrichtung 15 mit dem fahrzeuginternen Netzwerk. Mit anderen Worten, die Kommunikationsschnittstelle 21 ist über das fahrzeuginterne Netzwerk mit der Kamera 11, dem GPS-Empfänger 12, dem Fahrzeugbewegungssensor 13 und dem Drahtlos-Kommunikationsendgerät 14 verbunden. Immer dann, wenn ein Bild von der Kamera 11 empfangen wird, leitet die Kommunikationsschnittstelle 21 das empfangene Bild an den Prozessor 23 weiter. Immer dann, wenn Positionierungsinformationen von dem GPS-Empfänger 12 empfangen werden, leitet die Kommunikationsschnittstelle 21 die empfangenen Positionierungsinformationen an den Prozessor 23 weiter. Jedes Mal, wenn ein Sensorsignal von dem Fahrzeugbewegungssensor 13 oder der ECU empfangen wird, leitet die Kommunikationsschnittstelle 21 das empfangene Sensorsignal an den Prozessor 23 weiter. Ferner leitet die Kommunikationsschnittstelle 21 eine Anweisung zum Sammeln von Merkmalsdaten, die von dem Server 3 über das Drahtlos-Kommunikationsendgerät 14 empfangen wird, an den Prozessor 23 weiter. Die Kommunikationsschnittstelle 21 gibt ferner Merkmalsdaten und Fahrinformationen, welche von dem Prozessor 23 empfangen werden, über das fahrzeuginterne Netzwerk an das Drahtlos-Kommunikationsendgerät 14 aus.
Der Speicher 22 umfasst beispielsweise flüchtige und nichtflüchtige Halbleiterspeicher. Der Speicher 22 kann ferner andere Speicher umfassen, wie z.B. ein Festplattenlaufwerk. Der Speicher 22 speichert verschiedene Arten von Daten, welche in einem Prozess mit Bezug auf die Erzeugung von Merkmalsdaten und Fahrinformationen verwendet werden, der von dem Prozessor 23 der Datenerlangungsvorrichtung 15 ausgeführt wird. Solche Daten umfassen beispielsweise Identifizierungsinformationen des Fahrzeugs 2 und Parameter der Kamera 11, wie beispielsweise die Höhe der Montageposition, die Richtung der Bildaufnahme und den Blickwinkel der Kamera 11. Der Speicher 22 kann auch von der Kamera 11 empfangene Bilder, vom GPS-Empfänger 12 empfangene Positionierungsinformationen und Fahrzeugbewegungsinformationen, die in von dem Fahrzeugbewegungssensor 13 erzeugten Sensorsignalen enthalten sind, für einen bestimmten Zeitraum speichern. Darüber hinaus speichert der Speicher 22 Informationen, welche einen Zielbereich zum Erzeugen und Sammeln von Merkmalsdaten (im Folgenden ein „Sammel-Zielbereich“) angeben, die in einer Anweisung zum Sammeln von Merkmalsdaten spezifiziert sind. Der Speicher 22 kann ferner Computerprogramme für verschiedene vom Prozessor 23 ausgeführte Prozesse speichern.
Der Prozessor 23 umfasst eine oder mehrere zentrale Verarbeitungseinheiten (CPUs) und eine Peripherieschaltung davon. Der Prozessor 23 kann ferner eine andere Betriebsschaltung umfassen, wie z.B. eine logisch-arithmetische Einheit, eine arithmetische Einheit oder eine Grafikverarbeitungseinheit. Der Prozessor 23 speichert von der Kamera 11 empfangene Bilder, vom GPS-Empfänger 12 empfangene Positionierungsinformationen und Fahrzeugbewegungsinformationen, die in von dem Fahrzeugbewegungssensor 13 oder der ECU empfangenen Sensorsignalen enthalten sind, in dem Speicher 22. Darüber hinaus führt der Prozessor 23 den Prozess mit Bezug auf die Erzeugung von Merkmalsdaten und Fahrinformationen in vorbestimmten Intervallen (z.B. 0,1 bis 10 Sekunden) während der Fahrt des Fahrzeugs 2 aus.
Als den Prozess mit Bezug auf die Erzeugung von Merkmalsdaten bestimmt der Prozessor 23 beispielsweise, ob die Position des Fahrzeugs 2, welche durch von dem GPS-Empfänger 12 empfangene Positionierungsinformationen angegeben ist, in einem Sammel-Zielbereich liegt. Wenn die Position des Fahrzeugs in einem Sammel-Zielbereich liegt, erzeugt der Prozessor 23 Merkmalsdaten auf der Grundlage eines von der Kamera 11 empfangenen Bildes.
Merkmalsdaten stellen Merkmale mit Bezug auf die Fahrt von Fahrzeugen dar. Der Prozessor 23 umfasst in der vorliegenden Ausführungsform in Merkmalsdaten ein von der Kamera 11 erzeugtes Bild, die Erzeugungszeit des Bildes, die Fahrtrichtung des Fahrzeugs 2 zu der Erzeugungszeit und Parameter der Kamera 11, wie die Höhe der Montageposition, die Richtung der Bildaufnahme und den Blickwinkel der Kamera 11. Der Prozessor 23 erhält Informationen, welche die Fahrtrichtung des Fahrzeugs 2 angeben, von der ECU des Fahrzeugs 2. Jedes Mal, wenn Merkmalsdaten erzeugt werden, überträgt der Prozessor 23 die erzeugten Merkmalsdaten über das Drahtlos-Kommunikationsendgerät 14 an den Server 3. Der Prozessor 23 kann in einem einzelnen Teil von Merkmalsdaten mehrere Bilder, die Erzeugungszeiten der jeweiligen Bilder und die Fahrtrichtungen des Fahrzeugs 2 umfassen. Der Prozessor 23 kann die Parameter der Kamera 11 separat zu Merkmalsdaten über das Drahtlos-Kommunikationsendgerät 14 an den Server 3 übertragen.
Der Prozessor 23 erzeugt ferner Fahrinformationen des Fahrzeugs 2 nach vorbestimmten Zeitpunkten (beispielsweise ein Zeitpunkt, zu welchem ein Zündschalter des Fahrzeugs 2 angeschaltet wird), und überträgt die Fahrinformationen über das Drahtlos-Kommunikationsendgerät 14 an den Server 3. Der Prozessor 23 umfasst in den Fahrinformationen eine Reihe von Teilen von Positionierungsinformationen, welche bei vorbestimmten Intervallen nach dem vorbestimmten Zeitpunkt erhalten werden, die Bestimmungszeiten der Position des Fahrzeugs 2 in den jeweiligen Teilen von Positionierungsinformationen und Teile von Fahrzeugbewegungsinformationen, wie Raddrehzahlen, Beschleunigungen und Winkelgeschwindigkeiten. Der Prozessor 23 kann ferner Informationen, welche den Zeitpunkt des An- oder Abschaltens des Zündschalters angeben und von der ECU erhalten werden, in den Fahrinformationen umfassen. Der Prozessor 23 kann ferner Identifizierungsinformationen des Fahrzeugs 2 in den Fahrinformationen und den Merkmalsdaten umfassen.
Das Nachstehende beschreibt den Server 3, welcher einem Beispiel für die Vorrichtung zum Schätzen eines Straßenrandes entspricht.
4 stellt die Hardwarekonfiguration des Servers 3 dar, welcher einem Beispiel für die Vorrichtung zum Schätzen eines Straßenrandes entspricht. Der Server 3 umfasst eine Kommunikationsschnittstelle 31, eine Speichervorrichtung 32, einen Speicher 33 und einen Prozessor 34. Die Kommunikationsschnittstelle 31, die Speichervorrichtung 32 und der Speicher 33 sind über eine Signalleitung mit dem Prozessor 34 verbunden. Der Server 3 kann ferner eine Eingabevorrichtung, wie beispielsweise eine Tastatur und eine Maus, und eine Anzeigevorrichtung, wie beispielsweise eine Flüssigkristallanzeige, umfassen.
Die Kommunikationsschnittstelle 31, welche einem Beispiel für eine Kommunikationseinheit entspricht, umfasst eine Schnittstellenschaltung zum Verbinden des Servers 3 mit dem Kommunikationsnetzwerk 4. Die Kommunikationsschnittstelle 31 ist derart konfiguriert, dass diese über das Kommunikationsnetzwerk 4 und die drahtlose Basisstation 5 mit dem Fahrzeug 2 kommunizieren kann. Insbesondere leitet die Kommunikationsschnittstelle 31 Merkmalsdaten und Fahrinformationen, welche von dem Fahrzeug 2 über die drahtlose Basisstation 5 und das Kommunikationsnetzwerk 4 erhalten werden, an den Prozessor 34 weiter. Darüber hinaus überträgt die Kommunikationsschnittstelle 31 eine vom Prozessor 34 empfangene Sammelanweisung über das Kommunikationsnetzwerk 4 und die drahtlose Basisstation 5 an das Fahrzeug 2.
Die Speichervorrichtung 32, welche einem Beispiel für die Speichereinheit entspricht, umfasst beispielsweise ein Festplattenlaufwerk oder ein optisches Medium und eine Zugriffsvorrichtung dafür, und speichert verschiedene Arten von Daten und Informationen, welche in einem Straßenrand-Schätzprozess verwendet werden. Die Speichervorrichtung 32 speichert beispielsweise einen Satz von Parametern zum Definieren eines Klassifikators zum Erfassen eines Straßenrandes und eines Merkmals aus einem Bild. Die Speichervorrichtung 32 kann außerdem eine Karte für eine Navigation speichern, welche von der Navigationsvorrichtung zum Suchen einer Fahrroute verwendet wird. Die Speichervorrichtung 32 speichert ferner Merkmalsdaten und Fahrinformationen, welche von jedem Fahrzeug 2 empfangen werden. Die Speichervorrichtung 32 kann ferner ein Computerprogramm für den Straßenrand-Schätzprozess speichern, welcher von dem Prozessor 34 ausgeführt wird.
Der Speicher 33, welcher einem weiteren Beispiel für die Speichereinheit entspricht, umfasst beispielsweise nichtflüchtige und flüchtige Halbleiterspeicher. Der Speicher 33 speichert vorübergehend verschiedene Arten von Daten, welche während der Ausführung des Straßenrand-Schätzprozesses erzeugt werden.
Der Prozessor 34, welcher einem Beispiel für eine Steuerungseinheit entspricht, umfasst eine oder mehrere zentrale Verarbeitungseinheiten (CPUs) und eine Peripherieschaltung davon. Der Prozessor 34 kann ferner eine weitere Betriebsschaltung, wie beispielsweise eine logisch-arithmetische Einheit oder eine arithmetische Einheit, umfassen. Der Prozessor 34 führt einen Kartenaktualisierungsprozess einschließlich des Straßenrand-Schätzprozesses aus.
5 ist ein funktionelles Blockdiagramm des Prozessors 34 mit Bezug auf den Kartenaktualisierungsprozess einschließlich des Straßenrand-Schätzprozesses. Der Prozessor 34 umfasst eine Trajektorien-Schätzeinheit 41, eine Positionsschätzeinheit 42, eine Abschnittsidentifikationseinheit 43, eine Straßenstruktur-Bestimmungseinheit 44, eine Straßenrand-Schätzeinheit 45 und eine Kartenaktualisierungseinheit 46. Diese in dem Prozessor 34 umfassten Einheiten sind funktionelle Module, welche beispielsweise durch ein von dem Prozessor 34 ausgeführtes Computerprogramm implementiert sind, oder diese können dedizierte Betriebsschaltungen sein, welche in dem Prozessor 34 bereitgestellt sind. Aus diesen im Prozessor 34 umfassten Einheiten bezieht sich die Verarbeitung der Einheiten mit Ausnahme der Kartenaktualisierungseinheit 46 auf den Straßenrand-Schätzprozess.
Die Trajektorien-Schätzeinheit 41 schätzt die Trajektorie des Fahrzeugs 2, welches durch einen vorbestimmten Abschnitt gefahren ist, auf der Grundlage von Fahrinformationen des Fahrzeugs 2 in dem vorbestimmten Abschnitt ab. Im Folgenden kann die Trajektorie des Fahrzeugs 2 einfach als die Trajektorie bezeichnet sein.
Die Trajektorien-Schätzeinheit 41 kann die Trajektorie beispielsweise durch Anordnen der Positionen des Fahrzeugs 2, angegeben durch eine Reihe von Teilen von Positionierungsinformationen, die in den Fahrinformationen des Fahrzeugs 2 enthalten sind, in chronologischer Reihenfolge der Bestimmung der Position des Fahrzeugs 2 abschätzen. Die Trajektorien-Schätzeinheit 41 kann ferner Messzeiten der individuellen Positionen des Fahrzeugs 2 in der geschätzten Trajektorie umfassen. Wenn die empfangenen Fahrinformationen den Zeitpunkt des An- oder Abschaltens des Zündschalters umfassen, kann die Trajektorien-Schätzeinheit 41 ferner Informationen zum Identifizieren der Position des Fahrzeugs 2 zum Zeitpunkt des An- oder Abschaltens des Zündschalters in der Trajektorie umfassen.
Die Trajektorien-Schätzeinheit 41 kann die Trajektorie des Fahrzeugs 2 alternativ gemäß der Technologie „Structure-from-Motion (SfM)“ abschätzen. In diesem Fall erfasst die Trajektorien-Schätzeinheit 41 ein oder mehrere Merkmale in einem Bereich um das Fahrzeug 2 herum aus jedem aus einer Reihe von Bildern, welche in von dem Fahrzeug 2 empfangenen Merkmalsdaten enthalten sind und durch die Kamera 11 des durch den vorbestimmten Abschnitt fahrenden Fahrzeugs 2 erzeugt werden.
Die Trajektorien-Schätzeinheit 41 gibt beispielsweise jedes aus der Reihe von Bildem in einen Klassifikator ein, welcher trainiert wurde, um ein Erfassungs-Zielmerkmal zu erfassen, wodurch ein in dem eingegebenen Bild (nachfolgend einfach das „Eingabebild“) dargestelltes Merkmal erfasst wird. Als ein solcher Klassifikator kann die Trajektorien-Schätzeinheit 41 beispielsweise ein tiefes neuronales Netz (DNN) verwenden, welches zur Erfassung eines in einem Bild dargestellten Merkmals aus dem Eingabebild trainiert wurde. Als ein solches DNN wird beispielsweise ein DNN verwendet, welches eine Architektur vom Typ eines faltungsneuronalen Netzes (CNN) besitzt, z. B. Single-Shot-MultiBox-Detector (SSD) oder Faster-R-CNN. Alternativ kann als ein solches DNN auch ein DNN verwendet werden, welches eine Architektur vom Typ eines Self-Attention-Netzwerks besitzt, z. B. ein Vision-Transformer. In diesem Fall berechnet der Klassifikator für jede Art von Erfassungs-Zielmerkmal (beispielsweise eine Ampel, eine Fahrspurtrennlinie, ein Fußgängerüberweg und eine Haltelinie) einen Konfidenzwert, welcher angibt, wie wahrscheinlich es ist, dass das Merkmal in einem Bereich des Eingabebildes dargestellt ist; der Klassifikator berechnet den Konfidenzwert für jeden von verschiedenen Bereichen in dem Eingabebild. Der Klassifikator bestimmt, dass der Bereich, in dem der Konfidenzwert eines bestimmten Merkmalstyps nicht kleiner als eine vorbestimmte Erfassungsschwelle ist, den Merkmalstyp darstellt. Der Klassifikator gibt dann Informationen aus, die einen Bereich angeben, welcher ein Erfassungs-Zielmerkmal in dem Eingabebild umfasst, beispielsweise ein umschriebenes Rechteck des Erfassungs-Zielmerkmals (im Folgenden ein „Objektbereich“), und Informationen, welche den Typ des in dem Objektbereich dargestellten Merkmals angeben.
Gemäß der Technologie von SfM schätzt die Trajektorien-Schätzeinheit 41 die Positionen des Fahrzeugs 2 bei der Erzeugung der jeweiligen Bilder und die Positionen eines erfassten individuellen Merkmals relativ zu diesen Positionen. Die Trajektorien-Schätzeinheit 41 schätzt dann die Trajektorie auf der Grundlage des Ergebnisses der Schätzung.
Die Positionen von Pixeln in einem Bild entsprechen eins-zu-eins den Richtungen von der Kamera 11 zu Objekten, welche in den jeweiligen Pixeln dargestellt sind. Daher kann die Trajektorien-Schätzeinheit 41 die Positionsbeziehung zwischen dem Fahrzeug 2 und einem Merkmal in jedem Bild auf der Grundlage der Richtung von der Kamera 11 entsprechend einem charakteristischen Punkt, welcher das Merkmal in dem Bild darstellt, der von dem Fahrzeug 2 zwischen den Erzeugungszeiten von Bildern gefahrenen Strecke, der Fahrtrichtung des Fahrzeugs 2 und der Parameter der Kamera 11 abschätzen.
Die Trajektorien-Schätzeinheit 41 kann die Position des Fahrzeugs 2, welche durch diese Positionierungsinformationen, welche von dem GPS-Empfänger 12 zu dem vorbestimmten Zeitpunkt erhalten werden, der in den Fahrinformationen enthalten ist, als die Initialposition der Trajektorie des Fahrzeugs 2 verwenden. Danach schätzt die Trajektorien-Schätzeinheit 41 die von dem Fahrzeug 2 gefahrene Strecke zwischen den Erzeugungszeiten von Bildern unter Verwendung von Fahrzeugbewegungsinformationen, wie beispielsweise der Raddrehzahl, der Beschleunigung und der Winkelgeschwindigkeit, welche in den Fahrinformationen umfasst sind.
Die Trajektorien-Schätzeinheit 41 bringt die gleichen Merkmale, welche in jeweiligen Bildern erfasst werden, die während der Fahrt des Fahrzeugs 2 zu unterschiedlichen Zeitpunkten erhalten werden, miteinander in Verbindung. Die Trajektorien-Schätzeinheit 41 kann beispielsweise charakteristische Punkte, die in Objektbereichen, welche die gleichen Merkmale von Interesse in mehreren Bildern darstellen, unter Verwendung einer Tracking-Technologie unter Verwendung eines optischen Flusses miteinander in Verbindung bringen. Die Trajektorien-Schätzeinheit 41 kann die Positionen des Fahrzeugs 2 bei der Erzeugung der jeweiligen Bilder und die Positionen des Merkmals von Interesse relativ zu den Positionen des Fahrzeugs 2 bei der Erzeugung der jeweiligen Bilder durch eine Triangulation abschätzen. Zu diesem Zweck verwendet die Trajektorien-Schätzeinheit 41 die Fahrtrichtungen des Fahrzeugs 2 bei der Erzeugung der jeweiligen Bilder, die Position des Fahrzeugs 2 bei der Erzeugung eines der Bilder, die von dem Fahrzeug 2 zwischen den Erzeugungszeiten der Bilder gefahrenen Strecken, die Parameter der Kamera 11 und die Positionen der entsprechenden charakteristischen Punkte in den jeweiligen Bildern für die Triangulation.
Die Trajektorien-Schätzeinheit 41 kann die Positionen des Fahrzeugs 2 bei der Erzeugung der jeweiligen Bilder und die Positionen von jedem der Merkmale um das Fahrzeug 2 herum relativ zu diesen Positionen durch Wiederholen des vorstehend beschriebenen Prozesses für jedes der erfassten Merkmale sequenziell abschätzen. Die Trajektorien-Schätzeinheit 41 kann dann die Trajektorie durch Anordnen der geschätzten Positionen des Fahrzeuges 2 in einer Reihenfolge abschätzen. Auch in diesem Fall kann die Trajektorien-Schätzeinheit 41 die Erzeugungszeiten von Bildern entsprechend den individuellen Positionen des Fahrzeugs 2 in der geschätzten Trajektorie als die Zeiten umfassen, zu welchen das Fahrzeug 2 die jeweiligen Positionen passiert hat.
Die Trajektorien-Schätzeinheit 41 meldet Informationen, welche die geschätzte Trajektorie angeben, an die Positionsschätzeinheit 42, die Abschnittsidentifikationseinheit 43, die Straßenstruktur-Bestimmungseinheit 44 und die Straßenrand-Schätzeinheit 45.
Die Positionsschätzeinheit 42 erfasst einen Straßenrand in dem vorbestimmten Abschnitt aus jedem einer Reihe von Bildern, welche während einer Fahrt des Fahrzeugs 2 durch den vorbestimmten Abschnitt von der Kamera 11 erzeugt werden, und schätzt die Position des erfassten Straßenrandes im realen Raum ab. Das Nachstehende beschreibt einen Prozess bei einem einzelnen Bild, da die Positionsschätzeinheit 42 den gleichen Prozess bei jedem Bild ausführt.
Die Positionsschätzeinheit 42 gibt ein Bild in einen Klassifikator ein, welcher zur Erfassung eines Straßenrandes trainiert wurde, wodurch ein in dem eingegebenen Bild dargestellter Straßenrand erfasst wird. Als einen solchen Klassifikator kann die Positionsschätzeinheit 42 einen ähnlichen Klassifikator wie den Klassifikator für die in Zusammenhang mit der Trajektorien-Schätzeinheit 41 beschriebene Merkmalserfassung verwenden. Alternativ kann die Positionsschätzeinheit 42 als einen solchen Klassifikator ein DNN für eine semantische Segmentation verwenden, welches Objekte identifiziert, die in jeweiligen Pixeln dargestellt sind, wie beispielsweise ein vollständig faltendes Netz oder ein U-Netz. In diesem Fall wird der Klassifikator im Vorhinein trainiert, um die Pixel des Bildes als Pixel, welche das Äußere der Straße darstellen, und Pixel, welche die Straße darstellen, zu klassifizieren. Die Positionsschätzeinheit 42 bestimmt dann, dass der Straßenrand durch die Pixel auf dem äußeren Rand des Satzes von die Straße darstellenden Pixeln, welche von dem Klassifikator ausgegeben werden, dargestellt ist.
Die Positionsschätzeinheit 42 schätzt für jedes den Straßenrand darstellende Pixel die Position des in dem Pixel dargestellten Straßenrandes im realen Raum auf der Grundlage der Position des Pixels in dem Bild, der Position und der Fahrtrichtung des Fahrzeugs 2 bei der Erzeugung des Bildes und der Parameter der Kamera 11. Die Positionsschätzeinheit 42 erhält die Position und die Fahrtrichtung des Fahrzeugs 2 bei der Erzeugung des Bildes von der Trajektorien-Schätzeinheit 41.
Die Positionsschätzeinheit 42 kann für jedes den Straßenrand darstellende Pixel, wie vorstehend beschrieben, oder lediglich für einige der den Straßenrand darstellenden Pixel die Position des in dem Pixel dargestellten Straßenrandes abschätzen. Die Positionsschätzeinheit 42 kann die Position lediglich eines Randes der Ränder der von dem Fahrzeug 2 befahrenen Straße abschätzen. Die Positionsschätzeinheit 42 kann beispielsweise die Position eines Straßenrandes auf der Seite, auf welcher das Fahrzeug 2 in dem vorbestimmten Abschnitt fahren darf, abschätzen. Insbesondere wenn es sich bei der Straße in dem vorbestimmten Abschnitt um eine Straße handelt, bei welcher das Fahrzeug 2 links bleibt, kann die Positionsschätzeinheit 42 die Position des linken Straßenrandes abschätzen. In diesem Fall verwendet die Positionsschätzeinheit 42 diejenigen Pixel in dem Satz von Pixeln, welche Straßenränder darstellen, welche an Pixel der Straßenoberfläche auf der Seite näher an dem Fahrzeug 2 angrenzen, zum Schätzen der Position des Straßenrandes. Alternativ verwendet die Positionsschätzeinheit 42 diejenigen Pixel in dem Satz von Pixeln, welche Straßenränder darstellen, welche auf der linken Seite der Pixellinie entsprechend der Fahrtrichtung des Fahrzeugs 2 in dem Bild liegen, welche aus der Montageposition und der Richtung der Bildaufnahme der Kamera 11 identifiziert wird, zum Schätzen der Position des Straßenrandes verwenden.
Für jedes Bild, aus dem ein Straßenrand erfasst wird, meldet die Positionsschätzeinheit 42 die geschätzte Position des in dem Bild dargestellten Straßenrandes an die Straßenrand-Schätzeinheit 45 und die Kartenaktualisierungseinheit 46. Die Positionsschätzeinheit 42 meldet außerdem der Abschnittsidentifikationseinheit 43 die Erzeugungszeit jedes Bildes, aus dem kein Straßenrand erfasst wird.
Die Abschnittsidentifikationseinheit 43 identifiziert einen vom Fahrzeug 2 befahrenen Abschnitt bei der Erzeugung eines Bildes, aus dem kein Straßenrand erfasst wird, als einen Nichterfassungsabschnitt; wobei das Bild einem aus einer Reihe von Bildem entspricht, welche von der Kamera 11 während einer Fahrt des Fahrzeugs 2 durch den vorbestimmten Abschnitt erzeugt werden. Um dies zu erreichen, identifiziert die Abschnittsidentifikationseinheit 43 die Position des Fahrzeugs 2 bei der Erzeugung jedes Bildes, von dem kein Straßenrand erfasst wird, unter Bezugnahme auf die Erzeugungszeit, welche von der Positionsschätzeinheit 42 gemeldet wird, und die Fahrinformationen. Die Abschnittsidentifikationseinheit 43 bestimmt dann den Abschnitt einschließlich des Satzes der identifizierten Positionen des Fahrzeugs 2 bei der von der Trajektorien-Schätzeinheit 41 geschätzten Trajektorie als einen Nichterfassungsabschnitt.
Die Abschnittsidentifikationseinheit 43 meldet Informationen, welche den nicht erfassten Abschnitt bzw. Nichterfassungsabschnitt angeben, an die Straßenstruktur-Bestimmungseinheit 44 und die Straßenrand-Schätzeinheit 45.
Die Straßenstruktur-Bestimmungseinheit 44 bestimmt, ob die von dem Fahrzeug 2 befahrene Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist. Eine Struktur mit einem Straßenrand bezieht sich auf eine Struktur einer Straße, so dass ein Straßenoberflächenabschnitt, bei dem Fahrzeuge fahren dürfen, von einem Abschnitt getrennt ist, bei dem Fahrzeuge nicht fahren dürfen, und eine Grenze besitzt. Umgekehrt bezieht sich eine Struktur ohne einen Straßenrand auf eine Struktur mit einem Raum, durch den Fahrzeuge in das Äußere der Straße in der die Längsrichtung der Straße kreuzenden Richtung einfahren dürfen, wie beispielsweise eine Kreuzung, ein Bahnübergang oder eine Einfahrt auf privates Gelände, beispielsweise einen Parkplatz. Beispiele für eine Struktur ohne einen Straßenrand können ferner eine Struktur mit einer Fahrspur, auf welche lediglich ein bestimmter Fahrzeugtyp einfahren darf, wie beispielsweise eine Bus-Fahrspur, näher an einem Straßenrand als eine Fahrspur, bei welcher herkömmliche Fahrzeuge fahren dürfen, umfassen. Somit kann sich in einem Abschnitt einer Straße mit einer Struktur ohne einen Rand ein Objekt weiter in der Richtung hin zu der Außenseite der Straße befinden als im nächsten und vorherigen Abschnitt. Alternativ kann sich das Fahrzeug 2 in einem solchen Abschnitt weiter in Richtung hin zu der Außenseite der Straße bewegen als der Straßenrand im nächsten und vorherigen Abschnitt. Darüber hinaus kann in einem Abschnitt einer Straße mit einer Struktur ohne einen Rand ein Raum, in den das Fahrzeug 2 einfahren darf, wie beispielsweise eine Kreuzung oder ein Bahnübergang, außerhalb der vom Fahrzeug 2 befahrenen Straße in der Karte für die Navigation bzw. Navigationskarte dargestellt sein. Daher verwendet die Straßenstruktur-Bestimmungseinheit 44 die Position des Nichterfassungsabschnitts, ein Objekt, welches in einem von der Kamera 11 in dem Nichterfassungsabschnitt erzeugten Bild dargestellt ist, oder die Bewegung des Fahrzeugs 2 während der Fahrt durch den Nichterfassungsabschnitt, um das Vorhandensein oder Nichtvorhandensein eines Straßenrandes zu bestimmen. Im Folgenden kann die vom Fahrzeug 2 in dem Nichterfassungsabschnitt befahrene Straße einfach als die Straße in dem Nichterfassungsabschnitt bezeichnet werden.
Die Straßenstruktur-Bestimmungseinheit 44 nimmt beispielsweise auf die Position des Nichterfassungsabschnitts und die Navigationskarte Bezug. Wenn in dem Nichterfassungsabschnitt in der Navigationskarte ein Raum dargestellt ist, durch den das Fahrzeug 2 auf die Außenseite der Straße gelangen darf, wie beispielsweise eine Kreuzung, bestimmt die Straßenstruktur-Bestimmungseinheit 44, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist.
Ferner bestimmt die Straßenstruktur-Bestimmungseinheit 44, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, wenn die Trajektorie des Fahrzeugs 2 angibt, dass die Position des Fahrzeugs 2 in dem Nichterfassungsabschnitt weiter von der Straße entfernt liegt als eine Linie, welche die Positionen des Randes der Straße in dem nächsten und dem vorherigen Abschnitt verbindet. Alternativ kann die Straßenstruktur-Bestimmungseinheit 44 die Struktur der Straße in dem Nichterfassungsabschnitt auf der Grundlage einer Veränderung in der Fahrtrichtung des Fahrzeugs 2 vor und hinter dem Nichterfassungsabschnitt unter Bezugnahme auf die Trajektorie des Fahrzeugs 2 bestimmen. Wenn sich beispielsweise die Fahrtrichtung des Fahrzeugs 2 in dem dem Nichterfassungsabschnitt unmittelbar vorausgehenden Abschnitt um einen vorbestimmten Winkel oder mehr (beispielsweise 45 Grad oder mehr) von dieser des Fahrzeugs 2 in dem Nichterfassungsabschnitt unterscheidet, ist das Fahrzeug 2 wahrscheinlich bei einer Kreuzung nach rechts oder links abgebogen oder von der befahrenen Straße abgebogen. Somit bestimmt die Straßenstruktur-Bestimmungseinheit 44 in einem solchen Fall, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist. Wenn der Nichterfassungsabschnitt eine Kreuzung umfasst, kann das Fahrzeug 2 ferner unmittelbar vor der Kreuzung anhalten. Daher kann die Straßenstruktur-Bestimmungseinheit 44 bestimmen, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, wenn die Trajektorie angibt, dass das Fahrzeug 2 für eine vorbestimmte Zeitdauer oder länger in dem Nichterfassungsabschnitt oder dem unmittelbar vorausgehenden Abschnitt bei angeschaltetem Zündschalter angehalten hat. Die Straßenstruktur-Bestimmungseinheit 44 bestimmt, dass das Fahrzeug 2 an einer in der Trajektorie des Fahrzeugs 2 umfassten Position für eine vorbestimmte Zeitdauer angehalten hat, wenn mehrere Messzeiten, welche über die vorbestimmte Zeitdauer reichen, mit der Position verknüpft sind. Ferner kann eine Ampel, eine Haltelinie oder ein Fußgängerüberweg in dem Nichterfassungsabschnitt oder dem nächsten oder vorherigen Abschnitt vorliegen, wenn der Nichterfassungsabschnitt eine Kreuzung umfasst. Daher kann die Straßenstruktur-Bestimmungseinheit 44 bestimmen, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, wenn eine Ampel, eine Haltelinie oder ein Fußgängerüberweg aus einem von der Kamera 11 während der Fahrt des Fahrzeugs 2 durch den Nichterfassungsabschnitt erzeugten Bild erfasst wird. In diesem Fall gibt die Straßenstruktur-Bestimmungseinheit 44 das Bild in einen Klassifikator ein, um eine Ampel, eine Haltelinie oder einen Fußgängerüberweg zu erfassen. Die Straßenstruktur-Bestimmungseinheit 44 kann als einen solchen Klassifikator einen ähnlichen Klassifikator wie den in Zusammenhang mit der Trajektorien-Schätzeinheit 41 beschriebenen Klassifikator für die Merkmalserfassung verwenden. Alternativ kann der von der Trajektorien-Schätzeinheit 41 oder der Positionsschätzeinheit 42 verwendete Klassifikator auch im Vorhinein trainiert werden, um eine Ampel, eine Haltelinie oder einen Fußgängerüberweg zu erfassen.
Ferner kann die Straßenstruktur-Bestimmungseinheit 44 die Struktur der Straße in dem Nichterfassungsabschnitt durch Vergleichen der Position eines anderen Fahrzeugs, welche aus einem während der Fahrt des Fahrzeugs 2 durch den Nichterfassungsabschnitt von der Kamera 11 erzeugten Bild erfasst wird, mit den Positionen eines Straßenrandes in dem nächsten und dem vorherigen Abschnitt bestimmen. In diesem Fall gibt die Stra-ßenstruktur-Bestimmungseinheit 44 das Bild in einen Klassifikator ein, um ein weiteres Fahrzeug zu erfassen. Die Straßenstruktur-Bestimmungseinheit 44 kann als einen solchen Klassifikator einen ähnlichen Klassifikator wie den vorstehenden verwenden. Alternativ kann der vorstehend beschriebene Klassifikator oder der von der Trajektorien-Schätzeinheit 41 oder der Positionsschätzeinheit 42 verwendete Klassifikator auch im Vorhinein trainiert werden, um ein weiteres Fahrzeug zu erfassen. Es wird angenommen, dass die untere Position eines Bereichs, welcher ein weiteres Fahrzeug in dem Bild darstellt, der Position entspricht, bei welcher das Fahrzeug mit der Straßenoberfläche in Kontakt steht. Die Pixel in dem Bild entsprechen eins-zu-eins den Richtungen aus Sicht der Kamera 11. Somit kann die Straßenstruktur-Bestimmungseinheit 44 die Richtung und den Abstand von dem Fahrzeug 2 zu dem erfassten Fahrzeug auf der Grundlage der unteren Position des Bereichs, welcher das Fahrzeug in dem Bild darstellt, der Position und der Fahrtrichtung des Fahrzeugs 2 und von Parametern, wie der Höhe der Montageposition und der Richtung der Bildaufnahme der Kamera 11, abschätzen. Die Straßenstruktur-Bestimmungseinheit 44 kann auf der Grundlage der Richtung und des Abstandes den Abstand bzw. die Strecke von dem Fahrzeug 2 zu dem erfassten Fahrzeug in der Richtung senkrecht zu der Längsrichtung der von dem Fahrzeug 2 befahrenen Straße (der Einfachheit der Beschreibung halber nachfolgend als die „Querrichtung“ bezeichnet) abschätzen. Die Straßenstruktur-Bestimmungseinheit 44 vergleicht dann den lateralen Abstand bzw. Querabstand von dem Fahrzeug 2 zu dem erfassten Fahrzeug mit den Querabständen von dem Fahrzeug 2 zu dem Straßenrand in den Abschnitten vor und hinter dem Nichterfassungsabschnitt. Wenn der Querabstand von dem Fahrzeug 2 zu dem erfassten Fahrzeug größer ist als der Querabstand von dem Fahrzeug 2 zu dem Straßenrand in dem Abschnitt vor oder hinter dem Nichterfassungsabschnitt, bestimmt die Straßenstruktur-Bestimmungseinheit 44, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist.
Wenn keines der vorstehend beschriebenen Kriterien zum Bestimmen, dass die Straße eine Struktur ohne einen Rand aufweist, erfüllt ist, kann die Straßenstruktur-Bestimmungseinheit 44 bestimmen, dass die von dem Fahrzeug 2 befahrene Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist. Wenn beispielsweise der Querabstand von dem Fahrzeug 2 zu dem erfassten Fahrzeug kleiner ist als der Querabstand von dem Fahrzeug 2 zu dem Straßenrand in dem Abschnitt vor oder hinter dem Nichterfassungsabschnitt, wird angenommen, dass das erfasste Fahrzeug in der Nähe des Straßenrandes geparkt ist und daher den Straßenrand verdeckt. Somit bestimmt die Stra-ßenstruktur-Bestimmungseinheit 44 in einem solchen Fall, dass die von dem Fahrzeug 2 befahrene Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist. Ferner kann die Straßenstruktur-Bestimmungseinheit 44 auf die Trajektorie des Fahrzeugs 2 Bezug nehmen und bestimmen, dass die von dem Fahrzeug 2 befahrene Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist, wenn die Trajektorie anzeigt, dass das Fahrzeug 2 in der Nähe eines solchen geparkten Fahrzeugs angehalten hat. Die Straßenstruktur-Bestimmungseinheit 44 bestimmt in dem Fall, in welchem das Fahrzeug 2 innerhalb eines bestimmten Abstandes von dem Nichterfassungsabschnitt angehalten wird, der Zündschalter ausgeschaltet ist und die Winkeldifferenz zwischen der Fahrtrichtung des Fahrzeugs 2 und der Längsrichtung der Straße nicht größer ist als ein vorbestimmter Winkel, dass das Fahrzeug 2 in der Nähe eines geparkten Fahrzeugs angehalten hat. Wenn die Trajektorie des Fahrzeugs 2 eine Bewegung des Fahrzeugs 2 angibt, welche zu dem Bestimmungsergebnis des Vorhandenseins oder Nichtvorhandenseins eines Straßenrandes in dem Nichterfassungsabschnitt inkonsistent ist, kann die Straßenstruktur-Bestimmungseinheit 44 das Vorhandensein oder Nichtvorhandensein eines Straßenrandes in dem Nichterfassungsabschnitt auf der Grundlage der Bestimmungsbedingungen bestimmen, in denen die Trajektorie nicht herangezogen wird.
Die Straßenstruktur-Bestimmungseinheit 44 meldet das Bestimmungsergebnis der Struktur der Straße in dem Nichterfassungsabschnitt an die Straßenrand-Schätzeinheit 45.
Die Straßenrand-Schätzeinheit 45 schätzt die Position des Randes der Straße in dem Nichterfassungsabschnitt durch eine Interpolation auf der Grundlage der Positionen des Randes der Straße in den Abschnitten vor und hinter dem Nichterfassungsabschnitt entlang der Trajektorie, wenn die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist. Zu diesem Zweck schätzt die Straßenrand-Schätzeinheit 45 die Position des Straßenrandes in dem Nichterfassungsabschnitt durch eine Interpolation, so dass die Positionen des Straßenrandes in dem nächsten und dem vorherigen Abschnitt mit einer vorbestimmten Kurve oder einer Geraden verbunden werden. Die Straßenrand-Schätzeinheit 45 kann als die vorbestimmte Kurve für die Interpolation beispielsweise eine Klothoiden- oder eine Spline-Kurve verwenden. Insbesondere kann ein gekrümmter Nichterfassungsabschnitt entlang einer Klothoiden-Kurve bestimmt werden. Somit kann die Straßenrand-Schätzeinheit 45 die Position des Straßenrandes in dem Nichterfassungsabschnitt unter Verwendung einer Klothoiden-Kurve als die vorbestimmte Kurve für die Interpolation exakt abschätzen. Die Straßenrand-Schätzeinheit 45 kann bei der durch Interpolation geschätzten Position des Straßenrandes ein Flag setzen, welches die Schätzung durch Interpolation anzeigt.
Wenn die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, nimmt die Straßenrand-Schätzeinheit 45 die Schätzung der Position des Randes der Straße in dem Nichterfassungsabschnitt nicht vor. Dies ermöglicht es der Straßenrand-Schätzeinheit 45, eine fehlerhafte Schätzung der Position eines Straßenrandes in einem Abschnitt ohne einen Straßenrand zu verhindern.
6A stellt ein Beispiel für das Schätzergebnis eines Straßenrandes für den Fall dar, dass der Straßenrand an einer von einem Objekt verdeckten Position vorliegt. 6B stellt ein Beispiel für das Schätzergebnis eines Straßenrandes für den Fall dar, dass bei einer von einem Objekt verdeckten Position kein Straßenrand existiert. In dem in 6A dargestellten Beispiel werden von der Kamera 11 Bilder an Positionen entsprechend den Zeiten t0 bis t5 entlang einer Trajektorie 601 des entlang einer Straße 600 gefahrenen Fahrzeugs 2 entsprechend erzeugt. Die Positionen r0 bis r3 und r5 eines Randes 602 der Straße 600 werden aus den zu den Zeiten erzeugten Bildern mit Ausnahme der Zeit t4 erfasst. In dem zu der Zeit t4 erzeugten Bild ist der Rand 602 der Straße 600 jedoch durch ein geparktes Fahrzeug 610 verdeckt und wird somit nicht erfasst. Aus diesem Grund befindet sich die Position des Fahrzeugs 2 zu der Zeit t4 in einem Nichterfassungsabschnitt 603. In diesem Fall ist der Abstand d1 von dem geparkten Fahrzeug 610 zu der Trajektorie 601 (das heißt, der Abstand von dem geparkten Fahrzeug 610 zu dem Fahrzeug 2) kleiner als der Abstand d2 von der Trajektorie 601 zu dem Rand 602 der Straße 600 in den Abschnitten vor und hinter dem Nichterfassungsabschnitt 603. Aus diesem Grund wird bestimmt, dass die Straße 600 in dem Nichterfassungsabschnitt 603 eine Struktur mit einem Rand aufweist. Somit wird die Position r4 des Randes 602 der Straße 600 in dem Nichterfassungsabschnitt 603 durch eine Interpolation aus den Positionen r3 und r5 des Randes 602 in dem nächsten und dem vorherigen Abschnitt abgeschätzt.
Auch in dem in 6B dargestellten Beispiel werden von der Kamera 11 Bilder an Positionen entsprechend den Zeiten t0 bis t5 entlang einer Trajektorie 601 des entlang einer Straße 600 gefahrenen Fahrzeugs 2 entsprechend erzeugt. Die Positionen r0 bis r3 und r5 eines Randes 602 der Straße 600 werden aus den zu den Zeiten erzeugten Bildern mit Ausnahme der Zeit t4 erfasst. In dem zu der Zeit t4 erzeugten Bild ist der Rand 602 der Straße 600 nicht dargestellt, da der von der Kamera 11 zu der Zeit t4 aufgenommene Bereich eine Kreuzung umfasst. Aus diesem Grund befindet sich die Position des Fahrzeugs 2 zu der Zeit t4 in einem Nichterfassungsabschnitt 604. In diesem Beispiel ist jedoch in dem zu der Zeit t4 erzeugten Bild ein gestopptes Fahrzeug 620 auf einer die Straße 600 kreuzenden anderen Straße dargestellt. Aus diesem Grund ist der Abstand d3 zwischen dem aus dem zu der Zeit t4 erzeugten Bild erfassten Fahrzeug 620 und der Trajektorie 601 größer als der Abstand d2 von der Trajektorie 601 zu dem Rand 602 der Straße 600 in den Abschnitten vor und hinter dem Nichterfassungsabschnitt 604. Dies resultiert in einer Bestimmung dahingehend, dass die Straße 600 in dem Nichterfassungsabschnitt 604 eine Struktur ohne einen Rand aufweist. Somit wird die Position des Randes 602 der Straße 600 in dem Nichterfassungsabschnitt 604 nicht durch Interpolation geschätzt und bleibt nicht erfasst.
Die Straßenrand-Schätzeinheit 45 meldet der Kartenaktualisierungseinheit 46 das Schätzergebnis der Position des Straßenrandes in dem Nichterfassungsabschnitt oder Informationen, welche angeben, dass keine Interpolation ausgeführt wird.
Die Kartenaktualisierungseinheit 46 fügt die Position eines individuellen Straßenrandes, welcher in dem vorbestimmten Abschnitt geschätzt oder interpoliert wird, zu zu erzeugenden oder zu aktualisierenden Karteninformationen hinzu, oder überschreibt die Position in den Karteninformationen. Mit Bezug auf einen Nichterfassungsabschnitt, in welchem bestimmt wird, dass die Straße eine Struktur ohne einen Rand aufweist, fügt die Kartenaktualisierungseinheit 46 die Position eines Randes nicht zu den Karteninformationen hinzu. Dies verhindert, dass die Position eines Straßenrandes in einem Abschnitt ohne einen Straßenrand fehlerhaft zu Karteninformationen hinzugefügt wird. Die Kartenaktualisierungseinheit 46 kann ferner den Typ und die Position eines in dem vorbestimmten Abschnitt erfassten Merkmals zu den Karteninformationen hinzufügen oder diese in den Karteninformationen überschreiben.
7 ist ein Betriebs-Flussdiagramm des Straßenrand-Schätzprozesses durch den Server 3. Wenn Merkmalsdaten und Fahrinformationen von dem Fahrzeug 2 mit Bezug auf einen vorbestimmten Abschnitt in einem Sammel-Zielbereich empfangen werden, führt der Prozessor 34 des Servers 3 den Straßenrand-Schätzprozess gemäß dem nachstehend beschriebenen Betriebs-Flussdiagramm aus.
Die Trajektorien-Schätzeinheit 41 des Prozessors 34 schätzt die Trajektorie des Fahrzeugs 2 in dem vorbestimmten Abschnitt (Schritt S101). Die Positionsschätzeinheit 42 des Prozessors 34 erfasst einen Straßenrand in dem vorbestimmten Abschnitt aus jedem einer Reihe von Bildern, welche von der Kamera 11 während einer Fahrt des Fahrzeugs 2 durch den vorbestimmten Abschnitt erzeugt werden. Die Positionsschätzeinheit 42 schätzt dann die Position des Randes aus einem Bild, in dem der Rand erfasst wird (Schritt S102). Die Abschnittsidentifikationseinheit 43 des Prozessors 34 identifiziert einen von dem Fahrzeug 2 befahrenen Abschnitt bei der Erzeugung eines Bildes, in dem kein Straßenrand erfasst wird, als einen Nichterfassungsabschnitt (Schritt S103).
Die Straßenstruktur-Bestimmungseinheit 44 des Prozessors 34 bestimmt, ob die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist (Schritt S 104). Wenn die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist (Ja in Schritt S104), führt die Straßenrand-Schätzeinheit 45 des Prozessors 34 einen Interpolationsprozess basierend auf den Positionen des Straßenrandes in den Abschnitten vor und hinter dem Nichterfassungsabschnitt entlang der Trajektorie aus. Auf diese Art und Weise schätzt die Straßenrand-Schätzeinheit 45 die Position des Straßenrandes in dem Nichterfassungsabschnitt (Schritt S105).
Wenn die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist (Nein in Schritt S104), unterlässt die Straßenrand-Schätzeinheit 45 die Schätzung der Position des Straßenrandes in dem Nichterfassungsabschnitt und bestimmt, dass der Straßenrand nicht vorliegt (Schritt S106). Nach Schritt S 105 oder S 106 beendet der Prozessor 34 den Straßenrand-Schätzprozess.
Wie vorstehend beschrieben, identifiziert die Vorrichtung zum Schätzen eines Straßenrandes einen von dem Fahrzeug befahrenen Abschnitt bei der Erzeugung eines Bildes, in dem kein Straßenrand erfasst wird, als einen Nichterfassungsabschnitt. Die Vorrichtung bestimmt dann, ob die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist, auf der Grundlage des Bildes, in dem kein Straßenrand erfasst wird, der Position des Fahrzeugs bei der Erzeugung des Bildes oder der Bewegung des Fahrzeugs in dem Nichterfassungsabschnitt. Wenn die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist, schätzt die Vorrichtung die Position des Straßenrandes in dem Nichterfassungsabschnitt durch eine Interpolation auf der Grundlage der Positionen des Straßenrandes vor und hinter dem befahrenen Abschnitt entlang der Trajektorie des Fahrzeugs. Wenn die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, nimmt die Vorrichtung die Schätzung der Position des Straßenrandes in dem Nichterfassungsabschnitt nicht vor. Aus diesem Grund kann die Vorrichtung das Einstellen einer fehlerhaft geschätzten Position eines Straßenrandes für eine Stelle ohne einen Straßenrand verhindern. Mit Bezug auf einen Straßenrand in einem Abschnitt, welcher aus irgendeinem Grund nicht in einem Bild dargestellt ist, kann die Vorrichtung die Position des Straßenrandes auf der Grundlage der Positionen des Straßenrandes in dem nächsten und dem vorherigen Abschnitt geeignet abschätzen. Somit kann die Vorrichtung die Position eines Straßenrandes an einer Stelle, welche von einer auf einem Fahrzeug montierten Kamera nicht gesehen bzw. erfasst werden kann, geeignet abschätzen.
Gemäß einem modifizierten Beispiel kann der Prozessor 23 der Datenerlangungsvorrichtung 15 anstelle des Prozessors 34 des Servers 3 den Straßenrand-Schätzprozess ausführen. In diesem Fall überträgt die Datenerlangungsvorrichtung 15 Informationen, welche das Schätzergebnis eines Straßenrandes angeben, über das Drahtlos-Kommunikationsendgerät 14 an den Server 3. Alternativ kann die ECU des Fahrzeugs 2 den Straßenrand-Schätzprozess ausführen. In diesem Fall kann die ECU das Fahrzeug 2 auf der Grundlage einer geschätzten Position des Straßenrandes so steuern, dass das Fahrzeug 2 mit einem bestimmten Abstand von einem Straßenrand fährt, welcher beibehalten wird.
Das Computerprogramm zum Veranlassen eines Computers, die Funktionen der in dem Prozessor der Vorrichtung zum Schätzen eines Straßenrandes gemäß der Ausführungsform oder modifizierten Beispielen umfassten Einheiten zu erreichen, kann in einer auf einem computerlesbaren Medium aufgezeichneten Form bereitgestellt sein. Das computerlesbare Medium kann beispielsweise ein magnetisches Medium, ein optisches Medium oder ein Halbleiterspeicher sein.
Wie vorstehend beschrieben, kann der Fachmann verschiedene Modifikationen gemäß Ausführungsformen innerhalb des Schutzumfangs der vorliegenden Erfindung vornehmen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 201883563 A [0002]

Claims

Vorrichtung zum Schätzen eines Straßenrandes, aufweisend: eine Trajektorien-Schätzeinheit, welche eine Trajektorie eines Fahrzeugs auf der Grundlage eines Sensorsignals, welches von einem auf dem Fahrzeug montierten Sensor zum Erfassen einer Bewegung des Fahrzeugs erhalten wird, oder der Position des Fahrzeugs, welche von einer auf dem Fahrzeug montierten Positionsbestimmungsvorrichtung bestimmt wird, abschätzt; eine Positionsschätzeinheit, welche die Position eines Randes einer von dem Fahrzeug befahrenen Straße auf der Grundlage eines den Rand der Straße darstellenden Bildes abschätzt, wobei das Bild einem aus Bildern entspricht, welche während einer Fahrt des Fahrzeugs von einer auf dem Fahrzeug montierten Kamera erzeugt werden; eine Abschnittsidentifikationseinheit, welche einen von dem Fahrzeug befahrenen Nichterfassungsabschnitt identifiziert, wenn ein Bild aus den Bildern erzeugt wird, in dem der Rand der Straße nicht erfasst wird; eine Straßenstruktur-Bestimmungseinheit, welche auf der Grundlage der Position des Fahrzeugs bei der Erzeugung des Bildes in dem Nichterfassungsabschnitt, des in dem Nichterfassungsabschnitt erzeugten Bildes oder der Bewegung des Fahrzeugs bei der Trajektorie entsprechend dem Nichterfassungsabschnitt bestimmt, ob die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist; und eine Straßenrand-Schätzeinheit, welche die Position des Randes der Straße in dem Nichterfassungsabschnitt durch eine Interpolation auf der Grundlage der Positionen des Randes der Straße vor und hinter dem Nichterfassungsabschnitt entlang der Trajektorie abschätzt, wenn die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist, und die Schätzung der Position des Randes der Straße in dem Nichterfassungsabschnitt nicht vornimmt, wenn die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist.
Vorrichtung nach Anspruch 1, wobei die Straßenstruktur-Bestimmungseinheit ein weiteres Fahrzeug in der Richtung ausgehend von dem Fahrzeug hin zu dem Rand der Straße vor oder hinter dem Nichterfassungsabschnitt aus dem in dem Nichterfassungsabschnitt erzeugten Bild erfasst, den Abstand von dem Fahrzeug zu dem erfassten Fahrzeug abschätzt und bestimmt, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, wenn der geschätzte Abstand zu dem erfassten Fahrzeug größer ist als der Abstand von dem Fahrzeug zu dem Rand der Straße vor oder hinter dem Nichterfassungsabschnitt.
Vorrichtung nach Anspruch 1, ferner mit einer Speichereinheit, die Karteninformationen speichert, welche die Struktur der Straße in dem Nichterfassungsabschnitt darstellen, wobei die Straßenstruktur-Bestimmungseinheit bestimmt, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, wenn in den Karteninformationen ein Raum außerhalb der von dem Fahrzeug in dem Nichterfassungsabschnitt befahrenen Straße dargestellt ist, in den das Fahrzeug einfahren darf.
Vorrichtung nach Anspruch 1, wobei die Straßenstruktur-Bestimmungseinheit bestimmt, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, wenn die Trajektorie angibt, dass das Fahrzeug für eine vorbestimmte Zeitdauer oder länger in dem Nichterfassungsabschnitt oder dem dem Nichterfassungsabschnitt unmittelbar vorausgehenden Abschnitt angehalten hat, während ein Zündschalter angeschaltet blieb.
Vorrichtung nach Anspruch 1, wobei die Straßenstruktur-Bestimmungseinheit bestimmt, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, wenn die Fahrtrichtung des Fahrzeugs in dem Nichterfassungsabschnitt um einen vorbestimmten Winkel oder mehr von der Fahrtrichtung des Fahrzeugs in dem dem Nichterfassungsabschnitt unmittelbar vorausgehenden Abschnitt abweicht.
Vorrichtung nach Anspruch 1, wobei die Straßenstruktur-Bestimmungseinheit bestimmt, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, wenn die durch die Trajektorie angegebene Position des Fahrzeugs in dem Nichterfassungsabschnitt weiter von der Straße entfernt liegt als eine Linie, welche die Positionen des Randes der Straße in den Abschnitten vor und hinter dem Nichterfassungsabschnitt verbindet.
Vorrichtung nach Anspruch 1, wobei die Straßenstruktur-Bestimmungseinheit bestimmt, dass die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist, wenn eine Ampel, eine Haltelinie oder ein Fußgängerüberweg aus dem in dem Nichterfassungsabschnitt erzeugten Bild erfasst ist.
Verfahren zum Schätzen eines Straßenrandes, aufweisend: Abschätzen einer Trajektorie eines Fahrzeugs auf der Grundlage eines Sensorsignals, welches von einem auf dem Fahrzeug montierten Sensor zum Erfassen einer Bewegung des Fahrzeugs erhalten wird, oder der Position des Fahrzeugs, welche von einer auf dem Fahrzeug montierten Positionsbestimmungsvorrichtung bestimmt wird; Abschätzen der Position eines Randes einer von dem Fahrzeug befahrenen Straße auf der Grundlage eines den Rand der Straße darstellenden Bildes, wobei das Bild einem aus Bildern entspricht, welche während einer Fahrt des Fahrzeugs von einer auf dem Fahrzeug montierten Kamera erzeugt werden; Identifizieren eines von dem Fahrzeug befahrenen Nichterfassungsabschnitts, wenn ein Bild aus den Bildern erzeugt wird, in dem der Rand der Straße nicht erfasst wird; Bestimmen, ob die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist, auf der Grundlage der Position des Fahrzeugs bei der Erzeugung des Bildes in dem Nichterfassungsabschnitt, des in dem Nichterfassungsabschnitt erzeugten Bildes oder der Bewegung des Fahrzeugs bei der Trajektorie entsprechend dem Nichterfassungsabschnitt; Abschätzen der Position des Randes der Straße in dem Nichterfassungsabschnitt durch eine Interpolation auf der Grundlage der Positionen des Randes der Straße vor und hinter dem Nichterfassungsabschnitt entlang der Trajektorie, wenn die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist; und Weglassen der Abschätzung der Position des Randes der Straße in dem Nichterfassungsabschnitt, wenn die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist.
Computerprogramm zum Schätzen eines Straßenrandes, wobei das Computerprogramm einen Computer veranlasst, einen Prozess auszuführen, welcher aufweist: Abschätzen einer Trajektorie eines Fahrzeugs auf der Grundlage eines Sensorsignals, welches von einem auf dem Fahrzeug montierten Sensor zum Erfassen einer Bewegung des Fahrzeugs erhalten wird, oder der Position des Fahrzeugs, welche von einer auf dem Fahrzeug montierten Positionsbestimmungsvorrichtung bestimmt wird; Abschätzen der Position eines Randes einer von dem Fahrzeug befahrenen Straße auf der Grundlage eines den Rand der Straße darstellenden Bildes, wobei das Bild einem aus Bildern entspricht, welche während einer Fahrt des Fahrzeugs von einer auf dem Fahrzeug montierten Kamera erzeugt werden; Identifizieren eines von dem Fahrzeug befahrenen Nichterfassungsabschnitts, wenn ein Bild aus den Bildern erzeugt wird, in dem der Rand der Straße nicht erfasst wird; Bestimmen, ob die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist, auf der Grundlage der Position des Fahrzeugs bei der Erzeugung des Bildes in dem Nichterfassungsabschnitt, des in dem Nichterfassungsabschnitt erzeugten Bildes oder der Bewegung des Fahrzeugs bei der Trajektorie entsprechend dem Nichterfassungsabschnitt; Abschätzen der Position des Randes der Straße in dem Nichterfassungsabschnitt durch eine Interpolation auf der Grundlage der Positionen des Randes der Straße vor und hinter dem Nichterfassungsabschnitt entlang der Trajektorie, wenn die Straße in dem Nichterfassungsabschnitt eine Struktur mit einem Rand aufweist; und Weglassen der Abschätzung der Position des Randes der Straße in dem Nichterfassungsabschnitt, wenn die Straße in dem Nichterfassungsabschnitt eine Struktur ohne einen Rand aufweist.