DE112019001542T5

DE112019001542T5 - Positionsschätzvorrichtung

Info

Publication number: DE112019001542T5
Application number: DE112019001542.7T
Authority: DE
Inventors: Alex Masuo KANEKO; Kenjiro Yamamoto; Shigenori Hayase
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-04-27
Filing date: 2019-03-29
Publication date: 2020-12-10
Also published as: JP2019191133A; US20210256260A1; JP7190261B2; WO2019208101A1; US11538241B2

Abstract

Es wird ein Positionsschätzvorrichtung geschaffen, die zu einer hochgradig genauen Positionsschätzung imstande ist. Eine Positionsschätzvorrichtung 1 der vorliegenden Erfindung ist die Positionsschätzvorrichtung 1, die eine aktuelle Position eines sich bewegenden Objekts 100, das mit einer Bildgebungsvorrichtung 12 ausgerüstet ist, schätzt, die aktuelle Position des sich bewegenden Objekts 100 schätzt, mehrere virtuelle Positionen basierend auf der aktuellen Position erzeugt, jeweils virtuelle Bilder an den mehreren virtuellen Positionen erzeugt, die mehreren virtuellen Bilder mit einem tatsächlichen Bild vergleicht, um einen Vergleichsfehler zu berechnen, ein Gewicht basierend auf von wenigstens einer der durch die Bildgebungsvorrichtung 12 erfassten Informationen und der Informationen über einen Fehler der aktuellen Position des sich bewegenden Objekts berechnet, eine Gewichtung an dem Vergleichsfehler unter Verwendung des Gewichts ausführt und die aktuelle Position basierend auf dem zu gewichtenden Vergleichsfehler korrigiert.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Technik zum Schätzen einer Position eines sich bewegenden Objekts, wie z. B. eines Roboters oder eines Autos.
Technischer Hintergrund
Es sind eine Technik des autonomen Fahrens und eine Fahrunterstützungstechnik entwickelt worden, bei denen ein sich bewegendes Objekt, wie z. B. ein Roboter und ein Auto, Informationen um das sich bewegende Objekt sammelt, eine aktuelle Position und einen Fahrzustand des sich bewegenden Objekts schätzt und das Fahren des sich bewegenden Objekts steuert. Es werden verschiedene Sensoren verwendet, um die Informationen um das sich bewegende Objekt zu detektieren. Im Allgemeinen enthalten die Sensoren zum Messen von Umgebungsinformationen Bildgebungsvorrichtungen, wie z. B. eine Kamera, Lasersensoren und Millimeterwellenradare. Ein globales Positionierungssystem (GPS) oder eine Trägheitsmesseinheit (IMU) wird als ein Sensor zum Messen einer Position eines sich bewegenden Objekts verwendet.
Bei der Steuerung des autonomen Fahrens schätzt eine an einem sich bewegenden Objekt angebrachte Steuervorrichtung durch Integrieren der durch die IMU berechneten Geschwindigkeit oder Winkelgeschwindigkeit des sich bewegenden Objekts oder unter Verwendung der GPS-Positionierung eine Position des sich bewegenden Objekts selbst (Selbstpositionierung). Wenn es weder Karteninformationen noch irgendeinen Orientierungspunkt gibt und sogar das GPS nicht verfügbar ist, wird ein Verfahren zur simultanen Positionsbestimmung und Kartenerstellung (SLAM) verwendet, um eine Karte einer Fahrumgebung zu erzeugen, während eine relative Position eines um das sich bewegende Objekt vorhandenen Objekts geschätzt wird. Weil ein Fehler der durch die SLAM geschätzten relativen Position akkumuliert wird, ist eine Positionskorrektur wesentlich. Für die Positionskorrektur sammelt z. B. eine Steuervorrichtung mit einem Lasersensor, einer Kamera oder dergleichen Umgebungsinformationen, wobei sie eine Position oder eine Form eines dreidimensionalen Objekts, die als Referenz für die Positionsschätzung dient, detektiert. Dann wird eine aktuelle Position des sich bewegenden Objekts durch das Vergleichen der detektierten Position des dreidimensionalen Objekts mit Karteninformationen (Kartenabgleich) korrigiert. Falls ein Fehler der detektierten Position des dreidimensionalen Objekts groß ist, ist es deshalb schwierig, die Position des sich bewegenden Objekts zu korrigieren. Wenn ein Positionsfehler bereits vor der Korrektur groß ist, ist es zusätzlich schwierig, die aktuelle Position zu korrigieren, selbst wenn der Kartenabgleich ausgeführt wird.
Hier werden z. B.in der NPL 1 mehrere virtuelle aktuelle Positionen erzeugt und werden ein virtuelles Intensitätsbild und ein virtuelles Parallaxenbild unter Verwendung jeder der virtuellen Positionen, der Karteninformationen, der internen und der externen Parameter eines Sensors erzeugt, um eine genaue aktuelle Position abzuschätzen. Das erzeugte virtuelle Intensitätsbild und das erzeugte virtuelle Parallaxenbild werden mit dem tatsächlich erfassten Intensitätsbild und dem tatsächlich erfassten Parallaxenbild abgeglichen, wobei durch das Zuweisen eines festen Gewichts zu einem Abgleichergebnis für jedes des Intensitätsbilds und des Parallaxenbilds ein Abgleichfehler berechnet wird. Eine virtuelle Position mit dem kleinsten Abgleichfehler wird als die aktuelle Position festgelegt.
Liste der Entgegenhaltungen
Patentliteratur
NPL 1: Yuquan Xu, u. a., 3D point group Map Based Vehicle Localization Using Stereo Camera. 2017 IEEE Intelligent Vehicles Symposium. USA.
Zusammenfassung der Erfindung
Technisches Problem
Das feste Gewicht wird dem Abgleichergebnis des Intensitätsbildes und dem Abgleichergebnis des Parallaxenbildes zum Zeitpunkt des Berechnens des Abgleichfehlers von jeder virtuellen Position wie in der NPL 1 zugewiesen, wobei folglich die Zuverlässigkeit der durch eine Bildgebungsvorrichtung erfassten Informationen aufgrund der Helligkeit einer Fahrumgebung oder eines Eichfehlers der Bildgebungsvorrichtung verringert ist, so dass die durch das Abgleichen geschätzte Genauigkeit der aktuellen Position gering wird.
Die vorliegende Erfindung ist im Hinblick auf die obigen Punkte gemacht worden, wobei es ihre Aufgabe ist, eine Positionsschätzvorrichtung zu schaffen, die eine hochgradig genaue Positionsschätzung ausführen kann.
Lösung des Problems
Um das obige Problem zu lösen, ist eine Positionsschätzvorrichtung der vorliegenden Erfindung eine Positionsschätzvorrichtung, die eine aktuelle Position eines sich bewegenden Objekts schätzt, das mit einer Bildgebungsvorrichtung ausgerüstet ist, wobei die Bildgebungsvorrichtung an dem sich bewegenden Objekt angebracht ist,
wobei die Positionsschätzvorrichtung enthält:

Mittel zum Schätzen der aktuellen Position zum Schätzen der aktuellen Position des sich bewegenden Objekts;
Mittel zum Erzeugen virtueller Positionen zum Erzeugen mehrerer virtueller Positionen basierend auf der durch die Mittel zum Schätzen der aktuellen Position geschätzten aktuellen Position;
Mittel zum Erzeugen virtueller Bilder zum Erzeugen jedes von mehreren virtuellen Bildern, wenn angenommen wird, dass die Bildgebung an den mehreren virtuellen Positionen durch die Bildgebungsvorrichtung ausgeführt wird;
Bildabgleichmittel zum Vergleichen der mehreren virtuellen Bilder mit einem Bild, das an der aktuellen Position durch die Bildgebungsvorrichtung aufgenommen wurde, um jeden der Vergleichsfehler zu berechnen;
Gewichtungsmittel zum Berechnen eines Gewichts basierend auf wenigstens einer der durch die Bildgebungsvorrichtung erfassten Informationen und der Informationen über einen Fehler der aktuellen Position des sich bewegenden Objekts, die durch die Mittel zum Schätzen der aktuellen Position erhalten werden, und zum Gewichten jedes der Vergleichsfehler unter Verwendung des Gewichts; und
Positionskorrekturmittel zum Korrigieren der durch die Mittel zum Schätzen der aktuellen Position geschätzten aktuellen Position basierend auf jedem der zu gewichtenden Vergleichsfehler.

Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Erfindung ist ein hochgradig genauer Abgleich gemäß einer Fahrsituation sogar in einer Situation möglich, in der ein Abgleich durch Bilder schwierig ist, wie z. B. in einem Fall, in dem der Regen oder das Sonnenlicht stark ist (Gegenlicht, strahlend, Reflexion), und in einem Fall, in dem ein Eichfehler einer Bildgebungsvorrichtung groß ist.
Eine weitere Eigenschaft bezüglich der vorliegenden Erfindung wird aus der Beschreibung der vorliegenden Beschreibung und den beigefügten Zeichnungen offensichtlich. Zusätzlich werden andere Aufgaben, Konfigurationen und Wirkungen aus der folgenden Beschreibung der Ausführungsformen offensichtlich.
Figurenliste

1 ist ein Konfigurationsdiagramm einer Positionsschätzvorrichtung eines sich bewegenden Objekts gemäß einer Ausführungsform der vorliegenden Erfindung.
2 ist ein Ablaufplan, der eine Bildverarbeitungsprozedur veranschaulicht, die durch eine Bildverarbeitungseinheit ausgeführt wird.
3 ist eine Ansicht, die ein Beispiel eines Verfahrens zum Erzeugen virtueller Positionen veranschaulicht.
4 ist eine Ansicht, die ein Beispiel eines Verfahrens zum Erzeugen virtueller Bilder veranschaulicht.
5A ist eine Ansicht, die ein Beispiel eines Verfahrens zum Berechnen eines Gewichts basierend auf einem Eichfehler veranschaulicht.
5B ist eine Ansicht, die ein Beispiel eines Verfahrens zum Berechnen eines Gewichts basierend auf einem Fehler eines Parallaxenbildes veranschaulicht.
5C ist eine Ansicht, die ein Verfahren zum Berechnen eines Gewichts basierend auf einer Bildintensität veranschaulicht.
5D ist eine Ansicht, die ein Verfahren zum Berechnen eines Gewichts basierend auf einer Bildauflösung veranschaulicht.
5E ist eine Ansicht, die ein Verfahren zum Berechnen eines Gewichts basierend auf einem Merkmalspunkt veranschaulicht.
6 ist eine Ansicht, die ein Beispiel eines Bildabgleichverfahrens veranschaulicht.
7A ist eine Ansicht, die ein Beispiel der vorliegenden Erfindung veranschaulicht.
7B ist eine Ansicht, die ein Beispiel der vorliegenden Erfindung veranschaulicht.
8 ist eine Veranschaulichung eines anomalen Falles.
9 ist eine Veranschaulichung des Einflusses eines Hindernisses und einer Gegenmaßnahme.

Beschreibung der Ausführungsformen
Im Folgenden wird eine Positionsschätzvorrichtung eines sich bewegenden Objekts gemäß einer Ausführungsform der vorliegenden Erfindung bezüglich der Zeichnungen beschrieben.
1 ist ein Konfigurationsdiagramm einer Positionsschätzvorrichtung 1 gemäß einer Ausführungsform der vorliegenden Erfindung.
Die Positionsschätzvorrichtung 1 schätzt deine aktuelle Position eines sich bewegenden Objekts, das mit einer Bildgebungsvorrichtung ausgerüstet ist, und ist an einem sich bewegenden Objekt 100, wie z. B. einem Auto und einem Roboter, angebracht. Die Positionsschätzvorrichtung 1 enthält eine oder mehrere Bildgebungsvorrichtungen 12 (12a, 12b, ... und 12n) und eine Informationsverarbeitungsvorrichtung 13. Die Bildgebungsvorrichtung 12 ist z. B. eine Standbildkamera oder eine Videokamera. Zusätzlich kann die Bildgebungsvorrichtung 12 eine monokulare Kamera oder eine Facettenaugenkamera sein.
Die Informationsverarbeitungsvorrichtung 13 verarbeitet ein durch die Bildgebungsvorrichtung 12 aufgenommenes Bild, um eine Position oder einen Bewegungsbetrag des sich bewegenden Objekts 100 zu berechnen. Die Informationsverarbeitungsvorrichtung 13 kann eine Anzeige gemäß der berechneten Position oder des Bewegungsbetrags ausführen oder kann ein auf die Steuerung des sich bewegenden Objekts 100 bezogenes Signal ausgeben.
Die Informationsverarbeitungsvorrichtung 13 ist z. B. ein allgemeiner Computer und enthält: eine Bildverarbeitungseinheit 14, die ein durch die Bildgebungsvorrichtung 12 aufgenommenes Bild verarbeitet; eine Steuereinheit (CPU) 15, die eine Verarbeitung basierend auf einem Bildverarbeitungsergebnis ausführt; einen Speicher 16; eine Anzeigeeinheit 17, wie z. B. eine Anzeige; und einen Bus 18, der diese Komponenten miteinander verbindet. Die Informationsverarbeitungsvorrichtung 13 führt die folgende Verarbeitung aus, während die Bildverarbeitungseinheit 14 und die Steuereinheit 15 ein vorgegebenes Computerprogramm ausführen.
Die Bildgebungsvorrichtung 12a ist z. B. vor dem sich bewegenden Objekt 100 installiert. Ein Objektiv der Bildgebungsvorrichtung 12a ist der Vorderseite des sich bewegenden Objekts 100 zugewandt. Die Bildgebungsvorrichtung 12a bildet z. B. eine Fernansicht vor dem sich bewegenden Objekt 100 ab. Die andere Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n sind an anderen Positionen als die Bildgebungsvorrichtung 12a installiert und bilden die Bildgebungsrichtungen oder -bereiche ab, die von denen der Bildgebungsvorrichtung 12a verschieden sind. Die Bildgebungsvorrichtung 12b kann z. B. auf der Rückseite des sich bewegenden Objekts 100 installiert sein, so dass sie der Unterseite zugewandt ist. Die Bildgebungsvorrichtung 12b kann eine Nahansicht auf der Rückseite des sich bewegenden Objekts 100 aufnehmen.
Falls die Bildgebungsvorrichtung 12 eine monokulare Kamera ist und eine Straßenoberfläche eben ist, kann ein Abstand von der Bildgebungsvorrichtung 12 zu einem Merkmalspunkt geometrisch berechnet werden, weil die Pixelposition auf dem Bild und eine tatsächliche Bodenpositionsbeziehung (x, y) konstant sind. Wenn die Bildgebungsvorrichtung 12 eine Stereokamera ist, kann ein Abstand zu einem Merkmalspunkt in einem Bild genauer gemessen werden. Obwohl in der folgenden Beschreibung ein Beispiel beschrieben wird, in dem eine Kamera mit einem monokularen Standardobjektiv angewendet wird, kann eine andere Kamera als diese (eine Kamera mit einem Weitwinkelobjektiv oder eine Stereokamera) angewendet werden.
Zusätzlich können die durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n zu einem bestimmten Zeitpunkt abzubildenden Objekte voneinander verschieden sein. Die Bildgebungsvorrichtung 12a kann z. B. eine Fernansicht vor dem sich bewegenden Objekt 100 abbilden. In diesem Fall kann ein Merkmalspunkt, wie z. B. ein dreidimensionales Objekt und ein Orientierungspunkt, zur Positionsschätzung aus dem Bild der Fernansicht extrahiert werden. Die Bildgebungsvorrichtung 12b kann eine Nahansicht, wie z. B. eine Straßenoberfläche um das sich bewegende Objekt 100, abbilden. In diesem Fall kann aus dem Bild der Nahansicht eine weiße Linie um das sich bewegende Objekt 100, eine Straßenoberflächenfarbe und dergleichen detektiert werden.
Zusätzlich können die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n am sich bewegenden Objekt 100 unter einer Bedingung installiert sein, dass diese Bildgebungsvorrichtungen nicht gleichzeitig durch Umgebungsstörungen, wie z. B. Regen und Sonnenlicht, beeinträchtigt werden. Die Bildgebungsvorrichtung 12a kann z. B. so installiert sein, dass sie der Vorderseite vor dem sich bewegenden Objekt 100 zugewandt ist, während die Bildgebungsvorrichtung 12b so installiert sein kann, dass sie der Rückseite oder der Unterseite an der Rückseite des sich bewegenden Objekts 100 zugewandt ist. Im Ergebnis ist es schwierig, dass Regentropfen an einem Objektiv der Bildgebungsvorrichtung 12b, die der entgegengesetzten Richtung in Vorwärtsrichtung oder der Unterseite zugewandt ist, anhaften, selbst wenn z. B. Regentropfen während des Regens am Objektiv der Bildgebungsvorrichtung 12a anhaften. Deshalb ist es weniger wahrscheinlich, dass ein mit der Bildgebungsvorrichtung 12b aufgenommenes Bild durch Regentropfen beeinträchtigt wird, selbst wenn ein durch die Bildgebungsvorrichtung 12a aufgenommenes Bild aufgrund des Einflusses von Regentropfen undeutlich ist. Selbst wenn ein Bild der Bildgebungsvorrichtung 12a aufgrund des Einflusses von Sonnenlicht undeutlich ist, ist es alternativ wahrscheinlich, dass ein durch die Bildgebungsvorrichtung 12b aufgenommenes Bild deutlich ist.
Zusätzlich können die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b , ... und die Bildgebungsvorrichtung 12n ein Bild unter wechselseitig verschiedenen Bildgebungsbedingungen (einem Blendenwert, Weißabgleich und dergleichen) aufnehmen. Die Bildgebung kann z. B. ungeachtet dessen, ob eine Umgebung hell oder dunkel ist, durch das Anbringen einer Bildgebungsvorrichtung mit für einen hellen Ort eingestellten Parametern und einer Bildgebungsvorrichtung mit für einen dunklen Ort eingestellten Parametern möglich sein.
Die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n nehmen ein Bild auf, wenn sie von der Steuereinheit 15 einen Befehl empfangen, das Aufnehmen zu beginnen, oder in regelmäßigen Zeitintervallen. Die Daten und der Aufnahmezeitpunkt des aufgenommenen Bildes werden im Speicher 16 gespeichert. Der Speicher 16 enthält eine Hauptspeichervorrichtung (einen Hauptspeicher) der Informationsverarbeitungsvorrichtung 13 und eine Hilfsspeichereinrichtung, wie z. B. einen Speicher.
Die Bildverarbeitungseinheit 14 führt verschiedene Typen der Bildverarbeitung basierend auf den Bilddaten und dem Aufnahmezeitpunkt, die im Speicher 16 gespeichert sind, aus. Bei dieser Bildverarbeitung wird z. B. ein Zwischenbild erzeugt und im Speicher 16 gespeichert. Das Zwischenbild kann nicht nur für die Verarbeitung durch die Bildverarbeitungseinheit 14, sondern außerdem für die Bestimmung und Verarbeitung durch die Steuereinheit 15 und dergleichen verwendet werden.
Der Bus 18 kann unter Verwendung eines Zwischengerätebusses (IEBUS), eines lokalen Zusammenschaltungsnetzes (LIN), eines Controller-Bereichsnetzes (CAN) oder dergleichen konfiguriert sein.
Die Karte 19 weist Informationen über eine Umgebung auf, in der das sich bewegende Objekt 100 fährt, (ein Umgebungsinformationsspeichermittel). Die Karte 19 speichert z. B. Informationen über Formen und Positionen stationärer Objekte (Bäume, Gebäude, Straßen, Fahrspuren, Signale, Schilder, Straßenoberflächenfarben, Straßenränder und dergleichen), die in einer Fahrumgebung vorhanden sind. Jeder Teil der Informationen in der Karte 19 kann durch einen mathematischen Ausdruck dargestellt sein. Linieninformationen können z. B. nur eine Steigung und einen Achsenabschnitt einer Linie enthalten, ohne aus mehreren Punkten ausgebildet zu sein. Zusätzlich können die Informationen in der Karte 19 durch eine Punktgruppe ohne Unterscheidung dargestellt sein. Die Punktgruppe kann durch 3D(x, y, z) und 4D(x, y, z, Farbe) oder dergleichen dargestellt sein. Schließlich können die Informationen der Karte 19 in irgendeiner Form bereitgestellt sein, falls die Fahrumgebung aus der aktuellen Position des sich bewegenden Objekts 100 detektiert wird und der Kartenabgleich möglich ist.
Die Bildverarbeitungseinheit 14 projiziert basierend auf der aktuellen Position des sich bewegenden Objekts 100 und den internen Parametern der Bildgebungsvorrichtung 12, die in der Karte 19 und dem Speicher 16 gespeichert sind, die Karteninformationen auf ein durch die Bildgebungsvorrichtung 12 aufgenommenes Bild. Die Bildverarbeitungseinheit 14 identifiziert mehrere Positionskandidaten des sich bewegenden Objekts 100 basierend auf dem durch die Bildgebungsvorrichtung 12 aufgenommenen Bild und schätzt eine Position des sich bewegenden Objekts 100 basierend auf den mehreren Positionskandidaten und der Bewegungsgeschwindigkeit des sich bewegenden Objekts 100.
Die Bildverarbeitungseinheit 14 verarbeitet das durch die Bildgebungsvorrichtung 12 z. B. während des Fahrens des sich bewegenden Objekts 100 aufgenommene Bild, um die Position des sich bewegenden Objekts 100 zu schätzen. Die Bildverarbeitungseinheit 14 berechnet z. B. einen Bewegungsbetrag des sich bewegenden Objekts 100 unter Verwendung eines durch die Bildgebungsvorrichtung 12 aufgenommenen Videobildes und addiert den Bewegungsbetrag zu einer früheren Position, um eine aktuelle Position zu schätzen. Die Bildverarbeitungseinheit 14 kann aus jedem Rahmenbild des Videobildes einen Merkmalspunkt extrahieren. Die Bildverarbeitungseinheit 14 extrahiert ferner denselben Merkmalspunkt in den nachfolgenden Rahmenbildern. Dann berechnet die Bildverarbeitungseinheit 14 durch das Verfolgen der Merkmalspunkte den Bewegungsbetrag des sich bewegenden Objekts 100.
Die Steuereinheit 15 kann basierend auf einem Ergebnis der Bildverarbeitung der Bildverarbeitungseinheit 14 einen Befehl hinsichtlich der Bewegungsgeschwindigkeit an das sich bewegende Objekt 100 ausgeben. Die Steuereinheit 15 kann z. B. abhängig von der Anzahl der Pixel eines dreidimensionalen Objekts im Bild, der Anzahl der Ausreißerwerte unter den Merkmalspunkten im Bild, einem Typ der Bildverarbeitung oder dergleichen einen Befehl zum Erhöhen, einen Befehl zum Verringern oder einen Befehl zum Aufrechterhalten der Bewegungsgeschwindigkeit des sich bewegenden Objekts 100 ausgeben.
2 ist ein Ablaufplan, der eine durch die Bildverarbeitungseinheit 14 ausgeführte Bildverarbeitungsprozedur veranschaulicht.
Die Mittel 201 zum Schätzen der aktuellen Position sind Mittel zum Schätzen einer aktuellen Position des sich bewegenden Objekts 100. Die Mittel 201 zum Schätzen der aktuellen Position sind z. B. unter Verwendung eines GPS konfiguriert wird, das eine absolute Position schätzt. Zusätzlich können die Mittel 201 zum Schätzen der aktuellen Position durch Odometrie konfiguriert sein, die eine relative Position von einem bestimmten Referenzpunkt schätzt. Obwohl bei dem oben beschriebenen Positionsschätzverfahren basierend auf dem GPS oder der Odometrie ein Positionsfehler auftritt, wird der Positionsfehler durch die Positionskorrekturmittel 211 korrigiert, was später beschrieben wird.
Die Umgebungsinformation-Extraktionsmittel 202 sind Mittel zum Extrahieren von Umgebungsinformationen über die Peripherie des sich bewegenden Objekts 100, die durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n, die an dem sich bewegenden Objekt 100 angebracht sind, erfasst werden. Die Umgebungsinformation-Extraktionsmittel 202 erfassen ein Graustufenbild oder ein Farbbild der Peripherie des sich bewegenden Objekts 100, das durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n abgebildet wird. Zusätzlich kann ein Parallaxenbild, das aus dem durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n aufgenommenen Bild erzeugt wird, erfasst werden. Dann können die Informationen über die Merkmalspunkte in dem durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n aufgenommenen Bild erfasst werden.
Zusätzlich können die Linieninformationen in dem durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n aufgenommenen Bild erfasst werden.
Die Mittel 203 zum Erzeugen virtueller Positionen sind Mittel zum Erzeugen einer virtuellen Position basierend auf der durch die Mittel 201 zum Schätzen der aktuellen Position geschätzten aktuellen Position. Die Anzahl der virtuellen Positionen, die durch die Mittel 203 zum Erzeugen virtueller Positionen erzeugt werden, ist eine oder mehrere, wobei die Anzahl kein fester Wert ist und in Reaktion auf die Fahrumgebung geändert wird. Die Einzelheiten der Mittel 203 zum Erzeugen virtueller Positionen werden später beschrieben.
Die Kartenreferenzmittel 204 sind Mittel zum Erfassen von Informationen aus der Karte 19. Die Informationen werden aus der Karte 19 basierend auf einem Befehl von der Steuereinheit 15 erfasst. Die gesamten Informationen in der Karte 19 können durch den Befehl von der Steuereinheit 15 erfasst werden. Zusätzlich können nur die Informationen über die Peripherie des sich bewegenden Objekts 100 erfasst werden.
Die Mittel 205 zum Erzeugen virtueller Bilder erzeugen jedes virtuelle Bild unter Verwendung der durch die Kartenreferenzmittel 204 erfassten Karteninformationen und jeder der durch die Mittel 203 zum Erzeugen virtueller Positionen erzeugten virtuellen Positionen. Das virtuelle Bild ist ein Bild in dem Fall, in dem angenommen wird, dass das virtuelle Bild durch die Bildgebungsvorrichtung von der virtuellen Position aufgenommen wird. Wenn z. B. die Karte 19 durch die Punktgruppen von 3D (x, y, z) ausgebildet ist, wird jeder Punkt in ein Pixel (u, v) umgesetzt. Zusätzlich erzeugen die Mittel 205 zum Erzeugen virtueller Bilder ein Bild in Übereinstimmung mit den Informationen der Karte 19. Wenn die Karte 19 z. B. durch die Punktgruppen 3D (x, y, z) ausgebildet ist, wird jeder Punkt in ein Pixel (u, v) umgesetzt, wobei die Abstandsinformationen zu dem Pixel (u, v) hinzugefügt werden. Deshalb ist ein virtuelles Bild durch (u, v, Abstand) ausgebildet.
Wenn die Karte 19 durch die Punktgruppen von 4D (x, y, z, Farbe) ausgebildet ist, kann ein virtuelles Bild durch (u, v, Farbe) ausgebildet sein, indem zu dem Pixel (u, v) jedes Punktes Farbinformationen hinzugefügt werden. Wenn die Karte 19 durch die Punktgruppen von 3D (x, y, z) ausgebildet ist, kann zusätzlich ein virtuelles Parallaxenbild durch (u, v, Tiefe) durch das Hinzufügen von Tiefeninformationen zu dem Pixel (u, v) jedes Punktes gebildet werden. Die Farbinformationen sind die Intensität eines Pixels. Ein Bild wird in Farbe oder in Graustufen angezeigt, wobei die Intensität jedes Pixels im Bild im Fall von Graustufen von 0 bis 255 (schwarz bis weiß) reicht, wobei es im Fall von Farbe drei Kanäle von R (0 bis 255) + G (0 bis 255) + B (0 bis 255) gibt. Ferner sind die Tiefeninformationen eine Länge in Richtung der Z-Achse, die eine Detektionsrichtung eines Sensors, wie z. B. der Bildgebungsvorrichtung, ist.
Die Bildabgleichmittel 206 sind Mittel zum Abgleichen (Vergleichen) eines tatsächlich durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n aufgenommenen Bildes in den Umgebungsinformation-Extraktionsmitteln 202 mit dem durch die Mittel 205 zum Erzeugen virtueller Bilder erzeugten virtuellen Bild. Die Bildabgleichmittel 206 werden später beschrieben.
Eine bedingte Verzweigung 209 prüft, ob die Mittel 203 zum Erzeugen virtueller Positionen die letzte virtuelle Position erzeugt haben. Der Prozess geht zu den Mitteln 203 zum Erzeugen virtueller Positionen weiter, falls die letzte virtuelle Position nicht erzeugt worden ist, oder geht zu den Gewichtungsmitteln 210 weiter, falls die letzte virtuelle Position erzeugt worden ist.
Die Gewichtungsmittel 210 sind Mittel, um jedem durch die Bildabgleichmittel 206 erhaltenen Abgleichergebnis (Vergleichsfehler) ein Gewicht zuzuweisen. Die Gewichtungsmittel 210 berechnen ein Gewicht in Reaktion auf die Fahrumgebung und einen Zustand des Sensors. Die Gewichtungsmittel 210 berechnen ein Gewicht basierend auf wenigstens einer der durch die Bildgebungsvorrichtung erfassten Informationen und der durch die Mittel zum Schätzen der aktuellen Position erhaltenen Informationen über einen Fehler der aktuellen Position des sich bewegenden Objekts 100. Die durch die Bildgebungsvorrichtung erfassten Informationen enthalten wenigstens eine der Informationen über den Eichfehler der Bildgebungsvorrichtung, der Informationen über den Merkmalspunkt in dem Bild, die aus dem durch die Bildgebungsvorrichtung aufgenommenen Bild extrahiert wurden, der Informationen über einen Fehler eines Parallaxenbildes, die aus dem durch die Bildgebungsvorrichtung aufgenommenen Bild erfasst wurden, der Informationen über die Bildintensität, die aus dem durch die Bildgebungsvorrichtung aufgenommenen Bild erfasst wurden, und der Informationen über eine Bildauflösung, die aus dem durch die Bildgebungsvorrichtung aufgenommenen Bild erfasst wurden. Die Gewichtungsmittel 210 sind durch die Eichfehlerschätzmittel 210a der Bildgebungsvorrichtung, die Merkmalspunktextraktionsmittel 210b, die Mittel 210c zum Schätzen der Fehler des Parallaxenbildes, die Mittel 210d zum Schätzen des Fehlers der aktuellen Position, die Bildintensitätserfassungsmittel 210e, die Bildauflösungserfassungsmittel 210f und dergleichen ausgebildet.
Die Eichfehlerschätzmittel 210a der Bildgebungsvorrichtung der Gewichtungsmittel 210 schätzen jeden Eichfehler der Bildgebungsvorrichtung 12a, der Bildgebungsvorrichtung 12b, ... und der Bildgebungsvorrichtung 12n. Die oben beschriebene Eichung ist ein Schritt, der konfiguriert ist, jede Verzerrung der Bildgebungsvorrichtung 12a, der Bildgebungsvorrichtung 12b, ... und der Bildgebungsvorrichtung 12n zu korrigieren, wobei die Bildgebung durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n unter Verwendung eines bekannten Musters ausgeführt wird. Unterdessen tritt ein Fehler auf, weil sich die Eichergebnisse abhängig von der Anzahl der durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n aufgenommenen Bilder oder von den Abständen, Positionen, Winkeln und dergleichen ändern, wenn die Bildgebung durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n ausgeführt wird. Die Eichfehlerschätzmittel 210a der Bildgebungsvorrichtung erhalten den oben beschriebenen Fehler und geben das Ergebnis an die Gewichtungsmittel 210 aus.
Die Merkmalspunktextraktionsmittel 210b der Gewichtungsmittel 210 extrahieren die Merkmalspunkte in einem durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n aufgenommenen Bild.
Die oben beschriebenen Merkmalspunkte sind eine Ecke, ein Rand, ein Maximalwert, ein Minimalwert und dergleichen in dem durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n aufgenommenen Bild. Die durch die Merkmalspunktextraktionsmittel 210b extrahierten Merkmalspunkte werden an die Gewichtungsmittel 210 ausgegeben.
Die Mittel 210c zum Schätzen der Fehler des Parallaxenbildes der Gewichtungsmittel 210 schätzen einen Fehler zum Zeitpunkt des Erzeugens eines Parallaxenbildes unter Verwendung des durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n aufgenommenen Bildes. Der oben beschriebene Fehler des Parallaxenbildes ist z. B. ein Fehler, der durch die Eichung zur Erzeugung eines Parallaxenbildes verursacht wird. Wenn ein Parallaxenbild erzeugt wird, ist es notwendig, die relativen Positionen der Bildgebungsvorrichtung 12a, der Bildgebungsvorrichtung 12b, ... und der Bildgebungsvorrichtung 12n genau zu schätzen, wobei ein Fehler des ausgegebenen Parallaxenbildes groß wird, falls ein Fehler in den geschätzten relativen Positionen auftritt. Wenn ein Parallaxenbild erzeugt wird, ist es zusätzlich notwendig, mit den jeweiligen Bildern der Bildgebungsvorrichtungen die Informationen, die die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n widerspiegeln, zu suchen und wiederzugewinnen, wobei folglich der Fehler des ausgegebenen Parallaxenbildes groß wird, falls ein Suchfehler auftritt.
Die Mittel 210d zum Schätzen des Fehlers der aktuellen Position der Gewichtungsmittel 210 schätzen einen Fehler in der durch die Mittel 201 zum Schätzen der aktuellen Position geschätzten Position. Wenn z. B. die Mittel 201 zum Schätzen der aktuellen Position die aktuelle Position des sich bewegenden Objekts 100 durch das GPS schätzen, wird ein durch das GPS ausgegebener Fehler als der Fehler der aktuellen Position verwendet. Wenn zusätzlich die aktuelle Position des sich bewegenden Objekts 100 durch die Mittel 201 zum Schätzen der aktuellen Position unter Verwendung eines Verfahrens zum Schätzen einer relativen Position von einer bestimmten Referenz geschätzt wird, kann ein Fehler, der proportional zu einer Fahrentfernung ist, als der Fehler der aktuellen Position verwendet werden.
Die Bildintensitätserfassungsmittel 210e der Gewichtungsmittel 210 sind Mittel zum Erfassen der Pixelintensität (Bildintensität) jedes der durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n erfassten Bilder. Nach dem Erfassen der Pixelintensität jedes der durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n aufgenommenen Bilder suchen die Bildintensitätserfassungsmittel 210e nach einem Pixel, das unterhalb einer unteren Grenze zu dunkel ist, und einem Pixel, das oberhalb einer oberen Grenze zu hell ist.
Die Bildauflösungserfassungsmittel 210f der Gewichtungsmittel 210 sind Mittel zum Erfassen einer Auflösung jedes der durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n erfassten Bilder. Die Einzelheiten der Gewichtungsmittel 210 werden später beschrieben.
Die Positionskorrekturmittel 211 sind Mittel zum Korrigieren der aktuellen Position, die durch die Mittel 201 zum Schätzen der aktuellen Position unter Verwendung der Gewichtungsmittel 210 geschätzt wird. Der minimale Fehler wird in einem Abgleichfehler (Vergleichsfehler) jedes durch die Gewichtungsmittel 210 gewichteten virtuellen Bildes gesucht. Dann wird eine virtuelle Position mit dem minimalen Fehler als die aktuelle Position festgelegt.
3 ist eine Ansicht, die ein Beispiel eines Verfahrens zum Erzeugen virtueller Positionen veranschaulicht. Die Einzelheiten der Mittel 203 zum Erzeugen virtueller Positionen werden bezüglich 3 beschrieben. Ein Koordinatensystem 301 verwendet eine aktuelle Position, die durch die Mittel 201 zum Schätzen der aktuellen Position des sich bewegenden Objekts 100 geschätzt wird, als den Ursprung. Die virtuellen Positionen (302A, 302B, ... und 302N) sind Positionen in dem Koordinatensystem 301, wobei die Koordinaten der jeweiligen virtuellen Positionen 303A, 303B, ... und 303N sind.
Ein geschätzter Positionsfehler 304 ist ein Positionsfehler des sich bewegenden Objekts 100, der durch die Mittel 210d zum Schätzen des Fehlers der aktuellen Position geschätzt wird. Ein Bereich des Positionsfehlers 304 ist ein Bereich, der um die durch die Mittel 201 zum Schätzen der aktuellen Position geschätzte aktuelle Position des sich bewegenden Objekts 100 zentriert ist, wobei sich seine Größe abhängig von dem durch die Mittel 210d zum Schätzen des Fehlers der aktuellen Position geschätzten Positionsfehler ändert.
Ein Bereich R305 ist ein Bereich, in dem eine virtuelle Position erzeugt wird. Die Mittel 203 zum Erzeugen virtueller Positionen erzeugen mehrere virtuelle Positionen basierend auf der durch die Mittel 201 zum Schätzen der aktuellen Position geschätzten aktuellen Position des sich bewegenden Objekts 100. Weil die Anzahl N der durch die Mittel 203 zum Erzeugen virtueller Positionen erzeugten virtuellen Positionen von der Fahrumgebung und der Situation des sich bewegenden Objekts 100 abhängt, wird der Bereich R305 basierend auf dem durch die Mittel 210d zum Schätzen des Fehlers der aktuellen Position geschätzten Positionsfehler 304 festgelegt. Eine virtuelle Position ist eine Position und eine Orientierung, die innerhalb eines vorgegebenen Bereichs festgelegt wird, der um die geschätzte aktuelle Position des sich bewegenden Objekts zentriert ist.
Ein Intervall k 306 zwischen virtuellen Positionen ist ein Intervall, das durch das Teilen eines Abstands von einer aktuellen Position 301, die durch die Mittel 201 zum Schätzen der aktuellen Position des sich bewegenden Objekts 100 geschätzt wird, zu dem Bereich R305 der virtuellen Positionen durch eine vorgegebene Zahl erhalten wird. Das Intervall k 306 wird basierend auf der erhaltenen Positionsgenauigkeit und der Genauigkeit der Bildgebungsvorrichtung 12a, der Bildgebungsvorrichtung 12b, ... und der Bildgebungsvorrichtung 12n eingestellt. Wenn die durch die Positionsschätzmittel 211 geschätzte Positionsgenauigkeit 211 R ist, wird eine virtuelle Position unter Verwendung des vorgegebenen Intervalls k erzeugt, wobei aber k basierend auf der für die Fahrumgebung erforderlichen Positionsschätzgenauigkeit eingestellt werden kann. Wenn z. B. die durch die Positionsschätzmittel 211 bezeichnete Positionsgenauigkeit R ist, ist die durch die Positionskorrekturmittel 211 unter Verwendung des Intervalls k korrigierte Positionsgenauigkeit k. Wenn andererseits die für die Fahrumgebung erforderliche Genauigkeit 0,5R ist, wird eine Position durch das Ändern des Intervalls k in das Intervall 0,5R korrigiert. 3 ist der Einfachheit halber in X-Y-Koordinaten veranschaulicht, wobei aber virtuelle Positionen durch Z, Rollen, Nicken und Gieren (6DOF) erzeugt werden können.
Wenn es viele Dimensionen gibt, nimmt unterdessen die Verarbeitungszeit zu, wobei folglich eine virtuelle Position gemäß einem Fehler in jeder Dimension erzeugt wird. Wenn es z. B. eine einspurige Straße gibt, auf der das sich bewegende Objekt 100 fährt, und das sich bewegende Objekt 100 mit einer Funktion zur Detektion weißer Linien ausgerüstet ist, wird ein Fehler des sich bewegenden Objekts 100 in der Y-Richtung gering, wobei folglich die Mittel 203 zum Erzeugen virtueller Positionen nicht notwendigerweise eine virtuelle Position in der Y-Richtung erzeugen. Zusätzlich können verschiedene Intervalle k 306 in der X- und der Y-Richtung festgelegt werden, um die Anzahl der virtuellen Positionen in jeder Richtung einzustellen. Wenn es wenige Unregelmäßigkeiten in der Umgebung gibt, in der das sich bewegende Objekt 100 fährt, werden zusätzlich für die Z-Richtung, das Nicken und das Rollen keine virtuellen Positionen erzeugt, sondern nur für X, Y und das Gieren innerhalb einer kurzen Verarbeitungszeit genau geschätzt. Es wird angegeben, dass die Orientierung eines Fahrzeugs an einer virtuellen Position unter Verwendung eines bestimmten Bereichs α und eines Intervalls K, das durch das Aufteilen des bestimmten Bereichs α erhalten wird, festgelegt werden kann. Für das Intervall K wird das gleiche k (k = K) wie im Fall des Erzeugens der virtuellen Position festgelegt, wobei aber K basierend auf dem durch die Mittel 210d zum Schätzen des Fehlers der aktuellen Position geschätzten Fehler der aktuellen Position eingestellt (K > k oder K < k) werden kann.
4 ist eine Ansicht, die ein Beispiel eines Verfahrens zum Erzeigen virtueller Bilder veranschaulicht. Die Mittel 205 zum Erzeugen virtueller Bilder werden bezüglich 4 beschrieben.
Jeder Teil der Karteninformationen 401, 402 und 403 sind die in der Karte 19 beschriebenen Informationen. Ein virtuelles Bild 404A ist ein Bild im Fall des Annehmens, dass die Bildgebung durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n an der virtuellen Position 302A ausgeführt wird, während ein virtuelles Bild 404N ein Bild im Fall des Annehmens ist, dass die Bildgebung durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n an der virtuellen Position 302N ausgeführt wird. Zu diesem Zeitpunkt sind die Positionen der Koordinate 303A und der Koordinate 303N bezüglich der Karte 19 und die internen Parameter der Bildgebungsvorrichtung 12a, der Bildgebungsvorrichtung 12b, ... und der Bildgebungsvorrichtung 12n bekannt, wobei folglich jeder Teil der Karteninformationen 401, 402 und 403 als jeder Teil der Informationen 401A, 402A und 403A in dem virtuellen Bild 404A angezeigt wird und als jeder Teil der Informationen 401N, 402N und 403N in dem virtuellen Bild 404N angezeigt wird.
Wenn in den Karteninformationen 19 nur die Informationen über die Position (x, y, z) der Fahrumgebung beschrieben sind, sind die Informationen in der Karte 19 dreidimensional (x, y, z), wobei das virtuelle Bild 404A und das virtuelle Bild 404N durch (u, v, Abstand) oder (u, v, Tiefe) dargestellt werden können. Falls zusätzlich die Positions- (x, y, z) und die Farbinformationen der Fahrumgebung in den Karteninformationen 19 beschrieben sind, sind die Informationen der Karte 19 vierdimensional (x, y, z, Farbe), wobei das virtuelle Bild 404A und das virtuelle Bild 404N durch (u, v, Farbe) dargestellt werden können.
Weil die Karte 19 Nahfeldinformationen und Fernfeldinformationen einer aktuellen Position des sich bewegenden Objekts 100 enthält, wird eine Verarbeitungszeit lang, wenn ein virtuelles Bild unter Verwendung der gesamten Informationen erzeugt wird.
Deshalb können nur die Informationen innerhalb eines vorgegebenen Schwellenwerts (Höhe, Abstand oder dergleichen) von der aktuellen Position des sich bewegenden Objekts 100 in ein Bild umgesetzt werden. Zusätzlich wird jeder Bildgebungsbereich der Bildgebungsvorrichtung 12a, der Bildgebungsvorrichtung 12b, ... und der Bildgebungsvorrichtung 12n bestimmt, wobei folglich ein virtuelles Bild unter Verwendung der Informationen innerhalb des Bildgebungsbereichs erzeugt werden kann.
Die Einzelheiten der Gewichtungsmittel 210 werden bezüglich der 5A bis 5E beschrieben.
5A ist eine Ansicht, die ein Beispiel eines Verfahrens zum Berechnen eines Gewichts basierend auf einem Eichfehler veranschaulicht, wobei es die Gewichtung unter Verwendung der Eichparameter der Bildgebungsvorrichtung 12a, der Bildgebungsvorrichtung 12b, ... und der Bildgebungsvorrichtung 12n repräsentiert. Die Eichfehlerschätzmittel 210a der Bildgebungsvorrichtung schätzen jeden Eichfehler der Bildgebungsvorrichtung 12a, der Bildgebungsvorrichtung 12b, ... und der Bildgebungsvorrichtung 12n.
Ein Muster 500 ist ein Muster, das durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n abgebildet wird. Ein Bild 501 ist ein Bild, das vor der Eichung der Bildgebungsvorrichtung 12a, der Bildgebungsvorrichtung 12b, ... und der Bildgebungsvorrichtung 12n erfasst wurde. Weil das erfasste Bild vor der Eichung verzerrt ist, wird das Muster 500 fälschlicherweise abgebildet, wenn es durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n abgebildet wird.
Andererseits repräsentiert ein Bild 502 ein Bild, das durch eine herkömmliche Eichtechnik korrigiert wurde. In diesem Fall ist die Verzerrung korrigiert worden, wobei folglich das durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n aufgenommene Bild 502 das gleiche wie das tatsächliche Muster 500 wird.
Es gibt einen Fall, in dem eine vollständige Korrektur nicht möglich ist, selbst wenn eine Eichung ausgeführt wird. Weil die Eckpositionen des Musters 500 in gleichen Intervallen angeordnet werden, wenn eine Eichung ausgeführt wird, ist es möglich, eine Eckposition nach der Korrektur zu schätzen, wobei die geschätzte Eckposition als ein Pixel 503 festgelegt wird. Wenn andererseits die tatsächliche Position einer Ecke in dem Bild 502 ein Pixel 504 ist, tritt ein Fehler E505 von dem geschätzten Pixel 503 auf. Deshalb wird eine Fehlerkarte 506 (Informationen über einen Eichfehler), die die Fehler E1, E2, ... und ET enthält, durch Berechnen jedes Fehlers zwischen einer für jedes Pixel der Bildgebungsvorrichtung 12a, der Bildgebungsvorrichtung 12b, ... und der Bildgebungsvorrichtung 12n geschätzten Pixelposition und einer tatsächlichen Position erhalten. Wenn die Anzahl der Pixel U x V ist, wird die Fehlerkarte mit T = U x V erhalten.
Ein Gewicht λc wird basierend auf der Formel (1) und der oben beschriebenen Fehlerkarte 506 zugewiesen. Wenn die berechneten Fehler E1, E2, ... und ET der Fehlerkarte 506 kleiner als ein bestimmter Schwellenwert E_threshold sind, nimmt ein Parameter I zu. Ein Verhältnis des Parameters I zu allen Pixeln (U × V) wird als das Gewicht λc festgelegt. $Falls E > E_{threshold}, I + + λ c = I/ (U \times V)$
Die Eichung kann z. B. periodisch ausgeführt werden, während das sich bewegende Objekt 100 fährt, oder das Gewicht kann jedes Mal berechnet werden, wenn die Eichung ausgeführt wird.
5B ist eine Ansicht, die ein Beispiel eines Verfahrens zum Berechnen eines Gewichts basierend auf einem Fehler des Parallaxenbildes veranschaulicht. Es wird eine Beschreibung hinsichtlich der Gewichtung unter Verwendung von Parametern, wenn ein Parallaxenbild durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n erzeugt, bezüglich 5B gegeben. Ein Bild 507L ist ein linkes Bild zum Erzeugen des Parallaxenbildes, während ein Bild 507R ein rechtes Bild zum Erzeugen des Parallaxenbildes ist. Wenn das Parallaxenbild erzeugt wird, wird nach einem Pixel des Bildes 507R gesucht, das die gleichen Informationen wie die Informationen jedes Pixels des Bildes 507L aufweist. Eine herkömmliche Parallaxenbild-Erzeugungstechnik führt die Suche mit einer Pixelintensität aus, wobei der Abgleich mit einem Pixel mit der nächstgelegenen Intensität ausgeführt wird.
Wenn z. B. ein Pixel 508L ein Pixel des Bildes 507L ist und die Pixelintensitäten des Bildes 507R verglichen (durchsucht) werden, wird der Graph 509 erhalten. Eine vertikale Achse C des Graphen 509 ist ein Fehlerbetrag, der durch das Vergleichen der Pixel des linken und des rechten Bildes erhalten wird. Ein Pixel mit dem kleinsten Fehler (Cmin 510) ist 508R. Wie in der Formel (2) nimmt ein Parameter J zu, falls der minimale Fehlerbetrag Cmin, der bei jedem Pixel des Bildes 507L erhalten wird, kleiner als ein vorgegebener Schwellenwert C_threshold ist. Ein Verhältnis des Parameters J zu allen Pixeln (U × V) wird als ein Gewicht λs festgelegt. Wenn der Fehler des Parallaxenbildes abnimmt, nimmt das das Gewicht λs zu. $Falls Cmin < C_{threshold}, J + + λ s = J/ (U \times V)$
5C ist eine Ansicht, die ein Verfahren zum Berechnen eines Gewichts basierend auf einer Bildintensität veranschaulicht. Die auf der Pixelintensität basierende Gewichtung wird bezüglich 5C beschrieben.
Ein Bild 511 ist ein Bild, das durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n von einer aktuellen Position erfasst wird.
Eine Straßenoberfläche 512 ist eine Straßenoberfläche einer Straße, auf der das sich bewegende Objekt 100 fährt.
Zu diesem Zeitpunkt wurde ein Teil des Bildes 511 aufgrund eines Schattens 514 eines stationären Objekts 513 dunkel (die Intensität wurde null). Weil das Bild 511 zu diesem Zeitpunkt viele dunkle Pixel aufweist, nimmt ein Fehler zu, wenn die Positionsschätzung unter Verwendung des Bildes 511 ausgeführt wird. Deshalb wird die Anzahl der hellen Pixel (Intensität = 100 %) und der dunklen Pixel (Intensität = 0 %) durch einen Parameter K dargestellt. Weil die Zuverlässigkeit verringert wird, wenn die Anzahl heller Pixel (Intensität = 100 %) oder dunkler Pixel (Intensität = 0 %) zunimmt, wird unter Verwendung der Formel (3) ein Gewicht λl basierend auf der Pixelintensität berechnet. $Falls Intensit \ddot{a} t = 0% ODER Intensit \ddot{a} t = 100%, K++ λ I = 1 - K/ (U \times V)$
Obwohl die Beschreibung der Einfachheit halber mit dunklen Pixeln gegeben worden ist, ist die Zuverlässigkeit verringert, selbst wenn die Pixelintensität zu hoch (zu hell) ist, wobei folglich das Gewicht λl in der Formel (3) abnimmt. Gemäß der obigen Formel (3) nimmt das Gewicht λl in einem Fall, in dem die Pixelintensität zu schwach ist, wie z. B. im Fall von Regen, und in einem Fall, in dem die Pixelintensität zu stark ist, wie z. B. im Fall von Gegenlicht, ab.
5D ist eine Ansicht, die ein Verfahren zum Berechnen eines Gewichts basierend auf einer Bildauflösung veranschaulicht. Es wird eine Beschreibung hinsichtlich der Gewichtung basierend auf einer Auflösung eines durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n aufgenommenen Bildes bezüglich 5d gegeben.
Ein Bild 515 weist die maximale Auflösung auf, die durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n abgebildet werden kann, und ist durch insgesamt U × V Pixel ausgebildet. Wenn die Positionsschätzung mit dem hochauflösenden Bild ausgeführt wird, ist die Zuverlässigkeit hoch. Unterdessen weist ein Bild 516 eine geringere Auflösung als das Bild 515 auf (V' < V und U' < U). Zusätzlich weist ein Bild 517 eine geringere Auflösung als das Bild 516 auf (V'' < V' und U'' < U'). Deshalb weist die Positionsschätzung mit dem Bild 516 eine geringere Zuverlässigkeit als die Positionsschätzung mit dem Bild 515 auf, wobei die Zuverlässigkeit bei der Positionsschätzung mit dem Bild 517 noch geringer ist. Hier wird die Gewichtung basierend auf der Bildauflösung des durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n aufgenommenen Bildes ausgeführt. Ein Gewicht nimmt außerdem zu, wenn die Bildauflösung zunimmt. $λ r = (Bildaufl \ddot{o} sung) / (U \times V)$
5E ist eine Ansicht, die ein Verfahren zum Berechnen eines Gewichts basierend auf einem Merkmalspunkt veranschaulicht. Es wird eine Beschreibung hinsichtlich der Gewichtung basierend auf der Anzahl der durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n extrahierten Merkmalspunkte bezüglich 5E gegeben.
Ein Bild 520 ist ein durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n erfasstes Bild. Ein stationäres Objekt 521 ist ein stationäres Objekt, das in dem Bild 520 widergespiegelt wird. Die Merkmalspunkte 522 sind die aus dem stationären Objekt 521 in dem Bild 520 extrahierten Merkmalspunkte. Andererseits ist ein Bild 523 ein Bild einer Umgebung, die sich von der in dem Fall des Erfassens des Bildes 520 durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n unterscheidet. Ein stationäres Objekt 524 ist ein stationäres Objekt, das in dem Bild 523 widergespiegelt wird. Die Merkmalspunkte 525 sind die aus dem stationären Objekt 524 in dem Bild 523 extrahierten Merkmalspunkte.
Weil die Anzahl der aus dem stationären Objekt 521 in dem Bild 520 extrahierten Merkmalspunkte größer als die Anzahl der aus dem stationären Objekt 524 in dem Bild 523 extrahierten Merkmalspunkte ist, ist die Zuverlässigkeit eines Abgleichergebnisses des Bildes 520 hoch. Deshalb wird ein Gewicht unter Verwendung der Anzahl der Merkmalspunkte wie in der Formel (5) berechnet. Das Gewicht nimmt zu, wenn die Anzahl der Merkmalspunkte zunimmt. $λ T = (Anzahl der Merkmalspunkte) / (U \times V)$
6 ist eine Ansicht, die ein Beispiel eines Bildabgleichverfahrens veranschaulicht. Die Bildabgleichmittel 206 werden bezüglich 6 beschrieben. In diesem Beispiel werden ein Abgleich zwischen einem virtuellen Bild und einem tatsächlich aufgenommenen Bild und ein Abgleich zwischen einem virtuellen Abstandsbild und einem aus dem tatsächlich aufgenommenen Bild erzeugten Abstandsbild ausgeführt, um einen Vergleichsfehler des virtuellen Bildes und einen Vergleichsfehler des virtuellen Abstandsbildes zu berechnen, wobei der Vergleichsfehler des virtuellen Bildes und der Vergleichsfehler des virtuellen Abstandsbildes kombiniert werden, um einen durchschnittlichen Vergleichsfehler zu berechnen.
Die virtuellen Bilder 601A, 601B, ... und 601N sind von den virtuellen Positionen 302A, 302B, ... und 302N erzeugte virtuelle Bilder (u, v, Farbe). Die virtuellen Abstandsbilder 602A, 602B, ... und 602N sind von den virtuellen Positionen 302A, 302B, ... und 302N erzeugte virtuelle Abstandsbilder (u, v, Abstand). Ein Bild 603 ist ein Bild (u, v, Farbe), das tatsächlich durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n von einer aktuellen Position des sich bewegenden Objekts 100 aufgenommen wurde. Ein Bild 604 ist ein Abstandsbild (u, v, Abstand), das tatsächlich durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n von der aktuellen Position des sich bewegenden Objekts 100 aufgenommen wurde.
Die virtuellen Bilder 601A, 601B, ... und 601N, die von den jeweiligen virtuellen Positionen 302A, 302B, ... und 302N erzeugt wurden, werden mit dem tatsächlich aufgenommenen Bild 603 verglichen, wobei die jeweiligen Vergleichsfehler als EiA, EiB, ... und EiN festgelegt werden. Die Farben der Pixel (u, v) der virtuellen Bilder 601A, 601B, ... und 601N, die von den jeweiligen virtuellen Positionen 302A, 302B, ... und 302N erzeugt wurden, werden als eine Farbe A, eine Farbe B, ... und eine Farbe N festgelegt, während eine Farbe des Pixels (u, v) des tatsächlich aufgenommenen Bildes 603 als eine Farbe r festgelegt wird. Deshalb ist der oben beschriebene Vergleich eine Differenz für jedes Pixel (u, v) wie z. B. in der Formel (6). Ein Durchschnitt von EiA, EiB, ... und EiN, der für jedes Pixel erhalten wird, ist als EiA', EiB', ... und EiN' wie in der Formel (6') definiert. $\begin{array}{l} EiA (u,v) = | Farbe r - Farbe A | \\ EiB (u,v) = | Farbe r - Farbe B | \\ \dots \\ EiN (u,v) = | Farbe r - Farbe N | \end{array}$
$\begin{array}{l} EiA' = [EiA (1,0) + \dots + EiA (U,V)] / (U \times V) \\ EiB' = [EiB (1,0) + \dots + EiB (U,V)] / (U \times V) \\ \dots \\ EiN' = [EiN (1,0) + \dots + EiN (U,V)] / (U \times V) \end{array}$
Die virtuellen Abstandsbilder 602A, 602B, ... und 602N, die von den jeweiligen virtuellen Positionen 302A, 302B, ... und 302N erzeugt wurden, werden mit dem Abstandsbild 604 verglichen, das aus dem durch die Bildgebungsvorrichtung tatsächlich aufgenommenen Bild erzeugt wurde, wobei die jeweiligen Vergleichsfehler als EsA, EsB, ... und EsN festgelegt werden. Die Abstände der Pixel (u, v) der virtuellen Bilder 601A, 601B, ... und 601N, die von den jeweiligen virtuellen Positionen 302A, 302B, ... und 302N erzeugt wurden, werden als ein Abstand A, ein Abstand B, ... und ein Abstand N festgelegt, wobei ein Abstand des Pixels (u, v) des tatsächlich aufgenommenen Abstandsbildes 604 als Abstand r festgelegt wird. Deshalb ist der oben beschriebene Vergleich eine Differenz für jedes Pixel (u, v) wie z. B. in der Formel (7). Ein Durchschnitt von EsA, EsB, ... und EsN, der für jedes Pixel erhalten wird, ist als EsA', EsB', ... und EsN' wie in der Formel (7') definiert. $\begin{array}{l} EsA (u,v) = | Abstand r - Abstand A | \\ \begin{array}{l} EsB (u,v) = | Abstand r - Abstand B | \\ \dots \\ EsN (u,v) = | Abstand r - Abstand N | \end{array} \end{array}$
$\begin{array}{l} EsA' = [EsA (1,0) + \dots + EsA (U,V)] / (U \times V) \\ EsB' = [EsB (1,0) + \dots + EsB (U,V)] / (U \times V) \\ \dots \\ EsN' = [EsN (1,0) + \dots + EsN (U,V)] / (U \times V) \end{array}$
Zu diesem Zeitpunkt wird ein Gewicht Wi des von der aktuellen Position des sich bewegenden Objekts 100 tatsächlich aufgenommenen Bildes 603 unter Verwendung des in 5 beschriebenen Gewichts wie in der Formel (8) berechnet. $Wi = λ c \cdot λ l \cdot λ r \cdot λ T$
Zusätzlich wird ein Gewicht Ws des von der aktuellen Position des sich bewegenden Objekts 100 tatsächlich aufgenommenen Abstandsbildes 604 unter Verwendung des in 5 beschriebenen Gewichts wie in der Formel (9) berechnet. $Ws = λ c \cdot λ s \cdot λ r \cdot λ T$
Deshalb werden die Kombinationen der durchschnittlichen Fehler EiA', EiB', ... und EiN', die zwischen den virtuellen Bildern 601A, 601B, ... und 601N, die von den jeweiligen virtuellen Positionen 302A, 302B, ... und 302N erzeugt wurden, und den virtuellen Abstandsbildern 602A, 602B, ... und 602N erhalten wurden, und EsA', EsB', ... und EsN' als die Vergleichsfehler EfA, EfB, ... und EfN festgelegt. Die Formel (10) stellt Einzelheiten der Vergleichsfehler EfA, EfB, ... und EfN dar.
$\begin{array}{l} EfA = (Wi \cdot EiA' + Ws \cdot EsA') / (Wi + Ws) \\ EfB = (Wi \cdot EiB' + Ws \cdot EsB') / (Wi + Ws) \\ \dots \\ EfN = (Wi \cdot EiN' + Ws \cdot EsN') / (Wi + Ws) \end{array}$
Die Positionskorrekturmittel 211 erhalten den minimalen Fehler unter den durch die Formel (10) erhaltenen Vergleichsfehlern EfA, EfB, ... und EfN und legen eine virtuelle Position mit dem minimalen Fehler als die aktuelle Position fest. Wenn z. B. der durch die Positionskorrekturmittel 211 berechnete minimale Fehler EfA ist, wird eine durch die Mittel 201 zum Schätzen der aktuellen Position geschätzte aktuelle Position 301 (x, y, z) als eine virtuelle Position 302A (XA, YA, ZA) wie in der Formel (11) festgelegt. $\begin{array}{l} X=XA \\ Y=YAZ=ZA \end{array}$
Zusätzlich können die Positionskorrekturmittel 211 eine Position basierend auf den Fehlern EfA, EfB, ... und EfN, die durch Formel (10) erhalten werden, korrigieren. Die aktuelle Position 301 wird z. B. gemäß der Formel (12) berechnet. $\begin{matrix} X = (XA/EfA + \dots + XN/EfN) / (1 /EfA + \dots + 1 /EfN) \\ Y = (YA/EfA + \dots + YN/EfN) / (1 /EfA + \dots + 1 /EfN) \\ Z = (ZA/EfA + \dots + ZN/EfN) / (1 /EfA + \dots + 1 /EfN) \end{matrix}$
Im Folgenden werden Beispiele der vorliegenden Erfindung bezüglich der 7A und 7B beschrieben.
Eine Straße 700a in 7A ist eine Straße, auf der das sich bewegende Objekt 100 fährt. Ein Fehler 701a ist ein Fehler der aktuellen Position, der durch die Mittel 210d zum Schätzen des Fehlers der aktuellen Position erhalten wird. Ein Schatten 702 ist ein Schatten auf der Straße 700, auf der das sich bewegende Objekt 100 fährt. Um das Beispiel zu beschreiben, werden die folgenden Bedingungen (a1) bis (f1) verwendet:

(a1) ein Fehler, der durch die Eichfehlerschätzmittel 210a der Bildgebungsvorrichtung erhalten wird, ist groß;
(b1) es gibt viele Merkmalspunkte, die durch die Merkmalspunktextraktionsmittel 210b extrahiert werden;
(c1) ein Fehler des Parallaxenbildes, der durch die Mittel 210c zum Schätzen der Fehler des Parallaxenbildes erhalten wird, ist klein;
(d1) der durch die Mittel 210d zum Schätzen des Fehlers der aktuellen Position geschätzte Fehler 701a der aktuellen Position ist klein;
(e1) die Anzahl der Pixel mit einer geringen Intensität, die durch die Bildintensitätserfassungsmittel 210e erhalten werden, ist aufgrund des Schattens 702 groß; und
(f1) eine durch die Bildauflösungserfassungsmittel 210 erfasste Bildauflösung ist hoch.

Gemäß den obigen Bedingungen (a1) bis (f1) erzeugen die Mittel 203 zum Erzeugen virtueller Positionen keine virtuelle Position, weil der durch Mittel 210d zum Schätzen des Fehlers der aktuellen Position geschätzte Fehler 701a klein ist, wobei die Umgebungsinformation-Extraktionsmittel 202, die Kartenreferenz 204, die Erzeugung 205 virtueller Bilder und der Bildabgleich 206 nur von einer durch Mittel 201 zum Schätzen der aktuellen Position geschätzten aktuellen Position ausgeführt werden. Ein durchschnittlicher Fehler wird durch die Formeln (6) und (7) berechnet, wobei die Gewichte eines virtuellen Bildes und eines virtuellen Abstandsbildes durch die Formeln (8) und (9) berechnet werden. Weil hier ein Eichfehler der Bildgebungsvorrichtung 12a, der Bildgebungsvorrichtung 12b, ... und der Bildgebungsvorrichtung 12n, der durch die Eichfehlerschätzmittel 210a der Bildgebungsvorrichtung erhalten wird, groß ist, nimmt ein Gewicht von λc ab. Weil es aufgrund des Einflusses des Schattens 702 viele dunkle Pixel in der Bildgebungsvorrichtung 12a, der Bildgebungsvorrichtung 12b, ... und der Bildgebungsvorrichtung 12n geben kann, die durch die Bildintensitätserfassungsmittel 210e erfasst wurden, nimmt das Gewicht λl ab. Das Gewicht λr nimmt jedoch zu, weil jede Auflösung der Bildaufnahmevorrichtung 12a, der Bildaufnahmevorrichtung 12b, ... und der Bildaufnahmevorrichtung 12n, die durch die Bildauflösungserfassungsmittel 210f erhalten wird, hoch ist. Das Gewicht λs nimmt zu, weil ein durch die Mittel 210c zum Schätzen der Fehler des Parallaxenbildes erhaltener Fehler klein ist. Wenn das Gewicht Wi des virtuellen Bildes und das Gewicht Ws des virtuellen Entfernungsbildes durch die Formeln (8) und (9) berechnet werden, ist deshalb Wi < Ws.
Andererseits gibt es im Fall nach 7B einen Fußgängerüberweg 703 auf einer Straße 700b, auf der das sich bewegende Objekt fährt, wobei der durch die Mittel 201 zum Schätzen der aktuellen Position geschätzte Fehler 701b der aktuellen Position groß ist.
Weil die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n unter Verwendung des Fußgängerüberwegs 703 geeicht und korrigiert werden können:

(a2) ist ein Eichfehler, der durch die Eichfehlerschätzmittel 210a der Bildgebungsvorrichtung erhalten wird, klein;
(b2) gibt es viele Merkmalspunkte, die durch die Merkmalspunktextraktionsmittel 210b extrahiert werden;
(c2) ist ein Fehler des Parallaxenbildes, der durch die Mittel 210c zum Schätzen der Fehler des Parallaxenbildes erhalten wird, groß;
(d2) ist der durch die Mittel 210d zum Schätzen des Fehlers der aktuellen Position geschätzte Fehler 701b der aktuellen Position groß;
(e2) gibt es wenige Pixel mit einer geringen Intensität oder Pixel mit einer hohen Intensität, die durch die Bildintensitätserfassungsmittel 210e erhalten werden, weil es weder zu helle Pixel noch zu dunkle Pixel gibt; und
(f2) ist eine durch Bildauflösungserfassungsmittel 210f erfasste Bildauflösung hoch.

Gemäß den obigen Bedingungen (a2) bis (f2) ist im Fall nach 7B der durch die Mittel 210d zum Schätzen des Fehlers der aktuellen Position geschätzte Fehler 701b groß, wobei folglich die Mittel 203 zum Erzeugen virtueller Positionen mehrere virtuelle Positionen erzeugen, die Kartenreferenzmittel 204 die Karteninformationen von den jeweiligen virtuellen Positionen erhalten und die Mittel 205 zum Erzeugen virtueller Bilder virtuelle Bilder von den jeweiligen virtuellen Positionen erzeugen. Dann werden die von den jeweiligen virtuellen Positionen erzeugten virtuellen Bilder mit einem durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n tatsächlich erfassten Bild abgeglichen, um einen Fehler zu berechnen. Hier wird ein durchschnittlicher Fehler durch die Formeln (6) und (7) berechnet, wobei die Gewichte eines virtuellen Bildes und eines virtuellen Abstandsbildes durch die Formeln (8) und (9) berechnet werden.
Weil im Fall nach 7B die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n unter Verwendung des Fußgängerüberwegs 703 geeicht und korrigiert werden können, wird der durch die Eichfehlerschätzmittel 210a der Bildgebungsvorrichtung erhaltene Eichfehler kleiner, wobei ein Gewicht von λc zunimmt. Ferner gibt es wenige Pixel mit einer geringen Intensität oder Pixel mit einer hohen Intensität, die durch die Bildintensitätserfassungsmittel 210e erhalten werden, wobei folglich das Gewicht λl zunimmt. Zusätzlich ist die durch die Bildauflösungserfassungsmittel 210f erfasste Bildauflösung hoch, wobei folglich das Gewicht λr zunimmt. Weil andererseits ein durch die Mittel 210c zum Schätzen der Fehler des Parallaxenbildes erhaltener Fehler zum Zeitpunkt des Erzeugens eines Abstandsbildes groß war, nimmt das Gewicht λs ab. Deshalb ist das durch die Formeln (8) und (9) berechnete Gewicht Wi des virtuellen Bildes höher als das Gewicht Ws des virtuellen Abstandsbildes (Wi > Ws).
8 ist eine Ansicht, die einen anomalen Fall veranschaulicht. 8 veranschaulicht eine Situation, in der eine Fahrspur aufgrund des Einflusses eines Unfalls oder dergleichen vorübergehend eingeschränkt ist, obwohl das Fahren auf einer Straße 800 gemäß den Karteninformationen normalerweise ohne Einschränkung möglich ist. Die Straße 800 ist eine Straße, auf der das sich bewegende Objekt 100 fährt. Ein befahrbarer Bereich 801a ist ein Bereich auf der Straße 800, wo das Fahren möglich ist. Ein Bereich 801b, in dem das Fahren untersagt ist, ist ein Bereich auf der Straße 800, wo das Fahren vorübergehend verboten ist. Ein Hindernis 802 ist ein Hindernis, um den Bereich 801b, in dem das Fahren untersagt ist, zu unterscheiden. Eine Route 803 ist eine Route, die erzeugt wurde, um das Hindernis 802 zu vermeiden. Ein sich bewegendes Objekt 804 ist ein vorausfahrendes Fahrzeug im befahrbaren Bereich 801a. Ein geschätzter Fehler 805 ist ein Fehler, der durch die Mittel 210d zum Schätzen des Fehlers der aktuellen Position des sich bewegenden Objekts 100 geschätzt wird.
Wenn das sich bewegende Objekt 100 auf der Straße 800 fährt, wird das Hindernis 802 unter Verwendung der Bildgebungsvorrichtung 12a, der Bildgebungsvorrichtung 12b, ... und der Bildgebungsvorrichtung 12n detektiert. Zu diesem Zeitpunkt ist der durch die Mittel 210d zum Schätzen des Fehlers der aktuellen Position geschätzte Fehler 805 des sich bewegenden Objekts 100 nicht groß, wobei aber der befahrbare Bereich 801a aufgrund des Hindernisses 802 schmaler als die Straße 800 ist. Deshalb ist es notwendig, das Fahren auszuführen, während eine Position im Vergleich zum Fall des Fahrens auf der normalen Straße 800 genau geschätzt wird. Deshalb werden die Anzahl der durch die Mittel 203 zum Erzeugen virtueller Positionen erzeugten virtuellen Positionen und die Anzahl der durch die Mittel 205 zum Erzeugen virtueller Bilder erzeugten virtuellen Bilder erhöht. Nachdem das sich bewegende Objekt 100 in dem befahrbaren Bereich 801a entlang der Route 803 gefahren ist, kehrt dann die Breite der Straße 800 zu der ursprünglichen Breite zurück, wobei sie breiter als die des befahrbaren Bereichs 801a wird. Deshalb wird eine virtuelle Position basierend auf dem durch die Mittel 210d zum Schätzen des Fehlers der aktuellen Position geschätzten Fehler 805 wie üblich erzeugt.
Obwohl der Einfachheit halber angenommen wird, dass das Hindernis 802 durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n erkannt wird, können die Informationen des Hindernisses 802 in die Karte 19 geschrieben werden. Das sich bewegende Objekt 804 kann das Hindernis 802 erkennen, das Hindernis 802 sofort in der Karte 19 beschreiben und das Hindernis 802 mit einem anderen Fahrzeug teilen. Alternativ können die Informationen des Hindernisses 802 direkt vom sich bewegenden Objekt 804, das bereits im Gebiet 801a gefahren ist, an das sich bewegende Objekt 100, das im Begriff ist, zu fahren, unter Verwendung der Fahrzeug-zu-Fahrzeug-Technik (V2V-Technik) gesendet werden, ohne das Hindernis 802 in der Karte 19 zu beschreiben. Zusätzlich kann ein Befehl, um die virtuelle Position zu vergrößern, vom sich bewegenden Objekt 804 an das sich bewegende Objekt 100 gesendet werden, ohne die Informationen des Hindernisses 802 durch die V2V-Technik zu senden.
9 veranschaulicht den Einfluss eines Hindernisses und einer Gegenmaßnahme.
Eine Straße 900 ist eine Straße, auf der das sich bewegende Objekt 100 fährt. Ein Positionsfehler 901 ist ein durch die Mittel 210d zum Schätzen des Fehlers der aktuellen Position der Gewichtungsmittel 210 geschätzter Fehler der aktuellen Position des sich bewegenden Objekts 100. Ein Bild 902 ist ein Bild, das durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n erfasst wird.
Ein stationäres Objekt 903 ist ein stationäres Objekt auf der Straße 900, wobei es in dem Bild 902 als ein stationäres Objekt 903a veranschaulicht ist. Ein Hindernis 904 ist ein Hindernis auf der Straße 900, wobei es in dem Bild 902 als ein Hindernis 904a veranschaulicht ist. Ein stationäres Objekt 905 ist ein stationäres Objekt auf der Straße 900, wobei es in dem Bild 902 als ein stationäres Objekt 905a veranschaulicht ist.
Ein Punkt 906 sind die Karteninformationen auf der Straße 900, die auf das Bild 902 projiziert wird. Ein Punkt 907 sind die Karteninformationen über das stationäre Objekt 903, das auf das Bild 902 projiziert wird. Ein Punkt 908 sind die Karteninformationen über das stationäre Objekt 905, das auf das Bild 902 projiziert wird. Zu diesem Zeitpunkt erscheint das Hindernis 904a vor dem stationären Objekt 905a. Wenn die Informationen in der Karte 19 in der Form von (x, y, z) angegeben sind, sind die Pixelinformationen des Punktes 908 (u, v, Abstand A). Ein tatsächlicher Abstand zu dem stationären Objekt 905, das durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n detektiert wird, ist jedoch nicht der Abstand A, sondern ein Abstand B zu dem Hindernis 904 vor dem stationären Objekt 905. Deshalb wird ein Positionsfehler aufgrund der Positionskorrekturmittel 211 groß.
Es wird eine Gegenmaßnahme zum Vermeiden des oben beschriebenen Positionsfehlers aufgrund des Hindernisses beschrieben. Der Abgleich wird durch das Unterscheiden von Karteninformationen einer Umgebung, in der das sich bewegende Objekt 100 fährt, ausgeführt. Weil es z. B. eine hohe Wahrscheinlichkeit gibt, dass sich ein weiteres Fahrzeug oder ein Fußgänger auf der Straße 900 befindet, werden die Karteninformationen 906 über die Straße 900 durch die Positionskorrekturmittel 211 nicht verwendet. Weil zusätzlich die Karteninformationen über das stationäre Objekt 905 hochgradig wahrscheinlich durch ein umgebendes Hindernis beeinflusst sind, werden die Karteninformationen 908 über das stationäre Objekt 905 nicht verwendet. Deshalb schätzen die Positionskorrekturmittel 211 eine Position nur unter Verwendung von Karteninformationen eines bestimmten Niveaus oder höher basierend auf der Position, die durch die Mittel 201 zum Schätzen der aktuellen Position des sich bewegenden Objekts 100 geschätzt wird. Dann schätzen die Positionskorrekturmittel 211 die Position nur an dem Punkt 907, der weniger wahrscheinlich durch das Hindernis beeinflusst wird, wobei folglich der Einfluss des Hindernisses auf die Umgebung, in der das sich bewegende Objekt 100 fährt, verringert werden kann.
Zusätzlich können mit der oben beschriebenen Gegenmaßnahme nicht nur die Positionsschätzung des sich bewegenden Objekts 100, sondern außerdem die Positionsschätzung und die Detektion des Hindernisses ausgeführt werden. Nach einer hochgradig genauen Positionsschätzung, die durch die Positionskorrekturmittel 211 nur am Punkt 907 ausgeführt worden ist, werden z. B. die Abstände zu dem Punkt 907 und dem Punkt 908, die durch die Positionskorrekturmittel 211 nicht verwendet werden, durch die Bildgebungsvorrichtung 12a, die Bildgebungsvorrichtung 12b, ... und die Bildgebungsvorrichtung 12n gemessen. Hier ist z. B. der Abstand zum stationären Objekt 905 basierend auf der Informationen in der Karte 19 der Abstand B, wobei aber der tatsächlich gemessene Abstand der Abstand A wird, wobei folglich klar wird, dass der Punkt 908 in dem Bild 902 ein Ausreißerwert oder ein Hindernis ist. Deshalb nimmt jede Genauigkeit der durch die Positionskorrekturmittel 211 geschätzten Position nur am Punkt 907 und der Position des unter Verwendung des Punktes 908 detektierten Hindernisses 904 zu.
Obwohl der Punkt 908 der Einfachheit halber als ein einziger Punkt beschrieben wird, kann es mehrere Punkte geben.
Im Fall der mehreren Punkte kann die Hindernisdetektion durch das Vergleichen der Abstände der jeweiligen Punkte und eines von einer durch die Positionskorrekturmittel 211 geschätzten Position gemessenen Abstands nur am Punkt 907 ausgeführt werden. Zusätzlich kann das Bild 902 in verschiedene Bereiche aufgeteilt werden, wobei der Punkt 908 innerhalb eines bestimmten Bereichs als ein Hindernis festgelegt werden kann. Um die Zuverlässigkeit zu verbessern, kann die Hindernisdetektion zusätzlich durch das Ausführen einer Beobachtung in der Art einer Zeitreihe ohne die Beschränkung auf die Karteninformationen 19 im Fall nach 9 und die Informationen der Bildgebungsvorrichtung 12a, der Bildgebungsvorrichtung 12b, ... und der Bildgebungsvorrichtung 12n statistisch ausgeführt werden. Zusätzlich wird die Hindernisdetektion basierend auf dem Fehler 901 der aktuellen Position des sich bewegenden Objekts 100 ausgeführt. Wenn z. B. der Fehler 901 der aktuellen Position des sich bewegenden Objekts 100 z. B. gering ist, schätzen die Positionskorrekturmittel 211 eine Position, wobei sie bestimmen, ob es ein Hindernis gibt oder nicht. Wenn andererseits der Fehler 901 der aktuellen Position des sich bewegenden Objekts 100 hoch ist, führen die Positionskorrekturmittel 211 die Positionsschätzung mehrmals aus, wobei sie eine Hindernisdetektion ausführen, nachdem die Zuverlässigkeit hoch geworden ist.
Das Gewicht wird in der oben beschriebenen Ausführungsform unter Verwendung der Informationen über den Fehler der aktuellen Position des sich bewegenden Objekts 100, die durch die Mittel zum Schätzen der aktuellen Position erhalten wurden, der Informationen über den Eichfehler der Bildgebungsvorrichtung, die die durch die Bildgebungsvorrichtung erfassten Informationen sind, der Informationen über den Merkmalspunkt in dem Bild, die aus dem durch die Bildgebungsvorrichtung aufgenommenen Bild extrahiert wurden, der Informationen über den Fehler des Parallaxenbildes, die aus dem durch die Bildgebungsvorrichtung aufgenommenen Bild erfasst wurden, der Informationen über die Bildintensität, die aus dem durch die Bildgebungsvorrichtung aufgenommenen Bild erfasst wurden, und der Informationen über die Bildauflösung, die aus dem durch die Bildgebungsvorrichtung aufgenommenen Bild erfasst wurden, berechnet, wobei es aber basierend auf wenigstens einem dieser Teile der Informationen berechnet werden kann.
Gemäß der oben beschriebenen Ausführungsform wird der Prozess ausgeführt, bei dem das Gewicht basierend auf den durch die Bildgebungsvorrichtung 12 erfassten Informationen und den Informationen über den Fehler der aktuellen Position des sich bewegenden Objekts 100, der durch die Mittel zum Schätzen der aktuellen Position erhalten wurde, berechnet wird, wird eine Gewichtung an den Vergleichsfehlern ausgeführt, die durch das Vergleichen der mehreren virtuellen Bilder und des tatsächlich aufgenommenen Bildes berechnet werden, und wird die virtuelle Position mit dem kleinsten Vergleichsfehler, der zu gewichten ist, als die aktuelle Position des sich bewegenden Objekts 100 aus den mehreren virtuellen Positionen ausgewählt. Das Gewicht ist nicht wie im herkömmlichen Fall fest, sondern es wird ein Wert gemäß der Situation berechnet, so dass die Zuverlässigkeit der Informationen hoch wird und eine hochgradig genau Positionsschätzung ausgeführt werden kann. Deshalb ist ein hochgradig genauer Abgleich gemäß einer Fahrsituation sogar in einer Situation möglich, in der ein Abgleich durch die Bilder schwierig ist, z. B. in einem Fall, in dem der Regen oder das Sonnenlicht stark ist (Gegenlicht, strahlend, Reflexion), und in einem Fall, in dem ein Eichfehler einer Bildgebungsvorrichtung groß ist.
Wie oben sind die Ausführungsformen der vorliegenden Erfindung ausführlich beschrieben worden, wobei aber die vorliegende Erfindung nicht auf die oben beschriebenen Ausführungsformen eingeschränkt ist, wobei verschiedene Entwurfsmodifikationen vorgenommen werden können, ohne vom Erfindungsgedanken der vorliegenden Erfindung, der in den Ansprüchen dargelegt ist, abzuweichen. Die oben beschriebenen Ausführungsformen sind z. B. ausführlich beschrieben worden, um die vorliegende Erfindung in einer leicht verständlichen Weise zu beschreiben, wobei sie nicht notwendigerweise auf eine eingeschränkt sind, die die gesamte Konfiguration enthält, die oben beschrieben worden ist. Zusätzlich können die Konfigurationen einer weiteren Ausführungsform einige Konfigurationen einer bestimmten Ausführungsform ersetzen, wobei ferner eine Konfiguration einer weiteren Ausführungsform zu einer Konfiguration einer bestimmten Ausführungsform hinzugefügt werden kann. Ferner können bezüglich einiger Konfigurationen jeder Ausführungsform eine Ergänzung, eine Löschung oder eine Ersetzung anderer Konfigurationen vorgenommen werden.
Bezugszeichenliste

1: Positionsschätzvorrichtung
12: Bildgebungsvorrichtung
13: Informationsverarbeitungsvorrichtung
14: Bildverarbeitungseinheit
15: Steuereinheit
16: Speicher
17: Anzeigeeinheit
100: sich bewegendes Objekte

Claims

Positionsschätzvorrichtung, die eine aktuelle Position eines sich bewegenden Objekts schätzt, das mit einer Bildgebungsvorrichtung ausgerüstet ist, wobei die Positionsschätzvorrichtung Folgendes umfasst: Mittel zum Schätzen der aktuellen Position zum Schätzen der aktuellen Position des sich bewegenden Objekts; Mittel zum Erzeugen virtueller Positionen zum Erzeugen mehrerer virtueller Positionen basierend auf der durch die Mittel zum Schätzen der aktuellen Position geschätzten aktuellen Position; Mittel zum Erzeugen virtueller Bilder zum Erzeugen jedes von mehreren virtuellen Bildern, wenn angenommen wird, dass die Bildgebung an den mehreren virtuellen Positionen durch die Bildgebungsvorrichtung ausgeführt wird; Bildabgleichmittel zum Vergleichen der mehreren virtuellen Bilder mit einem Bild, das an der aktuellen Position durch die Bildgebungsvorrichtung aufgenommen wurde, um jeden der Vergleichsfehler zu berechnen; Gewichtungsmittel zum Berechnen eines Gewichts basierend auf wenigstens einer der durch die Bildgebungsvorrichtung erfassten Informationen und der Informationen über einen Fehler der aktuellen Position des sich bewegenden Objekts, die durch die Mittel zum Schätzen der aktuellen Position erhalten werden, und zum Gewichten jedes der Vergleichsfehler unter Verwendung des Gewichts; und Positionskorrekturmittel zum Korrigieren der durch die Mittel zum Schätzen der aktuellen Position geschätzten aktuellen Position basierend auf jedem der zu gewichtenden Vergleichsfehler.
Positionsschätzvorrichtung nach Anspruch 1, wobei die Positionskorrekturmittel eine virtuelle Position, für die der zu gewichtende Vergleichsfehler minimal ist, unter den mehreren virtuellen Positionen als die aktuelle Position des sich bewegenden Objekts festlegen.
Positionsschätzvorrichtung nach Anspruch 1 oder 2, wobei eine Anzahl der virtuellen Positionen und ein Intervall von der aktuellen Position basierend auf der Informationen über den Fehler der aktuellen Position des sich bewegenden Objekts eingestellt werden.
Positionsschätzvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Bildauflösung der Bildgebungsvorrichtung basierend auf den Informationen über den Fehler der aktuellen Position des sich bewegenden Objekts geändert wird.
Positionsschätzvorrichtung nach einem der Ansprüche 1 bis 4, wobei die durch die Bildgebungsvorrichtung erfassten Informationen wenigstens eine der folgenden enthält Informationen über einen Eichfehler der Bildgebungsvorrichtung, Informationen über einen Merkmalspunkt in einem durch die Bildgebungsvorrichtung aufgenommenen Bild, Informationen über einen Fehler des Parallaxenbildes, wenn ein Parallaxenbild aus dem durch die Bildgebungsvorrichtung aufgenommenen Bild erzeugt wird, Informationen über eine aus dem durch die Bildgebungsvorrichtung aufgenommenen Bild erfasste Bildintensität, und Informationen über eine aus dem durch die Bildgebungsvorrichtung aufgenommenen Bild erfasste Bildauflösung.