DE102019100885A1

DE102019100885A1 - Eigenpositionsabschätzvorrichtung

Info

Publication number: DE102019100885A1
Application number: DE102019100885.9A
Authority: DE
Inventors: Shoji Asai; Shu Asami; Yoshikazu Hattori; Hiroshi Ishiguro; Kazutaka Hayakawa; Takashi Suzuki
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2018-01-16
Filing date: 2019-01-15
Publication date: 2019-07-18
Also published as: US10949996B2; US20190220997A1; CN110044256A; CN110044256B

Abstract

Eine Eigenpositionsabschätzvorrichtung (10, 300) umfasst eine Bildaufnahmeeinheit (14, 210), die Fahrbilder und Referenzbilder an einer Vielzahl von Positionen entlang einer vorbestimmten Fahrtroute aufnimmt, eine Erfassungseinheit (20, 320), die Merkmalspunkte in jedem der Fahrbilder und Merkmalspunkte in jedem der Referenzbilder erfasst, eine Speichereinheit (16), die Karteninformationen speichert, die die Merkmalspunkte in jedem der Referenzbilder und eine Position sowie eine Haltung der Bildaufnahmeeinheit zu einem Zeitpunkt, bei dem jedes der Referenzbilder durch die Bildaufnahmeeinheit aufgenommen wird, umfasst, und eine Abschätzeinheit (24, 400), die ein ähnliches Bild, ähnlich einem der Fahrbilder, aus den Referenzbildern auswählt, um die Merkmalspunkte auf dem einen der Fahrbilder und Merkmalspunkte auf dem ähnlichen Bild zu korrelieren, wobei die Abschätzeinheit eine Position und eine Haltung eines eigenen Fahrzeugs (50) auf einer vorbestimmten Fahrtroute basierend auf einem Korrelationsergebnis abschätzt.

Description

TECHNISCHES GEBIET
Diese Offenbarung bezieht sich im Wesentlichen auf eine Eigenpositionsabschätzvorrichtung, ein Eigenpositionsabschätzverfahren und ein Eigenpositionsabschätzprogramm.
STAND DER TECHNIK
Gemäß einer bekannten Technologie wird eine Position eines beweglichen Körpers in einem dreidimensionalen Raum auf der Grundlage eines aufgenommenen Bildes, das durch eine Bilderaufnahmeeinheit, wie etwa eine Kamera, die beispielsweise am beweglichen Körper montiert ist, aufgenommen wird, abgeschätzt.
Zum Beispiel offenbart die JP2017-138664A , die nachstehend als Druckschrift 1 bezeichnet wird, eine Steuerungsvorrichtung zum automatischen Fahren als eine Technologie betreffend ein Abschätzen einer Eigenposition (eigenen Position) eines Fahrzeugs. Die in der Druckschrift 1 offenbarte Steuerungsvorrichtung zum automatischen Fahren umfasst eine Registriereinheit von Informationen zum automatischen Fahren, die Informationen zum automatischen Fahren zum automatischen Fahren des Fahrzeugs basierend auf einem Registrationsbild, das als ein Bild dient, das ein Umgebungsumfeld des Fahrzeugs in einem Registrationsmodus aufnimmt, in dem das Fahrzeug durch einen Fahrer gefahren wird, und eine Steuerungseinheit zum automatischen Fahren, die das Fahrzeug automatisch fährt basierend auf den Informationen zum automatischen Fahren und einem Bild zum automatischen Fahren, das als ein Bild dient, das das Umgebungsumfeld des Fahrzeugs in einem Automatikfahrmodus aufnimmt, in dem das Fahrzeug automatisch gefahren wird, erzeugt. Die Registrationseinheit von Informationen zum automatischen Fahren umfasst eine Merkmalspunktkandidatenextraktionseinheit, die eine Vielzahl von Merkmalspunktkandidaten extrahiert, die in dem Umgebungsumfeld des Fahrzeugs gefunden werden, basierend auf dem Registrationsbild. Die Registrationseinheit von Informationen zum automatischen Fahren umfasst ebenfalls eine Erzeugungseinheit von Informationen zum automatischen Fahren, die Beliebige der Merkmalspunktkandidaten auswählt, die bestimmt werden, eine Struktur (ein Gebäude) zu sein, das in einem fixierten Zustand um einen Zielort des Fahrzeugs angerichtet ist, als Merkmalspunkte, und erzeugt die Informationen zum automatischen Fahren, die als Informationen der Position der ausgewählten Merkmalspunkte relativ zu einer vorbestimmten Ausgangskoordinate dienen. Die Steuerungseinheit zum automatischen Fahren umfasst eine Fahrzeugpositionsberechnungseinheit, die Fahrzeugpositionsinformationen berechnet, die als Informationen der Position des Fahrzeugs relativ zu der Ursprungskoordinate dienen, basierend auf dem Bild zum automatischen Fahren und den Informationen zum automatischen Fahren. Die Steuerungseinheit zum automatischen Fahren umfasst ebenfalls eine Ausführungssteuerungseinheit des automatischen Fahrens, die automatisch das Fahrzeug zu dem Zielort basierend auf den Fahrzeugpositionsinformationen fährt. Gemäß der in der Druckschrift 1 offenbarten Steuerungsvorrichtung zum automatischen Fahren werden die Merkmalspunkte an der Struktur aus dem während der Fahrzeugfahrt erhaltenen Bild vorab extrahiert, und dreidimensionale Positionen der jeweiligen Merkmalspunkte werden abgeschätzt und in einer Karte registriert. Zusätzlich werden Merkmalspunkte an der Struktur aus dem während des automatischen Fahrens erhaltenen Bild extrahiert, um mit dem in der Karte registrierten Merkmalspunkt an der Struktur verglichen zu werden, wodurch die Eigenposition des Fahrzeugs abgeschätzt wird.
Eine gleichzeitige Lokalisierung und Abbildung (SLAM) ist bekannt, die einen Abbildungsmodus zum Erzeugen einer Umgebungskarte und einen Lokalisierungsmodus zum Einschätzen einer Eigenposition auf der Umgebungskarte umfasst.
Ein ORB-SLAM ist ebenso bekannt, das Merkmalspunkte, wie etwa Ecken einer Struktur (Kreise in 19) durch FAST in einem durch eine Kamera aufgenommenen Bild als Beispiel erfasst, und die ORB-Merkmale als Beschreibung von Merkmalswerten für die Merkmalspunkte anwendet. Ein solches ORB-SLAM ist in „ORB-SLAM: a Versatile and Accurate Monocular SLAM System" IEEE Transactions on Robotics, Bd. 31, Nr. 5, 2015, SS. 1147-1163, von Raul Mur-Artal, J. M. M. Montiel und Juan D. Tardos (die nachstehend als Druckschrift 2 bezeichnet wird), offenbart.
Jedes der ORB-Merkmale wird als ein Merkmalswert in 32 Byte beschrieben, der durch einen 256-maligen Bezug einer Größenordnungsbeziehung eines Mittelwerts einer Luminanz zwischen zwei Bereichen von 5 x 5 Pixel, die jeweils (beispielsweise einem Paar von 1a und 1b in 19 aus 256 Paaren) von 31 x 31 Pixel mit dem Mittelpunkt des erhaltenen Merkmalspunkts, wie in 20 veranschaulicht ist, ausgewählt werden.
Einige aus dem Bild extrahierten Merkmalspunkte können eine größere Differenz der Luminanz relativ zu Umgebungen umfassen. In diesem Fall können sich die Merkmalswerte solcher Merkmalspunkte zwischen Tag und Nacht verursacht durch eine Änderung der Helligkeit in den Umgebungen verändern. Aufgrund einer solchen Änderung jedes Merkmalswerts kann eine Korrelation des aus dem Bild extrahierten Merkmalspunkts zu dem Merkmalspunkt, der auf der Karte registriert ist, erfolglos sein, was eine genaue Abschätzung der Eigenposition des Fahrzeugs verhindern kann. Aufgrund der Druckschrift 1 gilt, weil die Änderung der Helligkeit in den Umgebungen nicht berücksichtigt wird, dass das Abschätzen der Eigenposition des Fahrzeugs schwer sein kann.
Daher besteht die Notwendigkeit einer Eigenpositionsabschätzvorrichtung, die genau eine Eigenposition eines Fahrzeugs auch in einem Fall, in dem die Helligkeit in Umgebungen variiert, abschätzt.
ZUSAMMENFASSUNG
Gemäß einem Aspekt dieser Offenbarung umfasst eine Eigenpositionsabschätzvorrichtung eine Bildaufnahmeeinheit, die eine Vielzahl von Fahrbildern in einem Zustand, in dem ein eigenes Fahrzeug entlang einer vorbestimmten Fahrtroute gefahren wird, und eine Vielzahl von Referenzbildern an einer Vielzahl von Positionen entlang der vorbestimmten Fahrtroute aufnimmt, eine Erfassungseinheit, die Merkmalspunkte in jedem der Vielzahl von Fahrbildern und Merkmalspunkte in jedem der Vielzahl von Referenzbildern korreliert mit jedem der Referenzbilder erfasst, eine Speichereinheit, die Karteninformationen, die die Merkmalspunkte in jedem der Vielzahl von Referenzbildern umfasst, und eine Position sowie eine Haltung der Bildaufnahmeeinheit zu einem Zeitpunkt, bei dem jedes der Vielzahl von Referenzbildern durch die Bildaufnahmeeinheit aufgenommen wird, speichert, und eine Abschätzeinheit, die ein ähnliches Bild ähnlich einem der Vielzahl von Fahrbildern aus der Vielzahl von Referenzbildern auswählt, um die Merkmalspunkte in einem der Vielzahl von Fahrbildern und Merkmalspunkte in dem ähnlichen Bild zu korrelieren, wobei die Abschätzeinheit eine Position und Haltung des eigenen Fahrzeugs auf der vorbestimmten Fahrtroute basierend auf einem Korrelationsergebnis abschätzt.
Demzufolge kann die Eigenposition des eigenen Fahrzeugs genau auf einer Grundlage des Korrelationsergebnisses des Korrelierens der Merkmalspunkte in dem Fahrbild und der Merkmalspunkte in dem ähnlichen Bild abgeschätzt werden.
Die Eigenpositionsabschätzvorrichtung umfasst weiterhin eine Berechnungseinheit, die mindestens einen Merkmalswert von jedem der Merkmalspunkte in jedem der Vielzahl von Fahrbildern, die durch die Erfassungseinheit erfasst werden, und mindestens einen Merkmalswert von jedem der Merkmalspunkte in jedem der Vielzahl von Referenzbildern, die durch die Erfassungseinheit erfasst werden, berechnet. Die Abschätzeinheit wählt das ähnliche Bild ähnlich einem der Vielzahl von Fahrbildern aus der Vielzahl von Referenzbildern basierend auf den durch die Berechnungseinheit berechneten Merkmalswerten aus.
Demzufolge, aufgrund einer Berechnung des Merkmalswerts von jedem der Merkmalspunkte und einer Auswahl des ähnlichen Bildes basierend auf dem Berechnungsergebnis kann das ähnliche Bild genau auch in einem Fall ausgewählt werden, in dem sich eine Helligkeit in Umgebungen ändert.
Die Eigenpositionsabschätzvorrichtung umfasst weiterhin eine Additionseinheit, die den Merkmalswert von jedem der Merkmalspunkte in einem der Vielzahl von Fahrbildern korreliert mit jedem der Merkmalspunkte in dem ähnlichen Bild durch die Abschätzeinheit zu den Karteninformationen als den Merkmalswert von jedem der Merkmalspunkte auf einem der Vielzahl von Referenzbildern, das als das ähnliche Bild dient, addiert.
Demzufolge wird der Merkmalswert des Merkmalspunkts auf dem Fahrbild addiert und in den Karteninformationen gespeichert, so dass darauf Bezug genommen wird, wenn die Eigenposition des Fahrzeugs abgeschätzt wird.
Die Abschätzeinheit berechnet entsprechende Abstände zwischen einer Vielzahl von Merkmalswerten, die für jeden der Merkmalspunkte in dem ähnlichen Bild registriert sind, und den Merkmalswert von jedem der Merkmalspunkte in dem Fahrbild zum miteinander Korrelieren von jedem der Merkmalspunkte in dem ähnlichen Bild und jedem der Merkmalspunkte in dem Fahrbild, wobei die Abschätzeinheit den Merkmalspunkt in dem Fahrbild und den Merkmalspunkt in dem ähnlichen Bild in einem Fall, in dem ein Minimalwert von berechneten Abständen kleiner oder gleich einem vorbestimmten Wert ist, korreliert.
Demzufolge kann der Abstand zwischen den Merkmalswerten leicht auf oder unterhalb den vorbestimmten Wert fallen. Die Merkmalspunkte zwischen dem ähnlichen Bild und dem Fahrbild können auch dann korreliert werden, wenn der Merkmalswert des Merkmalspunkts in dem Fahrbild sich aufgrund einer Änderung der Helligkeit in den Umgebungen ändert.
Die Additionseinheit berechnet Abstände zwischen allen Paaren der Merkmalswerte von jedem der Merkmalspunkte in dem ähnlichen Bild, die aus der Vielzahl von Merkmalswerten ausgewählt werden, die für jeden der Merkmalspunkte registriert sind, und dem Merkmalspunkt, der in einem Fall zu addieren ist, in dem die Anzahl der Vielzahl von Merkmalswerten, die für jeden der Merkmalspunkte in dem ähnlichen Bild registriert sind, eine obere Grenze erreicht, und löscht einen der Merkmalswerte, dessen Median von Abständen des einen der Merkmalswerte bezüglich zu dem anderen der Merkmalswerte unter den Medianen der Abstände zwischen allen Paaren der Merkmalswerte am kleinsten ist.
Demzufolge können die Merkmalswerte der Merkmalspunkte zwischen dem ähnlichen Bild und dem Fahrbild weiterhin akkurat miteinander korreliert werden.
Die Karteninformationen umfassen Positionen der Merkmalspunkte, die aus jedem der Vielzahl von Referenzbildern erfasst werden. Die Abschätzeinheit schätzt die Position und die Haltung des eigenen Fahrzeugs auf der vorbestimmten Fahrtroute durch Abschätzen der Position und der Haltung der Bildaufnahmeeinheit basierend auf Positionen der Merkmalspunkte in dem Fahrbild und Positionen der Merkmalspunkte in dem ähnlichen Bild, die miteinander korreliert sind, ab, um die abgeschätzte Position und Haltung der Bildaufnahmeeinheit auf einen repräsentativen Punkt des eigenen Fahrzeugs zu konvertieren.
Demzufolge, weil die Position und die Haltung der Bildaufnahmeeinheit auf den repräsentativen Punkt des Fahrzeugs mit weniger Rechenlast konvertiert werden, wird die Position des Fahrzeugs, während das Fahrzeug gefahren wird, in einer kurzen Zeitperiode abgeschätzt, was eine Verzögerungszeit einer Fahrzeugoperationssteuerung verringern kann.
Die Abschätzeinheit schätzt die Position und die Haltung der Bildaufnahmeeinheit, bei der eine Summe von Projektionsdifferenzen, die als Differenzen zwischen jeweiligen Positionen der Merkmalspunkte in dem Fahrbild und den jeweiligen Positionen von Projektionspunkten, die durch Projizieren der Merkmalspunkte auf das ähnliche Bild erhalten werden, zu dem Fahrbild basierend auf der Position und der Haltung der Bildaufnahmeeinheit zu dem Zeitpunkt, wenn das ähnliche Bild aufgenommen wird, minimal ist, ab.
Demzufolge, weil die Summe von Projektionsdifferenzen am kleinsten ist, kann die Position und die Haltung des eigenen Fahrzeugs genau abgeschätzt werden.
Die Additionseinheit registriert zusätzlich selektiv, zu den Karteninformationen, den Merkmalswert des Merkmalspunkts, dessen Projektionsdifferenz kleiner oder gleich einem vorbestimmten Wert ist, aus den Merkmalspunkten in dem Fahrbild korreliert mit den Merkmalspunkten in dem ähnlichen Bild durch die Abschätzeinheit.
Demzufolge kann die Position und die Haltung des eigenen Fahrzeugs genau beziehungsweise akkurat mit weniger falscher Korrelation abgeschätzt werden.
Die Merkmalspunkte in jedem der Referenzbilder, die durch die Erfassungseinheit erfasst werden, dienen als Umgebungsmerkmalspunkte in einer Umgebung entlang der vorbestimmten Fahrtroute.
Demzufolge, weil die Merkmalspunkte in dem Referenzbild als die Umgebungsmerkmalspunkte dienen, können die Merkmalspunkte in dem Bild reduziert werden, was eine Extraktionszeit der Merkmalspunkte verringert.
Die Eigenpositionsabschätzvorrichtung umfasst weiterhin eine Einstelleinheit, die eine Fahrbahnoberflächengradientendifferenz der vorbestimmten Fahrtroute abschätzt, und einen Erfassungsbereich von Korrelationsmerkmalspunkten auf jedem der Vielzahl von Fahrbildern korreliert mit den Umgebungsmerkmalspunkten basierend auf der abgeschätzten Fahrbahnoberflächengradientendifferenz einstellt, wobei die Einstelleinheit das ähnliche Bild ähnlich einem der Vielzahl von Fahrbildern aus der Vielzahl von Referenzbildern basierend auf den in dem Erfassungsbereich erfassten Korrelationsmerkmalspunkten auswählt.
Demzufolge, auch wenn eine Verteilung der Merkmalspunkte auf dem gesamten aufgenommenen Bild aufgrund eines Gradienten der Fahrbahnoberfläche vorgespannt oder uneben ist, kann die Eigenposition des Fahrzeugs abgeschätzt werden.
Die Karteninformationen umfassen Merkmalswerte, die jeweilige Merkmale der Umgebungsmerkmalspunkte angeben. Die Abschätzeinheit wählt das ähnliche Bild aus der Vielzahl von Referenzbildern aus, wobei das ähnliche Bild die größte Anzahl von Umgebungsmerkmalspunkten korreliert mit den Korrelationsmerkmalspunkten auf dem Fahrbild umfasst, wobei die Abschätzeinheit die Umgebungsmerkmalspunkte und die Korrelationsmerkmalspunkte durch Vergleichen der Merkmalswerte der Korrelationsmerkmalspunkte und der Merkmalswerte der Umgebungsmerkmalspunkte korreliert.
Demzufolge wird das Referenzbild auf der Basis der Merkmalswerte der Umgebungsmerkmalspunkte ausgewählt, so dass die Umgebungsmerkmalspunkte und die Korrelationsmerkmalspunkte genau beziehungsweise akkurat miteinander korreliert werden können.
Die Bildaufnahmeeinheit ist auf einer vorbestimmten Position des eigenen Fahrzeugs fixiert, um ein Bild eines vorbestimmten Bereichs voraus der Bildaufnahmeeinheit aufzunehmen. Die Einstelleinheit wählt aus der Vielzahl von Referenzbildern das ähnliche Bild, das dem vorbestimmten Bereich voraus der Bildaufnahmeeinheit am ähnlichsten ist, aus, und schätzt die Fahrbahnoberflächengradientendifferenz aus einer Differenz zwischen einem Fahrbahnoberflächengradienten basierend auf der Position und der Haltung der Bildaufnahmeeinheit korreliert mit dem ausgewählten ähnlichen Bild und einem Fahrbahnoberflächengradienten basierend auf der Position und der Haltung der Bildaufnahmeeinheit abgeschätzt auf dem Fahrbild, das zuvor aufgenommen wurde, ab.
Demzufolge kann der Fahrbahnoberflächengradient mit weniger Rechenaufwand abgeschätzt werden.
Die Einstelleinheit bewegt den Erfassungsbereich in einer Auf- und Ab-Richtung in dem Fahrbild basierend auf der Fahrbahnoberflächengradientendifferenz. Demzufolge, auch bei einer großen Differenz des Fahrbahnoberflächengradienten, kann die Eigenposition des Fahrzeugs genau abgeschätzt werden.
Die Einstelleinheit spezifiziert eine Position des Erfassungsbereichs (As) in dem Fahrbild auf eine obere Seite bei einem Anstieg eines Fahrbahnoberflächengradienten einer Position des eigenen Fahrzeugs, im Vergleich zu einem Fahrbahnoberflächengradienten des vorbestimmten Bereichs.
Demzufolge, weil der Erfassungsbereich auf einer Grundlage der Fahrbahnoberflächengradientendifferenz eingeschränkt ist, kann die Eigenposition des Fahrzeugs mit weniger Rechenaufwand abgeschätzt werden.
Gemäß einem weiteren Aspekt dieser Offenbarung schätzt eine Eigenpositionsabschätzvorrichtung eine Position eines eigenen Fahrzeugs anhand einer Umgebungskarte, die Merkmalswerte von jedem von einer Vielzahl von Merkmalspunkten, deren Positionen bekannt sind, ab, wobei die Eigenpositionsabschätzvorrichtung eine Merkmalspunktextraktionseinheit, die eine Vielzahl von Merkmalspunkten aus einem Bild, das Umgebungen des eigenen Fahrzeugs aufnimmt, extrahiert, eine Merkmalswertberechnungseinheit, die einen Merkmalswert von jedem der Vielzahl von durch die Merkmalspunktextraktionseinheit extrahierten Merkmalspunkten berechnet, wobei der Merkmalswert auf einer Luminanz von jedem der Vielzahl von Merkmalspunkten basiert, eine Lichtquellenrichtungsabschätzeinheit, die eine Lichtquellenrichtung relativ zu einer Bildgebungsrichtung zu einem Zeitpunkt abschätzt, während das Bild auf einer Basis von Sensorinformationen aufgenommen wird, eine Korrekturfaktorentscheidungseinheit, die einen Merkmalswertkorrekturfaktor zum Korrigieren des Merkmalswerts von jedem der Vielzahl von durch die Merkmalspunktextraktionseinheit extrahierten Merkmalspunkte entscheidet, so dass der Merkmalswert in einen Zustand gebracht wird, in dem der Merkmalspunkt davon durch die Merkmalspunktextraktionseinheit extrahiert wird, in eine Lichtquellenrichtung gebracht wird, in der die Umgebungskarte durch Beziehen des Merkmalswerts von jedem der Vielzahl von Merkmalspunkten erzeugt wird, auf einer Basis des Merkmalswerts für jeden der Vielzahl von durch die Merkmalspunktextraktionseinheit extrahierten Merkmalspunkte, der abgeschätzten Lichtquellenrichtung, und der zuvor erhaltenen Lichtquellenrichtung, wenn der Merkmalswert von jedem der Vielzahl von Merkmalspunkten auf der Umgebungskarte bezogen wird, eine Merkmalswertkorrektureinheit, die den Merkmalswert von jedem der Vielzahl von durch die Merkmalspunktextraktionseinheit extrahierten Merkmalspunkte basierend auf dem Merkmalswert von jedem der durch die Vielzahl der durch die Merkmalspunktextraktionseinheit extrahierten Merkmalspunkte und dem Merkmalswertkorrekturfaktor für jeden der Vielzahl von Merkmalspunkten korrigiert, und eine Abschätzeinheit, die eine Position des eigenen Fahrzeugs basierend auf dem korrigierten Merkmalswert für jeden der Vielzahl von durch die Merkmalspunktextraktionseinheit extrahierten Merkmalspunkte und den Merkmalswert von jedem der Vielzahl von Merkmalspunkten auf der Umgebungskarte abschätzt.
Demzufolge, auch wenn sich die abgeschätzte Lichtquellenrichtung von der Lichtquellenrichtung zum Zeitpunkt, bei dem der Merkmalswert von jedem der Merkmalspunkte auf der Umgebungskarte bezogen wird, kann die Eigenposition des Fahrzeugs mit weniger Rechenaufwand abgeschätzt werden.
Gemäß einem weiteren Aspekt dieser Offenbarung schätzt eine Eigenpositionsabschätzvorrichtung eine Position eines eigenen Fahrzeugs anhand einer Umgebungskarte, die einen Merkmalswert von jedem einer Vielzahl von Merkmalspunkten, deren Positionen bekannt sind, ab, wobei die Eigenpositionsabschätzvorrichtung eine Merkmalspunktextraktionseinheit, die eine Vielzahl von Merkmalspunkten aus einem Bild, das Umgebungen des eigenen Fahrzeugs aufnimmt, extrahiert, eine Merkmalswertberechnungseinheit, die einen Merkmalswert von jedem der Vielzahl von durch die Merkmalspunktextraktionseinheit extrahierten Merkmalspunkte berechnet, wobei der Merkmalswert auf einer Luminanz von jedem der Vielzahl von Merkmalspunkten basiert, eine Lichtquellenrichtungsabschätzeinheit, die eine Lichtquellenrichtung relativ zu einer Bildgebungsrichtung zu einem Zeitpunkt, bei dem das Bild aufgenommen wird, auf einer Basis von Sensorinformationen abschätzt, eine Korrekturfaktorentscheidungseinheit, die einen Merkmalswertkorrekturfaktor zum Korrigieren des Merkmalswerts für jeden der Vielzahl von Merkmalspunkten auf der Umgebungskarte korrigiert, so dass der Merkmalswert in einen Zustand gebracht wird, in dem der Merkmalspunkt davon, der durch die Merkmalspunktextraktionseinheit extrahiert wird, in eine Lichtquellenrichtung gebracht wird, in der die Umgebungskarte erzeugt wird, durch Beziehen des Merkmalswerts für jeden der Vielzahl von Merkmalspunkten, auf der Grundlage des Merkmalswerts von jedem der Vielzahl der durch die Merkmalspunktextraktionseinheit extrahierten Merkmalspunkte, der abgeschätzten Lichtquellenrichtung, und der zuvor erhaltenen Lichtquellenrichtung, wenn der Merkmalswert von jedem der Vielzahl von Merkmalspunkten auf der Umgebungskarte bezogen wird, eine Merkmalswertkorrektureinheit, die den Merkmalswert von jedem der Vielzahl von Merkmalspunkten auf der Umgebungskarte basierend auf dem Merkmalswert von jedem der Vielzahl von Merkmalspunkten auf der Umgebungskarte und den Merkmalswertkorrekturfaktor für jeden der Vielzahl von Merkmalspunkten korrigiert, und eine Abschätzeinheit, die eine Position des eigenen Fahrzeugs basierend auf dem korrigierten Merkmalswert für jeden der Vielzahl von Merkmalspunkten auf der Umgebungskarte und den Merkmalswerten von jedem der Vielzahl von durch die Merkmalspunktextraktionseinheit extrahierten Merkmalspunkten abschätzt.
Demzufolge, auch wenn sich die abgeschätzte Lichtquellenrichtung von der Lichtquellenrichtung zu dem Zeitpunkt, bei dem der Merkmalswert von jedem der Merkmalspunkte auf der Umgebungskarte bezogen wird, unterscheidet, kann die Eigenposition des Fahrzeugs mit weniger Rechenaufwand abgeschätzt werden.
Die Eigenpositionsabschätzvorrichtung umfasst weiterhin eine Sonnenscheinzustandsabschätzeinheit, die einen Sonnenscheinzustand des eigenen Fahrzeugs basierend auf einer aus den Sensorinformationen erhaltenen Helligkeit abschätzt. Die Korrekturfaktorentscheidungseinheit entscheidet den Merkmalswertkorrekturfaktor zum Korrigieren des Merkmalswerts von jedem der Vielzahl von Merkmalspunkten basierend auf dem Merkmalswert von jedem der Vielzahl von Merkmalspunkten, der abgeschätzten Lichtquellenrichtung, und der zuvor erhaltenen Lichtquellenrichtung, wenn der Merkmalswert der Umgebungskarte bezogen wird, in einem Fall, in dem der durch die Sonnenscheinzustandsabschätzeinheit erhaltene Sonnenscheinzustand den Merkmalswert von jedem der Merkmalspunkte aufgrund einer Differenz der Lichtquellenrichtung beeinflusst.
Demzufolge kann die Eigenposition des Fahrzeugs mit weniger Rechenaufwand basierend auf dem Sonnenscheinzustand abgeschätzt werden.
Figurenliste
Die vorstehenden und zusätzlichen Merkmale und Eigenschaften dieser Offenbarung werden anhand der nachfolgenden detaillierten Beschreibung in Anbetracht der Bezugnahme auf die anhängenden Zeichnungen besser ersichtlich, wobei:

1A eine Darstellung ist, die ein Fahrzeug veranschaulicht, an dem eine Kamera montiert ist, gemäß einem hier offenbarten ersten und zweiten Ausführungsbeispiel;
1B eine Blockdarstellung ist, die ein Beispiel einer Konstruktion einer Eigenpositionsabschätzvorrichtung gemäß dem ersten und zweiten Ausführungsbeispiel veranschaulicht;
2A eine Darstellung ist, die ein Beispiel von Merkmalspunkten auf einer Parkroute gemäß dem ersten und zweiten Ausführungsbeispiel veranschaulicht;
2B eine Darstellung ist, die ein Beispiel einer Position der Kamera und von Positionen von Merkmalspunkten in einem Schlüsselbild beziehungsweise Keyframe gemäß dem ersten und zweiten Ausführungsbeispiel veranschaulicht;
3 eine Blockdarstellung ist, die ein Beispiel einer funktionalen Konfiguration der Eigenpositionsabschätzvorrichtung gemäß dem ersten Ausführungsbeispiel veranschaulicht;
4 eine Darstellung ist, die eine Korrelation zwischen Merkmalspunkten und einem Fahrbild sowie Merkmalspunkten eines ähnlichen Schlüsselbildes gemäß dem ersten Ausführungsbeispiel erläutert;
5 eine Darstellung ist, die einen Abstand zwischen jedem der Merkmalspunkte des Fahrbildes und jedem der Merkmalspunkte auf dem ähnlichen Schlüsselbild gemäß dem ersten Ausführungsbeispiel erläutert;
6 eine Darstellung ist, die eine Projektionsdifferenz gemäß dem ersten Ausführungsbeispiel erläutert;
7 eine Darstellung ist, die einen Merkmalswert, der in einem Fall gelöscht wird, in dem die Anzahl von mehreren Merkmalswerten für jeden der Merkmalspunkte des ähnlichen Schlüsselbildes eine obere Grenze erreicht, gemäß dem ersten Ausführungsbeispiel erläutert;
8 ein Ablaufdiagramm ist, das ein Beispiel eines Ablaufs einer Verarbeitung durch ein Eigenpositionsabschätzprogramm gemäß dem ersten Ausführungsbeispiel veranschaulicht;
9A eine Darstellung ist, die eine Differenz eines Kameranickwinkels basierend auf einem Fahrbahnoberflächengradienten gemäß dem zweiten Ausführungsbeispiel erläutert;
9B eine Darstellung ist, die einen Merkmalspunkterfassungsbereich gemäß dem zweiten Ausführungsbeispiel erläutert;
9C eine Darstellung ist, die eine Beziehung zwischen einem oberen Ende und einem unteren Ende des Merkmalspunkterfassungsbereichs und dem Fahrbahnoberflächengradienten gemäß dem zweiten Ausführungsbeispiel erläutert;
10A eine Darstellung ist, die einen AusgangsMerkmalspunkterfassungsbereich gemäß dem zweiten Ausführungsbeispiel veranschaulicht;
10B eine Darstellung ist, die einen Merkmalspunkterfassungsbereich in einem Fall, in dem eine Fahrbahnoberflächengradientendifferenz größer als Null ist, veranschaulicht;
11 ein Ablaufdiagramm ist, das einen Ablauf einer Verarbeitung durch ein Eigenpositionsabschätzprogramm gemäß dem zweiten Ausführungsbeispiel veranschaulicht;
12 eine Darstellung ist, die eine Projektionsdifferenz gemäß dem zweiten Ausführungsbeispiel erläutert;
13 eine Blockdarstellung ist, die eine schematische Konfiguration einer Eigenpositionsabschätzvorrichtung gemäß einem hier offenbarten dritten Ausführungsbeispiel veranschaulicht;
14 eine Darstellung ist, die ein Beispiel eines Merkmalswertkorrekturfaktors gemäß dem dritten Ausführungsbeispiel veranschaulicht;
15 ein Ablaufdiagramm ist, das eine Eigenpositionsabschätzverarbeitungsroutine gemäß dem dritten Ausführungsbeispiel veranschaulicht;
16 ein Ablaufdiagramm ist, das eine Korrekturfaktorentscheidungsverarbeitungsroutine gemäß dem dritten Ausführungsbeispiel veranschaulicht;
17 eine Blockdarstellung ist, die eine schematische Konfiguration einer Eigenpositionsabschätzvorrichtung gemäß einem modifizierten Beispiel des dritten Ausführungsbeispiels veranschaulicht;
18 ein Ablaufdiagramm ist, das eine Eigenpositionsabschätzverarbeitungsroutine gemäß dem modifizierten Beispiel des dritten Ausführungsbeispiels veranschaulicht;
19 eine Konzeptdarstellung eines Beispiels eines Verfahrens ist zum Erfassen eines Merkmalspunkts und zum Erhalten eines Merkmalswerts davon gemäß einer bekannten Technologie;
20 eine Konzeptdarstellung eines Beispiels des Merkmalswerts ist gemäß der bekannten Technologie;
21 eine Konzeptdarstellung eines Beispiels eines Falls ist, in dem eine Richtung von Sonnenstrahlen gemäß der bekannten Technologie geändert wird; und
22 eine Konzeptdarstellung eines Beispiels des Merkmalswerts in einem Fall ist, in dem die Richtung von Sonnenstrahlen gemäß der bekannten Technologie geändert wird.

DETAILLIERTE BESCHREIBUNG
Ausführungsbeispiele werden mit Bezug auf die anhängenden Zeichnungen erläutert. In der folgenden Erläuterung dient ein Fahrzeug als ein Beispiel eines beweglichen Körpers. Ein Umgebungsumfeld des Fahrzeugs in einem Fall, in dem das Fahrzeug eine Eigenposition abschätzt, ist als ein Parkplatz definiert. Eine Route von außerhalb des Parkplatzes zu einem Parkpunkt ist beispielsweise als eine Fahrtroute definiert.
Eine Eigenpositionsabschätzvorrichtung, ein Eigenpositionsabschätzverfahren, und ein Eigenpositionsabschätzprogramm gemäß einem ersten Ausführungsbeispiel werden mit Bezugnahme auf die 1 bis 8 erläutert.
1A ist eine Seitenansicht eines Fahrzeugs 50, das als ein eigenes Fahrzeug dient, an dem eine Kamera 14 montiert ist. Wie in 1A veranschaulicht ist, umfasst das Fahrzeug 50 die Kamera 14, die als eine Bildaufnahmeeinheit dient, die während eines Prozesses zum Abschätzen der Eigenposition des Fahrzeugs 50 (der nachstehend als eine Eigenpositionsabschätzverarbeitung bezeichnet wird) gemäß dem ersten Ausführungsbeispiel verwendet wird.
Die Kamera 14 gemäß dem ersten Ausführungsbeispiel ist beispielsweise an einem Kofferraum, der sich an einem Heckabschnitt des Fahrzeugs 50 befindet, bereitgestellt, um ein Bild hinter dem Fahrzeug 50 aufzunehmen. Die Kamera 14 ist in der Umgebung eines im Wesentlichen Mittelabschnitts in einer Fahrzeugbreitenrichtung beispielsweise in einem Zustand, in dem eine optische Achse der Kamera 14 relativ zu einer horizontalen Richtung leicht abwärtsgerichtet ist, angeordnet. Im ersten Ausführungsbeispiel ist die Kamera 14 an einem Heckabschnitt des Fahrzeugs 50 bereitgestellt. Alternativ kann die Kamera 14 an einem Frontabschnitt des Fahrzeugs 50, beispielsweise abhängig von Umgebungen oder Umständen, bereitgestellt sein. Zusätzlich wird im ersten Ausführungsbeispiel eine Monokularkamera als die Kamera 14 verwendet. Alternativ können andere Typen von Kameras, wie etwa beispielsweise eine Stereokamera, als die Kamera 14 verwendet werden.
1B ist eine Blockdarstellung, die ein Beispiel einer elektrischen Konfiguration einer Eigenpositionsabschätzvorrichtung 10 gemäß dem ersten Ausführungsbeispiel veranschaulicht. Wie in 1B veranschaulicht ist, ist die Eigenpositionsabschätzvorrichtung 10 an dem Fahrzeug 50 montiert, und ist aufgebaut, dass diese eine Steuerungseinheit 12, die Kamera 14, eine Speichereinheit 16 und eine Anzeigeeinheit 18 umfasst.
Die Steuerungseinheit 12 führt eine arithmetische Verarbeitung durch, beispielsweise zum Abschätzen der Eigenposition (eigenen Position) des Fahrzeugs 50. Die Steuerungseinheit 12 umfasst beispielsweise eine zentrale Verarbeitungseinheit (CPU) 12A, einen Lesespeicher (ROM) 12B, einen Schreib-Lese-Speicher (RAM) 12C, und eine Eingabe-und-Ausgabe-Schnittstelle 12D (die nachstehend als eine I/O 12D bezeichnet wird). Die CPU 12A, der ROM 12B, der RAM 12C und die I/O 12D sind miteinander über einen Bus 12E verbunden.
Die CPU 12A steuert die gesamte Eigenpositionsabschätzvorrichtung 10. Der ROM 12B speichert zum Beispiel verschiedene Programme und Daten umfassend ein Kartenerzeugungsprogramm zum Erzeugen einer im ersten Ausführungsbeispiel verwendeten Karte, und ein Eigenpositionsabschätzprogramm zum Abschätzen der Eigenposition des Fahrzeugs (Fahrzeug 50). Der RAM 12C ist ein Speicher, der als ein Arbeitsbereich während einer Ausführung von verschiedenen Programmen verwendet wird. Jedes in dem ROM 12B gespeicherte Programm wird in dem RAM 12C geladen, so dass die CPU 12A das Programm ausführt, wodurch die Karte erzeugt wird und die Eigenposition des Fahrzeugs 50 abgeschätzt wird.
Die Steuerungseinheit 12 ist mit der Kamera 14, der Speichereinheit 16 und der Anzeigeeinheit 18 über die I/O 12D verbunden. Ein durch die Kamera 14 aufgenommenes Bild wird über die I/O 12D in die Steuerungseinheit 12 übertragen.
Die Speichereinheit 16 speichert Karteninformationen, die beispielsweise für die Eigenpositionsabschätzverarbeitung gemäß dem ersten Ausführungsbeispiel verwendet werden. Die Speichereinheit 16 ist nicht darauf beschränkt, eine bestimmte Konfiguration aufzuweisen. Zum Beispiel können ein Festplattenlaufwerk (HDD), ein Solid-State-Laufwerk (SSD), und ein Flashspeicher als die Speichereinheit 16 verwendet werden. Die Speichereinheit 16 kann innerhalb der Steuerungseinheit 12 bereitgestellt sein, oder extern verbindbar bereitgestellt sein. Anstatt des ROM 12B kann die Speichereinheit 16 das Kartenerzeugungsprogramm und/oder das Eigenpositionsabschätzprogramm zusätzlich zu den durch die Steuerung der Steuerungseinheit 12 erzeugten Karteninformationen speichern.
Die Anzeigeeinheit 18 zeigt beispielsweise das durch die Kamera 14 aufgenommene Bild an. Die Anzeigeeinheit 18 ist nicht darauf beschränkt, eine bestimmte Konfiguration aufzuweisen. Zum Beispiel können ein Flüssigkristallmonitor, ein Kathodenstrahlröhren-(CRT-)Monitor, oder ein Flachpanelanzeige-(FPD-)Monitor als die Anzeigeeinheit 18 verwendet werden.
2A ist eine Darstellung, die ein Beispiel von Merkmalspunkten auf einer Parkroute gemäß dem ersten Ausführungsbeispiel veranschaulicht. 2A veranschaulicht einen Zustand eines Parkplatzes, der im ersten Ausführungsbeispiel betrachtet wird (was nachstehend als eine „Umgebung“ bezeichnet wird).
Im ersten Ausführungsbeispiel wird eine Route von einer „Start“-Position, die als ein Startpunkt dient, zu einer „Ziel“-Position, die als ein Parkpunkt dient, wie in 2A veranschaulicht ist, als die Fahrtroute des Fahrzeugs 50 angenommen. Das Zeichen „FP“ in 2A gibt die Position des Merkmalspunkts an, der später beschrieben wird. Um die Eigenposition des Fahrzeugs 50 mit einer bestimmten Größe abzuschätzen, muss eine repräsentative Position vorab innerhalb des Fahrzeugs 50 bestimmt werden (die nachstehend als ein repräsentativer Fahrzeugpunkt X bezeichnet wird). Im ersten Ausführungsbeispiel befindet sich der repräsentative Fahrzeugpunkt (repräsentative Punkt) X an einer Mitte zwischen Hinterrädern in der Fahrzeugbreitenrichtung, wie in 2B veranschaulicht ist. Der repräsentative Fahrzeugpunkt X ist nicht auf die vorstehende Position beschränkt, und kann sich beispielsweise an einem Schwerpunkt des Fahrzeugs 50 befinden.
2B, die als eine Draufsicht der in 2A veranschaulichten Umgebung dient, ist eine Darstellung, die ein Beispiel einer Kameraposition und Positionen von Merkmalspunkten in einem Schlüsselbild beziehungsweise Keyframe gemäß dem ersten Ausführungsbeispiel veranschaulicht.
Wie in 2B veranschaulicht ist, wird das die Kamera 14 umfassende Fahrzeug 50 von einem Startpunkt SP zu einem Zielpunkt GP gefahren. Bei der Eigenpositionsabschätzverarbeitung des ersten Ausführungsbeispiels wird die Umgebung aufgenommen und durch die Kamera 14 vor einem tatsächlichen Fahren des Fahrzeugs 50 abgebildet, so dass assoziierte Daten korreliert mit dem durch die Kamera 14 aufgenommenen Bild (d.h. aufgenommenen Bild) zuvor als eine Karte erzeugt wird. Ein Zeichen S in 2B gibt eine Fahrtrajektorie des Fahrzeugs 50 zu einem Zeitpunkt der Erzeugung der Karte an. Bei dem tatsächlichen Parken wird das Fahrzeug 50 im Wesentlichen entlang der Fahrtrajektorie S gefahren. Im Folgenden kann eine Route, entlang der das Fahrzeug 50 während des tatsächlichen Parkens (d.h. tatsächlichen Fahrens) gefahren wird, als eine Fahrtroute bezeichnet werden, wenn diese von der Fahrtrajektorie S zu unterscheiden ist.
In 2B veranschaulichte kleine Kreise geben die Positionen der Merkmalspunkte FP an. Im ersten Ausführungsbeispiel weist jeder der Merkmalspunkte eine größere Differenz der Luminanz als ein vorbestimmter Wert auf dem aufgenommenen Bild auf. Die Differenz der Luminanz basiert beispielsweise auf Schatten, die durch einen vorstehenden Abschnitt und einen ausgenommenen Abschnitt eines Gebäudes, sowie Design oder Mustern einer Wandfläche des Gebäudes, verursacht werden. Demzufolge, wie in 2B veranschaulicht ist, werden die Merkmalspunkte beispielsweise an einer Wandfläche WS eines Gebäudes 30 in der Umgebung und/oder einem Eckabschnitt des Gebäudes 30 erhalten. Die mehreren Merkmalspunkte FP werden im Wesentlichen in einer Karte ausgewählt und bestimmt. Im ersten Ausführungsbeispiel, um die mehreren Merkmalspunkte FP voneinander zu unterscheiden, wird ein „Merkmalswert“ mit jedem der Merkmalspunkte FP korreliert (registriert). Der Merkmalswert gemäß dem ersten Ausführungsbeispiel entspricht beispielsweise einem Muster einer Differenz der Luminanz in der Umgebung des entsprechenden Merkmalspunkts.
Das Zeichen CP in 2B gibt mehrere Bildaufnahmepunkte an (d.h. beispielsweise 12 Bildaufnahmepunkte in 2B), an denen die Kamera 14 entsprechende Bilder während des Erzeugens der Karte aufnimmt. Im ersten Ausführungsbeispiel werden an den mehreren Bildaufnahmepunkten CP aufgenommene Bilder als „Schlüsselbilder“ beziehungsweise „Keyframes“ bezeichnet, die, zusammen mit den Merkmalspunkten FP und damit korrelierten Informationen, Daten zum Erzeugen der Karte bilden. Jedes der Schlüsselbilder zu diesem Zeitpunkt dient als ein Beispiel eines Referenzbildes. Insbesondere sind die Schlüsselbilder die mehreren Bilder, die zuvor an den mehreren Bildaufnahmepunkten CP aufgenommen werden. Informationen bezüglich der Merkmalspunkte werden mit den jeweiligen Schlüsselbildern korreliert. In der folgenden Erläuterung werden die Bildaufnahmepunkte, an denen die Bilder während des Erzeugens der Karte aufgenommen werden, als Kartenbildaufnahmepunkte CP bezeichnet, und die Bildaufnahmepunkte, an denen die Bilder während des tatsächlichen Parkens aufgenommen werden, werden als Fahrbildaufnahmepunkte bezeichnet. Zusätzlich werden die Bilder, die an den Fahrbildaufnahmepunkten aufgenommen werden, als Fahrbilder bezeichnet.
Wie vorstehend angemerkt, liest die CPU 12A gemäß dem ersten Ausführungsbeispiel das in dem ROM 12B gespeicherte Eigenpositionsabschätzprogramm aus, und schreibt das Programm zur Ausführung in den RAM 12C, um als in 3 veranschaulichte Einheiten oder Abschnitte zu fungieren.
3 ist eine Blockdarstellung, die ein Beispiel einer funktionalen Konfiguration der Eigenpositionsabschätzvorrichtung 10 gemäß dem ersten Ausführungsbeispiel veranschaulicht. Wie in 3 veranschaulicht ist, fungiert die CPU 12A der Eigenpositionsabschätzvorrichtung 10 gemäß dem ersten Ausführungsbeispiel als eine Erfassungseinheit 20, eine Berechnungseinheit 22, eine Abschätzeinheit 24 und eine Additionseinheit 26. Karteninformationen 16A werden zuvor in der Speichereinheit 16 gespeichert.
Die Karteninformationen 16A gemäß dem ersten Ausführungsbeispiel werden nachstehend erläutert. Die Karteninformationen 16A umfassen die folgenden Informationen.

(1) Koordinaten jedes Merkmalspunkts FP, angezeigt in drei Dimensionen (dreidimensionale Positionskoordinate (Xp, Yp, Zp))
(2) Dreidimensionale Positionskoordinate (Xc, Yc, Zc) und Haltung (Rollwinkel, Nickwinkel und Gierwinkel) der Kamera in jedem Schlüsselbild
(3) Merkmalswert in jedem Schlüsselbild

Bei der Erzeugung der Karte fährt ein Fahrer ein Fahrzeug entlang der Fahrtrajektorie S vorab, um Koordinaten der Merkmalspunkte (dreidimensionale Positionen) und die Position der Kamera 14 in dem Schlüsselbild aus dem durch die Kamera 14 aufgenommenen Bild während des Fahrens abzuschätzen. Eine solche Abschätzung kann beispielsweise durch visuelle gleichzeitige Lokalisierung und Kartierung (Visual SLAM) durchgeführt werden. Insbesondere werden 3-dimensionale Positionen der Merkmalspunkte und die Position der Kamera in dem Schlüsselbild aus dem aufgenommenen Bild mittels des Visual SLAM abgeschätzt. Die Abschätzergebnisse und Merkmalswerte der Merkmalspunkte in dem Schlüsselbild werden anschließend in den Karteninformationen 16A registriert.
Insbesondere können ein orientiertes FAST und ein rotiertes BRIEF SLAM (ORB-SLAM) als Beispiele zum Erfassen der Merkmalspunkte angewendet werden. Bei dem ORB-SLAM wird eine Ecke als der Merkmalspunkt erfasst, wobei die Erfassung der Ecke durch Merkmale aus einem beschleunigten Segmenttest (FAST) erlangt wird. Das ORB-SLAM wendet ORB zur Beschreibung von Merkmalswerten an. Das ORB basiert auf binären robusten unabhängigen Elementarmerkmalen (BRIEF), und ist ausgelegt, um eine Skaleninvarianz und Rotationsinvarianz zu umfassen. Das ORB-SLAM ist in der Druckschrift 2 offenbart, so dass eine detaillierte Erläuterung davon weggelassen wird.
Wie vorstehend angemerkt, werden eine Koordinate von jedem Merkmalspunkt, mindestens ein für jeden der Merkmalspunkte registrierter Merkmalswert, und die Position sowie die Haltung der Kamera 14, wenn die mehreren als die Schlüsselbilder dienenden Bilder an den Kartenbildaufnahmepunkten CP bei Erzeugung der Karte aufgenommen werden, in der Speichereinheit 16 als Karteninformationen 16A korreliert und gespeichert. Bei der Eigenpositionsabschätzverarbeitung, die später erläutert wird, wird auf die in der Speichereinheit 16 gespeicherten Karteninformationen 16A Bezug genommen.
Die Erfassungseinheit 20 gemäß dem ersten Ausführungsbeispiel erfasst die Merkmalspunkte in dem Fahrbild, das durch die Kamera 14 in einem Zustand aufgenommen wird, in dem das Fahrzeug entlang der Fahrtroute gefahren wird. Zum Beispiel wird das FAST zur Erfassung der Merkmalspunkte verwendet, wie vorstehend angemerkt ist.
Die Berechnungseinheit 22 gemäß dem ersten Ausführungsbeispiel berechnet den Merkmalswert, der das Merkmal von jedem der durch die Erfassungseinheit 20 erfassten Merkmalspunkte angibt. Beispielsweise wird das ORB als der Merkmalswert verwendet, wie vorstehend angemerkt wurde.
Die Abschätzeinheit 24 gemäß dem ersten Ausführungsbeispiel wählt ein ähnliches Schlüsselbild, das als ein Beispiel eines ähnlichen Bildes dient, das ähnlich dem Fahrbild ist, aus der Vielzahl von Schlüsselbildern basierend auf den durch die Berechnungseinheit 22 berechneten Merkmalswerten aus. In einem Fall, in dem das Fahrbild erstmalig erhalten wird (d.h., das Initial- beziehungsweise Ausgangsschlüsselbild erhalten wird), wird jenes ähnliche Schlüsselbild, das das ähnlichste Schlüsselbild bezüglich des Fahrbildes ist, durch einen Korb von Visuellen Wörtern ausgewählt, beispielsweise basierend auf den Merkmalswerten der Merkmalspunkte in dem Fahrbild. Der Korb von Visuellen Wörtern („Bag of Visual Words“) ist ein Werkzeug zum Bestimmen eines Ähnlichkeitsgrades zwischen Bildern durch Ausdrücken einer großen Anzahl von lokalen Merkmalen in dem Bild durch Vektorquantifizierung und Histogramme. Es benötigt eine gewisse Zeit, um das Schlüsselbild durch den Korb von Visuellen Wörtern zu extrahieren. Nichtsdestotrotz ist ein Verwenden des Korbs von Visuellen Wörtern, was eine relativ lange Operationszeit erfordert, möglicherweise kein Problem bezüglich des Ausgangsfahrbildes, das in einem Zustand erhalten wird, in dem das Fahrzeug am Startpunkt SP gestoppt ist. In einem Fall, in dem das Fahrbild zum zweiten Mal oder später erhalten wird, wird das Schlüsselbild, das sich am nächsten zur Kameraposition befindet, das zuvor abgeschätzt wird, ausgewählt, das ähnliche Schlüsselbild zu sein.
Als Nächstes korreliert die Abschätzeinheit 24 den Merkmalspunkt in dem Fahrbild und den Merkmalspunkt in dem ähnlichen Schlüsselbild durch Vergleichen der jeweiligen Merkmalswerte der zuvor genannten Merkmalspunkte in dem Fahrbild und dem ähnlichen Schlüsselbild.
4 ist eine Darstellung, die eine Korrelation zwischen den Merkmalspunkten in dem Fahrbild sowie den Merkmalspunkten in dem ähnlichen Schlüsselbild erläutert.
Wie in 4 veranschaulicht ist, werden Merkmalspunkte R1, R2, R3, R4, R5 und R6 in dem Fahrbild zu Merkmalspunkten P1, P2, P3, P4, P5 und P6 in dem ähnlichen Schlüsselbild korreliert. Insbesondere gilt in einem Fall, in dem ORB als jeweiliger Merkmalswert für den Merkmalspunkt verwendet wird, dass ein ORB-Merkmal in dem Fahrbild und ein ORM-Merkmal in dem ähnlichen Schlüsselbild verglichen werden, so dass ein Abstand dazwischen berechnet wird. Der Abstand zwischen den vorgenannten ORB-Merkmalen wird beispielsweise mittels eines Hamming-Abstands berechnet.
5 ist eine Darstellung, die einen Abstand zwischen dem Merkmalswert des Fahrbildes und dem Merkmalswert des ähnlichen Schlüsselbildes gemäß dem ersten Ausführungsbeispiel erläutert.
In 5 werden ein ORB-Merkmal eines Merkmalspunkts in dem Fahrbild und mehrere ORB-Merkmale eines Merkmalspunkts in dem ähnlichen Schlüsselbild als Beispiel zur einfachen Erläuterung als 8 Bit ausgedrückt. Dabei ist die Anzahl von Bits des ORB-Merkmals nicht auf eine bestimmte Anzahl, wie etwa acht, beschränkt. Den mehreren ORB-Merkmalen des ähnlichen Schlüsselbildes werden zur Identifikation Indizes 1, 2 ... zugewiesen. Der Hamming-Abstand wird hierbei durch die Anzahl von Bits repräsentiert, die sich voneinander zwischen dem ORB-Merkmal in dem Fahrbild und jedem der ORB-Merkmale (Indizes 1, 2 ...) in dem ähnlichen Schlüsselbild unterscheiden. In dem Beispiel von 5 sind Bits in jedem der Indizes 1, 2 ..., die sich von den Bits des ORB-Merkmals des Merkmalspunkts in dem Fahrbild unterscheiden, unterstrichen. Insbesondere ist der Hamming-Abstand des Index 1 bezüglich des Merkmalswerts des Fahrbildes vier, und der Hamming-Abstand des Index 2 bezüglich des Merkmalswerts des Fahrbildes ist zwei. Dabei wird der Minimalwert des Hamming-Abstands unter den vorstehenden Indizes 1, 2, ... bezüglich des Merkmalswerts des Fahrbildes als der Abstand zwischen den Merkmalswerten des Fahrbildes und dem ähnlichen Bild angewendet.
In einem Fall, in dem das Fahrbild erstmalig erhalten wird, wird der einzelne Merkmalswert für jeden der Merkmalspunkte in dem ähnlichen Schlüsselbild registriert. Das heißt, dass die Anzahl von Indizes, die den/die Merkmalswert(e) von jedem der Merkmalspunkte angeben, Eins ist. In einem Fall, in dem das Fahrbild zum zweiten Mal oder später erhalten wird, wird/werden der/die Merkmalswert(e) zusätzlich, wie in 5 veranschaulicht ist, durch die Additionseinheit 26 registriert, was später erläutert wird, so dass die Anzahl von Indizes, die als registrierte Merkmalswerte dienen, zwei oder größer als zwei sein kann. Daher, in dem Fall, in dem das Fahrbild zum zweiten Mal oder später erhalten wird, wird der Minimalwert des Hamming-Abstands, der zwischen den Merkmalswerten des Fahrbildes und dem ähnlichen Bild berechnet wird, als der Abstand dazwischen angewendet.
Insbesondere berechnet die Abschätzeinheit 24 jeweilige Abstände (beispielsweise die Hamming-Abstände) zwischen den mehreren Merkmalswerten des Merkmalspunkts in dem ähnlichen Schlüsselbild und den Merkmalswert des Merkmalspunkts in dem Fahrbild, zum Korrelieren des Merkmalspunkts in dem Fahrbild und des Merkmalspunkts in dem ähnlichen Schlüsselbild, an dem die mehreren Merkmalswerte (zum Beispiel ORB-Merkmale) registriert sind. Anschließend, in einem Fall, in dem der Minimalwert von berechneten Abständen kleiner oder gleich einem vorbestimmten Wert ist, korreliert die Abschätzeinheit 24 den Merkmalspunkt in dem Fahrbild und den Merkmalspunkt in dem ähnlichen Schlüsselbild. Folglich kann der Abstand zwischen den vorstehenden Merkmalswerten leicht auf oder unterhalb des vorbestimmten Werts fallen. Die Korrelation der Merkmalspunkte zwischen dem Fahrbild und dem Schlüsselbild ist auch in einem Fall erlangbar, in dem der Merkmalswert des Merkmalspunkts in dem Fahrbild sich aufgrund einer Änderung einer Helligkeit in Umgebungen ändert.
Dabei ist anstatt des ORB-Merkmals ein Vektor zwischen den Merkmalspunkten anwendbar. In diesem Fall kann ein Euklidischer Abstand anstatt des Hamming-Abstands angewendet werden.
Als Nächstes schätzt die Abschätzeinheit 24 die Position und die Haltung des eigenen Fahrzeugs auf der Fahrtroute basierend auf dem vorstehenden Korrelationsergebnis ab. Insbesondere schätzt die Abschätzeinheit 24 die Position und die Haltung der Kamera 14 basierend auf der Position des Merkmalspunkts in dem Fahrbild und der Position des Merkmalspunkts in dem ähnlichen Schlüsselbild, die miteinander korreliert werden, ab. Im ersten Ausführungsbeispiel wird eine Summe von Projektionsdifferenzen, die als Differenzen zwischen jeweiligen Positionen der Merkmalspunkte in dem Fahrbild und jeweiligen Positionen von Projektionspunkten, die durch Projizieren der Merkmalspunkte in dem ähnlichen Schlüsselbild auf das Fahrbild erhalten werden, ausgedrückt werden, basierend auf der Position und der Haltung der Kamera 14 zu dem Zeitpunkt, bei dem das ähnliche Schlüsselbild aufgenommen wird, an der abgeschätzten Position und Haltung der Kamera 14 minimal.
6 ist eine Darstellung, die die Projektionsdifferenz gemäß dem ersten Ausführungsbeispiel erläutert. 6 veranschaulicht Positionen der Merkmalspunkte R1 bis R6 in dem Fahrbild, Positionen der Merkmalspunkte P1 bis P6 auf einer Kartenkoordinate CM korreliert mit der Karte (d.h. dreidimensionale Positionen der Merkmalspunkte P1 bis P6), und Positionen von Projektionspunkten V1 bis V6, die durch Projizieren der Positionen der Merkmalspunkte P1 bis P6 korreliert mit der Karte auf das Fahrbild erhalten werden. In der Kartenkoordinate CM geben Achsen X, Y und Z eine horizontale Richtung, eine Tiefenrichtung beziehungsweise eine vertikale Richtung an. In diesem Fall dient eine Projektionsdifferenz ε1 bezüglich der Position des Merkmalspunkts P1 als eine Differenz zwischen der Position des Merkmalspunkts R1 und dem Projektionspunkt V1. Die vorstehende Definition der Projektionsdifferenz wird ebenso an den Positionen der Merkmalspunkte P2 bis P6 angewendet. Weil eine falsche Korrelation minimiert wird, können die Position und die Haltung der Kamera 14 gemäß dem gegenwärtigen Ausführungsbeispiel genau abgeschätzt werden.
Als Nächstes schätzt die Abschätzeinheit 24 die Position und die Haltung des eigenen Fahrzeugs (d.h., bezieht einen Eigenpositionsschätzwert) auf der Fahrtroute durch Konvertieren der Position und der Haltung der Kamera 14, die wie vorstehend abgeschätzt werden, zu einem repräsentativen Punkt des eigenen Fahrzeugs. Die Position des eigenen Fahrzeugs entspricht der Position des repräsentativen Fahrzeugpunkts X auf der Karte. Im ersten Ausführungsbeispiel, weil die relative Position zwischen dem repräsentativen Fahrzeugpunkt X und der Kamera 14 vorab erkannt werden, wird die Position und die Haltung der Kamera 14 auf die Position des repräsentativen Fahrzeugpunkts X basierend auf der vorstehenden relativen Positionsbeziehung konvertiert.
Die Additionseinheit 26 gemäß dem ersten Ausführungsbeispiel registriert zusätzlich den Merkmalswert des Merkmalspunkts auf dem Fahrbild korreliert mit dem Merkmalspunkt auf dem ähnlichen Schlüsselbild durch die Abschätzeinheit 24 als den Merkmalswert des Merkmalspunkts in dem Schlüsselbild, das als das ähnliche Schlüsselbild dient, in den Karteninformationen 16A. Zum Beispiel kann die Additionseinheit 26 selektiv zusätzlich den Merkmalswert des Merkmalspunkts zu den Karteninformationen 16A registrieren, dessen Projektionsdifferenz kleiner oder gleich einem vorbestimmten Wert ist (ein solcher Merkmalspunkt kann als ein innenliegender bezeichnet werden) unter den Merkmalspunkten in dem Fahrbild korreliert mit den Merkmalspunkten in dem ähnlichen Schlüsselbild. In dem Beispiel von 6 werden die Merkmalswerte der Merkmalspunkte R1, R2, R3 und R6 in dem Fahrbild zusätzlich registriert. Der Merkmalswert des Merkmalspunkts, dessen Projektionsdifferenz groß ist, wird gehindert, registriert zu werden.
In einem Fall, in dem die Anzahl von mehreren Merkmalswerten, die für den Merkmalspunkt in dem ähnlichen Schlüsselbild registriert werden, eine Obergrenze erreicht, kann die Additionseinheit 26 Abstände (zum Beispiel Hamming-Abstände) zwischen allen Paaren der Merkmalswerte ausgewählt aus den registrierten mehreren Merkmalswerten und dem zu addierenden Merkmalswert berechnen. Die Additionseinheit 26 kann einen der Merkmalswerte löschen, wobei ein Median von Abständen eines solchen Merkmalswerts bezüglich des anderen der Merkmalswerte unter Medianen der Abstände zwischen den vorstehenden allen Paaren der Merkmalswerte am kleinsten ist.
7 ist eine Darstellung, die den Merkmalswert erläutert, der in einem Fall gelöscht wird, in dem die Anzahl von mehreren Merkmalswerten, die für jeden der Merkmalspunkte in dem ähnlichen Schlüsselbild registriert sind, die Obergrenze erreicht.
In dem Beispiel von 7 ist die Obergrenze vier, so dass Indizes 1 bis 4 den registrierten Merkmalswerten für einen Merkmalspunkt zugewiesen werden. Ein weiterer Index, d.h. ein Index 5, wird einem zusätzlichen Merkmalswert für den vorstehenden Merkmalspunkt zugewiesen. Anschließend wird der Hamming-Abstand zwischen dem Index 1 und jedem der Indizes 1 bis 5 berechnet. Das Berechnungsergebnis (0, 15, 9, 13, 20) wird beispielhaft erhalten. In diesem Fall ist der Median beziehungsweise Mittelwert der Hamming-Abstände 13 (was in 7 unterstrichen ist). Auf die gleiche Weise wird das Berechnungsergebnis (15, 0, 10, 5, 29) beispielhaft für Index 2 erhalten. In diesem Fall ist der Median der Hamming-Abstände 10. Ferner wird das Berechnungsergebnis (9, 10, 0, 7, 12) beispielhaft für den Index 3 erhalten. In diesem Fall ist der Median der Hamming-Abstände 9. Weiterhin wird das Berechnungsergebnis (13, 5, 7, 0, 31) beispielhaft für den Index 4 erhalten. In diesem Fall ist der Median der Hamming-Abstände 7. Ferner wird das Berechnungsergebnis (20, 29, 12, 31, 0) beispielhaft für den Index 5 erhalten. In diesem Fall ist der Median der Hamming-Abstände 20.
Demzufolge wird der Median der Hamming-Abstände von jedem der Indizes 1 bis 5 als (13, 10, 9, 7, 20) erhalten. Der Minimalwert der Mediane der Hamming-Abstände ist daher 7, so dass der entsprechende Merkmalswert des Index 4 gelöscht wird.
Als Nächstes wird eine Operation der Eigenpositionsabschätzvorrichtung 10 gemäß dem ersten Ausführungsbeispiel mit Bezugnahme auf 8 erläutert. 8 ist ein Ablaufdiagramm, das ein Beispiel eines Ablaufs einer Verarbeitung durch das Eigenpositionsabschätzprogramm gemäß dem ersten Ausführungsbeispiel veranschaulicht.
In einem Fall, in dem eine Anweisung zum Starten des Eigenpositionsabschätzprogramms durchgeführt wird, wird die Eigenpositionsabschätzverarbeitung einhergehend mit einem Fahren des Fahrzeugs 50 durch einen Fahrer in Richtung des Zielpunkts GP von einem Zustand, an dem das Fahrzeug 50 am Startpunkt SP gestoppt ist, wie in 2B gezeigt ist, durchgeführt. Alternativ kann die Eigenpositionsabschätzverarbeitung beispielsweise bei einem automatischen Fahren des Fahrzeugs 50 von dem Startpunkt SP zu dem Zielpunkt GP angewendet werden. Im ersten Ausführungsbeispiel werden die Karteninformationen 16A vorab erzeugt und in der Speichereinheit 16 gespeichert.
Im ersten Ausführungsbeispiel ist das Eigenpositionsabschätzprogramm vorab beispielsweise in dem ROM 12B gespeichert. Alternativ kann das Eigenpositionsabschätzprogramm beispielsweise in einem Zustand, in dem esin einem tragbaren Speichermedium, um durch einen Computer lesbar zu sein, gespeichert ist, vorgesehen sein, oder kann über eine Kommunikationseinrichtung, wie etwa eine Netzwerkschnittstelle, ausgeliefert werden. Das tragbare Speichermedium kann beispielsweise einen Compact Disc Lesespeicher (CD-ROM), einen Digital Versatile Disc Lesespeicher (DVD-ROM) sowie einen Universal Serial Bus (USB) Speicher umfassen.
In Schritt 100 in 8 bezieht die Erfassungseinheit 20 das Fahrbild, das durch die Kamera 14 in einem Zustand aufgenommen wird, in dem das Fahrzeug 50 gefahren wird. Das Fahrbild wird pro vorbestimmter Zeitperiode, nachdem das Fahrzeug 50 von dem Startpunkt SP gestartet ist, bezogen. Zum Beispiel wird das Fahrbild pro 33 ms (Millisekunden), die als eine gängige Videorate dient, erhalten.
Die Erfassungseinheit 20 erfasst die Merkmalspunkte aus dem Fahrbild in Schritt 102. Die Merkmalspunkte werden beispielsweise durch das FAST erfasst.
In Schritt 104 berechnet die Berechnungseinheit 22 den Merkmalswert, der ein Merkmal von jedem der Merkmalspunkte angibt, die in dem vorstehenden Schritt 102 erfasst werden. Die Merkmalswerte werden beispielsweise auf Grundlage des ORB berechnet.
Die Abschätzeinheit 24 bestimmt in Schritt 106, ob das Fahrbild erstmalig erhalten wird oder nicht. Gemäß der Eigenpositionsabschätzverarbeitung des ersten Ausführungsbeispiels wird ein Suchverfahren zum Suchen des ähnlichen Schlüsselbildes in darauffolgenden Schritten abhängig davon, ob das Fahrbild erstmalig oder zum zweiten Mal oder später erhalten wird, geändert. In einem Fall, in dem bestimmt wird, dass das Fahrbild erstmalig bezogen wird (d.h., in Schritt 106 wird eine positive Bestimmung getroffen), fährt der Prozess zu Schritt 108 fort. In einem Fall, in dem bestimmt wird, dass das Fahrbild nicht erstmalig bezogen wird, d.h., das Fahrbild zum zweiten Mal oder später bezogen wird (d.h., in Schritt 106 wird eine negative Bestimmung getroffen), fährt der Prozess zu Schritt 110 fort.
In Schritt 108 wählt die Abschätzeinheit 24 jenes Schlüsselbild, das dem Fahrbild am ähnlichsten ist, beispielsweise mittels des Korbs von Visuellen Wörtern, basierend auf den im vorstehenden Schritt 104 berechneten Merkmalswerten, aus. Andererseits wählt die Abschätzeinheit 24 in Schritt 110 jenes ähnliche Schlüsselbild aus, das sich am nächsten an der zuvor abgeschätzten Kameraposition befindet.
Die Abschätzeinheit 24 korreliert die Merkmalswerte der jeweiligen Merkmalspunkte zwischen dem ähnlichen Schlüsselbild und dem Fahrbild (d.h. Paarbildung), wie in 4 und 5 veranschaulicht ist, in Schritt 112.
In Schritt 114 schätzt die Abschätzeinheit 24 die Position und die Haltung der Kamera 14 ab, so dass eine Projektionsdifferenz minimiert wird, wobei die Projektionsdifferenz als eine Differenz zwischen der Position des Merkmalspunkts in dem Fahrbild und einer Position eines Projektionspunkts, der durch Projizieren des Merkmalspunkts in dem ähnlichen Schlüsselbild auf das Fahrbild erhalten wird, dient.
Die Abschätzeinheit 24 konvertiert die Position und die Haltung der Kamera 14, die in dem vorstehenden Schritt 114 abgeschätzt wird, auf die Position und die Haltung des eigenen Fahrzeugs, in Schritt 116. Die Position des eigenen Fahrzeugs zu diesem Zeitpunkt entspricht der Position des repräsentativen Fahrzeugpunkts X auf der Karte. Im ersten Ausführungsbeispiel, weil die relative Position zwischen dem repräsentativen Fahrzeugpunkt X und der Kamera 14 vorab erkannt wurde, werden die Position und die Haltung der Kamera 14 auf die Position des repräsentativen Fahrzeugpunkts X basierend auf der vorstehenden relativen Positionsbeziehung konvertiert. Weil eine solche Umwandlung durch eine einfache Berechnung erhalten wird, wird die Position des eigenen Fahrzeugs, während das Fahrzeug gefahren wird, in einer kurzen Zeitperiode abgeschätzt, was eine Verzögerungszeit einer Fahrzeugoperationssteuerung verringern kann. Als ein Ergebnis kann das Fahrzeug hochgenau zu einer Zielroute geführt werden, und in einem engen Raum geparkt werden, was beispielsweise zu einem reduzierten Parkraum führt.
In Schritt 118 registriert die Additionseinheit 26 zusätzlich den Merkmalswert des Merkmalspunkts, dessen Projektionsdifferenz kleiner oder gleich dem vorbestimmten Wert (ein solcher Merkmalspunkt ist ein innenliegender) auf den Karteninformationen 16A ist, als den Merkmalswert des Merkmalspunkts in dem ähnlichen Schlüsselbild, unter den Merkmalspunkten in dem Fahrbild korreliert mit den Merkmalspunkten in dem ähnlichen Schlüsselbild in dem vorstehenden Schritt 112.
Die Additionseinheit 26 bestimmt, ob ein Bezug eines Bildes an allen Fahrbildaufnahmepunkten abgeschlossen ist oder nicht, in Schritt 120. In einem Fall, in dem das Fahrbild erstmalig aufgenommen wird, wird in Schritt 120 eine negative Bestimmung getroffen, so dass der Prozess zu Schritt 100 zurückkehrt, um einen Bezug des Fahrbildes fortzusetzen. In einem Fall, in dem das Fahrbild zum zweiten Mal oder später aufgenommen wird, wird in Schritt 120 eine positive Bestimmung getroffen, so dass die gegenwärtige Routine des Eigenpositionsabschätzprogramms beendet wird.
Gemäß dem ersten Ausführungsbeispiel wird der Merkmalswert des Merkmalspunkts in dem Fahrbild korreliert mit dem Merkmalswert des Merkmalspunkts in dem ähnlichen Schlüsselbild (Referenzbild) als der Merkmalswert des ähnlichen Schlüsselbildes zusätzlich zu den Merkmalswerten (oder dem Merkmalswert), die (der) zuvor registriert wurden (wurde), registriert. Der Merkmalswert des Merkmalspunkts in dem Fahrbild, das zum nächsten Mal erhalten wird, wird mit den registrierten Merkmalswerten umfassend den zuvor hinzugefügten Merkmalswert verglichen. Demzufolge wird ein Bereich einer Bestimmung, dass die Merkmalswerte einander ähnlich sind, vergrößert, wodurch die Korrelation der Merkmalspunkte auch dann erlangt wird, wenn der Merkmalswert aufgrund einer Änderung der Helligkeit in den Umgebungen variiert. Die Eigenposition des Fahrzeugs kann genau abgeschätzt werden. In einem Fall, in dem die Eigenpositionsabschätzvorrichtung gemäß dem ersten Ausführungsbeispiel an einem automatischen Parksystem angewendet wird, kann das Fahrzeug hochgenau zu einer Zielroute geführt werden, und in einem engen Raum geparkt werden, was beispielsweise zu einem reduzierten Parkraum führt.
Die Eigenpositionsabschätzvorrichtung gemäß dem ersten Ausführungsbeispiel wurde vorstehend erläutert. Alternativ kann das Ausführungsbeispiel ein Programm sein, das einen Computer bewirkt, als jeder Abschnitt, der in der vorstehend genannten Eigenpositionsabschätzvorrichtung enthalten ist, zu arbeiten und zu fungieren. Ferner kann das Ausführungsbeispiel alternativ ein Speichermedium sein, das durch einen Computer auslesbar ist, das das vorstehend genannte Programm speichert.
Der Aufbau der Eigenpositionsabschätzvorrichtung gemäß dem ersten Ausführungsbeispiel ist ein Beispiel, und kann angemessen und adäquat geändert oder modifiziert werden.
Der Ablauf des vorstehend erläuterten Programms ist ein Beispiel und kann angemessen geändert werden, d.h., beispielsweise kann eine Weglassung eines unnötigen Schritts, ein Hinzufügen eines neuen Schritts, oder eine Änderung der Prozessreihenfolge angemessen durchgeführt werden.
In dem vorstehenden ersten Ausführungsbeispiel wird das Programm ausgeführt, so dass der Prozess durch eine Softwarekonfiguration mittels des Computers realisiert wird. Alternativ kann der Prozess durch eine Hardwarekonfiguration oder eine Kombination der Hardwarekonfiguration und der Softwarekonfiguration realisiert werden.
Die Eigenpositionsabschätzvorrichtung 10 gemäß einem zweiten Ausführungsbeispiel wird nachstehend erläutert. Konfigurationen des zweiten Ausführungsbeispiels, die im Wesentlichen die gleichen wie jene des ersten Ausführungsbeispiels sind, tragen die gleichen Bezugszeichen, und eine detaillierte Erläuterung wird weggelassen. Im zweiten Ausführungsbeispiel dient das Schlüsselbild beziehungsweise das Keyframe als ein Referenzbild. Der Merkmalspunkt FP in 2B korreliert mit dem Schlüsselbild dient als ein Umgebungsmerkmalspunkt im zweiten Ausführungsbeispiel. Der Merkmalspunkt FP in 2B korreliert mit dem Fahrbild dient als ein Korrelationsmerkmalspunkt gemäß dem zweiten Ausführungsbeispiel.
Ein Einstellen des Merkmalspunkterfassungsbereichs gemäß dem zweiten Ausführungsbeispiel wird mit Bezugnahme auf die 9 und 10 erläutert. Wie vorstehend angemerkt wurde, kann sich eine Verteilung der Merkmalspunkte FP in dem Bild (d.h. dem Schlüsselbild und dem Fahrbild), das durch die Kamera 14 einhergehend mit dem Fahren des Fahrzeugs 50 aufgenommen wird, abhängig von Faktoren ändern, wie beispielsweise einer Fahrbahnoberflächenbedingung, auf der das Fahrzeug 50 gefahren wird. Im zweiten Ausführungsbeispiel wird ein Gradient (Steigung oder Gefälle) einer Fahrbahnoberfläche, auf der das Fahrzeug 50, das als ein Ziel einer Abschätzung von dessen Position dient, als ein Faktor angenommen, der die Verteilung der Merkmalspunkte auf dem gesamten aufgenommenen Bild beeinflusst. Insbesondere in einem Fall einer großen Wahrscheinlichkeit, dass die Verteilung der Merkmalspunkte auf dem gesamten aufgenommenen Bild aufgrund des Gradienten der Fahrbahnoberfläche vorgespannt oder uneben ist, ist ein Erfassungsbereich der Merkmalspunkte (korrelierten Merkmalspunkte) konfiguriert, geändert zu werden.
9A veranschaulicht das Fahrzeug 50, das auf einer Fahrbahnoberfläche R mit einem Gradienten gefahren wird. 9A veranschaulicht ein Beispiel, in dem die Fahrbahnoberfläche R voraus des Fahrzeugs 50 nach oben geneigt ist. Ein Beispiel, in dem die Fahrbahnoberfläche R voraus des Fahrzeugs 50 nach unten geneigt ist, weist das gleiche Konzept auf. In 9A gibt eine Position PS0 eine Referenzposition des Fahrzeugs 50 an, und eine Position PS1 gibt eine Position in der Mitte eines Anstiegs des Fahrzeugs 50 an. Das Fahrzeug 50 befindet sich an jeder der Positionen PS0 und PS1. Zu diesem Zeitpunkt ist ein Neigungswinkel der Kamera 14 des Fahrzeugs 50, das sich an der Position PS0 befindet, als θf definiert, und ein Neigungswinkel der Kamera 14 des Fahrzeugs 50, das sich an der Position PS1 befindet, ist als θ1 definiert. Der Neigungswinkel gemäß dem zweiten Ausführungsbeispiel, d.h. ein Neigungswinkel θ, ist ein Neigungswinkel der optischen Achse der Kamera 14, der relativ zu einer horizontalen Richtung gemessen wird. Eine Richtung, die eine Bodenoberfläche von der horizontalen Richtung annähert, ist als eine positive Richtung definiert. Eine Fahrbahnoberflächengradientendifferenz Δθ ist durch (θ1 - θf) (d.h., Δθ = θ1 - θf) definiert. In der vorstehenden Definition ist die Fahrbahnoberflächengradientendifferenz Δθ gleich einem in 9A veranschaulichten Winkel. Im zweiten Ausführungsbeispiel, obwohl die optische Achse der Kamera 14 angeordnet ist, um wie vorstehend genannt leicht nach unten gerichtet zu sein, wird die nachstehende Erläuterung in einem Zustand durchgeführt, in dem die Richtung der optischen Achse der Kamera 14 horizontal auf die Fahrbahnoberfläche R gerichtet ist, die flach und nicht geneigt ist, zum Zweck des einfachen Verständnisses.
9B veranschaulicht schematisch einen Merkmalspunkterfassungsbereich As (As0), der als ein Erfassungsbereich in einem Bild G dient, das durch die Kamera 14 aufgenommen wird. Der Merkmalspunkterfassungsbereich As gemäß dem zweiten Ausführungsbeispiel entspricht einem Gebiet, das durch einen Suchbereich der Merkmalspunkte FP in dem Bild G spezifiziert ist. Insbesondere wird ein Löschen der Merkmalspunkte FP in dem gesamten Bild G nicht durchgeführt, sondern wird in einem spezifizierten und begrenzten Gebiet davon durchgeführt. Wie in 9B veranschaulicht ist, ist der Merkmalspunkterfassungsbereich As durch ein oberes Ende Gu (Gu0) und ein unteres Ende Gd (Gd0), die als obere beziehungsweise untere Positionen in dem Bild G spezifiziert sind, spezifiziert.
Der Merkmalspunkterfassungsbereich As ist nicht darauf beschränkt, auf die vorstehende Weise spezifiziert zu sein. Zum Beispiel kann der Merkmalspunkterfassungsbereich As durch einen Zwischenpunkt Gc zwischen dem oberen Ende Gu und dem unteren Ende Gd und einer Bildbreite Ws spezifiziert sein. 9B veranschaulicht insbesondere den Merkmalspunkterfassungsbereich As0 in einem Fall, in dem sich das Fahrzeug 50 an der Referenzposition auf einer im Wesentlichen flachen (d.h. nicht geneigten) Fahrbahnoberfläche befindet. Der Merkmalspunkterfassungsbereich As0 ist durch das obere Ende Gu0 und das untere Ende Gd0 definiert.
9C veranschaulicht eine Beziehung zwischen der Fahrbahnoberflächengradientendifferenz Δθ und dem Merkmalspunkterfassungsbereich As. Insbesondere veranschaulicht 9C den Merkmalspunkterfassungsbereich in einem Zustand, in dem die Fahrbahnoberflächengradientendifferenz Δθ innerhalb eines Bereichs von Δθ1 bis Δθ2 in einem Fall fällt, in dem die Fahrbahnoberfläche voraus des Fahrzeugs nach oben geneigt ist. Ein Punkt, an dem die Fahrbahnoberflächengradientendifferenz Δθ in 9C Null ist, gibt eine Position an, in der die Fahrbahnoberflächengradientendifferenz im Wesentlichen Null ist, und die Fahrbahnoberfläche R flach ist (d.h. nicht geneigt). Das heißt, dass ein positives Vorzeichen und ein negatives Vorzeichen der Fahrbahnoberflächengradientendifferenz Δθ an dem Punkt Δθ = 0 (d.h., Δθ1 < 0 und Δθ2 > 0) gewechselt wird. Der Merkmalspunkterfassungsbereich As0 in einem Fall, in dem die Fahrbahnoberflächengradientendifferenz Δθ Null ist, ist ein Bereich zwischen dem oberen Ende Gu0 und dem unteren Ende Gd0. 9C veranschaulicht das Beispiel, in dem eine Breite des Merkmalspunkterfassungsbereichs As innerhalb eines Bereichs der Fahrbahnoberflächengradientendifferenz Δθ von Δθ1 bis Δθ2 konstant ist. Dabei kann die Breite des Merkmalspunkterfassungsbereichs As abhängig von der Fahrbahnoberflächengradientendifferenz Δθ geändert werden.
Die 10A und 10B veranschaulichen jeweils ein Beispiel des Merkmalspunkterfassungsbereichs As in einem tatsächlichen Bild. 10A veranschaulicht ein Beispiel des Merkmalspunkterfassungsbereichs (d.h. den Merkmalspunkterfassungsbereich As0) in einem Fall, in dem sich das Fahrzeug 50 auf der Fahrbahnoberfläche R befindet, die flach ist, und dessen Fahrbahnoberflächengradientendifferenz Δθ im Wesentlichen Null ist. Wie in 10A veranschaulicht ist, ist in dem Merkmalspunkterfassungsbereich As0 das obere Ende Gu0 an einer Position unterhalb des oberen Endes des Bildes G um eine vorbestimmte Länge definiert, wobei das untere Ende Gd0 an einer Position oberhalb des unteren Endes des Bildes G um eine vorbestimmte Länge definiert ist. Das heißt, dass in dem Merkmalspunkterfassungsbereich As0 die Erfassung des Merkmalspunkts FP nicht innerhalb eines vorbestimmten Bereichs an einem oberen Ende des Bildes G und einem vorbestimmten Bereich an einem unteren Ende des Bildes G ausgeführt wird.
10B veranschaulicht ein Beispiel des Merkmalspunkterfassungsbereichs (d.h. eines Merkmalspunkterfassungsbereichs As1) in einem Fall, in dem sich das Fahrzeug 50 auf der Fahrbahnoberfläche R befindet, deren Fahrbahnoberflächengradientendifferenz Δθ größer ist als Null (Δθ > 0). Wie in 10B veranschaulicht ist, in dem Merkmalspunkterfassungsbereich As1, ist ein oberes Ende Gu1 an einer Position im Wesentlichen gleich dem oberen Ende des Bildes G definiert, wohingegen ein unteres Ende Gd1 an einer Position in der Umgebung eines Zentrums in einer Oben- und Unten-Richtung des Bildes G definiert ist. Das heißt, dass in dem Merkmalspunkterfassungsbereich As1 die Erfassung des Merkmalspunkts FP nicht innerhalb eines Bereichs von dem oberen Ende des Bildes G zu dem unteren Ende Gu1 und eines Bereichs von dem unteren Ende Gd1 zu dem unteren Ende des Bildes G durchgeführt wird. In der Erläuterung einer Beziehung zwischen dem Merkmalspunkterfassungsbereich As0 und dem Merkmalspunkterfassungsbereich As1 mit Bezug auf 9A kann angenommen werden, dass der Merkmalspunkterfassungsbereich in einem Fall, in dem sich das Fahrzeug 50 an der Position PS0 befindet, der Merkmalspunkterfassungsbereich As0 ist, und der Merkmalspunkterfassungsbereich in einem Fall, in dem sich das Fahrzeug 50 an der Position PS1 befindet, der Merkmalspunkterfassungsbereich As1 ist.
Als Nächstes wird ein Eigenpositionsabschätzverfahren gemäß dem zweiten Ausführungsbeispiel mit Bezugnahme auf 11 erläutert. 11 ist ein Ablaufdiagramm, das einen Ablauf des Eigenpositionsabschätzprogramms zum Abschätzen der Eigenposition des Fahrzeugs 50 angibt. Gemäß dem in 11 veranschaulichten Eigenpositionsabschätzprogramm, wenn eine Anweisung zum Starten des Programms durchgeführt wird, liest die CPU 12A der Steuerungseinheit 12, die als eine Einstelleinheit dient, das Eigenpositionsabschätzprogramm aus der Speichereinrichtung, wie etwa dem ROM 12B, als Beispiel aus, und entwickelt das Programm in der Speichereinrichtung, wie etwa dem RAM 12C, als Beispiel, um das Programm auszuführen. Im zweiten Ausführungsbeispiel wird vorab eine Karte erzeugt und in der Speichereinheit 16 gespeichert. Die Eigenpositionsabschätzverarbeitung wird einhergehend mit einem Fahren des Fahrzeugs 50 durch einen Fahrer in Richtung des Zielpunkts GP von einem Zustand, in dem das Fahrzeug 50 an dem Startpunkt SP gestoppt ist, durchgeführt, wie in 2B veranschaulicht ist. Alternativ kann die Eigenpositionsabschätzverarbeitung bei einem automatischen Fahren des Fahrzeugs 50 von dem Startpunkt SP zu dem Zielpunkt GP als Beispiel angewendet werden.
Im zweiten Ausführungsbeispiel ist das Eigenpositionsabschätzprogramm vorab beispielsweise in dem ROM 12B gespeichert. Alternativ kann das Eigenpositionsabschätzprogramm in einem Zustand, dass dieses in einem tragbaren Speichermedium gespeichert ist, um durch einen Computer lesbar zu sein, bereitgestellt sein, oder kann über eine Kommunikationseinrichtung, wie etwa beispielsweise eine Netzwerkschnittstelle, zugestellt werden.
Das Fahrbild wird erhalten, indem dieses in Schritt S100 durch die Kamera 14 aufgenommen wird. Das Fahrbild wird pro vorbestimmter Zeitperiode, nachdem das Fahrzeug 50 von dem Startpunkt SP startet, bezogen. Zum Beispiel wird das Fahrbild pro 33 ms (Millisekunden), die als gängige Videorate dient, erhalten.
In S102 wird bestimmt, ob das Fahrbild erstmalig bezogen wird oder nicht. Gemäß der Eigenpositionsabschätzverarbeitung des zweiten Ausführungsbeispiels werden ein Merkmalspunkterfassungsbereicheinstellverfahren und Schlüsselbildsuchverfahren in anschließenden Schritten abhängig davon, ob das Fahrbild erstmalig oder zum zweiten Mal oder später bezogen wird, geändert. In einem Fall, in dem in Schritt S102 eine positive Bestimmung getroffen wird, fährt der Prozess zu Schritt S104 fort, wohingegen der Prozess in einem Fall, in dem eine negative Bestimmung getroffen wird, zu Schritt S112 fortfährt.
Der Merkmalspunkterfassungsbereich As wird auf einen Initial- beziehungsweise Ausgangsmerkmalspunkterfassungsbereich, der zuvor spezifiziert wird, in Schritt S104 eingestellt, weil die Fahrbahnoberflächengradientendifferenz Δθ zu einem Zeitpunkt, bei dem das Fahrbild erstmalig bezogen wird, noch nicht abgeschätzt wurde. Der Ausgangsmerkmalspunkterfassungsbereich kann gemäß einem beliebigen Verfahren spezifiziert werden. Zum Beispiel ist der Merkmalspunkterfassungsbereich As0, der an einer Mitte der Oben-und-Unten-Richtung im Bild G angeordnet ist, wie in 9C veranschaulicht ist, als der Ausgangsmerkmalspunkterfassungsbereich definiert. Wie vorstehend angemerkt ist, ist der Merkmalspunkterfassungsbereich As0 ein begrenztes Gebiet innerhalb des Bildes G. Weil der Ausgangsmerkmalspunkterfassungsbereich wie vorstehend das beschränkte Gebiet ist, wird verhindert, dass Merkmalspunkte auf der Fahrbahnoberfläche, die beispielsweise schwierig sind, voneinander unterschieden zu werden, erfasst werden. Beispielsweise sind die Merkmalspunkte an einem Gebäude, die leicht voneinander unterscheidbar sein können, besser erfassbar.
Die Merkmalspunkte werden erfasst, und Merkmalswerte davon werden in Schritt S106 berechnet. Die Merkmalspunkte können durch das FAST erfasst werden, und die Merkmalswerte können auf einer Grundlage des ORB wie vorstehend genannt berechnet werden.
Ein Schlüsselbild beziehungsweise Keyframe KF0, das das ähnlichste Schlüsselbild zu dem Fahrbild ist, wird beispielsweise durch einen Korb von Visuellen Wörtern basierend auf den in Schritt S106 berechneten Merkmalswerten ausgewählt. Der Korb von Visuellen Wörtern ist ein Werkzeug zum Bestimmen eines Ähnlichkeitsgrades zwischen Bildern durch Ausdrücken einer großen Anzahl von lokalen Merkmalen in dem Bild durch Vektorquantifizierung und Histogramme. Es erfordert eine bestimmte Zeit, um das Schlüsselbild durch den Korb von Visuellen Wörtern zu extrahieren. Nichtsdestotrotz, weil eine solche Operation durchgeführt wird, um das Ausgangfahrbild zu erhalten, wenn das Fahrzeug an dem Startpunkt SP gestoppt ist, dürfte es kein Problem sein, den Korb von Visuellen Wörtern zu verwenden, was eine relativ lange Operationszeit erfordert.
Die Merkmalswerte werden zwischen dem Schlüsselbild KF0 und dem Fahrbild in Schritt S110 verglichen, um die Merkmalspunkte zwischen dem Schlüsselbild KF0 und dem Fahrbild zu korrelieren (d.h. Paarbildung). Weil die in dem Merkmalspunkterfassungsbereich As0 erfassten Merkmalspunkte leicht voneinander unterscheidbar sind, ist eine genaue Korrelation erreichbar.
In Schritt S124 werden die Position und die Haltung der Kamera abgeschätzt, so dass eine Projektionsdifferenz minimiert wird, wobei die Projektionsdifferenz zwischen einer dreidimensionalen Position (d.h. einer Position auf der Karte) des auf der Grundlage einer Korrelation zwischen dem Fahrbild und dem Schlüsselbild KF0 erhaltenen Merkmalspunkts und der Position des Merkmalspunkts in dem Fahrbild definiert wird. Die Projektionsdifferenz gemäß dem gegenwärtigen Ausführungsbeispiel wird mit Bezugnahme auf 12 erläutert. 12 veranschaulicht Positionen a, b und c der Merkmalspunkte in dem Fahrbild, Positionen A, B und C der Merkmalspunkte auf einer Kartenkoordinate CM korreliert auf der Karte, sowie Positionen a', b' und c' der Merkmalspunkte, die durch Projizieren der Positionen A, B und C der Merkmalspunkte auf der Kartenkoordinate CM in dem Fahrbild erhalten werden. Zu diesem Zeitpunkt ist eine Projektionsdifferenz εa für die Position A eine Differenz zwischen der Position a und der Position a'. Das Gleiche wird an den Positionen B und C angewendet. Weil eine Differenz zwischen der Position des Merkmalspunkts in dem Fahrbild und der Position des Merkmalspunkts auf der Kartenkoordinate gemäß dem gegenwärtigen Ausführungsbeispiel klein ist, werden die Position und die Haltung der Kamera genau abgeschätzt.
Die Position und die Haltung der Kamera, die in Schritt S124 abgeschätzt wird, wird in Schritt S126 in die Position und die Haltung des eigenen Fahrzeugs konvertiert. Die Position des eigenen Fahrzeugs (d.h. Eigenposition) entspricht der Position des repräsentativen Fahrzeugpunkts X auf der Karte. Im zweiten Ausführungsbeispiel, weil eine relative Position zwischen dem repräsentativen Fahrzeugpunkt X und der Kamera 14 vorab erkannt wurde, werden die Position und die Haltung der Kamera 14 auf die Position des repräsentativen Fahrzeugpunkts X basierend auf der vorstehenden relativen Positionsbeziehung konvertiert. Weil eine solche Umwandlung durch eine einfache Berechnung erhalten wird, wird die Position des eigenen Fahrzeugs, während das Fahrzeug fährt, in einer kurzen Zeitperiode abgeschätzt, was eine Verzögerungszeit einer Fahrzeugoperationssteuerung verringern kann. Als Folge kann das Fahrzeug hochgenau zu einer Zielroute geführt werden, und in einem engen Raum geparkt werden, was beispielsweise zu einem reduzierten Parkraum führt.
In Schritt S128 wird bestimmt, ob Bilder (Fahrbilder) an allen Fahrbildaufnahmepunkten erhalten werden oder nicht. In einem Fall, in dem das Fahrbild erstmalig bezogen wird, wird in Schritt S128 eine negative Bestimmung getroffen, und daher kehrt der Prozess zu Schritt S100 zurück, um das Beziehen des Fahrbildes fortzusetzen.
Andererseits, in Schritt S112, wird ein Schlüsselbild KFf, das das nächstgelegene Schlüsselbild zu einer Vorwärtsposition um einen vorbestimmten Abstand, d.h. beispielsweise fünf Meter, von der Position der Kamera 14, die zuvor abgeschätzt wurde, ist, gesucht und ausgewählt. Insbesondere, weil ein Abstand zu der Fahrbahnoberfläche R, die an einer Mitte des Bildes erscheint, zuvor auf der Grundlage eines Installationswinkels der Kamera 14 erhalten wird, wird ein Schlüsselbild, das sich am nächsten zu dieser Position befindet, ausgewählt.
Eine Differenz (θ1 - θf) zwischen dem Kameraneigungswinkel θf des Schlüsselbildes KFf und dem Kameraneigungswinkel θ1, der zuvor abgeschätzt wurde, wird in Schritt S114 als die Fahrbahnoberflächengradientendifferenz Δθf definiert.
In Schritt S116 wird der Merkmalspunkterfassungsbereich As unter Verwendung eines in 9C veranschaulichten Diagramms basierend auf der in Schritt S114 spezifizierten Fahrbahnoberflächengradientendifferenz Δθf eingestellt. Insbesondere werden das obere Ende Gu und das untere Ende Gd des Merkmalspunkterfassungsbereichs As abhängig von der Größenordnung der Fahrbahnoberflächengradientendifferenz Δθf spezifiziert. Als Folge, ungeachtet der Fahrbahnoberflächengradientendifferenz Δθ, werden die Merkmalspunkte auf der Fahrbahnoberfläche, die schwer voneinander zu unterscheiden sind, daran gehindert, erfasst zu werden, und die Merkmalspunkte, die leicht voneinander unterscheidbar sind, wie etwa beispielsweise die Merkmalspunkte an einem Gebäude, können besser erfasst werden (siehe 10B). Zusätzlich, weil die Anzahl von Berechnungen der Merkmalspunkte durch die Begrenzung des Merkmalspunkterfassungsbereichs As beschränkt ist, können Berechnungen zum Beziehen der Merkmalswerte und Korrelieren der zukünftigen Punkte abnehmen. Daher, auch in einem System, wo eine Rechenressource begrenzt ist, ist die Abschätzung der Position des eigenen Fahrzeugs in einer kurzen Zeitperiode erlangbar.
Auf die gleiche Weise wie in Schritt S106 wird die Erfassung der Merkmalspunkte und die Berechnung der Merkmalswerte der erfassten Merkmalspunkte in Schritt S118 durchgeführt.
In Schritt S120 wird ein Schlüsselbild KF1 umfassend die größte Anzahl von Merkmalspunkten, die zuvor korreliert wurden, ausgewählt.
Die Merkmalswerte werden zwischen dem Schlüsselbild KF1 und dem Fahrbild verglichen, so dass die Merkmalspunkte davon miteinander korreliert werden (Paarbildung). Im zweiten Ausführungsbeispiel, ungeachtet der Fahrbahnoberflächengradientendifferenz Δθ, ist eine große Anzahl von Merkmalspunkten, die als Vergleichsziele dienen, die leicht voneinander unterscheidbar sind, bereitgestellt. Daher ist eine genaue Korrelation zu erlangen.
Als Nächstes werden die Operationen der Schritte S124 bis S128, die vorstehend erläutert wurden, durchgeführt. Dabei wird jedoch das Schlüsselbild KF0 in Schritt S124 durch das Schlüsselbild KF1 ausgetauscht. Anschließend, wenn in Schritt S128 eine positive Bestimmung getroffen wird, wird das gegenwärtig durchgeführte Eigenpositionsabschätzprogramm beendet.
Wie vorstehend angemerkt, gemäß der Eigenpositionsabschätzvorrichtung, dem Eigenpositionsabschätzverfahren und dem Eigenpositionsabschätzprogramm des zweiten Ausführungsbeispiels, ist das Abschätzen der Eigenposition des Fahrzeugs in einer kurzen Zeitperiode auch in einem System erlangbar, in dem eine Rechenressource begrenzt ist. Im zweiten Ausführungsbeispiel, weil der Erfassungsbereich der Merkmalspunkte in dem Bild begrenzt ist, ist die Erfassungszeit reduziert. Ferner, weil die Anzahl von erfassten Merkmalspunkten begrenzt ist, können Berechnungen zum Beziehen der Merkmalswerte und Korrelieren der zukünftigen Punkte abnehmen. Daher ist das Abschätzen der Position des eigenen Fahrzeugs in einer kurzen Zeitperiode auch in einem System erlangbar, in dem eine Rechenressource begrenzt ist.
Zusätzlich, gemäß der Eigenpositionsabschätzvorrichtung, dem Eigenpositionsabschätzverfahren und dem Eigenpositionsabschätzprogramm des zweiten Ausführungsbeispiels, kann die Eigenposition des Fahrzeugs hochgenau abgeschätzt werden, auch bei Änderungen des Fahrbahnoberflächengradienten. Weil der Merkmalspunkterfassungsbereich in dem Fahrbild abhängig von dem Fahrbahnoberflächengradienten der Eigenposition des Fahrzeugs relativ zu einer Frontrichtung des Fahrzeugs geändert wird, werden Merkmalspunkte beispielsweise an einem Gebäude, die leicht voneinander zu unterscheiden sind, mehr erfasst, wohingegen die Merkmalspunkte beispielsweise auf einer Fahrbahnoberfläche, die schwierig voneinander zu unterscheiden sind, weniger erfasst werden. Die Merkmalspunkte können genau zwischen dem Schlüsselbild und dem Fahrbild korreliert werden. Auch bei Änderungen des Fahrbahnoberflächengradienten kann die Eigenposition des Fahrzeugs genau mit der minimalen Anzahl von Erfassungen der Merkmalspunkte abgeschätzt werden.
Weiterhin, in einem Fall, in dem die Eigenpositionsabschätzvorrichtung, das Eigenpositionsabschätzverfahren und das Eigenpositionsabschätzprogramm des zweiten Ausführungsbeispiels an einem automatischen Parksystem angewendet werden, wird das Fahrzeug hochgenau zu einer Zielroute geführt. Das Fahrzeug kann in einem schmalen Raum geparkt werden, was zu einem reduzierten Parkraum führt. Im zweiten Ausführungsbeispiel wird die Position des eigenen Fahrzeugs, während das Fahrzeug gefahren wird, in einer kurzen Zeitperiode abgeschätzt, was eine Verzögerungszeit einer Fahrzeugoperationssteuerung verringern kann. Daher kann das Fahrzeug hochgenau zu einer Zielroute geführt werden und beispielsweise in einem schmalen Raum geparkt werden, was zu einem reduzierten Parkraum führt.
Als Nächstes wird die Eigenpositionsabschätzvorrichtung gemäß einem dritten Ausführungsbeispiel erläutert. Wie in 13 veranschaulicht ist, ist ein Eigenpositionsabschätzsystem 40 gemäß dem dritten Ausführungsbeispiel aufgebaut, wobei dieses eine Bildgebungsvorrichtung 210, die als eine Bildaufnahmeeinheit dient, einen Sensor 220 und eine Eigenpositionsabschätzvorrichtung 300 umfasst.
Die Bildgebungsvorrichtung 210 ist eine am Fahrzeug fixierte Kamera, um ein Bild in einer vorbestimmten Richtung relativ zu dem Fahrzeug aufzunehmen.
Insbesondere ist die Bildgebungsvorrichtung 210 beispielsweise eine fahrzeugeigene Monokularkamera, die eine Straße voraus des Fahrzeugs abbildet und aufnimmt. Die Bildgebungsvorrichtung 210 nimmt ein Straßenbild voraus des Fahrzeugs als ein Beispiel eines Fahrstraßenbildes auf.
Das aufgenommene Bild (d.h. aufgenommene Bild) ist nicht auf ein Bild voraus des Fahrzeugs beschränkt, und kann ein Bild nach hinten des Fahrzeugs oder ein Bild an einer rechten oder linken Seite des Fahrzeugs sein.
Der Sensor 220 besteht aus mehreren Sensoren umfassend mindestens einen Sensor zum Beziehen einer Helligkeit, wie etwa beispielsweise einen Beleuchtungsmesser, mindestens einen Sensor zum Beziehen der Zeit, und mindestens einen Sensor zum Beziehen von dreidimensionalen Positionsinformationen oder einem Winkel, wie etwa beispielsweise ein GPS und einen Magnetsensor. Die vorstehenden Magnetsensoren können beispielsweise an einer Vorrichtung bereitgestellt sein, die sich von der Eigenpositionsabschätzvorrichtung 300 unterscheidet. Im dritten Ausführungsbeispiel besteht der Sensor 220 aus dem Beleuchtungsmesser und dem GPS.
Die Eigenpositionsabschätzvorrichtung 300 schätzt die Position des Fahrzeugs unter Verwendung einer Umgebungskarte, die Merkmalswerte speichert, die für mehrere Merkmalspunkte registriert sind, deren Positionen bekannt sind, ab. Die Eigenpositionsabschätzvorrichtung 300 umfasst eine CPU, einen RAM und einen ROM, der ein Programm zum Ausführen einer Eigenpositionsabschätzverarbeitungsroutine speichert, die später erläutert wird. Die Eigenpositionsabschätzvorrichtung 300 ist funktional wie folgt aufgebaut.
Die Eigenpositionsabschätzvorrichtung 300 umfasst eine Bildeingabeeinheit 310, eine Merkmalspunktextraktionseinheit 320, eine Merkmalswertberechnungseinheit 330, eine Sensorinformationeneingabeeinheit 340, eine Lichtquellenrichtungsabschätzeinheit 350, eine Sonnenscheinzustandsabschätzeinheit 360, eine Korrekturfaktorentscheidungseinheit 370, eine Korrekturfaktorspeichereinheit 380, eine Merkmalswertkorrektureinheit 390, eine Abschätzeinheit 400, eine Umgebungskartenmerkmalswertspeichereinheit 410 und ein Fahrassistenzsystem 500.
Die Bildeingabeeinheit 310 empfängt eine Eingabe eines Bildes von der Bildgebungsvorrichtung 210.
Insbesondere empfängt die Bildeingabeeinheit 310 eine Eingabe eines aufgenommenen Bildes von der Bildgebungsvorrichtung 210, und sendet das vorstehende aufgenommene Bild an die Merkmalspunktextraktionseinheit 320.
Die Merkmalspunktextraktionseinheit 320 extrahiert die mehreren Merkmalspunkte aus dem Bild voraus des Fahrzeugs, das durch die Bildgebungsvorrichtung 210 aufgenommen wird.
Insbesondere extrahiert die Merkmalspunktextraktionseinheit 320 die mehreren Merkmalspunkte aus dem Bild unter Verwendung eines Merkmalspunktextraktionsalgorithmus (zum Beispiel FAST).
Die Merkmalspunktextraktionseinheit 320 sendet die extrahierten Merkmalspunkte an die Merkmalswertberechnungseinheit 330 und die Korrekturfaktorentscheidungseinheit 370.
Die Merkmalswertberechnungseinheit 330 berechnet die Merkmalswerte basierend auf einer Luminanz von jedem der Merkmalspunkte.
Insbesondere berechnet die Merkmalswertberechnungseinheit 330 die Merkmalswerte für die jeweiligen Merkmalspunkte, die durch die Merkmalspunktextraktionseinheit 320 erhalten werden. Zum Beispiel berechnet die Merkmalswertberechnungseinheit 330 die Merkmalswerte jeweils in 32 Byte basierend auf ORB-Merkmalen.
Die Merkmalswertberechnungseinheit 330 sendet die berechneten Merkmalswerte an die Merkmalswertkorrektureinheit 390.
Die Sensorinformationeneingabeeinheit 340 empfängt, von dem Sensor 220, eine durch den Bestrahlungsmesser erhaltene Helligkeit, und dreidimensionale Positionsinformationen sowie eine Zeit davon, die durch das GPS erhalten werden. Die Sensorinformationeneingabeeinheit 340 sendet die dreidimensionalen Positionsinformationen und die Zeit davon an die Lichtquellenrichtungsabschätzeinheit 350, und sendet Helligkeitsinformationen an die Sonnenscheinzustandsabschätzeinheit 360.
Die Lichtquellenrichtungsabschätzeinheit 350 schätzt auf der Grundlage von Sensorinformationen eine Lichtquellenrichtung relativ zu einer Bildgebungsrichtung, in der das Bild durch die Bildgebungsvorrichtung 210 aufgenommen wird, zu dem Zeitpunkt, bei dem das Bild aufgenommen wird, ab.
Insbesondere schätzt die Lichtquellenrichtungsabschätzeinheit 350 die Lichtquellenrichtung (zum Beispiel die Richtung der Sonne relativ zu Norden) basierend auf dem Zeitpunkt, an dem die Positionsinformationen durch das GPS erhalten werden (die nachstehend als GPS-Positionszeit bezeichnet wird) ab. Im dritten Ausführungsbeispiel wird beispielsweise ein Fall beschrieben, in dem die Lichtquelle die Sonne ist. Die Lichtquellenrichtungsabschätzeinheit 350 schätzt einen Winkel und eine Höhenlage der Sonne zur GPS-Positionszeit basierend auf einer durchschnittlichen Sonnenaufgangszeit, Sonnenuntergangszeit und Mittagszeit an dem Datum der GPS-Positionszeit als Beispiel ab.
Die Lichtquellenrichtungsabschätzeinheit 350 schätzt die Bildgebungsrichtung basierend auf den Sensorinformationen, die zum Berechnen der Richtung des Fahrzeugs verwendet werden, ab. Zum Beispiel wird die Richtung des Fahrzeugs relativ zu Norden unter Verwendung von Längengrad/Breitengrad, die durch das GPS zur gegenwärtigen GPS-Positionszeit erhalten werden, und Längengrad/Breitengrad, die durch das GPS zu einer vorhergehenden GPS-Positionszeit erhalten werden, ab. In einem Fall, in dem die Fahrzeugrichtung und die Bildgebungsrichtung miteinander übereinstimmen, wird die abgeschätzte Fahrzeugrichtung als die Bildgebungsrichtung abgeschätzt. In einem Fall, in dem die Fahrzeugrichtung und die Bildgebungsrichtung nicht miteinander übereinstimmen (d.h., voneinander abweichen), kann die Bildgebungsrichtung unter Berücksichtigung einer solchen Abweichung abgeschätzt werden.
Die Lichtquellenrichtungsabschätzeinheit 350 schätzt die Lichtquellenrichtung relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem das Bild aufgenommen wird, auf der Grundlage der abgeschätzten Lichtquellenrichtung und Bildgebungsrichtung ab. Die Lichtquellenrichtungsabschätzeinheit 350 sendet das Schätzergebnis, d.h. die abgeschätzte Lichtquellenrichtung relativ zu der Bildgebungsrichtung, an die Korrekturfaktorentscheidungseinheit 370.
Die Sonnenscheinzustandsabschätzeinheit 360 schätzt einen Sonnenscheinzustand des Fahrzeugs basierend auf der von den Sensorinformationen bezogenen Helligkeit ab.
Insbesondere schätzt die Sonnenscheinzustandsabschätzeinheit 360 eine Wolkenmenge basierend auf den Strahlungsinformationen durch den Strahlungsmesser ab, und schätzt ab, ob Schatten gebildet wird oder nicht. Zum Beispiel in einem Fall, in dem durch den Strahlungsmesser gemessene Helligkeit kleiner oder gleich einem vorbestimmten Wert ist, wird abgeschätzt, dass Wolken und Schatten nicht gebildet wird.
Die Sonnenscheinzustandsabschätzeinheit 360 sendet das Schätzergebnis, d.h., ob Schatten gebildet wird oder nicht, an die Korrekturfaktorentscheidungseinheit 370.
Die Korrekturfaktorentscheidungseinheit 370 bestimmt einen Merkmalswertkorrekturfaktor zum Korrigieren des Merkmalswerts von jedem der mehreren durch die Merkmalspunktextraktionseinheit 320 extrahierten Merkmalspunkte, so dass ein Merkmalswert in einen Zustand gebracht wird, in dem der Merkmalspunkt davon in die Lichtquellenrichtung gebracht wird, in der die Umgebungskarte durch Beziehen und Speichern der Merkmalswerte der Merkmalspunkte, deren Positionen bekannt sind, erzeugt wird, auf der Grundlage des Merkmalswerts des durch die Merkmalspunktextraktionseinheit 320 extrahierten Merkmalspunkts, der abgeschätzten Lichtquellenrichtung relativ zu der abgeschätzten Bildgebungsrichtung, und der Lichtquellenrichtung relativ zu der Bildgebungsrichtung, die zuvor zu dem Zeitpunkt, bei dem der Merkmalswert der Umgebungskarte bezogen wird, erhalten wird.
Insbesondere bezieht die Korrekturfaktorentscheidungseinheit 370 zunächst den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, aus der Umgebungskartenmerkmalswertspeichereinheit 410, und bestimmt, ob der durch die Sonnenscheinzustandsabschätzeinheit 360 abgeschätzte Sonnenscheinzustand den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, beeinflusst oder nicht.
Der Einfluss des Sonnenscheinzustands zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, wird auf der Grundlage von durch die Sonnenscheinzustandsabschätzeinheit 360 abgeschätzten Schatten, einer Differenz zwischen der Richtung der Sonne (Sonnenstrahlen), die durch die Lichtquellenrichtungsabschätzeinheit 350 abgeschätzt wird, und der Richtung der Sonne bei Bezug der Merkmalswerte der Umgebungskarte, und ob die abgeschätzte Richtung der Sonne in Front des Fahrzeugs ist oder nicht (d.h., ob die Kamera gegen das Licht ausgerichtet ist oder nicht), bestimmt.
Zum Beispiel kann in einem Fall von keinen Schatten in dem Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, abgeschätzt werden, dass die Wolkenmenge groß ist. Daher, zu diesem Zeitpunkt, bestimmt die Korrekturfaktorentscheidungseinheit 370, dass der durch die Sonnenscheinzustandsabschätzeinheit 360 abgeschätzte Sonnenscheinzustand den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, nicht beeinflusst.
In einem Fall, in dem die Korrekturfaktorentscheidungseinheit 370 bestimmt, dass der durch die Sonnenscheinzustandsabschätzeinheit 360 abgeschätzte Sonnenscheinzustand den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, beeinflusst, wird anschließend bestimmt, ob die Richtung der Sonne relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, mit der Richtung der Sonne relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem das Bild (Fahrbild) aufgenommen wird, übereinstimmt oder nicht.
In einem Fall, in dem bestimmt wird, dass die Richtung der Sonne relativ zu der Bildgebungsrichtung, die durch die Lichtquellenrichtungsabschätzeinheit 350 abgeschätzt wird, mit der Richtung der Sonne relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem der Merkmalswert der Umgebungskarte bezogen wird, übereinstimmt, bestimmt die Korrekturfaktorentscheidungseinheit 370, dass der durch die Sonnenscheinzustandsabschätzeinheit 360 abgeschätzte Sonnenscheinzustand daran gehindert wird, den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, zu beeinflussen.
Auch wenn die Richtung der Sonne relativ zu der Bildgebungsrichtung, die durch die Lichtquellenrichtungsabschätzeinheit 350 abgeschätzt wird, nicht mit der Richtung der Sonne relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem der Merkmalswert der Umgebungskarte bezogen wird, übereinstimmt, solange sich die Richtung der Sonne voraus des Fahrzeugs befindet, d.h., Licht von der Frontseite abgestrahlt wird, ist die Kamera gegen das Licht ausgerichtet, und eine Luminanz nimmt gleichförmig und gleichmäßig ab. Daher bestimmt die Korrekturfaktorentscheidungseinheit 370, dass der durch die Sonnenscheinzustandsabschätzeinheit 360 abgeschätzte Sonnenscheinzustand daran gehindert ist, den Sonnenscheinzustand zu dem Zeitpunkt, bei dem Umgebungskarte erzeugt wird, zu beeinflussen.
Andererseits, in einem Fall einer Abstrahlung des Sonnenlichts von der Rückseite, bestimmt die Korrekturfaktorentscheidungseinheit 370, ob die Richtung der Sonne relativ zu der Bildgebungsrichtung, die durch die Lichtquellenrichtungsabschätzeinheit 350 abgeschätzt wird, an einer rechten Seite oder einer linken Seite relativ zu der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, ist oder nicht.
Dabei schätzt die Korrekturfaktorentscheidungseinheit 370 ab, ob der Merkmalspunkt ein Vorsprung oder eine Ausnehmung ist (d.h., er vorsteht oder zurückgesetzt ist). Zum Beispiel kann eine durchschnittliche Luminanz an einer rechten Seite und eine durchschnittliche Luminanz an einer linken Seite relativ zu dem Merkmalspunkt erhalten werden. Insbesondere wird ein an dem Merkmalspunkt zentrierter Bereich (zum Beispiel ± 15 Pixel) in eine rechte Hälfte und eine linke Hälfte aufgeteilt. Die durchschnittliche Luminanz in der rechten Hälfte und die durchschnittliche Luminanz in der linken Hälfte werden anschließend jeweils bezogen. In einem Fall, in dem die Sonnenstrahlen auf die linke Seite relativ zu dem Merkmalspunkt scheinen, und die durchschnittliche Luminanz der linken Seite höher ist, wird abgeschätzt, dass der Merkmalspunkt der Vorsprung ist. In einem Fall, in dem die Sonnenstrahlen auf die linke Seite relativ zu dem Merkmalspunkt scheinen, und die durchschnittliche Luminanz der rechten Hälfte höher ist, wird abgeschätzt, dass der Merkmalspunkt die Ausnehmung ist. Zusätzlich, in einem Fall, in dem die Sonnenstrahlen auf die rechte Seite relativ zu dem Merkmalspunkt scheinen, und die durchschnittliche Luminanz der rechten Seite höher ist, wird abgeschätzt, dass der Merkmalspunkt der Vorsprung ist. In einem Fall, in dem die Sonnenstrahlen auf die rechte Seite relativ zu dem Merkmalspunkt scheinen, und die durchschnittliche Luminanz der linken Seite höher ist, wird abgeschätzt, dass der Merkmalspunkt die Ausnehmung ist.
Alternativ, als ein Verfahren zum Abschätzen, ob der Merkmalspunkt der Vorsprung oder die Ausnehmung ist, kann ein am Merkmalspunkt zentrierter Bereich (zum Beispiel ± 16 Pixel) in Quadrate aufgeteilt werden, oder radial bezüglich des Merkmalspunkts aufgeteilt werden. Die durchschnittliche Luminanz in den resultierenden Gebieten kann anschließend berechnet und verglichen werden.
Demzufolge bestimmt die Korrekturfaktorentscheidungseinheit 370, ob der Merkmalspunkt der Vorsprung ist oder die Ausnehmung ist, für alle der Merkmalspunkte.
Die Korrekturfaktorentscheidungseinheit 370 bestimmt den Merkmalswertkorrekturfaktor basierend darauf, ob die Richtung der Sonne relativ zu der abgeschätzten Bildgebungsrichtung durch die Lichtquellenrichtungsabschätzeinheit 350 an einer rechten Seite oder einer linken Seite relativ zu der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, und basierend darauf, ob der Merkmalspunkt der Vorsprung oder die Ausnehmung ist.
Zunächst, in einem Fall, in dem die Korrekturfaktorentscheidungseinheit 370 bestimmt, dass der abgeschätzte Sonnenscheinzustand den zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, erhaltenen Sonnenscheinzustand nicht beeinflusst, ist die Korrektur des Merkmalswerts nicht erforderlich. Daher bestimmt die Korrekturfaktorentscheidungseinheit 370 einen Merkmalswertkorrekturfaktor A (siehe 14) umfassend Sequenzen, die alle Null betragen, als den Merkmalswertkorrekturfaktor.
Die Korrekturfaktorentscheidungseinheit 370 bestimmt einen Merkmalswertkorrekturfaktor B (siehe 14) als den Merkmalswertkorrekturfaktor in einem Fall, in dem die Richtung der Sonne relativ zu der Bildgebungsrichtung, die durch die Lichtquellenrichtungsabschätzeinheit 350 abgeschätzt wird, eine rechte Seite der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, ist, und der Merkmalswert der Vorsprung ist. Zusätzlich, in einem Fall, in dem die Richtung der Sonne relativ zu der Bildgebungsrichtung, die durch die Lichtquellenrichtungsabschätzeinheit 350 abgeschätzt wird, eine rechte Seite der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, ist, und der Merkmalswert die Ausnehmung ist, bestimmt die Korrekturfaktorentscheidungseinheit 370 einen Merkmalswertkorrekturfaktor B' (siehe 14) als den Merkmalswertkorrekturfaktor.
Weiterhin bestimmt die Korrekturfaktorentscheidungseinheit 370 einen Merkmalswertkorrekturfaktor C (siehe 14) als den Merkmalswertkorrekturfaktor in einem Fall, in dem die Richtung der Sonne relativ zu der Bildgebungsrichtung, die durch die Lichtquellenrichtungsabschätzeinheit 350 abgeschätzt wird, eine linke Seite der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, ist, und der Merkmalspunkt der Vorsprung ist. In einem Fall, in dem die Richtung der Sonne relativ zu der Bildgebungsrichtung, die durch die Lichtquellenrichtungsabschätzeinheit 350 abgeschätzt wird, eine linke Seite der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, ist, und der Merkmalspunkt die Ausnehmung ist, bestimmt die Korrekturfaktorentscheidungseinheit 370 einen Merkmalswertkorrekturfaktor C' (siehe 14) als den Merkmalswertkorrekturfaktor.
Die Korrekturfaktorentscheidungseinheit 370 bestimmt Merkmalswertkorrekturfaktoren für alle der Merkmalspunkte, und sendet die bestimmten Merkmalswertkorrekturfaktoren an die Merkmalswertkorrektureinheit 390.
Die Korrekturfaktorspeichereinheit 380 speichert verschiedene Muster von Merkmalswertkorrekturfaktoren, die für die Merkmalswerte der Merkmalspunkte auf der Karte vorbestimmt sind.
Der Merkmalswertkorrekturfaktor wird separat und individuell abhängig davon, ob der abgeschätzte Sonnenscheinzustand den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, beeinflusst oder nicht, der Differenz der Richtung der Sonne relativ zu dem Merkmalspunkt, ob der Merkmalspunkt ein Vorsprung oder eine Ausnehmung ist, und der Richtung der Sonne relativ zu der Bildgebungsrichtung, in der das Bild aufgenommen wird, bestimmt. Beispiele der Merkmalswertkorrekturfaktoren sind in 14 veranschaulicht. In dem Beispiel von 14 umfasst jeder der Merkmalswertkorrekturfaktoren eine bestimmte Länge abhängig von dem Merkmalswert, d.h. beispielsweise, umfasst 256 Sequenzen, die jeweils durch einen von drei Werten ausgedrückt werden [+ 1, 0, - 1]. Der Merkmalswert umfasst einen Bitverlauf, der aus 256 Bits besteht, die jeweils durch 1 oder 0 ausgedrückt werden. Daher bedeuten die Werte [+ 1, 0, - 1] der Sequenzen des Merkmalswertkorrekturfaktors eine Änderung jedes Bits in dem Bitverlauf des entsprechenden Merkmalswerts auf 1, Belassen des Bits, wie dieser ist, und Ändern des Bits auf 0.
Verschiedene Arten und Muster der Merkmalswertkorrekturfaktoren werden bestimmt, um zu den Bits von jedem der Merkmalswerte zu passen, durch Berücksichtigen verschiedener Fälle und Situationen basierend darauf, ob der abgeschätzte Sonnenscheinzustand den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, beeinflusst oder nicht, ob der Merkmalspunkt ein Vorsprung oder eine Ausnehmung ist, und der Richtung der Sonne relativ zu der Bildgebungsrichtung, in der das Bild aufgenommen wird.
In einem Fall, in dem der abgeschätzte Sonnenscheinzustand den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, nicht beeinflusst, ist die Korrektur des Merkmalswerts nicht erforderlich. Daher wird der Merkmalswertkorrekturfaktor, in dem alle Sequenzen Null sind, d.h. der Merkmalswertkorrekturfaktor A in 14, entschieden beziehungsweise bestimmt.
In einem Fall, in dem der abgeschätzte Sonnenscheinzustand den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, beeinflusst, d.h. ein Schatten gebildet wird, wird der Merkmalswertkorrekturfaktor in Anbetracht eines Falles, in dem die Richtung der Sonne relativ zu der Bildgebungsrichtung an einer rechten Seite der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, und der Merkmalspunkt der Vorsprung ist, d.h. der Merkmalswertkorrekturfaktor B in 14, für den Merkmalswert des Merkmalspunkts auf der Karte entschieden beziehungsweise bestimmt. Zwei Regionen (Punkte) (zum Beispiel zwei Bereiche 1a und 1b in 21) in dem Merkmalspunkt auf der Karte werden miteinander durch Berechnen der Luminanz in den zwei Bereichen verglichen, um jeden Bit des Merkmalswerts des Merkmalspunkts zu erhalten. Abhängig davon, ob sich die zwei Bereiche an der gleichen Seite befinden, d.h. der linken Seite oder der rechten Seite, relativ zu dem Merkmalspunkt auf der Karte, wird der Wert von einem der 256 Sequenzen des Merkmalswertkorrekturfaktors bestimmt.
In einem Fall, in dem sich die zwei Bereiche auf der gleichen Seite befinden, wird kein Einfluss auf jedes Bit des Merkmalswerts angenommen, auch wenn Schatten relativ zu dem Merkmalspunkt gebildet wird. Daher wird der Wert der entsprechenden Sequenz des Merkmalswertkorrekturfaktors auf Null eingestellt.
Zum Beispiel ist der Merkmalswertkorrekturfaktor unter Verwendung von zwei Bereichen (xa, xb) von jeweils 5 x 5 Pixel bestimmbar, wobei auf den beiden Regionen die Luminanzberechnung zum Vergleich durchgeführt wird, um den x-ten Bit des Merkmalswerts zu erhalten. In einem Fall, in dem sich die vorstehenden zwei Bereiche an der linken Seite oder an der rechten Seite des Merkmalspunkts befinden, wird der Wert der x-ten Sequenz des Merkmalswertkorrekturfaktors des vorstehenden Merkmalspunkts auf Null eingestellt.
In einem Fall, in dem sich der Bereich xa an der rechten Seite befindet, und sich der Bereich xb an der linken Seite befindet (zum Beispiel Regionen 1a und 1b in 21), die Bereiche 1a und 1b, an denen die Luminanzberechnung durchgeführt wird, ist die linke Seite dunkler (d.h., enthält eine niedrige Luminanz), wenn die Richtung der Sonne relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem das Bild aufgenommen wird, an der rechten Seite relativ zu der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, ist, und der Merkmalspunkt der Vorsprung ist, weil der Schatten an der linken Seite gebildet wird. Das heißt, dass die Luminanz in dem Bereich xa größer ist als die Luminanz in dem Bereich xb. Daher ist der x-te Bit des Merkmalswerts, der durch den Sonnenscheinzustand beeinflusst wird, Eins (1).
Dabei, solange der x-te Bit des Merkmalswerts des Merkmalspunkts auf der Karte Eins ist, ist die Korrektur des Merkmalswerts nicht erforderlich. Daher wird der Wert der x-ten Sequenz des Merkmalswertkorrekturfaktors auf Null eingestellt. Andererseits, in einem Fall, in dem der x-te Bit des Merkmalswerts des Merkmalspunkts auf der Karte Null ist, sollte der x-te Bit des Merkmalswerts, der extrahiert wird, auf Null korrigiert werden, so dass der Wert der x-ten Sequenz des Merkmalswertkorrekturfaktors auf minus Eins (- 1) eingestellt wird.
Andererseits, in einem Fall, in dem sich der Bereich xa an der linken Seite befindet und sich der Bereich xb an der rechten Seite befindet, die Luminanz in dem Bereich xa kleiner ist als die Luminanz in dem Bereich xb, wenn die Richtung der Sonne relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem das Bild aufgenommen wird, an der rechten Seite relativ zu der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, ist, und der Merkmalspunkt der Vorsprung ist, so dass der x-te Bit des Merkmalswerts durch den Sonnenscheinzustand beeinflusst ist, Null ist.
Dabei, solange der x-te Bit des Merkmalswerts des Merkmalspunkts auf der Karte Null ist, ist die Korrektur des Merkmalswerts nicht erforderlich. Daher wird der Wert der x-ten Sequenz des Merkmalswertkorrekturfaktors auf Null eingestellt. Andererseits, in einem Fall, in dem der x-te Bit des Merkmalswerts des Merkmalspunkts auf der Karte Eins ist, sollte der x-te Bit des Merkmalswerts des extrahierten Merkmalspunkts auf Eins korrigiert werden, so dass der Wert der x-ten Sequenz des Merkmalswertkorrekturfaktors auf plus Eins (+ 1) eingestellt wird. Die vorstehende Operation wird bezüglich aller Bits durchgeführt, um den Merkmalswertkorrekturfaktor B zu bestimmen.
Auf die gleiche Weise wird der Merkmalswertkorrekturfaktor B' für einen Fall bestimmt, in dem die Richtung der Sonne relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, an dem das Bild aufgenommen wird, an der rechten Seite relativ zu der Richtung zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, ist, und der Merkmalspunkt die Vertiefung beziehungsweise Aussparung ist. Der Merkmalswertkorrekturfaktor C wird für einen Fall bestimmt, in dem die Richtung der Sonne relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem das Bild aufgenommen wird, an der linken Seite ist als im Vergleich zu der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, und der Merkmalspunkt der Vorsprung ist. Der Merkmalswertkorrekturfaktor C' wird für einen Fall bestimmt, in dem die Richtung der Sonne relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem das Bild aufgenommen wird, an der linken Seite ist, als im Vergleich zu der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, und der Merkmalspunkt die Vertiefung ist.
Demzufolge werden verschiedene Muster der Merkmalswertkorrekturfaktoren bestimmt, so dass, auch wenn der abgeschätzte Sonnenscheinzustand den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, beeinflusst (zum Beispiel aufgrund von Schatten), der Merkmalswert des extrahierten Merkmalspunkts hinsichtlich eines solchen Einflusses basierend auf der Richtung der Sonnenstrahlen in die zwei Bereiche (Punkte), die miteinander verglichen werden, und der Form (Vorsprung, Vertiefung) des Merkmalspunkts korrigierbar ist.
Die Merkmalswertkorrektureinheit 390 korrigiert den Merkmalswert von jedem der Vielzahl von Merkmalspunkten basierend auf dem Merkmalswert und dem Merkmalswertkorrekturfaktor, der mit dem Muster entsprechend des Merkmalspunkts (d.h. der Form davon und der Richtung der Sonne) konform ist.
Insbesondere korrigiert die Merkmalswertkorrektureinheit 390 den Merkmalswert durch Addieren entsprechender Werte der Sequenzen des Merkmalswertkorrekturfaktors zu entsprechenden Bits des Bitverlaufs des Merkmalswerts. Dabei wird in einem Fall, in dem ein resultierendes Bit, das aus der vorstehenden Addition erhalten wird, +1 überschreitet, ein solches Bit des Merkmalswerts auf Eins korrigiert. In einem Fall, in dem ein resultierendes Bit, das aus der vorstehenden Addition erhalten wird, unter Null fällt, wird ein solches Bit des Merkmalswerts auf Null korrigiert.
In einem Fall von 21 wird beispielsweise der Merkmalswert durch „1, 0, 0, ..., 1“ repräsentiert, wie in 22 veranschaulicht ist. Dabei, in einem Fall, in dem der Merkmalswertkorrekturfaktor durch „-1, 1, 1, ..., 0“ repräsentiert wird, wird ein Wert nach der Korrektur (korrigierter Merkmalswert) durch „0, 1, 1, ..., 1“ repräsentiert, was mit dem Merkmalswert in 20 übereinstimmt, der in dem Fall von 19 veranschaulicht ist.
Die Merkmalswertkorrektureinheit 390 sendet die korrigierten Merkmalswerte für alle der Merkmalspunkte an die Abschätzeinheit 400.
Die Abschätzeinheit 400 schätzt die Position des Fahrzeugs basierend auf den korrigierten Merkmalswerten der mehreren durch die Merkmalspunktextraktionseinheit 320 extrahierten Merkmalspunkte und den Merkmalswerten der Merkmalspunkte auf der Karte ab.
Insbesondere schätzt die Abschätzeinheit 400 die Position, an der sich das Fahrzeug auf der Karte befindet, durch Abgleichen der korrigierten Merkmalswerte und der Merkmalswerte auf den Merkmalspunkten auf der Karte ab. Zum Beispiel bestimmt die Abschätzeinheit 400 eine Position entsprechend einer oder einer Position mit dem Merkmalswert, der die höchste Ähnlichkeit zwischen den korrigierten Merkmalswerten und den Merkmalswerten der mehreren Merkmalspunkte auf der Umgebungskarte aufweist, als eine abgeschätzte Fahrzeugposition auf der Umgebungskarte ab.
Die Abschätzeinheit 400 gibt anschließend die abgeschätzte Fahrzeugposition an das Fahrassistenzsystem 500 aus.
Die Umgebungskartenmerkmalswertspeichereinheit 410 speichert die Umgebungskarte, die zuvor erzeugt wurde, die Merkmalswerte auf der Umgebungskarte, und den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird. Die Umgebungskarte wird beispielsweise in einem Kartierungsmodus des SLAM erzeugt.
Das Fahrassistenzsystem 500 führt eine Fahrassistenz basierend auf der abgeschätzten Fahrzeugposition durch.
Als Nächstes wird eine Operation einer Eigenpositionsabschätzvorrichtung gemäß dem dritten Ausführungsbeispiel mit Bezugnahme auf 15 erläutert. 15 zeigt eine Eigenpositionsabschätzverarbeitungsroutine, die durch die Eigenpositionsabschätzvorrichtung 300 gemäß dem gegenwärtigen Ausführungsbeispiel durchgeführt wird.
Zunächst, in Schritt T100, beziehen die Korrekturfaktorentscheidungseinheit 370 und die Abschätzeinheit 400 die Merkmalswerte auf der Umgebungskarte aus der Umgebungskartenmerkmalswertspeichereinheit 410. Die Korrekturfaktorentscheidungseinheit 370 bezieht ebenso den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, aus der Umgebungskartenmerkmalswertspeichereinheit 410.
Die Sensorinformationeneingabeeinheit 340 gibt eine durch einen Strahlungsmesser erhaltene Helligkeit, durch ein GPS erhaltene dreidimensionale Positionsinformationen, und die Zeit davon, in Schritt T110 ein und empfängt diese.
Die Bildeingabeeinheit 310 empfängt eine Eingabe eines Bildes von der Bildgebungsvorrichtung 210 in Schritt T120.
Die Merkmalspunktextraktionseinheit 320 extrahiert mehrere Merkmalspunkte aus dem Bild voraus des Fahrzeugs, das durch die Bildgebungsvorrichtung 210 aufgenommen wird, in Schritt T130.
Die Merkmalswertberechnungseinheit 330 berechnet die Merkmalswerte basierend auf einer Luminanz der mehreren Merkmalspunkte in Schritt T140.
In Schritt T150 bestimmt die Korrekturfaktorentscheidungseinheit 370 den Merkmalswertkorrekturfaktor zum Korrigieren des Merkmalswerts von jedem der Vielzahl der durch die Merkmalspunktextraktionseinheit 320 extrahierten Merkmalspunkte, so dass ein solcher Merkmalswert in einen Zustand gebracht wird, in dem der Merkmalspunkt davon in die Lichtquellenrichtung gebracht wird, in der die Umgebungskarte durch Beziehen und Speichern der Merkmalswerte der Merkmalspunkte, deren Positionen bekannt sind, erzeugt wird, auf einer Grundlage des Merkmalswerts des durch die Merkmalspunktextraktionseinheit 320 extrahierten Merkmalspunkts, der abgeschätzten Lichtquellenrichtung relativ zu der abgeschätzten Bildgebungsrichtung, und der Lichtquellenrichtung relativ zu der Bildgebungsrichtung, die vorab zu dem Zeitpunkt, bei dem der Merkmalswert der Umgebungskarte bezogen wird, erhalten wird.
Die Merkmalswertkorrektureinheit 390 korrigiert den Merkmalswert von jedem der mehreren Merkmalspunkte basierend auf dem Merkmalswert und dem Merkmalswertkorrekturfaktor, der mit dem Muster des entsprechenden Merkmalspunkts konform ist (d.h. der Form davon und der Richtung der Sonne), in Schritt T160.
Die Abschätzeinheit 400 schätzt die Position des Fahrzeugs (eigenen Fahrzeugs) basierend auf den korrigierten Merkmalswerten der mehreren Merkmalspunkte, die durch die Merkmalspunktextraktionseinheit 320 extrahiert werden, und den Merkmalswerten der mehreren Merkmalspunkte auf der Umgebungskarte in Schritt T170 ab.
Die Abschätzeinheit 400 gibt die abgeschätzte Fahrzeugposition an das Fahrassistenzsystem 500 aus. Der Prozess kehrt zu Schritt T110 zurück, um die Operationen von Schritt T110 bis Schritt T180 zu wiederholen.
Der vorstehend genannte Schritt T150 wird durch eine Korrekturfaktorentscheidungsverarbeitungsroutine wie in 16 veranschaulicht realisiert.
In Schritt T200 schätzt die Sonnenscheinzustandsabschätzeinheit 360 den Sonnenscheinzustand des Fahrzeugs basierend auf der durch die Sensorinformationen erhaltenen Helligkeit ab.
Die Lichtquellenrichtungsabschätzeinheit 350 schätzt die Position einer Lichtquelle und die Richtung des Fahrzeugs zu dem Zeitpunkt, bei dem das Bild aufgenommen wird, auf der Basis der Sensorinformationen in Schritt T210 ab.
In Schritt T220 schätzt die Lichtquellenrichtungsabschätzeinheit 350 die Lichtquellenrichtung relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem das Bild aufgenommen wird, auf der Basis der abgeschätzten Lichtquellenrichtung und der Bildgebungsrichtung in dem vorstehend genannten Schritt T210 ab.
Die Korrekturfaktorentscheidungseinheit 370 wählt den ersten Merkmalspunkt in Schritt T230 aus.
Die Korrekturfaktorentscheidungseinheit 370 bestimmt, ob der in Schritt T200 abgeschätzte Sonnenscheinzustand den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, beeinflusst oder nicht, in Schritt T240.
In einem Fall, in dem der abgeschätzte Sonnenscheinzustand den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, nicht beeinflusst (Nein in Schritt T240), bestimmt die Korrekturfaktorentscheidungseinheit 370 den Merkmalswertkorrekturfaktor A als den Merkmalswertkorrekturfaktor in Schritt T250, und der Prozess fährt zu Schritt T330 fort.
Andererseits, in einem Fall, in dem der abgeschätzte Sonnenscheinzustand den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, beeinflusst (Ja in Schritt T240), bestimmt die Korrekturfaktorentscheidungseinheit 370, ob die Richtung der Sonne relativ zu der Bildgebungsrichtung, die in Schritt T220 abgeschätzt wird, an der rechten Seite oder an der linken Seite der Richtung der Sonne bei Erzeugung der Umgebungskarte ist, in Schritt T260.
In einem Fall, in dem die Richtung der Sonne relativ zu der Bildgebungsrichtung die rechte Seite relativ zu der Richtung der Sonne bei Erzeugung der Umgebungskarte ist (Nein in Schritt T260), bestimmt die Korrekturfaktorentscheidungseinheit 370 anschließend, ob der Merkmalspunkt in einer Vertiefung gebildet ist oder nicht, in Schritt T270.
In einem Fall, in dem der Merkmalspunkt in einem Vorsprung gebildet ist (Nein in Schritt T270), bestimmt die Korrekturfaktorentscheidungseinheit 370 den Merkmalswertkorrekturfaktor B als den Merkmalswertkorrekturfaktor in Schritt T280, und der Prozess fährt zu Schritt T330 fort.
In einem Fall, in dem der Merkmalspunkt in einer Vertiefung gebildet wird (Ja in Schritt T270), bestimmt die Korrekturfaktorentscheidungseinheit 370 den Merkmalswertkorrekturfaktor B' als den Merkmalswertkorrekturfaktor in Schritt T290, und der Prozess fährt zu Schritt T330 fort.
In einem Fall, in dem die Richtung der Sonne relativ zu der Bildgebungsrichtung an der linken Seite relativ zu der Richtung der Sonne bei Erzeugung der Umgebungskarte ist (Ja in Schritt T260), bestimmt die Korrekturfaktorentscheidungseinheit 370 anschließend, ob der Merkmalspunkt in einer Vertiefung gebildet ist oder nicht, in Schritt T300.
In einem Fall, in dem der Merkmalspunkt in einem Vorsprung gebildet wird (Nein in Schritt T300), bestimmt die Korrekturfaktorentscheidungseinheit 370 den Merkmalswertkorrekturfaktor C als den Merkmalswertkorrekturfaktor in Schritt T310, und der Prozess fährt zu Schritt T330 fort.
In einem Fall, in dem der Merkmalspunkt in einer Vertiefung gebildet wird (Ja in Schritt T300), bestimmt die Korrekturfaktorentscheidungseinheit 370 den Merkmalswertkorrekturfaktor C' als den Merkmalswertkorrekturfaktor in Schritt T320, und der Prozess fährt zu Schritt T330 fort.
In Schritt T330 bestimmt die Korrekturfaktorentscheidungseinheit 370, ob der Merkmalswertkorrekturfaktor für alle der Merkmalspunkte bestimmt wurde oder nicht.
In einem Fall, in dem der Merkmalswertkorrekturfaktor nicht für alle der Merkmalspunkte bestimmt wurde (Nein in Schritt T330), wird anschließend der Merkmalspunkt, für den der Merkmalswertkorrekturfaktor nicht bestimmt wurde, ausgewählt. Der Prozess kehrt anschließend zu Schritt T240 zurück.
In einem Fall, in dem der Merkmalswertkorrekturfaktor für alle der Merkmalspunkte bestimmt wurde (Ja in Schritt T330), kehrt der Prozess zurück.
Wie vorstehend angemerkt, gemäß der Eigenpositionsabschätzvorrichtung des dritten Ausführungsbeispiels, dient der Merkmalswertkorrekturfaktor zum Korrigieren des Merkmalswerts von jedem der Vielzahl von durch die Merkmalspunktextraktionseinheit 320 extrahierten Merkmalspunkte, so dass der Merkmalswert in einen Zustand gebracht wird, in dem der Merkmalspunkt davon in die Lichtquellenrichtung gebracht wird, in der die Umgebungskarte erzeugt wird, durch Beziehen der Merkmalswerte der Merkmalspunkte, auf der Grundlage des Merkmalswerts des durch die Merkmalspunktextraktionseinheit 320 extrahierten Merkmalspunkts, der abgeschätzten Lichtquellenrichtung relativ zu der abgeschätzten Bildgebungsrichtung, und der Lichtquellenrichtung relativ zu der Bildgebungsrichtung, die zuvor zu dem Zeitpunkt, bei dem der Merkmalswert der Umgebungskarte bezogen wird, erhalten wird. Anschließend wird die Position des Fahrzeugs auf der Grundlage der Korrekturmerkmalswerte der mehreren Merkmalspunkte, die auf der Grundlage der Merkmalswerte und der Merkmalswertkorrekturwerte davon korrigiert werden, und den Merkmalswerten der mehreren Merkmalspunkte auf der Umgebungskarte abgeschätzt. Daher, auch wenn sich die abgeschätzte Lichtquellenrichtung von der Lichtquellenrichtung zu dem Zeitpunkt, bei dem die Merkmalswerte auf der Umgebungskarte bezogen werden, unterscheidet, kann die Position des Fahrzeugs genau abgeschätzt werden.
Im dritten Ausführungsbeispiel werden die Merkmalswerte der extrahierten Merkmalspunkte aus dem aufgenommenen Bild korrigiert. In einem modifizierten Beispiel des dritten Ausführungsbeispiels werden die Merkmalswerte der Merkmalspunkte auf der Umgebungskarte korrigiert.
In dem modifizierten Beispiel des dritten Ausführungsbeispiels wird der Merkmalswertkorrekturfaktor in einem Fall, in dem der abgeschätzte Sonnenscheinzustand den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, nicht beeinflusst, auf die gleiche Weise wie im dritten Ausführungsbeispiel bestimmt. Die Merkmalswertkorrekturfaktoren in anderen Fällen werden wie folgt bestimmt.
In einem Fall, in dem der abgeschätzte Sonnenscheinzustand den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, beeinflusst, wird der Merkmalswertkorrekturfaktor für den/die Merkmalswert(e) des Merkmalspunkts auf der Umgebungskarte unter der Annahme bestimmt, dass die abgeschätzte Richtung der Sonne an der rechten Seite oder der linken Seite relativ zu der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, ist, und ob der Merkmalspunkt in einem Vorsprung oder einer Vertiefung gebildet wird.
Zum Beispiel wird der Merkmalswertkorrekturfaktor unter der Annahme, dass die Richtung der Sonne relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem das Bild aufgenommen wird, an der rechten Seite ist, als im Vergleich zu der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, und der Merkmalspunkt in dem Vorsprung gebildet ist (d.h. der Merkmalswertkorrekturfaktor B in 14), für den/die Merkmalswert(e) des Merkmalspunkts auf der Umgebungskarte bestimmt.
In einem Fall, in dem beide der zwei Bereiche (xa, xb) von 5 x 5 Pixel, bezüglich denen die Luminanzberechnung zum Vergleich durchgeführt wird, um den x-ten Bit des Merkmalswerts zu erhalten, sich an der linken Seite oder der rechten Seite des Merkmalspunkts befinden, wird der Wert der x-ten Sequenz des Merkmalswertkorrekturfaktors auf Null eingestellt.
In einem Fall, in dem sich der Bereich xa an der rechten Seite befindet, während sich der Bereich xb an der linken Seite befindet, wobei bezüglich der Bereiche xa und xb die Luminanzberechnung durchgeführt wird, ist die linke Seite dunkler (d.h., umfasst eine niedrige Luminanz), wenn die Richtung der Sonne relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem das Bild aufgenommen wird, an der rechten Seite ist, als im Vergleich zu der Richtung der Sonne zu dem Zeitpunkt, an dem die Umgebungskarte erzeugt wird, und der Merkmalspunkt ist der Vorsprung, weil der Schatten an der linken Seite gebildet ist. Das heißt, dass die Luminanz in dem Bereich xa größer ist als die Luminanz in dem Bereich xb. Daher ist der x-te Bit des Merkmalswerts, der durch den Sonnenscheinzustand beeinflusst wird, Eins (1).
Dabei, solange der x-te Bit des Merkmalswerts des Merkmalspunkts auf der Karte Eins ist, ist eine Korrektur des Merkmalswerts nicht erforderlich. Daher wird der Wert der x-ten Sequenz des Merkmalswertkorrekturfaktors auf Null eingestellt. Andererseits, in einem Fall, in dem der x-te Bit des Merkmalswerts des Merkmalspunkts auf der Karte Null ist, sollte der x-te Bit des Merkmalswerts des Merkmalspunkts auf der Umgebungskarte auf Eins korrigiert werden, so dass der Wert der x-ten Sequenz des Merkmalswertkorrekturfaktors auf plus Eins (+ 1) eingestellt wird.
In einem Fall, in dem sich der Bereich xa an der linken Seite befindet, und sich der Bereich xb an der rechten Seite befindet, ist die Luminanz in dem Bereich xa kleiner als die Luminanz in dem Bereich xb, wenn die Richtung der Sonne relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem das Bild aufgenommen wird, an der rechten Seite ist, als im Vergleich zu der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, und der Merkmalspunkt ist der Vorsprung. Das x-te Bit des durch den Sonnenscheinzustand beeinflussten Merkmalswerts ist daher Null.
Dabei, solange der x-te Bit des Merkmalswerts des Merkmalspunkts auf der Karte Null ist, ist eine Korrektur des Merkmalswerts nicht erforderlich. Daher wird der Wert der x-ten Sequenz des Merkmalswertkorrekturfaktors auf Null eingestellt. Andererseits, in einem Fall, in dem das x-te Bit des Merkmalswerts des Merkmalspunkts auf der Karte Eins ist, sollte das x-te Bit des Merkmalswerts des Merkmalspunkts auf der Umgebungskarte auf Null korrigiert werden, so dass der Wert der x-ten Sequenz des Merkmalswertkorrekturfaktors auf minus Eins (- 1) eingestellt wird.
Die vorstehende Operation wird bezüglich aller Bits durchgeführt, um dadurch den Merkmalswertkorrekturfaktor B zu bestimmen.
Auf die gleiche Weise wird der Merkmalswertkorrekturfaktor B' für einen Fall bestimmt, in dem die Richtung der Sonne relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem das Bild aufgenommen wird, an der rechten Seite ist als im Vergleich zu der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, und der Merkmalspunkt die Vertiefung ist. Der Merkmalswertkorrekturfaktor C wird für einen Fall bestimmt, in dem die Richtung der Sonne relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem das Bild aufgenommen wird, an der linken Seite als im Vergleich zu der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, ist, und der Merkmalspunkt der Vorsprung ist. Der Merkmalswertkorrekturfaktor C' wird für einen Fall bestimmt, in dem die Richtung der Sonne relativ zu der Bildgebungsrichtung zu dem Zeitpunkt, bei dem das Bild aufgenommen wird, die linke Seite ist als im Vergleich zu der Richtung der Sonne zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, und der Merkmalspunkt die Vertiefung ist.
Demzufolge werden verschiedene Muster der Merkmalswertkorrekturfaktoren bestimmt, so dass, auch wenn die abgeschätzten Sonnenscheinzustände den Sonnenscheinzustand zu dem Zeitpunkt, bei dem die Umgebungskarte erzeugt wird, beeinflussen (beispielsweise aufgrund von Schatten), der Merkmalswert des Merkmalspunkts auf der Umgebungskarte hinsichtlich eines solchen Einflusses basierend auf der Richtung von Sonnenstrahlen in den beiden Bereichen (Punkten), die miteinander verglichen werden, und der Form (Vorsprung, Vertiefung) des Merkmalspunkts, korrigierbar ist.
Ein Aufbau eines Eigenpositionsabschätzsystems 60 gemäß dem modifizierten Beispiel des dritten Ausführungsbeispiels wird nachstehend erläutert.
17 ist eine Blockdarstellung, die die Eigenpositionsabschätzvorrichtung 300 des Eigenpositionsabschätzsystems 60 gemäß dem modifizierten Beispiel des dritten Ausführungsbeispiels veranschaulicht.
Die Merkmalswertberechnungseinheit 330 berechnet die Merkmalswerte der mehreren Merkmalspunkte basierend auf deren Luminanz.
Insbesondere berechnet die Merkmalswertberechnungseinheit 330 die Merkmalswerte der mehreren Merkmalspunkte, die von der Merkmalspunktextraktionseinheit 320 erhalten werden. Zum Beispiel berechnet die Merkmalswertberechnungseinheit 330 die Merkmalswerte in jedem von 32 Bytes basierend auf ORB-Merkmalen.
Die Merkmalswertberechnungseinheit 330 sendet die berechneten Merkmalswerte zu der Abschätzeinheit 400.
Die Merkmalswertkorrektureinheit 390 korrigiert die Merkmalswerte der mehreren Merkmalspunkte basierend auf den Merkmalswerten der Merkmalspunkte auf der Umgebungskarte und den entsprechenden Merkmalswertkorrekturfaktoren für die Merkmalspunkte.
Die Merkmalswertkorrektureinheit 390 sendet die korrigierten Merkmalswerte auf der Umgebungskarte an die Abschätzeinheit 400.
Die Abschätzeinheit 400 schätzt die Position des Fahrzeugs basierend auf den korrigierten Merkmalswerten der mehreren Merkmalspunkte auf der Umgebungskarte sowie die Merkmalswerte der mehreren durch die Merkmalspunktextraktionseinheit 320 extrahierten Merkmalspunkte ab.
Insbesondere schätzt die Abschätzeinheit 400 die Position, an der sich das Fahrzeug auf der Karte befindet, durch Abgleichen der korrigierten Merkmalswerte der mehreren Merkmalspunkte auf der Umgebungskarte und den Merkmalswerten der extrahierten mehreren Merkmalspunkte ab. Zum Beispiel bestimmt die Abschätzeinheit 400 eine Position entsprechend oder eine Position, die den Merkmalswert mit der größten Ähnlichkeit zwischen den korrigierten Merkmalswerten auf der Umgebungskarte und den Merkmalswerten der mehreren Merkmalspunkte aufweist, als eine abgeschätzte Fahrzeugposition auf der Umgebungskarte.
Die Abschätzeinheit 400 gibt anschließend die abgeschätzte Fahrzeugposition an das Fahrassistenzsystem 500 aus.
Eine Operation der Eigenpositionsabschätzvorrichtung gemäß dem modifizierten Beispiel des dritten Ausführungsbeispiels wird nachstehend erläutert. 18 ist ein Ablaufdiagramm, das eine Eigenpositionsabschätzverarbeitungsroutine gemäß dem modifizierten Beispiel des dritten Ausführungsbeispiels veranschaulicht. In Schritt T460 korrigiert die Merkmalswertkorrektureinheit 390 den Merkmalswert von jedem der mehreren Merkmalspunkte in der Umgebungskarte basierend auf dem Merkmalswert des entsprechenden Merkmalspunkts auf der Umgebungskarte und dem Merkmalswertkorrekturfaktor für den entsprechenden Merkmalspunkt.
Wie vorstehend angemerkt, gemäß der Eigenpositionsabschätzvorrichtung des modifizierten Beispiels des dritten Ausführungsbeispiels gilt, dass der Merkmalswertkorrekturfaktor zum Korrigieren des Merkmalswerts von jedem der Merkmalspunkte auf der Umgebungskarte so bestimmt wird, dass der Merkmalswert in einen Zustand gebracht wird, in dem der Merkmalspunkt davon, der durch die Merkmalspunktextraktionseinheit 320 extrahiert wird, in die Lichtquellenrichtung gebracht wird, in der die Umgebungskarte erzeugt wird, durch Beziehen und Speichern der Merkmalswerte der Merkmalspunkte, auf der Grundlage des Merkmalswerts und des Merkmalspunkts, der durch die Merkmalspunktextraktionseinheit 320 extrahiert wird, der abgeschätzten Lichtquellenrichtung relativ zu der abgeschätzten Bildgebungsrichtung, und der Lichtquellenrichtung relativ zu der Bildgebungsrichtung, die zuvor zu dem Zeitpunkt, wenn der Merkmalswert der Umgebungskarte bezogen wird, erhalten wird. Anschließend wird die Position des Fahrzeugs auf der Grundlage der korrigierten Merkmalswerte der Merkmalspunkte, die auf Grundlage der Merkmalswerte und den Merkmalswertkorrekturwerten davon korrigiert wurden, und den Merkmalswerten der mehreren durch die Merkmalspunktextraktionseinheit extrahierten Merkmalspunkte abgeschätzt. Daher, auch wenn sich die abgeschätzte Lichtquellenrichtung von der Lichtquellenrichtung zu dem Zeitpunkt, wenn die Merkmalswerte auf der Umgebungskarte bezogen werden, unterscheidet, kann die Position des Fahrzeugs genau abgeschätzt werden.
Die Ausführungsbeispiele sind nicht darauf beschränkt, die vorstehenden Konstruktionen aufzuweisen, und können angemessen modifiziert oder geändert werden.
In den vorstehenden Ausführungsbeispielen schätzt die Sonnenscheinzustandsabschätzeinheit 360 ab, ob ein Schatten gebildet wird oder nicht, mittels des Strahlungsmessers. Alternativ kann auf der Grundlage eines eingegebenen aufgenommenen Bildes abgeschätzt werden, ob Schatten gebildet wird oder nicht. In diesem Fall kann abgeschätzt werden, dass der Schatten nicht gebildet wird, in einem Fall, in dem eine Differenz zwischen einer durchschnittlichen Luminanz an einem beschatteten Gebiet und eine durchschnittliche Luminanz an einem sich von dem beschatteten Gebiet unterscheidenden Gebiet in einem beliebigen Bereich größer oder gleich einem vorbestimmten Schwellenwert ist, als Beispiel.
In den vorstehenden Ausführungsbeispielen wurde der Fall beschrieben, in dem das Programm zuvor installiert wird. Alternativ kann beispielsweise ein solches Programm in einem computerlesbaren Speichermedium gespeichert sein, um bereitgestellt zu werden.
Eine Eigenpositionsabschätzvorrichtung (10, 300) umfasst eine Bildaufnahmeeinheit (14, 210), die Fahrbilder und Referenzbilder an einer Vielzahl von Positionen entlang einer vorbestimmten Fahrtroute aufnimmt, eine Erfassungseinheit (20, 320), die Merkmalspunkte in jedem der Fahrbilder und Merkmalspunkte in jedem der Referenzbilder erfasst, eine Speichereinheit (16), die Karteninformationen speichert, die die Merkmalspunkte in jedem der Referenzbilder und eine Position sowie eine Haltung der Bildaufnahmeeinheit zu einem Zeitpunkt, bei dem jedes der Referenzbilder durch die Bildaufnahmeeinheit aufgenommen wird, umfasst, und eine Abschätzeinheit (24, 400), die ein ähnliches Bild, ähnlich einem der Fahrbilder, aus den Referenzbildern auswählt, um die Merkmalspunkte auf dem einen der Fahrbilder und Merkmalspunkte auf dem ähnlichen Bild zu korrelieren, wobei die Abschätzeinheit eine Position und eine Haltung eines eigenen Fahrzeugs (50) auf einer vorbestimmten Fahrtroute basierend auf einem Korrelationsergebnis abschätzt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017138664 A [0003]

Zitierte Nicht-Patentliteratur

„ORB-SLAM: a Versatile and Accurate Monocular SLAM System“ IEEE Transactions on Robotics, Bd. 31, Nr. 5, 2015, SS. 1147-1163, von Raul Mur-Artal, J. M. M. Montiel und Juan D. Tardos [0005]

Claims

Eigenpositionsabschätzvorrichtung (10, 300), mit: einer Bildaufnahmeeinheit (14, 210), die eine Vielzahl von Fahrbildern in einem Zustand, in dem ein eigenes Fahrzeug (50) entlang einer vorbestimmten Fahrtroute gefahren wird, und eine Vielzahl von Referenzbildern an einer Vielzahl von Positionen entlang der vorbestimmten Fahrtroute aufnimmt; einer Erfassungseinheit (20, 320), die Merkmalspunkte in jedem der Vielzahl von Fahrbildern und Merkmalspunkte in jedem der Vielzahl von Referenzbildern, die jeweils mit den Referenzbildern korreliert werden, erfasst; einer Speichereinheit (16), die Karteninformationen speichert, die die Merkmalspunkte in jedem der Vielzahl von Referenzbildern sowie eine Position und Haltung der Bildaufnahmeeinheit (14, 210) zu einem Zeitpunkt, bei dem jedes der Vielzahl von Referenzbildern durch die Bildaufnahmeeinheit (14, 210) aufgenommen wird, umfassen; und einer Abschätzeinheit (24, 400), die ein ähnliches Bild ähnlich einem der Vielzahl von Fahrbildern aus der Vielzahl von Referenzbildern auswählt, um die Merkmalspunkte in dem einen der Vielzahl von Fahrbildern und Merkmalspunkte in dem ähnlichen Bild zu korrelieren, wobei die Abschätzeinheit (24, 400) eine Position und eine Haltung des eigenen Fahrzeugs (50) auf der vorbestimmten Fahrtroute basierend auf einem Korrelationsergebnis abschätzt.
Eigenpositionsabschätzvorrichtung (10, 300) gemäß Anspruch 1, weiterhin mit einer Berechnungseinheit (22, 330), die mindestens einen Merkmalswert von jedem der Merkmalspunkte in jedem der Vielzahl der durch die Erfassungseinheit (20, 320) erfassten Fahrbilder sowie mindestens einen Merkmalswert von jedem der Merkmalspunkte in jedem der Vielzahl von durch die Erfassungseinheit (20, 320) erfassten Referenzbildern berechnet, wobei die Abschätzeinheit (24, 400) das ähnliche Bild ähnlich einem der Vielzahl von Fahrbildern aus der Vielzahl von Referenzbildern basierend auf den durch die Berechnungseinheit (22, 330) berechneten Merkmalswerten auswählt.
Eigenpositionsabschätzvorrichtung (10) gemäß Anspruch 2, weiterhin mit einer Additionseinheit (26), die den Merkmalswert von jedem der Merkmalspunkte in einem der Vielzahl von Fahrbildern korreliert mit jedem der Merkmalspunkte auf dem ähnlichen Bild durch die Abschätzeinheit (24) zu den Karteninformationen als den Merkmalswert von jedem der Merkmalspunkte in einem der Vielzahl von Referenzbildern, das als das ähnliche Bild dient, hinzuaddiert.
Eigenpositionsabschätzvorrichtung (10) gemäß einem der Ansprüche 1 bis 3, wobei die Abschätzeinheit (24) entsprechende Abstände zwischen einer Vielzahl von Merkmalswerten, die für jeden der Merkmalspunkte in dem ähnlichen Bild registriert sind, und dem Merkmalswert von jedem der Merkmalspunkte in dem Fahrbild berechnet, zum Korrelieren von jedem der Merkmalspunkte in dem ähnlichen Bild und jedem der Merkmalspunkte in dem Fahrbild miteinander, wobei die Abschätzeinheit (24) den Merkmalspunkt in dem Fahrbild und den Merkmalspunkt in dem ähnlichen Bild in einem Fall korreliert, in dem ein Minimalwert von berechneten Abständen kleiner oder gleich einem vorbestimmten Wert ist.
Eigenpositionsabschätzvorrichtung (10) gemäß Anspruch 3 oder 4, wobei die Additionseinheit (26) Abstände zwischen allen Paaren der Merkmalswerte und jedem der Merkmalspunkte in dem ähnlichen Bild ausgewählt aus der Vielzahl von Merkmalswerten, die für jeden der Merkmalspunkte registriert sind, und dem Merkmalswert, der zu addieren ist, berechnet, in einem Fall, in dem die Anzahl der Vielzahl von Merkmalswerten, die für jeden der Merkmalspunkte in dem ähnlichen Bild registriert sind, eine Obergrenze erreicht, und einen der Merkmalswerte löscht, wobei ein Median von Abständen des einen der Merkmalswerte relativ zu dem anderen der Merkmalswerte der kleinste unter Medianen der Abstände zwischen allen Paaren der Merkmalswerte ist.
Eigenpositionsabschätzvorrichtung (10) gemäß einem der Ansprüche 1 bis 5, wobei die Karteninformationen Positionen der Merkmalspunkte, die in jedem der Vielzahl von Referenzbildern erfasst werden, umfassen, die Abschätzeinheit (24) die Position und die Haltung des eigenen Fahrzeugs (50) auf der vorbestimmten Fahrtroute durch Abschätzen der Position und der Haltung der Bildaufnahmeeinheit (14) basierend auf Positionen der Merkmalspunkte in dem Fahrbild und Positionen der Merkmalspunkte in dem ähnlichen Bild, die miteinander korreliert werden, abschätzt, um die abgeschätzte Position und Haltung der Bildaufnahmeeinheit (14) auf einen repräsentativen Punkt (X) des eigenen Fahrzeugs (50) zu konvertieren.
Eigenpositionsabschätzvorrichtung (10) gemäß Anspruch 6, wobei die Abschätzeinheit (24) die Position und die Haltung der Bildaufnahmeeinheit (14), bei denen eine Summe von Projektionsdifferenzen, die als Differenzen zwischen jeweiligen Positionen der Merkmalspunkte in dem Fahrbild und jeweiligen Positionen von Projektionspunkten, die durch Projizieren der Merkmalspunkte in dem ähnlichen Bild auf das Fahrbild erhalten werden, basierend auf der Position und der Haltung der Bildaufnahmeeinheit (14) zu dem Zeitpunkt, zu dem das ähnliche Bild, das aufgenommen wird, minimal wird, abschätzt.
Eigenpositionsabschätzvorrichtung (10) gemäß Anspruch 7, wobei die Additionseinheit (26) selektiv den Merkmalswert des Merkmalspunkts, dessen Projektionsdifferenz kleiner oder gleich einem vorbestimmten Wert unter den Merkmalspunkten in dem Fahrbild korreliert mit den Merkmalspunkten auf dem ähnlichen Bild durch die Abschätzeinheit (24) zusätzlich zu den Karteninformationen registriert.
Eigenpositionsabschätzvorrichtung (10) gemäß Anspruch 1, wobei die Merkmalspunkte in jedem der durch die Erfassungseinheit (20) erfassten Referenzbilder als Umgebungsmerkmalspunkte in einer Umgebung entlang der vorbestimmten Fahrtroute dienen.
Eigenpositionsabschätzvorrichtung (10) gemäß Anspruch 9, weiterhin mit einer Einstelleinheit (12), die eine Fahrbahnoberflächengradientendifferenz der vorbestimmten Fahrtroute abschätzt, und einen Erfassungsbereich (As) von Korrelationsmerkmalspunkten in jedem der Vielzahl von Fahrbildern korreliert mit den Umgebungsmerkmalspunkten basierend auf der abgeschätzten Fahrbahnoberflächengradientendifferenz einstellt, wobei die Einstelleinheit (12) jenes ähnliche Bild, das ähnlich einem der Vielzahl von Fahrbildern ist, aus der Vielzahl von Referenzbildern basierend auf den in dem Erfassungsbereich erfassten Korrelationsmerkmalspunkten auswählt.
Eigenpositionsabschätzvorrichtung (10) gemäß Anspruch 9 oder 10, wobei die Karteninformationen Merkmalswerte angeben, die jeweilige Merkmale der Umgebungsmerkmalspunkte angeben, die Abschätzeinheit (24) das ähnliche Bild aus der Vielzahl von Referenzbildern auswählt, wobei das ähnliche Bild die größte Anzahl von Umgebungsmerkmalspunkten korreliert mit den Korrelationsmerkmalspunkten in dem Fahrbild umfasst, wobei die Abschätzeinheit (24) die Umgebungsmerkmalspunkte und die Korrelationsmerkmalspunkte durch Vergleichen der Merkmalspunkte der Korrelationsmerkmalspunkte und den Merkmalswerten der Umgebungsmerkmalspunkte korreliert.
Eigenpositionsabschätzvorrichtung (10) gemäß einem der Ansprüche 9 bis 11, wobei die Bildaufnahmeeinheit (14) an einer vorbestimmten Position des eigenen Fahrzeugs (50) fixiert ist, um ein Bild eines vorbestimmten Bereichs voraus der Bildaufnahmeeinheit (14) aufzunehmen, die Einstelleinheit (12) aus der Vielzahl von Referenzbildern jenes ähnliche Bild auswählt, das dem vorbestimmten Bereich voraus der Bildaufnahmeeinheit (14) am ähnlichsten ist, und die Fahrbahnoberflächengradientendifferenz aus einer Differenz zwischen einem Fahrbahnoberflächengradienten basierend auf der Position und der Haltung der Bildaufnahmeeinheit (14) korreliert mit dem ausgewählten ähnlichen Bild und einem Fahrbahnoberflächengradienten basierend auf der Position und der Haltung der Bildaufnahmeeinheit (14), die in dem Fahrbild abgeschätzt wird, das zuvor aufgenommen wird, abschätzt.
Eigenpositionsabschätzvorrichtung (10) gemäß einem der Ansprüche 9 bis 12, wobei die Einstelleinheit (12) den Erfassungsbereich (As) in einer Oben-und-Unten-Richtung in dem Fahrbild basierend auf der Fahrbahnoberflächengradientendifferenz bewegt.
Eigenpositionsabschätzvorrichtung (10) gemäß Anspruch 12 oder 13, wobei die Einstelleinheit (12) eine Position des Erfassungsbereichs (As) in dem Fahrbild auf eine obere Seite mit einem Anstieg des Fahrbahnoberflächengradienten einer Position des eigenen Fahrzeugs (50), als im Vergleich zu einem Fahrbahnoberflächengradienten der vorbestimmten Region, spezifiziert.
Eigenpositionsabschätzvorrichtung (300), die eine Position eines eigenen Fahrzeugs mit einer Umgebungskarte abschätzt, die einen Merkmalswert von jedem einer Vielzahl von Merkmalspunkten, deren Positionen bekannt sind, speichert, wobei die Eigenpositionsabschätzvorrichtung (300) aufweist: eine Merkmalspunktextraktionseinheit (320), die eine Vielzahl von Merkmalspunkten aus einem Bild, das Umgebungen des eigenen Fahrzeugs aufnimmt, extrahiert; eine Merkmalswertberechnungseinheit (330), die einen Merkmalswert von jedem der Vielzahl von durch die Merkmalspunktextraktionseinheit (320) extrahierten Merkmalspunkten berechnet, wobei der Merkmalswert auf einer Luminanz von jedem der Vielzahl von Merkmalspunkten basiert; eine Lichtquellenrichtungsabschätzeinheit (350), die eine Lichtquellenrichtung relativ zu einer Bildgebungsrichtung zu einem Zeitpunkt, zu dem das Bild aufgenommen wird, auf der Basis von Sensorinformationen abschätzt; eine Korrekturfaktorentscheidungseinheit (370) zum Auswählen eines Merkmalswertkorrekturfaktors zum Korrigieren des Merkmalswerts von jedem der Vielzahl von durch die Merkmalspunktextraktionseinheit (320) extrahierten Merkmalspunkten, so dass der Merkmalswert in einen Zustand gebracht wird, in dem der Merkmalspunkt davon, der durch die Merkmalspunktextraktionseinheit (320) extrahiert wird, in eine Lichtquellenrichtung gebracht wird, in der die Umgebungskarte durch Beziehen des Merkmalswerts von jedem der Vielzahl von Merkmalspunkten erzeugt wird, auf einer Grundlage des Merkmalswerts von jedem der Vielzahl von durch die Merkmalspunktextraktionseinheit (320) extrahierten Merkmalspunkten, der abgeschätzten Lichtquellenrichtung, und der Lichtquellenrichtung, die zuvor erhalten wird, wenn der Merkmalswert von jedem der Vielzahl von Merkmalspunkten auf der Umgebungskarte bezogen wird; eine Merkmalswertkorrektureinheit (390), die den Merkmalswert von jedem der Vielzahl von durch die Merkmalspunktextraktionseinheit (320) extrahierten Merkmalspunkten basierend auf dem Merkmalswert von jedem der Vielzahl von durch die Merkmalspunktextraktionseinheit (320) extrahierten Merkmalspunkten und dem Merkmalswertkorrekturfaktor für jeden der Vielzahl von Merkmalspunkten korrigiert; und eine Abschätzeinheit (400), die eine Position des eigenen Fahrzeugs basierend auf dem korrigierten Merkmalswert für jeden der Vielzahl von durch die Merkmalspunktextraktionseinheit (320) extrahierten Merkmalspunkten und dem Merkmalswert von jedem der Vielzahl von Merkmalspunkten auf der Umgebungskarte abschätzt.
Eigenpositionsabschätzvorrichtung (300), die eine Position eines eigenen Fahrzeugs mit einer Umgebungskarte abschätzt, die einen Merkmalswert für jeden einer Vielzahl von Merkmalspunkten, deren Positionen bekannt sind, speichert, wobei die Eigenpositionsabschätzvorrichtung (300) aufweist: eine Merkmalspunktextraktionseinheit (320), die eine Vielzahl von Merkmalspunkten aus einem Bild, das Umgebungen des eigenen Fahrzeugs aufnimmt, extrahiert; eine Merkmalswertberechnungseinheit (330), die einen Merkmalswert von jedem der Vielzahl von durch die Merkmalspunktextraktionseinheit (320) extrahierten Merkmalspunkten berechnet, wobei der Merkmalswert auf einer Luminanz von jedem der Vielzahl von Merkmalspunkten basiert; eine Lichtquellenrichtungsabschätzeinheit (350), die eine Lichtquellenrichtung relativ zu einer Bildgebungsrichtung zu einem Zeitpunkt, an dem das Bild aufgenommen wird, auf einer Basis von Sensorinformationen abschätzt; eine Korrekturfaktorentscheidungseinheit (370), zum Auswählen eines Merkmalswertkorrekturfaktors zum Korrigieren des Merkmalswerts von jedem der Vielzahl von Merkmalspunkten auf der Umgebungskarte, so dass der Merkmalswert in einen Zustand gebracht wird, in dem der Merkmalspunkt davon, der durch die Merkmalspunktextraktionseinheit (320) extrahiert wird, in eine Lichtquellenrichtung gebracht wird, in der die Umgebungskarte durch Beziehen des Merkmalswerts von jedem der Vielzahl von Merkmalspunkten erzeugt wird, auf der Grundlage des Merkmalswerts von jedem der Vielzahl von durch die Merkmalspunktextraktionseinheit (320) extrahierten Merkmalspunkten, der abgeschätzten Lichtquellenrichtung, und der zuvor erhaltenen Lichtquellenrichtung, wenn der Merkmalswert von jedem der Vielzahl von Merkmalspunkten auf der Umgebungskarte bezogen wird; eine Merkmalswertkorrektureinheit (390), die den Merkmalswert von jedem der Vielzahl von Merkmalspunkten auf der Umgebungskarte basierend auf dem Merkmalswert von jedem der Vielzahl von Merkmalspunkten auf der Umgebungskarte und dem Merkmalswertkorrekturfaktor für jeden der Vielzahl von Merkmalspunkten korrigiert; und eine Abschätzeinheit (400), die eine Position des eigenen Fahrzeugs basierend auf dem korrigierten Merkmalswert für jeden der Vielzahl von Merkmalspunkten auf der Umgebungskarte und dem Merkmalswert von jedem der Vielzahl von durch die Merkmalspunktextraktionseinheit (320) extrahierten Merkmalspunkten abschätzt.
Eigenpositionsabschätzvorrichtung (300) gemäß Anspruch 15 oder 16, weiterhin mit einer Sonnenscheinzustandsabschätzeinheit (360), die einen Sonnenscheinzustand des eigenen Fahrzeugs basierend auf einer von den Sensorinformationen erhaltenen Helligkeit abschätzt, wobei die Korrekturfaktorentscheidungseinheit (370) den Merkmalswertkorrekturfaktor zum Korrigieren des Merkmalswerts von jedem der Vielzahl von Merkmalspunkten basierend auf dem Merkmalswert von jedem der Vielzahl von Merkmalspunkten, der abgeschätzten Lichtquellenrichtung, und der zuvor erhaltenen Lichtquellenrichtung, wenn der Merkmalswert der Umgebungskarte in einem Fall bezogen wird, in dem der durch die Sonnenscheinzustandsabschätzeinheit (360) erhaltene Sonnenscheinzustand den Merkmalswert von jedem der Merkmalspunkte aufgrund einer Differenz der Lichtquellenrichtung beeinflusst, auswählt.