-
Technisches Gebiet
-
Die vorliegende Offenbarung betrifft eine Positionsabschätzungsvorrichtung, ein Fahrzeug, ein Positionsabschätzungsverfahren und ein Positionsabschätzungsprogramm.
-
Technischer Hintergrund
-
Positionsabschätzungsvorrichtungen (auch als Eigenpositionsabschätzungsvorrichtungen bezeichnet) sind herkömmlich bekannt, die auf beweglichen Körpern montiert sind, wie etwa Fahrzeugen oder Robotern, und die Positionen und Stellungen der beweglichen Körper unter Verwendung von an den beweglichen Körpern vorgesehenen Kameras abschätzen (siehe z.B. die Nichtpatentliteratur [nachstehend als Nichtpatentliteratur 1 und Nichtpatentliteratur 2 bezeichnet]).
-
Diese Art von Positionsabschätzungsvorrichtung stützt sich typischerweise auf Kartendaten zum Speichern dreidimensionaler Positionen von Merkmalspunkten (auch als Landmarken bezeichnet) eines Objekts, das in einer zuvor erstellten tatsächlichen Ansicht vorhanden ist (was sich auf eine Ansicht bezieht, die durch eine Kamera um einen beweglichen Körper aufgenommen sein kann; dasselbe gilt im Folgenden), verknüpft in einem Kamerabild erfasste Merkmalspunkte und die Merkmalspunkte in den Kartendaten miteinander und führt dadurch eine Verarbeitung des Abschätzens einer Position und einer Stellung der Kameras (d.h. einer Position und einer Stellung des beweglichen Körpers) durch.
-
Liste der Entgegenhaltungen
-
Patentliteratur
-
- Nichtpatentschrift 1
Mikael Persson et al. „Lambda Twist: An Accurate Fast Robust Perspective Three Point (P3P) Solver.“, ECCV 2018, pp 334-349, veröffentlicht 2018, http://openaccess.thecvf.com/content_ECCV_2018/papers/Mikael_Persson_Lambda_Twist _An_ECCV_2018_paper.pdf
- Nichtpatentschrift 2
Gim Hee Lee et al. „Minimal Solutions for Pose Estimation of a Multi-Camera System“, Robotics Research pp 521-538, veröffentlicht 2016, https://inf.ethz.ch/personal/pomarc/pubs/LeeISRRI3.pdf
-
Zusammenfassung der Erfindung
-
Die vorliegende Offenbarung befasst sich mit dem Vorsehen einer Positionsabschätzungsvorrichtung, eines Fahrzeugs, eines Positionsabschätzungsverfahrens und eines Positionsabschätzungsprogramms, die jeweils in der Lage sind, die Abschätzungsgenauigkeit für eine Position und eine Stellung eines beweglichen Körpers mit einer kleinen Computerleistung zu verbessern.
-
Lösung der Aufgabe
-
Eine Positionsabschätzungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung ist für einen beweglichen Körper vorgesehen, der n Kameras (wobei n eine ganze Zahl von zwei oder höher ist) zum Aufnehmen einer tatsächlichen Ansicht der Umgebung enthält, wobei die Positionsabschätzungsvorrichtung enthält:
- eine Abschätzungseinheit, die eine Kandidatenposition einer k-ten Kamera (wobei k eine ganze Zahl von eins bis n ist) in einem Kartenraum unter den n Kameras auf Grundlage von Positionen von Merkmalspunkten in der tatsächlichen Ansicht in einem Kamerabild und Positionen der Merkmalspunkte in dem zuvor in Kartendaten gespeicherten Kartenraum berechnet, wobei die Merkmalspunkte in der tatsächlichen Ansicht aus einem durch die k-te Kamera aufgenommenen Kamerabild extrahiert werden; und
- eine Überprüfungseinheit, die Merkmalspunktgruppen in der tatsächlichen Ansicht auf jeweils durch die n Kameras aufgenommene Kamerabilder bezüglich der Kandidatenposition der k-ten Kamera projiziert, wobei die Merkmalspunktgruppen in den Kartendaten in Verknüpfung mit den Positionen im Kartenraum gespeichert werden, und die einen Genauigkeitsgrad der Kandidatenposition der k-ten Kamera auf Grundlage von Übereinstimmungsgraden zwischen den Merkmalspunktgruppen, die auf die jeweils durch die n Kameras aufgenommenen Kamerabilder projiziert sind, und den Merkmalspunktgruppen berechnet, die jeweils aus den durch die n Kameras aufgenommenen Kamerabildern extrahiert sind,
- wobei:
- die Abschätzungseinheit die Kandidatenposition für jede aus den ersten bis n-ten Kameras der n Kameras berechnet,
- die Überprüfungseinheit den Genauigkeitsgrad der Kandidatenposition jeder aus den ersten bis n-ten Kameras der n Kameras berechnet, und
- eine Position des beweglichen Körpers abgeschätzt wird bezüglich der Kandidatenposition mit einem höchsten Genauigkeitsgrad unter einer Vielzahl der Genauigkeitsgrade der Kandidatenpositionen aus den ersten bis n-ten Kameras der n Kameras.
-
Ferner enthält ein Fahrzeug gemäß einem weiteren Aspekt der vorliegenden Offenbarung die Positionsabschätzungsvorrichtung.
-
Ferner ist ein Positionsabschätzungsverfahren gemäß einem weiteren Aspekt der vorliegenden Offenbarung für einen beweglichen Körper vorgesehen, der n Kameras (wobei n eine ganze Zahl von zwei oder höher ist) zum Aufnehmen einer tatsächlichen Ansicht der Umgebung enthält, wobei das Positionsabschätzungsverfahren enthält:
- ein Berechnen einer Kandidatenposition einer k-ten Kamera (wobei k eine ganze Zahl von eins bis n ist) in einem Kartenraum unter den n Kameras auf Grundlage von Positionen von Merkmalspunkten in der tatsächlichen Ansicht in einem Kamerabild und Positionen der Merkmalspunkte in dem zuvor in Kartendaten gespeicherten Kartenraum, wobei die Merkmalspunkte in der tatsächlichen Ansicht aus einem durch die k-te Kamera aufgenommenen Kamerabild extrahiert werden; und
- ein Projizieren von Merkmalspunktgruppen in der tatsächlichen Ansicht auf jeweils durch die n Kameras aufgenommene Kamerabilder bezüglich der Kandidatenposition der k-ten Kamera, wobei die Merkmalspunktgruppen in den Kartendaten in Verknüpfung mit den Positionen im Kartenraum gespeichert werden, und ein Berechnen eines Genauigkeitsgrades der Kandidatenposition der k-ten Kamera auf Grundlage von Übereinstimmungsgraden zwischen den Merkmalspunktgruppen, die auf die jeweils durch die n Kameras aufgenommenen Kamerabilder projiziert sind, und den Merkmalspunktgruppen, die jeweils aus den durch die n Kameras aufgenommenen Kamerabildern extrahiert sind,
- wobei:
- beim Berechnen der Kandidatenposition die Kandidatenposition für jede aus den ersten bis n-ten Kameras der n Kameras berechnet wird,
- beim Projizieren der Merkmalspunktgruppen und beim Berechnen des Genauigkeitsgrades der Genauigkeitsgrad der Kandidatenposition jeder aus den ersten bis n-ten Kameras der n Kameras berechnet wird, und
- eine Position des beweglichen Körpers abgeschätzt wird bezüglich der Kandidatenposition mit einem höchsten Genauigkeitsgrad unter einer Vielzahl der Genauigkeitsgrade der Kandidatenpositionen aus den ersten bis n-ten Kameras der n Kameras.
-
Ferner veranlasst ein Positionsabschätzungsprogramm gemäß einem weiteren Aspekt der vorliegenden Offenbarung einen Computer, eine Position eines beweglichen Körpers abzuschätzen, der n Kameras (wobei n eine ganze Zahl von zwei oder höher ist) zum Aufnehmen einer tatsächlichen Ansicht der Umgebung enthält, wobei das Positionsabschätzungsprogramm enthält:
- ein Berechnen einer Kandidatenposition einer k-ten Kamera (wobei k eine ganze Zahl von eins bis n ist) in einem Kartenraum unter den n Kameras auf Grundlage von Positionen von Merkmalspunkten in der tatsächlichen Ansicht in einem Kamerabild und Positionen der Merkmalspunkte in dem zuvor in Kartendaten gespeicherten Kartenraum, wobei die Merkmalspunkte in der tatsächlichen Ansicht aus einem durch die k-te Kamera aufgenommenen Kamerabild extrahiert werden; und
- ein Projizieren von Merkmalspunktgruppen in der tatsächlichen Ansicht auf jeweils durch die n Kameras aufgenommene Kamerabilder bezüglich der Kandidatenposition der k-ten Kamera, wobei die Merkmalspunktgruppen in den Kartendaten in Verknüpfung mit den Positionen im Kartenraum gespeichert werden, und ein Berechnen des Genauigkeitsgrads der Kandidatenposition der k-ten Kamera auf Grundlage von Übereinstimmungsgraden zwischen den Merkmalspunktgruppen, die auf die jeweils durch die n Kameras aufgenommenen Kamerabilder projiziert sind, und den Merkmalspunktgruppen, die jeweils aus den durch die n Kameras aufgenommenen Kamerabildern extrahiert sind,
- wobei:
- beim Berechnen der Kandidatenposition die Kandidatenposition für jede aus den ersten bis n-ten Kameras der n Kameras berechnet wird,
- beim Projizieren der Merkmalspunktgruppen und beim Berechnen des Genauigkeitsgrades der Genauigkeitsgrad der Kandidatenposition jeder aus den ersten bis n-ten Kameras der n Kameras berechnet wird, und
- eine Position des beweglichen Körpers abgeschätzt wird bezüglich der Kandidatenposition mit einem höchsten Genauigkeitsgrad unter einer Vielzahl der Genauigkeitsgrade der Kandidatenpositionen aus den ersten bis n-ten Kameras der n Kameras.
-
Figurenliste
-
- 1 stellt ein Aufbaubeispiel eines Fahrzeugs gemäß einer Ausführungsform dar;
- 2 stellt Beispiele von Montagepositionen von vier an dem Fahrzeug montierten Kameras gemäß der Ausführungsform dar;
- 3 stellt eine beispielhafte Hardwareanordnung einer Positionsabschätzungsvorrichtung gemäß der Ausführungsform dar;
- 4 stellt ein Beispiel von zuvor in der Positionsabschätzungsvorrichtung gemäß der Ausführungsform gespeicherten Kartendaten dar;
- 5 stellt ein Aufbaubeispiel der Positionsabschätzungsvorrichtung gemäß der Ausführungsform dar;
- 6 stellt beispielhafte Merkmalspunkte dar, extrahiert durch die erste Merkmalspunkt-Extraktionseinheit gemäß der Ausführungsform;
- 7 ist ein Diagramm zum Beschreiben der Arbeitsweise der ersten Abschätzungseinheit gemäß der Ausführungsform;
- 8 ist ein Diagramm zum Beschreiben der Arbeitsweise der ersten Überprüfungseinheit gemäß der Ausführungsform;
- 9 ist ein weiteres Diagramm zum Beschreiben der Arbeitsweise der ersten Überprüfungseinheit gemäß der Ausführungsform;
- 10 ist ein Flussdiagramm, das eine beispielhafte Betriebsweise der Positionsabschätzungsvorrichtung gemäß der Ausführungsform darstellt;
- 11 stellt schematisch einen Schleifenablauf in den Schritten Sa und Sb von 10 dar; und
- 12 ist ein Flussdiagramm, das eine beispielhafte Betriebsweise einer Positionsabschätzungsvorrichtung gemäß einer Abwandlung darstellt.
-
Beschreibung von Ausführungsformen
-
Herkömmlich, wie etwa in der Nichtpatentschrift 1, wendet diese Art von Positionsabschätzungsvorrichtung ein Verfahren an, bei dem drei Merkmalspunkte aus einer Vielzahl von Merkmalspunkten extrahiert werden, die in einem durch eine einzelne Kamera aufgenommenen Kamerabild (das als „Kamerabild der [einzelnen] Kamera“ bezeichnet sein kann) erfasst werden, und eine Kandidatenposition und eine Kandidatenstellung der Kamera auf Grundlage von Positionen der drei Merkmalspunkte in einer Bildebene des Kamerabildes und dreidimensionalen Positionen der in den Kartendaten gespeicherten drei Merkmalspunkte berechnet werden. Bei diesem Verfahren wird die optimale Lösung der Position und Stellung der Kamera durch dein Durchführen eines wiederholten Vorgangs berechnet, während zu extrahierende Merkmalspunkte aus dem Kamerabild geändert werden (auch als Random Sample Consensus [Übereinstimmung mit einer zufälligen Stichprobe, RANSAC] bezeichnet).
-
Diese herkömmliche Technik ist vorteilhaft beim Abschätzen der Position und Stellung des beweglichen Körpers mit einer relativ kleinen Computerleistung; jedoch weist sie ein Problem auf, indem die Abschätzungsgenauigkeit verschlechtert ist, wenn aufgrund des Okklusionseffekts (der einen Zustand bezeichnet, wo ein Objekt im Vordergrund ein Objekt dahinter vor der Sicht verbirgt) oder dergleichen eine Verteilung der in dem Kamerabild erfassten Merkmalspunkte stark verschieden ist von einer Verteilung der in den Kartendaten gespeicherten Merkmalspunkte.
-
Vor diesem Hintergrund wurde, wie beispielsweise in der Nichtpatentschrift 2, ein Verfahren zum Verbessern der Robustheit gegen die Okklusion unter Verwendung einer Vielzahl von Kameras beschrieben. Jedoch ist es bei diesem Verfahren im Allgemeinen erforderlich, gleichzeitig geometrische Berechnungen von geometrischen 3D-2D-Operationen in den Kamerabildern der jeweiligen Kameras zu lösen, was einen riesigen Berechnungsaufwand mit sich bringt. (Z.B. ist es erforderlich, ein Polynom achter Ordnung zu lösen.) Im Übrigen wird in einem Fall, wo der Berechnungsaufwand riesig wird, wie oben beschrieben, insbesondere in einer Umgebung, wo die Computerleistung eingeschränkt ist, wie etwa einer Fahrzeug-Bordumgebung, eine Berechnung der Positionsabschätzung nicht rechtzeitig bezüglich der Bewegungsgeschwindigkeit des beweglichen Körpers durchgeführt, und somit ist die Abschätzungsgenauigkeit wesentlich verschlechtert.
-
Die Positionsabschätzungsvorrichtung gemäß der vorliegenden Offenbarung ermöglicht die Positionsabschätzung und die Stellungsabschätzung eines beweglichen Körpers, die solche Probleme beseitigen.
-
Im Folgenden umfasst zur einfacheren Beschreibung der Ausdruck „Position“ beide Konzepte der „Position“ und der „Stellung (d.h. Ausrichtung)“ einer Kamera oder eines beweglichen Körpers.
-
Nachstehend sind bevorzugte Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die beigefügte Zeichnung genau beschrieben. Anzumerken ist, dass Elemente mit im Wesentlichen denselben Funktionen in der Beschreibung und der Zeichnung mit denselben Bezugsnummern versehen sind, um doppelte Beschreibungen davon zu vermeiden.
-
[Aufbau des Fahrzeugs]
-
Im Folgenden ist ein beispielhafter Übersichtsaufbau einer Positionsabschätzungsvorrichtung gemäß einer Ausführungsform mit Bezugnahme auf 1 bis 4 beschrieben. Die Positionsabschätzungsvorrichtung gemäß der vorliegenden Ausführungsform ist in einem Fahrzeug montiert und schätzt eine Position des Fahrzeugs ab. Im Folgenden umfasst zur einfacheren Beschreibung der Ausdruck „Position“ beide Konzepte der „Position“ und der „Stellung (d.h. Ausrichtung)“ der Kamera oder des beweglichen Körpers.
-
1 stellt ein Aufbaubeispiel eines Fahrzeugs A gemäß der vorliegenden Ausführungsform dar. 2 stellt Beispiele von Montagepositionen von vier Kameras 20a, 20b, 20c und 20d dar, die an dem Fahrzeug A gemäß der vorliegenden Ausführungsform montiert sind.
-
Das Fahrzeug A enthält eine Positionsabschätzungsvorrichtung 10, vier Kameras 20a, 20b, 20c und 20d (nachstehend auch als „erste Kamera 20a“, „zweite Kamera 20b“, „dritte Kamera 20c“ und „vierte Kamera 20d“ bezeichnet), die Fahrzeug-ECU 30 und die Fahrzeugantriebsvorrichtung 40.
-
Die ersten bis vierten Kameras 20a bis 20d sind beispielsweise Universalkameras für sichtbares Licht zum Aufnehmen einer tatsächlichen Ansicht um das Fahrzeug A und führen eine A/D-Wandlung an Bildsignalen durch, die durch ihre eigenen Bildaufnahmeelemente erzeugt sind, um Bilddaten D1, D2, D3 und D4 gemäß Kamerabildern (im Folgenden als „Kamerabilddaten“ bezeichnet) zu erzeugen. Anzumerken ist, dass die Kamerabilddaten D1, D2, D3 und D4 zeitlich synchronisiert sind. Die ersten bis vierten Kameras 20a bis 20d geben dann die durch sie selbst erzeugten Kamerabilddaten zur Positionsabschätzungsvorrichtung 10 aus. Im Übrigen sind die ersten bis vierten Kameras 20a bis 20d ausgelegt, beispielsweise dauernd eine Bildaufnahme durchzuführen und in der Lage zu sein, die Kamerabilddaten in einem Bewegtbildformat zu erzeugen.
-
Die ersten bis vierten Kameras 20a bis 20d sind so angeordnet, dass sie voneinander verschiedene Bereiche erfassen. Genauer ist die erste Kamera 20a auf einer Vorderseite des Fahrzeugs A angeordnet, um einen Bereich vor dem Fahrzeug A zu erfassen. Die zweite Kamera 20b ist auf dem rechten Seitenspiegel des Fahrzeugs A angeordnet, um einen Bereich auf der rechten Seite des Fahrzeugs A zu erfassen. Die dritte Kamera 20c auf einer Rückseite des Fahrzeugs A angeordnet, um einen Bereich hinter dem Fahrzeug A zu erfassen. Die vierte Kamera 20d ist auf dem linken Seitenspiegel des Fahrzeugs A angeordnet, um einen Bereich auf der linken Seite des Fahrzeugs A zu erfassen.
-
Die Positionsabschätzungsvorrichtung 10 schätzt eine Position des Fahrzeugs A (z.B. eine dreidimensionale Position des Fahrzeugs A in einem Welt-Koordinatensystem und eine Ausrichtung des Fahrzeugs A) auf Grundlage der Kamerabilddaten der ersten bis vierten Kameras 20a bis 20d ab. Die Positionsabschätzungsvorrichtung 10 sendet dann Informationen bezüglich der Position des Fahrzeugs A zur Fahrzeug-ECU 30.
-
3 stellt eine beispielhafte Hardwareanordnung einer Positionsabschätzungsvorrichtung 10 gemäß der vorliegenden Ausführungsform dar. 4 stellt ein Beispiel von zuvor in der Positionsabschätzungsvorrichtung 10 gespeicherten Kartendaten Dm gemäß der vorliegenden Ausführungsform dar. In 4 sind Positionen in einem Kartenraum einer Vielzahl von Merkmalspunkten Q in der tatsächlichen Ansicht, die in Kartendaten Dm gespeichert sind, aus einer Vogelperspektive dargestellt.
-
Die Positionsabschätzungsvorrichtung 10 ist ein Computer, der als Hauptbestandteile eine Zentraleinheit (CPU) 101, einen Nur-Lese-Speicher (ROM) 102, einen Direktzugriffsspeicher (RAM) 103, eine externe Speichervorrichtung (z.B. einen Flash-Speicher) 104 und eine Kommunikationsschnittstelle 105 enthält.
-
Die Positionsabschätzungsvorrichtung 10 setzt die nachstehend beschriebenen Funktionen um, indem sich beispielsweise die CPU 101 auf ein Steuerungsprogramm (z.B. ein Positionsabschätzungsprogramm Dp) und verschiedene Arten von Daten (z.B. Kartendaten Dm und Kamera-Montagepositionsdaten Dt) bezieht, die im ROM 102, im RAM 103, in der externen Speichervorrichtung 104 und dergleichen gespeichert sind.
-
Die externe Speichervorrichtung 104 der Positionsabschätzungsvorrichtung 10 speichert Kartendaten Dm und Kamera-Montagepositionsdaten Dt neben dem Positionsabschätzungsprogramm Dp zum Durchführen der weiter unten beschriebenen Positionsabschätzung des Fahrzeugs A.
-
Bezüglich jedes aus der Vielzahl von Merkmalspunkten in der zuvor in einem weiten Gebiet (einschließlich eines Bereichs um das Fahrzeug A) erlangten tatsächlichen Ansicht speichern die Kartendaten Dm eine dreidimensionale Position des Merkmalspunkts in dem Kartenraum und einen Merkmalsbetrag des aus dem Kamerabild, das beim Erzeugen der Kartendaten Dm aufgenommen wurde, erlangten Merkmalspunkts in Verknüpfung miteinander. Der als Kartendaten Dm gespeicherte Merkmalspunkt ist beispielsweise ein Teilbereich (z.B. ein Eckbereich), wo ein charakteristisches Bildmuster aus einem Kamerabild eines Objekts erlangt ist, das eine Markierung in der tatsächlichen Ansicht sein kann (z.B. ein Gebäude, ein Schild, eine Hinweistafel oder dergleichen). Weiter kann als der Merkmalspunkt in der tatsächlichen Ansicht ein Merkmalspunkt einer vorab angebrachten Markierung verwendet werden. Anzumerken ist, dass eine Vielzahl von Merkmalspunkten in den Kartendaten Dm beispielsweise durch eine Identifikationsnummer untereinander identifizierbar gespeichert sind.
-
Die dreidimensionale Position des in den Kartendaten Dm gespeicherten Merkmalspunkts im Kartenraum (der sich auf einen Raum bezieht, der durch ein dreidimensionales Koordinatensystem in den Kartendaten Dm dargestellt ist; dasselbe gilt im Folgenden) ist durch ein dreidimensionales orthogonales Koordinatensystem (X, Y, Z) dargestellt. Im Übrigen können diese Koordinaten (X, Y, Z) beispielsweise mit den Koordinaten in einem realen Raum verknüpft sein, wie etwa Breite, Länge und Höhe. Dies macht den Kartenraum synonym mit dem realen Raum. Im Übrigen ist die dreidimensionale Position des Merkmalspunkts im Kartenraum eine Position, die zuvor erlangt ist, beispielsweise durch eine Messung unter Verwendung von an einer Vielzahl von Positionen erfassten Kamerabildern (z.B. eine Messung unter Verwendung des Triangulationsprinzips), eine Messung unter Verwendung von LiDAR (Light Detection And Ranging) oder eine Messung unter Verwendung einer Stereokamera.
-
Als der Merkmalsbetrag des in den Kartendaten Dm gespeicherten Merkmalspunkts werden neben der Helligkeit und Dichte im Kamerabild ein Merkmalsbetrag „Scale Invariant Feature Transform“ (SIFT, skaleninvariante Merkmalstransformation), ein Merkmalsbetrag „Speeded Up Robust Features“ (SURF, beschleunigte, robuste Merkmale) oder dergleichen verwendet. Im Übrigen können Merkmalsbetragsdaten des in den Kartendaten Dm gespeicherten Merkmalspunkts getrennt für jede Erfassungsposition und Erfassungsrichtung der Kamera gespeichert werden, wenn der Merkmalspunkt erfasst wird, sogar für den Merkmalspunkt derselben dreidimensionalen Position. Weiter können die Merkmalsbetragsdaten des in den Kartendaten Dm gespeicherten Merkmalspunkts in Verknüpfung mit einem Bild eines Objekts mit dem Merkmalspunkt gespeichert werden.
-
Die Kameramontagepositionsdaten Dt speichern eine gegenseitige Positionsbeziehung zwischen den ersten bis vierten Kameras 20a bis 20d (z.B. die Beziehung betreffend einen Abstand zwischen den Kameras und eine Beziehung betreffend Ausrichtungen der Kameras). Mit anderen Worten, die Positionen jeweiliger erster bis vierter Kameras 20a bis 20d können durch ein Angeben einer Position einer beliebigen der Kameras berechnet werden.
-
Die Kameramontagepositionsdaten Dt speichern auch eine Positionsbeziehung zwischen den jeweiligen Positionen der ersten bis vierten Kameras 20a bis 20d und einer vorgegebenen Position des Fahrzeugs A (z.B. des Schwerpunkts), sodass das Fahrzeug A aus den jeweiligen Positionen der ersten bis vierten Kameras 20a bis 20d angegeben werden kann.
-
Die Fahrzeug-ECU (elektronische Steuereinheit) 30 ist eine elektronische Steuereinheit zum Steuern der Fahrzeugantriebsvorrichtung 40. Zum Beispiel steuert die Fahrzeug-ECU 30 automatisch jeden Teil der Fahrzeugantriebsvorrichtung 40 (z.B. den Abtrieb des Antriebsmotors, das Einrücken/Trennen der Kupplung, die Gangschaltungsstufe des automatischen Getriebes und den Lenkwinkel der Lenkvorrichtung), sodass ein Fahrzustand des Fahrzeugs A optimiert wird, während sie auf die durch die Positionsabschätzungsvorrichtung 10 geschätzte Position des Fahrzeugs A Bezug nimmt.
-
Die Fahrzeugantriebsvorrichtung 40 ist ein Antrieb zum Antreiben des Fahrzeugs A und enthält beispielsweise einen Antriebsmotor, ein automatisches Getriebe, eine Leistungsübertragungsvorrichtung, eine Bremsvorrichtung und eine Lenkvorrichtung. Im Übrigen werden Vorgänge der Fahrzeugantriebsvorrichtung 40 gemäß der vorliegenden Ausführungsform durch die Fahrzeug-ECU 30 gesteuert.
-
Im Übrigen sind die Positionsabschätzungsvorrichtung 10, die ersten bis vierten Kameras 20a bis 20d, die Fahrzeug-ECU 30 und die Fahrzeugantriebsvorrichtung miteinander über ein Fahrzeug-Bordnetzwerk (z.B. ein Kommunikationsnetzwerk nach dem CAN-Kommunikationsprotokoll) verbunden und können erforderliche Daten und Steuersignale zu- und voneinander senden und empfangen.
-
[Genauer Aufbau der Positionsabschätzungsvorrichtung]
-
Als Nächstes ist mit Bezugnahme auf 5 bis 9 ein genauer Aufbau der Positionsabschätzungsvorrichtung 10 gemäß der vorliegenden Ausführungsform beschrieben.
-
5 stellt ein Aufbaubeispiel der Positionsabschätzungsvorrichtung 10 gemäß der vorliegenden Ausführungsform dar.
-
Die Positionsabschätzungsvorrichtung 10 enthält eine Erlangungseinheit 11, eine Merkmalspunkt-Extraktionseinheit 12, eine Abschätzungseinheit 13, eine Überprüfungseinheit 14 und eine Bestimmungseinheit 15.
-
Die Erlangungseinheit 11 erlangt Kamerabilddaten D1 bis D4 jeweils von den ersten bis vierten Kameras 20a bis 20d, die am Fahrzeug A montiert sind. Genauer enthält die Erlangungseinheit 11 eine erste Erlangungseinheit 11a, die Kamerabilddaten D1 von der ersten Kamera 20a erlangt, eine zweite Erlangungseinheit 11b, die Kamerabilddaten D2 von der zweiten Kamera 20b erlangt, eine dritte Erlangungseinheit 11c, die Kamerabilddaten D3 von der dritten Kamera 20c erlangt, und eine vierte Erlangungseinheit 11d, die Kamerabilddaten D4 von der vierten Kamera 20d erlangt. Die jeweils durch die ersten bis vierten Erlangungseinheiten 11a bis 11d erlangten Kamerabilddaten D1 bis D4 werden zur selben Zeit erzeugt.
-
Die Merkmalspunkt-Extraktionseinheit 12 extrahiert Merkmalspunkte in den tatsächlichen Ansichten aus den jeweiligen Kamerabildern für Kamerabilddaten D1 bis D4. Genauer enthält die Merkmalspunkt-Extraktionseinheit 12 eine erste Merkmalspunkt-Extraktionseinheit 12a, die einen Merkmalspunkt in der tatsächlichen Ansicht aus dem Kamerabild der ersten Kamera 20a extrahiert, eine zweite Merkmalspunkt-Extraktionseinheit 12b, die einen Merkmalspunkt in der tatsächlichen Ansicht aus dem Kamerabild der zweiten Kamera 20b extrahiert, eine dritte Merkmalspunkt-Extraktionseinheit 12c, die einen Merkmalspunkt in der tatsächlichen Ansicht aus dem Kamerabild der dritten Kamera 20c extrahiert, und eine vierte Merkmalspunkt-Extraktionseinheit 12d, die einen Merkmalspunkt in der tatsächlichen Ansicht aus dem Kamerabild der vierten Kamera 20d extrahiert. Anzumerken ist, dass die ersten bis vierten Extraktionseinheiten 12a bis 12d durch vier getrennt vorgesehene Prozessoren oder durch Zeitaufteilung von Verarbeitungszeit mit einem einzigen Prozessor umgesetzt sein können.
-
6 stellt beispielhafte Merkmalspunkte dar, extrahiert durch die erste Merkmalspunkt-Extraktionseinheit 12a gemäß der vorliegenden Ausführungsform. 6 stellt ein beispielhaftes Kamerabild dar, erzeugt durch die erste Kamera 20a, in dem Ecken oder dergleichen von in dem Kamerabild erfassten Objekten als Merkmalspunkte R extrahiert sind.
-
Die Technik, durch die die ersten bis vierten Merkmalspunkt-Extraktionseinheiten 12a bis 12d Merkmalspunkte aus den Kamerabildern extrahieren, kann eine beliebige öffentlich bekannte Technik sein. Die ersten bis vierten Merkmalspunkt-Extraktionseinheiten 12a bis 12d extrahieren Merkmalspunkte aus den Kamerabildern unter Verwendung beispielsweise eines SIFT-Verfahrens, eines Harris-Verfahrens, eines FAST-Verfahrens oder eines gelernten Convolutional Neural Network (CNN, „faltendes neuronales Netzwerk“).
-
Die Daten D1a bis D4a der aus den durch die ersten bis vierten Kameras 20a bis 20d aufgenommenen jeweiligen Kamerabildern (können als „Kamerabilder der ersten bis vierten Kameras 20a bis 20d“ bezeichnet sein) extrahierten Merkmalspunkte enthalten beispielsweise zweidimensionale Koordinaten der Merkmalspunkte in den Kamerabildern und Merkmalsbetragsinformationen über die Merkmalspunkte.
-
Die Abschätzungseinheit 13 berechnet Kandidaten für Positionen, wo sich jeweils die ersten bis vierten Kameras 20a bis 20d befinden. Genauer enthält die Abschätzungseinheit 13 eine erste Abschätzungseinheit 13a, die eine Kandidatenposition der ersten Kamera 20a (nachstehend auch als „erste Kandidatenposition“ bezeichnet) auf Grundlage von Merkmalspunktdaten D1a des Kamerabildes der ersten Kamera 20a und Kartendaten Dm berechnet, eine zweite Abschätzungseinheit 13b, die eine Kandidatenposition der zweiten Kamera 20b (nachstehend auch als „zweite Kandidatenposition“ bezeichnet) auf Grundlage von Merkmalspunktdaten D2a des Kamerabildes der zweiten Kamera 20b und Kartendaten Dm berechnet, eine dritte Abschätzungseinheit 13c, die eine Kandidatenposition der dritten Kamera 20c (nachstehend auch als „dritte Kandidatenposition“ bezeichnet) auf Grundlage von Merkmalspunktdaten D3a des Kamerabildes der dritten Kamera 20c und Kartendaten Dm berechnet, und eine vierte Abschätzungseinheit 13d, die eine Kandidatenposition der vierten Kamera 20d (nachstehend auch als „vierte Kandidatenposition“ bezeichnet) auf Grundlage von Merkmalspunktdaten D4a des Kamerabildes der vierten Kamera 20d und Kartendaten Dm berechnet. Im Übrigen kann die Abschätzungseinheit 13, statt Kandidatenpositionen der jeweiligen Kameras unter Verwendung der ersten bis vierten Abschätzungseinheiten 13a bis 13d zu berechnen, die jeweils ersten bis vierten Kameras 20a bis 20d entsprechen, Verarbeitungszeit der Abschätzungseinheit 13 zeitlich teilen, um Kandidatenpositionen der jeweiligen Kameras zu berechnen.
-
7 ist ein Diagramm zum Beschreiben der Arbeitsweise der ersten Abschätzungseinheit 13a gemäß der vorliegenden Ausführungsform. Die Punkte R1, R2 und R3 in 7 stellen drei aus dem Kamerabild der ersten Kamera 20a extrahierte Merkmalspunkte dar, und die Punkte Q1, Q2 und Q3 stellen dreidimensionale Positionen im Kartenraum der Merkmalspunkte R1, R2 und R3 dar, die in den Kartendaten Dm gespeichert sind. Weiter stellt der Punkt P1 eine Kandidatenposition der ersten Kamera 20a dar. RP1 stellt eine Abbildungsebene der ersten Kamera 20a dar.
-
Die erste Abschätzungseinheit 13a stimmt zuerst die aus dem Kamerabild der ersten Kamera 20a extrahierten Merkmalspunkte mit den in den Kartendaten Dm gespeicherten Merkmalspunkten mittels eines Mustervergleichs, einer Merkmalsbetragssuche und/oder dergleichen ab. Die erste Abschätzungseinheit 13a wählt dann zufällig mehrere (z.B. drei bis sechs) Merkmalspunkte unter den Merkmalspunkten, die aus dem Kamerabild der ersten Kamera 20a extrahiert wurden, und die erfolgreich mit den in den Kartendaten Dm gespeicherten Merkmalspunkten abgestimmt wurden, und berechnet die erste Kandidatenposition der ersten Kamera 20a auf Grundlage von Positionen dieser mehreren Merkmalspunkte in dem Kamerabild (z.B. die Punkte R1, R2 und R3 in 7) und von dreidimensionalen Positionen dieser mehreren Merkmalspunkte, die in den Kartendaten Dm gespeichert sind (z.B. der Punkte Q1, Q2 und Q3 in 7). Dabei berechnet die erste Abschätzungseinheit 13a die erste Kandidatenposition der ersten Kamera 20a durch ein Lösen eines PnP-Problems unter Verwendung beispielsweise einer bekannten Technik, wie etwa Lambda Twist (siehe beispielsweise die Nichtpatentschrift 1).
-
Im Übrigen kann die erste Abschätzungseinheit 13a beim Abstimmen der aus dem Kamerabild der ersten Kamera 20a extrahierten Merkmalspunkte mit den in den Kartendaten Dm gespeicherten Merkmalspunkten unter den in den Kartendaten Dm gespeicherten Merkmalspunkten Merkmalspunkte einengen, die mit den aus dem Kamerabild der ersten Kamera 20a extrahierten Merkmalspunkten abzustimmen sind, mit Bezugnahme auf eine aus Signalen des Global Positioning System (GPS) geschätzte aktuelle Position des Fahrzeugs A oder einer in einem vorhergehenden Frame berechneten Position des Fahrzeugs A.
-
Die Anzahl von Merkmalspunkten, die durch die erste Abschätzungseinheit 13a zum Berechnen der ersten Kandidatenposition der ersten Kamera 20a benutzt wird, ist vorzugsweise auf drei festgelegt. Somit ist es möglich, den Berechnungsaufwand beim Berechnen der ersten Kandidatenposition zu verringern.
-
Indessen berechnet die erste Abschätzungseinheit 13a, um die erste Kandidatenposition mit höherer Genauigkeit zu berechnen, vorzugsweise eine Vielzahl von ersten Kandidatenpositionen durch ein wiederholtes Verändern von zum Berechnen der ersten Kandidatenposition benutzten Merkmalspunkten unter allen aus dem Kamerabild der ersten Kamera 20a extrahierten Merkmalspunkten. Anzumerken ist, dass in einem Fall, wo eine Vielzahl der ersten Kandidatenpositionen in der ersten Abschätzungseinheit 13a berechnet wird, ein Ausmaß an Genauigkeit (das nachstehend auch als Genauigkeitsgrad bezeichnet sein kann) für jede aus der Vielzahl von ersten Kandidatenpositionen in der weiter unten beschriebenen ersten Überprüfungseinheit 14a berechnet wird.
-
Die zweite Abschätzungseinheit 13b, die dritte Abschätzungseinheit 13c und die vierte Abschätzungseinheit 13d berechnen jeweils unter Verwendung derselben Technik wie bei der ersten Abschätzungseinheit 13a die zweite Kandidatenposition der zweiten Kamera 20b, die dritte Kandidatenposition der dritten Kamera 20c und die vierte Kandidatenposition der vierten Kamera 20d.
-
Im Übrigen sind die jeweiligen Kandidatenpositionen der ersten bis vierten Kameras 20a bis 20d beispielsweise durch dreidimensionale Positionen im Welt-Koordinatensystem (X-Koordinate, Y-Koordinate, Z-Koordinate) und Erfassungsrichtungen der Kameras (Rollen, Nicken, Gieren) dargestellt.
-
Die durch die erste Abschätzungseinheit 13a berechneten Daten D1b der ersten Kandidatenposition der ersten Kamera 20a werden zur ersten Überprüfungseinheit 14a gesendet. Die durch die zweite Abschätzungseinheit 13b berechneten Daten D2b der zweiten Kandidatenposition der zweiten Kamera 20b werden zur zweiten Überprüfungseinheit 14b gesendet. Die durch die dritte Abschätzungseinheit 13c berechneten Daten D3b der dritten Kandidatenposition der dritten Kamera 20c werden zur dritten Überprüfungseinheit 14c gesendet. Die durch die vierte Abschätzungseinheit 13d berechneten Daten D4b der vierten Kandidatenposition der vierten Kamera 20d werden zur vierten Überprüfungseinheit 14d gesendet.
-
Die Überprüfungseinheit 14 berechnet die Genauigkeitsgrade der in der Abschätzungseinheit 13 berechneten jeweiligen Kandidatenpositionen der ersten bis vierten Kameras 20a bis 20d. Genauer enthält die Überprüfungseinheit eine erste Überprüfungseinheit 14a, die den Genauigkeitsgrad der ersten Kandidatenposition der ersten Kamera 20a berechnet, eine zweite Überprüfungseinheit 14b, die den Genauigkeitsgrad der zweiten Kandidatenposition der zweiten Kamera 20b berechnet, eine dritte Überprüfungseinheit 14c, die den Genauigkeitsgrad der dritten Kandidatenposition der dritten Kamera 20c berechnet, und eine vierte Überprüfungseinheit 14d, die den Genauigkeitsgrad der vierten Kandidatenposition der vierten Kamera 20d berechnet. Im Übrigen werden, zusätzlich zu den Daten (beliebigen aus D1b bis D4b) bezüglich der Kandidatenposition, Daten D1a, D2a, D3a und D4a, die jeweils aus den Kamerabildern der ersten bis vierten Kameras 20a bis 20d extrahiert sind, Kartendaten Dm und Kameramontagepositionsdaten Dt in die ersten bis vierten Überprüfungseinheiten 14a bis 14d eingegeben. Anzumerken ist, dass die ersten bis vierten Überprüfungseinheiten 13a bis 13d durch vier getrennt vorgesehene Prozessoren oder durch Zeitaufteilung der Verarbeitungszeit mit einem einzigen Prozessor umgesetzt sein können.
-
8 und 9 sind Diagramme zum Beschreiben der Arbeitsweise der ersten Überprüfungseinheit 14a gemäß der vorliegenden Ausführungsform.
-
9 stellt Beispiele von Merkmalspunkten R, die aus den Kamerabildern der zweiten Kamera 20b extrahiert sind, und Projektionspunkte R' dar, die sich daraus ergeben, dass die in den Kartendaten Dm gespeicherten Merkmalspunkte auf das Kamerabild der zweiten Kamera 20b projiziert wurden.
-
Die erste Überprüfungseinheit 14a projiziert in den Kartendaten Dm gespeicherte Merkmalspunktgruppen auf die jeweiligen Kamerabilder der ersten bis vierten Kameras 20a bis 20d bezüglich der ersten Kandidatenposition der ersten Kamera 20a und berechnet dadurch den Genauigkeitsgrad der ersten Kandidatenposition der ersten Kamera 20a auf Grundlage des Übereinstimmungsgrades zwischen den auf die jeweiligen Kamerabilder der ersten bis vierten Kameras 20a bis 20d projizierten Merkmalspunktgruppen und den jeweils aus den Kamerabildern der ersten bis vierten Kameras 20a bis 20d extrahierten Merkmalspunktgruppen.
-
Einzelheiten der Verarbeitung, die durch die erste Überprüfungseinheit 14a durchgeführt wird, sind wie folgt.
-
Zuerst berechnet die erste Abschätzungseinheit 20a beispielsweise, wenn angenommen ist, dass sich die erste Kamera 20a in der ersten Kandidatenposition befindet, eine virtuelle Position der zweiten Kamera 20b (den Punkt P2 in 8) aus einer Positionsbeziehung zwischen der ersten Kamera 20a und der zweiten Kamera 20b, die zuvor in den Kameramontagepositionsdaten Dt gespeichert wurden. Im Übrigen wird die virtuelle Position der zweiten Kamera 20b beispielsweise durch ein Durchführen einer Berechnungsverarbeitung bezüglich einer Drehbewegung und einer Parallelbewegung bezüglich der ersten Kandidatenposition der ersten Kamera 20a auf Grundlage der Positionsbeziehung zwischen der ersten Kamera 20a und der zweiten Kamera 20b berechnet, die zuvor in den Kameramontagepositionsdaten Dt gespeichert wurden.
-
Als Nächstes projiziert die erste Überprüfungseinheit 14a jeweilige Merkmalspunkte in der zuvor in den Kartendaten Dm gespeicherten Merkmalspunktgruppe (die Punkte Q4, Q5 und Q6 in 8) auf das Kamerabild der zweiten Kamera 20b (was eine Abbildungsebene anzeigt; dasselbe gilt im Folgenden) (PR2 von 8) mit Bezugnahme auf die virtuelle Position der zweiten Kamera 20b, und berechnet dadurch Projektionspositionen der Merkmalspunkte (die Punkte R4', R5' und R6' in 8) in dem Kamerabild der zweiten Kamera 20b. Dabei projiziert die erste Überprüfungseinheit 14a beispielsweise alle Merkmalspunkte, die aus der zuvor in den Kartendaten Dm gespeicherten Merkmalspunktgruppe projiziert werden können, auf das Kamerabild der zweiten Kamera 20b und berechnet somit ihre projizierten Positionen.
-
Als Nächstes stimmt die erste Überprüfungseinheit 14a die in der zuvor in den Kartendaten Dm gespeicherten Merkmalspunkte (die Punkte Q4, Q5 und Q6 in 8), die auf das Kamerabild der zweiten Kamera 20b projiziert sind, mit aus dem Kamerabild der zweiten Kamera 20b zu extrahierenden Merkmalspunkten (den Punkten R4, R5 und R6 in 8) ab. Dieser Abstimmvorgang ist ähnlich einer öffentlich bekannten Technik, und es wird beispielsweise ein Merkmalsbetrags-Abstimmverfahren oder dergleichen verwendet.
-
Als Nächstes berechnet die erste Überprüfungseinheit 14a bezüglich der Merkmalspunkte, die mit den aus den Kamerabild der zweiten Kamera 20b extrahierten Merkmalspunkten unter der zuvor in den Kartendaten Dm gespeicherten Merkmalspunktgruppe abgestimmt sind, einen Rückprojektionsfehler zwischen den tatsächlichen Positionen (Positionen der Punkte R4, R5 und R6 in 8) und den projizierten Positionen (Positionen der Punkte R4', R5' und R6' in 8) (d.h. den Abstand zwischen einer projizierten Position und einer tatsächlichen Position). In 8 entsprechen der Abstand zwischen dem Punkt R4 und dem Punkt R4', der Abstand zwischen dem Punkt R5 und dem Punkt R5' und der Abstand zwischen dem Punkt R6 und dem Punkt R6' jeweils dem Rückprojektionsfehler.
-
Als Nächstes zählt die erste Überprüfungseinheit 14a die Anzahl von Merkmalspunkten, die jeweils einen Rückprojektionsfehler dazwischen aufweisen, der nicht größer ist als ein Schwellenwert, mit den aus dem Kamerabild der zweiten Kamera 20b extrahierten Merkmalspunkten (im Folgenden als „übereinstimmender Punkt“ bezeichnet), unter der zuvor in den Kartendaten Dm gespeicherten Merkmalspunktgruppe. Das heißt, die erste Überprüfungseinheit 14a erfasst als die Anzahl von übereinstimmenden Punkten einen Übereinstimmungsgrad zwischen der zuvor in den Kartendaten Dm gespeicherten Merkmalspunktgruppe, die auf das Kamerabild der zweiten Kamera 20b projiziert ist, und der aus dem Kamerabild der zweiten Kamera 20b extrahierten Merkmalspunktgruppe.
-
In 9 sind 15 Merkmalspunkte aus dem Kamerabild der zweiten Kamera 20b extrahiert, und bei der Verarbeitung der ersten Überprüfungseinheit 14a wird beispielsweise unter den 15 Merkmalspunkten die Anzahl von Merkmalspunkten, die mit den zuvor in den Kartendaten Dm gespeicherten Merkmalspunkt abgestimmt wurden, und von denen jeder den Rückprojektionsfehler aufweist, der nicht größer ist als der Schwellenwert, als der übereinstimmende Punkt gezählt.
-
Die erste Überprüfungseinheit 14a extrahiert dann übereinstimmende Punkte aus dem Kamerabild der ersten Kamera 20a, dem Kamerabild der dritten Kamera 20c und dem Kamerabild der vierten Kamera 20d, zusätzlich zu dem Kamerabild der zweiten Kamera 20b, unter Verwendung der ähnlichen Technik und zählt somit die Anzahl von übereinstimmenden Punkten.
-
Das heißt, die erste Überprüfungseinheit 14a projiziert die in den Kartendaten Dm gespeicherte Merkmalspunktgruppe auf das Kamerabild der ersten Kamera 20a bezüglich der ersten Kandidatenposition der ersten Kamera 20a und zählt die Anzahl von Merkmalspunkten, die jeweils den Rückprojektionsfehler dazwischen, der nicht größer ist als der Schwellwert, mit den aus dem Kamerabild der ersten Kamera 20a extrahierten Merkmalspunkten aufweisen, unter der auf das Kamerabild der ersten Kamera 20a projizierten Merkmalspunktgruppe. Ferner projiziert die erste Überprüfungseinheit 14a die in den Kartendaten Dm gespeicherte Merkmalspunktgruppe auf das Kamerabild der dritten Kamera 20c bezüglich der ersten Kandidatenposition der ersten Kamera 20a und zählt die Anzahl von Merkmalspunkten, die jeweils den Rückprojektionsfehler dazwischen, der nicht größer ist als der Schwellwert, mit den aus dem Kamerabild der dritten Kamera 20c extrahierten Merkmalspunkten aufweisen, unter der auf das Kamerabild der dritten Kamera 20c projizierten Merkmalspunktgruppe. Ferner projiziert die erste Überprüfungseinheit 14a die in den Kartendaten Dm gespeicherte Merkmalspunktgruppe auf das Kamerabild der vierten Kamera 20d bezüglich der ersten Kandidatenposition der ersten Kamera 20a und zählt die Anzahl von Merkmalspunkten, die jeweils den Rückprojektionsfehler dazwischen, der nicht größer ist als der Schwellwert, mit den aus dem Kamerabild der vierten Kamera 20d extrahierten Merkmalspunkten aufweisen, unter der auf das Kamerabild der vierten Kamera 20d projizierten Merkmalspunktgruppe.
-
Als Nächstes summiert die erste Überprüfungseinheit 14a die Anzahl von jeweils aus den Kamerabildern der ersten bis vierten Kameras 20a bis 20d extrahierten übereinstimmenden Punkte und legt die Gesamtanzahl als den Genauigkeitsgrad der ersten Kandidatenposition der ersten Kamera 20a fest.
-
Die zweite Überprüfungseinheit 14b, die dritte Überprüfungseinheit 14c und die vierte Überprüfungseinheit 14d berechnen nach der ähnlichen Technik wie bei der ersten Überprüfungseinheit 14a den Genauigkeitsgrad der zweiten Kandidatenposition der zweiten Kamera 20b, den Genauigkeitsgrad der dritten Kandidatenposition der dritten Kamera 20c und den Genauigkeitsgrad der vierten Kandidatenposition der vierten Kamera 20d.
-
Die Bestimmungseinheit 15 erlangt Daten Die, die den durch die erste Überprüfungseinheit 14a berechneten Genauigkeitsgrad der ersten Kandidatenposition angeben, Daten D2c, die den durch die zweite Überprüfungseinheit 14b berechneten Genauigkeitsgrad der zweiten Kandidatenposition angeben, Daten D3c, die den durch die dritte Überprüfungseinheit 14c berechneten Genauigkeitsgrad der dritten Kandidatenposition angeben, und Daten D4c, die den durch die vierte Überprüfungseinheit 14d berechneten Genauigkeitsgrad der vierten Kandidatenposition angeben. Die Bestimmungseinheit 15 übernimmt dann eine Kandidatenposition mit dem größten Genauigkeitsgrad unter den ersten bis vierten Kandidatenpositionen als die zuverlässigste Position.
-
Ferner schätzt die Bestimmungseinheit 15 eine Position des Fahrzeugs A im Kartenraum bezüglich der Kandidatenposition mit dem größten Genauigkeitsgrad unter den ersten bis vierten Kandidatenpositionen ab. Dabei schätzt die Bestimmungseinheit 15 die Position des Fahrzeugs A beispielsweise auf Grundlage einer Positionsbeziehung zwischen einer Kamera für die Kandidatenposition mit dem größten Genauigkeitsgrad, die zuvor in den Kameramontagepositionsdaten Dt gespeichert wurde, und dem Schwerpunkt des Fahrzeugs A ab.
-
Im Übrigen kann in einem Fall, wo die ersten bis vierten Abschätzungseinheiten 13a bis 13d jeweils ausgelegt sind, einen wiederholten Betrieb für die Kandidatenposition durchzuführen, die Bestimmungseinheit 15 einen Schwellenwert des Genauigkeitsgrads (d.h. die Anzahl von übereinstimmenden Punkten) vorsehen, um eine Endbedingung für die wiederholte Berechnung festzulegen (siehe die weiter unten beschriebene Abwandlung).
-
Die Positionsabschätzungsvorrichtung 10 gemäß der vorliegenden Ausführungsform ermöglicht mit diesem Abschätzungsverfahren ein Abschätzen einer Position des Fahrzeugs A mit hoher Genauigkeit, sogar wenn eine Situation auftritt, wo sich in einer beliebigen aus den ersten bis vierten Kameras 20a bis 20d eine Verteilung der Merkmalspunkte in dem Kamerabild der Kamera und eine Verteilung der in den Kartendaten Dm gespeicherten Merkmalspunkte aufgrund des Okklusionseffekts oder dergleichen stark voneinander unterscheiden.
-
Wenn beispielsweise das Kamerabild der ersten Kamera 20a aufgrund des Okklusionseffekts verschieden ist von den Kartendaten Dm, sind die Merkmalspunkte, die mit den in den Kartendaten Dm gespeicherten Merkmalspunkten abgestimmt werden können, unter den aus dem Kamerabild der ersten Kamera 20a extrahierten Merkmalspunkten in vielen Fällen gewöhnlich auf Merkmalspunkte fern von der ersten Kamera 20a beschränkt. Die Positionsgenauigkeit für solche Merkmalspunkte ist niedrig, und beim Abschätzen der Position der ersten Kamera 20a auf Grundlage dieser Merkmalspunkte ist somit auch die Genauigkeit für die Position der ersten Kamera 20a (d.h. die Position des Fahrzeugs A) verschlechtert.
-
In dieser Hinsicht ermöglicht die Positionsabschätzungsvorrichtung 10 gemäß der vorliegenden Ausführungsform ein Abschätzen der Position des Fahrzeugs A unter Verwendung geeigneter Merkmalspunkte mit der hohen Positionsgenauigkeit unter den jeweils von den ersten bis vierten Kameras 20a bis 20d extrahierten Merkmalspunkten; als Ergebnis ist auch die Genauigkeit der Positionsabschätzung für das Fahrzeug A verbessert.
-
[Betrieb der Positionsabschätzungsvorrichtung]
-
10 ist ein Flussdiagramm, das eine beispielhafte Betriebsweise der Positionsabschätzungsvorrichtung 10 gemäß der vorliegenden Ausführungsform darstellt. Hier ist ein Aspekt dargestellt, bei dem jede Funktion der Positionsabschätzungsvorrichtung 10 gemäß der vorliegenden Ausführungsform durch ein Programm umgesetzt ist. 11 stellt schematisch einen Schleifenablauf in den Schritten Sa und Sb von 10 dar.
-
In Schritt S101 extrahiert die Positionsabschätzungsvorrichtung 10 zuerst Merkmalspunkte jeweils aus den Kamerabildern der ersten bis vierten Kameras 20a bis 20d.
-
In Schritt S102 stimmt die Positionsabschätzungsvorrichtung 10 Merkmalspunkte (z.B. drei Punkte), die aus dem Kamerabild der i-ten Kamera (was eine beliebige Kamera aus den ersten bis vierten Kameras 20a bis 20d bezeichnet; dasselbe gilt im Folgenden) mit den Merkmalspunkten in den Kartendaten Dm ab und berechnet somit eine Kandidatenposition der i-ten Kamera auf Grundlage dieser Abstimmung.
-
In Schritt S103 berechnet die Positionsabschätzungsvorrichtung 10 eine virtuelle Position einer weiteren Kamera außer der i-ten Kamera unter den ersten bis vierten Kameras 20a bis 20d auf Grundlage der Kandidatenposition und den Kameramontagepositionsdaten Dt der i-ten Kamera.
-
In Schritt S104 projiziert die Positionsabschätzungsvorrichtung 10 die in den Kartendaten Dm gespeicherten Merkmalspunktgruppen bezüglich der jeweiligen Kamerabilder der ersten bis vierten Kameras 20a bis 20d. Die Positionsabschätzungsvorrichtung 10 stimmt dann jeden der Merkmalspunkte in den auf die jeweiligen Kamerabilder der ersten bis vierten Kameras 20a bis 20d projizierten Merkmalspunktgruppen mit den jeweils aus den Kamerabildern der ersten bis vierten Kameras 20a bis 20d extrahierten Merkmalspunkten ab, und berechnet nach dem Abstimmen einen Rückprojektionsfehler für jeden dieser Merkmalspunkte in diesen Merkmalspunktgruppen.
-
In Schritt S105 bestimmt die Positionsabschätzungsvorrichtung 10 auf Grundlage der in Schritt S104 berechneten Rückprojektionsfehler Merkmalspunkte, die jeweils einen Rückprojektionsfehler aufweisen, der nicht größer ist als der Schwellenwert, als übereinstimmende Punkte unter den jeweils aus den Kamerabildern der ersten bis vierten Kameras 20a bis 20d extrahierten Merkmalspunkten und zählt dadurch die Gesamtanzahl der aus den jeweiligen Kamerabildern der ersten bis vierten Kameras 20a bis 20d extrahierten übereinstimmenden Punkte.
-
In Schritt S106 bestimmt die Positionsabschätzungsvorrichtung 10, ob die in Schritt S105 berechnete Gesamtanzahl von übereinstimmenden Punkten größer ist als die Gesamtanzahl von übereinstimmenden Punkten der aktuell gehaltenen wahrscheinlichsten Kandidatenposition. In einem Fall, wo die in Schritt S105 berechnete Gesamtanzahl von übereinstimmenden Punkten größer ist als die Gesamtanzahl von übereinstimmenden Punkten der aktuell gehaltenen wahrscheinlichsten Kandidatenposition (S106: JA), geht der Ablauf weiter zu Schritt S107, wohingegen in einem Fall, wo die in Schritt S105 berechnete Gesamtanzahl von übereinstimmenden Punkten nicht größer ist als die Gesamtanzahl von übereinstimmenden Punkten der aktuell gehaltenen wahrscheinlichsten Kandidatenposition (S106: NEIN), der Ablauf zu Schritt S102 zurückkehrt, um die Verarbeitung für die nächste Kamera (die i+1-te Kamera) auszuführen.
-
In Schritt S107 kehrt die Positionsabschätzungsvorrichtung 10 zu Schritt S102 zurück, nachdem sie die in Schritt S102 berechnete Kandidatenposition als die wahrscheinlichste Kandidatenposition festgelegt hat, und führt die Verarbeitung für die nächste Kamera (die i+1-te Kamera) aus.
-
Die Positionsabschätzungsvorrichtung 10 führt wiederholt die Vorgänge in dem Schritt S102 bis zum Schritt S107 im Schleifenablauf Sa und im Schleifenablauf Sb aus. Hier ist der Schleifenablauf Sb eine Schleife zum Umschalten der Kamera, die Gegenstand der Verarbeitung ist (d.h. der Kamera, für die eine Kandidatenposition und der Genauigkeitsgrad der Kandidatenposition berechnet werden), unter den ersten bis vierten Kameras 20a bis 20d. Indessen ist der Schleifenablauf Sa eine Schleife zum Umschalten von Merkmalspunkten, die beim Berechnen der Kandidatenpositionen jeweiliger erster bis vierter Kameras 20a bis 20d verwendet werden. In dem Flussdiagramm von 10 ist die Variable i eine Variable (hier eine Ganzzahl von eins bis vier), die die Kamera, die Gegenstand der Verarbeitung ist, unter den ersten bis vierten Kameras 20a bis 20d angibt, und die Variable N ist eine Variable (hier eine Ganzzahl von eins bis N [wobei N beispielsweise 50 ist]), die die Anzahl von Malen des Umschaltens der beim Berechnen einer Kandidatenposition verwendeten Merkmalspunkte angibt.
-
Genauer führt die Positionsabschätzungsvorrichtung 10, wie in 11 dargestellt, wiederholt die folgenden Schritte aus: Schritt Sb1 zum Berechnen der ersten Kandidatenposition der ersten Kamera 20a unter Verwendung des Kamerabildes der ersten Kamera 20a; Schritt Sb2 zum Überprüfen des Genauigkeitsgrades der ersten Kandidatenposition unter Verwendung der Kamerabilder der ersten bis vierten Kameras 20a bis 20d; Schritt Sb3 zum Berechnen der zweiten Kandidatenposition der zweiten Kamera 20b unter Verwendung des Kamerabildes der zweiten Kamera 20b; Schritt Sb4 zum Überprüfen des Genauigkeitsgrades der zweiten Kandidatenposition unter Verwendung der Kamerabilder der ersten bis vierten Kameras 20a bis 20d; Schritt Sb5 zum Berechnen der dritten Kandidatenposition der dritten Kamera 20c unter Verwendung des Kamerabildes der dritten Kamera 20b; Schritt Sb6 zum Überprüfen des Genauigkeitsgrades der dritten Kandidatenposition unter Verwendung der Kamerabilder der ersten bis vierten Kameras 20a bis 20d; Schritt Sb7 zum Berechnen der vierten Kandidatenposition der vierten Kamera 20d unter Verwendung des Kamerabildes der vierten Kamera 20d; und Schritt Sb8 zum Überprüfen des Genauigkeitsgrades der vierten Kandidatenposition unter Verwendung der Kamerabilder der ersten bis vierten Kameras 20a bis 20d.
-
Die Positionsabschätzungsvorrichtung 10 gemäß der vorliegenden Ausführungsform berechnet die Kandidatenposition der Kamera mit der höchsten Positionsgenauigkeit (hier einer beliebigen aus den ersten bis vierten Kameras 20a bis 20d) mit der Verarbeitung wie oben beschrieben. Die Positionsabschätzungsvorrichtung 10 schätzt dann die Position des Fahrzeugs A unter Verwendung der Kandidatenposition der Kamera ab.
-
[Wirkungen]
-
Somit enthält die Positionsabschätzungsvorrichtung 10 gemäß der vorliegenden Ausführungsform:
- eine Abschätzungseinheit 13, die eine Kandidatenposition einer k-ten Kamera (wobei k eine ganze Zahl von eins bis n ist) in einem Kartenraum unter n Kameras auf Grundlage von Positionen von Merkmalspunkten in einer tatsächlichen Ansicht in einem Kamerabild und Positionen der Merkmalspunkte in dem zuvor in Kartendaten Dm gespeicherten Kartenraum berechnet, wobei die Merkmalspunkte in der tatsächlichen Ansicht aus einem durch die k-te Kamera aufgenommenen Kamerabild extrahiert werden; und
- eine Überprüfungseinheit 14, die Merkmalspunktgruppen in der tatsächlichen Ansicht auf jeweils durch die n Kameras aufgenommene Kamerabilder bezüglich der Kandidatenposition der k-ten Kamera projiziert, wobei die Merkmalspunktgruppen in Kartendaten Dm in Verknüpfung mit den Positionen im Kartenraum gespeichert werden, und einen Genauigkeitsgrad der Kandidatenposition der k-ten Kamera auf Grundlage von Übereinstimmungsgraden zwischen den Merkmalspunktgruppen, die auf die jeweils durch die n Kameras aufgenommenen Kamerabilder projiziert sind, und den Merkmalspunktgruppen berechnet, die jeweils aus den durch die n Kameras aufgenommenen Kamerabildern extrahiert sind,
- wobei:
- die Abschätzungseinheit 13 die Kandidatenposition für jede aus den ersten bis n-ten Kameras der n Kameras berechnet,
- die Überprüfungseinheit 14 den Genauigkeitsgrad der Kandidatenposition jeder aus den ersten bis n-ten Kameras der n Kameras berechnet, und
- eine Position des beweglichen Körpers (z.B. des Fahrzeugs A) abgeschätzt wird bezüglich der Kandidatenposition mit einem höchsten Genauigkeitsgrad unter einer Vielzahl der Genauigkeitsgrade der Kandidatenpositionen aus den ersten bis n-ten Kameras der n Kameras.
-
Somit kann eine Position eines beweglichen Körpers mit hoher Genauigkeit sogar abgeschätzt werden, wenn eine Situation auftritt, wo sich in einer beliebigen aus der Vielzahl von Kameras 20a bis 20d, die in dem beweglichen Körper (z.B. dem Fahrzeug A) enthalten sind, das durch die Kamera aufgenommene Kamerabild und die Kartendaten (d.h. die Verteilung von in den Kartendaten gespeicherten Merkmalspunkten) aufgrund des Okklusionseffekts oder dergleichen stark voneinander unterscheiden.
-
Insbesondere ist die Positionsabschätzungsvorrichtung 10 gemäß der vorliegenden Ausführungsform vorteilhaft beim Abschätzen eines beweglichen Körpers mit hoher Genauigkeit und geringem Berechnungsaufwand unter Verwendung einer Vielzahl von Kameras ohne das Lösen der komplizierten Berechnung wie in der Nichtpatentschrift 2. Somit ist es möglich, die Position des beweglichen Körpers in Echtzeit sogar in einem Fall abzuschätzen, bei dem die Computerleistung eingeschränkt ist, wie in der Fahrzeug-Bordumgebung, während die Bewegungsgeschwindigkeit des beweglichen Körpers schnell ist.
-
(Abwandlung)
-
12 ist ein Flussdiagramm, das eine beispielhafte Betriebsweise einer Positionsabschätzungsvorrichtung gemäß einer Abwandlung darstellt. Das Flussdiagramm von 12 ist von dem Flussdiagramm von 10 verschieden darin, dass der Vorgang in Schritt S108 nach Schritt S107 eingefügt ist.
-
In der obigen Ausführungsform wird, um eine Kandidatenposition mit der möglichst hohen Positionsgenauigkeit zu suchen, der Schleifenablauf Sa eine vorgegebene Anzahl von Malen oder mehr ausgeführt. Jedoch ist vom Gesichtspunkt des Verkürzens der Zeit zum Abschätzen einer Position eines beweglichen Körpers (z.B. des Fahrzeugs A) die Anzahl von Malen des Schleifenablaufs Sa vorzugsweise so klein wie möglich.
-
Von diesem Gesichtspunkt ist in dem Flussdiagramm gemäß der vorliegenden Abwandlung in Schritt S108 ein Vorgang des Bestimmens eingefügt, ob die in Schritt S105 berechnete Gesamtanzahl von übereinstimmenden Punkten (d.h. die Gesamtanzahl von übereinstimmenden Punkten des wahrscheinlichsten Kandidaten) größer ist als der Schwellenwert. Somit wird in einem Fall, wo die in Schritt S105 berechnete Gesamtanzahl von übereinstimmenden Punkten größer ist als der Schwellenwert (S108: JA), das Flussdiagramm von 12 beendet, wohingegen in einem Fall, wo die in Schritt S105 berechnete Gesamtanzahl von übereinstimmenden Punkten nicht größer ist als der Schwellenwert (S108: NEIN), die Schleifenabläufe Sa und Sb fortgesetzt werden.
-
Als Ergebnis ist es möglich, die Berechnungszeit bis zum Abschätzen der Position des beweglichen Körpers so weit wie möglich zu verkürzen, während die Abschätzungsgenauigkeit für die Position des beweglichen Körpers sichergestellt wird.
-
(Andere Ausführungsformen)
-
Die vorliegende Ausführungsform ist nicht auf die oben beschriebenen Ausführungsformen beschränkt, und verschiedene modifizierte Modi können aus den oben beschriebenen Ausführungsformen abgeleitet werden.
-
Obwohl beispielsweise bei der obigen Ausführungsform vier Kameras als Beispiele von am Fahrzeug A montierten Kameras gezeigt sind, ist die Anzahl von am Fahrzeug A montierten Kameras frei wählbar, solange sie zwei oder mehr beträgt. Ferner kann ein Erfassungsbereich jeder der Kameras ein Bereich nach vorn, nach hinten oder nach allen Richtungen vom Fahrzeug A sein, und die Erfassungsbereiche der Vielzahl von Kameras können einander überlappen. Die am Fahrzeug A montierten Kameras können fest oder beweglich sein.
-
Darüber hinaus ist, obwohl bei der obigen Ausführungsform das Fahrzeug A als ein Beispiel eines beweglichen Körpers gezeigt ist, bei dem die Positionsabschätzungsvorrichtung 10 angewendet wird, die Art des beweglichen Körpers frei wählbar. Der bewegliche Körper, bei dem die Positionsabschätzungsvorrichtung 10 angewendet wird, kann ein Roboter oder eine Drohne sein.
-
Weiter können, obwohl bei den obigen Ausführungsformen die Funktionen der Positionsabschätzungsvorrichtung 10 durch eine Verarbeitung der CPU 101 umgesetzt sind, einige oder alle der Funktionen der Positionsabschätzungsvorrichtung 10 anstelle oder zusätzlich zu der Verarbeitung der CPU 101 umgesetzt sein durch eine Verarbeitung eines digitalen Signalprozessors (DSP) oder einer dedizierten Hardwareschaltung (z.B. eines anwendungsspezifischen integrierten Schaltkreises [ASIC] oder einer feldprogrammierbaren Gatteranordnung [FPGA]).
-
Obwohl oben spezifische Beispiele der vorliegenden Offenbarung ausführlich beschrieben sind, sind diese lediglich veranschaulichend und schränken den Geltungsbereich der Ansprüche nicht ein. Die in den Ansprüchen beschriebene Technik schließt verschiedene Modifikationen und Abwandlungen der oben veranschaulichten speziellen Beispiele ein.
-
Die Offenbarung der
japanischen Patentanmeldung Nr. 2019-211243 , eingereicht am 22. November 2019, einschließlich der Beschreibung, der Zeichnung und der Zusammenfassung, ist hierin durch Bezugnahme in ihrer Gesamtheit aufgenommen.
-
Gewerbliche Anwendbarkeit
-
Die Positionsabschätzungsvorrichtung gemäß der vorliegenden Offenbarung kann die Abschätzungsgenauigkeit für eine Position und eine Stellung eines beweglichen Körpers mit einer kleinen Rechenleistung verbessern.
-
Bezugszeichenliste
-
- A
- Fahrzeug
- 10
- Positionsabschätzungsvorrichtung
- 11
- Erlangungseinheit
- 12
- Merkmalspunkt-Extraktionseinheit
- 13
- Abschätzungseinheit
- 14
- Überprüfungseinheit
- 15
- Bestimmungseinheit
- 20a, 20b, 20c, 20d
- Kamera
- 30
- Fahrzeug-ECU
- 40
- Fahrzeugantriebsvorrichtung
- Dm
- Kartendaten
- Dt
- Kameramontagepositionsdaten
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
