DE112019007064T5

DE112019007064T5 - Bewegungsbetrag-schätzeinrichtung, bewegungsbetrag-schätzverfahren und bewegungsbetrag-schätzprogramm

Info

Publication number: DE112019007064T5
Application number: DE112019007064.9T
Authority: DE
Inventors: Michinori Yoshida
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-04-25
Filing date: 2019-04-25
Publication date: 2021-12-16
Anticipated expiration: 2039-04-26
Also published as: JP6704536B1; WO2020217377A1; DE112019007064B4; US20210398292A1; JPWO2020217377A1; CN113711273A

Abstract

Eine Bilderwerbungseinheit (110) erwirbt ein Bild eines Bereichs um ein mobiles Objekt herum als Bilddaten (31). Eine Punktwolkenerwerbungseinheit (120) erwirbt Tiefenpunktwolkendaten (32), darstellend eine Tiefe, welche ein Abstand zu einem Objekt ist, das in dem Bereich um das mobile Objekt herum vorhanden ist, durch eine Punktwolke. Eine Generierungseinheit (140) berechnet eine Tiefe zu einer Position, dargestellt durch ein in den Bilddaten (31) enthaltenes Pixel, unter Verwendung der Bilddaten (31) und der Tiefenpunktwolkendaten (32), und generiert Punktwolkendaten hoher Auflösung (35), in denen die berechnete Tiefe zu dem in den Bilddaten (31) enthaltenen Pixel hinzugefügt ist. Eine Schätzeinheit (150) schätzt einen Bewegungsbetrag des mobilen Objekts unter Verwendung von Punktwolkendaten hoher Auflösung (35).

Description

Gebiet der Technik
Die vorliegende Erfindung bezieht sich auf eine Bewegungsbetrag-Schätzeinrichtung, ein Bewegungsbetrag-Schätzverfahren und ein Bewegungsbetrag-Schätzprogramm.
Stand der Technik
Bei einem herkömmlichen Verfahren werden bei der Generierung einer Punktwolkenkarte auf Grundlage von Sensorinformationen ein Bewegungsbetrag und eine Tiefe auf Grundlage von Merkmalswerten nur in Punktwolken, die durch einen Lasersensor erhalten sind, oder Kamerabildern, die durch eine Kamera erhalten sind, geschätzt.
Um die Genauigkeit zu verbessern, wird in Patentliteratur 1 vorgeschlagen, eine Vielzahl von Sensoren zu nutzen, um die Odometriewerte durch jeden der Sensoren einzeln zu berechnen und dann auf Grundlage dieser Odometriewerte eine optimale Lösung für einen Bewegungsbetrag zu finden.
Liste der Anführungen
Patentliteratur
Patentliteratur 1: JP 2017-058166 A
Kurzfassung der Erfindung
Technische Aufgabe
Bei einem Verfahren, das dreidimensionale Formen von Punktwolken nutzt, die durch einen Lasersensor erhalten sind, können Odometriewerte durch Abgleich von Merkmalen mit dreidimensionalen Formen wie Vorsprüngen und Vertiefungen berechnet werden. Bei einem Verfahren, das Kamerabi-Ider nutzt, wird ein Bewegungsbetrag zwischen Frames auf Grundlage von Merkmalswerten in den Kamerabildern geschätzt. Bei dem Verfahren, das dreidimensionale Formen nutzt, können Odometriewerte an einer Stelle, an der es keine Merkmale von dreidimensionalen Formen gibt, nicht berechnet werden. Bei dem Verfahren, das Kamerabilder nutzt, können Odometriewerte aufgrund großer Fehler in den Tiefeninformationen nicht mit hoher Genauigkeit berechnet werden.
In Patentliteratur 1 wird eine Berechnung eines Odometriewerts auf Grundlage von Kamerabildern durchgeführt, und eine Berechnung eines Odometriewerts wird außerdem auf Grundlage von Punktwolken durchgeführt, die durch einen Lasersensor erhalten sind, und dann auf Grundlage dieser Odometriewerte ein Odometriewert mit einer hohen Likelihood berechnet. Die Technik von Patentliteratur 1 hat jedoch ein Problem, dass ein Odometriewert mit hoher Genauigkeit nicht berechnet werden kann, falls eine der Berechnungen nicht zuverlässig ist.
Es ist eine Aufgabe der vorliegenden Erfindung, den Bewegungsbetrag eines mobilen Objekts mit hoher Genauigkeit zu berechnen.
Technische Lösung
Eine Bewegungsbetrag-Schätzeinrichtung gemäß der vorliegenden Erfindung ist an einem mobilen Objekt angebracht und schätzt einen Bewegungsbetrag des mobilen Objekts, wobei die Bewegungsbetrag-Schätzeinrichtung umfasst:

eine Bilderwerbungseinheit, um ein Bild eines Bereichs um das mobile Objekt herum als Bilddaten zu erwerben;
eine Punktwolkenerwerbungseinheit, um Tiefenpunktwolkendaten, darstellend eine Tiefe, welche ein Abstand zu einem Objekt ist, das in dem Bereich um das mobile Objekt herum vorhanden ist, durch eine Punktwolke, zu erwerben;
eine Generierungseinheit, um eine Tiefe zu einer Position, dargestellt durch ein in den Bilddaten enthaltenes Pixel, unter Verwendung der Bilddaten und der Tiefenpunktwolkendaten zu berechnen, und Punktwolkendaten hoher Auflösung, in denen die berechnete Tiefe zu dem in den Bilddaten enthaltenen Pixel hinzugefügt ist, zu generieren; und
eine Schätzeinheit, um den Bewegungsbetrag des mobilen Objekts unter Verwendung der Punktwolkendaten hoher Auflösung zu schätzen.

Vorteilhafte Wirkungen der Erfindung
In einer Bewegungsbetrag-Schätzeinrichtung gemäß der vorliegenden Erfindung berechnet eine Generierungseinheit eine Tiefe zu einer Position, die durch ein in den Bilddaten enthaltenes Pixel dargestellt ist, unter Verwendung der Bilddaten und Tiefenpunktwolkendaten, und generiert Punktwolkendaten hoher Auflösung, in denen die berechnete Tiefe zu dem in den Bilddaten enthaltenen Pixel hinzugefügt ist. Dann schätzt eine Schätzeinheit einen Bewegungsbetrag eines mobilen Objekts unter Verwendung der Punktwolkendaten hoher Auflösung. Auf diese Weise schätzt die Bewegungsbetrag-Schätzeinrichtung gemäß der vorliegenden Erfindung den Bewegungsbetrag des mobilen Objekts unter Verwendung der Punktwolkendaten hoher Auflösung, in die die Bilddaten und die Tiefenpunktwolkendaten integriert sind, und bietet somit den Effekt, dass diese in der Lage ist, den Bewegungsbetrag des mobilen Objekts mit hoher Genauigkeit zu berechnen.
Figurenliste

1 ist ein Gesamtkonfigurationsdiagramm eines Bewegungsbetrag-Schätzsystems gemäß einer ersten Ausführungsform;
2 ist ein Konfigurationsdiagramm einer Bewegungsbetrag-Schätzeinrichtung gemäß einer ersten Ausführungsform;
3 ist ein Flussdiagramm eines Bewegungsbetrag-Schätzprozesses durch die Bewegungsbetrag-Schätzeinrichtung gemäß der ersten Ausführungsform;
4 ist ein Diagramm, darstellend ein konkretes Beispiel für den Bewegungsbetrag-Schätzprozesses durch die Bewegungsbetrag-Schätzeinrichtung gemäß der ersten Ausführungsform;
5 ist ein Flussdiagramm, darstellend eine Funktionsweise einer Generierungseinheit gemäß der ersten Ausführungsform;
6 ist ein schematisches Diagramm des Generierens eines Polygons aus Tiefenpunktwolkendaten, die Bilddaten überlagert sind, gemäß der ersten Ausführungsform;
7 ist ein Diagramm, darstellend ein Konzept davon, wie Punktwolkendaten hoher Auflösung gemäß der ersten Ausführungsform generiert werden;
8 ist ein Flussdiagramm, darstellend eine Funktionsweise einer Schätzeinheit gemäß der ersten Ausführungsform;
9 ist ein konkretes Beispiel für die Beschreibung von Effekten der Bewegungsbetrag-Schätzeinrichtung gemäß der ersten Ausführungsform; und
10 ist ein Konfigurationsdiagramm der Bewegungsbetrag-Schätzeinrichtung gemäß einer Variante der ersten Ausführungsform.

Beschreibung der Ausführungsformen
Eine Ausführungsform der vorliegenden Erfindung wird nachfolgend unter Bezugnahme auf die Zeichnungen erläutert. In den Zeichnungen sind gleiche oder entsprechende Teile durchgängig durch die gleichen Bezugszeichen bezeichnet. Bei der Beschreibung der Ausführungsform wird die Beschreibung gleicher oder entsprechender Teile in geeigneter Weise weggelassen oder vereinfacht.
Erste Ausführungsform
*** Beschreibung der Konfiguration ***
1 ist ein Gesamtkonfigurationsdiagramm eines Bewegungsbetrag-Schätzsystems 500 gemäß dieser ersten Ausführungsform.
Das Bewegungsbetrag-Schätzsystem 500 umfasst eine Bewegungsbetrag-Schätzeinrichtung 100, eine Kamera 201 und einen Lasersensor 202. Die Bewegungsbetrag-Schätzeinrichtung 100, die Kamera 201 und der Lasersensor 202 sind an einem mobilen Objekt 200 angebracht.
Die Bewegungsbetrag-Schätzeinrichtung 100 ist an dem mobilen Objekt 200 angebracht und schätzt einen Bewegungsbetrag des mobilen Objekts 200.
Das mobile Objekt 200 ist ein Objekt, das sich bewegt. Konkret handelt es sich bei dem mobilen Objekt 200 um ein Fahrzeug.
Die Kamera 201 ist an dem mobilen Objekt 200 angebracht, nimmt ein Bild eines Bereichs um das mobile Objekt 200 herum auf und gibt Bilddaten 31 aus. Bei den Bilddaten 31 handelt es sich konkret um ein Kamerabild.
Der Lasersensor 202 ist an dem mobilen Objekt 200 angebracht und gibt Tiefenpunktwolkendaten 32 aus, darstellend Tiefen, welche Abstande zu Objekten sind, die in dem Bereich um das mobile Objekt 200 herum vorhanden sind, durch eine Punktwolke. Bei dem Lasersensor 202 handelt es sich konkret um ein LiDAR.
Die Kamera 201 und der Lasersensor 202 können eine Messung in einem Bereich nur vorne durchführen oder in einem Bereich rundherum durchführen.
2 ist ein Konfigurationsdiagramm der Bewegungsbetrag-Schätzeinrichtung 100 gemäß dieser Ausführungsform.
Die Bewegungsbetrag-Schätzeinrichtung 100 ist ein Computer. Die Bewegungsbetrag-Schätzeinrichtung 100 umfasst einen Prozessor 910 und auch andere Hardwarekomponenten wie einen Arbeitsspeicher 921, eine Hilfsspeichereinrichtung 922, eine Eingabeschnittstelle 930, eine Ausgabeschnittstelle 940 und eine Kommunikationseinrichtung 950. Der Prozessor 910 ist über Signalleitungen mit anderen Hardwarekomponenten verbunden und steuert diese anderen Hardwarekomponenten.
Die Bewegungsbetrag-Schätzeinrichtung 100 umfasst als funktionale Elemente eine Bilderwerbungseinheit 110, eine Punktwolkenerwerbungseinheit 120, eine Merkmalsextrahierungseinheit 130, eine Generierungseinheit 140, eine Schätzeinheit 150 und eine Speichereinheit 160. Die Speichereinheit 160 speichert Kalibrierungsinformationen 161 und Punktwolkendaten hoher Auflösung 35 eines unmittelbar vorhergehenden Frames.
Die Funktionen der Bilderwerbungseinheit 110, der Punktwolkenerwerbungseinheit 120, der Merkmalsextrahierungseinheit 130, der Generierungseinheit 140 und der Schätzeinheit 150 sind durch Software realisiert. Die Speichereinheit 160 ist in dem Arbeitsspeicher 921 bereitgestellt. Alternativ kann die Speichereinheit 160 auch in der Hilfsspeichereinrichtung 922 bereitgestellt sein. Alternativ kann die Speichereinheit 160 auch aufgeteilt und in dem Arbeitsspeicher 921 und der Hilfsspeichereinrichtung 922 bereitgestellt sein.
Der Prozessor 910 ist eine Einrichtung, die ein Bewegungsbetrag-Schätzprogramm ausführt. Das Bewegungsbetrag-Schätzprogramm ist ein Programm, das die Funktionen der Bilderwerbungseinheit 110, der Punktwolkenerwerbungseinheit 120, der Merkmalsextrahierungseinheit 130, der Generierungseinheit 140 und der Schätzeinheit 150 ausführt.
Der Prozessor 910 ist eine integrierte Schaltung (IC), die operative Verarbeitung durchführt. Konkrete Beispiele für den Prozessor 910 sind eine zentrale Verarbeitungseinheit (CPU), einen Digitalsignalprozessor (DSP) und eine Grafikverarbeitungseinheit (GPU).
Der Arbeitsspeicher 921 ist eine Speichereinrichtung zum temporären Speichern von Daten. Konkrete Beispiele für den Arbeitsspeicher 921 sind ein statischer Random-Access Memory (SRAM) und ein dynamischer Random-Access Memory (DRAM).
Die Hilfsspeichereinrichtung 922 ist eine Speichereinrichtung zum Speichern von Daten. Ein konkretes Beispiel für die Hilfsspeichereinrichtung 922 ist ein HDD. Alternativ dazu kann die Hilfspeichereinrichtung 922 ein tragbares Speichermedium sein, wie etwa eine Speicherkarte des Typs SD (eingetragene Marke), CF, ein NAND-Flash, eine flexible Scheibe, eine optische Scheibe, eine Compact Disc, eine Blu-ray (eingetragene Marke) Disc oder eine DVD. HDD ist eine Abkürzung für Hard Disk Drive (= Festplattenlaufwerk). SD (eingetragene Marke) ist eine Abkürzung für Secure Digital (= Sicher Digital). CF ist eine Abkürzung für CompactFlash (eingetragene Marke). DVD ist eine Kurzbezeichnung für Digital Versatile Disc.
Die Eingabeschnittstelle 930 ist ein Anschluss, der mit einer Eingabeeinrichtung wie etwa einer Maus, einer Tastatur oder einem Berührungsfeld zu verbinden ist. Insbesondere ist die Eingabeschnittstelle 930 ein Universal-Serial-Bus-(USB)-Anschluss. Die Eingabeschnittstelle 930 kann ein Anschluss sein, der mit einem Local Area Network (LAN) zu verbinden ist.
Die Bilderwerbungseinheit 110 erwirbt die Bilddaten 31 über die Eingabeschnittstelle 930 von der Kamera 201. Die Punktwolkenerwerbungseinheit 120 erwirbt die Tiefenpunktwolkendaten 32 von dem Lasersensor 202 über die Eingabeschnittstelle 930.
Die Ausgabeschnittstelle 940 ist ein Anschluss, mit dem ein Kabel einer Ausgabeeinrichtung wie etwa einer Anzeige zu verbinden ist. Insbesondere ist die Ausgabeschnittstelle 940 ein USB-Anschluss oder ein High-Definition-Multimedia-Interface-Anschluss (HDMI, eingetragene Marke). Insbesondere ist die Anzeige eine Flüssigkristallanzeige (LCD).
Die Kommunikationseinrichtung 950 weist einen Empfänger und einen Übertrager auf. Die Kommunikationseinrichtung 950 ist mit einem Kommunikationsnetzwerk wie etwa einem LAN, dem Internet oder einer Telefonleitung drahtlos verbunden. Insbesondere ist die Kommunikationseinrichtung 950 ein Kommunikationschip oder eine Netzwerkschnittstellenkarte (NIC). Die Vorrichtung Bewegungsbetrag-Schätzeinrichtung 100 kann die Bilddaten 31 oder die Tiefenpunktwolkendaten 32 über die Kommunikationseinrichtung 950 erwerben.
Das Bewegungsbetrag-Schätzprogramm wird von dem Prozessor 910 gelesen und durch den Prozessor 910 ausgeführt. Der Arbeitsspeicher 921 speichert nicht nur das Bewegungsbetrag-Schätzprogramm, sondern auch ein Betriebssystem (Operating System, OS). Der Prozessor 910 führt das Bewegungsbetrag- Schätzprogramm aus, während das OS ausgeführt wird. Das Bewegungsbetrag-Schätzprogramm und das OS können in der Hilfsspeichereinrichtung 922 gespeichert sein. Das Bewegungsbetrag-Schätzprogramm und das OS, die in der Hilfsspeichereinrichtung 922 gespeichert sind, werden in den Arbeitsspeicher 921 geladen und durch den Prozessor 910 ausgeführt. Ein Teil oder das gesamte Bewegungsbetrag-Schätzprogramm kann in das OS eingebettet sein.
Die Bewegungsbetrag-Schätzeinrichtung 100 kann als Alternative zu dem Prozessor 910 eine Vielzahl von Prozessoren umfassen. Die Vielzahl von Prozessoren teilen sich die Ausführung des Bewegungsbetrag-Schätzprogramms. Jeder der Prozessoren ist, wie der Prozessor 910, eine Einrichtung, die das Bewegungsbetrag-Schätzprogramm ausführt.
Daten, Informationen, Signalwerte und Variablenwerte, die von dem Bewegungsbetrag-Schätzprogramm genutzt, verarbeitet oder ausgegeben werden, sind in dem Arbeitsspeicher 921 oder in der Hilfsspeichereinrichtung 922 gespeichert oder einem Register oder einem Cache-Speicher in dem Prozessor 910 gespeichert.
„Einheit“ von jeder von der Bilderwerbungseinheit 110, der Punktwolkenerwerbungseinheit 120, der Merkmalsextrahierungseinheit 130, der Generierungseinheit 140 und der Schätzeinheit 150 kann als „Prozess“, „Vorgang“ oder „Schritt“ interpretiert sein. „Prozess“ von jedem von dem Bilderwerbungsprozesses, dem Punktwolkenerwerbungsprozesses, dem Merkmalsextrahierungsprozesses, dem Generierungsprozesses und des Schätzprozesses kann als „Programm“, „Programmprodukt“ oder „computerlesbares Aufzeichnungsmedium, das ein Programm aufzeichnet“ interpretiert sein.
Das Bewegungsbetrag-Schätzprogramm veranlasst einen Computer, jeden Prozess, jedes Verfahren oder jeden Schritt auszuführen, wo „Einheit“ von jeder der vorstehenden Einheiten als „Prozess“, „Vorgang“ oder „Schritt“ interpretiert ist. Ein Bewegungsbetrag-Schätzverfahren ist äquivalent zu jedem Vorgang, wobei „Einheit“ von jeder der oben genannten Einheiten als „Vorgang“ interpretiert ist.
Das Bewegungsbetrag-Schätzprogramm kann in einem computerlesbaren Erfassungsmedium gespeichert und bereitgestellt sein. Alternativ kann das Bewegungsbetrag-Schätzprogramm als ein Programmprodukt bereitgestellt sein.
*** Beschreibung der Funktionsweise***
3 ist ein Flussdiagramm eines Bewegungsbetrag-Schätzprozesses S100 durch die Bewegungsbetrag-Schätzeinrichtung 100 gemäß dieser Ausführungsform.
4 ist ein Diagramm, darstellend ein konkretes Beispiel für den Bewegungsbetrag-Schätzprozesses S100 durch die Bewegungsbetrag-Schätzeinrichtung 100 gemäß dieser Ausführungsform.
Die Kamera 201 und der Lasersensor 202 werden im Voraus kalibriert. Durch diese Kalibrierung werden eine Rotationsmatrix R und eine Translationsmatrix T zum Abgleich der Zentrumskoordinaten der Bilddaten 31, die ein Kamerabild sind, und der Zentrumskoordinaten der Tiefenpunktwolkendaten 32 durch Koordinatentransformation erhalten. Die Rotationsmatrix R und die Translationsmatrix T werden als Kalibrierungsinformationen 161 in der Speichereinheit 160 der Bewegungsbetrag-Schätzeinrichtung 100 gespeichert. In dieser Ausführungsform wird davon ausgegangen, dass die Tiefenpunktwolkendaten 32 in Übereinstimmung mit dem Zentrum des Koordinatensystems der Bilddaten 31 ausgedrückt sind. Die Koordinaten der Bilddaten 31 können jedoch in Übereinstimmung mit dem Zentrum des Koordinatensystems der Tiefenpunktwolkendaten 32 ausgedrückt sein.
X_L bezeichnet eine Punktwolke in dem Koordinatensystem des Lasersensors 202 und X_C bezeichnet eine Punktwolke in dem Koordinatensystem der Kamera 201. In diesem Fall kann die Koordinatentransformation nach der folgenden Formel 1 durchgeführt werden. $\vec{X_{C}} = (\begin{matrix} R & T \\ 0 & 1 \end{matrix}) \vec{X_{L}}$
Als ein Ergebnis der Koordinatentransformation können die Tiefenpunktwolkendaten 32 den Bilddaten 31 überlagert werden, wie in einem Positionsabgleich-Prüfergebnis 34 von 4. In dem Positionsabgleich-Prüfergebnis 34 von 4 sind die Teile, die wie Querlinien aussehen, die Punktwolke der Tiefenpunktwolkendaten 32, die in das Koordinatensystem der Bilddaten 31 transformiert wurden.
<Bilderwerbungsprozess: Schritt S110>
In Schritt S110 erwirbt die Bilderwerbungseinheit 110 ein Bild eines Bereichs um das mobile Objekt 200 herum als Bilddaten 31. Die Bilderwerbungseinheit 110 erwirbt die Bilddaten 31 unter Verwendung der Kamera 201, die an dem mobilen Objekt 200 angebracht ist. Konkret erwirbt die Bilderwerbungseinheit 110 die in 4 dargestellten Bilddaten 31, das heißt, ein Kamerabild.
<Merkmalspunktextrahierungsprozess: Schritt S111, Schritt S112>
In Schritt S111 extrahiert eine Merkmalsextrahierungseinheit 130 Pixel, die Merkmalspunkte sind, aus den Bilddaten 31. Insbesondere extrahiert die Merkmalsextrahierungseinheit 130 Pixel, die Merkmalspunkte sind, aus den Bilddaten 31, unter Verwendung eines Algorithmus wie etwa Speeded-up-Robust-Features (SURF). Alternativ dazu können aus den Bilddaten 31 Merkmalspunkte durch ein anderes Verfahren extrahiert werden. Jedes der Symbole ◯ und × der Merkmalspunkte 33 in 4 steht für die in einem Frame extrahierten Merkmalspunkte. Als ein konkretes Beispiel stehen die Symbole ◯ und × für Merkmalspunkte, die jeweils in zwei benachbarten Frames extrahiert wurden. Ein Merkmalspunkt in einem Bild wird auch als ein Merkmalswert bezeichnet.
In Schritt S112 extrahiert die Merkmalsextrahierungseinheit 130 ferner Merkmalspunkte in den Bilddaten von jeweils zwei benachbarten Frames. Die Merkmalsextrahierungseinheit 130 sucht nach Merkmalspunkten, die zwischen den zwei benachbarten Frames einander entsprechen. Abtastung erfolgt mit hoher Geschwindigkeit, so dass die Merkmalsextrahierungseinheit 130 nach Merkmalspunkten suchen kann, die zwischen den zwei benachbarten Frames einander entsprechen, durch ein Verfahren des Abgleichs von Punkten, die zueinander am nächsten liegen.
Falls einander entsprechende Merkmalspunkte Ausreißer sind, schließt die Merkmalsextrahierungseinheit 130 die Merkmalspunkte, die Ausreißer sind, aus den Merkmalspunkten in den Bilddaten der zwei benachbarten Frames aus. Konkret berechnet die Merkmalsextrahierungseinheit 130 Abstände zwischen Pixelpaaren von zusammenpassenden Merkmalspunkten zwischen den benachbarten Frames, erstellt ein Histogramm dieser Abstände und extrahiert Ausreißer aus den zusammenpassenden Merkmalspunkten. Als ein konkretes Beispiel für ein Verfahren zum Ausschluss von Ausreißern ist der Random-Sample-Consensus (RANSAC).
Es wird davon ausgegangen, dass die Merkmalspunkte 33 in 4 Merkmalspunkte nach Ausschluss von Ausreißern darstellen.
<Punktwolkenerwerbungsprozess: Schritt S120>
In Schritt S120 erwirbt die Punktwolkenerwerbungseinheit 120 Tiefenpunktwolkendaten 32, die Tiefen darstellen, die Abstände zu Objekten sind, die um das mobile Objekt 200 herum vorhanden sind, durch eine Punktwolke. Die Punktwolkenerwerbungseinheit 120 erwirbt die Tiefenpunktwolkendaten 32 unter Verwendung des an dem mobilen Objekt 200 angebrachten Lasersensors 202.
<Generierungsprozess: Schritt S130>
In Schritt S130 berechnet die Generierungseinheit 140 unter Verwendung der Bilddaten 31 und der Tiefenpunktwolkendaten 32 Tiefen zu den jeweiligen Positionen, die durch die in den Bilddaten 31 enthaltenen Pixel dargestellt sind. Anschließend generiert die Generierungseinheit 140 Punktwolkendaten hoher Auflösung 35, in denen die berechneten Tiefen zu den in den Bilddaten 31 enthaltenen Pixeln hinzugefügt sind.
5 ist ein Flussdiagramm, das die Funktionsweise der Generierungseinheit 140 gemäß dieser Ausführungsform darstellt.
In Schritt S301 transformiert die Generierungseinheit 140 das Koordinatensystem der Tiefenpunktwolkendaten 32 in das Koordinatensystem der Bilddaten 31. Die Generierungseinheit 140 transformiert das Koordinatensystem der Tiefenpunktwolkendaten 32 in das Koordinatensystem der Bilddaten 31 unter Verwendung der Rotationsmatrix R und der Translationsmatrix T, die in den Kalibrierungsinformationen 161 gespeichert sind. Die Generierungseinheit 140 transformiert das Koordinatensystem der Tiefenpunktwolkendaten 32 in das Koordinatensystem der Bilddaten 31 nach der oben beschriebenen Gleichung der Formel 1 unter Verwendung der Rotationsmatrix R und der Translationsmatrix T.
Insbesondere sind die von dem Lasersensor 202 ausgegebenen Tiefenpunktwolkendaten 32 Daten eines Bereichs von 360 Grad um das mobile Objekt 200 herum.
Um die Tiefenpunktwolkendaten 32 und die Bilddaten 31 abzugleichen, extrahiert die Generierungseinheit 140 daher nur eine Punktwolke innerhalb des Kamerabildes der Bilddaten 31 aus der Punktwolke als ein Ergebnis der Koordinatentransformation der Tiefenpunktwolkendaten 32. Das heißt, die Generierungseinheit 140 führt Filtern auf die Punktwolke als ein Ergebnis der Koordinatentransformation der Tiefenpunktwolkendaten 32 durch, um nur die Punktwolke innerhalb des Kamerabildes der Bilddaten 31 zu erhalten.
Auf diese Weise können die Bilddaten 31 und die Tiefenpunktwolkendaten 32 überlagert werden, wie in dem Positionsabgleich-Prüfergebnis 34 von 4 zu sehen ist.
Die Generierungseinheit 140 rendert die nach der Filterung verbleibende Punktwolke als Polygone. Wie oben beschrieben, überlagert die Generierungseinheit 140 die Bilddaten 31 und die Tiefenpunktwolkendaten 32 einander durch Transformieren des Koordinatensystems der Tiefenpunktwolkendaten 32 in das Koordinatensystem der Bilddaten 31. Dann wählt die Generierungseinheit 140 ein Polygon aus, das mit drei Punkten, die in den Tiefenpunktwolkendaten 32 enthalten sind, gebildet ist und ein Pixel enthält, das ein Merkmalspunkt ist. Dann berechnet die Generierungseinheit 140 unter Verwendung des Polygons die Tiefe einer Merkmalspixelposition P1, die die Position des Pixels ist, das ein Merkmalspunkt P ist.
Im Einzelnen läuft dies wie unten beschrieben ab.
6 ist ein schematisches Diagramm des Generierens eines Polygons 50 aus Tiefenpunktwolkendaten 32, die den Bilddaten 31 überlagert sind, gemäß dieser Ausführungsform.
7 ist ein Diagramm, das ein Konzept darstellt, wie Punktwolkendaten hoher Auflösung 35 gemäß dieser Ausführungsform generiert werden.
Wie in dem schematischen Diagramm der Tiefenpunktwolkendaten 32 in 6 gezeigt, sind die Tiefenpunktwolkendaten 32 angeordnet, um eine Vielzahl von Querlinien zu bilden, die das Bild der Bilddaten 31 durchqueren.
In Schritt S302 wählt die Generierungseinheit 140 einen Auswahlpunkt Ps aus den Tiefenpunktwolkendaten 32 aus. In Schritt S303 extrahiert die Generierungseinheit 140 dann zwei nahegelegene Punkte in Bezug auf den ausgewählten Punkt, um eine Ebene durch die drei Punkte insgesamt zu bilden. Auf diese Weise können die Tiefenpunktwolkendaten 32 als das Polygon 50 gerendert werden. Konkret lässt sich das gleiche durch ein Verfahren unter Verwendung einer Delaunay-Triangulation realisieren.
In Schritt S304 bestimmt die Generierungseinheit 140, ob der Prozess zum Rendern der Tiefenpunktwolkendaten 32 als Polygone für alle Punkte durchgeführt wurde. Falls ein Punkt übrig bleibt, für den der Prozess nicht durchgeführt wurde, kehrt der Ablauf zu Schritt S302 zurück. Falls der Prozess für alle Punkte durchgeführt wurde, geht der Ablauf weiter zu Schritt S305.
Die Generierungseinheit 140 berechnet als die Tiefe der Merkmalspixelposition P1 den Abstand zu einem Berührungspunkt zwischen der durch das Polygon 50 gebildeten Ebene und einer verlängerten Linie einer Linie, die das Zentrum der Kamera 201 und die Merkmalspixelposition P1 des Bildes mit einer Blendenzahl (f-Zahl) verbindet, die in Abhängigkeit von der Brennweite der Kamera 201 bestimmt ist.
Im Schritt S305 berechnet die Generierungseinheit 140 den Abstand von dem Merkmalspunkt P der Bilddaten 31 zu dem Polygon 50. Wie in 7 dargestellt, zeichnet die Generierungseinheit 140 eine Linie von dem Zentrum der Kamera zu der Merkmalspixelposition P1, welche die Position des Merkmalspunkts P auf dem Bild mit der Blendenzahl (f-Zahl) der Kamera ist. Dann wird der Abstand zu dem Berührungspunkt zwischen der durch das Polygon 50 gebildeten Ebene und einer verlängerten Linie einer Linie, die das Zentrum der Kamera zu der Merkmalspixelposition P1 auf dem Bild mit der Blendenzahl (f-Zahl) verbindet, als die Tiefe berechnet. Durch diese Operation kann die Generierungseinheit 140 die Tiefe der Merkmalspixelposition P1, die durch das Pixel jedes Merkmalspunkts P dargestellt ist, berechnen.
Die Generierungseinheit 140 generiert die Punktwolkendaten hoher Auflösung 35, in denen die Tiefe der Merkmalspixelposition P1, die die Position ist, die durch das Pixel, das der Merkmalspunkt P ist, dargestellt ist, zu dem Pixel, das der Merkmalspunkt P ist, hinzugefügt wird.
Zurück auf 3 verweisend, wird die Beschreibung fortgesetzt.
In Schritt S140 erwirbt die Generierungseinheit 140 Punktwolkendaten hoher Auflösung 35 eines unmittelbar vorhergehenden Frames aus der Speichereinheit 160.
<Schätzprozess: Schritt S150>
Die Schätzeinheit 150 schätzt den Bewegungsbetrag des mobilen Objekts 200 unter Verwendung der Punktwolkendaten hoher Auflösung 35. Die Schätzeinheit 150 schätzt den Bewegungsbetrag des mobilen Objekts 200 durch Berechnen des Änderungsbetrags der Tiefe der Merkmalspixelposition P1 unter Verwendung einer Vielzahl von Frames. Schließlich speichert die Schätzeinheit 150 die aktuellen Punktwolkendaten hoher Auflösung 35 als die Punktwolkendaten hoher Auflösung 35 des unmittelbar vorhergehenden Frames in der Speichereinheit 160.
Im Einzelnen läuft dies wie unten beschrieben ab.
8 ist ein Flussdiagramm, das die Funktionsweise der Generierungseinheit 150 gemäß dieser Ausführungsform darstellt.
In Schritt S501 erwirbt die Schätzeinheit 150 die Punktwolkendaten hoher Auflösung 35 des unmittelbar vorhergehenden Frames und die aktuellen Punktwolkendaten hoher Auflösung 35.
In Schritt S502 berechnet die Schätzeinheit 150 den Bewegungsbetrag des Lasersensors 202 auf Grundlage der Tiefe des Merkmalspunkts P in jedem dieser benachbarten Frames. Dann schätzt die Schätzeinheit 150 den Bewegungsbetrag des Lasersensors 202 als den Bewegungsbetrag des mobilen Objekts 200. Der Bewegungsbetrag wird berechnet durch Berechnen des Änderungsbetrags in der Tiefe des Merkmalspunkts P zwischen den beiden benachbarten Frames. Der Bewegungsbetrag wird unter der Annahme berechnet, dass eine Vektorrichtung in einer Vorwärtsrichtung des Fahrzeugs positiv ist. Mit diesem Verfahren können die Änderungsbeträge einer Vielzahl von Merkmalspunkten erhalten werden, so dass erneut ein Histogramm erstellt wird, um Ausreißer auszuschließen, und dann ein Durchschnittswert berechnet wird. Als ein Verfahren zum Ausschluss von Ausreißern kann RANSAC verwendet werden, das auch für Merkmalspunkte eingesetzt wird.
*** Beschreibung von Wirkungen dieser Ausführungsform ***
9 ist ein Diagramm, das ein konkretes Beispiel für die Beschreibung von Wirkungen Bewegungsbetrag-Schätzeinrichtung gemäß dieser Ausführungsform darstellt.
In 9 wird angenommen, dass sich das mobile Objekt 200 in einem Tunnel bewegt, in dem es nicht viele dreidimensionale Merkmale gibt.
In der Bewegungsbetrag-Schätzeinrichtung gemäß dieser Ausführungsform werden die Tiefen der Merkmalspunkte in jedem Frame als Abstandsinformationen berechnet. Dann schätzt die Bewegungsbetrag-Schätzeinrichtung den Bewegungsbetrag des mobilen Objekts durch Berechnen des Änderungsbetrags der Abstandsinformationen zwischen benachbarten Frames. Daher ist es notwendig, die Abstandsinformationen von Merkmalspunkten zu erwerben. An einem Ort wie einem Tunnel, an dem es nicht viele dreidimensionale Merkmalsobjekte gibt, ist es jedoch im Allgemeinen schwierig, Merkmalspunkte aus einer Punktwolke eines Lasersensors zu erwerben. Das heißt, aus der Punktwolke des Lasersensors können eine Reihe von Abstandsinformationen erworben werden, aber aufgrund des Mangels an dreidimensionalen Merkmalen ist es schwierig, Abstandsinformationen von Merkmalspunkten zu extrahieren. In der Bewegungsbetrag-Schätzeinrichtung gemäß dieser Ausführungsform werden aus einem Kamerabild Merkmalspunkte berechnet, und die diesen Merkmalspunkten entsprechenden Abstandsinformationen werden unter Verwendung einer Punktwolke eines Lasersensors berechnet. Dann können Punktwolkendaten hoher Auflösung generiert werden durch Hinzufügen der Abstandsinformationen zu den Merkmalspunkten.
Wie oben beschrieben, kann die Bewegungsbetrag-Schätzeinrichtung gemäß dieser Ausführungsform Punktwolkendaten hoher Auflösung generieren, in die ein Kamerabild und eine durch einen Lasersensor erhaltene Punktwolke integriert sind. Daher kann die Bewegungsbetrag-Schätzeinrichtung gemäß dieser Ausführungsform den Bewegungsbetrag auf Grundlage von Punktwolkendaten hoher Auflösung, in die ein Kamerabild und eine von einem Lasersensor erhaltene Punktwolke integriert sind, mit hoher Genauigkeit schätzen, selbst an einem Ort, an dem es keine dreidimensionalen Merkmale gibt, wie etwa einem Tunnel.
*** Andere Konfigurationen ***
<Erste Variante>
In dieser Ausführungsform wird die Tiefe jedes aus den Bilddaten 31 erworbenen Merkmalspunkts P berechnet, und es werden Punktwolkendaten hoher Auflösung 35 generiert, in denen die Tiefe zu jedem Merkmalspunkt P hinzugefügt ist. Wie in 10 dargestellt, können jedoch die Tiefen zu allen Pixeln in den Bilddaten 31 auf Grundlage der Tiefenpunktwolkendaten 32 hinzugefügt sein. Es können Punktwolkendaten hoher Auflösung 35a generiert werden, bei denen die Tiefen zu allen in den Bilddaten 31 enthaltenen Pixeln hinzugefügt sind.
<Zweite Variante>
In dieser Ausführungsform wird der Bewegungsbetrag des mobilen Objekts geschätzt durch Erhalten des Änderungsbetrages in den Tiefen der Merkmalspunkts zwischen benachbarten Frames. Der Bewegungsbetrag des mobilen Objekts kann jedoch geschätzt werden durch Erhalten des Änderungsbetrags in der Tiefen von Merkmalspunkten zwischen Frames, in denen die jeweiligen Merkmalspunkte P einander entsprechen, auch wenn die Frames nicht zueinander benachbart sind.
<Dritte Variante>
In dieser Ausführungsform sind die Funktionen der Bilderwerbungseinheit 110, der Punktwolkenerwerbungseinheit 120, der Merkmalsextrahierungseinheit 130, der Generierungseinheit 140 und der Schätzeinheit 150 durch Software realisiert. Als eine Variante können die Funktionen der Bilderwerbungseinheit 110, der Punktwolkenerwerbungseinheit 120, der Merkmalsextrahierungseinheit 130, der Generierungseinheit 140 und der Schätzeinheit 150 durch Hardware realisiert sein.
9 ist ein Konfigurationsdiagramm der Bewegungsbetrag-Schätzeinrichtung 100 gemäß einer Variante dieser Ausführungsform.
Die Bewegungsbetrag-Schätzeinrichtung 100 umfasst eine elektronische Schaltung 909, den Arbeitsspeicher 921, die Hilfsspeichereinrichtung 922, die Eingabeschnittstelle 930 und die Ausgabeschnittstelle 940.
Die elektronische Schaltung 909 ist eine dedizierte elektronische Schaltung, die die Funktionen der Bilderwerbungseinheit 110, der Punktwolkenerwerbungseinheit 120, der Merkmalsextrahierungseinheit 130, der Generierungseinheit 140 und der Schätzeinheit 150 realisiert.
Konkret ist die elektronische Schaltung 909 eine Einzelschaltung, eine zusammengesetzte Schaltung, ein programmierter Prozessor, ein paralleler-programmierter Prozessor, eine Logik-IC, ein GA, eine ASIC oder ein FPGA. GA ist eine Abkürzung für Gate Array (= Gatteranordnung). ASIC ist eine Abkürzung für Application Specific Integrated Circuit (= Anwendungsspezifische Integrierte Schaltung). FPGA die Abkürzung für Field-Programmable Gate Array (= im Feld programmierbare Gatteranordnung).
Die Funktionen der Bilderwerbungseinheit 110, der Punktwolkenerwerbungseinheit 120, der Merkmalsextrahierungseinheit 130, der Generierungseinheit 140 und der Schätzeinheit 150 können durch eine einzige elektronische Schaltung realisiert sein, oder können auf mehrere elektronische Schaltungen verteilt und durch diese realisiert sein.
Als weitere Variante können einige der Funktionen der Bilderwerbungseinheit 110, der Punktwolkenerwerbungseinheit 120, der Merkmalsextrahierungseinheit 130, der Generierungseinheit 140 und der Schätzeinheit 150 durch die elektronische Schaltung realisiert sein, und der Rest der Funktionen kann durch Software realisiert sein.
Eine weitere Variante ist, dass einige oder alle Funktionen der Bilderwerbungseinheit 110, der Punktwolkenerwerbungseinheit 120, der Merkmalsextrahierungseinheit 130, der Generierungseinheit 140 und der Schätzeinheit 150 durch Firmware realisiert sein können.
Sowohl der Prozessor als auch die elektronische Schaltung werden auch als Verarbeitungsschaltkreis bezeichnet. Das heißt, dass in der Bewegungsbetrag-Schätzeinrichtung 100 die Funktionen der Bilderwerbungseinheit 110, der Punktwolkenerwerbungseinheit 120, der Merkmalsextrahierungseinheit 130, der Generierungseinheit 140 und der Schätzeinheit 150 durch den Verarbeitungsschaltkreis realisiert sind.
In der obigen ersten Ausführungsform sind die Einheiten der Bewegungsbetrag-Schätzeinrichtung als unabhängige funktionale Blöcke beschrieben. Die Konfiguration der Bewegungsbetrag-Schätzeinrichtung kann sich jedoch von der Konfiguration wie in der oben beschriebenen Ausführungsform unterscheiden. Die funktionalen Blöcke der Bewegungsbetrag-Schätzeinrichtung können in beliebiger Konfiguration angeordnet sein, vorausgesetzt, dass die in der obigen Ausführungsform beschriebenen Funktionen realisiert werden können. Die Bewegungsbetrag-Schätzeinrichtung kann ein System sein, das anstelle aus einer einzelnen Einrichtung aus einer Vielzahl von Einrichtungen zusammengesetzt ist.
Eine Vielzahl von Teilen der ersten Ausführungsform kann in Kombination implementiert sein. Alternativ kann ein Teil dieser Ausführungsform implementiert sein. Ferner kann diese Ausführungsform ganz oder teilweise in beliebigen Kombinationen implementiert sein.
Das heißt, in der ersten Ausführungsform kann jede Ausführungsform frei kombiniert sein oder ein beliebiger Bestandteil jeder Ausführungsform kann modifiziert sein oder ein beliebiger Bestandteil kann in jeder Ausführungsform weggelassen sein.
Die vorstehend beschriebene Ausführungsform ist ein im Wesentlichen bevorzugtes Beispiel und ist nicht dazu bestimmt, den Umfang der vorliegenden Erfindung, den Umfang der Anwendungen der vorliegenden Erfindung und den Umfang der beabsichtigten Nutzung der vorliegenden Erfindung einzuschränken. Die vorstehend beschriebene Ausführungsform kann bei Bedarf auf verschiedene Weisen modifiziert sein.
Bezugszeichenliste

31:: Bilddaten;
32:: Tiefenpunktwolkendaten;
33:: Merkmalspunkt;
34:: Positionsabgleich-Prüfergebnis;
35, 35a:: Punktwolkendaten hoher Auflösung;
50:: Polygon;
100:: Bewegungsbetrag-Schätzeinrichtung;
110:: Bilderwerbungs-einheit;
120:: Punktwolkenerwerbungseinheit;
130:: Merkmalsextrahierungs-einheit;
140:: Generierungseinheit;
150:: Schätzeinheit;
160:: Speichereinheit;
161:: Kalibrierungsinformationen;
200:: mobiles Objekt;
201:: Kamera;
202:: La-sersensor;
500:: Bewegungsbetrag-Schätzsystem;
909:: elektronische Schal-tung;
910:: Prozessor;
921:: Arbeitsspeicher;
922:: Hilfsspeichereinrichtung;
930:: Eingabeschnittstelle;
940:: Ausgabeschnittstelle;
950:: Kommunikationseinrich-tung;
S100:: Bewegungsbetrag-Schätzverfahren.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017058166 A [0004]

Claims

Bewegungsbetrag-Schätzeinrichtung, die an einem mobilen Objekt angebracht ist und einen Bewegungsbetrag des mobilen Objekts schätzt, wobei die Bewegungsbetrag-Schätzeinrichtung umfasst: eine Bilderwerbungseinheit, um ein Bild eines Bereichs um das mobile Objekt herum als Bilddaten zu erwerben; eine Punktwolke-Erwerbungseinheit, um Tiefenpunktwolkendaten, darstellend eine Tiefe, welche ein Abstand zu einem Objekt ist, das in dem Bereich um das mobile Objekt herum vorhandenen ist, durch eine Punktwolke, zu erwerben; eine Generierungseinheit, um eine Tiefe zu einer Position, dargestellt durch ein in den Bilddaten enthaltenes Pixel, zu berechnen unter Verwendung der Bilddaten und der Tiefenpunktwolkendaten, und Punktwolkendaten hoher Auflösung, in denen die berechnete Tiefe zu dem in den Bilddaten enthaltenen Pixel hinzugefügt ist, zu generieren; und eine Schätzeinheit, um den Bewegungsbetrag des mobilen Objekts unter Verwendung der Punktwolkendaten hoher Auflösung zu schätzen.
Bewegungsbetrag-Schätzeinrichtung nach Anspruch 1, ferner umfassend: eine Merkmalsextrahierungseinheit, um ein Pixel, das ein Merkmalspunkt ist, aus den Bilddaten zu extrahieren, wobei die Generierungseinheit die Punktwolkendaten hoher Auflösung, in denen eine Tiefe einer Merkmalspixelposition, die eine Position ist, die durch das Pixel dargestellt ist, das der Merkmalspunkt ist, zu dem Pixel, das der Merkmalspunkt ist, hinzugefügt ist, generiert.
Bewegungsbetrag-Schätzeinrichtung nach Anspruch 2, wobei die Generierungseinheit die Bilddaten und die Tiefenpunktwolkendaten einander überlagert durch Transformieren eines Koordinatensystems der Tiefenpunktwolkendaten in ein Koordinatensystem der Bilddaten, ein Polygon auswählt, das mit drei Punkten gebildet ist, die in den Tiefenpunktwolkendaten enthalten sind, und das Pixel enthält, das der Merkmalspunkt ist, und die Tiefe der Merkmalspixelposition unter Verwendung des Polygons berechnet.
Bewegungsbetrag-Schätzeinrichtung nach Anspruch 3, wobei die Bilderwerbungseinheit die Bilddaten unter Verwendung einer an dem mobilen Objekt angebrachten Kamera erwirbt, und wobei die Generierungseinheit als die Tiefe der Merkmalspixelposition einen Abstand zu einem Berührungspunkt zwischen einer Ebene, die durch das Polygon gebildet ist, und einer verlängerten Linie einer Linie von einem Zentrum der Kamera zu der Merkmalspixelposition auf dem Bild mit einer Blendenzahl (f-Zahl) berechnet, die in Abhängigkeit von einer Brennweite der Kamera bestimmt ist.
Bewegungsbetrag-Schätzeinrichtung nach einem der Ansprüche 2 bis 4, wobei die Schätzeinheit den Bewegungsbetrag des mobilen Objekts schätzt durch Berechnen eines Änderungsbetrags in der Tiefe der Merkmalspixelposition unter Verwendung einer Vielzahl von Frames.
Bewegungsbetrag-Schätzeinrichtung nach einem der Ansprüche 2 bis 5, wobei die Merkmalsextrahierungseinheit Merkmalspunkte in Bilddaten von jedem von zwei benachbarten Frames extrahiert, nach Merkmalspunkten sucht, die zwischen den zwei benachbarten Frames einander entsprechen, und, wenn die einander entsprechenden Merkmalspunkte Ausreißer sind, die Merkmalspunkte, die Ausreißer sind, von den Merkmalspunkten in den Bilddaten von jedem der zwei benachbarten Frames ausschließt.
Bewegungsbetrag-Schätzeinrichtung nach einem der Ansprüche 1 bis 5, wobei die Punktwolkenerwerbungseinheit die Tiefenpunktwolkendaten unter Verwendung eines an dem mobilen Objekt angebrachten Lasersensors erwirbt.
Bewegungsbetrag-Schätzverfahren einer Bewegungsbetrag-Schätzeinrichtung, die an einem mobilen Objekt angebracht ist und einen Bewegungsbetrag des mobilen Objekts schätzt, wobei das Bewegungsbetrag-Schätzverfahren umfasst: Erwerben eines Bildes eines Bereichs um das mobile Objekt herum als Bilddaten durch eine Bilderwerbungseinheit; Erwerben von Tiefenpunktwolkendaten, darstellend eine Tiefe, die ein Abstand zu einem Objekt ist, das in dem Bereich um das mobile Objekt herum vorhanden ist, durch eine Punktwolke, durch eine Punktwolkenerwerbungseinheit; Berechnen einer Tiefe zu einer Position, die durch ein in den Bilddaten enthaltenes Pixel dargestellt ist, unter Verwendung der Bilddaten und der Tiefenpunktwolkendaten, und Generieren von Punktwolkendaten hoher Auflösung, in denen die berechnete Tiefe zu dem in den Bilddaten enthaltenen Pixel hinzugefügt ist, durch eine Generierungseinheit; und Schätzen des Bewegungsbetrags des mobilen Objekts unter Verwendung der Punktwolkendaten hoher Auflösung durch eine Schätzeinheit.
Bewegungsbetrag-Schätzprogramm für eine Bewegungsbetrag-Schätzeinrichtung, die an einem mobilen Objekt angebracht ist und einen Bewegungsbetrag des mobilen Objekts schätzt, wobei das Bewegungsbetrag-Schätzprogramm die Bewegungsbetrag-Schätzeinrichtung, die ein Computer ist, veranlasst, auszuführen: einen Bilderwerbungsprozess des Erwerbens eines Bildes eines Bereichs um das mobile Objekt herum als Bilddaten; einen Punktwolkenerwerbungsprozess des Erwerbens von Tiefenpunktwolkendaten, darstellend eine Tiefe, die ein Abstand zu einem Objekt ist, das in dem Bereich um das mobile Objekt herum vorhanden ist, durch eine Punktwolke; einen Generierungsprozess des Berechnens einer Tiefe zu einer Position, dargestellt durch ein in den Bilddaten enthaltenes Pixel, unter Verwendung der Bilddaten und der Tiefenpunktwolkendaten, und Generierens von Punktwolkendaten hoher Auflösung, in denen die berechnete Tiefe zu dem in den Bilddaten enthaltenen Pixel hinzugefügt ist; und einen Schätzprozess des Schätzens des Bewegungsbetrages des mobilen Objekts unter Verwendung der Punktwolkendaten hoher Auflösung.