DE112018006730T5

DE112018006730T5 - Steuervorrichtung und steuerverfahren, programm und mobiles objekt

Info

Publication number: DE112018006730T5
Application number: DE112018006730.0T
Authority: DE
Inventors: Dai Kobayashi; Ryo Watanabe
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-12-28
Filing date: 2018-12-14
Publication date: 2020-10-01
Also published as: WO2019131198A1; JPWO2019131198A1; US20200402256A1; US11822341B2; JP7151725B2

Abstract

Die vorliegende Erfindung bezieht sich auf eine Steuervorrichtung, ein Steuerverfahren, ein Programm und einen mobilen Körper, die die unterscheidende und genaue Schätzung einer Eigenposition selbst in einer Umgebung ermöglichen, in der die Eigenposition und eine andere Position fälschlicherweise als dieselbe Position detektiert werden, da viele ähnliche Merkmalsgrößen dort vorhanden sind.Eine Bildmerkmalsgröße wird aus einem maskierten Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich angibt, der zum Identifizieren der Eigenposition in dem Bild des Umfelds nicht nützlich ist, gemäß einem Ort, der der Eigenposition entspricht, extrahiert, und dann wird die Bildmerkmalsgröße in Zuordnung zu den Positionsinformationen der Eigenposition in eine Positionsbildmerkmalsgrößen-Datenbank (DB) aufgezeichnet. Die vorliegende Erfindung kann auf einen mehrbeinigen Roboter, ein fliegendes Objekt und ein fahrzeuginternes System, die sich in Übereinstimmung mit einem darin montierten Computer autonom bewegen, angewandt werden.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf eine Steuervorrichtung und ein Steuerverfahren, ein Programm und ein mobiles Objekt, und insbesondere auf eine Steuervorrichtung und ein Steuerverfahren, ein Programm und ein mobiles Objekt, die eine Eigenposition mit hoher Genauigkeit schätzen können.
STAND DER TECHNIK
Es gibt eine Technologie zum Aufnehmen eines Bilds des Umfelds und Schätzen einer Eigenposition oder einer Stellung aus einer Merkmalsgröße in dem aufgenommenen Bild.
Beispielsweise ist eine Technologie vorgeschlagen worden zum Unterstützen des Fortbewegens durch Erkennen einer Eigenposition durch Vergleichen eines charakteristischen Objekts wie z. B. eines voraus befindlichen Hinweisschilds in einem Sichtfeld mit einem gespeicherten Bild, um das voraus befindliche charakteristische Objekt zu detektieren (siehe Patentdokument 1).
Darüber hinaus ist eine Technologie zum Schätzen von Positions/Stellungs-Daten eines Roboters oder eines Zielobjekts durch Vergleichen eines aufgenommenen Bilds mit einem Vorlagenbild für jede Sichtlinienrichtung vorgeschlagen worden (siehe Patentdokument 2).
Außerdem ist eine Technologie vorgeschlagen worden, in der Merkmalspunkte durch Mustererkennung unter Verwendung von Merkmalspunkten in einem Bild und Referenzpunktinformationen ausgewählt werden, und Referenzpunktkandidaten mit derselben Anzahl wie die Merkmalspunkte erzeugt werden, um eine Position zu schätzen (siehe Patentdokument 3).
ENTGEGENHALTUNGSLISTE
PATENTDOKUMENT

Patentdokument 1: Japanische Offenlegungsschrift Nr. 2014-012011
Patentdokument 2: Japanische Offenlegungsschrift Nr. 2012-185752
Patentdokument 3: Japanische Offenlegungsschrift Nr. 2010-033447

ZUSAMMENFASSUNG DER ERFINDUNG
AUFGABEN, DIE DURCH DIE ERFINDUNG GELÖST WERDEN SOLLEN
In jedem der Patentdokumente 1 bis 3 werden jedoch in einer Umgebung, in der eine große Anzahl ähnlicher Objekte an unterschiedlichen Positionen in dem Umfeld vorhanden sind und viele der detektierten Merkmalsgrößen ähnlich sind, viele übereinstimmende Merkmalsgrößen detektiert, und die unterschiedlichen Positionen werden manchmal fälschlicherweise als die gleiche Position detektiert.
Die vorliegende Offenbarung ist im Hinblick auf eine solche Situation gemacht worden und ermöglicht insbesondere die Unterscheidung zwischen Positionen und genaue Schätzung einer Eigenposition selbst in einer Umgebung, in der unterschiedliche Positionen viele ähnliche Merkmalsgrößen in dem Umfeld aufweisen und deshalb wahrscheinlich fälschlicherweise als die gleiche Position detektiert werden.
LÖSUNG DER AUFGABEN
Eine Steuervorrichtung gemäß einem ersten Aspekt der vorliegende Offenbarung enthält eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt, eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt, eine erste Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt, eine erste Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungseinheit hinzugefügt ist, extrahiert, und eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank aufzeichnet.
Die erste Maskenerzeugungseinheit kann eine Maske für ein Nichtmerkmalsgebiet erzeugen, das ein Bereich in dem Bild des Umfelds ist, der zum Identifizieren der Eigenposition nicht nützlich ist, in Übereinstimmung mit einem Ort, der der Eigenposition entspricht, auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist.
Eine Datenbank für ortsbezogene Nichtmerkmalsabschnitte, in der der ortsbezogene Nichtmerkmalsabschnitt in Zuordnung zu dem Ort aufgezeichnet ist, kann ferner enthalten sein. Die erste Maskenerzeugungseinheit kann eine Maske für ein Nichtmerkmalsgebiet erzeugen, das ein Bereich in dem Bild des Umfelds ist, der zum Identifizieren der Eigenposition nicht nützlich ist, auf der Basis des ortsbezogenen Nichtmerkmalsabschnitts, der in der Datenbank für ortsbezogene Nichtmerkmalsabschnitte in Zuordnung zu einem Ort, der der Eigenposition entspricht, aufgezeichnet ist.
Die erste Merkmalsgrößen-Extraktionseinheit kann eine Bildmerkmalsgröße aus dem durch die Bildaufnahmeeinheit aufgenommenen Bild des Umfelds extrahieren. Eine Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition, die die Positionsinformationen, die in der Datenbank in Zuordnung zu der Bildmerkmalsgröße aufgezeichnet sind, als eine auf aktuellen Informationen basierende Eigenposition schätzt, kann ferner enthalten sein.
Eine Integrationseinheit, die als ein Eigenpositionsschätzergebnis eine durch die Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition geschätzte auf aktuellen Informationen basierende Eigenposition und eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition integriert und ausgibt, kann ferner enthalten sein. Die Integrationseinheit kann in der Datenbank das Eigenpositionsschätzergebnis und eine durch die erste Merkmalsgrößen-Extraktionseinheit extrahierte Bildmerkmalsgröße in Zuordnung zueinander aufzeichnen.
Eine Datenbank für ortsbezogene Nichtmerkmalsabschnitte, in der der ortsbezogene Nichtmerkmalsabschnitt in Zuordnung zu einem Ort, der der Eigenposition entspricht, aufgezeichnet ist, und eine Erzeugungs/Aufzeichnungseinheit für ortsbezogene Nichtmerkmalsabschnitte, die einen Bereich als ein neues Element des ortsbezogenen Nichtmerkmalsabschnitts in Zuordnung zu demselben Ort erzeugt, wobei der Bereich statistisch ähnliche Bildmerkmalsgrößen unter mehreren Bildmerkmalsgrößen an demselben Ort aufweist, die auf der Basis einer Position, die in der Datenbank aufgezeichnet ist, identifiziert sind, und den ortsbezogenen Nichtmerkmalsabschnitt in der Datenbank für ortsbezogene Nichtmerkmalsabschnitte aufzeichnet, können ferner enthalten sein.
Eine zweite Maskenerzeugungseinheit, die auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der nicht zum Identifizieren einer Eigenposition nützlich ist, eine Maske für ein Merkmalsgebiet erzeugt, das ein Bereich in dem Bild des Umfelds ist, der nicht zum Identifizieren der Eigenposition nützlich ist, eine zweite Merkmalsgrößen-Extraktionseinheit, die als eine Nichtmerkmalsgebietsmerkmalsgröße eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die zweite Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert, eine Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Datenbankaufzeichnungsseinheit, die in einer Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Datenbank die Nichtmerkmalsgebietsmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, aufzeichnet, eine Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit, die eine Nichtmerkmalsgebietsmerkmalsgröße für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts eines Orts, der der auf aktuellen Informationen basierenden Eigenposition entspricht, extrahiert, und eine Prüfeinheit, die die auf aktuellen Informationen basierende Eigenposition auf der Basis einer Ähnlichkeit zwischen der durch die Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit extrahierten Nichtmerkmalsgebietsmerkmalsgröße und der in der Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Datenbank in Zuordnung zu der auf aktuellen Informationen basierenden Eigenposition aufgezeichneten Nichtmerkmalsgebietsmerkmalsgröße prüft, können ferner enthalten sein.
Eine Eigenpositionsunbestimmtheits-Bestimmungseinheit, die auf der Basis einer Zeitreihenänderungsgröße eines Eigenpositionsschätzergebnisses, das von der Integrationseinheit ausgegeben wird, oder auf der Basis davon, ob die Energieversorgung eingeschaltet worden ist oder nicht, bestimmt, ob eine Eigenposition unbestimmt ist oder nicht, kann ferner enthalten sein. In einem Fall, in dem die Eigenposition unbestimmt ist, kann die Integrationseinheit die auf aktuellen Informationen basierende Eigenposition als ein Eigenpositionsschätzergebnis ausgeben. Die Prüfeinheit kann die auf aktuellen Informationen basierende Eigenposition auf der Basis einer Ähnlichkeit zwischen der durch die Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit extrahierten Nichtmerkmalsgebietsmerkmalsgröße und der in der Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Datenbank in Zuordnung zu der auf aktuellen Informationen basierenden Eigenposition aufgezeichneten Nichtmerkmalsgebietsmerkmalsgröße prüfen. In einem Fall, in dem die Ähnlichkeit geringer ist als ein vorbestimmter Schwellenwert, kann bestimmt werden, dass die Eigenposition unbestimmt ist, und die Integrationseinheit kann die auf aktuellen Informationen basierende Eigenposition als ein Eigenpositionsschätzergebnis ausgeben. In einem Fall, in dem die Ähnlichkeit höher ist als der vorbestimmte Schwellenwert, kann bestimmt werden, dass die Eigenposition nicht mehr unbestimmt ist, und die Integrationseinheit kann die auf aktuellen Informationen basierende Eigenposition, die durch die Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition geschätzt ist, und eine Eigenposition, die durch die Eigenpositionsschätzeinheit geschätzt ist, integrieren und ein Integrationsergebnis als ein Eigenpositionsschätzergebnis ausgeben.
Der ortsbezogene Nichtmerkmalsabschnitt kann durch eine Tabelle gebildet sein, die einen der Eigenposition entsprechenden Ort und einen ortsbezogenen Nichtmerkmalsabschnitt beinhaltet.
Der ortsbezogene Nichtmerkmalsabschnitt kann durch eine Tabelle, die einen der Eigenposition entsprechenden Ort und ein Ortsattribut, das eine Abstraktion des Ortes ist, beinhaltet, und eine Tabelle, die das Ortsattribut und den ortsbezogenen Nichtmerkmalsabschnitt beinhaltet, gebildet sein.
Die Bildaufnahmeeinheit kann eine Stereokamera sein. Das Bild des Umfelds, das durch die Stereokamera aufgenommen ist, kann ein Stereobild sein. Eine Tiefenbilderzeugungseinheit, die dazu ausgebildet ist, ein Tiefenbild auf der Basis des Stereobilds zu erzeugen, kann ferner enthalten sein. Die erste Maskenerzeugungseinheit kann eine Maske für das Bild des Umfelds, das das Tiefenbild aufweist, auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, in Übereinstimmung mit einem Ort, der der Eigenposition entspricht, erzeugen. Die erste Merkmalsgrößen-Extraktionseinheit kann eine Bildmerkmalsgröße aus dem Bild des Umfelds, das das Tiefenbild aufweist, mit der hinzugefügten Maske extrahieren.
Die Eigenpositionsschätzeinheit kann eine Einheit zum Schätzen der zeitreiheninformationsbasierten Eigenposition aufweisen, die die Eigenposition unter Verwendung von Zeitreiheninformationen, die Sensorinformationen aufweisen, die in einer Zeitreihenreihenfolge zugeführt werden, schätzt und ein Schätzergebnis als eine zeitreiheninformationsbasierte Eigenposition ausgibt.
Die Zeitreiheninformationen können dreidimensionale Punktwolkendaten, die durch eine Lichtdetektion und Entfernungsmessung oder Laserbildaufnahmedetektion und Entfernungsmessung (LIDAR) detektiert werden, und Positionsinformationen, eine Stellung, eine Geschwindigkeit, eine Beschleunigung und eine Winkelgeschwindigkeit, die durch einen Radwertgeber detektiert wird, sein.
Ein erstes Steuerverfahren gemäß der vorliegenden Offenbarung weist eine Eigenpositionsschätzungsverarbeitung zum Schätzen einer Eigenposition, Bildverarbeitung zum Aufnehmen eines Bilds des Umfelds, erste Maskenerzeugungsverarbeitung zum Erzeugen einer Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt, erste Merkmalsgrößenextraktionsverarbeitung zum Extrahieren einer Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungsverarbeitung hinzugefügt worden ist, und eine Aufzeichnungsverarbeitung zum Aufzeichnen der Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die die durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank auf.
Ein Programm gemäß dem ersten Aspekt der vorliegende Offenbarung veranlasst einen Computer, als eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt, eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt, eine erste Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt, eine erste Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungseinheit hinzugefügt ist, extrahiert, und eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank aufzeichnet, zu funktionieren.
Ein mobiles Objekt gemäß dem ersten Aspekt der vorliegende Offenbarung weist eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt, eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt, eine erste Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt, eine erste Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert, und eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank aufzeichnet, auf.
In dem ersten Aspekt der vorliegenden Offenbarung wird eine Eigenposition geschätzt, ein Bild des Umfelds wird aufgenommen, eine Maske wird für das Bild des Umfelds in Übereinstimmung mit einem Ort, der der Eigenposition entspricht, auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt, eine Bildmerkmalsgröße wird aus dem Bild des Umfelds mit der hinzugefügten Maske extrahiert, und die Bildmerkmalsgröße und Positionsinformationen der geschätzten Eigenposition werden einander zugeordnet und als eine Datenbank aufgezeichnet.
Eine Steuervorrichtung gemäß einem zweiten Aspekt der vorliegende Offenbarung weist ferner eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt, eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt, eine Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt, eine Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert, eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank aufzeichnet, und eine Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition, die eine auf aktuellen Informationen basierende Eigenposition auf der Basis der Datenbank schätzt, auf. In dem Fall des Schätzens der auf aktuellen Informationen basierende Eigenposition extrahiert die Merkmalsgrößen-Extraktionseinheit die Bildmerkmalsgröße aus dem durch die Bildaufnahmeeinheit aufgenommenen Bild des Umfelds, und die Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition schätzt als eine auf aktuellen Informationen basierende Eigenposition die Positionsinformationen, die in der Datenbank in Zuordnung mit der durch die Merkmalsgrößen-Extraktionseinheit extrahierten Bildmerkmalsgröße aufgezeichnet sind.
Ein Steuerverfahren gemäß dem zweiten Aspekt der vorliegende Offenbarung enthält ferner Eigenpositionsschätzungsverarbeitung zum Schätzen einer Eigenposition, Bildverarbeitung zum Aufnehmen eines Bilds der Umgebung, Maskenerzeugungsverarbeitung zum Erzeugen einer Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, Merkmalsgrößenextraktionsverarbeitung zum Extrahieren einer Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungsverarbeitung hinzugefügt worden ist, Aufzeichnungsverarbeitung zum Aufzeichnen der Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzungsverarbeitung geschätzte Eigenposition betreffen, als eine Datenbank und Verarbeitung zum Schätzen der auf aktuellen Informationen basierenden Eigenposition zum Schätzen einer auf aktuellen Informationen basierenden Eigenposition auf der Basis der Datenbank. In dem Fall des Schätzens der auf aktuellen Informationen basierenden Eigenposition extrahiert die Merkmalsgrößenextraktionsverarbeitung die Bildmerkmalsgröße aus dem durch die Bildaufnahmeverarbeitung aufgenommenen Bild des Umfelds, und die Verarbeitung zum Schätzen der auf aktuellen Informationen basierenden Eigenposition schätzt als eine auf aktuellen Informationen basierende Eigenposition die Positionsinformationen, die in der Datenbank in Zuordnung zu der durch die Merkmalsgrößenextraktionsverarbeitung extrahierten Bildmerkmalsgröße aufgezeichnet sind.
Ein Programm gemäß dem zweiten Aspekt der vorliegende Offenbarung veranlasst einen Computer, als eine Eigenpositionsschätzeinheit, die eine eigene Position schätzt, eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt, eine Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt, eine Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert, eine Aufzeichnungseinheit, die in einer Datenbank die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, aufzeichnet, und eine Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition, die eine auf aktuellen Informationen basierende Eigenposition auf der Basis der Datenbank schätzt, zu funktionieren. In dem Fall des Schätzens der auf aktuellen Informationen basierende Eigenposition extrahiert die Merkmalsgrößen-Extraktionseinheit die Bildmerkmalsgröße aus dem durch die Bildaufnahmeeinheit aufgenommenen Bild des Umfelds, und die Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition schätzt als eine auf aktuellen Informationen basierende Eigenposition die Positionsinformationen, die in der Datenbank in Zuordnung mit der durch die Merkmalsgrößen-Extraktionseinheit extrahierten Bildmerkmalsgröße aufgezeichnet sind.
Ein mobiles Objekt gemäß dem zweiten Aspekt der vorliegende Offenbarung enthält ferner eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt, eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt, eine Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt, eine Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert, eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank aufzeichnet, und eine Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition, die eine auf aktuellen Informationen basierende Eigenposition auf der Basis der Datenbank schätzt. In dem Fall des Schätzens der auf aktuellen Informationen basierenden Eigenposition extrahiert die Merkmalsgrößen-Extraktionseinheit die Bildmerkmalsgröße aus dem durch die Bildaufnahmeeinheit aufgenommenen Bild des Umfelds, und die Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition schätzt als eine auf aktuellen Informationen basierende Eigenposition die Positionsinformationen, die in der Datenbank in Zuordnung zu der durch die Merkmalsgrößen-Extraktionseinheit extrahierten Bildmerkmalsgröße aufgezeichnet sind.
In dem zweiten Aspekt der vorliegenden Offenbarung wird eine Eigenposition geschätzt, ein Bild des Umfelds wird aufgenommen, eine Maske wird für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt, eine Bildmerkmalsgröße wird aus dem Bild des Umfelds mit der hinzugefügten Maske extrahiert, die Bildmerkmalsgröße und Positionsinformationen der geschätzten Eigenposition werden einander zugeordnet und als eine Datenbank aufgezeichnet, und eine auf aktuellen Informationen basierende Eigenposition wird auf der Basis der Datenbank geschätzt. In dem Fall des Schätzens der auf aktuellen Informationen basierenden Eigenposition wird die Bildmerkmalsgröße aus dem aufgenommenen Bild des Umfelds der Eigenposition extrahiert, und die Positionsinformationen, die in der Datenbank in Zuordnung zu der extrahierten Bildmerkmalsgröße aufgezeichnet sind, werden als eine auf aktuellen Informationen basierende Eigenposition geschätzt.
EFFEKTE DER ERFINDUNG
Gemäß einem Aspekt der vorliegenden Offenbarung ist es insbesondere möglich, zwischen Positionen zu unterscheiden und eine Eigenposition selbst in einer Umgebung, in der unterschiedliche Positionen viele ähnliche Merkmalsgrößen im Umfeld aufweisen und es somit wahrscheinlich ist, dass sie fälschlicherweise als die gleiche Position detektiert werden, mit hoher Genauigkeit zu schätzen.
Figurenliste

1 ist ein Diagramm, das ein Konfigurationsbeispiel eines mobilen Objekts zum Beschreiben einer Übersicht der vorliegenden Offenbarung darstellt.
2 ist ein Diagramm, das die Übersicht der vorliegenden Offenbarung darstellt.
3 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Steuersystems für ein mobiles Objekt, das ein mobiles Objekt gemäß der vorliegenden Offenbarung steuert, darstellt.
4 ist ein detailliertes Blockdiagramm eines Konfigurationsbeispiels einer Erkennungsverarbeitungseinheit gemäß einer ersten Ausführungsform der vorliegenden Offenbarung.
5 ist ein Diagramm, das einen ortsbezogenen Nichtmerkmalsabschnitt darstellt.
6 ist ein Ablaufplan, der durch die Erkennungsverarbeitungseinheit in 4 ausgeführte Steuerungsverarbeitung für autonomes Fortbewegen darstellt.
7 ist ein Ablaufplan, der Verarbeitung zum Schätzen der zeitreiheninformationsbasierten Eigenposition darstellt.
8 ist ein Ablaufplan, der Verarbeitung zum Schätzen der auf aktuellen Informationen basierenden Eigenposition darstellt.
9 ist ein Ablaufplan, der durch die Erkennungsverarbeitungseinheit in 4 ausgeführte Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitung darstellt.
10 ist ein Diagramm, das ein Anwendungsbeispiel eines ortsbezogenen Nichtmerkmalsabschnitts darstellt.
11 ist ein detailliertes Blockdiagramm eines Konfigurationsbeispiels einer Erkennungsverarbeitungseinheit gemäß einer zweiten Ausführungsform der vorliegenden Offenbarung.
12 ist ein Ablaufplan, der ortsbezogene Nichtmerkmalsabschnittserzeugungs/aufzeichnungsverarbeitu ng darstellt.
13 ist ein detailliertes Blockdiagramm eines Konfigurationsbeispiels einer Erkennungsverarbeitungseinheit gemäß einer dritten Ausführungsform der vorliegenden Offenbarung.

14 ist ein Ablaufplan, der durch die Erkennungsverarbeitungseinheit in 13 ausgeführte Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitung darstellt.
15 ist ein Ablaufplan, der durch die Erkennungsverarbeitungseinheit in 13 ausgeführte Steuerungsverarbeitung für autonomes Fortbewegen darstellt.
16 ist ein Ablaufplan, der Verarbeitung in einer Betriebsart für unbestimmte Eigenposition darstellt.
17 ist ein Diagramm, das ein Konfigurationsbeispiel eines Allzweckcomputers darstellt.

ART UND WEISE ZUM AUSFÜHREN DER ERFINDUNG
Bevorzugte Ausführungsformen der vorliegenden Offenbarung werden nachstehend mit Bezug auf die begleitenden Zeichnungen genau beschrieben. Es wird darauf hingewiesen, dass in der vorliegenden Spezifikation und den Zeichnungen Komponenten, die eine im Wesentlichen gleiche funktionale Konfiguration aufweisen, durch dieselben Bezugszeichen bezeichnet sind, und ihre Beschreibung wird somit nicht wiederholt.
Ausführungsformen zum Ausführen der vorliegenden Technologie werden nachstehend beschrieben. Es wird darauf hingewiesen, dass die Beschreibung in der nachstehenden Reihenfolge gegeben wird.

1. Übersicht über die vorliegende Offenbarung
2. Erste Ausführungsform
3. Zweite Ausführungsform
4. Dritte Ausführungsform
5. Beispiel für die Ausführung durch Software

«l. Übersicht über die vorliegende Offenbarung»
Ein mobiles Objekt gemäß der vorliegenden Offenbarung ist zum Unterscheiden zwischen Positionen und Schätzen seiner Eigenposition selbst in einer Umgebung, in der unterschiedliche Positionen viele ähnliche Merkmalsgrößen aufweisen und es wahrscheinlich ist, dass die unterschiedlichen Positionen fälschlicherweise als die gleiche Position detektiert werden, mit hoher Genauigkeit fähig.
1 stellt ein Konfigurationsbeispiel dar, das ein mobiles Objekt 11 gemäß der vorliegenden Offenbarung skizziert.
Das mobile Objekt 11 ist beispielsweise ein Roboter oder dergleichen und weist eine Sensorgruppe 21, eine Steuereinheit 22 für autonomes Fortbewegen und eine Aktorgruppe 23 auf.
Die Sensorgruppe 21 weist die Sensoren 21a-1 bis 21a-n auf, die verschiedene Typen von Informationen detektieren, die zum Erkennen einer Situation innerhalb des mobilen Objekts 11 und einer Situation in der Umgebung des mobilen Objekts 11 notwendig sind, und gibt Detektionsergebnisse zu der Steuereinheit 22 für autonomes Fortbewegen aus. Darüber hinaus sind in einem Fall, in dem es nicht notwendig ist, zwischen den Sensoren 21a-1 bis 21a-n besonders zu unterscheiden, die Sensoren 21a-1 bis 21a-n einfach als die Sensoren 21a bezeichnet, und andere Konfigurationen sind auf eine ähnliche Weise bezeichnet.
Insbesondere enthalten die Sensoren 21a-1 bis 21a-n beispielsweise eine Kamera, die ein Bild in der Umgebung des mobilen Objekts 11 aufnimmt, einen Beschleunigungssensor, der die Bewegung des mobilen Objekts 11 detektiert, ein LIDAR, das einen Abstand zu einem Objekt, das in der Umgebung des mobilen Objekts 11 existiert, misst, einen Flugzeit- (ToF-) Sensor, einen Erdmagnetismussensor, der eine Richtung detektiert, einen Gyrosensor, einen Beschleunigungssensor, einen Sensor für barometrischen Druck, der eine Änderung des Drucks der Umgebungsluft detektiert, einen Kontaktsensor, der beispielsweise detektiert, ob ein Kontakt stattgefunden hat oder nicht, einen Temperatursensor, der eine Temperatur detektiert, einen Luftfeuchtigkeitssensor, der Luftfeuchtigkeit detektiert, einen positionsempfindlichen Detektor (PSD), einen Abstandsmessungssensor, ein globales Navigationssatellitensystem (GNSS), das eine Position auf der Erde detektiert, und dergleichen.
Die Steuereinheit 22 für autonomes Fortbewegen erkennt eine Situation in dem Umfeld aus verschiedenen Detektionsergebnissen der Sensorgruppe 21, erzeugt einen Aktionsplan auf der Basis eines Erkennungsergebnisses und betätigt verschiedene Aktoren 23a-1 bis 23a-n der Aktorgruppe 23, die den Roboter in Übereinstimmung mit dem Aktionsplan steuert. Darüber hinaus sind in einem Fall, in dem es nicht notwendig ist, zwischen den Aktoren 23a-1 bis 23a-n besonders zu unterscheiden, die Aktoren 23a-1 bis 23a-n einfach als die Aktoren 23a bezeichnet, und andere Konfigurationen sind auf eine ähnliche Weise bezeichnet.
Um genauer zu sein weist die Steuereinheit 22 für autonomes Fortbewegen eine Erkennungsverarbeitungseinheit 31, eine Aktionsplan-Verarbeitungseinheit 32 und eine Aktionssteuerungs-Verarbeitungseinheit 33 auf.
Die Erkennungsverarbeitungseinheit 31 führt Erkennungsverarbeitung auf der Basis von Detektionsergebnissen, die von der Sensorgruppe 21 zugeführt werden, aus, erkennt beispielsweise ein Bild, eine Person, ein Objekt, einen Typ des Gesichtsausdrucks, eine Position, ein Attribut oder eine Position ihrer selbst oder eines Hindernisses und gibt sie zu der Aktionsplan-Verarbeitungseinheit 32 als ein Erkennungsergebnis aus. Darüber hinaus schätzt die Erkennungsverarbeitungseinheit 31 eine Eigenposition auf der Basis der von der Sensorgruppe 21 zugeführten Detektionsergebnisse.
Die Aktionsplan-Verarbeitungseinheit 32 erzeugt auf der Basis des Erkennungsergebnisses einen Aktionsplan, der die gesamte Aktion des mobilen Objekts 11 wie z. B. eine Bahn des Fortbewegens einer Vorrichtung, die zu dem Fortbewegen des mobilen Objekts 11 gehört, eine Änderung des Zustands und eine Geschwindigkeit oder Beschleunigung enthält, und führt den Aktionsplan der Aktionssteuerungs-Verarbeitungseinheit 33 zu.
Auf der Basis des Aktionsplans, der von der Aktionsplan-Verarbeitungseinheit 32 zugeführt wird, erzeugt die Aktionssteuerungs-Verarbeitungseinheit 33 ein Steuersignal zum Steuern einer spezifischen Bewegung jedes der Aktoren 23a-1 bis 23a-n der Aktorgruppe 23, um die Aktorgruppe 23 zu betätigen.
Die Aktorgruppe 23 betätigt die Aktoren 23a-1 bis 23a-n, die spezifische das mobile Objekt 11 auf der Basis des von der Aktionssteuerungs-Verarbeitungseinheit 33 zugeführten Steuersignals betreiben. Um genauer zu sein veranlassen die Aktoren 23a-1 bis 23a-n einen Motor, einen Servomotor, eine Bremse oder dergleichen, die eine spezifische Bewegung des mobilen Objekts 11 implementieren, auf der Basis des Steuersignals zu arbeiten.
Darüber hinaus weisen die Aktoren 23a-1 bis 23a-n eine Konfigurationen zum Implementieren einer Expansions- und Kontraktionsbewegung, einer Biege- und Dehnbewegung, eine Kurvenbewegung oder dergleichen auf und weisen außerdem Konfigurationen wie z. B. eine Anzeigeeinheit, die beispielsweise eine Leuchtdiode (LED-) oder Flüssigkristallanzeige (LCD) aufweist, die Informationen anzeigen, und einen Lautsprecher, der Schall ausgibt, auf. Folglich sind durch Steuern der Aktorgruppe 23 auf der Basis des Steuersignals Operationen verschiedener Vorrichtungen, die das mobile Objekt 11 antreiben, implementiert, Informationen werden angezeigt und Schall wird ausgegeben.
Das heißt durch Steuern der Aktoren 23a-1 bis 23a-n der Aktorgruppe 23 werden Operationen, die sich auf das Fortbewegen des mobilen Objekts 11 beziehen, gesteuert, und das Bereitstellen verschiedener Typen von Informationen wie z. B. die Anzeige von Informationen und die Ausgabe von Schall wird ebenfalls gesteuert.
<Übersicht der Eigenpositionsschätzung gemäß der vorliegenden Offenbarung>
Die Erkennungsverarbeitungseinheit 31 schätzt eine Eigenposition auf der Basis von Detektionsergebnissen, die von der Sensorgruppe 21 zugeführte werden.
Insbesondere extrahiert die Erkennungsverarbeitungseinheit 31 eine Merkmalsgröße aus einem Bild des Umfelds der Eigenposition, das durch die Sensorgruppe 21 wie z. B. eine Kamera aufgenommen ist, vergleicht die Merkmalsgröße mit einer Merkmalsgröße in einem Bild, das im Voraus in einer Datenbank (DB) in Zuordnung zu einer Position aufgezeichnet wurde, und liest Informationen aus, die eine in Zuordnung zu einer übereinstimmenden Merkmalsgröße aufgezeichnete Position betreffen, um die Eigenposition zu schätzen.
Jedoch beispielsweise in einem Fall eines Korridors in einem Bürogebäude, wie er in dem linken Teil von 2 dargestellt ist, weisen Korridore auf unterschiedlichen Stockwerken häufig im Wesentlichen ähnliche Umgebungen im Umfeld auf, und die extrahierten Merkmalsgrößen sind in vielen Fällen ebenfalls ähnlich. Somit können Korridore auf unterschiedlichen Stockwerken fälschlicherweise als der Korridor auf demselben Stockwerk detektiert werden, wenn eine Eigenposition detektiert wird.
Insbesondere werden Beleuchtungskörper, die an der Decke des Korridors installiert sind, als viele Merkmalsgrößen detektiert, was die Einführung fehlerhafter Detektion verursacht.
Aus diesem Grund werden in der vorliegenden Offenbarung, wie in dem rechten Teil von 2 dargestellt ist, Merkmalsgrößen aus einem Bild extrahiert, dem ein Maskierungsgebiet Z, das zu einem Deckenabschnitt, der viele Merkmalsgrößen enthält, die wahrscheinlich fehlerhafte Detektion einführen, hinzugefügt ist, mit anderen Worten, der nicht nützlich (gültig) zur Unterscheidung von anderen Stockwerken ist, und die extrahierten Merkmalsgrößen werden Positionsinformationen zugeordnet und in der DB im Voraus aufgezeichnet.
Das heißt, in der vorliegenden Offenbarung werden Merkmalsgrößen aus einem Bild des Umfelds extrahiert, in dem eine Maske auf ein Gebiet, das wahrscheinlich zur Extraktion derselben Merkmalsgrößen führt und keine signifikanten Unterschied von anderen Positionen aufweist, angewandt ist, und die extrahierten Merkmalsgrößen werden Positionsinformationen zugeordnet, um eine DB im Voraus aufzubauen. Das ermöglicht die Unterscheidung zwischen Positionen und genaue Schätzung der Eigenposition selbst in einer Umgebung, in der unterschiedliche Positionen viele ähnliche Objekte enthalten.
<Erste Ausführungsform>
<Konfigurationsbeispiel eines Steuersystems für ein mobiles Objekt, das das mobile Objekt gemäß der vorliegenden Offenbarung steuert>
Ein Steuersystem für ein mobiles Objekt, das das mobile Objekt 11 zum Implementieren der vorstehend beschriebenen Funktion steuert, wird beschrieben.
3 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer schematischen Funktion eines Steuersystems 100 für ein mobiles Objekt, das ein mobiles Objekt 11 steuert, gemäß der vorliegenden Offenbarung darstellt. Es wird darauf hingewiesen, dass, obwohl das Steuersystem 100 für ein mobiles Objekt in 3 ein Beispiel eines Steuersystems für ein mobiles Objekt ist, das das mobile Objekt 11 steuert, das einen Roboter enthält, auf den die vorliegende Technologie angewandt werden kann. Das Steuersystem 100 für ein mobiles Objekt kann jedoch auch als ein System angewandt werden, das andere mobile Objekte wie beispielsweise ein Flugzeug, ein Schiff oder einen „Multi-Rotor Copter“ (Drohne) steuert. Darüber hinaus kann der Roboter ein fahrbarer Roboter, ein selbstfahrendes Auto, das bemannt sein kann, oder ein mehrbeiniger Laufroboter sein.
Das Steuersystem 100 für ein mobiles Objekt weist eine Eingabeeinheit 101, eine Datenerfassungseinheit 102, eine Kommunikationseinheit 103, eine interne Vorrichtung 104 des mobilen Objekts, eine Ausgabesteuereinheit 105, eine Ausgabeeinheit 106, eine Antriebssystemsteuereinheit 107, ein Antriebssystem 108, eine Speichereinheit 109 und eine Steuereinheit 110 für autonomes Fortbewegen auf. Die Eingabeeinheit 101, die Datenerfassungseinheit 102, die Kommunikationseinheit 103, die Ausgabesteuereinheit 105, die Antriebssystemsteuereinheit 107, die Speichereinheit 109 und die Steuereinheit 110 für autonomes Fortbewegen sind über ein Kommunikationsnetz 111 miteinander verbunden. Das Kommunikationsnetz 111 enthält beispielsweise ein lokales Netz (LAN) wie z. B. ein Steuereinheitsbereichsnetz (CAN), ein lokales Zusammenschaltungsnetz (LIN) oder IEEE802.3, ein Kommunikationsnetz oder einen Bus, das/der mit FlexRay (eingetragenes Warenzeichen) oder irgendeinem anderen Standard konform ist, oder ein eindeutiges Kommunikationsverfahren, das nicht standardisiert worden ist. Es wird darauf hingewiesen, dass die Komponenten des Steuersystems 100 für ein mobiles Objekt direkt miteinander verbunden sein können, anstatt über das Kommunikationsnetz 111 verbunden zu sein.
Es wird darauf hingewiesen, dass nachstehend in einem Fall, in dem die Komponenten des Steuersystems 100 für ein mobiles Objekt über das Kommunikationsnetz 111 kommunizieren, die Beschreibung des Kommunikationsnetzes 111 weggelassen wird. Beispielsweise wird in einem Fall, in dem die Eingabeeinheit 101 und die Steuereinheit 110 für autonomes Fortbewegen über das Kommunikationsnetz 111 kommunizieren, einfach beschrieben, dass die Eingabeeinheit 101 und die Steuereinheit 110 für autonomes Fortbewegen miteinander kommunizieren.
Die Eingabeeinheit 101 enthält eine Vorrichtung, die durch einen Insassen durch Eingeben verschiedener Typen von Daten, einer Anweisung und dergleichen verwendet wird. Beispielsweise weist die Eingabeeinheit 101 eine Bedienvorrichtung wie z. B. eine berührungssensitive Tafel, eine Taste, ein Mikrofon, einen Schalter und einen Hebel, und eine Bedienvorrichtung, die Eingabe durch ein Verfahren ermöglicht, das keine manuelle Operation ist, wie z. B. Sprache oder eine Geste, auf. Darüber hinaus kann beispielsweise die Eingabeeinheit 101 eine Fernbedienungsvorrichtung sein, die Infrarotstrahlen oder andere Funkwellen verwendet, oder eine extern verbundene Vorrichtung wie z. B. eine mobile Vorrichtung oder eine am Körper tragbare Vorrichtung, die die Bedienung des Steuersystems 100 für ein mobiles Objekt unterstützt, sein. Die Eingabeeinheit 101 erzeugt ein Eingabesignal auf der Basis von Daten, einer Anweisung oder dergleichen, die durch einen Insassen eingegeben werden, und führt das Eingabesignal den Komponenten des Steuersystems 100 für ein mobiles Objekt zu.
Die Datenerfassungseinheit 102 weist beispielsweise verschiedene Sensoren zum Erfassen von Daten zum durch das Steuersystem 100 für ein mobiles Objekt ausgeführten Verarbeiten verwendet werden, auf und führt die erhaltenen Daten den Komponenten des Steuersystems 100 für ein mobiles Objekt zu.
Beispielsweise weist die Datenerfassungseinheit 102 verschiedene Sensoren zum Detektieren eines Zustands und dergleichen eines mobilen Objekts auf, um die Sensorgruppe 112 zu bilden, die der durch die Sensoren 21a-1 bis 21a-n in 1 gebildeten Sensorgruppe 21 entspricht. Insbesondere weist die Datenerfassungseinheit 102 beispielsweise einen Gyrosensor, einen Beschleunigungssensor, eine Trägheitsmesseinheit (IMU) und einen Sensor zum Detektieren einer Bediengröße zum Eingeben einer Beschleunigung eines Beschleunigers oder dergleichen, einer Bediengröße zum Eingeben einer Verzögerung, einer Bediengröße zum Eingeben einer Richtungsanweisung, der Anzahl von Umdrehungen oder einer Größe der eingegebenen/abgegebenen Energie oder des Brennstoffs einer Antriebsvorrichtung wie z. B. einer Kraftmaschine oder eines Motors, einer Größe des Drehmoments einer Kraftmaschine, eines Motors oder dergleichen, einer Drehgeschwindigkeit oder eines Drehmoments eines Rads oder eines Gelenks oder dergleichen auf.
Darüber hinaus weist die Datenerfassungseinheit 102 beispielsweise verschiedene Sensoren zum Detektieren von Informationen außerhalb des mobilen Objekts auf. Insbesondere weist die Datenerfassungseinheit 102 beispielsweise eine Bildaufnahmevorrichtung wie z. B. eine Flugzeit- (ToF-) Kamera, eine Stereokamera, eine monokulare Kamera, eine Infrarotkamera, eine Polarisationskamera und andere Kameras auf. Darüber hinaus weist die Datenerfassungseinheit 102 beispielsweise einen Umgebungssensor zum Detektieren des Wetters, des Klimas oder dergleichen und einen Umfeldinformationsdetektionssensor zum Detektieren eines Objekts in der Umgebung des mobilen Objekts auf. Der Umgebungssensor weist beispielsweise einen Regensensor, einen Nebelsensor, einen Sonnenscheinsensor, einen Schneesensor und dergleichen auf. Der Umfeldinformationsdetektionssensor weist beispielsweise einen Laserentfernungsmessungssensor, einen Ultraschallsensor, ein Radar, eine Lichtdetektion und Entfernungsmessung oder Laser-Bilddetektion und Entfernungsmessung (LIDAR), ein Sonar und dergleichen auf.
Außerdem weist die Datenerfassungseinheit 102 beispielsweise verschiedene Sensoren zum Detektieren einer aktuellen Position des mobilen Objekts auf. Insbesondere weist die Datenerfassungseinheit 102 beispielsweise einen Empfänger des globalen Navigationssatellitensystems (GNSS), der ein GNSS-Signal von einem GNSS-Satelliten empfängt, auf.
Die Kommunikationseinheit 103 kommuniziert mit der internen Vorrichtung 104 des mobilen Objekts und verschiedenen Vorrichtungen, Servern, Basisstationen und dergleichen außerhalb des mobilen Objekts, sendet Daten, die von den Komponenten des Steuersystems 100 für ein mobiles Objekt zugeführt werden, und führt empfangene Daten den Komponenten des Steuersystems 100 für ein mobiles Objekt zu. Es wird darauf hingewiesen, dass das Kommunikationsprotokoll, das durch die Kommunikationseinheit 103 unterstützt wird, nicht besonders eingeschränkt ist und die Kommunikationseinheit 103 mehrere Typen von Kommunikationsprotokollen unterstützen kann.
Beispielsweise führt die Kommunikationseinheit 103 drahtlose Kommunikation mit der internen Vorrichtung 104 des mobilen Objekts über drahtloses LAN, Bluetooth (eingetragenes Warenzeichen), Nahfeldkommunikation (NFC), drahtloses USB (WUSB) oder dergleichen aus. Darüber hinaus führt die Kommunikationseinheit 103 beispielsweise drahtgebundene Kommunikation mit der internen Vorrichtung 104 des mobilen Objekts über einen Verbindungsanschluss (nicht dargestellt) (und ein Kabel, falls notwendig) durch einen universellen seriellen Bus (USB), eine hochauflösende Multimediaschnittstelle (HDMI) (eingetragenes Warenzeichen), eine mobile hochauflösende Verbindungsstrecke (MHL) oder dergleichen aus.
Außerdem kommuniziert die Kommunikationseinheit 103 beispielsweise mit einer Vorrichtung (beispielsweise einem Anwendungsserver oder einem Steuerserver) auf einem externen Netz (beispielsweise dem Internet, einem Cloud-Netz oder einem betreiberspezifischen Netz) über eine Basisstation oder einen Zugangspunkt. Darüber hinaus verwendet die Kommunikationseinheit 103 beispielsweise eine Peer-to-Peer- (P2P-) Technologie, um mit einem Endgerät (beispielsweise einem Endgerät eines Fußgängers oder einem Geschäft oder ein Endgerät für Kommunikation vom Maschinentyp (MTC)) nahe dem mobilen Objekt zu kommunizieren. Außerdem führt beispielsweise in einem Fall, in dem das mobile Objekt 11 ein Fahrzeug ist, die Kommunikationseinheit 103 V2X-Kommunikation wie z. B. Fahrzeug-zu-Fahrzeug-Kommunikation, Fahrzeug-zu-Infrastruktur-Kommunikation, Fahrzeug-zu-Haus-Kommunikation und Fahrzeug-zu-Fußgänger-Kommunikation aus. Darüber hinaus weist die Kommunikationseinheit 103 beispielsweise eine Bakenempfangseinheit auf, um Funkwellen oder elektromagnetische Wellen, die von einer drahtlosen Station oder dergleichen, die an einer Straße installiert ist, gesendet wird, zu empfangen und Informationen wie z. B. die aktuelle Position, Verkehrsstaus, Verkehrsbeschränkungen oder die erforderliche Zeit zu erfassen.
Die interne Vorrichtung 104 des mobilen Objekts weist beispielsweise eine mobile Vorrichtung oder eine am Körper getragene Vorrichtung im Besitz eines Insassen, eine Informationsvorrichtung, die in dem mobilen Objekt getragen oder an ihm angebracht ist, eine Navigationsvorrichtung zum Suchen nach einer Route zu einem optionalen Ziel und dergleichen auf.
Die Ausgabesteuereinheit 105 steuert die Ausgabe verschiedener Typen von Informationen zu einem Insassen in dem mobilen Objekt oder zu dem Äußeren des mobilen Objekts. Beispielsweise erzeugt die Ausgabesteuereinheit 105 ein Ausgabesignal, das wenigstens eines aus visuellen Informationen (beispielsweise Bilddaten) oder hörbaren Informationen (beispielsweise Audiodaten) aufweist, und führt das Ausgabesignal der Ausgabeeinheit 106 zu und steuert dadurch die Ausgabe visueller Informationen und hörbarer Informationen aus der Ausgabeeinheit 106. Insbesondere erzeugt die Ausgabesteuereinheit 105 beispielsweise ein Luftbild, ein Panoramabild oder dergleichen durch Kombinieren von Elementen von Bilddaten, die durch unterschiedliche Bildaufnahmevorrichtungen der Datenerfassungseinheit 102 aufgenommen sind, und versorgt die Ausgabeeinheit 106 mit einem Ausgabesignal, das das erzeugte Bild aufweist. Darüber hinaus erzeugt die Ausgabesteuereinheit 105 beispielsweise Audiodaten, die einen Warnton oder eine Warnnachricht und dergleichen vor einer Gefahr wie z. B. einer Kollision, einem Kontakt oder das Eintreten in eine gefährliche Zone aufweisen, und versorgt die Ausgabeeinheit 106 mit einem Ausgabesignal, das die erzeugten Audiodaten aufweist.
Die Ausgabeeinheit 106 weist eine Vorrichtung auf, die zum Ausgeben visueller Informationen oder hörbarer Informationen zu einem Insassen in dem mobilen Objekt oder zu dem Äußeren des mobilen Objekts fähig ist. Beispielsweise weist die Ausgabeeinheit 106 eine Anzeigevorrichtung, eine Instrumententafel, einen Audiolautsprecher, einen Kopfhörer, eine am Körper tragbare Vorrichtung wie z. B. eine von einem Insassen getragene Anzeigevorrichtung vom Brillentyp, einen Projektor, eine Lampe und dergleichen auf. Die in der Ausgabeeinheit 106 enthaltene Anzeigevorrichtung kann eine Vorrichtung sein, die eine normale Anzeige aufweist, oder kann beispielsweise eine Head-Up-Anzeigevorrichtung, eine Transmissionsanzeigevorrichtung oder eine Vorrichtung, die visuelle Informationen in einem Sichtfeld des Fahrers anzeigt, wie z. B. eine Vorrichtung, die eine Anzeigefunktion für erweiterte Realität (AR) aufweist, sein. Es wird darauf hingewiesen, dass die Ausgabesteuereinheit 105 und die Ausgabeeinheit 106 keine Konfigurationen sind, die zum Verarbeiten von autonomem Fortbewegen unverzichtbar sind, und wie jeweils erforderlich weggelassen sein können.
Die Antriebssystemsteuereinheit 107 steuert das Antriebssystem 108 durch Erzeugen verschiedener Steuersignale und ihr Zuführen zu dem Antriebssystem 108. Darüber hinaus führt die Antriebssystemsteuereinheit 107 ein Steuersignal den Komponenten, die nicht das Antriebssystem 108 sind, wie jeweils erforderlich zu, um einen Steuerzustand des Antriebssystems 108 und dergleichen zu melden.
Das Antriebssystem 108 weist verschiedene Vorrichtungen auf, die sich auf ein Antriebssystem des mobilen Objekts beziehen. Beispielsweise weist das Antriebssystem 108 einen Servomotor, der zum Festlegen eines Winkels und eines Drehmoments, das für jedes Gelenk von vier Beinen konstruiert ist, fähig ist, eine Bewegungssteuereinheit, das eine Bewegung zum Fortbewegen des Roboters selbst herunterbricht und in Bewegungen der vier Beine umsetzt, und eine Rückmeldungssteuervorrichtung, die durch Sensoren in Motoren oder Sensoren in Sohlen gebildet ist, auf.
In einem weiteren Beispiel weist das Antriebssystem 108 vier bis sechs Motoren auf, die Propeller aufweisen, die oberhalb eines Flugwerks installiert sind, und eine Bewegungssteuereinheit, die eine Bewegung der Fortbewegung des Roboters selbst herunterbricht und in Beträge der Drehung von Motoren umsetzt.
Außerdem weist das Antriebssystem 108 in einem weiteren Beispiel eine Antriebskrafterzeugungsvorrichtung zum Erzeugen einer Antriebskraft wie z. B. eine Brennkraftmaschine oder einen Antriebsmotor, einen Antriebskraftübertragungsmechanismus zum Übertragen der Antriebskraft auf Räder, einen Lenkmechanismus, der einen Lenkwinkel anpasst, einen Bremsmechanismus, der eine Bremskraft erzeugt, ein Antiblockiersystem (ABS), eine elektronische Stabilitätskontrolle (ESC), eine elektronische Servolenkungsvorrichtung und dergleichen auf. Es wird darauf hingewiesen, dass die Ausgabesteuereinheit 105, die Ausgabeeinheit 106, die Antriebssystemsteuereinheit 107 und das Antriebssystem 108 eine Aktorgruppe 113 bilden, die der Aktorgruppe 23, die die Aktoren 23a-1 bis 23a-n aufweist, in 1 entspricht.
Die Speichereinheit 109 weist beispielsweise eine Magnetspeichervorrichtung wie z. B. einen Festwertspeicher (ROM), einen Direktzugriffsspeicher (RAM) und ein Festplattenlaufwerk (HDD), eine Halbleiterspeichervorrichtung, eine optische Speichervorrichtung, eine magneto-optische Speichervorrichtung und dergleichen auf. Die Speichereinheit 109 speichert verschiedene Programme, Daten und dergleichen, die durch die Komponenten des Steuersystems 100 für ein mobiles Objekt verwendet werden. Beispielsweise speichert die Speichereinheit 109 Kartendaten wie z. B. eine dreidimensionale hochauflösende Karte wie z. B. eine dynamische Karte, eine globale Karte, die weniger genau ist als eine hochauflösende Karte und einen weiten Bereich abdeckt, und eine lokale Karte, die Informationen in der Umgebung eines mobilen Objekts aufweist.
Die Steuereinheit 110 für autonomes Fortbewegen führt Steuerung aus, die sich auf autonomes Fortbewegen bezieht, wie z. B. automatisches Fahren oder Fahrunterstützung. Insbesondere führt die Steuereinheit 110 für autonomes Fortbewegen beispielsweise kooperative Steuerung zum Zweck des Implementierens von Funktionen von Kollisionsvermeidung oder Aufprallabschwächung des mobilen Objekts, nachfolgende Fortbewegung basierend auf einem Abstand zwischen mobilen Objekten, Fortbewegen mit Beibehaltung einer Geschwindigkeit des mobilen Objekts oder Warnen vor einer Kollision des mobilen Objekts aus. Darüber hinaus führt die Steuereinheit 110 für autonomes Fortbewegen beispielsweise kooperative Steuerung zum Zweck des autonomen Fortbewegens zum autonomen Fortbewegen ohne von der Bedienung eines Bedieners/Anwenders abhängig zu sein oder dergleichen aus. Die Steuereinheit 110 für autonomes Fortbewegen weist eine Detektionseinheit 131, eine Eigenpositionsschätzeinheit 132, eine Situationsanalyseeinheit 133, eine Planungseinheit 134 und eine Betriebssteuereinheit 135 auf. Unter diesen bilden die Detektionseinheit 131, die Eigenpositionsschätzeinheit 132 und die Situationsanalyseeinheit 133 eine Erkennungsverarbeitungseinheit 121, die der Erkennungsverarbeitungseinheit 31 in 1 entspricht. Darüber hinaus bildet die Planungseinheit 134 eine Aktionsplan-Verarbeitungseinheit 122, die der Aktionsplan-Verarbeitungseinheit 32 in 1 entspricht. Außerdem bildet die Betriebssteuereinheit 135 eine Aktionssteuerungs-Verarbeitungseinheit 123, die der Aktionssteuerungs-Verarbeitungseinheit 33 in 1 entspricht.
Die Detektionseinheit 131 detektiert verschiedene Typen von Informationen, die zum Steuern der autonomen Fortbewegung notwendig sind. Die Detektionseinheit 131 weist eine Einheit 141 zum Detektieren von Informationen außerhalb des mobilen Objekts, eine Einheit 142 zum Detektieren von Informationen innerhalb des mobilen Objekts und eine Einheit 143 zum Detektieren des Zustands des mobilen Objekts auf.
Die Einheit 141 zum Detektieren von Informationen außerhalb des mobilen Objekts führt Verarbeitung zum Detektieren von Informationen außerhalb des mobilen Objekts auf der Basis von Daten oder eines Signals von den Komponenten des Steuersystems 100 für das mobile Objekt aus. Beispielsweise führt die Einheit 141 zum Detektieren von Informationen außerhalb des mobilen Objekts Detektionsverarbeitung, Erkennungsverarbeitung und Verfolgungsverarbeitung für ein Objekt in der Umgebung des mobilen Objekts und Verarbeiten zum Detektieren eines Abstands zu dem Objekt aus. Objekte, die zu detektieren sind, enthalten beispielsweise ein mobiles Objekt, eine Person, ein Hindernis, eine Struktur, eine Straße, eine Ampel, ein Verkehrszeichen, eine Straßenmarkierung und dergleichen. Darüber hinaus führt die Einheit 141 zum Detektieren von Informationen außerhalb des mobilen Objekts beispielsweise Verarbeitung zum Detektieren einer Umgebung im Umfeld des mobilen Objekts aus. Die Umgebung im Umfeld, die zu detektieren ist, enthält beispielsweise das Wetter, eine Temperatur, eine Luftfeuchtigkeit, eine Helligkeit, einen Zustand der Straßenoberfläche und dergleichen. Die Einheit 141 zum Detektieren von Informationen außerhalb des mobilen Objekts führt Daten, die Ergebnisse der Detektionsverarbeitung angeben, der Eigenpositionsschätzeinheit 132, einer Kartenanalyseeinheit 151 und einer Situationserkennungseinheit 152 der Situationsanalyseeinheit 133, der Betriebssteuereinheit 135 und dergleichen zu.
Die Einheit 142 zum Detektieren von Informationen innerhalb des mobilen Objekts führt Verarbeitung zum Detektieren von Informationen innerhalb des mobilen Objekts auf der Basis von Daten oder eines Signals von den Komponenten des Steuersystems 100 für das mobile Objekt aus. Beispielsweise führt die Einheit 142 zum Detektieren von Informationen innerhalb des mobilen Objekts Fahrerauthentifizierungs- und Erkennungsverarbeitung, Fahrerzustandsdetektionsverarbeitung, Insassendetektionsverarbeitung, Detektionsverarbeitung der Umgebung innerhalb des mobilen Objekts und dergleichen aus. Der Fahrerzustand, der zu detektieren ist, enthält beispielsweise eine physische Verfassung, ein Erregungsniveau, ein Konzentrationsniveau, ein Ermüdungsniveau, eine Sichtlinienrichtung und dergleichen. Die Umgebung innerhalb des mobilen Objekts, die zu detektieren ist, enthält beispielsweise eine Temperatur, eine Luftfeuchtigkeit, eine Helligkeit, einen Duft und dergleichen. Die Einheit 142 zum Detektieren von Informationen innerhalb des mobilen Objekts führt Daten, die Ergebnisse der Detektionsverarbeitung angeben, der Situationserkennungseinheit 152 der Situationsanalyseeinheit 133, der Betriebssteuereinheit 135 und dergleichen zu.
Die Einheit 143 zum Detektieren von Informationen innerhalb des mobilen Objekts führt Verarbeitung zum Detektieren eines Zustands des mobilen Objekts auf der Basis von Daten oder eines Signals von den Komponenten des Steuersystems 100 für das mobile Objekt aus. Der Zustand des mobilen Objekts, der zu detektieren ist, enthält beispielsweise eine Geschwindigkeit, eine Beschleunigung, einen Lenkwinkel, ob eine Anomalie aufgetreten ist oder nicht und Einzelheiten dazu, einen Zustand einer Antriebsoperation, eine Position und Neigung eines elektrisch verstellbaren Sitzes, einen Zustand des Türschlosses, Zustände anderer Vorrichtungen, die auf dem mobilen Objekt montiert sind, und dergleichen. Die Einheit 143 zum Detektieren des Zustands des mobilen Objekts führt Daten, die Ergebnisse der Detektionsverarbeitung angeben, der Situationserkennungseinheit 152 der Situationsanalyseeinheit 133, der Betriebssteuereinheit 135 und dergleichen zu.
Die Eigenpositionsschätzeinheit 132 führt Verarbeitung zum Schätzen der Position und Stellung des mobilen Objekts und dergleichen auf der Basis von Daten oder eines Signal von den Komponenten des Steuersystems 100 für das mobile Objekt wie z. B. der Einheit 141 zum Detektieren von Informationen außerhalb des mobilen Objekts und der Situationserkennungseinheit 152 der Situationsanalyseeinheit 133 aus. Darüber hinaus erzeugt die Eigenpositionsschätzeinheit 132 eine lokale Karte (nachstehend als die Karte zur Eigenpositionsschätzung bezeichnet), die zum Schätzen einer Eigenposition wie jeweils erforderlich ist verwendet wird. Die Karte zur Eigenpositionsschätzung ist beispielsweise eine hochauflösende Karte unter Verwendung einer Technologie wie z. B. simultaner Lokalisierung und Kartierung (SLAM). Die Eigenpositionsschätzeinheit 132 führt Daten, die Ergebnisse der Schätzungsverarbeitung angeben, der Kartenanalyseeinheit 151 und der Situationserkennungseinheit 152 der Situationsanalyseeinheit 133 und dergleichen zu. Darüber hinaus veranlasst die Eigenpositionsschätzeinheit 132 die Speichereinheit 109, die Karte zur Eigenpositionsschätzung zu speichern.
Außerdem sammelt die Eigenpositionsschätzeinheit 132 Zeitreiheninformationen, die in einer Zeitreihenreihenfolge zugeführt werden, in einer Datenbank auf der Basis von Detektionsergebnissen, die von der Sensorgruppe 112 zugeführt werden, und auf der Basis der gesammelten Zeitreiheninformationen wird eine Eigenposition geschätzt und als eine zeitreiheninformationsbasierte Eigenposition ausgegeben. Darüber hinaus schätzt die Eigenpositionsschätzeinheit 132 auf der Basis aktueller Detektionsergebnisse, die von der Sensorgruppe 112 zugeführt werden, die Eigenposition als eine auf aktuellen Informationen basierende Eigenposition und gibt sie aus. Dann gibt die Eigenpositionsschätzeinheit 132 ein Eigenpositionsschätzergebnis durch Integrieren oder Umschalten zwischen der zeitreiheninformationsbasierten Eigenposition und der auf aktuellen Informationen basierenden Eigenposition aus. Außerdem weist die Eigenpositionsschätzeinheit 132 zum Schätzen einer auf aktuellen Informationen basierenden Eigenposition eine Positions/Bildmerkmalsgrößen-DB 225 (4) auf, in der eine Bildmerkmalsgröße, die aus einem Bild unter den Ergebnissen der Detektion durch die Sensorgruppe 112 extrahiert ist, einer Position zugeordnet ist. Die Eigenpositionsschätzeinheit 132 schätzt die auf aktuellen Informationen basierende Eigenposition durch Vergleichen eines Detektionsergebnisses mit der Positions/Bildmerkmalsgrößen-DB 225. Die Eigenpositionsschätzeinheit 132 besitzt Informationen bezüglich eines zu maskierenden Bereichs in einem durch die Sensorgruppe 112 aufgenommenen Bild für jeden Ort, an dem viele Bildmerkmalsgrößen, die zum Identifizieren einer Position nicht nützlich sind, detektiert werden. Wenn eine Bildmerkmalsgröße und eine Position in Zuordnung zueinander in der Positions/Bildmerkmalsgrößen-DB 225 (4) aufgezeichnet werden, extrahiert die Eigenpositionsschätzeinheit 132 die Bildmerkmalsgröße mit der hinzugefügten Maske in Übereinstimmung mit dem Ort zu einem Bild, das durch die Sensorgruppe 112 aufgenommen ist, und zeichnet sie auf. Mit dieser Anordnung wird eine Bildmerkmalsgröße mit einer zu einem Bereich, der viele Bildmerkmalsgrößen aufweist, die zum Identifizieren einer Position nicht nützlich sind, hinzugefügten Maske extrahiert. Das ermöglicht genaue Unterscheidung zwischen Positionen und Schätzung einer Eigenposition selbst in einer Umgebung, die viele ähnliche Bildmerkmalsgrößen, das heißt Bildmerkmalsgrößen, die zum Identifizieren der Positionen nicht nützlich sind, aufweist. Es wird darauf hingewiesen, dass eine genaue Konfiguration der Eigenpositionsschätzeinheit 132 später mit Bezug auf 4 beschrieben wird.
Die Situationsanalyseeinheit 133 führt Verarbeitung zum Analysieren einer Situation des mobilen Objekts und seines Umfelds aus. Die Situationsanalyseeinheit 133 weist die Kartenanalyseeinheit 151, die Situationserkennungseinheit 152 und eine Situationsvorhersageeinheit 153 auf.
Durch Verwenden, je nach Bedarf, von Daten oder eines Signals von den Komponenten des Steuersystems 100 für ein mobiles Objekt wie z. B. der Eigenpositionsschätzeinheit 132 und der Einheit 141 zum Detektieren von Informationen außerhalb des mobilen Objekts führt die Kartenanalyseeinheit 151 Verarbeitung zum Analysieren verschiedener in der Speichereinheit 109 gespeicherter Karten aus und konstruiert eine Karte, die Informationen aufweist, die zur Verarbeitung zum autonomen Fortbewegung notwendig sind. Die Kartenanalyseeinheit 151 führt die konstruierte Karte der Situationserkennungseinheit 152 und der Situationsvorhersageeinheit 153 und außerdem einer Routenplanungseinheit 161, einer Aktionsplanungseinheit 162 und einer Betriebsplanungseinheit 163 der Planungseinheit 134 und dergleichen zu.
Die Situationserkennungseinheit 152 führt Verarbeitung zum Erkennen einer Situation aus, die sich auf das mobile Objekt bezieht, auf der Basis von Daten oder eines Signals von den Komponenten des Steuersystems 100 für ein mobiles Objekt wie z. B. der Eigenpositionsschätzeinheit 132, der Einheit 141 zum Detektieren von Informationen außerhalb des mobilen Objekts, der Einheit 142 zum Detektieren von Informationen innerhalb des mobilen Objekts, der Einheit 143 zum Detektieren des Zustands des mobilen Objekts und der Kartenanalyseeinheit 151. Beispielsweise führt die Situationserkennungseinheit 152 Verarbeitung zum Erkennen einer Situation des mobilen Objekts, einer Situation in der Umgebung des mobilen Objekts, einer Situation eines Fahrers des mobilen Objekts und dergleichen aus. Darüber hinaus erzeugt die Situationserkennungseinheit 152 eine lokale Karte (nachstehend als die Karte zur Situationserkennung bezeichnet), die bei Bedarf zum Erkennen einer Situation in der Umgebung des mobilen Objekts verwendet wird. Die Karte zur Situationserkennung ist beispielsweise eine Besetzungsgitterkarte, eine Spurkarte oder eine Punktwolkenkarte.
Die Situation des mobilen Objekts, die zu erkennen ist, enthält beispielsweise eine Position, eine Stellung und eine Bewegung (beispielsweise eine Geschwindigkeit, eine Beschleunigung, eine Bewegungsrichtung und dergleichen) des mobilen Objekts und ob eine Anomalität aufgetreten ist oder nicht und Einzelheiten dazu. Die Situation in der Umgebung des mobilen Objekts, die zu erkennen ist, enthält beispielsweise einen Typ und eine Position eines stationären Objekts im Umfeld, einen Typ, eine Position und Bewegung (beispielsweise eine Geschwindigkeit, eine Beschleunigung, eine Bewegungsrichtung und dergleichen) eines beweglichen Objekts im Umfeld, eine Konfiguration und einen Zustand einer Straßenoberfläche im Umfeld und das Wetter, die Temperatur, Luftfeuchtigkeit, Helligkeit im Umfeld und dergleichen. Der Fahrerzustand, der zu erkennen ist, enthält beispielsweise eine physische Verfassung, ein Erregungsniveau, ein Konzentrationsniveau, ein Ermüdungsniveau, eine Sichtlinienbewegung, eine Fahroperation und dergleichen.
Die Situationserkennungseinheit 152 führt Daten, die Ergebnisse der Erkennungsverarbeitung (die bei Bedarf die Karte zur Situationserkennung enthalten) angeben, der Eigenpositionsschätzeinheit 132, der Situationsvorhersageeinheit 153 und dergleichen zu. Darüber hinaus veranlasst die Situationserkennungseinheit 152 die Speichereinheit 109, die Karte zur Situationserkennung zu speichern.
Die Situationsvorhersageeinheit 153 führt Verarbeitung zum Vorhersagen einer Situation, die sich auf das mobile Objekt bezieht, auf der Basis von Daten oder eines Signals von den Komponenten des Steuersystem 100 für ein mobiles Objekt wie z. B. der Kartenanalyseeinheit 151 und der Situationsvorhersageeinheit 152 aus. Beispielsweise führt die Situationsvorhersageeinheit 153 Verarbeitung zum Vorhersagen einer Situation des mobilen Objekts, einer Situation in der Umgebung des mobilen Objekts, eine Situation eines Fahrers und dergleichen aus.
Die Situation des mobilen Objekts, die vorhergesagt werden soll, enthält beispielsweise ein Verhalten des mobilen Objekts, das Auftreten einer Anomalie, eine verfügbare Fortbewegungsdistanz und dergleichen. Die Situation in der Umgebung des mobilen Objekts, die vorhergesagt werden soll, enthält beispielsweise ein Verhalten eines beweglichen Objekts in der Umgebung des mobilen Objekts, eine Änderung des Zustands einer Ampel, eine Änderung der Umgebung wie z. B. des Wetters und dergleichen. Die Situation des Fahrers, die vorhergesagt werden soll, enthält beispielsweise ein Verhalten, einer physischen Verfassung des Fahrers und dergleichen.
Die Situationsvorhersageeinheit 153 führt Daten, die Ergebnisse der Vorhersageverarbeitung angeben, zusammen mit Daten aus der Situationserkennungseinheit 152 der Routenplanungseinheit 161, der Aktionsplanungseinheit 162 und der Betriebsplanungseinheit 163 der Planungseinheit 134 und dergleichen zu.
Die Routenplanungseinheit 161 plant eine Route zu einem Ziel auf der Basis von Daten oder eines Signals von den Komponenten des Steuersystems 100 für ein mobiles Objekt wie z. B. der Kartenanalyseeinheit 151 und der Situationsvorhersageeinheit 153. Beispielsweise stellt die Routenplanungseinheit 161 eine Route von einer aktuellen Position zu einem festgelegten Ziel auf der Basis einer globalen Karte ein. Darüber hinaus ändert beispielsweise die Routenplanungseinheit 161 die Route wie jeweils erforderlich auf der Basis von Situationen, die Verkehrsstaus, Unfälle, Verkehrseinschränkungen, Baustellen und dergleichen, einer physischen Verfassung eines Fahrers und dergleichen betreffen. Die Routenplanungseinheit 161 führt Daten, die die geplante Route betreffen, der Aktionsplanungseinheit 162 und dergleichen zu.
Die Aktionsplanungseinheit 162 plant eine Aktion des mobilen Objekts zur sicheren Fortbewegung auf der durch die Routenplanungseinheit 161 geplanten Route innerhalb der geplanten Zeit auf der Basis von Daten oder eines Signals von den Komponenten des Steuersystems 100 für ein mobiles Objekt wie z. B. der Kartenanalyseeinheit 151 und der Situationsvorhersageeinheit 153. Beispielsweise erstellt die Aktionsplanungseinheit 162 einen Plan, der einen Start, einen Stopp, eine Fortbewegungsrichtung (beispielsweise Vorwärtsgehen, Rückwärtsgehen, Linksabbiegen, Rechtsabbiegen, Ändern der Richtung und dergleichen), eine Fortbewegungsgeschwindigkeit, Überholen und dergleichen enthält. Die Aktionsplanungseinheit 162 führt Daten, die die geplante Aktion des mobilen Objekts angeben, der Betriebsplanungseinheit 163 und dergleichen zu.
Die Betriebsplanungseinheit 163 plant einen Betrieb des mobilen Objekts zum Implementieren der durch die Aktionsplanungseinheit 162 geplanten Aktion auf der Basis von Daten oder eines Signals von den Komponenten des Steuersystems 100 für ein mobiles Objekt wie z. B. der Kartenanalyseeinheit 151 und der Situationsvorhersageeinheit 153. Beispielsweise erstellt die Betriebsplanungseinheit 163 einen Plan, der eine Beschleunigung, eine Verzögerung, eine Fortbewegungsbahn und dergleichen enthält. Die Betriebssteuereinheit 163 führt Daten, die den geplanten Betrieb des mobilen Objekts angeben, der Betriebssteuereinheit 135 und dergleichen zu.
Die Betriebssteuereinheit 135 steuert den Betrieb des mobilen Objekts.
Um genauer zu sein führt die Betriebssteuereinheit 135 auf der Basis von Ergebnissen der Detektion durch die Einheit 141 zum Detektieren von Informationen außerhalb des mobilen Objekts, der Einheit 142 zum Detektieren von Informationen innerhalb des mobilen Objekts und der Einheit 143 zum Detektieren des Zustands des mobilen Objekts Verarbeitung zum Detektieren eines Notfallereignisses wie z. B. einer Kollision, eines Kontakts, des Eintretens in eine gefährliche Zone, eine Anomalie eines Fahrers oder einer Anomalie des mobilen Objekts aus. In einem Fall, in dem das Auftreten eines Notfallereignisses detektiert worden ist, plant die Betriebssteuereinheit 135 eine Operation des mobilen Objekts zum Vermeiden eines Notfallereignisses, wie z. B. ein sofortiges Anhalten oder eine scharfe Kurve.
Darüber hinaus steuert die Betriebssteuereinheit 135 eine Beschleunigung und eine Verzögerung zum Implementieren der Operation des mobilen Objekts, die durch die Betriebsplanungseinheit 163 geplant ist. Beispielsweise berechnet die Betriebssteuereinheit 135 einen Steuerzielwert der Antriebskrafterzeugungsvorrichtung oder der Bremsvorrichtung zum Erreichen der geplanten Beschleunigung, Verzögerung oder sofortigen Anhaltens und versorgt die Antriebssystemsteuereinheit 107 mit einem Steuerbefehl, der den berechneten Steuerzielwert angibt.
Die Betriebssteuereinheit 135 steuert die Richtung zum Implementieren der Operation des mobilen Objekts, die durch die Betriebsplanungseinheit 163 geplant ist. Beispielsweise berechnet die Betriebssteuereinheit 135 einen Steuerzielwert des Lenkmechanismus zum Implementieren der Fortbewegungsbahn oder scharfen Kurve, die durch die Betriebsplanungseinheit 163 geplant ist, und versorgt die Antriebssystemsteuereinheit 107 mit einem Steuerbefehl, der den berechneten Steuerzielwert angibt.
<Detailliertes Konfigurationsbeispiel der Erkennungsverarbeitungseinheit>
Als Nächstes wird mit Bezug auf 4 eine Beschreibung eines spezifischen Konfigurationsbeispiels der Erkennungsverarbeitungseinheit 121 der Steuereinheit 110 für autonomes Fortbewegen, die der Erkennungsverarbeitungseinheit 31 und ihrem Umfeld in dem Steuersystem 100 für ein mobiles Objekt in 3 entspricht, gegeben.
Es wird darauf hingewiesen, dass, obwohl ein Beispiel, in dem das mobile Objekt das mobile Objekt 11 ist, das einen fahrbaren Roboter enthält, hier beschrieben wird, das mobile Objekt ein Roboter, ein Fahrzeug oder irgendein anderes mobiles Objekt sein kann.
Die Sensorgruppe 112 weist ein LIDAR 201, einen Radwertgeber 202 und eine Stereokamera 203 auf. Natürlich können andere Sensoren in einem Fall eines vierfüßigen Laufroboters, eines Fahrzeugs oder dergleichen verwendet werden.
Das LIDAR 201 erfasst einen Abstand zu einem Objekt in der Umgebung des mobilen Objekts 11 als dreidimensionale Punktwolkendaten, die dann als Zeitreiheninformationen zu einer Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition der Eigenpositionsschätzeinheit 132 über die Detektionseinheit 131 ausgegeben werden.
Der Radwertgeber 202 detektiert Positionsinformationen (X, Y, Z), eine Stellung (Quaternion), eine Geschwindigkeit (dx, dy, dz), eine Beschleunigung (ax, ay, az) und eine Winkelgeschwindigkeit (wx, wy, wz) des mobilen Objekts 11 und gibt sie als Zeitreiheninformationen zu der Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition über die Detektionseinheit 131 aus.
Die Stereokamera 203 nimmt ein Parallaxenbild in der Umgebung des mobilen Objekts 11 auf und gibt das Parallaxenbild als aktuelle Informationen zu der Eigenpositionsschätzeinheit 132 über die Detektionseinheit 131 aus.
Die Eigenpositionsschätzeinheit 132 weist eine Tiefenbilderzeugungseinheit 220, die Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition, eine Zeitreiheninformations-DB 222, eine Merkmalsgrößen-Extraktionseinheit 223, eine Einheit 224 zum Schätzen der auf aktuellen Informationen basierenden Eigenposition, die Positions/Bildmerkmalsgrößen-DB 225, eine Eigenpositionsschätzergebnis-Integrationseinheit 226, eine Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227, eine DB 228 für ortsbezogene Nichtmerkmalsabschnitte, eine Positions/Bildmerkmalsgrößen-Aufzeichnungseinheit 229 und eine Positions/Orts-Umsetzungseinheit 230 auf.
Darüber hinaus weist die Eigenpositionsschätzeinheit 132 eine Betriebsart zum Ausführen von Eigenpositionsschätzungsverarbeitung zum Schätzen einer Eigenposition und eine Betriebsart zum Ausführen von Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitung zum Aufzeichnen einer Bildmerkmalsgröße zugeordnet zu Positionsinformationen in der Positions/Bildmerkmalsgrößen-DB 225 (4), die für die Eigenpositionsschätzungsverarbeitung notwendig ist.
Aus diesem Grund weist die Eigenpositionsschätzeinheit 132 einen Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitungsblock 211, der eine Konfiguration zum Ausführen der Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitung aufweist, und einen Eigenpositionsschätzungsverarbeitungsblock 212 zum Ausführen der Eigenpositionsschätzungsverarbeitung auf.
Der Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitungsblock 211 weist die Tiefenbilderzeugungseinheit 220, die Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition, die Zeitreiheninformations-DB 222, die Merkmalsgrößen-Extraktionseinheit 223, die Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227, die DB 228 für ortsbezogene Nichtmerkmalsabschnitte, die Positions/Bildmerkmalsgrößen-Aufzeichnungseinheit 229 und die Positions/Orts-Umsetzungseinheit 230 auf.
Darüber hinaus weist der Eigenpositionsschätzungsverarbeitungsblock 212 die Tiefenbilderzeugungseinheit 220, die Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition, die Zeitreiheninformations-DB 222, die Merkmalsgrößen-Extraktionseinheit 223 und die Einheit 224 zum Schätzen der auf aktuellen Informationen basierenden Eigenposition auf.
Die Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition speichert in der Zeitreiheninformations-DB 222 Zeitreiheninformationen wie z. B. die dreidimensionalen Punktwolkendaten, die eine Eigenposition und eine Position eines Hindernisses in dem Umfeld repräsentieren, wobei die Zeitreiheninformationen von dem LIDAR 201 und der Radwertgeber 202 zugeführt werden. Darüber hinaus liest die Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition die Zeitreiheninformationen aus der Vergangenheit zur Gegenwart bei Bedarf aus der Zeitreiheninformations-DB 222 aus und schätzt eine Eigenposition auf der Basis der gelesenen Zeitreiheninformationen von der Vergangenheit zur Gegenwart. Dann wird die Eigenposition der Eigenpositionsschätzergebnis-Integrationseinheit 226 zugeführt.
Es wird darauf hingewiesen, dass ein spezifisches Verfahren zur Eigenpositionsschätzung unter Verwendung von gleichzeitiger Lokalisierung und Kartierung (SLAM) durch die Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition in „Simultaneous Localization and Mapping Problem using Extended Kalman Filter“ von Yusuke Morimoto und Toru Namerikawa, „Simultaneous Localisation and Mapping (SLAM): Part I The Essential Algorithms Hugh Durrant-Whyte, Fellow, IEEE, and Tim Bailey“ und „Simultaneous Localisation and Mapping (SLAM): Part II State of the Art Tim See Bailey and Hugh Durrant-Whyte“ beschrieben ist. Es wird darauf hingewiesen, dass eine Eigenposition, die durch die Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition auf der Basis von Zeitreiheninformationen geschätzt ist, als eine zeitreiheninformationsbasierte Eigenposition bezeichnet ist.
Die Tiefenbilderzeugungseinheit 220 erzeugt ein Tiefenbild (Entfernungsmessungsbild) auf der Basis eines Parallaxenbilds, das von der Stereokamera 203 zugeführt wird, und gibt das Tiefenbild zu der Merkmalsgrößen-Extraktionseinheit 223 und der Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 aus.
Die Merkmalsgrößen-Extraktionseinheit 223 extrahiert in der Eigenpositionsschätzungsverarbeitung eine Bildmerkmalsgröße aus einem von der Tiefenbilderzeugungseinheit 220 zugeführten Tiefenbild und gibt die Bildmerkmalsgröße zu der Einheit 224 zum Schätzen der auf aktuellen Informationen basierenden Eigenposition und der Positions/Bildmerkmalsgrößen-Aufzeichnungseinheit 229 aus.
Die Merkmalsgrößen-Extraktionseinheit 223 extrahiert in der Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitung eine Bildmerkmalsgröße aus einem Tiefenbild, das teilweise durch eine Nichtmerkmalsgebietsmaske maskiert und von der Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 zugeführt ist, und gibt die Bildmerkmalsgröße an die Einheit 224 zum Schätzen der auf aktuellen Informationen basierenden Eigenposition und die Positions/Bildmerkmalsgrößen-Aufzeichnungseinheit 229 aus.
Die Einheit 224 zum Schätzen der auf aktuellen Informationen basierenden Eigenposition schätzt eine Eigenposition auf der Basis der Positionsinformationen, die einer extrahierten Merkmalsgröße aus der Positions/Bildmerkmalsgrößen-DB 225, in der eine Position und eine Bildmerkmalsgröße in Zuordnung zueinander gespeichert sind, entspricht, und führt die Eigenposition der Eigenpositionsschätzergebnis-Integrationseinheit 226 zu. Es wird darauf hingewiesen, dass eine Eigenposition, die durch die Einheit 224 zum Schätzen der auf aktuellen Informationen basierenden Eigenposition auf der Basis aktueller Informationen geschätzt ist, als auf aktuellen Informationen basierende Eigenposition bezeichnet ist.
Die Eigenpositionsschätzergebnis-Integrationseinheit 226 integriert in der Eigenpositionsschätzungsverarbeitung eine zeitreiheninformationsbasierte Eigenposition und eine auf aktuellen Informationen basierende Eigenposition in Übereinstimmung mit beispielsweise einem Grad der Zuverlässigkeit, der einer Situation jedes aus dem LIDAR 201, dem Radwertgeber 202 und der Stereokamera 203 entspricht, und gibt das Integrationsergebnis als ein Eigenpositionsschätzergebnis zu der Situationserkennungseinheit 152 aus. Es wird darauf hingewiesen, dass die Eigenpositionsschätzergebnis-Integrationseinheit 226 die erhaltenen Positionsinformationen in Zuordnung zu einer Bildmerkmalsgröße in einem zu dieser Zeit detektierten Tiefenbilds in der Positions/Bildmerkmalsgrößen-DB 225 aufzeichnet. Das heißt, das Aufzeichnen einer Position, die als eine Eigenposition geschätzt ist, in Zuordnung zu einer Merkmalsgröße in einem Tiefenbild zu dieser Zeit stellt sicher, dass eine Bildmerkmalsgröße in einem entsprechenden Tiefenbild für jede einmal durchlaufene Position existiert. Es ist deshalb möglich, eine Eigenposition mit hoher Genauigkeit zu schätzen.
In der Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitung liest die Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 auf der Basis eines Orts, der durch eine zeitreiheninformationsbasierte Eigenposition, die von der Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition zugeführt wird, einen zugeordneten und aufgezeichneten ortsbezogenen Nichtmerkmalsabschnitt aus der DB 228 für ortsbezogene Nichtmerkmalsabschnitte, in der ein Ort und ein ortsbezogener Nichtmerkmalsabschnitt in Zuordnung zueinander aufgezeichnet sind, aus.
Hier speichert die Positions/Orts-Umsetzungseinheit 230 eine Datenbank, in der Positionsinformationen und ein Ort in Zuordnung zueinander gespeichert sind, und liest entsprechende Ortsinformationen auf der Basis einer zeitreiheninformationsbasierten Eigenposition aus und setzt dadurch die zeitreiheninformationsbasierten Positionsinformationen in Ortsinformationen um und gibt die Ortsinformationen aus. In der Datenbank, die in der Positions/Orts-Umsetzungseinheit 230 gespeichert ist, sind beispielsweise Positionsinformationen, die geographische Breite und geographische Länge, die durch eine zeitreiheninformationsbasierte Eigenposition identifiziert sind, und entsprechende Ortsinformationen wie z. B. eine Raumnummer oder ein Korridor eines Gebäudestockwerks oder eine Straße in Zuordnung zueinander gespeichert.
Mit dieser Anordnung setzt die Positions/Orts-Umsetzungseinheit 230 eine zeitreiheninformationsbasierte Eigenposition, die von der Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition zugeführt ist, in entsprechende Ortsinformationen um und gibt die Ortsinformationen zu der Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 aus.
Die Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 liest aus der DB 228 für ortsbezogene Nichtmerkmalsabschnitte, in der ein Ort und ein ortsbezogener Nichtmerkmalsabschnitt in Zuordnung zueinander aufgezeichnet sind, einen ortsbezogenen aufgezeichneten Nichtmerkmalsabschnitt auf der Basis von Ortsinformationen, die von der Positions/Orts-Umsetzungseinheit 230 zugeführt werden, aus.
Dann erzeugt die Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 eine Nichtmerkmalsgebietsmaske auf der Basis des gelesenen ortsbezogenen Nichtmerkmalsabschnitts, die Nichtmerkmalsgebietsmaske wird einem durch die Tiefenbilderzeugungseinheit 220 aus einem Stereobild erzeugten Tiefenbild durch die Stereokamera 203 hinzugefügt, und das Tiefenbild wird zu der Merkmalsgrößen-Extraktionseinheit 223 ausgegeben.
Ein ortsbezogener Nichtmerkmalsabschnitt, der in Zuordnung zu einem Ort in der DB 228 für ortsbezogene Nichtmerkmalsabschnitte aufgezeichnet ist, ist beispielsweise, wie in dem linken Teil von 5 dargestellt, Informationen, die in einer Tabelle definiert sind, die im Voraus in Zuordnung zu einem Ort aufgezeichnet ist, und identifiziert einen Bereich, der viele Merkmalsgrößen aufweist, die zur Unterscheidung von anderen Positionen nicht nützlich sind, in einem Tiefenbild, das zum Identifizieren einer Positionen verwendet wird. Das heißt, wie in 2 dargestellt, in einem Korridor in einem Bürogebäude oder dergleichen werden Beleuchtungskörper an der Decke als viele Merkmalsgrößen detektiert. Da in vielen Fällen mehrere Stockwerke die gleiche Struktur aufweisen, macht es das Verwenden der Merkmalsgrößen der Beleuchtungskörper an der Decke schwierig, das Stockwerk zu identifizieren, und es findet wahrscheinlich eine fehlerhafte Detektion statt. Das heißt, in einer Umgebung wie z. B. einem Gebäude weist die Decke wenige nützliche Merkmalsgrößen auf, die zum Identifizieren der Position verwendet werden, und das Verwenden von Informationen, die die Merkmalsgrößen in einem Bereich betreffen, der die Decke ausschließt, erleichtert das Identifizieren des Stockwerks. Aus diesem Grund ist in einem solchen Fall der Bereich der Decke als ein ortsbezogener Nichtmerkmalsabschnitt eingestellt. Neben der Decke enthalten Beispiele für ortsbezogene Nichtmerkmalsabschnitte Jalousien, gemusterte Wände, Fliesenböden und dergleichen in Gebäuden und neu entwickelten Wohngebieten, gekachelte Böden und dergleichen in Außenbereichen. Das Vorstehende ist ein Beispiel, und die ortsbezogenen Nichtmerkmalsabschnitte sind nicht auf das Vorstehende beschränkt.
Insbesondere ist in dem linken Teil von 5 auf einem achten Stockwerk des ABC-Gebäudes, das als ein Ort identifiziert ist, die Decke als ein ortsbezogener Nichtmerkmalsabschnitt eingestellt, weil ein Bereich in einem Tiefenbild, der die Decke ausschließt, viele Merkmalsgrößen aufweist, die zur Unterscheidung von anderen Positionen zum Schätzen einer auf aktuellen Informationen basierenden Eigenposition nützlich sind.
Darüber hinaus sind in dem linken Teil von 5 in einer Aufzugshalle, die als ein Ort identifiziert ist, eine nach Süden weisende Wand und ein Fußboden als ortsbezogene Nichtmerkmalsabschnitte eingestellt, weil ein Bereich, der die nach Süden weisende Wand und den Fußboden in einem Tiefenbild ausschließt, viele Merkmalsgrößen aufweist, die zur Unterscheidung von anderen Positionen zum Schätzen einer auf aktuellen Informationen basierenden Eigenposition nützlich sind.
Die Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 erzeugt eine Nichtmerkmalsgebietsmaske für jeden Ort auf der Basis von Informationen, die einen ortsbezogenen Nichtmerkmalsabschnitt betreffen, fügt die Nichtmerkmalsgebietsmaske einem von der Tiefenbilderzeugungseinheit 220 zugeführten Tiefenbild hinzu und führt das Tiefenbild der Merkmalsgrößen-Extraktionseinheit 223 zu.
Infolgedessen stellt in dem Fall des linken Teils von 5 beispielsweise in einem Fall, in dem auf der Basis eines zeitreiheninformationsbasierten Eigenpositionsschätzergebnisses identifiziert wird, dass der Ort das achte Stockwerk des ABC-Gebäudes ist, die Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 als einen ortsbezogenen Nichtmerkmalsabschnitt den Deckenabschnitt ein, der weniger nützliche Merkmalsgrößen in einem Tiefenbild, das zum Identifizieren einer auf aktuellen Informationen basierenden Eigenposition verwendet wird, aufweist, mit anderen Worten Merkmalsgrößen aufweist, die zur Unterscheidung von anderen Positionen nicht nützlich sind, und versorgt dann die Merkmalsgrößen-Extraktionseinheit 223 mit dem Tiefenbild, dem eine Nichtmerkmalsgebietsmaske hinzugefügt worden ist.
Ähnlich stellt in dem Fall des linken Teils von 5 beispielsweise in einem Fall, in dem auf der Basis eines zeitreiheninformationsbasierten Eigenpositionsschätzergebnisses identifiziert wird, dass der Ort die Aufzugshalle ist, die Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 als ortsbezogene Nichtmerkmalsabschnitte die nach Süden weisende Wand und den Boden ein, die weniger nützliche Merkmalsgrößen in einem Tiefenbild, das zum Identifizieren einer auf aktuellen Informationen basierenden Eigenposition verwendet wird, aufweisen, mit anderen Worten Merkmalsgrößen aufweisen, die zur Unterscheidung von anderen Positionen nicht nützlich sind, und versorgt dann die Merkmalsgrößen-Extraktionseinheit 223 mit dem Tiefenbild, dem Nichtmerkmalsgebietsmasken hinzugefügt worden sind.
In der Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitung zeichnet die Positions/Bildmerkmalsgrößen-Aufzeichnungseinheit 229 in der Positions/Bildmerkmalsgrößen-DB 225 Informationen, die eine Bildmerkmalsgröße betreffen, die von der Merkmalsgrößen-Extraktionseinheit 223 zugeführt wird, in Zuordnung zu einem zeitreiheninformationsbasierten Eigenpositionsschätzergebnis auf.
Auf diese Weise extrahiert die Merkmalsgrößen-Extraktionseinheit 223 in der Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitung auf der Basis eines zugeführten Tiefenbilds eine Bildmerkmalsgröße aus einem Bereich, dem keine Nichtmerkmalsgebietsmaske in dem Tiefenbild hinzugefügt worden ist. Als ein Ergebnis werden in einem Tiefenbild mit einer Maske, die zu einem Bereich hinzugefügt ist, der viele Bildmerkmalsgrößen aufweist, die zur Unterscheidung von anderen Positionen nicht nützlich sind, Bildmerkmalsgrößen extrahiert, und viele Bildmerkmalsgrößen, die zur Unterscheidung von anderen Positionen nützlich sind, werden erzeugt. Das ermöglicht das Unterdrücken des Auftretens fehlerhafter Detektion.
Darüber hinaus kann ein ortsbezogener Nichtmerkmalsabschnitt, der in der DB 228 für ortsbezogene Nichtmerkmalsabschnitte aufgezeichnet werden soll, eine Bedingung sein, die anders als in dem linken Teil von 5 dargestellt ist, und es ist nur erforderlich, dass sie in einem Datenformat ist, das die Festlegung eines Bereichs in einem physikalischen Ort durch einen Computer ermöglicht. Beispielsweise kann, wie in dem rechten Teil von 5 dargestellt ist, ein Ort durch einen Bereich der geographischen Breite < x und der geographischen Länge < y identifiziert sein. Darüber hinaus ist es in einem weiteren Beispiel beispielsweise möglich, einen Ort einzustellen, der eine spezielle Bedingung erfüllt, beispielsweise einen Ort, an dem die Intensität von Funkwellen von einem drahtlosen Zugangspunkt XXX innerhalb von Y ist. Darüber hinaus kann der rechte Teil irgendwelche Informationen in irgendeinem Datenformat sein, die die Festlegung eines Orts, an dem eine Maske in einem Tiefenbild durch einen Computer erzeugt werden kann, ermöglichen. Beispielsweise kann eine vorbestimmte Ebenenrichtung (beispielsweise entweder parallel zu der Richtung der Schwerkraft oder senkrecht zu der Richtung der Schwerkraft) eingestellt sein. In einem weiteren Beispiel kann ein Bereich einer nach Süden weisenden Wand eingestellt sein.
<Schätzungsverarbeitung für autonomes Fortbewegen durch die Steuereinheit für autonomes Fortbewegen in Fig. 4>
Als Nächstes wird die Eigenpositionsschätzungsverarbeitung mit Bezug auf einen Ablaufplan in 6 beschrieben.
In Schritt S11 führt die Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition Verarbeitung zum Schätzen der zeitreiheninformationsbasierten Eigenposition aus, um eine zeitreiheninformationsbasierte Eigenposition zu schätzen, und gibt die zeitreiheninformationsbasierte Eigenposition zu der Eigenpositionsschätzergebnis-Integrationseinheit 226 aus. Es wird darauf hingewiesen, dass die Verarbeitung zum Schätzen der zeitreiheninformationsbasierten Eigenposition später mit Bezug auf einen Ablaufplan in 7 beschrieben wird.
In Schritt S12 führt die Einheit 224 zum Schätzen der auf aktuellen Informationen basierenden Eigenposition Verarbeitung zum Schätzen der auf aktuellen Informationen basierenden Eigenposition aus, um eine auf aktuellen Informationen basierende Eigenposition zu schätzen, und gibt die auf aktuellen Informationen basierende Eigenposition zu der Eigenpositionsschätzergebnis-Integrationseinheit 226 aus. Es wird darauf hingewiesen, dass die Verarbeitung zum Schätzen der auf aktuellen Informationen basierenden Eigenposition später mit Bezug auf einen Ablaufplan in 8 beschrieben wird.
In Schritt S13 integriert die Eigenpositionsschätzergebnis-Integrationseinheit 226 die zeitreiheninformationsbasierte Eigenposition und die auf aktuellen Informationen basierende Eigenposition mit beispielsweise einem Kalman-Filter oder einem Partikelfilter und gibt die integrierten Eigenpositionsinformationen als ein Eigenpositionsschätzergebnis zu der Situationserkennungseinheit 152 aus.
In Schritt S14 zeichnet die Eigenpositionsschätzergebnis-Integrationseinheit 226 das Eigenpositionsschätzergebnis in der Positions/Bildmerkmalsgrößen-DB 225 in Zuordnung zu einer Merkmalsgröße in einem Tiefenbild, das aus einem Parallaxenbild erhalten wird, das aktuelle Informationen ist, die zum Identifizieren des Eigenpositionsschätzergebnisses verwendet werden, auf.
In Schritt S15 führt die Situationserkennungseinheit 152 Verarbeitung zum Erkennen einer Situation des mobilen Objekts und einer Situation in der Umgebung des mobilen Objekts auf der Basis des Eigenpositionsschätzergebnisses aus und gibt das Erkennungsergebnis zu der Aktionsplan-Verarbeitungseinheit 122 aus.
In Schritt S16 plant die Routenplanungseinheit 161 der Aktionsplan-Verarbeitungseinheit 122 eine Route zu einem Ziel und gibt die Route zu der Aktionsplanungseinheit 162 aus.
In Schritt S17 plant die Aktionsplanungseinheit 162 eine Aktion auf der Basis der Route zu dem Ziel und gibt die Aktion als einen Aktionsplan zu der Betriebsplanungseinheit 163 aus.
In Schritt S18 plant die Betriebsplanungseinheit 163 eine Operation auf der Basis des von der Aktionsplanungseinheit 162 zugeführten Aktionsplans und gibt die Operation als einen Operationsplan zu der Aktionssteuerungs-Verarbeitungseinheit 123 aus.
In Schritt S19 steuert die Aktionssteuerungs-Verarbeitungseinheit 123 auf der Basis der Operationsplans eine Operation jedes der Aktoren 23a der Aktorgruppe 113, um eine Aktion des mobilen Objekts 11 zu steuern.
In Schritt S20 wird bestimmt, ob eine Beendigung angewiesen worden ist oder nicht. In einem Fall, in dem bestimmt wird, dass die Beendigung nicht angewiesen worden ist, kehrt die Verarbeitung zu Schritt S11 zurück. Das heißt, die Verarbeitung der Schritte S11 bis S20 wird wiederholt, bis die Beendigung angewiesen wird, und das mobile Objekt 11 fährt fort, sich autonom fortzubewegen.
Andererseits endet die Steuerungsverarbeitung für autonomes Fortbewegen in einem Fall, in dem die Beendigung in Schritt S20 angewiesen worden ist.
Das heißt, die Position, die als die Eigenposition geschätzt ist, und die Merkmalsgröße in dem Tiefenbild, das aus dem Parallaxenbild erhalten wird, die die aktuellen Informationen ist, die zum Identifizieren der Position verwendet werden, werden einander zugeordnet und in der Positions/Bildmerkmalsgrößen-DB 225 aufgezeichnet. Mit dieser Anordnung wird eine Merkmalsgröße, die aus einem Tiefenbild erhalten wird, das aus einem Parallaxenbild erhalten wird, die die aktuellen Informationen ist, die einer einmal durchlaufenen Position entsprechen, wird der Position zugeordnet und als neue Informationen gesammelt. Als ein Ergebnis kann, wenn der mobile Körper die gleiche Position wieder durchläuft, die Eigenposition mit hoher Genauigkeit geschätzt werden.
Darüber hinaus werden durch die vorstehende Verarbeitung eine zeitreiheninformationsbasierte Eigenposition und eine auf aktuellen Informationen basierende Eigenposition der Reihe nach erhalten, miteinander integriert und als Eigenpositionsschätzergebnis ausgegeben. Auf der Basis des Eigenpositionsschätzergebnisses wird das autonome Fortbewegen des mobilen Objekts 11 gesteuert.
<Verarbeitung zum Schätzen der zeitreiheninformationsbasierten Eigenposition>
Als Nächstes wird die Verarbeitung zum Schätzen der zeitreiheninformationsbasierten Eigenposition mit Bezug auf den Ablaufplan in 7 beschrieben.
In Schritt S31 detektiert das LIDAR 201 einen Abstand zu einem Objekt in der Umgebung des mobilen Objekts 11 als dreidimensionale Punktwolkendaten, die dann als Zeitreiheninformationen zu der Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition der Eigenpositionsschätzeinheit 132 über die Detektionseinheit 131 ausgegeben werden.
In Schritt S32 detektiert der Radwertgeber 202 Positionsinformationen, eine Stellung, eine Geschwindigkeit, eine Beschleunigung und eine Winkelgeschwindigkeit des mobilen Objekts 11 und gibt sie als Zeitreiheninformationen zu der Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition über die Detektionseinheit 131 aus.
In Schritt S33 erfasst die Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition die neuesten Zeitreiheninformationen und zeichnet sie in der Zeitreiheninformations-DB 222 auf.
In Schritt S34 schätzt die Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition eine Eigenposition aus den neuesten in der Zeitreiheninformations-DB 222 aufgezeichneten Zeitreiheninformationen und vergangenen Zeitreiheninformationen unter Verwendung beispielsweise eines Kalman-Filters oder eines Partikelfilters. Dann gibt die Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition die Eigenposition, die ein Schätzergebnis ist, als zeitreiheninformationsbasierte Eigenpositionsinformationen zu der Eigenpositionsschätzergebnis-Integrationseinheit 226 aus.
Durch die vorstehende Verarbeitung werden Einheiten der Zeitreiheninformationen, die durch das LIDAR 201 und den Radwertgeber 202 detektiert werden sollen, der Reihe nach detektiert und der Reihe nach in der Zeitreiheninformations-DB 222 gesammelt. Auf der Basis der in einer Zeitreihenreihenfolge von der Vergangenheit zur Gegenwart gesammelt sind, wird eine Eigenposition geschätzt und zu der Eigenpositionsschätzergebnis-Integrationseinheit 226 als zeitreiheninformationsbasierte Eigenposition ausgegeben.
<Verarbeitung zum Schätzen der auf aktuellen Informationen basierenden Eigenposition>
Als Nächstes wird die Verarbeitung zum Schätzen der auf aktuellen Informationen basierenden Eigenposition mit Bezug auf den Ablaufplan in 8 beschrieben.
In Schritt S51 nimmt die Stereokamera 203 ein Parallaxenbild in der Umgebung des mobilen Objekts 11 auf und gibt das Parallaxenbild als aktuelle Informationen zu der Tiefenbilderzeugungseinheit 220 über die Detektionseinheit 131 aus.
In Schritt S52 erzeugt die Tiefenbilderzeugungseinheit 220 ein Tiefenbild (Entfernungsbild) auf der Basis der von der Stereokamera 203 zugeführten Parallaxenbilds.
In Schritt S53 extrahiert die Merkmalsgrößen-Extraktionseinheit 223 eine Bildmerkmalsgröße auf der Basis des erzeugten Tiefenbilds.
In Schritt S54 schätzt die Einheit 224 zum Schätzen der auf aktuellen Informationen basierenden Eigenposition eine Eigenposition auf der Basis von Positionsinformationen, die der extrahierten Bildmerkmalsgröße entsprechen, aus der Positions/Bildmerkmalsgrößen-DB 225, in der eine Position und eine Bildmerkmalsgröße in Zuordnung zueinander gespeichert sind. Dann führt die Einheit 224 zum Schätzen der auf aktuellen Informationen basierenden Eigenposition die Eigenposition, die ein Schätzergebnis ist, als eine auf aktuellen Informationen basierende Eigenposition der Eigenpositionsschätzergebnis-Integrationseinheit 226 zu.
Durch die vorstehende Verarbeitung nimmt die Stereokamera 203 ein Parallaxenbild als aktuelle Informationen auf, ein Tiefenbild wird aus dem Parallaxenbild erzeugt, eine Bildmerkmalsgröße in dem erzeugten Tiefenbild wird extrahiert, eine auf aktuellen Informationen basierende Eigenposition wird auf der Basis von Positionsinformationen, die in Zuordnung zu der Bildmerkmalsgröße aufgezeichnet sind, geschätzt, und die auf aktuellen Informationen basierende Eigenposition wird zu der Eigenpositionsschätzergebnis-Integrationseinheit 226 ausgegeben.
<Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitung durch die Steuereinheit für autonomes Fortbewegen in Fig. 4>
Als Nächstes wird die Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitung durch die Steuereinheit 110 für autonomes Fortbewegen in 4 mit Bezug auf einen Ablaufplan in 9 beschrieben.
In Schritt S71 nimmt die Stereokamera 203 ein Parallaxenbild in der Umgebung des mobilen Objekts 11 auf und gibt das Parallaxenbild als aktuelle Informationen zu der Tiefenbilderzeugungseinheit 220 über die Detektionseinheit 131 aus.
In Schritt S72 erzeugt die Tiefenbilderzeugungseinheit 220 ein Tiefenbild (Entfernungsmessungsbild) auf der Basis der von der Stereokamera 203 zugeführten Parallaxenbilds.
In Schritt S73 erfasst die Positions/Orts-Umsetzungseinheit 230 eine zeitreiheninformationsbasierte Eigenposition, die durch die Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition geschätzt ist, setzt die zeitreiheninformationsbasierte Eigenposition in Informationen um, die einen Ort betreffen, der der zeitreiheninformationsbasierten Eigenposition entspricht, und gibt die Informationen zu der Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 aus.
In Schritt S74 greift die Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 auf die DB 228 für ortsbezogene Nichtmerkmalsabschnitte zu und liest einen ortsbezogenen Nichtmerkmalsabschnitt, der in Zuordnung zu dem Ort, der der zeitreiheninformationsbasierten Eigenposition entspricht, aufgezeichnet ist, aus. Dann erzeugt die Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 auf der Basis des ortsbezogenen Nichtmerkmalsabschnitts eine Nichtmerkmalsgebietsmaske zum Maskieren eines Bereichs in dem Tiefenbild, der viele Merkmalsgrößen aufweist, die zum Identifizieren einer Position nicht nützlich sind.
In Schritt S75 fügt die Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 die erzeugte Nichtmerkmalsgebietsmaske dem Tiefenbild hinzu und gibt dann das Tiefenbild zu der Merkmalsgrößen-Extraktionseinheit 223 aus.
In Schritt S76 extrahiert die Merkmalsgrößen-Extraktionseinheit 223 eine Bildmerkmalsgröße aus dem Tiefenbild, dem die Nichtmerkmalsgebietsmaske hinzugefügt worden ist, und gibt die extrahierte Bildmerkmalsgröße zu der Positions/Bildmerkmalsgrößen-Aufzeichnungseinheit 229 aus.
In Schritt S77 zeichnet die Positions/Bildmerkmalsgrößen-Aufzeichnungseinheit 229 die zeitreiheninformationsbasierte Eigenposition und die Bildmerkmalsgröße in Zuordnung zueinander in der Positions/Bildmerkmalsgrößen-DB 225 auf.
Durch die vorstehende Verarbeitung wird eine Bildmerkmalsgröße, die in Zuordnung zu einer Position aufgezeichnet werden soll, aus einem Tiefenbild extrahiert, wobei eine Maske zu einem Bereich hinzugefügt ist, der viele Bildmerkmalsgrößen aufweist, die zur Unterscheidung von anderen Positionen nicht nützlich sind. Somit wird eine Bildmerkmalsgröße, die zur Unterscheidung von anderen Positionen nützlich ist, erzeugt.
Als ein Ergebnis kann eine auf aktuellen Informationen basierende Eigenposition unter Verwendung einer Bildmerkmalsgröße, die zur Unterscheidung von anderen Positionen nützlich ist, geschätzt werden, und eine Eigenposition kann selbst in einer Umgebung, in der viele ähnliche Objekte im Umfeld sind, mit hoher Genauigkeit geschätzt werden.
<Anwendungsbeispiel eines ortsbezogenen Nichtmerkmalsabschnitts>
In der vorstehenden Beschreibung ist ein ortsbezogener Nichtmerkmalsabschnitt einem Ort zugeordnet und ist Informationen, die einen Bereich in einem Tiefenbild betreffen, wobei der Bereich viele Bildmerkmalsgrößen aufweist, die zur Unterscheidung zwischen Positionen nützlich sind. Alternativ können durch Definieren eines Ortsattributs, das eine Abstraktion eines Ortes ist, und durch Einstellen einer Tabelle, die das Ortsattribut Informationen zuordnen, die einen Bereich betreffen, der viele Bildmerkmalsgrößen aufweist, die zur Unterscheidung zwischen Positionen nützlich sind, ortsbezogene Nichtmerkmalsabschnitte verwendet werden selbst in einem Zustand, in dem die ortsbezogenen Nichtmerkmalsabschnitte nicht für alle Orte eingestellt worden sind.
Das heißt beispielsweise, wie in dem rechten Teil von 10 dargestellt, es kann ein abstrahiertes Ortsattribut für jeden der Orte einer „Schnellstraße mit weniger Merkmalspunkten“, einer „Schnellstraße mit vielen Merkmalspunkten“, einem „Bürogebäude“ und einem „Hotel in einem Stadtzentrum“ definiert sein, und eine Tabelle kann eingestellt sein, in der jedes Ortsattribut einem ortsbezogenen Nichtmerkmalsabschnitt zugeordnet ist. Als ein ortsbezogener Nichtmerkmalsabschnitt, der für jedes Ortsattribut eingestellt ist, kann beispielsweise „keine Verkehrszeichen (Bereiche, die keine Verkehrszeichen sind, werden maskiert, und Merkmalsgrößen in Bereichen der Verkehrszeichen werden verwendet)“ in Zuordnung zu einer „Schnellstraße mit wenigen Merkmalspunkten“ eingestellt sein, wie in dem rechten Teil von 10 dargestellt ist. Darüber hinaus kann „keine Wandflächen und Landschaft (Bereiche, die keine Wandflächen und Landschaft sind, werden maskiert, und Merkmalsgrößen der Wandflächen und der Landschaft werden verwendet)“ in Zuordnung zu einer „Schnellstraße mit vielen Merkmalspunkten“ eingestellt sein. Außerdem kann „Decke und fensterseitige Fläche (eine Decke und eine fensterseitige Fläche werden maskiert, und Merkmalsgrößen in Bereichen, die keine Decke und keine fensterseitige Fläche sind, werden verwendet)“ für ein „Bürogebäude“ eingestellt sein. Darüber hinaus kann „keine (Merkmalsgrößen in dem gesamten Bereich verwenden verwendet, ohne Maske in dem gesamten Bereich)“ in Zuordnung zu einem „Hotel in einem Stadtzentrum“ eingestellt sein.
Durch Einstellen einer Tabelle, der ein Ortsattribut und ein ortsbezogener Nichtmerkmalsabschnitt einander zugeordnet sind, wie in dem rechten Teil von 10 dargestellt ist, und beispielsweise durch Zuordnen von „Tomei Schnellstraße“ zu einer „Schnellstraße mit weniger Merkmalspunkten“, „Chuugoku Schnellstraße“ zu einer „Schnellstraße mit wenigen Merkmalspunkten“, „ABC Gebäude“ zu einem „Bürogebäude“ und „XX Hotel“ zu einem „Hotel in einem Stadtzentrum“, wie in dem linken Teil von 10 dargestellt ist, kann selbst in einem Fall, in dem kein ortsbezogener Nichtmerkmalsabschnitt einem Ort geordnet worden ist, ein ortsbezogener Nichtmerkmalsabschnitt durch Identifizieren eines Ortsattributs, das ein Abstraktionskonzept des Orts ist, ausgelesen werden. Somit kann eine Nichtmerkmalsgebietsmaske auf geeignete Weise eingestellt werden.
Mit anderen Worten kann durch Definieren eines Ortsattributs, das eine Abstraktion eines Ortes ist, und eines ortsbezogenen Nichtmerkmalsabschnitts selbst in einem Fall, in dem ein spezifischer Ort nicht identifiziert werden kann, der ortsbezogene Nichtmerkmalsabschnitt nur durch Identifizieren des Ortsattributs, das abstrakter ist als ein Ort, identifiziert werden. Das ermöglicht eine Verbesserung des Freiheitsgrads bei der Verwendung von ortsbezogenen Nichtmerkmalsabschnitten.
In dem vorstehend beschriebenen Beispiel ist eine spezifische Position oder Richtung in einem Bild als ein ortsbezogener Nichtmerkmalsabschnitt, der einem Ort zugeordnet ist, festgelegt, und ist Informationen, die eine Bereich in einem Tiefenbild betreffen, wobei der Bereich viele Bildmerkmalsgrößen aufweist, die zur Unterscheidung zwischen Positionen nützlich sind. Ein ortsbezogener Nichtmerkmalsabschnitt kann irgendein Bereich sein, der nichts enthält, das nicht zur Unterscheidung zwischen Positionen nützlich ist. Beispielsweise kann ein ortsbezogener Nichtmerkmalsabschnitt ein Bereich eines Objekts sein, das in einem Bild reflektiert und auf einer Anzeigevorrichtung angezeigt worden ist, oder ein Bereich eines Objekts, das sich mit der Zeit ändert, wie z. B. Bäume, Sonnenstrahlen durch Blätter, ein Gebiet am Himmel und ein bewegliches Objekt.
<<Zweite Ausführungsform>>
In dem vorstehend beschriebenen Beispiel ist ein ortsbezogener Nichtmerkmalsabschnitt einem Ort zugeordnet und im Voraus in der DB 228 für ortsbezogene Nichtmerkmalsabschnitte aufgezeichnet. Da eine Position und eine Bildmerkmalsgröße in der Positions/Bildmerkmalsgrößen-DB 225 jedes Mal, wenn eine Eigenposition identifiziert wird, neu eingetragen werden, ist es auch möglich, einen ortsbezogenen Nichtmerkmalsabschnitt durch Verwenden einer in der Positions/Bildmerkmalsgrößen-DB 225 in Zuordnung zu einer neu aufgezeichneten Position neu zu erzeugen und den ortsbezogenen Nichtmerkmalsabschnitt in der DB 228 für ortsbezogene Nichtmerkmalsabschnitte aufzuzeichnen.
11 stellt ein Konfigurationsbeispiel einer Eigenpositionsschätzeinheit 132 dar, in der ein ortsbezogener Nichtmerkmalsabschnitt unter Verwendung einer Bildmerkmalsgröße, die in Zuordnung zu einer in einer Positions/Bildmerkmalsgrößen-DB 225 neu aufgezeichneten Position aufgezeichnet ist, neu erzeugt wird und in einer DB 228 für ortsbezogene Nichtmerkmalsabschnitte aufgezeichnet wird. Es wird darauf hingewiesen, dass in der Eigenpositionsschätzeinheit 132 in 11 Konfigurationen, die die gleichen Funktionen aufweisen wie diejenigen in der Eigenpositionsschätzeinheit 132 in 4, mit den gleichen Bezugszeichen bezeichnet sind, und ihre Beschreibung wie jeweils geeignet weggelassen ist.
Das heißt, Die Eigenpositionsschätzeinheit 132 in 11 unterscheidet sich von der Eigenpositionsschätzeinheit 132 in 4 darin, dass zusätzlich eine Erzeugungs/Aufzeichnungseinheit 241 für ortsbezogene Nichtmerkmalsabschnitte vorgesehen ist.
Die Erzeugungs/Aufzeichnungseinheit 241 für ortsbezogene Nichtmerkmalsabschnitte erhält einen Ort, der einer in der Positions/Bildmerkmalsgrößen-DB 225 aufgezeichneten Position entspricht, die jedes Mal aktualisiert wird, wenn ein Ort identifiziert wird, liest mehrere Bildmerkmalsgrößen, die in Zuordnung zu demselben Ort aufgezeichnet sind, aus, nimmt einen statistischen Vergleich vor, extrahiert einen Bereich, in dem viele Bildmerkmalsgrößen vorhanden sind, die eine Ähnlichkeit gleich einem oder höher als ein vorbestimmter Schwellenwert aufweisen, als einen ortsbezogenen Nichtmerkmalsabschnitt und zeichnet den ortsbezogenen Nichtmerkmalsabschnitt in der DB 228 für ortsbezogene Nichtmerkmalsabschnitte in Zuordnung zu dem Ort auf.
Das heißt, ein Bereich, in dem viele Bildmerkmalsgrößen vorhanden sind, unter mehreren Bildmerkmalsgrößen, die derselben Position zugeordnet sind, die eine Ähnlichkeit aufweisen, die höher ist als ein vorbestimmter Schwellenwert, ist zum Identifizieren derselben Position unnötig. Es ist deshalb möglich, das Auftreten fehlerhafter Detektion zu vermeiden, durch Einstellen des Bereichs als einen ortsbezogenen Nichtmerkmalsabschnitt.
<Erzeugungs/Aufzeichnungsverarbeitung für ortsbezogene Nichtmerkmalsabschnitte>
Als Nächstes wird Erzeugungs/Aufzeichnungsverarbeitung für ortsbezogene Nichtmerkmalsabschnitte mit Bezug auf einen Ablaufplan in 12 beschrieben.
In Schritt S91 greift die Erzeugungs/Aufzeichnungseinheit 241 für ortsbezogene Nichtmerkmalsabschnitte auf die Positions/Bildmerkmalsgrößen-DB 225 zu und liest für einen Ort, der auf der Basis einer Position identifiziert ist, mehrere Bildmerkmalsgrößen, die demselben Ort zugeordnet sind, aus.
In Schritt S92 verarbeitet die Erzeugungs/Aufzeichnungseinheit 241 für ortsbezogene Nichtmerkmalsabschnitte die mehreren Bildmerkmalsgrößen, die demselben Ort zugeordnet sind, statistisch und erzeugt als einen neuen ortsbezogenen Nichtmerkmalsabschnitt einen Bereich, der viele Bildmerkmalsgrößen aufweist, die eine Ähnlichkeit höher als ein vorbestimmter Schwellenwert aufweisen.
In Schritt S93 zeichnet die Erzeugungs/Aufzeichnungseinheit 241 für ortsbezogene Nichtmerkmalsabschnitte den erzeugten neuen ortsbezogenen Nichtmerkmalsabschnitt in der DB 228 für ortsbezogene Nichtmerkmalsabschnitte in Zuordnung zu dem Ort auf.
Die vorstehende Verarbeitung erzeugt einen ortsbezogenen Nichtmerkmalsabschnitt, der durch einen Bereich gebildet ist, der viele Bildmerkmalsgrößen aufweist, die eine Ähnlichkeit höher als ein vorbestimmter Schwellenwert aufweisen, das heißt einen Bereich, der Bildmerkmalsgrößen aufweist, die zur Unterscheidung zwischen Orten nicht notwendig sind, wobei die Bildmerkmalsgrößen diejenigen unter den Bildmerkmalsgrößen, die in der Positions/Bildmerkmalsgrößen-DB 225 aufgezeichnet sind, die demselben Ort zugeordnet sind. Das ermöglicht die Minimierung der Anzahl von Bildmerkmalsgrößen, die denselben Ort identifizieren, und Unterdrücken des Auftretens fehlerhafter Detektion.
«4. Dritte Ausführungsform»
In dem vorstehend beschriebenen Beispiel wird die Positions/Bildmerkmalsgrößen-DB 225 so erzeugt, dass Bildmerkmalsgrößen, die zur Unterscheidung an derselben Position nicht notwendig sind, ausgeschlossen sind, so dass eine Eigenposition selbst in einer Umgebung, in der ähnliche Objekte in dem Umfeld sind, mit hoher Genauigkeit geschätzt werden kann.
Im Übrigen kann, wenn ein mobiles Objekt angehoben wird, rutscht, in eine steile Stufe fällt, gerade angeschaltet worden ist oder dergleichen, seine Eigenposition aufgrund einer plötzlichen Änderung des Zustands gegenüber einem unmittelbar vorhergehenden Fortbewegungszustand unbestimmt werden. In einem solchen Fall wird, da eine geschätzte zeitreiheninformationsbasierte Eigenposition einen großen Fehler aufweist, nur eine auf aktuellen Informationen basierende Eigenposition verwendet, um eine Eigenposition zu schätzen.
In einem solchen Fall kann bestimmt werden, ob eine auf aktuellen Informationen basierende Eigenposition mit hoher Genauigkeit detektiert wird oder nicht, um zu bestimmen, ob die Eigenposition nicht mehr unbestimmt ist oder nicht, und die Verwendung einer zeitreiheninformationsbasierten Eigenposition kann in Übereinstimmung mit einem Bestimmungsergebnis wiederaufgenommen werden.
Um genauer zu sein wird eine Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-DB im Voraus erzeugt, in der auf der Basis von Informationen, die einen ortsbezogenen Nichtmerkmalsabschnitt betreffen, eine Nichtmerkmalsgebietsmerkmalsgröße, die durch Maskieren eines Merkmalsgebiets erhalten wird, das Bildmerkmalsgrößen enthält, die zum Identifizieren einer Eigenposition in einem Tiefenbild nicht nützlich sind, in Zuordnung zu einer Position aufgezeichnet ist. Dann ist es in einem Fall, in dem die Eigenposition unbestimmt geworden ist, möglich, aus einem ortsbezogenen Nichtmerkmalsabschnitt, der einer auf aktuellen Informationen basierenden Eigenposition zugeordnet ist, eine Nichtmerkmalsgebietsmerkmalsgröße zu erhalten, die aus einem Tiefenbild erhalten ist, eine Nichtmerkmalsgebietsmerkmalsgröße, die in der Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-DB in Zuordnung zu einer geschätzten auf aktuellen Informationen basierenden Eigenposition aufgezeichnet ist, auszulesen und dann auf der Basis einer Ähnlichkeit zwischen den zwei Nichtmerkmalsgebiets-Merkmalsgrößen zu bestimmen, ob die geschätzte auf aktuellen Informationen basierende Eigenposition geeignet ist oder nicht.
13 stellt ein Konfigurationsbeispiel einer Eigenpositionsschätzeinheit 132 dar, in der eine Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-DB im Voraus erzeugt ist, und wenn eine Eigenposition unbestimmt ist, wird auf der Basis davon, ob eine auf aktuellen Informationen basierende Eigenposition geeignet ist oder nicht, bestimmt, ob die Eigenposition nicht mehr unbestimmt ist oder nicht.
In der Eigenpositionsschätzeinheit 132 in 13 sind Konfigurationen, die die gleichen Funktionen aufweisen wie diejenigen der Eigenpositionsschätzeinheit 132 in 11, mit den gleichen Bezugszeichen bezeichnet sind, und ihre Beschreibung wie jeweils geeignet weggelassen ist.
Das heißt, die Eigenpositionsschätzeinheit 132 in 13 unterscheidet sich von der Eigenpositionsschätzeinheit 132 in 11 darin, dass eine Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit 251, eine Eigenpositionsprüfeinheit 252, eine Merkmalsgebietsmasken-Erzeugungseinheit 253, eine Merkmalsgrößen-Extraktionseinheit 254, eine Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Aufzeichnungseinheit 255, eine Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-DB 256 und eine Positions/Orts-Umsetzungseinheit 257 (ähnlich der Positions/Orts-Umsetzungseinheit 230) zusätzlich vorgesehen sind, und dass eine Eigenpositionsschätzergebnis-Integrationseinheit 226 mit einer Eigenpositionsunbestimmtheits-Bestimmungseinheit 271 ausgestattet ist.
Die Eigenpositionsunbestimmtheits-Bestimmungseinheit 271 bestimmt, ob die Eigenposition unbestimmt geworden ist oder nicht, beispielsweise auf der Basis der Größe der Änderung der geschätzten Zeitreiheneigenposition, ob die Stromversorgung gerade angeschaltet worden ist oder nicht oder dergleichen. In einem Fall, in dem bestimmt wird, dass die Eigenposition unbestimmt ist, wird ein Betrieb von einer normalen Betriebsart zu einer Betriebsart für unbestimmte Eigenposition geändert, und die Eigenpositionsschätzergebnis-Integrationseinheit 226 wird gesteuert, um eine auf aktuellen Informationen basierende Eigenposition als ein Eigenpositionsschätzergebnis auszuwählen.
In der Betriebsart für unbestimmte Eigenposition liest die Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit 251 aus Ortsinformationen, die durch Umsetzung durch die Positions/Orts-Umsetzungseinheit 257 auf der Basis einer auf aktuellen Informationen basierenden Eigenposition erhalten werden, einen ortsbezogenen Nichtmerkmalsabschnitt aus der DB 228 für ortsbezogene Nichtmerkmalsabschnitte aus. Dann extrahiert die Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit 251 als eine Nichtmerkmalsgebietsmerkmalsgröße eine Merkmalsgröße, die aus einem Bild erhalten wird, das durch Anwenden einer Maske auf ein Merkmalsgebiet in einem Tiefenbild, das von einer Tiefenbilderzeugungseinheit 220 zugeführt wird, erhalten wird, und führt die extrahierte Nichtmerkmalsgebietsmerkmalsgröße der Eigenpositionsprüfeinheit 252 zu.
Die Eigenpositionsprüfeinheit 252 greift auf die Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-DB 256 in der Betriebsart für unbestimmte Eigenposition zu und liest eine im Voraus in Zuordnung zu einer geschätzten auf aktuellen Informationen basierenden Eigenposition aufgezeichnete Nichtmerkmalsgebietsmerkmalsgröße aus. Dann prüft die Eigenpositionsprüfeinheit 252 die auf aktuellen Informationen basierende Eigenposition auf der Basis einer Ähnlichkeit mit der von der Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit 251 zugeführten Nichtmerkmalsgebietsmerkmalsgröße und gibt Informationen, die die Ähnlichkeit betreffen, als Prüfergebnis zu der Eigenpositionsschätzergebnis-Integrationseinheit 226 aus.
Die Eigenpositionsunbestimmtheits-Bestimmungseinheit 271 der Eigenpositionsschätzergebnis-Integrationseinheit 226 ändert den Betrieb von der Betriebsart für unbestimmte Eigenposition zurück auf die normale Betriebsart, wenn die Ähnlichkeit höher ist als ein vorbestimmter Wert und die Genauigkeit der erhaltenen auf aktuellen Informationen basierenden Eigenposition als ausreichend betrachtet wird.
In der Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitung liest die Merkmalsgebietsmasken-Erzeugungseinheit 253 auf der Basis eines Orts, der durch eine zeitreiheninformationsbasierte Eigenposition, die von der Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition zugeführt wird, einen zugeordneten und aufgezeichneten ortsbezogenen Nichtmerkmalsabschnitt aus der DB 228 für ortsbezogene Nichtmerkmalsabschnitte, in der ein Ort und ein ortsbezogener Nichtmerkmalsabschnitt in Zuordnung zueinander aufgezeichnet sind, aus. Dann erzeugt die Merkmalsgebietsmasken-Erzeugungseinheit 253 eine Merkmalsgebietsmaske auf der Basis des gelesenen ortsbezogenen Nichtmerkmalsabschnitts, die Merkmalsgebietsmaske wird einem durch die Tiefenbilderzeugungseinheit 220 aus einem Stereobild erzeugten Tiefenbild durch eine Stereokamera 203 hinzugefügt, und das Tiefenbild wird zu der Merkmalsgrößen-Extraktionseinheit 254 ausgegeben.
Die Merkmalsgrößen-Extraktionseinheit 254 extrahiert eine Merkmalsgröße aus dem Tiefenbild, dem die Merkmalsgebietsmaske hinzugefügt worden ist, und gibt die Merkmalsgröße als eine Nichtmerkmalsgebietsmerkmalsgröße zu der Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Aufzeichnungseinheit 255 aus.
In der Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitung zeichnet die Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Aufzeichnungseinheit 255 in der Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-DB 256 eine Nichtmerkmalsgebietsmerkmalsgröße, die eine Bildmerkmalsgröße ist, die von der Merkmalsgrößen-Extraktionseinheit 254 zugeführt ist, in Zuordnung zu einem zeitreiheninformationsbasierten Eigenpositionsschätzergebnis auf.
Ein ortsbezogener Nichtmerkmalsabschnitt, der in Zuordnung zu einem Ort in der DB 228 für ortsbezogene Nichtmerkmalsabschnitte aufgezeichnet ist, ist beispielsweise, wie in dem linken Teil von 5 dargestellt ist, Informationen, die im Voraus in Zuordnung zu einem Ort aufgezeichnet sind, und identifiziert einen Bereich in einem Tiefenbild, das zum Identifizieren einer auf aktuellen Informationen basierenden Eigenposition verwendet wird, der viele Merkmalsgrößen aufweist, die zur Unterscheidung von anderen Positionen nicht nützlich sind.
<Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitung durch die Steuereinheit für autonomes Fortbewegen in Fig. 13>
Als Nächstes wird die Positions/Bildmerkmalsgrößen-Aufzeichnungsverarbeitung durch eine Steuereinheit 110 für autonomes Fortbewegen in 13 mit Bezug auf einen Ablaufplan in 14 beschrieben.
In Schritt S101 nimmt die Stereokamera 203 ein Parallaxenbild in der Umgebung eines mobilen Objekts 11 auf und gibt das Parallaxenbild als aktuelle Informationen zu der Tiefenbilderzeugungseinheit 220 über eine Detektionseinheit 131 aus.
In Schritt S102 erzeugt die Tiefenbilderzeugungseinheit 220 ein Tiefenbild (Entfernungsmessungsbild) auf der Basis der von der Stereokamera 203 zugeführten Parallaxenbilds.
In Schritt S103 erfasst die Positions/Orts-Umsetzungseinheit 230 eine zeitreiheninformationsbasierte Eigenposition, die durch die Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition geschätzt ist, setzt die zeitreiheninformationsbasierte Eigenposition in Ortsinformationen um, die der zeitreiheninformationsbasierten Eigenposition entsprechen, und führt die Ortsinformationen einer Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 und der Merkmalsgebietsmasken-Erzeugungseinheit 253 zu.
In Schritt S104 greift die Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 auf die DB 228 für ortsbezogene Nichtmerkmalsabschnitte zu, liest einen ortsbezogenen Nichtmerkmalsabschnitt, der in Zuordnung zu einem Ort aufgezeichnet ist, aus und erzeugt eine Nichtmerkmalsgebietsmaske zum Maskieren eines Bereichs in dem Tiefenbild, der viele Merkmalsgrößen auf weist, die zum Identifizieren einer Position nicht nützlich sind.
In Schritt S105 fügt die Nichtmerkmalsgebietsmasken-Erzeugungseinheit 227 die erzeugte Nichtmerkmalsgebietsmaske dem Tiefenbild hinzu und gibt dann das Tiefenbild zu einer Merkmalsgrößen-Extraktionseinheit 223 aus.
In Schritt S106 extrahiert die Merkmalsgrößen-Extraktionseinheit 223 eine Bildmerkmalsgröße aus dem Tiefenbild, zu dem die Nichtmerkmalsgebietsmaske hinzugefügt worden ist, und gibt die extrahierte Bildmerkmalsgröße zu einer Positions/Bildmerkmalsgrößen-Aufzeichnungseinheit 229 aus.
In Schritt S107 zeichnet die Positions/Bildmerkmalsgrößen-Aufzeichnungseinheit 229 die geschätzte zeitreiheninformationsbasierte Eigenposition und die Bildmerkmalsgröße in Zuordnung zueinander in der Positions/Bildmerkmalsgrößen-DB 225 auf.
In Schritt S108 greift die Merkmalsgebietsmasken-Erzeugungseinheit 253 auf die DB 228 für ortsbezogene Nichtmerkmalsabschnitte zu, liest einen zugeordneten und aufgezeichneten ortsbezogenen Nichtmerkmalsabschnitt auf der Basis der zeitreiheninformationsbasierten Eigenposition aus und erzeugt eine Merkmalsgebietsmaske zum Maskieren eines Bereichs in dem Tiefenbild, der viele Merkmalsgrößen aufweist, die zum Identifizieren einer Position nicht nützlich sind.
In Schritt S109 fügt die Merkmalsgebietsmasken-Erzeugungseinheit 253 die erzeugte Merkmalsgebietsmaske dem Tiefenbild hinzu und gibt dann das Tiefenbild zu der Merkmalsgrößen-Extraktionseinheit 254 aus.
In Schritt S110 extrahiert die Merkmalsgrößen-Extraktionseinheit 254 eine Bildmerkmalsgröße aus dem Tiefenbild, dem die Merkmalsgebietsmaske hinzugefügt worden ist, und gibt die Bildmerkmalsgröße als eine Nichtmerkmalsgebietsmerkmalsgröße zu der Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Aufzeichnungseinheit 255 aus.
In Schritt S111 zeichnet die Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Aufzeichnungseinheit 255 in der Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-DB 256 die geschätzten zeitreiheninformationsbasierte Eigenposition und die Nichtmerkmalsgebietsmerkmalsgröße in Zuordnung zueinander auf.
Durch die vorstehende Verarbeitung werden, wie für eine Bildmerkmalsgröße, die in Zuordnung zu einer Position aufgezeichnet werden soll, Bildmerkmalsgrößen mit einer zu einem Bereich in einem Tiefenbild hinzugefügten Maske extrahiert, der viele Bildmerkmalsgrößen aufweist, die zur Unterscheidung von anderen Positionen nicht nützlich sind, und somit werden viele Bildmerkmalsgrößen, die zur Unterscheidung von anderen Positionen nützlich sind, erzeugt. Außerdem werden, wie für eine Nichtmerkmalsgebietsmerkmalsgröße, die in Zuordnung zu einer Position aufgezeichnet werden soll, Nichtmerkmalsgebiets-Merkmalsgrößen extrahiert, wobei eine Maske einem Bereich in einem Tiefenbild hinzugefügt ist, der viele Bildmerkmalsgrößen aufweist, die zur Unterscheidung von anderen Positionen nützlich sind, und somit werden viele Nichtmerkmalsgebiets-Merkmalsgrößen, die zur Unterscheidung von anderen Positionen nicht nützlich sind, der Position zugeordnet, um die Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-DB 256 zu erzeugen.
<Steuerungsverarbeitung für autonomes Fortbewegen durch die Steuereinheit für autonomes Fortbewegen in Fig. 13>
Als Nächstes wird Steuerungsverarbeitung für autonomes Fortbewegen in der Steuereinheit 110 für autonomes Fortbewegen in 13 mit Bezug auf einen Ablaufplan in 15 beschrieben.
In Schritt S121 führt die Einheit 221 zum Schätzen der zeitreiheninformationsbasierten Eigenposition Verarbeitung zum Schätzen der zeitreiheninformationsbasierten Eigenposition aus, um eine zeitreiheninformationsbasierte Eigenposition zu schätzen, und gibt die zeitreiheninformationsbasierte Eigenposition zu der Eigenpositionsschätzergebnis-Integrationseinheit 226 aus. Es wird darauf hingewiesen, dass die Verarbeitung zum Schätzen der zeitreiheninformationsbasierten Eigenposition ähnlich der mit Bezug auf den Ablaufplan von 7 beschriebenen Verarbeitung ist, und deshalb wird ihre Beschreibung weggelassen.
In Schritt S122 führt eine Einheit 224 zum Schätzen der auf aktuellen Informationen basierenden Eigenposition Verarbeitung zum Schätzen der auf aktuellen Informationen basierenden Eigenposition aus, um eine auf aktuellen Informationen basierende Eigenposition zu schätzen, und gibt die auf aktuellen Informationen basierende Eigenposition zu der Eigenpositionsschätzergebnis-Integrationseinheit 226 aus. Es wird darauf hingewiesen, dass die Verarbeitung zum Schätzen der auf aktuellen Informationen basierenden Eigenposition ähnlich der mit Bezug auf den Ablaufplan von 8 beschriebenen Verarbeitung ist, und deshalb wird ihre Beschreibung weggelassen.
In Schritt S123 integriert die Eigenpositionsschätzergebnis-Integrationseinheit 226 die zeitreiheninformationsbasierte Eigenposition und die auf aktuellen Informationen basierende Eigenposition mit beispielsweise einem Kalman-Filter oder einem Partikelfilter und gibt die integrierten Eigenpositionsinformationen als ein Eigenpositionsschätzergebnis zu einer Situationserkennungseinheit 152 aus.
In Schritt S124 bestimmt die Eigenpositionsunbestimmtheits-Bestimmungseinheit 217, ob die Eigenposition unbestimmt ist oder nicht. Beispielsweise bestimmt die Eigenpositionsunbestimmtheits-Bestimmungseinheit 271, ob die Eigenposition unbestimmt ist oder nicht, beispielsweise auf der Basis davon, ob sich das Eigenpositionsschätzergebnis um eine Größe geändert hat, die größer ist als ein vorbestimmter Wert, oder nicht, oder ob die Stromversorgung gerade angeschaltet worden ist oder nicht.
In einem Fall, in dem in Schritt S124 bestimmt wird, dass die Eigenposition nicht unbestimmt ist, fährt die Verarbeitung zu Schritt S125 fort.
In Schritt S125 zeichnet die Eigenpositionsschätzergebnis-Integrationseinheit 226 das Eigenpositionsschätzergebnis in der Positions/Bildmerkmalsgrößen-DB 225 in Zuordnung zu einer Merkmalsgröße in einem Tiefenbild, das aus einem Parallaxenbild erhalten wird, das aktuelle Informationen ist, die zum Identifizieren des Eigenpositionsschätzergebnisses verwendet werden, auf.
In Schritt S126 führt die Situationserkennungseinheit 152 Verarbeitung zum Erkennen einer Situation des mobilen Objekts und einer Situation in der Umgebung des mobilen Objekts auf der Basis des Eigenpositionsschätzergebnisses aus und gibt das Erkennungsergebnis zu einer Aktionsplan-Verarbeitungseinheit 122 aus.
In Schritt S127 plant eine Routenplanungseinheit 161 der Aktionsplan-Verarbeitungseinheit 122 eine Route zu einem Ziel und gibt die Route zu einer Aktionsplanungseinheit 162 aus.
In Schritt S128 plant die Aktionsplanungseinheit 162 eine Aktion auf der Basis der Route zu dem Ziel und gibt die Aktion als einen Aktionsplan zu einer Betriebsplanungseinheit 163 aus.
In Schritt S129 plant die Betriebsplanungseinheit 163 eine Operation auf der Basis des von der Aktionsplanungseinheit 162 zugeführten Aktionsplans und gibt die Operation als einen Operationsplan zu einer Aktionssteuerungs-Verarbeitungseinheit 123 aus.
In Schritt S130 steuert die Aktionssteuerungs-Verarbeitungseinheit 123 auf der Basis der Operationsplans eine Operation jedes der Aktoren 23a einer Aktorgruppe 113, um eine Aktion des mobilen Objekts 11 zu steuern.
In Schritt S131 wird bestimmt, ob eine Beendigung angewiesen worden ist oder nicht. In einem Fall, in dem bestimmt wird, dass die Beendigung nicht angewiesen worden ist, kehrt die Verarbeitung zu Schritt S121 zurück. Das heißt, solange die Eigenposition nicht unbestimmt wird, wird die Verarbeitung der Schritte S121 bis S131, das heißt die Verarbeitung, die in einem Fall auszuführen ist, in dem der Betrieb in der normalen Betriebsart ist, wiederholt, und das mobile Objekt 11 bewegt sich weiterhin autonom.
Andererseits fährt in einem Fall, in dem in Schritt S124 bestimmt wird, dass die Eigenposition unbestimmt ist, die Verarbeitung zu Schritt S132 fort.
In Schritt S132 schaltet die Eigenpositionsunbestimmtheits-Bestimmungseinheit 271 den Betrieb auf die Betriebsart für unbestimmte Eigenposition um, um Verarbeitung in der Betriebsart für unbestimmte Eigenposition auszuführen, und ermöglicht dadurch die Steuerung für die Steuerungsverarbeitung für autonomes Fortbewegen basierend auf der auf aktuellen Informationen basierenden Eigenposition. Dann wird, bis ein Zustand erreicht ist, in dem die auf aktuellen Informationen basierende Eigenposition ordnungsgemäß geschätzt werden kann, die Verarbeitung in der Betriebsart für unbestimmte Eigenposition fortgesetzt. In einem Fall, in dem ein Zustand, in der die auf aktuellen Informationen basierende Eigenposition ordnungsgemäß geschätzt werden kann, erreicht worden ist, wird der Betrieb von der Betriebsart für unbestimmte Eigenposition zurück in die normale Betriebsart (die Verarbeitung der Schritte S121 bis S131) geschaltet.
<Verarbeitung in der Betriebsart für unbestimmte Eigenposition>
Als Nächstes wird die Verarbeitung in der Betriebsart für unbestimmte Eigenposition mit Bezug auf den Ablaufplan in 16 beschrieben.
In Schritt S151 führt die Einheit 224 zum Schätzen der auf aktuellen Informationen basierenden Eigenposition die Verarbeitung zum Schätzen der auf aktuellen Informationen basierenden Eigenposition aus, um eine auf aktuellen Informationen basierende Eigenposition zu schätzen, und gibt die auf aktuellen Informationen basierende Eigenposition zu der Eigenpositionsschätzergebnis-Integrationseinheit 226 und der Positions/Orts-Umsetzungseinheit 257 aus. Es wird darauf hingewiesen, dass die Verarbeitung zum Schätzen der auf aktuellen Informationen basierenden Eigenposition ähnlich der mit Bezug auf den Ablaufplan von 8 beschriebenen Verarbeitung ist, und deshalb wird ihre Beschreibung weggelassen.
In Schritt S152 liest die Positions/Orts-Umsetzungseinheit 257 Informationen aus, die einen Ort, der in Zuordnung zu der auf aktuellen Informationen basierenden Eigenposition aufgezeichnet ist, betreffen und gibt die Informationen zu der Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit 251 aus.
In Schritt S153 greift die Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit 251 auf die DB 228 für ortsbezogene Nichtmerkmalsabschnitte zu und extrahiert einen ortsbezogenen Nichtmerkmalsabschnitt, der in Zuordnung zu dem Ort, der der auf aktuellen Informationen basierenden Eigenposition entspricht, aufgezeichnet ist.
In Schritt S154 extrahiert die Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit 251 eine Bildmerkmalsgröße mit einer Maske, die einem Merkmalsgebiet in einem Tiefenbild hinzugefügt ist, auf der Basis des ortsbezogenen Nichtmerkmalsgebiets, das in Zuordnung zu dem Ort, der der auf aktuellen Informationen basierenden Eigenposition entspricht, aufgezeichnet ist, und gibt die Bildmerkmalsgröße als eine Nichtmerkmalsgebietsmerkmalsgröße zu der Eigenpositionsprüfeinheit 252 aus.
In Schritt S155 greift die Eigenpositionsprüfeinheit 252 auf die Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-DB 256 zu und liest eine Nichtmerkmalsgebietsmerkmalsgröße, die in Zuordnung zu der geschätzten auf aktuellen Informationen basierenden Eigenposition aufgezeichnet ist, aus.
In Schritt S156 berechnet die Eigenpositionsprüfeinheit 252 eine Ähnlichkeit zwischen der in Zuordnung zu der geschätzten auf aktuellen Informationen basierenden Eigenposition aufgezeichneten Nichtmerkmalsgebietsmerkmalsgröße und der aus dem Tiefenbild extrahierten Nichtmerkmalsgebietsmerkmalsgröße.
In Schritt S157 bestimmt die Eigenpositionsprüfeinheit 252 auf der Basis davon, ob die Ähnlichkeit größer ist als ein vorbestimmter Schwellenwert oder nicht, ob die auf aktuellen Informationen basierende Eigenposition mit einer vorbestimmten Genauigkeit erhalten worden ist oder nicht. Das heißt, in einem Fall, in dem die auf aktuellen Informationen basierende Eigenposition mit ausreichender Genauigkeit erhalten worden ist, stimmen die beiden überein, und die Ähnlichkeit sollte größer sein als der vorbestimmte Schwellenwert. In einem Fall jedoch, in dem die auf aktuellen Informationen basierende Eigenposition nicht mit ausreichender Genauigkeit erhalten worden ist, stimmen die beiden nicht überein, und die Ähnlichkeit wird niedriger als der vorbestimmte Schwellenwert. Beispielsweise fährt in einem Fall, in dem bestimmt wird, dass die Ähnlichkeit niedriger ist als der vorbestimmte Schwellenwert und die Genauigkeit der auf aktuellen Informationen basierenden Eigenposition nicht ausreichend ist, die Verarbeitung zu Schritt S158 fort.
In Schritt S158 gibt die Eigenpositionsschätzergebnis-Integrationseinheit 226 die auf aktuellen Informationen basierende Eigenposition als ein Eigenpositionsschätzergebnis zu der Situationserkennungseinheit 152 aus.
In Schritt S159 führt die Situationserkennungseinheit 152 Verarbeitung zum Erkennen einer Situation des mobilen Objekts und einer Situation in der Umgebung des mobilen Objekts auf der Basis des Eigenpositionsschätzergebnisses aus und gibt das Erkennungsergebnis zu der Aktionsplan-Verarbeitungseinheit 122 aus.
In Schritt S160 plant die Routenplanungseinheit 161 der Aktionsplan-Verarbeitungseinheit 122 eine Route zu einem Ziel und gibt die Route zu der Aktionsplanungseinheit 162 aus.
In Schritt S161 plant die Aktionsplanungseinheit 162 eine Aktion auf der Basis der Route zu dem Ziel und gibt die Aktion als einen Aktionsplan zu der Betriebsplanungseinheit 163 aus.
In Schritt S162 plant die Betriebsplanungseinheit 163 eine Operation auf der Basis des von der Aktionsplanungseinheit 162 zugeführten Aktionsplans und gibt die Operation als einen Operationsplan zu der Aktionssteuerungs-Verarbeitungseinheit 123 aus.
In Schritt S163 steuert die Aktionssteuerungs-Verarbeitungseinheit 123 auf der Basis der Operationsplans eine Operation jedes der Aktoren 23a der Aktorgruppe 113, um eine Aktion des mobilen Objekts 11 zu steuern.
In Schritt S164 wird bestimmt, ob eine Beendigung angewiesen worden ist oder nicht. In einem Fall, in dem bestimmt wird, dass die Beendigung nicht angewiesen worden ist, kehrt die Verarbeitung zu Schritt S151 zurück. Das heißt, die Verarbeitung der Schritte S151 bis S164 wird wiederholt, bis eine Beendigung angewiesen wird, und das mobile Objekt 11 bewegt sich weiterhin in der Betriebsart für unbestimmte Eigenposition auf der Basis der auf aktuellen Informationen basierenden Eigenposition autonom fort.
Andererseits endet die Steuerungsverarbeitung für autonomes Fortbewegen in einem Fall, in dem die Beendigung in Schritt S164 angewiesen worden ist. Das heißt, in diesem Fall endet die Steuerverarbeitung für autonomes Fortbewegen in der Betriebsart für unbestimmte Eigenposition.
Darüber hinaus kann in Schritt S157 in einem Fall, in dem die Ähnlichkeit größer ist als der vorbestimmte Schwellenwert und die im Voraus aus der geschätzten auf aktuellen Informationen basierenden Eigenposition erhaltene Nichtmerkmalsgebietsmerkmalsgröße mit der aus dem Tiefenbild erhaltenen Nichtmerkmalsgebietsmerkmalsgröße auf der Basis des ortsbezogenen Nichtmerkmalsabschnitts, der in Zuordnung zu der auf aktuellen Informationen basierenden Eigenposition erhalten wird, übereinstimmt, die auf aktuellen Informationen basierende Eigenposition als gleich der oder größer als die vorbestimmte Genauigkeit betrachtet werden. Somit kehrt die Verarbeitung zu Schritt S131 in 15 zurück, der Betrieb ändert sich von der Betriebsart für unbestimmte Eigenposition zurück zu der normalen Betriebsart, und die folgende Verarbeitung wird wiederholt.
Das heißt, da die zeitreiheninformationsbasierte Eigenposition nicht verwendet werden kann, um eine absolute Position zu erfassen, ist es in einem Fall, in dem die Eigenposition unbestimmt geworden ist, notwendig, wenigstens einmal die auf aktuellen Informationen basierende Eigenposition zu verwenden, um die absolute Position zu erfassen. Aus diesem Grund wird in einem Fall, in dem die Eigenposition unbestimmt geworden ist, die auf aktuellen Informationen basierende Eigenposition als ein Eigenpositionsschätzergebnis verwendet, bis ein Zustand erreicht ist, in dem die auf aktuellen Informationen basierende Eigenposition verwendet werden kann, um die absolute Position mit vorbestimmter Genauigkeit zu erfassen, und dann wird, nachdem die Genauigkeit des Eigenpositionsschätzergebnisses ein gewisses Niveau erreicht hat, die Eigenposition unter Verwendung auch der zeitreiheninformationsbasierten Eigenposition geschätzt.
Es wird darauf hingewiesen, dass in dem vorstehend beschriebenen Beispiel in der Verarbeitung zum Schätzen der auf aktuellen Informationen basierenden Eigenposition ein Tiefenbild durch die Tiefenbilderzeugungseinheit 220 aus einem durch die Stereokamera 203 aufgenommenen Stereobild erzeugt wird, eine Maske, die einem ortsbezogenen Nichtmerkmalsabschnitt entspricht, auf das Tiefenbild angewandt wird, eine Bildmerkmalsgröße extrahiert wird und zugeordnete und aufgezeichnete Positionsinformationen aus der Positions/Bildmerkmalsgrößen-DB 225 ausgelesen werden, um eine auf aktuellen Informationen basierende Eigenposition zu schätzen. Alternativ kann die auf aktuellen Informationen basierende Eigenposition unter Verwendung beispielsweise dreidimensionaler Punktwolkendaten unter eines LIDAR als ein dreidimensionales Bild anstelle der Verwendung der Stereokamera 203 geschätzt werden.
Darüber hinaus kann ein Tiefenbild unter Verwendung einer Kombination aus einem zweidimensionalen Bild und einem Flugzeit- (ToF-) Sensor erzeugt werden, um die auf aktuellen Informationen basierende Eigenposition zu schätzen.
«5. Beispiel für die Ausführung durch Software»
Im Übrigen kann die Reihe von Verarbeitungseinheiten, die vorstehend beschrieben sind, nicht nur durch Hardware, sondern auch durch Software ausgeführt werden. In einem Fall, in dem Reihen von Verarbeitungseinheiten durch Software ausgeführt werden, wird ein Programm, das die Software bildet, von einem Aufnahmemedium beispielsweise in einen in dedizierte Hardware eingebauten Computer oder einen Allzweckcomputer, der zum Ausführen verschiedener Funktionen mit verschiedenen darin installierten Programmen fähig ist, installiert.
17 stellt ein Konfigurationsbeispiel eines Allzweckcomputers dar. Dieser Personalcomputer weist eine eingebaute zentrale Verarbeitungseinheit (CPU) 1001 auf. Die CPU 1001 ist mit einer Eingabe/Ausgabe-Schnittstelle 1005 über einen Bus 1004 verbunden. Der Bus 1004 ist mit einem Festwertspeicher (ROM) 1002 und einem Direktzugriffsspeicher (RAM) 1003 verbunden.
Die Eingabe/Ausgabe-Schnittstelle 1005 ist mit einer Eingabeeinheit 1006, einer Ausgabeeinheit 1007, einer Speichereinheit 1008 und einer Kommunikationseinheit 1009 verbunden. Die Eingabeeinheit 1006 weist eine Eingabevorrichtung wie z. B. eine Tastatur und eine Maus auf, die von einem Anwender verwendet werden, um einen Bedienbefehl einzugeben. Die Ausgabeeinheit 1007 gibt einen Verarbeitungsoperationsbildschirm und ein Bild eines Verarbeitungsergebnisses zu einer Anzeigevorrichtung aus. Die Speichereinheit 1008 weist ein Festplattenlaufwerk oder dergleichen zum Speichern von Programmen und verschiedenen Typen von Daten auf. Die Kommunikationseinheit 1009 weist einen Adapter für ein lokales Netz (LAN) oder dergleichen aus und führt Kommunikationsverarbeitung über ein Netz, wie es durch das Internet repräsentiert ist, aus. Darüber hinaus ist die Eingabe/Ausgabe-Schnittstelle 1005 mit einem Laufwerk 1010 verbunden, das Daten aus einem herausnehmbaren Medium 1011 wie z. B. einer Magnetplatte (einschließlich einer flexiblen Platte), einer optischen Platte (einschließlich eines Compact-Disc-Festwertspeichers (CD-ROM) und einer Digital-Versatile-Disc (DVD)), einer magneto-optischen Platte (einschließlich einer Mini-Disc (MD)) oder einem Halbleiterspeicher liest und darauf schreibt.
Die CPU 1001 führt verschiedene Typen von Verarbeitung in Übereinstimmung mit einem in dem ROM 1002 gespeicherten Programm oder einem Programm, das aus einem herausnehmbaren Medium 1011 wie z. B. einer Magnetplatte, einer optischen Platte, einer magneto-optischen Platte oder einem Halbleiterspeicher, die/der in der Speichereinheit 1008 installiert ist, ausgelesen und aus der Speichereinheit 1008 in den RAM 1003 geladen wird, aus. Der RAM 1003 speichert außerdem wie jeweils erforderlich Daten oder dergleichen, die notwendig sind, damit die CPU 1001 die verschiedenen Typen der Verarbeitung ausführen kann.
Um die Reihe der vorstehend beschriebenen Verarbeitungseinheiten auszuführen, veranlasst der wie vorstehend beschrieben ausgebildete Computer die CPU 1001 beispielsweise dazu, ein in der Speichereinheit 1008 gespeichertes Programm über die Eingabe/Ausgabe-Schnittstelle 1005 und den Bus 1004 in den RAM 1003 zu laden und dann das Programm auszuführen.
Das Programm, das durch den Computer (die CPU 1001) auszuführen ist, kann beispielsweise dadurch bereitgestellt sein, dass es auf dem herausnehmbaren Medium 1011 als ein gepacktes Medium oder dergleichen aufgezeichnet ist. Darüber hinaus kann das Programm über ein drahtgebundenes oder drahtloses Übertragungsmedium wie z. B. ein lokales Netz, das Internet oder digitales Satellitenrundsenden bereitgestellt sein.
Das Einführen des herausnehmbaren Mediums 1011 in das Laufwerk 1010 ermöglicht es, dass der Computer das Programm in die Speichereinheit 1008 über die Eingabe/Ausgabe-Schnittstelle 1005 installiert. Darüber hinaus kann das Programm durch die Kommunikationseinheit 1009 über ein drahtgebundenes oder drahtloses Übertragungsmedium empfangen und in die Speichereinheit 1008 installiert werden. Alternativ kann das Programm im Voraus in dem ROM 1002 oder die Speichereinheit 1008 installiert sein.
Es wird darauf hingewiesen, dass das Programm, das durch den Computer auszuführen ist, ein Programm sein kann, das die Verarbeitungseinheiten in einer Zeitreihenreihenfolge ausführt, wie in der vorliegenden Spezifikation beschrieben ist, oder ein Programm sein kann, der die Verarbeitungseinheiten parallel oder bei Bedarf ausführt, beispielsweise wenn die Verarbeitung aufgerufen wird.
Es wird darauf hingewiesen, dass die CPU 1001 in 17 die Funktion der Steuereinheit 110 für autonomes Fortbewegen in 3 implementiert. Darüber hinaus bildet die Speichereinheit 1008 in 17 die Speichereinheit 109 in 3.
Darüber hinaus bedeutet in der vorliegenden Spezifikation ein System eine Gruppe aus mehreren Komponenten (Vorrichtungen, Module (Teile) und dergleichen), und es ist ohne Bedeutung, ob alle Komponenten in demselben Gehäuse sind oder nicht. Infolgedessen sind sowohl mehrere Vorrichtungen, die in separaten Gehäusen aufgenommen und über ein Netz verbunden sind, als auch eine Vorrichtung, die mehrere Module aufweist, die in einem Gehäuse aufgenommen sind, Systeme.
Es wird darauf hingewiesen, dass Ausführungsformen der vorliegenden Offenbarung nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt sind und innerhalb eines Schutzbereichs der vorliegenden Offenbarung auf verschiedene Arten modifiziert sein können.
Beispielsweise kann die vorliegende Offenbarung eine Cloud-Computing-Konfiguration aufweisen, in der mehrere Vorrichtungen eine Funktion gemeinsam verwenden und bei der Verarbeitung über ein Netz zusammenwirken.
Darüber hinaus kann jeder in den vorstehend beschriebenen Ablaufplänen beschriebene Schritt durch eine Vorrichtung ausgeführt werden oder kann mehreren Vorrichtungen gemeinsam sein.
Außerdem können in einem Fall, in dem mehrere Typen von Verarbeitung in einem Schritt enthalten sind, die mehreren Typen der Verarbeitung, die in diesem Schritt enthalten sind, durch eine Vorrichtung ausgeführt werden oder mehreren Vorrichtungen gemeinsam sein.
Es wird darauf hingewiesen, dass die vorliegende Offenbarung auch wie nachstehend beschrieben ausgebildet sein kann.

<1> Steuervorrichtung, die Folgendes aufweist:
- eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt;
- eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt;
- eine erste Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt;
- eine erste Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert; und
- eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank aufzeichnet.
<2> Steuervorrichtung nach <1>, wobei die erste Maskenerzeugungseinheit eine Maske für ein Nichtmerkmalsgebiet erzeugt, das ein Bereich in dem Bild des Umfelds ist, der zum Identifizieren der Eigenposition nicht nützlich ist, in Übereinstimmung mit einem Ort, der der Eigenposition entspricht, auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist.
<3> Steuervorrichtung nach <2>, die ferner Folgendes aufweist:
- eine Datenbank für ortsbezogene Nichtmerkmalsabschnitte, in der der ortsbezogene Nichtmerkmalsabschnitt in Zuordnung zu dem Ort aufgezeichnet ist,
- wobei die erste Maskenerzeugungseinheit eine Maske für ein Nichtmerkmalsgebiet erzeugt, das ein Bereich in dem Bild des Umfelds ist, der zum Identifizieren der Eigenposition nicht nützlich ist, auf der Basis des ortsbezogenen Nichtmerkmalsabschnitts, der in der Datenbank für ortsbezogene Nichtmerkmalsabschnitte in Zuordnung zu einem Ort, der der Eigenposition entspricht, aufgezeichnet ist.
<4> Steuervorrichtung nach einem aus <1> bis <3>, wobei die erste Merkmalsgrößen-Extraktionseinheit eine Bildmerkmalsgröße aus dem durch die Bildaufnahmeeinheit aufgenommenen Bild des Umfelds extrahiert, und ferner eine Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition, die die Positionsinformationen, die in der Datenbank in Zuordnung zu der Bildmerkmalsgröße aufgezeichnet sind, als eine auf aktuellen Informationen basierende Eigenposition schätzt, enthalten ist.
<5> Steuervorrichtung nach <4>, die ferner Folgendes aufweist:
- eine Integrationseinheit, die eine durch die Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition geschätzte auf aktuellen Informationen basierende Eigenposition und eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition integriert und als ein Eigenpositionsschätzergebnis ausgibt,
- wobei die Integrationseinheit das Eigenpositionsschätzergebnis und eine durch die erste Merkmalsgrößen-Extraktionseinheit extrahierte Bildmerkmalsgröße in Zuordnung zueinander in der Datenbank aufzeichnet.
<6> Steuervorrichtung nach <5>, die ferner Folgendes aufweist:
- eine Datenbank für ortsbezogene Nichtmerkmalsabschnitte, in der der ortsbezogene Nichtmerkmalsabschnitt in Zuordnung zu einem Ort, der der Eigenposition entspricht, aufgezeichnet ist; und
- eine Erzeugungs/Aufzeichnungseinheit für ortsbezogene Nichtmerkmalsabschnitte, die einen Bereich als ein neues Element des ortsbezogenen Nichtmerkmalsabschnitts in Zuordnung zu demselben Ort erzeugt, wobei der Bereich statistisch ähnliche Bildmerkmalsgrößen aus mehreren Bildmerkmalsgrößen an demselben Ort aufweist, der auf der Basis einer Position, die in der Datenbank aufgezeichnet ist, identifiziert ist, und den ortsbezogenen Nichtmerkmalsabschnitt in der Datenbank für ortsbezogene Nichtmerkmalsabschnitte aufzeichnet.
<7> Steuervorrichtung nach <5>, die ferner Folgendes aufweist:
- eine zweite Maskenerzeugungseinheit, die auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der nicht zum Identifizieren einer Eigenposition nützlich ist, eine Maske für ein Merkmalsgebiet, das ein Bereich in dem Bild des Umfelds ist, der nicht zum Identifizieren der Eigenposition nützlich ist, erzeugt;
- eine zweite Merkmalsgrößen-Extraktionseinheit, die als eine Nichtmerkmalsgebietsmerkmalsgröße eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die zweite Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert;
- eine Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Datenbankaufzeichnungseinheit, die in einer Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Datenbank die Nichtmerkmalsgebietsmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, aufzeichnet;
- eine Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit, die eine Nichtmerkmalsgebietsmerkmalsgröße für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts eines Orts, der der auf aktuellen Informationen basierenden Eigenposition entspricht, extrahiert; und
- eine Prüfeinheit, die die auf aktuellen Informationen basierende Eigenposition auf der Basis einer Ähnlichkeit zwischen der durch die Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit extrahierten Nichtmerkmalsgebietsmerkmalsgröße und der in der Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Datenbank in Zuordnung zu der auf aktuellen Informationen basierenden Eigenposition aufgezeichneten Nichtmerkmalsgebietsmerkmalsgröße prüft.
<8> Steuervorrichtung nach <7>, die ferner Folgendes aufweist:
- eine Eigenpositionsunbestimmtheits-Bestimmungseinheit, die auf der Basis einer Zeitreihenänderungsgröße eines Eigenpositionsschätzergebnisses, das von der Integrationseinheit ausgegeben wird, oder auf der Basis davon, ob die Energieversorgung eingeschaltet worden ist oder nicht, bestimmt, ob eine Eigenposition unbestimmt ist,
- wobei in einem Fall, in dem die Eigenposition unbestimmt ist, die Integrationseinheit die auf aktuellen Informationen basierende Eigenposition als ein Eigenpositionsschätzergebnis ausgibt,
- die Prüfeinheit die auf aktuellen Informationen basierende Eigenposition auf der Basis einer Ähnlichkeit zwischen der durch die Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit extrahierten Nichtmerkmalsgebietsmerkmalsgröße und der in der Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Datenbank in Zuordnung zu der auf aktuellen Informationen basierenden Eigenposition aufgezeichneten Nichtmerkmalsgebietsmerkmalsgröße prüft,
- in einem Fall, in dem die Ähnlichkeit kleiner ist als ein vorbestimmter Schwellenwert, bestimmt wird, dass die Eigenposition unbestimmt ist, und die Integrationseinheit die auf aktuellen Informationen basierende Eigenposition als ein Eigenpositionsschätzergebnis ausgibt, und
- in einem Fall, in dem die Ähnlichkeit größer ist als der vorbestimmte Schwellenwert, bestimmt wird, dass die Eigenposition nicht mehr unbestimmt ist, und die Integrationseinheit die auf aktuellen Informationen basierende Eigenposition, die durch die Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition geschätzt ist, und eine Eigenposition, die durch die Eigenpositionsschätzeinheit geschätzt ist, integriert und ein Integrationsergebnis als ein Eigenpositionsschätzergebnis ausgibt.
<9> Steuervorrichtung nach einem aus <1> bis <8>, wobei der ortsbezogene Nichtmerkmalsabschnitt durch eine Tabelle gebildet ist, die einen Ort, der der Eigenposition entspricht, und einen ortsbezogenen Nichtmerkmalsabschnitt beinhaltet.
<10> Steuervorrichtung nach <9>, wobei der ortsbezogene Nichtmerkmalsabschnitt durch eine Tabelle, die einen der Eigenposition entsprechenden Ort und ein Ortsattribut, das eine Abstraktion des Ortes ist, beinhaltet, und eine Tabelle, die das Ortsattribut und den ortsbezogenen Nichtmerkmalsabschnitt beinhaltet, gebildet ist.
<11> Steuervorrichtung nach einem aus <1> bis <10>, wobei die Bildaufnahmeeinheit eine Stereokamera ist, das Bild des Umfelds, das durch die Stereokamera aufgenommen ist, ein Stereobild ist, ferner eine Tiefenbilderzeugungseinheit, die dazu ausgebildet ist, ein Tiefenbild auf der Basis des Stereobilds zu erzeugen, enthalten ist, die erste Maskenerzeugungseinheit eine Maske für das Bild des Umfelds, das das Tiefenbild aufweist, auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, in Übereinstimmung mit einem Ort, der der Eigenposition entspricht, erzeugt, und die erste Merkmalsgrößen-Extraktionseinheit eine Bildmerkmalsgröße aus dem Bild des Umfelds, das das Tiefenbild mit der hinzugefügten Maske aufweist, extrahiert.
<12> Steuervorrichtung nach einem aus <1> bis <11>, wobei die Eigenpositionsschätzeinheit Folgendes aufweist:
- eine Einheit zum Schätzen der zeitreiheninformationsbasierten Eigenposition, die die Eigenposition durch Verwenden von Zeitreiheninformationen, die Sensorinformationen aufweisen, die in einer Zeitreihenreihenfolge zugeführt werden, enthalten, schätzt und ein Schätzergebnis als eine zeitreiheninformationsbasierte Eigenposition ausgibt.
<13> Steuervorrichtung nach <12>, wobei die Zeitreiheninformationen dreidimensionale Punktwolkendaten sind, die durch eine Lichtdetektion und Entfernungsmessung oder Laserbildaufnahmedetektion und Entfernungsmessung (LIDAR) detektiert werden, und Positionsinformationen, eine Stellung, eine Geschwindigkeit, eine Beschleunigung und eine Winkelgeschwindigkeit, die durch einen Radwertgeber detektiert wird, aufweisen.
<14> Steuerverfahren, das Folgendes aufweist:
- Eigenpositionsschätzungsverarbeitung zum Schätzen einer Eigenposition;
- Bildverarbeitung zum Aufnehmen eines Bilds des Umfelds;
- erste Maskenerzeugungsverarbeitung zum Erzeugen einer Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist;
- erste Merkmalsgrößenextraktionsverarbeitung zum Extrahieren einer Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungsverarbeitung hinzugefügt worden ist; und
- Aufzeichnungsverarbeitung zum Aufzeichnen der Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die die durch die Eigenpositionsschätzungsverarbeitung geschätzte Eigenposition betreffen, als eine Datenbank.
<15> Programm, das einen Computer veranlasst, als Folgendes zu Funktionieren:
- eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt;
- eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt;
- eine erste Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt;
- eine erste Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert; und
- eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank aufzeichnet.
<16> Mobiles Objekt, das Folgendes aufweist:
- eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt;
- eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt;
- eine erste Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt;
- eine erste Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert; und
- eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank aufzeichnet.
<17> Steuervorrichtung, die ferner Folgendes aufweist:
- eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt;
- eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt;
- eine Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt;
- eine Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert;
- eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank aufzeichnet; und
- eine Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition, die eine auf aktuellen Informationen basierende Eigenposition auf der Basis der Datenbank schätzt,
- wobei in dem Fall des Schätzens der auf aktuellen Informationen basierenden Eigenposition
- die Merkmalsgrößen-Extraktionseinheit die Bildmerkmalsgröße aus dem durch die Bildaufnahmeeinheit aufgenommenen Bild des Umfelds extrahiert, und
- die Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition die in der Datenbank in Zuordnung zu der durch die Merkmalsgrößen-Extraktionseinheit extrahierten Bildmerkmalsgröße aufgezeichneten Positionsinformationen als eine auf aktuellen Informationen basierende Eigenposition schätzt.
<18> Steuerverfahren, das ferner Folgendes aufweist:
- Eigenpositionsschätzungsverarbeitung zum Schätzen einer Eigenposition;
- Bildverarbeitung zum Aufnehmen eines Bilds des Umfelds;
- Maskenerzeugungsverarbeitung zum Erzeugen einer Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist;
- Merkmalsgrößenextraktionsverarbeitung zum Extrahieren einer Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die Maskenerzeugungsverarbeitung hinzugefügt worden ist;
- Aufzeichnungsverarbeitung zum Aufzeichnen der Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzungsverarbeitung geschätzte Eigenposition betreffen, als eine Datenbank; und
- Schätzungsverarbeitung für die auf aktuellen Informationen basierende Eigenposition zum Schätzen einer auf aktuellen Informationen basierenden Eigenposition auf der Basis der Datenbank,
- wobei in dem Fall des Schätzens der auf aktuellen Informationen basierenden Eigenposition
- die Merkmalsgrößenextraktionsverarbeitung die Bildmerkmalsgröße aus dem durch die Bildaufnahmeverarbeitung aufgenommenen Bild des Umfelds extrahiert, und
- die Schätzungsverarbeitung für die auf aktuellen Informationen basierende Eigenposition die Positionsinformationen, die in der Datenbank in Zuordnung zu der durch die Merkmalsgrößenextraktionsverarbeitung extrahierte Bildmerkmalsgröße aufgezeichnet sind, als eine auf aktuellen Informationen basierende Eigenposition schätzt.
<19> Programm, das einen Computer veranlasst, als Folgendes zu Funktionieren:
- eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt;
- eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt;
- eine Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt;
- eine Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert;
- eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, in einer Datenbank aufzeichnet; und
- eine Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition, die eine auf aktuellen Informationen basierende Eigenposition auf der Basis der Datenbank schätzt,
- wobei in dem Fall des Schätzens der auf aktuellen Informationen basierenden Eigenposition
- die Merkmalsgrößen-Extraktionseinheit die Bildmerkmalsgröße aus dem durch die Bildaufnahmeeinheit aufgenommenen Bild des Umfelds extrahiert, und
- die Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition die in der Datenbank in Zuordnung zu der durch die Merkmalsgrößen-Extraktionseinheit extrahierten Bildmerkmalsgröße aufgezeichneten Positionsinformationen als eine auf aktuellen Informationen basierende Eigenposition schätzt.
<20> Mobiles Objekt, das ferner Folgendes aufweist:
- eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt;
- eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt;
- eine Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt;
- eine Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert;
- eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank aufzeichnet; und
- eine Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition, die eine auf aktuellen Informationen basierende Eigenposition auf der Basis der Datenbank schätzt,
- wobei in dem Fall des Schätzens der auf aktuellen Informationen basierenden Eigenposition
- die Merkmalsgrößen-Extraktionseinheit die Bildmerkmalsgröße aus dem durch die Bildaufnahmeeinheit aufgenommenen Bild des Umfelds extrahiert, und
- die Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition die in der Datenbank in Zuordnung zu der durch die Merkmalsgrößen-Extraktionseinheit extrahierten Bildmerkmalsgröße aufgezeichneten Positionsinformationen als eine auf aktuellen Informationen basierende Eigenposition schätzt.

Bezugszeichenliste

11: mobiles Objekt
21: Sensorgruppe
21a und 21a-1 bis 21a-n: Sensor
22: Steuereinheit für autonomes Fortbewegen
23: Aktorgruppe
23a und 23a-1 bis 23a-n: Aktor
31: Erkennungsverarbeitungseinheit
32: Aktionsplan-Verarbeitungseinheit
33: Aktionssteuerungs-Verarbeitungseinheit
41: Routenplanungseinheit
42: Aktionsplanungseinheit
43: Betriebsplanungseinheit
102: Datenerfassungseinheit
105: Ausgabesteuereinheit
106: Ausgabeeinheit
107: Antriebssystemsteuereinheit
108: Antriebssystem
110: Steuereinheit für autonomes Fortbewegen
112: Sensorgruppe
113: Aktorgruppe
121: Erkennungsverarbeitungseinheit
122: Aktionsplan-Verarbeitungseinheit
123: Aktionssteuerungs-Verarbeitungseinheit
134: Planungseinheit
161: Routenplanungseinheit
162: Aktionsplanungseinheit
163: Betriebsplanungseinheit
201: LIDAR
202: Radwertgeber
203: Stereokamera
220: Tiefenbilderzeugungseinheit
221: Einheit zum Schätzen der zeitreiheninformationsbasierten Eigenposition
222: Zeitreiheninformations-DB
223: Merkmalsgrößen-Extraktionseinheit
224: Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition
225: Positions/Bildmerkmalsgrößen-DB
226: Eigenpositionsschätzergebnis-Integrationseinheit
227: Nichtmerkmalsgebietsmasken-Erzeugungseinheit
228: DB für ortsbezogene Nichtmerkmalsabschnitte
229: Positions/Bildmerkmalsgrößen-Aufzeichnungseinheit
230: Positions/Orts-Umsetzungseinheit
241: Erzeugungs/Aufzeichnungseinheit für ortsbezogene Nichtmerkmalsabschnitte
251: Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit
252: Eigenpositionsprüfeinheit
253: Merkmalsgebietsmasken-Erzeugungseinheit
254: Merkmalsgrößen-Extraktionseinheit
255: Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Aufzeichnungseinheit
256: Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-DB
257: Positions/Orts-Umsetzungseinheit
271: Eigenpositionsunbestimmtheits-Bestimmungseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2014012011 [0005]
JP 2012185752 [0005]
JP 2010033447 [0005]

Claims

Steuervorrichtung, die Folgendes umfasst: eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt; eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt; eine erste Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf einer Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt; eine erste Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert; und eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank aufzeichnet.
Steuervorrichtung nach Anspruch 1, wobei die erste Maskenerzeugungseinheit eine Maske für ein Nichtmerkmalsgebiet erzeugt, das ein Bereich in dem Bild des Umfelds ist, der zum Identifizieren der Eigenposition nicht nützlich ist, in Übereinstimmung mit einem Ort, der der Eigenposition entspricht, auf einer Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist.
Steuervorrichtung nach Anspruch 2, die ferner Folgendes aufweist: eine Datenbank für ortsbezogene Nichtmerkmalsabschnitte, in der der ortsbezogene Nichtmerkmalsabschnitt in Zuordnung zu dem Ort aufgezeichnet ist, wobei die erste Maskenerzeugungseinheit eine Maske für ein Nichtmerkmalsgebiet erzeugt, das ein Bereich in dem Bild des Umfelds ist, der zum Identifizieren der Eigenposition nicht nützlich ist, auf einer Basis des ortsbezogenen Nichtmerkmalsabschnitts, der in der Datenbank für ortsbezogene Nichtmerkmalsabschnitte in Zuordnung zu einem Ort, der der Eigenposition entspricht, aufgezeichnet ist.
Steuervorrichtung nach Anspruch 1, wobei die erste Merkmalsgrößen-Extraktionseinheit eine Bildmerkmalsgröße aus dem durch die Bildaufnahmeeinheit aufgenommenen Bild des Umfelds extrahiert, und ferner eine Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition, die die Positionsinformationen, die in der Datenbank in Zuordnung zu der Bildmerkmalsgröße aufgezeichnet sind, als eine auf aktuellen Informationen basierende Eigenposition schätzt enthalten ist.
Steuervorrichtung nach Anspruch 4, die ferner Folgendes aufweist: eine Integrationseinheit, die als ein Eigenpositionsschätzergebnis eine durch die Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition geschätzte auf aktuellen Informationen basierende Eigenposition und eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition integriert und ausgibt, wobei die Integrationseinheit das Eigenpositionsschätzergebnis und eine durch die erste Merkmalsgrößen-Extraktionseinheit extrahierte Bildmerkmalsgröße in Zuordnung zueinander in der Datenbank aufzeichnet.
Steuervorrichtung nach Anspruch 5, die ferner Folgendes aufweist: eine Datenbank für ortsbezogene Nichtmerkmalsabschnitte, in der der ortsbezogene Nichtmerkmalsabschnitt in Zuordnung zu einem Ort, der der Eigenposition entspricht, aufgezeichnet ist; und eine Erzeugungs/Aufzeichnungseinheit für ortsbezogene Nichtmerkmalsabschnitte, die einen Bereich als ein neues Element des ortsbezogenen Nichtmerkmalsabschnitts in Zuordnung zu demselben Ort erzeugt, wobei der Bereich statistisch ähnliche Bildmerkmalsgrößen unter den mehreren Bildmerkmalsgrößen an demselben Ort aufweist, der auf einer Basis einer Position, die in der Datenbank aufgezeichnet ist, identifiziert ist, und den ortsbezogenen Nichtmerkmalsabschnitt in der Datenbank für ortsbezogene Nichtmerkmalsabschnitte aufzeichnet.
Steuervorrichtung nach Anspruch 5, die ferner Folgendes aufweist: eine zweite Maskenerzeugungseinheit, die auf einer Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der nicht zum Identifizieren einer Eigenposition nützlich ist, eine Maske für ein Merkmalsgebiet erzeugt, das ein Bereich in dem Bild des Umfelds ist, der nicht zum Identifizieren der Eigenposition nützlich ist; eine zweite Merkmalsgrößen-Extraktionseinheit, die als eine Nichtmerkmalsgebietsmerkmalsgröße eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die zweite Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert; eine Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Datenbankaufzeichnungseinheit, die in einer Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Datenbank die Nichtmerkmalsgebietsmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, aufzeichnet; eine Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit, die eine Nichtmerkmalsgebietsmerkmalsgröße für das Bild des Umfelds auf einer Basis eines ortsbezogenen Nichtmerkmalsabschnitts eines Orts, der der auf aktuellen Informationen basierenden Eigenposition entspricht, extrahiert; und eine Prüfeinheit, die die auf aktuellen Informationen basierende Eigenposition auf einer Basis einer Ähnlichkeit zwischen der durch die Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit extrahierten Nichtmerkmalsgebietsmerkmalsgröße und der in der Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Datenbank in Zuordnung zu der auf aktuellen Informationen basierenden Eigenposition aufgezeichneten Nichtmerkmalsgebietsmerkmalsgröße prüft.
Steuervorrichtung nach Anspruch 7, die ferner Folgendes aufweist: eine Eigenpositionsunbestimmtheits-Bestimmungseinheit, die auf einer Basis einer Zeitreihenänderungsgröße eines Eigenpositionsschätzergebnisses, das von der Integrationseinheit ausgegeben wird, oder auf einer Basis davon, ob die Energieversorgung eingeschaltet worden ist oder nicht, bestimmt, ob eine Eigenposition unbestimmt ist, wobei in einem Fall, in dem die Eigenposition unbestimmt ist, die Integrationseinheit die auf aktuellen Informationen basierende Eigenposition als ein Eigenpositionsschätzergebnis ausgibt, die Prüfeinheit die auf aktuellen Informationen basierende Eigenposition auf einer Basis einer Ähnlichkeit zwischen der durch die Nichtmerkmalsgebiets-Merkmalsgrößen-Extraktionseinheit extrahierten Nichtmerkmalsgebietsmerkmalsgröße und der in der Positions/Nichtmerkmalsgebiets-Merkmalsgrößen-Datenbank in Zuordnung zu der auf aktuellen Informationen basierenden Eigenposition aufgezeichneten Nichtmerkmalsgebietsmerkmalsgröße prüft, in einem Fall, in dem die Ähnlichkeit kleiner ist als ein vorbestimmter Schwellenwert bestimmt wird, dass die Eigenposition unbestimmt ist, und die Integrationseinheit die auf aktuellen Informationen basierende Eigenposition als ein Eigenpositionsschätzergebnis ausgibt, und in einem Fall, in dem die Ähnlichkeit größer ist als der vorbestimmte Schwellenwert, bestimmt wird, dass die Eigenposition nicht mehr unbestimmt ist, und die Integrationseinheit die auf aktuellen Informationen basierende Eigenposition, die durch die Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition geschätzt ist, und eine Eigenposition, die durch die Eigenpositionsschätzeinheit geschätzt ist, integriert und ein Integrationsergebnis als ein Eigenpositionsschätzergebnis ausgibt.
Steuervorrichtung nach Anspruch 1, wobei der ortsbezogene Nichtmerkmalsabschnitt durch eine Tabelle gebildet ist, die einen Ort, der der Eigenposition entspricht, und einen ortsbezogenen Nichtmerkmalsabschnitt beinhaltet.
Steuervorrichtung nach Anspruch 9, wobei der ortsbezogene Nichtmerkmalsabschnitt durch eine Tabelle, die einen der Eigenposition entsprechenden Ort und ein Ortsattribut, das eine Abstraktion des Ortes ist, beinhaltet, und eine Tabelle, die das Ortsattribut und den ortsbezogenen Nichtmerkmalsabschnitt beinhaltet, gebildet ist.
Steuervorrichtung nach Anspruch 1, wobei die Bildaufnahmeeinheit eine Stereokamera ist, das Bild des Umfelds, das durch die Stereokamera aufgenommen ist, ein Stereobild ist, ferner eine Tiefenbilderzeugungseinheit, die dazu ausgebildet ist, ein Tiefenbild auf einer Basis des Stereobilds zu erzeugen, enthalten ist, die erste Maskenerzeugungseinheit eine Maske für das Bild des Umfelds, das das Tiefenbild aufweist, auf einer Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, in Übereinstimmung mit einem Ort, der der Eigenposition entspricht, erzeugt, und die erste Merkmalsgrößen-Extraktionseinheit eine Bildmerkmalsgröße aus dem Bild des Umfelds, das das Tiefenbild mit der hinzugefügten Maske aufweist, extrahiert.
Steuervorrichtung nach Anspruch 1, wobei die Eigenpositionsschätzeinheit Folgendes aufweist: eine Einheit zum Schätzen der zeitreiheninformationsbasierten Eigenposition, die die Eigenposition unter Verwendung von Zeitreiheninformationen, die Sensorinformationen aufweisen, die in einer Zeitreihenreihenfolge zugeführt werden, enthalten, schätzt und ein Schätzergebnis als eine zeitreiheninformationsbasierte Eigenposition ausgibt.
Steuervorrichtung nach Anspruch 12, wobei die Zeitreiheninformationen dreidimensionale Punktwolkendaten sind, die durch eine Lichtdetektion und Entfernungsmessung oder Laserbildaufnahmedetektion und Entfernungsmessung (LIDAR) detektiert werden, und Positionsinformationen, eine Stellung, eine Geschwindigkeit, eine Beschleunigung und eine Winkelgeschwindigkeit, die durch einen Radwertgeber detektiert wird, aufweisen.
Steuerverfahren, das Folgendes aufweist: Eigenpositionsschätzungsverarbeitung zum Schätzen einer Eigenposition; Bildverarbeitung zum Aufnehmen eines Bilds des Umfelds; erste Maskenerzeugungsverarbeitung zum Erzeugen einer Maske für das Bild des Umfelds auf einer Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist; erste Merkmalsgrößenextraktionsverarbeitung zum Extrahieren einer Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungsverarbeitung hinzugefügt worden ist; und Aufzeichnungsverarbeitung zum Aufzeichnen der Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die die durch die Eigenpositionsschätzungsverarbeitung geschätzte Eigenposition betreffen, als eine Datenbank.
Programm, das einen Computer veranlasst, als Folgendes zu funktionieren: eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt; eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt; eine erste Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf einer Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt; eine erste Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert; und eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank aufzeichnet.
Mobiles Objekt, das Folgendes aufweist: eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt; eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt; eine erste Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf einer Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt; eine erste Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die erste Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert; und eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank aufzeichnet.
Steuervorrichtung, die ferner Folgendes aufweist: eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt; eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt; eine Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf einer Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt; eine Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert; eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank aufzeichnet; und eine Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition, die eine auf aktuellen Informationen basierende Eigenposition auf einer Basis der Datenbank schätzt, wobei in einem Fall des Schätzens der auf aktuellen Informationen basierenden Eigenposition die Merkmalsgrößen-Extraktionseinheit die Bildmerkmalsgröße aus dem durch die Bildaufnahmeeinheit aufgenommenen Bild des Umfelds extrahiert, und die Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition die in der Datenbank in Zuordnung zu der durch die Merkmalsgrößen-Extraktionseinheit extrahierten Bildmerkmalsgröße aufgezeichneten Positionsinformationen als eine auf aktuellen Informationen basierende Eigenposition schätzt.
Steuerverfahren, das ferner Folgendes aufweist: Eigenpositionsschätzungsverarbeitung zum Schätzen einer Eigenposition; Bildverarbeitung zum Aufnehmen eines Bilds des Umfelds; Maskenerzeugungsverarbeitung zum Erzeugen einer Maske für das Bild des Umfelds auf der Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist; Merkmalsgrößenextraktionsverarbeitung zum Extrahieren einer Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die Maskenerzeugungsverarbeitung hinzugefügt worden ist; Aufzeichnungsverarbeitung zum Aufzeichnen der Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzungsverarbeitung geschätzte Eigenposition betreffen, als eine Datenbank; und Schätzungsverarbeitung für die auf aktuellen Informationen basierende Eigenposition zum Schätzen einer auf aktuellen Informationen basierenden Eigenposition auf einer Basis der Datenbank, wobei in einem Fall des Schätzens der auf aktuellen Informationen basierenden Eigenposition die Merkmalsgrößenextraktionsverarbeitung die Bildmerkmalsgröße aus dem durch die Bildaufnahmeverarbeitung aufgenommenen Bild des Umfelds extrahiert, und die Schätzungsverarbeitung für die auf aktuellen Informationen basierende Eigenposition die Positionsinformationen, die in der Datenbank in Zuordnung zu der durch die Merkmalsgrößenextraktionsverarbeitung extrahierte Bildmerkmalsgröße aufgezeichnet sind, als eine auf aktuellen Informationen basierende Eigenposition schätzt.
Programm, das einen Computer veranlasst, als Folgendes zu funktionieren: eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt; eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt; eine Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf einer Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt; eine Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert; eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, in einer Datenbank aufzeichnet; und eine Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition, die eine auf aktuellen Informationen basierende Eigenposition auf einer Basis der Datenbank schätzt, wobei in einem Fall des Schätzens der auf aktuellen Informationen basierenden Eigenposition die Merkmalsgrößen-Extraktionseinheit die Bildmerkmalsgröße aus dem durch die Bildaufnahmeeinheit aufgenommenen Bild des Umfelds extrahiert, und die Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition die in der Datenbank in Zuordnung zu der durch die Merkmalsgrößen-Extraktionseinheit extrahierten Bildmerkmalsgröße aufgezeichneten Positionsinformationen als eine auf aktuellen Informationen basierende Eigenposition schätzt.
Mobiles Objekt, das ferner Folgendes aufweist: eine Eigenpositionsschätzeinheit, die eine Eigenposition schätzt; eine Bildaufnahmeeinheit, die ein Bild des Umfelds aufnimmt; eine Maskenerzeugungseinheit, die eine Maske für das Bild des Umfelds auf einer Basis eines ortsbezogenen Nichtmerkmalsabschnitts, der einen Bereich in dem Bild des Umfelds repräsentiert, der zum Identifizieren der Eigenposition nicht nützlich ist, erzeugt; eine Merkmalsgrößen-Extraktionseinheit, die eine Bildmerkmalsgröße aus dem Bild des Umfelds, dem die Maske durch die Maskenerzeugungseinheit hinzugefügt worden ist, extrahiert; eine Aufzeichnungseinheit, die die Bildmerkmalsgröße in Zuordnung zu Positionsinformationen, die eine durch die Eigenpositionsschätzeinheit geschätzte Eigenposition betreffen, als eine Datenbank aufzeichnet; und eine Einheit zum Schätzen der auf aktuellen Informationen basierenden Eigenposition, die eine auf aktuellen Informationen basierende Eigenposition auf einer Basis der Datenbank schätzt, wobei in einem Fall des Schätzens der auf aktuellen Informationen basierenden Eigenposition die Merkmalsgrößen-Extraktionseinheit die Bildmerkmalsgröße aus dem durch die Bildaufnahmeeinheit aufgenommenen Bild des Umfelds extrahiert, und die Einheit zur auf aktuellen Informationen basierenden Eigenpositionsschätzung die in der Datenbank in Zuordnung zu der durch die Merkmalsgrößen-Extraktionseinheit extrahierten Bildmerkmalsgröße aufgezeichneten Positionsinformationen als eine auf aktuellen Informationen basierende Eigenposition schätzt.