DE112020002287T5

DE112020002287T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm

Info

Publication number: DE112020002287T5
Application number: DE112020002287.0T
Authority: DE
Inventors: Ryo Watanabe; Mikio Nakai
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2019-05-09
Filing date: 2020-04-27
Publication date: 2022-02-17
Also published as: US20220207883A1; CN113785253A; WO2020226085A1

Abstract

Eine Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Technologie weist eine Klassifizierungseinheit und eine Erzeugungseinheit auf. Die Klassifizierungseinheit klassifiziert ein Objekt, das in einem Raum detektiert wird, auf einer Basis eines vorbestimmten Kriteriums. Die Erzeugungseinheit legt eine Priorität für das Objekt auf einer Basis eines Klassifizierungsergebnisses durch die Klassifizierungseinheit fest und erzeugt positionsbezogene Informationen hinsichtlich einer Position im Raum auf einer Basis der festgelegten Priorität. Die Verwendung der positionsbezogenen Informationen ermöglicht eine Verbesserung der Genauigkeit von Steuerung autonomer Bewegung. Dies macht es möglich, die Genauigkeit von Steuerung autonomer Bewegung zu verbessern.

Description

Technisches Gebiet
Die vorliegende Technologie betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsfahren und ein Programm, die auf die Steuerung eines mobilen Objekts, das zu autonomer Bewegung imstande ist, angewendet werden können.
Stand der Technik
Patentliteratur 1 beschreibt ein Umgebungskartierungssystem, das auf einem mobilen Objekt mit einer autonomen Fahrfunktion angebracht werden soll. In solch einem Umgebungskartierungssystem werden Positionsinformationen jeder Position in einem Raum und eine Zustandsgröße der Position (Wahrscheinlichkeit, dass ein Objekt in dieser Position vorhanden ist) berechnet. Die Positionsinformationen, der die Zustandsgröße darstellende Wert und die Veränderlichkeit der Zustandsgröße werden miteinander assoziiert, um Karteninformationen zu erzeugen. Dies ermöglicht eine genauere Darstellung der Situation im Raum (z. B. Absatz [0021] bis [0033] der Beschreibung und 7 von Patentliteratur 1).
Zitationsliste
Patentliteratur
Patentliteratur 1: Japanische Patent-Auslegeschrift Nr. 2017-194527
Offenbarung der Erfindung
Technisches Problem
Wie bereits erwähnt, besteht ein Bedarf an einer Technik, die zum Durchführen von Steuerung autonomer Bewegung eines mobilen Objekts mit hoher Genauigkeit imstande ist.
In Anbetracht der zuvor erwähnten Umstände besteht eine Aufgabe der vorliegenden Technologie darin, eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsfahren und ein Programm bereitzustellen, die zum Verbessern der Genauigkeit von Steuerung autonomer Bewegung imstande sind.
Problemlösung
Zum Erreichen der vorstehenden Aufgabe weist eine Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Technologie eine Klassifizierungseinheit und eine Erzeugungseinheit auf.
Die Klassifizierungseinheit klassifiziert ein Objekt, das in einem Raum detektiert wird, auf der Basis eines vorbestimmten Kriteriums.
Die Erzeugungseinheit legt eine Priorität für das Objekt auf einer Basis eines Klassifizierungsergebnisses durch die Klassifizierungseinheit fest und erzeugt positionsbezogene Informationen hinsichtlich einer Position im Raum auf der Basis der festgelegten Priorität.
In dieser Informationsverarbeitungsvorrichtung wird ein Objekt, das in einem Raum detektiert wird, auf der Basis eines vorbestimmten Kriteriums klassifiziert, und eine Priorität wird auf der Basis eines Klassifizierungsergebnisses festgelegt. Auf der Basis der festgelegten Priorität werden positionsbezogene Informationen hinsichtlich einer Position im Raum erzeugt. Die Verwendung solcher positionsbezogener Informationen ermöglicht eine Verbesserung der Genauigkeit von Steuerung autonomer Bewegung.
Die Klassifizierungseinheit kann das Objekt auf der Basis einer Wahrscheinlichkeit von Bewegung des Objekts klassifizieren.
Die Klassifizierungseinheit kann das Objekt auf der Basis von Datums- und Zeitinformationen klassifizieren.
Die Erzeugungseinheit kann die Priorität auf der Basis von Datums- und Zeitinformationen festlegen.
Die Klassifizierungseinheit kann das Objekt als ein sich bewegendes Objekt, ein quasistationäres Objekt oder ein stationäres Objekt klassifizieren.
Die Erzeugungseinheit kann eine erste Priorität für das als das sich bewegende Objekt klassifizierte Objekt festlegen, eine zweite Priorität, die höher als die erste Priorität ist, für das als das quasistationäre Objekt klassifizierte Objekt festlegen, und eine dritte Priorität, die höher als die zweite Priorität ist, für das als das stationäre Objekt klassifizierte Objekt festlegen.
Die Klassifizierungseinheit kann das Objekt auf der Basis von Detektionsinformationen klassifizieren, die durch einen Sensor eines mobilen Objekts detektiert werden, das sich im Raum bewegt. In diesem Fall kann die Erzeugungseinheit Positionsinformationen hinsichtlich einer Position und einer Stellung des mobilen Objekts im Raum als die positionsbezogenen Informationen erzeugen.
Die Erzeugungseinheit kann die Positionsinformationen des mobilen Objekts durch Vergleichen der Detektionsinformationen mit Karteninformationen hinsichtlich des Raumes auf der Basis der Priorität erzeugen.
Die Erzeugungseinheit kann Vergleichszielinformationen, die mit den Karteninformationen verglichen werden sollen, aus den Detektionsinformationen auf der Basis der Priorität auswählen.
Die Erzeugungseinheit kann Karteninformationen hinsichtlich des Raumes als die positionsbezogenen Informationen erzeugen.
Die Karteninformationen können die Position des im Raum detektierten Objekts und die für das Objekt festgelegte Priorität aufweisen.
Die Karteninformationen können mindestens eine von einer Belegungsgitterkarte oder einer Gruppe von Bildmerkmalspunkten aufweisen, die jeweils Positionsinformationen aufweisen.
Die Karteninformationen können die Belegungsgitterkarte sein. In diesem Fall kann die Erzeugungseinheit eine Priorität für jedes Gitter der Belegungsgitterkarte auf der Basis der Priorität festlegen.
Die Erzeugungseinheit kann Teilregionen zum Teilen des Raumes in eine Mehrzahl von Regionen auf der Basis des Klassifizierungsergebnisses festlegen und die Karteninformationen für jede der Teilregionen erzeugen.
Die Erzeugungseinheit kann die Teilregionen auf der Basis der Position des im Raum detektierten Objekts und des Klassifizierungsergebnisses des Objekts festlegen.
Die Erzeugungseinheit kann die Karteninformationen, die jeder der Teilregionen entsprechen, auf der Basis von Bewegung des Objekts aus jeder der Teilregionen aktualisieren.
Die Erzeugungseinheit kann die Aktualisierungsinformationen zum Aktualisieren der für jede der Teilregionen erzeugten Karteninformationen auf der Basis des Klassifizierungsergebnisses des Objekts in jeder der Teilregionen erzeugen.
Die Aktualisierungsinformationen können mindestens eine von einer Aktualisierungsnotwendigkeit, einer Aktualisierungszeitvorgabe oder einer Aktualisierungshäufigkeit aufweisen.
Ein Informationsverarbeitungsverfahren gemäß einer Ausführungsform der vorliegenden Technologie ist ein Informationsverarbeitungsverfahren, das von einem Computersystem ausgeführt wird, wobei das Verfahren aufweist: Klassifizieren eines Objekts, das in einem Raum detektiert wird, auf der Basis eines vorbestimmten Kriteriums; und Festlegen einer Priorität für das Objekt auf der Basis eines Klassifizierungsergebnisses durch die Klassifizierungseinheit und Erzeugen positionsbezogener Informationen hinsichtlich einer Position im Raum auf der Basis der festgelegten Priorität.
Ein Programm gemäß einer Ausführungsform der vorliegenden Technologie veranlasst ein Computersystem zum Ausführen der folgenden Schritte: Klassifizieren eines Objekts, das in einem Raum detektiert wird, auf der Basis eines vorbestimmten Kriteriums; und Festlegen einer Priorität für das Objekt auf der Basis eines Klassifizierungsergebnisses durch die Klassifizierungseinheit und Erzeugen positionsbezogener Informationen hinsichtlich einer Position im Raum auf der Basis der festgelegten Priorität.
Figurenliste

[1] 1 ist ein Blockdiagramm, das ein Beispiel einer schematischen Funktionskonfiguration eines Mobilobjektsteuersystems zum Steuern von autonomer Bewegung eines mobilen Objekts gemäß einer Ausführungsform der vorliegenden Technologie darstellt.
[2] 2 ist ein Flussdiagramm zum Beschreiben der Übersicht über die vorliegende Technologie.
[3] 3 ist eine schematische Darstellung zum Beschreiben eines Beispiels für eine Detektion eines Objekts in einem Raum.
[4] 4 ist eine schematische Darstellung zum Beschreiben eines Beispiels für eine Erzeugung eines gelernten Modells semantischer Segmentierung.
[5] 5 ist eine Tabelle, die Beispiele für eine Klassifizierung des Objekts darstellt.
[6] 6 ist eine Tabelle zum Beschreiben von Dead-Reckoning und Star-Reckoning.
[7] 7 ist eine schematische Darstellung, die ein Beispiel für eine Konfiguration von Blöcken darstellt, die in Betrieb sind, wenn Eigenstandortschätzung ausgeführt wird.
[8] 8 ist ein Flussdiagramm, das ein Beispiel einer Eigenstandortschätzung durch Star-Reckoning darstellt.
[9] 9 ist eine schematische Darstellung zum Beschreiben eines Beispiels einer Vorkarte.
[10] 10 ist eine schematische Darstellung, die ein Beispiel für eine Konfiguration von Blöcken darstellt, die in Betrieb sind, wenn Karteninformationen erzeugt werden.
[11] 11 ist ein Flussdiagramm, das Beispiele für eine Erzeugung der Karteninformationen darstellt.
[12] 12 ist eine schematische Darstellung zum Beschreiben von Teilkarteninformationen.
[13] 13 ist eine schematische Darstellung, die ein Beispiel für eine Konfiguration von Blöcken darstellt, die in Betrieb sind, wenn Teilkarteninformationen erzeugt werden.
[14] 14 ist ein Flussdiagramm, das ein Beispiel für eine Festlegung von Teilregionen darstellt.
[15] 15 ist ein Flussdiagramm, das ein Beispiel für eine Aktualisierung der Teilkarteninformationen darstellt.
[16] 16 ist ein schematisches Blockdiagramm, das eine Kombination von Eigenstandortschätzung und Karteninformationserzeugung darstellt.

Ausführungsform(en) der Erfindung
Im Folgenden werden hierin Ausführungsformen der vorliegenden Technologie unter Bezugnahme auf die Zeichnungen beschrieben.
[Beispiel für die Konfiguration eines Mobilobjektsteuersystems]
1 ist ein Blockdiagramm, das ein Beispiel einer schematischen Funktionskonfiguration eines Mobilobjektsteuersystems 100 zum Steuern von autonomer Bewegung eines mobilen Objekts gemäß einer Ausführungsform der vorliegenden Technologie darstellt. Es ist zu erwähnen, dass das Mobilobjektsteuersystem 100 von 1 ein Beispiel eines Mobilobjektsteuersystems zum Steuern eines mobilen Objekts ist, das einen Roboter aufweist, auf den die vorliegende Technologie angewendet werden kann, aber auch als ein System zum Steuern anderer mobiler Objekte, zum Beispiel Flugzeuge, Schiffe und Multirotorkopter (Drohnen), angewendet werden kann. Ferner kann der Roboter ein Radroboter oder ein autonom fahrendes Fahrzeug sein, auf dem eine Person fahren kann, oder er kann ein Laufroboter mit mehreren Beinen sein. Natürlich kann es auch auf einen Roboter angewendet werden, der einen Beinabschnitt mit einer Gelenkstruktur als Antriebsabschnitt aufweist.
Das Mobilobjektsteuersystem 100 weist eine Eingabeeinheit 101, eine Datenerfassungseinheit 102, eine Kommunikationseinheit 103, eine Mobilobjekt-interne Einrichtung 104, eine Ausgabesteuereinheit 105, eine Ausgabeeinheit 106, eine Kraftübertragungssteuereinheit 107, ein Kraftübertragungssystem 108, eine Speichereinheit 109 und eine Einheit zur Steuerung autonomer Bewegung 110 auf. Die Eingabeeinheit 101, die Datenerfassungseinheit 102, die Kommunikationseinheit 103, die Ausgabesteuereinheit 105, die Kraftübertragungssteuereinheit 107, die Speichereinheit 109 und die Einheit zur Steuerung autonomer Bewegung 110 sind über ein Kommunikationsnetzwerk 111 miteinander verbunden. Das Kommunikationsnetzwerk 111 weist zum Beispiel ein Kommunikationsnetzwerk oder einen Bus, die einem Standard wie CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), beispielsweise IEEE802.3, entsprechen, oder FlexRay (eingetragene Handelsmarke), ein einzigartiges Kommunikationsverfahren, das nicht standardisiert ist, oder dergleichen auf. Es ist zu erwähnen, dass die Einheiten des Mobilobjektsteuersystems 100 ohne Verwenden des Kommunikationsnetzwerks 111 direkt miteinander verbunden sein können.
Es ist zu erwähnen, dass hierin im Folgenden die Beschreibung des Kommunikationsnetzwerks 111 weggelassen wird, falls die Einheiten des Mobilobjektsteuersystems 100 über das Kommunikationsnetzwerk 111 miteinander kommunizieren. Zum Beispiel wird nur eine einfache Beschreibung gegeben, die angibt, dass die Eingabeeinheit 101 und die Einheit zur Steuerung autonomer Bewegung 110 miteinander kommunizieren, falls die Eingabeeinheit 101 und die Einheit zur Steuerung autonomer Bewegung 110 über das Kommunikationsnetzwerk 111 miteinander kommunizieren.
Die Eingabeeinheit 101 weist eine Vorrichtung auf, die zum Eingeben verschiedener Arten von Daten, Anweisungen oder dergleichen verwendet wird. Zum Beispiel weist Eingabeeinheit 101 eine Betätigungseinrichtung, wie beispielsweise einen Berührungsbildschirm, eine Taste, ein Mikrofon, einen Schalter oder einen Hebel, eine Betätigungseinrichtung, die zum Eingeben von Informationen durch Ton, Gesten oder gleichen imstande ist, die sich von manueller Betätigung unterscheiden, oder dergleichen auf. Alternativ kann die Eingabeeinheit 101 zum Beispiel eine externe Verbindungseinrichtung, wie beispielsweise eine Remote-Steuervorrichtung, die Infrarot- oder eine andere Funkwelle verwendet, oder eine mobile Einrichtung oder eine am Körper tragbare Einrichtung sein, die mit dem Betrieb des Mobilobjektsteuersystems 100 kompatibel sind. Die Eingabeeinheit 101 erzeugt ein Eingabesignal auf der Basis von Eingabedaten, Anweisungen oder dergleichen und liefert das erzeugte Eingabesignal an die jeweiligen Einheiten des Mobilobjektsteuersystems 100.
Die Datenerfassungseinheit 102 weist verschiedene Arten von Sensoren oder dergleichen zum Erfassen von Daten auf, die in Prozessen verwendet werden sollen, die vom Mobilobjektsteuersystem 100 durchgeführt werden, und liefert die erfassten Daten an die jeweiligen Einheiten des Mobilobjektsteuersystems 100. Zum Beispiel weist die Datenerfassungseinheit 102 verschiedene Arten von Sensoren zum Detektieren eines Zustands oder dergleichen des mobilen Objekts auf, um eine Sensorgruppe 112 zu bilden.
Konkret weist die Datenerfassungseinheit 102 zum Beispiel einen geomagnetischen Sensor zum Detektieren einer Richtung, einen Gyrosensor, einen Beschleunigungssensor, eine Trägheitsnavigationseinheit (IMU) und Sensoren oder dergleichen zum Detektieren eines Betätigungsausmaßes einer Beschleunigungseingabe, beispielsweise eines Gaspedals, eines Betätigungsausmaßes einer Verlangsamungseingabe, eines Betätigungsausmaßes einer Richtungsanweisungseingabe, der Drehzahl und der Eingabe-Ausgabe-Energie und der Kraftstoffmenge einer fahrenden Einrichtung, beispielsweise einer Kraftmaschine oder eines Motors, eines Betrages eines Drehmoments einer Kraftmaschine, eines Motors oder dergleichen, von Drehgeschwindigkeiten oder Drehmomenten von Rädern oder Gelenken und dergleichen auf.
Die Datenerfassungseinheit 102 weist ferner zum Beispiel verschiedene Arten von Sensoren zum Detektieren von Informationen hinsichtlich der Außenseite des mobilen Objekts auf. Konkret weist die Datenerfassungseinheit 102 zum Beispiel eine Abbildungsvorrichtung, wie beispielsweise eine ein Flugzeit-(ToF-)Kamera, eine Stereokamera, eine Monokularkamera, eine Infrarotkamera, eine Polarisationskamera oder eine andere Kamera auf. Ferner weist die Datenerfassungseinheit 102 zum Beispiel einen Umweltsensor zum Detektieren des Wetters, einer meteorologischen Erscheinung oder dergleichen, und einen Umgebungsinformationsdetektionssensor zum Detektieren von Objekten um das mobile Objekt auf. Der Umweltsensor weist zum Beispiel einen Temperatursensor, einen Feuchtigkeitssensor, einen Regentropfensensor, einen Nebelsensor, einen Sonnenscheinsensor, einen Schneesensor oder dergleichen auf. Der Umgebungsinformationsdetektionssensor weist einen Laserentfernungsmessungssensor, einen Kontaktsensor, einen Ultraschallsensor, einen Radar, einen LiDAR-Sensor (LiDAR - Light Detection and Ranging, Laser Imaging Detection and Ranging), einen Sonar oder dergleichen auf.
Außerdem weist die Datenerfassungseinheit 102 zum Beispiel verschiedene Arten von Sensoren zum Detektieren eines aktuellen Standorts des mobilen Objekts auf. Konkret weist die Datenerfassungseinheit 102 zum Beispiel einen Empfänger eines globalen Satellitennavigationssystems (GNSS) auf, der GNSS-Signale von einem GNSS-Satelliten empfängt.
In dieser Ausführungsform entsprechen verschiedene Detektionsergebnisse, die von der Sensorgruppe 112 detektiert werden, Detektionsinformationen, die von den Sensoren detektiert werden, die im mobilen Objekt enthalten sind. Die Detektionsinformationen weisen nicht nur die Detektionswerte, die von der Sensorgruppe 112 detektiert werden, sondern auch verschieden Typen von Daten und dergleichen auf, die aus den Detektionswerten berechnet werden können.
Die Kommunikationseinheit 103 kommuniziert mit der Mobilobjekt-internen Vorrichtung 104, verschiedenen Arten von Einrichtungen außerhalb des mobilen Objekts, einem Server, einer Basisstation oder dergleichen, sendet Daten, die von den jeweiligen Einheiten des Mobilobjektsteuersystems 100 geliefert werden, und liefert die empfangenen Daten an die jeweiligen Einheiten des Mobilobjektsteuersystems 100. Es ist zu erwähnen, dass ein Kommunikationsprotokoll, das von der Kommunikationseinheit 103 verwendet wird, nicht speziell beschränkt ist. Es ist ferner auch möglich, dass die Kommunikationseinheit 103 eine Mehrzahl von Typen von Kommunikationsprotokollen unterstützt.
Zum Beispiel stellt die Kommunikationseinheit 103 eine drahtlose Verbindung mit der Mobilobjekt-internen Einrichtung 104 durch Verwenden von drahtlosem LAN, Bluetooth (eingetragen Handelsmarke), Nahfeldkommunikation (NFC), Wireless-USB (WUSB) oder dergleichen her. Ferner stellt die Kommunikationseinheit 103 zum Beispiel eine drahtgebundene Verbindung mit der Mobilobjekt-internen Einrichtung 104 durch Verwenden von USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), MHL (Mobile High-Definition Link) oder dergleichen über einen Verbindungsanschluss (und nötigenfalls ein Kabel) (nicht veranschaulicht) her.
Außerdem kommuniziert die Kommunikationseinheit 103 zum Beispiel mit Einrichtungen (zum Beispiel einem Anwendungsserver oder einem Steuerungsserver), die sich in einem externen Netzwerk (zum Beispiel dem Internet, einem Cloud-Netzwerk oder einem firmenspezifischen Netzwerk) befinden, über eine Basisstation oder einen Zugangspunkt. Ferner kommuniziert die Kommunikationseinheit 103 zum Beispiel mit einem Endgerät (zum Beispiel einem Endgerät eines Fußgängers oder eines Geschäfts oder einem Maschinenkommunikationsendgerät (MTC - Machine-Type Communication)), das sich in der Nähe des mobilen Objekts befindet, durch Verwenden einer Peer-to-Peer-(P2P-) Technologie. Wenn das mobile Objekt zum Beispiel ein Fahrzeug ist, führt die Kommunikationseinheit 103 außerdem V2X-Kommunikation, beispielsweise Fahrzeug-zu-Fahrzeug-Kommunikation, Fahrzeug-zu-Infrastruktur-Kommunikation, Fahrzeug-zu-Heim-Kommunikation zwischen dem mobilen Objekt und einem Heim oder Fahrzeug-zu-Fußgänger-Kommunikation durch. Ferner weist die Kommunikationseinheit 103 zum Beispiel einen Baken-Empfänger auf, empfängt eine Funkwelle oder eine elektromagnetische Welle, die von einer Funkstation oder dergleichen gesendet wird, und erfasst Informationen wie den aktuellen Standort oder eine erforderliche Zeit.
Die Mobilobjekt-interne Einrichtung 104 weist zum Beispiel eine mobile Einrichtung oder eine am Körper tragbare Einrichtung im Besitz eines Benutzers, eine Informationseinrichtung, die in das mobile Objekt eingebracht oder daran angebracht ist, eine Navigationsvorrichtung, die nach einer Route zu einem Ziel sucht, und dergleichen auf.
Die Ausgabesteuereinheit 105 steuert die Ausgabe verschiedener Arten von Informationen an die Außenseite des mobilen Objekts. Zum Beispiel erzeugt die Ausgabesteuereinheit 105 ein Ausgabesignal, das mindestens eines von visuellen Informationen (beispielsweise Bilddaten) oder akustischen Informationen (beispielsweise Tondaten) aufweist, liefert das Ausgabesignal an die Ausgabeeinheit 106 und steuert dadurch die Ausgabe der visuellen Informationen und der akustischen Information aus der Ausgabeeinheit 106. Konkret kombiniert die Ausgabesteuereinheit 105 zum Beispiel Elemente von Bilddaten, die von verschiedenen Abbildungsvorrichtungen erfasst werden, die in der Datenerfassungseinheit 102 enthalten sind, erzeugt ein Bild in der Vogelperspektive, ein Panoramabild oder dergleichen und liefert eine Ausgabesignal, welches das erzeugte Bild enthält, an die Ausgabeeinheit 106. Ferner erzeugt die Ausgabesteuereinheit 105 zum Beispiel Tondaten, die einen Warnton, eine Warnmeldung oder dergleichen hinsichtlich einer Gefahr, beispielsweise einer Kollision, eines Kontakts oder eines Eintritts in eine Gefahrenzone, aufweisen, und liefert ein Ausgabesignal, das die erzeugten Tondaten enthält, an die Ausgabeeinheit 106.
Die Ausgabeeinheit 106 weist eine Vorrichtung auf, die zum Ausgeben der visuellen Information oder der akustischen Informationen an die Außenseite des mobilen Objekts imstande ist. Zum Beispiel weist die Ausgabeeinheit 106 eine Anzeigevorrichtung, eine Schalttafel, einen Lautsprecher, einen Kopfhörer, eine am Körper tragbare Einrichtung, beispielsweise ein Brillen-Display, das vom Benutzer getragen wird, oder dergleichen, einen Projektor, einen Projektor, eine Lampe oder dergleichen auf. Anstelle einer Vorrichtung, die eine übliche Anzeige aufweist, kann die in der Ausgabeeinheit 106 enthaltene Anzeigevorrichtung zum Beispiel eine Vorrichtung sein, welche die visuellen Informationen innerhalb eines Sehfeldes des Fahrers anzeigt, beispielsweise ein Head-up-Display, eine transparente Anzeige oder eine Vorrichtung mit einer Funktion für erweiterte Realität (AR - Augmented Reality). Es ist zu erwähnen, dass die Ausgabesteuereinheit 105 und die Ausgabeeinheit 106 für die Verarbeitung autonomer Bewegung nicht unerlässlich sind und daher gegebenenfalls weggelassen werden können.
Die Kraftübertragungssteuereinheit 107 erzeugt verschiedene Arten von Steuersignalen, liefert sie an das Kraftübertragungssystem 108 und steuert dadurch das Kraftübertragungssystem 108. Ferner liefert die Kraftübertragungssteuereinheit 107 die Steuersignale gegebenenfalls an andere Strukturelemente als das Kraftübertragungssystem 108 und meldet ihnen einen Steuerzustand des Kraftübertragungssystems 108 oder dergleichen.
Das Kraftübertragungssystem 108 weist verschiedene Arten von Vorrichtungen auf, die mit der Kraftübertragung des mobilen Objekts in Beziehung stehen. Zum Beispiel weist das Kraftübertragungssystem 108 einen Servomotor, der in jedem Gelenk der vier Beine vorgesehen und zum Spezifizieren des Winkels oder Drehmoments imstande ist, eine Bewegungssteuerung, welche die Bewegung des Roboters selbst in Bewegungen der vier Beine zerlegt und ersetzt, und eine Steuerung für Rückmeldungen durch einen Sensor jedes Motors oder eines Sensors auf der Sohlenfläche auf.
In einem anderen Beispiel weist das Kraftübertragungssystem 108 einen Motor mit vier oder sechs Aufwärtspropellern und eine Bewegungssteuerung auf, welche die Bewegung des Roboters selbst in den Drehbetrag jedes Motors zerlegt und ersetzt.
Außerdem weist das Kraftübertragungssystem 108 in einem anderen Beispiel eine Antriebskrafterzeugungsvorrichtung zum Erzeugen einer Antriebskraft eines Verbrennungsmotors, eines Antriebsmotors oder dergleichen, einen Antriebskraftübertragungsmechanismus zum Übertragen der Antriebskraft auf Räder, einen Lenkmechanismus zum Einstellen des Lenkwinkels, eine Bremsvorrichtung zum Erzeugen von Bremskraft, ein Antiblockier-Bremssystem (ABS), ein System zur elektronischen Stabilitätskontrolle (ESC), eine elektrische Servolenkungsvorrichtung oder dergleichen auf.
Die Speichereinheit 109 weist zum Beispiel einen Festwertspeicher (ROM), einen Direktzugriffsspeicher (RAM), eine magnetische Speichereinrichtung, wie beispielsweise ein Festplattenlaufwerk (HDD) oder dergleichen, eine Halbleiterspeichereinrichtung, eine optische Speichereinrichtung, eine magnetooptische Speichereinrichtung oder dergleichen auf. Die Speichereinheit 109 speichert verschiedene Arten von Programmen, Daten und dergleichen, die von den jeweiligen Einheiten des Mobilobjektsteuersystems 100 verwendet werden. Zum Beispiel speichert die Speichereinheit 109 Kartendaten (Karteninformationen), wie beispielsweise eine dreidimensionale Karte mit hoher Genauigkeit, eine globale Karte und eine lokale Karte. Die dreidimensionale Karte mit hoher Genauigkeit ist eine dynamische Karte oder dergleichen. Die globale Karte weist eine geringere Genauigkeit auf als die Karte mit hoher Genauigkeit, deckt aber einen größeren Bereich als die Karte mit hoher Genauigkeit ab. Die lokale Karte weist Information hinsichtlich der Umgebung des mobilen Objekts auf.
Die Einheit zur Steuerung autonomer Bewegung 110 führt Steuerung in Bezug auf autonome Bewegung, wie beispielsweise autonomes Fahren oder Fahrassistenz, durch. Konkret führt die Einheit zur Steuerung autonomer Bewegung 110 zum Beispiel kooperative Steuerung durch, die zum Implementieren von Funktionen von Kollisionsvermeidung oder Stoßdämpfung für das mobile Objekt, Folgebewegung basierend auf einem Folgeabstand, Bewegung zur Aufrechterhaltung der Mobilobjektgeschwindigkeit, Kollisionswarnung des mobilen Objekts oder dergleichen bestimmt ist. Es ist ferner zum Beispiel auch möglich, dass die Einheit zur Steuerung autonomer Bewegung 110 kooperative Steuerung durchführt, die für autonome Bewegung bestimmt ist, die das mobile Objekt veranlasst, sich unabhängig von der Betätigung des Benutzers oder dergleichen zu bewegen.
Die Einheit zur Steuerung autonomer Bewegung 110 fungiert als eine Ausführungsform einer Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie und weist Hardware auf, die für einen Computer erforderlich ist, wie beispielsweise eine CPU, einen RAM und einen ROM. Wenn die CPU ein Programm gemäß der vorliegenden Technologie, das vorab im ROM gespeichert wird, in den RAM lädt und das Programm ausführt, wird ein Informationsverarbeitungsverfahren gemäß der vorliegenden Technologie ausgeführt.
Das Programm wird zum Beispiel mittels verschiedener Aufzeichnungsmedien in der Einheit zur Steuerung autonomer Bewegung 110 installiert. Alternativ kann die Installation des Programms über das Internet oder dergleichen ausgeführt werden.
Es ist zu erwähnen, dass der Typ oder dergleichen des Aufzeichnungsmediums, auf dem das Programm aufgezeichnet wird, nicht beschränkt ist und jedes computerlesbare Aufzeichnungsmedium verwendet werden kann. Zum Beispiel kann jedes Aufzeichnungsmedium zum nichtflüchtigen Aufzeichnen von Daten verwendet werden.
Eine spezifische Konfiguration der Einheit zur Steuerung autonomer Bewegung 110 ist nicht beschränkt. Zum Beispiel kann ein programmierbarer Logikbaustein (PLD), beispielsweise ein feldprogrammierbares Gate-Array (FPGA), oder eine andere Einrichtung, beispielsweise eine anwendungsspezifische integrierte Schaltung (ASIC), verwendet werden.
Wie in 1 dargestellt, weist die Einheit zur Steuerung autonomer Bewegung 110 eine Detektionseinheit 131, eine Eigenstandortschätzeinheit 132, eine Situationsanalyseeinheit 133, eine Planungseinheit 134 und eine Verhaltenssteuerungseinheit 135 auf. Von diesen bilden die Detektionseinheit 131, die Eigenstandortschätzeinheit 132 und die Situationsanalyseeinheit 133 eine Erkennungsverarbeitungseinheit 121. Ferner bildet die Planungseinheit 134 eine Aktionsplanverarbeitungseinheit 122. Außerdem bildet die Verhaltenssteuerungseinheit 135 eine Aktionssteuerungsverarbeitungseinheit 123.
Die Detektionseinheit 131 detektiert verschiedene Arten von Informationen, die zum Steuern von autonomer Bewegung des mobilen Objekts erforderlich sind. Die Detektionseinheit 131 weist eine Mobilobjekt-externe Informationsdetektionseinheit 141, eine Mobilobjekt-interne Informationsdetektionseinheit 142 und eine Mobilobjekt-Zustandsdetektionseinheit 143 auf.
Die Mobilobjekt-externe Informationsdetektionseinheit 141 führt einen Prozess zum Detektieren von Informationen hinsichtlich einer Außenseite des mobilen Objekts auf der Basis von Daten oder Signalen von den jeweiligen Einheiten des Mobilobjektsteuersystems 100 durch. Zum Beispiel führt die Mobilobjekt-externe Informationsdetektionseinheit 141 einen Detektionsprozess, einen Erkennungsprozess, einen Prozess zur Verfolgung von Objekten um das mobile Objekt und einen Prozess zum Detektieren von Abständen zu den Objekten durch. Beispiele für das Detektionszielobjekt weisen ein mobiles Objekt, eine Person, ein Hindernis, eine Struktur, eine Straße, eine Verkehrsampel, ein Verkehrszeichen, ein Straßenschild und dergleichen auf. Ferner führt die Mobilobjekt-externe Informationsdetektionseinheit 141 zum Beispiel einen Prozess zum Detektieren einer äußeren Umgebung um das mobile Objekt durch. Beispiele für die äußeren Umgebung um das Detektionsziel weisen zum Beispiel Wetter, Temperatur, Feuchtigkeit, Helligkeit, einen Straßenoberflächenzustand und dergleichen auf. Die Mobilobjekt-externe Informationsdetektionseinheit 141 liefert Daten, welche Ergebnisse der Detektionsprozesse angeben, an die Eigenstandortschätzeinheit 132, eine Kartenanalyseeinheit 151 und eine Situationserkennungseinheit 152 der Situationsanalyseeinheit 133, die Verhaltenssteuerungseinheit 135 und dergleichen.
Die Mobilobjekt-interne Informationsdetektionseinheit 142 führt einen Prozess zum Detektieren von Informationen hinsichtlich einer Innenseite des mobilen Objekts auf der Basis von Daten oder Signalen von den jeweiligen Einheiten des Mobilobjektsteuersystems 100 durch. Wenn es zum Beispiel einen Fahrer gibt, der das mobile Objekt fährt, führt die Mobilobjekt-interne Informationsdetektionseinheit 142 einen Authentifizierungsprozess und einen Erkennungsprozess bezüglich des Fahrers, einen Detektionsprozess bezüglich eines Insassen, einen Detektionsprozess bezüglich einer inneren Umgebung des mobilen Objekts und dergleichen durch. Beispiele für den Zustand des Fahrers, der ein Detektionsziel ist, weisen einen Gesundheitszustand, einen Bewusstseinsgrad, einen Konzentrationsgrad, einen Ermüdungsgrad, eine Blickrichtung und dergleichen auf. Beispiele für die innere Umgebung des mobilen Objekts, die ein Detektionsziel ist, weisen Temperatur, Feuchtigkeit, Helligkeit, Geruch und dergleichen auf. Die Mobilobjekt-interne Informationsdetektionseinheit 142 liefert Daten, welche Ergebnisse der Detektionsprozesse angeben, an die Situationserkennungseinheit 152 der Situationsanalyseeinheit 133, die Verhaltenssteuerungseinheit 135 und dergleichen.
Die Mobilobjekt-Zustandsdetektionseinheit 143 führt einen Prozess zum Detektieren eines Zustands des mobilen Objekts auf der Basis von Daten oder Signalen von den jeweiligen Einheiten des Mobilobjektsteuersystems 100 durch. Beispiele für den Zustand des mobilen Objekts, der ein Detektionsziel ist, weisen Geschwindigkeit, Beschleunigung, Lenkwinkel, Vorliegen/Nichtvorliegen von Anomalien, Inhalt der Anomalien, Fahrbetriebszustand, Position und Neigung des elektrisch verstellbaren Sitzes, Zustand einer Türverriegelung, Zustände anderer am mobilen Objekt angebrachter Einrichtungen und dergleichen auf. Die Mobilobjekt-Zustandsdetektionseinheit 143 liefert Daten, welche Ergebnisse der Detektionsprozesse angeben, an die Situationserkennungseinheit 152 der Situationsanalyseeinheit 133, die Verhaltenssteuerungseinheit 135 und dergleichen.
Die Eigenstandortschätzeinheit 132 führt einen Prozess zum Schätzen eines Standorts, einer Stellung und dergleichen des mobilen Objekts auf der Basis von Daten oder Signalen von den jeweiligen Einheiten des Mobilobjektsteuersystems 100, wie beispielsweise der Mobilobjekt-externen Informationsdetektionseinheit 141 und der Situationserkennungseinheit 152 der Situationsanalyseeinheit 133, durch. Ferner erzeugt die Eigenstandortschätzeinheit 132 nötigenfalls eine lokale Karte, die zum Schätzen eines eigenen Standorts (hierin im Folgenden als Eigenstandortschätzkarte bezeichnet) verwendet werden soll. Zum Beispiel kann die Eigenstandortschätzkarte eine Karte mit hoher Genauigkeit sein, die eine Technologie, wie beispielsweise simultane Positionsbestimmung und Kartierung (SLAM), einsetzt. Die Eigenstandortschätzeinheit 132 liefert Daten, welche ein Ergebnis des Schätzprozesses angeben, an die Kartenanalyseeinheit 151 und die Situationserkennungseinheit 152 der Situationsanalyseeinheit 133 und dergleichen. Ferner veranlasst die Eigenstandortschätzeinheit 132 die Speichereinheit 109 zum Speichern der Eigenstandortschätzkarte.
Außerdem akkumuliert die Eigenstandortschätzeinheit 132 die Zeitreiheninformationen, die in Zeitreihen geliefert werden, in der Datenbank auf der Basis des Detektionsergebnisses (Detektionsinformationen), das von der Sensorgruppe 112 geliefert wird, schätzt den eigenen Standort auf der Basis der akkumulierten Zeitreiheninformationen und gibt ihn als den auf Zeitreiheninformationen basierenden eigenen Standort aus. Ferner schätzt die Eigenstandortschätzeinheit 132 den eigenen Standort auf der Basis des aktuellen Detektionsergebnisses, das von der Sensorgruppe 112 geliefert wird, und gibt ihn als den auf aktuellen Informationen basierenden eigenen Standort aus. Die Eigenstandortschätzeinheit 132 gibt dann ein Eigenstandortschätzergebnis durch Integrieren oder Wechseln des auf den Zeitreiheninformationen basierenden eigenen Standorts und des auf den aktuellen Informationen basierenden Standorts aus. Außerdem detektiert die Eigenstandortschätzeinheit 132 die Stellung des mobilen Objekts auf der Basis des Detektionsergebnisses, das von der Sensorgruppe 112 geliefert wird. Wenn die Änderung der Stellung detektiert und angenommen wird, dass der eigene Standort sich erheblich geändert hat, und die Schätzungsgenauigkeit des auf den Zeitreiheninformationen basierenden eigenen Standorts herabgesetzt ist, schätzt die Eigenstandortschätzeinheit 132 den eigenen Standort nur aus dem auf den aktuellen Informationen basierenden eigenen Standort. Wenn ferner zum Beispiel das mobile Objekt auf einem anderen mobilen Objekt angebracht ist und sich bewegt, ändert sich der eigene Standort erheblich, selbst wenn die Änderung der Stellung des mobilen Objekts auf der Basis des von der Sensorgruppe 112 gelieferten Detektionsergebnisses nicht detektiert wird, so dass die Eigenstandortschätzeinheit 132 annimmt, dass die Schätzungsgenauigkeit des auf den Zeitreiheninformationen basierenden eigenen Standorts herabgesetzt ist, und den eigenen Standort nur aus dem auf den aktuellen Informationen basierenden eigenen Standort schätzt. Dies ist zum Beispiel in einem Fall denkbar, in welchem das mobile Objekt ein Fahrzeug ist und sich bewegt, während es auf einer Autofähre angebracht ist. Auf diese Weise wird der eigene Standort selbst dann, wenn eine Stellungsänderung vorliegt, die unvorhersehbar ist, und der eigene Standort sich ungeachtet des Vorliegens/Nichtvorliegens eines Einflusses äußerer Kräfte erheblich ändert, nur aus dem auf den aktuellen Informationen basierenden eigenen Standort geschätzt, so dass der eigene Standort mit einer vorbestimmten Genauigkeit geschätzt werden kann.
Die Situationsanalyseeinheit 133 führt einen Prozess zum Analysieren einer Situation des mobilen Objekts und einer Situation um das mobile Objekt durch. Die Situationsanalyseeinheit 133 weist die Kartenanalyseeinheit 151, die Situationserkennungseinheit 152 und eine Situationsvorhersageeinheit 153 auf.
Die Kartenanalyseeinheit 151 führt einen Prozess zum Analysieren verschiedener Arten von Karten durch, die in der Speichereinheit 109 gespeichert sind, und erstellt eine Karte, die Informationen aufweist, die für einen Prozess autonomer Bewegung erforderlich sind, während nötigenfalls Daten oder Signale von den jeweiligen Einheiten des Mobilobjektsteuersystems 100, wie beispielsweise der Eigenstandortschätzeinheit 132 und der Mobilobjekt-externen Informationsdetektionseinheit 141, verwendet werden. Die Kartenanalyseeinheit 151 liefert die erstellte Karte an die Situationserkennungseinheit 152 und die Situationsvorhersageeinheit 153, an eine Routenplanungseinheit 161, eine Aktionsplanungseinheit 162, eine Verhaltensplanungseinheit 163 der Planungseinheit 134 und dergleichen.
Die Situationserkennungseinheit 152 führt einen Prozess zum Erkennen von Situationen in Bezug auf das mobile Objekt auf der Basis von Daten und Signalen von den jeweiligen Einheiten des Mobilobjektsteuersystems 100 durch, wie beispielsweise der Eigenstandortschätzeinheit 132 und der Mobilobjekt-externen Informationsdetektionseinheit 141, der Mobilobjekt-internen Informationsdetektionseinheit 142, der Fahrzeugzustandsdetektionseinheit 143 und der Kartenanalyseeinheit 151. Zum Beispiel führt die Situationserkennungseinheit 152 einen Prozess zum Erkennen einer Situation des mobilen Objekts, einer Situation um das mobile Objekt, einer Situation des Fahrers des mobilen Objekts und dergleichen durch. Ferner erzeugt die Situationserkennungseinheit 152 nötigenfalls eine lokale Karte, die zum Erkennen der Situation um das mobile Objekt (hierin im Folgenden Situationserkennungskarte bezeichnet) verwendet werden soll. Zum Beispiel kann die Situationserkennungskarte eine Belegungsgitterkarte, eine Straßenkarte (Fahrspurkarte) oder eine Punkwolkenkarte sein.
Beispiele für die Situation des mobilen Objekts, die ein Erkennungsziel ist, weisen einen Standort, eine Stellung und Bewegung (wie beispielsweise etwa Geschwindigkeit, Beschleunigung oder Bewegungsrichtung) des mobilen Objekts, Vorliegen/Nichtvorliegen von Anomalien, Inhalte der Anomalien und dergleichen auf. Beispiele für die Situation um das mobile Objekt, die ein Erkennungsziel ist, weisen Typen und Standorte von stationären Objekten in der Umgebung, Typen, Standorte und Bewegung (wie beispielsweise etwa Geschwindigkeit, Beschleunigung oder Bewegungsrichtung) von sich bewegenden Objekten in der Umgebung, Strukturen von Straßen in der Umgebung, Zustände von Straßenoberflächen, Wetter, Temperatur, Feuchtigkeit, Helligkeit und dergleichen auf. Beispiele für den Zustand des Fahrers, der ein Detektionsziel ist, weisen einen Gesundheitszustand, einen Bewusstseinsgrad, einen Konzentrationsgrad, einen Ermüdungsgrad, eine Blickrichtung, Fahrbetrieb und dergleichen auf.
Die Situationserkennungseinheit 152 liefert Daten, die ein Ergebnis des Erkennungsprozesses (nötigenfalls einschließlich der Situationserkennungskarte) an die Eigenstandortschätzeinheit 132, die Situationsvorhersageeinheit 153 und dergleichen. Ferner veranlasst die Situationserkennungseinheit 152 die Speichereinheit 109 zum Speichern der Situationserkennungskarte.
Die Situationsvorhersageeinheit 153 führt einen Prozess zum Vorhersagen einer Situation in Bezug auf das mobile Objekt auf der Basis von Daten oder Signalen von den jeweiligen Einheiten des Mobilobjektsteuersystems 100, wie beispielsweise der Kartenanalyseeinheit 151 und der Situationserkennungseinheit 152 und dergleichen, durch. Zum Beispiel führt die Situationsvorhersageeinheit 153 einen Prozess zum Vorhersagen einer Situation des mobilen Objekts, einer Situation um das mobile Objekt, einer Situation des Fahrers und dergleichen durch.
Beispiele für die Situation des mobilen Objekts, die ein Vorhersageziel ist, weisen Verhalten des mobilen Objekts, Auftreten von Anomalien, eine zurücklegbare Distanz und dergleichen auf. Beispiele für die Situation um das mobile Objekt, die eine Vorhersageziel ist, weisen Verhalten von sich bewegenden Objekten, Zustandsänderung von Verkehrsampeln, Umgebungsänderungen, wie Wetter, und dergleichen um das mobile Objekt auf. Beispiele für die Situation des Fahrers, die eine Vorhersageziel ist, weisen Verhalten, Gesundheitszustand und dergleichen des Fahrers auf.
Die Situationsvorhersageeinheit 153 liefert Daten, die Ergebnisse der Vorhersageprozesse angeben, zusätzlich zu den Daten von der Situationserkennungseinheit 152 an die Routenplanungseinheit 161, die Aktionsplanungseinheit 162 und die Verhaltensplanungseinheit 163 der Planungseinheit 134 und dergleichen.
Die Routenplanungseinheit 161 plant eine Route zu einem Ziel auf der Basis von Daten oder Signalen von den jeweiligen Einheiten des Mobilobjektsteuersystems 100, wie beispielsweise der Kartenanalyseeinheit 151 und der Situationsvorhersageeinheit 153 und dergleichen. Zum Beispiel legt die Routenplanungseinheit 161 eine Route vom aktuellen Standort zu einem vorgegebenen Ziel auf der Basis der globalen Karte fest. Ferner ändert die Routenplanungseinheit 161 die Route auf der Basis von Situationen, wie beispielsweise Menschen, Hindernissen, Verkehrsstau, Unfällen, Verkehrsregelung und Bauarbeiten sowie einem Gesundheitszustand und dergleichen des Fahrers entsprechend. Die Routenplanungseinheit 161 liefert Daten, welche die geplante Route angeben, an die Aktionsplanungseinheit 162 und dergleichen.
Die Aktionsplanungseinheit 162 plant eine Aktion des mobilen Objekts zur sicheren Bewegung auf der von der Routenplanungseinheit 161 geplanten Route innerhalb eines geplanten Zeitraums auf der Basis von Daten oder Signalen von den jeweiligen Einheiten des Mobilobjektsteuersystems 100, wie beispielsweise der Kartenanalyseeinheit 151 und der Situationsvorhersageeinheit 153. Zum Beispiel plant die Aktionsplanungseinheit 162 Start, Stopp, eine Fahrtrichtung (zum Beispiel vorwärts, rückwärts, links abbiegen, rechts abbiegen, Richtungsänderung usw.), Bewegungsgeschwindigkeit, Überholen und dergleichen. Die Aktionsplanungseinheit 162 liefert Daten, welche die für das mobile Objekt geplante Aktion angeben, an die Verhaltensplanungseinheit 163 und dergleichen.
Genauer gesagt, erzeugt die Aktionsplanungseinheit 162 als Aktionsplankandidaten Kandidaten des Aktionsplans (Bewegungsplans) des mobilen Objekts zur sicheren Bewegung innerhalb einer geplanten Zeit für jede der von der Routenplanungseinheit 161 geplanten Routen. Genauer gesagt, erzeugt die Aktionsplanungseinheit 162 Aktionsplankandidaten zum Beispiel durch einen A*-Algorithmus (A-Stern-Suchalgorithmus) zum Unterteilen einer Umgebung in Gitter und Optimieren der Ankunftsbestimmung und des Gewichts der Route, um den besten Pfad zu erzeugen, einen Fahrspur-Algorithmus zum Festlegen der Route gemäß der Straßenmittellinie, den Dijkstra-Algorithmus zum Erhalten der kürzesten Route zwischen zwei Eckpunkten auf einem Graphen, einen RRT-Algorithmus (RRT - Rapidly-exploring Random Tree ≈ schnell erkundender zufälliger Baum) zum Erweitern des Pfades vom eigenen Standort zum inkrementell erreichbaren Standort, während der Pfad entsprechend gekürzt wird, und dergleichen.
Die Verhaltensplanungseinheit 163 plant ein Verhalten des mobilen Objekts zum Erreichen der von der Aktionsplanungseinheit 162 geplanten Aktion auf der Basis von Daten oder Signalen von den jeweiligen Einheiten des Mobilobjektsteuersystems 100, wie beispielsweise der Kartenanalyseeinheit 151 und der Situationsvorhersageeinheit 153. Zum Beispiel plant die Verhaltensplanungseinheit 163 Beschleunigung, Verlangsamung, einen Bewegungsablauf und dergleichen. Die Verhaltensplanungseinheit 163 liefert Daten, die das geplante Verhalten des mobilen Objekts angeben, an die Verhaltenssteuerungseinheit 135 und dergleichen.
Die Verhaltenssteuerungseinheit 135 steuert das Verhalten des mobilen Objekts.
Genauer gesagt, führt die Verhaltenssteuerungseinheit 135 einen Prozess zum Detektieren von Kollision, Kontakt, Eintritt in eine Gefahrenzone oder eines Notfallereignisses, wie beispielsweise eine Anomalie des Fahrers oder eine Anomalie des mobilen Objekts, auf der Basis von Detektionsergebnissen durch, die durch die Mobilobjekt-externe Informationsdetektionseinheit 141, Mobilobjekt-interne Informationsdetektionseinheit 142 und die Mobilobjekt-Zustandsdetektionseinheit 143 erhalten werden. Falls das Auftreten eines Notfallereignisses detektiert wird, plant die Verhaltenssteuerungseinheit 135 ein Verhalten des mobilen Objekts, beispielsweise einen Schnellstopp oder eine Schnellwendung, zum Vermeiden des Notfallereignisses.
Ferner steuert die Verhaltenssteuerungseinheit 135 Beschleunigung/Verlangsamung zum Erreichen des von der Verhaltensplanungseinheit 163 geplanten Verhaltens des mobilen Objekts. Zum Beispiel berechnet die Verhaltenssteuerungseinheit 135 einen Steuerungszielwert der Antriebskrafterzeugungsvorrichtung oder der Bremsvorrichtung, um die geplante Beschleunigung, die geplante Verlangsamung oder den geplanten Schnellstopp zu erreichen, und liefert eine Steuerungsanweisung, die den berechneten Steuerungszielwert angibt, an die Kraftübertragungssteuereinheit 107.
Die Verhaltenssteuerungseinheit 135 steuert eine Richtung zum Erreichen des von der Verhaltensplanungseinheit 163 geplanten Verhaltens des mobilen Objekts. Zum Beispiel berechnet die Verhaltenssteuerungseinheit 135 einen Steuerungszielwert des Lenkmechanismus, um einen Bewegungsablauf oder eine Schnellwendung, die von der Verhaltenssteuerungseinheit 163 geplant wurden, zu erreichen, und liefert eine Steuerungsanweisung, die den Steuerungszielwert angibt, an die Kraftübertragungssteuereinheit 107.
[Übersicht über die vorliegende Technologie]
2 ist ein Flussdiagramm zum Beschreiben der Übersicht über die vorliegende Technologie.
Jeder Prozess, der in 2 dargestellt ist, wird zum Beispiel durch die Erkennungsverarbeitungseinheit 121 in der Einheit zur Steuerung autonomer Bewegung 110 ausgeführt, die in 1 dargestellt ist. Alle oder mehrere der in 1 dargestellten Blöcke können zusammenwirken, um jeden Prozess durchzuführen, der in 2 dargestellt ist. Alternativ kann ein neuer Block, der von den in 1 dargestellten Blöcken verschieden ist, zum Durchführen jedes in 2 dargestellten Prozesses ausgebildet werden.
In einem Raum, in dem sich das mobile Objekt bewegt, wird ein Objekt detektiert (Schritt 101).
Zum Beispiel wird ein Objekt im Raum auf der Basis der Detektionsinformationen detektiert, die durch die in 1 dargestellte Sensorgruppe 112 detektiert werden.
Zum Beispiel kann ein Objekt im Raum auf der Basis der Detektionsinformationen detektiert werden, die von verschiedenen Kameras, einem LiDAR, einem ToF-Sensor oder dergleichen detektiert werden, die auf dem mobilen Objekt angebracht sind.
Das Verfahren zum Detektieren eines Objekts im Raum ist nicht beschränkt, und es kann eine beliebige Technik verwendet werden. Zum Beispiel kann eine beliebige Bilderkennungstechnik verwendet werden, wie beispielsweise ein Vergleichsprozess, der ein Modellbild des Objekts, Kantendetektion oder Projektionstransformation verwendet. Ein beliebiger maschineller Lernalgorithmus kann zum Detektieren eines Objekts zum Beispiel durch das tiefe neuronale Netzwerk (DNN) verwendet werden. Zum Beispiel ermöglicht die Verwendung von künstlicher Intelligenz (AI) oder dergleichen, die tiefes Lernen durchführt, eine Verbesserung der Genauigkeit der Detektion eines Objekts. Es ist zu erwähnen, dass die Anwendung des maschinellen Lernalgorithmus für jeden Prozess innerhalb der vorliegenden Offenbarung durchgeführt werden kann.
In dieser Ausführungsform fungiert der Block, der Schritt 101 ausführt, als eine Detektionseinheit, die ein Objekt im Raum detektiert.
3 ist eine schematische Darstellung zum Beschreiben eines Beispiels für eine Detektion eines Objekts in einem Raum.
Wie zum Beispiel in 3 dargestellt, wird eine semantische Segmentierung an einem Bild (Bilddaten) 2 durchgeführt, das von einer Kamera aufgenommen wird. Dies macht es möglich, jedes Pixel im Bild 2 mit einem Etikett (Person, Fahrzeug, Baum, Straße, Gebäude usw.) zu assoziieren.
Zum Beispiel ermöglicht die semantische Segmentierung in dem in 2 dargestellten Beispiel die Detektion einer Person 3, einer Straße 4, einer Leitplanke 5, eines Fahrzeugs 6, eines Baums 7, eines Gebäudes 8 und dergleichen, die im Bild 2 enthalten sind, mit hoher Genauigkeit.
Es ist zu erwähnen, dass in der vorliegenden Offenbarung das Bild ein Standbild und ein Bewegtbild aufweist. Natürlich weist das Bild auch eine Mehrzahl von Framebildern auf, die im Bewegtbild enthalten sind.
4 ist eine schematische Darstellung zum Beschreiben eines Beispiels für eine Erzeugung eines gelernten Modells der semantischen Segmentierung.
Eine Lernbilddatengruppe 10 und ein Etikett 11 werden in eine Lerneinheit 12 eingegeben. Bei dem Etikett 11 handelt es sich um Informationen, die mit jedem Lernbilddatenelement assoziiert sind. Zum Beispiel werden Informationen, die angeben, dass ein bestimmtes Pixel von bestimmten Bilddaten eine Person ist, als das Etikett 11 gespeichert.
Das Verfahren zum Assoziieren des Etiketts 11 mit den Lernbilddaten ist nicht beschränkt. Zum Beispiel kann das Etikett 11 durch den Benutzer für Bilddaten manuell festgelegt werden, und ein Lerndatensatz kann erzeugt werden. Alternativ kann ein Lerndatensatz, in welchem die Bilddatengruppe 10 und das Etikett 11 miteinander assoziiert sind, über ein Netzwerk oder dergleichen heruntergeladen und in die Lerneinheit 12 eingegeben werden.
Die Lerneinheit 12 verwendet den Lerndatensatz und führt Lernen auf der Basis eines maschinellen Lernalgorithmus durch. Durch das Lernen werden die Parameter (Koeffizienten) zum Durchführen von semantischer Segmentierung aktualisiert und als gelernte Parameter erzeugt. Ein Programm, das die erzeugten gelernten Parameter aufweist, wird als das gelernte Modell 13 erzeugt.
Mit dem gelernten Modell 13 wird semantische Segmentierung an der Eingabe des Bildes durchgeführt, und es wird Detektion des Objekts auf jeder Pixelebene durchgeführt.
Die Detektionsinformationen, die zum Detektieren eines Objekts verwendet werden, sind nicht auf das von der Kamera aufgenommene Bild 2 beschränkt. Zum Beispiel kann ein Objekt durch Eingeben von dreidimensionalen Punktwolkendaten detektiert werden, die von einem LiDAR oder dergleichen erhalten werden. Zum Beispiel kann ein Etikett einer Person, eines Fahrzeugs oder dergleichen mit den dreidimensionalen Punktwolkendaten assoziiert werden.
In der vorliegenden Offenbarung bedeutet die Detektion eines Objekts die Detektion der Gegenwart eines Objekts in einem Raum. Zum Beispiel kann die semantische Segmentierung oder dergleichen verwendet werden, um den Typ oder dergleichen eines Objekts zu identifizieren, das in einem Raum vorhanden ist. Andererseits wird, wenn es möglich ist, die Gegenwart eines Objekts in einem Raum zu detektieren, selbst wenn der Typ oder dergleichen des Objekts nicht identifiziert werden kann, solch ein Prozess ebenfalls in die Detektion eines Objekts einbezogen. Selbst wenn zum Beispiel nur die Größe, die Farbe oder dergleichen eines Objekts detektiert werden kann, wird solch ein Prozess ebenfalls in die Detektion eines Objekts einbezogen.
Zurück zu 2 wird das detektierte Objekt auf der Basis von vorbestimmten Kriterien klassifiziert (Schritt 102). In dieser Ausführungsform wird das detektierte Objekt auf der Basis der Wahrscheinlichkeit von Bewegung des Objekts klassifiziert.
Es kann zum Beispiel die folgende Klassifizierung durchgeführt werden: sich konstant bewegende Objekte (100 % Bewegungswahrscheinlichkeit); Objekte, die manchmal stationär sind, sich aber die meiste Zeit bewegen (hohe Bewegungswahrscheinlichkeit); Objekte, die sich manchmal bewegen, aber die meiste Zeit stationär sind (niedrige Bewegungswahrscheinlichkeit); und Objekte, die konstant stationär sind (0 % Bewegungswahrscheinlichkeit). Das Verfahren zum Definieren der Bewegungswahrscheinlichkeit in Bezug auf das Objekt ist nicht beschränkt.
5 ist eine Tabelle, die Beispiele für eine Klassifizierung des Objekts darstellt.
Im Beispiel, das in 5 dargestellt ist, wird das detektierte Objekt als eines von einem sich bewegenden Objekt, einem quasistationären Objekt und einem stationären Objekt klassifiziert. Ferner werden verschiedene Klassifizierungsverfahren auf der Basis der Situation des Raumes veranschaulicht, in dem sich das Objekt befindet.
Zum Beispiel werden im Falle eines Raumes in einem Heim, wo das mobile Objekt ein Tierroboter oder dergleichen ist, Wände im Heim als stationäre Objekte klassifiziert. Ferner werden Tische, Stühle, Glühlampen usw. auch als quasistationäre Objekte klassifiziert. Ferner werden Menschen, Tiere (Hunde, Katzen usw.), andere Haushaltsroboter usw. als sich bewegende Objekte klassifiziert.
Im Falle eines Raumes in einer Fabrik, wo ein mobiles Objekt ein Transferroboter usw. ist, Wände, große Maschinen in der Fabrik usw. als stationäre Objekte klassifiziert. Gestelle (Regale), Packungen, Glühlampen usw. werden als quasistationäre Objekte klassifiziert. Menschen, andere Transferroboter usw. werden als sich bewegende Objekte klassifiziert.
Im Falle des Bodens im Außenbereich, wo das mobile Objekt ein autonom bewegliches Fahrzeug usw. ist, werden Telefonmasten, Verkehrsampeln, Zäune von Häusern usw. als stationäre Objekte klassifiziert. Ferner werden Bäume (einschließlich Blätter) usw. als quasistationäre Objekte klassifiziert. Ferner werden Menschen, Autos, Tiere (Hunde, Katzen usw.) als sich bewegende Objekte klassifiziert.
Im Falle eines Außenluftraums, wo das mobile Objekt eine Drohne usw. ist, werden Häuser, Dächer usw. als stationäre Objekte klassifiziert. Ferner werden Bäume (einschließlich Blätter) usw. als quasistationäre Objekte klassifiziert. Ferner werden Menschen, andere Drohnen, Flugzeuge, Tiere (Vögel usw.) als sich bewegende Objekte klassifiziert.
Zum Beispiel werden Tabelleninformationen, wie in der Tabelle von 5 dargestellt, in der Speichereinheit 109 gespeichert. In Schritt 102 werden die Tabelleninformationen aus der Speichereinheit 109 ausgelesen, und das in Schritt 101 detektierte Objekt wird auf der Basis der Tabelleninformationen klassifiziert. Das Verfahren zum Klassifizieren des detektierten Objekts auf der Basis der Bewegungswahrscheinlichkeit ist nicht beschränkt, und es kann jedes andere Klassifizierungsverfahren eingesetzt werden.
Als ein Parameter zum Klassifizieren des Objekts können Datums- und Zeitinformationen eingesetzt werden.
Zum Beispiel kann in einigen Situationen ein spezifisches Objekt sich während eines spezifischen Zeitraums beinahe bewegen, aber während anderer Zeiträume in einer vorbestimmten Position beinahe stationär sein. Zum Beispiel kann ein spezifischer Transportroboter in einer Fabrik am Morgen in Betrieb sein und am Nachmittag an einem vorbestimmten Platz in Bereitschaft sein. Es ist ferner auch denkbar, dass ein spezifischer Transportroboter in einer Fabrik an einem spezifischen Wochentag in Betrieb und an einem anderen Wochentag in Bereitschaft sein kann.
Demnach kann die Klassifizierung des Objekts auf der Basis des Datums und der Uhrzeit, zu welcher das Objekt detektiert wird, durchgeführt werden. Zum Beispiel wird das Objekt sogar beim gleichen Objekt als ein sich bewegendes Objekt klassifiziert, wenn die Detektionszeit ein Zeitraum ist, in welchem das Objekt sich beinahe bewegt. Wenn die Detektionszeit dagegen ein Zeitraum ist, in welchem das Objekt beinahe stationär ist, wird das Objekt als ein quasistationäres Objekt klassifiziert.
Wenn solch ein Prozess ausgeführt wird, ist es möglich, die Genauigkeit der Klassifizierung eines sich bewegenden Objekts, eines quasistationären Objekts oder eines stationären Objekts zu verbessern. Zum Beispiel können Informationen eines Transportroboters, der in einem spezifischen Zeitraum in einer spezifischen Position wartet, eines Fahrzeugs, das in einem spezifischen Zeitraum in einer spezifischen Position geparkt ist, oder dergleichen für die Eigenstandortschätzung oder dergleichen verwendet werden, die später beschrieben wird. Als Ergebnis wird es möglich, die Genauigkeit der Steuerung autonomer Bewegung des mobilen Objekts zu verbessern.
Die Objektdetektion von Schritt 101 und die Klassifizierung von Schritt 102 können zusammen durchgeführt werden. Falls zum Beispiel maschinelles Lernen oder dergleichen verwendet wird, kann das Klassifizierungsergebnis eines sich bewegenden Objekts, eines quasistationären Objekts oder eines stationären Objekts mit einem Pixel oder Punktdaten für die Eingabe des Bildes oder der dreidimensionalen Punktwolkendaten assoziiert werden. Es ist auch möglich, solch ein gelerntes Modell zu erstellen.
Es ist zu erwähnen, dass in solch einem Fall die Identifizierung des Typs des Objekts möglich oder nicht möglich sein kann. Das heißt, das Objekt kann klassifiziert werden, ohne Informationen über den Typ des Objekts zu erhalten. Selbst wenn solch ein Prozess ausgeführt wird, wird die Gegenwart des Objekts natürlich detektiert, und daher wird die Detektion des Objekts ausgeführt.
Ferner kann in einem Vergleichsprozess, der ein Modellbild oder dergleichen verwendet, das Klassifizierungsergebnis mit dem Modellbild assoziiert werden. Zum Beispiel wird das Klassifizierungsergebnis eines sich bewegenden Objekts oder dergleichen mit einem Modellbild eines Fahrzeugs assoziiert. Das Objekt, das durch den Vergleich, der das Modellbild des Fahrzeugs verwendet, detektiert wird, wird zur gleichen Zeit wie die Detektion als ein sich bewegendes Objekt klassifiziert.
Wenn außerdem ein Bewegtbild oder dergleichen aufgenommen wird, können die Detektion und die Klassifizierung des Objekts auf der Basis einer Differenz zwischen Framebildern durchgeführt werden. Es kann jede andere Technik verwendet werden.
Es ist zu erwähnen, dass die Verwendung der Technik der semantischen Segmentierung eine Verbesserung der Robustheit gegenüber dem Vergleichsprozess oder dergleichen, der das Modellbild verwendet, sowie der Genauigkeit der Detektion und Klassifizierung des Objekts ermöglicht.
In dieser Ausführungsform fungiert der Block, der Schritt 102 ausführt, als eine Klassifizierungseinheit, die das Objekt, das im Raum detektiert wird, auf der Basis von vorbestimmten Kriterien klassifiziert.
Zurück zu 2 wird eine Priorität für das Objekt auf der Basis des Klassifizierungsergebnisses festgelegt (Schritt 103). Die Priorität kann auch als Gewichtung hinsichtlich der Erzeugung der positionsbezogenen Informationen in Schritt 104 bezeichnet werden.
Zum Beispiel wird eine erste Priorität für das Objekt festgelegt, das als ein sich bewegende Objekt klassifiziert wird. Eine zweite Priorität, die höher als die erste Priorität ist, wird für das Objekt festgelegt, das als ein quasistationäres Objekt klassifiziert wird. Eine dritte Priorität, die höher als die zweite Priorität ist, wird für das Objekt festgelegt, das als ein stationäres Objekt klassifiziert wird.
Der spezifische Wert der Priorität (Gewichtung) ist nicht beschränkt und kann willkürlich festgelegt werden.
Zum Beispiel können verschiedene Prioritäten für die Objekte festgelegt werden, die in eine gleiche Gruppe eingeteilt sind. Es wird zum Beispiel angenommen, dass ein normalisierter Wert von 0 bis 100 als die Priorität festgelegt wird.
Die Priorität für das sich bewegende Objekt wird entsprechend vom Wert von 0 bis 30 festgelegt. Die Priorität für das quasistationäre Objekt wird entsprechend vom Wert von 30 bis 80 festgelegt. Die Priorität für das stationäre Objekt wird entsprechend vom Wert von 80 bis 100 festgelegt. Solch eine Festlegung ist ebenfalls möglich.
Es ist zu erwähnen, dass die Priorität von null (Gewichtung von null) bedeutet, dass es nicht als Verarbeitungsziel verwendet wird. Andererseits bedeutet die Priorität von 100 (Gewichtung von 100), dass es sicher als Verarbeitungsziel verwendet wird.
Als ein Parameter zum Festlegen der Priorität können Datums- und Zeitinformationen eingesetzt werden.
Zum Beispiel kann ein spezifisches detektiertes Objekt detektiert und als ein sich bewegendes Objekt, ein quasistationäres Objekt oder ein stationäres Objekt klassifiziert werden. Wenn zum Beispiel die Detektionszeit des als ein sich bewegendes Objekt klassifizierten Objekts ein Zeitraum ist, in welchem das Objekt sich nicht sehr häufig bewegt, wird die Priorität verhältnismäßig hoch festgelegt. Wenn die Detektionszeit dagegen ein Zeitraum ist, in welchem sich das Objekt häufig bewegt, wird die Priorität verhältnismäßig niedrig festgelegt.
Wenn solch ein Prozess ausgeführt wird, ist es möglich, die Genauigkeit der Festlegung der Priorität sowie die Genauigkeit der Steuerung autonomer Bewegung des mobilen Objekts zu verbessern.
Als ein Parameter zum Festlegen der Priorität kann die Geschwindigkeit des detektierten Objekts eingesetzt werden. Wenn zum Beispiel die Geschwindigkeit des als ein sich bewegendes Objekt klassifizierten Objekts hoch ist, wird die Priorität verhältnismäßig niedrig festgelegt. Wenn die Geschwindigkeit des Objekts niedrig ist, wird die Priorität verhältnismäßig hoch festgelegt. Alternativ wird die Priorität für ein Objekt mit einer Geschwindigkeit, die gleich wie oder höher als eine vorbestimmte Geschwindigkeit ist, auf null festgelegt. Solche Festlegungen sind ebenfalls möglich. Es ist auch möglich, die Priorität gemäß einer Geschwindigkeitsänderung zu ändern.
Es ist zu erwähnen, dass Verfahren zum Detektieren der Geschwindigkeit des Objekts nicht beschränkt ist. Zum Beispiel ist es möglich, die Geschwindigkeit des Objekts auf der Basis der Differenz zwischen den Framebildern zu detektieren. Es kann jeder andere Algorithmus verwendet werden.
Ferner kann die Priorität für das als ein quasistationäres Objekt klassifizierte Objekt auf der Basis der Geschwindigkeit festgelegt werden.
Zurück zu 2 werden positionsbezogene Informationen auf der Basis der für das Objekt festgelegten Priorität erzeugt (Schritt 104). Die positionsbezogenen Informationen weisen alle Informationen hinsichtlich des Standorts im Raum auf, in dem sich das mobile Objekt bewegt.
In dieser Ausführungsform werden die Positionsinformationen des mobilen Objekts, das sich im Raum bewegt, als die positionsbezogenen Informationen erzeugt. Zum Beispiel schätzt die in 1
dargestellte Eigenstandortschätzeinheit 132 den eigenen Standort des mobilen Objekts auf der Basis der für das Objekt festgelegten Priorität. Das Ergebnis der Schätzung des eigenen Standorts sind die Positionsinformationen des mobilen Objekts, und es wird in die positionsbezogenen Informationen einbezogen.
In der vorliegenden Offenbarung beziehen sich die Positionsinformationen auf Information hinsichtlich einer Position und einer Stellung. Zum Beispiel können als die Positionsinformationen nur Informationen hinsichtlich der Position oder nur Informationen hinsichtlich der Stellung erzeugt werden. Natürlich können Informationen erzeugt werden, die sowohl die Informationen hinsichtlich der Position als auch die Informationen hinsichtlich der Stellung aufweisen. Außerdem können alle Informationen hinsichtlich der Position und der Stellung, wie beispielsweise Änderungen der Position und der Stellung, als die Positionsinformationen erzeugt werden.
Ferner werden Karteninformationen hinsichtlich des Raumes als die positionsbezogenen Informationen erzeugt.
In der vorliegenden Offenbarung weisen die Karteninformationen alle Informationen auf, die einen Raum (umliegende Umgebung) definieren können. Zum Beispiel weisen die Karteninformationen eine Belegungsgitterkarte, die später beschrieben wird, und Punktwolkendaten (beispielsweise dreidimensionale Punktwolkendaten und Bildmerkmalspunkte) auf, von welchen jedes Element Positionsinformationen enthält.
In dieser Ausführungsform fungieren die Blöcke, die Schritt 103 und 104 ausführen, als eine Erzeugungseinheit, die eine Priorität für ein Objekt auf der Basis des Klassifizierungsergebnisses durch die Klassifizierungseinheit festlegt und positionsbezogene Informationen hinsichtlich einer Position in einem Raum auf einer Basis der festgelegten Priorität erzeugt.
Die Prozesse von Schritt 101 bis 104 werden in Schleifen ausgeführt, und die erzeugten eigenstandortsbezogenen Informationen werden für die Steuerung autonomer Bewegung verwendet. Der Auslöser zum Ausführen der Schleife, das Intervall zum Ausführen der Schleife und dergleichen sind nicht beschränkt und können willkürlich festgelegt werden.
Im Folgenden wird hierin ein Beispiel für die Eigenstandortschätzung und die Erzeugung von Karteninformationen als eine Ausführungsform der Erzeugung der positionsbezogenen Informationen gemäß der vorliegenden Technologie ausführlich beschrieben.
[Eigenstandortschätzung]
6 ist eine Tabelle zum Beschreiben von Dead-Reckoning und Star-Reckoning.
Dead-Reckoning ist ein Verfahren zum Schätzen des eigenen Standorts auf der Basis der Detektionsinformationen, die von einem internen Sensor detektiert werden.
Der interne Sensor weist einen Erkenner auf, der zum Detektieren von Informationen hinsichtlich des Zustands und des Betriebs des mobilen Objekts imstande ist. Der Erkenner, der im internen Sensor umfasst ist, weist einen Beschleunigungssensor, einen Gyrosensor, eine IMU, einen Messrad-Encoder, eine Kamera und dergleichen auf. Physikalische Größen, die von diesen Sensoren erhalten werden, weisen Geschwindigkeit, Beschleunigung, relative Position, Winkelgeschwindigkeit und dergleichen auf. Auf der Basis dieser physikalischen Größen wird der eigene Standort des mobilen Objekts geschätzt.
Es ist zu erwähnen, dass das Dead-Reckoning ein Verfahren zum Messen relativer Positionsinformationen ist und es unmöglich ist, absolute Positions- und Stellungsinformationen zu erhalten. Ferner kann das Dead-Reckoning Messungen kontinuierlich mit einer hohen Erfassungsrate durchführen.
Star-Reckoning ist ein Verfahren zum Schätzen des eigenen Standorts auf der Basis der Detektionsinformationen, die von einem externen Sensor detektiert werden.
Der externe Sensor weist einen beliebigen Erkenner auf, der zum Detektieren von Informationen außerhalb des mobilen Objekts, beispielsweise Umgebungsinformationen hinsichtlich der umliegenden Umgebung, imstande ist. Der Erkenner, der im externen Sensor umfasst ist, weist ein GPS, einen Magnetsensor, einen Funkwellenintensitätssensor, einen LiDAR, einen ToF-Sensor, eine Kamera und dergleichen auf. Physikalische Größen, die von diesen Sensoren erhalten werden, weisen eine Position, eine Stellung und die Änderungen der Position und der Stellung auf. Auf der Basis dieser physikalischen Größen wird der eigene Standort des mobilen Objekts geschätzt.
Wie in 6 dargestellt, weist das Star-Reckoning einen 3D-Punktwolkenvergleich auf, wobei der eigene Standort durch Vergleichen von dreidimensionalen Punktwolkendaten, die durch den LiDAR, den ToF-Sensor oder dergleichen erhalten werden, mit einer Vorkarte geschätzt wird. Ferner weist das Star-Reckoning einen Bildmerkmalspunktvergleich auf, wobei der eigene Standort durch Vergleichen der Bildmerkmalspunkte, die aus dem von der Kamera aufgenommenen Bild extrahiert werden, mit einer Vorkarte geschätzt wird. Die vorliegende Technologie ist natürlich nicht auf diese Prozesse beschränkt ist.
In der vorliegenden Offenbarung werden sowohl die durch den LiDAR oder den ToF-Sensor erhaltenen dreidimensionalen Punktwolkendaten als auch die aus dem von der Kamera aufgenommenen Bild extrahierten Bildmerkmalspunkte als „Punktwolkendaten“ beschrieben. Die „Punktwolke“ bedeutet einen oder mehrere Punkte, und ein Element von dreidimensionalen Daten und ein Element von Bildmerkmalspunktdaten sind ebenfalls in den „Bildpunktdaten“ enthalten. Ferner sind die „Punktwolkendaten“ in den Detektionsinformationen enthalten, die durch den Sensor detektiert werden.
Durch das Star-Reckoning ist es möglich, Informationen über die absolute Position und Stellung zu erhalten. Dagegen ist die Erfassungsrate niedrig, und kontinuierliche Messung ist schwierig.
7 ist eine schematische Darstellung, die ein Beispiel für eine Konfiguration der Blöcke darstellt, die in Betrieb sind, wenn Eigenstandortschätzung ausgeführt wird.
Ein interner Sensor 15, ein externer Sensor 16 und eine Kamera 17 sind in der in 1 dargestellten Sensorgruppe 112 enthalten.
In diesem Beispiel wird ein Sensor, der zum Ausgeben der Detektionsinformationen imstande ist, mit welchen die „Punktwolkendaten“ in der vorliegenden Offenbarung erzeugt werden können, als der externe Sensor 16 verwendet. Zum Beispiel wird ein LiDAR oder ein ToF-Sensor als der externe Sensor 16 verwendet, und die dreidimensionalen Punktwolkendaten in einem Raum werden als die „Punktwolkendaten“ ausgegeben.
Alternativ kann eine Kamera als der externe Sensor 16 verwendet werden. In diesem Fall wird eine Mehrzahl von Bildmerkmalspunkten, die aus einem Bild extrahiert wird, das als die Detektionsinformationen ausgegeben wird, als die „Punktwolkendaten“ verwendet.
Die Kamera 17 kann als der interne Sensor 15 oder der externe Sensor 16 verwendet werden.
Eine Objektklassifizierungseinheit 18 führt semantische Segmentierung an der Bildeingabe von der Kamera 17 gemäß dem gelernten Modell 13 durch und detektiert ein Objekt. Das detektierte Objekt wird dann klassifiziert.
Eine Punktwolken-Gewichtungseinheit 19 verleiht den „Punktwolkendaten“, die aus den Detektionsinformationen durch den externen Sensor 16 erfasst werden, ein Gewicht auf der Basis des Klassifizierungsergebnisses durch die Objektklassifizierungseinheit 18.
Die Objektklassifizierungseinheit 18 und die Punktwolken-Gewichtungseinheit 19 sind zum Beispiel in der in 1 dargestellten Mobilobjekt-externen Informationsdetektionseinheit 141 ausgebildet. Die Objektklassifizierungseinheit 18 und die Punktwolken-Gewichtungseinheit 19 sind nicht auf das Vorhergesagte beschränkt und können in einem anderen Block, beispielsweise der Eigenstandortschätzeinheit 132, ausgebildet sein. Alternativ kann ein neuer Block ausgebildet werden.
Die Eigenstandortschätzeinheit 132 weist eine Star-Reckoning-Verarbeitungseinheit 21, eine Dead-Reckoning-Verarbeitungseinheit 22 und eine Eigenstandort-Integrationseinheit 23 auf.
Die Star-Reckoning-Verarbeitungseinheit 21 führt unter Verwendung der Punktwolkendaten, welchen durch die Punktwolken-Gewichtungseinheit 19 das Gewicht verliehen wird, Star-Reckoning aus. Die Star-Reckoning-Verarbeitungseinheit 21 schätzt dann den eigenen Standort des mobilen Objekts.
Die Dead-Reckoning-Verarbeitungseinheit 22 führt auf der Basis der Detektionsinformationen, die durch den internen Sensor 15 detektiert werden, Dead-Reckoning aus und schätzt den eigenen Standort. Der spezifische Algorithmus zum Ausführen von Dead-Reckoning ist nicht beschränkt.
Die Eigenstandort-Integrationseinheit 23 integriert das Eigenstandortschätzungsergebnis durch das Star-Reckoning mit dem Eigenstandortschätzungsergebnis durch das Dead-Reckoning, um den eigenen Standort des mobilen Objekts zu schätzen, und gibt Eigenstandortinformationen aus. Der spezifische Algorithmus zum Intergieren der Schätzungsergebnisse ist nicht beschränkt.
8 ist ein Flussdiagramm, das ein Beispiel der Eigenstandortschätzung durch das Star-Reckoning darstellt.
Die Objektklassifizierungseinheit 18 detektiert ein Objekt in einem Raum und klassifiziert das detektierte Objekt (Schritt 201). Wie zum Beispiel in 5 dargestellt ist, wird das detektierte Objekt als eines von einem sich bewegenden Objekt, einem quasistationären Objekt und einem stationären Objekt klassifiziert.
Schritt 201 entspricht den in 1 dargestellten Schritten 101 und 102.
Die Punktwolken-Gewichtungseinheit 19 schätzt die Region des klassifizierten Objekts auf der Basis des Klassifizierungsergebnisses durch die Objektklassifizierungseinheit 18. Das heißt, es wird geschätzt, welche Region der Punktwolkendaten (dreidimensionale Punktwolkendaten oder Bildmerkmalspunkte), die aus den Detektionsinformationen durch den externen Sensor 16 erfasst werden, ein sich bewegendes Objekt, ein quasistationäres Objekt oder ein stationäres Objekt ist (Schritt 203).
Die Punktwolken-Gewichtungseinheit 19 verleiht den Punktwolkendaten ein Gewicht auf der Basis des Klassifizierungsergebnisses. Konkret wird den Punktwolkendaten, die in der Region enthalten sind, die in Schritt 203 als ein sich bewegendes Objekt, ein quasistationäres Objekt oder ein stationäres Objekt geschätzt wird, ein Gewicht verliehen. Im Folgenden können die Punktwolkendaten, die in der Region enthalten sind, die als ein sich bewegendes Objekt, ein quasistationäres Objekt oder ein stationäres Objekt geschätzt wird, hierin als Punktwolkendaten bezeichnet werden, die als ein sich bewegendes Objekt, ein quasistationäres Objekt oder ein stationäres Objekt klassifiziert sind.
Für die Verleihung des Gewichts wird zum Beispiel beim Star-Reckoning (Vergleich) von Schritt 204 das Gewicht der Punktwolkendaten, die als ein quasistationäres Objekt klassifiziert werden, höher festgelegt als das Gewicht der Punktwolkendaten, die als ein sich bewegendes Objekt klassifiziert werden. Ferner wird das Gewicht der Punktwolkendaten, die als ein stationäres Objekt klassifiziert werden, höher festgelegt als das Gewicht der Punktwolkendaten, die als ein quasistationäres Objekt klassifiziert werden.
Zum Beispiel wird ein erstes Gewicht den Punktwolkendaten verliehen, die als ein sich bewegendes Objekt klassifiziert werden. Ein zweites Gewicht, das höher als das erste Gewicht ist, wird den Punktwolkendaten verliehen, die als ein quasistationäres Objekt klassifiziert werden. Ein drittes Gewicht, das höher als das zweite Gewicht ist, wird den Punktwolkendaten verliehen, die als ein stationäres Objekt klassifiziert werden.
Wie außerdem zuvor in der Beschreibung der Priorität beschrieben, können verschiedene Verfahren als das Verfahren zum Verleihen des Gewichts eingesetzt werden.
Schritt 202 und 203 entsprechen dem in 1 dargestellten Schritt 103. Das heißt, die Verleihung des Gewichts entspricht der Festlegung der Priorität. Daher entsprechen die ersten bis dritten Gewichte den ersten bis dritten Prioritäten.
Es ist zu erwähnen, dass, wenn die semantische Segmentierung durchgeführt wird, die zum Detektieren eines Objekts auf der Pixelebene imstande ist, eine hohe Genauigkeit hinsichtlich der Klassifizierung und der Gewichtung für die Punktwolkendaten geboten wird. Dies macht es möglich, die Genauigkeit der Steuerung autonomer Bewegung des mobilen Objekts zu verbessern.
Die Star-Reckoning-Verarbeitungseinheit 21 führt Star-Reckoning unter Verwendung der Punktwolkendaten aus, welchen das Gewicht verliehen wird. In dieser Ausführungsform werden die Punktwolkendaten und die Vorkarte verglichen, um den eigenen Standort zu schätzen (Schritt 204).
9 ist eine schematische Darstellung zum Beschreiben eines Beispiels einer Vorkarte.
Wie zum Beispiel in A von 9 dargestellt, wird eine Belegungsgitterkarte 25 als eine Vorkarte verwendet. Der eigene Standort wird dann durch Vergleichen der dreidimensionalen Punktwolkendaten, die durch einen LiDAR oder einen ToF-Sensor erhalten werden, mit der Belegungsgitterkarte 25 geschätzt.
In dieser Ausführungsform werden die dreidimensionalen Punktwolkendaten, welchen in Schritt 203 das Gewicht verliehen wird, und die Belegungsgitterkarte 25 verglichen, und auf diese Weise wird der eigene Standort bestimmt. Das heißt, die Detektionsinformationen (dreidimensionalen Punktwolkendaten) und die Karteninformationen (Belegungsgitterkarte) werden auf der Basis der festgelegten Priorität verglichen, so dass die Positionsinformationen (eigener Standort) des mobilen Objekts erzeugt werden.
Zum Beispiel wird den dreidimensionalen Punktwolkendaten, die als ein sich bewegendes Objekt klassifiziert werden, ein Gewicht von null verliehen. Dies macht es möglich, die dreidimensionalen Punktwolkendaten, die als das sich bewegende Objekt dienen, aus den Vergleichszielen zu entfernen. Andererseits wird den Punktwolkendaten, die als ein quasistationäres Objekt klassifiziert werden, ein niedrigeres Gewicht verliehen. Ein höheres Gewicht wird den dreidimensionalen Punktwolkendaten verliehen, die als ein stationäres Objekt klassifiziert werden. Als Ergebnis können sie in einem Zustand, in welchem das Gewicht der dreidimensionalen Punktwolkendaten, die als das stationäre Objekt dienen, höher als das der dreidimensionalen Punktwolkendaten ist, die als die quasistationäre Objekt dienen, als Vergleichsziele gehandhabt werden.
In dieser Ausführungsform entsprechen die dreidimensionalen Punktwolkendaten, die als ein quasistationäres Objekt dienen, und die dreidimensionalen Punktwolkendaten, die als ein stationäres Objekt dienen und die als Vergleichsziele gehandhabt werden, den Vergleichszielinformationen, die aus den Detektionsinformationen auf der Basis der Gewichtung (Priorität) ausgewählt werden und mit den Karteninformationen verglichen werden sollen. Das Verfahren zum Auswählen der Vergleichszielinformationen ist nicht beschränkt, und es kann ein beliebiges Verfahren verwendet werden.
Auf der Basis der Gewichtung (Priorität), wie oben beschrieben, ist es außerdem möglich, die mit den Karteninformationen zu vergleichenden Vergleichszielinformationen aus den Detektionsinformationen auszuwählen.
Da es möglich ist, den Vergleich auf der Basis der Gewichtung durchzuführen, wie oben beschrieben, wird es möglich, den eigenen Standort mit hoher Genauigkeit zu schätzen und die Genauigkeit der Steuerung autonomer Bewegung zu verbessern.
Auf der Basis der durch einen LiDAR oder einen ToF-Sensor erhaltenen dreidimensionalen Punktwolkendaten wird zum gegenwärtigen Zeitpunkt eine Belegungsgitterkarte 25' der Umgebung als die aktuellen Detektionsinformationen erstellt. Es ist auch möglich, den eigenen Standort durch Vergleichen der Belegungsgitterkarte 25' zum gegenwärtigen Zeitpunkt mit der Belegungsgitterkarte 25 schätzen, welche die Vorkarte ist.
In solch einem Fall kann für jedes Gitter 26' der Belegungsgitterkarte 25' zum gegenwärtigen Zeitpunkt auf der Basis des den dreidimensionalen Punktwolkendaten verliehenen Gewichts ein Gewicht (Priorität) verliehen werden.
Zum Beispiel wird ein erstes Gewicht (Priorität) einem Gitter 26' mit einer hohen Belegungswahrscheinlichkeit der als ein sich bewegendes Objekt klassifizierten dreidimensionalen Punktwolkendaten verliehen. Ein zweites Gewicht (Priorität), das höher als das erste Gewicht (Priorität) ist, wird einem Gitter 26' mit einer hohen Belegungswahrscheinlichkeit der als ein quasistationäres Objekt klassifizierten dreidimensionalen Punktwolkendaten verliehen. Ein drittes Gewicht (Priorität), das höher als das zweite Gewicht (Priorität) ist, wird einem Gitter 26' mit einer hohen Belegungswahrscheinlichkeit der als ein stationäres Objekt klassifizierten dreidimensionalen Punktwolkendaten verliehen.
Durch Verwenden der Belegungsgitterkarte 25', welcher auf solch eine Weise das Gewicht (Priorität) verliehen wird, kann der eigene Standort mit hoher Genauigkeit geschätzt werden. Als Ergebnis wird es möglich, die Genauigkeit von Steuerung autonomer Bewegung zu verbessern.
Wie in B von 9 dargestellt, können Bildmerkmalspunkte 27, die mit den Positionsinformationen assoziiert sind, als eine Vorkarte verwendet werden. Die Bildmerkmalspunkte 27 sind Merkmalspunkte, die aus einem Bild 28 extrahiert werden, das von einer Kamera aufgenommen wird. Das Verfahren zum Extrahieren der Bildmerkmalspunkte 27 ist nicht beschränkt, und es kann ein beliebiger Algorithmus verwendet werden.
Zum Beispiel wird ein Raum durch das mobile Objekt im Voraus gescannt und eine Kamera nimmt ein Bild 28 des Raumes auf. Die Bildmerkmalspunkte 27 werden aus dem aufgenommenen Bild 28 extrahiert und mit den Positionsinformationen assoziiert. Das Verfahren zum Assoziieren der Bildmerkmalspunkte 27 mit den Positionsinformationen ist nicht beschränkt, und die Positionsinformationen werden auf der Basis der Positionsinformationen des mobilen Objekts zum Zeitpunkt der Abbildung, der Detektionsinformationen vom internen Sensor oder dem externen Sensor oder dergleichen assoziiert.
In Schritt 204, der in 8 dargestellt ist, werden Bildmerkmalspunkte 27', die aus einem von der Kamera aufgenommenen Bild 28' werden, und die Bildmerkmalspunkte 27, die als die Vorkarte gespeichert sind, verglichen, um auf diese Weise den eigenen Standort zu schätzen.
Konkret werden die Bildmerkmalspunkte 27', welchen in Schritt 203 das Gewicht verliehen wird, mit den Bildmerkmalspunkten 27 verglichen, die als die Vorkarte gespeichert sind, um auf diese Weise den eigenen Standort zu schätzen. Das heißt, die Detektionsinformationen (Bildmerkmalspunkte 27') und die Karteninformationen (Bildmerkmalspunkte 27) werden auf der Basis der festgelegten Priorität verglichen, und auf diese Weise werden die Positionsinformationen (eigener Standort) des mobilen Objekts erzeugt.
Zum Beispiel wird dem Bildmerkmalspunkt 27', der als ein sich bewegendes Objekt klassifiziert wird, ein Gewicht von null verliehen. Dies macht es möglich, den Bildmerkmalspunkt 27', der als das sich bewegende Objekt dient, aus den Vergleichszielen zu entfernen. Andererseits wird dem Bildmerkmalspunkt 27', der als ein quasistationäres Objekt klassifiziert wird, ein niedrigeres Gewicht verliehen. Ein höheres Gewicht wird dem Bildmerkmalspunkt 27' verliehen, der als ein stationäres Objekt klassifiziert wird. Als Ergebnis können diese Bildmerkmalspunkte 27' in einem Zustand, in welchem das Gewicht des Bildmerkmalspunkts 27', der als das stationäre Objekt dient, höher als das des Bildmerkmalspunkt 27' ist, der als die quasistationäre Objekt dient, als Vergleichsziele gehandhabt werden.
Da es möglich ist, den Vergleich auf der Basis der Gewichtung auf diese Weise durchzuführen, wird es möglich, den eigenen Standort mit hoher Genauigkeit zu schätzen und die Genauigkeit der Steuerung autonomer Bewegung zu verbessern.
Es ist zu erwähnen, dass die Vorkarte durch das mobile Objekt selbst oder durch ein anderes mobiles Objekt erstellt werden kann.
Die Eigenstandortschätzung durch das Star-Reckoning von Schritt 204 entspricht der Erzeugung der positionsbezogenen Informationen des in 1 dargestellten Schrittes 104. Es ist zu erwähnen, dass die Eigenstandortausgabe aus der Eigenstandort-Integrationseinheit 23 ebenfalls in die positionsbezogenen Information einbezogen wird.
Die vorliegende Technologie ist nicht auf die zuvor erwähnte Verarbeitung beschränkt, und es kann jede andere Verarbeitung als die Eigenstandortschätzung durchgeführt werden, die Punktwolkendaten verwendet, welchen durch das Star-Reckoning ein Gewicht verliehen wird.
[Erzeugung von Karteninformationen]
10 ist eine schematische Darstellung, die ein Beispiel für die Konfiguration der Blöcke darstellt, die in Betrieb sind, wenn Karteninformationen erzeugt werden. Zur Vereinfachung der Beschreibung werden den gleichen Blöcken wie jenen, die in 7 dargestellt sind, die gleichen Bezugszeichen verliehen. Die vorliegende Technologie ist natürlich nicht unbedingt auf den Fall beschränkt, in welchem Blöcke verwendet werden, die bei der Eigenstandortschätzung mitwirken.
Eine Kartenerstellungseinheit 30 erzeugt Karteninformationen. Obwohl in 10 als ein anderer Block dargestellt, ist die Kartenerstellungseinheit 30 zum Beispiel in der Eigenstandortschätzeinheit 132 ausgebildet. Natürlich kann die Kartenerstellungseinheit 30 in anderen Blöcken oder als neuer Block ausgebildet werden.
Die Karteninformationen, die von der Kartenerstellungseinheit 30 erzeugt werden, und die Eigenstandortschätzung, die von der Eigenstandortschätzeinheit 132 geschätzt wird, werden miteinander assoziiert, um eine Vorkarte 31 zu erzeugen.
11 ist ein Flussdiagramm, das ein Beispiel für die Erzeugung der Karteninformationen darstellt.
Die Schritte 301 bis 302 sind die gleichen Prozesse wie die in 8 dargestellten Schritte 201 bis 203. Daher werden die in 2 dargestellten Schritte 101 bis 103 durch diese Schritte ausgeführt.
Die Kartenerstellungseinheit 30 erzeugt Karteninformationen unter Verwendung der Punktwolkendaten, welchen das Gewicht verliehen wurde (Schritt 304). Die Karteninformationen weisen die Position des im Raum detektierten Objekts und die für das Objekt festgelegte Priorität (Gewicht) auf.
Wie zum Beispiel in A von 9 dargestellt, wird die Belegungsgitterkarte 25 auf der Basis der dreidimensionalen Punktwolkendaten erstellt, die durch einen LiDAR oder einen ToF-Sensor erhalten werden. Zu diesem Zeitpunkt wird für jedes Gitter 26 der Belegungsgitterkarte 25 auf der Basis des den dreidimensionalen Punktwolkendaten verliehenen Gewichts (Priorität) ein Gewicht (Priorität) verliehen.
Zum Beispiel wird ein erstes Gewicht (Priorität) einem Gitter 26 mit einer hohen Belegungswahrscheinlichkeit der als ein sich bewegendes Objekt klassifizierten dreidimensionalen Punktwolkendaten verliehen. Ein zweites Gewicht (Priorität), das höher als das erste Gewicht (Priorität) ist, wird einem Gitter 26 mit einer hohen Belegungswahrscheinlichkeit der als ein quasistationäres Objekt klassifizierten dreidimensionalen Punktwolkendaten verliehen. Ein drittes Gewicht (Priorität), das höher als das zweite Gewicht (Priorität) ist, wird einem Gitter 26 mit einer hohen Belegungswahrscheinlichkeit der als ein stationäres Objekt klassifizierten dreidimensionalen Punktwolkendaten verliehen.
Das Verleihen des Gewichts für jedes Gitter 26 macht es möglich, während des Vergleichs im Star-Reckoning-Prozess zu definieren, ob die Informationen des Gitters 26 ein Vergleichsziel sind oder nicht. Ferner kann, wenn sie als das Vergleichsziel definiert werden, das Gewicht davon gesteuert werden. Als Ergebnis wird es möglich, den eigenen Standort mit hoher Genauigkeit zu schätzen und die Genauigkeit der Steuerung autonomer Bewegung zu verbessern.
Wie ferner in B von 9 dargestellt, können die Karteninformationen auch durch Assoziieren des Bildmerkmalspunkts 27, der aus dem Bild 28 extrahiert wird, das von der Kamera aufgenommen wird, mit den Positionsinformationen erzeugt werden. Zu diesem Zeitpunkt wird dem Bildmerkmalspunkt 27 ein Gewicht (Priorität) verliehen.
Das Verleihen des Gewichts für den Bildmerkmalspunkt 27 macht es möglich, während des Vergleichs im Star-Reckoning-Prozess zu definieren, ob der Bildmerkmalspunkt 27 ein Vergleichsziel ist oder nicht. Ferner kann, wenn er als das Vergleichsziel definiert wird, das Gewicht davon gesteuert werden. Als Ergebnis wird es möglich, den eigenen Standort mit hoher Genauigkeit zu schätzen und die Genauigkeit der Steuerung autonomer Bewegung zu verbessern.
Die hierin beschriebene Erzeugung der Karteninformationen auf der Basis der Priorität wird nicht nur auf die Erstellung einer Eigenstandortschätzungskarte angewendet. Zum Beispiel kann sie auf die Erstellung einer Situationserkennungskarte durch die Situationserkennungseinheit 152 angewendet werden. Sie kann auch auf die Erzeugung anderer Karteninformationen angewendet werden.
[Erzeugung von Teilkarteninformationen]
12 ist eine schematische Darstellung zum Beschreiben von Teilkarteninformationen.
Ein mobiles Objekt 33 scannt einen Raum, und Karteninformationen 34 werden erzeugt. Zu diesem Zeitpunkt ist es auch möglich, Teilregionen 35 zum Teilen des Raumes in eine Mehrzahl von Regionen festzulegen und Karteninformationen für jede Teilregion 35 zu erzeugen. Im Folgenden werden hierin die Karteninformationen, die für jede Teilregion 35 erzeugt werden, als Teilkarteninformationen 36 bezeichnet.
Im Beispiel, das in 12 dargestellt ist, ist „Karte“ als Daten der Gesamtkarteninformationen 34 veranschaulicht. Subkarten 1 bis 5 sind als jeweilige Datenelemente der Teilkarteninformationen 36 veranschaulicht.
In dieser Ausführungsform ist es möglich, die Teilregionen auf der Basis der Position des im Raum detektierten Objekts und des Klassifizierungsergebnisses des Objekts festzulegen. Das heißt, es ist möglich, die Größe, die Grenze und dergleichen der Teilregionen auf der Basis des Klassifizierungsergebnisses des während des Scannen des mobilen Objekts 33 detektierten Objekts festzulegen.
Es wird zum Beispiel angenommen, dass das Objekt während des Scannens des mobilen Objekts 33 detektiert und als ein sich bewegendes Objekts klassifiziert wird (im Folgenden wird hierin eine Beschreibung verwendet, dass ein sich bewegendes Objekt detektiert wird). Da das sich bewegende Objekt sich wahrscheinlich bewegt, müssen die Karteninformationen dieser Region wahrscheinlich aktualisiert werden. Daher wird die Teilregion 35 mit einer verhältnismäßig kleinen Größe so festgelegt, dass sie die Region aufweist, in der das sich bewegende Objekt detektiert wird. Dies macht es möglich, die Verarbeitungslast zu reduzieren, wenn die Teilkarteninformationen 36, die der Teilregion 35 entsprechen, aktualisiert werden, und die Verarbeitungsgeschwindigkeit zu erhöhen.
Es wird zum Beispiel angenommen, dass ein sich bewegendes Objekt detektiert wird, wenn die Teilregion 35 mit einer vorbestimmten Teilungsrate festgelegt wird. In diesem Fall wird die Teilregion 35 gemäß der Detektion des sich bewegenden Objekts festgelegt, ohne der Teilungsrate Folge zu leisten.
Wenn ein stationäres Objekt detektiert wird, brauchen die Karteninformationen dieser Region nicht aktualisiert zu werden, so dass die Teilregion 35 nicht festgelegt wird. Wenn die Teilregion 35 mit einer vorbestimmten Teilungsrate ausgeführt wird, wird die Teilregion 35 gemäß der Teilungsrate festgelegt.
Wenn ein quasistationäres Objekt detektiert wird, wird die Teilregion 35 zum Beispiel so festgelegt, dass sie eine größere Größe als die aufweist, wenn ein sich bewegendes Objekt detektiert wird.
Außerdem kann die Teilregion 35 durch ein beliebiges Verfahren auf der Basis der Detektionsposition des Objekts und des Klassifizierungsergebnisses des Objekts festgelegt werden.
Für die Aktualisierung der Teilkarteninformationen 36 wird ein Objekt durch das mobile Objekt 33, das den Raum erneut gescannt hat, detektiert und klassifiziert. Auf der Basis des Klassifizierungsergebnisses werden die Teilkarteninformationen 35 aktualisiert. Wenn zum Beispiel eine Bewegung eines Objekts (beispielsweise eines sich bewegenden Objekts oder eines quasistationären Objekts) aus der Teilregion 35 detektiert wird, werden die Teilkarteninformationen 36 aktualisiert, die der Teilregion 35 entsprechen.
Außerdem kann die Aktualisierung der Teilkarteninformationen 36 durch ein beliebiges Verfahren auf der Basis der Detektionsposition des Objekts und des Klassifizierungsergebnisses des Objekts ausgeführt werden.
13 ist eine schematische Darstellung, die ein Beispiel für die Konfiguration der Blöcke darstellt, die in Betrieb sind, wenn die Teilkarteninformationen 36 erzeugt werden.
Eine Teilregionsfestlegungseinheit 37 legt die Teilregion 35 auf der Basis des Klassifizierungsergebnisses von der Objektklassifizierungseinheit 18 fest. Zum Beispiel wird die Teilregion 35 durch Bestimmen einer Grenze (Teilungslinie) oder dergleichen zum Teilen des Raumes auf der Basis des Klassifizierungsergebnisses festgelegt. Außerdem werden die Grenze der Teilregion 35 und dergleichen auf der Basis der aktuellen Position des mobilen Objekts 33 festgelegt. Die vorliegende Technologie ist nicht auf das Vorhergesagte beschränkt.
Eine Teilkartenaktualisierungs-Bestimmungseinheit 38 bestimmt, ob die Teilkarteninformationen 36 aktualisiert werden sollen oder nicht, auf der Basis des Klassifizierungsergebnisses von der Objektklassifizierungseinheit 18.
Obwohl in 13 als verschiedene Blöcke veranschaulicht, sind die Teilregionsfestlegungseinheit 37 und die Teilkartenaktualisierungs-Bestimmungseinheit 38 zum Beispiel in der Eigenstandortschätzeinheit 132 ausgebildet. Natürlich können die Teilregionsfestlegungseinheit 37 und die Teilkartenaktualisierungs-Bestimmungseinheit 38 in anderen Blöcken oder als neue Blöcke ausgebildet werden.
14 ist ein Flussdiagramm, das ein Beispiel für eine Festlegung einer Teilregion darstellt. Wenn zum Beispiel die Karteninformationen 34 zum ersten Mal in einem bestimmten Raum erzeugt werden, wird die Verarbeitung ausgeführt, die in 14 dargestellt ist.
Die Schritte 401 bis 402 sind ähnliche Prozesse wie die in 11 dargestellten Schritte 301 und 302. [0122] Die Teilregionsfestlegungseinheit 37 bestimmt, ob eine Teilungslinie festgelegt werden soll oder nicht. Das heißt, sie bestimmt, ob der Raum geteilt wird, um die Teilregionen 35 festzulegen, oder nicht (Schritt 403) .
Die Teilungslinie wird zum Beispiel auf der Basis des Vorliegens oder Nichtvorliegens einer Detektion eines sich bewegenden Objekts, der Anzahl von sich bewegenden Objekten (der Anzahl von Regionen, die als sich bewegende Objekte klassifiziert werden), der Größe der Region, die als ein sich bewegendes Objekt klassifiziert wird, des Vorliegens oder Nichtvorliegens einer Detektion eines quasistationären Objekts, der Anzahl von quasistationären Objekten (der Anzahl von Regionen, die als quasistationäre Objekte klassifiziert werden), der Größe der Region, die als ein quasistationäres Objekt klassifiziert wird, des Vorliegens oder Nichtvorliegens einer Detektion eines stationären Objekts, der Anzahl von stationären Objekten (der Anzahl von Regionen, die als stationäre Objekte klassifiziert werden), der Größe der Region, die als ein stationäres Objekt klassifiziert wird, und dergleichen festgelegt.
Alternativ kann durch die folgenden beispielhaften Gleichungen bestimmt werden, ob die Teilungslinie festgelegt werden soll oder nicht. $\begin{array}{l} α 1 \times (Anzahl von sich bewegenden Objekten) + \\ β 1 (Anzahl von quasistation \ddot{a} ren Objekten) + γ 1 (Anzahl \\ von station \ddot{a} ren Objekten) > Schwelle θ 1 \end{array}$
$\begin{array}{l} α 2 \times (G r \ddot{o} ß e von Region von sich bewegendem Objekt) \\ + β 2 (G r \ddot{o} ß e von Region von quasistation \ddot{a} rem Objekt) + \\ γ 2 (G r \ddot{o} ß e von Region von station \ddot{a} rem Objekt) > Schwelle \\ θ 2 \end{array}$
$\begin{array}{l} α 3 \times (Anzahl von als sich bewegende Objekte \\ klassifizierten Punktwolken) + β 3 (Anzahl von als \\ quasistation \ddot{a} re Objekte klassifizierten Punktwolken) + \\ γ 3 (Anzahl von als station \ddot{a} re Objekte klassifizierten \\ Punktwolken) > Schwelle θ 3 \end{array}$
Wenn diese Gleichungen erfüllt werden, wird bestimmt, dass eine Teilungslinie festgelegt werden soll. Es ist zu erwähnen, dass (α1, β1, γ1, θ1), (α2, β2, γ2, θ2) und (α3, β3, γ3, θ3) Festlegungsparameter sind und willkürlich festgelegt werden können.
Wenn bestimmt wird, dass die Teilungslinie festgelegt werden soll (Ja in Schritt 403), wird ein Teilungsauslöser an die Kartenerstellungseinheit 30 ausgegeben (Schritt 404).
Die Kartenerstellungseinheit 30 erzeugt die Teilkarteninformationen 36 auf der Basis des Teilungsauslösers und ordnet eine ID, beispielsweise eine Subkarte 1, zu. Die erzeugten Teilkarteninformationen 36 werden als eine Vorkarte gespeichert.
Es ist zu erwähnen, dass für ein Verfahren zur Erzeugung der Teilkarteninformationen 36 die Gesamtkarteninformationen 34 erzeugt und auf der Basis des Teilungsauslöser geteilt werden können, und die Teilkarteninformationen 36 erzeugt werden können. Alternativ können die Teilkarteninformationen 36 jedes Mal erzeugt werden, wenn der Teilungsauslöser ausgegeben wird.
Die Teilkarteninformationen 36 werden auf der Basis des von der Punktwolken-Gewichtungseinheit 19 verliehenen Gewichts erzeugt.
15 ist ein Flussdiagramm, das ein Beispiel für eine Aktualisierung der Teilkarteninformationen 36 darstellt. Die in 15 dargestellte Verarbeitung wird zum Beispiel beim zweiten und einem nachfolgenden Scan ausgeführt.
Die Schritte 501 bis 502 sind ähnliche Prozesse wie die in 14 dargestellten Schritte 401 und 402. [0125] Die Teilkartenaktualisierungs-Bestimmungseinheit 38 bestimmt, ob die Teilkarteninformationen 36 aktualisiert werden sollen oder nicht (Schritt 503). Wenn zum Beispiel eine Bewegung eines Objekts (sich bewegenden Objekt oder quasistationären Objekts) aus der Teilregion 35 detektiert wird, werden die Teilkarteninformationen 36 aktualisiert, die der Teilregion 35 entsprechen.
Zum Beispiel kann die Bewegung des Objekts durch Vergleichen der klassifizierten Punktwolkendaten, die zum Zeitpunkt des zweiten oder nachfolgenden Scans erfasst werden, mit den bislang erzeugten Teilkarteninformationen 36 detektiert werden. Es kann jeder andere Algorithmus verwendet werden.
Alternativ kann die Aktualisierung der Teilkarteninformationen 36 auf der Basis der Änderung des Ergebnisses der folgenden Ausdrücke bestimmt werden. $\begin{array}{l} α 1 \times (Anzahl von sich bewegenden Objekten) + \\ β 1 (Anzahl von quasistation \ddot{a} ren Objekten) + γ 1 (Anzahl \\ von station \ddot{a} ren Objekten) \end{array}$
$\begin{array}{l} α 2 \times (G r \ddot{o} ß e von Region von sich bewegendem Objekt) \\ + β 2 (G r \ddot{o} ß e von Region von quasistation \ddot{a} rem Objekt) + \\ γ 2 (G r \ddot{o} ß e von Region von station \ddot{a} rem Objekt) \end{array}$
$\begin{array}{l} α 3 \times (Anzahl von als sich bewegende Objekte \\ klassifizierten Punktwolken) + β 3 (Anzahl von als \\ quasistation \ddot{a} re Objekte klassifizierten Punktwolken) + \\ γ 3 (Anzahl von als station \ddot{a} re Objekte klassifizierten \\ Punktwolken) \end{array}$
Wenn die Änderung der Ergebnisse dieser Ausdrücke größer als eine vorbestimmte Schwelle ist, werden die Teilkarteninformationen 36 aktualisiert.
Es ist zu erwähnen, dass die Aktualisierungsinformationen zum Aktualisieren der Teilkarteninformationen 36 auf der Basis des Klassifizierungsergebnisses des Objekts in der Teilregion 35 erzeugt werden können. Die Aktualisierungsinformationen weisen mindestens eine der Aktualisierungsnotwendigkeit, der Aktualisierungszeitvorgabe oder der Aktualisierungshäufigkeit auf.
Wenn zum Beispiel eine große Anzahl von sich bewegenden Objekten in der Teilregion 35 detektiert wird, wird die Aktualisierungsnotwendigkeit festgelegt, und die Aktualisierungshäufigkeit wird so festgelegt, dass höher als üblich ist. Wenn zum Beispiel eine große Anzahl von stationären Objekten in der Teilregion 35 detektiert wird, wird die Aktualisierungsnotwendigkeit nicht festgelegt. Alternativ wird die Aktualisierungshäufigkeit auf weniger oft als üblich festlegt.
Wenn zum Beispiel die Teilkarteninformationen 36 erzeugt werden, können die Aktualisierungsinformationen für jede Teilregion 35 zusammen mit dem Festlegen der Teilregion 35 erzeugt werden. Die Teilkarteninformationen 36 können gemäß der Aktualisierungsnotwendigkeit, der Aktualisierungszeitvorgabe oder der Aktualisierungshäufigkeit aktualisiert werden, die in den erzeugten Aktualisierungsinformationen enthalten sind.
Wenn bestimmt wird, dass die Teilkarteninformationen 36 aktualisiert werden (Ja in Schritt 503), wird ein Teilkartenaktualisierungsauslöser zusammen mit der ID der Teilkarteninformationen an die Kartenerstellungseinheit 30 ausgegeben (Schritt 504).
Die Kartenerstellungseinheit 30 aktualisiert die Teilkarteninformationen 36, die der ausgegebenen ID entsprechen, auf der Basis des Teilungsauslösers. Die Aktualisierung der Teilkarteninformationen 36 wird auf der Basis des von der Punktwolken-Gewichtungseinheit 19 verliehenen Gewichts ausgeführt.
Es ist zu erwähnen, dass die Erzeugung der Teilkarteninformationen 36 auf alle Karteninformationen angewendet werden kann, welche die in A von 9 veranschaulichte Belegungsgitterkarte 25 oder die Bildmerkmalspunkte 27 enthalten, welche die Positionsinformationen aufweisen.
[Kombination von Eigenstandortschätzung und Karteninformationserzeugung]
Die Eigenstandortschätzung, die auf dem Klassifizierungsergebnis basiert und unter Bezugnahme auf 6 bis 9 beschrieben wurde, und die Karteninformationserzeugung, die auf dem Klassifizierungsergebnis basiert und unter Bezugnahme auf 10 bis 15 beschrieben wurde, können kombiniert werden.
16 ist ein schematisches Blockdiagramm, das eine Kombination der Eigenstandortschätzung und der Karteninformationserzeugung basierend auf der Priorität darstellt.
Wie zum Beispiel in 16 dargestellt, werden die folgenden drei Phasen bereitgestellt: eine Lernphase, eine Vorkartenerstellungsphase und eine Vorkartennutzungsphase.
In der Lernphase wird das gelernte Modell der semantischen Segmentierung erzeugt.
In der Vorkartenerstellungsphase werden die Karteninformationen 34 auf der Basis des Klassifizierungsergebnisses durch die Objektklassifizierungseinheit 18 erzeugt und als die Vorkarte 31 gespeichert. Natürlich kann die Priorität auf der Basis des Klassifizierungsergebnisses festgelegt werden.
In der Vorkartenerstellungsphase wird der eigene Standort des mobilen Objekts auf der Basis des Klassifizierungsergebnisses durch die Objektklassifizierungseinheit 18 geschätzt. Natürlich kann die Priorität auf der Basis des Klassifizierungsergebnisses festgelegt werden.
Die Belegungsgitterkarte 25 als eine Vorkarte, der ein Gewicht verliehen wird, und die dreidimensionalen Punktwolkendaten, welchen ein Gewicht verliehen wird, werden verglichen. Alternativ werden die Belegungsgitterkarte 25 als eine Vorkarte, der ein Gewicht verliehen wird, und die aktuelle Belegungsgitterkarte 25', der ein Gewicht verliehen wird, verglichen.
Alternativ werden der Bildmerkmalspunkt 27 als eine Vorkarte, der ein Gewicht verliehen wird, und der Bildmerkmalspunkt 27', dem ein Gewicht verliehen wird, verglichen.
Dies macht es möglich, den eigenen Standort mit sehr hoher Genauigkeit zu schätzen und die Genauigkeit von Steuerung autonomer Bewegung zu verbessern.
Wie zuvor beschrieben, wird im mobilen Objekt (Informationsverarbeitungsvorrichtung) gemäß dieser Ausführungsform ein Objekt, das im Raum detektiert wird, auf der Basis eines vorbestimmten Kriteriums klassifiziert, und die Priorität wird auf der Basis des Klassifizierungsergebnisses festgelegt. Auf der Basis der festgelegten Priorität werden die positionsbezogenen Informationen hinsichtlich der Position im Raum erzeugt. Die Verwendung solcher positionsbezogener Informationen ermöglicht eine Verbesserung der Genauigkeit von Steuerung autonomer Bewegung.
Gemäß der vorliegenden Technologie werden der gewichtete Kartenvergleich und das Verfahren zur Aktualisierung einer Vorkarte in einer sich dynamischen ändernden Umgebung neu dargestellt.
Im Kartenvergleichssystemalgorithmus, der Punktwolkendaten und Bildmerkmalspunkte verwendet, kann sich die Genauigkeit verschlechtern, wenn die Umgebung sich zwischen der Zeit der Kartenerstellung und der Zeit der Eigenstandortschätzung unter Verwendung der Karte ändert.
Es kann zum Beispiel einen Fall geben, in welchem aufgrund einer Umgebungsänderung Nichtvergleichen oder fehlerhaftes Vergleichen mit der dreidimensionalen Punktwolke oder den Bildmerkmalspunkten, die gerade erfasst wurden, in Bezug auf eine im Voraus erstellte Karte stattfindet und die Genauigkeit des eigenen Standorts abnimmt.
Beispiele für Umgebungsänderungen sind im Folgenden aufgeführt.
Beispiel 1: Personen, Packungen und dergleichen, die zum Zeitpunkt der Kartenerstellung anwesend sind, sind zum Zeitpunkt der Kartennutzung abwesend.
Beispiel 2: Packungen, die zum Zeitpunkt der Kartenerstellung nicht da waren, tauchen zum Zeitpunkt der Kartennutzung auf.
Beispiel 3: Die Umgebung ändert sich dynamisch, wie eine automatische Tür.
Die Verwendung der vorliegenden Technologie macht es möglich, solche Probleme zu lösen und hochgenaue Eigenstandortschätzung und Steuerung von autonomer Bewegung zu erreichen.
<Andere Ausführungsformen>
Die vorliegende Technologie ist nicht auf die oben beschriebenen Ausführungsformen beschränkt und kann verschiedene andere Ausführungsformen erreichen.
Die oben beschriebene Erstellung der Teilkarteninformationen kann auch auf den Fall angewendet werden, in welchem die Karteninformationen erzeugt werden, ohne dass sie auf dem Gewicht basieren, das durch die Punktwolken-Gewichtungseinheit 19 verliehen wird. Das heißt, es ist auch möglich, das Klassifizierungsergebnis der Objektklassifizierungseinheit 18 nur zum Festlegen der Teilregion 35 zu verwenden. Auch in diesem Fall ist es möglich, die Genauigkeit der Steuerung autonomer Bewegung durch Festlegen der Teilregion 35 auf der Basis des Klassifizierungsergebnisses zu verbessern.
Diese Verarbeitung kann auch Verarbeitung sein, in welcher der in 2 dargestellte Schritt 103 weggelassen wird.
Außerdem kann jegliche Verarbeitung auf der Basis des Klassifizierungsergebnisses ausgeführt werden, während die Prioritätsfestlegung weggelassen wird.
In der vorstehenden Beschreibung wird das detektierte Objekt auf der Basis der Wahrscheinlichkeit von Bewegung des Objekts klassifiziert. Die vorliegende Technologie ist nicht darauf beschränkt, und die Klassifizierung kann auch gemäß anderen Kriterien wie Typ, Funktion, Größe und dergleichen des Objekts durchgeführt werden.
Wie bereits erwähnt, ist die Anwendung der vorliegenden Technologie nicht auf Roboter beschränkt, sondern kann auch auf verschiedene andere mobile Objekte angewendet werden. Zum Beispiel kann sie auf jedes mobile Objekt, wie Kraftfahrzeuge, Elektrofahrzeuge, elektrische Hybridfahrzeuge, Motorräder, Fahrräder, persönliche Mobilität, Flugzeuge, Drohnen, Schiffe, Roboter, Baumaschinen und Landwirtschaftsmaschinen (Traktoren), angewendet werden.
In der vorstehenden Beschreibung wurde der Fall veranschaulicht, in welchem die Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie als ein Computer ausgebildet ist, der auf einem mobilen Objekt angebracht ist, und das Informationsverarbeitungsverfahren gemäß der vorliegenden Technologie ausgeführt wird. Die vorliegende Technologie ist nicht darauf beschränkt, und die Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie kann durch jeden Computer (z. B. eine Servervorrichtung in einem Netzwerk) erreicht werden, der vom mobilen Objekt entfernt ausgebildet und über eine drahtgebundene oder drahtlose Verbindung mit einer Servervorrichtung verbunden ist. Alternativ können das Informationsverarbeitungsverfahren und das Programm gemäß der vorliegenden Technologie durch Verknüpfen eines auf einem mobilen Objekt angebrachten Computers mit einem anderen Computer ausgeführt werden, der zum Kommunizieren über ein Netzwerk oder dergleichen (z. B. ein Cloud-System) imstande ist, um dadurch die Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie zu konstruieren.
Mit anderen Worten können das Informationsverarbeitungsverfahren und das Programm gemäß der vorliegenden Technologie nicht nur in einem Computersystem ausgeführt werden, das als ein einziger Computer ausgebildet ist, sondern auch in einem Computersystem, in welchem mehrere Computern in Verbindung miteinander zusammenarbeiten. Es ist zu erwähnen, dass das System ein Aggregat einer Mehrzahl von Komponenten (beispielsweise Vorrichtungen oder Modulen (Teilen)) ist, und es keine Rolle spielt, ob alle Komponenten im gleichen Gehäuse untergebracht sind oder nicht. Daher sind sowohl mehrere Vorrichtungen, die in getrennten Gehäusen untergebracht und über ein Netzwerk miteinander verbunden sind, als auch eine einzige Vorrichtung mit mehreren Modulen, die in einem einzigen Gehäuse untergebracht sind, das System.
Die Ausführung des Informationsverarbeitungsverfahrens und des Programms gemäß der vorliegenden Technologie durch das Computersystem weist sowohl Fälle, in welchen zum Beispiel die Detektion eines Objekts, die Klassifizierung eines Objekts, die Festlegung einer Priorität, die Erzeugung von positionsbezogenen Informationen (Eigenstandortschätzung und Karteninformationserzeugung) und dergleichen durch einen einzigen Computer ausgeführt werden, als auch solche auf, in welchen jeder Prozess von einem verschiedenen Computer ausgeführt wird. Ferner weist die Ausführung jedes Prozesses durch einen spezifischen Computer ein Veranlassen eines anderen Computers, einen Teil oder die Gesamtheit aller Prozesse auszuführen, und Erfassen eines Ergebnisses der Ausführung auf.
Mit anderen Worten können das Informationsverarbeitungsverfahren und das Programm gemäß der vorliegenden Technologie auch auf eine Cloud-Computing-Konfiguration angewendet werden, in welcher eine Funktion von mehreren Vorrichtungen über ein Netzwerk gemeinsam genutzt und zusammen verarbeitet wird.
Das mobile Objekt, die Informationsverarbeitungsvorrichtung, der Erzeugungsfluss der Karteninformationen und der positionsbezogenen Informationen und dergleichen sind lediglich eine Ausführungsform und können gegebenenfalls modifiziert werden, ohne vom Wesen der vorliegenden Technologie abzuweichen. Mit anderen Worten können beliebige andere Konfigurationen, Algorithmen und dergleichen zum Umsetzen der vorliegenden Technologien eingesetzt werden.
Aus den oben beschriebenen Merkmalsteilen gemäß der vorliegenden Technologie können mindestens zwei Merkmalsteile kombiniert werden. Das heißt, die verschiedenen Merkmalsteile, die in den jeweiligen Ausführungsformen beschrieben werden, können gegebenenfalls ungeachtet der Ausführungsformen kombiniert werden. Ferner können verschiedene der oben beschriebenen Wirkungen lediglich Beispiele und nicht beschränkt sein, und es können andere Wirkungen erzielt werden.
Es ist zu erwähnen, dass die vorliegende Technologie auch folgendermaßen ausgebildet sein.

(1) Informationsverarbeitungsvorrichtung, aufweisend:
- eine Klassifizierungseinheit, die ein Objekt, das in einem Raum detektiert wird, auf der Basis eines vorbestimmten Kriteriums klassifiziert; und
- eine Erzeugungseinheit, die eine Priorität für das Objekt auf einer Basis eines Klassifizierungsergebnisses durch die Klassifizierungseinheit festlegt und positionsbezogene Informationen hinsichtlich einer Position im Raum auf der Basis der festgelegten Priorität erzeugt.
(2) Informationsverarbeitungsvorrichtung nach (1), wobei
- die Klassifizierungseinheit das Objekt auf der Basis einer Wahrscheinlichkeit von Bewegung des Objekts klassifiziert.
(3) Informationsverarbeitungsvorrichtung nach (2), wobei
- die Klassifizierungseinheit das Objekt auf der Basis von Datums- und Zeitinformationen klassifiziert.
(4) Informationsverarbeitungsvorrichtung nach (2) oder (3), wobei die Erzeugungseinheit die Priorität auf der Basis von Datums- und Zeitinformationen festlegt.
(5) Informationsverarbeitungsvorrichtung nach einem von (2) bis (4), wobei die Klassifizierungseinheit das Objekt als ein sich bewegendes Objekt, ein quasistationäres Objekt oder ein stationäres Objekt klassifiziert.
(6) Informationsverarbeitungsvorrichtung nach (5), wobei die Erzeugungseinheit eine erste Priorität für das als das sich bewegende Objekt klassifizierte Objekt festlegt, eine zweite Priorität, die höher als die erste Priorität ist, für das als das quasistationäre Objekt klassifizierte Objekt festlegt, und eine dritte Priorität, die höher als die zweite Priorität ist, für das als das stationäre Objekt klassifizierte Objekt festlegt.
(7) Informationsverarbeitungsvorrichtung nach einem von (1) bis (6), wobei die Klassifizierungseinheit das Objekt auf der Basis von Detektionsinformationen klassifiziert, die durch einen Sensor eines mobilen Objekts detektiert werden, das sich im Raum bewegt, und die Erzeugungseinheit Positionsinformationen hinsichtlich einer Position und einer Stellung des mobilen Objekts im Raum als die positionsbezogenen Informationen erzeugt.
(8) Informationsverarbeitungsvorrichtung nach (7), wobei die Erzeugungseinheit die Positionsinformationen des mobilen Objekts durch Vergleichen der Detektionsinformationen mit Karteninformationen hinsichtlich des Raumes auf der Basis der Priorität erzeugt.
(9) Informationsverarbeitungsvorrichtung nach (8), wobei die Erzeugungseinheit Vergleichszielinformationen, die mit den Karteninformationen verglichen werden sollen, aus den Detektionsinformationen auf der Basis der Priorität auswählt.
(10) Informationsverarbeitungsvorrichtung nach einem von (1) bis (9), wobei die Erzeugungseinheit Karteninformationen hinsichtlich des Raumes als die positionsbezogenen Informationen erzeugt.
(11) Informationsverarbeitungsvorrichtung nach (10), wobei die Karteninformationen die Position des im Raum detektierten Objekts und die für das Objekt festgelegte Priorität aufweisen.
(12) Informationsverarbeitungsvorrichtung nach (10) oder (11), wobei die Karteninformationen mindestens eine von einer Belegungsgitterkarte oder einer Gruppe von Bildmerkmalspunkten aufweisen, die jeweils Positionsinformationen aufweisen.
(13) Informationsverarbeitungsvorrichtung nach (12), wobei es sich bei den Karteninformationen um die Belegungsgitterkarte handelt, und die Erzeugungseinheit eine Priorität für jedes Gitter der Belegungsgitterkarte auf der Basis der Priorität festlegt.
(14) Informationsverarbeitungsvorrichtung nach einem von (10) bis (13), wobei die Erzeugungseinheit Teilregionen zum Teilen des Raumes in eine Mehrzahl von Regionen auf der Basis des Klassifizierungsergebnisses festlegt und die Karteninformationen für jede der Teilregionen erzeugt.
(15) Informationsverarbeitungsvorrichtung nach einem von (10) bis (14), wobei die Erzeugungseinheit die Teilregionen auf der Basis der Position des im Raum detektierten Objekts und des Klassifizierungsergebnisses des Objekts festlegt.
(16) Informationsverarbeitungsvorrichtung nach (14) oder (15), wobei die Erzeugungseinheit die Karteninformationen, die jeder der Teilregionen entsprechen, auf der Basis von Bewegung des Objekts aus jeder der Teilregionen aktualisiert.
(17) Informationsverarbeitungsvorrichtung nach (16), wobei die Erzeugungseinheit Aktualisierungsinformationen zum Aktualisieren der für jede der Teilregionen erzeugten Karteninformationen auf der Basis des Klassifizierungsergebnisses des Objekts in jeder der Teilregionen erzeugt.
(18) Informationsverarbeitungsvorrichtung nach (17), wobei die Aktualisierungsinformationen mindestens eine von einer Aktualisierungsnotwendigkeit, einer Aktualisierungszeitvorgabe oder einer Aktualisierungshäufigkeit aufweisen.
(19) Informationsverarbeitungsverfahren, das von einem Computersystem ausgeführt wird, wobei das Verfahren aufweist:
- Klassifizieren eines Objekts, das in einem Raum detektiert wird, auf der Basis eines vorbestimmten Kriteriums; und
- Festlegen einer Priorität für das Objekt auf der Basis eines Klassifizierungsergebnisses durch die Klassifizierungseinheit und Erzeugen positionsbezogener Informationen hinsichtlich einer Position im Raum auf der Basis der festgelegten Priorität.
(20) Programm zum Veranlassen eines Computersystems, die folgenden Schritte auszuführen:
- Klassifizieren eines Objekts, das in einem Raum detektiert wird, auf der Basis eines vorbestimmten Kriteriums; und
- Festlegen einer Priorität für das Objekt auf der Basis eines Klassifizierungsergebnisses durch die Klassifizierungseinheit und Erzeugen positionsbezogener Informationen hinsichtlich einer Position im Raum auf der Basis der festgelegten Priorität.

Bezugszeichenliste

18: Objektklassifizierungseinheit
19: Punktwolken-Gewichtungseinheit
21: Star-Reckoning-Verarbeitungseinheit
22: Dead-Reckoning-Verarbeitungseinheit
23: Eigenstandort-Integrationseinheit
25: Belegungsgitterkarte
26: Gitter
27: Bildmerkmalspunkt
28: Bild
30: Kartenerstellungseinheit
31: Vorkarte
33: mobiles Objekt
34: Karteninformationen
35: Teilregion
36: Teilkarteninformationen
37: Teilregionsfestlegungseinheit
38: Teilkartenaktualisierungs-Bestimmungseinheit
100: Mobilobjektsteuersystem
112: Sensorgruppe
131: Detektionseinheit
132: Eigenstandortschätzeinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017194527 [0003]

Claims

Informationsverarbeitungsvorrichtung, aufweisend: eine Klassifizierungseinheit, die ein Objekt, das in einem Raum detektiert wird, auf einer Basis eines vorbestimmten Kriteriums klassifiziert; und eine Erzeugungseinheit, die eine Priorität für das Objekt auf einer Basis eines Klassifizierungsergebnisses durch die Klassifizierungseinheit festlegt und positionsbezogene Informationen hinsichtlich einer Position im Raum auf einer Basis der festgelegten Priorität erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Klassifizierungseinheit das Objekt auf einer Basis einer Wahrscheinlichkeit von Bewegung des Objekts klassifiziert.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Klassifizierungseinheit das Objekt auf einer Basis von Datums- und Zeitinformationen klassifiziert.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Erzeugungseinheit die Priorität auf einer Basis von Datums- und Zeitinformationen festlegt.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Klassifizierungseinheit das Objekt als ein sich bewegendes Objekt, ein quasistationäres Objekt oder ein stationäres Objekt klassifiziert.
Informationsverarbeitungsvorrichtung nach Anspruch 5, wobei die Erzeugungseinheit eine erste Priorität für das als das sich bewegende Objekt klassifizierte Objekt festlegt, eine zweite Priorität, die höher als die erste Priorität ist, für das als das quasistationäre Objekt klassifizierte Objekt festlegt, und eine dritte Priorität, die höher als die zweite Priorität ist, für das als das stationäre Objekt klassifizierte Objekt festlegt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Klassifizierungseinheit das Objekt auf einer Basis von Detektionsinformationen klassifiziert, die durch einen Sensor eines mobilen Objekts detektiert werden, das sich im Raum bewegt, und die Erzeugungseinheit Positionsinformationen hinsichtlich einer Position und einer Stellung des mobilen Objekts im Raum als die positionsbezogenen Informationen erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 7, wobei die Erzeugungseinheit die Positionsinformationen des mobilen Objekts durch Vergleichen der Detektionsinformationen mit Karteninformationen hinsichtlich des Raumes auf einer Basis der Priorität erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Erzeugungseinheit Vergleichszielinformationen, die mit den Karteninformationen verglichen werden sollen, aus den Detektionsinformationen auf einer Basis der Priorität auswählt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinheit Karteninformationen hinsichtlich des Raumes als die positionsbezogenen Informationen erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 10, wobei die Karteninformationen die Position des im Raum detektierten Objekts und die für das Objekt festgelegte Priorität aufweisen.
Informationsverarbeitungsvorrichtung nach Anspruch 10, wobei die Karteninformationen mindestens eine von einer Belegungsgitterkarte oder einer Gruppe von Bildmerkmalspunkten aufweisen, die jeweils Positionsinformationen aufweisen.
Informationsverarbeitungsvorrichtung nach Anspruch 12, wobei es sich bei den Karteninformationen um die Belegungsgitterkarte handelt, und die Erzeugungseinheit eine Priorität für jedes Gitter der Belegungsgitterkarte auf einer Basis der Priorität festlegt.
Informationsverarbeitungsvorrichtung nach Anspruch 10, wobei die Erzeugungseinheit Teilregionen zum Teilen des Raumes in eine Mehrzahl von Regionen auf einer Basis des Klassifizierungsergebnisses festlegt und die Karteninformationen für jede der Teilregionen erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 10, wobei die Erzeugungseinheit die Teilregionen auf einer Basis der Position des im Raum detektierten Objekts und des Klassifizierungsergebnisses des Objekts festlegt.
Informationsverarbeitungsvorrichtung nach Anspruch 14, wobei die Erzeugungseinheit die Karteninformationen, die jeder der Teilregionen entsprechen, auf einer Basis von Bewegung des Objekts aus jeder der Teilregionen aktualisiert.
Informationsverarbeitungsvorrichtung nach Anspruch 16, wobei die Erzeugungseinheit Aktualisierungsinformationen zum Aktualisieren der für jede der Teilregionen erzeugten Karteninformationen auf einer Basis des Klassifizierungsergebnisses des Objekts in jeder der Teilregionen erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 17, wobei die Aktualisierungsinformationen mindestens eine von einer Aktualisierungsnotwendigkeit, einer Aktualisierungszeitvorgabe oder einer Aktualisierungshäufigkeit aufweisen.
Informationsverarbeitungsverfahren, das von einem Computersystem ausgeführt wird, wobei das Verfahren aufweist: Klassifizieren eines Objekts, das in einem Raum detektiert wird, auf einer Basis eines vorbestimmten Kriteriums; und Festlegen einer Priorität für das Objekt auf einer Basis eines Klassifizierungsergebnisses durch die Klassifizierung und Erzeugen positionsbezogener Informationen hinsichtlich einer Position im Raum auf einer Basis der festgelegten Priorität.
Programm zum Veranlassen eines Computersystems, die folgenden Schritte auszuführen: Klassifizieren eines Objekts, das in einem Raum detektiert wird, auf einer Basis eines vorbestimmten Kriteriums; und Festlegen einer Priorität für das Objekt auf einer Basis eines Klassifizierungsergebnisses durch die Klassifizierung und Erzeugen positionsbezogener Informationen hinsichtlich einer Position im Raum auf einer Basis der festgelegten Priorität.