DE112022001481T5

DE112022001481T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm

Info

Publication number: DE112022001481T5
Application number: DE112022001481.4T
Authority: DE
Inventors: Kazuchika Iwami
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2021-05-11
Filing date: 2022-04-14
Publication date: 2024-01-11
Also published as: US20240054612A1; JPWO2022239600A1; WO2022239600A1; CN117280247A

Abstract

Diese Informationsverarbeitungsvorrichtung ist eine Informationsverarbeitungsvorrichtung, die Punktwolkendaten verarbeitet, die von einer Messvorrichtung ausgegeben wurden, die einen externen Sensor, der wiederholt einen umgebenden Raum abtastet, um segmentierte Punktwolkendaten für jede Abtastung zu erfassen, und einen internen Sensor, der eine Ausrichtung detektiert, um Ausrichtungsdetektionsdaten zu erfassen, enthält, und die Informationsverarbeitungsvorrichtung umfasst mindestens einen Prozessor. Der Prozessor ist dazu konfiguriert, dass er kombinierte Punktwolkendaten durch Ausführen von Kombinationsverarbeitung unter Verwendung mehrerer der segmentierten Punktwolkendaten, die in einem Zeitraum erfasst wurden, während dem die Ausrichtungsdetektionsdaten eine zulässige Bedingung erfüllen, unter mehreren der bei verschiedenen Erfassungszeiten von dem externen Sensor erfassten segmentierten Punktwolkendaten erzeugt.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Eine Technik der vorliegenden Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm.
2. Beschreibung des Standes der Technik
Es ist ein System für sich bewegende Objekte bekannt, das eine Messvorrichtung, wie beispielsweise Light Detection and Ranging (LiDAR), aufweist, die an einem sich bewegenden Objekt montiert ist, um Punktwolkendaten zu erfassen, die Koordinaten eines umgebenden Baus darstellen. In dem System für sich bewegende Objekte wird ein umgebender Raum wiederholt durch die Messvorrichtung abgetastet, um Punktwolkendaten für jede Abtastung zu erfassen, und mehrere erfasste Punktwolkendaten werden kombiniert, wodurch Kartendaten mit dreidimensionalen Informationen erzeugt werden.
JP2016-189184A beschreibt eine Anpassung von Punktwolkendaten nach einer Ausrichtung oder dergleichen von LiDAR. Die Anpassung der Punktwolkendaten wird durchgeführt, wenn Punktwolkendaten vor und nach einer Ausrichtungsänderung kombiniert werden.
ZUSAMMENFASSUNG DER ERFINDUNG
In einem Fall, in dem die Ausrichtungsänderung des LiDAR gering ist, wie in JP2016-189184A beschrieben, können die Punktwolkendaten vor und nach der Ausrichtungsänderung durch Anpassen der Punktwolkendaten kombiniert werden.
Es ist anzumerken, dass in einem Fall, in dem die Ausrichtungsänderung von LiDAR groß ist, Punktwolkendaten, die nicht kombiniert werden können, vor und nach der Ausrichtungsänderung erfasst werden, was bewirkt, dass eine Informationsverarbeitungsvorrichtung zur Verwendung bei Kombinationsverarbeitung Punktwolkendaten vor und nach der Ausrichtungsänderung nicht kombinieren kann.
Die Technik der vorliegenden Offenbarung stellt eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm bereit, die in der Lage sind, Fehler beim Kombinieren mehrerer Punktwolkendaten zu unterdrücken.
Eine Informationsverarbeitungsvorrichtung der vorliegenden Offenbarung ist eine Informationsverarbeitungsvorrichtung, die segmentierte Punktwolkendaten, die von einer Messvorrichtung einschließlich eines externen Sensors, der wiederholt einen umgebenden Raum abtastet, um die segmentierten Punktwolkendaten für jede Abtastung zu erfassen, und eines internen Sensors, der eine Ausrichtung detektiert, um Ausrichtungsdetektionsdaten zu erfassen, ausgegeben wurden, verarbeitet, wobei die Informationsverarbeitungsvorrichtung mindestens einen Prozessor umfasst, wobei der Prozessor so konfiguriert ist, dass er kombinierte Punktwolkendaten durch Ausführen von Kombinationsverarbeitung unter Verwendung mehrerer der segmentierten Punktwolkendaten, die in einem Zeitraum erfasst wurden, während dem die Ausrichtungsdetektionsdaten eine zulässige Bedingung erfüllen, unter mehreren der bei verschiedenen Erfassungszeiten von dem externen Sensor erfassten segmentierten Punktwolkendaten erzeugt.
Es ist bevorzugt, dass der interne Sensor ein Trägheitsmesssensor ist, der mindestens einen von einem Beschleunigungssensor und einem Winkelgeschwindigkeitssensor aufweist, und dass die Ausrichtungsdetektionsdaten einen Ausgabewert des Beschleunigungssensors oder des Winkelgeschwindigkeitssensors enthalten.
Es ist bevorzugt, dass die zulässige Bedingung darin besteht, dass ein Absolutwert des Ausgabewerts des Beschleunigungssensors oder des Winkelgeschwindigkeitssensors kleiner als ein erster Schwellenwert ist.
Es ist bevorzugt, dass die zulässige Bedingung darin besteht, dass ein zeitlicher Änderungsbetrag des Ausgabewerts des Beschleunigungssensors oder des Winkelgeschwindigkeitssensors kleiner als ein zweiter Schwellenwert ist.
Es ist bevorzugt, dass der externe Sensor einen ersten Sensor, der erste segmentierte Punktwolkendaten durch Abtasten eines Raums mit Laserlicht erfasst, und einen zweiten Sensor, der zweite segmentierte Punktwolkendaten basierend auf mehreren Kamerabildern erfasst, enthält und dass die segmentierten Punktwolkendaten die ersten segmentierten Punktwolkendaten und die zweiten segmentierten Punktwolkendaten enthalten.
Es ist bevorzugt, dass der Prozessor so konfiguriert ist, dass er kombinierte segmentierte Punktwolkendaten durch Kombinieren der ersten segmentierten Punktwolkendaten und der zweiten segmentierten Punktwolkendaten erzeugt und die kombinierten Punktwolkendaten durch Kombinieren mehrerer der erzeugten kombinierten segmentierten Punktwolkendaten erzeugt.
Es ist bevorzugt, dass der Prozessor so konfiguriert ist, dass er die kombinierten segmentierten Punktwolkendaten durch teilweises Auswählen von Daten aus jeweils den ersten segmentierten Punktwolkendaten und den zweiten segmentierten Punktwolkendaten basierend auf einem Merkmal eines Baus erzeugt, der in mindestens einem Kamerabild unter den mehreren Kamerabildern gezeigt wurde.
Es ist bevorzugt, dass die Messvorrichtung in einem unbemannten sich bewegenden Objekt vorgesehen ist.
Ein Informationsverarbeitungsverfahren der vorliegenden Offenbarung ist ein Informationsverarbeitungsverfahren, das segmentierte Punktwolkendaten, die von einer Messvorrichtung einschließlich eines externen Sensors, der wiederholt einen umgebenden Raum abtastet, um die segmentierten Punktwolkendaten für jede Abtastung zu erfassen, und eines internen Sensors, der eine Ausrichtung detektiert, um Ausrichtungsdetektionsdaten zu erfassen, ausgegeben wurden, verarbeitet, wobei das Informationsverarbeitungsverfahren Erzeugen von kombinierten Punktwolkendaten durch Ausführen von Kombinationsverarbeitung unter Verwendung mehrerer der segmentierten Punktwolkendaten, die in einem Zeitraum erfasst wurden, während dem die Ausrichtungsdetektionsdaten eine zulässige Bedingung erfüllen, unter mehreren der bei verschiedenen Erfassungszeiten von dem externen Sensor erfassten segmentierten Punktwolkendaten umfasst.
Ein Programm der vorliegenden Offenbarung ist ein Programm, das einen Computer dazu veranlasst, Verarbeitung an segmentierten Punktwolkendaten auszuführen, die von einer Messvorrichtung ausgegeben wurden, die einen externen Sensor, der wiederholt einen umgebenden Raum abtastet, um die segmentierten Punktwolkendaten für jede Abtastung zu erfassen, und einen internen Sensor, der eine Ausrichtung detektiert, um Ausrichtungsdetektionsdaten zu erfassen, enthält, wobei das Programm den Computer dazu veranlasst, Kombinationsverarbeitung des Erzeugens von kombinierten Punktwolkendaten unter Verwendung mehrerer der segmentierten Punktwolkendaten, die in einem Zeitraum erfasst wurden, während dem die Ausrichtungsdetektionsdaten eine zulässige Bedingung erfüllen, unter mehreren der bei verschiedenen Erfassungszeiten von dem externen Sensor erfassten segmentierten Punktwolkendaten auszuführen.
KURZBESCHREIBUNG DER ZEICHNUNGEN

1 ist ein schematisches Konfigurationsdiagramm, das ein Beispiel einer Gesamtkonfiguration eines Systems für sich bewegende Objekte gemäß einer ersten Ausführungsform zeigt.
2 ist eine schematische perspektivische Ansicht, die ein Beispiel von Detektionsachsen eines Beschleunigungssensors und eines Winkelgeschwindigkeitssensors zeigt.
3 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration des Systems für sich bewegende Objekte zeigt.
4 ist ein Konzeptdiagramm, das ein Beispiel eines Wegs zeigt, entlang dem sich ein sich bewegendes Objekt bewegt.
5 ist ein Konzeptdiagramm, das ein Beispiel von segmentierten Punktwolkendaten zeigt.
6 ist ein Konzeptdiagramm, das ein Beispiel von Kombinationsverarbeitung mehrerer segmentierter Punktwolkendaten zeigt.
7 ist ein Konzeptdiagramm, das ein Beispiel eines Zeitraums zeigt, während dem eine zulässige Bedingung nicht erfüllt ist.
8 ist ein Flussdiagramm, das ein Beispiel eines Flusses von Kombinationsverarbeitung gemäß der ersten Ausführungsform darstellt.
9 ist ein schematisches Konfigurationsdiagramm, das ein Beispiel einer Gesamtkonfiguration eines Systems für sich bewegende Objekte gemäß einer zweiten Ausführungsform zeigt.
10 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration des Systems für sich bewegende Objekte gemäß der zweiten Ausführungsform zeigt.
11 ist ein Konzeptdiagramm, das ein Beispiel eines Erfassungsverfahrens von zweiten segmentierten Punktwolkendaten zeigt.
12 ist ein Blockdiagramm, das ein Beispiel einer Kombinationsverarbeitungseinheit gemäß der zweiten Ausführungsform zeigt.
13 ist ein Konzeptdiagramm, das ein Beispiel von zweiten kombinierten segmentierten Punktwolkendaten zeigt.
14 ist ein Flussdiagramm, das ein Beispiel eines Flusses von Kombinationsverarbeitung gemäß der zweiten Ausführungsform darstellt.
15 ist ein Konzeptdiagramm, das ein Beispiel eines Zeitraums, während dem eine zulässige Bedingung nicht erfüllt ist, bei der zweiten Ausführungsform zeigt.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Nachstehend wird ein Beispiel einer Informationsverarbeitungsvorrichtung, eines Informationsverarbeitungsverfahrens und eines Programms gemäß der Technik der vorliegenden Offenbarung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
Zunächst werden Begriffe beschrieben, die bei der folgenden Beschreibung verwendet werden.
CPU (central processing unit) ist eine Abkürzung für „Zentraleinheit“. NVM (non-volatile memory) ist eine Abkürzung für „nicht flüchtiger Speicher“. RAM (random-access memory) ist eine Abkürzung für „Arbeitsspeicher“. IC (integrated circuit) ist eine Abkürzung für „integrierte Schaltung“. ASIC (application-specific integrated circuit) ist eine Abkürzung für „anwendungsspezifische integrierte Schaltung“. PLD (programmable logic device) ist eine Abkürzung für „programmierbare logische Schaltung“. FPGA ist eine Abkürzung für „feldprogrammierbares Gate-Array“. SoC ist eine Abkürzung für „System-on-a-Chip“. SSD (solid-state drive) ist eine Abkürzung für „Solid-State-Laufwerk“. USB ist eine Abkürzung für „Universal Serial Bus“. HDD (hard disk drive) ist eine Abkürzung für „Festplattenlaufwerk“. EEPROM (electrically erasable programmable read-only memory) ist eine Abkürzung für „elektrisch löschbarer programmierbarer Nur-Lese-Speicher“. EL ist eine Abkürzung für „Elektrolumineszenz“. I/F ist eine Abkürzung für „Schnittstelle“. CMOS (complementary metal-oxide-semiconductor) ist eine Abkürzung für „komplementärer Metalloxid-Halbleiter“. SLAM (simultaneous localization and mapping) ist eine Abkürzung für „simultane Positionsbestimmung und Kartierung“.
[Erste Ausführungsform]
Wie in 1 als ein Beispiel gezeigt, ist ein System 2 für sich bewegende Objekte mit einem sich bewegenden Objekt 10 und einer Informationsverarbeitungsvorrichtung 20 konfiguriert. Eine Messvorrichtung 30 ist an dem sich bewegenden Objekt 10 montiert. Bei der vorliegenden Ausführungsform ist das sich bewegende Objekt 10 ein unbemanntes Flugobjekt (sogenannte Drohne) als ein Beispiel eines unbemannten sich bewegenden Objekts. Das sich bewegende Objekt 10 und die Informationsverarbeitungsvorrichtung 20 führen Kommunikation auf drahtlose Weise durch.
Das sich bewegende Objekt 10 umfasst einen Hauptkörper 12 und vier Propeller 14 als eine Antriebsvorrichtung. Das sich bewegende Objekt 10 kann entlang eines beliebigen Wegs in einem dreidimensionalen Raum fliegen, indem es eine Drehrichtung von jedem der vier Propeller 14 steuert.
Die Messvorrichtung 30 ist beispielsweise an einem oberen Abschnitt des Hauptkörpers 12 angebracht. Die Messvorrichtung 30 enthält einen externen Sensor 32 und einen internen Sensor 34 (siehe 3). Der externe Sensor 32 ist ein Sensor, der eine externe Umgebung des sich bewegenden Objekts 10 erfasst. Bei der vorliegenden Ausführungsform ist der externe Sensor 32 LiDAR und tastet einen umgebenden Raum ab, indem er einen gepulsten Laserstrahl L an die Umgebung emittiert. Der Laserstrahl L ist beispielsweise sichtbares Licht oder Infrarotstrahlen.
Der externe Sensor 32 empfängt reflektiertes Licht des Laserstrahls L, der von einem Bau in dem umgebenden Raum reflektiert wird, und misst eine Zeit, bis das reflektierte Licht empfangen wird, nachdem der Laserstrahl L emittiert wurde, wodurch eine Entfernung zu einem Reflexionspunkt des Laserstrahls L bei dem Bau erhalten wird. Der externe Sensor 32 gibt jedes Mal, wenn der externe Sensor 32 den umgebenden Raum abtastet, Punktwolkendaten aus, die Positionsinformationen (dreidimensionale Koordinaten) von mehreren Reflexionspunkten darstellen. Die Punktwolkendaten werden auch als eine Punktwolke bezeichnet. Die Punktwolkendaten sind beispielsweise Daten, die durch dreidimensionale kartesische Koordinaten ausgedrückt werden.
Der externe Sensor 32 emittiert den Laserstrahl L beispielsweise in einem Gesichtsfeldbereich S von 135 Grad nach rechts und links (insgesamt 270 Grad) und 15 Grad nach oben und unten (insgesamt 30 Grad) mit einer Fahrtrichtung des sich bewegenden Objekts 10 als einer Referenz. Der externe Sensor 32 emittiert den Laserstrahl L in dem gesamten Gesichtsfeldbereich S, während er einen Winkel um 0,25 Grad in eine beliebige Richtung von rechts und links oder oben und unten ändert. Der externe Sensor 32 tastet wiederholt den Gesichtsfeldbereich S ab und gibt Punktwolkendaten für jede Abtastung aus. Die von dem externen Sensor 32 für jede Abtastung ausgegebenen Punktwolkendaten werden nachstehend als segmentierte Punktwolkendaten PG bezeichnet.
Der interne Sensor 34 enthält einen Beschleunigungssensor 36 und einen Winkelgeschwindigkeitssensor 38 (siehe 3). Beispielsweise detektiert der Beschleunigungssensor 36 Beschleunigungen, die in Richtungen einer X-Achse Ax, einer Y-Achse Ay und einer Z-Achse Az, die senkrecht zueinander sind, ausgeübt werden, wie in 2 gezeigt. Beispielsweise detektiert der Winkelgeschwindigkeitssensor 38 Winkelgeschwindigkeiten, die um jeweilige Achsen der X-Achse Ax, der Y-Achse Ay und der Z-Achse Az (das heißt jeweilige Drehrichtungen eines Wankens, eines Nickens und eines Gierens) ausgeübt werden, wie in 2 gezeigt. Das heißt, der interne Sensor 34 ist ein sechsachsiger Trägheitsmesssensor.
Der interne Sensor 34 gibt Ausrichtungsdetektionsdaten aus, die eine Ausrichtung des sich bewegenden Objekts 10 darstellen. Die Ausrichtungsdetektionsdaten enthalten einen Ausgabewert S1 des Beschleunigungssensors 36 und einen Ausgabewert S2 des Winkelgeschwindigkeitssensors 38. Während der Ausgabewert des Beschleunigungssensors 36 Beschleunigungsdetektionswerte in den drei Achsenrichtungen der X-Achse Ax, der Y-Achse Ay und der Z-Achse Az enthält, werden bei der vorliegenden Ausführungsform zur Vereinfachung die Beschleunigungsdetektionswerte kollektiv als der Ausgabewert S1 bezeichnet. Ähnlich werden, während der Ausgabewert des Winkelgeschwindigkeitssensors 38 Winkelgeschwindigkeits-Detektionswerte in den drei Drehrichtungen des Wankens, Nickens und Gierens enthält, bei der vorliegenden Ausführungsform zur Vereinfachung die Winkelgeschwindigkeits-Detektionswerte kollektiv als der Ausgabewert S2 bezeichnet.
Das sich bewegende Objekt 10 fliegt autonom entlang eines spezifizierten Wegs, während es eine Eigenposition auf der Grundlage von Daten schätzt, die von dem externen Sensor 32 und dem internen Sensor 34 erfasst werden. Das System 2 für sich bewegende Objekte führt gleichzeitig Eigenpositionsschätzung des sich bewegenden Objekts 10 und Umgebungskartenerzeugung beispielsweise unter Verwendung der SLAM-Technik durch.
Die Informationsverarbeitungsvorrichtung 20 ist beispielsweise ein Personal Computer und umfasst eine Empfangsvorrichtung 22 und eine Anzeige 24. Die Empfangsvorrichtung 22 ist beispielsweise eine Tastatur, eine Maus und ein Touch-Panel. Die Informationsverarbeitungsvorrichtung 20 erzeugt eine Umgebungskarte durch Kombinieren mehrerer segmentierter Punktwolkendaten PG, die von der Messvorrichtung 30 des sich bewegenden Objekts 10 ausgegeben werden. Die Informationsverarbeitungsvorrichtung 20 zeigt die erzeugte Umgebungskarte auf der Anzeige 24 an.
Wie in 3 als ein Beispiel gezeigt, ist der Hauptkörper 12 des sich bewegenden Objekts 10 mit einer Steuerung 16, einer Kommunikationsschnittstelle 18 und einem Motor 14A versehen. Die Steuerung 16 ist beispielsweise mit einem IC-Chip konfiguriert. Die Steuerung 16 steuert den Flug des sich bewegenden Objekts 10, indem sie eine Antriebssteuerung des Motors 14A, der für jeden der vier Propeller 14 vorgesehen ist, durchführt. Die Steuerung 16 steuert einen Abtastvorgang des Laserstrahls L durch den externen Sensor 32 und empfängt die segmentierten Punktwolkendaten PG, die von dem externen Sensor 32 ausgegeben werden.
Die Steuerung 16 empfängt die Ausrichtungsdetektionsdaten (den Ausgabewert S1 des Beschleunigungssensors 36 und den Ausgabewert S2 des Winkelgeschwindigkeitssensors 38), die von dem internen Sensor 34 ausgegeben werden. Die Steuerung 16 überträgt die empfangenen segmentierten Punktwolkendaten PG und die Ausrichtungsdetektionsdaten via die Kommunikationsschnittstelle 18 drahtlos an die Informationsverarbeitungsvorrichtung 20.
Die Informationsverarbeitungsvorrichtung 20 umfasst zusätzlich zu der Empfangsvorrichtung 22 und der Anzeige 24 eine CPU 40, einen NVM 42, einen RAM 44 und eine Kommunikationsschnittstelle 46. Zusätzlich zu der Empfangsvorrichtung 22 und der Anzeige 24 sind die CPU 40, der NVM 42, der RAM 44 und die Kommunikationsschnittstelle 46 durch einen Bus 48 verbunden. Die Informationsverarbeitungsvorrichtung 20 ist ein Beispiel eines „Computers“ gemäß der Technik der vorliegenden Offenbarung. Die CPU 40 ist ein Beispiel eines „Prozessors“ gemäß der Technik der vorliegenden Offenbarung.
Der NVM 42 speichert verschiedene Arten von Daten. Hier umfassen Beispiele des NVM 42 verschiedene nicht flüchtige Speichervorrichtungen, wie beispielsweise ein EEPROM, eine SSD und/oder eine HDD. Der RAM 44 speichert vorübergehend verschiedene Arten von Informationen und wird als ein Arbeitsspeicher verwendet. Ein Beispiel des RAM 44 ist ein DRAM oder ein SRAM
Ein Programm 43 ist auf dem NVM 42 gespeichert. Die CPU 40 liest das Programm 43 aus dem NVM 42 aus und führt das ausgelesene Programm 43 auf dem RAM 44 aus. Die CPU 40 steuert das gesamte System 2 für sich bewegende Objekte einschließlich der Informationsverarbeitungsvorrichtung 20 durch Ausführen von Verarbeitung gemäß dem Programm 43. Des Weiteren fungiert die CPU 40 als eine Kombinationsverarbeitungseinheit 41, indem sie Verarbeitung auf der Grundlage des Programms 43 ausführt.
Die Kommunikationsschnittstelle 46 führt Kommunikation mit der Kommunikationsschnittstelle 18 des sich bewegenden Objekts 10 auf drahtlose Weise durch und empfängt die segmentierten Punktwolkendaten PG und die Ausrichtungsdetektionsdaten, die von dem sich bewegenden Objekt 10 für jede Abtastung ausgegeben werden. Das heißt, die Informationsverarbeitungsvorrichtung 20 empfängt mehrere segmentierte Punktwolkendaten PG, die zu verschiedenen Erfassungszeiten durch den externen Sensor 32 erfasst wurden, und die Ausrichtungsdetektionsdaten, die jeder Angabe segmentierter Punktwolkendaten PG entsprechen.
Die Kombinationsverarbeitungseinheit 41 erzeugt kombinierte Punktwolkendaten SG durch Ausführen von Kombinationsverarbeitung des Kombinierens mehrerer segmentierter Punktwolkendaten PG, die von dem sich bewegenden Objekt 10 empfangen werden. Die kombinierten Punktwolkendaten SG entsprechen der oben beschriebenen Umgebungskarte. Die von der Kombinationsverarbeitungseinheit 41 erzeugten kombinierten Punktwolkendaten SG werden auf dem NVM 42 gespeichert. Die auf dem NVM 42 gespeicherten kombinierten Punktwolkendaten SG werden als die Umgebungskarte auf der Anzeige 24 angezeigt.
Beim Ausführen der Kombinationsverarbeitung erzeugt die Kombinationsverarbeitungseinheit 41 die kombinierten Punktwolkendaten SG durch Ausführen der Kombinationsverarbeitung unter Verwendung mehrerer segmentierter Punktwolkendaten PG, die in einem Zeitraum erfasst wurden, während dem die Ausrichtungsdetektionsdaten eine zulässige Bedingung erfüllen, unter mehreren segmentierten Punktwolkendaten PG, die von dem sich bewegenden Objekt 10 erfasst werden.
Die zulässige Bedingung ist beispielsweise, dass ein Absolutwert des Ausgabewerts S1 des Beschleunigungssensors 36 kleiner als ein Schwellenwert TH1 ist. Dies bedeutet, dass beispielsweise der Beschleunigungsdetektionswert in mindestens einer Achsenrichtung unter den Beschleunigungsdetektionwerten in den drei Achsenrichtungen, die in dem Ausgabewert S1 des Beschleunigungssensors 36 enthalten sind, kleiner als der Schwellenwert TH1 ist. In diesem Fall erzeugt die Kombinationsverarbeitungseinheit 41 die kombinierten Punktwolkendaten SG durch Ausführen der Kombinationsverarbeitung unter Verwendung mehrerer segmentierter Punktwolkendaten PG, die in einem Zeitraum erfasst wurden, während dem der Absolutwert des Ausgabewerts S1 des Beschleunigungssensors 36 kleiner als der Schwellenwert TH1 ist. Der Schwellenwert TH1 ist ein Beispiel eines „ersten Schwellenwerts“ gemäß der Technik der vorliegenden Offenbarung.
Die zulässige Bedingung kann sein, dass ein Absolutwert des Ausgabewerts S2 des Winkelgeschwindigkeitssensors 38 kleiner als ein Schwellenwert ist. Dies bedeutet, dass beispielsweise der Winkelgeschwindigkeits-Detektionswert in mindestens einer Drehrichtung unter den Winkelgeschwindigkeits-Detektionswerten in den drei Drehrichtungen, die in dem Ausgabewert S2 des Winkelgeschwindigkeitssensors 38 enthalten sind, kleiner als der Schwellenwert ist. In diesem Fall erzeugt die Kombinationsverarbeitungseinheit 41 die kombinierten Punktwolkendaten SG durch Ausführen der Kombinationsverarbeitung unter Verwendung mehrerer segmentierter Punktwolkendaten PG, die in einem Zeitraum erfasst wurden, während dem der Absolutwert des Ausgabewerts S2 des Winkelgeschwindigkeitssensors 38 kleiner als der Schwellenwert ist.
Die zulässige Bedingung kann sein, dass ein zeitlicher Änderungsbetrag des Ausgabewerts S1 des Beschleunigungssensors 36 kleiner als ein Schwellenwert TH2 ist. Dies bedeutet, dass beispielsweise der zeitliche Änderungsbetrag des Beschleunigungsdetektionswerts in mindestens einer Achsenrichtung unter den Beschleunigungsdetektionswerten in den drei Achsenrichtungen, die in dem Ausgabewert S1 des Beschleunigungssensors 36 enthalten sind, kleiner als der Schwellenwert TH2 ist. Der zeitliche Änderungsbetrag ist ein Absolutwert eines Änderungsbetrags pro Zeiteinheit (zum Beispiel eine Sekunde). In diesem Fall erzeugt die Kombinationsverarbeitungseinheit 41 die kombinierten Punktwolkendaten SG durch Ausführen der Kombinationsverarbeitung unter Verwendung mehrerer segmentierter Punktwolkendaten PG, die in einem Zeitraum erfasst wurden, während dem der zeitliche Änderungsbetrag des Ausgabewerts S1 des Beschleunigungssensors 36 kleiner als der Schwellenwert TH2 ist. Der Schwellenwert TH2 ist ein Beispiel eines „zweiten Schwellenwerts“ gemäß der Technik der vorliegenden Offenbarung. Der Schwellenwert TH2 ist beispielsweise auf einen Wert eingestellt, der 1,5-mal größer als der zeitliche Änderungsbetrag des Ausgabewerts S1 in einem stationären Zustand ist, in dem sich das sich bewegende Objekt 10 in einer stationären Ausrichtung befindet.
Die zulässige Bedingung kann sein, dass ein zeitlicher Änderungsbetrag des Ausgabewerts S2 des Winkelgeschwindigkeitssensors 38 kleiner als ein Schwellenwert ist. Dies bedeutet beispielsweise, dass der zeitliche Änderungsbetrag des Winkelgeschwindigkeits-Detektionswerts in mindestens einer Drehrichtung unter den Winkelgeschwindigkeits-Detektionswerten in den drei Drehrichtungen, die in dem Ausgabewert S2 des Winkelgeschwindigkeitssensors 38 enthalten sind, kleiner als der Schwellenwert ist. Der zeitliche Änderungsbetrag ist ein Absolutwert eines Änderungsbetrags pro Zeiteinheit (zum Beispiel eine Sekunde). In diesem Fall erzeugt die Kombinationsverarbeitungseinheit 41 die kombinierten Punktwolkendaten SG durch Ausführen der Kombinationsverarbeitung unter Verwendung mehrerer segmentierter Punktwolkendaten PG, die in einem Zeitraum erfasst wurden, während dem der zeitliche Änderungsbetrag des Ausgabewerts S2 des Winkelgeschwindigkeitssensors 38 kleiner als der Schwellenwert ist.
Die zulässige Bedingung kann eine Bedingung für eine Kombination von zwei oder mehr Werten des Ausgabewerts S1 des Beschleunigungssensors 36, des Ausgabewerts S2 des Winkelgeschwindigkeitssensors 38, des zeitlichen Änderungsbetrags des Ausgabewerts S1 und des zeitlichen Änderungsbetrags des Ausgabewerts S2 sein.
Wie in 4 als ein Beispiel gezeigt, bewegt sich das sich bewegende Objekt 10 entlang eines vorbestimmten Wegs KL. Mehrere Bauten 50 sind um den Weg KL vorhanden, entlang dem sich das sich bewegende Objekt 10 bewegt. Das sich bewegende Objekt 10 tastet wiederholt den umgebenden Raum unter Verwendung des externen Sensors 32 der Messvorrichtung 30 ab, während es sich entlang des Wegs KL bewegt, und erfasst die segmentierten Punktwolkendaten PG für jede Abtastung und gibt sie aus. Das heißt, das sich bewegende Objekt 10 tastet den gesamten Raum ab, indem es den gesamten umgebenden Raum des Wegs KL in räumlich und zeitlich unterteilten Einheiten abtastet. Bei dem in 4 gezeigten Beispiel führt das sich bewegende Objekt 10 Abtasten mit dem Laserstrahl L in dem Gesichtsfeldbereich S an jeder von drei Positionen K1 bis K3 durch.
Wie in 5 als ein Beispiel gezeigt, erfasst das sich bewegende Objekt 10 die segmentierten Punktwolkendaten PG1 bis PG3 an den Positionen K1 bis K3 mit dem externen Sensor 32 und gibt die segmentierten Punktwolkendaten PG1 bis PG3 aus. Jeder Punkt, der in den segmentierten Punktwolkendaten PG1 bis PG3 enthalten ist, stellt eine Position (dreidimensionale Koordinaten) eines Reflexionspunkts des Laserstrahls L durch den Bau 50 dar.
Wie in 6 als ein Beispiel gezeigt, erzeugt die Kombinationsverarbeitungseinheit 41 die kombinierten Punktwolkendaten SG durch Ausführen der Kombinationsverarbeitung nach solchem Ausrichten, dass die segmentierten Punktwolkendaten PG1 bis PG3 miteinander übereinstimmen. Die Kombinationsverarbeitungseinheit 41 führt die Kombinationsverarbeitung unter Verwendung einer Technik zur Verwendung beispielsweise bei SLAM aus.
Während Fliegen entlang des Wegs KL kann das sich bewegende Objekt 10 beispielsweise in einer Windböe flattern und kann bezüglich Ausrichtung erheblich geändert werden. In einem Fall, in dem das sich bewegende Objekt 10 erheblich bezüglich Ausrichtung geändert wird, während es sich entlang des Wegs KL bewegt, wird der Gesichtsfeldbereich S erheblich geändert, so dass es nicht möglich ist, Abgleich zwischen zwei segmentierten Punktwolkendaten PG vor und nach der Ausrichtungsänderung durchzuführen, und es ist wahrscheinlich, dass die Kombinationsverarbeitung fehlschlägt. Aus diesem Grund führt die Kombinationsverarbeitungseinheit 41, wie oben beschrieben, die Kombinationsverarbeitung unter Verwendung nur der segmentierten Punktwolkendaten PG aus, für die die Ausrichtungsdetektionsdaten die zulässige Bedingung erfüllen, ohne die segmentierten Punktwolkendaten PG, die in einem Zeitraum erfasst wurden, während dem die Ausrichtungsdetektionsdaten die zulässige Bedingung nicht erfüllen, zu verwenden.
Wie in 7 als ein Beispiel gezeigt, werden segmentierte Punktwolkendaten PG1 bis PG15 und der Ausgabewert S1 des Beschleunigungssensors 36 erhalten, und in einem Fall, in dem der Absolutwert des Ausgabewerts S1 in einem Zeitraum, während dem die segmentierten Punktwolkendaten PG7 bis PG9 erhalten werden, kleiner als der Schwellenwert TH1 ist, führt die Kombinationsverarbeitungseinheit 41 die Kombinationsverarbeitung unter Verwendung der segmentierten Punktwolkendaten PG1 bis PG6 und PG10 bis PG15 aus.
Die Kombinationsverarbeitungseinheit 41 kann mehrere erfasste segmentierte Punktwolkendaten PG kombinieren, nachdem mehrere segmentierte Punktwolkendaten PG von dem sich bewegenden Objekt 10 erfasst wurden, oder kann die Kombinationsverarbeitung jedes Mal ausführen, wenn die segmentierten Punktwolkendaten PG von dem sich bewegenden Objekt 10 erfasst werden.
Als Nächstes werden Vorgänge des Systems 2 für sich bewegende Objekte unter Bezugnahme auf 8 beschrieben.
8 ist ein Flussdiagramm, das ein Beispiel eines Flusses der Kombinationsverarbeitung darstellt, die von der Kombinationsverarbeitungseinheit 41 ausgeführt wird. Der in 8 gezeigte Fluss der Kombinationsverarbeitung ist ein Beispiel eines „Informationsverarbeitungsverfahrens“ gemäß der Technik der vorliegenden Offenbarung.
8 zeigt ein Beispiel, bei dem die Kombinationsverarbeitungseinheit 41 die Kombinationsverarbeitung jedes Mal ausführt, wenn die segmentierten Punktwolkendaten PG von dem sich bewegenden Objekt 10 erfasst werden. Hier ist es eine Voraussetzung, dass das sich bewegende Objekt 10 den umgebenden Raum wiederholt unter Verwendung des externen Sensors 32 abtastet und die segmentierten Punktwolkendaten PG für jede Abtastung an die Informationsverarbeitungsvorrichtung 20 ausgibt.
Bei der in 8 gezeigten Kombinationsverarbeitung erfasst die Kombinationsverarbeitungseinheit 41 zunächst bei Schritt ST 10 die segmentierten Punktwolkendaten PG, die von dem sich bewegenden Objekt 10 ausgegeben werden. Nach Schritt ST10 geht die Kombinationsverarbeitung zu Schritt ST11 über.
Bei Schritt ST11 erfasst die Kombinationsverarbeitungseinheit 41 die oben beschriebenen Ausrichtungsdetektionsdaten, die den bei Schritt ST10 erfassten segmentierten Punktwolkendaten PG entsprechen, von dem sich bewegenden Objekt 10. Nach Schritt ST11 geht die Kombinationsverarbeitung zu Schritt ST12 über.
Bei Schritt ST12 bestimmt die Kombinationsverarbeitungseinheit 41, ob die bei Schritt ST11 erfassten Ausrichtungsdetektionsdaten die oben beschriebene zulässige Bedingung erfüllen oder nicht. Bei Schritt ST12 wird in einem Fall, in dem die Ausrichtungsdetektionsdaten die zulässige Bedingung erfüllen, eine positive Bestimmung getroffen, und die Kombinationsverarbeitung geht zu Schritt ST13 über. Bei Schritt ST12 wird in einem Fall, in dem die Ausrichtungsdetektionsdaten die zulässige Bedingung nicht erfüllen, eine negative Bestimmung getroffen, und die Kombinationsverarbeitung geht zu Schritt ST14 über.
Bei Schritt ST13 führt die Kombinationsverarbeitungseinheit 41 die oben beschriebene Kombinationsverarbeitung aus. Insbesondere führt die Kombinationsverarbeitungseinheit 41 die Kombinationsverarbeitung des Kombinierens der durch eine vorherige Abtastung erfassten segmentierten Punktwolkendaten PG und der durch eine aktuelle Abtastung erfassten segmentierten Punktwolkendaten PG aus. Nach Schritt ST13 geht die Kombinationsverarbeitung zu Schritt ST14 über.
Bei Schritt ST14 bestimmt die Kombinationsverarbeitungseinheit 41, ob eine Bedingung (nachstehend als eine „Endbedingung“ bezeichnet) zum Beenden der Kombinationsverarbeitung erfüllt ist oder nicht. Ein Beispiel der Endbedingung ist eine Bedingung, dass eine Anweisung zum Beenden der Kombinationsverarbeitung von der Empfangsvorrichtung 22 empfangen wird. Bei Schritt ST14 wird in einem Fall, in dem die Endbedingung nicht erfüllt ist, die negative Verarbeitung vorgenommen, und die Kombinationsverarbeitung geht zu Schritt ST10 über. Bei Schritt ST14 wird in einem Fall, in dem die Endbedingung erfüllt ist, die positive Verarbeitung vorgenommen, und die Kombinationsverarbeitung endet.
Wie oben beschrieben, führt die Informationsverarbeitungsvorrichtung 20 die Kombinationsverarbeitung unter Verwendung mehrerer segmentierter Punktwolkendaten PG, die in einem Zeitraum erfasst wurden, während dem die Ausrichtungsdetektionsdaten die zulässige Bedingung erfüllen, unter mehreren segmentierten Punktwolkendaten PG, die zu verschiedenen Erfassungszeiten von dem externen Sensor 32 erfasst wurden, aus und erzeugt die kombinierten Punktwolkendaten SG. Somit ist es möglich, einen Fehler beim Kombinieren mehrerer Punktwolkendaten zu unterdrücken.
[Zweite Ausführungsform]
Bei der ersten Ausführungsform ist der externe Sensor 32 mit einem Sensor (LiDAR) konfiguriert, aber bei einer zweiten Ausführungsform ist der externe Sensor 32 mit zwei Sensoren konfiguriert.
Wie in 9 als ein Beispiel gezeigt, weist bei einem System 2A für sich bewegende Objekte gemäß der zweiten Ausführungsform ein sich bewegendes Objekt 10A eine Messvorrichtung 30A, die mit mehreren Kameras 60 versehen ist, auf. Die Kameras 60 sind beispielsweise Digitalkameras mit einem Bildsensor des CMOS-Typs und erzeugen Bilddaten PD und geben sie aus. Die Kameras 60 führen einen Bildgebungsvorgang mit einer vorbestimmten Bildrate durch. Die Bilddaten PD sind ein Beispiel eines „Kamerabildes“ gemäß der Technik der vorliegenden Offenbarung.
Die mehreren Kameras 60 bilden einen Bereich, der den oben beschriebenen Gesichtsfeldbereich S als Ganzes enthält, ab, indem sie jeweils das Innere des Gesichtsfeldbereichs S teilweise abbilden. Bildgebungsbereiche von mindestens zwei benachbarten Kameras 60 unter den mehreren Kameras 60 überlappen sich mindestens teilweise. Das heißt, ein Parallaxenbild, das aus einem Paar von Bilddaten PD aufgebaut ist, wird von zwei benachbarten Kameras 60 erfasst.
Wie in 10 als ein Beispiel gezeigt, weist ein externer Sensor 32 der vorliegenden Ausführungsform einen ersten Sensor 32A und einen zweiten Sensor 32B auf. Der erste Sensor 32A ist das bei der ersten Ausführungsform beschriebene LiDAR und erfasst segmentierte Punktwolkendaten PG durch Durchführen von Abtasten mit dem Laserstrahl L in dem Gesichtsfeldbereich S. Nachstehend werden die von dem ersten Sensor 32A erfassten segmentierten Punktwolkendaten PG als erste segmentierte Punktwolkendaten PGA bezeichnet.
Der zweite Sensor 32B weist die oben beschriebenen mehreren Kameras 60 auf und erfasst segmentierte Punktwolkendaten PG auf der Grundlage mehrerer von den mehreren Kameras 60 erfasster Bilddaten PD. Nachstehend werden die von dem zweiten Sensor 32B erfassten segmentierten Punktwolkendaten PG als zweite segmentierte Punktwolkendaten PGB bezeichnet.
Wie in 11 als ein Beispiel gezeigt, extrahiert der zweite Sensor 32B entsprechende Merkmalspunkte U1 und U2 in einem Paar von Bilddaten PD1 und PD2. Der zweite Sensor 32B berechnet dreidimensionale Koordinaten eines Punkts P, der durch die entsprechenden Merkmalspunkte U1 und U2 dargestellt wird, auf der Grundlage einer Differenz (Parallaxe) zwischen den Positionen der extrahierten Merkmalspunkte U1 und U2 unter Verwendung des Prinzips von Triangulation. Bei der Extraktion der Merkmalspunkte können bekannte Algorithmen wie beispielsweise SIFT, SURF und AKAZE verwendet werden.
Obwohl in 11 bei jeweils den Bilddaten PD1 und PD2 nur ein Merkmalspunkt gezeigt ist, berechnet der zweite Sensor 32B dreidimensionale Koordinaten mehrerer Punkte P durch Extrahieren mehrerer Merkmalspunkte aus jeweils den Bilddaten PD1 und PD2. Der zweite Sensor 32B ist ein Entfernungsmessungssensor, der eine sogenannte Stereokamera verwendet.
Der zweite Sensor 32B erzeugt die zweiten segmentierten Punktwolkendaten PGB durch Berechnen von dreidimensionalen Koordinaten mehrerer Punkte P in dem Gesichtsfeldbereich S auf der Grundlage mehrerer von den mehreren Kameras 60 erfasster Bilddaten PD.
Da der zweite Sensor 32B, der die Stereokamera verwendet, einen Merkmalspunkt, der Textur (Muster oder dergleichen) eines Baus entspricht, als ein Entfernungsmessungsziel aus den Bilddaten PD extrahiert, hängt Entfernungsmessungsgenauigkeit von der Textur des Baus ab. Bei dem zweiten Sensor 32B ist es beispielsweise nicht möglich, Entfernungsmessung durchzuführen, da es schwierig ist, einen Merkmalspunkt auf einer Oberfläche ohne Muster oder dergleichen des Baus zu erfassen. Da im Unterschied dazu der erste Sensor 32A, der das LiDAR verwendet, Entfernungsmessung auf der Grundlage von reflektiertem Licht des Laserstrahls L von dem Bau durchführt, hängt Entfernungsmessungsgenauigkeit nicht von der Textur des Baus ab. Aus diesem Grund wird Punktwolkendichte der von dem zweiten Sensor 32B erzeugten zweiten segmentierten Punktwolkendaten PGB niedriger als Punktwolkendichte der von dem ersten Sensor 32A erzeugten ersten segmentierten Punktwolkendaten PGA gemacht.
Da es andererseits möglich ist, einen Randabschnitt des Baus genau als einen Merkmalspunkt gemäß den Bilddaten PD zu extrahieren, kann der zweite Sensor 32B Entfernungsmessung an dem Randabschnitt des Baus mit hoher Genauigkeit durchführen. Da im Unterschied dazu Messpunkte durch Abtasten mit dem Laserstrahl L diskret sind, kann der erste Sensor 32A nicht Entfernungsmessung an dem Randabschnitt des Baus mit hoher Genauigkeit durchführen.
Das heißt, der erste Sensor 32A kann die Punktwolkendaten auf anderen Abschnitten als dem Randabschnitt des Baus genau erfassen, und der zweite Sensor 32B kann die Punktwolkendaten auf dem Randabschnitt des Baus genau erfassen.
Bei der vorliegenden Ausführungsform gibt die CPU 40 die ersten segmentierten Punktwolkendaten PGA und die zweiten segmentierten Punktwolkendaten PGB via die Kommunikationsschnittstelle 18 an die Informationsverarbeitungsvorrichtung 20 aus. Bei der vorliegenden Ausführungsform gibt die CPU 40 mehrere Bilddaten PD, die von den mehreren Kameras 60 erfasst werden, zusätzlich zu den ersten segmentierten Punktwolkendaten PGA und den zweiten segmentierten Punktwolkendaten PGB, via die Kommunikationsschnittstelle 18 an die Informationsverarbeitungsvorrichtung 20 aus.
Wie in 12 als ein Beispiel gezeigt, ist bei der vorliegenden Ausführungsform eine Kombinationsverarbeitungseinheit 41A, die durch die CPU 40 realisiert wird, mit einer ersten Kombinationsverarbeitungseinheit 70, einer zweiten Kombinationsverarbeitungseinheit 72 und einer Randdetektionseinheit 74 konfiguriert. Die erste Kombinationsverarbeitungseinheit 70 erfasst die ersten segmentierten Punktwolkendaten PGA und die zweiten segmentierten Punktwolkendaten PGB, die von dem sich bewegenden Objekt 10 für jede Abtastung ausgegeben werden. Die Randdetektionseinheit 74 erfasst mehrere Bilddaten PD, die von dem sich bewegenden Objekt 10 für jede Abtastung ausgegeben werden.
Die erste Kombinationsverarbeitungseinheit 70 erzeugt kombinierte segmentierte Punktwolkendaten SPG durch teilweises Auswählen von Daten aus jeweils den ersten segmentierten Punktwolkendaten PGA und den zweiten segmentierten Punktwolkendaten PGB auf der Grundlage eines Merkmals eines in mindestens einer Angabe von Bilddaten PD unter mehreren Bilddaten PD gezeigten Baus.
Die Randdetektionseinheit 74 führt Bildanalyse an mindestens einer Angabe von Bilddaten PD unter mehreren Bilddaten PD, die von dem sich bewegenden Objekt 10 erfasst werden, durch, wodurch ein Randabschnitt eines in den Bilddaten PD gezeigten Baus detektiert wird. Bei der Randdetektion kann ein Verfahren durch Filtern, ein Verfahren unter Verwendung von maschinellem Lernen oder dergleichen verwendet werden.
Bei der vorliegenden Ausführungsform erzeugt die erste Kombinationsverarbeitungseinheit 70 die kombinierten segmentierten Punktwolkendaten SPG durch teilweises Auswählen von Daten aus jeweils den ersten segmentierten Punktwolkendaten PGA und den zweiten segmentierten Punktwolkendaten PGB auf der Grundlage von Bereichsinformationen des von der Randdetektionseinheit 74 detektierten Randabschnitts des Baus. Die Erzeugung der kombinierten segmentierten Punktwolkendaten SPG durch die erste Kombinationsverarbeitungseinheit 70 wird für jede oben beschriebene Abtastung durchgeführt.
Wie in 13 als ein Beispiel gezeigt, erzeugt die erste Kombinationsverarbeitungseinheit 70 die kombinierten segmentierten Punktwolkendaten SPG durch Auswählen von Daten, die einem Randabschnitt eines Baus 50 entsprechen, aus den zweiten segmentierten Punktwolkendaten PGB, Auswählen von Daten, die anderen Abschnitten als dem Randabschnitt des Baus 50 entsprechen, aus den ersten segmentierten Punktwolkendaten-PGA und Kombinieren der ausgewählten Daten. Das heißt, die kombinierten segmentierten Punktwolkendaten SPG sind hochauflösende segmentierte Punktwolkendaten, bei denen der Randabschnitt des Baus 50 bei den ersten segmentierten Punktwolkendaten PGA durch die zweiten segmentierten Punktwolkendaten PGB ergänzt wird.
Die zweite Kombinationsverarbeitungseinheit 72 erzeugt kombinierte Punktwolkendaten SG durch Kombinieren mehrerer kombinierter segmentierter Punktwolkendaten SPG, die von der ersten Kombinationsverarbeitungseinheit 70 erzeugt wurden. Die von der zweiten Kombinationsverarbeitungseinheit 72 erzeugten kombinierten Punktwolkendaten SG entsprechen den kombinierten Punktwolkendaten SG der ersten Ausführungsform.
Die Kombinationsverarbeitungseinheit 41A kann die oben beschriebene Kombinationsverarbeitung ausführen, nachdem mehrere erste segmentierte Punktwolkendaten PGA und zweite segmentierte Punktwolkendaten PGB von dem sich bewegenden Objekt 10A erfasst wurden, oder kann die Kombinationsverarbeitung jedes Mal ausführen, wenn ein Satz aus ersten segmentierten Punktwolkendaten PGA und zweiten segmentierten Punktwolkendaten PGB von dem sich bewegenden Objekt 10A erfasst wird.
Als Nächstes werden Vorgänge des Systems 2A für sich bewegende Objekte gemäß der zweiten Ausführungsform unter Bezugnahme auf 14 beschrieben.
14 ist ein Flussdiagramm, das ein Beispiel eines Flusses der Kombinationsverarbeitung darstellt, die von der Kombinationsverarbeitungseinheit 41A ausgeführt wird. Der in 14 gezeigte Fluss der Kombinationsverarbeitung ist ein Beispiel eines „Informationsverarbeitungsverfahrens“ gemäß der Technik der vorliegenden Offenbarung.
14 zeigt ein Beispiel, bei dem die Kombinationsverarbeitungseinheit 41A die Kombinationsverarbeitung jedes Mal ausführt, wenn die ersten segmentierten Punktwolkendaten PGA und die zweiten segmentierten Punktwolkendaten PGB von dem sich bewegenden Objekt 10A erfasst werden. Hier ist es eine Voraussetzung, dass das sich bewegende Objekt 10A wiederholt den umgebenden Raum unter Verwendung des externen Sensors 32 abtastet und die ersten segmentierten Punktwolkendaten PGA und die zweiten segmentierten Punktwolkendaten PGB für jede Abtastung an die Informationsverarbeitungsvorrichtung 20 ausgibt.
Bei der in 14 gezeigten Kombinationsverarbeitung erfasst zunächst die Kombinationsverarbeitungseinheit 41A bei Schritt ST20 die ersten segmentierten Punktwolkendaten PGA und die zweiten segmentierten Punktwolkendaten PGB, die von dem sich bewegenden Objekt 10A ausgegeben werden. Bei Schritt ST20 erfasst die Kombinationsverarbeitungseinheit 41A, zusätzlich zu den ersten segmentierten Punktwolkendaten PGA und den zweiten segmentierten Punktwolkendaten PGB, mehrere Bilddaten PD, die von dem sich bewegenden Objekt 10A ausgegeben werden. Nach Schritt ST20 geht die Kombinationsverarbeitung zu Schritt ST21 über.
Bei Schritt ST21 erfasst die Kombinationsverarbeitungseinheit 41A die oben beschriebenen Ausrichtungsdetektionsdaten, die den ersten segmentierten Punktwolkendaten PGA und den zweiten segmentierten Punktwolkendaten PGB, die bei Schritt ST20 erfasst wurden, entsprechen, von dem sich bewegenden Objekt 10A. Nach Schritt ST21 geht die Kombinationsverarbeitung zu Schritt ST22 über.
Bei Schritt ST22 bestimmt die Kombinationsverarbeitungseinheit 41A, ob die bei Schritt ST21 erfassten Ausrichtungsdetektionsdaten die oben beschriebene zulässige Bedingung erfüllen oder nicht. Bei Schritt ST22 wird in einem Fall, in dem die Ausrichtungsdetektionsdaten die zulässige Bedingung erfüllen, eine positive Bestimmung getroffen, und die Kombinationsverarbeitung geht zu Schritt ST23 über. Bei Schritt ST22 wird in einem Fall, in dem die Ausrichtungsdetektionsdaten die zulässige Bedingung nicht erfüllen, eine negative Bestimmung getroffen, und die Kombinationsverarbeitung geht zu Schritt ST26 über.
Bei Schritt ST23 detektiert die Randdetektionseinheit 74 den Randabschnitt des in den Bilddaten PD gezeigten Baus auf der Grundlage von mindestens einer Angabe von Bilddaten PD. Nach Schritt ST23 geht die Kombinationsverarbeitung zu Schritt ST24 über.
Bei Schritt ST24 erzeugt, wie oben beschrieben, die erste Kombinationsverarbeitungseinheit 70 die kombinierten segmentierten Punktwolkendaten SPG durch Kombinieren der ersten segmentierten Punktwolkendaten PGA und der zweiten segmentierten Punktwolkendaten PGB auf der Grundlage der Bereichsinformationen des von der Randdetektionseinheit 74 detektierten Randabschnitts des Baus. Nach Schritt ST24 geht die Kombinationsverarbeitung zu Schritt ST25 über.
Bei Schritt ST25 führt die zweite Kombinationsverarbeitungseinheit 72 die oben beschriebene Kombinationsverarbeitung aus. Insbesondere erzeugt die erste Kombinationsverarbeitungseinheit 70 die kombinierten Punktwolkendaten SG durch Kombinieren der kombinierten segmentierten Punktwolkendaten SPG, die in einem vorherigen Zyklus erzeugt wurden, und der kombinierten segmentierten Punktwolkendaten SPG, die in einem aktuellen Zyklus erfasst wurden. Nach Schritt ST25 geht die Kombinationsverarbeitung zu Schritt ST26 über.
Bei Schritt ST26 bestimmt die Kombinationsverarbeitungseinheit 41A, ob eine Endbedingung zum Beenden der Kombinationsverarbeitung erfüllt ist oder nicht. Ein Beispiel der Endbedingung ist eine Bedingung, dass eine Anweisung zum Beenden der Kombinationsverarbeitung von der Empfangsvorrichtung 22 empfangen wird. Bei Schritt ST26 wird in einem Fall, in dem die Endbedingung nicht erfüllt ist, die negative Verarbeitung vorgenommen, und die Kombinationsverarbeitung geht zu Schritt ST20 über. Bei Schritt ST26 wird in einem Fall, in dem die Endbedingung erfüllt ist, die positive Verarbeitung vorgenommen, und die Kombinationsverarbeitung endet.
Wie oben beschrieben, erzeugt bei der zweiten Ausführungsform die Informationsverarbeitungsvorrichtung 20 die kombinierten segmentierten Punktwolkendaten SPG durch Kombinieren der ersten segmentierten Punktwolkendaten PGA und der zweiten segmentierten Punktwolkendaten PGB und erzeugt die kombinierten Punktwolkendaten SG durch weiteres Kombinieren mehrerer kombinierter segmentierter Punktwolkendaten SPG. Somit werden hochauflösende kombinierte Punktwolkendaten, die eine Umgebungskarte darstellen, erhalten.
Bei der zweiten Ausführungsform ist es eine Voraussetzung, dass das sich bewegende Objekt 10A die ersten segmentierten Punktwolkendaten PGA und die zweiten segmentierten Punktwolkendaten PGB für jede Abtastung (das heißt in demselben Zeitraum) ausgibt. Alternativ kann das sich bewegende Objekt 10A, wie in 15 gezeigt, die ersten segmentierten Punktwolkendaten PGA und die zweiten segmentierten Punktwolkendaten PGB in verschiedenen Zeiträumen ausgeben. Selbst in diesem Fall wird die Kombinationsverarbeitung unter Verwendung der ersten segmentierten Punktwolkendaten PGA und der zweiten segmentierten Punktwolkendaten PGB, die in einem Zeitraum erfasst wurden, während dem die Ausrichtungsdetektionsdaten die zulässige Bedingung erfüllen, ausgeführt. In diesem Fall kann die zweite Kombinationsverarbeitungseinheit 72 die kombinierten segmentierten Punktwolkendaten SPG erzeugen, indem sie die ersten segmentierten Punktwolkendaten PGA und die zweiten segmentierten Punktwolkendaten PGB, die zeitlich am nächsten sind, kombiniert.
Bei der zweiten Ausführungsform kann es sein, dass, obwohl mehrere Kameras 60 bei der Messvorrichtung 30A vorgesehen sind, nur eine Kamera 60 bei der Messvorrichtung 30A vorgesehen ist. Selbst in einem Fall, in dem nur eine Kamera 60 bei der Messvorrichtung 30A vorgesehen ist, weisen zwei Bilddaten PD zu verschiedenen Bildgebungszeiten verschiedene Blickpunkte auf, weil sich das sich bewegende Objekt 10A bewegt. Aus diesem Grund kann der zweite Sensor 32B die zweiten segmentierten Punktwolkendaten PGB auf der Grundlage von zwei Bilddaten PD zu verschiedenen Bildgebungszeiten erzeugen.
Bei der oben beschriebenen ersten und zweiten Ausführungsform ist, obwohl das Programm 43 für Kombinationsverarbeitung auf dem NVM 42 gespeichert ist (siehe 3 und 10), die Technik der vorliegenden Offenbarung nicht darauf beschränkt, und das Programm 43 kann auf einem nicht flüchtigen Speichermedium, wie beispielsweise einer SSD oder einem USB-Speicher, gespeichert werden. In diesem Fall wird das auf dem nicht flüchtigen Speichermedium gespeicherte Programm 43 auf der Informationsverarbeitungsvorrichtung 20 als einem Computer installiert, und die CPU 40 führt die oben beschriebene Kombinationsverarbeitung gemäß dem Programm 43 aus.
Alternativ kann das Programm 43 auf einer Speichervorrichtung eines anderen Computers, einer Servervorrichtung oder dergleichen gespeichert werden, die via ein Kommunikationsnetzwerk (nicht gezeigt) mit der Informationsverarbeitungsvorrichtung 20 verbunden ist, und das Programm 43 kann gemäß einer Anforderung der Informationsverarbeitungsvorrichtung 20 auf der Informationsverarbeitungsvorrichtung 20 heruntergeladen werden und auf dieser installiert werden. In diesem Fall wird die Kombinationsverarbeitung durch den Computer gemäß dem installierten Programm 43 ausgeführt.
Bei der oben beschriebenen ersten und zweiten Ausführungsform kann, obwohl die Kombinationsverarbeitung in der Informationsverarbeitungsvorrichtung 20 ausgeführt wird, eine Konfiguration vorgenommen werden, bei der die Kombinationsverarbeitung in dem sich bewegenden Objekt 10, 10A ausgeführt werden kann.
Als eine Hardware-Ressource zum Ausführen der oben beschriebenen Kombinationsverarbeitung können verschiedene Prozessoren verwendet werden, die unten beschrieben sind. Beispiele der Prozessoren umfassen eine CPU, die ein Allzweckprozessor ist, der so konfiguriert ist, dass er Software, das heißt das Programm 43, ausführt, um als die Hardware-Ressource zum Ausführen der Kombinationsverarbeitung, wie oben beschrieben, zu fungieren. Beispiele der Prozessoren umfassen eine dedizierte elektrische Schaltung, die ein Prozessor ist, wie zum Beispiel ein FPGA, ein PLD oder ein ASIC, die eine Schaltungskonfiguration aufweisen, die dediziert zum Ausführen von spezifischer Verarbeitung entworfen ist. Ein beliebiger Prozessor weist einen eingebauten oder damit verbundenen Speicher auf, und ein beliebiger Prozessor verwendet den Speicher, um die Kombinationsverarbeitung auszuführen.
Die Hardware-Ressource zum Ausführen der Kombinationsverarbeitung kann mit einem von verschiedenen Prozessoren konfiguriert sein oder mit einer Kombination aus zwei oder mehr Prozessoren (zum Beispiel einer Kombination aus mehreren FPGAs oder einer Kombination aus einer CPU und einem FPGA) desselben Typs oder verschiedener Typen konfiguriert sein. Die Hardware-Ressource zum Ausführen der Kombinationsverarbeitung kann ein Prozessor sein.
Als ein Beispiel, bei dem die Hardware-Ressource mit einem Prozessor konfiguriert ist, gibt es erstens, wie durch einen Computer, wie beispielsweise einen Client und einen Server, dargestellt, eine Form, bei der ein Prozessor mit einer Kombination aus einer oder mehreren CPUs und Software konfiguriert ist und der Prozessor als die Hardware-Ressource zum Ausführen der Kombinationsverarbeitung fungiert. Zweitens gibt es, wie durch ein SoC oder dergleichen dargestellt, eine Form, bei der ein Prozessor verwendet wird, der die Funktionen des gesamten Systems einschließlich mehrerer Hardware-Ressourcen zum Ausführen der Kombinationsverarbeitung in einem IC-Chip realisiert. Auf diese Weise wird die Kombinationsverarbeitung unter Verwendung eines oder mehrerer Prozessoren unter verschiedenen oben beschriebenen Prozessoren als der Hardware-Ressource realisiert.
Als die Hardwarestrukturen verschiedener Prozessoren kann weiter insbesondere eine elektrische Schaltung verwendet werden, in der Schaltungselemente, wie beispielsweise Halbleiterelemente, kombiniert sind.
Die oben beschriebene Kombinationsverarbeitung ist nur ein Beispiel. Dementsprechend versteht es sich von selbst, dass unnötige Schritte gestrichen werden können, neue Schritte hinzugefügt werden können oder eine Verarbeitungsreihenfolge geändert werden kann, ohne dass dies von dem Kern abweicht.
Der Inhalt der obigen Beschreibung und der Inhalt der Zeichnungen sind detaillierte Beschreibungen von Abschnitten gemäß der Technik der vorliegenden Offenbarung und sind nur Beispiele der Technik der vorliegenden Offenbarung. Zum Beispiel ist die obige Beschreibung in Bezug auf Konfigurationen, Funktionen, Betriebe und vorteilhafte Effekte eine Beschreibung in Bezug auf ein Beispiel von Konfigurationen, Funktionen, Betrieben und vorteilhaften Effekten der Abschnitte gemäß der Technik der vorliegenden Offenbarung. Es versteht sich somit von selbst, dass unnötige Abschnitte gestrichen werden können, neue Elemente hinzugefügt werden können oder der Inhalt der obigen Beschreibung und der Inhalt der Zeichnungen ersetzt werden können, ohne von dem Kern der Technik der vorliegenden Offenbarung abzuweichen. Des Weiteren wird, um Verwirrung zu vermeiden und Verständnis der Abschnitte gemäß der Technik der vorliegenden Offenbarung zu erleichtern, Beschreibung in Bezug auf allgemeines technisches Wissen und dergleichen, die keine besondere Beschreibung erfordern, um Implementierung der Technik der vorliegenden Offenbarung zu ermöglichen, von dem Inhalt der obigen Beschreibung und von dem Inhalt der Zeichnungen weggelassen.
Bei der Beschreibung ist „A und/oder B“ gleichbedeutend mit „mindestens eines von A und B“. Das heißt, „A und/oder B“ kann sich auf A allein, auf B allein oder auf eine Kombination von A und B beziehen. Des Weiteren gilt bei der Beschreibung ein ähnliches Konzept wie „A und/oder B“ für einen Fall, in dem drei oder mehr Sachverhalte durch Verknüpfen der Sachverhalte mit „und/oder“ ausgedrückt werden.
Alle zitierten Dokumente, Patentanmeldungen und technischen Normen, die bei der Beschreibung beschrieben sind, werden durch Bezugnahme bei der Beschreibung in demselben Umfang aufgenommen, wie in einem Fall, in dem jedes einzelne zitierte Dokument, jede einzelne Patentanmeldung oder jede einzelne technische Norm spezifisch und individuell angegeben wird, um durch Bezugnahme aufgenommen zu werden.
Die folgende Technik kann durch die obige Beschreibung festgestellt werden.
[Ergänzende Anmerkung 1]
Informationsverarbeitungsvorrichtung, die segmentierte Punktwolkendaten verarbeitet, die von einer Messvorrichtung ausgegeben wurden, die einen externen Sensor, der wiederholt einen umgebenden Raum abtastet, um die segmentierten Punktwolkendaten für jede Abtastung zu erfassen, und einen internen Sensor, der eine Ausrichtung detektiert, um Ausrichtungsdetektionsdaten zu erfassen, enthält, wobei die Informationsverarbeitungsvorrichtung umfasst:

mindestens einen Prozessor,
wobei der Prozessor so konfiguriert ist, dass er:
- kombinierte Punktwolkendaten durch Ausführen von Kombinationsverarbeitung unter Verwendung mehrerer der segmentierten Punktwolkendaten, die in einem Zeitraum erfasst wurden, während dem die Ausrichtungsdetektionsdaten eine zulässige Bedingung erfüllen, unter mehreren der bei verschiedenen Erfassungszeiten von dem externen Sensor erfassten segmentierten Punktwolkendaten erzeugt.

[Ergänzende Anmerkung 2]
Informationsverarbeitungsvorrichtung nach ergänzender Anmerkung 1,

wobei der interne Sensor ein Trägheitsmesssensor ist, der mindestens einen von einem Beschleunigungssensor und einem Winkelgeschwindigkeitssensor aufweist, und
die Ausrichtungsdetektionsdaten einen Ausgabewert des Beschleunigungssensors oder des Winkelgeschwindigkeitssensors enthalten.

[Ergänzende Anmerkung 3]
Informationsverarbeitungsvorrichtung nach ergänzender Anmerkung 2,
wobei die zulässige Bedingung darin besteht, dass ein Absolutwert des Ausgabewerts des Beschleunigungssensors oder des Winkelgeschwindigkeitssensors kleiner als ein erster Schwellenwert ist.
[Ergänzende Anmerkung 4]
Informationsverarbeitungsvorrichtung nach ergänzender Anmerkung 2,
wobei die zulässige Bedingung darin besteht, dass ein zeitlicher Änderungsbetrag des Ausgabewerts des Beschleunigungssensors oder des Winkelgeschwindigkeitssensors kleiner als ein zweiter Schwellenwert ist.
[Ergänzende Anmerkung 5]
Informationsverarbeitungsvorrichtung nach einer der ergänzenden Anmerkungen 1 bis 4,
wobei der externe Sensor einen ersten Sensor, der erste segmentierte Punktwolkendaten durch Abtasten eines Raums mit Laserlicht erfasst, und einen zweiten Sensor, der zweite segmentierte Punktwolkendaten basierend auf mehreren Kamerabildern erfasst, enthält, und
die segmentierten Punktwolkendaten die ersten segmentierten Punktwolkendaten und die zweiten segmentierten Punktwolkendaten enthalten.
[Ergänzende Anmerkung 6]
Informationsverarbeitungsvorrichtung nach ergänzender Anmerkung 5,
wobei der Prozessor so konfiguriert ist, dass er:

kombinierte segmentierte Punktwolkendaten durch Kombinieren der ersten segmentierten Punktwolkendaten und der zweiten segmentierten Punktwolkendaten erzeugt und die kombinierten Punktwolkendaten durch Kombinieren mehrerer der erzeugten kombinierten segmentierten Punktwolkendaten erzeugt.

[Ergänzende Anmerkung 7]
Informationsverarbeitungsvorrichtung nach ergänzender Anmerkung 6,
wobei der Prozessor so konfiguriert ist, dass er:

die kombinierten segmentierten Punktwolkendaten durch teilweises Auswählen von Daten aus jeweils den ersten segmentierten Punktwolkendaten und den zweiten segmentierten Punktwolkendaten basierend auf einem Merkmal eines Baus, der in mindestens einem Kamerabild unter den mehreren Kamerabildern gezeigt wurde, erzeugt.

[Ergänzende Anmerkung 8]
Informationsverarbeitungsvorrichtung nach einer der ergänzenden Anmerkungen 1 bis 7,
wobei die Messvorrichtung in einem unbemannten sich bewegenden Objekt vorgesehen ist.
[Ergänzende Anmerkung 9]
Informationsverarbeitungsverfahren, das segmentierte Punktwolkendaten verarbeitet, die von einer Messvorrichtung ausgegeben wurden, die einen externen Sensor, der wiederholt einen umgebenden Raum abtastet, um die segmentierten Punktwolkendaten für jede Abtastung zu erfassen, und einen internen Sensor, der eine Ausrichtung detektiert, um Ausrichtungsdetektionsdaten zu erfassen, enthält, wobei das Informationsverarbeitungsverfahren umfasst:

Erzeugen von kombinierten Punktwolkendaten durch Ausführen von Kombinationsverarbeitung unter Verwendung mehrerer der segmentierten Punktwolkendaten, die in einem Zeitraum erfasst wurden, während dem die Ausrichtungsdetektionsdaten eine zulässige Bedingung erfüllen, unter mehreren der bei verschiedenen Erfassungszeiten von dem externen Sensor erfassten segmentierten Punktwolkendaten.

[Ergänzende Anmerkung 10]
Programm, das einen Computer dazu veranlasst, Verarbeitung an segmentierten Punktwolkendaten auszuführen, die von einer Messvorrichtung ausgegeben wurden, die einen externen Sensor, der wiederholt einen umgebenden Raum abtastet, um die segmentierten Punktwolkendaten für jede Abtastung zu erfassen, und einen internen Sensor, der eine Ausrichtung detektiert, um Ausrichtungsdetektionsdaten zu erfassen, enthält, wobei das Programm den Computer dazu veranlasst, auszuführen:

Kombinationsverarbeitung des Erzeugens von kombinierten Punktwolkendaten unter Verwendung mehrerer der segmentierten Punktwolkendaten, die in einem Zeitraum erfasst wurden, während dem die Ausrichtungsdetektionsdaten eine zulässige Bedingung erfüllen, unter mehreren der bei verschiedenen Erfassungszeiten von dem externen Sensor erfassten segmentierten Punktwolkendaten.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2016189184 A [0003, 0004]

Claims

Informationsverarbeitungsvorrichtung, die segmentierte Punktwolkendaten verarbeitet, die von einer Messvorrichtung ausgegeben wurden, die einen externen Sensor, der wiederholt einen umgebenden Raum abtastet, um die segmentierten Punktwolkendaten für jede Abtastung zu erfassen, und einen internen Sensor, der eine Ausrichtung detektiert, um Ausrichtungsdetektionsdaten zu erfassen, enthält, wobei die Informationsverarbeitungsvorrichtung umfasst: mindestens einen Prozessor, wobei der Prozessor so konfiguriert ist, dass er: kombinierte Punktwolkendaten durch Ausführen von Kombinationsverarbeitung unter Verwendung mehrerer der segmentierten Punktwolkendaten, die in einem Zeitraum erfasst wurden, während dem die Ausrichtungsdetektionsdaten eine zulässige Bedingung erfüllen, unter mehreren der bei verschiedenen Erfassungszeiten von dem externen Sensor erfassten segmentierten Punktwolkendaten erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei der interne Sensor ein Trägheitsmesssensor ist, der mindestens einen von einem Beschleunigungssensor und einem Winkelgeschwindigkeitssensor aufweist, und die Ausrichtungsdetektionsdaten einen Ausgabewert des Beschleunigungssensors oder des Winkelgeschwindigkeitssensors enthalten.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die zulässige Bedingung darin besteht, dass ein Absolutwert des Ausgabewerts des Beschleunigungssensors oder des Winkelgeschwindigkeitssensors kleiner als ein erster Schwellenwert ist.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die zulässige Bedingung darin besteht, dass ein zeitlicher Änderungsbetrag des Ausgabewerts des Beschleunigungssensors oder des Winkelgeschwindigkeitssensors kleiner als ein zweiter Schwellenwert ist.
Informationsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei der externe Sensor einen ersten Sensor, der erste segmentierte Punktwolkendaten durch Abtasten eines Raums mit Laserlicht erfasst, und einen zweiten Sensor, der zweite segmentierte Punktwolkendaten basierend auf mehreren Kamerabildern erfasst, enthält, und die segmentierten Punktwolkendaten die ersten segmentierten Punktwolkendaten und die zweiten segmentierten Punktwolkendaten enthalten.
Informationsverarbeitungsvorrichtung nach Anspruch 5, wobei der Prozessor so konfiguriert ist, dass er: kombinierte segmentierte Punktwolkendaten durch Kombinieren der ersten segmentierten Punktwolkendaten und der zweiten segmentierten Punktwolkendaten erzeugt und die kombinierten Punktwolkendaten durch Kombinieren mehrerer der erzeugten kombinierten segmentierten Punktwolkendaten erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei der Prozessor so konfiguriert ist, dass er: die kombinierten segmentierten Punktwolkendaten durch teilweises Auswählen von Daten aus jeweils den ersten segmentierten Punktwolkendaten und den zweiten segmentierten Punktwolkendaten basierend auf einem Merkmal eines Baus, der in mindestens einem Kamerabild unter den mehreren Kamerabildern gezeigt wurde, erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Messvorrichtung in einem unbemannten sich bewegenden Objekt vorgesehen ist.
Informationsverarbeitungsverfahren, das segmentierte Punktwolkendaten verarbeitet, die von einer Messvorrichtung ausgegeben wurden, die einen externen Sensor, der wiederholt einen umgebenden Raum abtastet, um die segmentierten Punktwolkendaten für jede Abtastung zu erfassen, und einen internen Sensor, der eine Ausrichtung detektiert, um Ausrichtungsdetektionsdaten zu erfassen, enthält, wobei das Informationsverarbeitungsverfahren umfasst: Erzeugen von kombinierten Punktwolkendaten durch Ausführen von Kombinationsverarbeitung unter Verwendung mehrerer der segmentierten Punktwolkendaten, die in einem Zeitraum erfasst wurden, während dem die Ausrichtungsdetektionsdaten eine zulässige Bedingung erfüllen, unter mehreren der bei verschiedenen Erfassungszeiten von dem externen Sensor erfassten segmentierten Punktwolkendaten.
Programm, das einen Computer dazu veranlasst, Verarbeitung an segmentierten Punktwolkendaten auszuführen, die von einer Messvorrichtung ausgegeben wurden, die einen externen Sensor, der wiederholt einen umgebenden Raum abtastet, um die segmentierten Punktwolkendaten für jede Abtastung zu erfassen, und einen internen Sensor, der eine Ausrichtung detektiert, um Ausrichtungsdetektionsdaten zu erfassen, enthält, wobei das Programm den Computer dazu veranlasst, auszuführen: Kombinationsverarbeitung des Erzeugens von kombinierten Punktwolkendaten unter Verwendung mehrerer der segmentierten Punktwolkendaten, die in einem Zeitraum erfasst wurden, während dem die Ausrichtungsdetektionsdaten eine zulässige Bedingung erfüllen, unter mehreren der bei verschiedenen Erfassungszeiten von dem externen Sensor erfassten segmentierten Punktwolkendaten.