DE112017006794T5

DE112017006794T5 - Bilddatenbank-bildungsvorrichtung, orts- und neigungsschätzvorrichtung und bilddatenbank-bildungsverfahren

Info

Publication number: DE112017006794T5
Application number: DE112017006794.4T
Authority: DE
Inventors: Ken Miyamoto
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-02-16
Filing date: 2017-02-16
Publication date: 2019-10-10
Also published as: CN110268438A; JP6580286B2; JPWO2018150515A1; CN110268438B; WO2018150515A1; US20190362517A1

Abstract

Eine Bereichserfassungseinheit (1) erfasst, zu welchem Bereich aus mehreren Bereichen ein fotografiertes Bild gehört. Eine Sensorinformations-Erwerbseinheit (2) erwirbt das fotografierte Bild und Abstandsinformationen. Eine Ortsbeziehungs-Berechnungseinheit (3) berechnet den Erwerbsort und die Neigung jedes fotografierten Bilds auf der Grundlage des fotografierten Bilds und der von der Sensorinformations-Erwerbseinheit (2) erworbenen Abstandsinformationen. Eine Bilddatenbank-Erzeugungseinheit (4) erzeugt eine Bilddatenbank (5) durch Assoziieren des fotografierenden Orts und der Neigung des fotografierten Bilds und des fotografierten Bilds als Bildinformationen und Gruppieren der Bildinformationen von zu demselben Bereich gehörenden Bildern.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Bilddatenbank-Bildungsvorrichtung zum Erzeugen einer Bilddatenbank zum Schätzen des Orts eines Innenendgeräts, eine Orts- und Neigungsschätzvorrichtung zum Schätzen des Orts des Endgeräts unter Verwendung der Bilddatenbank, und ein Bilddatenbank-Bildungsverfahren.
STAND DER TECHNIK
Beispielsweise in einem Fall der Entwicklung einer Anwendung unter Verwendung von erweiterter Realität (AR), bei der zusätzliche Informationen angezeigt werden, während sie einem spezifischen Objekt überlagert sind, sind reine Ortsinformationen des Endgeräts unzureichend, und Informationen über die Neigung des Endgeräts sind erforderlich. Darüberhinaus ist es bei einer derartigen Anwendung erforderlich, einen genauen Ort als die Ortsinformationen des Endgeräts zu schätzen.
Im Stand der Technik gibt es als ein Verfahren zum Erhalten eines genauen Orts und einer Neigung eines Endgeräts ein Verfahren der Verwendung von vorher registrierten Bildern (siehe beispielsweise Nichtpatentdokument 1). Dies verknüpft alle Innenbilder und Orts- und Neigungsinformationen, um Bilddaten zu erhalten und diese Bilddaten zu akkumulieren, um eine Datenbank zu errichten. Wenn der Ort des Endgeräts zu schätzen ist, wird ein von dem Endgeräteort fotografiertes Bild mit allen Bildern in der Datenbank verglichen, wodurch das ähnlichste Bild gesucht wird, und der Ort und die Neigung des Bilds werden ausgegeben.
ZITIERUNGSLISTE
NICHTPATENTLITERATUR
Nichtpatentdokument 1: Esra Ataer-Cansizoglu, Yuichi Taguchi, Srikumar Ramlingam und Yohei Miki: Calibration of Non-Overlapping Cameras Using an External SLAM System, Image Processing (ICIP), 2016 IEEE International Conference, 25.-28. September 2016.
KURZFASSUNG DER ERFINDUNG
TECHNISCHES PROBLEM
Jedoch besteht bei dem Verfahren des Schätzens des Orts und der Neigung nach dem Stand der Technik ein Nachteil wie der folgende, da der Vergleich mit einem dem fotografierten Bild ähnlichen Bild für alle Innenbilder durchgeführt wird. Das heißt, als ein erster Nachteil wird die Echtzeiteigenschaft verschlechtert. Dies folgt daraus, dass, wenn die Anzahl von in der Datenbank gespeicherten Bilddatenstücke zunimmt, die Berechnungskosten steigen, wodurch die Echtzeiteigenschaft verschlechtert wird. Als ein zweiter Nachteil ist es schwierig, die gleichen Szenen zu unterscheiden. Beispielsweise besteht die Möglichkeit, dass ein inkorrektes Vergleichsergebnis in einem Fall erhalten wird, in welchem ähnliche Szenen an verschiedenen Orten in der Datenbank gespeichert sind, das heißt Bilddaten, in denen die Formen von Subjekten ähnlich sind, obgleich sie sie in der Datenbank als an verschiedenen Orten gespeichert sind.
Es ist zu beachten, dass es als ein Mittel zum Erhalten des Orts des Endgeräts auch denkbar ist, ein Satellitenpositionsbestimmungssystem wie das globale Positionsbestimmungssystem (GPS) zu verwenden. Jedoch ist eine Innenpositionierung bei Verwendung eines derartigen Satellitenpositionsbestimmungssystems schwierig, und die Positionsbestimmungsgenauigkeit zum Erhalten des genauen Orts des Endgeräts ist unzureichend. Daher ist die Anwendung bei einer Vorrichtung zum Schätzen des Innenorts und der Neigung schwierig. Insbesondere in einem Fall, in welchem ähnliche Bilddatenstücke für mehrere Stockwerke wie in einem Gebäude existieren, können, da die Positionsbestimmungsgenauigkeit in der Höhenrichtung bei einem ein Satellitenpositionsbestimmungssystem verwendeten Verfahren unzureichend ist, genaue Vergleichsergebnisse nicht erhalten werden, und somit ist es auch unter diesen Gesichtspunkt schwierig, den Ort und die Neigung des Innenendgeräts unter Verwendung eines Satellitenpositionsbestimmungssystems zu schätzen.
Die vorliegende Erfindung wurde gemacht, um derartige Nachteile zu vermeiden, und es ist eine Aufgabe, eine Bilddatenbank-Bildungsvorrichtung und ein Bilddatenbank-Bildungsverfahren anzugeben, die in der Lage sind, die Echtzeiteigenschaft zu verbessern und ein genaues Schätzergebnis für den Ort und die Neigung zu liefern.
LÖSUNG DES PROBLEMS
Eine Bilddatenbank-Bildungsvorrichtung nach der vorliegenden Erfindung enthält: eine Bereichserfassungseinheit zum Erfassen, zu welchem Bereich aus mehreren Bereichen ein fotografiertes Bild gehört, eine Informationserwerbseinheit zum Erwerben von Abstandsinformationen, die einen Abstand zwischen einem fotografierten Objekt eines fotografierten Bilds und einem Erwerbsort des fotografierten Bilds anzeigt; eine Berechnungseinheit zum Berechnen eines fotografierenden Orts und einer Neigung des fotografierten Bilds auf der Grundlage der Abstandsinformationen; und eine Bilddatenbank-Erzeugungseinheit zum Erzeugen einer Bilddatenbank, in der fotografierende Ort und die Neigung des fotografierten Bilds und das fotografierte Bild als Bildinformationen assoziiert sind, wobei die Bilddatenbank-Erzeugungseinheit die Bilddatenbank durch Gruppieren von Bildinformationen von zu demselben Bereich gehörenden Bildern erzeugt.
Zusätzlich enthält eine Orts- und Neigungsbestimmungsvorrichtung nach der vorliegenden Erfindung: eine Bilddatenbank zum Speichern von Bildinformationen, in denen Bilder, die jeweils Informationen über einen fotografierenden Ort und eine Neigung haben, durch mehrere Bereiche gruppiert sind; eine Bereichserfassungseinheit zum Erfassen, zu welchem Bereich aus den mehreren Bereichen ein Bild gehört; eine Bilderwerbseinheit zum Erwerben eines Bilds eines fotografierten Objekts; eine Datenbank-Vergleichseinheit zum Vergleichen des von der Bilderwerbseinheit erworbenen Bilds mit nur solchen Bildern, die zu demselben Bereich gehören, der durch die Bereichserfassungseinheit aus den in der Bilddatenbank gespeicherten Bildern erfasst wurde; und eine Orts- und Neigungsschätzeinheit zum Ausgaben, als ein Schätzergebnis, eines Orts und einer Neigung eines Bilds als ein Ergebnis des Vergleichs in der Datenbank-Vergleichseinheit.
VORTEILHAFTE WIRKUNGEN DER ERFINDUNG
Eine Bilddatenbank-Bildungsvorrichtung nach der vorliegenden Erfindung assoziiert ein fotografiertes Bild, den Erwerbsort und die Neigung des fotografierten Bilds und Bereichsinformationen und erzeugt eine Bilddatenbank durch Verwendung der assoziierten Bildinformationen. Als eine Folge ist es möglich, die Bilddatenbank zu erhalten, die in der Lage ist, die Echtzeiteigenschaft für die Schätzung des Orts und der Neigung eines Bilds zu verbessern und ein genaues Schätzergebnis des Orts und der Neigung zu liefern.
Darüberhinaus vergleicht eine Orts- und Neigungsschätzvorrichtung nach der vorliegenden Erfindung nur mit Bildern, die zu demselben Bereich gehören wie der Bereich, der von einer Bereichserfassungseinheit aus den in der Bilddatenbank gespeicherten Bildern erfasst wurde. Als eine Folge kann die Echtzeiteigenschaft verbessert werden, und ein genaues Schätzergebnis für den Ort und die Neigung kann erhalten werden.
Figurenliste

1 ist eine Konfigurationsdiagramm einer Bilddatenbank-Bildungsvorrichtung nach einem ersten Ausführungsbeispiel der vorliegenden Erfindung.
2 ist ein Hardware-Konfigurationsdiagramm der Bilddatenbank-Bildungsvorrichtung nach dem ersten Ausführungsbeispiel der vorliegenden Erfindung.
3 ist ein erläuterndes Diagramm von Räumen, bei denen die Bilddatenbank-Bildungsvorrichtung nach dem ersten Ausführungsbeispiel der vorliegenden Erfindung angewendet wird.
4 ist ein Flussdiagramm, das die Arbeitsweise der Bilddatenbank-Bildungsvorrichtung nach dem ersten Ausführungsbeispiel der vorliegenden Erfindung illustriert.
5 ist ein erläuterndes Diagramm, das ein Beispiel für eine Bilddatenbank, die in der Bilddatenbank-Bildungsvorrichtung nach dem ersten Ausführungsbeispiel der vorliegenden Erfindung erzeugt wurde, illustriert.
6 ist ein erläuterndes Diagramm einer herkömmlichen Bilddatenbank.
7 ist ein Konfigurationsdiagramm einer Orts- und Neigungsschätzvorrichtung nach dem ersten Ausführungsbeispiel der vorliegenden Erfindung.
8 ist ein Hardware-Konfigurationsdiagramm der Orts- und Neigungsschätzvorrichtung nach dem ersten Ausführungsbeispiel der vorliegenden Erfindung.
9 ist ein Flussdiagramm, das die Arbeitsweise der Orts- und Neigungsschätzvorrichtung nach dem ersten Ausführungsbeispiel der Erfindung illustriert.
10 ist ein Konfigurationsdiagramm einer Bilddatenbank-Schätzvorrichtung nach einem zweiten Ausführungsbeispiel der vorliegenden Erfindung.
11 ist ein Hardware-Konfigurationsdiagramm der Bilddatenbank-Bildungsvorrichtung nach dem zweiten Ausführungsbeispiel der vorliegenden Erfindung.
12 ist ein erläuterndes Diagramm von Räumen, bei denen die Bilddatenbank-Bildungsvorrichtung nach dem zweiten Ausführungsbeispiel der vorliegenden Erfindung angewendet wird.
13 ist ein Flussdiagramm, das die Arbeitsweise der Bilddatenbank-Bildungsvorrichtung nach dem zweiten Ausführungsbeispiel der vorliegenden Erfindung illustriert.
14 ist ein erläuterndes Diagramm, das ein Beispiel für eine in der Bilddatenbank-Bildungsvorrichtung nach dem zweiten Ausführungsbeispiel der vorliegenden Erfindung erzeugte Bilddatenbank illustriert.
15 ist ein Konfigurationsdiagramm einer Orts- und Neigungsschätzvorrichtung nach dem zweiten Ausführungsbeispiel der vorliegenden Erfindung.
16 ist ein Hardware-Konfigurationsdiagramm der Orts- und Neigungsschätzvorrichtung nach dem zweiten Ausführungsbeispiel der vorliegenden Erfindung.
17 ist ein Flussdiagramm, das die Arbeitsweise der Orts- und Neigungsschätzvorrichtung nach dem zweiten Ausführungsbeispiel der Erfindung illustriert.

BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Um die Erfindung weiterhin im Einzelnen zu beschreiben, werden Ausführungsbeispiele zum Ausführen der Erfindung nachfolgend mit Bezug auf die begleitenden Zeichnungen beschrieben.
Erstes Ausführungsbeispiel
1 ist ein Konfigurationsdiagramm einer Bilddatenbank-Bildungsvorrichtung nach dem ersten Ausführungsbeispiel.
Die illustrierte Bilddatenbank-Bildungsvorrichtung enthält eine Bereichserfassungseinheit 1, eine Sensorinformations-Erwerbseinheit 2, eine Ortsbeziehungs-Berechnungseinheit 3 und eine Bilddatenbank-Erzeugungseinheit 4. Die Bereichserfassungseinheit 1 ist eine Verarbeitungseinheit, die als Bereichsinformationen erfasst, in welchem Bereich aus mehreren Innenbereichen der Ort sich befindet. Die Sensorinformations-Erwerbseinheit 2 enthält eine Bilderwerbseinheit 2a und eine Abstandsmesseinheit 2b. Die Bilderwerbseinheit 2a ist eine Vorrichtung zum Erwerben eines Innenbilds, und die Abstandsmesseinheit 2b ist eine Verarbeitungseinheit zum Messen von Abstandsinformationen, die einen Abstand zwischen einem fotografierten Objekt in einem fotografierten Bild und dem Erwerbsort des fotografierten Bilds anzeigen. Die Ortsbeziehungs-Berechnungseinheit 3 berechnet den Erwerbsort und die Neigung jedes fotografierten Bilds auf der Grundlage des fotografierten Bilds und der durch die Sensorinformations-Erwerbseinheit 2 erworbenen Abstandsinformationen. Die Bilddatenbank-Erzeugungseinheit 4 ist eine Verarbeitungseinheit zum Assoziieren des Erwerbsorts und der Neigung des fotografierten Bilds, die von der Ortsbeziehungs-Berechnungseinheit 3 berechnet wurden, des durch die Sensorinformations-Erwerbseinheit 2 erworbenen fotografierten Bilds und der durch die Bereichserfassungseinheit 1 erfassten Bereichsinformationen, um Bildinformationen zu erhalten und zum Erzeugen einer Bilddatenbank 5 durch Verwendung der Bildinformationen.
2 ist ein Hardware-Konfigurationsdiagramm der in 1 illustrierten Bilddatenbank-Bildungsvorrichtung. In 2 enthält die Bilddatenbank-Bildungsvorrichtung 100 einen Funkfrequenzidentifikations-Empfänger (RFID-Empfänger, RFID = radio frequency identification) 101, eine Kamera 102, einen Abstandssensor 103 und einen Computer 104. Der RFID-Empfänger 101 kommuniziert mit RFID-Etiketten 105, die für jeden der mehreren Innenbereiche vorgesehen sind, und erfasst, welches RFID-Etikett 105 erkannt wurde. Die Kamera 102 ist eine Vorrichtung zum Erwerben eines Farbbilds. Der Abstandssensor 103 ist eine Vorrichtung zum Erwerben eines Abstandsbilds (eines Bilds, das durch Abbilden des Abstands entsprechend jedem Pixel erhalten wurde). Der Computer 104 ist eine Vorrichtung zum Erwerben von Daten von dem RFID-Empfänger 101, der Kamera 102 und dem Abstandssensor 103 und zum Erzeugen der Bilddatenbank 5 von 1 auf der Grundlage dieser Datenstücke, und enthält beispielsweise einen Personalcomputer oder ein Smartphone.
Der RFID-Empfänger in 2 implementiert die Bereichserfassungseinheit 1 in 1, die Kamera 102 implementiert die Bilderwerbseinheit 2a und der Abstandssensor 103 implementiert die Abstandsmesseinheit 2b. Der Computer 104 implementiert die Funktionen der Ortsbeziehungs-Berechnungseinheit 3 und der Bilddatenbank-Erzeugungseinheit 4. Diese Funktionen werden durch einen Prozessor des Computers 104 implementiert, der Software entsprechend der Ortsbeziehungs-Berechnungseinheit 3 und der Bilddatenbank-Erzeugungseinheit 4 ausführt.
In dem Fall, in welchem die Bilddatenbank-Bildungsvorrichtung in 1 wie in 2 illustriert konfiguriert ist, haben die Bereichserfassungseinheit 1 bis zu der Bilddatenbank-Erzeugungseinheit 4 in 1 die folgenden Funktionen. Die Bereichserfassungseinheit 1 kommuniziert mit einem RFID-Etikett 105, um ein Attribut hiervon zu erkennen (wie in welchem Bereich befindlich). Die Sensorinformations-Erwerbseinheit 2 erwirbt Paare aus mehreren Farbbildern und Abstandsinformationen entsprechend diesen Farbbildern. Die Ortsbeziehungs-Berechnungseinheit 3 kombiniert die durch die Sensorinformations-Erwerbseinheit 2 erworbenen Informationen, um dreidimensionale Punktgruppendaten zu bilden, und schätzt den Erwerbsort und die Neigung jedes der Paare aus einem Farbbild und den Abstandsinformationen. Die Bilddatenbank-Erzeugungseinheit 4 assoziiert als Bildinformationen den Erwerbsort und die Neigung des fotografierten Bilds, die von der Ortsbeziehungs-Berechnungseinheit 3 geschätzt wurden, das fotografierte Bild und die Bereichsinformationen und erzeugt die Bilddatenbank 5 durch Verwendung der Bildinformationen.
Als nächstes wird die Arbeitsweise der Bilddatenbank-Bildungsvorrichtung nach dem ersten Ausführungsbeispiel beschrieben.
3 ist ein Diagramm, das zwei Räume illustriert, wenn sie von oben betrachtet werden. Jeder der Räume (Raum 1 und Raum 2) entspricht jedem Bereich, und ein erstes RFID-Etikett 105a und ein zweites RFID-Etikett 105b sind nahe des Eingangs jedes der Räume angeordnet. Die Arbeitsweise des Konfigurierens einer Bilddatenbank für zwei derartige Räume wird mit Bezug auf ein Flussdiagramm in 4 beschrieben.
Zuerst erfolgt eine Beschreibung unter der Annahme, dass Daten des Raums 1 in 3, wie durch eine gestrichelte Linie 110 angezeigt, erworben wurden. Die Bereichserfassungseinheit 1 erkennt das erste RFID-Etikett 105a (Bereichserfassungsschritt: Schritt ST1). Dann erwirbt die Bilderwerbseinheit 2a der Sensorinformations-Erwerbseinheit 2 Farbbilder des Orts 1 (Informationserwerbsschritt: Schritt ST2), und die Abstandsmesseinheit 2b erwirbt Abstandsbilder (Informationserwerbsschritt: Schritt ST3). Als nächstes verbindet die Ortsbeziehungs-Berechnungseinheit 3 die von der Sensorinformations-Erwerbseinheit 2 erworbenen Daten und berechnet den Ort und die Neigung der Vorrichtung zum Erwerben der Farbbilder und Messen der Abstandsbilder (Berechnungsschritt: Schritt ST4). Ein Beispiel für den Ort und die Neigung, die hier erhalten werden, ist ein Wert mit Bezug auf den Ort und die Neigung zu der Startzeit der Messung. Als ein Beispiel für ein Verfahren des Verbindens von Paaren aus Farbbildern und Abstandsinformationen gibt es ein Verfahren, das Punkte verwendet, die charakteristisch für die Bilder sind (beispielsweise ein Verfahren, das beschrieben ist in: Taguchi, Y., Jian, Y.-D., Ramlingam, S.: Point-Plane SLAM for Hand-Held 3D Sensors, Robotics and Automation (ICRA), 2014 IEEE International Conference, 6.-10. Mai 2013). Nach dem die Verarbeitung der Schritte ST2 bis ST4 bei einem Raum durchgeführt wurde, ist die Messung beendet (Schritt ST5: JA). Die Ortsbeziehungs-Berechnungseinheit 3 verfeinert weiterhin den Ort und die Neigung des Sensors unter Verwendung einer Bündeleinstellung und dergleichen (Schritt ST6). Danach wird bestimmt, ob die Messung bei allen Räumen beendet ist (Schritt ST7), und wenn sie nicht beendet ist, geht der Fluss zum Schritt ST1 zurück, um die vorstehende Verarbeitung zu wiederholen. Wenn die Messung für alle Räume beendet wurde, ist die Operation des Konfigurierens der Bilddatenbank beendet. In diesem Fall wird, da die Messung des Raums 2 noch nicht durchgeführt wurde, „NEIN“ im Schritt ST7 erhalten, und ein Farbbild und Abstandsinformationen werden an jedem Ort erworben, wie durch eine gestrichelte Linie 111 in 3 angezeigt ist, um die Verarbeitung der Schritte ST2 bis ST6 durchzuführen.
Wenn die Messung für den Raum 1 und den Raum 2 durch ein derartiges Verfahren durchgeführt ist, wird eine in 5 illustrierte Datenbank durch die Bilddatenbank-Erzeugungseinheit 4 erzeugt (Bilddatenbank-Erzeugungsschritt). Wie in 5 illustriert ist, werden Paare aus einem Bild, und Abstandsinformationen / dem Ort und der Neigung für jede RFID registriert. Eine Datenbank nach dem Stand der Technik ist zum Vergleich in 6 illustriert. Im Vergleich mit der Datenbank in 6 werden in der Datenbank durch die Bilddatenbank-Bildungsvorrichtung nach dem vorliegenden Ausführungsbeispiel Bilder für jede RFID gruppiert.
Als nächstes wird eine Orts- und Neigungsschätzvorrichtung nach dem ersten Ausführungsbeispiel beschrieben.
7 ist ein Konfigurationsdiagramm einer Orts- und Neigungsschätzvorrichtung. Die Orts- und Neigungsschätzvorrichtung nach dem vorliegenden Ausführungsbeispiel enthält eine Bereichserfassungseinheit 1, eine Bildererwerbseinheit 2a, eine Datenbank-Vergleichseinheit 11 und eine Orts- und Neigungsschätzeinheit 12. Die Bereichserfassungseinheit 1 und die Bilderwerbseinheit 2a sind ähnlich der Bereichserfassungseinheit 1 und der Bilderwerbseinheit 2a in der Bilddatenbank-Bildungsvorrichtung; jedoch sind sie in einem Endgerät enthalten, um ein Schätzziel durch die Orts- und Neigungsschätzvorrichtung zu sein. Die Datenbank-Vergleichseinheit 11 ist eine Verarbeitungseinheit zum Vergleichen des durch die Bilderwerbseinheit 2a erworbenen Bilds mit nur Bildern, die dieselben Bereichsinformationen wie die von der Bereichserfassungseinheit 1 aus den in der Bilddatenbank 5 gespeicherten Bildern erfassten Bereichsinformationen haben und eines der Bilder spezifizieren. Die Orts- und Neigungsschätzeinheit 12 ist eine Verarbeitungseinheit zum Ausgeben des Orts und der Neigung des Bilds, das durch die Datenbank-Vergleichseinheit 11 als ein Schätzergebnis spezifiziert ist. Die Bilddatenbank 5 wird durch die Bilddatenbank-Bildungsvorrichtung erzeugt.
8 ist ein Hardware-Konfigurationsdiagramm der in 7 illustrierten Orts- und Neigungsschätzvorrichtung. In 8 enthält eine Orts- und Neigungsschätzvorrichtung 200 einen RFID-Empfänger 101, eine Kamera 102 und einen Computer 201. Der RFID-Empfänger 101 und die Kamera 102 sind ähnlich dem RFID-Empfänger 101 und der Kamera 102 in der Bilddatenbank-Bildungsvorrichtung 100. Der Computer 201 ist eine Vorrichtung zum Erwerben von Daten von dem RFID-Empfänger 101 und der Kamera 102 und zum Schätzen des Orts und der Neigung des Endgeräts auf der Grundlage dieser Datenstücke, und enthält beispielsweise einen Personalcomputer oder ein Smartphone.
Der RFID-Empfänger 101 in 8 implementiert die Bereichserfassungseinheit 1 in 7, und die Kamera 102 implementiert die Bilderwerbseinheit 2a. Der Computer 201 implementiert die Funktionen der Datenbank-Vergleichseinheit 11 und der Orts- und Neigungsschätzeinheit 12. Diese Funktionen werden durch einen Prozessor des Computers 201 implementiert, der Software entsprechend der Datenbank-Vergleichseinheit 11 und der Orts- und Neigungsschätzeinheit 12 ausführt.
In de Fall, in welchem die Orts- und Neigungsschätzvorrichtung in 7 wie in 8 illustriert konfiguriert ist, haben die Bereichserfassungseinheit 1 bis zu der Orts- und Neigungsschätzeinheit 12 in 7 die folgenden Funktionen. Die Bereichserfassungseinheit 1 kommuniziert mit einem RFID-Etikett 105, um ein Attribut hiervon zu erkennen (wie in welchem Bereich befindlich). Die Bilderwerbseinheit 2a erwirbt ein fotografiertes Farbbild von dem Endgeräteort. Die Datenbank-Vergleichseinheit 11 vergleicht mit der Bilddatenbank 5 auf der Grundlage des von der Bilderwerbseinheit 2a erworbenen Farbbilds und den von der Bereichserfassungseinheit 1 erfassten Bereichsinformationen, und die Orts- und Neigungsschätzeinheit 12 gibt als ein Schätzergebnis den Ort und die Neigung eines Bilds als ein Vergleichsergebnis in der Datenbank-Vergleichseinheit 11 aus.
Als nächstes wird die Arbeitsweise der Orts- und Neigungsschätzvorrichtung nach dem ersten Ausführungsbeispiel mit Bezug auf ein Flussdiagramm von 9 beschrieben.
Ein Benutzer bringt das RFID-Etikett 105 in Kontakt mit dem RFID-Empfänger 101, damit dieser das RFID-Etikett 105 liest (Schritt ST11), um Informationen über den Raum, in welchem sich das Endgerät befindet, einzugeben. Es ist zu beachten, dass diese Eingabe in den RFID-Empfänger 101 (Datenbank-Vergleichseinheit 11) manuell von dem Benutzer durchgeführt werden kann, oder Informationen des RFID-Etiketts 105 von dem RFID-Empfänger 101 können direkt zu dem RFID-Empfänger 101 (Datenbank-Vergleichseinheit 11) als Informationen über den Raum gegeben werden. Es ist zu beachten, dass in diesem Beispiel angenommen wird, dass das Endgerät in den Raum 1 des in 3 illustrierten ersten RFID-Etiketts 105a eingetreten ist. In einem derartigen Zustand vergleicht, wenn die Bilderwerbseinheit 2a Bilddaten im Raum 1 erwirbt (Schritt ST12) die Datenbank-Vergleichseinheit 11 mit den Daten in der Bilddatenbank 5 (Schritt ST13). In diesem Beispiel wird in der in 5 illustrierten Bilddatenbank ein Vergleich nur mit Bildern von RFID (1) durchgeführt. Dann wird aus den Farbbildern der RFID (1) ein Bild, das dem im Schritt ST12 erworbenen Bild am ähnlichsten ist, extrahiert. Als nächstes schätzt die Orts- und Neigungsschätzeinheit 12 den Ort und die Neigung des Endgeräts auf der Grundlage der Abstandsinformationen des Endgeräts + Ort t und Neigung R des Endgeräts, die an dem im Schritt ST13 extrahierten Bild angebracht sind (Schritt ST14).
Auf diese Weise wird gemäß der Orts- und Neigungsschätzvorrichtung nach dem ersten Ausführungsbeispiel als eine erste Wirkung die Berechnungszeit verkürzt. Bei dem vorliegenden Ausführungsbeispiel wird der Vergleich mit der Bilddatenbank 5 nur mit Bilddaten, die einem spezifizierten Bereich entsprechen, durchgeführt. Daher kann die Anzahl von zu vergleichenden Bildern im Vergleich zu dem Stand der Technik verringert werden. Beispielsweise wird in dem vorstehenden Beispiel der Vergleich nur mit den Bildern von RFID (1) und nicht Bildern von RFID (2) durchgeführt, und somit kann die Berechnungszeit verkürzt werden. Als eine zweite Wirkung kann die Unterscheidung von ähnlichen Szenen verbessert werden. Beispielsweise kann selbst in einem Fall, in welchem Raum 1 und Raum 2, die in 3 illustriert sind, das Innere von ähnlichen Mustern haben, da der Vergleich durchgeführt wird, während Raum 1 und Raum 2 unterschieden werden, der Endgeräteort genau geschätzt werden.
Es ist zu beachten, dass in der Bilddatenbank-Bildungsvorrichtung und der Orts- und Neigungsschätzvorrichtung die RFID als die Mittel zum Bestimmen der Bereiche wird; jedoch kann jedes Mittel, das in der Lage ist, die Bereiche eindeutig zu bestimmen, wie eine Bake, in gleicher Weise verwendet werden.
Wie vorstehend beschrieben ist, sind gemäß der Bilddatenbank-Bildungsvorrichtung nach dem ersten Ausführungsbeispiel enthalten: die Bereichserfassungseinheit zum Erfassen, zu welchem Bereich aus mehreren Bereichen ein fotografiertes Bild gehört; die Informationserwerbseinheit zum Erwerben von Abstandsinformationen, die einen Abstand zwischen einem fotografierten Objekt des fotografierten Bilds und einem Erwerbsort des fotografierten Bilds anzeigen; die Berechnungseinheit zum Berechnen eines fotografierenden Orts und einer Neigung des fotografierten Bilds auf der Grundlage der Abstandsinformationen; und die Bilddatenbank-Erzeugungseinheit zum Erzeugen einer Bilddatenbank, in der der fotografierende Ort und die Neigung des fotografierten Bilds und das fotografierte Bild als Bildinformationen assoziiert sind, die Bilddatenbank-Erzeugungseinheit die Bilddatenbank erzeugt durch Gruppieren von Bildinformationen von Bildern, die zu demselben Bereich gehören. Daher ist es möglich, die Bilddatenbank vorzusehen, die in der Lage ist, die Echtzeiteigenschaft für die Schätzung von Ort und Neigung eines Bilds zu verbessern und ein genaues Schätzergebnis des Orts und der Neigung bereitzustellen.
Darüberhinaus sind gemäß der Bilddatenbank-Bildungsvorrichtung nach dem ersten Ausführungsbeispiel die mehreren Bereiche mit den Bereichen, die von der Bereichserfassungseinheit eins zu eins erfasst werden, assoziiert, und somit können die Bereiche leicht und zuverlässig bestimmt werden.
Darüberhinaus erfasst gemäß der Bilddatenbank-Bildungsvorrichtung nach dem ersten Ausführungsbeispiel die Bereichserfassungseinheit einen Bereich unter Verwendung der RFID, und somit können die Bereiche leicht und zuverlässig bestimmt werden.
Zusätzlich sind gemäß der Orts- und Neigungsschätzvorrichtung nach dem ersten Ausführungsbeispiel enthalten: die Bilddatenbank zum Speichern von Bildinformationen, in denen Bilder, die jeweils Informationen über einen fotografierenden Ort und eine Neigung haben, durch mehrere Bereiche gruppiert sind; die Bereichserfassungseinheit zum Erfassen, zu welchem Bereich aus den mehreren Bereichen ein Bild gehört; die Bilderwerbseinheit zum Erwerben eines Bilds eine fotografierten Objekts; die Datenbank-Vergleichseinheit zum Vergleichen des durch die Bilderwerbseinheit erworbenen Bilds nur mit Bildern, die zu demselben Bereich gehören, der von der Bereichserfassungseinheit aus den in der Bilddatenbank gespeicherten Bildern erfasst wurde; und die Orts- und Neigungsschätzeinheit zum Ausgeben, als ein Schätzergebnis, eines Orts und einer Neigung eines Bilds als ein Ergebnis des Vergleichs in der Datenbank-Vergleichseinheit. Daher ist es möglich, die Echtzeiteigenschaft zu verbessern und ein genaues Schätzergebnis des Orts und der Neigung zu erhalten.
Darüberhinaus sind gemäß der Orts- und Neigungsschätzvorrichtung nach dem ersten Ausführungsbeispiel die mehreren Bereiche mit den von der Bereichserfassungseinheit erfassten Bereichen in einer eins-zu-eins-Weise assoziiert, und somit können die Bereiche leicht und zuverlässig bestimmt werden.
Darüberhinaus erfasst gemäß der Orts- und Neigungsschätzvorrichtung nach dem ersten Ausführungsbeispiel die Bereichserfassungseinheit einen Bereich unter Verwendung der RFID, und somit können die Bereiche leicht zu zuverlässig bestimmt werden.
Zusätzlich ist es gemäß dem Bilddatenbank-Bildungsverfahren nach dem ersten Ausführungsbeispiel möglich, die Bilddatenbank zu erhalten, die in der Lage ist, die Echtzeiteigenschaft für die Schätzung des Orts und der Neigung eines Bilds zu verbessern und ein genaues Schätzergebnis für den Ort und die Neigung bereitzustellen, da das Bilddatenbank-Bildungsverfahren unter Verwendung der Bilddatenbank-Bildungsvorrichtung nach dem ersten Ausführungsbeispiel enthält: einen Bereichserfassungsschritt des Erfassens, zu welchem Bereich aus mehreren Bereichen ein fotografiertes Bild gehört; einen Informationserwerbsschritt des Erwerbens von Abstandsinformationen, die einen Abstand zwischen einem fotografierten Objekt des fotografierten Bilds und einem Erwerbsort des fotografierten Bilds anzeigen; einen Berechnungsschritt des Berechnens eines fotografierenden Orts und einer Neigung des fotografierten Bilds auf der Grundlage der Abstandsinformationen; und einen Bilddatenbank-Erzeugungsschritt des Erzeugens einer Bilddatenbank, in der der fotografierende Ort und die Neigung des fotografierten Bilds und das fotografierte Bild als Bildinformationen assoziiert sind, wobei der Bilddatenbank-Erzeugungsschritt die Bilddatenbank durch Gruppieren von Bildinformationen von Bildern, die zu demselben Bereich gehören, erzeugt.
Zweites Ausführungsbeispiel
Ein zweites Ausführungsbeispiel enthält eine Bilddatenbank-Bildungsvorrichtung zum Erzeugen einer Bilddatenbank durch Gruppieren auf der Grundlage von Signalwerten, die mehreren Innenorten erhalten wurden, und eine Orts- und Neigungsschätzvorrichtung zum Schätzen des Orts und der Neigung unter Verwendung der durch die Bilddatenbank-Bildungsvorrichtung konfigurierten Bilddatenbank.
10 ist ein Konfigurationsdiagramm einer Bilddatenbank-Bildungsvorrichtung nach dem zweiten Ausführungsbeispiel. Die illustrierte Bilddatenbank-Bildungsvorrichtung enthält eine Bereichserfassungseinheit 1a, eine Sensorinformations-Erwerbseinheit 2, eine Ortsbeziehungs-Berechnungseinheit 3 und eine Bilddatenbank-Erzeugungseinheit 4a. Bei diesem Ausführungsbeispiel wird, da die Sensorinformations-Erwerbseinheit 2 und die Ortsbeziehungsberechnungseinheit 3 ähnliche Komponenten wie diejenigen bei dem ersten Ausführungsbeispiel sind, deren Beschreibung hier weggelassen. Die Bereichserfassungseinheit 1a ist eine Verarbeitungseinheit zum Messen gesetzter Signalwerte an mehreren Innenorten als Werte entsprechend Bereichen. Die Bilddatenbank-Erzeugungseinheit 4a gruppiert Berechnungsinformationen über den Ort und die Neigung jedes fotografierten Bilds, die durch die Ortsbeziehungsberechnungseinheit 3 unter Verwendung der durch die Bereichserfassungseinheit 1a gemessenen Signalwerte berechnet wurden, assoziiert die gruppierten fotografierten Bilder, den Erwerbsort und die Neigung der fotografierten Bilder sowie die Signalwerte, und erzeugt eine Bilddatenbank 5a durch Verwendung der assoziierten Bildinformationen.
11 ist ein Hardware-Konfigurationsdiagramm der in der 10 illustrierten Bilddatenbank-Bildungsvorrichtung. In 11 enthält eine Bilddatenbank-Bildungsvorrichtung 100a einen WLAN-Empfänger 106, eine Kamera 102, einen Abstandssensor 103 und einen Computer 104a. Der WLAN-Empfänger 106 kommuniziert mit einem Zugangspunkt 107 eines WLANs, das in jedem von mehreren Innenbereichen vorhanden ist, und misst die Signalstärke (Indikator der empfangenen Signalstärke (RSSI)) hiervon. Die Kamera 102 und der Abstandssensor 103 sind ähnlich zu der Kamera 102 und dem Abstandssensor 103 in der Bilddatenbank-Bildungsvorrichtung 100 nach dem ersten Ausführungsbeispiel. Der Computer 104a ist eine Vorrichtung zum Erwerben von Daten von dem WLAN-Empfänger 106, der Kamera 102 und dem Abstandssensor 103 und zum Erzeugen der Bilddatenbank 5a in 10 auf der Grundlage dieser Datenstücke, und enthält beispielsweise einen Personalcomputer oder ein Smartphone.
Der WLAN-Empfänger 106 in 11 implementiert die Bereichserfassungseinheit 1a in 10, die Kamera 102 implementiert eine Bilderwerbseinheit 2a und der Abstandssensor 103 implementiert eine Abstandsmesseinheit 2b. Der Computer 104a implementiert die Funktionen der Ortsbeziehungs-Berechnungseinheit 3 und der Bilddatenbank-Erzeugungseinheit 4a. Diese Funktionen werden durch einen Prozessor des Computers 104a implementiert, der eine Software entsprechend der Ortsbeziehungs-Berechnungseinheit 3 und der Bilddatenbank-Erzeugungseinheit 4a ausführt.
Als nächstes wird die Arbeitsweise der Bilddatenbank-Bildungsvorrichtung nach dem zweiten Ausführungsbeispiel beschrieben.
12 ist ein Diagramm, das zwei Räume illustriert, wenn sie von oben betrachtet werden. Ein Zugangspunkt 107a und ein Zugangspunkt 107b sind im Raum 1 installiert, und ein Zugangspunkt 107c und ein Zugangspunkt 107d sind im Raum 2 installiert. Die Arbeitsweise des Konfigurierens einer Bilddatenbank von zwei derartigen Räumen wird mit Bezug auf ein Flussdiagramm in 13 beschrieben.
Zuerst wird unter der Annahme beschrieben, dass Daten des Raums 1 in 12, wie durch eine gestrichelte Linie 112 angezeigt, erworben werden. In dem Flussdiagramm von 13 wird, da die Schritte ST21 bis ST23 den Schritten ST2 bis ST4 in 4 nach dem ersten Ausführungsbeispiel ähnlich sind, deren Beschreibung hier weggelassen. Bei dem zweiten Ausführungsbeispiel kommuniziert die Funkerfassungseinheit 1a mit den Zugangspunkten 107 an mehreren Orten im Raum 1 und misst die Signalstärke (RSSI) von den Zugangspunkten 107 (Bereichserfassungsschritt: Schritt ST24). Als ein Ergebnis kann an jedem Ort die Signalstärke entsprechend einem der Zugangspunkte 107a bis 107d an diesem Ort erhalten werden. Nachdem die Verarbeitung der Schritte ST21 bis ST24 bei einem Raum durchgeführt wurde, wird die Messung beendet (Schritt ST25: JA). Die Ortsbeziehungs-Berechnungseinheit 3 verfeinert weiterhin den Ort und die Neigung eines Sensors unter Verwendung einer Bündeleinstellung und dergleichen (Schritt ST26). Als nächstes führt die Bilddatenbank-Erzeugungseinheit 4a eine Gruppierung von Farbbildern und Abstandsinformationen auf der Grundlage der im Schritt ST24 erhaltenen Signalstärke durch (Bilddatenbank-Erzeugungsschritt: Schritt ST27). Als ein Beispiel für ein Gruppierungsverfahren gibt es nichtüberwachte Lernverfahren wie K-Means-Clustering und spektrales Clustering.
Danach wird bestimmt, ob die Messung für alle Räume beendet wurde (Schritt ST28), und wenn sie nicht beendet wurde, wird die Verarbeitung vom Schritt ST21 an wiederholt. Wenn die Messung aller Räume beendet wurde, wird der Vorgang des Konfigurierens der Bilddatenbank beendet. In diesem Fall wird, da die Messung des Raums 2 noch nicht durchgeführt wurde, „NEIN“ im Schritt ST28 erhalten, und ein Farbbild und Abstandsinformationen werden an jedem Ort erworben, wie durch eine gestrichelte Linie 113 in 12 angezeigt ist, um die Verarbeitung der Schritte ST21 bis ST27 durchzuführen.
Wenn die Messung für den Raum 1 und den Raum 2 durch ein derartiges Verfahren durchgeführt ist und die Bilddatenbank-Erzeugungseinheit 4a eine Datenbank anhand der Messergebnisse bildet, wird eine in 14 illustrierte Bilddatenbank erzeugt (Bilddaten-Erzeugungsschritt). Wie in 14 illustriert ist, werden Paare aus einem Bild, Abstandsinformationen/ der Ort und die Neigung für jedes Signal registriert. In diesem Beispiel sind Signal 1 und Signal 2 Signale entsprechend dem Raum 1 und dem Raum 2, die in 12 illustriert sind; jedoch brauchen sie nicht notwendigerweise den Räumen in Abhängigkeit von der Größe der Räume oder der Anzahl der Zugangspunkte 107 zu entsprechen. Wenn beispielsweise ein Raum groß ist und es viele Zugangspunkte 107 gibt, können mehrere Gruppen in einem Raum gebildet werden.
Als nächstes wird eine Orts- und Neigungsschätzvorrichtung nach dem zweiten Ausführungsbeispiel beschrieben.
15 ist ein Konfigurationsdiagramm einer Orts- und Neigungsschätzvorrichtung. Die Orts- und Neigungsschätzvorrichtung nach dem vorliegenden Ausführungsbeispiel enthält eine Bereichserfassungseinheit 1a, eine Bilderwerbseinheit 2a, eine Datenbank-Vergleichseinheit 11a, eine Orts- und Neigungsschätzeinheit 12a und eine Bilddatenbank 5a. Die Bilderwerbseinheit 2a und die Bereichserfassungseinheit 1a sind ähnlich der Bilderwerbseinheit 2a und der Bereichserfassungseinheit 1a in der Bilddatenbank-Bildungsvorrichtung. Die Datenbank-Vergleichseinheit 11a ist eine Verarbeitungseinheit zum Vergleichen eines durch die Bilderwerbseinheit 2a erworbenen Bilds nur mit Bildern, die den gleichen Signalwert wie einen durch die Bereichserfassungseinheit 1a erfassten Signalwert aus in der Bilddatenbank 5a gespeicherten Bildern haben, und zum Spezifizieren eines der Bilder. Die Orts- und Neigungsschätzeinheit 12a ist eine Verarbeitungseinheit zum Ausgeben des Orts und der Neigung des Bilds, das durch die Datenbank-Vergleichseinheit 11a als ein Schätzergebnis bestimmt wurde. Die Bilddatenbank 5a ist eine Datenbank, die von der Bilddatenbank-Bildungsvorrichtung 100a erzeugt wurde.
16 ist ein Hardware-Konfigurationsdiagramm der in 7 illustrierten Orts- und Neigungsschätzvorrichtung. In 16 enthält eine Orts- und Neigungsschätzvorrichtung 200a einen WLAN-Empfänger 106, eine Kamera 102 und einen Computer 201a. Der WLAN-Empfänger 106 und die Kamera 102 sind ähnlich dem WLAN-Empfänger 106 und der Kamera 102 in der in 11 illustrierten Bilddatenbank-Bildungsvorrichtung 100a. Der Computer 201a ist eine Vorrichtung zum Erwerben von Daten von dem WLAN-Empfänger 106 und der Kamera 102 und zum Schätzen des Orts und der Neigung des Endgeräts auf der Grundlage dieser Datenstücke, und enthält beispielsweise einen Personalcomputer oder ein Smartphone.
Der WLAN-Empfänger 106 in 16 implementiert die Bereichserfassungseinheit 1a in 15, und die Kamera 102 implementiert die Bilderwerbseinheit 2a. Der Computer 201a implementiert die Funktionen der Datenbank-Vergleichseinheit 11a und der Orts- und Neigungsschätzeinheit 12a. Diese Funktionen werden durch einen Prozessor des Computers 201a implementiert, der eine Software entsprechend der Datenbank-Vergleichseinheit 11a und der Orts- und Neigungsschätzeinheit 12a ausführt.
In einem Fall, in welchem die Orts- und Neigungsschätzvorrichtung von 15 wie in 16 illustriert konfiguriert ist, haben die Bilderwerbseinheit 2a bis zu der Orts- und Neigungsschätzeinheit 12a in 15 die folgenden Funktionen. Die Bilderwerbseinheit 2a erwirbt ein von dem Endgeräteort fotografiertes Farbbild. Die Bereichserfassungseinheit 1a erhält die Signalstärke mit jedem Zugangspunkt 107. Die Datenbank-Vergleichseinheit 11a vergleicht mit der Bilddatenbank 5a auf der Grundlage des von der Bilderwerbseinheit 2a erworbenen Farbbilds und der von der Bereichserfassungseinheit 1a gemessenen Signalstärke, und die Orts- und Neigungsschätzeinheit 12a gibt als ein Schätzergebnis die Ort und die Neigung eines Bilds als ein Vergleichsergebnis in der Datenbank-Vergleichseinheit 11 aus.
Als nächstes wird die Arbeitsweise der Orts- und Neigungsschätzvorrichtung nach dem zweiten Ausführungsbeispiel mit Bezug auf ein Flussdiagramm in 17 beschrieben.
Wenn die Bereichserfassungseinheit 1a die Signalstärke von jedem Zugangspunkt an diesem Ort erfasst (Schritt ST31), vergleicht die Datenbank-Vergleichseinheit 13a zuerst mit der Bilddatenbank 5a auf der Grundlage der Signalstärke (Schritt ST32). Wenn die Bilderwerbseinheit 2a ein Bild erwirbt (Schritt ST33), vergleicht die Datenbank-Vergleichseinheit 13a das Bild aus den Vergleichsergebnissen des Schritts ST32 (Schritt ST34). Das heißt, die Datenbank-Vergleichseinheit 13a schätzt zuerst grob den Ort des Endgeräts auf der Grundlage der Signalstärke von der Bereichserfassungseinheit 1a und vergleicht dann mit Bilddaten entsprechend dem groben Schätzergebnis. Beispielsweise wird in dem Fall von Signal 1 bei dem Vergleich im Schritt ST32 ein Vergleich nur mit Bildern des Signals 1 aus der in 14 illustrierten Bilddatenbank 5a durchgeführt. Dann wird aus Farbbildern des Signals 1 ein Bild, das dem im Schritt ST33 erworbenen Bild am ähnlichsten ist, extrahiert. Als nächstes schätzt die Orts- und Neigungsbestimmungseinheit 14 den Ort und die Neigung des Endgeräts auf der Grundlage der Abstandsinformationen des Endgeräts + dem Ort t und der Neigung R des Endgeräts, die an dem im Schritt ST34 extrahierten Bild angebracht sind (Schritt ST35).
Auf diese Weise wird gemäß der Orts- und Neigungsschätzvorrichtung nach dem zweiten Ausführungsbeispiel als eine erste Wirkung die Berechnungszeit verkürzt. Bei dem vorliegenden Ausführungsbeispiel wird der Vergleich mit der Bilddatenbank 5a nur bei Bilddaten, die einem Signal entsprechen, durchgeführt. Daher kann die Anzahl von verglichenen Bildern im Vergleich mit dem Stand der Technik reduziert werden. Beispielsweise werden in dem vorstehenden Beispiel die in 14 illustrierten mehreren Farbbilder entsprechend dem Signal 1 und ein von der Bilderwerbseinheit 2a erworbenes Bild verglichen. Da kein Vergleich mit Farbbildern entsprechend dem Signal 2 durchgeführt wird, wird eine Verkürzung der Berechnungszeit erwartet. Als eine zweite Wirkung wird die Unterscheidung von ähnlichen Szenen verbessert. Beispielsweise kann selbst in einem Fall, in welchem der Raum 1 und der Raum 2, die in 12 illustriert sind, im Inneren ähnliche Muster haben, der Endgeräteort genau geschätzt werden, da eine Vorverarbeitung durchgeführt wird, bei der der Ort eines Benutzers auf der Grundlage der Signalstärke von dem Zugangspunkt grob bestimmt wird.
Es ist zu beachten, dass in der Bilddatenbank-Bildungsvorrichtung und der Orts- und Neigungsschätzvorrichtung, die vorstehend beschrieben werden, der RSSI als der von der Bereichserfassungseinheit 1a erfasste Signalwert verwendet wird; jedoch ist hierdurch keine Beschränkung beabsichtigt, und irgendeine(r) von der Signalstärke einer Bake, der Signalintensität eines Ultrabreitbands (UWB), dem Abstand zu einem Zugangspunkt (Übertragungszeit (ToF)) und einem Messwert eines geomagnetischen Sensors kann verwendet werden.
Wie vorstehend beschrieben ist, misst gemäß der Bilddatenbank-Bildungsvorrichtung nach dem zweiten Ausführungsbeispiel die Bereichserfassungseinheit gesetzte Signalwerte an den mehreren Orten als Werte entsprechend Bereichen, die Bilddatenbank-Erzeugungseinheit gruppiert Erwerbsorte und Neigungen von Bildern, die von der Berechnungseinheit unter Verwendung der durch die Bereichserfassungseinheit gemessenen Signalwerte berechnet wurden, assoziiert die Signalwerte, die gruppierten Erwerbsorte und Neigungen der Bilder sowie die Bilder als Bildinformationen, und erzeugt die Bilddatenbank durch Verwendung der Bildinformationen. Daher ist es möglich, die die Bilddatenbank zu schaffen, die in der Lage ist, die Echtzeiteigenschaft für die Schätzung von Ort und Neigung eines Bilds zu verbessern, und ein genaues Schätzergebnis für den Ort und die Neigung bereitzustellen.
Darüberhinaus kann gemäß der Bilddatenbank-Bildungsvorrichtung nach dem zweiten Ausführungsbeispiel, da die Bereichserfassungseinheit irgendeine(r) von dem RSSI, der Signalstärke einer Bake, der Signalstärke eines UWB, dem Abstand zu einem Zugangspunkt und einem Messwert eines geomagnetischen Sensors als einen gesetzten Signalwert misst, ein Bereich leicht und zuverlässig identifiziert werden, ohne dass eine spezielle Vorrichtung für die Signalmessung erforderlich ist.
Weiterhin misst gemäß der Orts- und Neigungsschätzvorrichtung nach dem zweiten Ausführungsbeispiel die Bereichserfassungseinheit gesetzte Signalwerte an den mehreren Orten als Werte entsprechend Bereichen, die Bilddatenbank wird gruppiert unter Verwendung der Signalwerte, und die Datenbank-Vergleichseinheit vergleicht nur mit Bildern, die einen Signalwert haben, der der gleiche wie der von der Bereichserfassungseinheit erfasste Signalwert ist, aus den in der Bilddatenbank gespeicherten Bildern. Daher ist es möglich, die Echtzeiteigenschaft zu verbessern und ein genaues Schätzergebnis für den Ort und die Neigung zu erhalten.
Darüberhinaus kann gemäß der Orts- und Neigungsschätzvorrichtung nach dem zweiten Ausführungsbeispiel, da die Bereichserfassungseinheit irgendeine(n) von dem RSSI, der Signalstärke einer Bake, der Signalstärke eines UWB, dem Abstand zu einem Zugangspunkt und einem Messwert eines geomagnetischen Sensors als einen gesetzten Signalwert misst, ein Bereich leicht und zuverlässig identifiziert werden, ohne dass eine spezielle Vorrichtung für die Signalmessung erforderlich ist.
Es ist zu beachten, dass innerhalb des Bereichs der vorliegenden Erfindung die vorliegende Erfindung eine flexible Kombination der jeweiligen Ausführungsbeispiele, eine Modifikation jeder Komponente des jeweiligen Ausführungsbeispiels enthalten oder irgendeine Komponente der jeweiligen Ausführungsbeispiele weggelassen werden kann.
GEWERBLICHE ANWENDBARKEIT
Wie vorstehend beschrieben ist, beziehen sich eine Bilddatenbank-Bildungsvorrichtung, eine Orts- und Neigungsschätzvorrichtung und ein Bilddatenbank-Bildungsverfahren nach der vorliegenden Erfindung auf eine Konfiguration zum Erhalten des Orts und der Neigung eines Endgeräts unter Verwendung von vorher registrierten Bildern, und sie sind geeignet zur Verwendung für eine Anwendung, die zusätzliche Informationen, die einem spezifischen Objekt überlagert sind, anzeigt.
Bezugszeichenliste
1, 1a: Bereichserfassungseinheit, 2: Sensorinformations-Erwerbseinheit, 2a: Bilderwerbseinheit, 2b: Abstandsmesseinheit, 3: Ortsbeziehungs-Berechnungseinheit, 4, 4a: Bilddatenbank-Erzeugungseinheit, 5, 5a: Bilddatenbank, 6: Signalmesseinheit, 11, 11a: Datenbank-Vergleichseinheit, 12, 12a: Orts- und Neigungsschätzeinheit, 1, 100, 100a: Bilddatenbank-Bildungsvorrichtung, 101: RFID-Empfänger, 102: Kamera, 103: Abstandssensor, 104, 104a, 201, 201a: Computer, 105: RFID-Etikett, 106: WLAN-Empfänger, 107: Zugangspunkt, 200, 200a: Orts- und Neigungsschätzvorrichtung.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Taguchi, Y., Jian, Y.-D., Ramlingam, S.: Point-Plane SLAM for Hand-Held 3D Sensors, Robotics and Automation (ICRA), 2014 IEEE International Conference, 6.-10. Mai 2013 [0020]

Claims

Bilddatenbank-Bildungsvorrichtung, welche aufweist: eine Bereichserfassungseinheit zum Erfassen, zu welchem Bereich aus mehreren Bereichen ein fotografiertes Bild gehört; eine Informationserwerbseinheit zum Erwerben von Abstandsinformationen, die einen Abstand zwischen einem fotografierten Objekt des fotografierten Bilds und einem Erwerbsort des fotografierten Bilds anzeigen; eine Berechnungseinheit zum Berechnen eines fotografierenden Orts und einer Neigung des fotografierten Bilds auf einer Grundlage der Abstandsinformationen; und eine Bilddatenbank-Erzeugungseinheit zum Erzeugen einer Bilddatenbank, in der der fotografierende Ort und die Neigung des fotografierten Bilds und das fotografierte Bild als Bildinformationen assoziiert sind, wobei die Bilddatenbank-Erzeugungseinheit die Bilddatenbank durch Gruppieren von Bildinformationen von Bildern, die zu demselben Bereich gehören, erzeugt.
Orts- und Neigungsschätzvorrichtung nach Anspruch 1, bei der die mehreren Bereiche mit dem von der Bereichserfassungseinheit erfassten Bereich in einer eins-zu-eins-Weise assoziiert sind.
Bilddatenbank-Bildungsvorrichtung nach Anspruch 2, bei der die Bereichserfassungseinheit den Bereich unter Verwendung einer Funkfrequenzidentifizierung (RFID) erfasst.
Bilddatenbank-Bildungsvorrichtung nach Anspruch 1, bei der die Bereichserfassungseinheit einen gesetzten Signalwert bei mehreren Orten als einen Wert entsprechend dem Bereich misst, und die Bilddatenbank-Erzeugungseinheit den Erwerbsort und die Neigung des Bilds, die von der Berechnungseinheit unter Verwendung des von der Bereichserfassungseinheit gemessenen Signalwerts berechnet wurden, gruppiert, den Signalwert, den Erwerbsort und die Neigung des Bilds, die gruppiert wurden, und das Bild als Bildinformationen assoziiert und die Bildinformationen als eine Bilddatenbank erzeugt.
Bilddatenbank-Bildungsvorrichtung nach Anspruch 4, bei der die Bereichserfassungseinheit irgendeine(n) von einem empfangenen Signalstärkeindikator (RSSI), einer Signalstärke einer Bake, einer Signalstärke eines Ultrabreitbands (UWB), einem Abstand zu einem Zugangspunkt und einem Messwert eines geomagnetischen Sensors als den gesetzten Signalwert misst.
Orts- und Neigungsschätzvorrichtung, welche aufweist: eine Bilddatenbank zum Speichern von Bildinformationen, in denen Bilder mit Informationen über einen fotografierenden Ort und eine Neigung durch mehrere Bereiche gruppiert sind; eine Bereichserfassungseinheit zum Erfassen, zu welchem Bereich aus den mehreren Bereichen ein Bild gehört; eine Bilderwerbseinheit zum Erwerben eines Bilds eines fotografierten Objekts; eine Datenbank-Vergleichseinheit zum Vergleichen des von der Bilderwerbseinheit erworbenen Bilds mit nur einem Bild, das zu demselben Bereich wie dem von der Bereichserfassungseinheit erfassten Bereich gehört, aus den in der Bilddatenbank gespeicherten Bildern; und eine Orts- und Neigungsschätzeinheit zum Ausgeben, als ein Schätzergebnis, eines Orts und einer Neigung eines Bilds als ein Vergleichsergebnis in der Datenbank-Vergleichseinheit.
Orts- und Neigungsschätzvorrichtung nach Anspruch 6, bei der die mehreren Bereiche mit dem von der Bereichserfassungseinheit erfassten Bereich in einer eins-zu-eins-Weise assoziiert sind.
Orts- und Neigungsschätzvorrichtung nach Anspruch 6, bei der die Bereichserfassungseinheit den Bereich unter Verwendung von RFID erfasst.
Orts- und Neigungsschätzvorrichtung nach Anspruch 6, bei der die Bereichserfassungseinheit einen gesetzten Signalwert an mehreren Orten als einen Wert entsprechend dem Bereich misst, die Bilddatenbank unter Verwendung des Signalwerts gruppiert wird, und die Datenbank-Vergleichseinheit mit nur einem Bild aus den in der Bilddatenbank gespeicherten Bildern vergleicht, das einen Signalwert hat, der der gleiche wie der von der Bereichserfassungseinheit erfasste Signalwert ist.
Orts- und Neigungsschätzvorrichtung nach Anspruch 9, bei der die Bereichserfassungseinheit irgendeine(n) von einem RSSI, einer Signalstärke einer Bake, einer Signalstärke eines UWB, einem Abstand zu einem Zugangspunkt, und einem Messwert eines geomagnetischen Sensors als den gesetzten Signalwert misst.
Bilddatenbank-Bildungsverfahren unter Verwendung der Bilddatenbank-Bildungsvorrichtung nach Anspruch 1, welches Verfahren aufweist: einen Bereichserfassungsschritt des Erfassens, zu welchem Bereich aus mehreren Bereichen ein fotografiertes Bild gehört; einen Informationserwerbsschritt des Erwerbens von Abstandsinformationen, die einen Abstand zwischen einem fotografierten Objekt des fotografierten Bilds und einem Erwerbsort des fotografierten Bilds anzeigt; einen Berechnungsschritt des Berechnens eines fotografierenden Orts und einer Neigung des fotografierten Bilds auf einer Grundlage der Abstandsinformationen; und einen Bilddatenbank-Erzeugungsschritt des Erzeugens einer Bilddatenbank, in der der fotografierende Ort und die Neigung des fotografierten Bilds und das fotografierte Bild als Bildinformationen assoziiert sind, wobei die Bilddatenbank durch Gruppieren von Bildinformationen von zu demselben Bereich gehörenden Bildern erzeugt wird.