DE112017007801T5

DE112017007801T5 - Positionskorrekturvorrichtung und positionskorrekturverfahren

Info

Publication number: DE112017007801T5
Application number: DE112017007801.6T
Authority: DE
Inventors: Ken Miyamoto
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-09-08
Filing date: 2017-09-08
Publication date: 2020-06-18
Also published as: CN111052062A; WO2019049317A1; US20210074015A1; JPWO2019049317A1; KR20200028485A; JP6388744B1

Abstract

Eine Merkmalextrahiereinheit (21) extrahiert mehrere Merkmalteile von einem Bild. Eine Positionserfassungseinheit (23) erfasst Positionsinformationen über Merkmalteile, die auf dem die Merkmalteile umfassenden Bild spezifiziert sind. Eine Positionskorrektureinheit (24) korrigiert die von der Positionserfassungseinheit (21) erfassten Positionsinformationen auf Grundlage von Positionsinformationsbestandteilen über die von der Merkmalextrahiereinheit (23) mehreren extrahierten Merkmalteile.

Description

GEBIET DER TECHNIK
Die vorliegende Offenbarung bezieht sich auf eine Positionskorrekturvorrichtung und ein Positionskorrekturverfahren.
TECHNISCHER HINTERGRUND
Herkömmliche Verfahrensweisen zum Korrigieren von einen Gegenstand auf einem Bild spezifizierenden Positionsinformationen zu einer korrekten Position des Gegenstands sind bekannt. Der Gegenstand ist ein Punkt oder eine Linie im Bild.
Beispielsweise wird in Patentliteratur 1 ein Verfahren zum Korrigieren von Positionsinformationen über einen Schlüssel, der von einer Mehrzahl von Schlüsseln (sogenannten Software-Schlüsseln) spezifiziert wird, die auf einer Anzeigeeinheit angezeigt wird, durch Verwendung eines Berührungsfeldes zur korrekten Position des Schlüssels beschrieben. In diesem Verfahren wird eine relative Position einer Berührungsposition auf einem Schlüssel, wobei die Berührung über ein Berührungsfeld empfangen wird, in Bezug auf eine Bezugsposition in einem Anzeigebereich des Schlüssels für jeden der Mehrzahl von Schlüsseln berechnet. Wenn von dem Berührungsfeld eine Berührung empfangen wird, wird auf Grundlage des Berührungspunkts und der relativen Position von jedem der zwei oder mehr Schlüssel, die innerhalb eines bestimmten Mindestbereichs von dem Berührungspunkt existieren, von der Mehrzahl von Schlüsseln einer von den zwei oder mehr Schlüsseln als Betriebsziel bestimmt.
LISTE DER ENTGEGENHALTUNGEN
PATENTLITERATUR
Patentliteratur 1: JP 2012-93948 A
ABRISS DER ERFINDUNG
TECHNISCHES PROBLEM
In der in Patentliteratur 1 beschriebenen Verfahrensweise können die Positionsinformationen über den Berührungspunkt, die einen Schlüssel spezifizierenden Positionsinformationen, mithilfe von Bezugspositionen in einem bekannten Schlüsselanzeigebereich korrigiert werden.
Ein Problem bei der in der Patentliteratur 1 beschriebenen Verfahrensweise besteht jedoch darin, dass Positionsinformationen über einen auf einem natürlichen Bild spezifizierten Gegenstand nicht korrigiert werden kann, da ein von einer Kamera aufgenommenes natürliches Bild keine Bezugspositionen zur Positionskorrektur wie oben beschrieben aufweist.
Die vorliegende Offenbarung wurde erstellt, um das oben genannte Problem zu lösen, und daher ist ein Ziel der vorliegenden Offenbarung das Bereitstellen einer Positionskorrekturvorrichtung und eines Positionskorrekturverfahrens, die in der Lage sind, Positionsinformationen zu korrigieren, auch wenn ein Bild keine Informationen aufweist, die als Bezug für eine Positionskorrektur dienen.
LÖSUNG DES PROBLEMS
Eine Positionskorrekturvorrichtung nach der vorliegenden Offenbarung umfasst eine Bilderfassungseinheit, eine Merkmalextrahiereinheit, eine Anzeigeeinheit, eine Positionserfassungseinheit und eine Positionskorrektureinheit. Die Bilderfassungseinheit erfasst ein Bild. Die Merkmalextrahiereinheit extrahiert Merkmalteile vom durch die Bilderfassungseinheit erfassten Bild. Die Anzeigeeinheit führt einen Vorgang des Anzeigens des die Merkmalteile umfassenden Bilds durch. Die Positionserfassungseinheit erfasst Positionsinformationen über die Merkmalteile, die auf dem die Merkmalteile umfassenden Bild spezifiziert sind. Die Positionskorrektureinheit korrigiert die von der Positionserfassungseinheit erfassten Positionsinformationen auf Grundlage von Positionsinformationsbestandteilen über die Mehrzahl von durch die Merkmalextrahiereinheit extrahierten Merkmalteilen.
VORTEILHAFTE WIRKUNGEN DER ERFINDUNG
Gemäß der vorliegenden Offenbarung wird eine Mehrzahl von Merkmalteilen von einem Bild extrahiert, Positionsinformationen über auf dem die Merkmalteile umfassenden Bild spezifiziertes Merkmalteil werden erfasst und die erfassten Positionsinformationen werden auf Grundlage der Positionsinformationsbestandteile über die Mehrzahl von vom Bild extrahierten Merkmalteile korrigiert. Als Folge können die Positionsinformationen korrigiert werden, obwohl das Bild keine Informationen aufweist, die als Referenz für eine Positionskorrektur dienen.
Figurenliste

1 ist ein Blockdiagramm, das die Konfiguration einer Entfernungsmessvorrichtung, die eine Positionskorrekturvorrichtung nach Ausführungsform 1 der vorliegenden Offenbarung umfasst, zeigt;
2 ist ein Flussdiagramm, das ein Positionskorrekturverfahren nach Ausführungsform 1 zeigt;
3 ist ein Diagramm, das ein Beispiel von Merkmalteilen in einem Bild zeigt;
4A ist ein Diagramm, das ein Beispiel von einem Bild zeigt;
4B ist ein Diagramm, das eine Situation, in der Punkte auf Ecken im Bild spezifiziert werden, zeigt;
4C ist ein Diagramm, das ein Bild zeigt, auf dem die Entfernung zwischen den Punkten auf den Ecken eingeblendet und angezeigt wird;
5 ist ein Blockdiagramm, das die Konfiguration einer Augmented-Reality-Anzeigevorrichtung, die eine Positionskorrekturvorrichtung nach Ausführungsform 2 der vorliegenden Offenbarung umfasst, zeigt;
6 ist ein Flussdiagramm, das ein Positionskorrekturverfahren nach Ausführungsform 2 zeigt;
7 ist ein Diagramm, das eine Übersicht über Vorverarbeitung zeigt;
8 ist ein Diagramm, das eine Übersicht über einen Augmented-Reality-Anzeigevorgang zeigt;
9A ist ein Blockdiagramm, das eine Hardware-Konfiguration für das Implementieren der Funktionen der Positionskorrekturvorrichtungen nach Ausführungsformen 1 und 2 zeigt; und
9B ist ein Blockdiagramm, das eine Hardware-Konfiguration für das Ausführen von Software, die die Funktionen der Positionskorrekturvorrichtungen nach Ausführungsformen 1 und 2 implementiert, zeigt.

BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Im Folgenden werden, um die vorliegende Offenbarung genauer zu erklären, Ausführungsformen der vorliegenden Offenbarung mit Bezug auf die beigefügten Zeichnungen beschrieben.
Ausführungsform 1.
1 ist ein Blockdiagramm, das die Konfiguration einer Entfernungsmessvorrichtung 1, die eine Positionskorrekturvorrichtung 2 nach Ausführungsform 1 der vorliegenden Offenbarung umfasst, zeigt. Die Entfernungsmessvorrichtung 1 misst die Entfernung zwischen zwei auf dem Bild spezifizierten Gegenständen und umfasst die Positionskorrekturvorrichtung 2 und eine Anwendungseinheit 3. Ferner ist die Entfernungsmessvorrichtung 1 mit einer Kamera 4, einer Anzeige 5 und einer Eingabeeinrichtung 6 verbunden. Die Positionskorrekturvorrichtung 2 korrigiert Positionsinformationen über einen auf einem Bild spezifizierten Gegenstand unter Verwendung der Eingabeeinrichtung 6 und umfasst eine Bilderfassungseinheit 20, eine Merkmalextrahiereinheit 21, eine Anzeigeeinheit 22, eine Positionserfassungseinheit 23 und eine Positionskorrektureinheit 24.
Die Anwendungseinheit 3 misst die Entfernung zwischen zwei Gegenständen auf Grundlage der Positionsinformationen, die die zwei Gegenstände auf einem Bild jeweils spezifizieren. Als Verfahren zum Messen der Entfernung zwischen zwei Gegenständen ist beispielsweise ein Verfahren zum Berechnen der dreidimensionalen Positionen der Gegenstände im Realraum anhand von zweidimensionalen Positionen des Gegenstands auf dem Bild und Bestimmen der Entfernung zwischen den dreidimensionalen Positionen der zwei Gegenstände vorgesehen. Die Positionskorrekturvorrichtung 2 korrigiert die zweidimensionale Position auf dem Bild von jedem Gegenstand, was für die Entfernungsmessung der Anwendungseinheit 3 verwendet wird, etwa zu einer korrekten Position.
Die Kamera 4 nimmt entweder ein Farbbild oder ein Schwarzweißbild ohne Informationen, die als Referenz für eine Positionskorrektur dienen, auf. Obwohl die Kamera 4 eine typische monokulare Kamera sein kann, kann die Kamera 4 alternativ beispielsweise eine stereoskopische Kamera sein, die in der Lage ist, Bilder eines Ziels aus mehreren verschiedenen Richtungen aufzunehmen, oder eine Time-of-flight-(TOF-)Kamera unter Verwendung von Infrarotlicht.
Die Anzeige 5 zeigt ein Bild, das durch das Korrekturverfahren von der Positionskorrekturvorrichtung 2 erhalten wird, das durch das Verfahren der Anwendungseinheit 3 erhalten wird, oder ein Aufnahmebild, welches von der Kamera 4 aufgenommen wurde, an. Als Anzeige 5 wird zum Beispiel eine Flüssigkristall (LCD)-Anzeige, eine organische Elektrolumineszenz-Anzeige (im Folgenden als organische EL-Anzeige bezeichnet) oder ein Head-up-Display verwendet.
Die Eingabeeinrichtung 6 empfängt eine Anweisung zum Spezifizieren eines Gegenstands auf einem von der Anzeige 5 angezeigten Bild. Die Eingabeeinrichtung 6 umfasst beispielsweise ein Berührungsfeld, eine Zeigevorrichtung oder einen Sensor zur Gestenerkennung.
Das Berührungsfeld ist auf dem Bildschirm der Anzeige 5 angeordnet und empfängt einen Berührungsvorgang zum Spezifizieren eines Gegenstands auf einem Bild. Die Zeigevorrichtung empfängt eine Anweisung zum Spezifizieren eines Gegenstands unter Verwendung eines Zeigers und ist eine Maus oder dergleichen. Der Sensor zur Gestenerkennung erkennt eine Gestenbedienung zum Spezifizieren eines Gegenstands und erkennt eine Gestenbedienung unter Verwendung einer Kamera, Infrarotlicht oder eine Kombination aus einer Kamera und Infrarotlicht.
Die Bilderfassungseinheit 20 erfasst ein von der Kamera 4 aufgenommenes Bild. Das von der Bilderfassungseinheit 20 erfasste Bild wird an die Merkmalextrahiereinheit 21 ausgegeben.
Die Merkmalextrahiereinheit 21 extrahiert Merkmalteile vom von der Bilderfassungseinheit 20 erfassten Bild. Die Merkmalteile sind charakteristisch für das Bild und sind beispielsweise Punkte an Ecken eines aufzunehmenden Gegenstands oder Linien eines Umrissteils eines aufzunehmenden Gegenstands.
Die von der Merkmalextrahiereinheit 21 extrahierten Merkmalteile und Positionsinformationsbestandteile über die Merkmalteile (ihre zweidimensionalen Positionen auf dem Bild) werden an die Anzeigeeinheit 22 und die Positionskorrektureinheit 24 ausgegeben.
Die Anzeigeeinheit 22 führt einen Prozess des Anzeigens des Bilds mit den Merkmalteilen durch. Beispielsweise zeigt die Anzeigeeinheit 22 das Bild mit den Merkmalteilen auf der Anzeige 5 an.
Obwohl das Bild mit den Merkmalteilen ein von der Bilderfassungseinheit 20 erfasstes Bild sein kann, kann das Bild mit den Merkmalteilen ein Bild sein, auf dem die Merkmalteile des von der Bilderfassungseinheit 20 erfassten Bilds hervorgehoben werden. Ein Benutzer der Entfernungsmessvorrichtung 1 führt einen Betrieb des Spezifizierens entweder eines Punkts oder einer Linie auf dem von der Anzeige 5 angezeigten Bild unter Verwendung der Eingabeeinrichtung 6 durch.
Die Positionserfassungseinheit 23 erfasst Positionsinformationen über einen Punkt oder eine Linie, der/die auf dem Bild spezifiziert ist, unter Verwendung der Eingabeeinrichtung 6 durch. Beispielsweise erfasst die Positionserfassungseinheit 23 in dem Fall, in dem die Eingabeeinrichtung 6 ein Berührungsfeld ist, Informationen über eine Position, an der ein Berührungsvorgang durchgeführt wurde. In dem Fall, in dem die Eingabeeinrichtung 6 eine Zeigevorrichtung ist, erfasst die Positionserfassungseinheit 23 eine Zeigerposition. In dem Fall, in dem die Eingabeeinrichtung 6 ein Sensor zur Gestenerkennung ist, erfasst die Positionserfassungseinheit 23 eine ein Merkmalteil zeigende Gestenoperationsposition.
Die Positionskorrektureinheit 24 korrigiert die Positionsinformationen über einen Punt oder eine Linie, wobei die Positionsinformationen von der Positionserfassungseinheit 23 auf Grundlage von Positionsinformationsbestandteilen über die von der Merkmalextrahiereinheit 21 extrahierten Merkmalteile erfasst werden.
Wenn beispielsweise ein Punkt oder eine Linie auf dem Bild durch einen Berührungsvorgang spezifiziert wird, tritt ein Fall ein, in dem eine Abweichung um mehrere Zehner von Pixeln von der tatsächlichen Position des Punkts oder der Linie gegeben ist. Der Grund für das Auftreten dieser Abweichung ist, dass der Finger des Benutzers im Vergleich zu jedem Pixel des Bilds sehr groß ist.
Die Positionskorrektureinheit 24 bestimmt als Positionsinformationen über einen Punkt oder eine Linie, der/die auf dem Bild spezifiziert ist, Positionsinformationen über das Merkmalteil, das sich am nächsten zu Positionsinformationen, die von der Positionserfassungseinheit 23 erfasst wurden, befindet, bezüglich des Punkts oder der Linie, von den Positionsinformationsbestandteilen über die mehreren Merkmalteile, die von der Merkmalextrahiereinheit 21 aus dem Bild extrahiert wurden.
Als nächstes wird die Arbeitsweise erläutert. 2 ist ein Flussdiagramm, das ein Positionskorrekturverfahren nach Ausführungsform 1 zeigt.
Die Bilderfassungseinheit 20 erfasst ein von der Kamera 4 aufgenommenes Bild (Schritt ST1). Die Merkmalextrahiereinheit 21 extrahiert Merkmalteile vom von der Bilderfassungseinheit 20 erfassten Bild (Schritt ST2). Beispielsweise extrahiert die Merkmalextrahiereinheit 21 mehrere charakteristische Punkte oder Linien aus dem Bild.
3 ist ein Diagramm, das Merkmalteile in einem Bild 4A zeigt.
Das Bild 4A wird von der Kamera 4 aufgenommen und auf der Anzeige 5 angezeigt. Auf dem Bild 4A ist als aufzunehmender Gegenstand eine rechteckige Tür zu sehen. Die Merkmalextrahiereinheit 21 extrahiert beispielsweise entweder eine Linie 30, die einer Kante der Tür entspricht, oder einen Punkt 31 an einer Ecke der Tür, die der aufzunehmende Gegenstand ist. Die Ecke entspricht einem Schnittpunkt, an dem Kanten einander kreuzen.
Die Merkmalextrahiereinheit 21 extrahiert charakteristische Punkte über das Bild beispielsweise unter Verwendung eines Harris-Eckenerkennungsverfahrens. Alternativ extrahiert die Merkmalextrahiereinheit 21 charakteristische Punkte über das Bild beispielsweise unter Verwendung einer Hough-Transformation.
Die Erklärung weist auf 2 zurück.
Die Anzeigeeinheit 22 zeit das Bild mit den Merkmalteilen auf der Anzeige 5 an (Schritt ST3).
Beispielsweise empfängt die Anzeigeeinheit 22 das von der Bilderfassungseinheit 20 erfasste Bild von der Merkmalextrahiereinheit 21 und zeigt das obengenannte Bild auf der Anzeige 5 unverändert an.
Ferner kann die Anzeigeeinheit 22 die obengenannten Merkmalteile auf dem von der Bilderfassungseinheit 20 erfassten Bild auf der Anzeige 5 einblenden, nachdem die Farben der von der Merkmalextrahiereinheit 21 extrahierten Merkmalteile geändert wurden, um die Merkmalteile hervorzuheben. Ein Benutzer der Entfernungsmessvorrichtung 1 führt einen Vorgang des Spezifizierens eines Punkts oder einer Linie unter Verwendung der Eingabeeinrichtung 6 durch. Beispielsweise führt der Benutzer entweder einen Vorgang des Berührens eines Punkts auf dem Bild auf dem Berührungsfeld oder einen Vorgang des Nachziehens eine Linie auf dem Bild durch.
Die Positionserfassungseinheit 23 erfasst Positionsinformationen über den Punkt oder die Linie, die auf dem von der Anzeige 5 angezeigten Bild unter Verwendung der Eingabeeinrichtung 6 spezifiziert werden (Schritt ST4). Hierbei wird davon ausgegangen, dass die obengenannten Positionsinformationen eine Position y des Punkts oder der Linie anzeigen.
Die Positionskorrektureinheit 24 korrigiert die von der Positionserfassungseinheit 23 erfassten Positionsinformationen auf Grundlage von Positionsinformationsbestandteilen über die von der Merkmalextrahiereinheit 21 extrahierten Merkmalteile (Schritt ST5).
Beispielsweise bestimmt die Positionskorrektureinheit 24 von den Punkten oder den Linien, die von der Merkmalextrahiereinheit 21 als Merkmalteile extrahiert werden, den Punkt oder die Linie, der/die der Position y des unter Verwendung der Eingabeeinrichtung 6 spezifizierten Punkts bzw. Linie am nächsten ist. Die Positionskorrektureinheit 24 ersetzt dann die Positionen des spezifizierten Punkts bzw. der spezifizierten Linie unter Verwendung der Eingabeeinrichtung 6 mit der Position des bestimmten Punkts bzw. Linie.
Wenn ein Punkt auf dem von der Anzeige 5 angezeigten Bild spezifiziert wird, bestimmt die Positionskorrektureinheit 24 von aus den von der Merkmalextrahiereinheit 21 extrahierten N Punkten den Punkt, der der Position y des unter Verwendung der Eingabeeinrichtung 6 spezifizierten Punkts am nächsten ist (der Punkt mit der kürzesten Entfernung zum spezifizierten Punkt) gemäß der folgenden Gleichung (1). In der folgenden Gleichung (1) ist x_i (i=1, 2, 3, ..., und N) die Position von jedem Punkt, der von der Merkmalextrahiereinheit 21 aus dem Bild extrahiert wird. $\begin{array}{l} arg min {‖ x_{1} - y ‖}^{2} \\ i \in N \end{array}$
Wenn eine Linie auf dem von der Anzeige 5 angezeigten Bild spezifiziert wird, bestimmt die Positionskorrektureinheit 24 von aus den von der Merkmalextrahiereinheit 21 extrahierten M Linien die Linie, die der Position y der unter Verwendung der Eingabeeinrichtung 6 spezifizierten Linie am nächsten ist (die Linie mit der kürzesten Entfernung zur spezifizierten Linie) gemäß der folgenden Gleichung (2). In der folgenden Gleichung (2) ist z_j (j=1, 2, 3, ..., und M) die Position von jeder Linie, die von der Merkmalextrahiereinheit 21 aus dem Bild extrahiert wird und x zeigt ein dyadisches Produkt. $\underset{j \in M}{arg min} \frac{| z_{j} \times y |}{| z_{j} |}$
Wenn die Reihe von in 2 gezeigten Prozessen abgeschlossen ist, führt die Anwendungseinheit 3 einen Entfernungsmessvorgang auf Grundlage der von der Positionskorrekturvorrichtung 2 korrigierten Positionsinformationen durch.
4A ist ein Diagramm, das ein von der Kamera 4 aufgenommenes Bild 4A zeigt, welches ein natürliches Bild ist, und das Bild wird auf der Anzeige 5 angezeigt. Auf dem Bild 4A ist genau wie im Fall von 3 als aufzunehmender Gegenstand eine rechteckige Tür zu sehen.
4B ist ein Diagramm, das eine Situation, in der Punkte 31a und 31b auf Ecken im Bild 4A spezifiziert werden, zeigt. Ein Benutzer der Entfernungsmessvorrichtung 1 spezifiziert jeden der Punkte 31a und 31b unter Verwendung der Eingabeeinrichtung 6. Da die Punkte 31a und 31b Merkmalteile des Bildes 4A sind, werden die Positionsinformationsbestandteile über die Punkte 31a und 31b von der Positionskorrekturvorrichtung 2 korrigiert.
4C ist ein Diagramm, das ein Bild 4A zeigt, auf dem die Entfernung zwischen den Punkten 31a und 31b auf den Ecken eingeblendet und angezeigt wird. Die Anwendungseinheit 3 berechnet die Entfernung zwischen den Punkten 31a und 31b auf der Grundlange von korrigierten Positionsinformationsbestandteilen über die Punkte 31a und 31b.
Beispielsweise konvertiert die Anwendungseinheit 3 die zweidimensionalen Positionen der Punkte 31a und 31b, wobei die zweidimensionalen Positionen von der Positionskorrekturvorrichtung 2 korrigiert werden, in dreidimensionale Positionen der Punkte 31a und 31b im Realraum, und berechnet die Entfernung der dreidimensionalen Positionen der Punkte 31a und 31b.
In 4C wird von der Anwendungseinheit 3 eine Textinformation, die „1m“ anzeigt, eingeblendet und angezeigt, die die Entfernung zwischen den Punkten 31a und 31b auf dem von der Anzeige 5 angezeigten Bild 4A ist.
Wie oben angegeben erfasst die Bilderfassungseinheit 20 in der Positionskorrekturvorrichtung 2 nach Ausführungsform 1 ein Bild. Die Merkmalextrahiereinheit 21 extrahiert mehrere Merkmalteile vom von der Bilderfassungseinheit 20 erfassten Bild. Die Anzeigeeinheit 22 führt einen Prozess des Anzeigens des Bilds mit den Merkmalteilen durch. Die Positionserfassungseinheit 23 erfasst Positionsinformationen über ein Merkmalteil, das auf dem die Merkmalteile umfassenden Bild spezifiziert ist. Die Positionskorrektureinheit 24 korrigiert die von der Positionserfassungseinheit 23 erfassten Positionsinformationen auf Grundlage der Positionsinformationsbestandteile über die von der Merkmalextrahiereinheit 21 extrahierten Merkmalteile. Insbesondere wird als jedes Merkmalteil ein Punkt oder eine Linie im Bild extrahiert. Als Folge können Positionsinformationen korrigiert werden, obwohl ein Bild keine Informationen aufweist, die als Referenz für eine Positionskorrektur dienen. Da ferner die Positionsinformationen über ein Merkmalteil von der Positionskorrekturvorrichtung 2 auf eine korrekte Position korrigiert werden, kann die Genauigkeit der Entfernungsmessfunktion durch die Entfernungsmessvorrichtung 1 verbessert werden.
Ausführungsform 2.
5 ist ein Blockdiagramm, das die Konfiguration einer Augmented-Reality (hiernach als AR bezeichnet)-Anzeigevorrichtung 1A, die eine Positionskorrekturvorrichtung 2A nach Ausführungsform 2 der vorliegenden Offenbarung umfasst, zeigt. In 5 sind Komponenten, die denen gleich sind, die in 1 gezeigt sind, mit den gleichen Bezugszeichen versehen und auf eine Erläuterung der Komponenten wird ab jetzt verzichtet.
Die AR-Anzeigevorrichtung 1A zeigt AR-Grafiken auf einem von der Anzeige 5 angezeigten Bild an und umfasst die Positionskorrekturvorrichtung 2A, eine Anwendungseinheit 3A und eine Datenbank 7 (im Folgenden als DB bezeichnet). Ferner sind eine Kamera 4, die Anzeige 5, eine Eingabeeinrichtung 6 und ein Sensor 8 mit der AR-Anzeigevorrichtung 1A verbunden.
Die Positionskorrekturvorrichtung 2A korrigiert mithilfe der Eingabeeinrichtung 6 spezifizierte Positionsinformationen und umfasst eine Bilderfassungseinheit 20, eine Merkmalextrahiereinheit 21, eine Anzeigeeinheit 22, eine Positionserfassungseinheit 23, eine Positionskorrektureinheit 24 und eine Konvertierprozesseinheit 25.
Auf Grundlage der Position und Lage der Kamera 4 werden von der Anwendungseinheit 3A AR-Grafiken auf einem Bild eingeblendet, das von der Kamera 4 aufgenommen und auf der Anzeige 5 angezeigt wird. Ferner berechnet die Anwendungseinheit 3A die Position und die Lage der Kamera 4 sowohl auf Grundlage von Positionsinformationen, die auf dem auf der Anzeige 5 angezeigten Bild spezifiziert sind, als auch der entsprechenden dreidimensionalen Position im Realraum, die aus der Datenbank 7 ausgelesen wird.
In der Datenbank DB 7 sind Informationsbestandteile über dreidimensionale Positionen in einer Ebene, in der AR-Grafiken anscheinend im Realraum angezeigt werden, gespeichert.
Der Sensor 8 erfasst einen aufzunehmenden Gegenstand, dessen Bild von der Kamera 4 aufgenommen wird, und wird durch einen Entfernungssensor oder eine stereoskopische Kamera realisiert.
Auf der Grundlage von Erfassungsinformationen des Sensors 8 konvertiert die Konvertierprozesseinheit 25 ein von der Bilderfassungseinheit 20 erfasstes Bild in ein Bild, auf dem die Aufnahmerichtung virtuell geändert ist.
Beispielsweise prüft die Konvertierprozesseinheit 25 auf Grundlage der Erfassungsinformation des Sensors 8, ob der aufzunehmende Gegenstand von der Kamera 4 aus einer schrägen Richtung aufgenommen wurde, und konvertiert ein Bild, auf dem ein aufzunehmender Gegenstand von der Kamera 4 aus einer schrägen Richtung aufgenommen wurde, in ein Bild, auf dem der aufzunehmende Gegenstand von vorne aufgenommen wird.
Die Merkmalextrahiereinheit 21A extrahiert Merkmalteile vom Bild nach der Konvertierung durch die Konvertierprozesseinheit 25.
Als nächstes wird die Arbeitsweise erläutert.
6 ist ein Flussdiagramm, das ein Positionskorrekturverfahren nach Ausführungsform 2 zeigt. Da die Prozesse in Schritten ST1a und ST4a bis ST6a in 6 dieselben wie die in Schritten ST1 und ST3 bis ST5 in 2 sind, wird auf eine Erläuterung der Prozesse verzichtet.
In Schritt ST2a konvertiert die Konvertierprozesseinheit 25 ein von der Bilderfassungseinheit 20 aufgenommenes Bild in ein Bild, auf dem der aufzunehmende Gegenstand von vorne betrachtet wird.
7 ist ein Diagramm, das eine Übersicht über Vorverarbeitung zeigt. In 7 ist der von der Kamera 4 aufzunehmende Gegenstand 100 ein rechteckiger Gegenstand, etwa ein Straßenschild, mit einem flachen Teil.
Wenn sich die Kamera 4 an einer ersten Position befindet, wird der aufzunehmende Gegenstand 100 von der Kamera 4 von einer schrägen Richtung aufgenommen und ist auf dem von der Kamera 4 aufgenommenen Bild als Rhombus verzerrt zu sehen.
Ein Benutzer der AR-Anzeigevorrichtung 1A spezifiziert beispielsweise Punkte 101a bis 101d auf dem Bild, auf dem der aufzunehmende Gegenstand 100 zu sehen ist, unter Verwendung der Eingabeeinrichtung 6.
Jedoch besteht in einem Fall, in dem der aufzunehmende Gegenstand 100 verzerrt zu sehen ist, eine hohe Wahrscheinlichkeit, dass beispielsweise eine Kante des aufzunehmenden Gegenstands 100 extrem kurz wird und dies führt zu einem Fehler bei der Extrahierung der Kante als Merkmalteil, darüber hinaus besteht die Möglichkeit, dass ihre Position nicht korrekt berechnet werden kann.
Daher konvertiert die Konvertierprozesseinheit 25 in der AR-Anzeigevorrichtung 1A nach Ausführungsform 2 ein Bild, das von der Kamera 4 aus einer schrägen Richtung aufgenommen wurde, in ein Bild, auf dem der aufzunehmende Gegenstand von vorne betrachtet wird.
Wenn der aufzunehmende Gegenstand 100 beispielsweise ein rechteckiger Gegenstand mit einem flachen Teil ist, erfasst der Sensor 8 die Entfernungen zwischen mehreren Punkten im flachen Teil des aufzunehmenden Gegenstands 100 und der Kamera 4 (erste Position). Wenn die vom Sensor 8 erfassten Entfernungen entlang einer Richtung des aufzunehmenden Gegenstands 100 allmählich zunehmen, bestimmt die Konvertierprozesseinheit 25, dass der aufzunehmende Gegenstand 100 von der Kamera 4 aus einer schrägen Richtung aufgenommen wurde.
Wenn bestimmt wird, dass der aufzunehmende Gegenstand 100 von der Kamera 4 aus einer schrägen Richtung aufgenommen wurde, konvertiert die Konvertierprozesseinheit 25 zweidimensionale Koordinaten des Bildes derart, dass die Entfernungen zwischen den mehreren Punkten im flachen Teil des aufzunehmenden Gegenstands 100 und der Kamera 4 gleich werden. Insbesondere führt die Konvertierprozesseinheit 25 eine Konvertierung in einem Bild durch, auf dem der aufzunehmende Gegenstand 100 so aussieht, als ob der aufzunehmende Gegenstand 100 von der Kamera 4 an einer zweiten Position von vorne aufgenommen wurde, durch Ändern des Rotationsgrads des flachen Teils des aufzunehmenden Gegenstands 100 relativ zur Kamera 4, wodurch die Aufnahmerichtung der Kamera 4 virtuell geändert wird.
In Schritt ST3a extrahiert die Merkmalextrahiereinheit 21A die mehreren Merkmalteile aus dem Bild, auf dem das Vorverarbeiten durch die Konvertierprozesseinheit 25 durchgeführt wurde. Beispielsweise extrahiert die Merkmalextrahiereinheit 21A mehrere charakteristische Punkte oder Linien aus dem Bild. Da das Bild, auf dem das Vorverarbeiten durchgeführt wurde, dasjenige ist, auf dem die Verzerrung des aufzunehmenden Gegenstands 100 entfernt wurde, ist der Fehler beim Extrahieren von Punkten oder Linien durch die Merkmalextrahiereinheit 21A reduziert, wodurch die korrekte Berechnung der Positionen von Punkten oder Linien ermöglicht wird.
Obwohl die Anzeigeeinheit 22 in Schritt ST4a das Bild, auf dem das Vorverarbeiten durchgeführt wurde, auf der Anzeige 5 anzeigt, kann die Anzeigeeinheit das von der Bilderfassungseinheit 20 erfasste Bild unverändert auf der Anzeige 5 anzeigen. Ferner kann die Anzeigeeinheit 22 die obengenannten Merkmalteile auf dem Bild einblenden und das Bild auf der Anzeige 5 anzeigen, nachdem die Farben der von der Merkmalextrahiereinheit 21A extrahierten Merkmalteile geändert wurden, um die Merkmalteile hervorzuheben.
Ferner wird der Fall gezeigt, in dem die Konvertierprozesseinheit 25 eine Konvertierung in ein Bild durchführt, auf dem der aufzunehmende Gegenstand 100 so aussieht, als wäre der aufzunehmende Gegenstand 100 von der Kamera 4 von vorne aufgenommen worden, ist jedoch nicht hierauf beschränkt.
Da beispielsweise die Konvertierprozesseinheit 25 die Aufnahmerichtung des Bildes virtuell ändert, vorausgesetzt, diese Änderung hindert die Merkmalextrahiereinheit 21A nicht am Extrahieren von Merkmalteilen und Berechnen der Positionen der Merkmalteile, kann ein Fall gegeben sein, in dem der aufzunehmende Gegenstand nach dem Vorverarbeiten leicht schräg zu sehen ist.
Wenn die Reihe von in 6 gezeigten Prozessen abgeschlossen ist, führt die Anwendungseinheit 3A einen Vorgang des Anzeigens von AR-Grafiken auf Grundlage der von der Positionskorrekturvorrichtung 2A korrigierten Positionsinformationen durch.
8 ist ein Diagramm, das eine Übersicht über den Vorgang der AR-Anzeige zeigt. Ein von der Kamera 4 aufgenommenes Bild wird auf eine Bildprojektionsebene 200 der Anzeige 5 projiziert.
Ein Benutzer der AR-Anzeigevorrichtung 1A spezifiziert Punkte 200a bis 200d auf dem auf die Bildprojektionsebene 200 projizierten Bild unter Verwendung der Eingabeeinrichtung 6. Die Positionsinformationsbestandteile über die Punkte 200a bis 200d werden von der Positionskorrekturvorrichtung 2A korrigiert.
Auf Grundlage der Positionsinformationsbestandteile über die Punkte 200a bis 200d, die von der Positionskorrekturvorrichtung 2A korrigiert wurden, durchsucht die Anwendungseinheit 3A die DB 7 nach dreidimensionalen Positionsinformationen, die jedem dieser Positionsinformationsbestandteile entspricht. In 8 entsprechen die dreidimensionalen Positionen der Punkte 300a bis 300d im Realraum den vom Benutzer spezifizierten Punkten 200a bis 200d.
Als nächstes berechnet die Anwendungseinheit 3A als Position der Kamera 4 die Position, an der beispielsweise Vektoren (durch gestrichelte Linien in 8 gezeigte Pfeile), die sich von den Punkten 300a bis 300d im realen Raum zu den Punkten 200a bis 200d erstrecken, konvergieren. Ferner berechnet die Anwendungseinheit 3A die Lage der Kamera 4 auf Grundlage der berechneten Position der Kamera 4.
Auf dem von der Kamera 4 aufgenommenen Bild werden auf Grundlage der Position und der Lage der Kamera 4 von der Anwendungseinheit 3A AR-Grafiken eingeblendet und angezeigt.
Obwohl in Ausführungsform 2 der Fall gezeigt wird, in dem die Positionskorrekturvorrichtung 2A einschließlich der Konvertierprozesseinheit 25 in der AR-Anzeigevorrichtung 1A angeordnet ist, kann statt der in Ausführungsform 1 gezeigten Positionskorrekturvorrichtung 2 die Positionskorrekturvorrichtung 2A in der Entfernungsmessvorrichtung 1 angeordnet sein. Durch diese Konfiguration wird ein Fehler beim Extrahieren von Merkmalteilen durch die Merkmalextrahiereinheit 21 reduziert, wodurch die korrekte Berechnung der Positionen von Merkmalteilen ermöglicht wird.
Wie oben angegeben umfasst die Positionskorrekturvorrichtung 2A nach Ausführungsform 2 die Konvertierprozesseinheit 25, die ein von der Bilderfassungseinheit 20 erfasstes Bild in ein Bild konvertiert, auf dem die Aufnahmerichtung virtuell geändert wird. Die Merkmalextrahiereinheit 21A extrahiert mehrere Merkmalteile vom Bild nach der Konvertierung durch die Konvertierprozesseinheit 25. Durch diese Konfiguration wird ein Fehler beim Extrahieren von Merkmalteilen reduziert, wodurch die korrekte Berechnung der Positionen von Merkmalteilen ermöglicht wird.
9A ist ein Blockdiagramm, das eine Hardware-Konfiguration für das Implementieren der Funktionen der Positionskorrekturvorrichtung 2 und Positionskorrekturvorrichtung 2A zeigt. 9B ist ein Blockdiagramm, das eine Hardware-Konfiguration für das Ausführen von Software zum Implementieren der Funktionen der Positionskorrekturvorrichtung 2 und Positionskorrekturvorrichtung 2A zeigt.
In 9A und 9B ist die Kamera 400 eine Kameravorrichtung wie eine stereoskopische Kamera oder eine TOF-Kamera und ist die in 1 und 5 gezeigte Kamera 4. Eine Anzeige 401 ist eine Anzeigeeinrichtung wie eine Flüssigkristallanzeige, eine organische EL-Anzeige oder ein Head-up-Display und ist die in 1 und 5 gezeigte Anzeige 5. Ein Berührungsfeld 402 ist ein Beispiel der in 1 und 5 gezeigten Eingabeeinrichtung 6. Ein Entfernungssensor 403 ist ein Beispiel des in 5 gezeigten Sensors 8.
Jede der Funktionen der Bilderfassungseinheit 20, der Merkmalextrahiereinheit 21, der Anzeigeeinheit 22, der Positionserfassungseinheit 23 und der Positionskorrektureinheit 24 in der Positionskorrekturvorrichtung 2 wird durch eine Verarbeitungsschaltung implementiert.
Insbesondere umfasst die Positionskorrekturvorrichtung 2 eine Verarbeitungsschaltung zum Durchführen jedes im Flussdiagram in 2 gezeigten Prozesses.
Die Verarbeitungsschaltung kann entweder zweckgebundene Hardware oder eine zentrale Verarbeitungseinheit (CPU), die ein in einem Speicher gespeichertes Programm ausführt, sein.
Jede der Funktionen der Bilderfassungseinheit 20, der Merkmalextrahiereinheit 21, der Anzeigeeinheit 22, der Positionserfassungseinheit 23, der Positionskorrektureinheit 24 und der Konvertierprozesseinheit 25 der Positionskorrekturvorrichtung 2A wird durch eine Verarbeitungsschaltung implementiert.
Insbesondere umfasst die Positionskorrekturvorrichtung 2A eine Verarbeitungsschaltung zum Durchführen jedes im Flussdiagram in 6 gezeigten Prozesses.
Die Verarbeitungsschaltung kann entweder zweckgebundene Hardware oder ein Prozessor, der ein in einem Speicher gespeichertes Programm ausführt, sein.
In einem Fall, in dem die Verarbeitungsschaltung eine in 9A gezeigte zweckgebundene Hardware ist, kann die Verarbeitungsschaltung 404 beispielsweise eine Einzelschaltung, eine Verbundschaltung, ein programmierbarer Prozessor, eine anwendungsspezifische integrierte Schaltung (ASIC), ein feldprogrammierbares Gate-Array (PFGA) oder eine Kombination aus diesen Schaltungen sein.
In einem Fall, in dem die Verarbeitungsschaltung ein in 9B gezeigter Prozessor 405 ist, wird jede der Funktionen der Bilderfassungseinheit 20, der Merkmalextrahiereinheit 21, der Anzeigeeinheit 22, der Positionserfassungseinheit 23 und der Positionskorrektureinheit 24 durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert.
Ebenso wird jede der Funktionen der Bilderfassungseinheit 20, der Merkmalextrahiereinheit 21A, der Anzeigeeinheit 22, der Positionserfassungseinheit 23, der Positionskorrektureinheit 24 und der Konvertierprozesseinheit 25 durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert. Die Software oder Firmware wird als Programm beschrieben und das Programm wird in einem Speicher 406 gespeichert.
Der Prozessor 405 implementiert jede der Funktionen der Bilderfassungseinheit 20, der Merkmalextrahiereinheit 21, der Anzeigeeinheit 22, der Positionserfassungseinheit 23 und der Positionskorrektureinheit 24 durch Lesen und Ausführen eines im Speicher 406 gespeicherten Programms.
Insbesondere umfasst die Positionskorrekturvorrichtung 2 den Speicher 406 zum Speichern eines Programms, in dem jeder Prozess in der in 2 gezeigten Reihe von Prozessen als Ergebnis durchgeführt wird, wenn das Programm vom Prozessor 405 ausgeführt wird.
Diese Programme veranlassen den Computer, Abläufe oder Verfahren der Bilderfassungseinheit 20, der Merkmalextrahiereinheit 21, der Anzeigeeinheit 22, der Positionserfassungseinheit 23 und der Positionskorrektureinheit 24 durchzuführen.
Ebenso implementiert der Prozessor 405 jede der Funktionen der Bilderfassungseinheit 20, der Merkmalextrahiereinheit 21A, der Anzeigeeinheit 22, der Positionserfassungseinheit 23 und der Positionskorrektureinheit 24 und der Konvertierprozesseinheit 25 durch Lesen und Ausführen eines im Speicher 406 gespeicherten Programms.
Insbesondere umfasst die Positionskorrekturvorrichtung 2A den Speicher 406 zum Speichern eines Programms, in dem jeder Prozess in der in 2 gezeigten Reihe von Prozessen als Ergebnis durchgeführt wird, wenn das Programm vom Prozessor 405 ausgeführt wird.
Diese Programme veranlassen den Computer, Abläufe oder Verfahren der Bilderfassungseinheit 20, der Merkmalextrahiereinheit 21, der Anzeigeeinheit 22, der Positionserfassungseinheit 23, der Positionskorrektureinheit 24 und der Konvertierprozesseinheit 25 durchzuführen.
Der Speicher 406 ist beispielsweise ein nichtflüchtiger oder flüchtiger Halbleiterspeicher, wie etwa ein Speicher mit wahlfreiem Zugriff (RAM), ein Nur-Lese-Speicher (ROM), ein Flash-Speicher, ein löschbarer programmierbarer ROM (EPROM) oder ein elektrischer EPROM (EEPROM), eine Magnetscheibe, eine Diskette, eine optische Scheibe, eine Compact Disc, eine Minidisk, eine DVD oder dergleichen.
Einige der Funktionen der Bilderfassungseinheit 20, der Merkmalextrahiereinheit 21, der Anzeigeeinheit 22, der Positionserfassungseinheit 23 und der Positionskorrektureinheit 24 können durch zweckgebundene Hardware implementiert werden und einige der Funktionen können durch Software oder Firmware implementiert werden.
Ferner können einige der Funktionen der Bilderfassungseinheit 20, der Merkmalextrahiereinheit 21A, der Anzeigeeinheit 22, der Positionserfassungseinheit 23, der Positionskorrektureinheit 24 und der Konvertierprozesseinheit 25 durch zweckgebundene Hardware implementiert werden und einige der Funktionen können durch Software oder Firmware implementiert werden.
Beispielsweise werden die Funktionen der Merkmalextrahiereinheit 21 und der Anzeigeeinheit 22 durch die Verarbeitungsschaltung 404 als zweckgebundene Hardware implementiert. Die Funktionen der Positionserfassungseinheit 23 und der Positionskorrektureinheit 24 können durch das Lesen und Ausführen eines im Speicher 406 gespeicherten Programms durch den Prozessor 405 implementiert werden.
Auf diese Weise können die Verarbeitungsschaltungen jede der obengenannten Funktionen unter Verwendung von Hardware, Software, Firmware oder einer Kombination von Hardware, Software und Firmware implementieren.
Die vorliegende Offenbarung ist nicht auf die obengenannten Ausführungen beschränkt und es kann eine beliebige Kombination aus zwei oder mehr der oben genannten Ausführungsformen vorgenommen werden, verschiedene Änderungen können an einer beliebigen Komponente in jeder der oben genannten Ausführungsformen vorgenommen werden oder eine beliebige Komponente in jeder der oben genannten Ausführungsformen kann weggelassen werden.
GEWERBLICHE ANWENDBARKEIT
Da die Positionskorrekturvorrichtung nach der vorliegenden Offenbarung in der Lage ist, Positionsinformationen zu korrigieren, auch wenn ein Bild keine Informationen aufweist, die als Bezug für eine Positionskorrektur dienen, kann die Positionskorrekturvorrichtung beispielsweise für Entfernungsmessvorrichtungen oder AR-Anzeigevorrichtungen verwendet werden.
Bezugszeichenliste
1 Entfernungsmessvorrichtung, 1A AR-Anzeigevorrichtung, 2, 2A Positionskorrekturvorrichtung, 3, 3A Anwendungseinheit, 4 Kamera, 4A Bild, 5 Anzeige, 6 Eingabeeinrichtung, 8 Sensor, 20 Bilderfassungseinheit, 21, 21A Merkmalextrahiereinheit, 22 Anzeigeeinheit, 23 Positionserfassungseinheit, 24 Positionskorrektureinheit, 25 Konvertierprozesseinheit, 30 Linie, 31, 31a, 31b, 101a bis 101d, 200a bis 200d, 300a bis 300d Punkt, 100 aufzunehmender Gegenstand, 200 Bildprojektionsebene, 400 Kamera, 401 Anzeige, 402 Berührungsfeld, 403 Entfernungssensor, 404 Verarbeitungsschaltung, 405 Prozessor und 406 Speicher.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2012093948 A [0004]

Claims

Positionskorrekturvorrichtung, umfassend: eine Bilderfassungseinheit zum Erfassen eines Bildes; eine Merkmalextrahiereinheit zum Extrahieren mehrerer Merkmalteile vom von der Bilderfassungseinheit erfassten Bild; eine Anzeigeeinheit zum Durchführen eines Vorgangs des Anzeigens des die Merkmalteile umfassenden Bilds; eine Positionserfassungseinheit zum Erfassen von Positionsinformationen über die Merkmalteile, die auf dem die Merkmalteile umfassenden Bild spezifiziert sind; und eine Positionskorrektureinheit zum Korrigieren der von der Positionserfassungseinheit erfassten Positionsinformationen auf Grundlage von Positionsinformationsbestandteilen über die Mehrzahl von durch die Merkmalextrahiereinheit extrahierten Merkmalteilen.
Positionskorrekturvorrichtung nach Anspruch 1, ferner umfassend eine Konvertierprozesseinheit zum Konvertieren des von der Bilderfassungseinheit erfassten Bilds in ein Bild, auf dem die Aufnahmerichtung virtuell geändert wird, wobei die Merkmalextrahiereinheit mehrere Merkmalteile vom durch die Konvertierprozesseinheit konvertierten Bild extrahiert.
Positionskorrekturvorrichtung nach Anspruch 1 oder 2, wobei die Merkmalextrahiereinheit Punkte im Bild als Merkmalteile extrahiert.
Positionskorrekturvorrichtung nach Anspruch 1 oder 2, wobei die Merkmalextrahiereinheit Linien im Bild als Merkmalteile extrahiert.
Positionskorrekturverfahren, umfassend: Erfassen eines Bilds durch eine Bilderfassungseinheit; Extrahieren mehrerer Merkmalteile vom von der Bilderfassungseinheit erfassten Bild durch eine Merkmalextrahiereinheit; Durchführen eines Vorgangs des Anzeigens des die Merkmalteile umfassenden Bilds durch eine Anzeigeeinheit; Erfassen von Positionsinformationen über die Merkmalteile, die auf dem die Merkmalteile umfassenden Bild spezifiziert sind, durch eine Positionserfassungseinheit; und Korrigieren der von der Positionserfassungseinheit erfassten Positionsinformationen durch eine Positionskorrektureinheit auf Grundlage von Positionsinformationsbestandteilen über die durch die Merkmalextrahiereinheit extrahierte Mehrzahl von Merkmalteilen.
Positionskorrekturverfahren nach Anspruch 5, ferner umfassend Konvertieren, durch eine Konvertierprozesseinheit, des von der Bilderfassungseinheit erfassten Bilds in ein Bild, auf dem die Aufnahmerichtung virtuell geändert wird; und Extrahieren, durch die Merkmalextrahiereinheit, mehrerer Merkmalteile vom durch die Konvertierprozesseinheit konvertierten Bild.