-
GEBIET
-
Ausführungsformen der Erfindung betreffen im Allgemeinen mobile Computervorrichtungen und insbesondere das Erweitern von erfassten Bildern mit zugehörigen Inhalten.
-
HINTERGRUND DER ERFINDUNG
-
Mobile Computervorrichtungen umfassen typischerweise Kameras, Standort- und Orientierungssensoren und immer leistungsstärkere Rechenressourcen. Mobile Computervorrichtungen können auch hohe Bandbreitenverbindungen herstellen, um Cloud-Computerinfrastrukturen und -Serviceanbieter zu nutzen.
-
Die in mobilen Computervorrichtungen enthaltenen Displays können als Live-Bildsucher verwendet werden, um den Nutzern der Vorrichtung die Erfassung von Echtzeitbilddaten (z. B. Fotos, Videos) zu ermöglichen; allerdings sind die meisten Anwendungen nicht in der Lage, die für die mobile Computervorrichtung verfügbaren Rechenressourcen zu nutzen, um Benutzern zusätzliche Informationen zur Verfügung zu stellen, die für den Gegenstand in der angezeigten Live-Ansicht (d. h. dem Bildsucher) relevant sind. Die begrenzte Anzahl an Anwendungen, die versuchen, die Live-Ansicht zu erweitern sind auf die Darstellung grundlegender Informationen beschränkt, wie z. B. den Abstand zwischen dem Benutzer und einem bestimmten Standort, oder grundlegende Informationen über die Umgebung des Benutzers (z. B. die Geschäftsarten in der Live-Ansicht).
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
Die folgende Beschreibung umfasst die Erörterung von Figuren, in denen Illustrationen für Beispiele von Implementierungen der Ausführungsformen der Erfindung angegeben sind. Die Zeichnungen sollten als Beispiel und nicht als Einschränkung verstanden werden. Wie hier verwendet, sollen Verweise auf eine oder mehrere ”Ausführungsformen” als Beschreibung bestimmter Merkmale, Strukturen oder Eigenschaften, die in mindestens einer Implementierung der Erfindung enthalten sind, verstanden werden. Daher beschreiben Satzteile, wie z. B. ”in einer Ausführungsform” oder ”in einer alternativen Ausführungsform”, die in diesem Text enthalten sind, verschiedene Ausführungsformen und Implementierungen der Erfindung und beziehen sich nicht unbedingt alle auf dieselbe Ausführungsform. Allerdings schließen sie sich auch nicht unbedingt gegenseitig aus.
-
1 zeigt ein Beispiel einer erweiterten 3D-Ansicht, die gemäß einer Ausführungsform der Erfindung auf einer mobilen Computervorrichtung dargestellt wird.
-
2 ist ein Ablaufdiagramm eines Prozesses gemäß einer Ausführungsform der Erfindung.
-
3 zeigt Bilddaten, 3D-Punktwolkendaten und Flächensegmente, die von Ausführungsformen der Erfindung verarbeitet werden können.
-
4 ist ein Ablaufdiagramm für die Verarbeitung von 3D-Punktwolkendaten und das Extrahieren von Flächensegmenten gemäß einer Ausführungsform der Erfindung.
-
5 ist ein Ablaufdiagramm eines Prozesses zum Verfeinern extrahierter Ebenen gemäß einer Ausführungsform der Erfindung.
-
6 zeigt das Cluster von Flächensegmenten gemäß einer Ausführungsform der Erfindung.
-
7 ist ein Ablaufdiagramm eines Prozesses zum Einbinden von Flächensegmenten gemäß einer Ausführungsform der Erfindung.
-
8 zeigt einen visuellen Merkmalsabgleich und eine Extraktion von Flächensegmenten gemäß einer Ausführungsform der Erfindung.
-
9 ist ein Blockdiagramm eines Systems, das eine Ausführungsform der Erfindung umfassen kann.
-
Beschreibungen bestimmter Details und Implementierungen folgen, einschließlich einer Beschreibung der Figuren, die einige oder alle der im Folgenden beschriebenen Ausführungsformen zeigen, sowie eine Erörterung weiterer möglicher Ausführungsformen oder Implementierungen der hier dargestellten vorliegenden Erfindung. Eine Übersicht der Ausführungsformen der Erfindung wird im Folgenden gegeben, gefolgt von einer detaillierteren Beschreibung mit Bezugnahme auf die Zeichnungen.
-
DETAILLIERTE BESCHREIBUNG
-
Ausführungsformen der Erfindung beziehen sich auf Systeme, Einrichtungen und Verfahren zum Bereitstellen von Bilddaten, die durch zugehörige Daten erweitert werden, um auf einer mobilen Computervorrichtung dargestellt zu werden. Ausführungsformen der Erfindung beschreiben das Verarbeiten von ersten Bilddaten und 3D-Punktwolkendaten zum Extrahieren eines ersten Flächensegments aus den 3D-Punktwolkendaten. Dieses erste Flächensegment ist mit einem in den ersten Bilddaten enthaltenen Objekt verknüpft. Zweite Bilddaten werden empfangen (z. B. über einen in einer mobilen Computervorrichtung enthaltenen Bildsensor erfasst), wobei die zweiten Bilddaten das in den ersten Bilddaten erfasste Objekt enthalten. Ein zweites zu dem Objekt zugehöriges Flächensegment wird erzeugt, wobei das zweite Flächensegment mit dem Objekt, wie es in den zweiten Bilddaten erfasst wurde, geometrisch übereinstimmt. Wie im Folgenden beschrieben wird dieses Flächensegment zumindest teilweise basierend auf den zweiten Bilddaten, den ersten Bilddaten und dem ersten Flächensegment erzeugt.
-
Ausführungsformen der Erfindung können die zweiten Bilddaten weiterhin durch Inhalte erweitern, die mit dem Objekt (z. B. Text, Bildern oder Videos oder einer 3D-Struktur) verknüpft sind. Diese erweiterten Inhalte können angezeigt werden, z. B. auf einem in der mobilen Computervorrichtung enthaltenen Display, wobei die Inhalte geometrisch übereinstimmend mit dem zweiten Flächensegment dargestellt werden.
-
1 zeigt ein Beispiel einer erweiterten 3D-Ansicht, die gemäß einer Ausführungsform der Erfindung auf einer mobilen Computervorrichtung dargestellt wird. Die mobile Computervorrichtung 100 umfasst das Display 110. Die Vorrichtung 100 kann ein beliebiges portables Computersystem sein, wie z. B. ein Laptop-Computer, ein Tablet-Computer, ein Smartphone, eine tragbare Computervorrichtung, ein Fahrzeug-Computersystem usw.
-
In diesem Beispiel umfasst das Display 110 eine Echtzeitansicht 120 der Umgebung eines Benutzers über einen in der Vorrichtung 100 (nicht dargestellt) enthaltenen Bildsensor (z. B. eine Kamera). Es versteht sich, dass die Vorrichtung 100 durch die Darstellung der Echtzeitansicht 120 als Bildsucher funktionieren kann, der Bilddaten (z. B. Bilder, Video) anzeigt, um es dem Benutzer zu ermöglichen, das Ziel des Bildsensors der Vorrichtung zu beobachten.
-
In dieser Ausführungsform wird die Echtzeitansicht 120 durch Flächensegmente 130, 140 und 150 erweitert. Die Flächensegmente 130, 140 und 150 entsprechen Objekten, die in der Ansicht 120 ermittelt wurden. In diesem Beispiel entsprechen die Flächensegmente 130, 140 und 150 Gebäuden 131, 141 und 151 in einer Ansicht 120.
-
Die Flächensegmente 130, 140 und 150 werden aus 3D-Informationen, die zur Ansicht 120 gehören, durch im Folgenden beschriebene Prozesse extrahiert. Jedes Flächensegment ist eine geometrisch übereinstimmende Flächenebene der jeweiligen Objekte in der Echtzeitansicht 120 (d. h. in diesem Beispiel, übereinstimmend mit den Vorderseiten der Gebäude 131, 141 und 151 wie in Display 110 dargestellt).
-
In dieser Ausführungsform umfassen die Flächensegmente 130, 140 und 150 Daten, die zu ihren jeweiligen Objekten in der Echtzeitansicht 120 gehören. Das Flächensegment 130 umfasst ein Bild, das zum Gebäude gehört (in diesem Beispiel ein Bild des Benutzers im Gebäude 131). Das Flächensegment 140 umfasst Textdaten, die zu einem in dem Gebäude operativ tätigen Geschäft gehören, innerhalb des mindestens einen Flächensegments auf einem Display der mobilen Computervorrichtung. In diesem Beispiel kennzeichnen die Textdaten das in Gebäude 141 enthaltene Geschäft. Das Flächensegment 150 umfasst Videodaten, die im Gebäude 151 erfasst wurden. Die in jedem der Flächensegmente enthaltenen erweiterten Inhalte stimmen mit den jeweiligen Flächensegmenten geometrisch überein (d. h. stimmen geometrisch mit der Flächenebene der jeweiligen Objekte in der Echtzeitansicht 120 überein). Die erweiterten Inhalte können beispielsweise im Speicher der Vorrichtung 100 enthalten sein oder über eine Netzwerkverbindung (z. B. drahtlose Internetverbindung) von einer Datenbank erhalten werden.
-
2 ist ein Ablaufdiagramm eines Prozesses gemäß einer Ausführungsform der Erfindung. Die hier dargestellten Ablaufdiagramme zeigen Beispiele für Sequenzen verschiedener Prozessaktionen. Auch wenn sie in einer bestimmten Sequenz oder Reihenfolge dargestellt sind, kann die Reihenfolge der Aktionen, sofern nicht anders angegeben, geändert werden. Demnach sollten die dargestellten Implementierungen nur als Beispiele verstanden werden, und die dargestellten Prozesse können in einer anderen Reihenfolge ausgeführt werden, und einige Aktionen können parallel ausgeführt werden. Darüber hinaus kann bzw. können eine bzw. mehrere Aktionen in verschiedenen Ausführungsformen ausgelassen werden; demnach sind nicht alle Aktionen in jeder Implementierung erforderlich. Weitere Prozessabläufe sind möglich.
-
Bilddaten (hier alternativ auch als ”vorab gespeicherte” Bilddaten bezeichnet, um die Daten von den Bilddaten zu unterscheiden, die durch die mobile Computervorrichtung erfasst werden) und 3D-Punktwolkendaten, die den Bilddaten entsprechen, werden verarbeitet, um mindestens ein Flächensegment 200 zu extrahieren. In einigen Ausführungsformen, wie im Folgenden beschrieben, werden diese 3D-Punktwolkendaten vorab verarbeitet, um die Daten besser auf nachfolgende Operationen anzupassen (z. B. werden die Daten basierend auf der Auflösung der erfassten Bilddaten oder den auf dem mobilen Computersystem verfügbaren Rechenressourcen heruntergetaktet).
-
In einer Ausführungsform sind die vorab gespeicherten Bilddaten ein Bild von mindestens einem Objekt. Das extrahierte Flächensegment wird mit dem Objekt verknüpft. Beispielsweise können die vorab gespeicherten Bilddaten, wie zuvor beschrieben, ein Bild eines Gebäudes enthalten, wobei das extrahierte Flächensegment eine Ebene des Gebäudes sein wird.
-
Bilddaten des Objekts werden über einen Bildsensor erfasst, der in einer mobilen Computervorrichtung 210 enthalten ist. Es versteht sich, dass die erfassten Bilddaten folgendes enthalten können: ein statisches Bild, Videodaten oder eine Echtzeitdarstellung des Ziels des Bildsensors (z. B. der Live-Ansicht von 1) Es wird ein zweites Flächensegment erzeugt, wobei das zweite Flächensegment zum Objekt im erfassten Bild 220 gehört. Dieses Flächensegment stimmt geometrisch mit dem Objekt überein, wie es in den erfassten Bilddaten dargestellt wird (z. B. eine Seite eines Gebäudes, das in der erfassten Live-Ansicht wie in 1 beschrieben enthalten ist). Das zweite Flächensegment kann zumindest teilweise basierend auf den erfassten Bilddaten, den in Operation 200 beschriebenen vorab gespeicherten Daten und dem mindestens einen in Operation 200 beschriebenen Flächensegment erzeugt werden.
-
Das zweite Flächensegment wird mit den erfassten Bilddaten integriert (hier alternativ als registriert bezeichnet) 230. In einer Ausführungsform gehören die erfassten Bilddaten zu einer Live-Ansicht einer mobilen Computervorrichtung, und somit wird das mindestens eine Flächensegment mit der Live-Ansicht integriert.
-
Die erfassten Bilddaten werden mit zusätzlichen Inhalten im zweiten Flächensegment erweitert, 240. Die zusätzlichen Inhalte gehören zum jeweiligen Objekt, das von dem mindestens einen Flächensegment dargestellt wird. Es versteht sich, dass die zusätzlichen Inhalte geometrisch übereinstimmend mit dem zweiten Flächensegment im erweiterten Bild angezeigt werden, 250.
-
3 zeigt Bilddaten, 3D-Punktwolkendaten und Flächensegmente, die von Ausführungsformen der Erfindung verarbeitet werden können. Die 3D-Punktwolke 350 entspricht dem vorab gespeicherten 2D-Bild 300 des Gebäudes 305. Jeder 3D-Punkt in der Wolke 350 stellt den tatsächlichen 3D-Standort eines Pixels des Bildes 300 dar. Einige Pixel im Bild 300 haben möglicherweise keinen entsprechenden 3D-Punkt, z. B. Pixel im Himmel.
-
In einigen Ausführungsformen werden 3D-Punktwolkendaten 350 in ein Koordinatensystem umgewandelt, das für die nachfolgende Verarbeitung besser geeignet ist. Wenn beispielsweise die 3D-Punktwolkendaten 350 im Format ”Breitengrad, Längengrad und Höhe” vorliegen, ist es möglicherweise nützlicher, das Format in ein lokales Koordinatensystem, wie z. B. ENU-System (East-North-Up) umzuwandeln, damit die Werte der Koordinaten kleiner sind (d. h. im Vergleich zu Koordinaten in einem System mit dem Erdmittelpunkt als Ursprung). Diese Umwandlung kann die vertikale und horizontale Ausrichtung der 3D-Punktwolkendaten 350 besser vermitteln.
-
In einigen Ausführungsformen entstehen 3D-Punktwolkendaten 350 aus einem größeren Satz mit 3D-Punktwolkendaten, die für die Beschleunigung der Berechnung unterabgetastet werden. Dies kann durch das Downsampling bzw. die Verringerung der Bildpunkte des vorab gespeicherten Bildes oder der entsprechenden 3D-Punktwolke erreicht werden. Beispiel: Für ein 300 × 500 Bild muss die Größe der entsprechenden 3D-Punktwolkendaten aus bis zu 150.000 Punkten bestehen. Durch Sampling bzw. Abtasten des Bildes mit einer Rate 10 in sowohl horizontalen als auch vertikalen Dimensionen kann die Anzahl der 3D-Punkte auf 1.500 Punkte reduziert werden.
-
Um die Ebenen aus den 3D-Punktwolkendaten 350 zu extrahieren, können die Ausführungsformen der Erfindung einen RANSAC-Ansatz (Random Sample Consensus, deutsch etwa „Übereinstimmung mit einer zufälligen Stichprobe”) übernehmen und sowohl das vorab gespeicherte Bild 300 als auch die 3D-Punktwolkendaten 350 kombinieren, um den Abtastprozess lieber in RANSAC als durch willkürliches Abtasten der 3D-Punktwolkendaten zu führen. 4 ist ein Ablaufdiagramm für die Verarbeitung von 3D-Punktwolkendaten und das Extrahieren von Flächensegmenten nach einer Ausführungsform der Erfindung.
-
Nref Pixel von einem Bild werden zufällig ausgewählt 410. Eine Reihe von Operationen wird für jedes Pixel ausgeführt (d. h. ein Referenz-Pixel wird ausgewählt 420). Diese Operationen werden im Folgenden beschrieben.
-
In einer örtlichen Umgebung, d. h. ein W × W-Fenster um das Referenz-Pixel, werden zwei weitere Pixel zufällig ausgewählt, sodass die drei Pixel nicht kollinear sind 430. Die Normale Nref in IR3 zur Ebene (Pref), die durch die 3D-Punkte gebildet wird, die den drei Pixeln entsprechen, wird als ein Vektorprodukt berechnet 440. Für diese Operation kann vorausgesetzt werden, dass es für 3D-Punkte, die benachbarten Pixeln entsprechen, wahrscheinlicher ist, dass sie auf derselben Ebene liegen. Folglich versteht es sich, dass sich durch Anwenden dieser Positionsbeschränkung zum Ermitteln koplanarer 3D-Punkte die Verarbeitung entsprechend der Ausführungsform im Vergleich zum willkürlichen Abtasten der 3D-Punktwolkendaten auf dominanten Ebenen schneller annähert.
-
Für jeden 3D-Punkt, (hier als Punkt M in IR3 bezeichnet) wird festgestellt, ob er auf der Ebene (Pref) liegt und sein Projektionsfehler auf der Ebene (Pref: E = [nref.(M-Mref)]2) wird berechnet, wobei Mref der 3D-Punkt ist, der dem Referenzpixel entspricht, 450. Wenn der Fehler E kleiner als die Toleranzgrenze ε ist, d. h. E < ε, dann wird angenommen, dass der Punkt M auf der Ebene liegt (Pref) 460.
-
Der standardisierte Wert der Ebene (Pref) wird dann als normalisierte Zahl an ”zugehörigen” 3D-Punkten berechnet: scoreref = |{M in (Pref)}|/N, wobei N die Gesamtzahl der Punkte in den 3D-Punktwolkendaten ist 470.
-
Der größte standardisierte Wert in den von Nref erhaltenen standardisierten Werten wird ausgewählt 480. Wenn dieser größer als die Grenze L ist, d. h. scoreref > L, dann wird die Ebene (Pref) als eine ”extrahierte” Ebene ausgewählt, und die Kleinste-Quadrate-Schätzung des Normalenvektors und Fehlers wird erhalten 490. Alle Punkte M, die zur extrahierten Ebene ”gehören”, d. h. deren Projektionsfehler für diese Ebene kleiner als die Toleranzgrenze ε von der 3D-Punktwolke ist, können aus der nachfolgenden Verarbeitung ausgeschlossen werden.
-
Sobald alle Ebenen extrahiert wurden, und wobei davon ausgegangen wird, dass mehr als eine Ebene extrahiert wurde, können Ausführungsformen der Erfindung die extrahierten Ebenen weiterhin verfeinern. 5 ist ein Ablaufdiagramm eines Prozesses zum Verfeinern extrahierter Ebenen gemäß einer Ausführungsform der Erfindung.
-
Zu einem vorab gespeicherten Bild zugehörige Daten können zum Bestimmen von Kriterien zum Filtern fehlerhafter Ebenen verwendet werden 500. Beispiel: In urbanen Szenen sind Gebäude typischerweise die dominanten Strukturen. Daher muss für den Erhalt von groben 3D-Modellen, wenn es sich bei dem vorab gespeicherten Bild um eine urbane Szene handelt, dann davon ausgegangen werden, dass die meisten Ebenen voraussichtlich entweder vertikal oder horizontal sind.
-
Ebenen, die diese Filterkriterien nicht erfüllen, werden eliminiert 510. Daher werden in diesem Beispiel die extrahierten Ebenen, die weder vertikal noch horizontal sind, eliminiert und die 3D-Punkte, die zu ihnen gehören, werden nicht zu einer beliebigen Ebene zugewiesen.
-
Jede der nicht eliminierten Ebenen kann auch mit ähnlich verarbeiteten Ebenen verglichen werden, d. h. Ebenen mit ähnlichen Normalenvektoren und Fehlern, und nur die extrahierte Ebene mit der größten Anzahl an Punkten wird beibehalten, 520.
-
Wenn keine verbleibenden Ebenen mehr zum Verarbeiten übrig sind, 525, werden die übrigen 3D-Punkte, die keiner Ebene zugewiesen sind, verarbeitet, 530. Für jeden übrigen nicht zugewiesenen 3D-Punkt wird sein Projektionsfehler zu jeder verfeinerten extrahierten Ebene berechnet und der Mindesprojektionsfehler und die entsprechende Ebene (Pmin) werden ausgewählt, 540. Die Toleranzgrenze kann von ε auf ε' = Faktor × ε erhöht werden. Wenn der Mindestprojektionsfehler geringer als ε', 545, dann wird der 3D-Punkt der entsprechenden Ebene (Pmin) zugewiesen, 550; andernfalls wird er verworfen, 555. Beispiel: Angenommen, die resultierenden extrahierten Ebenen für 3D-Punktwolkendaten 350 wären Ebenen 390, 391 und 392.
-
Demnach kann das Ergebnis des Beispielprozesses, der durch 5 beschrieben wird, eine Maske der 3D-Punktwolkendaten sein, die jeden 3D-Punkt und seinen entsprechenden Pixel einer Ebene zuordnet. Diese Maske kann für die Erstellung einer kompakteren und höheren Darstellung der erfassten Bilddaten verwendet werden. In 3 haben die meisten der 3D-Punkte/Pixel der rechten Gebäudewand 305 dieselbe Farbe (z. B. grün, auch wenn dies nicht in Farbe in der Figur dargestellt ist). Anstatt diese Daten als Paare von 3D-Punkten/Pixeln und entsprechenden Ebenenindizes zu speichern, können Ausführungsformen der Erfindung den Gesamtbereich angeben, der von den grün-codierten Pixeln auf der rechten Wand belegt ist (z. B. Bestimmen des Bounding-Polygons). Darüber hinaus können die Bereiche, die weit voneinander entfernt liegen und sich in derselben Ebene befinden, als Cluster angeordnet sein. Informationen höherer Ebene bezüglich des Gebäudes 305 können für das passende Cluster der Ebenen erhalten werden. Beispiel: Die gleichfarbigen Pixel können in separaten Cluster angeordnet werden, die zwei verschiedenen Abschnitten der rechten Gebäudewand 305 entsprechen, wie in 6 gezeigt.
-
In dieser Ausführungsform umfassen die 3D-Punktwolkendaten 350 die Cluster 600 und 610, die der rechten Gebäudewand 350 entsprechen (wie in 3 beschrieben). Informationen hoher Ebene können verwendet werden, um zu bestimmen, ob sich auf der Wand eine Werbetafel befindet. Ausführungsformen der Erfindung können daher Flächensegmente gemäß jedes einzelnen Segments der Wand custern – d. h. das Cluster 600 wächst in das Flächensegment 620 (das der Wand entspricht) und das Cluster 610 in das Flächensegment 630 (das der Werbetafel entspricht) hinein.
-
Im Fall von Gebäuden kann das gewünschte Endergebnis ein Satz angrenzender Rechtecke der Gebäudewände sein. Wenn die 3D-Punktwolkendaten und das vorab gespeicherte Bild zu einer urbanen Gegend gehören, kann angenommen werden, dass die meisten 3D-Punkte, die zu vertikalen Ebenen gehören, den Wänden des Gebäudes entsprechen. Daher ist das Ziel, sich an die vertikalen Flächensegmente durch Rechtecke anzunähern, gerechtfertigt.
-
In einer Ausführungsform der Erfindung werden die Informationen sowohl im Bild als auch in den 3D-Punktwolkendaten wirksam zum Cluster von Ebenen durch Verwenden von Bereichswachstum in der 3D-Punktwolke eingesetzt. Der Ähnlichkeitsabstand zwischen zwei 3D-Punkten ist der Abstand in Pixeln zwischen den entsprechenden Pixeln. Das Verarbeiten von Operationen kann sich über jeder Ebene wiederholen, eine Anzahl von n Kernen wird gewählt und Flächensegmente entstehen um sie herum.
-
7 ist ein Ablaufdiagramm eines Prozesses zum Einbinden von Flächensegmenten gemäß einer Ausführungsform der Erfindung. Der Prozess 700 wird auf die Segmente in einem Cluster ausgeführt, das zu einer wie oben beschriebenen urbanen Kulisse gehört. Beim weiteren Anwenden von Ausführungsformen der Erfindung auf ein bekanntes Bild einer urbanen Kulisse als ein Beispiel werden vertikale Segmente ausgewählt, 710. Für jedes vertikale Segment werden zwei 3D-Extrempunkte mit maximalen und minimalen vertikalen Koordinaten gefunden, 720. Somit werden die oberen und unteren horizontalen Kanten der Bounding-Box erlangt und die Richtung in der Ebene kann basierend auf diesen Punkten bestimmt werden, 730. Die anderen beiden 3D-Extrempunkte, die maximale und minimale Koordinaten in der horizontalen Richtung innerhalb des Segments haben, werden auch gefunden, 740. Mithilfe dieser Extrempunkte und der Ebenrichtung können die zwei vertikalen Kanten der Bounding-Box dieses Segments bestimmt werden, 750.
-
In einigen Ausführungsformen können mehrere 2D-Bilder eines Objekts oder einer Szene von verschiedenen Blickwinkeln gemeinsam mit und entsprechend der 3D-Punktwolkendatensätzen aus unterschiedlichen Blickwinkeln vorab gespeichert werden. Diese Punktwolkendatensätze können überlappen. In diesen Ausführungsformen können alle Punktwolkendaten zusammengefasst werden, um die Genauigkeit der extrahierten Flächensegmente zu verbessern. Zum Identifizieren der überlappenden Bereiche können die Sätze der Punktwolkendaten auf eine örtliche Umgebung beschränkt werden, und zugehörige Punktwolkeninformationen können zusammengefasst werden.
-
Es versteht sich, dass die verschiedenen Aufgaben zum Extrahieren von Ebenen, Kombinieren von Punktwolkendaten und zum Entfernen von Rauschen in unterschiedlichen Reihenfolgen in verschiedenen Prozessen ausgeführt werden können. In einer Ausführungsform wird jeder einzelne Satz mit Punktwolkendaten als ein Satz mit Rauschen in den Messungen (die Quellen für das Rauschen können die Messunsicherheit, ihre Ausrichtung, Sensorrauschen usw. umfassen) der tatsächlichen 3D-Punkte modelliert. Danach können eine Schätzung der Statistiken für das Rauschen und die ursprünglichen 3D-Punkte in den überlappenden Bereichen erlangt werden. Diese Statistiken für Rauschen können für den Erhalt besserer Schätzungen für die 3D-Punkte für alle Sätze mit Punktwolkendaten verwendet werden, um die Ebenen zu extrahieren. Es versteht sich, dass die 3D-Punkte in dem Überlappungsbereich die genausten Schätzungen aufweisen, und daher kann diesen Punkten eine Priorität beim Schätzen der Ebenen gegeben werden, zu denen sie gehören (beispielsweise können gewichtete kleinste Quadrate für eine Schätzung der Ebenenparameter verwendet werden, wobei diesen Punkten mehr Gewichtungen zugewiesen werden).
-
In einer anderen Ausführungsform wird das Extrahieren von Ebenen für jeden einzelnen Satz mit 3D-Punktwolkendaten separat ausgeführt. Überlappende Ebenen können basierend auf ihren ähnlichen Normalenvektoren und deren lokale Nähe ermittelt werden. Für jeden Satz überlappender Ebenen werden alle zugehörigen 3D-Punktwolkendaten erfasst, um eine neue (d. h. genauere) Schätzung der Ebene basierend auf dieser größeren Sammlung Punkte zu erstellen.
-
In einer Ausführungsform werden zugehörige Informationen zur Konfidenz bzw. Zuverlässigkeit, die mit den 3D-Punktwolkendaten verknüpft sind, erhalten. Diese zusätzlichen Informationen können gemeinsam mit den 3D-Punktwolkendaten wirksam eingesetzt werden, um die Zuverlässigkeit für 3D-Punktmessungen abzuleiten.
-
Beispielsweise kann der oben beschriebene Algorithmus zum Extrahieren von Ebenen angepasst werden, indem die 3D-Punkte mit höherer Wahrscheinlichkeit mehr zu der Schätzung der Ebenen beitragen dürfen. Das Abtastverfahren in RANSAC kann beeinflusst sein, um mehr der von den zuverlässigeren 3D-Punkten abzutasten. Darüber hinaus können eher gewichtete kleinste Quadrate als nur kleinste Quadrate für die Schätzung der Ebenenparameter verwendet werden. Die Gewichtungen wären proportional oder eine steigende Funktion der Zuverlässigkeitswerte der 3D-Punkte.
-
In einer Ausführungsform können Farbinformationen verwendet werden, um Ebenen genauer aus 3D-Punktwolkendaten zu extrahieren. Beispielsweise können sowohl Farbinformationen als auch Pixelabstand kombiniert werden, um den Ähnlichkeitsabstand des oben beschriebenen wachsenden Bereichswachstumsprozesses zu bilden. In dieser Ausführungsform tendieren 3D-Punkte, die sich in derselben Ebene befinden und einen kleinen Pixelabstand sowie ähnliche Farben haben (d. h. sie entsprechen den Pixeln in derselben Farbe in den vorab gespeicherten Bildern) dazu, demselben Flächensegment zugewiesen zu werden.
-
Es versteht sich, dass die Flächensegmente, die aus den 3D-Punktwolkendaten extrahiert werden, ein grobes 3D-Modell der vorab gespeicherten Bilddaten bilden. Diese Daten können zum Extrahieren eines Flächensegments aus den erfassten Bilddaten verwendet werden. Daher können die Flächensegmente im 3D-Modell mit den erfassten Bilddaten und den vorab gespeicherten Bilddaten verarbeitet (d. h. integriert) werden, wodurch es möglich wird, erfasste Bilddaten mit dem groben 3D-Modell zu registrieren.
-
Durch die Registrierung des groben 3D-Modells wird es mehreren Anwendungen ermöglicht, Daten innerhalb der jeweiligen Flächensegmente (d. h. statische Bilder und Video) zu projizieren. Mit anderen Worten: Der Benutzer kann ein Bild mit der mobilen Computervorrichtung aufnehmen und es in der richtigen Perspektive im Modell entweder auf einer mobilen Computervorrichtung oder auf dem Desktop registrieren. Ähnlich wie bei Videobilddaten kann die registrierte Live-Ansicht in Echtzeit um weitere Informationen, wie z. B. Text, Bilder, Videos oder eine 3D-Struktur erweitert werden, die in der richtigen Perspektive hinzugefügt werden (wie z. B. in 1 beschrieben).
-
In einer Ausführungsform verwendet eine mobile Computervorrichtung Systemkomponenten und Anwendungen (z. B. Global Positioning System(GPS)-Sensoren, Funk- oder WiFi-Netzwerkverbindungen, Orientierungssensoren), um den Standort der Vorrichtung und den Blickwinkel ihres Bildsensors einzugrenzen. Auf Seiten des groben 3D-Modells können Standort- und Orientierungsinformationen gemeinsam mit zugehörigen vorab gespeicherten Bilddaten (d. h. Referenzmodelle) des ungefähren Standorts, dessen Ansichten nahe der ungefähren Ansicht sind, verwendet werden, um visuelle Merkmale aus diesen Bildern zu extrahieren. Somit erzeugt die obige Verarbeitung Flächensegmente mit entsprechenden visuellen Merkmalen, d. h. die Referenzmodelle, die von den Registrierungsprozessen verwendet werden sollen.
-
In einer Ausführungsform werden die visuellen Merkmale aus dem Bild oder dem Videoframe auf der mobilen Vorrichtung extrahiert und mit den visuellen Merkmalen in den Referenzmodellen (d. h. vorab gespeicherten Bildern) abgeglichen. 8 zeigt diese Art von Abgleich.
-
Mehrere Homografien 810 werden von den Übereinstimmungen der Punkte 820 des vorab gespeicherten Bildes 830 des Objekts 800 im erfassten Bild 890 geschätzt (in diesem Beispiel ist das Objekt 800 ein Gemälde an einer Wand). In diesem Beispiel ist die Annahme einer Homografie-Transformation wegen der in der Szene und vom Objekt 800 angenommenen Flächenstruktur gültig. Danach wird jede Homografie-Matrix in die Bildsensorrotation und Umwandlungsparameter zerlegt. Diese einzelnen Parameter können kombiniert werden, um eine rauschärmere Version der Rotations- und Umwandlungsparameter für die Erzeugung eines übereinstimmenden Ebenenobjekts 830 zu erhalten.
-
Daher können das Objekt 800 und die Perspektive, in der es von einem Bildsensor erfasst wurde, identifiziert werden. Zugehörige Bilddaten können innerhalb des Flächensegments 850, das dem Objekt entspricht (z. B. wie oben beschrieben ein Symbol, Textdaten, Bilddaten), gezeigt werden.
-
9 ist ein Blockdiagramm eines Systems, das eine Ausführungsform der Erfindung umfassen kann. System 900 kann das Modul für die Vorabverarbeitung 910 zum Ausführen von Operationen im Zusammenhang mit vorab gespeicherten Bildern und 3D-Punktwolkendaten umfassen, um Flächensegmente wie oben beschrieben zu erzeugen. System 900 kann ferner einen Bildsensor 920 zum Erfassen von Bilddaten wie oben beschrieben umfassen.
-
Das Modul für das Extrahieren von Ebenen 930 kann vorab die gespeicherten Bilder, die erfassten Bilder und ihre zugehörigen Flächensegmente verarbeiten, um eine Ebene zu extrahieren, die wie oben beschrieben zu einem Objekt gehört. Das Registrierungsmodul 940 kann die erfassten Bilddaten mit zugehörigen Inhalten in dem extrahierten Flächensegment wie oben beschrieben erweitern. Die erweiterten Bilddaten können auf einem Display 950 angezeigt werden.
-
In dieser Ausführungsform werden die Module 910, 930 und 940 über den Prozessor 960 ausgeführt. Alle oben beschriebenen Komponenten des Systems 900 können über den Bus 970 wirksam miteinander gekoppelt werden. Es versteht sich, dass die verschiedenen Module, die in 9 beschrieben sind, alle in einer mobilen Computervorrichtung oder separat in unterschiedlichen Standorten (d. h. eines oder alle der Module in 9 können in einem Server enthalten sein, der über eine Schnittstelle mit einer mobilen Computervorrichtung für die Bereitstellung von ”Backend-Verarbeitung” verbunden ist) enthalten sein können. Ferner versteht es sich, dass es sich bei den zu den beschriebenen Modulen zugehörigen Operationen nur um Beispielausführungen handelt, und dass jede der oben beschrieben Operationen über mehrere wirksam miteinander gekoppelte Vorrichtungen ausgeführt werden kann.
-
Verschiedene Komponenten, die im vorliegenden Text als Prozesse, Server oder Werkzeuge beschrieben sind, können Mittel zum Ausführen der beschriebenen Funktionen sein. Jede im vorliegenden Text beschriebene Komponente umfasst Software oder Hardware oder eine Kombination davon. Jede einzelne und alle Komponenten können als Softwaremodule, Hardwaremodule, Spezialhardware (z. B. anwendungsspezifische Hardware, ASICs, DSPs usw.) implementiert werden, eingebettete Controller, festverdrahtete Schaltkreise, Hardwarelogik usw. Softwareinhalte (z. B. Daten, Anweisungen, Konfiguration) können über einen Fertigungsartikel bereitgestellt werden, umfassend ein nicht transitorisches, greifbares computer- oder maschinenlesbares Speichermedium, das Inhalte bereitstellt, die ausführbare Anweisungen darstellen. Die Inhalte können dazu führen, dass ein Computer verschiedene im vorliegenden Text beschriebene Funktionen/Operationen ausführt. Ein computerlesbares Speichermedium umfasst Mechanismen, die Informationen in einer Form bereitstellen (d. h. speichern und/oder übertragen), die von einem Computer (z. B. Computervorrichtung, elektronisches System usw.) abgerufen werden können, wie z. B. aufzeichnungsfähige/nicht-aufzeichnungsfähige Medien (z. B. Read Only Memory (ROM), Random Access Memory (RAM), Magnetplattenspeichermedien, optische Speichermedien, Flashspeichervorrichtung usw.). Die Inhalte können direkt ausführbar (”Objekt” oder ”ausführbare” Form), Quellcode oder Differenzcode (”Delta”- oder ”Patch”-Code) sein. Ein computerlesbares Speichermedium kann auch Speicher oder eine Datenbank umfassen, aus dem bzw. der Inhalte heruntergeladen werden können. Ein computerlesbares Medium kann auch eine Vorrichtung oder ein Produkt umfassen, auf der bzw. dem zum Zeitpunkt des Verkaufs oder der Lieferung Inhalte gespeichert sind. Daher kann die Auslieferung einer Vorrichtung mit gespeicherten Inhalten oder das Angebot von Inhalten zum Download über ein Kommunikationsmedium als Bereitstellen eines Fertigungsartikels mit derartigen im vorliegenden Text beschriebenen Inhalten verstanden werden.
