DE112011103221T5 - Extend image data based on related 3D point cloud data - Google Patents

Extend image data based on related 3D point cloud data Download PDF

Info

Publication number
DE112011103221T5
DE112011103221T5 DE112011103221T DE112011103221T DE112011103221T5 DE 112011103221 T5 DE112011103221 T5 DE 112011103221T5 DE 112011103221 T DE112011103221 T DE 112011103221T DE 112011103221 T DE112011103221 T DE 112011103221T DE 112011103221 T5 DE112011103221 T5 DE 112011103221T5
Authority
DE
Germany
Prior art keywords
image data
point cloud
data
area segment
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112011103221T
Other languages
German (de)
Inventor
Maha El Choubassi
Igor V. Kozintsev
Yi Wu
Yoram Gat
Horst W. Haussecker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of DE112011103221T5 publication Critical patent/DE112011103221T5/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Ausführungsformen der Erfindung beschreiben das Verarbeiten von ersten Bilddaten und 3D-Punktwolkendaten zum Extrahieren eines ersten Flächensegments aus den 3D-Punktwolkendaten. Dieses erste Flächensegment ist mit einem in den ersten Bilddaten enthaltenen Objekt verknüpft. Zweite Bilddaten werden empfangen, wobei die zweiten Bilddaten das in den ersten Bilddaten erfasste Objekt enthalten. Ein zweites zu dem Objekt zugehöriges Flächensegment wird erzeugt, wobei das zweite Flächensegment mit dem Objekt, wie es in den zweiten Bilddaten erfasst wurde, geometrisch übereinstimmt. Dieses Flächensegment wird zumindest teilweise basierend auf den zweiten Bilddaten, den ersten Bilddaten und dem ersten Flächensegment erzeugt.
Ausführungsformen der Erfindung können die zweiten Bilddaten mit Inhalten erweitern, die mit dem Objekt verknüpft sind. Dieses erweiterte Bild kann derart angezeigt werden, dass die Inhalte geometrisch übereinstimmend mit dem zweiten Flächensegment angezeigt werden.Embodiments of the invention describe processing first image data and 3D point cloud data to extract a first area segment from the 3D point cloud data. This first area segment is linked to an object contained in the first image data. Second image data is received, the second image data containing the object captured in the first image data. A second surface segment associated with the object is generated, wherein the second surface segment is geometrically coincident with the object as detected in the second image data. This area segment is generated based at least in part on the second image data, the first image data, and the first area segment.
Embodiments of the invention may extend the second image data with content associated with the object. This extended image may be displayed such that the contents are displayed geometrically coincident with the second area segment.

Figure 00000001
Figure 00000001

Description

GEBIETTERRITORY

Ausführungsformen der Erfindung betreffen im Allgemeinen mobile Computervorrichtungen und insbesondere das Erweitern von erfassten Bildern mit zugehörigen Inhalten.Embodiments of the invention generally relate to mobile computing devices, and more particularly to augmenting captured images with related content.

HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION

Mobile Computervorrichtungen umfassen typischerweise Kameras, Standort- und Orientierungssensoren und immer leistungsstärkere Rechenressourcen. Mobile Computervorrichtungen können auch hohe Bandbreitenverbindungen herstellen, um Cloud-Computerinfrastrukturen und -Serviceanbieter zu nutzen.Mobile computing devices typically include cameras, location and orientation sensors, and increasingly powerful computing resources. Mobile computing devices can also make high bandwidth connections to use cloud computing infrastructures and service providers.

Die in mobilen Computervorrichtungen enthaltenen Displays können als Live-Bildsucher verwendet werden, um den Nutzern der Vorrichtung die Erfassung von Echtzeitbilddaten (z. B. Fotos, Videos) zu ermöglichen; allerdings sind die meisten Anwendungen nicht in der Lage, die für die mobile Computervorrichtung verfügbaren Rechenressourcen zu nutzen, um Benutzern zusätzliche Informationen zur Verfügung zu stellen, die für den Gegenstand in der angezeigten Live-Ansicht (d. h. dem Bildsucher) relevant sind. Die begrenzte Anzahl an Anwendungen, die versuchen, die Live-Ansicht zu erweitern sind auf die Darstellung grundlegender Informationen beschränkt, wie z. B. den Abstand zwischen dem Benutzer und einem bestimmten Standort, oder grundlegende Informationen über die Umgebung des Benutzers (z. B. die Geschäftsarten in der Live-Ansicht).The displays included in mobile computing devices may be used as a live viewfinder to allow users of the device to capture real-time image data (eg, photos, videos); however, most applications are unable to utilize the computational resources available to the mobile computing device to provide users with additional information relevant to the item in the displayed live view (i.e., the viewfinder). The limited number of applications attempting to expand the live view are limited to presenting basic information, such as: For example, the distance between the user and a specific location, or basic information about the user's environment (for example, the types of transactions in live view).

KURZE BESCHREIBUNG DER ZEICHNUNGENBRIEF DESCRIPTION OF THE DRAWINGS

Die folgende Beschreibung umfasst die Erörterung von Figuren, in denen Illustrationen für Beispiele von Implementierungen der Ausführungsformen der Erfindung angegeben sind. Die Zeichnungen sollten als Beispiel und nicht als Einschränkung verstanden werden. Wie hier verwendet, sollen Verweise auf eine oder mehrere ”Ausführungsformen” als Beschreibung bestimmter Merkmale, Strukturen oder Eigenschaften, die in mindestens einer Implementierung der Erfindung enthalten sind, verstanden werden. Daher beschreiben Satzteile, wie z. B. ”in einer Ausführungsform” oder ”in einer alternativen Ausführungsform”, die in diesem Text enthalten sind, verschiedene Ausführungsformen und Implementierungen der Erfindung und beziehen sich nicht unbedingt alle auf dieselbe Ausführungsform. Allerdings schließen sie sich auch nicht unbedingt gegenseitig aus.The following description includes the discussion of figures in which illustrations are given for examples of implementations of embodiments of the invention. The drawings should be taken as an example and not as a limitation. As used herein, references to one or more "embodiments" are to be understood as describing particular features, structures, or characteristics included in at least one implementation of the invention. Therefore, phrases such. "In an embodiment" or "in an alternative embodiment" contained in this text, various embodiments and implementations of the invention and not necessarily all refer to the same embodiment. However, they are not necessarily mutually exclusive.

1 zeigt ein Beispiel einer erweiterten 3D-Ansicht, die gemäß einer Ausführungsform der Erfindung auf einer mobilen Computervorrichtung dargestellt wird. 1 FIG. 12 shows an example of an enhanced 3D view displayed on a mobile computing device according to one embodiment of the invention. FIG.

2 ist ein Ablaufdiagramm eines Prozesses gemäß einer Ausführungsform der Erfindung. 2 FIG. 10 is a flowchart of a process according to an embodiment of the invention. FIG.

3 zeigt Bilddaten, 3D-Punktwolkendaten und Flächensegmente, die von Ausführungsformen der Erfindung verarbeitet werden können. 3 FIG. 12 shows image data, 3D point cloud data, and surface segments that may be processed by embodiments of the invention.

4 ist ein Ablaufdiagramm für die Verarbeitung von 3D-Punktwolkendaten und das Extrahieren von Flächensegmenten gemäß einer Ausführungsform der Erfindung. 4 Figure 3 is a flowchart for processing 3D point cloud data and extracting area segments according to an embodiment of the invention.

5 ist ein Ablaufdiagramm eines Prozesses zum Verfeinern extrahierter Ebenen gemäß einer Ausführungsform der Erfindung. 5 FIG. 10 is a flowchart of a process for refining extracted levels according to an embodiment of the invention. FIG.

6 zeigt das Cluster von Flächensegmenten gemäß einer Ausführungsform der Erfindung. 6 shows the cluster of surface segments according to an embodiment of the invention.

7 ist ein Ablaufdiagramm eines Prozesses zum Einbinden von Flächensegmenten gemäß einer Ausführungsform der Erfindung. 7 FIG. 10 is a flow chart of a process for integrating surface segments according to one embodiment of the invention. FIG.

8 zeigt einen visuellen Merkmalsabgleich und eine Extraktion von Flächensegmenten gemäß einer Ausführungsform der Erfindung. 8th shows a visual feature matching and an extraction of surface segments according to an embodiment of the invention.

9 ist ein Blockdiagramm eines Systems, das eine Ausführungsform der Erfindung umfassen kann. 9 Figure 10 is a block diagram of a system that may include an embodiment of the invention.

Beschreibungen bestimmter Details und Implementierungen folgen, einschließlich einer Beschreibung der Figuren, die einige oder alle der im Folgenden beschriebenen Ausführungsformen zeigen, sowie eine Erörterung weiterer möglicher Ausführungsformen oder Implementierungen der hier dargestellten vorliegenden Erfindung. Eine Übersicht der Ausführungsformen der Erfindung wird im Folgenden gegeben, gefolgt von einer detaillierteren Beschreibung mit Bezugnahme auf die Zeichnungen.Descriptions of particular details and implementations will follow, including a description of the figures, which show some or all of the embodiments described below, as well as a discussion of other possible embodiments or implementations of the present invention presented herein. An overview of the embodiments of the invention will be given below, followed by a more detailed description with reference to the drawings.

DETAILLIERTE BESCHREIBUNGDETAILED DESCRIPTION

Ausführungsformen der Erfindung beziehen sich auf Systeme, Einrichtungen und Verfahren zum Bereitstellen von Bilddaten, die durch zugehörige Daten erweitert werden, um auf einer mobilen Computervorrichtung dargestellt zu werden. Ausführungsformen der Erfindung beschreiben das Verarbeiten von ersten Bilddaten und 3D-Punktwolkendaten zum Extrahieren eines ersten Flächensegments aus den 3D-Punktwolkendaten. Dieses erste Flächensegment ist mit einem in den ersten Bilddaten enthaltenen Objekt verknüpft. Zweite Bilddaten werden empfangen (z. B. über einen in einer mobilen Computervorrichtung enthaltenen Bildsensor erfasst), wobei die zweiten Bilddaten das in den ersten Bilddaten erfasste Objekt enthalten. Ein zweites zu dem Objekt zugehöriges Flächensegment wird erzeugt, wobei das zweite Flächensegment mit dem Objekt, wie es in den zweiten Bilddaten erfasst wurde, geometrisch übereinstimmt. Wie im Folgenden beschrieben wird dieses Flächensegment zumindest teilweise basierend auf den zweiten Bilddaten, den ersten Bilddaten und dem ersten Flächensegment erzeugt.Embodiments of the invention relate to systems, devices, and methods for providing image data that is augmented by associated data to be displayed on a mobile computing device. Embodiments of the invention describe processing first image data and 3D point cloud data to extract a first area segment from the 3D point cloud data. This first area segment is linked to an object contained in the first image data. Second image data is received (eg, detected via an image sensor included in a mobile computing device), the second image data containing the detected in the first image data object. A second surface segment associated with the object is generated, wherein the second surface segment is geometrically coincident with the object as detected in the second image data. As described below, this area segment is generated at least partially based on the second image data, the first image data, and the first area segment.

Ausführungsformen der Erfindung können die zweiten Bilddaten weiterhin durch Inhalte erweitern, die mit dem Objekt (z. B. Text, Bildern oder Videos oder einer 3D-Struktur) verknüpft sind. Diese erweiterten Inhalte können angezeigt werden, z. B. auf einem in der mobilen Computervorrichtung enthaltenen Display, wobei die Inhalte geometrisch übereinstimmend mit dem zweiten Flächensegment dargestellt werden.Embodiments of the invention may further extend the second image data by content associated with the object (eg, text, images, or videos or a 3D structure). These advanced content can be viewed, for example: On a display included in the mobile computing device, wherein the contents are displayed geometrically coincident with the second area segment.

1 zeigt ein Beispiel einer erweiterten 3D-Ansicht, die gemäß einer Ausführungsform der Erfindung auf einer mobilen Computervorrichtung dargestellt wird. Die mobile Computervorrichtung 100 umfasst das Display 110. Die Vorrichtung 100 kann ein beliebiges portables Computersystem sein, wie z. B. ein Laptop-Computer, ein Tablet-Computer, ein Smartphone, eine tragbare Computervorrichtung, ein Fahrzeug-Computersystem usw. 1 FIG. 12 shows an example of an enhanced 3D view displayed on a mobile computing device according to one embodiment of the invention. FIG. The mobile computing device 100 includes the display 110 , The device 100 can be any portable computer system, such. A laptop computer, a tablet computer, a smartphone, a portable computing device, a vehicle computer system, etc.

In diesem Beispiel umfasst das Display 110 eine Echtzeitansicht 120 der Umgebung eines Benutzers über einen in der Vorrichtung 100 (nicht dargestellt) enthaltenen Bildsensor (z. B. eine Kamera). Es versteht sich, dass die Vorrichtung 100 durch die Darstellung der Echtzeitansicht 120 als Bildsucher funktionieren kann, der Bilddaten (z. B. Bilder, Video) anzeigt, um es dem Benutzer zu ermöglichen, das Ziel des Bildsensors der Vorrichtung zu beobachten.In this example, the display includes 110 a live view 120 a user's environment over one in the device 100 (not shown) image sensor (eg a camera). It is understood that the device 100 by displaying the live view 120 may function as a viewfinder displaying image data (eg, images, video) to allow the user to observe the target of the image sensor of the device.

In dieser Ausführungsform wird die Echtzeitansicht 120 durch Flächensegmente 130, 140 und 150 erweitert. Die Flächensegmente 130, 140 und 150 entsprechen Objekten, die in der Ansicht 120 ermittelt wurden. In diesem Beispiel entsprechen die Flächensegmente 130, 140 und 150 Gebäuden 131, 141 und 151 in einer Ansicht 120.In this embodiment, the real-time view 120 by area segments 130 . 140 and 150 extended. The surface segments 130 . 140 and 150 correspond to objects in the view 120 were determined. In this example, the surface segments correspond 130 . 140 and 150 buildings 131 . 141 and 151 in a view 120 ,

Die Flächensegmente 130, 140 und 150 werden aus 3D-Informationen, die zur Ansicht 120 gehören, durch im Folgenden beschriebene Prozesse extrahiert. Jedes Flächensegment ist eine geometrisch übereinstimmende Flächenebene der jeweiligen Objekte in der Echtzeitansicht 120 (d. h. in diesem Beispiel, übereinstimmend mit den Vorderseiten der Gebäude 131, 141 und 151 wie in Display 110 dargestellt).The surface segments 130 . 140 and 150 will be out of 3D information to view 120 are extracted by processes described below. Each surface segment is a geometrically matching surface plane of the respective objects in the live view 120 (ie in this example, coinciding with the fronts of the buildings 131 . 141 and 151 as in display 110 shown).

In dieser Ausführungsform umfassen die Flächensegmente 130, 140 und 150 Daten, die zu ihren jeweiligen Objekten in der Echtzeitansicht 120 gehören. Das Flächensegment 130 umfasst ein Bild, das zum Gebäude gehört (in diesem Beispiel ein Bild des Benutzers im Gebäude 131). Das Flächensegment 140 umfasst Textdaten, die zu einem in dem Gebäude operativ tätigen Geschäft gehören, innerhalb des mindestens einen Flächensegments auf einem Display der mobilen Computervorrichtung. In diesem Beispiel kennzeichnen die Textdaten das in Gebäude 141 enthaltene Geschäft. Das Flächensegment 150 umfasst Videodaten, die im Gebäude 151 erfasst wurden. Die in jedem der Flächensegmente enthaltenen erweiterten Inhalte stimmen mit den jeweiligen Flächensegmenten geometrisch überein (d. h. stimmen geometrisch mit der Flächenebene der jeweiligen Objekte in der Echtzeitansicht 120 überein). Die erweiterten Inhalte können beispielsweise im Speicher der Vorrichtung 100 enthalten sein oder über eine Netzwerkverbindung (z. B. drahtlose Internetverbindung) von einer Datenbank erhalten werden.In this embodiment, the surface segments comprise 130 . 140 and 150 Data related to their respective objects in the live view 120 belong. The area segment 130 includes an image that belongs to the building (in this example, a picture of the user in the building 131 ). The area segment 140 includes text data associated with a store operatively operating in the building within the at least one area segment on a display of the mobile computing device. In this example, the text data identifies that in buildings 141 included business. The area segment 150 includes video data that is in the building 151 were recorded. The extended content contained in each of the surface segments is geometrically coincident with the respective surface segments (ie, geometrically aligned with the surface plane of the respective objects in the live view 120 match). The extended contents may be in the memory of the device, for example 100 be contained from a database or via a network connection (eg wireless internet connection).

2 ist ein Ablaufdiagramm eines Prozesses gemäß einer Ausführungsform der Erfindung. Die hier dargestellten Ablaufdiagramme zeigen Beispiele für Sequenzen verschiedener Prozessaktionen. Auch wenn sie in einer bestimmten Sequenz oder Reihenfolge dargestellt sind, kann die Reihenfolge der Aktionen, sofern nicht anders angegeben, geändert werden. Demnach sollten die dargestellten Implementierungen nur als Beispiele verstanden werden, und die dargestellten Prozesse können in einer anderen Reihenfolge ausgeführt werden, und einige Aktionen können parallel ausgeführt werden. Darüber hinaus kann bzw. können eine bzw. mehrere Aktionen in verschiedenen Ausführungsformen ausgelassen werden; demnach sind nicht alle Aktionen in jeder Implementierung erforderlich. Weitere Prozessabläufe sind möglich. 2 FIG. 10 is a flowchart of a process according to an embodiment of the invention. FIG. The flowcharts shown here show examples of sequences of different process actions. Although they are presented in a particular sequence or order, the order of the actions may be changed unless otherwise specified. Thus, the illustrated implementations should be understood as examples only, and the processes depicted may be executed in a different order, and some actions may be performed in parallel. In addition, one or more actions may be omitted in various embodiments; therefore, not all actions are required in each implementation. Further process sequences are possible.

Bilddaten (hier alternativ auch als ”vorab gespeicherte” Bilddaten bezeichnet, um die Daten von den Bilddaten zu unterscheiden, die durch die mobile Computervorrichtung erfasst werden) und 3D-Punktwolkendaten, die den Bilddaten entsprechen, werden verarbeitet, um mindestens ein Flächensegment 200 zu extrahieren. In einigen Ausführungsformen, wie im Folgenden beschrieben, werden diese 3D-Punktwolkendaten vorab verarbeitet, um die Daten besser auf nachfolgende Operationen anzupassen (z. B. werden die Daten basierend auf der Auflösung der erfassten Bilddaten oder den auf dem mobilen Computersystem verfügbaren Rechenressourcen heruntergetaktet).Image data (alternatively referred to herein as "pre-stored" image data to distinguish the data from the image data acquired by the mobile computing device) and 3D point cloud data corresponding to the image data is processed to be at least one area segment 200 to extract. In some embodiments, as described below, these 3D point cloud data are pre-processed to better adapt the data to subsequent operations (eg, the data is down-clocked based on the resolution of the captured image data or the computational resources available on the mobile computer system). ,

In einer Ausführungsform sind die vorab gespeicherten Bilddaten ein Bild von mindestens einem Objekt. Das extrahierte Flächensegment wird mit dem Objekt verknüpft. Beispielsweise können die vorab gespeicherten Bilddaten, wie zuvor beschrieben, ein Bild eines Gebäudes enthalten, wobei das extrahierte Flächensegment eine Ebene des Gebäudes sein wird.In one embodiment, the pre-stored image data is an image of at least one object. The extracted area segment is linked to the object. For example, as previously described, the pre-stored image data may include an image of a building, the extracted area segment will be a level of the building.

Bilddaten des Objekts werden über einen Bildsensor erfasst, der in einer mobilen Computervorrichtung 210 enthalten ist. Es versteht sich, dass die erfassten Bilddaten folgendes enthalten können: ein statisches Bild, Videodaten oder eine Echtzeitdarstellung des Ziels des Bildsensors (z. B. der Live-Ansicht von 1) Es wird ein zweites Flächensegment erzeugt, wobei das zweite Flächensegment zum Objekt im erfassten Bild 220 gehört. Dieses Flächensegment stimmt geometrisch mit dem Objekt überein, wie es in den erfassten Bilddaten dargestellt wird (z. B. eine Seite eines Gebäudes, das in der erfassten Live-Ansicht wie in 1 beschrieben enthalten ist). Das zweite Flächensegment kann zumindest teilweise basierend auf den erfassten Bilddaten, den in Operation 200 beschriebenen vorab gespeicherten Daten und dem mindestens einen in Operation 200 beschriebenen Flächensegment erzeugt werden.Image data of the object is captured via an image sensor included in a mobile computing device 210 is included. It is understood that the captured image data may include: a static image, video data, or a real-time representation of the image sensor's target (eg, the live view of 1 ) A second area segment is created, the second area segment being the object in the captured image 220 belongs. This area segment is geometrically in line with the object as represented in the captured image data (eg, a page of a building that is in the captured live view as in FIG 1 is described). The second area segment may be based, at least in part, on the captured image data, in operation 200 described previously stored data and the at least one in operation 200 described area segment are generated.

Das zweite Flächensegment wird mit den erfassten Bilddaten integriert (hier alternativ als registriert bezeichnet) 230. In einer Ausführungsform gehören die erfassten Bilddaten zu einer Live-Ansicht einer mobilen Computervorrichtung, und somit wird das mindestens eine Flächensegment mit der Live-Ansicht integriert.The second area segment is integrated with the acquired image data (alternatively referred to as registered here) 230 , In one embodiment, the captured image data is associated with a live view of a mobile computing device, and thus the at least one surface segment is integrated with the live view.

Die erfassten Bilddaten werden mit zusätzlichen Inhalten im zweiten Flächensegment erweitert, 240. Die zusätzlichen Inhalte gehören zum jeweiligen Objekt, das von dem mindestens einen Flächensegment dargestellt wird. Es versteht sich, dass die zusätzlichen Inhalte geometrisch übereinstimmend mit dem zweiten Flächensegment im erweiterten Bild angezeigt werden, 250.The acquired image data is extended with additional content in the second area segment, 240 , The additional contents belong to the respective object, which is represented by the at least one area segment. It is understood that the additional contents are displayed geometrically coincident with the second area segment in the expanded image, 250 ,

3 zeigt Bilddaten, 3D-Punktwolkendaten und Flächensegmente, die von Ausführungsformen der Erfindung verarbeitet werden können. Die 3D-Punktwolke 350 entspricht dem vorab gespeicherten 2D-Bild 300 des Gebäudes 305. Jeder 3D-Punkt in der Wolke 350 stellt den tatsächlichen 3D-Standort eines Pixels des Bildes 300 dar. Einige Pixel im Bild 300 haben möglicherweise keinen entsprechenden 3D-Punkt, z. B. Pixel im Himmel. 3 FIG. 12 shows image data, 3D point cloud data, and surface segments that may be processed by embodiments of the invention. The 3D point cloud 350 corresponds to the pre-stored 2D image 300 of the building 305 , Every 3D point in the cloud 350 represents the actual 3D location of a pixel of the image 300 dar. Some pixels in the picture 300 may not have a corresponding 3D point, eg. B. pixels in the sky.

In einigen Ausführungsformen werden 3D-Punktwolkendaten 350 in ein Koordinatensystem umgewandelt, das für die nachfolgende Verarbeitung besser geeignet ist. Wenn beispielsweise die 3D-Punktwolkendaten 350 im Format ”Breitengrad, Längengrad und Höhe” vorliegen, ist es möglicherweise nützlicher, das Format in ein lokales Koordinatensystem, wie z. B. ENU-System (East-North-Up) umzuwandeln, damit die Werte der Koordinaten kleiner sind (d. h. im Vergleich zu Koordinaten in einem System mit dem Erdmittelpunkt als Ursprung). Diese Umwandlung kann die vertikale und horizontale Ausrichtung der 3D-Punktwolkendaten 350 besser vermitteln.In some embodiments, 3D point cloud data becomes 350 converted into a coordinate system that is better suited for subsequent processing. For example, if the 3D point cloud data 350 in latitude, longitude, and altitude format, it may be more useful to place the format in a local coordinate system, such as For example, to transform the ENU system (East-North-Up) so that the values of the coordinates are smaller (ie, compared to coordinates in a system with the center of the earth as the origin). This conversion can be the vertical and horizontal orientation of the 3D point cloud data 350 communicate better.

In einigen Ausführungsformen entstehen 3D-Punktwolkendaten 350 aus einem größeren Satz mit 3D-Punktwolkendaten, die für die Beschleunigung der Berechnung unterabgetastet werden. Dies kann durch das Downsampling bzw. die Verringerung der Bildpunkte des vorab gespeicherten Bildes oder der entsprechenden 3D-Punktwolke erreicht werden. Beispiel: Für ein 300 × 500 Bild muss die Größe der entsprechenden 3D-Punktwolkendaten aus bis zu 150.000 Punkten bestehen. Durch Sampling bzw. Abtasten des Bildes mit einer Rate 10 in sowohl horizontalen als auch vertikalen Dimensionen kann die Anzahl der 3D-Punkte auf 1.500 Punkte reduziert werden.In some embodiments, 3D point cloud data is created 350 from a larger set of 3D point cloud data subsampled to accelerate the calculation. This can be achieved by downsampling or reducing the pixels of the previously stored image or the corresponding 3D point cloud. For example, for a 300x500 image, the size of the corresponding 3D point cloud data must be up to 150,000 points. By sampling the image at a rate of 10 in both horizontal and vertical dimensions, the number of 3D points can be reduced to 1,500 points.

Um die Ebenen aus den 3D-Punktwolkendaten 350 zu extrahieren, können die Ausführungsformen der Erfindung einen RANSAC-Ansatz (Random Sample Consensus, deutsch etwa „Übereinstimmung mit einer zufälligen Stichprobe”) übernehmen und sowohl das vorab gespeicherte Bild 300 als auch die 3D-Punktwolkendaten 350 kombinieren, um den Abtastprozess lieber in RANSAC als durch willkürliches Abtasten der 3D-Punktwolkendaten zu führen. 4 ist ein Ablaufdiagramm für die Verarbeitung von 3D-Punktwolkendaten und das Extrahieren von Flächensegmenten nach einer Ausführungsform der Erfindung.Around the levels from the 3D point cloud data 350 For example, the embodiments of the invention may adopt a RANSAC (Random Sample Consensus) approach and both the pre-stored image 300 as well as the 3D point cloud data 350 combine to run the scanning process in RANSAC rather than by random sampling the 3D point cloud data. 4 Figure 3 is a flowchart for processing 3D point cloud data and extracting area segments according to an embodiment of the invention.

Nref Pixel von einem Bild werden zufällig ausgewählt 410. Eine Reihe von Operationen wird für jedes Pixel ausgeführt (d. h. ein Referenz-Pixel wird ausgewählt 420). Diese Operationen werden im Folgenden beschrieben.Nref pixels from an image are randomly selected 410 , A series of operations is performed for each pixel (ie, a reference pixel is selected 420 ). These operations are described below.

In einer örtlichen Umgebung, d. h. ein W × W-Fenster um das Referenz-Pixel, werden zwei weitere Pixel zufällig ausgewählt, sodass die drei Pixel nicht kollinear sind 430. Die Normale Nref in IR3 zur Ebene (Pref), die durch die 3D-Punkte gebildet wird, die den drei Pixeln entsprechen, wird als ein Vektorprodukt berechnet 440. Für diese Operation kann vorausgesetzt werden, dass es für 3D-Punkte, die benachbarten Pixeln entsprechen, wahrscheinlicher ist, dass sie auf derselben Ebene liegen. Folglich versteht es sich, dass sich durch Anwenden dieser Positionsbeschränkung zum Ermitteln koplanarer 3D-Punkte die Verarbeitung entsprechend der Ausführungsform im Vergleich zum willkürlichen Abtasten der 3D-Punktwolkendaten auf dominanten Ebenen schneller annähert.In a localized environment, ie a WxW window around the reference pixel, two more pixels are randomly selected so that the three pixels are not collinear 430 , The normal Nref in IR3 to the plane (Pref) formed by the 3D points corresponding to the three pixels is calculated as a vector product 440 , For this operation, it can be assumed that 3D points that correspond to neighboring pixels are more likely to be on the same plane. Thus, it will be understood that by applying this position constraint to determine coplanar 3D points, the processing according to the embodiment approaches faster than arbitrarily scanning the 3D point cloud data at dominant levels.

Für jeden 3D-Punkt, (hier als Punkt M in IR3 bezeichnet) wird festgestellt, ob er auf der Ebene (Pref) liegt und sein Projektionsfehler auf der Ebene (Pref: E = [nref.(M-Mref)]2) wird berechnet, wobei Mref der 3D-Punkt ist, der dem Referenzpixel entspricht, 450. Wenn der Fehler E kleiner als die Toleranzgrenze ε ist, d. h. E < ε, dann wird angenommen, dass der Punkt M auf der Ebene liegt (Pref) 460.For each 3D point (referred to here as point M in IR3) it is determined whether it lies on the plane (Pref) and its projection error is on the plane (Pref: E = [nref. (M-Mref)] 2) calculated, where Mref is the 3D point corresponding to the reference pixel, 450 , If the error E is less than the tolerance limit ε, ie E <ε, then it is assumed that the point M is on the plane (Pref) 460 ,

Der standardisierte Wert der Ebene (Pref) wird dann als normalisierte Zahl an ”zugehörigen” 3D-Punkten berechnet: scoreref = |{M in (Pref)}|/N, wobei N die Gesamtzahl der Punkte in den 3D-Punktwolkendaten ist 470.The standardized value of the plane (Pref) is then calculated as a normalized number of "related" 3D points: scoreref = | {M in (Pref)} | / N, where N is the total number of points in the 3D point cloud data 470 ,

Der größte standardisierte Wert in den von Nref erhaltenen standardisierten Werten wird ausgewählt 480. Wenn dieser größer als die Grenze L ist, d. h. scoreref > L, dann wird die Ebene (Pref) als eine ”extrahierte” Ebene ausgewählt, und die Kleinste-Quadrate-Schätzung des Normalenvektors und Fehlers wird erhalten 490. Alle Punkte M, die zur extrahierten Ebene ”gehören”, d. h. deren Projektionsfehler für diese Ebene kleiner als die Toleranzgrenze ε von der 3D-Punktwolke ist, können aus der nachfolgenden Verarbeitung ausgeschlossen werden.The largest standardized value in the standardized values obtained from Nref is selected 480 , If it is greater than the limit L, ie scoreref> L, then the plane (Pref) is selected as an "extracted" plane, and the least-squares estimate of the normal vector and error is obtained 490 , All points M which "belong" to the extracted plane, ie whose projection error for this plane is smaller than the tolerance limit ε of the 3D point cloud, can be excluded from the subsequent processing.

Sobald alle Ebenen extrahiert wurden, und wobei davon ausgegangen wird, dass mehr als eine Ebene extrahiert wurde, können Ausführungsformen der Erfindung die extrahierten Ebenen weiterhin verfeinern. 5 ist ein Ablaufdiagramm eines Prozesses zum Verfeinern extrahierter Ebenen gemäß einer Ausführungsform der Erfindung.Once all levels have been extracted and assuming that more than one level has been extracted, embodiments of the invention may further refine the extracted levels. 5 FIG. 10 is a flowchart of a process for refining extracted levels according to an embodiment of the invention. FIG.

Zu einem vorab gespeicherten Bild zugehörige Daten können zum Bestimmen von Kriterien zum Filtern fehlerhafter Ebenen verwendet werden 500. Beispiel: In urbanen Szenen sind Gebäude typischerweise die dominanten Strukturen. Daher muss für den Erhalt von groben 3D-Modellen, wenn es sich bei dem vorab gespeicherten Bild um eine urbane Szene handelt, dann davon ausgegangen werden, dass die meisten Ebenen voraussichtlich entweder vertikal oder horizontal sind.Data associated with a pre-stored image may be used to determine criteria for filtering erroneous levels 500 , Example: In urban scenes, buildings are typically the dominant structures. Therefore, to obtain coarse 3D models, if the pre-stored image is an urban scene, then it is likely that most levels are likely to be either vertical or horizontal.

Ebenen, die diese Filterkriterien nicht erfüllen, werden eliminiert 510. Daher werden in diesem Beispiel die extrahierten Ebenen, die weder vertikal noch horizontal sind, eliminiert und die 3D-Punkte, die zu ihnen gehören, werden nicht zu einer beliebigen Ebene zugewiesen.Levels that do not meet these filter criteria are eliminated 510 , Therefore, in this example, the extracted levels that are neither vertical nor horizontal are eliminated and the 3D points that belong to them are not assigned to any level.

Jede der nicht eliminierten Ebenen kann auch mit ähnlich verarbeiteten Ebenen verglichen werden, d. h. Ebenen mit ähnlichen Normalenvektoren und Fehlern, und nur die extrahierte Ebene mit der größten Anzahl an Punkten wird beibehalten, 520.Each of the non-eliminated levels can also be compared to similarly processed levels, ie, levels with similar normal vectors and errors, and only the extracted level with the largest number of points is maintained, 520 ,

Wenn keine verbleibenden Ebenen mehr zum Verarbeiten übrig sind, 525, werden die übrigen 3D-Punkte, die keiner Ebene zugewiesen sind, verarbeitet, 530. Für jeden übrigen nicht zugewiesenen 3D-Punkt wird sein Projektionsfehler zu jeder verfeinerten extrahierten Ebene berechnet und der Mindesprojektionsfehler und die entsprechende Ebene (Pmin) werden ausgewählt, 540. Die Toleranzgrenze kann von ε auf ε' = Faktor × ε erhöht werden. Wenn der Mindestprojektionsfehler geringer als ε', 545, dann wird der 3D-Punkt der entsprechenden Ebene (Pmin) zugewiesen, 550; andernfalls wird er verworfen, 555. Beispiel: Angenommen, die resultierenden extrahierten Ebenen für 3D-Punktwolkendaten 350 wären Ebenen 390, 391 und 392.When there are no remaining layers left to process, 525 , the remaining 3D points that are not assigned to any plane are processed, 530 , For each remaining unassigned 3D point, its projection error is calculated to each refined extracted plane, and the minimum projection error and corresponding level (Pmin) are selected. 540 , The tolerance limit can be increased from ε to ε '= factor × ε. If the minimum projection error is less than ε ', 545 , then the 3D point is assigned to the corresponding plane (Pmin), 550 ; otherwise it will be discarded, 555 , For example, suppose the resulting extracted levels for 3D point cloud data 350 would be levels 390 . 391 and 392 ,

Demnach kann das Ergebnis des Beispielprozesses, der durch 5 beschrieben wird, eine Maske der 3D-Punktwolkendaten sein, die jeden 3D-Punkt und seinen entsprechenden Pixel einer Ebene zuordnet. Diese Maske kann für die Erstellung einer kompakteren und höheren Darstellung der erfassten Bilddaten verwendet werden. In 3 haben die meisten der 3D-Punkte/Pixel der rechten Gebäudewand 305 dieselbe Farbe (z. B. grün, auch wenn dies nicht in Farbe in der Figur dargestellt ist). Anstatt diese Daten als Paare von 3D-Punkten/Pixeln und entsprechenden Ebenenindizes zu speichern, können Ausführungsformen der Erfindung den Gesamtbereich angeben, der von den grün-codierten Pixeln auf der rechten Wand belegt ist (z. B. Bestimmen des Bounding-Polygons). Darüber hinaus können die Bereiche, die weit voneinander entfernt liegen und sich in derselben Ebene befinden, als Cluster angeordnet sein. Informationen höherer Ebene bezüglich des Gebäudes 305 können für das passende Cluster der Ebenen erhalten werden. Beispiel: Die gleichfarbigen Pixel können in separaten Cluster angeordnet werden, die zwei verschiedenen Abschnitten der rechten Gebäudewand 305 entsprechen, wie in 6 gezeigt.Thus, the result of the example process, by 5 will be a mask of the 3D point cloud data that maps each 3D point and its corresponding pixel to a plane. This mask can be used to create a more compact and higher representation of captured image data. In 3 have most of the 3D points / pixels of the right building wall 305 the same color (eg green, even if not shown in color in the figure). Rather than storing these data as pairs of 3D points / pixels and corresponding level indices, embodiments of the invention may indicate the total area occupied by the green coded pixels on the right wall (e.g., determining the bounding polygon). In addition, the regions which are far apart and in the same plane may be arranged as clusters. Higher level information regarding the building 305 can be obtained for the appropriate cluster of levels. Example: The same-colored pixels can be arranged in separate clusters, which are two different sections of the right building wall 305 correspond as in 6 shown.

In dieser Ausführungsform umfassen die 3D-Punktwolkendaten 350 die Cluster 600 und 610, die der rechten Gebäudewand 350 entsprechen (wie in 3 beschrieben). Informationen hoher Ebene können verwendet werden, um zu bestimmen, ob sich auf der Wand eine Werbetafel befindet. Ausführungsformen der Erfindung können daher Flächensegmente gemäß jedes einzelnen Segments der Wand custern – d. h. das Cluster 600 wächst in das Flächensegment 620 (das der Wand entspricht) und das Cluster 610 in das Flächensegment 630 (das der Werbetafel entspricht) hinein.In this embodiment, the 3D point cloud data includes 350 the clusters 600 and 610 , the right building wall 350 correspond (as in 3 described). High level information can be used to determine if there is a billboard on the wall. Embodiments of the invention can therefore pattern surface segments according to each individual segment of the wall - ie, the cluster 600 grows into the area segment 620 (which corresponds to the wall) and the cluster 610 in the area segment 630 (which corresponds to the billboard) into it.

Im Fall von Gebäuden kann das gewünschte Endergebnis ein Satz angrenzender Rechtecke der Gebäudewände sein. Wenn die 3D-Punktwolkendaten und das vorab gespeicherte Bild zu einer urbanen Gegend gehören, kann angenommen werden, dass die meisten 3D-Punkte, die zu vertikalen Ebenen gehören, den Wänden des Gebäudes entsprechen. Daher ist das Ziel, sich an die vertikalen Flächensegmente durch Rechtecke anzunähern, gerechtfertigt.In the case of buildings, the desired end result may be a set of adjacent rectangles of the building walls. If the 3D point cloud data and the pre-stored image belong to an urban area, it can be assumed that most of the 3D points associated with vertical planes correspond to the walls of the building. Therefore, the goal of approximating the vertical surface segments by rectangles is justified.

In einer Ausführungsform der Erfindung werden die Informationen sowohl im Bild als auch in den 3D-Punktwolkendaten wirksam zum Cluster von Ebenen durch Verwenden von Bereichswachstum in der 3D-Punktwolke eingesetzt. Der Ähnlichkeitsabstand zwischen zwei 3D-Punkten ist der Abstand in Pixeln zwischen den entsprechenden Pixeln. Das Verarbeiten von Operationen kann sich über jeder Ebene wiederholen, eine Anzahl von n Kernen wird gewählt und Flächensegmente entstehen um sie herum. In one embodiment of the invention, the information in both the image and the 3D point cloud data is effectively employed to cluster clusters using area growth in the 3D point cloud. The similarity distance between two 3D points is the distance in pixels between the corresponding pixels. The processing of operations can be repeated over each level, a number of n cores are chosen, and surface segments are created around them.

7 ist ein Ablaufdiagramm eines Prozesses zum Einbinden von Flächensegmenten gemäß einer Ausführungsform der Erfindung. Der Prozess 700 wird auf die Segmente in einem Cluster ausgeführt, das zu einer wie oben beschriebenen urbanen Kulisse gehört. Beim weiteren Anwenden von Ausführungsformen der Erfindung auf ein bekanntes Bild einer urbanen Kulisse als ein Beispiel werden vertikale Segmente ausgewählt, 710. Für jedes vertikale Segment werden zwei 3D-Extrempunkte mit maximalen und minimalen vertikalen Koordinaten gefunden, 720. Somit werden die oberen und unteren horizontalen Kanten der Bounding-Box erlangt und die Richtung in der Ebene kann basierend auf diesen Punkten bestimmt werden, 730. Die anderen beiden 3D-Extrempunkte, die maximale und minimale Koordinaten in der horizontalen Richtung innerhalb des Segments haben, werden auch gefunden, 740. Mithilfe dieser Extrempunkte und der Ebenrichtung können die zwei vertikalen Kanten der Bounding-Box dieses Segments bestimmt werden, 750. 7 FIG. 10 is a flow chart of a process for integrating surface segments according to one embodiment of the invention. FIG. The process 700 runs on the segments in a cluster that belongs to an urban backdrop as described above. In further applying embodiments of the invention to a known image of an urban backdrop as an example, vertical segments are selected. 710 , For each vertical segment, two 3D extreme points with maximum and minimum vertical coordinates are found 720 , Thus, the upper and lower horizontal edges of the bounding box are obtained and the direction in the plane can be determined based on these points. 730 , The other two 3D extreme points, which have maximum and minimum coordinates in the horizontal direction within the segment, are also found 740 , Using these extreme points and the plane direction, the two vertical edges of the bounding box of this segment can be determined. 750 ,

In einigen Ausführungsformen können mehrere 2D-Bilder eines Objekts oder einer Szene von verschiedenen Blickwinkeln gemeinsam mit und entsprechend der 3D-Punktwolkendatensätzen aus unterschiedlichen Blickwinkeln vorab gespeichert werden. Diese Punktwolkendatensätze können überlappen. In diesen Ausführungsformen können alle Punktwolkendaten zusammengefasst werden, um die Genauigkeit der extrahierten Flächensegmente zu verbessern. Zum Identifizieren der überlappenden Bereiche können die Sätze der Punktwolkendaten auf eine örtliche Umgebung beschränkt werden, und zugehörige Punktwolkeninformationen können zusammengefasst werden.In some embodiments, multiple 2D images of an object or scene may be pre-stored from different viewpoints along with and corresponding to the 3D point cloud datasets from different viewpoints. These point cloud records may overlap. In these embodiments, all point cloud data can be aggregated to improve the accuracy of the extracted surface segments. To identify the overlapping regions, the sets of point cloud data may be constrained to a local environment, and associated point cloud information may be aggregated.

Es versteht sich, dass die verschiedenen Aufgaben zum Extrahieren von Ebenen, Kombinieren von Punktwolkendaten und zum Entfernen von Rauschen in unterschiedlichen Reihenfolgen in verschiedenen Prozessen ausgeführt werden können. In einer Ausführungsform wird jeder einzelne Satz mit Punktwolkendaten als ein Satz mit Rauschen in den Messungen (die Quellen für das Rauschen können die Messunsicherheit, ihre Ausrichtung, Sensorrauschen usw. umfassen) der tatsächlichen 3D-Punkte modelliert. Danach können eine Schätzung der Statistiken für das Rauschen und die ursprünglichen 3D-Punkte in den überlappenden Bereichen erlangt werden. Diese Statistiken für Rauschen können für den Erhalt besserer Schätzungen für die 3D-Punkte für alle Sätze mit Punktwolkendaten verwendet werden, um die Ebenen zu extrahieren. Es versteht sich, dass die 3D-Punkte in dem Überlappungsbereich die genausten Schätzungen aufweisen, und daher kann diesen Punkten eine Priorität beim Schätzen der Ebenen gegeben werden, zu denen sie gehören (beispielsweise können gewichtete kleinste Quadrate für eine Schätzung der Ebenenparameter verwendet werden, wobei diesen Punkten mehr Gewichtungen zugewiesen werden).It is understood that the various tasks of extracting planes, combining point cloud data, and removing noise in different orders can be performed in different processes. In one embodiment, each individual set of point cloud data is modeled as a set of noise in the measurements (sources of noise may include measurement uncertainty, their orientation, sensor noise, etc.) of the actual 3D points. Thereafter, an estimate of the statistics for the noise and the original 3D points in the overlapping areas can be obtained. These noise statistics may be used to obtain better estimates of the 3D points for all sets of point cloud data to extract the levels. It will be understood that the 3D points in the overlap region have the most accurate estimates, and therefore, these points may be given a priority in estimating the planes to which they belong (e.g., weighted least squares may be used for an estimate of the plane parameters) assigning more weight to these points).

In einer anderen Ausführungsform wird das Extrahieren von Ebenen für jeden einzelnen Satz mit 3D-Punktwolkendaten separat ausgeführt. Überlappende Ebenen können basierend auf ihren ähnlichen Normalenvektoren und deren lokale Nähe ermittelt werden. Für jeden Satz überlappender Ebenen werden alle zugehörigen 3D-Punktwolkendaten erfasst, um eine neue (d. h. genauere) Schätzung der Ebene basierend auf dieser größeren Sammlung Punkte zu erstellen.In another embodiment, extracting planes for each individual set of 3D point cloud data is performed separately. Overlapping levels can be determined based on their similar normal vectors and their local proximity. For each set of overlapping levels, all related 3D point cloud data is collected to create a new (i.e., more accurate) estimate of the level based on that larger collection of points.

In einer Ausführungsform werden zugehörige Informationen zur Konfidenz bzw. Zuverlässigkeit, die mit den 3D-Punktwolkendaten verknüpft sind, erhalten. Diese zusätzlichen Informationen können gemeinsam mit den 3D-Punktwolkendaten wirksam eingesetzt werden, um die Zuverlässigkeit für 3D-Punktmessungen abzuleiten.In one embodiment, associated confidence or reliability information associated with the 3D point cloud data is obtained. This additional information can be leveraged along with the 3D point cloud data to derive reliability for 3D point measurements.

Beispielsweise kann der oben beschriebene Algorithmus zum Extrahieren von Ebenen angepasst werden, indem die 3D-Punkte mit höherer Wahrscheinlichkeit mehr zu der Schätzung der Ebenen beitragen dürfen. Das Abtastverfahren in RANSAC kann beeinflusst sein, um mehr der von den zuverlässigeren 3D-Punkten abzutasten. Darüber hinaus können eher gewichtete kleinste Quadrate als nur kleinste Quadrate für die Schätzung der Ebenenparameter verwendet werden. Die Gewichtungen wären proportional oder eine steigende Funktion der Zuverlässigkeitswerte der 3D-Punkte.For example, the above-described algorithm for extracting planes may be adjusted by making the 3D points more likely to contribute more to the estimation of the planes. The scanning process in RANSAC may be affected to sample more of the more reliable 3D points. In addition, weighted least squares rather than least squares may be used for estimating the plane parameters. The weights would be proportional or an increasing function of the reliability values of the 3D points.

In einer Ausführungsform können Farbinformationen verwendet werden, um Ebenen genauer aus 3D-Punktwolkendaten zu extrahieren. Beispielsweise können sowohl Farbinformationen als auch Pixelabstand kombiniert werden, um den Ähnlichkeitsabstand des oben beschriebenen wachsenden Bereichswachstumsprozesses zu bilden. In dieser Ausführungsform tendieren 3D-Punkte, die sich in derselben Ebene befinden und einen kleinen Pixelabstand sowie ähnliche Farben haben (d. h. sie entsprechen den Pixeln in derselben Farbe in den vorab gespeicherten Bildern) dazu, demselben Flächensegment zugewiesen zu werden.In one embodiment, color information may be used to more accurately extract planes from 3D point cloud data. For example, both color information and pixel pitch may be combined to form the similarity spacing of the growing area growth process described above. In this embodiment, 3D points that are in the same plane and have a small pixel pitch and similar colors (i.e., they correspond to the pixels in the same color in the pre-stored images) tend to be assigned to the same area segment.

Es versteht sich, dass die Flächensegmente, die aus den 3D-Punktwolkendaten extrahiert werden, ein grobes 3D-Modell der vorab gespeicherten Bilddaten bilden. Diese Daten können zum Extrahieren eines Flächensegments aus den erfassten Bilddaten verwendet werden. Daher können die Flächensegmente im 3D-Modell mit den erfassten Bilddaten und den vorab gespeicherten Bilddaten verarbeitet (d. h. integriert) werden, wodurch es möglich wird, erfasste Bilddaten mit dem groben 3D-Modell zu registrieren. It is understood that the area segments extracted from the 3D point cloud data form a coarse 3D model of the pre-stored image data. This data can be used to extract a patch of the captured image data. Therefore, the area segments in the 3D model can be processed (ie, integrated) with the acquired image data and the pre-stored image data, thereby making it possible to register acquired image data with the coarse 3D model.

Durch die Registrierung des groben 3D-Modells wird es mehreren Anwendungen ermöglicht, Daten innerhalb der jeweiligen Flächensegmente (d. h. statische Bilder und Video) zu projizieren. Mit anderen Worten: Der Benutzer kann ein Bild mit der mobilen Computervorrichtung aufnehmen und es in der richtigen Perspektive im Modell entweder auf einer mobilen Computervorrichtung oder auf dem Desktop registrieren. Ähnlich wie bei Videobilddaten kann die registrierte Live-Ansicht in Echtzeit um weitere Informationen, wie z. B. Text, Bilder, Videos oder eine 3D-Struktur erweitert werden, die in der richtigen Perspektive hinzugefügt werden (wie z. B. in 1 beschrieben).Registration of the coarse 3D model allows multiple applications to project data within each surface segment (ie, static images and video). In other words, the user can take a picture with the mobile computing device and register it in the correct perspective in the model either on a mobile computing device or on the desktop. Similar to video image data, the live, registered view can be viewed in real time for more information, such as: For example, text, images, videos, or a 3D structure added in the correct perspective (such as in 1 described).

In einer Ausführungsform verwendet eine mobile Computervorrichtung Systemkomponenten und Anwendungen (z. B. Global Positioning System(GPS)-Sensoren, Funk- oder WiFi-Netzwerkverbindungen, Orientierungssensoren), um den Standort der Vorrichtung und den Blickwinkel ihres Bildsensors einzugrenzen. Auf Seiten des groben 3D-Modells können Standort- und Orientierungsinformationen gemeinsam mit zugehörigen vorab gespeicherten Bilddaten (d. h. Referenzmodelle) des ungefähren Standorts, dessen Ansichten nahe der ungefähren Ansicht sind, verwendet werden, um visuelle Merkmale aus diesen Bildern zu extrahieren. Somit erzeugt die obige Verarbeitung Flächensegmente mit entsprechenden visuellen Merkmalen, d. h. die Referenzmodelle, die von den Registrierungsprozessen verwendet werden sollen.In one embodiment, a mobile computing device uses system components and applications (eg, Global Positioning System (GPS) sensors, radio or WiFi network connections, orientation sensors) to narrow the location of the device and the viewing angle of its image sensor. On the coarse 3D model side, location and orientation information, along with associated pre-stored image data (i.e., reference models) of the approximate location whose views are near the approximate view, can be used to extract visual features from those images. Thus, the above processing generates area segments with corresponding visual features, i. H. the reference models to be used by the registration processes.

In einer Ausführungsform werden die visuellen Merkmale aus dem Bild oder dem Videoframe auf der mobilen Vorrichtung extrahiert und mit den visuellen Merkmalen in den Referenzmodellen (d. h. vorab gespeicherten Bildern) abgeglichen. 8 zeigt diese Art von Abgleich.In one embodiment, the visual features are extracted from the image or video frame on the mobile device and aligned with the visual features in the reference models (ie, pre-stored images). 8th shows this kind of balance.

Mehrere Homografien 810 werden von den Übereinstimmungen der Punkte 820 des vorab gespeicherten Bildes 830 des Objekts 800 im erfassten Bild 890 geschätzt (in diesem Beispiel ist das Objekt 800 ein Gemälde an einer Wand). In diesem Beispiel ist die Annahme einer Homografie-Transformation wegen der in der Szene und vom Objekt 800 angenommenen Flächenstruktur gültig. Danach wird jede Homografie-Matrix in die Bildsensorrotation und Umwandlungsparameter zerlegt. Diese einzelnen Parameter können kombiniert werden, um eine rauschärmere Version der Rotations- und Umwandlungsparameter für die Erzeugung eines übereinstimmenden Ebenenobjekts 830 zu erhalten.Several homografies 810 become of the matches of the points 820 the pre-stored image 830 of the object 800 in the captured image 890 estimated (in this example, the object 800 a painting on a wall). In this example, the assumption of a homography transformation is because of the in the scene and the object 800 assumed area structure valid. Thereafter, each homography matrix is decomposed into the image sensor rotation and conversion parameters. These individual parameters can be combined to provide a lower noise version of the rotation and conversion parameters for creating a matching plane object 830 to obtain.

Daher können das Objekt 800 und die Perspektive, in der es von einem Bildsensor erfasst wurde, identifiziert werden. Zugehörige Bilddaten können innerhalb des Flächensegments 850, das dem Objekt entspricht (z. B. wie oben beschrieben ein Symbol, Textdaten, Bilddaten), gezeigt werden.Therefore, the object can 800 and the perspective in which it was detected by an image sensor can be identified. Associated image data can be within the area segment 850 that corresponds to the object (eg, a symbol, text data, image data as described above) are shown.

9 ist ein Blockdiagramm eines Systems, das eine Ausführungsform der Erfindung umfassen kann. System 900 kann das Modul für die Vorabverarbeitung 910 zum Ausführen von Operationen im Zusammenhang mit vorab gespeicherten Bildern und 3D-Punktwolkendaten umfassen, um Flächensegmente wie oben beschrieben zu erzeugen. System 900 kann ferner einen Bildsensor 920 zum Erfassen von Bilddaten wie oben beschrieben umfassen. 9 Figure 10 is a block diagram of a system that may include an embodiment of the invention. system 900 can the module for pre-processing 910 for performing operations associated with pre-stored images and 3D point cloud data to generate area segments as described above. system 900 may further include an image sensor 920 for capturing image data as described above.

Das Modul für das Extrahieren von Ebenen 930 kann vorab die gespeicherten Bilder, die erfassten Bilder und ihre zugehörigen Flächensegmente verarbeiten, um eine Ebene zu extrahieren, die wie oben beschrieben zu einem Objekt gehört. Das Registrierungsmodul 940 kann die erfassten Bilddaten mit zugehörigen Inhalten in dem extrahierten Flächensegment wie oben beschrieben erweitern. Die erweiterten Bilddaten können auf einem Display 950 angezeigt werden.The module for extracting layers 930 can pre-process the stored images, the captured images, and their associated surface segments to extract a plane that belongs to an object as described above. The registration module 940 may extend the captured image data with related content in the extracted area segment as described above. The extended image data can be viewed on a display 950 are displayed.

In dieser Ausführungsform werden die Module 910, 930 und 940 über den Prozessor 960 ausgeführt. Alle oben beschriebenen Komponenten des Systems 900 können über den Bus 970 wirksam miteinander gekoppelt werden. Es versteht sich, dass die verschiedenen Module, die in 9 beschrieben sind, alle in einer mobilen Computervorrichtung oder separat in unterschiedlichen Standorten (d. h. eines oder alle der Module in 9 können in einem Server enthalten sein, der über eine Schnittstelle mit einer mobilen Computervorrichtung für die Bereitstellung von ”Backend-Verarbeitung” verbunden ist) enthalten sein können. Ferner versteht es sich, dass es sich bei den zu den beschriebenen Modulen zugehörigen Operationen nur um Beispielausführungen handelt, und dass jede der oben beschrieben Operationen über mehrere wirksam miteinander gekoppelte Vorrichtungen ausgeführt werden kann.In this embodiment, the modules 910 . 930 and 940 over the processor 960 executed. All components of the system described above 900 can over the bus 970 be effectively coupled with each other. It is understood that the various modules that are in 9 all in a mobile computing device or separately in different locations (ie one or all of the modules in 9 may be included in a server interfaced with a mobile computing device for providing "back-end processing". Further, it will be understood that the operations associated with the described modules are merely exemplary embodiments, and that any of the above-described operations may be performed over a plurality of devices operatively coupled together.

Verschiedene Komponenten, die im vorliegenden Text als Prozesse, Server oder Werkzeuge beschrieben sind, können Mittel zum Ausführen der beschriebenen Funktionen sein. Jede im vorliegenden Text beschriebene Komponente umfasst Software oder Hardware oder eine Kombination davon. Jede einzelne und alle Komponenten können als Softwaremodule, Hardwaremodule, Spezialhardware (z. B. anwendungsspezifische Hardware, ASICs, DSPs usw.) implementiert werden, eingebettete Controller, festverdrahtete Schaltkreise, Hardwarelogik usw. Softwareinhalte (z. B. Daten, Anweisungen, Konfiguration) können über einen Fertigungsartikel bereitgestellt werden, umfassend ein nicht transitorisches, greifbares computer- oder maschinenlesbares Speichermedium, das Inhalte bereitstellt, die ausführbare Anweisungen darstellen. Die Inhalte können dazu führen, dass ein Computer verschiedene im vorliegenden Text beschriebene Funktionen/Operationen ausführt. Ein computerlesbares Speichermedium umfasst Mechanismen, die Informationen in einer Form bereitstellen (d. h. speichern und/oder übertragen), die von einem Computer (z. B. Computervorrichtung, elektronisches System usw.) abgerufen werden können, wie z. B. aufzeichnungsfähige/nicht-aufzeichnungsfähige Medien (z. B. Read Only Memory (ROM), Random Access Memory (RAM), Magnetplattenspeichermedien, optische Speichermedien, Flashspeichervorrichtung usw.). Die Inhalte können direkt ausführbar (”Objekt” oder ”ausführbare” Form), Quellcode oder Differenzcode (”Delta”- oder ”Patch”-Code) sein. Ein computerlesbares Speichermedium kann auch Speicher oder eine Datenbank umfassen, aus dem bzw. der Inhalte heruntergeladen werden können. Ein computerlesbares Medium kann auch eine Vorrichtung oder ein Produkt umfassen, auf der bzw. dem zum Zeitpunkt des Verkaufs oder der Lieferung Inhalte gespeichert sind. Daher kann die Auslieferung einer Vorrichtung mit gespeicherten Inhalten oder das Angebot von Inhalten zum Download über ein Kommunikationsmedium als Bereitstellen eines Fertigungsartikels mit derartigen im vorliegenden Text beschriebenen Inhalten verstanden werden.Various components, which are described herein as processes, servers or tools, may be means for performing the described functions. Each component described herein includes software or hardware or a combination thereof. Each and every component may be implemented as software modules, hardware modules, specialized hardware (eg, application specific hardware, ASICs, DSPs, etc.), embedded controllers, hardwired circuitry, hardware logic, etc. Software content (eg, data, instructions, configuration) may be provided via an article of manufacture comprising a non-transitory, tangible computer or machine-readable storage medium providing content representing executable instructions. The contents may cause a computer to perform various functions / operations described herein. A computer-readable storage medium includes mechanisms that provide information (i.e., store and / or transfer) information in a form that can be retrieved from a computer (eg, computing device, electronic system, etc.), such as a computer. B. recordable / non-recordable media (e.g., read only memory (ROM), random access memory (RAM), magnetic disk storage media, optical storage media, flash memory device, etc.). The contents may be directly executable ("object" or "executable" form), source code or difference code ("delta" or "patch" code). A computer readable storage medium may also include memory or a database from which content may be downloaded. A computer-readable medium may also include a device or product on which content is stored at the time of sale or delivery. Therefore, the delivery of a stored content device or the offering of content for download via a communication medium may be understood as providing an article of manufacture having such content as described herein.

Claims (20)

Vorrichtung zum Erweitern von Bilddaten umfassend: Mittel zum Verarbeiten erster Bilddaten und 3D-Punktwolkendaten zum Extrahieren eines ersten Flächensegments aus den 3D-Punktwolkendaten, wobei das erste Flächensegment mit einem Objekt verknüpft ist, das in den ersten Bilddaten enthalten ist; Mittel zum Erzeugen eines zweiten Flächensegments, das zu dem Objekt gehört, wie es in zweiten Bilddaten erfasst wurde, basierend zumindest teilweise auf den zweiten Bilddaten, den ersten Bilddaten und dem ersten Flächensegment, wobei die zweiten Bilddaten über einen Bildsensor erfasst werden, der in einer mobilen Computervorrichtung enthalten ist, wobei die zweiten Bilddaten das Objekt enthalten; und Mittel zum geometrisch mit dem zweiten Flächensegment übereinstimmenden Erweitern der zweiten Bilddaten mit Inhalten, die mit dem Objekt verknüpft sind.Apparatus for expanding image data comprising: Means for processing first image data and 3D point cloud data for extracting a first area segment from the 3D point cloud data, wherein the first area segment is associated with an object included in the first image data; Means for generating a second area segment associated with the object as captured in second image data based at least in part on the second image data, the first image data, and the first area segment, the second image data being acquired via an image sensor located in one mobile computing device, the second image data containing the object; and Means for geometrically expanding the second image data with content associated with the object in accordance with the second area segment. Vorrichtung nach Anspruch 1, wobei die Mittel zum Verarbeiten der ersten Bilddaten und der 3D-Punktwolkendaten zum Extrahieren des ersten Flächensegments Mittel zum Bestimmen der Form und Ausrichtung des ersten extrahierten Flächensegments basierend auf Metadaten, die mit den ersten Bilddaten verknüpft sind, umfassen, wobei die Metadaten geografische Informationen zu den ersten Bilddaten oder Daten enthalten, die zum Objekt gehören, das in den ersten Bilddaten erfasst wurde.The apparatus of claim 1, wherein the means for processing the first image data and the 3D point cloud data for extracting the first area segment comprises means for determining the shape and orientation of the first extracted area segment based on metadata associated with the first image data Metadata includes geographic information about the first image data or data associated with the object captured in the first image data. Vorrichtung nach Anspruch 1, wobei das Generieren des zweiten Flächensegments, das zu dem Objekt gehört, wie es in den zweiten Bilddaten erfasst wurde, zumindest teilweise auf den zweiten Bilddaten basiert, wobei die ersten Bilddaten und das erste Flächensegment das Abstimmen des ersten Flächensegments mit dem Objekt umfasst, das in den zweiten Bilddaten basierend auf den Farbdaten des Objekts, das in den ersten Bilddaten erfasst wurde, erfasst wird.The apparatus of claim 1, wherein generating the second area segment associated with the object as captured in the second image data is based at least in part on the second image data, wherein the first image data and the first area segment correspond to the first area segment Object detected in the second image data based on the color data of the object acquired in the first image data. Vorrichtung nach Anspruch 1, wobei die Mittel zum Verarbeiten der 3D-Punktwolkendaten Mittel zum Downsampling der 3D-Punktwolkendaten umfasst.The apparatus of claim 1, wherein the means for processing the 3D point cloud data comprises means for downsampling the 3D point cloud data. Vorrichtung nach Anspruch 1, wobei das Verarbeiten der ersten Bilddaten und der 3D-Punktwolkendaten zum Extrahieren des ersten Flächensegments aus den 3D-Punktwolkendaten ferner auf Zuverlässigkeitsdaten basiert, die mit den Datenpunkten der 3D-Punktwolkendaten verknüpft sind.The apparatus of claim 1, wherein processing the first image data and the 3D point cloud data to extract the first area segment from the 3D point cloud data is further based on reliability data associated with the data points of the 3D point cloud data. Vorrichtung nach Anspruch 1, wobei die zweiten Bilddaten eine Live-Ansicht umfassen, die vom Bildsensor der mobilen Computervorrichtung erfasst wurde, und die mit dem Objekt verknüpften Inhalte Text, statische Bilddaten oder Videobilddaten umfassen.The apparatus of claim 1, wherein the second image data comprises a live view captured by the image sensor of the mobile computing device, and the contents associated with the object include text, static image data, or video image data. Vorrichtung nach Anspruch 1, wobei die 3D-Punktwolkendaten Folgendes umfassen: einen ersten Satz mit 3D-Punktwolkendaten, die aus einer ersten Perspektive erfasst wurden; und einen zweiten Satz mit 3D-Punktwolkendaten, die aus einer zweiten Perspektive erfasst wurden, und wobei die Mittel zum Verarbeiten der ersten Bilddaten und der 3D-Punktwolkendaten weiterhin zum Extrahieren des ersten Flächensegments aus den 3D Punktwolkendaten Folgendes umfasst: Mittel zum Verarbeiten des ersten Satzes mit 3D-Punktwolkendaten und der ersten Bilddaten zum Extrahieren eines ersten Anfangsflächensegments; Mittel zum Verarbeiten des zweiten Satzes mit 3D-Punktwolkendaten und der ersten Bilddaten zum Extrahieren eines zweiten Anfangsflächensegments; und Mittel zum Kombinieren des ersten und zweiten Anfangsflächensegments zum Bilden des ersten Flächensegments.The apparatus of claim 1, wherein the 3D point cloud data comprises: a first set of 3D point cloud data acquired from a first perspective; and a second set of 3D point cloud data acquired from a second perspective, and wherein the means for processing the first image data and the 3D point cloud data further comprises, for extracting the first area segment from the 3D point cloud data: Means for processing the first set of 3D point cloud data and the first image data to extract a first initial surface segment; Means for processing the second set of 3D point cloud data and the first image data to extract a second initial surface segment; and Means for combining the first and second starting surface segments to form the first surface segment. System zum Erweitern von Bilddaten umfassend: mindestens einen Prozessor; ein Display; Software, die über den bzw. die Prozessoren ausgeführt wird zum Verarbeiten erster Bilddaten und 3D-Punktwolkendaten zum Extrahieren eines ersten Flächensegments aus den 3D-Punktwolkendaten, wobei das erste Flächensegment mit einem Objekt verknüpft ist, das in den ersten Bilddaten enthalten ist; Generieren eines zweiten Flächensegments, das zu dem Objekt gehört, wie es in den zweiten Bilddaten erfasst wurde, zumindest teilweise basierend auf den zweiten Bilddaten, den ersten Bilddaten und dem ersten Flächensegment, geometrisch mit dem zweiten Flächensegment übereinstimmenden Erweitern der zweiten Bilddaten mit Inhalten, die mit dem Objekt verknüpft sind, Anzeigen des zweiten Bildes mit den erweiterten Inhalten, die mit dem Objekt auf dem Display verknüpft sind; und einen Bildsensor zum Erfassen der zweiten Bilddaten, die das Objekt enthalten. A system for expanding image data comprising: at least one processor; a display; Software executed via the processor (s) for processing first image data and 3D point cloud data to extract a first area segment from the 3D point cloud data, the first area segment associated with an object included in the first image data; Generating, based at least in part on the second image data, the first image data, and the first area segment, geometrically expanding the second image data with contents corresponding to the second area segment, a second area segment associated with the object as captured in the second image data associated with the object, displaying the second image with the extended content associated with the object on the display; and an image sensor for acquiring the second image data containing the object. System nach Anspruch 8, wobei das Verarbeiten der ersten Bilddaten und der 3D-Punktwolkendaten zum Extrahieren des ersten Flächensegments das Bestimmen der Form und Ausrichtung des ersten extrahierten Flächensegments basierend auf Metadaten, die mit den ersten Bilddaten verknüpft sind, umfasst, wobei die Metadaten geografische Informationen zu den ersten Bilddaten oder Daten enthalten, die zum Objekt gehören, das in den ersten Bilddaten erfasst wurde.The system of claim 8, wherein processing the first image data and the 3D point cloud data to extract the first area segment comprises determining the shape and orientation of the first extracted area segment based on metadata associated with the first image data, the metadata being geographic information to the first image data or data belonging to the object that was detected in the first image data. System nach Anspruch 8, wobei das Generieren des zweiten Flächensegments, das zu dem Objekt gehört, wie es in den zweiten Bilddaten erfasst wurde, zumindest teilweise auf den zweiten Bilddaten basiert, wobei die ersten Bilddaten und das erste Flächensegment das Abstimmen des ersten Flächensegments mit dem Objekt umfasst, das in den zweiten Bilddaten basierend auf den Farbdaten des Objekts, das in den ersten Bilddaten erfasst wurde, erfasst wird.The system of claim 8, wherein generating the second area segment associated with the object as captured in the second image data is based at least in part on the second image data, wherein the first image data and the first area segment match the first area segment with the second area image Object detected in the second image data based on the color data of the object acquired in the first image data. System nach Anspruch 8, wobei das Verarbeiten der 3D-Punktwolkendaten das Downsampling der 3D-Punktwolkendaten umfasst.The system of claim 8, wherein processing the 3D point cloud data comprises downsampling the 3D point cloud data. System nach Anspruch 8, wobei das Verarbeiten der ersten Bilddaten und der 3D-Punktwolkendaten zum Extrahieren des ersten Flächensegments aus den 3D-Punktwolkendaten ferner auf Zuverlässigkeitsdaten basiert, die mit den Datenpunkten der 3D-Punktwolkendaten verknüpft sind.The system of claim 8, wherein processing the first image data and the 3D point cloud data to extract the first area segment from the 3D point cloud data is further based on reliability data associated with the data points of the 3D point cloud data. System nach Anspruch 8, wobei die zweiten Bilddaten eine Live-Ansicht umfassen, die vom Bildsensor der mobilen Computervorrichtung erfasst wurde, und die Inhalte Text, statische Bilddaten oder Videobilddaten umfassen.The system of claim 8, wherein the second image data comprises a live view captured by the image sensor of the mobile computing device and the content includes text, static image data, or video image data. System nach Anspruch 8, wobei die 3D-Punktwolkendaten Folgendes umfassen: einen ersten Satz mit 3D-Punktwolkendaten, die aus einer ersten Perspektive erfasst wurden; und einen zweiten Satz mit 3D-Punktwolkendaten, die aus einer zweiten Perspektive erfasst wurden, und wobei das Verarbeiten der ersten Bilddaten und der 3D-Punktwolkendaten weiterhin zum Extrahieren des ersten Flächensegments aus den 3D-Punktwolkendaten Folgendes umfasst: Verarbeiten des ersten Satzes mit 3D-Punktwolkendaten und der ersten Bilddaten zum Extrahieren eines ersten Anfangsflächensegments; Verarbeiten des zweiten Satzes mit 3D-Punktwolkendaten und der ersten Bilddaten zum Extrahieren eines zweiten Anfangsflächensegments; und Kombinieren des ersten und zweiten Anfangsflächensegments zum Bilden des ersten Flächensegments.The system of claim 8, wherein the 3D point cloud data comprises: a first set of 3D point cloud data acquired from a first perspective; and a second set of 3D point cloud data acquired from a second perspective, and wherein processing the first image data and the 3D point cloud data further comprises extracting the first area segment from the 3D point cloud data: Processing the first set of 3D point cloud data and the first image data to extract a first initial surface segment; Processing the second set of 3D point cloud data and the first image data to extract a second initial surface segment; and Combining the first and second starting surface segments to form the first surface segment. Verfahren zum Erweitern von Bilddaten umfassend: Verarbeiten erster Bilddaten und 3D-Punktwolkendaten zum Extrahieren eines ersten Flächensegments aus den 3D-Punktwolkendaten, wobei das erste Flächensegment mit einem Objekt verknüpft ist, das in den ersten Bilddaten enthalten ist; Empfangen zweiter Bilddaten, die über einen in einer mobilen Computervorrichtung enthaltenen Bildsensor erfasst werden, wobei die zweiten Bilddaten das Objekt enthalten; Generieren eines zweiten Flächensegments, das zu dem Objekt gehört, wie es in den zweiten Bilddaten erfasst wurde, zumindest teilweise basierend auf den zweiten Bilddaten, den ersten Bilddaten und dem ersten Flächensegment; und geometrisch mit dem zweiten Flächensegment übereinstimmendes Erweitern der zweiten Bilddaten mit Inhalten, die mit dem Objekt verknüpft sind,Method for expanding image data comprising: Processing first image data and 3D point cloud data to extract a first area segment from the 3D point cloud data, wherein the first area segment is associated with an object included in the first image data; Receiving second image data acquired via an image sensor included in a mobile computing device, the second image data including the object; Generating, based at least in part on the second image data, the first image data and the first area segment, a second area segment associated with the object as acquired in the second image data; and geometrically expanding the second image data with content associated with the object, in accordance with the second surface segment, Verfahren nach Anspruch 15, wobei das Verarbeiten der ersten Bilddaten und der 3D-Punktwolkendaten zum Extrahieren des ersten Flächensegments das Bestimmen der Form und Ausrichtung des ersten extrahierten Flächensegments basierend auf Metadaten, die mit den ersten Bilddaten verknüpft sind, umfasst, wobei die Metadaten geografische Informationen zu den ersten Bilddaten oder Daten enthalten, die zum Objekt gehören, das in den ersten Bilddaten erfasst wurde.The method of claim 15, wherein processing the first image data and the 3D point cloud data to extract the first area segment comprises determining the shape and orientation of the first extracted area segment based on metadata associated with the first image data, wherein the metadata is geographic information to the first image data or data belonging to the object that was detected in the first image data. Verfahren nach Anspruch 15, wobei das Generieren des zweiten Flächensegments, das zu dem Objekt gehört, wie es in den zweiten Bilddaten erfasst wurde, zumindest teilweise auf den zweiten Bilddaten basiert, wobei die ersten Bilddaten und das erste Flächensegment das Abstimmen des ersten Flächensegments mit dem Objekt umfasst, das in den zweiten Bilddaten basierend auf den Farbdaten des Objekts, das in den ersten Bilddaten erfasst wurde, erfasst wird.The method of claim 15, wherein generating the second area segment associated with the object as acquired in the second image data is based, at least in part, on the second image data, wherein the first image data and the first area segment match the first Includes area segment with the object detected in the second image data based on the color data of the object acquired in the first image data. Verfahren nach Anspruch 15, wobei das Verarbeiten der ersten Bilddaten und der 3D-Punktwolkendaten zum Extrahieren des ersten Flächensegments aus den 3D-Punktwolkendaten ferner auf Zuverlässigkeitsdaten basiert, die mit den Datenpunkten der 3D-Punktwolkendaten verknüpft sind.The method of claim 15, wherein processing the first image data and the 3D point cloud data to extract the first area segment from the 3D point cloud data is further based on reliability data associated with the data points of the 3D point cloud data. Verfahren nach Anspruch 15, wobei die zweiten Bilddaten eine Live-Ansicht umfassen, die vom Bildsensor der mobilen Computervorrichtung erfasst wurde, und die Inhalte Text, statische Bilddaten oder Videobilddaten umfassen.The method of claim 15, wherein the second image data comprises a live view captured by the image sensor of the mobile computing device, and the content includes text, static image data, or video image data. Verfahren nach Anspruch 15, wobei die 3D-Punktwolkendaten Folgendes umfassen: einen ersten Satz mit 3D-Punktwolkendaten, die aus einer ersten Perspektive erfasst wurden; und einen zweiten Satz mit 3D-Punktwolkendaten, die aus einer zweiten Perspektive erfasst wurden, und wobei das Verarbeiten der ersten Bilddaten und der 3D-Punktwolkendaten weiterhin zum Extrahieren des ersten Flächensegments aus den 3D Punktwolkendaten Folgendes umfasst: Verarbeiten des ersten Satzes mit 3D-Punktwolkendaten und der ersten Bilddaten zum Extrahieren eines ersten Anfangsflächensegments; Verarbeiten des zweiten Satzes mit 3D-Punktwolkendaten und der ersten Bilddaten zum Extrahieren eines zweiten Anfangsflächensegments; und Kombinieren des ersten und zweiten Anfangsflächensegments zum Bilden des ersten Flächensegments.The method of claim 15, wherein the 3D point cloud data comprises: a first set of 3D point cloud data acquired from a first perspective; and a second set of 3D point cloud data acquired from a second perspective, and wherein processing the first image data and the 3D point cloud data further comprises extracting the first area segment from the 3D point cloud data: Processing the first set of 3D point cloud data and the first image data to extract a first initial surface segment; Processing the second set of 3D point cloud data and the first image data to extract a second initial surface segment; and Combining the first and second starting surface segments to form the first surface segment.
DE112011103221T 2010-09-24 2011-09-26 Extend image data based on related 3D point cloud data Pending DE112011103221T5 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/890,251 US8872851B2 (en) 2010-09-24 2010-09-24 Augmenting image data based on related 3D point cloud data
US12/890,251 2010-09-24
PCT/US2011/053271 WO2012040709A2 (en) 2010-09-24 2011-09-26 Augmenting image data based on related 3d point cloud data

Publications (1)

Publication Number Publication Date
DE112011103221T5 true DE112011103221T5 (en) 2013-09-19

Family

ID=45870201

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112011103221T Pending DE112011103221T5 (en) 2010-09-24 2011-09-26 Extend image data based on related 3D point cloud data

Country Status (5)

Country Link
US (1) US8872851B2 (en)
CN (1) CN102959946B (en)
DE (1) DE112011103221T5 (en)
TW (1) TWI483215B (en)
WO (1) WO2012040709A2 (en)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019812B2 (en) 2011-03-04 2018-07-10 General Electric Company Graphic overlay for measuring dimensions of features using a video inspection device
US10586341B2 (en) 2011-03-04 2020-03-10 General Electric Company Method and device for measuring features on or near an object
US10157495B2 (en) * 2011-03-04 2018-12-18 General Electric Company Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
WO2012141235A1 (en) * 2011-04-13 2012-10-18 株式会社トプコン Three-dimensional point group position data processing device, three-dimensional point group position data processing system, three-dimensional point group position data processing method and program
KR101907081B1 (en) * 2011-08-22 2018-10-11 삼성전자주식회사 Method for separating object in three dimension point clouds
EP2602588A1 (en) * 2011-12-06 2013-06-12 Hexagon Technology Center GmbH Position and Orientation Determination in 6-DOF
US9235920B2 (en) * 2011-12-22 2016-01-12 Telefonaktiebolaget L M Ericsson (Publ) Method and processor for 3D scene representation
WO2014160198A1 (en) * 2013-03-13 2014-10-02 Build-A-Bear Workshop, Inc. Systems and methods for computer recognition of plush toys
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
CN104616278B (en) * 2013-11-05 2020-03-17 北京三星通信技术研究有限公司 Three-dimensional point cloud interest point detection method and system
US9547901B2 (en) * 2013-11-05 2017-01-17 Samsung Electronics Co., Ltd. Method and apparatus for detecting point of interest (POI) in three-dimensional (3D) point clouds
US9704055B2 (en) * 2013-11-07 2017-07-11 Autodesk, Inc. Occlusion render mechanism for point clouds
US9633483B1 (en) * 2014-03-27 2017-04-25 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
US9723109B2 (en) 2014-05-28 2017-08-01 Alexander Hertel Platform for constructing and consuming realm and object feature clouds
US9600892B2 (en) * 2014-11-06 2017-03-21 Symbol Technologies, Llc Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
CN104715120B (en) * 2015-03-30 2019-08-23 英华达（上海）科技有限公司 The extending method of 3D model
US10033941B2 (en) * 2015-05-11 2018-07-24 Google Llc Privacy filtering of area description file prior to upload
CN105261061B (en) * 2015-09-07 2018-10-26 深圳市易尚展示股份有限公司 A kind of method and device of identification redundant data
JP6944441B2 (en) 2015-09-25 2021-10-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． Methods and systems for detecting and combining structural features in 3D reconstruction
TWI578269B (en) 2015-12-14 2017-04-11 財團法人工業技術研究院 Method for suturing 3d coordinate information and the device using the same
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10145955B2 (en) 2016-02-04 2018-12-04 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
US10721451B2 (en) 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
US9805240B1 (en) 2016-04-18 2017-10-31 Symbol Technologies, Llc Barcode scanning and dimensioning
GB201607639D0 (en) 2016-05-02 2016-06-15 Univ Leuven Kath Sensing method
US10776661B2 (en) 2016-08-19 2020-09-15 Symbol Technologies, Llc Methods, systems and apparatus for segmenting and dimensioning objects
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10451405B2 (en) 2016-11-22 2019-10-22 Symbol Technologies, Llc Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
US10354411B2 (en) 2016-12-20 2019-07-16 Symbol Technologies, Llc Methods, systems and apparatus for segmenting objects
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US11978011B2 (en) 2017-05-01 2024-05-07 Symbol Technologies, Llc Method and apparatus for object status detection
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
JP6907061B2 (en) * 2017-07-21 2021-07-21 株式会社タダノ Top surface estimation method for measurement object, guide information display device and crane
JP6845106B2 (en) * 2017-07-21 2021-03-17 株式会社タダノ Point cloud data clustering method, guide information display device and crane
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
CN109697728B (en) 2017-10-20 2023-04-25 阿里巴巴集团控股有限公司 Data processing method, device, system and storage medium
WO2019140295A1 (en) * 2018-01-11 2019-07-18 Youar Inc. Cross-device supervisory computer vision system
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10853946B2 (en) 2018-05-18 2020-12-01 Ebay Inc. Physical object boundary detection techniques and systems
US10679367B2 (en) * 2018-08-13 2020-06-09 Hand Held Products, Inc. Methods, systems, and apparatuses for computing dimensions of an object using angular estimates
CN109241978B (en) * 2018-08-23 2021-09-07 中科光绘（上海）科技有限公司 Method for rapidly extracting plane piece in foundation three-dimensional laser point cloud
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
EP3864493A1 (en) * 2018-10-09 2021-08-18 Google LLC Selecting augmented reality objects for display based on contextual cues
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11281917B2 (en) * 2019-10-31 2022-03-22 Aptiv Technologies Limited Multi-domain neighborhood embedding and weighting of point cloud data
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
CN113021333A (en) * 2019-12-25 2021-06-25 沈阳新松机器人自动化股份有限公司 Object grabbing method and system and terminal equipment
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
EP4386678A1 (en) * 2022-12-14 2024-06-19 Koninklijke Philips N.V. Novel view generation using point clouds

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1567988A1 (en) * 2002-10-15 2005-08-31 University Of Southern California Augmented virtual environments
US20080259073A1 (en) 2004-09-23 2008-10-23 Conversion Works, Inc. System and method for processing video images
WO2006084385A1 (en) 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
CA2676219C (en) * 2007-01-23 2017-10-24 Euclid Discoveries, Llc Computer method and apparatus for processing image data
US20090237546A1 (en) * 2008-03-24 2009-09-24 Sony Ericsson Mobile Communications Ab Mobile Device with Image Recognition Processing Capability
TW201005673A (en) * 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
WO2010086866A1 (en) * 2009-02-02 2010-08-05 Eyesight Mobile Technologies Ltd. System and method for object recognition and tracking in a video stream
EP2401575B1 (en) 2009-02-25 2019-12-25 Dimensional Photonics International, Inc. Method and apparatus for generating a display of a three-dimensional surface
US8340400B2 (en) * 2009-05-06 2012-12-25 Honeywell International Inc. Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features
US20110279445A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for presenting location-based content

Also Published As

Publication number Publication date
US20120075342A1 (en) 2012-03-29
US8872851B2 (en) 2014-10-28
WO2012040709A2 (en) 2012-03-29
WO2012040709A3 (en) 2012-07-05
TW201229962A (en) 2012-07-16
TWI483215B (en) 2015-05-01
CN102959946B (en) 2016-11-16
CN102959946A (en) 2013-03-06

Similar Documents

Publication Publication Date Title
DE112011103221T5 (en) Extend image data based on related 3D point cloud data
US9454796B2 (en) Aligning ground based images and aerial imagery
DE112015005191T5 (en) Aligning panoramic and aerial photography
DE102018121019A1 (en) EXPANDING REAL SENSOR RECORDS WITH SIMULATED SENSOR DATA
DE102007045835B4 (en) Method and device for displaying a virtual object in a real environment
CN109598794B (en) Construction method of three-dimensional GIS dynamic model
DE102020214863A1 (en) SELF-MONITORED PROCEDURE AND SYSTEM FOR DEPTH ESTIMATION
DE112011103690T5 (en) Detection and tracking of moving objects
DE112018007287T5 (en) VEHICLE SYSTEM AND METHOD FOR DETECTING OBJECTS AND OBJECT DISTANCE
DE112016001830T5 (en) Discovering companies from images
DE202009019126U1 (en) Three-dimensional labels for road view data
DE202010018498U1 (en) Matching an approximately localized request image with a reference image sentence
EP2923333B1 (en) Method for the automatic creation of two- or three-dimensional building models
DE102010001520A1 (en) Iris detection system and method supported by an aircraft sensor
DE202015009198U1 (en) Selection of temporally distributed panoramic images for display
DE202014010927U1 (en) Reference point identification from point clouds created from geographic image data
DE102007045834A1 (en) Method and device for displaying a virtual object in a real environment
DE112016002022T5 (en) MANAGING FEATURE DATA FOR ENVIRONMENTAL IMAGING ON AN ELECTRONIC DEVICE
DE202016008004U1 (en) Automatically associate images using visual property references to related applications
EP3347878B1 (en) Method and apparatus for superimposing a virtual image onto an image of a real scene, and mobile device
DE112015003263T5 (en) image modification
DE112010002677T5 (en) METHOD AND DEVICE FOR DETERMINING FORM CONFORMITY IN THREE DIMENSIONS
EP3539085B1 (en) 3d localization
DE102004026782A1 (en) Method and apparatus for computer-aided motion estimation in at least two temporally successive digital images, computer-readable storage medium and computer program element
DE102017118993A1 (en) Method for identifying a ship

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication