DE102019100011A1

DE102019100011A1 - Verfahren zur 3D-Rekonstruktion eines Objekts

Info

Publication number: DE102019100011A1
Application number: DE102019100011.4A
Authority: DE
Inventors: Florian Feuerstein; Xiaomao Wu
Original assignee: Gritworld GmbH
Current assignee: Gritworld GmbH
Priority date: 2019-01-02
Filing date: 2019-01-02
Publication date: 2020-07-02
Anticipated expiration: 2039-01-03
Also published as: KR20210141922A; US11475629B2; EP3906530B1; JP2022516298A; WO2020141161A1; EP3906530A1; DE102019100011B4; US20220068018A1

Abstract

Die Erfindung betrifft ein Verfahren zur 3D-Rekonstruktion eines Objekts, das die folgenden Schritte umfasst: Erzeugen einer Mehrzahl von Bildern eines Objekts durch wenigstens eine Kamera; Extrahieren von Merkmalen des Objekts aus der Mehrzahl von Bildern; Erzeugen einer Wolke von dreidimensionalen Punkten, die in einem dreidimensionalen Modell angeordnet sind, das das Objekt darstellt; Identifizieren der Bilder, von denen jedes wenigstens eines aus einer Teilmenge der Merkmale umfasst; Bestimmen eines ersten Satzes von dreidimensionalen Punkten, die der Teilmenge der Merkmale entsprechen, und eines zweiten Satzes von dreidimensionalen Punkten; Bestimmen einer mathematischen Gleichung, die einer vordefinierten dreidimensionalen geometrischen Struktur als Baustein des Objekts entspricht, mittels der ersten Menge und der zweiten Menge der dreidimensionalen Punkte; und Darstellen eines dreidimensionalen Modells des Objekts mittels wenigstens der vordefinierten dreidimensionalen geometrischen Struktur.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft ein Verfahren zur 3D-Rekonstruktion eines Objekts, ein Datenverarbeitungssystem mit Mitteln zur Durchführung des Verfahrens, ein Computerprogramm mit Anweisungen, die den Computer zur Durchführung des Verfahrens veranlassen, und ein computerlesbares Medium mit Anweisungen, die den Computer veranlassen, das Verfahren durchzuführen, gemäß dem Oberbegriff der Ansprüche 1, 9, 10 und 11.
Hintergrund
Bei Computervision und Computergrafik realisieren 3D-Rekonstruktionen Reproduktionen der Form und des Aussehens von realen Objekten. Um diesen Zweck zu erreichen, werden digitale dreidimensionale Modelle der realen Objekte mit einer Mehrzahl von Techniken erstellt. Als eine dieser Techniken ist die moderne photogrammetrische Technik weit verbreitet, die Messungen an Fotos vornimmt, um die genauen Positionen von Oberflächenpunkten der realen Objekte zu bestimmen.
Ein typisches photogrammetrisches Verfahren zur Rekonstruktion eines realen Objekts kann die folgenden Schritte umfassen:

Zunächst wird eine Mehrzahl von Fotos des zu rekonstruierenden Objekts von einer oder mehreren Kameras gleichzeitig oder zu unterschiedlichen Aufnahmezeiten aus verschiedenen Kameraposen aufgenommen, die eine Kombination aus der Position und der Ausrichtung der Kamera sind.

Anschließend werden Merkmalspunkte jedes Fotos in an sich bekannter Weise erkannt und aus den Fotos extrahiert, z.B. mit dem Merkmalsdetektor Scale-Invariant Feature Transform („skaleninvariante Merkmalstransformation“, kurz SIFT) oder Speeded-Up Robust Features („Beschleunigte, robuste Merkmale“, kurz SURF).
Ein Merkmal auf einem aufgenommenen Foto ist ein „interessanter“ Teil davon, wie z.B. Eckpunkte (Kanten mit Gradienten in mehreren Richtungen), Blobs oder Grate dieses Fotos.
Anschließend werden die von allen Fotos erfassten Merkmale so in Übereinstimmung gebracht, dass geometrische Beziehungen zwischen den Fotos in an sich bekannter Weise erkannt werden, z.B. durch das Lukas-Kanade-Verfahren.
Danach wird ein weit verbreiteter Algorithmus namens Structure from Motion (SfM) verwendet, um Merkmale aus den Fotos zu extrahieren und die Ausrichtungen der Kameras sowie die Positionen der Merkmalspunkte des zu rekonstruierenden Objekts zu berechnen. Heutzutage ist eine Mehrzahl von SfM-Software auf dem Markt erhältlich. Die Ausgabe der kommerziell erhältlichen SfM-Software kann eine Wolke von dreidimensionalen Punkten sein, die den erfassten zweidimensionalen Merkmalen auf den aufgenommenen Fotos entspricht.
Anhand der Wolke der dreidimensionalen Punkte kann die Oberfläche eines Objektmodells rekonstruiert werden. Die Qualität des Objektmodells hängt unter anderem von der lokalen Dichte der Wolke der dreidimensionalen Punkte ab, die definiert ist als das Verhältnis der Anzahl der dreidimensionalen Punkte, die sich in einem Bereich befinden, zu der Fläche der am besten passenden Oberfläche oder dem Volumen, das den dreidimensionalen Punkten entspricht. Je höher die lokale Dichte der Wolke aus dreidimensionalen Punkten ist, desto besser ist die Qualität des Objektmodells.
Im letzten Schritt wird das Objektmodell texturiert, um ein realistisches Aussehen zu erhalten.
Bei der Rekonstruktion eines Objektmodells mit der Wolke der dreidimensionalen Punkte können zunächst geometrische Strukturen wie Ebenen, gekrümmte Flächen oder Polyeder als Bausteine des Objektmodells rekonstruiert werden.
Technisches Problem
Die Geschwindigkeit der Rekonstruktion der geometrischen Strukturen ist jedoch aufgrund der hohen Rechenkosten bisher recht gering, wobei die Qualität des Rekonstruktionsergebnisses auch unbefriedigend sein kann, z.B. aufgrund einer geringen lokalen Dichte der Wolke der dreidimensionalen Punkte in dem Bereich, in dem die geometrische Struktur rekonstruiert werden soll.
So basiert die vorliegende Erfindung auf der Aufgabe, die ein Verfahren zur 3D-Rekonstruktion eines Objekts, ein Datenverarbeitungssystem mit Mitteln zur Durchführung des Verfahrens, ein Computerprogramm mit Anweisungen, die den Computer zur Durchführung des Verfahrens veranlassen, und ein computerlesbares Medium mit Anweisungen, die den Computer veranlassen, das Verfahren durchzuführen, bereitstellt, nach dem Oberbegriff der Ansprüche 1, 8, 9 und 10, die eine schnelle und genauere 3D-Rekonstruktion eines Zielobjekts ermöglichen.
Lösung des Problems
Diese Aufgabe wird gemäß der vorliegenden Erfindung durch die Ansprüche 1, 9, 10 und 11 gelöst. Den Unteransprüchen können vorteilhafte Weiterbildungen entnommen werden.
Gemäß dem ersten Aspekt stellt die Erfindung ein Verfahren zur 3D-Rekonstruktion eines Objekts bereit, das die folgenden Schritte umfasst:

A. Erzeugen einer Mehrzahl von Bildern eines Objekts durch wenigstens eine Kamera, insbesondere aus verschiedenen Kamerawinkeln und -positionen;
B. Extrahieren von Merkmalen des Objekts aus der Mehrzahl von Bildern;
C. Erzeugen einer Wolke von dreidimensionalen Punkten, die in einem dreidimensionalen Modell angeordnet sind, das das Objekt darstellt, wobei jeder der dreidimensionalen Punkte einem der Merkmale entspricht, das aus wenigstens zwei der Mehrzahl von Bildern extrahierbar ist;
D. Auswählen eines Bereichs in einem der Mehrzahl von Bildern, der eine Projektion von wenigstens einem Teil einer vordefinierten dreidimensionalen geometrischen Struktur als Baustein des Objekts enthält,
- - wobei die vordefinierte dreidimensionale geometrische Struktur durch eine mathematische Gleichung darstellbar ist, die eine Mehrzahl von unbekannten Koeffizienten umfasst, und
- - wobei eine Teilmenge der Merkmale des Objekts, die jeweils einem der dreidimensionalen Punkte entsprechen, im Bereich enthalten sind und die Anzahl der Merkmale in der Teilmenge der Merkmale nicht kleiner ist als die Anzahl der unbekannten Koeffizienten der mathematischen Gleichung;
E. Identifizieren der Bilder, von denen jedes wenigstens eines der Merkmale in der Teilmenge der Merkmale umfasst;
F. Bestimmen eines ersten Satzes von dreidimensionalen Punkten, die der Teilmenge der in Schritt D genannten Merkmale entsprechen, und eines zweiten Satzes von dreidimensionalen Punkten, der wenigstens einen dreidimensionalen Punkt umfasst, der wenigstens einem Merkmal entspricht, das nicht zur Teilmenge der Merkmale gehört, aber aus wenigstens zwei der identifizierten Bilder in Schritt E extrahierbar ist;
G. Bestimmen der mathematischen Gleichung, die der vordefinierten dreidimensionalen geometrischen Struktur entspricht, mittels des ersten Satzes und des zweiten Satzes der dreidimensionalen Punkte; und
H. Rendern eines dreidimensionalen Modells des Objekts mittels wenigstens der vordefinierten dreidimensionalen geometrischen Struktur.

Insbesondere ist vorteilhaft, dass durch die oben genannten Schritte D bis G die Zeit für die Rekonstruktion der erforderlichen geometrischen Strukturen als Bausteine für das zu rekonstruierende Objekt deutlich reduziert ist. Darüber hinaus ist die Gesamtqualität der Rekonstruktion trotz einer relativ geringen lokalen Dichte der Wolke aus dreidimensionalen Punkten deutlich verbessert.
Nach dem Erzeugen einer Wolke von dreidimensionalen Punkten, die das in Schritt C erwähnte zu rekonstruierende Objekt repräsentieren, kann jedes der aufgenommenen Bilder zur Auswahl eines Bereichs im ausgewählten Bild ausgewählt werden, solange beide der folgenden Voraussetzungen erfüllt sind:

Erstens wird in diesem Bereich des gewählten Bildes eine Projektion von wenigstens einem Teil einer vordefinierten dreidimensionalen geometrischen Struktur, die durch eine mathematische Gleichung mit z.B. M unbekannten Koeffizienten darstellbar ist, als die Bausteine für das zu rekonstruierende Objekt bereitgestellt.

Zweitens sind in diesem Bereich erkannte Merkmalspunkte verfügbar, wobei, wenn die Anzahl der Merkmalspunkte mit N gekennzeichnet ist, N nicht kleiner als M sein sollte.
Diese Auswahl, gemäß der vorliegenden Erfindung, eines Bereichs aus einem aufgenommenen Bild kann vom Benutzer vorgenommen werden, der die Software zur Rekonstruktion des realen Objekts anwendet. Alternativ kann der Auswahlvorgang auch von einem Computerprogramm durchgeführt werden, in dem die beiden oben genannten Voraussetzungen vordefiniert und in an sich bekannter Weise gespeichert sind.
Nach dem Auswahlprozess werden in Schritt E weitere relevante Bilder identifiziert. Die relevanten Bilder sind eine Teilmenge der aufgenommenen Bilder und als Bilder definiert, von denen jedes wenigstens einen der N Merkmalspunkte umfasst, die aus dem ausgewählten Bereich des in Schritt D ausgewählten Bildes extrahierbar sind.
Da jeder der dreidimensionalen Punkte in der Wolke der in Schritt C erzeugten dreidimensionalen Punkte einem zweidimensionalen Merkmal (Punkt) entspricht, das aus wenigstens zwei der aufgenommenen Bilder extrahiert werden kann, wird gemäß der vorliegenden Erfindung ein erster Satz bestehend aus N dreidimensionalen Punkten nach den in Schritt D erwähnten N Merkmalspunkten bestimmt.
Gemäß der vorliegenden Erfindung wird ein zweiter Satz bestimmt, bestehend aus z.B. X dreidimensionalen Punkten. Diese X dreidimensionalen Punkte entsprechen X Merkmalspunkten, die nicht zu den N Merkmalspunkten gehören, aber andere Merkmalspunkte sind, von denen jeder aus wenigstens zwei der relevanten Bilder, d.h. der Teilmenge der aufgenommenen Bilder, extrahiert werden kann.
Anschließend kann die mathematische Gleichung, die der vordefinierten dreidimensionalen geometrischen Struktur entspricht, mit dem ersten und zweiten Satz von dreidimensionalen Punkten bestimmt werden.
Da die mathematische Gleichung M unbekannte Koeffizienten hat und die Anzahl N der dreidimensionalen Punkte im ersten Satz bereits gleich oder mehr als die Anzahl der unbekannten Koeffizienten M ist, kann die mathematische Gleichung bestimmt oder erkannt werden, d.h. die unbekannten M-Koeffizienten können durch nur die N dreidimensionalen Punkte im ersten Satz herausgefunden werden.
Gemäß der vorliegenden Erfindung wird dann der zweite Satz mit X dreidimensionalen Punkten verwendet, um die mathematische Gleichung auszuwerten, die durch den ersten Satz mit N dreidimensionalen Punkten bestimmt worden ist. So werden beispielsweise die relativen Koordinaten der dreidimensionalen X-Punkte im zweiten Satz in die bestimmte mathematische Gleichung eingefügt, um zu testen, ob die Gleichung noch gültig ist.
Da die in Schritt E identifizierte Teilmenge von Bildern für das ausgewählte Bild in Schritt D relevant ist, weil diese Bilder wenigstens einen Merkmalspunkt in dem ausgewählten Bereich teilen, der eine Projektion von wenigstens einem Teil der vordefinierten dreidimensionalen geometrischen Struktur enthält, besteht eine hohe Wahrscheinlichkeit, dass die X Merkmale in der Teilmenge der in Schritt F genannten Bilder wenigstens einem dreidimensionalen Punkt auf der Oberfläche der vordefinierten dreidimensionalen geometrischen Struktur entsprechen.
Mit anderen Worten, der zweite Satz mit X dreidimensionalen Punkten kann wenigstens einen dreidimensionalen Punkt auf der Oberfläche der vordefinierten dreidimensionalen geometrischen Struktur enthalten.
Während des oben genannten Gleichungsaufstellungstests gilt: Je mehr dreidimensionale Punkte im zweiten Satz der Gleichung genügen können oder in etwa genügen können, desto wahrscheinlicher ist es, dass die mathematische Gleichung korrekt bestimmt ist oder die am besten geeignete Formel zur Darstellung der vordefinierten dreidimensionalen geometrischen Struktur ist.
Umgekehrt gilt: Je weniger dreidimensionale Punkte im zweiten Satz der Gleichung genügen oder in etwa genügen, desto unwahrscheinlicher ist es, dass die mathematische Gleichung korrekt bestimmt ist oder die am besten geeignete Formel für die Darstellung der vordefinierten dreidimensionalen geometrischen Struktur ist.
Wenn das Ergebnis des Gleichungsaufstellungstests nicht zufriedenstellend ist, weil z.B. nur ein Drittel der dreidimensionalen Punkte im zweiten Satz der Gleichung genügen kann oder annähernd genügen kann, können der Auswahlprozess in Schritt D sowie die nachfolgenden Schritte E-G wiederholt werden, bis das Testergebnis den Benutzer zufriedenstellt oder einen vordefinierten Schwellenwert in an sich bekannter Weise erreicht.
Dadurch kann mit der vorliegenden Erfindung die vordefinierte dreidimensionale geometrische Struktur, die durch eine mathematische Gleichung mit M unbekannten Koeffizienten als Baustein des Objekts, das ein sehr wichtiges Grundelement des zu rendernden dreidimensionalen Objektmodells ist, darstellbar ist, so genau wie möglich bestimmt werden.
Darüber hinaus ist es besonders vorteilhaft, dass, selbst bei relativ geringer lokaler Dichte der Wolke der dreidimensionalen Punkte an der vordefinierten geometrischen Struktur, mit der vorliegenden Erfindung die Genauigkeit der bestimmten vordefinierten geometrischen Struktur noch auf einem hohen Niveau liegt.
Außerdem ist mit Hilfe des erfinderischen Auswahlschrittes D die Geschwindigkeit der Bestimmung der vordefinierten dreidimensionalen geometrischen Struktur und damit auch die anschließende Darstellung des dreidimensionalen Modells des Objekts gegenüber dem Stand der Technik deutlich verbessert.
Zusätzlich ist die Bestimmung der vordefinierten dreidimensionalen geometrischen Struktur, durch die Einführung des Bewertungsschrittes unter Verwendung des zweiten Satzes des dreidimensionalen Punktes, nicht allzu empfindlich auf die Auswahl des Bereichs in Schritt D.
In einer bevorzugten Ausführungsform ist die geometrische Struktur eine Ebene, eine Kugel, ein Zylinder, ein Kegel, eine Donut-förmige Struktur oder ein ähnlicher dreidimensionaler regelmäßiger Körper.
Am Beispiel einer Ebene kann eine Ebene durch eine mathematische Gleichung ax+by+cz = d mit drei Variablen x, y, z und vier unbekannten Koeffizienten a, b, c, d beschrieben werden. Solange im ausgewählten Bereich des ausgewählten Bildes die Anzahl der Merkmale in der Teilmenge der Merkmale gleich oder mehr als drei ist, können die vier unbekannten Koeffizienten a, b, c, d durch Berechnungen mittels der dreidimensionalen Punkte im ersten Satz entsprechend der Teilmenge der Merkmale ermittelt werden. Die Anzahl dreidimensionaler Punkte muss ausreichend sein, um alle unbekannten Koeffizienten der mathematischen Gleichung zu berechnen.
Anschließend wird der zweite Satz von dreidimensionalen Punkten, deren Bestimmung bereits vorstehend ausführlich erläutert wurde, verwendet, um zu beurteilen, ob die ermittelte mathematische Gleichung mit drei ermittelten Koeffizienten der beste Fit für die vordefinierte Ebene ist oder nicht.
Ein weiteres Beispiel wird wie folgt beschrieben: Eine Kugel kann durch eine mathematische Gleichung (x-a)² + (y-b)² + (z-c)² = r² mit drei Variablen x, y, z und vier unbekannten Koeffizienten a, b, c, r beschrieben werden. Solange im ausgewählten Bereich des ausgewählten Bildes die Anzahl der Merkmale der Teilmenge der Merkmale gleich oder mehr als vier ist, können die vier unbekannten Koeffizienten a, b, c, r durch Berechnungen anhand der dreidimensionalen Punkte in dem ersten Satz, der der Teilmenge der Merkmale entspricht, ermittelt werden.
Anschließend wird der zweite Satz dreidimensionaler Punkte, deren Bestimmung bereits vorstehend ausführlich erläutert wurde, verwendet, um zu beurteilen, ob die bestimmte mathematische Gleichung mit vier bestimmten Koeffizienten der beste Fit für die vordefinierte Kugel ist oder nicht.
In einer weiteren bevorzugten Ausführungsform umfasst das Verfahren zur 3D-Rekonstruktion eines Objekts folgende weitere Schritte:

I. Identifizieren von Fluchtpunkten aus der Mehrzahl von Bildern;
J. Einschränken der vordefinierten dreidimensionalen geometrischen Struktur durch wenigstens einen der Fluchtpunkte.

Es ist zu beachten, dass die Schritte I und J nicht nach Schritt H, sondern vor ihm durchgeführt werden. Vorzugsweise werden die Schritte I und J zwischen den Schritten B und H durchgeführt. Vorzugsweise wird Schritt J zwischen den Schritten F und H durchgeführt.
In Schritt I werden Fluchtpunkte der Mehrzahl von Bildern identifiziert und in an sich bekannter Weise extrahiert, beispielsweise mittels einer Gauß'schen Kugel. Ein Fluchtpunkt ist ein Punkt auf der Bildebene einer perspektivischen Zeichnung, an dem die zweidimensionalen perspektivischen Projektionen (oder Zeichnungen) von zueinander parallelen Linien im dreidimensionalen Raum zu konvergieren scheinen.
Da ein Fluchtpunkt die normale Richtung einer ggf. ebenen Fläche der dreidimensionalen geometrischen Struktur einschränkt, können diese Fluchtpunkte zum Einschränken oder Bestimmen der vordefinierten dreidimensionalen geometrischen Struktur verwendet werden. Dadurch kann die vordefinierte dreidimensionale geometrische Struktur genauer bestimmt werden.
In einer weiteren bevorzugten Ausführungsform werden die Fluchtpunkte durch die Analyse konvergierender Linien in der Mehrzahl von Bildern identifiziert. Ein Bild kann durch eine horizontale Bildachse und eine vertikale Bildachse beschrieben werden oder solche aufweisen. Dementsprechend werden konvergierende Linien nahe der horizontalen Bildachse verwendet, um wenigstens einen Fluchtpunkt für horizontale Szenenlinien zu identifizieren, und konvergierende Linien nahe der vertikalen Bildachse werden verwendet, um wenigstens einen Fluchtpunkt für vertikale Szenenlinien zu identifizieren.
In einer weiteren bevorzugten Ausführungsform ist die dreidimensionale geometrische Struktur mittels wenigstens eines Teils eines Bildes von der Mehrzahl von Bildern strukturiert, wobei der Teil des Bildes mittels der dreidimensionalen Punkte in der Wolke der dreidimensionalen Punkte identifiziert und ausgewählt ist. Dadurch wird eine schnelle und relativ präzise Texturierung der dreidimensionalen geometrischen Struktur erreicht.
In einer weiteren bevorzugten Ausführungsform wird das gerenderte dreidimensionale Modell ausgewertet, indem die Mehrzahl von Bildern auf das Modell projiziert und der Anpassungsgrad zwischen den Bildern und dem Modell berechnet wird. Wenn der Anpassungsgrad für den Anwender nicht zufriedenstellend ist, kann der Auswahlprozess in Schritt D und/oder der oben genannte Texturierungsprozess erneut durchgeführt werden.
In einer weiteren bevorzugten Ausführungsform wird der berechnete Anpassungsgrad verwendet, um wenigstens einen der bestimmten unbekannten Koeffizienten zu optimieren, indem ein lokaler maximaler Anpassungsgrad gefunden wird, während der Wert des bestimmten Koeffizienten geändert wird.
Der Anpassungsgrad zwischen der Textur des Modells und der Mehrzahl der Bilder kann durch einen photometrischen Fehler beschrieben werden. Der photometrische Fehler kann verwendet werden, um wenigstens einen Koeffizienten der mathematischen Gleichung zu optimieren. Dies ist möglich, indem man ein lokales Minimum des photometrischen Fehlers findet und gleichzeitig den Wert des Koeffizienten iterativ ändert. Zu diesem Zweck kann jeder bekannte nichtlineare Optimierungsalgorithmus verwendet werden, z.B. der Levenberg-Marquardt-Algorithmus.
Im Vergleich zu den bekannten Punktanpassungsalgorithmen wie RANSAC ist das gerenderte dreidimensionale Modell mit dieser Ausführungsform des vorliegenden Verfahrens genauer, da diese Ausführungsform die Informationen von Millionen von Pixeln aus der Mehrzahl von Bildern verwendet, weshalb es eine Genauigkeit in einer Subpixelebene erreichen kann.
In einer weiteren bevorzugten Ausführungsform werden die Merkmale des aus der Mehrzahl von Bildern extrahierten Objekts verwendet, um den Anpassungsgrad zu berechnen, indem bestimmt wird, ob die Merkmale auch aus dem gerenderten dreidimensionalen Modell extrahierbar sind. Ein hoher Anpassungsgrad wird erreicht, wenn mehr als 50%, insbesondere mehr als 70% der aus der Mehrzahl der Bilder extrahierten Merkmale auch aus dem gerenderten dreidimensionalen Modell extrahierbar sind. Es ist vorteilhaft, dass damit eine vollständige Automatisierung hinsichtlich der Bewertung der Renderingqualität des dreidimensionalen Modells realisiert wird.
Es soll davon ausgegangen werden, dass die Begriffe „Foto“, „Bild“, „Bilder“ oder andere Variationen davon in der vorliegenden Patentanmeldung austauschbar sind.
Figurenliste
Weitere vorteilhafte Details und Merkmale können der folgenden Beschreibung einer exemplarischen Ausführungsform der Erfindung in Verbindung mit der Zeichnung entnommen werden, wobei

1 eine schematische Darstellung einer Ausführungsform des Verfahrens zur 3D-Rekonstruktion eines Objekts gemäß der vorliegenden Erfindung zeigt.

Detaillierte Beschreibung von Ausführungsformen
Gemäß 1 repräsentieren sieben Kamerasymbole 1 bis 7 auf der linken Seite der Zeichnung sieben Bilder 1 bis 7 eines zu rekonstruierenden Objekts 100, die von einer Kamera aus verschiedenen Kamerawinkeln aufgenommen wurden.
Es soll davon ausgegangen werden, dass diese Bilder 1 bis 7 auch von mehreren Kameras aus verschiedenen Kameraposen aufgenommen werden können, entweder gleichzeitig oder zu unterschiedlichen Aufnahmezeiten. Obwohl in 1 nur sieben Bilder dargestellt sind, da weniger Bilder für eine einfache Erklärung geeignet sind, ist nicht ausgeschlossen, dass mehr Bilder aufgenommen und für die Umsetzung des Verfahrens gemäß der vorliegenden Erfindung verwendet werden können.
Anschließend werden aus den Bildern 1 bis 7 „interessante“ Teile von den Bildern 1 bis 7 wie Eckpunkte und Grate des Objekts 100, d.h. Merkmalspunkte des Objekts 100, extrahiert. Diese zweidimensionalen Merkmalspunkte oder Merkmale des Objekts 100 sind in 1 nicht dargestellt.
Danach wird eine Wolke von dreidimensionalen Punkten erzeugt, die in einem dreidimensionalen Modell angeordnet sind, das das Objekt 100 darstellt, wobei jeder der dreidimensionalen Punkte einem der Merkmale entspricht, das aus wenigstens zwei der Bilder 1 bis 7 extrahierbar ist. Diese dreidimensionalen Punkte sind in 1 durch die Zahlen 12, 14, 16, 18, 20, 22, 24, 26 gekennzeichnet.
Anschließend wird in Bild 4 ein Bereich 40 ausgewählt. Dieser Bereich enthält eine Projektion eines Teils 30 einer vordefinierten Kugel 10 als Baustein des Objekts 100. Zur besseren Erklärung sind in 1 die vordefinierte Kugel 10 und die dreidimensionalen Punkte 12-26 absichtlich vergrößert, während das zu rekonstruierende Objekt 100 nicht mit einer konkreten Form/Grenze dargestellt ist.
Die vordefinierte Kugel 10 ist durch eine mathematische Gleichung (x-a)² + (y-b)² + (z-c)² = r² mit drei Variablen x, y, z und vier unbekannten Koeffizienten a, b, c, r darstellbar.
Eine Teilmenge der Merkmale des Objekts 100, die jeweils einem der dreidimensionalen Punkte 16, 18, 20, 22 entsprechen, ist im Bereich 40 enthalten, wobei die Anzahl der Merkmale in dieser Teilmenge der Merkmale vier ist, die gleich der Anzahl der unbekannten Koeffizienten a, b, c, r der mathematischen Gleichung ist.
Die Wahl eines Bildes aus den aufgenommenen Bildern 1 bis 7 und die anschließende Auswahl eines Bereichs aus dem gewählten Bild kann vom Benutzer vorgenommen werden, der die Software zur Rekonstruktion des realen Objekts betreibt. Alternativ kann dies auch mit einem Computerprogramm durchgeführt werden.
Anschließend werden die Bilder 3 bis 6 identifiziert, von denen jedes wenigstens eines der Merkmale umfasst, die den dreidimensionalen Punkten 16-22 entsprechen.
Sodann wird ein erster Satz von dreidimensionalen Punkten 16-22 bestimmt. Ein zweiter Satz der dreidimensionalen Punkte, bestehend aus einem dreidimensionalen Punkt 24, wird ebenfalls bestimmt. Dieser dreidimensionale Punkt 24 entspricht einem Merkmal, das nicht zu den Merkmalen der dreidimensionalen Punkte 16-22 gehört, sondern aus zwei Bildern 5, 6 der oben genannten identifizierten Bilder 3-6 extrahierbar ist.
Danach ist die mathematische Gleichung (x-a)² + (y-b)² + (z-c)² = r², die der vordefinierten Kugel 10 entspricht, durch den ersten Satz und den zweiten Satz der dreidimensionalen Punkte bestimmt.
Da die mathematische Gleichung vier unbekannte Koeffizienten a, b, c, r aufweist und die Anzahl der dreidimensionalen Punkte 16-22 im ersten Satz bereits gleich der Anzahl der unbekannten Koeffizienten a, b, c, r ist, kann die mathematische Gleichung bestimmt oder erkannt werden, d.h. die unbekannten Koeffizienten a, b, c, r können nur mit Hilfe der vier dreidimensionalen Punkte 16-22 im ersten Satz berechnet werden.
Da die identifizierten Bilder 3-6 für das gewählte Bild 4 relevant sind, weil diese Bilder wenigstens einen Merkmalspunkt in dem ausgewählten Bereich 40 teilen, der eine Projektion des Teils 30 der vordefinierten Kugel 10 ist, besteht eine hohe Wahrscheinlichkeit, dass das zusätzliche Merkmal, das aus den Bildern 5, 6 extrahierbar ist und dem dreidimensionalen Punkt 24 entspricht, ein Merkmal ist, das einem dreidimensionalen Punkt auf der Oberfläche der vordefinierten Kugel 10 entspricht.
Mit anderen Worten, der zweite Satz kann einen dreidimensionalen Punkt auf der Oberfläche der vordefinierten Kugel 10 enthalten.
In diesem Zusammenhang wird gemäß der vorliegenden Erfindung der zweite Satz mit dem dreidimensionalen Punkt 24 verwendet, um die durch den ersten Satz bestimmte mathematische Gleichung auszuwerten. Die relativen Koordinaten des dreidimensionalen Punktes 24 im zweiten Satz werden jeweils in die bestimmte mathematische Gleichung eingefügt, um zu prüfen, ob die Gleichung noch gültig ist.
Wenn nach dem Testergebnis die Gleichung noch gültig ist oder annähernd gültig ist, kann die ermittelte mathematische Gleichung als die best-geeignete Formel zur Darstellung der vordefinierten Kugel 10 betrachtet werden.
Wenn nach dem Testergebnis die Gleichung weit davon entfernt ist, noch gültig zu sein, kann man die bestimmte mathematische Gleichung als nicht geeignet betrachten, die vordefinierte Kugel 10 darzustellen, wobei der oben genannte Auswahlprozess noch einmal wiederholt werden muss, bis die bestimmte mathematische Gleichung den Bewertungstest übersteht.
Im letzten Schritt wird ein dreidimensionales Modell des Objekts 100 mit Hilfe wenigstens der am besten angepassten vordefinierten Kugel 10 erstellt.

Claims

Verfahren zur 3D-Rekonstruktion eines Objekts, umfassend die folgenden Schritte: A. Erzeugen einer Mehrzahl von Bildern eines Objekts durch wenigstens eine Kamera, insbesondere aus verschiedenen Kamerawinkeln und -positionen; B. Extrahieren von Merkmalen des Objekts aus der Mehrzahl von Bildern; C. Erzeugen einer Wolke von dreidimensionalen Punkten, die in einem dreidimensionalen Modell angeordnet sind, das das Objekt darstellt, wobei jeder der dreidimensionalen Punkte einem der Merkmale entspricht, das aus wenigstens zwei der Mehrzahl von Bildern extrahierbar ist; D. Auswählen eines Bereichs in einem der Mehrzahl von Bildern, der eine Projektion von wenigstens einem Teil einer vordefinierten dreidimensionalen geometrischen Struktur als Baustein des Objekts enthält, - wobei die vordefinierte dreidimensionale geometrische Struktur durch eine mathematische Gleichung darstellbar ist, die eine Mehrzahl von unbekannten Koeffizienten umfasst, und - wobei eine Teilmenge der Merkmale des Objekts, die jeweils einem der dreidimensionalen Punkte entsprechen, im Bereich enthalten sind und die Anzahl der Merkmale in der Teilmenge der Merkmale nicht kleiner ist als die Anzahl der unbekannten Koeffizienten der mathematischen Gleichung; E. Identifizieren der Bilder, von denen jedes wenigstens eines der Merkmale in der Teilmenge der Merkmale umfasst; F. Bestimmen eines ersten Satzes von dreidimensionalen Punkten, die der Teilmenge der in Schritt D genannten Merkmale entsprechen, und eines zweiten Satzes von dreidimensionalen Punkten, der wenigstens einen dreidimensionalen Punkt umfasst, der wenigstens einem Merkmal entspricht, das nicht zur Teilmenge der Merkmale gehört, aber aus wenigstens zwei der identifizierten Bilder in Schritt E extrahierbar ist; G. Bestimmen der mathematischen Gleichung, die der vordefinierten dreidimensionalen geometrischen Struktur entspricht, mittels des ersten Satzes und des zweiten Satzes der dreidimensionalen Punkte; und H. Rendern eines dreidimensionalen Modells des Objekts mittels wenigstens der vordefinierten dreidimensionalen geometrischen Struktur.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die geometrische Struktur eine Ebene, eine Kugel, ein Zylinder, ein Kegel oder eine Donut-förmige Struktur ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Verfahren die folgenden Schritte umfasst: I. Identifizieren von Fluchtpunkten aus der Mehrzahl von Bildern; J. Einschränken der vordefinierten dreidimensionalen geometrischen Struktur durch wenigstens einen der Fluchtpunkte.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Fluchtpunkte durch Analysieren konvergierender Linien in der Mehrzahl von Bildern identifiziert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die dreidimensionale geometrische Struktur mittels wenigstens eines Teils eines Bildes aus der Mehrzahl von Bildern texturiert wird, wobei der Teil des Bildes mittels der dreidimensionalen Punkte in der Wolke der dreidimensionalen Punkte identifiziert und ausgewählt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das gerenderte dreidimensionale Modell ausgewertet wird, indem die Mehrzahl von Bildern auf das Modell projiziert und der Anpassungsgrad zwischen den Bildern und dem Modell berechnet wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der berechnete Anpassungsgrad verwendet wird, um wenigstens einen der bestimmten unbekannten Koeffizienten zu optimieren, indem ein lokaler maximaler Anpassungsgrad gefunden wird, während der Wert des bestimmten Koeffizienten geändert wird.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Merkmale des aus der Mehrzahl von Bildern extrahierten Objekts verwendet werden, um den Anpassungsgrad zu berechnen, indem bestimmt wird, ob die Merkmale auch aus dem gerenderten dreidimensionalen Modell extrahierbar sind.
Datenverarbeitungssystem mit Mitteln zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8.
Computerprogramm mit Anweisungen, die, wenn das Programm von einem Computer ausgeführt wird, den Computer veranlassen, das Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.
Computerlesbares Medium, umfassend Anweisungen, die, wenn sie von einem Computer ausgeführt werden, bewirken, dass der Computer das Verfahren nach einem der Ansprüche 1 bis 8 durchführt.