DE112009000094T5

DE112009000094T5 - Verfeinerung dreidimensionaler Modelle

Info

Publication number: DE112009000094T5
Application number: DE112009000094T
Authority: DE
Inventors: János Acton Rohály; Iiya A. Littleton Kriveshko
Original assignee: 3M Innovative Properties Co
Current assignee: Medit Corp
Priority date: 2008-01-04
Filing date: 2009-01-04
Publication date: 2010-11-11
Also published as: WO2009089128A1; US20180196995A1; US20110043613A1; WO2009089129A1; DE112009000101T5; WO2009089127A1; WO2009089125A3; US20100283781A1; US9937022B2; US20110007138A1; DE112009000099T5; WO2009089126A1; DE112009000100T5; US8830309B2; US9418474B2; US20200065558A1; WO2009089125A2; US8803958B2; US11163976B2; US20110007137A1

Abstract

Verfahren zum Verfeinern eines dreidimensionalen Modells, das die Schritte aufweist:
Bereitstellen eines dreidimensionalen Modells eines Gegenstands;
Erhalten eines ersten zweidimensionalen Bilds des Gegenstands aus einer ersten Kamerapose;
Erhalten eines zweiten zweidimensionalen Bilds des Gegenstands aus einer zweiten Kamerapose, wobei das zweite zweidimensionale Bild einen gemeinsamen Abschnitt einer Oberfläche des Gegenstands mit dem ersten zweidimensionalen Bild aufweist;
Verformen des ersten zweidimensionalen Bilds beruhend auf einer räumlichen Beziehung der ersten Kamerapose, der zweiten Kamerapose und des dreidimensionalen Modells, um ein erwartetes Bild aus der zweiten Kamerapose beruhend auf der ersten Kamerapose zu erhalten;
Vergleichen des zweiten zweidimensionalen Bilds mit dem erwarteten Bild, um eine oder mehrere Diskrepanzen zu ermitteln; und
Korrigieren des dreidimensionalen Modells beruhend auf der einen oder den mehreren Diskrepanzen.

Description

Die vorliegende Anmeldung beansprucht die Priorität aus der provisorischen US-Patentanmeldung Nr. 61/019,159, eingereicht am 4. Januar 2008, die hierdurch durch Bezugnahme in ihrer Gesamtheit aufgenommen wird.
Gebiet der Erfindung
Diese Erfindung betrifft im allgemeinen eine dreidimensionale Abbildung und insbesondere die Verfeinerung dreidimensionaler Modelle, die aus einer Abfolge dreidimensionaler Messungen rekonstruiert werden, die längs eines Kamerawegs erfaßt werden.
Hintergrund
In einer Technik zur dreidimensionalen Bildrekonstruktion werden eine Anzahl von Bildern oder Bildsätzen eines Gegenstands mit einer Kamera erfaßt, die sich auf einem Weg über der Oberfläche des Gegenstands bewegt. Informationen aus diesem Bildkatalog können dann verwendet werden, um ein dreidimensionales Modell des Gegenstands beruhend auf jeder Kameraposition und längs des Wegs erfaßten dreidimensionalen Messung zu rekonstruieren. Während Einzelmessungen von der Kamera Rauschen aus einer Vielfalt von Quellen enthalten können, tendiert das resultierende dreidimensionale Modell dazu, dieses Rauschen auszugleichen, um dreidimensionale Datenpunkte genauer als die Einzelmessungen zurückzugewinnen.
Es bleibt ein Bedarf nach Nachverarbeitungstechniken, um einzelne dreidimensionale Messungen beruhend auf dem vollen Datensatz zu verfeinern, der für eine vollständige dreidimensionale Aufnahme zur Verfügung steht.
Zusammenfassung
Eine dreidimensionale Messung wird verfeinert, indem zweidimensionale Bilder eines Gegenstands aus versetzten Kamerapositionen gemäß eines dreidimensionalen Modells des Gegenstands verwölbt werden, und jegliche resultierenden Diskrepanzen angewendet werden, um das dreidimensionale Modell zu verfeinern, oder um eine aus einer Anzahl dreidimensionaler Messungen zu verfeinern, die zur Erzeugung des dreidimensionalen Modells verwendet werden.
In einem Aspekt weist ein hierin beschriebenes Verfahren zum Verfeinern eines dreidimensionalen Modells auf: Bereitstellen eines dreidimensionalen Modells eines Gegenstands; Erhalten eines ersten zweidimensionalen Bilds des Gegenstands aus einer ersten Kamerapose; Erhalten eines zweiten zweidimensionalen Bilds des Gegenstands aus einer zweiten Kamerapose, wobei das zweite zweidimensionale Bild einen gemeinsamen Abschnitt einer Oberfläche des Gegenstands mit dem ersten zweidimensionalen Bild aufweist; Verformen des ersten zweidimensionalen Bilds beruhend auf einer räumlichen Beziehung der ersten Kamerapose, der zweiten Kamerapose und des dreidimensionalen Modells, um ein erwartetes Bild aus der zweiten Kamerapose beruhend auf der ersten Kamerapose zu erhalten; Vergleichen des zweiten zweidimensionalen Bilds mit dem erwarteten Bild, um eine oder mehrere Diskrepanzen zu ermitteln; und Korrigieren des dreidimensionalen Modells beruhend auf der einen oder den mehreren Diskrepanzen.
Die erste Kamerapose und die zweite Kamerapose können eine Position und eine Orientierung einer einzelnen Kamera in zwei abhängigen Positionen sein. Die erste Kamerapose und die zweite Kamerapose können eine Position und eine Orientierung von zwei versetzten Kanälen einer Kamera mit mehreren Blenden sein. Die erste Kamerapose und die zweite Kamerapose können eine Position und eine Orientierung einer einzelnen Kamera in zwei unabhängigen Positionen sein. Eine Beziehung zwischen der ersten Kamerapose und der zweiten Kamerapose kann beruhend auf einer dreidi mensionalen Messung der Oberfläche des Gegenstands von jeweils der ersten Kamerapose und der zweiten Kamerapose berechnet werden. Das Verfahren kann das Ableiten des dreidimensionalen Modells aus mehreren dreidimensionalen Messungen der Oberfläche des Gegenstands aus mehreren Kameraposen einschließlich der ersten Kamerapose und der zweiten Kamerapose aufweisen. Das Verfahren kann das Anwenden der einen oder mehreren Diskrepanzen aufweisen, um das dreidimensionale Modell direkt zu verfeinern. Das Verfahren kann das Anwenden der einen oder mehreren Diskrepanzen aufweisen, um eine dreidimensionale Messung aus der ersten Kamerapose und/oder der zweiten Kamerapose zu verfeinern, um eine verfeinerte Messung bereitzustellen. Das Verfahren kann das Verfeinern einer Kamerawegberechnung für einen Kameraweg aufweisen, der zur Erzeugung des dreidimensionalen Modells verwendet wird, wobei die verfeinerte Messung verwendet wird, um einen verfeinerten Kameraweg bereitzustellen. Das Verfahren kann die Verwendung des verfeinerten Kamerawegs und der verfeinerten Messung aufweisen, um das dreidimensionale Modell zu verfeinern. Das dreidimensionale Modell kann eine Punktwolke oder ein polygonales Gitter sein. Der Gegenstand kann eine menschliche Dentition sein. Die zweite Kamerapose kann einem Mittelkanal eines Kamerasystems mit mehreren Blenden entsprechen, wobei der Mittelkanal ein herkömmliches zweidimensionales Bild des Gegenstands bereitstellt. Das Verfahren kann das Erhalten eines dritten zweidimensionalen Bilds des Gegenstands aus einer dritten Kamerapose, die einem zweiten Seitenkanal des Systems mit mehreren Blenden entspricht, und das Verformen des dritten zweidimensionalen Bilds zu einem erwarteten Bild für den Mittelkanal zur Verwendung beim weiteren Verfeinern der dreidimensionalen Messung vom Kamerasystem mit mehreren Blenden aufweisen.
In einem anderen Aspekt weist ein Computerprogrammprodukt zum Verfeinern eines dreidimensionalen Modells eines Gegenstands, das hierin beschrieben wird, einen computerausführbaren Code auf, der auf einem computerlesbaren Medium enthalten ist, der, wenn er auf einer oder mehreren Computervorrichtungen ausgeführt wird, die Schritte ausführt: Bereitstellen eines dreidimensionalen Modells eines Gegenstands; Erhalten eines ersten zweidimensionalen Bilds des Gegenstands aus einer ersten Kamerapose; Erhalten eines zweiten zweidimensionalen Bilds des Gegenstands aus einer zweiten Kamerapose, wobei das zweite zweidimensionale Bild einen gemeinsamen Abschnitt einer Oberfläche des Gegenstands mit dem ersten zweidimensionalen Bild aufweist; Verformen des ersten zweidimensionalen Bilds beruhend auf einer räumlichen Beziehung der ersten Kamerapose, der zweiten Kamerapose und des dreidimensionalen Modells, um ein erwartetes Bild aus der zweiten Kamerapose beruhend auf der ersten Kamerapose zu erhalten; Vergleichen des zweiten zweidimensionalen Bilds mit dem erwarteten Bild, um eine oder mehrere Diskrepanzen zu ermitteln; und Korrigieren des dreidimensionalen Modells beruhend auf der einen oder den mehreren Diskrepanzen.
Die erste Kamerapose und die zweite Kamerapose können eine Position und eine Orientierung einer einzelnen Kamera in zwei abhängigen Positionen sein. Die erste Kamerapose und die zweite Kamerapose können eine Position und eine Orientierung von zwei versetzten Kanälen einer Kamera mit mehreren Blenden sein. Die erste Kamerapose und die zweite Kamerapose können eine Position und eine Orientierung einer einzelnen Kamera in zwei unabhängigen Positionen sein. Eine Beziehung zwischen der ersten Kamerapose und der zweiten Kamerapose kann beruhend auf einer dreidimensionalen Messung der Oberfläche des Gegenstands aus jeweils der ersten Kamerapose und der zweiten Kamerapose berechnet werden. Das Computerprogrammprodukt kann einen Code zum Ausführen des Schritts des Ableitens des dreidimensionalen Modells aus mehreren dreidimensionalen Messungen der Oberfläche des Gegenstands aus mehreren Kameraposen einschließlich der ersten Kamerapose und der zweiten Kamerapose aufweisen. Das Computerprogrammprodukt kann einen Code zum Ausführen des Schritts des Anwendens der einen oder mehreren Diskrepanzen aufweisen, um das dreidimensionale Modell direkt zu verfeinern. Das Computerpro grammprodukt kann einen Code zum Ausführen des Schritts des Anwendens der einen oder mehreren Diskrepanzen aufweisen, um eine dreidimensionale Messung von der ersten Kamerapose und/oder der zweiten Kamerapose zu verfeinern, um eine verfeinerte Messung bereitzustellen. Das Computerprogrammprodukt kann einen Code zum Ausführen des Schritts des Verfeinerns einer Kamerawegberechnung für einen Kameraweg aufweisen, der zur Erzeugung des dreidimensionalen Modells verwendet wird, wobei die verfeinerte Messung verwendet wird, um einen verfeinerten Kameraweg bereitzustellen. Das Computerprogrammprodukt kann einen Code zum Ausführen des Schritts der Verwendung des verfeinerten Kamerawegs und der verfeinerten Messung aufweisen, um das dreidimensionale Modell zu verfeinern. Das dreidimensionale Modell kann eine Punktwolke oder ein polygonales Gitter sein. Der Gegenstand kann eine menschliche Dentition sein. Die zweite Kamerapose kann einem Mittelkanal eines Kamerasystems mit mehreren Blenden entsprechen, wobei der Mittelkanal ein herkömmliches zweidimensionales Bild des Gegenstands bereitstellt. Das Computerprogrammprodukt kann Code zum Ausführen der Schritte des Erhaltens eines dritten zweidimensionalen Bilds des Gegenstands aus einer dritten Kamerapose, die einem zweiten Seitenkanal des Systems mit mehreren Blenden entspricht, und des Verformens des dritten zweidimensionalen Bilds zu einem erwarteten Bild für den Mittelkanal zur Verwendung beim weiteren Verfeinern der dreidimensionalen Messung vom Kamerasystem mit mehreren Blenden aufweisen.
Kurze Beschreibung der Zeichnungen
Die Erfindung und die folgende detaillierte Beschreibung bestimmter Ausführungsformen davon können durch Bezugnahme auf die folgenden Figuren verstanden werden.
1 zeigt ein dreidimensionales Aufnahmesystem.
2 zeigt ein schematisches Diagramm eines optischen Systems für eine dreidimensionale Kamera.
3 zeigt eine Verarbeitungspipeline zum Erhalten dreidimensionaler Daten aus einer Videokamera.
4 stellt ein Koordinatensystem für dreidimensionale Messungen dar.
5 stellt eine Abfolge von Bildern dar, die von einer beweglichen Kamera erfaßt werden.
6 ist eine Konzeptdarstellung eines dreidimensionalen Datenerfassungsprozesses.
7 ist ein Ablaufplan eines Prozesses zum Verfeinern dreidimensionaler Daten.
8 ist ein Ablaufplan einer globalen Wegoptimierung.
Detaillierte Beschreibung
Im folgenden Text sollten Verweise auf Einzelheiten im Singular so verstanden werden, daß sie Einzelheiten im Plural einschließen und umgekehrt, wenn es nicht ausdrücklich anders angegeben wird oder aus dem Text deutlich wird. Grammatikalische Konjunktionen sind dazu bestimmt, alle erdenklichen disjunktiven und konjunktiven Kombinationen von aneinandergrenzenden Halbsätzen, Sätzen, Worten und dergleichen anzugeben, wenn es nicht ausdrücklich anders angegeben wird oder aus dem Kontext deutlich wird.
Die folgende Beschreibung stellt spezifisch Aufnahmetechnologien in Einzelheiten dar und konzentriert sich auf Dentalanwendungen einer dreidimensionalen Abbildung; jedoch wird erkannt werden, daß Variationen, Anpassungen und Kombinationen der nachstehenden Verfahren und Systeme einem üblichen Fachmann klar sein werden. Während zum Beispiel ein auf Bildern beruhendes System beschrieben wird, können nicht auf Bildern beruhende Aufnahmetechniken wie Infrarotflugzeittechniken oder strukturierte Lichttechniken mittels Musterprojektionen auf ähnliche Weise Rekonstruktionen einsetzen, die auf einem Kameraweg beruhen, die die Verbesserungen nützen können, die hierin beschrieben werden. Entsprechend wird es sich verstehen, daß während die folgenden Beschreibung eine Verfeinerung mittels gleichlaufender Bilder aus zwei versetzten Kanälen einer Kamera mit mehreren Blenden herausstellt, die Techniken entsprechend angewendet werden können, um Daten Rahmen für Rahmen für einen Kamera weg einer Kamera mit mehreren Blenden, oder unterschiedliche Rahmen von Daten für eine herkömmliche Kamera zu verfeinern. Während die digitale Zahnmedizin eine nützliche Anwendung der verbesserten Genauigkeit ist, die sich aus den hierin beschriebenen Techniken ergibt, können als ein anderes Beispiel die Lehren dieser Offenbarung außerdem nützlich eingesetzt werden, um dreidimensionale Animationsmodelle, dreidimensionale Aufnahmen für Maschinensehanwendungen und so weiter zu verfeinern. Es ist beabsichtigt, daß alle solche Variationen, Anpassungen und Kombinationen in den Rahmen dieser Offenbarung fallen.
In der folgenden Beschreibung bezeichnet der Ausdruck „Bild” im allgemeinen einen zweidimensionalen Satz von Pixeln, die eine zweidimensionale Ansicht eines Gegenstands innerhalb einer Bildebene bilden. Der Ausdruck „Bildsatz” bezeichnet im allgemeinen einen Satz verwandter zweidimensionaler Bilder, die in dreidimensionale Daten aufgelöst werden könnten. Der Ausdruck „Punktwolke” bezeichnet im allgemeinen einen dreidimensionalen Satz von Punkten, die eine dreidimensionale Ansicht des aus einer Anzahl zweidimensionaler Bilder rekonstruierten Gegenstands bilden. In einem dreidimensionalen Bildaufnahmesystem kann außerdem eine Anzahl solcher Punktwolken registriert und zu einer Gesamtpunktwolke kombiniert werden, die aus Bildern aufgebaut ist, die durch ein bewegliche Kamera erfaßt werden. Folglich wird es sich verstehen, daß Pixel im allgemeinen zweidimensionale Daten bezeichnen und Punkte im allgemeinen dreidimensionale Daten bezeichnen, wenn keine andere Bedeutung besonders angegeben oder aus dem Kontext deutlich wird.
Die Ausdrücke „dreidimensionales Modell”, „dreidimensionale Oberflächendarstellung”, „digitale Oberflächendarstellung”, „dreidimensionale Oberflächenkarte” und dergleichen, wie sie hierin verwendet werden, sind dazu bestimmt, jede dreidimensionale Rekonstruktion eines Gegenstands, wie eine Punktwolke von Oberflächendaten, einen Satz zweidimensionaler Polygone oder alle anderen Daten zu bezeichnen, die die gesamte oder einen Teil der Oberfläche eines Gegenstands repräsentieren, wie sie durch die Aufnahme und/oder die Verarbeitung dreidimensionaler Aufnahmedaten erhalten werden könnten, wenn keine andere Bedeutung ausdrücklich bestimmt oder auf andere Weise aus dem Kontext deutlich wird. Eine „dreidimensionale Darstellung” kann irgendeine der oben beschriebenen dreidimensionalen Oberflächendarstellungen aufweisen, sowie volumetrische und andere Darstellungen, wenn keine andere Bedeutung ausdrücklich bestimmt oder auf andere Weise aus dem Kontext deutlich wird.
Im allgemeinen bezeichnen die Ausdrücke „Bildaufbereiten” oder „Bildaufbereitung” eine zweidimensionale Sichtbarmachung eines dreidimensionalen Gegenstands wie zur Anzeige auf einem Monitor. Jedoch wird es sich verstehen, daß eine Vielfalt von dreidimensionalen Bildaufbereitungstechnologien vorhanden ist und nützlich mit den hierin offenbarten Systemen und Verfahren eingesetzt werden kann. Zum Beispiel können die hierin beschriebenen Systeme und Verfahren sinnvollerweise eine holographische Anzeige, ein autostereoskopische Anzeige, ein Anaglyphenanzeige, eine am Kopf befestigte Stereoanzeige oder irgendeine andere zweidimensionale und/oder dreidimensionale Anzeige einsetzen. An sich sollte die hierin beschriebene Bildaufbereitung allgemein ausgelegt werden, wenn keine engere Bedeutung ausdrücklich bestimmt oder auf andere Weise aus dem Kontext deutlich wird.
Der Ausdruck „dentaler Gegenstand”, wie er hierin verwendet wird, ist dazu bestimmt, allgemein einen Gegenstand zu bezeichnen, der mit der Zahnmedizin zusammenhängt. Dies kann intraorale Strukturen, wie eine Dentition und typischer eine menschliche Dentition, wie einzelne Zähne, Quadranten, volle Bögen, Paare von Bögen (die getrennt oder unter Einschluß verschiedener Typen vorliegen können), Weichgewebe und dergleichen, sowie Knochen und irgendwelche anderen stützenden oder umgebenden Strukturen umfassen. Wie er hierin verwendet wird, bezeichnet der Ausdruck „intraorale Strukturen” sowohl natürliche Strukturen innerhalb eines Mundes, wie oben beschrieben, als auch künstliche Strukturen, wie irgendeinen der unten beschriebenen dentalen Gegenstände, die im Mund vorhanden sein könnten. Dentale Gegenstände können „Restaurationen” umfassen, die sich im allgemeinen so verstehen, daß sie Komponenten umfassen, die die Struktur oder Funktion einer vorhandenen Dentition wieder herstellen, wie Kronen, Brücken, Verblendungen, Inlays, Onlays, Amalgame, Komposite und verschiedene Teilstrukturen wie Kappen und dergleichen, sowie vorübergehende Restaurationen zur Verwendung während eine dauerhafte Restauration hergestellt wird. Dentale Gegenstände können außerdem eine „Prothese” umfassen, die eine Dentition durch entfernbare oder dauerhafte Strukturen ersetzt, wie Zahnprothesen, Teilzahnprothesen, Implantate, gehaltene Zahnprothesen und dergleichen. Dentale Gegenstände können außerdem „Apparaturen” umfassen, die verwendet werden, um eine Dentition zu korrigieren, auszurichten oder auf andere Weise vorübergehend oder dauerhaft zu justieren, wie entfernbare orthodontische Apparaturen, chirurgische Stents, Bruxismusapparaturen, Scharchschützer, indirekte Bracketanordnungsapparaturen und dergleichen. Dentale Gegenstände können außerdem „Hardware” umfassen, die an einer Dentition für einen ausgedehnten Zeitraum befestigt sind, wie Implantatbefestigungen, Implantatwiderlager, orthodontische Brackets und andere orthodontische Komponenten. Dentale Gegenstände können außerdem „vorläufige Komponenten” der dentalen Fertigung umfassen, wie (vollständige und/oder teilweise) Zahnmodelle, Wachsmodelle, Umhüllungsformen und dergleichen, sowie Schalen, Basen, Matrizen und andere Komponenten, die in der Herstellung von Restaurationen, Prothesen und dergleichen eingesetzt werden. Dentale Gegenstände können außerdem als natürliche dentale Gegenstände, wie Zähne, Knochen und andere intraorale Strukturen, die oben beschrieben werden, oder als künstliche dentale Gegenstände kategorisiert werden, wie Restaurationen, Prothesen, Apparaturen, Hardware und vorläufige Komponenten der dentalen Fertigung, wie oben beschrieben.
Ausdrücke wie „digitales Dentalmodell”, „digitaler Zahnabdruck” und dergleichen sind dazu bestimmt, dreidimensionale Darstellungen dentaler Gegenstände zu bezeichnen, die in verschiedenen Aspekten der Erfassung, Analyse, Verschreibung und Fertigung verwendet werden können, wenn keine andere Bedeutung auf andere Weise bestimmt oder aus dem Kontext deutlich wird. Ausdrücke wie „Zahnmodell” oder „Zahnabdruck” sind dazu bestimmt, ein physikalisches Modell zu bezeichnen, wie ein gegossenes, gedrucktes oder auf andere Weise hergestelltes physikalisches Beispiel eines dentalen Gegenstands. Wenn nicht spezifisch angegeben, kann der Ausdruck „Modell”, wenn er für sich verwendet wird, sowohl ein physikalisches Modell als auch ein digitales Modell bezeichnen.
Es wird sich ferner verstehen, daß Ausdrücke wie „Werkzeug” oder „Steuerung”, wenn sie verwendet werden, um Aspekte einer Anwenderschnittstelle zu beschreiben, dazu bestimmt sind, im allgemeinen eine Vielfalt von Techniken zu bezeichnen, die in einer graphischen Anwenderschnittstelle oder anderen Anwenderschnittstelle eingesetzt werden, um eine Anwendereingabe aufzunehmen, die eine Verarbeitung in Gang setzt oder steuert, einschließlich ohne Einschränkung Aufklapplisten, Optionsfelder, Zeiger- und/oder Mausaktionen (Punktauswahl, Flächenauswahl, Ziehen-und-Ablegen-Operationen und so weiter), Auswahlboxen, Kommandozeilen, Texteingabefelder, Meldungen und Alarme, Fortschrittsbalken und so weiter. Ein Werkzeug oder eine Steuerung kann außerdem irgendeine physikalische Hardware umfassen, die die Anwendereingabe umfaßt, wie eine Maus, eine Tastatur, eine Anzeige, ein Tastenfeld, einen Trackball und/oder jede andere Vorrichtung, die eine physikalische Eingabe von einem Anwender aufnimmt und die eine physikalische Eingabe in eine Eingabe zur Verwendung in einem Computersystem umwandelt. Folglich sollten in der folgenden Beschreibung die Ausdrücke „Werkzeug”, „Steuerung” und dergleichen allgemein aufgefaßt werden, wenn keine spezifischere Bedeutung auf andere Weise bestimmt oder aus dem Kontext deutlich wird.
1 stellt ein dreidimensionales Aufnahmesystem dar, das mit den hierin beschriebenen Systemen und Verfahren verwendet werden kann. Im allgemeinen kann das System 100 eine Kamera 102 aufweisen, die Bilder von einer Oberfläche 106 eines Gegenstands 104 wie einem Zahnpatienten aufnimmt und die Bilder zu einem Computer 108 weiterleitet, der eine Anzeige 110 und eine oder mehrere Anwendereingabevorrichtungen 112, 114 wie eine Maus 112 oder eine Tastatur 114 aufweisen kann. Die Kamera 102 kann außerdem eine integrierte Eingabe- oder Ausgabevorrichtung 116 wie eine Steuereingabe (z. B. einen Knopf, ein Berührungsfeld, ein Daumenrad usw.) oder eine Anzeige (z. B. LCD oder LED-Anzeige) aufweisen, um Statusinformationen bereitzustellen.
Die Kamera 102 kann jede Kamera oder jedes Kamerasystem umfassen, das zur Aufnahme von Bildern geeignet ist, aus denen eine dreidimensionale Punktwolke oder andere dreidimensionale Daten zurückgewonnen werden können. Zum Beispiel kann die Kamera 102 ein System mit mehreren Blenden umfassen, wie es im US-Patent Nr. 7,372,642 von Rohály u. a. offenbart wird, dessen gesamter Inhalt hierin durch Bezugnahme aufgenommen ist. Während Rohály ein System mit mehreren Blenden offenbart, wird erkannt werden, daß jedes System mit mehreren Blenden, das zur Rekonstruktion einer dreidimensionalen Punktwolke aus einer Anzahl zweidimensionaler Bilder geeignet ist, entsprechend eingesetzt werden kann. In einer Ausführungsform mit mehreren Blenden, kann die Kamera 102 mehrere Blenden aufweisen, einschließlich einer Mittelblende, die längs einer optischen Mittelachse einer Linse angeordnet ist, die einen Mittelkanal für die Kamera 102 zusammen mit irgendeiner zugehörigen Abbildungshardware bereitstellt. In solchen Ausführungsformen kann der Mittelkanal ein herkömmliches Videobild des aufgenommenen Gegenstands bereitstellen, während eine Anzahl axial versetzter Kanäle Bildsätze ergibt, die Disparitätsinformationen enthalten, die bei der dreidimensionalen Rekonstruktion einer Oberfläche eingesetzt werden können. In anderen Ausführungsformen können eine getrennte Videokamera und/oder ein Kanal vorgesehen werden, um dasselbe Resultat zu erzielen, d. h. ein Video eines Gegenstands, das zeitweilig einer dreidimensionalen Aufnahme des Ge genstands entspricht, vorzugsweise aus derselben Perspektive, oder aus einer Perspektive mit einer festen bekannten Beziehung zur Perspektive der Kamera 102. Die Kamera 102 kann außerdem oder statt dessen ein stereoskopische, dreifache oder andere Mehrfachkamera oder andere Konfiguration umfassen, in der eine Anzahl von Kameras oder optischen Wegen in einer festen Beziehung zueinander gehalten werden, um zweidimensionale Bilder eines Gegenstands aus einer Anzahl unterschiedlicher Perspektiven zu erhalten. Die Kamera 102 kann eine geeignete Verarbeitung zum Ableiten einer dreidimensionalen Punktwolke aus einem Bildsatz oder einer Anzahl von Bildsätzen aufweisen, oder jeder zweidimensionale Bildsatz kann zu einem externen Prozessor übertragen werden, wie er im nachstehend beschriebenen Computer 108 enthalten ist. In anderen Ausführungsformen kann die Kamera 102 strukturiertes Licht, eine Laseraufnahme, eine direkte Streckenmessung oder jede andere Technologie einsetzen, die zur Erfassung dreidimensionaler Daten oder zweidimensionaler Daten geeignet ist, die zu dreidimensionalen Daten aufgelöst werden können. Während die unten beschriebenen Techniken sinnvollerweise Videodaten einsetzen, die durch ein auf Video beruhenden dreidimensionalen Aufnahmesystem erfaßt werden, wird es sich verstehen, daß jedes andere dreidimensionale Aufnahmesystem mit einem Videoerfassungssystem ergänzt werden kann, das geeignete Videodaten gleichzeitig mit oder auf andere Weise mit der Erfassung der dreidimensionalen Daten synchronisiert aufnimmt.
In einer Ausführungsform ist die Kamera 102 eine frei positionierbare Handsonde mit mindestens einer Anwendereingabevorrichtung 116, wie einem Knopf, einem Hebel, einer Wählscheibe, einem Rändelrad, einem Schalter oder dergleichen zur Anwendersteuerung des Bildaufnahmesystems 100, wie dem Starten und Stoppen von Aufnahmen. In einer Ausführungsform kann die Kamera 102 zur Dentalaufnahme geformt und bemessen sein. Insbesondere kann die Kamera 102 zur intraoralen Aufnahme und Datenerfassung geformt und bemessen sein, wie durch Einführen in einen Mund eines Abbildungsgegenstands und Führen über einer intraorale Oberfläche 106 in einem geeigneten Abstand, um Oberflächendaten von Zähnen, Zahnfleisch und so weiter zu erfassen. Die Kamera 102 kann durch einen solchen kontinuierlichen Datenerfassungsprozeß eine Punktwolke von Oberflächendaten mit einer ausreichend räumlichen Auflösung und Genauigkeit erfassen, um dentale Gegenstände wie Prothetik, Hardware, Apparaturen und dergleichen daraus entweder direkt oder durch eine Vielfalt von Zwischenverarbeitungsschritten herzustellen. In anderen Ausführungsformen können Oberflächendaten von einem Zahnmodell wie einer Zahnprothese erfaßt werden, um eine richtige Anpassung mittels einer vorhergehenden Aufnahme der entsprechenden Dentition sicherzustellen, wie einer für die Prothese vorbereiteten Zahnoberfläche.
Obwohl in 1 nicht gezeigt, wird erkannt werden, daß eine Anzahl ergänzender Beleuchtungssysteme sinnvollerweise während der Bilderfassung eingesetzt werden können. Zum Beispiel kann die Umgebungsbeleuchtung mit einem oder mehreren Punktstrahlern verstärkt werden, die den Gegenstand 104 beleuchten, um die Bilderfassung zu beschleunigen und die Tiefenschärfe (oder räumliche Auflösungstiefe) zu verbessern. Die Kamera 102 kann außerdem oder statt dessen ein Stroboskop, einen Blitz oder eine andere Lichtquelle aufweisen, um die Beleuchtung des Gegenstands 104 während der Bilderfassung zu ergänzen.
Der Gegenstand 104 kann jeder Gegenstand, eine Ansammlung von Gegenständen, ein Abschnitt eines Gegenstands oder anderer Inhalt eines Gegenstands sein. Insbesondere kann der Gegenstand 104 hinsichtlich der hierin diskutierten Dentaltechniken eine menschliche Dentition umfassen, die intraoral aus einem Mund eines Zahnpatienten erfaßt wird. Eine Aufnahme kann eine dreidimensionale Darstellung einen Teil oder die Gesamtheit der Dentition entsprechend eines bestimmten Zwecks der Aufnahme erfassen. Folglich kann die Aufnahme ein digitales Modell eines Zahns, eines Quadranten von Zähnen oder ein volle Ansammlung von Zähnen einschließlich zweier gegenüberliegender Bögen, sowie Weichgewebe oder irgendwelche anderen relevanten intraora len Strukturen erfassen. Die Aufnahme kann mehrere Darstellungen erfassen, wie eine Zahnoberfläche vor und nach der Vorbereitung für eine Restauration. Wie unten angegeben wird, können diese Daten zur anschließenden Modellierung eingesetzt werden, wie zum Entwerfen einer Restauration oder Bestimmen einer Begrenzungslinie für dieselbe. Während der Aufnahme kann ein Mittelkanal der Kamera 102 oder ein getrenntes Videosystem ein Video der Dentition vom Standpunkt der Kamera 102 erfassen. In anderen Ausführungsformen, wo zum Beispiel eine fertige Herstellung virtuell an eine Oberflächenvorbereitung versuchsweise angepaßt wird, kann die Aufnahme eine dentale Prothese wie ein Inlay, eine Krone oder irgendeine andere Zahnprothese, Dentalhardware, Zahnapparatur oder dergleichen umfassen. Der Gegenstand 104 kann außerdem oder statt dessen ein Zahnmodell wie einen Gipsabdruck, einen Wachsabdruck, einen Abdruck oder einen Negativabdruck eines Zahns, von Zähnen, Weichgewebe oder eine Kombination davon umfassen.
Der Computer 108 kann zum Beispiel einen Personalcomputer oder andere Verarbeitungsvorrichtung umfassen. In einer Ausführungsform umfaßt der Computer 108 einen Personalcomputer mit einer dualen 2,8 GHz Opteron Zentraleinheit, 2 Gigabyte Direktzugriffsspeicher, einem TYAN Thunder K8WE Motherboard und einer Festplatte mit 250 Gigabyte, 10000 U/min. In einer gegenwärtigen Ausführungsform kann das System betrieben werden, um mehr als fünftausend Punkte pro Bildsatz in Echtzeit mittels der hierin beschriebenen Techniken zu erfassen und eine Gesamtpunktwolke von mehreren Millionen Punkten zu speichern. Natürlich kann diese Punktwolke weiterverarbeitet werden, um sie an die anschließende Datenverarbeitung anzupassen, wie durch Dezimieren der Punktwolkendaten oder Erzeugen eines entsprechenden Gitters von Oberflächendaten. Wie er hierin verwendet wird, bedeutet der Ausdruck „Echtzeit” im allgemeinen ohne eine wahrnehmbare Verzögerung zwischen der Verarbeitung und der Anzeige. In einem auf Video beruhenden Aufnahmesystem bezeichnet Echtzeit insbesondere die Verarbeitung innerhalb der Zeit zwischen den Rahmen der Videodaten, die gemäß der spezifischen Videotechnologien zwischen etwa fünfzehn Rahmen pro Sekunde und etwa dreißig Rahmen pro Sekunde variieren kann. Allgemeiner gesagt können die Verarbeitungsfähigkeiten des Computers 108 entsprechend der Größe des Gegenstands 104, der Geschwindigkeit der Bilderfassung und der erwünschten räumlichen Auflösung der dreidimensionalen Punkte variieren. Der Computer 108 kann außerdem Peripherievorrichtungen wie eine Tastatur 114, eine Anzeige 110 und eine Maus 112 zum Zusammenspiel des Anwenders mit dem Kamerasystem 100 aufweisen. Die Anzeige 110 kann eine Berührungsbildschirmanzeige sein, die fähig ist, eine Anwendereingabe durch direkte, physikalische Wechselwirkung mit der Anzeige 110 anzunehmen. In einem anderen Aspekt kann die Anzeige eine autostereoskopische Anzeige oder dergleichen aufweisen, die zur Anzeige von Stereobildern fähig ist.
Die Kommunikation zwischen dem Computer 108 und der Kamera 102 kann jede geeignete Kommunikationsverbindung verwenden, einschließlich zum Beispiel eine drahtgebundene Verbindung oder eine drahtlose Verbindung, die zum Beispiel auf IEEE 802.11 (auch als drahtloses Ethernet bekannt), BlueTooth oder jeden anderen geeigneten Drahtlosstandard beruht, der z. B. eine Hochfrequenz, Infrarot oder ein anderes drahtloses Kommunikationsmedium verwendet. Bei einer medizinischen Abbildung oder anderen sensiblen Anwendungen kann eine drahtlose Bildübertragung von der Kamera 102 zum Computer 108 sichergestellt werden. Der Computer 108 kann Steuersignale für die Kamera 102 erzeugen, die zusätzlich zu den Bilderfassungsbefehlen herkömmliche Kamerasteuerungen wie Fokus oder Zoom umfassen können.
In einem Beispiel des üblichen Betriebs eines dreidimensionalen Bildaufnahmesystems 100 kann die Kamera 102 zweidimensionale Bildsätze mit einer Videorate erfassen, während die Kamera 102 über eine Oberfläche des Gegenstands geführt wird. Die zweidimensionalen Bildsätze können zum Computer 108 zur Ableitung der dreidimensionalen Punktwolken weitergeleitet werden. Die dreidimensionalen Daten für jeden neu erfaßten zweidimensi onalen Bildsatz können mittels einer Anzahl unterschiedlicher Techniken abgeleitet und an vorhandene dreidimensionale Daten angepaßt oder „angefügt” werden. Ein solches System kann eine Kamerabewegungsschätzung einsetzen, um die Notwendigkeit einer unabhängigen Verfolgung der Position der Kamera 102 zu vermeiden. Ein nützliches Beispiel einer solchen Technik wird in der gemeinsam gehaltenen US-Anmeldung. Nr. 11/270,135 beschrieben, eingereicht am 9. November 2005, deren gesamter Inhalt hierin durch Bezugnahme aufgenommen ist. Jedoch wird erkannt werden, daß dieses Beispiel nicht einschränkend ist, und daß die hierin beschriebenen Prinzipien auf einen weiten Bereich dreidimensionaler Bildaufnahmesysteme angewendet werden können.
Die Anzeige 110 kann jede Anzeige aufweisen, die für Video oder Bildaufbereitung mit einer anderen Rate auf einem Auflösungspegel geeignet ist, der den erfaßten Daten entspricht. Geeignete Anzeigen umfassen Kathodenstrahlröhrenanzeigen, Flüssigkristallanzeigen, lichtemittierende Diodenanzeigen und dergleichen. Im allgemeinen kann die Anzeige 110 betriebsfähig mit dem Computer 108 gekoppelt und fähig sein, Anzeigesignale von ihm zu empfangen. Diese Anzeige kann einen CRT oder Flachbildschirmmonitor, eine dreidimensionale Anzeige (wie eine Anaglyphenanzeige), eine autostereoskopische dreidimensionale Anzeige oder irgendeine andere geeignete zweidimensionale oder dreidimensionale Bildaufbereitungshardware umfassen. In einigen Ausführungsformen kann die Anzeige eine Berührungsbildschirmschnittstelle aufweisen, die zum Beispiel Kapazitäts-, Widerstands- oder akustische Oberflächenwellen- (die auch als Dispersionssignal bezeichnet werden) Berührungsbildschirmtechnologien oder irgendeine andere geeignete Technologie zur Abtastung der physikalischen Wechselwirkung mit der Anzeige 110 verwendet.
Das System 100 kann ein computernutzbares oder computerlesbares Medium aufweisen. Das computernutzbare Medium 118 kann einen oder mehrere Speicherchips (oder andere Chips wie einen Prozessor, der einen Speicher umfaßt), optische Scheiben, mag netische Scheiben oder andere magnetische Medien und so weiter aufweisen. Das computernutzbare Medium 118 kann in verschiedenen Ausführungsformen einen entfernbaren Speicher (wie eine USB-Vorrichtung, ein Bandlaufwerk, eine externe Festplatte und so weiter), einen Fernspeicher (wie über ein Netzwerk angeschlossenen Speicher), eine flüchtigen oder nicht-flüchtigen Computerspeicher und so weiter umfassen. Das computernutzbare Medium 118 kann computerlesbare Anweisungen zur Ausführung durch den Computer 108 enthalten, um die hierin beschriebenen verschiedenen Prozesse auszuführen. Das computernutzbare Medium 118 kann außerdem oder statt dessen von der Kamera 102 empfangene Daten speichern, ein dreidimensionales Modell des Gegenstands 104 speichern, Computercode zur Bildaufbereitung und Anzeige und so weiter speichern.
2 stellt ein optisches System 200 für eine dreidimensionale Kamera dar, das mit den hierin beschriebenen Systemen und Verfahren verwendet werden kann, wie für die oben unter Bezugnahme auf 1 beschriebene Kamera 102.
Das optische System 200 kann eine primäre optische Einrichtung 202 aufweisen, die in jeder Art Bildverarbeitungssystem eingesetzt werden kann. Im allgemeinen bezeichnet eine primäre optische Einrichtung hierin ein optisches System mit einem optischen Kanal. Typischerweise nutzt dieser optische Kanal mindestens eine Linse gemeinsam und weist eine gemeinsam genutzte Bildebene innerhalb des optischen Systems auf, obwohl in der folgenden Beschreibung Variationen davon ausdrücklich beschrieben oder auf andere Weise aus dem Kontext deutlich werden. Das optische System 200 kann eine einzelne primäre Linse, ein Gruppe von Linsen, ein Objektiv, Spiegelsysteme (einschließlich herkömmliche Spiegel, digitale Spiegelsysteme, digitale Lichtprozessoren oder dergleichen), konfokale Spiegel und irgendwelche anderen optischen Einrichtungen aufweisen, die zur Verwendung mit den hierin beschriebenen Systemen geeignet sind. Das optische System 200 kann zum Beispiel in einem stereoskopischen oder anderen Mehrfachbild-Kamerasystem verwendet werden. Andere optische Einrichtungen können holographische optische Elemente oder dergleichen aufweisen. In verschiedenen Konfigurationen kann die primäre optische Einrichtung 202 eine oder mehrere Linsen wie ein Objektiv (oder eine Gruppe von Linsen) 202b, eine Vorsatzlinse 202d, eine Relaislinse 202f und so weiter aufweisen. Das Objektiv 202b kann an oder nahe einer Eintrittspupille 202a des optischen Systems 200 angeordnet sein. Die Vorsatzlinse 202d kann auf oder nahe einer ersten Bildebene 202c des optischen Systems 200 angeordnet sein. Die Relaislinse 202f kann Bündel von Lichtstrahlen innerhalb des optischen Systems 200 weiterleiten. Das optische System 200 kann ferner Komponenten wie Blendenelemente 208 mit einer oder mehreren Blenden 212, eine Refokussierungseinrichtung 210 mit einem oder mehreren Refokussierungselementen 204, eine oder mehrere Abtasteinrichtungen 218 und/oder ein Anzahl von Sensoren 214a, 214b, 214c aufweisen.
Das optische System 200 kann zur aktiven Wellenfrontabtastung gestaltet sein, die so verstanden werden sollte, daß sie jede Technik umfaßt, die verwendet wird, eine Reihe oder Ansammlung optischer Daten von einem Gegenstand 220 oder Gegenständen abzutasten, einschließlich optischer Daten, die verwendet werden, um bei der Detektion zweidimensionaler oder dreidimensionaler Eigenschaften des Gegenstands 220 mittels optischer Daten, um eine Bewegung zu detektieren, mittels optischer Daten zur Geschwindigkeitsmessung oder Gegenstandsverfolgung oder dergleichen zu helfen. Weitere Einzelheiten eines optischen Systems, das als das optische System 200 der 2 eingesetzt werden kann, werden im US-Patent Nr. 7,372,642 bereitgestellt, dessen gesamter Inhalt hierin durch Bezugnahme aufgenommen ist. Allgemeiner gesagt wird es sich verstehen, daß, während 2 eine Ausführungsform eines optischen Systems 200 darstellt, zahlreiche Variationen möglich sind. Ein hervorstechendes Merkmal des optischen Systems, das die Erläuterung unten betrifft, ist die Verwendung eines optische Mittelkanals, der herkömmliches Video oder Standbilder mit einem der Sensoren 214b gleich laufend mit verschiedenen versetzten Daten (bei z. B. 214a und 214c) aufnimmt, die verwendet werden, dreidimensionale Messungen zu erfassen. Dieses Mittelkanalbild kann an einer Anwenderschnittstelle dargestellt werden, um eine Prüfung, Markierung und eine andere Manipulation durch einen Anwender während einer Anwendersitzung zu ermöglichen, wie unten beschrieben wird.
3 zeigt ein dreidimensionales Rekonstruktionssystem 300, das eine Hochgeschwindigkeitspipeline und eine Hochgenauigkeitspipeline einsetzt. Im allgemeinen bezweckt die Hochgeschwindigkeitsverarbeitungspipeline 330, dreidimensionale Daten in Echtzeit bereitzustellen, wie eine durch eine zugehörige Anzeige verwendete Videorahmenrate, während die Hochgenauigkeitsverarbeitungspipeline 350 bezweckt, die höchste Genauigkeit bereitzustellen, die aus Kameramessungen möglich ist, abhängig von irgendeiner externen Berechnung oder Zeiteinschränkungen, die durch die Systemhardware oder einer beabsichtigten Verwendung der Ergebnisse auferlegt werden. Eine Datenquelle 310 wie die oben beschriebene Kamera 102 liefert Bilddaten oder dergleichen an das System 300. Die Datenquelle 310 kann zum Beispiel Hardware wie LED-Ringlichter, Stiftsensoren, ein Bilddigitalisierer, einen Computer, ein Betriebssystem und jede andere geeignete Hardware und/oder Software zum Erhalten von Daten umfassen, die in einer dreidimensionalen Rekonstruktion verwendet werden. Bilder aus der Datenquelle 310, wie Mittelkanalbilder, die herkömmliche Videobilder enthalten, und Seitenkanäle, die Disparitätsdaten enthalten, die verwendet werden, um Tiefeninformationen zurückzugewinnen, können zum Echtzeitverarbeitungskontroller 316 geschickt werden. Der Echtzeitverarbeitungskontroller 316 kann außerdem Kamerasteuerinformationen oder eine andere Rückmeldung zur Datenquelle 310 liefern, die bei der anschließenden Datenerfassung oder zum Spezifizieren von Daten verwendet werden, die schon in der Datenquelle 310 erhalten sind, die durch den Echtzeitverarbeitungskontroller 316 benötigt werden. Bilder mit voller Auflösung und verwandte Bilddaten können in einem Bildspeicher 322 mit voller Auflösung aufbewahrt werden. Die gespeicherten Bilder können zum Beispiel während der Verarbeitung an den Hochgenauigkeitsverarbeitungskontroller 324 geliefert werden, oder zur Bilddurchsicht durch einen menschlichen Anwender während der anschließenden Verarbeitungsschritte aufbewahrt werden.
Der Echtzeitverarbeitungskontroller 316 kann Bilder oder Rahmen an die Hochgeschwindigkeits-(Videorate)Verarbeitungspipeline 330 zur Rekonstruktion dreidimensionaler Oberflächen aus den zweidimensionalen Quelldaten in Echtzeit liefern. In einer exemplarischen Ausführungsform können zweidimensionale Bilder aus einem Bildsatz, wie Seitenkanalbilder, durch ein zweidimensionales Bildregistrierungsmodul 332 registriert werden. Beruhend auf den Ergebnissen der zweidimensionalen Bildregistrierung kann ein dreidimensionales Punktwolkenerzeugungsmodul 334 eine dreidimensionale Punktwolke oder andere dreidimensionale Darstellung erzeugen. Die dreidimensionalen Punktwolken aus einzelnen Bildsätzen können durch ein dreidimensionales Anfügungsmodul 336 kombiniert werden. Schließlich können die angefügten Messungen durch ein dreidimensionales Modellerzeugungsmodul 338 zu einem integrierten dreidimensionalen Modell kombiniert werden. Das resultierende Modell kann als ein dreidimensionales Hochgeschwindigkeitsmodell 340 gespeichert werden.
Der Hochgenauigkeitsverarbeitungskontroller 324 kann Bilder oder Rahmen an die Hochgenauigkeitsverarbeitungspipeline 350 liefern. An getrennten Bildsätzen kann durch ein zweidimensionales Bildregistrierungsmodul 352 eine zweidimensionale Bildregistrierung durchgeführt werden. Beruhend auf den Ergebnissen der zweidimensionalen Bildregistrierung kann eine dreidimensionale Punktwolke oder andere dreidimensionale Darstellung durch ein dreidimensionales Punktwolkenerzeugungsmodul 354 erzeugt werden. Die dreidimensionalen Punktwolken aus einzelnen Bildsätzen können mittels eines dreidimensionalen Anfügungsmoduls 356 verbunden werden. Eine globale Bewegungsoptimierung, die hierin auch als globale Wegoptimierung oder globale Kameraweg optimierung bezeichnet wird, kann durch ein globales Bewegungsoptimierungsmodul 357 durchgeführt werden, um Fehler im resultierenden dreidimensionalen Modell 358 zu reduzieren. Im allgemeinen kann der Weg der Kamera, da er die Bildrahmen erhält, als Teil des dreidimensionalen Rekonstruktionsprozesses berechnet werden. In einer Nachverarbeitungsverfeinerungsprozedur kann die Berechnung des Kamerawegs optimiert werden – das heißt, die Fehlerakkumulation längs der Länge des Kamerawegs kann durch eine ergänzende Rahmen-zu-Rahmen-Bewegungsschätzung mit einigen oder allen globalen Weginformationen minimiert werden. Beruhend auf globalen Informationen wie einzelnen Datenrahmen im Bildspeicher 322, dem dreidimensionalen Hochgeschwindigkeitsmodell 340 und Zwischenergebnissen in der Hochgenauigkeitsverarbeitungspipeline 350 kann das Hochgenauigkeitsmodell 370 verarbeitet werden, um Fehler im Kameraweg und resultierende Artefakte im rekonstruierten Modell zu reduzieren. Als eine weitere Verfeinerung kann ein Gitter auf das Hochgeschwindigkeitsmodell durch ein Gitterprojektionsmodul 360 projiziert werden. Die resultierenden Bilder können durch ein Verwölbungsmodul 362 verwölbt oder verformt werden. Verwölbte Bilder können genutzt werden, um die Ausrichtung und Anfügung zwischen Bildern zu erleichtern, wie durch Reduzieren des Anfangsfehlers in einer Bewegungsschätzung. Die verwölbten Bilder können an das zweidimensionale Bildregistrierungsmodul 352 geliefert werden. Die Rückmeldung des dreidimensionalen Hochgenauigkeitsmodells 370 in die Pipeline kann wiederholt werden, bis eine gewisse Metrik erhalten wird, wie eine Anfügungsgenauigkeit oder eine minimale Fehlerschwelle.
Verschiedene Aspekte des Systems 300 der 3 werden unten in näheren Einzelheiten beschrieben. Insbesondere wird ein Modellverfeinerungsprozeß beschrieben, der durch den Hochgenauigkeitsverarbeitungskontroller 324 verwendet werden kann, um das dreidimensionale Hochgenauigkeitsmodell 370 mittels gemessener Daten im Bildspeicher 322 zu verfeinern. Es sollte sich verstehen, daß verschiedene Verarbeitungsmodule oder die durch die Module einbezogenen Schritte, die in dieser Figur gezeigt werden, in ihrem Wesen exemplarisch sind und daß die Verarbeitungsreihenfolge oder die Schritte der Verarbeitungsabfolge modifiziert, weggelassen, wiederholt, neu angeordnet oder ergänzt werden können, ohne den Rahmen dieser Offenbarung zu verlassen.
4 stellt ein Koordinatensystem für dreidimensionale Messungen dar, wobei ein System wie das oben beschriebene optische System 200 verwendet wird. Die folgende Beschreibung ist dazu bestimmt, einen nützlichen Kontext bereitzustellen, und sollte keinesfalls als einschränkend interpretiert werden. Im allgemeinen weist ein Gegenstand 408 innerhalb einer Bildebene 402 einer Kamera Weltkoordinaten {X_w, Y_w, Z_w} in einem Weltkoordinatensystem 410, Kamerakoordinaten {X_c, Y_c, Z_c} in einem Kamerakoordinatensystem 406, und Bildsatzkoordinaten {x_i, y_i, d _i(x_i, y_i)} für i = 1 bis N Punkte oder Pixel innerhalb eines Verarbeitungsgitters des Sichtfelds 402 auf, wobei
ein Disparitätsvektor 412 ist, der einen oder mehrere Disparitätswerte enthält, die die z-Achsenverschiebung (Z_c) oder Tiefe 404 eines Punkts in der Bildebene 402 beruhend auf der x-Achsen- und/oder y-Achsenverschiebung in der Bildebene 402 zwischen einer Anzahl physikalisch versetzter Blenden oder anderer Abbildungskanäle kennzeichnet. Das Verarbeitungsgitter kann als irgendeine Überlagerung oder Gitter für ein Bild oder andere zweidimensionale Daten verstanden werden, die Orte identifizieren, wo eine Verarbeitung stattfinden wird. Während ein Verarbeitungsgitter ein regelmäßiges Gitter von Orten in einem quadratischen, rechteckigen, dreieckigen oder anderen Muster sein kann, kann das Verarbeitungsgitter außerdem oder statt dessen unregelmäßige Muster umfassen, die zufällig oder entsprechend des spezifischen Gegenstands ausgewählt werden, der verarbeitet wird. Der Disparitätsvektor 412 kann zum Beispiel in Form der Verschiebung relativ zu einem Mittelkanal, falls vorhanden, für die Kamera ausgedrückt werden. Im allgemeinen codiert der Disparitätsvektor 412 die Tiefe, und in verschiedenen anderen dreidi mensionalen Abbildungssystemen kann dieser Disparitätsvektor 412 durch eine oder mehrere andere gemessene Größen ersetzt werden, die die Tiefe codieren. Folglich sollten Ausdrücke wie Disparitätsvektor, Disparitätswert und Disparitätsdaten und dergleichen allgemein so verstanden werden, daß sie irgendeine oder mehrere skalare und/oder Vektorgrößen umfassen, die durch ein System gemessen werden, um Tiefeninformationen zu erfassen. Außerdem kann allgemeiner gesagt eine dreidimensionale Messung, wie sie hierin verwendet wird, jede Form von Daten bezeichnen, die dreidimensionale Daten codieren, einschließlich ohne Einschränkung, Gruppen von zweidimensionalen Bildern, aus denen Disparitätsvektoren erhalten werden könnten, das Disparitätsfeld (der Disparitätsvektoren) selbst, oder eine dreidimensionale Oberflächenrekonstruktion, die aus dem Disparitätsfeld abgeleitet ist. Bei einer auf Bildern beruhenden dreidimensionalen Rekonstruktion kann ein Kameramodell eingesetzt werden, um Disparitätsvektoren mit der Tiefe innerhalb eines Sichtfelds einer Kamera in Beziehung zu setzen. Das Kameramodell kann theoretisch beruhend auf einer optischen Modellierung oder einer anderen Physik, empirisch durch Beobachtung oder einer Kombination davon bestimmt werden, und kann kalibriert werden, um optische Aberrationen, Linsenfehler und alle andren physikalischen Variationen oder Merkmale eines besonderen physikalischen Systems zu kompensieren.
Während zu Erläuterungszwecken eine einzelne Bildebene 402 dargestellt wird, wird erkannt werden, daß eine Kamera mit mehreren Blenden (oder ein anderes Mehrkanalsystem) eine Anzahl von physikalisch versetzten optischen Kanäle aufweisen kann, die für jeden Kanal eine andere Bildebene liefern, und die Differenzen der Merkmalorte (die x-y-Verschiebung) zwischen den Bildern für jeden optischen Kanal können als das Disparitätsfeld repräsentiert werden. In verschiedenen bestimmten Verarbeitungsschritten können die Disparitätsdaten auf eine einzelne Bildebene wie einer Mittelkanalbildebene der Kamera bezogen werden.
5 stellt eine Abfolge von Bildern dar, die von einer beweglichen Kamera erfaßt werden. In der Abfolge 500 kann eine Kamera 502, die zum Beispiel irgendeine der oben beschriebenen Kameras 102 umfassen kann, ein Bild eines Gegenstands 504 aus einer Anzahl unterschiedlicher Positionen 506a–506e längs eines Kamerawegs 507 erfassen. Während der Kameraweg 507 als ein kontinuierlicher kurvenförmiger Weg dargestellt wird, der den physikalischen Weg einer Kamera repräsentiert, wird es sich verstehen, daß der Kameraweg 507 analytisch durch diskrete, gerade Linientransformationen zusammen mit zugehörigen Drehungen im dreidimensionalen Raum repräsentiert werden kann. Während im Kameraweg 507 der 5 fünf Kamerapositionen gezeigt werden, wird erkannt werden, daß in Übereinstimmung mit den hierin beschriebenen Prinzipien mehr oder weniger Kamerapositionen verwendet werden können. In einer Ausführungsform kann die Kamera 502 in jeder Position 506 einen Bildsatz:
von zweidimensionalen Bildern erfassen, aus denen eine Punktwolke:
rekonstruiert werden kann (oder irgendeine andere geeignete dreidimensionale Messung für die Kameraposition). Im allgemeinen können diese dreidimensionale Punktwolken (oder anderen dreidimensionalen Daten), die aus der Abfolge 500 erfaßt werden, zu einem dreidimensionalen Modell wie einer Gesamtpunktwolke oder einem anderen dreidimensionalen Modell des Gegenstands wie durch Minimierung der Fehler in einer dreidimensionalen Registrierung einzelner dreidimensionaler Messungen, oder irgendeiner einer Vielfalt anderer Techniken kombiniert werden. Es sollte außerdem verstanden werden, daß in bestimmten Ausführungsformen die Kamera feststehend bleiben kann, während sich der Gegenstand bewegt. In solchen Fällen wird vielmehr die Bewegung des Gegenstands 504 als die Bewegung der Kamera 502 bestimmt, obwohl die Verwendung der Kamerabewegung gegenüber der Gegenstandsbewegung eine verhältnismäßig beliebige Sache der Zweckmäßigkeit oder der Recheneffizienz eines Kamerakoordinatensystems gegenüber einem Gegenstandskoordinatensystem ist.
6 ist eine Konzeptdarstellung eines dreidimensionalen Datenerfassungsprozesses 600, der in den oben beschriebenen Systemen verwendet werden kann. Im allgemeinen erhält die Kamera (die irgendeine der oben beschriebenen Kameras sein kann) zweidimensionale Messungen einer Oberfläche eines Gegenstands 601 wie eine erste Messung 602 aus einem Seitenkanal (z. B. ein linkes Kanalbild), eine zweite Messung aus einem anderen Seitenkanal 604 (z. B. ein rechtes Kanalbild), und eine dritte Messung aus einem Mittelkanal 603 (z. B. ein Mittelkanalbild). Es wird sich verstehen, daß während drei Kanäle dargestellt werden, ein System dreidimensionale Daten aus mehr oder weniger Kanäle mittels verschiedener Techniken zurückgewinnen kann, die einem üblichen Fachmann klar sein werden, und es wird beabsichtigt, daß alles solchen Techniken, die mit den hierin beschriebenen Verfeinerungstechniken verbessert werden können, in den Rahmen dieser Offenbarung fallen. Diese Messungen 602, 603, 604 können zum Beispiel verarbeitet werden, um ein Disparitätsfeld 606 zu erhalten, das die Relativbewegung von Merkmalen innerhalb der Bilder jeder Messung identifiziert. Ein Kameramodell 610 für die Kamera kann verwendet werden, um das Disparitätsfeld 606 mit der dreidimensionalen Rekonstruktion 612 der Oberfläche des Gegenstands 610 in Beziehung zu setzen, die aus einer Kamerapose gemessen wird. Während zweckmäßigerweise ein Mittelkanalbild als der Bezug für die Kamerapose der resultierenden dreidimensionalen Rekonstruktion 612 verwendet werden kann, ist dies nicht erforderlich und kann in bestimmten Systemen nicht in jedem Fall als Bezug zur Verfügung stehen. Die dreidimensionale Rekonstruktion 612 kann an andere solche dreidimensionalen Messungen mittels Kameraweginformationen oder dergleichen angefügt werden, um ein dreidimensionales Modell 620 des Gegenstands 601 zu erhalten.
In einem Modellverfeinerungsprozeß, der unten beschrieben wird, kann eine der zweidimensionalen Messungen, wie die erste Messung 602, auf das dreidimensionale Modell mittels verfügbarer räumlicher Informationen (z. B. der Kameraposition und Orientierung) projiziert werden. Die resultierende Projektion kann dann auf die zweite Kamerapose mittels einer Verwölbung oder anderer Verformungstechniken rückprojiziert werden, um eine erwartete Messung an der zweiten Kameraposition zu erhalten. Im Fall eines zweidimensionalen Seitenkanalbild oder dergleichen kann die erwartete Messung ein entsprechendes Bild sein, das im Mittelkanal oder einem anderen Seitenkanal erwartet wird. Durch Anpassen der dreidimensionalen Messung aus diesem Bildpaar, um einen Fehler zwischen den tatsächlichen und erwarteten Messungen in einem überlappenden Bereich des Gegenstands zu reduzieren oder zu minimieren, kann die dreidimensionale Messung für jene Kameraposition verfeinert werden, um eine Oberfläche des Gegenstands 601 genauer darzustellen. In einem Aspekt kann das dreidimensionale Modell mit den neuen räumlichen Informationen direkt verfeinert werden. In einem anderen Aspekt kann die verbesserte dreidimensionale Messung für die Kamera in einer neuen Bewegungsschätzung verwendet werden, um den Kameraweg und dreidimensionale Modelldaten für eine gesamte Aufnahme oder einen Abschnitt davon zurückzugewinnen. Durch Verfeinern der einzelnen dreidimensionalen Messungen und des Kamerawegs auf diese Weise kann ein genaueres dreidimensionales Modell für den Gegenstand erhalten werden. Wird erkannt werden, daß im allgemeinen eine Fehlerminimierung an einer Anzahl von unterschiedlichen Datensätzen durchgeführt werden kann, die dreidimensionale Informationen codieren, wie die zweidimensionalen Bildsätze, oder an verarbeiteten Darstellungen dieser Messung wie dem Disparitätsfeld.
7 ist ein Ablaufplan eines Prozesses zum Verfeinern von dreidimensionalen Daten. Im allgemeinen verfeinert der Prozeß 700 ein dreidimensionales Modell durch Verfeinern einzelner dreidimensionaler Messungen, die an unterschiedlichen Kamerapo sitionen vorgenommen werden, wobei diese Informationen eingesetzt werden können, um das resultierende Modell zu verfeinern. Dieser Prozeß 700 kann sinnvollerweise zum Beispiel eingesetzt werden, um zweidimensionale Bilder in einem Modul 362 einer Hochgenauigkeitsverarbeitungspipeline 350 zu verwölben, um z. B. die zweidimensionale Registrierung und/oder die dreidimensionalen Anfügungsergebnisse zu verbessern. Während eine besondere Ausführungsform unten im Detail beschrieben wird, wird erkannt werden, daß irgendeine ähnliche Technik zum Erzeugen einer erwarteten zweidimensionalen Messung an einer Kameraposition mittels einer tatsächlichen zweidimensionalen Messung von einer anderen Kameraposition zusammen mit einem dreidimensionalen Modell des abgebildeten Gegenstand (und einem Kameramodell falls geeignet), ähnlich eingesetzt werden kann. Folglich können die hierin beschriebenen Techniken leicht an andere Systeme angepaßt werden, die ein dreidimensionale Modell aus einer Reihe einzelner dreidimensionaler Messungen erhalten, wie Systeme, die strukturiertes Licht verwenden, oder Systeme, die eine reihe zweidimensionaler Bilder verwenden.
Wie im Schritt 710 gezeigt, kann der Prozeß 700 mit der Erfassung von Rahmen von Bilddaten längs eines Kamerawegs. Diese Bilddaten können Bildpaare umfassen, die ein Bild aus zwei oder mehreren versetzten optischen Kanäle einer Kamera mit mehreren Blenden oder einer anderen Mehrkanalabbildungsvorrichtung aufnehmen. In einer Ausführungsform enthält jedes Bild in einem Bildpaar ein zweidimensionales Bild aus zwei gekoppelten Posen mit einer bekannten, festen Beziehung zueinander. In einer solchen Ausführungsform kann außerdem ein Mittelkanal vorgesehen sein, der ein drittes Bild als Teil des Rahmens der Bilddaten aufnimmt, um eine herkömmlich, unverzerrte zweidimensionale Ansicht des aufgenommenen Gegenstands bereitzustellen (wobei Verzerrungen in den Seitenkanäle den Abstand zu einer Oberfläche codieren). Der Mittelkanal kann außerdem als eine Bezugspose für eine dreidimensionale Messung dienen, die aus dem Paar zweidimensionaler Bilder abgeleitet wird. Es wird sich jedoch verstehen, daß diese Anordnung etwas beliebig ist, und andere Kameras eingesetzt werden können, wie eine Kamera mit einem Mittelkanal und einem einzelnen Seitenkanal oder nur zwei Seitenkanälen, oder irgendeine einer Anzahl anderer Anordnungen. Allgemeiner gesagt kann jede Kamera, die zweidimensionale Bilder zur Verwendung in einer dreidimensionalen Rekonstruktion aufnimmt, mit den hierin beschriebenen Techniken verwendet werden.
Wie im Schritt 712 gezeigt, können dreidimensionale Messungen aus den Bilddaten erhalten werden. Im allgemeinen kann dies die Verarbeitung von Bildsätzen oder dergleichen, um Disparitätsdaten über ein Verarbeitungsgitter der Kamera zu erhalten, und ferner eine Verarbeitung der Disparitätsdaten umfassen, um eine dreidimensionale Oberflächenrekonstruktion zu erhalten. In einer Ausführungsform codieren die Disparitätsdaten Tiefeninformationen und können eingesetzt werden, um eine dreidimensionale Messung mittels eines Kameramodells oder dergleichen zurückzugewinnen, um für jedes Pixel des Verarbeitungsgitters Disparitätsdaten mit Tiefeninformationen in Beziehung zu setzen. Dieser Schritt 712 kann für jede Einzelmessung (z. B. Bildsatz) wiederholt werden, die durch die Kamera erhalten wird. Als Ergebnis kann eine dreidimensionale Messung oder Rekonstruktion für jede Kamerapose längs eines Kamerawegs erhalten werden. Es wird sich verstehen, daß die Disparitätsdaten selbst eine dreidimensionale Messung sind, und für viele der hierin beschriebenen Verarbeitungsschritte anstelle einer dreidimensionalen Rekonstruktion eingesetzt werden können, wobei geeignete Anpassungen durch einen üblichen Fachmann leicht verstanden werden. Es wird sich ferner verstehen, daß andere dreidimensionale Abbildungstechniken bekannt sind und angepaßt werden können, um dreidimensionale Messungen von einer Gegenstandsoberfläche zu erhalten.
Wie im Schritt 714 gezeigt, kann ein dreidimensionales Modell aus den im Schritt 712 erhaltenen einzelnen dreidimensionalen Messungen aufgebaut werden. Wo sich die dreidimensionalen Messungen der Oberfläche des Gegenstands überlappen, können diese dreidimensionalen Messungen mittels irgendeiner einer Vielfalt bekannter Techniken miteinander registriert werden. Als Ergebnis kann der Kameraweg von Pose zu Pose zurückgewonnen werden, und die dreidimensionalen Messungen aus jeder Pose können zu einem vollen dreidimensionalen Modell der aufgenommenen Bereiche der Oberfläche des Gegenstands kombiniert werden.
Wie im Schritt 716 gezeigt, kann ein zweidimensionales Bild oder eine andere Messung aus einem Kanal einer Kamera räumlich auf das im Schritt 714 erhaltene volle dreidimensionale Modell projiziert werden. Im allgemeinen umfaßt die unbearbeitete Kameramessung ein zweidimensionales Bild von Pixelwerten, die auf das dreidimensionale Modell mittels einer Texturabbildung oder irgendwelcher anderen geeigneten Techniken projiziert werden können, um die zweidimensionalen Daten aus den Bildsätze in das Koordinatensystem des dreidimensionalen Modells einzusetzen. Als bedeutenden Vorteil setzt dieser Ansatz ein dreidimensionales Modell des Gegenstands ein, das zum Beispiel globale Informationen enthalten kann, die nicht verfügbar waren, als die Daten anfänglich gesammelt wurden. Das Modell kann zum Beispiel Fehler mitteln und/oder Rauschen in den einzelnen Kameramessungen reduzieren, sowie Fehler in einem globalen Kameraweg minimieren, wo möglich. Mittels dieses Anfangsmodells als einen räumlichen Ausgangsbezugspunkt kann der Prozeß 700 auf die einzelnen dreidimensionalen Messungen zurückkommen, wie unten weiter beschrieben wird.
Wie im Schritt 718 gezeigt, kann die projizierte Messung vom dreidimensionalen Modell auf einen anderen Kanal der Kamera rückprojiziert werden, der der Mittelkanal oder ein anderer Seitenkanal der oben beschriebenen Kamera sein kann. Das projizierte Ergebnis aus Schritt 716 kann mittels irgendwelcher geeigneter Techniken rückprojiziert werden, um eine synthetische Ansicht der Messung von einem Kamerakanal zu erhalten, wie sie aus dem anderen Kamerakanal erscheinen sollte, beruhend auf der räumlichen Beziehung zwischen dem projizierten Ergebnis, dem dreidimensionalen Modell und der Position und Drehung des anderen Kanals. Es wird erkannt werden, daß wenn es keine Fehler p in der Anfangsmessung geben würde, diese synthetische Ansicht exakt dem tatsächlichen zweidimensionalen Bild entsprechen würde, das aus dem anderen Kanal erhalten wird. Jedoch kann es in einer Hochgeschwindigkeitsverarbeitungspipeline wie der oben beschriebenen sein, daß ein anfängliches dreidimensionales Modell kann Oberflächendetails aus etlichen Gründen nicht genau erfaßt (Verarbeitung mit niedriger Auflösung, Fehlen globaler Oberflächendaten, wie dem vollständigen dreidimensionale Modell usw.). Folglich wird es erwartet, daß es in einem praktischen System Variationen zwischen einer synthetisierten Ansicht (die auf Beobachtungen aus einer anderen Position beruht) und einer tatsächlichen Ansicht geben kann. Die Rückprojektion kann zum Beispiel durch Verwölbung oder auf andere Weise Verformen des projizierten Ergebnisses beruhend auf dem dreidimensionalen Modell und den Kameraposeninformationen für jeweilige Messungen durchgeführt werden. Durch Verarbeitung dieser synthetisierten Bildsätze, um Disparitätsdaten zu erhalten, und weiteres Rückprojizieren der synthetisierten Disparitätsdaten durch das Kameramodell kann ein rückprojiziert Ergebnis erhalten werden, das eine synthetisierte oder erwartete Version der dreidimensionalen Messung aus der zweiten Kameraposition repräsentiert.
Wie im Schritt 720 gezeigt, kann eine dreidimensionale Messung durch eine Kamera (z. B. die Messung, die aus einem Bildsatz in einem Datenrahmen abgeleitet wird) durch Justieren der dreidimensionalen Rekonstruktion verfeinert werden, um einen Fehler zwischen dem im Schritt 718 erhaltenen rückprojizierten Ergebnis und einer im Schritt 710 erfaßten tatsächlichen entsprechenden zweidimensionale Messung zu minimieren. Allgemeiner gesagt, können dort, wo zwei Bilder Messungen aus einem überlappenden Abschnitt der Oberfläche des Gegenstands enthalten, die rückprojizierte (z. B. synthetisierte) Messung und die tatsächliche Messung direkt verglichen werden. In einer Ausführungsform können Kamerakalibrierungsdaten und andere Informati onen, die für die Kamera oder die Kanäle der Kamera beschreibend sind, in die Projektion und/oder Rückprojektion eingebaut werden, um die dreidimensionale Genauigkeit der resultierenden dreidimensionalen Messung zu verbessern.
Wie im Schritt 722 gezeigt, kann das dreidimensionale Modell beruhend auf den verfeinerten dreidimensionalen Messungen für jeden Bilddatenrahmen verfeinert werden. Es kann eine Anzahl von Techniken eingesetzt werden, um das Modell zu verfeinern. In einem Aspekt können die dreidimensionalen Daten für eine verfeinerte dreidimensionale Messung verwendet werden, um das dreidimensionale Modell direkt zu modifizieren, z. B. durch Schätzung der Verteilung der Änderungen in der verfeinerten dreidimensionalen Messung beim Rekonstruktionsprozeß für das dreidimensionale Modell. In einem anderen Aspekt kann eine neue auf Bewegungen beruhende Rekonstruktion für einige oder alle der Aufnahmedaten mittels der verfeinerten dreidimensionalen Messungen anstelle der anfänglichen dreidimensionalen Messungen durchgeführt werden, um einen Kameraweg zurückzugewinnen, der verwendet wird, um die Einzelmessungen mit einem globalen Koordinatensystem in Beziehung zu setzen. In einem anderen Aspekt kann dieser Prozeß wiederholt werden, um eine iterative Verfeinerung des dreidimensionalen Modells erhalten, z. B. für eine vorgegebene Anzahl von Iterationen, oder bis eine vorgegebene Fehlerschwelle erreicht ist, oder bis keine weitere Verfeinerung aus einer vorhergehenden Iteration erhalten wird, und so weiter, sowie verschiedene Kombinationen davon. Iterationen können lokal (z. B. an spezifischen Bereichen, wo Fehler groß sind) oder global (z. B. für jeden überlappenden Bereich zwischen Kamerapositionen) oder in einer Kombinationen davon durchgeführt werden.
Es wird außerdem erkannt werden, daß dieser Ansatz sinnvollerweise mit anderen dreidimensionalen Rekonstruktionstechniken, sowie auf andere Arten innerhalb der oben beschriebenen auf Bildpaaren beruhenden Verarbeitung eingesetzt werden kann. Während zum Beispiel die auf einem Modell beruhende Verfeine rung einer spezifischen dreidimensionalen Messung die Genauigkeit verbessern kann, kann derselbe Ansatz eingesetzt werden, um ein zweidimensionales Bild von einem Bildsatz auf ein zweidimensionales Bild aus einem anderen Bildsatz rückzuprojizieren, um Rahmen-zu-Rahmen-Verbesserungen der Genauigkeit zu erzielen. Ferner können diese Bildsätze um irgendeine Anzahl of dazwischentretende Bildsätze versetzt werden, und komplementär kann eine bidirektionale Verfeinerung für irgendeinen und alle der vorhergehenden durchgeführt werden, überall wo die beiden Messungen eine gewisse Überlappung auf der Oberfläche des Gegenstands enthalten. Während oben eine Technik zum Prüfen eines spezifischen Satzes überlappender Messungen beschrieben wird, kann allgemeiner gesagt diese Technik mit jeder Häufigkeit, in jeder Reihenfolge, für einige oder alle der überlappenden Bereiche in Messungen wiederholt werden, die verwendet werden, um ein dreidimensionales Modell zu erhalten, und es wird beabsichtigt, daß alle solche Variationen in den Rahmen dieser Offenbarung fallen.
8 ist ein Ablaufplan einer globalen Wegoptimierung. In einem Aspekt kann die Verfeinerung einzelner dreidimensionaler Messungen in Kombination mit numerischen Techniken zur globalen Wegoptimierung für einen gesamten Kameraweg verwendet werden, um eine weitere iterative Verbesserung eines resultierenden dreidimensionalen Modells zu ergeben. Es wird nun eine geeignete globale Wegoptimierungstechnik in näheren Einzelheiten beschrieben.
Der Prozeß 800 kann mit einer Vorverarbeitung beginnen, wie im Schritt 810 gezeigt. Es wird sich verstehen, daß die Vorverarbeitung, wie sie hierin beschrieben wird, die Verfügbarkeit einer Anzahl von Bilddatenrahmen voraussetzt, aus denen ein Kameraweg und ein dreidimensionales Modell rekonstruiert werden können. Die Informationen für die dreidimensionale Rekonstruktion können auf zahlreiche Arten erzeugt werden, die einschließen, daß sie aus einer strukturierten Lichtprojektion, einer auf Schattierung beruhenden dreidimensionalen Rekonstruktion oder Disparitätsdaten stammen. Disparitätsdaten können durch ein herkömmliches Bild plus einen oder mehrere andere Kanäle oder Seitenkanäle erzeugt werden. Die Vorverarbeitung kann das Bestimmen der Anzahl verfügbarer Rahmen, des Betrags der Überlappung zwischen benachbarten Rahmen, die Erkennung und Beseitigung von Rahmen mit verschwommenen oder sehr verzerrten Bildern, und alle anderen geeigneten Vorverarbeitungsschritte umfassen. Es kann anfänglich eine Schätzung der Anzahl erwünschter Schlüsselrahmen während des Vorverarbeitungsschritts bestimmt werden.
Wie im Schritt 812 gezeigt, können Schlüsselrahmen unter allen Rahmen von Daten ausgewählt werden, die von einem Bildabtaster längs eines Kamerawegs erfaßt werden. Im allgemeinen können Berechnungskosten reduziert werden, indem bestimmte Daten gespeichert werden und bestimmte Berechnungen und Verarbeitungsschritte ausschließlich in Bezug auf Schlüsselrahmen durchgeführt werden. Diese Schlüsselrahmen können miteinander in eine Weise in Beziehung gebracht werden, die die Charakterisierung eines vollständigen Kamerawegs ermöglicht, typischerweise durch die Registrierung überlappender dreidimensionaler Daten in jeweiligen Schlüsselrahmen. Es sind verschiedene Verfahren in der Technik zum Auswählen eines Teilsatzes von Datenrahmen als Schlüsselrahmen bekannt, die Techniken umfassen, die aus einer Bildüberlappung, die Kamerawegstrecke, die Anzahl dazwischentretender Nicht-Schlüsselrahmen und so weiter beruhen. Schlüsselrahmen können außerdem oder statt dessen beruhend auf einem Betrag der Bildüberlappung vom vorhergehenden Schlüsselrahmen und/oder einem Kandidat für einen folgenden Schlüsselrahmen (falls verfügbar) ausgewählt werden. Auch eine kleine Überlappung kann die Rahmen-zu-Rahmen-Registrierung beeinträchtigen. Auch eine große Überlappung kann überschüssige Schlüsselrahmen erzeugen, die eine zusätzliche Verarbeitung benötigen. Schlüsselrahmen können beruhend auf einer räumlichen Verschiebung ausgewählt werden. Schlüsselrahmen können außerdem beruhend auf einer sequentiellen Verschiebung ausgewählt wer den. Diese Art einer sequentiellen Verschiebung könnte zum Beispiel bedeuten, daß jeder zehnte Rahmen als ein Schlüsselrahmen ausgewählt wird. In einem Aspekt können Schlüsselrahmen, wenn Daten erfaßt werden, beruhend auf irgendeiner Anzahl geeigneter Kriterien ausgewählt werden. In einem anderen Aspekt können Schlüsselrahmenpaare nachträglich durch Untersuchen aller möglichen Kandidatenschlüsselrahmen ausgewählt werden. Alle möglichen Schlüsselrahmenpaare können untersucht werden und Kandidaten können zum Beispiel entfernt werden, wo es eine ungenügend Überlappung zum Bilden einer Anfügung gibt. Noch allgemeiner gesagt kann jede zum Auswählen eines Teilsatzes con Rahmen in einem Datensatz geeignete Technik sinnvollerweise eingesetzt werden, um Schlüsselrahmen zu Verarbeitung auszuwählen, um die Rechenkomplexität zu reduzieren.
Sobald Schlüsselrahmen ausgewählt worden sind, kann eine zusätzliche Verarbeitung durchgeführt werden. Zum Beispiel können volle Bilddaten (z. B. Mittel- und Seitenkanalbilder mit voller Auflösung) für jeden Schlüsselrahmen, zusammen mit Bildsignaturdaten, Punktwolkenschwerpunktsberechnungen und irgendwelchen anderen gemessenen oder berechneten Daten gespeichert werden, um die Verwendung der Schlüsselrahmen in einem dreidimensionale Rekonstruktionsprozeß zu unterstützen, wie er hierin beschrieben wird.
Wie im Schritt 814 gezeigt, können Kandidatenanfügungen erkannt werden. Im allgemeinen ist eine Anfügung eine Beziehung zwischen zwei getrennten dreidimensionalen Messungen aus zwei unterschiedlichen Kameraposen. Sobald eine Anfügung hergestellt ist, können eine Drehung und eine Translation für den Weg einer Kamera zwischen den beiden Posen bestimmt werden. In einer komplementären Weise können die dreidimensionalen Messungen aus den Posen zu einem Abschnitt eines dreidimensionalen Modells kombiniert werden. Es können Kandidatenanfügungen um jeden Schlüsselrahmen analysiert werden, wie vom Schlüsselrahmen zu einigen oder allen Datenrahmen zwischen dem Schlüsselrahmen und benachbarten Schlüsselrahmen. In einem anderen Aspekt kann eine Kandidatenanfügung an jeden anderen Schlüsselrahmen, oder um die Rechenkomplexität zu reduzieren, jeden Schlüsselrahmen innerhalb einer räumlichen oder sequentiellen Nachbarschaft um einen Schlüsselrahmen durchgeführt werden. Anfügungen können auf den ursprünglich abgebildeten Rahmen beruhen. Es kann außerdem nützlich sein, zweidimensionale Bilder während der Registrierung und anderen Schritten in einem Anfügungsprozeß zu verformen oder zu verwölben, um die Genauigkeit und/oder Geschwindigkeit zu verbessern. Anfügungen können außerdem oder statt dessen auf anderen beobachteten epipolaren Beziehungen in den Quelldaten beruhen.
Wie im Schritt 816 gezeigt, können Anfügungen für den vollständigen Kameraweg aus der Gesamtheit der Kandidatenanfügungen ausgewählt werden. Die Auswahl der Anfügungen kann z. B. beruhend auf dem niedrigsten berechneten Fehler in den resultierenden Abschnitten des dreidimensionalen Modells durchgeführt werden. Im allgemeinen kann jeder Schlüsselrahmen an einen oder mehreren anderen Schlüsselrahmen angefügt werden, und jeder Nicht-Schlüsselrahmen kann an mindestens einen sequentiell benachbarten Schlüsselrahmen angefügt werden.
Wie im Schritt 818 gezeigt, kann ein graphische Analyse mittels der Schlüsselrahmen und der zugehörigen Anfügung durchgeführt werden, um einen globalen Weg für die Kamera zu berechnen, die verwendet wird, um ein dreidimensionales Modell zu erhalten. Die graphische Analyse kann jeden Schlüsselrahmen als einen Knoten oder Scheitel und jede Anfügung als eine Kante zwischen einem Paar von Konten betrachten. Ein Schlüsselrahmen wird als ein Ausgangspunkt ausgewählt. Es kann eine Breiten- oder Tiefenerstsuche durch die graphische Darstellung durchgeführt werden, um Anfügungen zu ermitteln, die den gegenwärtigen Schlüsselrahmen mit einem anderen Schlüsselrahmen verbinden können. Jeder Schlüsselrahmen kann markiert werden, wenn die graphische Darstellung verarbeitet wird. Es kann eine Prüfung durchgeführt werden, um festzustellen, ob alle Schlüsselrahmen innerhalb der graphischen Darstellung erreicht worden sind. Wenn nicht alle Schlüsselrahmen durch das Durchqueren der Anfügungen in der graphischen Analyse erreicht worden sind, wird die größte graphische Teildarstellung erkannt. Diese graphische Teildarstellung kann untersucht werden, um festzustellen, ob das gesamte dreidimensionale Bild modelliert werden kann.
Es kann sein, daß bestimmte graphische Teildarstellungen nicht benötigt werden, um die dreidimensionale Abbildung zu vollenden. Wenn die Kamera über einem besonderen Bereich einer Oberfläche eines Gegenstands verweilte, oder wenn die Kamera auf einem Bereich mehrmals eine Schleife machte, kann die graphische Teildarstellung(en) nicht benötigt werden. Wenn eine getrennte graphische Teildarstellung erkannt wird, die benötigt wird, um die dreidimensionale Abbildung zu vollenden, kann ein optionaler Sprung zu Schritt 812 zurück durchgeführt werden. Zum Beispiel kann ein Satz Schlüsselrahmen ausgewählt worden sein, der keine ausreichend Anfügung von einem Schlüsselrahmen zum nächsten Schlüsselrahmen aufweist. Durch Wählen eines anderen Satzes von Schlüsselrahmen kann eine ausreichende Anfügung erhalten werden, um eine vollständige graphische Darstellung aller benötigten Aspekte der dreidimensionalen Abbildung zu erhalten. Ein Schlüsselrahmen, der zu dürftig ist, was bedeutet, daß er ungenügende Anfügungen aufweist, um beim Aufbau einer graphischen Darstellung zu helfen, kann anzeigen, daß ein anderer Satz von Schlüsselrahmen ausgewählt werden sollte. Beruhend auf der graphischen Analyse kann ein globaler Weg ausgewählt werden, und die graphische Darstellung kann dann analysiert werden, um die Wegberechnung zu optimieren.
Wie im Schritt 820 gezeigt, kann eine numerische Optimierung, um Fehler im berechneten Kameraweg zu reduzieren beruhend auf den verfügbaren Daten für den vollständigen Kameraweg durchgeführt werden, wie zum Beispiel Querverbindungen, die entfernte Messungen zeitweilig miteinander in Beziehung setzen. Im allgemeinen ist es das Ziel der numerischen Optimierung, einen berechneten Fehler beruhend auf einer Fehlerfunktion für den Kameraweg und/oder das rekonstruierte dreidimensionale Mo dell zu minimieren. Eine nützliche Formulierung des Fehlerminimierungsproblems für einen globalen Kameraweg wird unten präsentiert.
Es möge einen Satz von Kandidatenkameraposen geben, die jeweils eine Drehung und eine Translation (oder Position) bezogen auf ein Weltkoordinatensystem umfassen. Es möge außerdem einen Satz gemessener ”Frame-to-Frame” bzw. Rahmen-zu-Rahmen-Kamerabewegungen geben, die jeweils eine Drehung und eine Translation zwischen den Posen aufweisen. Eine gemessene Kamerabewegung möge im Koordinatensystem einer Kamerapose referenziert werden. Es möge ein Beispielsatz von drei Schlüsselrahmen mit einem Ursprung „O” und drei anderen Punkten „A”, „B” und „C” betrachtet werden, wobei jeder der Punkte eine Position in einem dreidimensionalen Raum aufweist. Zusätzlich zur Position dieser Punkte möge eine Kamera an jedem dieser Punkte eine andere Orientierung aufweisen. Daher befindet sich zwischen jedem dieser Punkte eine Translation, die eine Änderung der Position bedeutet, und eine Drehung, die eine Änderung der Orientierung bedeutet. Die Translations- und Drehungswerte umfassen den Bewegungsparameter. Die Beziehung zwischen einem Punkt X, der im Weltkoordinatensystem als X_O ausgedrückt wird, und demselben, im A-Koordinatensystem ausgedrückten Punkt X_A kann ausgedrückt werden als: XA = ROAXO + TOA [Gl. 3]
R_OA ist die Drehung, die Punkte vom Welt- zum A-Koordinatensystem überführt. T_OA ist die Translation des Weltkoordinatensystems zum A-Koordinatensystem. Es sollte verstanden werden, daß die Symbole X und T vielmehr einen Vektor als einen Skalar repräsentieren können, z. B. wobei X x-, y-, und z-Koordinatenwerte umfaßt. Ferner sollte verstanden werden, daß das Symbol R kann eine Matrix repräsentieren kann. Die folgenden Gleichungen können entsprechend die Transformation zwischen dem Welt- und den B- bzw. C-Koordinatensystem repräsentieren: XB = ROBXO + TOB [Gl. 4] XC = ROCXO + TOC [Gl. 5]
Durch Umordnen können die Gleichungen 4 und 5 wie folgt dargestellt werden: XO = R–1OA (XA – TOA) = R–1OB (XB – TOB) [Gl. 6]
Die Darstellung eines Punkts in einem Koordinatensystem der Kamera kann mit demselben Punkt in einem anderen Koordinatensystem in Beziehung gesetzt werden. Zum Beispiel können wie in den Gleichungen 3–5, die Koordinaten eines Punkts X vom A-Koordinatensystem zum B-Koordinatensystem wie folgt transformiert werden: XB = RABXA + TAB [Gl. 7]
Die Drehung R_AB dreht Punkte vom A- zum B-Koordinatensystem und T_AB translatiert den Ursprung des A-Koordinatensystems zum B-Koordinatensystem.
Bei der Optimierung kann die Pose jeder Kamera beruhend auf gemessenen Transformationen zwischen Posen optimiert werden. Das heißt, es kann eine Anzahl von Kamera-zu-Welt-Drehungen und Kamera-zu-Welt-Translationen R_On und T_On durchgeführt werden. Im allgemeinen kann eine davon als die identische Drehung und Null-Translation definiert werden, wobei die restlichen Werte kann wie unten beschrieben optimiert werden können.
Die Drehungen und Translationen können für viele Kamerapaare gemessen werden. Für die i-te so gemessene Rahmen-zu-Rahmen-Bewegung sei eine der Kameras des Paars die Kamera A und die anderen die Kamera B. Diese kann außerdem als die i-te Anfügung betrachtet werden. Es sei Rⁱ _AB die gemessene Drehung, die Punkte im A-System zum B-System überführt, und Tⁱ _AB die Koordinaten der im B-System ausgedrückte A-Position, wie in Gleichung 7.
Die Drehungen und Translationen für alle Kameras R_On und T_On können optimiert werden. Rⁱ _C,OA und Rⁱ _C,OB können als die Kandidatendrehungen definiert werden; Tⁱ _C,OA und Tⁱ _C,OB können als die Kandidatentranslationen definiert werden, die der A- und B-Kamera der i-ten Anfügung entsprechen. Ferner können RiC,AB = RiC,OB (RiC,OA )–1 als die Kandidatendrehung von A nach B und TiC,AB = TiC,OB – RiC,AB TiC,OA als die Kandidatentranslation für die Transformation von A nach B definiert werden.
Man beachte, daß mit ausreichenden Anfügungen die Bewegungszwangsbedingungen ein überbestimmtes System von Bewegungszwangsbedingungsgleichungen bilden kann. Wenn diese Gleichungen als ein Ausgangspunkt verwendet werden, kann eine numerisch Optimierung an den Rotations- und Translationskomponenten jeder Kamera beruhend auf den gemessenen Anfügungen durchgeführt werden.
Bei einer entkoppelten Optimierung können die Rotations- und Translationskomponenten unabhängig optimiert werden. Wenn ein Kandidatensatz von Kameradrehungen Rⁱ _C gegeben ist, können die entsprechenden Kandidaten-Kamera-zu-Kamera-Drehungen Rⁱ _C,AB berechnet werden, die jeder der gemessenen Kamera-zu-Kamera-Drehungen Rⁱ _AB entsprechen. Folglich sind die entsprechenden Restdrehungen durch Riresidual,AB = RiC,AB (RiAB )–1 gegeben. Es kann eine Skalarwert-Rotationskostenfunktion e_r berechnet werden, die von den Kandidatenkameradrehungen abhängt
In Gleichung 8, gibt log_SO(3)(R) den Achsenwinkelvektor ν zurück, der der Drehung R entspricht. Mit anderen Worten gibt log_SO(3)(R) den Vektor ν zurück, der eine Kreuzproduktmatrix [ν]_x aufweist, das heißt den Matrixlogarithmus von R.
Als nächstes kann eine ähnliche Skalarwertkostenfunktion für die Translation berechnet werden, die von den Kandidatendrehungen und -translationen abhängt.
Gleichung 8 kann als eine nichtlineare Optimierung minimiert werden; Gleichung 9 kann als eine lineare Optimierung minimiert werden.
In einem herkömmlichen entkoppelten Ansatz zur Lösung dieser gleichzeitigen Systeme von Gleichungen, kann die Rotations fehlerfunktion kann in einen Quaternion-Ausdruck umgewandelt werden, um das numerische Problem in ein lineares System von Gleichungen zur Lösung zu übersetzen. Während dieser Ansatz kann die Recheneffizienz erhöhen kann, bietet er eine unvollständige Optimierungslösung.
Der oben beschriebene entkoppelt Ansatz stellt in einem Sinn der maximalen Wahrscheinlichkeit keinen wirklich optimalen bereit, da er keine Informationen aus dem Translationsabschnitt der Anfügungen beim Bestimmen der Drehung nutzen kann. Um eine gekoppelte Optimierung zu erzielen, kann eine Gewichtung verwendet werden, um die Beiträge der Rotations- und Translationskomponenten zu einer kombinierten Kostenfunktion ins Gleichgewicht zu bringen:
Es können mehrere Ansätze verwendet werden, um diese Kostenfunktion zu optimieren, jedoch können in einer Ausführungsform die Gewichte als Matrizen ausgedrückt werden. Unterschiedlich Anfügungen können beruhend auf einer Anzahl von Faktoren, die die Anzahl der Punkte in der Anfügung (z. B. den gemeinsam genutzten Inhalt), die Qualität einer besonderen dreidimensionalen Messung, und/oder irgendwelchen anderen Faktoren umfassen, die die bekannt Zuverlässigkeit einer Anfügung beeinflussen, unterschiedlich Gewichtungen erhalten. In einem Ansatz können die Gewichtmatrizen außerdem einen anisotropen Fehler in den gesammelten einzelnen Punkten berücksichtigen, wie infolge der Erfassung von Tiefeninformationen aus Disparitätsmessungen, was zu einer Meßgenauigkeit führt, die sich mit dem Abstand von der Kamera ändert.
In einigen Fällen kann die Gleichung 10 umformuliert werden, so die Drehungs- und Translationsgewichte für jede Anfügung entkoppelt sind (d. h. Wⁱ _C ist eine Blockdiagonale). Insbesondere kann dies in dem Fall auftreten, wo die Bewegungsanfügungen aus dreidimensionalen Punktentsprechungen mit einem iso tropen Punktfehler zurückgewonnen werden. In diesem Fall kann für eine vorgegebene Anfügung i zwischen der Kamera A und der Kamera B die optimale Lösung die Punktwolke, wie sie von der Kamera A gesehen wird, in Übereinstimmung mit jener bringen, die von der Kamera B gesehen wird. Wenn X iA und X iB die Positionen der Mitte der Punktwolke im A- bzw. B System sind, dann kann r i / t in Gleichung 10 durch die Restverschiebung zwischen dem Punktwolkenmitten beruhend auf die Kandidatenkamerapose wie folgt ersetzt werden: rit,ctr = X iB – (RiC,AB X iA + TiC,AB ) [Gl. 11]
Gleichung 10 kann dann umformuliert werden als:
Dieses gekoppelte Optimierungsproblem kann immer noch als nichtlinear betrachtet werden. Es sollte verstanden werden, daß andere Optimierungen ebenfalls möglich sind, in den Rahmen dieser Offenbarung fallen.
Im allgemeinen können durch die Minimierung der Gleichung 10 sowohl Rotationsfehler als auch Translationsfehler gleichzeitig minimiert werden. Die Gewichtsmatrizen können zum Beispiel gemäß „First Order Error Propagation of the Procrustes Method for 3D Attitude Estimation" von Leo Dorst, IEEE Transactions on Pattern Analysis and Machine Intelligence, B. 27, Nr. 2, Feb. 2005, S. 221–9 gewählt werden, das in seiner Gesamtheit durch Bezugnahme aufgenommen ist. Sobald ein konsistenterer Satz von Bewegungsparametern erzeugt worden ist, kann das dreidimensionale Modell aktualisiert werden.
In einem Aspekt kann der Restfehler als eine Kalibrierungsmetrik eingesetzt werden. Wenn der Gesamtfehler oder ein Anteil des Fehlers minimiert worden ist, kann der Restfehler bewertet werden. Wenn ein minimierter Fehler unter eine bestimmte Schwelle fällt, dann kann eine Kalibrierung des Bildabtasters und der zugehörigen Hardware beruhend auf einer Folgerung empfehlenswert sein, daß die Unfähigkeit, Ergebnissen mit besserer Qualität zu erzeugen auf eine Fehlkalibrierung oder andere Fehlfunktion des Kamerasystems zurückzuführen sein kann. Der Schwellenwert kann beruhend auf der spezifischen Bildabtasterhardwareausstattung empirisch werden oder er kann durch Erfahrung mit der Zeit für ein gegebenes System erfahren werden. Wenn ein System neu ist oder frisch ausgerichtet worden ist, können erwartete minimierte Fehlerwerte erhalten werden. Wenn die minimierten Fehlerwerte von diesen erwarteten Werten abweichen, kann ein Kalibrierungszustandsbewertungsmerker gesetzt werden, oder ein anderer Alarm oder eine Meldung erzeugt werden, die anzeigt, daß das Werkzeug kalibriert werden sollte.
Wie im Schritt 822 gezeigt, kann eine Überabtastung durchgeführt werden, um ein dreidimensionales Modell mit Daten aus Nicht-Schlüsselrahmen zu verbessern. Zum Beispiel können Nicht-Schlüsselrahmen kann mit nahegelegenen Schlüsselrahmen registriert werden, um kleine, lokale Rekonstruktionsflicken zu erzeugen, die das volle Bilddetail enthalten, das aus Nicht-Schlüsselrahmen erhältlich ist. Auf diese Weise kann eine Wegoptimierung an einem auf Schlüsselrahmen beruhenden Datensatz durchgeführt werden, wobei folglich die Daten reduziert werden, die eine Verarbeitung benötigen, während zusätzliche Datenpunkte aus Nicht-Schlüsselrahmen zur Verwendung im endgültigen dreidimensionalen Modell aufbewahrt werden.
Es wird erkannt werden, daß jedes der obigen Systeme und/oder Verfahren kann in Hardware, Software oder jeder Kombination davon verwirklicht werden kann, die für die Datenerfassungs- und Modellierungstechnologien geeignet ist, die hierin beschrieben werden. Dies umfaßt die Umsetzung in einem oder mehreren Mikroprozessoren, Mikrokontrollern, eingebetteten Mikrokontrollern, programmierbar digitalen Signalprozessoren oder anderen programmierbaren Vorrichtungen, zusammen mit einem internen und/oder externen Speicher. Dies kann außerdem oder statt dessen eine oder mehrere anwendungsspezifische integrierte Schaltungen, programmierbare Gate-Arrays, programmierbare Array-Logikkomponenten oder jede andere Vorrichtung oder Vor richtungen, die konfiguriert werden können, um elektronische Signale zu verarbeiten. Es wird ferner erkannt. werden, daß eine Umsetzung einen computerausführbaren Code aufweisen kann, der mittels einer strukturierten Programmiersprache wie C, einer objektorientierten Programmiersprache wie C++, oder irgendeiner anderen höheren oder niedrigeren Programmiersprache (einschließlich Assemblersprachen, Hardwarebeschreibungssprachen, und Datenbankprogrammiersprachen und Technologien) erzeugt wird, die gespeichert, kompiliert oder interpretiert werden kann, um auf einer der obigen Vorrichtungen ausgeführt zu werden, sowie heterogene Kombinationen von Prozessoren, Prozessorarchitekturen oder Kombinationen unterschiedlicher Hardware und Software. Folglich wird in einem Aspekt hierin ein Computerprogrammprodukt offenbart, das eine computerausführbaren Code aufweist, der, wenn er auf einer oder mehreren Computervorrichtungen ausgeführt wird, irgendeinen und/oder alle der oben beschriebenen Schritte ausführt. Gleichzeitig kann die Verarbeitung über Vorrichtungen wie einer Kamera und/oder einem Computer und/oder einer Herstellungseinrichtung und/oder einem Zahnlabor und/oder einen Server auf eine Anzahl von Arten verteilt werden, oder die gesamte Funktionalität kann in einer zweckbestimmten eigenständigen Vorrichtung integriert werden. es ist beabsichtigt, daß alle solche Permutationen und Kombinationen in den Rahmen der vorliegenden Offenbarung fallen.
Während die Erfindung in Verbindung mit den bevorzugten Ausführungsformen offenbart worden ist, die im Detail gezeigt und beschrieben werden, werden verschiedene Modifikationen und Verbesserungen daran Fachleuten ohne weiteres einfallen. Folglich ist der Geist und Rahmen der vorliegenden Erfindung nicht durch die vorhergehenden Beispiele zu begrenzen, sondern ist im weitestgehenden Sinn zu verstehen, der rechtlich zulässig ist.
Zusammenfassung
Eine dreidimensionale Messung wird verfeinert, indem zweidimensionale Bilder eines Gegenstands aus versetzten Kamerapositionen gemäß eines dreidimensionalen Modells des Gegenstands verwölbt werden, und jegliche resultierenden Diskrepanzen angewendet werden, um das dreidimensionale Modell zu verfeinern, oder um eine einer Anzahl dreidimensionaler Messungen zu verfeinern, die zur Erzeugung des dreidimensionalen Modells verwendet werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- US 7372642 [0028, 0039]

Zitierte Nicht-Patentliteratur

- „First Order Error Propagation of the Procrustes Method for 3D Attitude Estimation” von Leo Dorst, IEEE Transactions on Pattern Analysis and Machine Intelligence, B. 27, Nr. 2, Feb. 2005, S. 221–9 [0086]

Claims

Verfahren zum Verfeinern eines dreidimensionalen Modells, das die Schritte aufweist: Bereitstellen eines dreidimensionalen Modells eines Gegenstands; Erhalten eines ersten zweidimensionalen Bilds des Gegenstands aus einer ersten Kamerapose; Erhalten eines zweiten zweidimensionalen Bilds des Gegenstands aus einer zweiten Kamerapose, wobei das zweite zweidimensionale Bild einen gemeinsamen Abschnitt einer Oberfläche des Gegenstands mit dem ersten zweidimensionalen Bild aufweist; Verformen des ersten zweidimensionalen Bilds beruhend auf einer räumlichen Beziehung der ersten Kamerapose, der zweiten Kamerapose und des dreidimensionalen Modells, um ein erwartetes Bild aus der zweiten Kamerapose beruhend auf der ersten Kamerapose zu erhalten; Vergleichen des zweiten zweidimensionalen Bilds mit dem erwarteten Bild, um eine oder mehrere Diskrepanzen zu ermitteln; und Korrigieren des dreidimensionalen Modells beruhend auf der einen oder den mehreren Diskrepanzen.
Verfahren nach Anspruch 1, wobei die erste Kamerapose und die zweite Kamerapose eine Position und eine Orientierung einer einzelnen Kamera in zwei abhängigen Positionen aufweisen.
Verfahren nach Anspruch 2, wobei die erste Kamerapose und die zweite Kamerapose eine Position und eine Orientierung von zwei versetzten Kanälen einer Kamera mit mehreren Blenden aufweisen.
Verfahren nach Anspruch 1, wobei die erste Kamerapose und die zweite Kamerapose eine Position und eine Orientierung einer einzelnen Kamera in zwei unabhängigen Positionen aufweisen.
Verfahren nach Anspruch 4, wobei eine Beziehung zwischen der ersten Kamerapose und der zweiten Kamerapose beruhend auf einer dreidimensionalen Messung der Oberfläche des Gegenstands aus jeweils der erste Kamerapose und der zweiten Kamerapose berechnet wird.
Verfahren nach Anspruch 1, das ferner das Ableiten des dreidimensionalen Modells aus mehreren dreidimensionalen Messungen der Oberfläche des Gegenstands aus mehreren Kameraposen einschließlich der ersten Kamerapose und der zweiten Kamerapose aufweist.
Verfahren nach Anspruch 1, das ferner das Anwenden der einen oder mehreren Diskrepanzen aufweist, um das dreidimensionale Modell direkt zu verfeinern.
Verfahren nach Anspruch 1, das ferner das Anwenden der einen oder mehreren Diskrepanzen aufweist, um eine dreidimensionale Messung aus der ersten Kamerapose und/oder der zweiten Kamerapose zu verfeinern, um eine verfeinerte Messung bereitzustellen.
Verfahren nach Anspruch 8, das ferner das Verfeinern einer Kamerawegberechnung für einen Kameraweg aufweist, der zur Erzeugung des dreidimensionalen Modells verwendet wird, wo bei die verfeinerte Messung verwendet wird, um einen verfeinerten Kameraweg bereitzustellen.
Verfahren nach Anspruch 9, das ferner die Verwendung des verfeinerten Kamerawegs und der verfeinerten Messung aufweist, um das dreidimensionale Modell zu verfeinern.
Verfahren nach Anspruch 1, wobei das dreidimensionale Modell eine Punktwolke oder eine polygonales Gitter aufweist.
Verfahren nach Anspruch 1, wobei der Gegenstand eine menschliche Dentition aufweist.
Verfahren nach Anspruch 1, wobei die zweite Kamerapose einem Mittelkanal eines Kamerasystems mit mehreren Blenden entspricht, wobei der Mittelkanal ein herkömmliches zweidimensionales Bild des Gegenstands bereitstellt.
Verfahren nach Anspruch 14, das ferner das Erhalten eines dritten zweidimensionalen Bilds des Gegenstands aus einer dritten Kamerapose, die einem zweiten Seitenkanal des Systems mit mehreren Blenden entspricht, und das Verformen des dritten zweidimensionalen Bilds zu einem erwarteten Bild für den Mittelkanal zur Verwendung beim weiteren Verfeinern der dreidimensionalen Messung vom Kamerasystem mit mehreren Blenden aufweist.
Computerprogrammprodukt zum Verfeinern eines dreidimensionalen Modells eines Gegenstands, das einen computerausführbaren Code aufweist, der auf einem computerlesbaren Medium enthalten ist, der, wenn er auf einer oder mehreren Computervorrichtungen ausgeführt wird, die Schritte ausführt: Bereitstellen eines dreidimensionalen Modells eines Gegenstands; Erhalten eines ersten zweidimensionalen Bilds des Gegenstands aus einer ersten Kamerapose; Erhalten eines zweiten zweidimensionalen Bilds des Gegenstands aus einer zweiten Kamerapose, wobei das zweite zweidimensionale Bild einen gemeinsamen Abschnitt einer Oberfläche des Gegenstands mit dem ersten zweidimensionalen Bild aufweist; Verformen des ersten zweidimensionalen Bilds beruhend auf einer räumlichen Beziehung der ersten Kamerapose, der zweiten Kamerapose und des dreidimensionalen Modells, um ein erwartetes Bild aus der zweiten Kamerapose beruhend auf der ersten Kamerapose zu erhalten; Vergleichen des zweiten zweidimensionalen Bilds mit dem erwarteten Bild, um eine oder mehrere Diskrepanzen zu ermitteln; und Korrigieren des dreidimensionalen Modells beruhend auf der einen oder der mehreren Diskrepanzen.
Computerprogrammprodukt nach Anspruch 15, wobei die erste Kamerapose und die zweite Kamerapose eine Position und eine Orientierung einer einzelnen Kamera in zwei abhängigen Positionen aufweisen.
Computerprogrammprodukt nach Anspruch 16, wobei die erste Kamerapose und die zweite Kamerapose eine Position und eine Orientierung von zwei versetzten Kanälen einer Kamera mit mehreren Blenden aufweisen.
Computerprogrammprodukt nach Anspruch 15, wobei die erste Kamerapose und die zweite Kamerapose eine Position und eine Orientierung einer einzelnen Kamera in zwei unabhängigen Positionen aufweisen.
Computerprogrammprodukt nach Anspruch 18, wobei eine Beziehung zwischen der ersten Kamerapose und der zweiten Kamerapose beruhend auf einer dreidimensionalen Messung der Oberfläche des Gegenstands aus jeweils der ersten Kamerapose und der zweiten Kamerapose berechnet wird.
Computerprogrammprodukt nach Anspruch 15, das ferner einen Code zum Ausführen des Schritts des Ableitens des dreidimensionalen Modells aus mehreren dreidimensionalen Messungen der Oberfläche des Gegenstands aus mehreren Kameraposen einschließlich der ersten Kamerapose und der zweiten Kamerapose aufweist.
Computerprogrammprodukt nach Anspruch 15, das ferner einen Code zum Ausführen des Schritts des Anwendens der einen oder mehreren Diskrepanzen aufweist, um das dreidimensionale Modell direkt zu verfeinern.
Computerprogrammprodukt nach Anspruch 15, das ferner einen Code zum Ausführen des Schritts des Anwendens der einen oder mehreren Diskrepanzen aufweist, um eine dreidimensionale Messung von der ersten Kamerapose und/oder der zweiten Kamerapose zu verfeinern, um eine verfeinerte Messung bereitzustellen.
Computerprogrammprodukt nach Anspruch 22, das ferner einen Code zum Ausführen des Schritts des Verfeinerns einer Kamerawegberechnung für einen Kameraweg aufweist, der zur Erzeugung des dreidimensionalen Modells verwendet wird, wobei die verfeinerte Messung verwendet wird, um einen verfeinerten Kameraweg bereitzustellen.
Computerprogrammprodukt nach Anspruch 23, das ferner einen Code zum Ausführen des Schritts der Verwendung des verfeinerten Kamerawegs und der verfeinerten Messung aufweist, um das dreidimensionale Modell zu verfeinern.
Computerprogrammprodukt nach Anspruch 15, wobei das dreidimensionale Modell eine Punktwolke oder ein polygonales Gitter aufweist.
Computerprogrammprodukt nach Anspruch 15, wobei der Gegenstand eine menschliche Dentition aufweist.
Computerprogrammprodukt nach Anspruch 15, wobei die zweite Kamerapose einem Mittelkanal eines Kamerasystems mit mehreren Blenden entspricht, wobei der Mittelkanal ein herkömmliches zweidimensionales Bild des Gegenstands bereitstellt.
Computerprogrammprodukt nach Anspruch 15, das ferner einen Code zum Ausführen der Schritte des Erhaltens eines dritten zweidimensionalen Bilds des Gegenstands aus einer dritten Kamerapose, die einem zweiten Seitenkanal des Systems mit mehreren Blenden entspricht, und des Verformens des dritten zweidimensionalen Bilds zu einem erwarteten Bild für den Mittelkanal zur Verwendung beim weiteren Verfeinern der dreidimensionalen Messung vom Kamerasystem mit mehreren Blenden aufweist.