DE112009000099T5

DE112009000099T5 - Bildsignaturen zur Verwendung in einer bewegungsbasierten dreidimensionalen Rekonstruktion

Info

Publication number: DE112009000099T5
Application number: DE112009000099T
Authority: DE
Inventors: Tong Wellesley Zhang; Ramakrishna Sommerville Raghavan; János Acton Rohály
Original assignee: 3M Innovative Properties Co
Current assignee: Medit Corp
Priority date: 2008-01-04
Filing date: 2009-01-04
Publication date: 2010-11-11
Also published as: US20110164810A1; US20180196995A1; US8803958B2; WO2009089125A3; DE112009000101T5; US20200065558A1; US9418474B2; US10503962B2; US20110007137A1; WO2009089125A2; US20110007138A1; DE112009000093T5; US11163976B2; WO2009089128A1; WO2009089126A1; WO2009089127A1; US8503763B2; US20100283781A1; US8830309B2; DE112009000100T5

Abstract

Verfahren zum Erzeugen einer Signatur für einen Bildabgleich, mit den Schritten:
Bereitstellen eines mehrere Pixel aufweisenden Bildes;
Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen in einem Mittenbereich des Bildes, um eine lineare Matrix von Reihenmittelwerten zu erzeugen, die als eine erste Signatur gespeichert wird;
Drehen des Mittenbereichs bezüglich des Bildes zum Bereitstellen eines gedrehten Mittenbildes;
Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen im gedrehten Mittenbild, um eine lineare Matrix gedrehter Reihenmittelwerte zu erzeugen, die als eine zweite Signatur gespeichert wird;
Translatieren des Mittenbereichs bezüglich des Bildes zum Bereitstellen eines translatierten Mittenbildes;
Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen im translatierten Mittenbild, um eine lineare Matrix translatierter Reihenmittelwerte zu erzeugen, die als eine dritte Signatur gespeichert wird; und
Bestimmen eines elementweisen Reihenmittelwertes für jede Signatur des Bildes, die mindestens die erste Signatur, die zweite Signatur und die dritte Signatur aufweist, und...

Description

Die vorliegende Anmeldung beansprucht Priorität gegenüber der am 4. Januar 2008 eingereichten vorläufigen US-Patentanmeldung Nr. 61/019159, auf die hierin in ihrer Gesamtheit durch Verweis Bezug genommen wird.
Bereich der Erfindung
Die vorliegende Erfindung betrifft allgemein dreidimensionale Abbildungen bzw. dreidimensionales Abbilden und insbesondere Bildsignaturen zum Verbessern des Abgleichs oder der Passung in einer bewegungsbasierten dreidimensionalen Rekonstruktion.
Hintergrund der Erfindung
Gemäß einer Technik für eine dreidimensionale Bildrekonstruktion werden mehrere Bilder oder Bildsätze eines Objekts durch eine Kamera aufgenommen, die sich entlang einer Bahn über der Oberfläche des Objekts bewegt. Wenn die Kamerabahn unterbrochen wird, entweder aufgrund einer absichtlichen Unterbrechung durch einen Benutzer oder weil es nicht möglich ist, neue ankommende Daten mit einem vorhandenen dreidimensionalen Modell zu verbinden, kann es wünschenswert sein, einen Abtastvorgang für eine Rekonstruktion durch eine erneute Anbindung an die vorhandene Kamerabahn fortzusetzen. Obwohl eine allgemeine dreidimensionale Registrierung konzeptionell möglich ist, um eine aktuelle Ansicht von einer Kamera mit einem oder mehreren Bilddatenrahmen in einer für eine Rekonstruktion verwendeten vorhandenen Kamerabahn in Beziehung zu setzen, wird diese Vorgehensweise unpraktisch, wenn das dreidimensionale Modell aus hunderten oder tausenden Bilddatenrahmen gebildet wird, die Millionen Oberflächen oder dreidimensionale Punkte enthalten.
Es besteht daher ein Bedarf für verbesserte Techniken zum Auffinden einer guten Übereinstimmung für eine aktuelle Kameraansicht mit einem von mehreren vorhandenen Bilddatenrahmen.
Kurze Beschreibung der Erfindung
Es wird eine Familie eindimensionaler Bildsignaturen bereitgestellt, um jedes einzelne einer Folge von Bildern in mehreren Translations- und Rotationsausrichtungen darzustellen. Durch Berechnen dieser Bildsignaturen während der Aufnahme von Bildern kann eine neue aktuelle Ansicht auf eine Weise, die in geringerem Maße von der relativen Ausrichtung zwischen einem Sollbild und einem Suchbild abhängig ist, schnell mit früheren Ansichten verglichen werden. Diese und andere Techniken können in einem dreidimensionalen Rekonstruktionsverfahren verwendet werden, um eine Liste von Kandidatenbildern zu erzeugen, unter denen eine vollständige dreidimensionale Registrierung als Test für einen geeigneten dreidimensionalen Abgleich ausgeführt werden kann. Gemäß einem anderen Aspekt kann dieses Verfahren durch eine Methode auf Fourierbasis ergänzt werden, die selektiv auf einen Teilsatz der früheren Bilder angewendet wird. Durch Wechseln zwischen räumlichen Signaturen für einen Satz früherer Ansichten und Ortsfrequenzsignaturen für einen anderen Satz früherer Ansichten kann in verschiedenen praktischen Anwendungen ein Musterabgleichsystem implementiert werden, das schneller mit einem dreidimensionalen Modell verknüpfbar ist.
Gemäß einem Aspekt weist ein hierin beschriebenes Verfahren zum Erzeugen einer Signatur für einen Bildabgleich die Schritte auf: Bereitstellen eines mehrere Pixel enthaltenden Bildes; Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen in einem Mittenbereich des Bildes, um eine lineare Matrix von Reihenmittelwerten zu erzeugen, die als eine erste Signatur gespeichert wird; Drehen des Mittenbereichs bezüglich des Bildes zum Bereitstellen eines gedrehten Mittenbildes; Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen im gedrehten Mittenbild, um eine lineare Matrix gedrehter Reihenmittelwerte zu erzeugen, die als eine zweite Signatur gespeichert wird; Translatieren des Mittenbereichs bezüglich des Bildes, um ein translatiertes Mittenbild bereitzustellen; Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen im translatierten Mittenbild, um eine lineare Matrix translatierter Reihenmittelwerte zu erzeugen, die als eine dritte Signatur gespeichert wird; und Bestimmen eines elementweisen Reihenmittelwertes für jede Signatur des Bildes, die mindestens die erste Signatur, die zweite Signatur und die dritte Signatur aufweist, und Speichern des elementweisen Reihenmittelwertes als eine das Bild beschreibende summarische Bildsignatur.
Das Bild kann eine komprimierte Version eines Quellenbildes mit einer größeren Pixelzahl sein. Das Verfahren kann das Translatieren des Mittenbereichs zu mehreren Versatzpositionen bezüglich des Bildes und das Bestimmen einer anderen linearen Matrix von Reihenmittelwerten vom Mittenbereich für jede der mehreren Versatzpositionen aufweisen. Das Verfahren kann das Drehen des Mittenbereichs in mehrere versetzte Ausrichtungen bezüglich des Bildes und das Bestimmen einer anderen linearen Matrix von Reihenmittelwerten vom Mittenbereich für jede der mehreren versetzten Ausrichtungen aufweisen. Das Verfahren kann das Empfangen eines zweiten Bildes; Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen in einem Mittenbereich des zweiten Bildes, um eine lineare Matrix von Reihenmittelwerten zu erzeugen, die als eine Suchsignatur gespeichert wird; und das Vergleichen der summarischen Bildsignatur mit der Suchsignatur zum Identifizieren einer möglichen Übereinstimmung aufweisen.
Gemäß einem anderen Aspekt weist ein hierin beschriebenes Computerprogrammprodukt zum Erzeugen einer Signatur für einen Bildabgleich einen in einem computerlesbaren Medium gespeicherten, auf einem Computer ausführbaren Code auf, der, wenn er auf einem oder mehreren Rechnereinrichtungen ausgeführt wird, die Schritte ausführt: Bereitstellen eines mehrere Pixel enthaltenden Bildes; Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen in einem Mittenbereich des Bildes, um eine lineare Matrix von Reihenmittelwerten zu erzeugen, die als eine erste Signatur gespeichert wird; Drehen des Mittenbereichs bezüglich des Bildes zum Bereitstellen eines gedrehten Mittenbildes; Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen im gedrehten Mittenbild, um eine lineare Matrix gedrehtes Reihenmittelwerte zu erzeugen, die als eine zweite Signatur gespeichert wird; Translatieren des Mittenbereichs bezüglich des Bildes, um ein translatiertes Mittenbild bereitzustellen; Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen im translatierten Mittenbild, um eine lineare Matrix translatierter Reihenmittelwerte zu erzeugen, die als eine dritte Signatur gespeichert wird; und Bestimmen eines elementweisen Reihenmittelwertes für jede Signatur des Bildes, die mindestens die erste Signatur, die zweite Signatur und die dritte Signatur aufweist, und Speichern des elementweisen Reihenmittelwertes als eine das Bild darstellende summarische Bildsignatur.
Gemäß einem anderen Aspekt weist ein hierin beschriebenes Verfahren zum Verwenden von Bildsignaturen für einen Bildabgleich in einem dreidimensionalen Rekonstruktionsverfahren die Schritte auf: Erzeugen einer Bildsignatur für jedes von mehreren Bildern, die in einer dreidimensionalen Rekonstruktion verwendet werden, wobei jede Bildsignatur eine erste Signatur und mehrere Ausrichtungssignaturen aufweist, wobei jede der Ausrichtungssignaturen auf die gleiche Weise berechnet wird wie die erste Signatur, wobei das Bild mindestens einer versetzten Rotation- und einer versetzten Translationsposition entspricht, und wobei jede Bildsignatur eine summarische Bildsignatur enthält, die als ein Mittelwert der ersten Signatur und jeder der Ausrichtungssignaturen berechnet wird; Bestimmen einer zweiten Signatur für ein Suchbild, das der dreidimensionalen Rekonstruktion hinzugefügt werden soll, wobei die zweite Signatur auf die gleiche Weise berechnet wird wie die erste Signatur; Auswählen mehrerer Kandidatenbilder aus den mehreren Bildern basierend auf einem Vergleich zwischen der zweiten Signatur des Suchbildes und der summarischen Bildsignatur jedes der mehreren Bilder; Auswählen mehrerer Kandidatenregistrierungen von den Kandidatenbildern basierend auf einem Vergleich zwischen der zweiten Signatur und der Bildsignatur sowie den mehreren Ausrichtungssignaturen für jedes der Kandidatenbilder; sequenzielles probeweises Registrieren eines dem Suchbild zugeordneten dreidimensionalen Datensatzes mit einem jedem der Kandidatenbilder zugeordneten dreidimensionalen Datensatzes, bis eine resultierende Registrierung einen Restfehler aufweist, der kleiner ist als ein vorgegebener Schwellenwert; und Hinzufügen des Suchbildes zu den mehreren Bildern, was das Hinzufügen des dem Suchbild zugeordneten dreidimensionalen Datensatzes zur dreidimensionalen Rekonstruktion beinhaltet.
Jede Bildsignatur kann eine Ortsfrequenzbereichdarstellung bzw. Ortsfrequenzdomaindarstellung des Bildes enthalten, und die zweite Bildsignatur kann eine Ortsfrequenzbereichdarstellung bzw. Ortsfrequenzdomaindarstellung des Suchbildes aufweisen. Jede Bildsignatur kann auf einem heruntergetakteten der mehreren Bilder basieren. Jede Bildsignatur kann auf einem Mittenbereich eines der mehreren Bilder basieren. Jedes der mehreren Bilder kann ein Schlüsselbild (Key Frame) in einer Kamerabahn sein, das zum Bestimmen der dreidimensionalen Rekonstruktion verwendet wird. Das Verfahren kann das Verwerfen des Suchbildes, wenn keine der resultierenden Registrierungen einen Restfehler aufweist, der kleiner ist als der vorgegebene Schwellenwert, und das Abrufen eines neuen Suchbildes aufweisen. Das Verfahren kann das Skalieren des Suchbildes derart aufweisen, dass der dem Suchbild zugeordnete dreidimensionale Datensatz und der mindestens einem der mehreren Bilder zugeordnete dreidimensionale Datensatz einen im Wesentlichen ähnlichen Schwerpunktabstand haben.
Gemäß einem anderen Aspekt weist ein hierin beschriebenes Computerprogrammprodukt zum Verwenden von Bildsignaturen für einen Bildabgleich in einem dreidimensionalen Rekonstruktionsverfahren einen in einem computerlesbaren Medium gespeicherten, auf einem Computer ausführbaren Code auf, der, wenn er auf einer oder mehreren Rechnereinrichtungen ausgeführt wird, die Schritte ausführt: Erzeugen einer Bildsignatur für jedes von mehreren Bildern, die in einer dreidimensionalen Rekonstruktion verwendet werden, wobei jede Bildsignatur eine erste Signatur und mehrere Ausrichtungssignaturen aufweist, wobei jede der Ausrichtungssignaturen auf die gleiche Weise berechnet wird wie die erste Signatur, wobei das Bild mindestens einer versetzten Rotations- und einer versetzten Translationsposition entspricht, und wobei jede Bildsignatur eine summarischen Bildsignatur aufweist, die als ein Mittelwert der ersten Signatur und jeder der Ausrichtungssignaturen berechnet wird; Bestimmen einer zweiten Signatur für ein Suchbild, das der dreidimensionalen Rekonstruktion hinzugefügt werden soll, wobei die zweite Signatur auf die gleiche Weise berechnet wird wie die erste Signatur; Auswählen mehrerer Kandidatenbilder aus den mehreren Bildern basierend auf einem Vergleich zwischen der zweiten Signatur des Suchbildes und der summarischen Bildsignatur jedes der mehreren Bilder; Auswählen mehrerer Kandidatenregistrierungen von den Kandidatenbildern basierend auf einem Vergleich zwischen der zweiten Signatur und der Bildsignatur sowie den mehreren Ausrichtungssignaturen für jedes der Kandidatenbilder; sequenzielles probeweises Registrieren eines dem Suchbild zugeordneten dreidimensionalen Datensatzes mit einem jedem der Kandidatenbilder zugeordneten dreidimensionalen Datensatz, bis eine resultierende Registrierung einen Restfehler aufweist, der kleiner ist als ein vorgegebener Schwellenwert; und Hinzufügen des Suchbildes zu den mehreren Bildern, was das Hinzufügen des dem Suchbild zugeordneten dreidimensionalen Datensatzes zur dreidimensionalen Rekonstruktion beinhaltet.
Gemäß einem anderen Aspekt weist das hierin beschriebene Verfahren zum Verwenden von Bildsignaturen für einen Bildabgleich die Schritte auf: Erzeugen mindestens einer räumlichen Signatur oder mindestens einer Ortsfrequenzsignatur für jedes von mehreren Bildern; Prüfen eines ersten Suchbildes hinsichtlich einer Übereinstimung mit einem ersten Teilsatz der mehreren Bilder basierend auf einer räumlichen Signatur für das erste Suchbild; und Prüfen eines zweiten Suchbildes hinsichtlich einer Übereinstimung mit einem zweiten Teilsatz der mehreren Bilder basierend auf der Ortsfrequenzsignatur für das zweite Suchbild.
Der erste Teilsatz kann sich vom zweiten Teilsatz unterscheiden bzw. gegenüber dem zweiten Teilsatz einzigartig sein. Das Prüfen des zweiten Suchbildes kann das sequenzielle Prüfen des zweiten Suchbildes beinhalten, wenn bei der Prüfung des ersten Suchbildes keine geeignete Übereinstimmung gefunden wird. Die mehreren Bilder können Bilder aufweisen, die in einer bewegungsbasierten dreidimensionalen Rekonstruktion verwendet werden. Der erste Teilsatz kann mehrere Schlüsselbilder aufweisen, die zum Definieren einer Kamerabahn in einer bewegungsbasierten dreidimensionalen Rekonstruktion verwendet werden. Der erste Teilsatz kann alle Schlüsselbilder für eine dreidimensionale Abtastung aufweisen. Für jedes Schlüsselbild können mehrere räumliche Signaturen berechnet werden, die das Schlüsselbild für mehrere versetzte Rotations- und Translationspositionen darstellen. Der zweite Teilsatz kann ein oder mehrere unmittelbar vorangehende Bilder in einer Folge von Bildern aufweisen, die während einer bewegungsbasierten dreidimensionalen Rekonstruktion erhalten werden. Das erste Suchbild und das zweite Suchbild können sequenzielle aktuelle Ansichten sein, die durch eine dreidimensionale Kamera erhalten werden. Das Verfahren kann das Prüfen des zweiten Suchbildes hinsichtlich einer Übereinstimmung mit dem zweiten Teilsatz der mehreren Bilder basierend auf einer räumlichen Signatur für das zweite Suchbild aufweisen. Das Verfahren kann das alternierende Wiederholen einer auf einer räumlichen Signatur basierenden Prüfung und einer auf einer Ortsfrequenzsignatur basierenden Prüfung für jede neue aktuelle Ansicht aufweisen, die von einer dreidimensionalen Kamera erhalten wird, bis eine Überseinstimmung gemäß einem vorgegebenen Kriterium gefunden wird. Das Verfahren kann das Verwenden der Übereinstimmung zum Registrieren einer dreidimensionalen Rekonstruktion für eine aktuelle Ansicht bezüglich eines dreidimensionalen Mo dells aufweisen, das von dreidimensionalen Daten erhalten wird, die den mehreren Bildern zugeordnet sind. Das Verfahren kann das Verwerfen jeder neuen aktuellen Ansicht aufweisen, bis die Übereinstimmung gefunden wird.
Gemäß einem anderen Aspekt weist ein hierin beschriebenes Computerprogrammprodukt zum Verwenden von Bildsignaturen für einen Bildabgleich einen in einem computerlesbaren Medium gespeicherten, auf einem Computer ausführbaren Code auf, der, wenn er auf einer oder mehreren Rechnereinrichtungen ausgeführt wird, die Schritte ausführt: Erzeugen mindestens einer räumlichen Signatur oder mindestens einer Ortsfrequenzsignatur für jedes von mehreren Bildern; Prüfen eines ersten Suchbildes hinsichtlich einer Übereinstimung mit einem ersten Teilsatz der mehreren Bilder basierend auf einer räumlichen Signatur für das erste Suchbild; und Prüfen eines zweiten Suchbildes hinsichtlich einer Übereinstimung mit einem zweiten Teilsatz der mehreren Bilder basierend auf der Ortsfrequenzsignatur für das zweite Suchbild.
Kurze Beschreibung der Zeichnungen
Die Erfindung und die folgende ausführliche Beschreibung spezifischer Ausführungsformen der Erfindung werden nachstehend anhand der folgenden Figuren verdeutlicht.
1 zeigt ein dreidimensionales Abtastsystem.
2 zeigt ein schematisches Diagramm eines optischen Systems für eine dreidimensionale Kamera.
3 zeigt eine Verarbeitungs-Pipeline zum Erhalten dreidimensionaler Daten von einer Videokamera.
4 zeigt eine Folge von Bildern, die durch eine bewegliche Kamera aufgenommen werden.
5 zeigt eine Reihe von Bilddatenrahmen.
6 zeigt eine Bildsignatur für ein zweidimensionales Bild.
7 zeigt eine Bildsignatur mit einem Rotationsversatz.
8 zeigt eine Bildsignatur mit einem Translationsversatz.
9 zeigt ein Fenster für eine Ortsfrequenzsignatur.
10 zeigt eine Verarbeitung für die Verwendung von Bildsignaturen für eine erneute Verknüpfung mit einer vorhandenen dreidimensionalen Abtastung.
Ausführliche Beschreibung der Erfindung
Im folgenden Text sollten Verweise auf Elemente im Singular so verstanden werden, dass diese auch Elemente im Plural beinhalten und umgekehrt, insofern nichts anderes ausdrücklich erklärt ist oder aus dem Text hervorgeht. Grammatikalische Konjunktionen sollen jede und alle disjunktiven und konjunktiven Kombinationen verknüpfter Satzteile, Sätze, Wörter, usw. ausdrücken, insofern nichts anderes ausdrücklich erklärt ist oder aus dem Kontext hervorgeht.
In der folgenden Beschreibung werden spezifische Abtasttechniken ausführlich beschrieben, wobei besonderes Augenmerk auf dentale Anwendungen dreidimensionaler Abbildungen gerichtet wird, es wird jedoch darauf hingewiesen, dass die hierin beschriebenen Verfahren und Systeme ganz allgemein in einer beliebigen Umgebung anwendbar sind, in der ein Suchbild in mehreren verschiedenen Zielbildern angeordnet sein kann, insbesondere wenn das Suchbild eine unbekannte dreidimensionale Position und Ausrichtung bezüglich des Zielbildes (der Zielbilder) hat. All diese Variationen, Anpassungen und Kombinationen, die für Fachleute offensichtlich sind, sollen innerhalb des Schutzumfangs der vorliegenden Erfindung enthalten sein.
In der folgenden Beschreibung bezeichnet der Ausdruck ”Bild” ganz allgemein einen zweidimensionalen Satz von Pi xeln, die eine zweidimensionale Ansicht eines Objekts in einer Bildebene bilden. Der Ausdruck ”Bildsatz” bezeichnet allgemein einen Satz von miteinander in Beziehung stehenden zweidimensionalen Bildern, die in dreidimensionale Daten aufgelöst werden können. Der Ausdruck ”Punktwolke” bezeichnet allgemein einen dreidimensionalen Satz von Punkten, die eine dreidimensionale Ansicht des Objekts bilden, die von mehreren zweidimensionalen Bildern rekonstruiert wird. In einem dreidimensionalen Bildaufnahmesystem können mehrere solche Punktwolken auch registriert und zu einer Gesamtpunktwolke kombiniert werden, die aus Bildern konstruiert wird, die durch eine bewegliche Kamera aufgenommen werden. Daher ist klar, dass Pixel im Allgemeinen zweidimensionale Daten darstellen und Punkte im Allgemeinen dreidimensionale Daten bezeichnen, insofern keine andere Bedeutung spezifisch angegeben oder anhand des Kontexts deutlich ist.
Die hierin verwendeten Ausdrücke ”dreidimensionales Modell”, ”dreidimensionale Oberflächendarstellung”, ”digitale Oberflächendarstellung”, ”dreidimensionale Oberflächenkarte”, usw. sollen eine beliebige dreidimensionale Rekonstruktion eines Objekts bezeichnen, wie beispielsweise eine Punktwolke von Oberflächendaten, einen Satz zweidimensionaler Polygone oder beliebige andere Daten, die die gesamte oder einen Teil der Oberfläche eines Objekts darstellen, die beispielsweise durch Erfassen und/oder Verarbeiten dreidimensionaler Abtastdaten erhalten werden kann, insofern nicht ausdrücklich eine andere Bedeutung angegeben ist oder aus dem Kontext hervorgeht. Eine ”dreidimensionale Darstellung” kann eine beliebige der vorstehend beschriebenen dreidimensionalen Oberflächendarstellungen sein, sowie eine volumetrische oder eine andere Darstellung, insofern nicht ausdrücklich eine andere Bedeutung angegeben ist oder aus dem Kontext hervorgeht.
Im Allgemeinen bezeichnen die Ausdrücke ”Rendern” oder ”Rendering” eine zweidimensionale Visualisierung eines dreidimensionalen Objekts, z. B. für eine Darstellung auf einem Monitor. Es wird jedoch darauf hingewiesen, dass verschiedene dreidimensionale Rendertechniken bekannt und zur Verwendung mit den hierin beschriebenen Systemen und Verfahren geeignet sind. Beispielsweise können die hierin beschriebenen Systeme und Verfahren geeignet ein holografisches Display, ein autostereoskopisches Display, ein Anaglyphendisplay, ein am Kopf montiertes Stereodisplay oder eine beliebige andere zweidimensionale und/oder dreidimensionale Darstellung verwenden. Daher sollte Rendering in der vorliegenden Beschreibung weitgefasst interpretiert werden, insofern nicht ausdrücklich eine engere Bedeutung angegeben ist oder aus dem Kontext hervorgeht.
Der hierin beschriebene Ausdruck ”Dentalobjekt” soll im weitesten Sinne Gegenstände oder Objekte bezeichnen, die mit Zahnmedizin in Beziehung stehen. Diese können intraorale Strukturen, wie beispielsweise ein Gebiss und insbesondere ein menschliches Gebiss, z. B. einzelne Zähne, Quadranten, Vollbögen, Bogenpaare (die getrennt oder in verschiedenartigen Gebisslagen angeordnet sein können), Weichteile oder Weichgewebe, usw., sowie Knochen und alle andere stützenden oder umgebenden Strukturen beinhalten. Der hierin verwendete Ausdruck ”intraorale Strukturen” bezeichnet sowohl natürliche Strukturen innerhalb eines Mundes gemäß der vorstehenden Beschreibung, als auch künstliche Strukturen, wie beispielsweise beliebige Dentalobjekte, die nachstehend beschrieben werden und innerhalb des Mundes angeordnet sein können. Dentalobjekte sind beispielsweise ”Restaurationen”, die allgemein als Komponenten verstanden werden, die die Struktur oder die Funktion des vorhandenen Gebisses wiederherstellen, wie beispielsweise Kronen, Brücken, Verblendschalen, Plomben oder Inlays, Onlays, Amalgame, Komposite und verschiedene Unterstrukturen, wie beispielsweise Kronenkappen, sowie provisorische Restaurationen, die während der Fertigung einer dauerhaften Restauration verwendet werden. Dentalobjekte können auch eine ”Prothese” aufweisen, die das Gebiss durch entfernbare oder permanente Strukturen ersetzt, wie beispielsweise ein Zahnersatz oder künstliches Gebiss, ein Teil-Zahnersatz, Implantate, retinierte Prothesen, usw. Dentalobjekte können auch ”Apparaturen” sein, die zum Korrigieren, Ausrichten oder anderweitig vorübergehenden oder dauerhaften Einstellen des Gebisses verwendet werden, wie beispielsweise entfernbare kieferorthopädische Apparaturen, chirurgische Gefäßprothesen oder Stents, Bruxismusapparaturen, Anti-Schnarch-Vorrichtungen oder Schnarchschienen (Snore Guards), Apparaturen zur indirekten Klammerplatzierung, usw. Dentalobjekte können außerdem ”Kleinteile” beinhalten, die für eine längere Zeitdauer am Gebiss befestigt werden, wie beispielsweise Implantathalterungen, Implantatverankerungen, kieferorthopädische Klammern und andere kieferorthopädische Komponenten. Dentalobjekte können außerdem ”Interimskomponenten” für die dentaltechnische Fertigung sein, wie beispielsweise Zahnmodelle (Voll- und/oder Teilmodelle), Wachsmodelle, Ausschmelzformen, usw. sowie Schalen, Unterlagen, Formen und andere Komponenten, die bei der Herstellung von Restaurationen, Prothesen, usw. verwendet werden. Dentalobjekte können außerdem in natürliche Dentalobjekte, wie beispielsweise Zähne, Knochen und andere vorstehend beschriebene intraorale Strukturen oder künstliche Dentalobjekte kategorisiert werden, wie beispielsweise Restaurationen, Prothesen, Apparaturen, Kleinteile und Interimskomponenten für die dentaltechnische Fertigung, wie vorstehend beschrieben wurde.
Ausdrücke, wie beispielsweise ”digitales Zahnmodell”, ”digitaler Zahnabdruck”, usw. sollen dreidimensionale Darstellungen von Dentalobjekten bezeichnen, die in verschiedenen Aspekten der Erfassung, Analyse, Verordnung und Fertigung verwendet werden können, insofern nicht ausdrücklich eine andere Bedeutung angegeben ist oder aus dem Kontext hervorgeht. Ausdrücke wie beispielsweise ”Zahnmodell” oder ”Zahnabdruck” sollen ein physisches Modell bezeichnen, z. B. ein gegossenes, gedrucktes oder anderweitig gefertigtes physisches Exemplar eines Dentalobjektes. Insofern dies nicht ausdrücklich anders angegeben ist, kann der Ausdruck ”Modell” eigenständig verwendet sowohl ein physisches als auch ein digitales Modell bezeichnen.
Es wird außerdem darauf hingewiesen, dass Ausdrücke, wie beispielsweise ”Tool” oder ”Steuerelement”, insofern sie zum Beschreiben von Aspekten einer Benutzerschnittstelle verwendet werden, allgemein verschiedenartige Techniken bezeichnen sollen, die in Verbindung mit einer grafischen Benutzerschnittstelle oder einer anderen Benutzerschnittstelle verwendbar sind, um Benutzereingaben zu empfangen, die eine Verarbeitung auslöst oder steuert, wie beispielsweise Drop-Down-Listen, Funktasten-, Cursor- und/oder Mausbetätigungen (eine Auswahl nach Punkten, eine Auswahl nach Bereichen, Drag-and-Drop-Operationen, usw.), Kontrollkästchen, Befehlszeilen, Texteingabefelder, Meldungen und Warnungen, Status- oder Fortschrittsbalken, usw. Ein Tool oder ein Steuerelement kann auch eine beliebige physische Hardwarekomponente sein, die mit der Benutzereingabe in Beziehung steht, wie beispielsweise eine Maus, eine Tastatur, ein Display, ein Tastenfeld, einen Trackball und/oder eine beliebige andere Einrichtung, die eine physische Eingabe von einem Benutzer empfängt und die physische Eingabe in eine Eingabe zur Verwendung in einem computergesteuerten System umwandelt. Daher sollen in der folgenden Beschreibung die Ausdrücke ”Tool” und ”Steuerelement”, usw. weitgefasst verstanden werden, insofern keine spezifischere Bedeutung angegeben ist oder aus dem Kontext hervorgeht.
1 zeigt ein dreidimensionales Abtastsystem, das mit den hierin beschriebenen Systemen und Verfahren verwendbar ist. Das System 100 kann allgemein eine Kamera 102 aufweisen, die Bilder von einer Oberfläche 106 eines Objekts 104 erfaßt, z. B. eines Zahnpatienten, und die Bilder zu einem Computer 108 weiterleitet, der ein Display 110 sowie ein oder mehrere Benutzereingabegeräte 112, 114 aufweisen kann, z. B. eine Maus 112 oder eine Tastatur 114. Die Kamera 102 kann außerdem ein integriertes Ein- oder Ausgabegerät 116 aufweisen, z. B. ein Steuereingabeelement (z. B. eine Taste, ein Touchpad, ein Daumenrad) oder ein Display (z. B. ein LCD- oder LED-Display), um Statusinformationen bereitzustellen.
Die Kamera 102 kann eine beliebige Kamera oder ein Kamerasystem sein, die oder das zum Erfassen von Bildern geeignet ist, aus denen eine dreidimensionale Punktwolke oder andere dreidimensionale Daten wiedergewonnen werden können. Beispielsweise kann die Kamera 102 ein Mehrblendensystem verwenden, das im US-Patent Nr. 7372642 von Rohely et al. beschrieben ist, auf das in seiner Gesamtheit hierin durch Verweis Bezug genommen wird. Obgleich Rohály ein Mehrblendensystem beschreibt, wird darauf hingewiesen, dass ähnlicherweise ein beliebiges Mehrblendensystem verwendbar ist, das zum Rekonstruieren einer dreidimensionalen Punktwolke aus einer Anzahl zweidimensionaler Bilder geeignet ist. Gemäß einer Mehrblendenausführungsform kann die Kamera 102 mehrere Blenden, darunter eine Mittelblende, die entlang einer optischen Mittelachse einer Linse positioniert ist, die einen Mittelkanal für die Kamera 102 bildet, in Kombination mit einer beliebigen zugeordneten Abbildungshardware aufweisen.
In solchen Ausführungsformen kann der Mittelkanal ein herkömmliches Videobild des abgetasteten Objekts bereitstellen, während mehrere axial versetzte Kanäle Bildsätze liefern, die Disparitätsinformation enthalten, die für eine dreidimensionale Rekonstruktion einer Oberfläche verwendet werden können. In anderen Ausführungsformen können eine separate Videokamera und/oder ein separater Kanal vorgesehen sein, um das gleiche Ergebnis zu erzielen, d. h. ein Video eines Objekts, das einer dreidimensionalen Abtastung des Objekts zeitlich entspricht, vorzugsweise aus der gleichen Perspektive oder aus einer Perspektive mit einer festen, bekannten Beziehung zur Perspektive der Kamera 102. Die Kamera 102 kann außerdem oder stattdessen eine stereoskopische, trioskopische oder eine andere Mehrfachkamera oder eine andere Konfiguration aufweisen, bei der mehrere Kameras oder optische Bahnen in einer festen Beziehung zueinander gehalten werden, um zweidimensionale Bilder eines Objekts aus mehreren unterschiedlichen Perspektiven zu erhalten. Die Kamera 102 kann eine geeignete Verarbeitung zum Herleiten einer dreidimensionalen Punktwolke aus einem Bildsatz oder mehreren Bildsätzen aufweisen, oder jeder zweidimensionale Bildsatz kann zu einem externen Prozessor übertragen werden, der z. B. im später beschriebenen Computer 108 enthalten ist. In anderen Ausführungsformen kann die Kamera 102 strukturiertes Licht, Laserabtastung, tachymetrische Streckenmessung oder eine beliebige andere Technik nutzen, die zum Erfassen dreidimensionaler Daten oder zweidimensionaler Daten geeignet ist, die in dreidimensionalen Daten aufgelöst werden können. Obwohl die später beschriebenen Techniken Videodaten geeignet verwenden können, die durch ein videobasiertes dreidimensionales Abtastsystem erfaßt werden, ist klar, dass jedes andere dreidimensionale Abtastsystem mit einem Videoerfassungssystem ergänzt werden kann, das geeignete Videodaten oder Bilddaten zeitgleich oder anderweitig synchronisiert mit der Erfassung dreidimensionaler Daten erfaßt.
Gemäß einer Ausführungsform ist die Kamera 102 eine frei positionierbare Handsonde mit mindestens einem Benutzereingabegerät 116, z. B. einer Taste, einem Hebel, einer Wählscheibe, einem Daumenrad, einem Schalter, usw. zur Steuerung des Bilderfassungssystems 100 durch einen Benutzer, z. B. zum Starten und Stoppen von Abtastvorgängen. Gemäß einer Ausführungsform kann die Kamera 102 für eine Zahnabtastung geformt und bemessen sein. Insbesondere kann die Kamera 102 für eine intraorale Abtastung und Datenerfassung geformt und bemessen sein, z. B. durch Einführen in einen Mund eines abzubildenden Patienten und Führen über eine intraorale Oberfläche 106 in einem geeigneten Abstand, um Oberflächendaten von Zähnen, Zahnfleisch usw. zu erfassen. Durch ein solches kontinuierliches Datenerfassungsverfahren kann die Kamera 102 eine Punktwolke von Oberflächendaten mit einer ausreichenden räumlichen Auflösung und Genauigkeit erfassen, um davon Dentalobjekte, z. B. Prothetik, Kleinteile, Apparaturen, usw. entweder direkt oder über verschiedene Zwischenverarbeitungsschritte herzustellen. In anderen Ausführungsformen können Oberflächendaten von einem Dentalmodell, z. B. einer Dentalprothese, erfaßt werden, um eine geeignete Anpassung mit Hilfe einer früheren Abtastung des entsprechenden Gebisses, z. B. einer für die Prothese präparierten Zahnoberfläche, zu gewährleisten.
Obwohl in 1 nicht gezeigt, ist klar, dass während der Bilderfassung mehrere ergänzende Beleuchtungssysteme geeignet verwendbar sind. Beispielsweise kann die Umgebungsbeleuchtung durch ein oder mehrere Scheinwerfer verstärkt werden, die das Objekt 104 beleuchten, um die Bilderfassung zu beschleunigen und die Schärfentiefe (oder Tiefe der räumlichen Auflösung) zu verbessern. Die Kamera 102 kann außerdem oder stattdessen ein Stroboskoplicht, ein Blitzlicht oder eine andere Lichtquelle zum Ergänzen der Beleuchtung des Objekts 104 während der Bilderfassung aufweisen.
Das Objekt 104 kann ein beliebiges Objekt, eine Gruppe von Objekten, ein Teil eines Objektes oder ein anderer Gegenstand sein. Insbesondere kann das Objekt 104 bezüglich der hierin diskutierten Dentaltechniken ein menschliches Gebiss sein, das vom Mund eines Zahnpatienten intraoral aufgenommen wird. Durch einen Abtastvorgang kann gemäß dem spezifischen Zweck der Abtastung eine dreidimensionale Darstellung eines Teils oder des gesamten Gebisses erfasst werden. Daher kann durch die Abtastung ein digitales Modell eines Zahnes, eines Zahnquadranten oder einer vollständigen Zahngruppe einschließlich zweier gegenüberliegender Bögen sowie von Weichteilen oder beliebigen anderen relevanten intraoralen Strukturen erfasst werden. Durch die Abtastung können mehrere Darstellungen erfasst werden, z. B. eine Zahnoberfläche vor und nach der Präparation für eine Restauration. Wie nachstehend erwähnt wird, können diese Daten für eine nachfolgende Modellierung, z. B. zum Gestalten einer Restauration oder zum Bestimmen einer Grenzlinie dafür, verwendet werden. Während des Abtastvorgangs kann ein Mittenkanal der Kamera 102 oder ein separates Videosystem ein Video des Gebisses vom Standpunkt der Kamera 102 erfassen. In anderen Ausführungsformen kann, wenn beispielsweise ein fertiggestelltes Produkt einem Oberflächenpräparat probeweise angepasst wird, die Abtastung eine Dentalprothese aufweisen, wie beispielsweise ein Inlay bzw. eine Plombe, eine Krone oder eine beliebige andere Dentalprothese, dentale Kleinteile, eine Dentalapparatur, usw. Das Objekt 104 kann außerdem oder stattdessen ein Dentalmodell, wie beispielsweise ein Gipsabdruck, ein Wachsmodell, ein Abdruck oder ein Negativabdruck eines Zahns, von Zähnen, von Weichteilen oder beliebige Kombinationen davon sein.
Der Computer 108 kann beispielsweise ein Personalcomputer oder ein anderes Verarbeitungsgerät sein. Gemäß einer Ausführungsform ist der Computer 108 ein Personalcomputer mit einer 2.8 GHz Dual-Opteron-Zentraleinheit (CPU), 2 Gigabyte RAM, einem TYAN Thunder K8WE Motherboard und einer 250 Gigabyte Festplatte mit 10000 Umdrehungen pro Minute. Gemäß einer Ausführungsform kann das System derart betrieben werden, dass mehr als 5000 Punkte pro Bildsatz in Echtzeit unter Verwendung der hierin beschriebenen Techniken erfasst und eine angesammelte Punktwolke aus mehreren Millionen Punkten erfasst werden können. Natürlich kann diese Punktwolke weiterverarbeitet werden, um eine nachfolgende Datenhandhabung zu ermöglichen, indem die Punktwolkedaten beispielsweise dezimiert werden oder ein entsprechendes Gitter von Oberflächendaten erzeugt wird. Der hierin verwendete Ausdruck ”Echtzeit” bedeutet allgemein, dass zwischen Verarbeitung und Darstellung keine wahrnehmbare Verzögerungszeit auftritt. In einem videobasierten Abtastsystem bezeichnet Echtzeit insbesondere eine Verarbeitung innerhalb der Zeit zwischen Bildern/Rahmen von Videodaten, die gemäß spezifischen Videotechniken zwischen etwa fünfzehn Bildern/Rahmen pro Sekunde und etwa dreißig Bildern/Rahmen pro Sekunde schwanken kann. Insbesondere können die Verarbeitungsleistungen des Computers 108 gemäß der Größe des Objektes 104, der Geschwindigkeit der Bilderfassung und der gewünschten räumlichen Auflösung dreidimensionaler Punkte schwanken. Der Computer 108 kann außerdem Peripheriegeräte aufweisen, wie beispielsweise eine Tastatur 114, ein Display 110 und eine Maus 112, die einem Benutzer eine Wechselwirkung mit dem Kamerasystem 100 ermöglichen. Das Display 110 kann ein Touchscreen-Display sein, das dazu geeignet ist, Benutzereingaben durch eine direkte physische Wechselwirkung mit dem Display 110 zu empfangen. Gemäß einem anderen Aspekt kann das Display ein autostereoskopisches Display oder ein ähnliches Display sein, das dazu geeignet ist, Stereobilder darzustellen.
Kommunikationen zwischen dem Computer 108 und der Kamera 102 können über eine beliebige geeignete Kommunikationsverbindung, beispielsweise über eine verdrahtete Verbindung oder eine drahtlose Verbindung auf der Basis beispielsweise des IEEE 802.11 Standards (auch als drahtloses Ethernet bekannt), BlueTooth oder einen beliebigen anderen geeigneten drahtlosen Standard unter Verwendung einer Funkfrequenz, eines Infrarot- oder eines anderen drahtlosen Kommunikationsmediums erfolgen. Bei einer medizinischen Abbildung oder in anderen sensitiven Anwendungen kann die drahtlose Bildübertragung von der Kamera 102 zum Computer 108 abgesichert werden. Der Computer 108 kann Steuersignale erzeugen und an die Kamera 102 übertragen, die zusätzlich zu Bilderfassungsbefehlen herkömmliche Kamerasteuerbefehle enthalten können, wie beispielsweise Fokussierungs- und Zoomsteuerungsbefehle.
In einem Beispiel des allgemeinen Betriebs eines dreidimensionalen Bilderfassungssystems 100 kann die Kamera 102 zweidimensionale Bildsätze mit einer Videorate erfassen, während die Kamera 102 über eine Oberfläche eines Objekt bewegt wird. Die zweidimensionalen Bildsätze können an den Computer 108 weitergeleitet werden, um dreidimensionale Punktwolken herzuleiten. Die dreidimensionalen Daten für jeden neu erfassten zweidimensionalen Bildsatz können unter Verwendung verschiedener Techniken hergeleitet und an die vorhandenen dreidimensionalen Daten angepasst oder damit ”verknüpft” werden. Ein derartiges System kann eine Kamerabewegungsabschätzung verwenden, um das Erfordernis für eine unabhängige Nachführung der Position der Kamera 102 zu ver meiden. Ein nützliches Beispiel einer derartigen Technik ist in der am 9. November 2005 eingereichten US-Patentanmeldung Nr. 11/270135 beschrieben, auf die hierin in ihrer Gesamtheit durch Verweis Bezug genommen wird. Es wird jedoch darauf hingewiesen, dass dieses Beispiel nicht als Einschränkung verstanden werden soll, und dass die hierin beschriebenen Prinzipien auf einen breiten Bereich dreidimensionaler Bilderfassungssysteme anwendbar sind.
Das Display 110 kann ein beliebiges Display sein, das für Wiedergabe mit einer Videorate oder einer anderen Rate mit einer Detailtreue geeignet ist, die den erfassten Daten entspricht. Geeignete Displays sind Kathodenstrahlröhrendisplays, Flüssigkristalldisplays, LED-Displays, usw. Das Display 110 kann im Allgemeinen mit dem Computer 108 betrieblich verbunden und dazu geeignet sein, Displaysignale vom Computer zu empfangen. Das Display kann ein CRT-Display oder ein Flachbildschirm, ein dreidimensionales Display (z. B. ein Anaglyphendisplay), ein autostereoskopisches dreidimensionales Display oder ein beliebiges anderes zweidimensionales oder dreidimensionales Wiedergabegerät. In einigen Ausführungsformen kann das Display eine Touchscreen-Schnittstelle aufweisen, die beispielsweise kapazitive oder resistive Touchscreen-Techniken oder Tochscreen-Techniken unter Verwendung oberflächenakustischer Wellen (die auch als dispersives Signal bezeichnet werden) oder eine beliebige andere Technik zum Erfassen einer physischen Wechselwirkung mit dem Bildschirm 110 verwendet.
Das System 100 kann ein auf einem Computer verwendbares oder computerlesbares Medium aufweisen. Das auf einem Computer verwendbare Medium 118 kann einen oder mehrere Speicherchips (oder andere Chips, wie beispielsweise einen Prozessor, die einen Speicher aufweisen), optische Platten, magnetische Platten oder andere magnetische Medien, usw. aufwei sen. Das auf einem Computer verwendbare Medium 118 kann in verschiedenen Ausführungsformen einen entfernbaren Speicher (z. B. ein USB-Gerät, ein Bandlaufwerk, eine externe Festplatte, usw.), einen abgesetzten Speicher (z. B. einen in einem Netzwerk verbundenen Speicher), einen flüchtigen oder nichtflüchtigen Computerspeicher, usw. aufweisen. Das auf einem Computer verwendbare Medium 118 kann computerlesbare Befehle enthalten, die durch den Computer 108 ausgeführt werden sollen, um die hierin beschriebenen verschiedenen Prozesse und Verfahren auszuführen. Das auf einem Computer verwendbare Medium 118 kann außerdem oder stattdessen von der Kamera 102 empfangene Daten, ein dreidimensionales Modell des Objekts 104, einen Computercode für eine Rendering-Verarbeitung und zur Darstellung, usw. speichern
2 zeigt ein optisches System 200 für eine dreidimensionale Kamera, die in Verbindung mit den hierin beschriebenen Systemen und Verfahren verwendbar ist, z. B. für die vorstehend unter Bezug auf 1 beschriebene Kamera 102.
Das optische System 200 kann eine primäre optische Einrichtung 202 aufweisen, die in einem beliebigen Typ eines Bildverarbeitungssystems verwendbar ist. Im Allgemeinen bezeichnet eine primäre optische Einrichtung hierin ein optisches System mit einem optischen Kanal. Typischerweise nutzt dieser optische Kanal mindestens eine Linse mit und weist eine gemeinsam genutzte Bildebene innerhalb des optischen Systems auf, obwohl in der folgenden Beschreibung Modifikationen hiervon ausdrücklich beschrieben sein können oder anderweitig aus dem Kontexte hervorgehen. Das optische System 200 kann eine einzelne Hauptlinse, eine Gruppe von Linsen, eine Objektlinse, Spiegelsysteme (z. B. herkömmliche Spiegel, digitale Spiegelsysteme, digitale Lichtprozessoren, usw.) Konfokalspiegel und andere optische Einrichtungen aufweisen, die für eine Verwendung mit den hierin beschriebenen Systemen zweckdienlich sind. Das optische System 200 kann beispielsweise in einem stereoskopischen oder anderen Mehrbild-Kamerasystem verwendet werden. Andere optische Einrichtungen sind beispielsweise holografische optische Elemente oder ähnliche. In verschiedenen Konfigurationen kann die primäre optische Einrichtung 202 eine oder mehrere Linsen aufweisen, wie beispielsweise eine Objektlinse (oder eine Gruppe von Linsen) 202b, eine Feldlinse 202d, eine Relaislinse 202f, usw. Die Objektlinse 202b kann an oder in der Nähe der Eintrittspupille 202a des optischen Systems 200 angeordnet sein. Die Feldlinse 202d kann an oder in der Nähe einer ersten Bildebene 202c des optischen Systems 200 angeordnet sein. Die Relaislinse 202f kann Bündel von Lichtstrahlen im optischen System 200 verstärken. Das optische System 200 kann ferner Komponenten, wie beispielsweise Blendenelemente 208 mit einer oder mehreren Blenden 212, eine Fokussierungsnachstelleinrichtung 210 mit einem oder mehreren Fokussierungsnachstellelementen 204, eine oder mehrere Abtasteinrichtungen 218 und/oder mehrere Sensoren 214a, 214b, 214c aufweisen.
Das optische System 200 kann für eine aktive Wellenfrontabtastung konstruiert sein, worunter eine beliebige Technik verstanden werden soll, die dazu verwendet wird, eine Folge oder Gruppe optischer Daten von einem Objekt 220 oder Objekten abzutasten, einschließlich optischer Daten, die dazu beitragen, zweidimensionale oder dreidimensionale Eigenschaften des Objekts anzutasten, wobei optische Daten zum Erfassen einer Bewegung, für eine Geschwindigkeitsmessung oder Objektnachführung, usw. verwendet werden. Weitere Details eines optischen Systems, das als das optische System 200 von 2 verwendbar ist, sind im US-Patent Nr. 7372642 beschrieben, auf das hierin in seiner Gesamtheit Bezug ge nommen wird. Ganz allgemein ist zu erkennen, dass, obwohl 2 eine Ausführungsform eines optischen Systems 200 darstellt, verschiedene Modifikationen möglich sind.
3 zeigt ein dreidimensionales Rekonstruktionssystem 300, das eine Hochgeschwindigkeitsverarbeitungs-Pipeline und eine Hochpräzisionsverarbeitungs-Pipeline verwendet. Im Allgemeinen sollen über die Hochgeschwindigkeitsverarbeitungs-Pipeline 330 dreidimensionale Daten in Echtzeit bereitgestellt werden, wie beispielsweise mit einer Videobildgeschwindigkeit bzw. Videorahmenrate, die durch ein zugeordnetes Display verwendet werden, während über die Hochpräzisionsverarbeitungs-Pipeline 350 die gemäß Kameramessungen höchste Präzision bereitgestellt werden soll, die einer beliebigen externen Rechenverarbeitung unterzogen werden oder Zeiteinschränkungen unterliegen, die durch Systemhardware oder eine beabsichtigte Verwendung der Ergebnisse auferlegt werden. Eine Datenquelle 310, wie beispielsweise die vorstehend beschriebene Kamera 102, führt dem System 300 Bilddaten oder ähnliche Daten zu. Die Datenquelle 310 kann beispielsweise Hardwarekomponenten, z. B. LED-Ringlichter, Stabsensoren, einen Framegrabber, einen Computer, ein Betriebssystem und beliebige andere Hardware- und/oder Softwarekomponenten zum Erhalten von Daten aufweisen, die für eine dreidimensionale Rekonstruktion verwendet werden. Bilder von der Datenquelle 310, z. B. Mittenkanalbilder, die herkömmliche Videobilder enthalten, und Seitenkanalbilder, die Disparitätsdaten enthalten, die zum Wiedergewinnen von Tiefeninformation verwendet werden, können dem Echtzeitverarbeitungscontroller 316 zugeführt werden. Der Echtzeitverarbeitungscontroller 316 kann außerdem Kamerasteuerinformation oder andere Rückkopplungsinformation für die Datenquelle 310 bereitstellen, die für einen nachfolgenden Datenabruf oder zum Spezifizieren von Daten verwendet werden, die in der Datenquelle 310 bereits erhalten wurden, und die der Echtzeitverarbeitungscontroller 316 benötigt. Bilder mit voller Auflösung und damit in Beziehung stehende Bilddaten können in einem Vollauflösungsbildspeicher 322 gespeichert werden. Die gespeicherten Bilder können beispielsweise während der Verarbeitung dem Hochpräzisionsverarbeitungscontroller 324 zugeführt werden oder können während nachfolgender Verarbeitungsschritte für eine Bildansicht durch einen Benutzer verwendet werden.
Der Echtzeitverabeitungscontroller 316 kann der Hochgeschwindigkeits (Videoraten) verarbeitungs-Pipeline 330 Bilder oder Rahmen für eine Rekonstruktion dreidimensionaler Oberflächen von den zweidimensionalen Quellendaten in Echtzeit zuführen. In einer exemplarischen Ausführungsform können zweidimensionale Bilder von einem Bildsatz, wie beispielsweise der Seitenkanalbilder, durch ein zweidimensionales Bildregistrierungsmodul 332 registriert werden. Basierend auf den Ergebnissen der zweidimensionalen Bildregistrierung kann ein Modul 334 zum Erzeugen einer dreidimenionalen Punktwolke eine dreidimensionale Punktwolke oder eine andere dreidimensionale Darstellung erzeugen. Die dreidimensionalen Punktwolken von individuellen Bildsätzen können durch ein Modul 336 für eine dreidimensionale Verknüpfung kombiniert werden. Schließlich können die verknüpften Messungen durch ein Modul 338 zum Erzeugen eines dreidimensionalen Modells zu einem integrierten dreidimensionalen Modell kombiniert werden. Das erhaltene Modell kann als dreidimensionales Hochgeschwindigkeitsmodell 340 gespeichert werden.
Der Hochpräzisionsverarbeitungscontroller 324 kann der Hochpräzisionsverarbeitungs-Pipeline 350 Bilder oder Rahmen zuführen. Für separate Bildsätze kann eine zweidimensionale Bildregistrierung durch ein Modul 352 für eine zweidimensionale Bildregistrierung ausgeführt werden. Basierend auf den Ergebnissen der zweidimensionalen Bildregistrierung kann durch ein Modul 354 zum Erzeugen einer dreidimensionalen Punktwolke eine dreidimensionale Punktwolke oder eine andere dreidimensionale Darstellung erzeugt werden. Die dreidimensionalen Punktwolken von den einzelnen Bildsätzen können unter Verwendung eines Moduls 356 für eine dreidimensionale Verknüpfung verbunden werden. Eine globale Bewegungsoptimierung, die hierin auch als globale Bahnoptimierung oder globale Kamerabahnoptimierung bezeichnet wird, kann durch ein Modul 357 für eine globale Bewegungsoptimierung (GMO-Modul) ausgeführt werden, um Fehler im erhaltenen dreidimensionalen Modell 358 zu verringern. Im Allgemeinen kann die Bahn der Kamera während sie die Bildrahmen erfasst, als Teil des dreidimensionalen Rekonstruktionsprozesses berechnet werden. In einem Nachbearbeitungsverfeinerungverfahren kann die Berechnung der Kamerabahn optimiert werden – d. h. die Akkumulierung von Fehlern entlang der Länge der Kamerabahn kann durch zusätzliche Rahmen-Rahmen-Bewegungsabschätzung durch einen Teil oder die gesamte globale Bahninformation minimiert werden. Basierend auf globaler Information, wie beispielsweise einzelnen Datenrahmen im Bildspeicher 322, dem dreidimensionalen Hochgeschwindigkeitsmodell 340 und den Zwischenergebnissen in der Hochpräzisionsverarbeitungs-Pipeline 350, kann das Hochpräzisionsmodell 370 verarbeitet werden, um Fehler in der Kamerabahn und Fehler im rekonstruierten Modell zu vermindern. Als weitere Verfeinerung kann durch ein Gitterprojektionsmodul 360 ein Gitter auf das Hochgeschwindigkeitsmodell projiziert werden. Die erhaltenen Bilder können durch ein Verdrehmodul 362 verdreht oder verformt werden. Verdrehte Bilder können verwendet werden, um die Ausrichtung und die Verknüpfung zwischen Bildern zu erleichtern, beispielsweise durch Vermindern des Anfangsfehlers bei der Bewegungsschätzung. Die verdrehten Bilder kön nen dem Modul 352 für eine zweidimensionale Registrierung zugeführt werden. Die Rückkopplung des dreidimensionalen Hochpräzisionsmodells 370 in die Pipeline kann wiederholt werden, bis irgendeine Metrik erhalten wird, zum Beispiel eine Verknüpfungsgenauigkeit oder ein minimaler Fehlerschwellenwert.
4 zeigt ein Koordinatensystem für dreidimensionale Messungen unter Verwendung eines Systems, wie beispielsweise des vorstehend beschriebenen optischen Systems 200. Die folgende Beschreibung soll zweckdienlichen Kontext bereitstellen und sollte nicht im einschränkenden Sinne verstanden werden. Im Allgemeinen hat ein Objekt 408 innerhalb einer Bildebene 402 einer Kamera die Weltkoordinaten {X_w, Y_w, Z_w} in einem Weltkoordinatensystem 410, Kamerakoordinaten {X_c, Y_c, Z_c} in einem Kamerakoordinatensystem 406 und Bildsatzkoordinaten {x_i, y_i, d_i (x_i, y_i)} für i = 1 bis N Punkte oder Pixel innerhalb eines Verarbeitungsgitters des Sichtfeldes 402, wobei d _i einen Disparitätsvektor 412 bezeichnet, der einen oder mehrere Disparitätswerte enthält, die den z-Achsen-Versatz (Z_c) oder die Tiefe 404 eines Punktes in der Bildebene 402 basierend auf einer x-Achsen- und/oder y-Achsen-Verschiebung in der Bildebene 402 zwischen mehreren physisch versetzten Blenden oder anderen Abbildungskanälen charakterisieren. Das Verarbeitungsgitter kann als eine beliebige Überlagerung oder Raster für ein Bild oder andere zweidimensionale Daten verstanden werden, die Positionen identifizieren, an denen die Verarbeitung stattfinden wird. Obwohl ein Verarbeitungsgitter ein regelmäßiges Raster von Positionen in einem quadratischen, rechteckigen, dreieckigen oder anderen Muster sein kann, kann das Verarbeitungsgitter auch oder stattdessen unregelmäßige Muster aufweisen, die zufällig oder gemäß dem spezifischen verarbeiteten Gegenstand ausgewählt wird. Der Disparitätsvektor 412 kann z. B. hinsichtlich einer Verschiebung bezüglich eines gegebenenfalls vorhandenen Mittenkanals für die Kamera dargestellt werden. Im Allgemeinen codiert der Disparitätsvektor 412 die Tiefe, und in verschiedenen anderen dreidimensionalen Abbildungssystemen kann dieser Disparitätsvektor 412 durch eine oder mehrere andere gemessenen Größen ersetzt werden, die die Tiefe codieren. Daher sollten Ausdrücke wie Disparitätsvektor, Disparitätswert und Disparitätsdaten und ähnliche allgemein so verstanden werden, dass sie eine oder mehrere beliebige Skalar- und/oder Vektorgrößen einschließen, die durch ein System zum Erfassen von Tiefeninformation gemessen werden. Außerdem kann der hierin verwendete Ausdruck dreidimensionale Messung oder Messwerte im Allgemeinen eine beliebige Form von Daten bezeichnen, die dreidimensionale Daten codieren, wie beispielsweise Gruppen dreidimensionaler Bilder, von denen Disparitätsvektoren erhalten werden können, das Disparitätsfeld (von Disparitätsvektoren) selbst, oder eine vom Disparitätsfeld hergeleitete dreidimensionale Oberflächenrekonstruktion. Bei einer bildbasierten dreidimensionalen Rekonstruktion kann ein Kameramodell verwendet werden, um Disparitätsvektoren innerhalb eines Sichtfeldes der Kamera mit der Tiefe in Beziehung zu setzen. Das Kameramodell kann dann basierend auf einer optischen Modellierung oder einer anderen physikalischen Basis theoretisch oder durch Beobachtung empirisch oder durch eine Kombination dieser Techniken bestimmt werden, und kann kalibriert werden, um optische Aberrationen, Linsenfehler und jegliche anderen physikalischen Änderungen oder Merkmale eines bestimmten physikalischen Systems zu korrigieren.
Obwohl zur Erläuterung eine einzelne Bildebene 402 dargestellt ist, ist zu erkennen, dass eine Mehrblendenkamera (oder ein anderes Mehrkanalsystem) mehrere physisch versetzte optische Kanäle aufweisen kann, die für jeden Kanal eine andere Bildebene bereitstellen, wobei die Unterschiede von Merkmalpositionen (x-y-Versatz) zwischen den Bildern für jeden optischen Kanal als das Disparitätsfeld dargestellt werden können. In verschiedenen spezifischen Verarbeitungsschritten können die Disparitätsdaten eine einzelne Bildebene als Bezugsebene verwenden, z. B. die Mittelkanal-Bildebene der Kamera.
5 zeigt eine Folge von Bilddatenrahmen. Wie vorstehend beschrieben wurde, kann jeder der Bilddatenrahmen 500 Bildsätze enthalten, wie beispielsweise zweidimensionale Bilder von einem Mittenkanal und von einem oder mehreren Seitenkanälen einer dreidimensionalen Kamera. In einer Ausführungsform können die Seitenkanäle relativ zueinander oder zum Mittelkanal Disparitäten aufweisen, die Tiefeninformation codieren, die zum Wiedergewinnen von Punkten in drei Dimensionen verwendet werden, obgleich die hierin beschriebenen Verfahren und Systeme geeignet an verschiedene andere Techniken zum Erfassen von Rahmen dreidimensionaler Information für eine bewegungsbasierte dreidimensionale Rekonstruktion angepasst werden können. Die Rahmen 500 können einige Schlüsselbilder 502 und mehrere andere, Nicht-Schlüsselbilder 508 aufweisen. Zum Auswählen von Schlüsselbildern und Speichern verschiedenartiger vollständigerer Daten mit von den Rahmen 508 verschiedenen Schlüsselbildern 502 sind verschiedene Techniken möglich. Gemäß einem Aspekt können die Schlüsselbilder 502 derart ausgewählt werden, dass sie ausreichend überlappende Daten enthalten, um eine Kamerabahn unter Verwendung ausschließlich von Schlüsselbildern zu rekonstruieren. Die Schlüsselbilder 502 können außerdem oder stattdessen basierend auf einer sequenziellen Rahmentrennung, einer physischen Nähe oder einer anderen geeigneten Metrik zum Erzeugen eines Teilsatzes der vollen Rahmenfolge 500 für eine verbesserte Verarbeitung ausgewählt werden.
Verarbeitungseinschränkungen oder Designvorlieben können die Schlüsselbildauswahl ebenfalls beeinflussen. Beispielsweise kann die Gesamtzahl von Schlüsselbildern begrenzt sein, oder die Anzahl von Rahmen zwischen Schlüsselbildern kann begrenzt sein. Gemäß einem anderen Beispiel kann für Schlüsselbilder ein minimales und/oder maximales Bewegungsmaß zwischen Kamerapositionen (und/oder -ausrichtungen) erwünscht sein. Gemäß einem Aspekt können Bildsätze für Rahmen 508 zwischen den Schlüsselbildern verworfen werden, so dass nur die dreidimensionalen Daten und die Kameratranslation/-rotation für jedes Nicht-Schlüsselbild 508 verbleibt. Gleichzeitig können vollständigere Daten für Schlüsselbilder 502 gespeichert werden, wie beispielsweise Vollauflösungs-Bildsätze, Folgennummern, Verknüpfungen mit anderen Schlüsselbildern 502, nachstehend beschriebene Bildsignaturdaten (z. B. komprimierte Bilder, Bildsignaturen mit Rotations- und Translationsversatz, usw.), usw. Während einer dreidimensionalen Abtastung kann eine Kamerabahn erzeugt werden, wobei jeder Rahmen 500 gemeinsame überlappende Inhalte mit jedem vorangehenden Rahmen und jedem nachfolgenden Rahmen aufweist. Wenn dieser Abtastvorgang entweder absichtlich durch einen Benutzer oder aufgrund von Rekonstruktionsfehlern unterbrochen wird (d. h., ein Objekt bewegt sich außerhalb des Abtastvolumens der Kamera, ein übermäßiger Versatz führt dazu, dass ein neuer Rahmen nicht mit einem vorangehenden Rahmen verbunden werden kann, oder irgendein Ereignis führt zu einem Verlust von Bilddaten oder der Kamerabahn), kann eine Verarbeitung zum erneuten Verknüpfen eines neuen Rahmens 520 für eine aktuelle Kameraansicht mit einem durch das System gespeicherten beliebigen anderen Rahmen 500 aktiviert werden. Techniken zum Erzeugen von Bildsignaturen zur Verwendung in dieser Verarbeitung werden unter Bezug auf die 6 bis 9 beschrieben. Eine Verarbeitung zum Verwenden dieser Bildsignaturen wird unter Bezug auf 10 beschrieben.
Gemäß einem Aspekt können für eine Signatur verwendete Bilder, wie beispielsweise das Bild 500 in 5, an einen im Wesentlichen üblichen Maßstab oder Schwerpunktabstand angepasst werden, um eine Vergrößerung für Anpassungszwecke zu normieren. Dies kann beispielsweise durch Bestimmen eines Schwerpunkts der von einem Datenrahmen wiedergewonnenen dreidimensionalen Rekonstruktion und Schätzen oder Berechnen einer Tiefe oder eines Abstands von der Kameraposition für diesen einzelnen Punkt implementiert werden. Durch Skalieren verschiedener Zielbilder (Schlüsselbilder und/oder andere Rahmen) und/oder Suchbilder (z. B. der aktuellen Kameraansicht) auf eine gemeinsame Tiefe können die Vergrößerungseffekte vermindert werden.
6 zeigt eine Bildsignatur für ein zweidimensionales Bild. Ein Bild 600, das beispielsweise ein Bild von einem beliebigen der vorstehend beschriebenen Bilddatenrahmen sein kann, kann mehrere Pixel enthalten, die zweidimensionale Bilddaten codieren. Das Bild 600 kann beispielsweise ein Bild mit voller Auflösung oder ein komprimiertes Bild, z. B. ein Bild mit halber Auflösung, ein Bild mit einer Viertelauflösung oder ein beliebiges Bild mit einer beliebigen anderen Größe sein. Es wird darauf hingewiesen, dass die hierin beschriebenen Techniken geeignet auf heruntergetaktete Bilder oder Bilder mit niedrigerer Auflösung anwendbar sind, um Verarbeitungsressourcen einzusparen. Beispielsweise kann ein Bild mit voller Auflösung mit 1024×768 Pixeln in ein Bild mit 64×48 Pixeln konvertiert und als Bild 600 verwendet werden, bezüglich dem Bildsignaturberechnungen ausgeführt werden. Um eine Bildsignatur zu erhalten, kann der Mittenbereich 602 des Bildes 600 identifiziert werden, der mehrere Pixel 604 enthält. Es wird darauf hingewiesen, dass, obwohl in 6 eine spezifische Anzahl von Pixeln dargestellt sind, diese Anzahl von Pixeln lediglich zur Erläuterung dient und den Schutzumfang der Erfindung nicht einschränken soll. Es kann eine beliebige geeignete Pixelzahl verwendet werden, z. B. quadratische Matrizen, wie beispielsweise 8×8- 16×16-, 32×32-Matrizen, oder ein beliebiges anderes geeignetes quadratisches oder rechteckiges Pixelfenster des Bildes 600 oder ein Pixelfenster mit einer beliebigen anderen Form und Größe. Von jeder Reihe von Pixelwerten im Mittenbereich kann ein Mittelwert gebildet werden, um einen Reihenmittelwert 606 für diese Reihe bereitzustellen, und die Reihenmittelwerte 606 können in einer linearen Matrix 608 gespeichert werden, die eine Signatur für das Bild 600 darstellt. In einer Ausführungsform wird diese Bildsignatur für jedes aktuelle Bild berechnet, wenn versucht wird, nach einer Unterbrechung eine Verknüpfung mit einer Rahmenfolge herzustellen, wie weiter unten beschrieben wird.
7 zeigt eine Bildsignatur mit einem Rotationsversatz. Das Bild 700 kann gedreht werden (oder der Mittenbereich 702 kann gedreht werden), und Reihen von Pixelwerten im Mittenbereich 702 können gemittelt werden, um einen Reihenmittelwert zu erhalten, und die Reihenmittelwerte für den Mittenbereich 702 können in einer linearen Matrix 704 gespeichert werden, die eine Bildsignatur mit einem Rotationsversatz 706 darstellt. Es kann eine beliebige Anzahl von Rotationsversatzsignaturen erzeugt werden. Beispielsweise kann das Bild 700 in Schritten von z. B. 10 Grad über einen vollen Kreis oder über einen Kreisabschnitt, z. B. von –40 Grad bis +40 Grad, um eine ursprüngliche Ausrichtung gedreht werden (wodurch neun Rotationsversatzbildsignaturen erhalten werden). Es wird darauf hingewiesen, dass eine hierin erwähnte Rotation oder Drehung eine relative Rotation des Bildes 700 bezüglich des Mittenbereichs 702 bezeichnet. Analytisch be trachtet sollte es egal sein, ob das Bild 700 oder der Mittenbereich 702 gedreht wird, obwohl es rechentechnisch betrachtet effizient sein kann, eine dieser Optionen zu verwenden. Beispielsweise kann, wenn der Mittenbereich 702 gedreht wird, eine geringere Anzahl von Rechenschritten erforderlich sein, um Werte innerhalb des gedrehten Fensters des Mittenbereichs 702 zu bestimmen. In diesem Zusammenhang soll eine Rotation insbesondere die relative Rotation dieser Bilder ohne Bezug darauf bezeichnen, welches der beiden Bilder in das Koordinatensystem des anderen gedreht wird. In Ausführungsformen der vorstehend beschriebenen Handkamera können Drehinkremente während eines Abtastvorgangs um erwartete manuelle Ausrichtungen eines Abtastvorgangs zentriert sein.
8 zeigt eine Bildsignatur mit einem Translationseffekt. Das Bild 800 kann translatiert werden (oder der Mittenbereich 802 kann translatiert werden), und Reihen von Pixelwerten im Mittenbereich 802 können gemittelt werden, um einen Reihenmittelwert zu erhalten, und die Reihenmittelwerte für den Mittenbereich 802 können in einer linearen Matrix 804 gespeichert werden, die eine Bildsignatur mit einem Translationsversatz 806 darstellt. Es kann eine beliebige Anzahl von Translationsversatzsignaturen erzeugt werden. Beispielsweise kann das Bild 800 in Schritten von z. B. einem Pixel in der x- und y-Achse, oder entlang einer einzelnen Achse translatiert werden (wobei eine Rotation möglicherweise Translationsinformation entlang der orthogonalen Achse enthält). Es ist zu erkennen, dass eine hierin erwähnte Translation eine relative Translation des Bildes 800 bezüglich des Mittenbereichs 802 bezeichnet. Analytisch betrachtet sollte es egal sein, ob das Bild 800 oder der Mittenbereich 802 translatiert wird, obwohl es rechentechnisch betrachtet effizient sein kann, eine dieser Optionen zu verwenden. Beispielsweise kann, wenn der Mittenbereich 802 translatiert wird, eine geringere Anzahl von Rechenschritten erforderlich sein, um Werte innerhalb des Translationsfensters des Mittenbereichs 802 zu bestimmen. In diesem Zusammenhang soll eine Translation insbesondere die relative Translation dieser Bilder ohne Bezug darauf bezeichnen, welches der beiden Bilder in das Koordinatensystem des anderen translatiert wird.
Gemäß einer Ausführungsform können neun Rotationen verwendet werden, wobei für jede Rotation neun Translationen bereitgestellt werden, wodurch 81 Bildsignaturen erhalten werden, die verschiedene Ausrichtungen eines Bildes für jedes Schlüsselbild von Daten abdecken. Wenn Rotationen und Translationen um die ursprüngliche Bildausrichtung zentriert sind, kann eine der Bildsignaturen eine Nullrotation-Nulltranslation-Signatur für die ursprüngliche Bildausrichtung enthalten. Um die Verarbeitungsgeschwindigkeit bei der Suche nach einem aktuellen Bild im Bilddatenkatalog zu verbessern, können diese mehreren Bildsignaturen auf einer elementweisen Basis gemittelt werden, um eine einzelne lineare Matrix zu erhalten, die die mittlere Signatur für ein Bild darstellt. Es ist zu erkennen, dass, obwohl bestimmte bewegungsbasierte Systeme für jeden Datenrahmen mehrere zweidimensionale Bilder aufweisen, ein einzelnes Bild von jedem Bildsatz, z. B. ein herkömmliches Standbild von einem Mittenkanal oder einer ähnlichen Kamera, geeignet verwendet werden kann, um die Übereinstimmung zwischen Signaturen für ein Suchbild und die Zielbilder im vorstehend beschriebenen Rahmenkatalog 500 zu verbessern.
9 zeigt ein Fenster für eine Ortsfrequenzsignatur. Außer den vorstehend beschriebenen Rotationen und Translationen eines Bildes kann eine Ortsfrequenzsignatur für ein Bild 900 unter Verwendung eines Fensters 902 zum Auswählen von Pixeln 904 im Bild 900 und zum Ausführen einer zweidi mensionalen Transformation, z. B. einer schnellen Fouriertransformation (”FFT”), erhalten werden, um die gefensterten Pixelwerte in einer Ortsfrequenzbereichdarstellung anzuordnen. Wie nachstehend ausführlicher beschrieben wird, kann diese Ortsfrequenzsignatur in Kombination mit den vorstehend beschriebenen räumlichen Signaturen verwendet werden, um eine Suche nach Bildern, die mit einer aktuellen Ansicht übereinstimmen, im Rahmendatenkatalog 500 für eine vorhandene Abtastung zu verbessern.
10 zeigt eine Verarbeitung zum Verwenden von Bildsignaturen für eine erneute Verknüpfung mit einer vorhandenen dreidimensionalen Abtastung. Die Verarbeitung 1000 kann mit dem Empfang eines Live-Rahmens beginnen, wie in Schritt 1002 dargestellt ist. Dieser Live-Rahmen (der auch als die aktuelle Ansicht bezeichnet wird) stellt einen aktuellen Bilddatenrahmen von einer dreidimensionalen Kamera, die z. B. eine beliebige der vorstehend beschriebenen Kameras sein kann, von einer aktuellen Position (und Ausrichtung) der Kamera dar. In einer Ausführungsform kann der Live-Rahmen einen Bildsatz mit einem Mittenkanalbild, das ein herkömmliches zweidimensionales Bild eines abgetasteten Gegenstandes enthält, zusammen mit zwei Seitenkanalbildern von versetzten optischen Achsen enthalten.
Wie in Schritt 1004 dargestellt ist, kann der Live-Rahmen mit einem vorangehenden Rahmen verknüpft werden (der ein Schlüsselbild oder ein Nicht-Schlüsselbild sein kann), um eine Kameratranslation oder -rotation für den Live-Rahmen wiederzugewinnen und wiedergewonnene dreidimensionale Daten zu einem dreidimensionalen Modell hinzuzufügen. Wenn die Verknüpfung erfolgreich ist, so dass beispielsweise die dreidimensionalen Daten aufeinanderfolgender Datenrahmen mit einer ausreichenden Genauigkeit miteinander registriert sind, kann die Verarbeitung 1000 zu Schritt 1006 fortschrei ten. Wenn die Verknüpfung nicht erfolgreich ist, kann die Verarbeitung 1000 optional zu Schritt 1008 oder 1010 fortschreiten, wie nachstehend allgemein diskutiert wird.
Wie in Schritt 1006 dargestellt ist, kann, wenn ein aktueller oder Live-Rahmen mit dem vorhandenen Datenrahmenkatalog verknüpft worden ist, bestimmt werden, ob der Rahmen ein Schlüsselbild ist. Diese Bestimmung kann auf beliebigen der vorstehend diskutierten Kriterien basieren, wie beispielsweise auf einer relativen Überlappung mit anderen Schlüsselbildern, einer sequenziellen Trennung von einem vorangehenden Schlüsselbild, einer räumlichen Trennung (der wiedergewonnenen Kameraposition) von anderen Schlüsselbilder, usw..
Wenn der Rahmen kein Schlüsselbild ist, kann die Verarbeitung 1000 zu Schritt 1012 fortschreiten, wo das Nicht-Schlüsselbild gespeichert wird. Dieser Schritt kann beispielsweise das Speichern wiedergewonnener Daten, z. B. der Kameraposition, der Kameraausrichtung, einer dreidimensionalen Punktwolke, usw. und das Verwerfen von Quellendaten aufweisen, wie beispielsweise des Vollauflösungs-Bildsatzes für den Rahmen. In einer Ausführungsform kann der Vollauflösungs-Bildsatz für jeden Rahmen nach dem aktuellsten Schlüsselbild oder für ein unmittelbar vorangehendes Nicht-Schlüsselbild vorübergehend gespeichert werden. In einer derartigen Ausführungsform können, wenn ein neues Schlüsselbild erzeugt wird, die Nicht-Schlüsselbilder zwischen dem neuen Schlüsselbild und dem vorangehenden Schlüsselbild insgesamt oder teilweise gelöscht werden.
Wenn der in Schritt 1006 bewertete Rahmen als Schlüsselbild ausgewählt wird, kann der Rahmen dem Abtastdatenkatalog als ein Schlüsselbild hinzugefügt werden. Außer dass die Vollauflösungsdaten für das Schlüsselbild (in Schritt 1012) gespeichert werden, kann eine zusätzliche Verarbeitung für Schlüsselbilder ausgeführt werden. Beispielsweise können für jedes Schlüsselbild beliebige der vorstehend beschriebenen Signaturen berechnet werden. In einer Ausführungsform beinhaltet dies mehrere lineare Matrizen für mehrere versetzte Rotations- und Translationspositionen, wie vorstehend allgemein beschrieben wurde. Dies kann außerdem einen Mittelwert dieser linearen Matrizen zur Verwendung in signaturbasierten Suchen zum Anpassen von Rahmeninhalt beinhalten.
In einer Ausführungsform kann ein Schlüsselbild (oder eine reduzierte Version eines Schlüsselbildes) verarbeitet werden, um einen Mittelwert für jede von mehreren Pixelreihen in einem Mittenbereich des Bildes zu erhalten und eine lineare Matrix von Reihenmittelwerten bereitzustellen, die als eine erste Signatur gespeichert wird. Der Mittenbereich kann dann bezüglich des Bildes durch eine beliebige Anzahl von Permutationen gedreht und translatiert werden, wobei für jede Permutation eine lineare Matrix gedrehter und/oder translatierter Reihenmittelwerte berechnet wird. Die erhaltenen Matrizen können als Bildsignaturen für das Schlüsselbild gespeichert werden. Außerdem kann ein elementweiser Mittelwert dieser Matrizen berechnet und als summarische Bildsignatur für das Bild gespeichert werden. Nachdem das Schlüsselbild verarbeitet worden ist, kann die Verarbeitung 1000 zu Schritt 1012 fortschreiten, wo Schlüsselbilderdaten gespeichert werden, und die Verarbeitung 1000 kann dann zu Schritt 1002 zurückspringen, wo ein nächster Live-Datenrahmen von einer Kamera erhalten wird.
Wenn nach Rücksprung zu Schritt 1002 eine Verknüpfung aus irgendeinem Grund (entweder durch einen Kamera- oder einen Bedienungsfehler oder durch einen spezifischen Benutzerbefehl) versagt, kann die Verarbeitung 1000 optional zu Schritt 1008 fortschreiten, wo eine räumliche Signatur für einen Bildabgleich verwendet wird, oder zu Schritt 1010, wo eine Ortsfrequenzsignatur für einen Bildabgleich verwendet wird. Diese Verfahren können beispielsweise basierend darauf, ob der Live-Rahmen eine geradzahlige oder ungeradzahlige Sequenzrahmennummer hat, oder unter Verwendung einer anderen geeigneten Wichtungstechnik oder Technik ohne Gewichtung alternierend verwendet werden.
Wie in Schritt 1008 dargestellt ist, kann eine räumliche Signatur verwendet werden, um zweidimensionale Daten vom Live-Rahmen mit Schlüsselbildern oder anderen Rahmen zu vergleichen, die im Rahmenkatalog gespeichert sind. In einer Ausführungsform wird eine räumliche Signatur für den Live-Rahmen unter Verwendung der vorstehend unter Bezug auf 6 beschriebenen Technik berechnet. Obwohl für diese Signatur eine beliebige Translation oder Rotation verwendet werden kann, kann die Signatur vorteilhaft bezüglich eines mittigen, ungedrehten Fensters für eine komprimierte Version des Mittenkanalbildes vom Live-Rahmen angewendet werden.
Es können verschiedenartige Techniken verwendet werden, um die räumliche Signaturinformation für einen Bildabgleich zu verwenden. Ein Verfahren kann folgendermaßen implementiert werden, um den Suchbereich über mehrere Schritte zu verfeinern, bevor eine volle dreidimensionale Registrierung wiedergewonnener dreidimensionaler Daten versucht wird. Die Live-Rahmensignatur kann basierend auf der summarischen Bildsignatur (einer einzelnen linearen Matrix des elementweisen Mittelwertes von Signaturen von verschiedenen Ausrichtungen für den Rahmen, wie vorstehend beschrieben wurde), die für jedes der Schlüsselbilder berechnet wird, mit Schlüsselbildern in einem Rahmenkatalog verglichen werden. Der Vergleich kann beispielsweise als normierte Kreuzkorrelation der summarischen Bildsignatur und der Live-Rahmensignatur oder unter Verwendung eines beliebigen anderen geeigneten Ähnlichkeitsmaßes berechnet werden. Der re chentechnisch ziemlich einfache Vergleich kann beispielsweise für alle Schlüsselbilder im Katalog für eine Abtastung oder alle Schlüsselbilder für einen spezifischen Bereich von Interesse im rekonstruierten dreidimensionalen Modell ausgeführt werden. Die auf der summarischen Bildsignatur basierenden erhaltenen Schlüsselbildervergleiche können unter Verwendung eines beliebigen geeigneten Verfahrens zum Identifizieren mehrerer Kandidatenbilder, z. B. der n besten Kandidatenbilder auf einer quantitativen Basis, oder aller Schlüsselbilder mit einer übereinstimmenden Bewertung, die oberhalb eines vorgegebenen Schwellenwertes liegt, geordnet oder bewertet werden.
Für jedes der Kandidatenbilder kann ein Vergleich zwischen der Bildsignatur für den Live-Rahmen und jeder gedrehten oder translatierten Signatur für jedes (Schlüsselbild) Kandidatenbild ausgeführt werden. In einer beispielhaften Ausführungsform, in der für jedes Schlüsselbild 81 Signaturen verwendet werden, können für jedes der Kandidatenbilder 81 Vergleiche ausgeführt werden. Die erhaltenen Vergleichsergebnisse können wiederum unter Verwendung eines beliebigen geeigneten Ähnlichkeitsmaßes geordnet oder bewertet werden, um Schlüsselbilder zu identifizieren, die gute Kandidaten für eine Registrierung darstellen. Diese können eine absolute Zahl (z. B. die Schlüsselbilder mit den fünf besten Einzelergebnissen, oder die fünf besten Schlüsselbilder basierend auf Einzelergebnissen) oder eine variable Zahl darstellen, die auf einem vorgegebenen Schwellenwert basiert.
Wie in Schritt 1016 dargestellt ist, können diese Registrierungskandidaten – z. B. die Schlüsselbilder, die fünf (oder weniger oder mehr) beste individuelle Übereinstimmungen mit der Live-Bildsignatur aufweisen – in einer Vollverknüpfungsoperation, wie beispielsweise der vorstehend unter Bezug auf Schritt 1004 beschriebenen Operation, mit dem Li ve-Rahmen probeweise registriert werden. Für jede Verknüpfung kann basierend z. B. auf dem Fehler in der Verknüpfung oder einer anderen Rest- oder Aufwandfunktion für die Verknüpfung eine Qualitätsbewertung bestimmt werden. In einer Ausführungsform kann die erste Verknüpfung mit einem Schlüsselbild, das ein vorgegebenes Schwellen-Qualitätskriterium erfüllt, als ein nächstes Schlüsselbild für den Katalog ausgewählt werden. In einer anderen Ausführungsform kann eine Verknüpfung mit jedem Schlüsselbild eine volle Auflösung haben und die beste Verknüpfung basierend auf einer Qualitätsbewertung ausgewählt werden. Wenn mindestens eine Verknüpfung mit einem Registrierungskandidaten erfolgreich ist, kann der Live-Rahmen dem Katalog als ein Schlüsselbild hinzugefügt werden, wie in Schritt 1014 dargestellt ist. Wenn keine Verknüpfung mit einem Registrierungskandidaten erfolgreich ist, kann die Verarbeitung 1000 zu Schritt 1002 zurückspringen, wo ein neuer Live-Rahmen erfasst wird.
Wie in Schritt 1010 dargestellt ist, kann an Stelle von (oder in bestimmten Ausführungsformen zusätzlich zu) einer räumlichen Signatur eine Ortsfrequenzsignatur verwendet werden, um einen Live-Rahmen mit anderen Datenrahmen zu vergleichen. Dies kann im Allgemeinen einen Frequenzbereichvergleich des Live-Rahmens mit anderen Rahmen unter Verwendung beispielsweise einer gefensterten schnellen Fouriertransformation (FFT) eines komprimierten Bildes oder einer beliebigen anderen Frequenzbereichdarstellung beinhalten. In einer Ausführungsform kann die Ortsfrequenzsignatur mit einem oder mehreren aktuellen Nicht-Schlüsselbildern nach dem letzten Schlüsselbild verglichen werden. In einer anderen Ausführungsform kann die Ortsfrequenzsignatur ausschließlich mit dem einzigen aktuellsten Datenrahmen verglichen werden, der erfolgreich mit dem vorhandenen dreidimensionalen Modell verknüpft wurde. Es ist klar, dass in diesem Zusammenhang ein Vergleich eine geschätzte Rotation und Translation basierend auf Ortsfrequenzspektren beinhalten kann, wobei eine Verknüpfung basierend auf diesen Parametern versucht wird. Es ist klar, dass in anderen Fällen, z. B. wenn versucht wird, eine Abtastung mit einem in der Rotationsrichtung anders ausgerichteten Scanner fortzusetzen, Rotationsinformation von der Ortsfrequenzsignatur eines Live-Rahmens und eines Registrierungskandidaten verwendet werden kann. Diese Bewegung wird beispielsweise erwartet, wenn eine Handkamera, z. B. die unter Bezug auf 1 beschriebene Kamera, von einer Hand eines Benutzer auf die andere Hand gewechselt wird und ein Benutzer versucht, eine Abtastung an der gleichen physischen Stelle fortzusetzen, an der der Abtastvorgang unterbrochen wurde. In diesen Fällen kann die Ortsfrequenzsignatur geeignet auf aktuelle Schlüsselbilder angewendet werden, bei denen geeignete übereinstimmende Kamerapositionen gefunden werden können.
In einer Ausführungsform kann die Verarbeitung 1000 auf einer regelmäßigen Basis (z. B. geradzahlige und ungeradzahlige Rahmen) zwischen einem Vergleich unter Verwendung einer räumlichen Signatur (Schritt 1008) und einem Vergleich unter Verwendung einer Ortsfrequenzsignatur (Schritt 1010) wechseln. Bei diesem alternierenden Vergleich können die unter Verwendung einer räumlichen Signatur verarbeiteten Rahmen sich von den unter Verwendung einer Ortsfrequenzsignatur verarbeiteten Rahmen unterschieden werden, z. B. unter Verwendung einer räumlichen Signatur für alle Rahmen in einer Iteration und unter Verwendung einer Ortsfrequenzsignatur für einen oder mehrere aktuelle sequenzielle Nicht-Schlüsselbilder in einer nächsten Iteration. Allgemein sollte zu erkennen sein, dass verschiedene andere Protokolle geeignet verwendet werden können, um zwischen diesen beiden Verfahren zu wechseln, um kombinierte Vorteile jeder Ab gleichtechnik zu erhalten, während die Rechenlast vermindert wird. In anderen Ausführungsformen können beide Techniken für jeden neuen Live-Datenrahmen gleichzeitig verwendet werden, oder die Verarbeitung 1000 kann gewisse Kombinationen dieser Verfahren verwenden. Wie in Schritt 1016 dargestellt ist, können die Ergebnisse einer probeweisen Registrierung, insofern diese erfolgreich ist, dem Abtastkatalog als Schlüsselbild 1014 hinzugefügt werden. Wenn die probeweise Registrierung nicht versucht wird oder nicht erfolgreich ist, kann die Verarbeitung 1000 zu Schritt 1002 zurückspringen, wo der nächste Live-Rahmen von der Kamera empfangen wird.
Es ist verständlich, dass ein beliebiges der vorstehend beschriebenen Systeme und/oder Verfahren in Hardware und/oder Software realisiert werden kann, die für die hierin beschriebenen Datenerfassungs- und Modellierungstechniken geeignet ist. Dies beinhaltet eine Realisierung unter Verwendung von einem oder mehreren Mikroprozessoren, Mikrocontrollern, eingebetteten Mikrocontrollern, programmierbaren digitalen Signalprozessoren oder anderen programmierbaren Vorrichtungen in Verbindung mit einem internen und/oder externen Speicher. Zusätzlich oder stattdessen können eine oder mehrere anwendungsspezifische integrierte Schaltungen, programmierbare Gate Arrays, programmierbare Array-Logikkomponenten oder eine oder mehrere beliebige andere Vorrichtungen vorgesehen sein, die dafür konfiguriert sein können, elektronische Signale zu verarbeiten. Es ist außerdem verständlich, dass eine Realisierung einen auf einem Computer ausführbaren Code aufweisen kann, der unter Verwendung einer strukturierten Programmiersprache, wie beispielsweise C, einer objektorientierten Programmiersprache, wie beispielsweise C++, oder einer beliebigen anderen High-Level- oder Low-Level-Programmiersprache (einschließlich Assemblersprachen, Hardware-Beschreibungssprachen und Datenbankprogrammiersprachen und -techniken) erzeugt wird, die gespeichert und kompiliert oder interpretiert werden kann, so dass sie auf den vorstehend erwähnten Vorrichtungen läuft, sowie heterogene Kombinationen von Prozessoren, Prozessorarchitekturen oder Kombinationen verschiedener Hardware und Software. Daher wird gemäß einem Aspekt ein Computerprogrammprodukt bereitgestellt, das einen auf einem Computer ausführbaren Code aufweist, der, wenn er auf einem oder mehreren Rechnereinrichtungen ausgeführt wird, beliebige der vorstehend beschriebenen Schritte und/oder alle vorstehend beschriebenen Schritte ausführt. Gleichzeitig kann die Verarbeitung auf mehrere Weisen auf Einrichtungen verteilt werden, z. B. auf eine Kamera und/oder einen Computer und/oder eine Fertigungseinrichtung und/oder ein Dentallabor und/oder einen Server, oder die gesamte Funktionalität kann in eine dedizierte eigenständige Vorrichtung integriert werden. Alle derartigen Permutationen und Kombinationen sollen innerhalb des Schutzumfangs der vorliegenden Erfindung fallen.
Obwohl die Erfindung in Verbindung mit den dargestellten und ausführlich beschriebenen bevorzugten Ausführungsformen erläutert worden ist, sind für Fachleute verschiedene Modifikationen und Verbesserungen ersichtlich. Daher soll die vorliegende Erfindung nicht durch die vorstehend dargestellten Beispiele eingeschränkt, sondern in dem gemäß dem Gesetz zulässigen weitesten Sinne aufgefasst werden.
Zusammenfassung
Bildsignaturen zur Verwendung in einer bewegungsbasierten dreidimensionalen Rekonstruktion
Es wird eine Familie eindimensionaler Bildsignaturen erhalten, die jedes von einer Folge von Bildern in mehreren Translations- und Rotationsausrichtungen darstellen. Durch Berechnen dieser Bildsignaturen während der Erfassung von Bildern kann eine neue aktuelle Ansicht auf eine Weise, die in geringerem Maße von einer relativen Ausrichtung zwischen einem Ziel- und einem Suchbild abhängig ist, schnell mit früheren Ansichten verglichen werden. Diese und andere Techniken können in einer dreidimensionalen Rekonstruktionsverarbeitung verwendet werden, um eine Liste von Kandidatenbildern zu erzeugen, von denen eine volle dreidimensionale Registrierung als Test für einen geeigneten dreidimensionalen Abgleich ausgeführt werden kann. Gemäß einem anderen Aspekt kann dieses Verfahren durch ein Verfahren auf Fourierbasis ergänzt werden, das selektiv auf einen Teilsatz der früheren Bilder angewendet werden kann. Durch Wechseln zwischen räumlichen Signaturen für einen Satz früherer Ansichten und Ortsfrequenzsignaturen für einen anderen Satz früherer Ansichten kann ein Musterabgleichsystem implementiert werden, das in verschiedenen praktischen Anwendungen eine schnellere Verknüpfung mit einem dreidimensionalen Modell ermöglicht.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- US 7372642 [0035, 0047]

Claims

Verfahren zum Erzeugen einer Signatur für einen Bildabgleich, mit den Schritten: Bereitstellen eines mehrere Pixel aufweisenden Bildes; Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen in einem Mittenbereich des Bildes, um eine lineare Matrix von Reihenmittelwerten zu erzeugen, die als eine erste Signatur gespeichert wird; Drehen des Mittenbereichs bezüglich des Bildes zum Bereitstellen eines gedrehten Mittenbildes; Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen im gedrehten Mittenbild, um eine lineare Matrix gedrehter Reihenmittelwerte zu erzeugen, die als eine zweite Signatur gespeichert wird; Translatieren des Mittenbereichs bezüglich des Bildes zum Bereitstellen eines translatierten Mittenbildes; Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen im translatierten Mittenbild, um eine lineare Matrix translatierter Reihenmittelwerte zu erzeugen, die als eine dritte Signatur gespeichert wird; und Bestimmen eines elementweisen Reihenmittelwertes für jede Signatur des Bildes, die mindestens die erste Signatur, die zweite Signatur und die dritte Signatur aufweist, und Speichern des elementweisen Reihenmittelwertes als eine das Bild beschreibende summarische Bildsignatur.
Verfahren nach Anspruch 1, wobei das Bild eine komprimierte Version eines Quellenbildes mit einer größeren Pixelzahl ist.
Verfahren nach Anspruch 1, ferner mit dem Schritt: Translatieren des Mittenbereichs zu mehreren Versatzpositionen bezüglich des Bildes und Bestimmen einer weiteren linearen Matrix von Reihenmittelwerten vom Mittenbereich für jede der mehreren Versatzpositionen.
Verfahren nach Anspruch 1, ferner mit dem Schritt: Drehen des Mittenbereichs in mehrere versetzte Ausrichtungen bezüglich des Bildes und Bestimmen einer weiteren linearen Matrix von Reihenmittelwerten vom Mittenbereich für jede der mehreren versetzten Ausrichtungen.
Verfahren nach Anspruch 1, ferner mit den Schritten: Empfangen eines zweiten Bildes; Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen in einem Mittenbereich des zweiten Bildes zum Bereitstellen einer linearen Matrix von Reihenmittelwerten, die als eine Suchsignatur gespeichert wird; und Vergleichen der summarischen Bildsignatur mit der Suchsignatur zum Identifizieren einer möglichen Übereinstimmung.
Computerprogrammprodukt zum Erzeugen einer Signatur für einen Bildabgleich, mit einem auf einem Computer ausführbaren Code, der auf einem computerlesbaren Medium gespeichert ist, und der, wenn er auf einem oder mehreren Rechnereinrichtungen ausgeführt wird, die Schritte ausführt: Bereitstellen eines mehrere Pixel aufweisenden Bildes; Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen in einem Mittenbereich des Bildes, um eine lineare Matrix von Reihenmittelwerten zu erzeugen, die als eine erste Signatur gespeichert wird; Drehen des Mittenbereichs bezüglich des Bildes zum Bereitstellen eines gedrehten Mittenbildes; Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen im gedrehten Mittenbild, um eine lineare Matrix gedrehter Reihenmittelwerte zu erzeugen, die als eine zweite Signatur gespeichert wird; Translatieren des Mittenbereichs bezüglich des Bildes zum Bereitstellen eines translatierten Mittenbildes; Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen im translatierten Mittenbild, um eine lineare Matrix translatierter Reihenmittelwerte zu erzeugen, die als eine dritte Signatur gespeichert wird; und Bestimmen eines elementweisen Reihenmittelwertes für jede Signatur des Bildes, die mindestens die erste Signatur, die zweite Signatur und die dritte Signatur aufweist, und Speichern des elementweisen Reihenmittelwertes als eine das Bild beschreibende summarische Bildsignatur.
Computerprogrammprodukt nach Anspruch 6, wobei das Bild eine komprimierte Version eines Quellenbildes mit einer größeren Pixelzahl ist.
Computerprogrammprodukt nach Anspruch 6, ferner mit einem Code, der den Schritt zum Translatieren des Mittenbereichs zu mehreren Versatzpositionen bezüglich des Bildes und Bestimmen einer weiteren linearen Matrix von Reihenmittelwerten vom Mittenbereich für jede der mehreren Versatzpositionen ausführt.
Computerprogrammprodukt nach Anspruch 6, ferner mit einem Code, der den Schritt zum Drehen des Mittenbereichs in mehrere versetzte Ausrichtungen bezüglich des Bildes und Bestimmen einer weiteren linearen Matrix von Reihenmittelwerten vom Mittenbereich für jede der mehreren versetzten Ausrichtungen ausführt.
Computerprogrammprodukt nach Anspruch 6, ferner mit einem Code, der die Schritte ausführt: Empfangen eines zweiten Bildes; Erzeugen eines Mittelwertes für jede von mehreren Pixelreihen in einem Mittenbereich des zweiten Bildes zum Bereitstellen einer linearen Matrix von Reihenmittelwerten, die als eine Suchsignatur gespeichert wird; und Vergleichen der summarischen Bildsignatur mit der Suchsignatur zum Identifizieren einer möglichen Übereinstimmung.
Verfahren zum Verwenden von Bildsignaturen für einen Bildabgleich in einer dreidimensionalen Rekonstruktionsverarbeitung, mit den Schritten: Erzeugen einer Bildsignatur für jedes von mehreren Bildern, die in einer dreidimensionalen Rekonstruktion verwendet werden, wobei die Bildsignatur eine erste Signatur und mehrere Ausrichtungssignaturen aufweist, wobei jede Ausrichtungssignatur auf die gleiche Weise berechnet wird wie die erste Signatur, wobei das Bild einer versetzten Rotations- und/oder Translationsposition entspricht, und wobei jede Bildsignatur eine summarische Signatur aufweist, die als ein Mittelwert der ersten Signatur und jeder der Ausrichtungssignaturen berechnet wird; Bestimmen einer zweiten Signatur für ein Suchbild, das der dreidimensionalen Rekonstruktion hinzugefügt werden soll, wobei die zweite Signatur auf die gleiche Weise berechnet wird wie die erste Signatur; Auswählen mehrerer Kandidatenbilder von den mehreren Bildern basierend auf einem Vergleich zwischen der zweiten Signatur des Suchbildes und der summarischen Signatur jedes der mehreren Bilder; Auswählen mehrerer Kandidatenregistrierungen von den Kandidatenbildern basierend auf einem Vergleich zwischen der zweiten Signatur und der Bildsignatur und basierend auf den mehreren Ausrichtungssignaturen für jedes der Kandidatenbilder; sequenzielles probeweises Registrieren eines dem Suchbild zugeordneten dreidimensionalen Datensatzes mit einem dreidimensionalen Datensatz, der jedem der Kandidatenbilder zugeordnet ist, bis eine erhaltene Registrierung einen Restfehler aufweist, der kleiner ist als ein vorgegebener Schwellenwert; und Hinzufügen des Suchbildes zu den mehreren Bildern, was das Hinzufügen des dem Suchbild zugeordneten dreidimensionalen Datensatzes zur dreidimensionalen Rekonstruktion beinhaltet.
Verfahren nach Anspruch 11, wobei jede Bildsignatur eine Ortsfrequenzbereichdarstellung des Bildes aufweist und die zweite Bildsignatur eine Ortsfrequenzbereichdarstellung des Suchbildes aufweist.
Verfahren nach Anspruch 11, wobei jede Bildsignatur auf einem heruntergetakteten der mehreren Bilder basiert.
Verfahren nach Anspruch 11, wobei jede Bildsignatur auf einem Mittenbereich der mehreren Bilder basiert.
Verfahren nach Anspruch 11, wobei jedes der mehreren Bilder ein Schlüsselbild in einer Kamerabahn ist, das zum Erhalten der dreidimensionalen Rekonstruktion verwendet wird.
Verfahren nach Anspruch 11, ferner mit den Schritten: Verwerfen des Suchbildes, wenn keine der erhaltenen Registrierungen einen Restfehler aufweist, der kleiner ist als der vorgegebene Schwellenwert; und Erfassen eines neuen Suchbildes.
Verfahren nach Anspruch 11, ferner mit dem Schritt zum Skalieren des Suchbildes derart, dass der dem Suchbild zugeordnete dreidimensionale Datensatz und der dreidimensionale Datensatz, der mindestens einem der mehreren Bilder zugeordnet ist, einen im Wesentlichen gleichen Schwerpunktabstand haben.
Computerprogrammprodukt zum Verwenden von Bildsignaturen für einen Bildabgleich in einer dreidimensionalen Rekonstruktionsverarbeitung, mit einem auf einem Computer ausführbaren Code, der auf einem computerlesbaren Medium gespeichert ist, und der, wenn er auf einer oder mehreren Rechnereinrichtungen ausgeführt wird, die Schritte ausführt: Erzeugen einer Bildsignatur für jedes von mehreren Bildern, die in einer dreidimensionalen Rekonstruktion verwendet werden, wobei jede Bildsignatur eine erste Signatur und mehrere Ausrichtungssignaturen aufweist, wobei jede Ausrichtungssignatur auf die gleiche Weise berechnet wird wie die erste Signatur, wobei das Bild einer versetzten Rotations- und/oder Translationsposition entspricht, und wobei jede Bildsignatur eine summarische Signatur aufweist, die als ein Mittelwert der ersten Signatur und jeder der Ausrichtungssignaturen berechnet wird; Bestimmen einer zweiten Signatur für ein Suchbild, das der dreidimensionalen Rekonstruktion hinzugefügt werden soll, wobei die zweite Signatur auf die gleiche Weise berechnet wird wie die erste Signatur; Auswählen mehrerer Kandidatenbilder von den mehreren Bildern basierend auf einem Vergleich zwischen der zweiten Signatur des Suchbildes und der summarischen Signatur jedes der mehreren Bilder; Auswählen mehrerer Kandidatenregistrierungen von den Kandidatenbildern basierend auf einem Vergleich zwischen der zweiten Signatur und der Bildsignatur und basierend auf den mehreren Ausrichtungssignaturen für jedes der Kandidatenbilder; sequenzielles probeweises Registrieren eines dem Suchbild zugeordneten dreidimensionalen Datensatzes mit einem dreidimensionalen Datensatz, der jedem der Kandidatenbilder zugeordnet ist, bis eine erhaltene Registrierung einen Restfehler aufweist, der kleiner ist als ein vorgegebener Schwellenwert; und Hinzufügen des Suchbildes zu den mehreren Bildern, was das Hinzufügen des dem Suchbild zugeordneten dreidimensionalen Datensatzes zur dreidimensionalen Rekonstruktion beinhaltet.
Computerprogrammprodukt nach Anspruch 18, wobei jede Bildsignatur eine Ortsfrequenzbereichdarstellung des Bildes enthält und die zweite Bildsignatur eine Ortsfrequenzbereichdarstellung des Suchbildes aufweist.
Computerprogrammprodukt nach Anspruch 18, wobei jede Bildsignatur auf einem heruntergetakteten der mehreren Bilder basiert.
Computerprogrammprodukt nach Anspruch 18, wobei jede Bildsignatur auf einem Mittenbereich der mehreren Bilder basiert.
Computerprogrammprodukt nach Anspruch 18, wobei jedes der mehreren Bilder ein Schlüsselbild in einer Kamerabahn ist, das zum Erhalten der dreidimensionalen Rekonstruktion verwendet wird.
Computerprogrammprodukt nach Anspruch 18, ferner mit einem Code, der die Schritte ausführt: Verwerfen des Suchbildes, wenn keine der erhaltenen Registrierungen einen Restfehler aufweist, der kleiner ist als der vorgegebene Schwellenwert; und Erfassen eines neuen Suchbildes.
Computerprogrammprodukt nach Anspruch 18, ferner mit einem Code, der den Schritt zum Skalieren des Suchbildes derart ausführt, dass der dem Suchbild zugeordnete dreidimensionale Datensatz und der dreidimensionale Datensatz, der mindestens einem der mehreren Bilder zugeordnet ist, einen im Wesentlichen gleichen Schwerpunktabstand haben.
Verfahren zum Verwenden von Bildsignaturen für einen Bildabgleich, mit den Schritten: Erzeugen mindestens einer räumlichen Signatur oder mindestens einer Ortsfrequenzsignatur für jedes von mehreren Bildern; Prüfen eines ersten Suchbildes hinsichtlich einer Übereinstimmung mit einem ersten Teilsatz der mehreren Bilder basierend auf einer räumlichen Signatur für das erste Suchbild; und Prüfen eines zweiten Suchbildes hinsichtlich einer Übereinstimmung mit einem zweiten Teilsatz der mehreren Bilder basierend auf einer Ortsfrequenzsignatur für das zweite Suchbild.
Verfahren nach Anspruch 25, wobei der erste Teilsatz sich vom zweiten Teilsatz unterscheidet.
Verfahren nach Anspruch 25, wobei das Prüfen des zweiten Suchbildes das sequenzielle Prüfen des zweiten Suchbildes aufweist, wenn beim Prüfen des ersten Suchbildes keine geeignete Übereinstimmung erhalten wurde.
Verfahren nach Anspruch 25, wobei die mehreren Bilder Bilder enthalten, die in einer bewegungsbasierten dreidimensionalen Rekonstruktion verwendet werden.
Verfahren nach Anspruch 25, wobei der erste Teilsatz mehrere Schlüsselbilder aufweist, die zum Definieren einer Kamerabahn in einer bewegungsbasierten dreidimensionalen Rekonstruktion verwendet werden.
Verfahren nach Anspruch 25, wobei der erste Teilsatz alle Schlüsselbilder für eine dreidimensionale Abtastung aufweist.
Verfahren nach Anspruch 25, wobei für jeden Rahmen mehrere räumliche Signaturen berechnet werden, die das Schlüsselbild für mehrere versetzte Rotations- und Translationspositionen darstellen.
Verfahren nach Anspruch 25, wobei der zweite Teilsatz ein oder mehrere unmittelbar vorangehende Bilder in einer Folge von Bildern aufweist, die während einer bewegungsbasierten dreidimensionalen Rekonstruktion erhalten werden.
Verfahren nach Anspruch 25, wobei das erste Suchbild und das zweite Suchbild sequenzielle aktuelle Ansichten sind, die von einer dreidimensionalen Kamera erhalten werden.
Verfahren nach Anspruch 33, ferner mit dem Schritt zum Prüfen des zweiten Suchbildes hinsichtlich einer Übereinstimmung mit dem zweiten Teilsatz der mehreren Bilder basierend auf einer räumlichen Signatur für das zweite Suchbild.
Verfahren nach Anspruch 25, ferner mit dem Schritt zum alternierenden Wiederholen eines auf einer räumlichen Signatur basierenden Prüfvorgangs und eines auf einer Ortsfrequenzsignatur basierenden Prüfvorgangs für eine neue aktuelle Ansicht, die von einer dreidimensionalen Kamera erhalten wird, bis eine Übereinstimmung gemäß einem vorgegebenen Kriterium gefunden wird.
Verfahren nach Anspruch 35, ferner mit dem Schritt zum Verwenden der Übereinstimmung für eine Registrierung einer dreidimensionalen Rekonstruktion für eine aktuelle Ansicht bezüglich eines dreidimensionalen Modells, das von dreidimensionalen Daten erhalten wird, die jedem der mehreren Bilder zugeordnet sind.
Verfahren nach Anspruch 35, ferner mit dem Schritt zum Verwerfen jeder neuen aktuellen Ansicht, bis eine Übereinstimmung gefunden wurde.
Computerprogrammprodukt zum Verwenden von Bildsignaturen für einen Bildabgleich mit einem auf einem Computer ausführbaren Code, der auf einem computerlesbaren Medium gespeichert ist, und der, wenn er auf einer oder mehreren Rechnereinrichtungen ausgeführt wird, die Schritte ausführt: Erzeugen mindestens einer räumlichen Signatur oder mindestens einer Ortsfrequenzsignatur für jedes von mehreren Bildern; Prüfen eines ersten Suchbildes hinsichtlich einer Übereinstimmung mit einem ersten Teilsatz der mehreren Bilder basierend auf einer räumlichen Signatur für das erste Suchbild; und Prüfen eines zweiten Suchbildes hinsichtlich einer Übereinstimmung mit einem zweiten Teilsatz der mehreren Bilder basierend auf einer Ortsfrequenzsignatur für das zweite Suchbild.
Computerprogrammprodukt nach Anspruch 38, wobei der erste Teilsatz sich vom zweiten Teilsatz unterscheidet.
Computerprogrammprodukt nach Anspruch 38, wobei das Prüfen des zweiten Suchbildes das sequenzielle Prüfen des zweiten Suchbildes aufweist, wenn beim Prüfen des ersten Suchbildes keine geeignete Übereinstimmung erhalten wurde.
Computerprogrammprodukt nach Anspruch 38, wobei die mehreren Bilder Bilder enthalten, die in einer bewegungsbasierten dreidimensionalen Rekonstruktion verwendet werden.
Computerprogrammprodukt nach Anspruch 38, wobei der erste Teilsatz mehrere Schlüsselbilder aufweist, die zum Definieren einer Kamerabahn in einer bewegungsbasierten dreidimensionalen Rekonstruktion verwendet werden.
Computerprogrammprodukt nach Anspruch 38, wobei der erste Teilsatz alle Schlüsselbilder für eine dreidimensionale Abtastung aufweist.
Computerprogrammprodukt nach Anspruch 38, wobei für jedes Schlüsselbild mehrere räumliche Signaturen berechnet werden, die das Schlüsselbild für mehrere versetzte Rotations- und Translationspositionen darstellen.
Computerprogrammprodukt nach Anspruch 38, wobei der zweite Teilsatz ein oder mehrere unmittelbar vorangehende Bilder in einer Folge von Bildern aufweist, die während einer bewegungsbasierten dreidimensionalen Rekonstruktion erhalten werden.
Computerprogrammprodukt nach Anspruch 38, wobei das erste Suchbild und das zweite Suchbild sequenzielle aktu elle Ansichten sind, die von einer dreidimensionalen Kamera erhalten werden.
Computerprogrammprodukt nach Anspruch 46, ferner mit dem Schritt zum Prüfen des zweiten Suchbildes hinsichtlich einer Übereinstimmung mit dem zweiten Teilsatz der mehreren Bilder basierend auf einer räumlichen Signatur für das zweite Suchbild.
Computerprogrammprodukt nach Anspruch 38, ferner mit einem Code, der den Schritt zum alternierenden Wiederholen eines auf einer räumlichen Signatur basierenden Prüfvorgangs und eines auf einer Ortsfrequenzsignatur basierenden Prüfvorgangs für eine neue aktuelle Ansicht ausführt, die von einer dreidimensionalen Kamera erhalten wird, bis eine Übereinstimmung gemäß einem vorgegebenen Kriterium gefunden wird.
Computerprogrammprodukt nach Anspruch 48, ferner mit einem Code, der den Schritt zum Verwenden der Übereinstimmung für eine Registrierung einer dreidimensionalen Rekonstruktion für eine aktuelle Ansicht bezüglich eines dreidimensionalen Modells ausführt, das von dreidimensionalen Daten erhalten wird, die jedem der mehreren Bilder zugeordnet sind.
Computerprogrammprodukt nach Anspruch 48, ferner mit einem Code, der den Schritt zum Verwerfen jeder neuen aktuellen Ansicht ausführt, bis eine Übereinstimmung gefunden wurde.