DE102009042463A1

DE102009042463A1 - Verfahren zur 3D-Modellierung von Objekten

Info

Publication number: DE102009042463A1
Application number: DE102009042463A
Authority: DE
Inventors: Rui Liu
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2009-09-23
Filing date: 2009-09-23
Publication date: 2011-04-21

Abstract

Das Verfahren zur 3-D-Modellierung eines Objektes weist folgende Schritte auf: 1.) Aufnahme von mehreren 3-D-Bilddatensätzen des Objektes mit einer Vielzahl von Punkten, 2.) Registrierung der 3-D-Bilddatensätze, 3.) Erstellen des 3-D-Modells, wobei Schritt 2.) folgenden Unterschritt aufweist: 2.1) Paarweise Registrierung von zwei 3-D-Bilddatensätzen mit folgenden Unterschritten: 2.1 a) Auffinden von einen oder mehreren Punktepaaren P, wobei jedes Punktepaar jeweils aus einem Punkt Peines ersten 3-D-Bilddatensatzes und einem korrespondierenden Punkt Peines zweiten 3D-Bilddatensatzes besteht, 2.1 b) Auswählen von einen oder mehreren Punktepaaren Pund Auffinden von einen oder mehreren Punktepaaren Rmit Hilfe der Punktepaare Pund Zusammenfassen von Punktepaaren P, Rzu einem Korrespondenzdatensatz, 2.1 c) Wiederholen des Unterschrittes 2.1 b) zum Erzeugen mehrerer Korrespondenzdatensätze, 2.1 d) Vergleichen aller Korrespondenzdatensätze und Auswählen des besten Korrespondenzdatensatzes, 2.1 e) Erstellen einer Transformationsregel zwischen den beiden 3-D-Bilddatensätzen mit dem besten Korrespondenzdatensatz, 2.1 f) Transformieren von Punkten Qdes zweiten 3-D-Bilddatensatzes mit der Transformationsregel, um diese Punkte mit dem ersten 3D-Bilddatensatz zusammenzuführen.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur 3D-Modellierung eines Objektes, bei denen zunächst mehrere 3D-Bilddatensätze des Objektes mit einer Vielzahl von Punkten aufgenommen werden, diese zu einem 3D-Modelldatensatz zusammengeführt werden und daraus ein 3D-Modell erstellt wird.
Bei der 3D-Modellierung von Objekten werden 3D-Bilddatensätze zumeist mit Hilfe eines Laserscanners oder einer Stereokamera erstellt.
Von dem Laserscanner werden verschiedene Daten aufgenommen, nämlich sowohl eine Grauskalierung, die aus der Intensität des reflektierten Laserlichts erhalten wird, als auch ein Abstand zwischen dem Scankopf und einem Punkt der Oberfläche des Objektes, der aufgrund der Phasendifferenz zwischen dem emittierten und reflektierten Laserlicht erhalten wird. Aus dem reflektierten Licht und der daraus erhaltenen Grauskalierung kann ein sogenanntes Reflexionsbild erstellt werden. Über die Distanzmessung der verschiedenen Punkte der Oberfläche des zu vermessenden Objektes wird eine Punktewolke erhalten, die die Position der Punkte der Oberfläche des Objektes im Raum wiedergibt.
Um ein Objekt vollständig als 3D-Modell wiederzugeben, müssen jedoch Aufnahmen von unterschiedlichen Positionen im Raum erstellt werden, da Teilbereiche des Objektes durch andere Teilbereiche des Objektes verdeckt sein können und somit bei einer Aufnahme eines 3D-Bilddatensatzes nicht mit aufgenommen werden. Um dennoch Informationen über die in diesem „Schatten” von anderen Teilbereichen liegenden Teilbereichen zu erhalten, werden weitere Aufnahmen erstellt, die so gewählt sind, dass Bildinformationen der zuvor verdeckten Teilbereiche ebenfalls aufgenommen werden.
Um ein gemeinsames 3D-Modell der verschiedenen 3D-Bilddatensätze zu erhalten, müssen die 3D-Bilddatensätze registriert und zu einem 3D-Modelldatensatz zusammengefügt werden.
Eine häufig verwendete Methode ist die sogenannte RANSAC (Random Sample Consensus) Methode. Bei dieser Methode hat sich jedoch herausgestellt, dass bei Erhöhung der Geschwindigkeit die Stabilität des Systems abfällt. Darüber hinaus liefert diese Methode keine optimale Lösung, sondern nur eine akzeptable Lösung die eine gewisse Wahrscheinlichkeit der Fehlerfreiheit hat.
Es ist daher die Aufgabe der vorliegenden Erfindung, ein Verfahren zur 3D-Modellierung von Objekten zu schaffen, bei dem ein schnelle und genaue Registrierung von verschiedenen 3D-Bilddatensätzen möglich ist.
Die Aufgabe wird durch das Verfahren gemäß Patentanspruch 1 gelöst.
Erfindungsgemäß ist vorgesehen, dass das Verfahren zur 3D-Modellierung eines Objektes folgende Schritte aufweist:

1.) Aufnahme von mehreren 3D-Bilddatensätzen des Objektes mit einer Vielzahl von Punkten
2.) Registrierung der 3D-Bilddatensätze
3.) Erstellen des 3D-Modells

2.1) Paarweise Registrierung der 3D-Bilddatensätze mit folgenden Unterschritten:
2.1a) Auffinden von einen oder mehreren Punktepaaren P_i wobei jedes Punktepaar jeweils aus einem Punkt P_i1 eines ersten 3D-Bilddatensatzes und einem korrespondierenden Punkt P_i2 eines zweiten 3D-Bilddatensatzes besteht
2.1b) Auswählen von einen oder mehreren Punktepaaren P_i und Auffinden von einen oder mehreren Punktepaaren R_i mit Hilfe der Punktepaaren P_i und Zusammenfassen von Punktepaaren P_i, R_i zu einem Korrespondenzdatensatz,
2.1c) Wiederholen des Unterschritts 2.1b) zum Erzeugen mehrerer Korrespondenzdatensätze,
2.1d) Vergleichen aller Korrespondenzdatensätze und Auswählen des besten Korrespondenzdatensatzes,
2.1e) Erstellen einer Transformationsregel zwischen den beiden 3D-Bilddatensätzen mit dem besten Korrespondenzdatensatz,
2.1f) Transformieren von Punkten Q_i2 des zweiten 3D-Bilddatensatzes mit der Transformationsregel, um diese Punkte mit dem ersten 3D-Bilddatensatz zusammenzuführen.

Das erfindungsgemäße Verfahren liefert eine optimale Matching-Lösung, nämlich die beste 1:1 korrespondierende Beziehung, von einer Reihe korrespondierenden Punktepaaren mit Ausreißen und groben Fehler mit einer deterministische Laufzeit, so dass das Zusammenführen eines zweiten 3D-Bilddatensatzes mit einem ersten 3D-Bilddatensatz möglichst richtig und schnell durchgeführt werden kann.
Bei dem erfindungsgemäßen Verfahren werden in Unterschritt 2.1a) zunächst eine Vielzahl von korrespondierenden Punktepaaren aufgefunden, so dass eine m:n-Beziehung zwischen den Punkten besteht. Die Punktepaare werden ausgewählt und zu einem Korrespondenzdatensatz zusammengefasst, so dass eine 1:1 Beziehung besteht.
Bei dem erfindungsgemäßen Verfahren kann vorgesehen sein, dass Unterschritt 2.1b) folgende Schritte aufweist:

i) Auswählen von einem oder mehreren korrespondierenden Punktepaaren P_i als Basispunktepaare, wobei jedes Punktepaar jeweils aus einem Punkt P_i1 eines ersten 3D-Bilddatensatzes und einem korrespondierenden Punkt P_i2 eines zweiten 3D-Bilddatensatzes besteht,
ii) Erstellen einer Vorabtransformationsregel zwischen den beiden 3D-Bilddatensätzen
– mit dem Verhältnis der Positionsdaten der Punkte P_i1, P_i2 der Basispunktepaare zueinander oder
– mit dem Verhältnis der Positionsdaten der Punkte P_i1, P_i2 eines Basispunktepaares oder mehrerer Basispunktepaare und dem Verhältnis von weiteren für jeden Punkt P_i1, P_i2 verfügbaren Daten zueinander,
iii) Auffinden eines oder mehrerer, vorzugsweise aller, weiterer Punktepaare R_i wobei jedes Punktepaar R_i jeweils aus einem Punkt R_i1 des ersten 3D-Bilddatensatzes und einem Punkt R_i2 des zweiten 3D-Bilddatensatzes besteht,
iv) Transformieren jedes Punktes R_i2 des zweiten 3D-Bilddatensatzes mit der Vorabtransformationsregel zu jeweils einem transformierten Punkt R'_i2,
v) Vergleichen der Positionsdaten jedes transformierten Punktes R'_i2 mit den Positionsdaten des jeweiligen Punktes R_i1 und Klassifizieren des Punktepaares R_i als gültiges oder ungültiges Punktepaar,
vi) Zusammenführen der Basispunktepaare P_i und aller gültigen Punktepaare R_i zu einem Korrespondenzdatensatz

_i

Vorzugsweise werden die Unterschritte i) bis vi) von Schritt 2.1a) wiederholt, bis alle möglichen Korrespondenzdatenstäze erstellt worden sind.
Die korrespondierenden Punktepaare P_i können durch Vergleichen der lokalen Eigenschaften der 3D-Bilddatensätze ausgewählt werden. Über die erfindungsgemäße Registrierung wird eine Vorabtransformationsregel anhand der Punktepaare erstellt, die jeweils den gleichen Punkt des Objektes oder zumindest mit einer sehr hohen Wahrscheinlichkeit den gleichen Punkt des Objektes darstellen. Ein derartiges Punktepaar wird als Basispunktepaar oder Basisknoten bezeichnet. Mit Hilfe mehrerer derartiger Basispunktepaare, die zusammen auch als Wurzel bezeichnet werden, kann somit eine Vorabtransformationsregel erstellt werden. Basispunktepaare bzw. Basisknoten sind dabei die Punktepaare, die für die minimale Konfiguration zum Bestimmen der Vorabtransformationsregel notwendig sind. Wenn keine weiteren Daten für die Punkte P_i1, P_i2 der Basispunktepaare vorhanden sind, besteht die minimale Konfiguration zum Bestimmen der Vorabtransformationsregel beispielsweise aus drei Basispunktepaaren. Die Transformationsregel wird dann über das Verhältnis der Positionsdaten der Punkte P_i1, P_i2 der Basispunktepaare zueinander erstellt. Wenn weitere Daten für die Punkte P_i1, P_i2 vorhanden sind, ist es beispielsweise auch möglich, dass das Verhältnis der Positionsdaten der Punkte P_i1, P_i2 von einem Basispunktepaar und das Verhältnis von weiteren für jeden Punkt P_i1, P_i2 verfügbaren Daten genutzt wird, um die Vorabtransformationsregel zu erstellen. Auf dieser Weise kann die minimale Konfiguration zur Bestimmung der Vorabtransformationsregel auf zwei oder ein Basispunktepaar(e) reduziert werden. Dadurch kann die Laufzeitdes Zusammenführens noch weiter verringert werden, da die Kombinationsmöglichkeiten von Basispunktepaare verringert worden ist. Dies führt dazu, dass die Anzahl der Wiederholungen (Unterschritt 2.1c) wesentlich reduziert ist.
Mit anderen Worten: Je nachdem ob weitere verfügbare Daten zu den Punkten P_i1, P_i2 zur Verfügung stehen, ist eine unterschiedliche Anzahl von Basispunktepaaren notwendig, um die Vorabtransformationsregel zu erstellen. Wenn neben den Positionsdaten keine weiteren Daten für die Punkte P_i1, P_i2 zur Verfügung stehen, kann die minimale Konfiguration zum Bestimmen der Vorabtransformationsregel beispielsweise aus drei nicht kollinearen Punktepaaren bestehen. Wenn neben den Positionsdaten der Punkte P_i1, P_i2 für die Punkte P_i1, P_i2 jeweils eine weitere Information zur Verfügung steht, können beispielsweise zwei Punktepaare ausreichend sein, um die Vorabtransformationsregel zu bestimmen. In diesem Fall sind diese beiden Punktepaare die Basispunktepaare.
Vorzugsweise ist vorgesehen, dass die Transformationsregel zwischen den beiden 3D-Bilddatensätzen

– mit dem Verhältnis der Positionsdaten der Punkte P_i1, P_i2 der Basispunktepaare P_i und dem Verhältnis der Positionsdaten der Punkte R_i1, R_i2 aller gültigen Punktepaare R_i des besten Korrespondenzdatensatzes zueinander

Über das Auffinden von allen weiteren Punktepaaren R_i, die sich über die Anwendung der Vorabtransformationsregel als gültige Punktepaare herausgestellt haben, kann eine Transformationsregel erstellt werden, die eine höhere Genauigkeit aufweist als die Vorabtransformationsregel, da neben den Positionsdaten der Punkte P_i1, P_i2 der Basispunktepaare, sowie eventuell den weiteren für jeden Punkt P_i1, P_i2 verfügbaren Daten auch die Positionsdaten der Punkte R_i1, R_i2 als Basis für die Transformationsregel genutzt werden können.
Darüber hinaus kann für eine Registrierungsaufgabe eine optimale Matching-Lösung (bester Korrespondenzdatensatz) gefunden werden, indem die für die zu registrierende Fläche gefundenen Matching-Lösung ausgewertet werden, beispielsweise über Gewinn- und Kostenfunktionen, die die Anzahl der gültigen Punktepaare R_i, die Größe der zu registrierende Fläche und die Registrierungsfehler berücksichtigen. Die Transformationsregel wird dann mit Hilfe der Punktepaare der optimalen Matching-Lösung erstellt.
In dem erfindungsgemäßen Verfahren kann ferner vorgesehen sein, dass der Unterschritt 2.1 mehrfach durchgeführt wird, derart, dass alle 3D-Bilddatensätze jeweils mit zumindest einem weiteren der 3D-Bilddatensätze paarweise registriert werden.
Auf diese Weise wird ermöglicht, dass jede der 3D-Bilddatensätze zumindest einem anderen der 3D-Bilddatensätze angenähert wird, so dass alle 3D-Bilddatensätze näher aneinander gerückt werden.
Die weiteren für jeden Punkt P_i1, P_i2 verfügbaren Daten können der Normalen Vektor n_p des jeweiligen Punktes P_i1, P_i2 und/oder eine Raumrichtungsinformation des jeweiligen 3D-Bilddatensatzes sein, vorzugsweise die durch die Gravitation gegebene Raumrichtung z.
Durch die Verwendung der Normalen-Vektoren n_p der jeweiligen Punkte P_i1, P_i2 sind für die Erstellung der Vorabtransformationsregel lediglich zwei Basispunktepaare notwendig. Dadurch wird die Laufzeitkomplexität deutlich verringert.
Wenn als weitere verfügbare Daten der Normalen-Vektor n_p der jeweiligen Punkte P_i1, P_i2 und eine Raumrichtungsinformation des jeweiligen 3D-Bilddatensatzes, beispielsweise die durch die Gravitation vorgegebene Raumrichtung z vorliegen, ist lediglich ein Basispunktepaar für die Erstellung der Vorabtransformationsregel notwendig. Dadurch wird die Laufzeitkomplexität weiter deutlich verringert.
Vor Schritt 2.1a) des erfindungsgemäßen Verfahrens kann folgender Zwischenschritt durchgeführt werden:

– Vorverarbeitung der Punkte der 3D-Bilddatensätze.

Dabei können beispielsweise die 3D-Bilddatensätze in Unterabschnitte aufgeteilt werden, wobei vorzugsweise eine Unterteilung zwischen zwei benachbarten Punkten eines 3D-Bilddatensatzes in Abhängigkeit von dem Abstand zwischen den Punkten und/oder der Differenz der Richtung der normalen Vektoren erfolgt. Mit anderen Worten: Die Punkte eines 3D-Bilddatensatzes werden analysiert und zwischen zwei benachbarten Punkten wird ein Schnitt zur Unterteilung des 3D-Bilddatensatzes gesetzt, wenn der Abstand zwischen den benachbarten Punkten eine bestimmte Grenze überschreitet und/oder wenn es zwischen den Richtungen der normalen Vektoren der Punkte einen großen Unterschied gibt.
Auf diese Weise können alle Unterabschnitte zunächst global registriert werden. Ferner kann auch die benötigte Rechenleistung reduziert, indem die unterschiedlichen korrespondierenden Unterabschnitte zusammengefügt werden. Außerdem können größere Störungen entdeckt werden, da sie meistens als dunkle und/oder kleine Unterabschnitte existieren.
Auch kann vorgesehen sein, dass bei der Vorverarbeitung der Punkte eine Filterung der Punkte erfolgt, um ein Bildrauschen zu entfernen. Durch die Filterung wird die Größe des zu verarbeitenden Datensatzes ebenfalls reduziert und aufgrund von Bildrauschen vorhandene Fehlpunkte werden entfernt, wodurch die Verarbeitungsgeschwindigkeit erhöht wird, da die Fehlpunkte nicht weiter verarbeitet werden. Ferner wird die Qualität des 3D-Modelldatensatzes erhöht.
Danach folgt dann der erfindungsgemäße Schritt 2.1a), bei dem ein oder mehrere korrespondierende Punktepaare, wobei jedes Punktepaar P_i jeweils aus einem Punkt P_i1 eines ersten 3D-Bilddatensatezs und einem korrespondierenden Punkt P_i2 eines zweiten 3D-Bilddatensatezs besteht, generiert werden, so dass eine m:n Beziehung zwischen den Punkten der beiden 3D-Bilddatensätze gebildet wird.
Dabei kann vorgesehen sein, dass die Korrespondenzverhältnisse zwischen den Unterabschnitten gebildet werden und die folgenden Schritte durchgeführt werden:

– Klassifizieren der Unterabschnitte anhand der Normalenvektoren der Punkte und/oder Oberflächenkrümmung sowie
– Erstellen erster Korrespondenzverhältnisse zwischen Unterabschnitten mit einem 3D-Formen-Deskriptor.

Bei dem Erstellen erster Korrespondenzverhältnisse kann der 3D-Formen-Deskriptor eine Oberflächenkrümmung und einen Flächeninhalt der Unterabschnitte beschreiben und die Unterabschnitte anhand der Oberflächenkrümmung klassifizieren.
Ferner ist es auch möglich, dass die Oberflächenkrümmung im 3D-Formen-Deskriptor die absolute Größe der Oberflächenkrümmung der Unterabschnitte beschreibt.
Auf diese Weise können Korrespondenzverhältnisse zwischen den Unterabschnitten gebildet werden. Als Punkte eines korrespondierenden Punktepaares kann man beispielsweise die Zentren der konvexen Hülle zweier Unterabschnitte verwenden, so dass die durch fehlende Informationen oder Auflösungsschwankungen entstehenden Nebeneffekte beseitigt werden.
Es kann vorgesehen sein, dass die ersten Korrespondenzverhältnisse über die Reflektionsbilder des Objektes angepasst werden. Mit anderen Worten: Die gebildeten Korrespondenzverhältnisse zwischen den Unterabschnitten werden anhand der Reflektionsbilder auf Genauigkeit überprüft.
Es kann auch vorgesehen sein, dass die ersten Korrespondenzverhältnisse bezüglich Ecken und anderen charakteristischen Formen über die Reflektionsbilder des Objektes erstellt werden. Das Bilden von Korrespondenzverhältnissen zwischen den Unterabschnitten vereinfacht das Auffinden von den Punktepaaren, da die Suche nach den Punktepaaren nur noch anhand von wenigen, beispielsweise zwei, Unterabschnitten erfolgen muss.
In einem bevorzugten Ausführungsbeispiel ist vorgesehen, dass nach dem Unterschritt 2.1f) ein weiterer Unterschritt ausgeführt wird:

2.2 Paarweise Feinregistrierung von 3D-Bilddatensätzen.

Durch die paarweise Feinregistrierung der 3D-Bilddatensätze werden jeweils zwei 3D-Bilddatensätze sehr nah zueinander gebracht. Dies ermöglicht den anschließenden Schritt der Erstellung des 3D-Modells in vorteilhafter Weise. Alternativ oder zusätzlich kann vorgesehen sein, dass ein weiterer Unterschritt durchgeführt wird:

2.3 Simultane Feinregistrierung aller 3D-Bilddatensätze.

Bei der simultanen Feinregistrierung aller 3D-Bilddatensätze werden nunmehr gleichzeitig alle 3D-Bilddatensätze vollständig zueinander registriert, wodurch die Erstellung des 3D-Modells in vorteilhafter Weise ermöglicht wird. Die simultane Feinregistrierung aller 3D-Bilddatensätze ist insbesondere dann in vorteilhafter Weise durchführbar, wenn zuvor der Schritt 2.2 der paarweisen Feinregistrierung der 3D-Bildddatensätze durchgeführt wurde, wobei durch die paarweise Feinregistrierung bereits die 3D-Bilddatensätze sehr nah aneinander angenähert worden sind. Dadurch wird die simultane Feinregistrierung aller 3D-Bilddatensätze vereinfacht.
Bei Schritt 2.3 kann vorgesehen sein, dass für die simultane Feinregistrierung die Daten der Punkte der 3D-Bilddatensätze in einem virtuellen dreidimensionalen Raum einsortiert werden, wobei der virtuelle dreidimensionale Raum aus mehreren Zellen besteht und die Punkte der 3D-Bilddatensätze, die sich in einem vorgegebenen Intervall befinden, einer Zelle zugeordnet werden und wobei die Inhalte der Zellen auf einem Massenspeicher abgelegt werden und die Struktur des virtuellen dreidimensionalen Raumes mit Verweisen auf die Inhalte der Zellen in einem Arbeitsspeicher hinterlegt wird.
Durch das Vorsehen des virtuellen dreidimensionalen Raumes ist ein schneller Zugriff auf die Daten der 3D-Bilddatensätze in besonders vorteilhafter Weise möglich, da die Daten in Zellen gespeichert sind und auf die Zellen direkt über Indices zugegriffen werden kann, die aus den Positionen der Punkte berechnet worden sind.
Durch das Vorsehen des virtuellen dreidimensionalen Raumes wird der benötigte Arbeitsspeicher gering gehalten, dadurch, dass die Daten auf dem Massenspeicher abgelegt werden und lediglich die Struktur des virtuellen dreidimensionalen Raumes mit den Verweisen auf die Inhalte der Zellen, in denen sich die Daten befinden, auf dem Arbeitsspeicher hinterlegt sind.
Dabei kann vorgesehen sein, dass der virtuelle dreidimensionale Raum dynamisch gebildet wird, wobei nur die Zellen erzeugt werden, denen Punkte der 3D-Bilddatensätze zugeordnet werden.
In dem erfindungsgemäßen Verfahren kann der Unterschritt 2.3 folgende Unterschritte aufweisen:

2.3a) Einlesen der 3D-Bilddatensätze in Sub-sampling in den Arbeitsspeicher
2.3b) Zuordnen der Sub-sampling Daten in die Zellen des virtuellen dreidimensionalen Raumes und Abspeichern der Daten auf dem Massenspeicher
2.3c) Iterative Registrierung der Sub-sampling Daten zu einer Durchschnittsform mit folgenden Schritten:
i) Bilden einer Durchschnittsform aus den Sub-sampling Daten
ii) Transformieren der Sub-sampling Daten jedes 3D-Bilddatensätze in Bezug auf die Durchschnittsform
iii) Bilden einer neuen Durchschnittsform aus den transformierten Sub-sampling Daten
iv) Transformieren der transformierten Sub-sampling Daten jedes 3D-Bilddatensatzes in Bezug auf die neue Durchschnittsform
v) Wiederholen der Schritte iii) und iv) bis der Abstand zwischen den transformierten Sub-sampling Daten und der neuen Durchschnittsform unterhalb eines vorbestimmten Wertes liegt
vi) Festlegen der Punkte der transformierten Sub-sampling Daten, die auf der bzw. nahe der neuen Durchschnittsform liegen als korrespondierende Punkte
2.3d) Einlesen von Teildatenbereichen von jedem 3D-Bilddatensatz in Vollauflösung in den Arbeitsspeicher, wobei sich die Datenbereiche jeweils um einen der korrespondierenden Punkte befinden
2.3e) Zuordnen der Daten der Datenbereiche in die Zellen des virtuellen dreidimensionalen Raumes und Abspeichern der Daten auf dem Massenspeicher
2.3f) Iterative Registrierung aller 3D-Bilddatensätze in Vollauflösung mit Hilfe der Teildatenbereiche, wobei die Daten in Vollauflösung zellenweise in den Arbeitsspeicher eingelesen und verarbeitet und die Registrierungsergebnisse auf dem Massenspeicher abgespeichert werden.

Das Einlesen der 3D-Bilddatensätze in Sub-sampling bedeutet im Rahmen dieser Erfindung, dass die 3D-Bilddatensätze in einer geringeren Auflösung eingelesen werden. Beispielsweise kann nur jeder zehnte Punkt eines 3D-Bilddatensatzes in den Unterschritten 2.3a) bis 2.3c) verwendet werden.
Mit anderen Worten: Das erfindungsgemäße Verfahren sieht vor, dass zunächst eine iterartive Registrierung von Sub-sampling-Daten der 3D-Bilddatensätze erfolgt, wobei zuvor die Sub-sampling-Daten der 3D-Bilddatensätze in den Arbeitsspeicher eingelesen, den Zellen des virtuellen dreidimensionalen Raumes zugeordnet und anschließend auf dem Massenspeicher abgespeichert werden. Die Sub-sampling-Daten werden dann zu einer Durchschnittsform iterativ registriert.
Danach werden einzelne Datenbereiche von jedem 3D-Bilddatensatz in Vollauflösung in den Arbeitsspeicher geladen, wobei sich die Datenbereiche jeweils um einen aus der iterativen Registrierung der Sub-sampling-Daten hervorgegangenen korrespondierenden Punkt befinden. Die Datenbereiche können beispielsweise ein rechteckiges Datenfenster sein.
Die Daten der Datenbereiche werden dann wiederum den entsprechenden Zellen des virtuellen dreidimensionalen Raumes zugeordnet und auf dem Massenspeicher abgespeichert.
Anschließend erfolgt eine iterative Registrierung aller 3D-Bilddatensätze in Vollauflösung mit Hilfe von Teildatenbereichen in Vollauflösung, die sich um die korrespondierenden Punkte befinden.
Das Vorsehen des virtuellen dreidimensionalen Raumes mit der im Arbeitsspeicher hinterlegten Vektorenstruktur des virtuellen dreidimensionalen Raumes ermöglicht einen schnellen Zugriff auf die Daten des 3D-Bilddatensatzes, wobei die iterative Registrierung als out-of-core-Registrierung vorgenommen werden kann, indem ein swap der Daten zwischen dem Arbeitsspeicher und dem Massenspeicher stattfindet.
Dadurch ist eine besonders schnelle simultane Feinregistrierung aller 3D-Bilddatensätze mit einem relativ geringen Arbeitsspeichereinsatz möglich.
Im Folgenden wird unter Bezugnahme auf die nachfolgenden Figuren das erfindungsgemäße Verfahren näher erläutert. Es zeigen:
1 eine graphische Darstellung für ein Unterteilungskriterium bei der Unterteilung von 3D-Bilddatensätzen in Unterabschnitte,
2 eine schematische Darstellung eines Streupunktes,
3 die schematische Darstellung der Basispunktepaare,
4 eine Sortierungstabelle für die dynamische Programmierung,
5 eine schematische Darstellung der Erzeugung von künstlichen korrespondierenden Punkten durch Projektion und
6 eine schematische Darstellung der Erzeugung von künstlichen korrespondierenden Punkten durch Erzeugen eines Rasters.
Das erfindungsgemäße Verfahren zur 3D-Modellierung eines Objektes weist zunächst den Schritt des Aufnehmens von mehreren 3D-Bilddatensätzen des Objektes mit einer Vielzahl von Punkten auf. Die Aufnahme kann beispielsweise mit Hilfe eines Laserscanners oder einer Stereokamera erfolgen.
Um aus den 3D-Bilddatensätzen des Objektes ein 3D-Modell erstellen zu können, müssen die 3D-Bilddatensätze zu einem 3D-Modelldatensatz zusammengefügt werden. Vor dem Zusammenführen der 3D-Bilddatensätze können die Punkte vorverarbeitet werden.
Um eine globale Zuordnung zwischen den beiden 3D-Punktewolken der 3D-Bilddatensätze zu bestimmen, können zunächst die 3D-Bilddatensätze in Unterabschnitte unterteilt werden. Als Kriterium für die Grenzen der Unterabschnitte können beispielsweise der Abstand und die Differenzen in den Richtungen der normalen Vektoren von Punkten sein.
In 1 ist ein derartiges Unterteilungskriterium schematisch dargestellt. Wie aus 1 ersichtlich ist, sind die Punkte p und q benachbart, weisen jedoch einen Abstand voneinander auf und die Differenz zwischen den Richtungen der Normalen-Vektoren der Punkte p und q ist größer als ein gewisser Grenzwert. Daher wird zwischen den Punkten p und q ein Schnitt zur Unterteilung des 3D-Bilddatensatzes in Unterabschnitte gesetzt.
Nach der Unterteilung der 3D-Bilddatensätze in Unterabschnitte kann eine Filterung der Punkte erfolgen, um ein Bildrauschen zu entfernen. Auf diese Weise wird die Größe des Datenvolumens reduziert und ferner die Genauigkeit des 3D-Modells erhöht, indem durch Bildrauschen entstandene falsche Punkte entfernt werden.
Dabei wird zunächst um Punkte eine Bounding Box um das ganze 3D-Objekt oder einen Teil des 3D-Objektes gesetzt, so dass irrelevante mitgescannte Objekte ausgeschlossen werden können. Die gestreuten Punkte werden gefiltert und dunkle und kleine Bereiche entfernt.
Ein Punkt wird als Streupunkt angesehen, wenn sich in der Umgebung zu wenig helle Punkte befinden. In dem in 2 dargestellten Ausführungsbeispiel wird der Punkt P als Streupunkt angesehen, da in einer 5 × 5 Umgebung lediglich zwei weitere helle Punkte sind.
Nach der Filterung des Rauschens können zwischen den Unterabschnitten verschiedener 3D-Bilddatensätze Korrespondenzverhältnisse gebildet werden, indem folgende Schritte durchgeführt werden:

– Klassifizieren der Unterabschnitte anhand der Normalen-Vektoren der Punkte und/oder der Oberflächenkrümmung sowie
– Erstellen erster Korrespondenzverhältnisse zwischen Unterabschnitten mit einem 3D-Formen-Deskriptor.

Der 3D-Formen-Deskriptor ist insbesondere über die Oberflächenkrümmung und den Flächeninhalt der Unterabschnitte definiert und klassifiziert die Unterabschnitte anhand der Oberflächenkrümmung. Dabei beschreibt der 3D-Formendeskriptor die absolute Größe der Oberflächenkrümmung der Unterabschnitte.
Somit kann mit Hilfe der normalen Vektoren und der Beschreibung durch den 3D-Formen-Deskriptor eine gute Klassifizierung der Unterabschnitte erfolgen, so dass in vorteilhafter Weise die Korrespondenzverhältnisse der Unterabschnitte erstellt werden können.
Schließlich werden die ersten Korrespondenzverhältnisse noch anhand der Reflektionsbilder des Objektes, die bei dem Laserscan erstellt worden sind, angepasst bzw. korrigiert.
Jetzt sind eine Vielzahl von Korrespondenzverhältnissen zwischen allen Unterabschnitten (Segments) beider Models festgelegt. Daraus soll optimales 1:1 Korrespondenzverhältnis berechnet werden, so dass die optimale Transformationsregel abgeleitet werden kann. Dieses Problem kann durch das erfindungsgemäße Verfahren gelöst werden.
Dabei werden die 3D-Bilddatensätze zu einem 3D-Modelldatensatz zusammengeführt. Es können korrespondierende Unterabschnitte zweier 3D-Bilddatensätze verwendet werden, um auf eine einfache Art und Weise Punktepaare von korrespondierenden Punkten zu bilden. Als korrespondierende Punkte kann man beispielsweise die Zentren der konvexen Hüllen der beiden Unterabschnitte verwenden.
Punktepaare P_i aus einem Punkt P_i1 aus einem ersten 3D-Bildatensatz und einem korrespondierenden Punkt P_i2 aus einem zweiten Bilddatensatz können als Basispunktepaar verwendet werden, aus denen eine Vorabtransformationsregel erstellt wird.
Als Basispunktepaare werden jeweils die Punktepaare angesehen, die als minimale Konfiguration zur Erstellung der Vorabtransformationsregel notwendig sind.
In 3 sind verschiedene Basispunktepaare, die in verschiedenen Situationen eine minimale Konfiguration zur Erstellung einer ersten Transformationsregel sind, dargestellt.
In 3a) werden drei Basispunktepaare A, B, C, die auch als Knoten bezeichnet werden können, gezeigt, die die drei korrespondierenden Punktepaare (P_a1, P_a2), (P_b1, P_b2) und (P_c1, P_c2) repräsentieren, wobei P_a1, P_b1 und P_c1 von einem ersten 3D-Bild-datensatz und P_a2, P_b2 und P_c2 von einem zweiten 3D-Bilddatensatz stammen. Um ein Zusammenpassen der Punktepaare zu bestimmen und somit festzustellen, ob die Punktepaare als Basispunktepaare geeignet sind, werden die Abstände zwischen den Punktepaaren überprüft. Das bedeutet, dass |P_a1P_b1| = |P_a2P_b2|, |P_b1P_c1| = |P_b2P_c2| und |P_c1P_a1| = |P_c2P_a2| sind. Um eine stabile Struktur der Basispunkte zu gewährleisten, sollten die Basispunktepaare nicht kollinear zueinander sein.
Wie aus 3b) hervorgeht, sind nicht notwendigerweise drei Basispunktepaare notwendig, wenn für die Punkte P_i1, P_i2 weitere Daten zur Verfügung stehen. Bei dem in 3b) dargestellten Ausführungsbeispiel reichen für die Erstellung einer Vorabtransformationsregel die Basispunktepaare A, B, die aus den Punkt P_a1, P_b1, P_a2 und P_b2 gebildet sind sowie die Normalen-Vektoren n_a1, n_b1, n_a2 und n_b2. Die Basispunktepaare A repräsentieren somit zwei korrespondierende Punktepaare (P_a1, P_a2) und (P_b1, P_b1) sowie die normalisierten Normalen-Vektoren n_a1, n_a2 _, n_b1 und n_b2. P_a1 und P_b1 stammen dabei von einem ersten 3D-Bilddatensatz und P_a2 und P_b2 von einem zweiten 3D-Bilddatensatz.
Um ein Zusammenfassen der Basispunktepaare zu gewährleisten, sollte folgende Bedingung erfüllt sein: |P_a1P_b1| = |P_a2P_b2| sowie n_a1·n_b1 = n_a2·n_b2.
Um die Stabilität des Systems zu gewährleisten, sollte dabei gelten: n_a1·n_b1 = n_a2·n_b2 ≠ ±1 um sicher zu stellen, dass die Normalen-Vektoren n_a1 nicht parallel zu n_b1 bzw. n_a2 nicht parallel zu n_b2 sind.
Die Vorabtransformationsregel kann in Form einer Matrix M erstellt werden, wobei die Transformationsmatrix M aus einem Translationsvektor T und einer Rotationsmatrix R besteht.
Wie aus 3c) hervorgeht, kann auch ein Basispunktepaar ausreichen, um eine Vorabtransformationsregel zu erstellen, wenn für die Punkte des Basispunktepaares neben den normalen Vektoren eine weitere Rauminformation, beispielsweise die Richtung der Gravitation Z, vorliegt.
Die benötigte minimale Konfiguration zum Bestimmen einer Vorabtransformationsregel zwischen den beiden 3D-Bilddatensätze ist jedoch von den Eigenschaften der Inputdaten und dem verwendeten Matching Verfahren abhängig. Bei einem ersten Ausführungsbeispiel des erfindungsgemäßen Verfahrens (Verfahren a) sind drei Basispunktepaare für eine Wurzel benötigt (3a). Wenn die Normalenvektoren der korrespondierenden Punkte verfügbar sind, werden nur zwei Basispunktepaare für eine Wurzel gebraucht (3b) Dies ist ein zweites Ausführungsbeispiel des erfindungsgemäßes Verfahrens (Verfahren b). Darüber hinaus wird nur ein Basispunktepaar für eine Wurzel erforderlich, falls eine feste Richtung in 3-D Raum leicht ermittelt werden kann. Diese feste und leicht ermittelte Richtung ist z. B. die Richtung der Erdeinziehendkraft, da man beim Laserscanning man normalerweise Z-Achse als die vertikale Richtung und die XY-Ebene als die horizontale Ebene verwendet (3c). Dies ist ein drittes Ausführungsbeispiel des erfindungsgemäßen Verfahrens (Verfahren c).
Angenommen es sind insgesamt n korrespondierenden Punktepaaren im Schritt 2a) initialisiert. Da die Selektion des k Basispunktepaaren für eine Wurzel aus n Paaren die Laufzeit von O(n^k) benötigt und die Validation von den anderen (n – k) Punktepaaren die Laufzeit von O(n) benötigt, ist für das Erstellen aller Matching Verhältnisse eine Laufzeit von O(n^k ⁺¹) notwendig. Deshalb ist die Laufzeitkomplexität des ersten Ausführungsbeispiels des erfindungsgemäßen Verfahrens O(n⁴), die des zweiten Ausführungsbeispiels des erfindungsgemäßen Verfahrens O(n³), und die des dritten Ausführungsbeispiels des erfindungsgemäßen Verfahrens O(n²).
Da eine Richtung im dritten Ausführungsbeispiel festgelegt werden kann, kann die Reihenfolge aller Punkte entlang der Z-Achse vorher leicht bestimmt werden. Dann kann dieses Matching-Problem zu überlappenden Subproblemen zerlegt werden, so dass die Technik der Dynamischen Programmierung verwendet werden kann. Auf dieser Weise ist die Laufzeitkomplexität auf O(n) reduziert.

Die unterschiedlichen Ausführungsbeispiele der erfindungsgemäßen Verfahren und deren Laufzeitkomplexitäten sind in den nachfolgenden Tabellen wiedergegeben. Tabelle 1. Änderung der minimalen Konfiguration der Basispunktepaare

Verfahren	Verfügbare Daten	Minimalen Konfiguration (Basispunktepaare)
a	Punkteposition	drei nicht kollineare Punktepaare
b	Punkteposition, Normalenlvektor	zwei Punktepaare
c	Punkteposition, Normalenvektor, eine Raumrichtung	ein Punktepaar

Tabelle 2. Vergleichen der Laufzeitkomplexität zwischen den verschiedenen Verfahren

Verfahren	Laufzeitkomplexität
a	O(n⁴)
b	O(n³)
c	O(n²)
d (c mit dynamischer Programmierung)	O(n)

Bei der Anwendung des erfindungsgemäßen Verfahrens mit Hilfe eines Computerprogramms können Teile dynamisch programmiert sein.
Unter dynamischer Programmierung versteht man, dass Aufgabenstellungen, die sich überschneidende Unteraufgaben besitzen, in diese Unteraufgaben aufgespalten werden, die mehrfach wiederverwendet werden. Dabei ist es von Vorteil, wenn die Ergebnisse der Unteraufgaben auf intelligente Art und Weise abgelegt werden, um einen einfacheren Zugriff zu ermöglichen. Dafür müssen optimierte Unterstrukturen angelegt werden. Die optionale Paarung aller Punkte ist der beste Korrespondenzdatensatz oder auch optimale Matching-Lösung genannt.
Im vorliegenden Verfahren kann eine derartige Unteraufgabe der Abstand zwischen zwei Objekten sein, der bei dem Zusammenführen verschiedener Unterabschnitte oder bei unterschiedlichen korrespondierenden Punktepaaren verwendet werden kann. Die optimale Paarung aller Punkte eines gesamten Sets kann dabei beispielsweise aus einer Kombination von einigen optimalen Paarungen von Untersets gebildet werden.
Da die z-Richtung der unterschiedlichen Ansichten darstellenden 3D-Bilddatensätzen fest ist, kann das 3D-Objekt nach dem Z-Wert der drei Koordinaten sortiert werden, so dass aus einer 3D-Paarungsaufgabe eine Quasi-Folgenpaarungsaufgabe entsteht. Die daraus entstehenden Listen sollten nach strikter aufsteigender oder absteigender Reihenfolge sortiert sein, so dass eine Überkreuzpaarung von x_i mit y_j, und x_i, mit y_j (i' < i und j' < j) vermieden wird.
Durch einen Vergleich von erstellten Paarungsnutzen und Paarungskosten können Duplikate herausgefiltert werden.
Daraus erhält man die folgende optimale Unterstruktur: M_i,j = max{M_i-1,j-1 ⊕ p_i,j, M_i-1,j, M_i,j-1} wobei M_ij die maximalen Paarungen, die durch die ersten i-Objektknoten (repräsentative Punkte des Objektes) von dem einen 3D-Bilddatensatz {X₁, X₂, ... X_i} und den ersten j-Objektknoten (repräsentative Punkte des Objekts) aus dem anderen 3D-Bilddatensatz {Y₁, Y₂, ..., Y_j} gebildet sind. R_i,j ist dabei der Nutzen eines korrespondierenden Paares (X_i, Y_j). M_ij ist daher als Maximum der drei Elemente M_i-1,j-1 ⊕ P_i,j, M_i-1,j und M_i,j-1 gewählt.
Die Verwendung von ⊕ impliziert, dass der Paarungsnutzen einer Paarung nicht direkt hinzugefügt wird, sondern eine Positionsvalidierung über die Vorabtransformationsregel, die durch aus den Basispunktepaaren gebildet ist, durchgeführt werden soll.
Wenn ein Punktepaar (X_i, Y_j) durch die Transformationsregel von M_i-1,-j-1 akzeptiert wird, gilt M_i-1,j-1 ⊕ p_i,j = M_i-1,j-1 + p_i,j.
Falls das Punktepaar X_i, Y_j von der Vorabtransformationsregel von M_i-1,j-1 verworfen wird, wird ein neues Punktepaar (X_i, Y_j) gebildet. Dabei werden die Punktepaare mit dem größten Nutzen gewählt, so dass gilt: M_i-1,j-1 ⊕ p_i,j = max{M_i-1,j-1, p_i,j}.
Für den Fall, dass I Punkte in dem einen 3D-Bilddatensatz und J Punkte in dem anderen 3D-Bilddatensatz existieren, ist M_I,J die maximale Paarung der beiden 3D-Bilddatensätze.
Die Ergebnisse können mit Hilfe einer Tabelle generiert werden, wie sie in 4 dargestellt ist. Die maximalen Paarungen M_I,J sind dabei in der rechten unteren Ecke.
Durch die Erstellung einer derartigen Tabelle kann die Laufzeitkomplexität erheblich verringert werden.
Durch die Verringerung der Anzahl der Basispunktepaare wird somit die Komplexität der Laufzeit eines das erfindungsgemäße Verfahren ausführenden Programms erheblich reduziert werden. In einem weiteren Schritt können weitere Punktepaare R_i aufgefunden werden, wobei jedes Punktepaar R_i jeweils aus einem Punkt R_i1 des ersten 3D-Bilddatensatzes und eines Punktes R_i2 des zweiten 3D-Bildddatensatzes besteht.
Mit Hilfe der Transformationsmatrix M wird der Punkt R_i2 des zweiten 3D-Bilddatensatzes zu einem transformierten Punkt R'_i2 transformiert und die Positionsdaten des transformierten Punktes R_i2 werden mit den Positionsdaten des Punktes R_i1 verglichen. Wenn Positionsdaten des transformierten Punktes R_i2 innerhalb einer Toleranz der Positionsdaten des Punktes R_i1 sind, kann das Punktepaar R_i1 als gültiges Punktepaar angesehen werden und der Matching-Lösung hinzugefügt werden. Anderenfalls ist es ein ungültiges Punktepaar. Es wird somit validiert, ob das Korrespondenzverhältnis eines Punktepaars in Bezug auf die Basispunktepaare einer Matching-Lösung akzeptierbar ist.
Jede Matching-Lösung hat dabei unterschiedliche Basispunktepaare. Nach dem Berechnen aller Matching-Lösungen, kann man die optimalen Matching-Lösung (bester Korrespondenzdatensatz) ermitteln. Es ist mit Hilfe von einem Gewinn- und Kostenfunktion, welche die Anzahl der gültigen Punktepaare, die Flächengröße der gematchden Unterabschnitte und die Registrierungsfehler berücksichtigt.
Von der optimalen Matching-Lösung erhält man den besten Korrespondenzdatensatz von allen korrespondierenden Punktepaaren. Unter Berücksichtigung aller gültigen korrespondierenden Punktepaaren dieses Korrespondenzdatensatzes und der Basispunktepaare kann nun eine Transformationsregel erstellt werden. Die Transformationsregel ist wesentlich genauer als die Vorabtransformationsregel.
Die Transformationsregel kann wiederum aus einer Transformationsmatrix bestehen, die einen Translationsvektor und eine Rotationsmatrix R besitzt. Die Rotationsmatrix R kann beispielsweise in folgender Art und Weise berechnet werden. Unter der Annahme, dass korrespondierende Punktepaare (p_i, q_i) mit einer korrespondierenden Gewichtung W_i (1 ≤ i ≤ n) existieren, wird zunächst eine Kovarianzmatrix K
erstellt.
Danach wird die Singulärwertzerlegung mit
K = UDV^T
durchgeführt.
Schließlich wird die Rotationsmatrix R aus
berechnet. Dabei wird δ = 1 oder δ = –1 gesetzt, in Abhängigkeit davon ob Determinante von (VU^T) näher an 1 oder –1 liegt.
Somit wird die Transformationsregel erstellt. Mit Hilfe der Transformationsregel können nun weitere Punkte Q_i2 des zweiten 3D-Bilddatensatzes transformiert werden, um sie mit dem ersten 3D-Bilddatensatz zum Bilden eines 3D-Modelldatensatzes näher zusammenzuführen.
Bei dem zuvor beschriebenen erfindungsgemäßen Verfahren wird eine Grobanpassung zweier 3D-Bilddatensätze bzw. zweier Unterabschnitte von 3D-Bilddatensätzen vorgenommen.
Um die Registrierung bzw. das Zusammenführen der 3D-Bilddatensätze weiter zu optimieren, wird eine paarweise Feinregistrierung der 3D-Bilddatensätze vorgenommen. Dies kann beispielsweise über eine ICP-Methode (Iterative Closest Point) durchgeführt werden.
Die paarweise Feinregistrierung kann im Arbeitsspeicher erfolgen. Dabei können zunächst nur Sub-sampling-Daten der 3D-Bilddatensätze verwendet werden, um die ICP-Methode durchzuführen. Daraus entstehen korrespondierende Punkte der beiden 3D-Bilddatensätze.
Anschließend werden Datenbereiche, die um die korrespondierenden Punkte der beiden 3D-Bilddatensätze in Vollauflösung liegen, in den Arbeitsspeicher eingelesen und über die ICP-Methode registriert.
Dabei werden für die Punkte Koordinatentransformationen bestimmt, so dass die Abstände zwischen den Punkten minimiert werden. Für jeden Punkt eines 3D-Bilddatensatzes wird dazu der nächste Punkt aus dem bereits durch die Transformationsregel grob registrierten zweiten 3D-Bilddatensatz bestimmt. Durch einen iterativen Algorithmus werden die Transformationsparameter angepasst, bis die Abstände minimiert sind.
Anschließend erfolgt eine simultane Feinregistrierung aller 3D-Bilddatensätze.
Dabei kann vorgesehen sein, dass ein virtueller Raum gebildet wird, der in Zellen aufgeteilt ist, wobei die Punkte der 3D-Bilddatensätze jeweils einer Zelle in dem virtuellen Raum zugeordnet werden. Die Struktur des virtuellen Raumes wird in einer Vektorenstruktur in dem Arbeitsspeicher hinterlegt und die Inhalte der Zellen auf einem Massenspeicher abgespeichert. Die Vektorenstruktur kann dabei aus ineinander verschachtelten Räumen bestehen. Dabei wird die Adressierung der Zelle in einem Element eines Vektors eines eindimensionalen Raumes abgelegt. Der eindimensionale Raum besteht aus zwei in entgegengesetzter Richtung verlaufenden Vektoren. Da Vektoren keine Elemente mit negativem Index enthalten können, ist somit der eindimensionale Raum in beide Richtungen beliebig erweiterbar. Die Adressierung des eindimensionalen Raumes wird in einem weiteren Vektor, der einer zweiten Raumrichtung zugeordnet ist, hinterlegt. Auf diese Weise entsteht ein zweidimensionaler Raum.
Um die zweite Raumrichtung in zwei Richtungen beliebig zu erweitern, können für die zweite Raumrichtung ebenfalls zwei in entgegengesetzte Richtung verlaufende Vektoren vorgesehen sein. Auf die gleiche Weise wird die Vektorenstruktur auf die dritte Dimension erweitert, indem in Vektoren einer dritten Raumrichtung die Adressierung des zweidimensionalen Raumes hinterlegt ist. Für die dritte Raumrichtung können ebenfalls zwei in entgegengesetzte Richtung verlaufende Vektoren vorgesehen sein.
Der virtuelle Raum und die Vektorenstruktur können dynamisch jeweils nur so wert erweitert werden, wie für die Hinterlegung der Adressierung der Zellen bzw. der ein- oder zweidimensionalen Räume notwendig ist. Die von einem Ursprung bis zu einer Adressierung in einem Vektor enthaltenen Elemente werden als Leerelemente, nämlich NULL-Adressen, hinterlegt.
Wenn zu einem späteren Zeitpunkt einer entsprechenden Position eine Zelle oder ein- oder zweidimensionaler Raum in dem virtuellen dreidimensionalen Raum geschaffen wird, wird das Leerelement durch die entsprechende realen Adressierung ersetzt.
Darüber hinaus ist der Zugriff auf die Zellen besonders schnell, da auf die Zellen direkt über die Indices direkt zugegriffen werden kann, die aus den Positionen der Punkte berechnet worden sind.
Erfindungsgemäß ist vorgesehen, dass die 3D-Bilddatensätze zunächst nur im Sub-sampling in dem Arbeitsspeicher eingelesen werden und die Subsampling-Daten den Zellen des virtuellen dreidimensionalen Raumes zugeordnet werden. Die Inhalte der Zellen werden dann auf dem Massenspeicher abgespeichert und die Adressierung ist in der Vektorenstruktur entsprechend hinterlegt.
Anschließend erfolgt eine iterative Registrierung der Sub-sampling-Daten zu einer Durchschnittsform. Aus der iterativen Registrierung gehen korrespondierende Punkte der 3D-Bilddatensätze hervor.
Datenbereiche, die sich um diese korrespondierenden Punkte befinden, werden nun aus den 3D-Bilddatensätzen in Vollauflösung in den Arbeitsspeicher eingelesen. Die Punkte aus diesen Datenbereichen werden in die Zellen des virtuellen dreidimensionalen Raumes zugeordnet und entsprechend auf dem Massenspeicher abgespeichert.
Anschließend kann eine iterative Registrierung aller 3D-Bild-datensätze in Vollauflösung erfolgen, wobei die iterative Registrierung als out-of-core-Verfahren stattfinden kann, in dem die Daten zwischen Massenspeicher und Arbeitsspeicher geswapt werden.
Durch diese Methode kann der Registrierungsprozess wesentlich beschleunigt werden und der Arbeitsspeicherbedarf kann optimiert werden, da beispielsweise die neu hinzu gezogenen Punkte sich zuvor noch auf der Festplatte befinden können und erst zur Verarbeitung von der Festplatte in den Arbeitsspeicher geladen werden.
Um die Genauigkeit des paarweisen und/oder des simultanen Feinregistrierungsschrittes noch weiter zu erhöhen, können ferner künstliche Korrespondenzpunkte erzeugt werden. Dazu können beispielsweise künstliche Punkte durch die Projektion von vorhandenen Punkten in Richtung des normalen Vektors in die Umgebung erstellt werden, um neue korrespondierende Punktepaare zu schaffen.
Auf diese Weise wird eine kontinuierliche Oberfläche simuliert. Die entsprechende Projektion von künstlichen Punkten ist in 5 dargestellt, wobei die durch die gestrichelte Linie dargestellte Oberfläche 10 zu einem ersten 3D-Bilddatensatz gehört und verschiedene Punkte 11 aufweist, während die Oberfläche 20 zu einem zweiten 3D-Bilddatensatz mit den Punkten 21 gehört. Der 3D-Bilddatensatz mit der Oberfläche 20 und den Punkten 21 ist bereits durch das erfindungsgemäße Verfahren grob angepasst worden. Wie aus 5 ersichtlich ist, werden von der Oberfläche 20 Punkte 12 in Richtung der normalen Vektoren dieser Punkte auf die Tangentialfläche der Oberfläche 20 am Punkt 22 projiziert, während von der Oberfläche 20 die Punkte 22 entlang der Richtung des normalen Vektors dieser Punkte auf Tangentialfläche der Oberfläche 10 am Punkt 12 projiziert werden.
Durch diese künstlich erschaffenen Punkte kann eine sehr hohe Genauigkeit der Oberfläche erreicht werden.
Ein weiterer Schritt zur Erhöhung der Genauigkeit durch die Schaffung von Punkten kann die Unterteilung von Bereichen zwischen Punkten in voller Auflösung sein. Die Dichte der durch den Laserscan registrierten Punkte kann in Abhängigkeit von der Aufnahmedistanz variieren, so dass nur ein grobmaschiges Raster entstehen kann. Um diesem negativen Effekt entgegen zu wirken, kann zwischen benachbarten Punkten eines 3D-Bilddatensatzes ein künstliches feinmaschiges Raster erzeugt werden, an dessen Kreuzungen neue künstliche Punkte erstellt werden. In 6 ist die Schaffung derartiger künstlicher Punkte P' schematisch dargestellt. Zwischen den ursprünglich vorhandenen Punkten P wird ein gleichmäßiges feinmaschiges Raster erstellt, an dessen Kreuzungsstellen die Punkte P' generiert werden.
Diese Unterteilung und Generierung von neuen künstlichen Punkten wird auf beide 3D-Bilddatensätze angewendet, so dass mit Hilfe der künstlichen Punkte neue korrespondierende Punktepaare gebildet werden können.
Auf diese Weise wird die Genauigkeit der 3D-Bilddatensätze und des durch die Zusammenführung der 3D-Bilddatensätze erstellten 3D-Modelldatensatzes erhöht, so dass ein sehr genaues 3D-Modell erstellt werden kann.

Claims

Verfahren zur 3D-Modellierung eines Objektes mit folgenden Schritten: 1.) Aufnahme von mehreren 3D-Bilddatensätzen des Objektes mit einer Vielzahl von Punkten, 2.) Registrierung der 3D-Bilddatensätze 3.) Erstellen des 3D-Modells, wobei Schritt 2.) folgenden Unterschritt aufweist: 2.1) Paarweise Registrierung von zwei 3D-Bilddatensätzen mit folgenden Unterschritten: 2.1a) Auffinden von einen oder mehreren Punktepaaren P_i, R_i, wobei jedes Punktepaar jeweils aus einem Punkt P_i1 eines ersten 3D-Bilddatensatzes und einem korrespondierenden Punkt P_i2 eines zweiten 3D-Bilddatensatzes besteht, 2.1b) Auswählen von einen oder mehreren Punktepaaren P_i und Auffinden von einen oder mehreren Punktepaaren R_i mit Hilfe der Punktepaare Pi und Zusammenfassen von Punktepaaren P_i, R_i zu einem Korrespondenzdatensatz, 2.1c) Wiederholen des Unterschrittes 2.1b) zum Erzeugen mehrerer Korrespondenzdatensätze, 2.1d) Vergleichen aller Korrespondenzdatensätze und Auswählen des besten Korrespondenzdatensatzes, 2.1e) Erstellen einer Transformationsregel zwischen den beiden 3D-Bilddatensätzen mit dem besten Korrespondenzdatensatz, 2.1f) Transformieren von Punkten Q_i2 des zweiten 3D-Bilddatensatzes mit der Transformationsregel, um diese Punkte mit dem ersten 3D-Bilddatensatz zusammenzuführen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Unterschritt 2.1b) folgende Schritte aufweist: i) Auswählen von einen oder mehreren Punktepaaren P_i als Basispunktepaare, wobei jedes Punktepaar jeweils aus einem Punkt P_i1 eines ersten 3D-Bilddatensatzes und einem korrespondierenden Punkt P_i2 eines zweiten 3D-Bilddatensatzes besteht, ii) Erstellen einer Vorabtransformationsregel zwischen den beiden 3D-Bilddatensätzen – mit dem Verhältnis der Positionsdaten der Punkte P_i1, P_i2 der Basispunktepaare zueinander oder – mit dem Verhältnis der Positionsdaten der Punkte P_i1, P_i2 eines Basispunktepaares oder mehrerer Basispunktepaare und dem Verhältnis von weiteren für jeden Punkt P_i1, P_i2 verfügbaren Daten zueinander, iii) Auffinden eines oder mehrerer weiterer Punktepaare R_i wobei jedes Punktepaar R_i jeweils aus einem Punkt R_i1 des ersten 3D-Bilddatensatzes und einem Punkt R_i2 des zweiten 3D-Bilddatensatzes besteht, iv) Transformieren jedes Punktes R_i2 des zweiten 3D-Bilddatensatzes mit der Vorabtransformationsregel zu jeweils einem transformierten Punkt R'_i2, v) Vergleichen der Positionsdaten jedes transformierten Punktes R'_i2 mit den Positionsdaten des jeweiligen Punktes R_i1 und Klassifizieren des Punktepaares R_i als gültiges oder ungültiges Punktepaar, vi) Zusammenführen der Basispunktepaare P_i und der gültigen Punktepaare R_i zu einem Korrespondenzdatensatz und dass Unterschritt 2.1c) folgenden Schritt aufweist: – Wiederholen des Unterschrittes 2.1b), wobei für jede Wiederholung unterschiedliche Kombinationen von Basispunktepaaren P_i gewählt werden.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Transformationsregel zwischen den beiden 3D-Bilddatensätzen – mit dem Verhältnis der Positionsdaten der Punkte P_i1, P_i2 der Basispunktepaare P_i des besten Korrespondenzdatensatzes und dem Verhältnis der Positionsdaten der Punkte R_i1, R_i2 der gültigen Punktepaare R_i des besten Korrespondenzdatensatzes zueinander erstellt wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Unterschritt 2.1 mehrfach durchgeführt wird, derart, dass alle 3D-Bilddatensätze jeweils mit zumindest einem weiteren der 3D-Bilddatensätze paarweise registriert werden.
Verfahren nach eine der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die weiteren für jeden Punkt P_i1, P_i2 verfügbaren Daten der Normalenvektor N_p des jeweiligen Punktes P_i1, P_i2 und/oder eine Raumrichtungsinformation des jeweiligen 3D-Bilddatensatzes ist, vorzugsweise die durch die Gravitation gegebene Raumrichtung z.
Verfahren nach eine der Ansprüche 1 bis 5 dadurch gekennzeichnet, dass zwischen Schritt 1.) und Schritt 2.) folgender Zwischenschritt durchgeführt wird: – Vorverarbeitung der Punkte der 3D-Bilddatensätze.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass bei der Vorverarbeitung der Punkte die 3D-Bilddatensätze in Unterabschnitte aufgeteilt werden, wobei vorzugsweise eine Unterteilung zwischen zwei benachbarten Punkten in Abhängigkeit von dem Abstand zwischen den Punkten und/oder der Differenz der Richtung der Normalenvektoren der Punkte erfolgt.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass bei der Vorverarbeitung der Punkte eine Filterung der Punkte erfolgt, um ein Bildrauschen zu entfernen.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass bei Schritt 2.1a) zwischen Unterabschnitten verschiedener 3D-Bilddatensätze Korrespondenzverhältnisse gebildet werden, mit folgenden Schritte: – Klassifizieren der Unterabschnitte anhand der Normalenvektoren der Punkte und/oder der Oberflächenkrümmung – Erstellen erster Korrespondenzverhältnisse zwischen Unterabschnitten mit einem 3D-Formen-Deskriptor.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass der 3D-Formen-Deskriptor eine Oberflächenkrümmung und einen Flächeninhalt der Unterabschnitte beschreibt.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Oberflächenkrümmung im 3D-Formen-Deskriptor die absolute Größe der Oberflächenkrümmung der Unterabschnitte beschreibt.
Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass die ersten Korrespondenzverhältnisse über Reflexionsbilder des Objektes angepasst werden.
Verfahren nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass die Punkte eines korrespondierenden Punktepaares die Zentren der konvexen Hüllen zweier Unterabschnitte sind.
Verfahren nach einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass die ersten Korrespondenzverhältnisse bezüglich Ecken und anderen Formen über Reflektionsbilder des Objektes erstellt werden.
Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass nach dem Unterschritt 2.1f) folgender weitere Unterschritt durchgeführt wird: 2.2) Paarweise Feinregistrierung der 3D-Bilddatensätze.
Verfahren nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass nach dem Unterschritt 2.1f) folgender weitere Unterschritt durchgeführt wird: 2.3) Simultane Feinregistrierung aller 3D-Bilddatensätze.
Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass für die simultane Feinregistrierung die Daten der Punkte der 3D-Bilddatensätze in einem virtuellen dreidimensionalen Raum einsortiert werden, wobei der virtuelle dreidimensionalen Raum aus mehreren Zellen besteht und die Punkte der 3D-Bilddatensätze, die sich in einem vorgegebenen Intervall befinden einer Zelle zugeordnet werden, und wobei die Inhalte der Zellen auf einem Massenspeicher abgelegt werden und die Struktur des virtuellen dreidimensionalen Raumes mit Verweisen auf die Inhalte der Zellen in einem Arbeitsspeicher hinterlegt wird.
Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass der virtuelle dreidimensionalen Raum dynamische gebildet wird, wobei nur die Zellen erzeugt werden, denen Punkte der 3D-Bilddatensätze zugeordnet werden.
Verfahren nach Anspruch 17 oder 18, dadurch gekennzeichnet, dass Unterschritt 2.3) folgende Unterschritte aufweist: 2.3a) Einlesen der 3D-Bilddatensätze in Sub-sampling in den Arbeitsspeicher 2.3b) Zuordnen der Sub-sampling Daten in die Zellen des virtuellen dreidimensionalen Raumes und Abspeichern der Daten auf dem Massenspeicher 2.3c) Iterative Registrierung der Sub-sampling Daten zu einer Durchschnittsform mit folgenden Schritten: i) Bilden einer Durchschnittsform aus den Sub-sampling Daten ii) Transformieren der Sub-sampling Daten jedes 3D-Bilddatensätze in Bezug auf die Durchschnittsform iii) Bilden einer neuen Durchschnittsform aus den transformierten Sub-sampling Daten iv) Transformieren der transformierten Sub-sampling Daten jedes 3D-Bilddatensatzes in Bezug auf die neue Durchschnittsform v) Wiederholen der Schritte iii) und iv) bis der Abstand zwischen den transformierten Sub-sampling Daten und der neuen Durchschnittsform unterhalb eines vorbestimmten Wertes liegt vi) Festlegen der Punkte der transformierten Sub-sampling Daten, die auf der bzw. nahe der neuen Durchschnittsform liegen als korrespondierende Punkte 2.3d) Einlesen von Teildatenbereichen von jedem 3D-Bilddatensatz in Vollauflösung in den Arbeitsspeicher, wobei sich die Datenbereiche jeweils um einen der korrespondierenden Punkte befinden 2.3e) Zuordnen der Daten der Datenbereiche in die Zellen des virtuellen dreidimensionalen Raumes und Abspeichern der Daten auf dem Massenspeicher 2.3f) Iterative Registrierung aller 3D-Bilddatensätze in Vollauflösung mit Hilfe der Teildatenbereiche, wobei die Daten Zellenweise in den Arbeitsspeicher eingelesen und verarbeitet und die Registrierungsergebnisse auf dem Massenspeicher abgespeichert werden.