DE10042387A1

DE10042387A1 - Verfahren zum Transformieren dreidimensionaler Objektpunkte in zweidimensionale Bildpunkte für Linear-Fächerstrahlsensor-Bilder

Info

Publication number: DE10042387A1
Application number: DE10042387A
Authority: DE
Inventors: Tae Jung Kim; Dong Seok Shin; Tag Gon Kim
Original assignee: Korea Advanced Institute of Science and Technology KAIST
Current assignee: Korea Advanced Institute of Science and Technology KAIST
Priority date: 2000-08-16
Filing date: 2000-08-29
Publication date: 2002-03-14
Also published as: US6633665B1; KR20020014123A; KR100374509B1; CA2317035A1; CA2317035C

Abstract

Durch die Erfindung ist ein Verfahren zum Transformieren von 3-D-Objektpunkten in 2-D-Bildpunkte für Linear-Fächerstrahlsensor-Bilder geschaffen. Das Transformationsproblem wird in das Problem des Auffindens von Sensorzeile-Koordinaten und das Problem des Auffindens von Sensorspalte-Koordinaten aus Linear-Fächerstrahlsensor-Kollinearitätsgleichungen zerlegt. Die Prozeduren zum Lösen des Problems sind die folgenden. Als Erstes wird ein Anfangswert für eine aufzusuchende Bildlinienkoordinate angenommen, und unter Verwendung dieses Werts wird die Sensorlage berechnet. Als Nächstes wird die Sensorlage als konstant angenommen und es wird eine neue Bildlinienkoordinate berechnet, die den Linear-Fächerstrahlsensor-Kollinearitätsgleichungen genügt. Als Nächstes wird der Anfangswert durch die berechnete Bildlinienkoordinate aktualisiert, und die Prozeduren werden fortgesetzt, bis die Differenz zwischen dem Anfangswert und dem neu berechneten Wert kleiner als ein Schwellenwert wird. Wenn die Differenz zwischen dem Anfangswert und dem berechneten Wert kleiner als der Schwellenwert ist, wird der berechnete Wert als Sensorzeile-Koordinate angenommen. Nach dem Auffinden der Sensorzeile-Koordinate wird die Sensorspalte-Koordinate berechnet, die die Linear-Fächerstrahlsensor-Kollinearitätsgleichungen erfüllt.

Description

In dieser Beschreibung bedeuten die Begriffe '2D' und '3D' '2-dimensional' bzw. '3-dimensional'. Ein 'Linear-Fächer strahlsensor' ist ein Sensor, der während der Bilderfassung linear verschoben wird und dabei einen Abtaststrahl aussen det, der um einen Brennpunkt verschwenkt wird, so dass im zeitlichen Verlauf ein fächerförmiges Strahlenbündel erzeugt wird. Ein derartiger Linear-Fächerstrahlsensor wird nachfol gend der Kürze halber als 'Sensor' bezeichnet. Ein Linear- Fächerstrahlsensor-Bild ist ein von einem derartigen Sensor aufgenommenes Bild, das demgemäß über einen Brennpunkt pro Zeile oder pro Teil verfügt. Zur weiteren Erläuterung sei darauf hingewiesen, dass ein perspektivisches Bild über ei nen einzelnen Brennpunkt pro Bild verfügt.

Die Erfindung betrifft ein Verfahren zum Transformieren ei nes 3D-Objektpunkts in einen 2D-Bildpunkt unter Verwendung von Linear-Fächerstrahlsensoren, genauer gesagt, ein Trans formationsverfahren zum Entzerren von Linear-Fächerstrahl sensor-Bilder in solcher Weise, dass auf diese eine geome trische Bezugnahme möglich ist, und zum Erzeugen geometri scher 3D-Information aus Linear-Fächerstrahlsensor-Bildern.

Hinsichtlich perspektivischer Bilder ist das Problem der Abbildung eines 3D-Objektpunkts auf einen 2D-Bildpunkt gut gelöst, und entsprechende Abbildungsverfahren werden in wei ter Verbreitung verwendet. Hinsichtlich Linear-Fächerstrahl sensor-Bildern wurde jedoch bisher keine robuste numerische Lösung für eine derartige Abbildung herausgefunden.

Eine bekannte Lösung für das eben genannte Problem besteht im sogenannten Newton-Raphson-Verfahren. Dieses Verfahren funktioniert jedoch nur innerhalb eines Bereichs, in dem sich die zu lösende Gleichung monoton verhält, weswegen das Verfahren sehr empfindlich auf Anfangswerte reagiert. In einigen Fällen divergiert das Verfahren oder erzeugt große Fehler. In anderen Fällen arbeitet es zwar, jedoch ist es nicht einfach, geeignete Anfangswerte auszuwählen. Daher kann die Lösung nicht immer auf die Entzerrung von Linear- Fächerstrahlsensor-Bildern oder auf die Erzeugung von 3D- Information aus solchen angewandt werden.

Der Erfindung liegt die Aufgabe zugrunde, ein leistungsfähi ges und robustes Verfahren zum Transformieren eines 3D-Ob jektpunkts in einen 2D-Bildpunkt für Linear-Fächerstrahlsen sor-Bilder zu schaffen.

Diese Aufgabe ist durch das Verfahren gemäß dem beigefügten Anspruch 1 gelöst. Vorteilhafte Ausgestaltungen und Weiter bildungen desselben sind Gegenstand der abhängigen Ansprüche 2 und 3.

Die vorstehende Aufgabe sowie weitere Aufgaben, Merkmale und Vorteile der Erfindung werden aus der folgenden detaillier ten Beschreibung in Zusammenhang mit den beigefügten Zeich nungen besser erkennbar.

Fig. 1 zeigt ein Flussdiagramm zum Veranschaulichen eines Verfahrens zum Transformieren eines Objektpunkts in einen Bildpunkt hinsichtlich eines durch einen Linear-Fächer strahlsensor aufgenommenen Linear-Fächerstrahlsensor-Bilds gemäß einem bevorzugten Ausführungsbeispiel der Erfindung.

Fig. 2 und 3 zeigen jeweils ein Diagramm zum Veranschauli chen der Theorie, gemäß der das erfindungsgemäße Verfahren arbeitet.

Nun folgt eine detaillierte Beschreibung eines Verfahrens zum Transformieren eines Objektpunkts in einen Bildpunkt hinsichtlich eines durch einen Linear-Fächerstrahlsensor aufgenommenen Linear-Fächerstrahlsensor-Bilds gemäß einem bevorzugten Ausführungsbeispiel der Erfindung. Es ist erfor derlich, ein mathematisches Modell auf ein 2D-Koordinaten system eines Linear-Fächerstrahlsensor-Bilds und ein Koordi natensystem eines 3D-Objekts anzuwenden. Ein derartiges Mo dell wird häufig als Sensormodell bezeichnet. Bisher wurden viele Sensormodelle vorgeschlagen, jedoch wird die Erfindung unter Verwendung eines Sensormodells beschrieben, das auf Kollinearitätsgleichungen beruht, wie sie durch die folgen den Gleichungen 1 und 2 angegeben sind. Jedoch ist die Er findung nicht auf den Gebrauch nur der unten angegebenen Gleichungen beschränkt. Vielmehr funktioniert sie bei allen kollinearitäts-gestützten Sensormodellen für Linear-Fächer strahlsensor-Bilder, wobei die mathematische Wiedergabe von den nachfolgenden Gleichungen abweichen kann:

in denen X, Y und Z eine jeweilige Koordinate eines Objekt punkts bedeuten; X_S, Y_S und Z_S jeweils eine Koordinate des Sensors beim Erfassen eines Bilds des Objekts bedeuten; r₁₁ bis r₃₃ jeweils ein Element einer Rotationsmatrix R bedeu ten, die durch die Sensorlage beim Aufnehmen des Bilds des Objekts bestimmt wird; f die Brennweite der Kamera bedeutet und x sowie y jeweils eine Koordinate eines Bildpunkts be deuten.

Die Rotationsmatrix R dient zum Rotieren des Bildkoordina tensystems, um es zu einem Objekt-Bezugskoordinatensystem auszurichten. Diese Rotationsmatrix R ist durch die folgende Gleichung 3 repräsentiert.

In der Gleichung 3 bedeuten κ, Φ und ω einen jeweiligen Ro tationswinkel, der dazu dient, das Bildkoordinatensystem in der Z-, Y- bzw. X-Achse mit dem Bezugskoordinatensystem aus zurichten.

Linear-Fächerstrahlsensor-Bilder verfügen über einen Brenn punkt pro Zeile oder Teil, und für jede Zeile oder jeden Teil kann eine andere Sensorlage gelten. Daher sind die Po sition (X_s, Y_s, Z_s) des Sensors und die Rotationswinkel κ, Φ und ω durch linerare oder nicht lineare Polynome für eine Koordinate x auf einer Koordinatenachse in der Richtung der Sensorbewegung aus dem Bildkoordinatensystem entsprechend dem Abtastmechanismus repräsentiert.

Gemäß dem Algorithmus der Erfindung ist es möglich, eine Bildkoordinate (x, y) in einem 2D-Koordinatensystem für eine vorgegebene Objektkoordinate (X, Y, Z) in einem 3D-Koordina tensystem in einem Linear-Fächerstrahlsensor-Bild unter Ver wendung eines kollinearitäts-gestützten Linear-Fächerstrahl sensor-Modells, bei dem die Sensorposition und die Lage durch lineare oder nicht lineare Polynome repräsentiert sind, zu berechnen.

Die Prozedur zum Auffinden der Bildkoordinate (x, y) für eine vorgegebene Objektkoordinate (X, Y, Z) in Linear-Fä cherstrahlsensor-Bildern ist in zwei Schritte unterteilt: einen zum Auffinden der Koordinate x auf einer ersten Koor dinatenachse aus dem Bildkoordinatensystem in der folgenden aus der Gleichung 1 hergeleiteten Gleichung 4; und einen anderen zum Auffinden der Koordinate y auf einer zweiten Koordinatenachse aus dem Bildkoordinatensystem gemäß der Gleichung 2 unter Verwendung der Koordinate x auf der ersten Koordinatenachse:

0 = r₁₁(X - X_S) + r₂₁(Y - Y_S) + r₃₁(Z - Z_S) (4)

In der Gleichung 4 sind die Sensorpositionskoordinaten X_s, Y_s und Z_s durch lineare oder nicht lineare Polynome der Ko ordinate x auf der ersten Koordinatenachse gemäß dem Abtast mechanismus repräsentiert, und r₁₁, r₂₁ und r₃₁ sind Kombi nationen aus Sinus- und Cosinusfunktionen zur Sensorlage, d. h. betreffend die Rotationswinkel κ, Φ und ω, die durch eine lineare oder eine nicht lineare Funktion der Koordinate x auf der ersten Koordinatenachse repräsentiert sind. Daher ist die Gleichung 4 eine nicht lineare Gleichung für die Koordinate x auf der ersten Koordinatenachse.

Durch das bisherige Verfahren zum Lösen der Gleichung 4 wird die Koordinate x auf der ersten Koordinatenachse unter Ver wendung des Newton-Raphson-Verfahrens dadurch herausgefun den, dass für diese Koordinate x ein Anfangswert angenommen wird. Jedoch ist es gut bekannt, dass das Newton-Raphson- Verfahren nur innerhalb eines Bereichs funktioniert, in dem die zu lösende Gleichung monoton variiert, weswegen dieses Verfahren sehr empfindlich vom Anfangswert abhängt. Es ist schwierig, vorab monotone Bereiche der Gleichung 4 aufzufin den und einen Anfangswert für die Koordinate x auf der ers ten Koordinatenachse so herauszufinden, dass er in einem solchen Bereich liegt.

Durch die Erfindung wird eine Vorgehensweise vorgeschlagen, bei der die Koordinate x auf der ersten Koordinatenachse dadurch aufgefunden wird, dass die Gleichung 4 durch die folgenden neuen Prozeduren gelöst wird.

Als Erstes wird in einem in Fig. 1 dargestellten Schritt S11 ein Anfangswert x₀ der Koordinate x auf der ersten Koordina tenachse angenommen, im nächsten Schritt S12 werden die Sen sor-Rotationswinkel κ, Φ und ω, unter Verwendung des Anfangs werts x₀ berechnet, und dann wird die Rotationsmatrix (r₁₁, r₂₁, r₃₁) im nächsten Schritt S13 unter Verwendung dieser Sensor-Rotationswinkel κ, Φ und ω berechnet.

Wenn die Rotationsmatrix (r₁₁, r₂₁, r₃₁) konstant gemacht wird, d. h., wenn die Sensorlage nicht variiert wird, kann die Gleichung 4 durch eine lineare oder nicht lineare Glei chung von x entsprechend der Sensorplattform (X_s, Y_s, Z_s) vereinfacht werden.

Durch Lösen dieser vereinfachten Gleichung für die Koordina te x auf der ersten Koordinatenachse wird in einem nächsten Schritt S14 eine vorläufige Koordinate x₁ auf der ersten Koordinatenachse neu erhalten.

Als Nächstes wird die Differenz zwischen dem Anfangswert x₀ und der vorläufigen Koordinate x₁ berechnet. Nach einem Ver gleich der Differenz mit einem vorgegebenen Schwellenwert im nächsten Schritt S15 wird die vorläufige Koordinate x₁ im nächsten Schritt S17 als endgültige Koordinate auf der ers ten Koordinatenachse bestimmt, wenn die Differenz den vorge gebenen Schwellenwert nicht überschreitet. Jedoch sind die Schritte S12 bis S15 zu wiederholen, wenn die Differenz den vorgegebenen Schwellenwert überschreitet, während im nächs ten Schritt S17 der Anfangswert x₀ durch die vorläufige Ko ordinate x₁ ersetzt wird. Dies wird wiederholt, bis die Dif ferenz den vorgegebenen Schwellenwert nicht überschreitet.

Schließlich wird eine Koordinate y auf einer zweiten Koordi natenachse rechtwinklig zur Sensorbewegung im Bildkoordina tensystem durch Lösen der Gleichung 2 unter Verwendung der endgültigen Koordinate auf der ersten Koordinatenachse, die in den vorigen Schritten berechnet wurde, im nächsten Schritt S18 erhalten.

Nun erfolgt eine detailliertere Erläuterung zum in Fig. 1 dargestellten Flussdiagramm. Als Erstes wird die Iterations zahl i auf Null gesetzt und im Schritt S11 wird x_i ein An fangswert zugeordnet. Als Nächstes werden, unter Verwendung von x_i, die Sensorlage, d. h. die Rotationswinkel κ, Φ und ω im Schritt S12 berechnet, und im Schritt S13 werden Parame ter der Rotationsmatrix (r₁₁, r₂₁, r₃₁) berechnet. Dann wird unter der Annahme, dass die Rotationsmatrix (r₁₁, r₂₁, r₃₁) konstant ist, die Gleichung 4 gelöst, um im Schritt S14 x_i+1 zu erhalten, und im Schritt S15 wird die Differenz zwischen x_i und x_i+1 mit einem vorgegebenen Schwellenwert verglichen. Wenn die Differenz den vorgegebenen Schwellenwert über schreitet, wird die Iterationszahl i im Schritt S16 um 1 erhöht, und die vorstehend genannten Schritte werden ab dem Schritt S12 wiederholt. Wenn die Differenz den vorgegebenen Schwellenwert nicht überschreitet, wird der im Schritt S14 im aktuellen Umlauf erhaltene Wert x_i+1 als Lösung für die Koordinate x auf der ersten Koordinatenachse, die die Glei chung 4 erfüllt, akzeptiert. Wenn die Lösung für die Koordi nate x auf der ersten Koordinatenachse einmal erhalten ist, wird im Schritt S18 die Koordinate y auf der zweiten Koordi natenachse unter Verwendung der Gleichung 2 berechnet.

Das Prinzip des bei der Erfindung verwendeten Algorithmus kann anhand der Fig. 2 und 3 veranschaulicht werden.

Fig. 2 zeigt den Laufweg der Plattform (oder des Sensors), Bildaufnahmespuren auf einer Objektfläche an einer vorgege benen Position sowie einen Objektpunkt A. In den Schritten S12 und S13 werden die Lage der Plattform und die Elemente der Rotationsmatrix nach der Annahme eines Anfangswerts x₀ berechnet. Dies entspricht dem Festlegen der Kamera (oder Sensor)achse auf x₀, wie in der Figur dargestellt. Die Bild aufnahmespur bei x₀ enthält den Objektpunkt A nicht, da x₀ nicht die richtige Lösung ist, nach der gesucht wird.

Im Schritt S14 werden die Elemente der Rotationsmatrix je weils als konstant angesehen, und die Koordinate x₁ wird dadurch aufgefunden, dass die vereinfachte Gleichung 4 ge löst wird. Dies entspricht der Annahme, dass die Lage der Plattform bei x₀ während des ganzen Laufwegs gilt, und die Position der Plattform wird so verschoben, dass die Bildauf nahmespur auf der Objektfläche den Objektpunkt A enthält.

Jedoch unterscheidet sich, wie es in Fig. 3 veranschaulicht ist, die tatsächliche Lage der Plattform bei x₁ von der Lage bei x₀, und die richtige Bildaufnahmespur bei x₁ enthält den Objektpunkt A nicht. In den Schritten S15 bis S16 wird der Anfangswert durch x₁ aktualisiert, und es wird mit dem Schritt S12 fortgefahren. Dies entspricht einer Aktualisie rung der Lage der Plattform bei x₁ durch die echte Lage, wobei die Prozeduren gemäß Fig. 2 iteriert werden, bis die Bildaufnahmespur auf der Objektfläche bei x₁ die Lage bei x₀ einnimmt und die richtige Bildaufnahmespur bei x₁ konver giert und beide den Objektpunkt A enthalten.

Die Aufgabe der Erfindung besteht darin, das Problem der Transformation eines 3D-Objektpunkts auf einen 2D-Bildpunkt für ein Linear-Fächerstrahlsensor-Bild auf das Problem zu rückzuführen, eine vereinfachte Gleichung unter der Annahme zu lösen, dass die Lage der Plattform konstant ist. Die Er findung arbeitet unabhängig von der Wahl des Anfangswerts und konvergiert schnell auf die richtige Lösung.

Die obige Erläuterung arbeitet das Prinzip des erfindungsge mäßen Verfahrens durch einige Beispiele heraus. Jedoch ist durch die obige Erläuterung der Schutzumfang der Erfindung nicht beschränkt, sondern alle Variationen oder Abweichungen von der obigen Erläuterung sollen im Schutzumfang der Erfin dung enthalten sein.

Gemäß der Erfindung können 3D-Objektkoordinaten unmittelbar auf 2D-Bildkoordinaten für Linear-Fächerstrahlsensor-Bilder abgebildet werden. Dies ermöglicht eine schnellere Entzer rung von Linear-Fächerstrahlsensor-Bildern und verbessert die Genauigkeit. Auch ermöglicht die Erfindung die schnelle und genaue Entnahme von 3D-Information aus Linear-Fächer strahlsensor-Bildern.

Claims

1. Verfahren zum Transformieren eines Objektpunkts in ei nem 3D-Koordinatensystem in einen Bildpunkt hinsichtlich eines durch einen Linear-Fächerstrahlsensor aufgenommenen Linear-Fächerstrahlsensor-Bilds mit Repräsentation in einem 2D-Koordinatensystem, mit den folgenden Schritten:

- Aufstellen von Kollinearitätsgleichungen in Beziehung zum Objektpunkt und zum Bildpunkt für das Linear-Fächerstrahl sensor-Bild;
- Annehmen einer Anfangskoordinate auf einer ersten Ko ordinatenachse im 2D-Koordinatensystem und Berechnen der Lage des Linear-Fächerstrahlsensors unter Verwendung dieser Anfangskoordinate;
- Erhalten einer vorläufigen Koordinate durch Lösen der Kol linearitätsgleichung unter der Annahme, dass der Linear- Fächerstrahlsensor die berechnete konstante Lage beibehält;
- Berechnen der Differenz zwischen der Anfangskoordinate und der vorläufigen Koordinate;
- Vergleichen der Differenz mit einem vorgegebenen Schwel lenwert;
- Wiederholen des Schritts zum Berechnen der Lage mittels des Differenzvergleichsschritts unter Annahme der vorläufi gen Koordinate als Anfangskoordinate, wenn die Differenz den vorgegebenen Schwellenwert überschreitet;
- Festlegen der vorläufigen Koordinate als endgültige Koor dinate auf der ersten Koordinatenachse, wenn die Differenz den vorgegebenen Schwellenwert nicht überschreitet; und
- Erhalten einer Koordinate auf einer zweiten Koordinaten achse im 2D-Koordinatensystem durch Lösen der Kollineari tätsgleichungen unter Verwendung der endgültigen Koordinate auf der ersten Koordinatenachse.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Kollinearitätsgleichungen wie folgt aufgestellt sind:
in denen X, Y und Z eine jeweilige Koordinate eines Objekt punkts bedeuten; X_S, Y_S und Z_S jeweils eine Koordinate des Sensors beim Erfassen eines Bilds des Objekts bedeuten; r₁₁ bis r₃₃ jeweils ein Element einer Rotationsmatrix R bedeu ten, die durch die Sensorlage beim Aufnehmen des Bilds des Objekts bestimmt wird; f die Brennweite der Kamera bedeutet und x sowie y jeweils eine Koordinate eines Bildpunkts be deuten.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Schritt zum Erhalten der vorläufigen Koordinate Unter schritte für Folgendes aufweist:
Berechnen von Elementen der Rotationsmatrix R unter Ver wendung der Lage des Linear-Fächerstrahlsensors; und
Lösen der Kollinearitätsgleichung unter Verwendung dieser Elemente der Rotationsmatrix R.

4. Maschinenlesbarer Datenträger, auf dem ein Programm aufgezeichnet ist, dadurch gekennzeichnet, dass das Programm so beschaffen ist, dass es für die Ausführung des Verfahrens gemäß einem der vorstehenden Ansprüche sorgt.