-
Die
Erfindung betrifft ein Verfahren zur rechnergestützten Stabilisierung von Bildern,
insbesondere von elektronisch aufgezeichneten Bildern (z.B. mit
einer Videokamera), gegenüber
Verdrehungen der Kamera um eine beliebige Achse um beliebig große Winkel.
Die Erfindung betrifft auch Bildaufnahmesysteme mit einem Fischaugen-Objektiv
(engl. „fisheye") für (halb-)sphärische Bilder,
insbesondere auch Kameras mit 360°-Rundumsicht.
-
Verfahren
zur elektronischen Bildstabilisierung sind bekannt und lassen sich
grob in zwei Kategorien unterscheiden: (i) Kompensationsvorrichtungen
für die
Kamera selbst oder für
den Lichtweg vom Objekt zum Kameraschirm und (ii) die rechnergestützte Korrektur
der aufgezeichneten Bilder, was i. a. eine elektronische Erfassung
der Bilder voraussetzt und Nachbearbeitung erfordert.
-
Beispiele
für Vorrichtungen
der ersten Kategorie sind in den Druckschriften
DE 43 42 717 A1 oder
DE 196 18 979 A1 beschrieben.
Diese eignen sich insbesondere auch zur Kompensation von Verwacklungen
bei Aufnahmen auf Filmmaterial.
-
Mit
modernen Digitalkameras und mittlerweile gestiegener Rechnerleistung
kommt aber auch der zweiten Kategorie praktische Bedeutung zu. Bestehende
Verfahren zur Verwacklungskompensation, wie etwa die elektronische
Bildstabilisierung in HandyCams, können aufgrund des begrenzten Öffnungswinkels
perspektivischer Kameras nur geringfügige Kompensationen durchführen, wobei
das Bild aufgrund der perspektivischen Transformation verzerrt wird.
Bei einem Schwenk über
mehr als den Öffnungswinkel
der Kamera kann keine Kompensation mehr durchgeführt werden.
-
Es
ist eine grundsätzliche
Schwierigkeit der elektronischen Nachbearbeitung, dass ein reales
Bild einer (dreidimensionalen) Szene lediglich von einer zweidimensionalen
Pixelanordnung erfasst wird. Um allein aus einer Sequenz von Bildern
auf eine zwischenzeitlich erfolgte Rotation oder Translation der
Kamera zurück zu
schließen,
ist eine numerische Rekonstruktion der 3D-Szene erforderlich, die
sich auch heute nicht ohne größeren Aufwand,
insbesondere in Echtzeit, bewerkstelligen lässt.
-
Man
zieht deshalb bei der Szenenrekonstruktion manchmal zusätzliche
externe Sensorik als Hilfsmittel hinzu. Beispielsweise ist bekannt,
eine Kamera mit einem fest montierten Beschleunigungs-Gyro-Sensor auszustatten,
um neben Bildern auch gleichzeitig die Rotation der Kamera aufzuzeichnen
(z.B. Suya You, Ulrich Neumann, and Ronald Azuma: Orientation Tracking
for Outdoor Augmented Reality Registration. IEEE Computer Graphics
and Applications 19, 6 (Nov/Dec 1999), 36–42). Der Rotationssensor misst
durch Beschleunigungsmesser (Gyroskop-Prinzip) die relative Änderung
der 3D Orientierung zwischen unterschiedlichen Aufnahmezeitpunkten.
Zusätzlich
können
weitere absolute Messgrößen wie
magnetischer Nordpol und Gravitation (Lot) zur Erzeugung einer absoluten
Orientierungsreferenz mit verwendet werden. Durch Integration der
relativen Änderung über die
Zeit wird eine absolute 3D-Orientierung bestimmt. Die Rotation des
Sensors kann durch 3 Winkel (Rx, Ry, Rz) um die 3 Raumachsen (X,
Y, Z) beschrieben werden (Euler-Winkel, vgl. 1a)
oder durch eine Rotation um eine Drehachse im Raum (vgl. 1b, Achse-Winkeldarstellung (A, α), auch:
Quaternionen-Darstellung).
-
Auf
diese Weise kann eine Entkopplung von Rotation und Translation der
Kamera erreicht werden, d.h. beide lassen sich getrennt bestimmen.
-
Bekannt
ist auch ein hernisphärisches
Bildaufnahmesystem, insbesondere eine Kamera mit Fischaugen-Objektiv.
Dieses bildet eine Hemisphäre
des Raumes auf eine Kreisscheibe in der Bildebene ab. Die 2D-Bildrepräsentation
erfolgt dabei in den Winkelkoordinaten über der Einheitshalbkugel.
Die Bildmitte bildet den Pol der Hemisphäre ab. Die Kugeloberfläche wird
durch zwei Winkel parametrisiert, welche entlang der Längengrade
(ϑ) und Breitengrade (φ)
der Kugel verlaufen (vgl. 2a). Ein
Punkt (ϑ, φ)
der Kugeloberfläche wird
durch die sphärische
Abbildung auf die Bildebene (x, y) abgebildet, wobei (x0,
y0) den Pol (optische Achse) abbildet (vgl. 2b).
-
Beispielsweise
aus der
US 6 002 430 ist
auch ein sphärisches
Bildaufnahmesystem bekannt, das den gesamten umgebenden Raum abbildet,
indem zwei mit dem Rücken
zueinander montierte hemisphärische Kameras
jeweils einen Halbraum aufnehmen.
-
Die
WO 00/60870 A1 schlägt
vor, eine Rundumsichtkamera umfassend ein Paar gegeneinander gerichtete
Fischaugen-Kameras zu Erkundungszwecken an ferngesteuerte Vehikel
zu montieren.
-
Aufgrund
des von Null verschiedenen Abstandes der beiden Kamerazentren ist
es dabei nahe liegend, Fischaugen-Objektive mit z.B. 190° Blickwinkel
zu verwenden, um beide Bilder zu einem vollständigen Rundumbild nahtlos zusammensetzen
zu können.
Dennoch existieren stets (i) eine „Totzone" der Vorrichtung in unmittelbarer Nachbarschaft
der Doppel-Kamera, die nicht eingesehen werden kann, sowie (ii)
eine „Nahzone", in der sich die
Parallaxenverschiebung der beiden Kameras bemerkbar macht. Für ausreichend
weit entfernte Szenenpunkte spielt der Kamerazentrenabstand indes
praktisch keine Rolle mehr.
-
Die
US 2004/0046888 A1 gibt ein Verfahren an, wie die Kalibrierparameter
einer Fischaugen-Kamera zur
Linearisierung der Abbildung einer Hemisphäre auf einen zweidimensionalen
Schirm ermittelt werden können.
-
Im
Bereich der so genannten „Augmented
Vision" ist man
bestrebt, Personen z.B. bei komplexen Arbeitsgängen zusätzliche Informationen in ihr
Sichtfeld einzublenden. Man stattet die Personen dazu etwa mit transparenten
Display-Brillen aus, die Texte oder Grafiken in eine Realansicht
einblenden können,
vergleichbar dem bekannten Head-Up Display (HUD) aus militärischen
Flugzeugen. Um die dazu erforderliche genaue Kenntnis der Lage der
Brille im 3D-Raum automatisch zu ermitteln, kann man Rundumsicht-Kameras
starr mit der Brille verbinden. Die Echtzeit-Analyse z.B. der Bewegung
von bekannten Markierungspunkten im aufgezeichneten Bild erlaubt
die Positionsbestimmung der Brille im Arbeitsraum. Um aber – etwa für Außenanwendungen – auf solche
Markierungen verzichten zu können,
sind wesentlich komplexere Bildanalysen erforderlich.
-
Dabei
wird es hilfreich sein, Einflüsse
von Rotation und Translation auf das Bild der a priori unbekannten
Szene getrennt zu analysieren. Es liegt deshalb nahe, auch hier
Rotationssensoren einzusetzen. Allerdings wurde bislang noch kein
Verfahren veröffentlicht,
wie die zusätzlichen
Rotationsdaten zur Echtzeit-Rotationsstabilisierung des sphärischen
Bildes zu benutzen sind.
-
Die
DE 697 15 397 T2 beschreibt
ein System zur Kompensation der Kamerabewegung in elektronisch aufgezeichneten
Bildern, bei dem mit externen Sensoren Kamerabewegungen erfasst
und daraus „Pixelinformationsübertragungsgeschwindigkeiten" errechnet werden.
Das Bild wird durch kontrolliertes Umkopieren der Pixelinformationen
gegen die Eigenbewegung der Kamera stabilisiert. Die Durchführung der
Lehre der
DE 697 15
397 T2 setzt allerdings die vollständige Information über Dreh-,
Nick- und Gierbewegungen sowie die Translation der Kamera voraus,
wie sie etwa bei der Luftbildaufzeichnung von der Flugzeugavionik bereitgestellt
werden. Wenn nur die Rotation der Kamera bekannt ist, kann eine
reine Rotationskompensation nach dem Verfahren der
DE 697 15 3 97 T2 nicht
durchgeführt
werden.
-
Es
ist daher die Aufgabe der Erfindung, das elektronisch aufgezeichnete
Bild einer sphärischen
Kamera in Echtzeit so zu bearbeiten, dass es bei der Darstellung
auf einem Sichtschirm (z.B. eines PC) gegenüber beliebigen Verdrehungen
der Kamera invariant bleibt.
-
Die
Aufgabe wird gelöst
durch ein Verfahren mit den Merkmalen des Anspruchs 1. Die Unteransprüche geben
vorteilhafte Ausgestaltungen an.
-
1 Mögliche
Darstellungen der Kameradrehungen, a) Euler-Winkel, b) Achse-Winkel-Darstellung;
-
2 Skizze der hemisphärischen Geometrie und ihres
zweidimensionalen Abbildes mit Bezeichnungen der hier benutzten
Koordinaten;
-
3 Schematischer
Verlauf der Kalibrierfunktion k(ϑ) eines Fischauge-Objektivs
-
Grundsätzliche
Voraussetzung zur Durchführung
des erfindungsgemäßen Verfahrens
ist die starre Kopplung einer sphärischen Kamera mit einem 3
DoF (Degree of Freedom) Rotationssensor.
-
Zur
vereinfachten Erläuterung
soll im Folgenden nur noch von einer einzelnen Fischaugen-Kamera die Rede sein,
die eine Hemisphäre
abbildet. Zur Rundumsicht wird das Verfahren für beide Kameras simultan angewendet,
und die erfindungsgemäß stabilisierten
Bilder werden dann in an sich bekannter Weise zusammengefügt.
-
Die
Pixelebene der Kamera erfordert ein zweidimensionales Koordinatensystem
im 3D-Raum. Die Orientierung der Pixelebene ist dabei beliebig.
Technische CCD-Chips weisen normalerweise rechteckige Pixel in rechtwinkliger
Anordnung auf, so dass das kartesische Koordinatensystem (x, y)
die natürliche
Wahl ist. Sein Ursprung liegt typisch in einem Eckpixel.
-
Durch
die sphärische
Projektion des Fischauges werden Objektpunkte auf einer Halbkugel
(o. B. d. A. mit Radius Eins) um das Kamerazentrum auf eine Kreisscheibe
in der Pixelebene abgebildet. Die natürlichen Koordinaten des Bildes
sind dann ebene Polarkoordinaten (r, φ). Die optische Achse der Kamera
soll senkrecht zur Pixelebene durch einen zentralen Pixel mit Koordinaten
(x0, y0) verlaufen.
Jeder Objektpunkt auf der Halbkugel erscheint unter einem Winkel ϑ zur
optischen Achse und ist zudem durch seine Azimutposition φ gekennzeichnet.
Die Festlegung von φ =
0 ist dabei willkürlich.
-
Die
Besonderheit der Fischaugen-Projektion besteht darin, dass der Winkel ϑ im
idealen Fall linear auf den Radius der Kreisscheibe abgebildet wird.
Dies ist in Praxis für
kleine Winkel sehr gut erfüllt,
aber für ϑ → 90° wird die
Abbildung typisch nicht-linear. 3 zeigt
exemplarisch die Kalibrierfunktion k(ϑ), die den jeweiligen
Umrechnungsfaktor von Winkel (z.B. Radian) auf Pixelkoordinaten
angibt und für
jedes Objektiv einmal zu bestimmen ist.
-
Das
sphärische
Bild kann wegen der oben genannten Linearität durch die Polarkoordinaten
(ϑ, φ)
beschrieben werden.
-
Lässt man
die Problematik diskreter Pixel außer acht, so besitzt ein Objektpunkt
auf der Halbkugel bei den Koordinaten (ϑ, φ) in der
Pixelebene die Pixelkoordinaten: xP = x0 +
k(ϑ) × ϑcos(φ) und yP = y0 + k(ϑ) × ϑsin(φ) (1)
-
Ändern sich
nun bei einer Drehung der Kamera die Winkelkoordinaten des Objekts,
etwa von (ϑ, φ) nach
(ϑ', φ'), so wandert auch
das Bild des Objekts von (xP, yP)
nach (xP',
yP').
Verlässt
es dabei die zulässigen Pixelkoordinaten
des CCD-Chips, so ist das Objekt durch die Kameradrehung aus dem
Blickfeld geraten. Es ist dann aber sicher im Blickfeld der zweiten,
rückwärts gerichteten
Kamera.
-
Das
Prinzip der erfindungsgemäßen Bildstabilisierung
besteht in der direkten Berechnung der Koordinatenverschiebungen
(xP, yP) → (xP',
yP')
für alle
Bildpunkte aus zusätzlichen
Rotationsdaten sowie in deren Rückgängigmachen
durch Umkopieren der Farbwerte von (xP', yP') zurück nach
(xP, yP). Dieses
Umkopieren ist heute in allen gängigen
Graphikkarten implementiert und für Echtzeitanwendungen optimiert,
z.B. zum Rotieren einer virtuellen Kamera in einem rechnergenerierten
Raum.
-
Die
Erfindung befasst sich daher allein mit der Abbildung (x
P, y
P) → (x
P',
y
P'),
die es schnell aus den Daten eines Rotationssensors zu bestimmen
gilt. Da die Kameradrehung in natürlicher Weise durch eine 3×3-Drehmatrix
beschrieben werden kann, ist es sinnvoll, das Problem dreidimensional
zu formulieren, wofür man
zusätzlich
eine z-Achse entlang der optischen Achse, also senkrecht zur Pixelebene,
definiert. Ebenso wird eine z'-Achse
im gedrehten Kamerakoordinatensystem eingeführt, und man kann schreiben
-
Dabei
bezeichnet M = M(ϑ', φ', ϑ,φ) eine 3×3-Matrix,
die von den neuen und alten Winkelkoordinaten des Objektpunktes
auf der Halbkugel nach und vor der Kameradrehung abhängt. Die
Erfindung zeigt nun einen Weg auf, sich diese Matrix schnell zu
verschaffen, was für
die Echtzeitstabilisierung des Bildes wesentlich ist.
-
Die
Gleichungen (1) lassen sich als Matrixgleichung zusammenfassen
wobei
K eine 3×3-Kalibriermatrix (mit Kalibrierfunktion
k(ϑ)) und
die Normdarstellung des Pixelpunktes
(x
P, y
P) in den
Polarkoordinaten (ϑ, φ)
ist. Die Matrix
K ist nur einmal
für alle ϑ aufzustellen
und abzuspeichern. Sie ist immer invertierbar, und die Normdarstellung
hat den Vorteil, dass sich
die 3D-Position
des zugehörigen Objektpunktes auf der
Halbkugel unmittelbar aus den Winkelkoordinaten – und damit aus der Normdarstellung – angeben
lässt.
Gemäß der bekannten
Definition sphärischer
Polarkoordinaten für
die Einheitskugel hat man nämlich
mit
so dass
A(ϑ) eine invertierbare Matrix
für ϑ ≠ 90°, 180° ist.
-
Ohnehin
ist der Fall ϑ = 180° hier
durch die eingangs getroffene Festlegung auf eine hemisphärische Kamera
ausgeschlossen. Zwar könnte
man eine 360°-Rundumsicht
auf eine einzige Kreisscheibe abbilden, aber dies hätte schon
wegen der damit verbundenen Verzerrungen Nachteile. Insbesondere
würde der
rückwärtige Pol
der Objektsphäre,
also bei ϑ = 180°,
auf den gesamten Rand der Kreisscheibe abgebildet werden.
-
Der
Fall ϑ = 90° kann
indes vorkommen, und er zieht wegen (A –1)zz = 1/cosϑ eine nicht definierte
(unendliche) Matrixkomponente nach sich. Die fragliche Komponente
ist aber nur ein Artefakt der Beschreibung. Es kann bei der Implementierung
abgefangen werden. Seine Herkunft wird weiter unten aufgezeigt.
-
Es
ist nach Aufstellen von Gleichung (5) besonders vorteilhaft, die
exakt bekannte Matrixfunktion A(ϑ) von
vornherein mit der nur einmal zu bestimmenden Matrix K –1(ϑ) zu multiplizieren
und in einer Tabelle für
alle ϑ abzuspeichern. Die Produktmatrix A K –1 ist
ebenfalls invertierbar mit (AK –1)–1 = KA –1 (6)und sollte
genauso berechnet und tabelliert werden.
-
Bei
der Kameradrehung liefert der Rotationssensor unmittelbar Messdaten
für die
um jede der Achsen gedrehten Winkel mit typischen Taktraten von
100–200
Messungen pro Sekunde, einer Winkelauflösung von typisch 0.05 Grad
und einer Kurzzeitgenauigkeit von 0.1–0.3 Grad. Hieraus lässt sich
sofort in an sich bekannter Weise eine 3×3-Drehmatrix aufstellen, die
die Koordinatentransformation eines beliebigen Raumpunktes in das
nunmehr gedrehte – mit
der Kamera verbundene – Koordinatensystem
erlaubt. Dies gilt auch für
jeden Objektpunkt der Einheitskugel, insbesondere für
Im gedrehten Koordinatensystem
besitzt er die Darstellung
und da Gleichung (5) natürlich auch
im gedrehten Koordinatensystem gilt, hat man
-
Der
Vergleich mit Gleichung (2) zeigt, dass die dort auftretende Matrix M mit dem Matrixprodukt in
Gleichung (8) identisch ist. Dieses wird effektiv als Produkt aus
drei 3×3-Matrizen
für jeden
Pixel berechnet – zwei tabellierten
Matrizen und einer gemessenen Rotationsmatrix, die für das gesamte
Bild zu einem festen Zeitpunkt gilt.
-
Gleichung
(8) erklärt
auch, wie die unendliche Matrixkomponente (
A –1)
zz entsteht.
Ein Objektpunkt
bei ϑ' = 90° befindet
sich in der Ebene des Kamerazentrums, um das gedreht wurde, also
bei
Gleichwohl soll sein
was nur geht, wenn (A
–1)
zz gegen Unendlich strebt. Die Wahl der z-Komponente
Eins bei der Erhebung der Pixelkoordinaten in die dritte Dimension
ist eine willkürliche,
aber bequeme Festlegung in Gleichung (2). Sie verursacht das Beschreibungsproblem
für ϑ' = 90°.
-
Das
Ausführen
von 3×3-Matrixprodukten
ist durch moderne Hardwareimplementierung heute mit sehr hoher Geschwindigkeit
möglich.
Durch Vorausberechnung des Mapping in Tabellen kann die Rotationskompensation
des Bildes echtzeitfähig,
d.h. schritthaltend mit der Taktrate der Bildaufnahme, durchgeführt werden. Typische
Bildaufnahmeraten sind hierbei 15–30 Bilder pro Sekunde. Mit
Hilfe dieses Mapping lassen sich die Farbwerte aus ihren neuen Positionen
auslesen und auf ihre alten zurückkopieren.
-
Bei
einer Drehung der Kamera um das Kamerazentrum – in Abwesenheit von Kamera-Translation – ergibt
sich so im Rechner und ggf. auf dem Monitor ein statisches, sphärisches
Bild. Wird die Position des Kamerazentrums zusätzlich verändert, zeigt das Bild eine
rotationsfreie Verschiebung der Szene, aus der sich der Translationszustand
der Kamera vereinfacht rekonstruieren lässt.
-
Wenn
die Bildstabilisierung besonders schnell erfolgen soll oder wenn
sehr große
Bilder zu stabilisieren sind, ist es eine vorteilhafte Ausführungsform
des erfindungsgemäßen Verfahrens,
das Mapping nicht für alle
Pixel, sondern nur für
eine Auswahl aus diesen durchzuführen.
Wählt man
insbesondere die Knotenpunkte eines über das Bild gelegten Dreiecksmaschen-Netzes
(„triangular
mesh"), so werden
zunächst
zwar nur diese Netzpunkte zurückkopiert,
aber moderne Graphikkarten verfügen
auch über
einen so genannten „Fragment-Shader", welcher Farbwerte
zwischen bekannten Stützstellen
interpolieren kann. Dies kommt typisch bei der Texturierung von
Computergraphiken zum Einsatz. Bei vielen Anwendungen (gerade auch
im Bereich des menschlichen Sehens) wird es auf die pixelgenaue
Stabilisierung des Bildes nicht ankommen, so dass die Reduktion
des Verfahrens auf wenige Netzknoten hohe Geschwindigkeitsvorteile
bringen kann.
die Normdarstellung des Pixelpunktes (xP, yP) in den Polarkoordinaten (ϑ, φ) ist. Die Matrix K ist nur einmal für alle ϑ aufzustellen und abzuspeichern. Sie ist immer invertierbar, und die Normdarstellung
hat den Vorteil, dass sich die 3D-Position
des zugehörigen Objektpunktes auf der Halbkugel unmittelbar aus den Winkelkoordinaten – und damit aus der Normdarstellung – angeben lässt. Gemäß der bekannten Definition sphärischer Polarkoordinaten für die Einheitskugel hat man nämlich
mit
so dass A(ϑ) eine invertierbare Matrix für ϑ ≠ 90°, 180° ist.
und da Gleichung (5) natürlich auch im gedrehten Koordinatensystem gilt, hat man
Gleichwohl soll sein
was nur geht, wenn (A–1)zz gegen Unendlich strebt. Die Wahl der z-Komponente Eins bei der Erhebung der Pixelkoordinaten in die dritte Dimension ist eine willkürliche, aber bequeme Festlegung in Gleichung (2). Sie verursacht das Beschreibungsproblem für ϑ' = 90°.