AT502356B1 - Verfahren zur automatischen ermittlung der kalibrierung und projektion einer überwachungs-kamera - Google Patents

Description

2 AT 502 356 B1

Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Patentanspruches 1.

Aus der US 6,285,393 ist ein derartiges Verfahren vom Prinzip her bekannt. Dabei wird ein Schnittpunkt bzw. Fluchtpunkt von parallelen Kanten entlang der Straßenränder ermittelt. Durch 5 eine Hough-Transformation werden die Linien im Bild ermittelt und durch eine nochmalige Hough-Transformation wird der Fluchtpunkt in Fahrtrichtung bestimmt. Auch die JP 2003329411 A beschreibt ein einschlägiges Verfahren. Aus dem Stand der Technik ist es bekannt, die Orientierung und Position einer Kamera zu bestimmen, aber nicht gleichzeitig auch ihre Kalibrierung unter Annahme von internen Kameraparametern vorzunehmen. 10

Die Erfindung betrifft vor allem die Bestimmung der Abbildungsgeometrie einer perspektivischen Kamera. Die Kamera ist fix montiert und besitzt ein Objektiv mit fixer Brennweite. Die durch die Kamera betrachtete Welt, auch Szene genannt, kann somit weitgehend als statisch angenommen werden. Davon ausgenommen sind Objekte, die sich durch die Szene bewegen. 15

Die geometrische Abbildung der Szene in das Kamerabild wird mathematisch durch eine Projektion ausgedrückt. Abb. 1 illustriert anhand einer Zeichnung diese Projektion. Die Kenntnis der Projektion ist gleichbedeutend mit der Kenntnis der internen Kameraparameter und dreier Fluchtpunkte, dreier rechtwinkeliger Richtungen in der Szene. Das Kartesische Weltkoordina-2o tensystem kann dabei beliebig im Euklidischen Raum der Szene gewählt werden.

Im Folgenden wird Abb. 1 näher erläutert. Ein Punkt M im Euklidischen Raum wird durch Koordinaten im Kartesischen Weltkoordinatensystem (l,J,K) dargestellt. M kann aber auch im Kamerakoordinatensystem (Χ,Υ,Ζ) dargestellt werden. Die Koordinatentransformation wird durch eine 25 Rotation R und eine Verschiebung -RC beschrieben. C ist das optische Zentrum der Kamera ausgedrückt im Weltkoordinatensystem. Die Projektion P ist eine Abbildung der Punkte in (l,J,K) in das Bildkoordinatensystem (u,v) mit P = [KR|-RC], K sind die internen Kameraparameter. Der Punkt M wird durch P in den Bildpunkt m = PM abgebildet. 30 In vielen praktischen Anwendungen im Bereich der Videoüberwachung ist eine Kenntnis der Abbildungsgeometrie notwendig, z.B. der Vergleich von Größen oder die Bestimmung geometrischer Beziehungen mehrerer Kameras in einem gemeinsamen Koordinatensystem. Speziell letztere Anwendung gewinnt in der automatischen Videoüberwachung zunehmend an Bedeutung. Im Zusammenhang mit dem Einsatz von Kameras zur Videoüberwachung stellt sich somit 35 das Problem der Kenntnis der Abbildungsgeometrie - im Genaueren der Ermittlung der konkreten Projektion. Gängige Verfahren nutzen bekannte Punkte in der Szene und deren Abbilder im Kamerabild, um die Projektion zu ermitteln. Diese „Kalibrierung“ erfolgt für jede Kamera manuell durch einen Experten. 40 Die manuelle Kalibrierung ist ein aufwendiges und anfälliges Verfahren. Erfahrungsgemäß ändert sich die Projektion mit der Lebensdauer einer Kamera, z.B. durch Wartungsarbeiten oder andere äußere Einflüsse. Daher muss die Kalibrierung einer Kamera in regelmäßigen Intervallen wiederholt werden. Bei Videoüberwachungssystemen mit hunderten Kameras entstehen dadurch beträchtliche Kosten. 45

Ziel der Erfindung ist die Entwicklung eines automatischen Kalibrierverfahrens ohne Benutzerinteraktion. Nach einer initialen Bestimmung der Projektion soll diese über die gesamte Lebensdauer der Kamerainstallation adaptiert werden können. Bei abrupten Änderungen der Projektion soll automatisch eine neuerliche Initialisierung und anschließende Adaptierung vorgenommen so werden können.

Diese Ziele werden bei einem Verfahren der eingangs genannten Art mit den im kennzeichnenden Teil des Anspruches 1 angegebenen Merkmalen erreicht. 55 Die Bestimmung der Projektion bzw. Projektionsgleichungen ist vorteilhaft - auch die Möglich- 3 AT 502 356 B1 keit, diese zu vorgegebenen Zeiten selbständig zu adaptieren.

Der Einsatz der Erfindung bedarf Szenen mit geradlinigen und rechtwinkeligen Elementen im Bild. In urbanen Szenen aber auch in Gebäudeszenen sind Elemente mit diesen Eigenschaften 5 wie Fassaden, Fenster, Türen, etc. zumeist vorhanden. Teile dieser Elemente bilden sich als Liniensegmente im Bild ab. Eine wichtige Annahme des Verfahrens ist, dass Schnittpunkte, in denen sich möglichst viele Liniensegmente schneiden, Fluchtpunkte sind. Eine weitere Annahme ist, dass diese Fluchtpunkte rechtwinkelige Richtungen in der Szene beschreiben. Diese Annahmen gelten nicht generell für alle existierenden Szenen aber zumindest doch für sehr io viele Szenen, in denen sich künstliche und rechtwinkelige Strukturen befinden.

Die Erfindung setzt Annahmen über die internen Kameraparameter voraus. Für eine Durchführung der Erfindung wird eine bekannte Pixelscherung angenommen und das Seitenverhältnis der Pixel muss konstant und bekannt sein. Diese Annahmen sind bei heutzutage erhältlichen 15 Videokameras durchaus gültig. Technische Informationen über die Kameras können aus den Datenblättern der Hersteller entnommen werden. Bei der Detektierung von drei im endlichen der Bildebene liegenden Fluchtpunkten, die paarweise, zueinander rechtwinkelige Richtungen in der Szene repräsentieren, kann der Bildhauptpunkt als Mittelpunkt des Bildes angenommen werden. Bei nur zwei detektierten Fluchtpunkten oder drei detektierten Fluchtpunkten, wobei ein 20 Fluchtpunkt in der Unendlichkeit der Bildebene liegt, muss der Bildhauptpunkt als Mittelpunkt des Bildes angenommen werden.

Im Folgenden wird die Erfindung anhand der Zeichnungen näher erläutert. 25 Abb. 2 - Abb. 4 zeigen detektierte Liniensegmente, die drei rechtwinklige Richtungen in der Szene repräsentieren. Abb. 2 zeigt detektierte Liniensegmente, die weiß eingezeichnet sind und sich in einem Fluchtpunkt v1 schneiden, der aus den Liniensegmenten ermittelt wurde. Abb. 3 zeigt detektierte Liniensegmente, die weiß eingezeichnet sind und sich in einem Fluchtpunkt v2 schneiden, der mit diesen Liniensegmenten ermittelt wurde. Abb. 4 zeigt detektierte Linienseg-30 mente, die weiß eingezeichnet sind, die sich in einem Fluchtpunkt v3 schneiden und mit diesen Liniensegmenten ermittelt wurde. Abb. 5 zeigt während der Initialisierung auftretende Meldungen betreffend die Kalibrierung. Abb. 6 zeigt im Zuge der Adaptierung detektierte Liniensegmente. Diese Liniensegmente sind schwarz eingezeichnet. Dabei werden Liniensegmente, die nicht einem Fluchtpunkt zugeordnet werden können, erkannt. Abb. 7 zeigt, dass die Adaptie-35 rung eine Verbesserung in den internen Kameraparametern bringt. Die Darstellung zeigt den relativen Fehler zwischen den vom Verfahren geschätzten Werten für die Brennweite f und den Bildhauptpunkt c aufgetragen über den wahren Werten, die durch eine sehr genaue manuelle Kalibrierung ermittelt wurden. Abb. 8a zeigt ein Flussdiagramm der Initialisierungsphase. Abb. 8b zeigt ein Flussdiagramm der Adaptierungsphase. 40

Das erfindungsgemäße Verfahren umfasst eine Initialisierungsphase und eine Adaptierungsphase nach erfolgter Initialisierung. Zur Initialisierung (Abb. 8a) werden folgende Schritte vorgenommen: 45 (1) Zum Zeitpunkt t = 0 erfolgt eine Bildaufnahme. (2) Das Bild lt wird mit einer Auflösung XmaxYmax aufgenommen. (3) Kanten {ei.....eN} in lt werden detektiert. 50 (4) Liniensegmente {h,..., IN} in den Kanten {e^ ..., eN} werden detektiert. (5) Allenfalls werden die Liniensegmente entsprechend der Linsenverzerrung in lt korrigiert. 55 (6) Paarweise rechtwinkelige Fluchtpunkte {v1t v2} oder {vt, v2, v3} und deren Varianzen bzw. 4 AT 502 356 B1

Kovarianzen in den Koordinaten, ausgedrückt durch {A^ A2} bzw. (A^ A2, A3} mit {h,In} werden mit Hilfe von RANSAC (Random Sample Consensus) bestimmt. Die Liniensegmente werden automatisch im Bild erkannt. Mindestens ein Paar von Fluchtpunkten zweier zueinander rechtwinkeliger Richtungen wird mit einem auf RANSAC basierten Verfah-5 ren identifiziert. (7) Entweder Brennweite f oder Brennweite f und Bildhauptpunkt c werden entweder mit {Vi, v2} oder {v!, v2, v3} und folgenden, vorteilhaften Annahmen über die Kamera bestimmt: 10

Pixelscherung k = 0,

Seitenverhältnis der Pixel r konstant, • wahlweise sind die Koordinaten des Bildhauptpunktes c = (uc vc) = (ΧΜΑχ/2 YmaxI2).

Es erfolgt eine Kalibrierung der internen 15

Kameraparameter K = f k uc 0 rf vc 0 0 1. mit dem Bild des absoluten Konus ω = ICrfC1, durch 20 25 30 35 Lösung des folgenden linearen Gleichungssystems: ν,τ ω Vj =0 (1 0 0)τω(0 10)= 0 (1 r 0)Γω(0 -10)= 0 cu c = (0 0 1 )r

Daraufhin erfolgt vorteilhafterweise eine Überprüfung der Korrektheit der Brennweite f durch deren Vergleich mit der bekannten Brennweite des Objektivs f0, da die abgewickelte Vorgangsweise nicht die Korrektheit dieser ermittelten Brennweite garantiert. Daher wird in einem nächsten Schritt die ermittelte Brennweite mit der bekannten Brennweite des Kameraobjektivs verglichen. Sofern sich die ermittelte Brennweite außerhalb eines Toleranzbereichs bewegt, wird die Kalibrierung verworfen und das Verfahren wird mit einem neuen Bild wiederholt. Es ist darauf hinzuweisen, dass die Richtigkeit der Kalibrierung bei einem erfolgreichen Brennweitenvergleich nur bei gegebener Annahme des Bildhauptpunktes garantiert ist. Ansonsten lässt die freie Wahl des Bildhauptpunktes auch unrichtige Lösungen der Kalibrierung zu. (8) Zum Zeitpunkt t = t+1 erfolgt ein neuerlicher Kalibrierungsversuch, sofern der Vergleich der Brennweiten negativ zu bewerten ist. 40 (9) Es erfolgt eine Überprüfung der Kalibrierung mit der Maßgabe, dass für den Fall, dass Schritt (7) nicht erfolgreich ist und KTmax, zu Schritt (2) zurückgegangen wird. (10) Wenn Kalibrierungsversuche für eine Zeitspanne Tmax erfolgt sind und die Kalibrierung 45 nicht erfolgreich abgeschlossen ist, wird die Vorgangsweise als erfolglos abgebrochen und allenfalls mit einer geänderten Szene neu begonnen. (11) Wenn in Schritt (6) nur zwei Fluchtpunkte bestimmt werden konnten wird v3 mit v3 = KKT (vi x v2) bestimmt. (KT = transponierte Matrix K). Im Falle von nur zwei detektierten so Fluchtpunkten und bei erfolgreicher Kalibrierung wird somit der zu diesem Fluchtpunkt paar jeweils paarweise, rechtwinkelige dritte Fluchtpunkt ermittelt. Mit den internen Kameraparametern und den identifizierten Fluchtpunkten wird dann die Projektion bestimmt. (12) Die Projektion P kann bis auf einen Freiheitsgrad μ und 6 (Vorzeichen) x 4 (Reihenfolge 55 der νί) = 24 Äquivalenzen von P ermittelt werden: 5 10 AT 502 356 B1 (a) Bestimmung der Rotation pR = μ{±η ±r2 ±r3) = p/C1(Vi v2 v3) = μΚ\ν2 v3 Vi)=..., wobei das Vorzeichen von r3 durch das Festlegen der Vorzeichen von γλ und r2 mit r3 r\ x r2 festgelegt ist, (b) Ersatz von R durch pR = μ{±τλΙ||u || ±r2l||r21| irj || r31|), 1 0 0 0 1 0 _0 0 det(UVT)_ (c) Zerlegung von R = USVT und (d) Korrektur von R durch den Ersatz von S mit (e) Bestimmungen von P=[pKR\c],

Zur Adaptierung (Abb. 8b) werden folgende Schritte gesetzt: (1) Wie Schritt (2) der Initialisierungsphase. 15 (2) Wie Schritt (3) der Initialisierungsphase. (3) Wie Schritt (4) der Initialisierungsphase. 20 (4) Wie Schritt (5) der Initialisierungsphase. (5) E-step: Zuordnung der Liniensegmente (h.....IN} zu den Fluchtpunkten {vi, v2, v3}. Falls ein Liniensegment lj keinem Fluchtpunkt {v^ v2, v3} zugeordnet werden kann, so ist es ein nicht zuordenbares Liniensegment. 25 (6) Wenn mehr als K % der N Liniensegmente nicht zuordenbar sind, dann wird erneut die Initialisierung gestartet. (7) M-step: Optimierung der Fluchtpunkte {v1( v2, v3} und {Ai, A2, A3} mit Liniensegmenten 30 {li.....IN} zu {vopti, vopt2, vopt3} und {Aopti, Aopt2, Aopt3}. (8) Wenn trace(Aj) < trace(Aoptl), Adaptierung von v, mit v! = Avoptj + (1 - λ)νΓ für alle 1 < i< N und konstanter Lernrate λ. Damit werden neue Fluchtpunkte definiert. 35 (9) Wie Schritt (7) der Initialisierungsphase. Allenfalls erfolgt eine Überprüfung der Korrektheit von f mit der Brennweite des Objektivs f0. Wenn diese misslingt oder die notwendige Cholesky Zerlegung von ω = ΚτΚλ bezüglich K aufgrund einer nicht positiv definiten Matrix ω nicht möglich ist, so wird erneut die Initialisierung gestartet. 40 (10) Zum Zeitpunkt t = t+1 wird die Projektion P wie in Schritt (12) der Initialisierungsphase ermittelt. (11) Zurück zu (1), um zu einem vorgegebenen Zeitpunkt einen neuerlichen Adaptierungsvor-45 gang zu starten.

In Schritt (5) und (7) der Adaptierungsphase werden die bereits bekannten Fluchtpunkte mit den Liniensegmenten und einem EM (Expectation Maximization) basierten on-line Verfahren adaptiert. Allerdings erfolgt diese Adaptierung nur, wenn sie zu einer Verbesserung in der Position so der Fluchtpunkte führt (siehe Schritt (8)). Verbesserung bedeutet geringere Varianzen in den Positionen, z.B. verringert sich die Varianz in der Position eines Fluchtpunktes, je mehr Liniensegmente sich in diesem Fluchtpunkt treffen. Weiters verringert sich die Varianz, je größer der Winkel zwischen zwei Liniensegmenten ist. Um diese Verbesserung quantitativ messen zu können, wird eine Fehleranalyse, d.h. die Bestimmung der Varianzen bzw. Kovarianzen, auf 55 Basis der Unsicherheit in der Detektierung der Liniensegmente durchgeführt. Dazu wird der 6 AT 502 356 B1

Fehler in den Endpunkten der Liniensegmente als normalverteilt mit bekannter Standardabweichung (zumeist 1/4 Pixel) angenommen. Danach erfolgt neuerlich die Kalibrierung und Bestimmung der Projektion mit den gegebenenfalls adaptierten Fluchtpunkten. 5 Falls alle Liniensegmente mehrheitlich keinem Fluchtpunkt zugeordnet werden können, ist eine Änderung in der Projektion eingetreten. Auch die Kalibrierung kann zu einem Fehler führen. Daher wird in diesen beiden Fällen die Projektion verworfen und das gesamte Verfahren (Initialisierung und Adaptierung) neuerlich gestartet. io Bei der Bestimmung der Projektion wird derart vorgegangen, dass die Projektion P bis auf einen Freiheitsgrad μ und 6 (Vorzeichen) x 4 (Reihenfolge der v,) = 24 Äquivalenzen von P durch die angegebenen Gleichungen bestimmt wird. Ferner ist vorgesehen, dass unter der Annahme einer aufrechten Kamerahaltung (Natural Pose) die Fluchtlinie der Grundebene im Bild (Horizont) und der dazu vertikale Fluchtpunkt eindeutig bestimmbar sind. Aufrechte Kamerahaltung 15 bedeutet, dass die u-Achse des Bildkoordinatensystems (siehe Abb. 1) weitgehend parallel zur Grundebene ist. Die Grundebene wird durch die I-Achse und J-Achse des Weltkoordinatensystems aufgespannt. Um den Horizont zu bestimmen, werden alle Fluchtlinien (^ = ^ χ V2J2 = Vi x v3,/3 = v2 * v3) der Fluchtpunkte (v^ v2, v3) bestimmt. Jene Fluchtlinie Ij (1 < j £ 3) die den spitzesten Winkel mit der u-Achse (Abszisse) des Bildes einschließt ist unter gegebenen An-20 nahmen der Horizont. Der verbleibende dritte Fluchtpunkt ist der entsprechend vertikale Fluchtpunkt.

Durch Bestimmung des Horizontes und des vertikalen Fluchtpunktes können die 24 Äquivalenzen von P auf 8 Äquivalenzen reduziert werden. 25

Die Korrektur der Linsenverzerrung kann mit Verfahren erfolgen, so wie sie in Frederic Dever-nay und Olivier Faugeras, Straight lines have to be straight, Machine Vision and Applications, Vol. 13, No. 1, Seiten 14-24, Springer Verlag, 2001, beschrieben wird. 30 Ein Verfahren zur Detektierung von Kanten kann gemäß J. Canny, A computational approach to edge detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 8, No. 6, 1986, erfolgen.

Liniensegmente können wie in D.S. Guru, B.H. Shekar und P. Nagabhushan, A simple and 35 robust line detection algorithm based on small eigenvalue analysis, Pattern Recognition Letters, Vol. 25, No. 1, Seiten 1-13, Elsevier Science, 2004, beschrieben, detektiert werden.

Kalibrierungsverfahren für die Initialisierung bzw. für die Adaptierung sind aus Richard Hartley and Andrew Zisserman, Multiple View Geometry, Cambridge Press, 2003, bekannt. In dieser 40 Literaturstelle ist auch das RANSAC-Verfahren beschrieben.

Bei der Initialisierung ermittelt zunächst RANSAC den Fluchtpunkt vA mit den Liniensegmenten {h, ..., IN}, wobei {In, ..., I1M} alle Liniensegmente sind, die sich in Vi schneiden. Ein Fluchtpunkt v2 wird dann durch eine wiederholte Anwendung von RANSAC mit den Liniensegmenten 45 {h, ..., lN}\{lii, .... Iim} ermittelt, wobei {l2i.....I2M} alle Liniensegmente sind, die sich in v2 schnei den. Falls drei rechtwinkelige Richtungen in der Welt durch Liniensegmente im Bild repräsentiert werden, wird ein Fluchtpunkt v3 durch eine wiederholte Anwendung von RANSAC mit den

Liniensegmenten {h..... lN}\{l11p .... I1MWI21. . >2m} ermittelt. Für jedes Vj wird überprüft, ob (Vj - vi)TAi\vj - vj) < ε ist, d.h. ob Vj äquivalent zu einem Fluchtpunkt v, ist, der bereits detektiert 50 wurde. A, ist dabei die Varianz-Kovarianz Matrix von v,. ε ist das 95%-Quantil der x2-Verteilung. Falls diese Äquivalenz zutrifft, wird RANSAC wie beschrieben wiederholt angewandt, bis zwei bzw. drei verschiedene Fluchtpunkte detektiert wurden.

Diese beschriebene Fluchtpunktermittlung liefert mit den gegebenen Annahmen über die Szene 55 und die Fluchtpunkte korrekte Lösungen. Im Gegensatz dazu findet das in Jana Kosecka und

Claims (7)

1. 7 AT 502 356 B1 W. Zhang, Video Compass, European Conference on Computer Vision, LNCS 2350, Seiten 476-491, Springer Verlag, beschriebene Verfahren nicht in allen Fällen korrekte Lösungen. Das erwähnte adaptive EM Verfahren ist zum Teil in Eric Brochu, Nando de Freitas and Kejie 5 Bao, Owed to a Martingale: A fast Bayesian on-line EM algorithm for multinomal models, Technical Report, University of British Columbia, 2004, beschrieben. Die Abbildungen 2-4 zeigen Ergebnisse nach Detektierung der Liniensegmente in Schritt (4) der Initialisierung. Die Szene zeigt einen öffentlichen Bereich. Bei der Kamera handelte es sich um io eine Lumenera 125C mit einem Tamron Objektiv mit f0 = 3731.3 pixel. Die Auflösung betrug Xmax = 1280 und Ymax = 1024. Abbildung 5 zeigt die Ergebnisse nach Ausführung der Initialisierung. Die gemeldete Konfidenz in den internen Kameraparametern entspricht deren Varianz, die durch Fehleranalyse aus den 15 Varianzen und Kovarianzen {Ai, A2, A3} ermittelt wurden. Abbildung 6 zeigt erkannte Liniensegmente nach Detektierung der Liniensegmente in Schritt (3) der Adaptierung bei t = 301. Die Szene zeigt ein Büro. 20 Abbildung 7 zeigt, dass die Adaptierung eine wesentliche Verbesserung der internen Kameraparameter gewährleistet bzw. der relative Fehler rasch abnimmt. Patentansprüche: 25 1. Verfahren zur automatischen Ermittlung der Projektion bzw. zur Kalibrierung einer, insbesondere fix aufgestellten, perspektivischen Überwachungs-Kamera mit vorgegebener Objektiv-Brennweite (f0) bzw. vorgegebenem Objektiv-Brennweitenbereich und vorgegebenen Annahmen über die internen Kameraparameter, insbesondere betreffend Pixelscherung 30 (k), Seitenverhältnis (r) der Pixel und Lage des Bildhauptpunktes (c), wobei aus aufgenommenen Liniensegmenten (h.....IN) Fluchtpunkte (vh v2) ermittelt werden, dadurch ge kennzeichnet, - dass nach Installierung der Kamera zu deren Initialisierung in einem von der Szene aufgenommenen Bild Liniensegmente (L, .... IN) detektiert und damit zumindest ein Paar von 35 Fluchtpunkten (vi, v2) für zwei zueinander im rechten Winkel stehende Richtungen ermittelt wird, - dass unter Einsatz der Annahmen über die internen Kameraparameter und der ermittelten Fluchtpunkte (v^ v2) das den Zusammenhang zwischen den Kameraparametern und den Fluchtpunkten (vi, v2) einerseits und der Brennweite (f0) andererseits beschreibende linea- 40 re Gleichungssystem bezüglich des Wertes für die Brennweite (f0) gelöst wird und die Pro jektion (P) mit dem ermittelten Wert bestimmt wird, - dass zur zeitweisen oder laufenden Adaptierung der Projektion versucht wird, die in weiteren, aufgenommenen Bildern bestimmten Liniensegmente (h, ..., IN) den bereits vorhandenen ermittelten Fluchtpunkten (v^ v2) zuzuordnen, 45 - dass bei Überschreiten einer vorgegebenen Anzahl (K% von N) von diesen Fluchtpunkten (vi, v2) nicht zuordenbaren Liniensegmenten (h, .... IN) erneut eine Initialisierung erfolgt oder - dass andernfalls basierend auf dem Verlauf der den einzelnen Fluchtpunkten (v1( v2) zugeordneten Liniensegmente (L.....IN) eine Adaptierung bzw. Berichtigung der Lage des so jeweiligen Fluchtpunktes (vn, v2) vorgenommen wird und die Werte der neu ermittelten Fluchtpunkte (vopti, vopt2, vopt3) zur Lösung des linearen Gleichungssystems herangezogen werden und - dass bei einer nicht erfolgreichen Lösung des Gleichungssystems bzw. Kalibrierung erneut eine Initialisierung erfolgt. 55 8 AT 502 356 B1
2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der ermittelte Wert für die Brennweite (f) mit der vorgegebenen Objektiv-Brennweite (f0) bzw. dem vorgegebenen Objektiv-Brennweitenbereich verglichen wird und bei Einhaltung eines Toleranzbereichs die Kalibrierung als erfolgreich angesehen und die Projektion (P) mit dem ermittelten Wert bestimmt wird.
3. 3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, - dass in der Initialisierungsphase zuerst eine Ermittlung der Projektion bzw. der Kalibrierung mit drei Fluchtpunkten (v^ v2l v3) versucht wird und - dass nach TMAx erfolglosen Versuchen neuerlich die Initialisierung mit zwei Fluchtpunkten (vi, v2) wiederholt wird.
4. 4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass bei der Er mittlung der Fluchtpunkte vorerst zwei Fluchtpunkte (v1f v2) zweier im rechten Winkel stehender Richtungen aufgrund der Liniensegmente (L..... In) bestimmt werden, dass erst nach Feststellung, dass der Toleranzbereich eingehalten wird, ein dritter zu den beiden anderen Fluchtpunkten (vi, v2) paarweise senkrechter Fluchtpunkt (v3) ermittelt und ebenfalls zur Bestimmung der Projektion (P) herangezogen wird.
5. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass eine Kalibrierung der internen Kameraparameter K = f k uc 0 rf vc 0 0 1 mit dem Bild des absoluten Konus ω = KTK'\ durch Lösung des folgenden linearen Gleichungssystems erfolgt: ViT ω Vj =0 (1 0 0)τω(0 1 0) = 0 (1 r 0)' ω (0 -10)= 0 IOC = (0 0 1 )T 6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Projektion P bis auf einen Freiheitsgrad μ und 6 (Vorzeichen) x 4 (Reihenfolge der vj = 24 Äquivalenzen von P durch (a) Bestimmung der Rotation pR = μ(±η ±r2 ±r3) = μΚ'1(νι v2 v3) = μΚ'1(ν2 v3 v1)=...I wobei das Vorzeichen von r3 durch das Festlegen der Vorzeichen von η und r2 mit r3 = n x r2 festgelegt ist, (b) Ersatz von R durch μΡΙ = μ(±η/1| n || ±r2l || r21| irV || r31|), (c) Zerlegung von R = USVT und 1 0 0 0 1 0 0 0 det(UVT) (d) Korrektur von R durch den Ersatz von S mit (e) Bestimmungen von P=tyKR\c], ermittelt wird.
6. 7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, - dass unter Zugrundelegung einer aufrechten Kamerahaltung (Natural Pose) die Fluchtlinie der Grundebene im Bild (Horizont) und der dazu vertikale Fluchtpunkt eindeutig bestimmt werden, wobei als aufrechte Kamerahaltung verstanden wird, dass die u-Achse des Bildkoordinatensystems weitgehend parallel zur Grundebene verläuft, die I-Achse und J-Achse des Weltkoordinatensystems aufgespannt wird, 9 AT 502 356 B1 - dass zur Bestimmung des Horizontes alle Fluchtlinien (h = * V2J2 = v1 * v3,l3 = v2 * v3) der Fluchtpunkte (v^ v2, v3) bestimmt werden, - dass jene Fluchtlinie lj (1 <y < 3), die den spitzesten Winkel mit der u-Achse als Abszisse des Bildes einschließt, als der Horizont angesehen wird, 5 - dass der verbleibende dritte Fluchtpunkt als der entsprechend vertikale Fluchtpunkt an gesehen wird, - dass durch diese Bestimmung des Horizontes und des vertikalen Fluchtpunktes die 24 Äquivalenzen von P auf 8 Äquivalenzen reduziert werden.
7. 8. Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das Verfahren nach jedem beliebigen der Ansprüche 1 bis 7 durchzuführen, wenn das Programmprodukt auf einem Computer ausgeführt wird. 15 Hiezu 5 Blatt Zeichnungen 20 25 30 35 40 45 50 55