DE10341822A1

DE10341822A1 - Verfahren und Anordnung zur photogrammetrischen Messbildaufnahme und -verarbeitung

Info

Publication number: DE10341822A1
Application number: DE2003141822
Authority: DE
Inventors: Ulrich Claus
Original assignee: Clauss Ulrich Dr-Ing
Current assignee: Clauss Ulrich Dr-Ing
Priority date: 2003-09-09
Filing date: 2003-09-09
Publication date: 2005-09-29

Abstract

Es sollen fotogrammetrisch auswertbare fotografische Abbildungen aus einem Beobachtungsstandort ohne prinzipielle Bildwinkelbegrenzung und mit minimalen Abbildungsfehlern bei hohem geometrischen Auflösungsvermögen hergestellt, in einem gemeinsamen, universellen Modellkoordinatensystem gespeichert und durch geometrisch korrekte Messbildentzerrung in beliebige Flächen zentralperspektivisch entzerrt werden. Optional soll eine automatische Extrapolation geometrischer Primitive zur schnellen und präzisen Aufmessung von Gebäuden und Innenräumen als Anwendungsbeispiel ableitbar sein. DOLLAR A Erfindungsgemäß erfolgt die Speicherung der gewonnenen Bildinformation in einem sphärischen Koordinatensystem auf einer virtuellen Kugeloberfläche mit dem Beobachtungspunkt in deren Zentrum, wobeii eine kameraspezifische Zuordnungsmatrix zusammen mit einer eventuellen Verschwenkung, Neigung oder Kantung der Kamera bei der Koordinatentransformation berücksichtigt wird. Eine zusätzliche Entfernungsbestimmung verwendet strukturierte Beleuchtung. Eine Aufnahmeanordnung zur Durchführung des Verfahrens sowie zahlreiche vorteilhafte Ausgestaltungen werden beschrieben. DOLLAR A Die Erfindung eignet sich für alle Aufgabenbereiche der maßgetreuen fotografischen Aufnahme dreidimensionaler Objekte im Raum und deren metrologische Auswertung.

Description

Einsatzgebiet und technischer Hintergrund
Die Erfindung betrifft das Gebiet der maßgetreuen fotografischen Aufnahme dreidimensionaler Objekte im Raum und der automatischen Gewinnung deren räumlicher Koordinaten ohne verfahrensbedingte Bildwinkelgrenzen mit den Mitteln der rechentechnisch unterstützten elektronischen Bilderfassung und -verarbeitung. Stellvertretende Anwendungsgebiete sind alle Aufgaben der photogrammetrischen Datengewinnung, beispielsweise für bauliche Aufmaße, industrielle Anlagendokumentation, Facility Management oder geologische Vermessungen, aber auch die maßgetreue Übernahme realer Szenarien in Computer-Konstruktionssysteme, Modellierungs-, Simulations- und Visualisierungsaufgaben, sowie diverse multimediale Anwendungen.

Die Erfindung tangiert unterschiedliche technische Themenbereiche, so dass der Stand der Technik nachfolgend für diese Einzelbereiche gesondert analysiert wird.

1) Photogrammetrische Aufnahmeverfahren

Photogrammetrische Aufnahmen erfolgen mit Hilfe von Aufnahmekameras, die zumindest aus einem Abbildungsobjektiv und einem in der Regel ebenen elektronischen Bildsensor, bzw. einem mechanischen Träger mit einer Fotoemulsion, bestehen.

Die äußere Orientierung einer gemäß 1 auf eine Ebene (3) projizierenden Aufnahmekamera (1) wird bestimmt durch drei translatorische Raumkoordinaten x₀, y₀, z₀ des Projektionszentrums im Objektiv (2) und drei rotatorische Lagekoordinaten (Schwenkung ϕ, Neigung ω, Kantung κ) des Bildkoordinatensystems (4) der Kamera. Auch wenn eine nachfolgende Korrektur über Verschiebung und Drehmatrix das Bild richtig in die Objektkoordinaten einord net, so werden doch 6 Freiheitsgrade bereits während der Bildaufnahme fixiert. Die Aufnahmerichtung, vorgegeben von der optischen Achse des Objektivs, bestimmt eine feste Vorzugsrichtung bei der Bildaufnahme. Wie in 2 dargestellt ist, baut sich die Bildgeometrie nach der Gleichung

als Tangensfunktion, also nichtlinear, zu dieser Vorzugsrichtung auf. Hierbei ist α der Abstand des abgebildeten Objektpunktes P' vom Bildhauptpunkt H' und α der Einfallswinkel des Objektpunktes P, während c als Kamerakonstante bekannt ist und bei Einstellung auf unendliche Objektentfernung annähernd mit der Objektivbrennweite übereinstimmt.

Jede Lageänderung der Aufnahmeachse der Kamera führt bei planaren Abbildungen zur Veränderung der linearen Bildgeometrie. Diese Tatsache wird zum Beispiel beim erfolglosen Versuch deutlich, Weitwinkelpanoramen aus planar aufgenommenen Einzelbildern mit verschiedenen Verschwenkungswinkeln korrekt zusammenzusetzen.

Bei der Abbildung von Ebenen im Objektraum kommt es immer dann zwangsläufig zu perspektivischen Verzeichnungen, wenn die optische Achse während der Aufnahme nicht senkrecht zu diesen Ebenen stand. Die Bedingung einer Senkrechtstellung ist in der Praxis aber beinahe nicht gewährleistbar. Die genannten Verzeichnungen werden durch nicht parallele Abbildung von im Original ansich parallelen Linien sichtbar. Für die perspektivische Entzerrung sind zahlreiche Methoden bekannt, die jedoch nur dann geometrisch korrekt sein können, wenn die ursprüngliche Orientierung der Kamera im Objektraum und die innere Orientierung der Kamera, einschließlich des Bildhauptpunktes, bekannt sind. Anderenfalls sind nur Näherungsergebnisse zu erwarten.

Zu berücksichtigen ist weiterhin, dass alle technischen Objektive Abbildungsfehler erzeugen, die zu Abweichungen von der idealisierten Zentralprojektion führen. Wird, wie in 3, ein Rechteck abgebildet, so zeigen sich Abweichungen im Verhältnis der Seitenlängen zu den längeren Diagonalen zwischen Original und Bild, also

die von der radialen Verzeichnung verursacht werden und als Kissen- (a) oder Tonnenverzerrungen (b) bekannt sind.

Gerade die häufiger zu beobachtende Tonnenverzerrung führt dazu, dass die genannte Tangensfunktion linearisiert wird.

Während in der Vergangenheit die Konstruktion der Messobjektive photogrammetrischer Messkammern auf kleinste Abbildungsfehler optimiert wurden, entspricht es jetzt dem gebräuchlichen Stand der Technik, Kameraausrüstungen mit allgemeiner fotografischer Zweckbestimmung zu verwenden, deren Objektive aber erhebliche Abbildungsfehler aufweisen. Für photogrammetrische Anwendungen werden diese Kameras mit Hilfe von Testmustern kalibriert, so dass das Ergebnis der Kalibrierung zur Korrektur aller Bildaufnahmen dient.

Generell besteht der Nachteil aller planar abbildenden Aufnahmesysteme in einer Bildwinkelbegrenzung, die eine vollständige Erfassung der gesamten Situation im Objektraum rund um den Aufnahmestandort verhindert, und in der Fixierung der Kameraorientierung zum Aufnahmezeitpunkt, die eine universelle Weiterverarbeitbarkeit der Bilder stark einschränkt.

2) Panorama-Fotografie

Die sogenannte echte Panorama-Fotografie erfasst horizontal endlose Aufnahmen mit einem Bildwinkel von 360 Grad. Bestimmte Aufnahmeverfahren erlauben dabei auch eine Ausdehnung des vertikal erfassbaren Bildwinkels auf insgesamt 180 Grad.

Die Grundform der elektronischen scannenden Panoramakamera, bestehend aus einem Zeilensensor in der Bildebene eines Abbildungsobjektives – zusammenfassend als Zeilenkamera bezeichnet – und einem Drehantrieb ist aus DE 44 28 055 A1 bekannt. Dieser und weitere Lösungsvorschläge, z.B. in DE 199 21 734 C2 oder WO 01/80550 A3, erzeugen eine zylindrische Bildprojektion, das heißt, in vertikaler Richtung bleibt die zentralperspektivische Ebenenprojektion mit dem Nachteil der prinzipbedingten Bildwinkelbegrenzung erhalten. Um diese Begrenzung zu überwinden, werden in DE 299 18 951 U1 oder US 6,545,701 B2 Verfahren vorgeschlagen, bei denen die Zeilenkamera gegenüber der Drehachse geneigt wird, so dass sich faktisch eine Kegelstumpfprojektion ergibt. Solche Aufnahmen haben das Problem, dass kein universell weiter verwendbares Abbildungsmodell vorhanden ist, sondern für jeden Neigungswinkel eine eigene Entzerrungsvorschrift benötigt wird. US 2003/0128276 A1 beschreibt eine Korrekturvorschrift für Panoramaaufnahmen mit nicht senkrechter Stehachse. Ein Zusammenfügen zu vollständig präsentierbaren Panoramen ist auf diese Weise aber unmöglich. Bekannt ist der Einsatz von Fischaugenobjektiven mit scannenden Panoramakameras, die somit einen sehr großen vertikalen Bildwinkel, der auch 180 Grad erreichen kann, erfassen. Wegen der damit verbundenen Objektiveigenschaften ist keine hochauflösende Aufnahme mit genauer Koordinatenzuordnung erzielbar. Methoden zur geometrischen Kalibrierung solcher Kameras sind nicht bekannt. Auch sind keine Anordnungen bekannt, mit denen eine sowohl in horizontaler, wie in vertikaler Richtung vollständige Rundumansicht vollautomatisch durch eine scannende Zeilenkamera erzeugt wird.

DE 197 46 319 A1 schlägt eine Vorrichtung vor, bei der eine punktförmige Projektion auf einen Sensor über zwei senkrecht zueinander rotierende Spiegel erfolgt, so dass im Ergebnis eine sphärische Abbildung erzielt wird. DE 199 16 305 A1 erweitert diese Anordnung um eine Laser-Entfernungsmesseinrichtung. Nachteil dieser Lösungen ist ein außergewöhnlich hoher mechanischer Fertigungsaufwand, um photogrammetrisch verwertbare Aufnahmen zu erzielen, und eine sehr lange Aufnahmezeit.

Eine Methode der simultanen, also gleichzeitig in allen Richtungen aufnehmenden, Panorama-Fotografie besteht darin, auf eine mit ihrer optischen Achse senkrecht nach oben gerichtete Flächenkamera eine ringförmige Darstellung der Umgebung zu projizieren, wofür in zahlreichen Veröffentlichungen, u.a. in WO 03/027766 A2, EP 908 053 A1 , US 6,028,719 , US 6,313,865 B1 , US 6,480,229 B1 konvexe asphärische Spiegel verwendet werden. DE 100 00 673 A1 beschreibt Lösungen, bei denen dieser Spiegel eine sphärische Gestalt hat. Eine interessante Aufnahme- und Verarbeitungsmethodik wird in EP 0 971 540 B1 vorgeschlagen, wo ein Fischaugenobjektiv zur Aufnahme eines halbkugelförmigen Gesichtsfeldes dient und eine stetige Abrufbarkeit wahlfreier und perspektivisch entzerrter Überwachungsbilder aus diesem Gesichtsfeld angeboten wird. Dabei wird eine Abbildungsgeometrie postuliert, die in Wirklichkeit nur annähernd zutrifft, weshalb auch die perspektivische Entzerrung nur näherungsweise gelingt. Um für die letztgenannten Methoden den Hauptnachteil der nur ungenügenden Auflösbarkeit des Bildes zu umgehen, integriert EP 816 891 A1 zusätzlich eine bewegliche, höher auflösende Periskopoptik in das Zentrum des Objektivstrahlengangs, verliert aber gleichzeitig den Vorteil der Universalität der Rundum-Abbildung.

Ein anderes Verfahren der simultanen Panorama-Fotografie besteht nach WO 03/038752 A1 oder auch nach DE 199 25 159 A1 in der Verwendung eines aus mehreren Flächenkameras bestehenden Arrays. In US 2002/0075258 A1 wird eine solche Kameraanordnung zusätzlich um eine höher auflösende Kamera mit einem beweglichen Ablenkspiegel ergänzt. Da die Projektionszentren der Einzelkameras in Kamera-Arrays nicht in einem gemeinsamen Punkt liegen können, ist die fehlerfreie Transformation in ein Universalbild nicht möglich. Diesen Nachteil vermeidet eine Vorrichtung nach US 6,560,413 B1 zumindest für einen eingeschränkten Vertikalwinkelbereich, indem Flachspiegel in den Strahlengang der Kameras ergänzt werden.

Weiterhin sind sogenannte Stitching-Methoden bekannt, bei denen eine Anzahl von mittels einer Flächenkamera nacheinander in unterschiedlichen Richtungen aufgezeichneten Bildern zu einem gemeinsamen Bild kombiniert wird. Die wohl verbreitetste Anwendung dieser Art ist vom Computer-Softwareprodukt Quick-Time VR der Firma Apple Computer, Inc., Cupertino, CA 95014-2084 bekannt. Dort erfolgt die Speicherung der Bildinformationen auf der Oberfläche eines virtuellen Würfels, was unterschiedliche partielle Auflösungen für verschiedene Betrachtungswinkel zur Folge hat. Weitere Vorschläge ähnlicher Lösungen finden sich in US 2001/803802 und WO 01/93199 A1. In US 2003/0128975 A1 wird ein Multifunktions-Stativkopf vorgestellt, der den Abgleich des Projektionszentrums der Einzelkamera auf die Drehachse erleichtert. Zur Vereinfachung der Anwendung der Methodik wird in WO 99/51027 die Ausstattung der Aufnahmekamera mit einem zusätzlichen Bewegungssensor vorgeschlagen. US 6,456,323 B1 gibt eine Lösung für die Farbanpassung der Einzelbilder bei der Vereinigung zum Panoramabild an. Problematisch für alle bekannten Stitching-Methoden ist der Umstand, dass generell keine korrekte und universelle Zuordnung zwischen den Original- und den gespeicherten Bildkoordinaten erfolgt und die Abbildungseigenschaften der Objektive bestenfalls abgeschätzt werden. So können auch die Übergangsbereiche zwischen benachbarten Einzelbildern nur angenähert werden.

Eine gewisse Verwandschaft mit Panoramakameras haben sogenannte Überwachungskameras, die fernsteuerbar auf einem Schwenk-Neige-Kopf montiert sind. Ein besonders ausgereiftes System einer solchen Steuerung wird in US 5,633,681 vorgestellt. Überwachungskameras sind aber wegen ihres Gesamtkonzeptes für die Panoramaaufnahme nicht geeignet.

Zusammenfassend ist keine praktisch verwendbare Lösung für eine Panoramakamera mit einem zugehörigen Bildspeicherprinzip bekannt, womit ein photogrammetrisch auswertbares Bild ohne Bildwinkelbegrenzung automatisch aufgezeichnet werden kann.

3) Videotheodolite, Videotachymeter und Schwenk-Neige-Kameras

In DE 199 22 321 C2 und DE 199 22 341 C2 wird ein Videotachymeter nach fortschrittlichem Stand beschrieben, das so wie alle anderen bekannten Videotheodolite und -tachymeter das Fernrohrbild auskoppelt oder ein parallel dazu angeordnetes Objektiv verwendet, um auf einen elektronischen Kamerasensor abzubilden. Dieses Kamerabild dient zur Visualisierung des Zielbildes oder zur Zielmarkenfindung. Eine Bildspeicherung zur photogrammetrischen Auswertung ist bei solchen Geräten grundsätzlich nicht vorgesehen und mit der eingesetzten Kameratechnik nicht möglich. Aus den Publikationen der Deutschen Gesellschaft für Photogrammetrie und Fernerkundung, Band 2, Augsburg 1993, S. 61–70 ist eine Schwenk-Neige-Kamera bekannt, die zur Erfassung eines größeren Objektbereiches die Aufnahmekamera mittels eines servogesteuerten Schwenk-Neige-Systems reproduzierbar in ihrer Lage steuert und Einzelbilder aus den verschiedenen Positionen aufzeichnet. Eine Lösung zur Übernahme dieser Einzelbilder in ein universelles Bildsystem wird nicht angegeben.

4) Fotografische Gewinnung von Abstandsinformationen

Hier werden zunächst nur Verfahren ohne strukturiertes oder kollimiertes Licht, also bei diffuser Objektbeleuchtung, betrachtet. Basis für alle bekannten Verfahren bildet die Aufnahme des Objektraumes aus wenigstens zwei verschiedenen, eine Parallaxe verursachenden Kamerastandorten. Hierbei ist es zunächst ohne Bedeutung, in welchem Koordinatensystem die Bilddaten erfasst sind. Die Objektkoordinaten von Objektpunkten, die in wenigstens zwei Aufnahmen identifiziert und zugeordnet sind, können in bekannter Weise durch Triangulation und Bündelausgleichung berechnet werden.

Ein Sonderfall solcher Verfahren ist die stereoskopische Aufnahme, die durch die Zuordnung homologer, in einer Kernlinie liegender Punkte charakterisiert ist und die Bildauswertung wegen zusätzlicher Randbedingungen erheblich vereinfacht. Die seit langem bekannten planar projizierenden Aufnahmekameras mit zwei Objektiven in einem Basisabstand zueinander sind für Aufnahmen ohne Bildwinkelbegrenzung nicht geeignet. Aus DE 44 28 054 C1 , DE 199 21 734 C2 und DE 101 32 399 C1 sind Anordnungen zur stereoskopischen Panoramaaufnahme mit horizontal ausgerichteter Basis bekannt, die mit bekannten Präsentationsmitteln, z.B. Anaglyphen- oder Polarisationsverfahren, eine unmittelbare stereoskopische Betrachtung solcher Bilder und deren Bearbeitung im dreidimensionalen Raum ermöglichen. In JP 11325895 A (Patent Abstracts of Japan) und DE 100 08 520 A1 werden Anordnungen mit vertikaler Basis vorgeschlagen, bei denen jedoch eine natürliche stereoskopische Betrachtung nicht zulassen. Das Hauptproblem bei der automatisierten Auswertung photogrammetrischer Mehrfach- oder Stereo-Aufnahmen besteht im Auffinden korrespondierender Bildpunkte – dem sogenannten Matching-Prozess. Bei diskreten Gegenständen, die vom Hintergrund losgelöst frei im Raum stehen, kommt es zu unstetigen Kantenübergängen, deren abgebildete Umgebung je nach Kameraposition unterschiedliche Inhalte aufweist. Verdecken sich Gegenstände im Raum gegenseitig, so sind die dabei entstehenden Abschattungen von der Perspektive abhängig. In zwei verschiedenen Abbildungen kommt es hierdurch zu Teilflächen, die jeweils nur in einer Abbildung sichtbar und somit nicht vermessbar sind. In solchen Szenarien sind also stets wenigstens drei Abbildungen nötig, um alle sichtbaren Bereiche vermessen zu können. In der Praxis werden oft noch wesentlich mehr Ansichten gebraucht. Die Übersicht über die Vollständigkeit geht dabei schnell verloren, weshalb gewisse Bildteile für die Vermessung nicht zur Verfügung stehen oder der Aufwand für die Auswertung unermesslich wird.

Werden im Objekt leicht erkennbare oder gar optisch kodierte Marken angebracht, so kann eine zuverlässige automatische Auswertbarkeit erreicht werden. Dies setzt aber umfangreiche Markierarbeiten voraus, die die Wirtschaftlichkeit der Aufnahmen insgesamt relativieren. Auch ist das zu vermessende Objekt oft nicht in seiner gesamten Ausdehnung zugänglich.

Ohne solche Markierungen oder andere vereinfachende Randbedingungen wird die automatische Vermessung in der Nahbereichsphotogrammetrie trotz zahlreicher Lösungsvorschläge für diese Problematik bisher nicht beherrscht. Ein weiteres Problem besteht auch darin, dass eine Objekt- oder Oberflächenzuordnung stattfinden muss, damit aus einer Menge von Punktkoordinaten letzten Endes räumliche Objekte werden können. Die Objektzuordnung bildlich erfasster Flächenelemente ist nur eingeschränkt automatisierbar und erfordert regelmäßig den Eingriff einer bedienenden Person.

5) Gewinnung von Abstandsinformationen mittels strukturierter Beleuchtung

Das immer wiederkehrende Funktionsprinzip besteht in der Projektion von Lichtmustern, -linien, -gittern oder -marken auf die Objektoberfläche, deren fotografischer Aufnahme und analytischer Auswertung des von der Objektoberfläche verformten Projektionsbildes aus einem oder mehreren Beobachtungspunkten.

Hier sind zunächst Verfahren bekannt, bei denen anstelle mechanisch anzubringender Zieltafeln optische Marken auf die Objektoberfläche projiziert werden. So sind auch unzugängliche Objektbereiche für die Messung erreichbar. Entsprechende Vorschläge zum Verwenden solcher Licht-Marken, die auch als flächige Raster- oder Gittermuster formiert werden, sind stellvertretend in DE 101 37 241 A1 , DE 10149 750 A1 , DE 195 02 459 A1 oder US 6,501,554 B1 enthalten. Als einschränkende Sonderform zur punktuellen Abstandsmessung könnte das Triangulationsverfahren bezeichnet werden, wie es beispielsweise in DE 197 21 688 A1 beschrieben ist. Anstelle der statischen Projektion von Mustern wird in US 6,529,627 B1 die Abtastung mit einer projizierten Lichtlinie bei gleichzeitiger Aufzeichnung als Bildfolge vorgeschlagen. Wegen ihrer Universalität sind Projektionsverfahren besonders zweckmäßig, bei denen umschaltbare, binär kodierte Lichtmuster verwendet werden. DE 198 10 495 A1 gibt hierfür ein Beispiel. Um eine noch höhere Auflösung zu erhalten und Abschattungen durch objekteigene Oberflächenprofile zu vermeiden, werden die Objekte innerhalb von Anordnungen aus Musterprojektor und Kamera zusätzlich bewegt. So befindet sich bei DE 198 52 149 C2 das Objekt auf einem Drehteller. Aufnahmen mit strukturierter Lichtprojektion erlauben prinzipiell eine gute Genauigkeit bei der Koordinatenbestimmung und die Anwendung effektiver Algorithmen zur automatischen Auswertung. Mit wachsender Objektausdehnung wird aber deren flächige Beleuchtung immer komplizierter, weil eine immer höhere Lichtleistung und ein immer komplexer werdender Aufbau benötigt wird. Dies gilt insbesondere auch für Weitwinkel- oder Panoramaaufnahmen.

6) Direkte Abstandsmessverfahren

Es sind Verfahren zur polaren Abtastung der Objektoberfläche mit diskreten Messstrahlenbündeln unter bekannten Winkeln bei gleichzeitiger Bestimmung des jeweiligen Abstandes, z.B. durch Laufzeit-, Phasenvergleichs- oder Interferenzmessung bekannt. Solche Aufgaben werden von sogenannten Laserscannern erfüllt. Obwohl u.a. aus EP 0 999 429 A1 bereits Anordnungen bekannt sind, die eine Bildaufnahmevorrichtung mit solchen Laserscannern koppeln, sind sie selbst nicht zur Bildaufnahme geeignet, sondern erfassen nur Koordinatenwolken. Wegen ihres nach dem gegenwärtigen Stand der Technik sehr hohen Herstellungsaufwandes bei hohen Anforderungen an die Präzision bewegter Baugruppen haben solche Geräte außerdem einen hohen Preis.

Technische Aufgabenstellung

Die der Erfindung zugrunde liegende Aufgabenstellung besteht darin, photogrammetrisch auswertbare fotografische Abbildungen aus einem Beobachtungsstandort mit folgenden Eigen schaften herzustellen:

– Es soll keine prinzipbedingte Bildwinkelbegrenzung auftreten.
– Alle Ansichten aus einem Beobachtungsstandort sollen in einem gemeinsamen, universellen Modellkoordinatensystem gespeichert werden können.
– Es soll ein hohes geometrisches Auflösungsvermögen erreichbar sein.
– Systematische Abbildungsfehler sollen im Rahmen der mechanisch realisierbaren Toleranzen vollständig korrigiert werden.
– Einzelansichten sollen nach der Aufnahme durch geometrisch korreke Messbildentzerrung in beliebige Flächen zentralperspektivisch entzerrt werden können.

Ferner soll bei bestimmter Ausgestaltung und unter bestimmten Einsatzbedingungen eine automatische Extrapolation von geometrischen Primitiven, z.B. Flächen, Kanten und Eckpunkten, erfolgen, so dass insbesondere auch eine wirtschaftliche Lösung zur schnellen und präzisen Aufmessung von Gebäuden und Innenräumen als Anwendungsbeispiel ableitbar ist.

Weiterhin soll ein Lösungsweg zur Kalibrierung der Aufnahmevorrichtung aufgezeigt werden.

Problemlösung

Das Problem wird mit den in den Ansprüchen 1, 3 und 19 gekennzeichneten Verfahren und der in den Ansprüchen 22 und 25 gekennzeichneten Anordnung gelöst. Vorteilhafte Ausgestaltungen sind in den weiteren Ansprüchen angegeben.

Die Erfindung verwendet grundsätzlich als Koordinatensystem für die Speicherung aller Bildinformationen das Polarkoordinatensystem. Gegenüber allen anderen Koordinatensystemen hat dieses den entscheidenden Vorteil, keinerlei Vorzugsrichtungen oder Bildhauptpunkte zu benötigen und somit zur Aufnahmezeit keine Vorbedingungen festzulegen, die eine nachfolgende Bearbeitung mit wahlfreien Projektionsrichtungen einschränken würde.

Gemäß 4 wird um den Mittelpunkt O, der mit dem Kamerastandort identisch ist und als Beobachtungspunkt bezeichnet wird, eine virtuelle Kugelfläche K gelegt. Der Kugelradius habe als Einheitsradius die Länge 1. Ein kartesisches Koordinatensystem (x, y, z) mit seinem Ursprung im Mittelpunkt O beschreibe eine willkürliche Richtungsorientierung. Ein überlagertes sphärisches Koordinatensystem (λ, ϕ) liege mit seiner Äquatorialebene E in der Ebene (x, y). Der Abbildungsstrahl von einem beliebigen Objektpunkt P zum Beobachtungspunkt O durchdringt die Kugelfläche in einem Bildpunkt P', dessen Koordinaten mit dem Horizontalwinkel λ_P und dem Vertikalwinkel ϕ_P eindeutig beschrieben sind. Alle vom Beobachtungspunkt O aus sichtbaren Objektpunkte werden also auf der gedachten Kugeloberfläche in homogener Weise abgebildet, ohne dass hierbei die Lage in Bezug auf die Orientierung der Koordinatensysteme eine Rolle spielt. Letztere dienen nur als Basis für die Zuweisung messbarer Koordinaten und werden willkürlich festgelegt. Weil das gesamte sphärische Abbild rund um einen Beobachtungspunkt auf das Koordinatensystem (x, y, z) mit seinen Winkelkoordinaten (λ, ϕ) bezogen ist, sei dieses nachfolgend im Unterschied zum Bildkoordinatensystem als Modellkoordinatensystem bezeichnet, auch wenn dieser Begriff noch in einem etwas anderen Zusammenhang gebräuchlich ist.

Die Gewinnung der Bilddaten, die auf die Kugelfläche abzubilden sind, geschieht erfindungsgemäß nicht zu einem einheitlichen Zeitpunkt für die gesamte Kugelfläche, sondern aus einer Kombination einzelner, nacheinander aufzuzeichnender Ausschnitte dieser Fläche. Die Aufnahmekamera, die jeweils nur ein im Bildwinkel begrenztes Fragment der Kugelfläche aufzeichnet, wird hierzu gemäß 5 um ihr Projektionszentrum mit bestimmtem Horizontalwinkel 0 ⩽ α < 2π geschwenkt und mit bestimmtem Vertikalwinkel

geneigt.

Ausgehend von einer mit einem Rechteck begrenzten Projektionsfläche B der Kamera wird in dieser Kameraposition die Bildinformation für ein Teilstück F der Kugelfläche gewonnen. Entsprechend 12 ist die Kamera K vorteilhaft in einer präzise ausgeführten kardanischen Aufhängung gelagert, die eine Verschwenkung um die senkrechte Stehachse VV und Neigung um die horizontale Kippachse HH, deren Schnittpunkt im Projektionszentrum der Kamera auf der optischen Achse ZZ liegt, ermöglicht.

Ohne Einschränkung der Allgemeingültigkeit wird die z-Achse in die Schwenkachse der Kamera gelegt, während die x-Achse einen Anfangswinkel α=0 der Schwenkbewegung kennzeichnet. Eine solche Konstellation ermöglicht es, einen prinzipiell zu berücksichtigenden Kantungswinkel der Kamera um ihre optische Achse generell auf Null festzulegen, wodurch sich die analytischen Gleichungen erheblich vereinfachen.

Eine Aufnahmekamera, die auf eine ebene Sensormatrix projiziert, erzeugt eine Abbildung mit diskreten rechtwinkligen Koordinaten. Bereits die Anschauung von 5 verdeutlicht aber, dass eine Zuordnung zwischen dem ebenen Kamerabild B und dem gewölbten Abschnitt der Kugeloberfläche F eine mathematische Umrechnungsvorschrift erfordern würde.

Diese Umrechnung ist zu umgehen, wenn die Pixelkoordinaten der Kamera nicht wie allgemein üblich in einem rechtwinkligen Koordinatensystem, sondern grundsätzlich in polaren Winkelkoordinaten kalibriert sind. Während eines Kalibriervorgangs wird deshalb jedem diskreten Bildelement des Sensors ein Wertepaar aus Horizontal- und Vertikalwinkel zugeordnet und in einer Korrekturmatrix abgelegt. 6 illustriert den geometrischen Zusammenhang. Ein Objektpunkt P mit bekannten Winkelkoordinaten (λ'_P, ϕ'_P) im Bildkoordinatensystem (x', y', z') wird auf der Bildfläche B mit den Pixelkoordinaten

abgebildet. Zur Vereinfachung wird bei dieser, wie auch allen weiteren Bildprojektionen die Bildfläche in der sogenannten Positivlage dargestellt. Selbstverständlich entstehen die Bilder physikalisch durch das Projektionszentrum hindurch in der Negativlage, haben aber dabei zur Positivlage völlig identische Maßbeziehungen.

Die genannte Kalibrierweise kommt auch der radialen Verzeichnung der meisten Objektive entgegen, bei denen die ansich zum Tangens proportionale Abbildungsfunktion in Richtung einer winkelproportionalen Abbildung linearisiert ist.

Üblicherweise liegen die Pixelkoordinaten in diskreter Form als Positionsnummer der zugehörigen Pixel vor. Die jedem Bildpixel zuzuordnenden radiometrischen Werte (Farbwert, Grauwert) können aber zwischen den diskreten Koordinatenschritten nach geeigneter Vorschrift zu einer stetigen Funktion interpoliert werden. Auf diese Weise ist es auch möglich, die Pixelkoordinaten der Messmarken, die zur Kamerakalibrierung abgebildet werden, in stetigen Koordinaten zu messen. Noch einfacher ist es, den diskreten Pixeln in stetigen Koordinaten gemessene Winkelpaare zuzuordnen, was zu einer Matrix der Form

führt. Die Ausdehnung G×H entspricht der Anzahl physikalischer Sensorelemente des Bildsensors. Diese Matrix wird als Ergebnis der Kamerakalibrierung als Korrekturmatrix in einer Datei abgelegt.

Ist die Kamera eine Zeilenkamera mit vertikal ausgerichtetem Zeilensensor, so verringert sich der Aufwand für Kalibrierung und Speicherung erheblich, weil nur noch eindimensional zu messen und in der Form ((ϕ')0 (ϕ')1 ... (ϕ')H)T zu speichern ist. Hier ist H die Anzahl physikalischer Sensorelemente, die in einer Reihe angeordnet sind.

Um die Größe der Korrekturmatrix zu reduzieren, ist es unter Beachtung der in Kauf zu nehmenden Fehler selbstverständlich auch möglich, die Anzahl der Stützstellen für die Korrekturfunktion unter die Anzahl der Sensorelemente G×H oder H zu senken und die übrigen Koordinaten während der Korrektur geeignet zu interpolieren. Dies könnte auch so weit gehen, dass generell eine Funktion höherer Ordnung gefunden wird, die mit ausreichender Genauigkeit die geometrische Korrektur annähert. Da der wesentlichste Abbildungsfehler technischer Objektive von der radialen Verzeichnung verursacht wird, könnte für die flächige Abbildung auch eine vom Radius aus dem Bildhauptpunkt der Kamera abhängige eindimensionale Korrekturfunktion gefunden werden.

Die mit Hilfe der Kalibrierung ermittelten Winkelzuordnungen gelten für das Bildkoordinatensystem (x', y', z') und unter der Bedingung {α=0; β=0} auch für das Modellkoordinatensystem (x, y, z). Für den Normalfall ist eine Koordinatentransformation zwischen beiden Systemen mit gemeinsamem Ursprung durchzuführen.

7 zeigt die Transformationsaufgabe. Das Modellkoordinatensystem (λ, ϕ) ist in ein vordefiniertes Winkelraster mit den konstanten Winkelschritten (Δλ, Δϕ) diskretisiert. Soweit entsprechende Bilddaten zur Verfügung stehen, soll jeder Schnittpunkt dieses Winkelrasters mit einem radiometrischen Bildwert besetzt werden. Vom verfügbaren Einzelbild sind der Verschwenkungswinkel α und der Neigungswinkel β bekannt. Zur Berechnung des Winkelpaares (λ', ϕ') aus den Modellkoordinaten (λ, ϕ) dient der Operator T mit der für das kartesische Koordinatensystem herleitbaren Rotationsgleichung

Mit der Polarkoordinaten-Substitution x = r·cosϕ·cosλ y = r·cosϕ·sinλ z = r·sinϕund der Randbedingung r=1 für den gemeinsamen Einheitsradius gelangt man zur Gleichung

Die Lösung dieses Gleichungssystems führt zu

Im nächsten Schritt sind innerhalb der Korrekturmatrix die zum ermittelten Wertepaar (λ', ϕ') benachbarten Pixel (j, i), (j, i+1), (j+1, i) und (j+1, i+1) nach der Vorschrift Λji < λ' ≤ Λj(i+1) zu finden. Aus diesen vier Pixeln der Originalaufnahme wird nun im Operator I ein mittlerer Wert für die Zwischenkoordinaten durch gewichtete Interpolation, z.B. nach der Gleichung

mit c1 = λ' – Λji, c2 = λ' – Λj(i+1), c3 = ϕ' – Φji, c4 = ϕ' – Φ(j+1)i errechnet. Mit der vorherigen Koordinatentransformation (λ,ϕ) → (λ',ϕ') wurden somit die radiometrischen Werte für die Modellkoordinaten gefunden.

Die vorgeschlagene radiometrische Berechnung hat auch dann Gültigkeit, wenn zwischen diskreten Pixeln im Originalbild eine größere Pixelzahl in den Modellkoordinaten entsteht, die geometrische Auflösung also zumindest partiell erhöht wird. Werden im anderen Fall weniger Pixel gesetzt, so dass Lücken zwischen den Originalkoordinaten entstehen, müssen weitere angrenzende Pixel in die Rechnung einbezogen werden, um Aliasing-Effekte zu vermeiden. Für den Sonderfall, dass die Kamera eine Zeilenkamera ist, vereinfacht sich das hergeleitete Formelwerk drastisch. Mit der resultierenden Bedingung λ'≡0 gilt einfach λ=α und damit ϕ' = ϕ – β.

Würde mit der Kamera nur punktförmig mechanisch abgetastet, wäre weiterhin ϕ'≡0 und deshalb ϕ=β, was die Universalität des Modellkoordinatensystems unterstreicht.

In der beschriebenen Art und Weise lassen beliebige Kamerabilder, die unter den genannten Bedingungen entstehen, in das sphärische Modellkoordinatensystem übernehmen. Besonders dann, wenn die Einzelbilder von Flächenkameras stammen, werden die Bildränder wegen der sphärischen Verzerrung gekrümmt, so dass beim Aneinanderfügen der Bilder ein Überlappungsbereich entsteht. Neben der Möglichkeit, die Ränder entlang des Gradnetzes im Modellsystem zu beschneiden und an den dann geraden Kanten zusammen zu setzen, kann ein weiches Überblenden innerhalb des Überlappungsbereiches vorteilhaft sein. Hierzu werden die nach Abstandskriterien normiert gewichteten radiometrischen Werte des einen Bildes mit denen des anderen Bildes kombiniert, was auch mit mehr als zwei einander überlappenden Bildern erfolgen kann.

Das beschriebene Grundkonzept erlaubt eine weitere wichtige Option: Erfolgt die mechanische Verschwenkung und Neigung mit solch kleinen Winkeln und einer so hohen Präzision, dass die resultierenden Verschiebungen im Bild kleiner als der Abstand zwischen zwei Pixeln sind, so ist die Vervielfachung der effektiven geometrischen Auflösung im Bild möglich. 8 erläutert das Prinzip an einem Beispiel. Eine Bildfläche A₀₀ wird um drei weitere Bildflächen A₀₁, A₁₀, A₁₁ ergänzt, die jeweils um einen halben Pixelabstand nach rechts, nach unten und nach unten rechts versetzt aufgezeichnet wurde. Das resultierende Bild A besitzt die doppelte lineare Auflösung. Solche künstlichen Erhöhungen des physikalischen Auflösungsvermögens der Sensormatrix sind ansonsten nur durch deren mechanisches Verschieben, z.B. mit Hilfe von Piezo-Aktoren, möglich und werden in der Literatur als Microscanning bezeichnet. Die hier vorgeschlagene Variation der Drehwinkel erspart aber nicht nur den zusätzlichen Einbau solcher Aktoren, sondern führt die Subpixelverschiebung vorteilhafter Weise bereits adäquat zum sphärischen Modellkoordinatensystem aus. Für den Fall der Verwendung eines Zeilensensors ist nur ein Neigen in Zeilenrichtung nötig.

Neben der Verwendbarkeit eines kostengünstigeren Sensors mit kleinerer Anzahl von Sensorelementen besteht ein weiterer Vorteil der beschriebenen Auflösungserhöhung darin, dass in Anwendungsfällen mit kleinerer Anforderung an die geometrische Auflösung diese Subpixelverschiebung einfach weggelassen werden kann. Würden statt dessen Zwischenpixel einer höher aufgelösten Matrix weggelassen, wäre diese nicht mehr voll besetzt. Dies hätte wegen des dabei sinkenden Verhältnisses der geometrischer Abtastfrequenz zur räumlichen Integration einen Aliasing-Effekt zur Folge, der sich durch Moire-Muster im Bild äußern würde. Um dies zu verhindern, müssten benachbarte Pixel miteinander gemittelt werden, was den Zeitvorteil eines kleineren Bildpunkteaufkommens teilweise wieder nivelliert. Außerdem müssen alle Sensor-Arrays in CCD-Technologie seriell ausgelesen werden, so dass ohnehin alle physikalisch vorhandenen Sensorelemente einer Zeile oder Spalte zu erfassen wären.

Auch für die Kalibrierung der Kamera in sphärischen Koordinaten bietet das beschriebene Grundkonzept eine simple und dabei sehr genaue und effektive Lösungsmöglichkeit an. Dadurch, dass sowohl Neige-, wie auch Verschwenkwinkel der Kamera genauestens positionierbar sind, genügt das Aufstellen einer Punktmarke in Höhe des Projektionszentrums vor die Kamera und deren fortlaufende Aufnahme bei sich ändernden mechanischen Winkeln. Über die Abbildungskoordinaten der Marke ist der jeweils eingestellte Winkel, dabei jedoch mit entgegengesetztem Vorzeichen, zuzuordnen. Gestattet der Drehantrieb um die Kippachse gar eine vollständige Drehung, so muss nicht einmal die Höhe der Marke eingemessen werden, weil dann wie vom Theodolit her bekannt auf Durchschlag gemessen und die halbe Vertikalwinkeldifferenz als Winkeloffset korrigiert werden kann. Für den Horizontalwinkel ist keine Nullmarkendefinition erforderlich. Hier kann einfach von der bekannten oder vermuteten Lage des Bildhauptpunktes ausgegangen werden.

Liegt nun also eine sphärische Abbildung vollständig oder fragmentweise in den Modellkoordinaten vor, so sind damit alle denkbaren photogrammetrischen Auswertungen optimal möglich. Beinahe alle Umformungen und Koordinatentransformationen, die ansonsten in der traditionellen Photogrammetrie üblich und erforderlich sind, entfallen hier wegen des universellen Koordinatensystems. Als Beispiel sei die bekannte Thematik der Messbildentzerrung von Ebenen, z.B. bei Fassaden, genannt. Notwendig und hinreichend für die korrekte Darstellung einer Ebene im Bild ist, wie nachfolgend beschrieben, die Ebenenprojektion mit einer virtuellen optischen Achse, die diese Ebene im Nadirpunkt schneidet. Kontrollieren lässt sich dies über die Parallelität der Abbildung von zueinander parallelen Linien in der Ebene des Originals.

Auch das in der Vermessungstechnik sehr praktische und weit verbreitete Polarverfahren hat in diesem Modell volle Gültigkeit. Um mit photogrammetrisch gewonnenen Winkelkoordinaten ebenso arbeiten zu können, wie etwa mit solchen vom Theodolit, empfiehlt sich bereits bei der Aufnahme das Einmessen des Beobachtungspunktes und eine sorgfältige Horizontierung der Aufnahmevorrichtung.

Um eine Fotografie in natürlicher Darstellung zu betrachten, ist eine zentralperspektivische Darstellung zu fordern, die natürlich nur dann sinnvoll ist, wenn der Betrachtungswinkel weniger als 180 Grad erfasst. Somit kann immer nur ein begrenzter Ausschnitt des sphärisch gespeicherten Gesamtbildes projiziert werden – dieser aber wahlfrei mit beliebiger Blickrichtung und mit beliebigem Bildwinkel innerhalb der genannten Grenzen. Es wird also eine virtuelle Kamera im Beobachtungspunkt definiert, die programmtechnisch geschwenkt und geneigt werden kann und damit eine wahlfreie Ausrichtung ihrer virtuellen optischen Achse erlaubt. Die freie Bildwinkelauswahl erscheint dabei als virtueller Zoom mit beliebigen Brennweiten.

Zur Projektion des winkelbegrenzten Ausschnitts aus dem Modellkoordinatensystem auf eine ebene Fläche ist eine Transformation nach 9 erforderlich, die in zwei Schritten abläuft. Im ersten Schritt werden die Koordinaten (t, u, v) aus der Projektionsebene mit einer Maßstabskonstanten c in ein sphärisches Zwischensystem (x', y', z') mit den Winkelkoordinaten (λ', ϕ') transformiert (10). Die Projektionsebene Pr steht hierbei senkrecht zur x' – Achse. Der Koordinatenursprung von (t, u, v) befindet sich auf den Zwischenkoordinaten (c, 0, 0). Für die Verschiebetransformation T₁ gilt einfach t = x' – c, u = y', v = z'

Das Zwischensystem wurde den Koordinaten im Projektionssystem (u, v) angepasst, ohne den Horizontal- und Vertikalwinkel (α, β) der virtuellen optischen Achse bei der Projektion zu beachten. Dies geschieht jetzt mit einer anschließenden Drehtransformation T₂ in das Modellkoordinatensystem nach der Gleichung

Mit der Polarkoordinaten-Substitution x = r·cosϕ·cos(λ-α), y = r·cosϕ·sin(λ-α), z = r·sinϕ mit dem Radiusvektor r = √c²+ u²+ v² und mit der Ebenenbedingung t=0 vereinfacht sich daraus die Gleichung zu

Die Lösung dieses Gleichungssystems führt zur allgemeingültigen Projektionsvorschrift

Die Maßstabskonstanten c hat hierbei die gleiche Bedeutung wie eine Kamerakonstante oder Brennweite. Wie aus 10 zu ersehen ist, gelten die Beziehungen

So ist diese Konstante mit

ein Proportionalitätsfaktor zwischen der Bildbreite und dem zugehörigen Bildwinkel-Tangens.

Ist die Bildbreite statt in einem Längenmaß als Anzahl von Pixeln angegeben, so bekommt auch c diese Dimension. Um z.B. auf einem Bildschirm mit einer Breite von 1024 Pixeln einen Bildwinkel von 80 Grad anzuzeigen, müsste c also die Größe von

(Pixeln) zugewiesen bekommen.

Zum errechneten Koordinatenpaar (λ,ϕ) sind im nächsten Schritt die nächstliegenden diskreten Winkel im Modellkoordinatensystem nach der Vorschrift Λji < λ ≤ Λj(i+1) Φji < ϕ ≤ Φ(j+1),i zu bestimmen. Aus diesen vier Pixeln der Originalaufnahme wird nun im Operator I ein mittlerer Wert für die Bildprojektion durch gewichtete Interpolation, z.B. nach der Gleichung

mit c1 = λ – Λji, c2 = λ – Λj(i+1), c3 = ϕ – Φji, c4 = ϕ – Φ(j+1)i errechnet. Mit der vorherigen Koordinatentransformation (u, v) → (λ,ϕ) wurden somit die radiometrischen Werte für die Bilddarstellung gefunden. Ähnlich wie bei der Transformation in das Modellkoordinatensystem muss auch hier bei Reduzierung der geometrischen Auflösung die Anzahl einzubeziehender Pixel erhöht werden, um Aliasing-Effekte auszuschließen. Die moderne Rechentechnik erlaubt die Anwendung der gefundenen Transformation für die Ebenenentzerrung in Echtzeit, so dass ein scheinbares Schwenken, Neigen und Zoomen ohne nennenswerte Verzögerungen unmittelbar aus dem Modellkoordinatensystem erfolgen kann. Zur Beschleunigung der Rechnungen werden Terme, die für mehrere Argumente gültig sind, einmalig berechnet und wieder verwendet, wiederkehrende Zwischenergebnisse in Zuordnungstabellen abgelegt und Schleifen nach ihrem Gesamtaufwand optimiert.

Viele Messaufgaben spielen sich in einem Nahbereich ab, der im Verhältnis zu technisch realisierbaren Basisstrecken innerhalb der Aufnahmeanordnung eine direkte Abstandsmessung durch Punkttriangulation in geforderten Toleranzgrenzen zulässt. In diesem Nahbereich ist auch eine strukturierte Objektbeleuchtung, z.B. mit kollimiertem Laserlicht, problemlos möglich. 11 zeigt die mögliche Anordnung einer kollimierten Lichtquelle Lq, deren Strahlmittelpunkt sich im Basisabstand b vom Projektionszentrum des Aufnahmeobjektivs Ao befindet und in einem Winkel γ zur Aufnahmeachse steht. Die Lichtquelle Lq, sowie der von ihr ausgehende Strahl befinden sich in der Ebene u=0. Der auf die Oberfläche des Objekts Ob auftreffende Laserstrahl wird im Vertikalwinkel ϕ von der Aufnahmekamera auf dem Bildsensor B abgebildet. Der Abstand zwischen Projektionszentrum und Objektpunkt berechnet sich nach der einfachen Gleichung

Werden also eine oder mehrere Quellen strukturierten Lichtes in bestimmten, genau justierten Abstrahlwinkeln mit der Aufnahmekamera starr verbunden und gemeinsam mit dieser geschwenkt oder geneigt, so ergibt sich für jede Bildaufnahme in veränderter Kameraposition auch eine Anzahl eigener Lichtmarken, deren Aufnahmewinkel einzeln vermessen werden kann, woraus punktuell der Objektabstand ermittelt werden kann.

Ist der Bildsensor ein vertikal orientierter Zeilensensor und sind die Lichtquellen kollimierte Laserlichtquellen, so erzeugt ein schrittweiser Kameraschwenk im resultierenden Bild so viele räumliche Lichtkurven, wie diskrete Laserlichtquellen vorhanden sind. Das Ergebnis für jede dieser Kurven ist in Aussehen und Auswertung mit dem bekannten Lichtschnittverfahren vergleichbar.

Selbstverständlich können aber auch flächige Bildsensoren und gleichzeitig mit einem Horizontal- und einem Vertikalwinkel strahlende strukturierte Lichtquellen vorteilhaft eingesetzt werden. Es kann weiterhin vorteilhaft sein, das Objekt mit Bildmusterprojektionen, z.B. von einem Diapositiv, einem LCD-Projektor oder ähnlichen Anordnungen, zu bestrahlen.

Außerdem kann es vorteilhaft sein, vorhandene Projektionseinrichtungen mit einer Verstellvorrichtung so zu versehen, dass eine gezielte Veränderung der Abstrahlwinkel gegenüber der optischen Kameraachse erfolgt.

Um das projizierte strukturierte Licht bestmöglich vom Umgebungslicht unterscheiden zu können, ist der Einsatz von Farbfiltern vorteilhaft. Werden z.B. rot strahlende Laserdioden verwendet, so kommen schmalbandige, an deren Wellenlänge angepasste Rotfilter zum Einsatz.

Um die Objektprojektion des strukturierten Lichtes im Bild leichter aufzufinden, wird das Licht synchron mit der Bildaufnahme so moduliert, dass Aufnahmen aus der gleichen Kameraposition alternativ einmal mit und einmal ohne eingeschaltetes Licht erfolgen und die Differenz aus beiden Bildern berechnet wird. Ebenso kann verfahren werden, um unterschiedliche Lichtquellen voneinander zu unterscheiden.

Zur Unterscheidung bestimmter Abstrahlwinkel der strukturierten Beleuchtung ist weiterhin deren Kodierung durch unterschiedliche Wellenlängen, bzw. Farben, möglich. Auch kann die strukturierte Beleuchtung oder Teile davon synchron zur Teilbildaufnahme moduliert werden, so dass sich im Gesamtbild z.B. Linien mit bestimmter Punkt-Strich-Kodierung zuordnen lassen.

Oft besteht eine Messaufgabe darin, Aufmessungen von Objekten durchzuführen, die sich größtenteils aus regelmäßigen geometrischen Körpern oder Flächen, z.B. Ebenen, zusammensetzen. Hierzu werden gefundene Objektpunkte, deren räumliche Koordinaten einschließlich ihres Abstands zum Projektionszentrum bestimmt wurden, auf ihre Zugehörigkeit zu gemeinsamen Flächen hin untersucht. Mit drei bekannten Punktkoordinaten ist nach dem Gleichungssystem axi + byi + czi= 1 bereits eine Fläche bestimmbar. Jeder weitere Punkt kann über seinen Abstand zur Ebene

auf seine Ebenenzugehörigkeit untersucht werden. Der Grenzwert ∊ berücksichtigt tolerierbare Unebenheiten in realen Objektflächen, die einer Ebene zugeordnet werden, oder auch Messtoleranzen. Gehört ein Punkt nach diesem Kriterium zu einer Ebene, so wird er zur Präzisierung deren Lage mit herangezogen. In einer iterativen Rechnung wird die resultierende Quadratsumme der Abstände aller erfassten Ebenenpunkte minimiert. Somit werden auch Messtoleranzen und Objektunebenheiten bestmöglich ausgeglichen und eine optimale Ebenenapproximation erreicht. Wird ein Punkt erkannt, der nicht zu einer bereits bekannten Ebene gehört, so liegt dieser unter Umständen auf einer neuen Ebene, was mit weiteren Punkten getestet wird.

Nachdem alle bekannten Punkte verarbeitet und mehrere Ebenen erkannt wurden, werden alle Schnittgeraden zwischen diesen Ebenen bestimmt. Der Richtungsvektor dieser Schnittgeraden ist aus den Normalvektoren beider Ebenen nach

bestimmbar. Über einen beliebigen Punkt, der beide Ebenengleichungen erfüllt, ist damit die Lage der Schnittgerade im Raum definiert.

Eckpunkte können als Schnittpunkte gefundener Schnittgeraden durch angrenzende Flächen definiert werden.

Mit den aufgezeigten Ansätzen ist insbesondere eine automatisierte Aufmessung von Innenräumen, z.B. zur genauen Bestandserfassung im Facility Management, realisierbar. Dafür genügt allgemein nur ein Standort der Aufnahmevorrichtung in jedem Raum, der in ein lokales oder globales Koordinatennetz eingebunden werden kann.

Ausführungsbeispiel
Anhand eines vorteilhaften Ausführungsbeispiels soll die Erfindung nachstehend erläutert werden.
12 zeigt den prinzipiellen mechanischen Grundaufbau einer Aufnahmeanordnung in erfindungsgemäßer Ausführung. In einem stabilen Rahmengestell (1) als Alhidade ist eine Kamerabaugruppe (2) mittels Präzisionsantrieb (3) drehbar so gelagert, dass eine Neigung um die horizontale Kippachse HH erfolgen kann. Das Rahmengestell wiederum ist an seiner Unterseite mit einem weiteren Präzisionsantrieb (4) verbunden, der eine Schwenkbewegung um die vertikale Stehachse VV ermöglicht. Dabei ruht dieser Schwenkantrieb auf einem standardisierten Steckzapfen (5) für Vermessungsgeräte für die Befestigung auf einem Dreifuß, der mit diesem zusammen den Limbus bildet. Schwenkantrieb und Steckzapfen besitzen eine Mittelbohrung, durch die eine darüber angebrachte Laserdiode mit Kollimator (6) ihren gebündelten Strahl senkrecht nach unten projiziert und somit eine optische Lot-Funktion ausführt. Hiermit ist das Eintaumeln der Aufnahmeanordnung auf eine Messmarke möglich. Am Rahmengestell befindet sich weiterhin eine justierte Röhrenlibelle (7) zur Horizontierung der Aufnahmeanordnung. Ein pultförmiges Gehäuse (8) nimmt einen Teil der Steuerelektronik, insbesondere das Bedienerinterface mit Tastatur und Display, auf.
13 erläutert den beispielhaften Aufbau der Kamerabaugruppe gemäß 12 (2). Das Objektiv (20) befindet sich mit seinem objektseitigen Hauptpunkt als Projektionsmittelpunkt genau im Drehzentrum, das in der horizontalen Drehachse VV gemäß 12 liegt. In der Projektionsebene des Objektivs ist der Bildsensor (21) angeordnet, der hier ein Zeilensensor mit drei parallel angeordneten Einzelzeilen für die drei Grundfarben Rot, Grün und Blau sei. Ein UV-Filter (22) im Strahlengang verhindert die Verfälschung der Bildaufnahme durch ultraviolette Strahlung. Symmetrisch zur Kameraachse sind zwei Gruppen aus je drei Laserdioden mit vorgesetzten Kollimatoren angeordnet, die alle in der gleichen Ebene mit dem Projektionszentrum und dem Zeilensensor liegen. Diese Laserdioden strahlen Licht in sechs unterschiedlichen Vertikalwinkeln ab, so dass gleichzeitig sechs Lichtkurven im Objekt erzeugt werden.
In 14 ist die funktionelle Struktur des Ausführungsbeispiels in Form eines Blockschaltbildes dargestellt. Ein Mikroprozessorsystem (μP) ist mit einem Programmspeicher (ROM), einem Schreib-Lese-Speicher (RAM), einem Zähler/Zeitgeber (CTC), einem aus Display und Eingabetastatur bestehenden Benutzer-Interface (BI) und einer externen Datenschnittstelle (DI) verbunden. Das Mikroprozessorsystem steuert jeweils über eine Interface-Schaltung (I) den Präzisionsantrieb (M) in der vertikalen und horizontalen Drehachse. Über einen Encoder (E) wird der jeweils erreichte mechanische Drehwinkel vom Mikroprozessorsystem überwacht und an den Sollwert angeglichen. Das Kamera-Interface (KI) mit der Steuerung für den Bildsensor (B) und dem integrierten Analog-Digital-Umsetzer für das Bildsensor-Signal steuert die Bildaufnahme und überträgt alle Bildinformationen an das Prozessorsystem. Über einen Blendenstellmotor (BM) kann die Objektivblende verändert werden. Die Laserdioden (LD) sind über ein Interface als Modulator (IM) ebenfalls mit dem Mikroprozessorsystem verbunden, von dem sie programmabhängig ein- und ausgeschaltet werden.

Claims

Verfahren zur photogrammetrischen Messbildaufnahme mit einer optoelektronischen Kamera mit ein- oder zweidimensionaler matrixförmiger, nach den Regeln eines linearen rechtwinkligen Koordinatensystems angeordneter Struktur des Bildsensors, dadurch gekennzeichnet, dass die Speicherung der gewonnenen Bildinformation in einem sphärischen Koordinatensystem erfolgt, das zur informationstechnischen Beschreibung der optischen Bildprojektion durch den zentralen Beobachtungspunkt im Raum auf eine virtuelle Kugeloberfläche mit einem Einheitsradius und dem Beobachtungspunkt in deren Zentrum dient und dass zu diesem Zweck eine Koordinatentransformation der bei der Bildaufnahme durch Zentralprojektion gewonnenen Bildelemente in diskrete Horizontal- und Vertikalwinkelschritte vorgenommen wird, wobei sowohl eine kameraspezifische Zuordnungsmatrix zwischen den diskreten Bildelementen im Bildraum und den entsprechenden Einfallswinkeln im Objektraum, wie auch eine eventuelle Verschwenkung, Neigung oder Kantung der Kamera, nach den aus der analytischen Geometrie bekannten Regeln berücksichtigt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Koordinatentransformation nicht sofort während der Aufnahme, sondern später anhand der zwischengespeicherten Einzelbilder erfolgt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Erzeugung der kameraspezifischen Zuordnungsmatrix während eines einmaligen oder wiederholten Kalibriervorganges so erfolgt, dass die auf einem festen Beobachtungspunkt befindliche Kamera einen festen Zielpunkt abbildet und schrittweise so geschwenkt und/oder geneigt wird, dass für jedes Bildelement, auf das der Zielpunkt abgebildet wird, der zugehörige momentane Einfallswinkel zuzuordnen ist, oder die Zuordnung zwischen Bildelementekoordinaten und Einfallswinkel in anderer geeigneter Weise, z.B. als approximierte mathematische Funktion, erfolgt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Zuordnung der Grau- oder Farbwerte in die diskreten Koordinaten des sphärischen Zielsystems durch Interpolation der nächstliegenden benachbarten Winkelkoordinaten unter Berücksichtigung entfernungsabhängiger Wichtungsfaktoren erfolgt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass durch Verschwenken und/oder Neigen in definierten Winkelschritten um einen zentralen Beobachtungspunkt, wiederholte Bildaufnahme in jeder dieser diskreten Kamerapositionen und Ergänzung der als Teilbilder gewonnenen neuen Bildinformationen zum gemeinsamen sphärischen Koordinatensystem das Objektfeld rings um den Beobachtungspunkt schrittweise abgetastet wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass zum Zwecke der Vergrößerung des insgesamt erfassten Bildwinkels die Winkelschritte so groß gewählt werden, dass sich die erfassten Einzelbilder an ihren Rändern aneinanderfügen oder überlappen, wodurch eine lückenlose Projektion des gesamten Gesichtsfeld auf die ganze Kugelfläche möglich ist.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass in Überlappungsbereichen zwischen den Teilbildern ein allmählicher Übergang von einem Teilbild zum anderen durch gewichtete Überlagerung der Bildinformationen hergestellt wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der zentrale Beobachtungspunkt vor den Bildaufnahmen in ein lokales oder globales Koordinatensystem eingemessen wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass zur Vermeidung von Verkantungen eine Horizontierung der Aufnahmevorrichtung vorgenommen wird, bei der die Verschwenkungs- und Neigeachsen in vertikale, bzw. horizontale Lage gebracht werden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass zum Zwecke der Erhöhung der effektiven Bildsensor-Auflösung die Winkelschritte so klein gewählt werden, dass sie kleiner als die den diskreten Bildelementen des Bildsensors zuzuordnenden Einfallswinkeldifferenzen sind, so dass neu erfasste Bildelemente zwischen bereits vorhandenen gespeichert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass wenigstens eine gerichtete Projektionseinrichtung, bestehend aus einer Lichtquelle mit strukturiertem oder kollimiertem Licht, mit einem zur optischen Achse der Kamera konstanten Abstrahlwinkel und mit einer in Bezug auf die eventuell schwenk-, neig- oder kantbare Kamera festen Position ein von der Kamera erfassbares Lichtmuster auf das Objekt projiziert und durch Auswertung der Abbildungskoordinaten ausgewählter Punkte dieses Lichtmusters bei Kenntnis von Parallaxe und Richtungswinkeln die Entfernung zu den untersuchten Objektpunkten nach den bekannten Regeln der Triangulation bestimmt wird.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass zur Filterung des projizierten und abgebildeten Lichtmusters von übrigem Fremdlicht eine zweite Bildaufnahme in gleicher Kameraposition ohne projiziertes Lichtmuster erfolgt, und anschließend ein Differenzbild aus beiden Aufnahmen berechnet wird.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass die Differenzbild-Berechnung auch für Bilder mit partiell eingeschalteter Lichtmusterprojektion erfolgt, um verschiedene Abstrahlwinkel eindeutig zuzuordnen.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass das partielle Ein- und Ausschalten der Lichtmusterprojektion nach den Regeln der binären Codierung erfolgt.
Verfahren nach Ansprüchen 5 und 11, dadurch gekennzeichnet, dass die Projektionseinrichtungen während der Aufnahme synchron zur Änderung der Kameraposition in ihren Intensitäten moduliert werden, so dass aus der Abbildung eine Codezuordnung zum entsprechenden Abstrahlwinkel erfolgen kann.
Verfahren nach Ansprüchen 5 und 11, dadurch gekennzeichnet, dass das Muster vorhandener elektrisch steuerbarer Projektionsoriginale der Projektionseinrichtungen während der Aufnahme synchron zur Änderung der Kameraposition verändert wird, so dass aus der Abbildung eine Musterzuordnung zum entsprechenden Abstrahlwinkel erfolgen kann.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Projektionseinrichtungen Licht unterschiedlicher, vom Abstrahlwinkel abhängiger Wellenlängenbereiche aussenden, so dass aus der Abbildung eine Farbzuordnung zum entsprechenden Abstrahlwinkel erfolgen kann.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass Aufnahmen aus der gleichen Kameraposition sowohl mit, wie auch ohne, eingeschaltete Projektionseinrichtungen durchgeführt und getrennt gespeichert werden, um einerseits in räumlichen Koordinaten auswertbare Messbilder, andererseits aber auch Bildaufnahmen ohne überlagerte Lichtmarken mit den gleichen Abbildungsgeometrien zu erhalten, so dass die vermessenen und in ein 3D-Modell umgewandelten Objektprofile ohne weitere geometrische Korrekturen mit Texturen der natürlichen Ansichten überzogen werden können.
Verfahren zur photogrammetrischen Messbildverarbeitung, dadurch gekennzeichnet, dass die in Form digitalisierter Grau- oder Farbwerte in einer nach Horizontal- und Vertikalwinkel organisierten Matrix gespeicherte Abbildung nach wahlfreier Vorgabe eines Horizontal- und Vertikalwinkels für die optische Achse einer virtuellen Kamera, sowie deren Bildfeldwinkel, eine Transformation in die zugehörige zentralperspektivische Abbildung in Form eines rechtwinkligen zweidimensionalen Zielkoordinatensystem vorgenommen wird und dieses Zielkoordinatensystem entweder zur direkten Bildanzeige gelangt oder als zusätzliche Bilddatei einzeln gespeichert wird.
Verfahren nach Anspruch 19, dadurch gekennzeichnet, dass zur Gewinnung flächig entzerrter Messbilder, insbesondere für Grundrisse und Fassadenaufmaße, die optische Achse der virtuellen Kamera so gewählt wird, dass diese senkrecht zur zu entzerrenden Fläche steht, was zusätzlich über die abgebildete Parallelität von im Original parallelen Linien innerhalb dieser Fläche kontrolliert werden kann.
Verfahren zur photogrammetrischen Messbildverarbeitung, dadurch gekennzeichnet, dass alle Punkte mit erfassten vollständigen Raumkoordinaten innerhalb einer projektspezifischen Toleranzgrenze auf ihre Gruppenzugehörigkeit zu gemeinsamen Flächen überprüft werden, aus der Gesamtheit aller erfassten Punkte innerhalb einer jeden Gruppe die zugehörige Flächendefinitionsgleichung nach den Regeln statistischer Mittelwerte, bzw. nach dem Kriterium der kleinsten Fehlerquadrate, gebildet werden, aus den somit bekannten Flächen deren Schnittgeraden und die zwischen den Schnittgeraden und den Flächen gebildeten Schnittpunkte als Knoten- oder Eckpunkte errechnet werden, so dass insbesondere für kürzere Distanzen eine automatische Bestimmung einfacher Körpergeometrien, z.B. als Raumaufmaß in Innenräumen, ermöglicht wird.
Anordnung zur photogrammetrischen Messbildaufnahme, bestehend aus einer optoelektronischen Kamera mit matrixförmiger, nach den Regeln eines linearen rechtwinkligen Koordinatensystems angeordneter Struktur des Bildsensors, die kardanisch mit vorzugsweise durch ihr Projektionszentrum verlaufenden Drehachsen gelagert und mit elektrisch einzeln steuerbaren Antrieben für die Horizontal- und den Vertikalwinkeleinstellung versehen ist, dadurch gekennzeichnet, dass der das digitalisierte Bildsignal führende Kameraausgang, der Steuereingang der Kamera und die Steuerein- und Encoderausgänge der Antriebe mit einer zentralen Steuerung, vorzugsweise in Form eines Mikrorechners, verbunden sind, die weiterhin einen Datenspeicher zur Speicherung der gewonnenen Bildinformationen, sowie einen Programmspeicher aufweist, wobei dieser Steuerrechner auch die Funktion einer Synchronisiereinrichtung der Antriebe untereinander und gegenüber der Kamerasteuerung erfüllt, und dass sowohl die Drehlagerungen, wie auch die Antriebe mit geeigneten mechanischen Elementen, insbesondere mit Präzisionsgetrieben und Winkelencodern, versehen sind, die eine Positionierungsgenauigkeit gewährleisten, die besser als der auf den optischen Einfallswinkel der Kamera umgerechnete Abstand zweier benachbarter Bildelemente des Bildsensors in der jeweiligen Richtung ist.
Anordnung nach Anspruch 22, dadurch gekennzeichnet, dass die kardanische Lagerung in der Art eines Theodolits so ausgeführt ist, dass ein feststehender Limbus eine senkrecht stehende Drehlagerung enthält, die eine im Horizontalwinkel drehbare Alhidade trägt, die wiederum eine waagerecht liegende Drehlagerung besitzt, an der die Kamera im Vertikalwinkel drehbar gelagert ist.
Anordnung nach Anspruch 22, dadurch gekennzeichnet, dass die Matrix des Bildsensors eindimensional, die Kamera also eine Zeilenkamera ist.
Anordnung nach Anspruch 22, dadurch gekennzeichnet, dass wenigstens eine Projektionseinrichtung für strukturiertes oder kollimiertes Licht mechanisch starr mit der Kamera so verbunden ist, dass das Objekt innerhalb der von der Kamera abgebildeten Region beleuchtet wird und eine Parallaxe zwischen den Strahlengängen der Kamera und jeder Projektionseinrichtung vorhanden ist.
Anordnung nach Ansprüchen 24 und 25, dadurch gekennzeichnet, dass der Hauptstrahlengang der Projektionseinrichtungen, das Abbildungszentrum der Zeilenkamera und die Mittellinie deren Zeilensensors in einer gemeinsamen Ebene liegen.
Anordnung nach Anspruch 25, dadurch gekennzeichnet, dass vorhandene Projektionseinrichtungen mit einzelnen oder gemeinsamen Verstellvorrichtungen versehen sind, so dass der Horizontal- und/oder Vertikalwinkel der Projektionseinrichtungen, oder von Teilen davon, gegenüber der Projektionsachse der Zeilenkamera veränderlich ist.
Anordnung nach Anspruch 27, dadurch gekennzeichnet, dass wenigstens eine Verstellvorrichtung für die Projektionseinrichtungen diskrete Vorzugswinkel aufweist, zwischen denen eine schrittweise Umschaltung erfolgt.
Anordnung nach Anspruch 27, dadurch gekennzeichnet, dass die Verstellvorrichtungen für die Projektionseinrichtungen mit elektrisch steuerbaren Antrieben versehen sind, die mit dem Steuerrechner verbunden sind.
Anordnung nach Anspruch 25, dadurch gekennzeichnet, dass die Projektionseinrichtungen aus einer oder mehreren Laserlichtquellen mit Kollimatoren bestehen.
Anordnung nach Anspruch 30, dadurch gekennzeichnet, dass wenigstens 2 Laserlichtquellen einen gemeinsamen Kollimator besitzen.
Anordnung nach Anspruch 30, dadurch gekennzeichnet, dass die Laserlichtquellen mit Modulatoren verbunden sind, die eine Steuerung der Lichtintensität ermöglichen.
Anordnung nach Anspruch 32, dadurch gekennzeichnet, dass die Modulatoren mit dem Steuerrechner verbunden sind.
Anordnung nach Anspruch 30, dadurch gekennzeichnet, dass vorhandene Laserlichtquellen unterschiedliche Wellenlängen aufweisen.
Anordnung nach Anspruch 25, dadurch gekennzeichnet, dass die Projektionseinrichtungen jeweils aus einer Lichtquelle mit Strahlformungseinrichtung, z.B. Kondensor, einem unveränderlichen Projektionsoriginal, beispielsweise in Form eines Diapositivs, sowie einem Projektionsobjektiv bestehen.
Anordnung nach Anspruch 35, dadurch gekennzeichnet, dass das Projektionsoriginal elektrisch steuerbar ist, insbesondere also ein Durchlicht-Flüssigkristalldisplay, ein Mikrospiegelarray oder ein vergleichbar wirkendes Element ist und dass der Steuereingang dieses Projektionsoriginals mit dem Steuerrechner verbunden ist.
Anordnung nach Anspruch 35, dadurch gekennzeichnet, dass das Projektionsoriginal optische Bandfilter oder Strahlteiler enthält, so dass in der Projektionsfläche eine vom Abstrahlwinkel abhängige Wellenlängenverteilung stattfindet.
Anordnung nach Ansprüchen 34 oder 37, dadurch gekennzeichnet, dass in den Strahlengang der Zeilenkamera wenigstens ein optisches Filter ständig oder zeitweise zwischengeschaltet ist, das auf die von der Projektionseinrichtung ausgestrahlten Wellenlängenbereiche abgestimmt ist, so dass eine bessere Trennschärfe zwischen der auf das Objekt projizierten Struktur oder Teilen davon und sonstigem Fremdlicht erreicht wird.
Anordnung nach Anspruch 22, dadurch gekennzeichnet, dass sie mit einer Horizontiereinrichtung, vorzugsweise einem aus der Vermessungstechnik bekannten Dreifuß oder Kugelfuß, verbunden ist oder einen standardisierten mechanischen Adapter, vorzugsweise einen Steckzapfen, aufweist, der mit marktüblichen Horizontiereinrichtungen verbunden werden kann.
Anordnung nach Anspruch 22, dadurch gekennzeichnet, dass sie für ihre Horizontierung wenigstens eine Kontrolleinrichtung, vorzugsweise eine Röhrenlibelle, aufweist.
Anordnung nach Anspruch 22, dadurch gekennzeichnet, dass sie für ihre Horizontierung eine automatische Horizontiereinrichtung in bekannter Bauart aufweist.
Anordnung nach Anspruch 22, dadurch gekennzeichnet, dass sie zum Eintaumeln auf eine Marke ein optisches Lot in bekannter Ausführung aufweist.
Anordnung nach Anspruch 22, dadurch gekennzeichnet, dass sie zum Eintaumeln auf eine Marke eine senkrecht nach unten justierte Laserprojektionseinrichtung aufweist.
Anordnung nach Anspruch 22, dadurch gekennzeichnet, dass an ihren mechanischen Stütz- und Bewegungselementen wenigstens eine passive oder aktive Marke zur Selbstkalibrierung vorhanden ist, die bei bestimmten Vertikal- oder Horizontalwinkeln vom Strahlengang der Kamera erfassbar sind.
Anordnung nach Anspruch 22, dadurch gekennzeichnet, dass die Kamera mit einer optischen Zielvorrichtung, vorzugsweise einem Diopter oder einem Sucherfernrohr, verbunden ist.
Anordnung nach Anspruch 22, dadurch gekennzeichnet, dass diese in beliebiger Lage, insbesondere auch liegend, montiert ist, so dass die Stehachse vorzugsweise eine horizontale Lage einnimmt.
Anordnung nach Anspruch 22, dadurch gekennzeichnet, dass diese auf einem Hochstativ montiert ist, um Luftbild ähnliche Aufnahmen fertigen zu können.
Anordnung nach Anspruch 22, dadurch gekennzeichnet, dass diese an einem Fesselballon montiert ist, um Luftbild ähnliche Aufnahmen fertigen zu können.