DE102004047325A1

DE102004047325A1 - Einrichtung und Verfahren zum Herstellen einer Bildkorrespondenz

Info

Publication number: DE102004047325A1
Application number: DE102004047325A
Authority: DE
Inventors: Schinobu Uezono; Masami Shirai
Original assignee: Pentax Corp
Current assignee: Pentax Corp
Priority date: 2003-09-29
Filing date: 2004-09-29
Publication date: 2005-04-14
Also published as: US20050069195A1; JP4540322B2; JP2005106505A; DE102004047325A8

Abstract

Beschrieben ist eine Einrichtung zum Herstellen einer Korrespondenz zwischen einem ersten und einem zweiten Bild, die das gleiche Objektbild enthalten. Die Einrichtung umfasst ein Mittel zum Bestimmen eines Zielpunktes in dem ersten Bild, ein Mittel zum Extrahieren eines vorbestimmten, den Zielpunkt umgebenden Bildbereichs als erstes extrahiertes Bild und ein Mittel zum Suchen eines Punktes in dem zweiten Bild, der dem Zielpunkt in dem ersten Bild entspricht, durch Bildanpassung zwischen dem ersten extrahierten Bild und dem zweiten Bild. Die Auflösungen des ersten und des zweiten Bildes sind voneinander verschieden.

Description

Die Erfindung betrifft eine Einrichtung und ein Verfahren zum Herstellen einer Bildkorrespondenz, insbesondere zum Absuchen eines Bildes, um einen Punkt ausfindig zu machen, der mit einem Punkt in einem anderen Bild korrespondiert.

In jüngerer Vergangenheit haben digitale Kameras weitläufig Anwendung gefunden. Dies hat dazu geführt, dass mittlerweile auch auf dem Gebiet der Vermessungssysteme digitale Bilder zur Anwendung kommen. Beispielsweise ist in der Japanischen Patentveröffentlichung 3192875 die Verwendung digitaler Bilder als Stereobilder beschrieben. Auch können digitale Bilder zum Aufzeichnen von Situationen oder von Zuständen an einem Vermessungsort genutzt werden. Beispielsweise ist in der ungeprüften Japanischen Patentveröffentlichung 11-337336 eine Vermessungseinrichtung offenbart, die mit einer hochauflösenden digitalen Kamera ausgestattet ist entspricht, zu bestimmen und zu spezifizieren. Beispielsweise ist es auch in der analytischen Fotogrammetrie, die mit Stereobildern arbeitet, erforderlich, Positionen eines Standpunktes in jedem Stereobild zu bestimmen, um die dreidimensionalen Koordinaten des Standpunktes zu ermitteln. Herkömmlicherweise erfolgt dies über den Benutzer selbst. So bestimmt der Benutzer die dem Standpunkt entsprechenden Punkte in jedem der auf einem Sichtgerät dargestellten digitalen Stereobilder.

Nachdem die Standpunkte mit einer Vermessungseinrichtung, z.B. einer Totalstation, einem Theodoliten oder dergleichen vermessen worden sind, wird üblicherweise ein Bericht erstellt. Bei dieser Art von Bericht wird die Position des Standpunktes in den Bildern angezeigt, um deutlich anzugeben, wo die Messung durchgeführt worden ist.

Ist jedoch beispielsweise die Auflösung einer in der Stereobildaufnahme verwendeten Bilderzeugungsvorrichtung nicht genügend hoch, kann die Bestimmung der entsprechenden Punkte in dem rechten und dem linken Bild nicht präzise vorgenommen werden. Außerdem ist die präzise Anzeige der Position eines Standpunktes in Vermessungsbildern mühsam und schwierig.

Die Erfindung zielt darauf ab, die eingangs beschriebenen Probleme zu lösen. Hierzu sieht die Erfindung eine Einrichtung, ein Verfahren, ein Computerprogrammprodukt und ein Vermessungssystem nach den unabhängigen Ansprüchen vor. Vorteilhafte Weiterbildungen sind in den Unteransprüchen angeben.

Die Merkmale und die Vorteile der vorliegenden Erfindung werden noch deutlicher aus der folgenden Beschreibung, in der auf die Figuren Bezug genommen wird. Darin zeigen:
1A und 1B perspektivische Ansichten einer Einrichtung zur Aufnahme von Stereobildern, die in einem analytischen Fotogrammetrie-System nach einem ersten Ausführungsbeispiel der Erfindung verwendet wird,
2 ein Blockdiagramm, das den allgemeinen elektrischen Aufbau der Stereobildeinrichtung nach dem ersten Ausführungsbeispiel zeigt,
3 einen Querschnitt eines Kamerarotators,
4 ein Flussdiagramm mit den Prozessen, die in dem Mikrocomputer der Stereobildeinrichtung ausgeführt werden,
5 eine schematische Darstellung, die den Zusammenhang zwischen dem Drehwinkel des Kamerarotators und den horizontalen Bildwinkeln der Stereokamera und der Telefotokamera zeigt,
6 ein Bild, das man durch Zusammensetzen von vier Telebildern erhält und das einem rechten (linken) Bild entspricht, das mit der Stereokamera aufgenommen worden ist,
7 vier separate Telebilder, aus denen das in 6 gezeigte Bild zusammengesetzt ist,
8 ein Flussdiagramm einer für die Kamerarotatoren vorgesehenen Drehoperation,
9 ein Flussdiagramm einer von einem Computer ausgeführten Operation zur Bildanpassung,
10 eine schematische Darstellung, die den Zusammenhang zwischen einem extrahierten Bild geringer Auflösung und einem extrahierten Bild hoher Auflösung zeigt,
11 ein Flussdiagramm einer Operation zur Parameterberechnung, die in Schritt S302 ausgeführt wird,
12A und 12B perspektivische Ansichten einer Stereobildeinrichtung, die in einem analytischen Fotogrammetrie-System nach einem alternativen Ausführungsbeispiel verwendet wird,
13 eine schematische Darstellung, die den Zusammenhang zwischen einem Drehwinkel des Kamerarotators, dem Bildwinkel der Stereokamera und der Telefotokamera zeigt,
14 eine schematische Darstellung, die den Aufbau des Vermessungssystems nach dem zweiten Ausführungsbeispiel zeigt,
15 ein Blockdiagramm, das den elektrischen Aufbau des Vermessungssystems zeigt,
16 ein Flussdiagramm des Vermessungsprozesses, der von dem Vermessungssystem nach dem zweiten Ausführungsbeispiel ausgeführt wird, und
17 Beispiele für die Messpunktbilder, die von der externen digitalen Kamera und der eingebauten Kamera der Vermessungseinrichtung eingefangen werden.
Die Erfindung wird im Folgenden an Hand der in den Figuren gezeigten Ausführungsbeispiele beschrieben.
Die 1A und 1B sind perspektivische Ansichten einer Einrichtung zur Aufnahme von Stereobildern, im Folgenden als Stereobildeinrichtung bezeichnet, die in einem analytischen Fotogrammetrie-System nach einem ersten Ausführungsbei spiel der Erfindung verwendet wird. Dabei zeigt 1A eine perspektivische Vorderansicht von einer unteren Position aus betrachtet und 1B eine perspektivische Rückansicht von einer oberen Position aus betrachtet.
Die Stereobildeinrichtung 10 nach dem ersten Ausführungsbeispiel hat eine zentrale Steuerung 11 und Arme 11L und 11R, die rechts und links von der zentralen Steuerung 11 abstehen. Unterhalb der Endabschnitte des rechten und des linken Arms 11R und 11L sind Montageteile 12R bzw. 12L vorgesehen, an denen eine rechte Stereokamera 13R bzw. eine linke Stereokamera 13L montiert sind. Auf der Oberseite der beiden Endabschnitte des rechten und des linken Arms 11R und 11L sind Kamerarotatoren 14R und 14L angeordnet, an denen Telefotokameras 15R bzw. 15L montiert sind.
Als Stereokameras 13R, 13L und Telefotokameras 15R, 15L werden digitale Kameras verwendet. Die rechte und die linke Stereokamera 13R und 13L dienen der Fotogrammetrie, so dass sie präzise an dem jeweiligen Montageteil 12R bzw. 12L angeordnet und befestigt sind. Die Positionsbeziehung zwischen der rechten und der linken Stereokamera 13R, 13L ist mit hoher Genauigkeit voreingestellt. Auch sind die auf die innere Orientierung bezogenen Parameter für die rechte und die linke Stereokamera 13R und 13L genau kalibriert.
Dagegen dienen die Telefotokameras 15R und 15L der Telefotografie, so dass ihre Brennweiten im Vergleich zu der rechten und der linken Stereokamera 13R und 13L vergleichsweise lang und ihre Kamerabildwinkel vergleichsweise eng sind. Jedoch müssen die Ausrichtung und die auf die innere Orientierung bezogenen Parameter der Telefotokameras 15R und 15L nicht so genau wie für die Stereokameras 13R und 13L sein. In dem ersten Ausführungsbeispiel sind sämtliche Kameras 13R, 13L und 15R, 15L mit Bildaufnahmevorrichtungen (z.B. CCDs) versehen, welche die gleiche Zahl an Pixeln haben. Deshalb können die Telefotokameras 15R und 15L, die einen vergleichsweise engen Bildwinkel haben, ein Objektbild mit hoher Auflösung erzeugen, das genauer ist als ein Objektbild, das mit den Stereokameras 13R und 13L erzeugt wird, die einen weiten Bildwinkel haben.
Die Stereobildeinrichtung 10 ist an der Unterseite der zentralen Steuerung 11 auf einem Halteelement, z.B. ein Dreibein, befestigt. Innerhalb der zentralen Steuerung 11 befindet sich ein Mikrocomputer 16 (vergl. 2), durch den die Stereobildeinrichtung 10 insgesamt gesteuert wird. Der Mikrocomputer 16 steuert die Stereobildeinrichtung 10 entsprechend den Schaltoperationen eines Steuerfeldes 11P, das sich auf der Rückseite der zentralen Steuerung 11 befindet.
2 ist ein Blockdiagramm, das den allgemeinen elektrischen Aufbau der Stereobildeinrichtung 10 nach dem ersten Ausführungsbeispiel zeigt.
Wie oben beschrieben, umfasst die Stereobildeinrichtung 10 die rechte und die linke Stereokamera 13R, 13L, den rechten und den linken Kamerarotator 14R, 14L und die rechte und die linke Telefotokamera 15R, 15L. Alle diese Komponenten sind an dem in der zentralen Steuerung montierten Mikrocomputer 16 angeschlossen und werden von diesem gesteuert. So werden die Auslöseoperationen der Stereokameras 13R, 13L und der Telefotokameras 15R, 15L auf Grundlage von aus dem Mikrocomputer 16 stammenden Steuersignalen ausgeführt und die von den jeweiligen Kameras eingefangenen Bilder dem Mikrocomputer 16 zugeführt.
Ferner ist eine Schnittstellenschaltung 17 an den Mikrocomputer 16 angeschlossen. Über die Schnittstellenschaltung 17 kann der Mikrocomputer 16 an einen externen Computer, z.B. einen Notebook-Personalcomputer, angeschlossen werden. So können die Bilddaten, die von den jeweiligen Kameras an den Mikrocomputer 16 geliefert werden, über ein bestimmtes Übermittlungsmedium, z.B. ein Schnittstellenkabel, auf den Computer 20 übertragen werden. Andererseits können Steuersignale von dem Computer 20 an den Mikrocomputer 16 übertragen werden. Zudem sind eine Bedienschaltgruppe 18 des Steuerfeldes 11P sowie eine Anzeige 19 an den Mikrocomputer 16 angeschlossen.
Der Computer 20 enthält üblicherweise eine CPU 21, eine Schnittstellenschaltung 22, ein Aufzeichnungsmedium 23, eine Anzeige (Bildanzeigevorrichtung) 24 und eine Eingabevorrichtung 25. Die aus dem Mikrocomputer der Stereobildeinrichtung 10 übertragenen Bilddaten werden über die Schnittstellenschaltung 22 in dem Aufzeichnungsmedium 23 gespeichert. Nach Bedarf können die in dem Aufzeichnungsmedium 23 gespeicherten Bilddaten auf der Anzeige 24 dargestellt werden. Außerdem kann der Computer 20 über die Eingabevorrichtung 25 betätigt werden, die eine Zeigervorrichtung, z.B. eine Maus oder dergleichen, und eine Tastatur enthält.
Unter Bezugnahme auf 3 wird im Folgenden der Aufbau der Kamerarotatoren 14R und 14L beschrieben. Die Kamerarotatoren 14R und 14L haben einen Mechanismus, der die Telefotokameras 15R und 15L vertikal und horizontal durchsetzt. Die Drehbewegung wird über Treibersignale gesteuert, die aus dem Mikrocomputer 16 stammen. Der linke Kamerarotator 14L hat den gleichen Aufbau wie der rechte Kamerarotator 14R, so dass im Folgenden nur der Aufbau des rechten Kamerarotators 14R erläutert und auf eine Beschreibung des Aufbaus des linken Kamerarotators 14L verzichtet wird.
3 ist eine Querschnittsansicht des Kamerarotators 14R. Ein Körper 140 des Kamerarotators 14R ist U-förmig gestaltet. In der Mitte des Basisteils des Körpers 140 befindet sich eine vertikale Rotationswelle 141. Auf der Oberseite des rechten Endes des rechten Arms 11R ist eine Lagernabe 142 zur Aufnahme der vertikalen Rotationswelle des Kamerarotators 14R ausgebildet. Innerhalb des Endabschnitts des rechten Arms 11R ist eine Zahnung 143 an der vertikalen Rotationswelle 141 angebracht. Die Zahnung 143 steht in Eingriff mit einem Ritzel 145, das mit einem Antriebsmotor 144, z.B. einem Schrittmotor oder dergleichen, verbunden ist. Der Antriebsmotor 144 wird auf Grundlage von Steuersignalen, welche die zentrale Steuerung 11 ausgibt, gedreht, so dass die Drehung des Kamerarotators 14R um die vertikale Achse Y ausgeführt wird.
Im inneren Bereich des U-förmigen Körpers 140 des Kamerarotators 14R ist eine Plattform 146 zur Anbringung der rechten Telefotokamera 15R angeordnet. Auch die Plattform 146 ist U-förmig ausgebildet, so dass die Telefotokamera 15R am inneren Teil der U-förmigen Plattform 146 über ein Befestigungsmittel, wie eine Schraube oder dergleichen, montiert und befestigt werden kann. An den beiden äußeren Seitenwänden der Plattform 146 sind horizontale Rotationswellen 147R und 147L vorgesehen. Die horizontalen Rotationswellen 147R und 147L sind jeweils in einem Lager 148R bzw. 148L drehbar gelagert, die an den einander zugewandten inneren Seitenwänden des Kamerarotators 14R ausgebildet sind. An dem Ende der horizontalen Rotationswelle 147L ist eine Zahnung 148 vorgesehen, mit der ein Ritzel 150 in Eingriff steht, das an einem Antriebsmotor 149, z.B. einem Schrittmotor, angebracht ist. Der Antriebsmotor 149 dreht auf Grundlage von Steuersignalen, die der Mikrocomputer 16 ausgibt, um die horizontale Achse X, wodurch die Plattform 146 um die horizontale Achse X gedreht wird.
In der oben beschriebenen Konstruktion kann die an der Plattform 146 des Kamerarotators 14R (14L) befestigte Telefotokamera 15R (15L) über die von dem Mikrocomputer 16 ausgegebenen Antriebssignale in beliebiger Richtung orientiert werden.
Im Folgenden werden unter Bezugnahme auf 4 Prozesse beschrieben, die bei der Aufnahme oder der Bilderzeugung in dem Fotogrammetrie-System nach dem ersten Ausführungsbeispiel ausgeführt werden. 4 ist ein Flussdiagramm, das die Prozesse zeigt, die in dem Mikrocomputer 16 der Stereobildeinrichtung 10 ausgeführt werden.
In Schritt S100 wird ermittelt, ob die in der Bedienschaltgruppe 18 des Steuerfeldes 11P vorgesehene Auslösetaste gedrückt worden ist. Ist die Auslösetaste gedrückt, so nehmen in Schritt S101 die rechte und die linke Stereokamera 13R und 13L gleichzeitig ein Bildpaar als Stereobild auf. Ist die Bildaufnahme durch die Stereokameras 13R und 13L beendet, so werden in Schritt S102 die Kamerarotatoren 14R und 14L angesteuert, worauf die Bildaufnahmeoperation der Telefo tokameras 15R und 15L beginnt. Die Richtungen der Telefotokameras 15R und 15L werden von den Kamerarotatoren 14R und 14L so eingestellt, dass der dem Stereobild entsprechende Bereich abgebildet wird. Es ist darauf hinzuweisen, dass die für die Fotogrammetrie bestimmte Bildaufnahmeoperation endet, wenn die Telefotografie in Schritt S102 abgeschlossen ist.
Unter Bezugnahme auf die 5 bis 8 wird im Folgenden die telefotografische Operation nach Schritt S102 im Detail erläutert. 5 zeigt schematisch den Zusammenhang zwischen dem Drehwinkel des Kamerarotators 14R (14L) und den horizontalen Bildwinkeln der Stereokamera und der Telefotokamera. 6 zeigt schematisch ein Bild, das einem mit der Stereokamera 13R (13L) erhaltenen rechten (linken) Bild entspricht und das man erhält, indem vier Telebilder, die in 7 separat gezeigt sind, zusammengesetzt werden. 8 ist ein Flussdiagramm, das eine Drehoperation für die Kamerarotoren 14R und 14L zeigt.
In 5 bezeichnet _LR den horizontalen Bildwinkel der Stereokamera 13R (13L) und _C den horizontalen Bildwinkel der Telefotokamera 15R (15L). Der Ursprung O entspricht dem Projektionszentrum oder dem Aufnahmestandpunkt der Stereokamera 13R (13L) und der Telefotokamera 15R (15L). In der vorliegenden Beschreibung wird zur Vereinfachung angenommen, dass die Stereokamera 13R (13L) und die Telefotokamera 15R (15L) an dem gleichen Punkt angeordnet sind. Dies bedeutet, dass die Beschreibung von einer Situation ausgeht, als ob die Projektionszentren der Stereokameras 13R (13L) und der Telefotokameras 15R (15L) miteinander übereinstimmen.
Wie aus 5 hervorgeht, können die Telefotokameras 15R und 15L durch die Kamerarotatoren 14R und 14L um die vertikale Achse Y gedreht werden, so dass der Bereich innerhalb der horizontalen Bildwinkel _LR, der von den Stereokameras 13R und 13L abgebildet wird, genau längs der horizontalen Richtung abgebildet werden kann. Dabei können Bilder mit dem horizontalen Bildwinkel _LR, die von dem Stereokameras 13R und 13L eingefangen werden, längs der horizontalen Richtung reproduziert werden, indem mehrere Bilder mit dem horizontalen Büdwinkel _C, die von den Telefotokameras 15R und 15L eingefangen werden, miteinander kombiniert werden.
Die Telefotokameras 15R und 15L können durch die Kamerarotatoren 14R und 14L um die horizontale Achse X gedreht werden. Dabei können Bilder mit dem vertikalen Bildwinkel ϕ_LR, die von den Stereokameras 13R und 13L eingefangen werden, längs der vertikalen Richtung reproduziert werden, indem mehrere Bilder mit dem vertikalen Bildwinkel ϕ_C, die von den Telefotokameras 15R und 15L eingefangen werden, genau längs der vertikalen Richtung innerhalb des vertikalen Bildwinkels ϕ_LR zusammengesetzt werden. Deshalb kann jedes der mit den Stereokameras 13R und 13L aufgenommenen Bilder als zusammengesetztes Bild reproduziert werden, das aus mehreren mit den Telefotokameras 15R und 15L aufgenommenen Bildern besteht, während die Telefotokameras 15R und 15L horizontal und vertikal gedreht werden.
Da die Telefotokameras 15R und 15L mit Bildaufnahmevorrichtungen arbeiten, welche die gleiche Zahl an Pixeln wie die Bildaufnahmevorrichtungen der Stereokameras 13R und 13L haben, ist die Auflösung eines Bildes das man aus den mit den Telefotokameras 15R und 15L eingefangenen Telebildern erhält, und dessen Bildbereich dem mit den Stereokameras 13R und 13L abgebildeten Bereich entspricht, genauer, d.h. höher als die eines Bildes, das mit den Stereokameras 13R und 13L eingefangen wird. Wie in 6 gezeigt, wird beispielsweise ein einziges mit den Stereokameras 13R und 13L eingefangenes Bild durch vier Telebilder M1 bis M4 reproduziert. Dabei wird beispielsweise jedes der Telebilder M1 bis M4 so aufgenommen, dass es einen überlappenden Bereich aufweist, der den jeweils benachbarten Bildern überlagert ist. Dadurch wird das Auftreten von nicht abgebildeten Bereichen verhindert. In dem vorliegenden Ausführungsbeispiel wird jedes der mit den Stereokameras 13R und 13L eingefangenen Bilder durch vier Telebilder M1 bis M4 reproduziert. Dies bedeutet, dass die zusammengesetzten Stereobilder mit einer Pixelzahl reproduziert werden, die das Vierfache der Pixelzahl beträgt, die die mit den Stereokameras 13R und 13L aufgenommenen selbst aufweisen.
In Schritt S200 werden der horizontale Drehwinkel _R und der vertikale Drehwinkel ϕ_R der Telefotokameras 15R und 15L auf die Anfangswinkel ₁ bzw. ϕ₁ eingestellt, die in den folgenden Gleichungen angegeben sind. 1 = –LR/2+ C/2–ω ϕ1 = –ϕLR/2+ϕC/2–ω
Dabei zählt der horizontale Drehwinkel in Richtung des Uhrzeigersinns nach 5 positiv, während der vertikale Drehwinkel in Richtung der nach oben weisenden Rotation positiv zählt. Der Winkel ω ist ein Überlappwinkel, der im Vorfeld so eingestellt wird, dass ein übrigbleibender, d.h. nicht abgebildeter Bereich vermieden wird. Der Winkel ω wird auf einen vorbestimmten Wert voreingestellt. Wie in 5 gezeigt, wird der Anfangswert ₁ des horizontalen Drehwinkels _R auf einen Winkel voreingestellt, bei dem die Telefotokameras 15R und 15L im Gegenuhrzeigersinn um den Überlappwinkel ω ausgehend von dort, wo die linke Grenzlinie des horizontalen Bildwinkels _C der Telefotokameras 15R und 15L mit der linken Grenzlinie des horizontalen Bildwinkels _LR der Stereokameras 13R und 13L zusammenfällt, weiter gedreht sind. Obgleich in der Figuren nicht dargestellt, wird der Anfangswert ϕ₁ des vertikalen Drehwinkels ϕ_R auf einen Winkel voreingestellt, bei dem die Telefotokameras 15R und 15L im Gegenuhrzeigersinn um den Überlappwinkel ω ausgehend von dort, wo die linke Grenzlinie des vertikalen Bildwinkels ϕ_C der Telefotokameras 15R und 15L mit der linken Grenzlinie des vertikalen Bildwinkels ϕ_LR der Stereokameras 13R und 13L zusammenfallen, weiter gedreht sind.
In Schritt S201 werden die Telebilder aufgenommen, auf welche die Telefotokameras 15R und 15L ausgerichtet sind. In Schritt S202 wird auf den laufenden horizontalen Drehwinkel _R der Telefotokameras 15R und 15L ein Winkel _INC addiert, so dass der Winkel _R auf den neuen Wert _R + _INC geändert wird.
Dabei stellt der Winkel _INC einen Drehwinkelschritt um die vertikale Achse Y dar und ist beispielsweise durch folgende Formel gegeben. INC = C – ω
Der Drehwinkelschritt _INC um die vertikale Achse Y ist das Ergebnis der Subtraktion zwischen dem horizontalen Bildwinkel _C und dem Überlappwinkel ω. Dabei wird jedes der mit der Telefotokamera 15R (15L) eingefangenen Bilder mit einem Überlapp entsprechend dem Überlappwinkel ω längs der horizontalen Richtung versehen.
In Schritt S203 wird ermittelt, ob der laufende horizontale Drehwinkel _R größer als der horizontale Maximalwinkel _E ist. Der horizontale Maximalwinkel _E bestimmt, ob der gesamte Bereich innerhalb des horizontalen Bildwinkels _LR der Stereokamera 13R, 13L längs der horizontalen Richtung mit den Telefotokameras 15R, 15L eingefangen worden ist. Er ist durch folgende Formel gegeben. E = LR/2+ C/2
Der horizontale Maximalwinkel _E entspricht einem Winkel, bei dem die linke Grenzlinie des horizontalen Bildwinkels _C der Telefotokameras 15R, 15L mit der rechten Grenzlinie des horizontalen Bildwinkels _LR der Stereokameras 13R, 13L zusammenfällt.
Wird in Schritt S203 festgestellt, dass der horizontale Drehwinkel _R nicht größer als der horizontale Maximalwinkel _E ist, so werden die Telefotokameras 15R und 15L um die vertikale Achse Y gedreht und auf den neuen horizontalen Drehwinkel _R eingestellt. Anschließend kehrt der Prozess zu Schritt S201 zurück. Bis der horizontale Drehwinkel _R den horizontalen Maximalwinkel _E übersteigt, werden also die Telefotokameras 15R und 15L um den Drehwinkelschritt _INC im Uhrzeigersinn um die vertikale Achse Y gedreht und nacheinander Telebilder aufgenommen.
Wird dagegen in Schritt S203 festgestellt, dass der horizontale Drehwinkel _R größer als der horizontale Maximalwinkel _E ist, so wird der laufende vertikale Drehwinkel _R um ϕ_INC inkrementiert, so dass der vertikale Drehwinkel ϕ_R in den neuen Wert ϕ_R + ϕ_INC geändert wird. Der Winkel ϕ_INC stellt einen Drehwinkelschritt um die horizontale Achse X dar und ist beispielsweise durch folgende Formel gegeben. INC = ϕC – ω
Der Drehwinkelschritt ϕ_INC um die horizontale Achse X ist das Ergebnis der Subtraktion zwischen dem vertikalen Bildwinkel ϕ_C und dem Überlappwinkel ω. Dabei wird jedes der mit der Telefotokamera 15R (15L) aufgenopmmenen Bilderlängs der vertikalen Richtung mit einem Überlapp entsprechend dem Überlappwinkel ω versehen.
In Schritt S205 wird ermittelt, ob der laufende vertikale Drehwinkel ϕ_R größer als der vertikale Maximalwinkel ϕ_E ist. Der vertikale Maximalwinkel ϕ_E bestimmt, ob der gesamte Bereich innerhalb des vertikalen Bildwinkels ϕ_LR der Stereokamera 13R, 13L längs der vertikalen Richtung mit den Telefotokameras 15R, 15L eingefangen worden ist. Er ist durch folgende Formel gegeben. ϕE = ϕLR/2 + ϕC/2
Der vertikale Maximalwinkel ϕ_E entspricht einem Winkel, bei dem die untere Grenzlinie des vertikalen Bildwinkels ϕ_C der Telefotokameras 15R, 15L mit der oberen Grenzlinie des vertikalen Bildwinkels ϕ_LR der Stereokameras 13R, 13L zusammenfällt.
Wird in Schritt S205 festgestellt, dass der vertikale Drehwinkel ϕ_R nicht größer als der vertikale Maximalwinkel ϕ_E ist, so wird in Schritt S206 der horizontale Dreh winkel ϕ_R wieder auf den Anfangswert ϕ₁ eingestellt, und die Telefotokameras 15R und 15L werden entsprechend dem neuen horizontalen Drehwinkel _R und dem neuen vertikalen Drehwinkel ϕ_R von den Kamerarotatoren 14R und 14L um die horizontale und die vertikale Achse X, Y gedreht. Dann kehrt der Prozess zu Schritt S201 zurück, und es werden die oben beschriebenen Prozesse wiederholt. Bis der vertikale Drehwinkel ϕ_R den vertikalen Maximalwert ϕ_E übersteigt, werden so die Telefotokameras 15R und 15L in den Drehwinkelschritten ϕ_INC in nach oben weisender Richtung um die horizontale Achse X gedreht und nacheinander Telebilder aufgenommen.
Wird dagegen in Schritt S205 festgestellt, dass der vertikale Drehwinkel ϕ_R größer als der vertikale Maximalwinkel ϕ_E ist, so endet diese telefotografische Operation, da der gesamte Bereich, der dem von den Stereokameras 13R und 13L eingefangenen Bild entspricht, restlos mit den Telefotokameras 15R und 15L abgebildet sein sollte.
In dem vorliegenden Ausführungsbeispiel wird die gesamte telefotografische Operation von dem Mikrocomputer 16 der Stereobildeinrichtung 10 ausgeführt. Es ist jedoch ebenso möglich, dass der externe Computer 20 ein Teil der beschriebenen Prozesse ausführt. Beispielsweise können der horizontale und der vertikale Drehwinkel von dem Computer 20 berechnet werden, so dass der Mikrocomputer 16 lediglich die Kamerarotatoren 14R und 14L entsprechend den von dem externen Computer 20 gelieferten Drehwinkeldaten steuert.
Unter Bezugnahme auf die 5, 9 und 10 werden eine Operation zur Bildanpassung (z.B. Muster- oder Schablonenvergleich) nach dem ersten Ausführungsbeispiel beschrieben. Diese Bildanpassung erfolgt zwischen einem hachaufgelösten Bild und einem niedrigaufgelösten Bild. Die Bildanpassung wird üblicherweise mittels eines externen Computers 20 vorgenommen, nachdem Bilddaten von der Stereobildeinrichtung 10 auf den externen Computer 20 übertragen worden sind.
Mit Beginn der Operation wird nur eines der mit den Stereokameras 13R und 13L eingefangenen Bilder (rechtes und linkes Bild) auf der Anzeige 24 des Computers 20 dargestellt. In der folgenden Beschreibung wird zur Vereinfachung angenommen, dass das linke Bild auf der Anzeige 24 dargestellt wird. Es könnte jedoch ebenso das rechte Bild dargestellt werden.
Aus dem linken Bild, das auf der Anzeige 24 dargestellt wird, wird mittels einer Zeigervorrichtung der Eingabevorrichtung 25, z.B. mittels einer Maus, ein Messpunkt (Zielpunkt, Pixel) bestimmt, in dem der Benutzer eine Messung beabsichtigt (z.B. Punkt P in 6). Der Computer 20 ermittelt die Position des bestimmten Messpunktes und wählt ein Telebild aus, das ein dem bestimmten Messpunkt entsprechendes Bild enthält (z.B. wählt er aus den Telebildern M1 bis M4 das Telebild M2 aus, das den Punkt P enthält). Das ausgewählte Telebild wird auf der Anzeige 24 dargestellt. Dabei wird auf der Anzeige 24 ein vergrößertes Bild (Telebild) dargestellt, z.B. ein präzises oder feines Bild, das den bestimmten Messpunkt enthält. Dann wird die in dem Flussdiagramm nach 9 dargestellte Operation zur Bildanpassung von dem Computer 20 ausgeführt. Es ist darauf hinzuweisen, dass ein den bestimmten Messpunkt enthaltendes Telebild in einfacher Weise von den anderen Bildern unterschieden oder identifiziert werden kann, wenn der Messpunkt (Pixel) in dem linken Bild der Stereokamera 13L bestimmt wird, da der Drehwinkelschritt der Telefotokamera 15L (15R) oder die Orientierung der Telefotokamera, der Bildwinkel der Stereokamera 13L (13R) und der Bildwinkel der Telefotokamera 15L (15R) bekannt sind und die Projektionszentren für jede der Kameras 13L (13R) und 15L (15R) als in derselben Position angeordnet betrachtet werden können.
In Schritt S300 bestimmt der Benutzer nochmals obigen Messpunkt oder Pixel (z.B. Punkt P in 7) in dem Telebild (z.B. Telebild M2), das auf der Anzeige 24 dargestellt wird. Dies gestattet es dem Benutzer, den Messpunkt nochmals genau in dem vergrößerten, präzisen Telebild zu bestimmen. Dabei wird die Position des bestimmten Messpunktes in dem Telebild bestimmt, nämlich der Punkt, in dem der Mausklick erfolgt.
In Schritt S301 wird aus den Telebildern und dem linken Bild jeweils ein Bild vorbestimmter Größe und vorbestimmter Form extrahiert, das im Folgenden als "extrahiertes Bild"" bezeichnet wird. Das extrahierte Bild ist beispielsweise ein Bild rechteckiger Form, dessen Mittelpunkt in dem Messpunkt liegt. Wie in 10 gezeigt, ist die Größe des niedrigaufgelösten Bildes S1, das aus dem linken Bild extrahiert ist, so voreingestellt, dass sie kleiner als die Größe des hochaufgelösten Bildes S2 ist, das aus dem Telebild extrahiert ist, so dass das niedrigaufgelöste extrahierte Bild S1 innerhalb des hochaufgelösten extrahierten Bildes S2 aufgenommen werden kann. Das hochaufgelöste extrahierte Bild S2 kann eine beliebige Größe annehmen, sofern es das niedrigaufgelöste extrahierte Bild S1 in seiner Gesamtheit abdecken kann, so dass das gesamte Telebild als extrahiertes Bild genutzt werden kann. Da, wie oben beschrieben, der Drehwinkelschritt der Telefotokamera 15L (15R) oder die Orientierung der Telefotokamera, der Bildwinkel der Stereokamera 13L (13R) und der Bildwinkel der Telefotokamera 15L (15R) bekannt sind und die Projektionszentren der Stereokamera 13L (13R) und die Telefotokamera 15L (15R) etwa in der gleichen Position angeordnet sind, kann eine Position, die dem in dem Telebild bestimmten Messpunkt (Pixel) entspricht, leicht in dem linken Bild aufgefunden werden, selbst wenn diese Position nicht genau ist.
In 10 ist ein rechteckiges 2 × 2-Pixel-Bild aus dem linken Bild als niedrigaufgelöstes Bild S extrahiert, während ein rechteckiges 12 × 12-Pixel-Bild als hochaufgelöstes Bild S2 aus dem Telebild extrahiert ist. In 10 sind die Größe des niedrigaufgelösten extrahierten Bildes S1 und die Größe des hochaufgelösten extrahierten Bildes S2 auf eine Größe voreingestellt, bei der der Abbildungsmaßstab der Objektbilder für die beiden extrahierten Bilder S1 und S2 etwa die gleiche Größe annimmt, wobei man den Abbildungsmaßstab über die Bildwinkel des linken Bildes und der Telebilder erhält.
In Schritt S302 werden die genaue Vergrößerung (Abildungsmaßstab) zwischen den Bildern S1 und S2, XY-Verschiebewerte (ebene Translation), ein Drehwinkel und ein Luminanz-Kompensationskoeffizient nach einem Verfahren der kleinsten Quadrate berechnet, dessen Gütefunktion Φ in Beziehung steht mit der Übereinstimmung zwischen dem niedrigaufgelösten extrahierten Bild S1 des linken Bildes und dem hochaufgelösten extrahierten Bild S2 des Telebildes. Wie diese Parameter genau berechnet werden, wird später erläutert.
In Schritt S303 wird die Position (Koordinaten), die dem in dem Telebild bestimmten Messpunkt entspricht, an Hand der in Schritt S302 berechneten Parameter auf Subpixeleinheiten, d.h. auf Bruchteile eines Pixels, genau in dem linken Bild gesucht.
Wie oben beschrieben, kann mit den Schritten S300 bis S303 die Position des Messpunktes unter Verwendung des hochaufgelösten Bildes noch präziser bestimmt werden. Die Position des Punktes, die dem bestimmten Messpunkt in dem linken Bild entspricht, kann Pixelbruchteile genau ermittelt werden. indem die Schritte S300 bis S303 wie für das linke Bild auf das rechte Bild angewandt werden, kann auch die Position des Messpunktes (der dem in dem linken Bild bestimmten Messpunkt entspricht) auch in dem rechten Bild auf Pixelbruchteile genau ermittelt werden. So können dreidimensionale Koordinaten eines beliebigen Messpunktes an Hand herkömmlicher analytischer Fotogrammetrie auf Grundlage der genauen, in Pixelbruchteilen dargestellten Positionen des Messpunktes in dem rechten und dem linken Bild (Stereobild) berechnet werden.
Im Folgenden wird unter Bezugnahme auf die in den 6, 7, 10 und 11 dargestellten Flussdiagramme eine Operation zur Parameterberechnung beschrieben, die in Schritt S302 ausgeführt wird.
Wie in den 6 und 7 gezeigt, wird eine Position in dem linken (rechten) Bild beispielsweise an Hand eines X-Y-Koordinatensystems dargestellt, dessen Ursprung in der unteren linken Ecke des Bildes M liegt, wobei ein Pixel die Einheit für jede Koordinate bildet. Entsprechend wird eine Position in einem Telebild (z.B. Telebild M2) beispielsweise an Hand eines x-y-Koordinatensystems dargestellt, dessen Ursprung in der unteren linken Ecke jedes Bildes liegt, wobei ein Pixel die Einheit für jede Koordinate bildet. Die Koordinatentransformation von dem x-y-Koordinatensystem auf das X-Y-Koordinatensystem ist dann durch folgende Gleichung (1) gegeben,
worin m die Vergrößerung (Abbildungsmaßstab), ΔX und ΔY die Größe der XY-Verschiebung (Translation) und α den Drehwinkel bezeichnet.
In Schritt S400 werden die Anfangswerte der Parameter wie der Vergrößerung m, der XY-Verschiebung ΔX und ΔY, des Drehwinkels α und der Luminanz-Kompensationskoeffizienten C eingestellt. Die Anfangswerte der Vergrößerung m, der XY-Verschiebung ΔX und ΔY und des Drehwinkels α werden unter anderem über den Drehwinkelschritt der Telefotokamera 15L (15R), den Bildwinkel der Stereokamera 13L (13R) und den Bildwinkel der Telefotokamera 15L (15R) abgeschätzt. Der Luminanz-Kompensationskoeffizient C ist ein Parameter, der dazu dient, Unterschiede zwischen den Pixelwerten in dem linken Bild (rechtes Bild) und dem Telebild zu kompensieren. Infolge individueller Unterschiede zwischen den Kameras ist ein Pixelwert des linken Bildes (rechtes Bild) im allgemeinen unterschiedlich gegenüber einem Wert des entsprechenden Pixels in dem Telebild, d.h. einem Pixel, das die gleiche Stelle eines Objektes abbildet, selbst wenn ein Objekt unter denselben Belichtungsbedingungen abgebildet wird. In dem vorliegenden Ausführungsbeispiel wird der Luminanz-Kompensationskoeffizient C anfangs auf 1 voreingestellt, so dass zunächst davon ausgegangen wird, dass die Pixelwerte in dem linken (rechten) Bild und dem Telebild gleich sind. Der Luminanz-Kompensationskoeffizient C kann im Vorfeld für jede Kamerakombination in einer Messung als Kenngröße bestimmt werden, indem ein bekanntes Verfahren zur Störsignalkompensation oder dergleichen angewandt wird.
In Schritt S401 wird der Wert der Gütefunktion Φ (später beschrieben) auf 0 zurückgesetzt und anschließend eine Pixelnummer n des niedrigaufgelösten extrahierten Bildes S1, die jedem Pixel zugeordnet ist, um es von den anderen Pixeln zu unterscheiden, auf 1 zurückgesetzt. Beispielsweise wird von dem vier in 10 gezeigten Pixeln dem Pixel P1 in der unteren linken Ecke n = 1, dem Pixel P2 in der oberen linken Ecke n = 2, dem Pixel P3 in der oberen rechten Ecke n = 3 und dem Pixel P4 in der unteren rechten Ecke n = 4 zugeordnet.
In Schritt S403 werden die x-y-Koordinaten jeder der vier Pixelecken mit der Pixelnummer n (d.h. die Koordinaten, die dem niedrigaufgelösten extrahierten Bild zugeordnet sind) in die X-Y-Koordinaten des hochaufgelösten extrahierten Bildes transformiert, indem die laufenden Parameter m, ΔX, ΔY, α und C in Gleichung (1) eingesetzt werden. Beispielsweise werden bei n = 1 die x-y-Koordinaten (i, j), (i, j + 1), (i + 1, j + 1) und (i + 1, j) der Scheitelpunkte Q1-Q4 an jeder der vier Ecken des Pixels P1 in die X-Y-Koordinaten transformiert, wobei die Variablen i und j ganze Zahlen sind.
In Schritt S404 werden die Flächen A_k jedes Pixels in dem hochaufgelösten extrahierten Bild innerhalb der rechteckigen Fläche, die durch die vier Scheitelpunkte Q1-Q4 festgelegt ist, in dem X-Y-Koordinatensystem berechnet. Der Index k wird dabei verwendet, um das jeweilige, in dem hochaufgelösten extrahierten Bild vorhandene Pixel zu identifizieren, das von der rechteckigen Fläche Q1-Q4 des extrahierten Bildpixel Pn umschlossen ist. Wie in 10 gezeigt, wird beispielsweise die Fläche des Pixels R1, das vollständig in der rechteckigen Fläche Q1-Q4 enthalten ist, mit 1 angesetzt, während die Fläche des Pixels R2, das über die Grenze der rechteckigen Fläche Q1-Q4 hinausreicht, durch eine Dezimalzahl gegeben ist, die kleiner als 1 ist, da nur ein Teil des Pixels R2 in der rechteckigen Fläche Q1-Q4 enthalten ist.
In Schritt S405 wird die zusammengesetzte Luminanz I_A ⁽ⁿ⁾ für alle Pixel des hochaufgelösten extrahierten Bildes, die von der dem Pixel Pn des niedrigaufge lösten extrahierten Bildes entsprechenden rechteckigen Bereich umschlossen sind, nach Gleichung (2) berechnet.
Darin bezeichnet I_k die Luminanz eines Pixels, das der Pixelnummer k in dem hochaufgelösten extrahierten Bild zugeordnet ist, und N_k die Zahl der Pixel des hochaufgelösten extrahierten Bildes, die von der rechteckigen Fläche des Pixels Pn umschlossen sind.
In Schritt S406 wird der Wert der Gütefunktion Φ geändert entsprechend der Luminanz I_n des Pixels Pn des niedrigaufgelösten extrahierten Bildes und der zusammengesetzten Luminanz I_A ⁽ⁿ⁾, die in Schritt S405 auf Grundlage der innerhalb des Pixels Pn liegenden Pixel des hochaufgelösten extrahierten Bildes berechnet wird. Der Wert der Gütefunktion Φ wird also gleich der Summe aus laufendem Wert der Gütefunktion Φ und (I_n-I_A ⁽ⁿ⁾) gesetzt.
Der Wert der Pixelnummer n wird in Schritt S407 um 1 inkrementiert. In Schritt S408 wird ermittelt, ob die Pixelnummer n die Gesamtpixelzahl N_L (in diesem Ausführungsbeispiel N_L = 4) des niedrigaufgelösten extrahierten Bildes erreicht hat.
Ist der Wert N_L noch nicht erreicht, so kehrt der Prozess zu Schritt S403 zurück, und die oben beschriebenen Prozesse werden für ein neu eingestelltes Pixel Pn wiederholt. Wird dagegen in Schritt S408 festgestellt, dass n = N_L + 1, so wird in Schritt S409 ermittelt, ob der Wert der Gütefunktion Φ kleiner als ein vorbestimmter Wert ist. Es wird also ermittelt, ob der Grad an Übereinstimmung zwischen zwei Bildern höher als ein vorbestimmter Wert ist.
Wird festgestellt, dass der Wert der Gütefunktion Φ nicht kleiner als der vorbestimmte Wert ist, so werden in Schritt S410 die Änderungen der Parameter m, ΔX, ΔY, α und C unter Anwendung des Verfahrens der kleinsten Quadrate ermittelt, so dass die Parameter m, ΔX, ΔY, α und C durch das Ergebnis dieses Verfahrens ersetzt werden, das man erhält, wenn die oben genannten Änderungen auf die laufenden Parameter addiert werden. Der Prozess kehrt dann zu Schritt S401 zurück, und der gleiche Prozess wird für die letzten Werte der Parameter m, ΔX, ΔY, α und C wiederholt. Wird dagegen in Schritt S409 festgestellt, dass der Wert der Gütefunktion Φ kleiner als ein vorbestimmter Wert ist, so endet diese Parameterberechnung, und die laufenden Werte der Parameter m, ΔX, ΔY, α und C werden als geeignete Parameter für die Koordinatentransformation aus dem x-y-Koordinatensystem in das X-Y-Koordinatensystem angesehen.
In Schritt S303 nach 9 erhält man die Positionen entsprechend den Pixeln, die in dem genauen Telebild als Messpunkte bestimmt sind, sowohl in dem rechten als auch dem linken Bild auf Pixelbruchteile genau, indem man unter Verwendung der Parameter m, ΔX, ΔY, α und C, die in der oben beschriebenen Parameterberechnung ermittelt werden, die X-Y-Koordinaten des jeweiligen Messpunktes in Gleichung (3) einsetzt, welche die inverse Transformation der Gleichung (1) darstellt. Der Messpunkt kann in den Telebildern auf Pixelbruchteile genau auch bestimmt werden, indem das Telebild auf der Anzeige vergrößert wird.
Wie oben beschrieben, kann bei dem Fotogrammetrie-System nach dem ersten Ausführungsbeispiel die Position eines Messpunktes mit hoher Genauigkeit bestimmt werden, da der Messpunkt in einem hochaufgelösten Bild bestimmt werden kann. Die Parameter für die Koordinatentransformation zwischen dem hochaufgelösten Bild der Telefotokamera und dem niedrigaufgelösten Bild der Stereokamera werden präzise ermittelt, indem um den bestimmten Messpunkt herum eine Bildanpassung vorgenommen wird, so dass man die Positionen in den niedrigaufgelösten Bildern (Stereobild), die dem in den hochaufgelösten Bildern (Telebilder) bestimmten Messpunkt entsprechen, auf Pixelbruchteile genau ermittelt. In dem ersten Ausführungsbeispiel wird also die Genauigkeit der dreidimensionalen Koordinaten des Messpunktes verbessert, ohne die Zahl an Pixeln für die Stereokamera erhöhen zu müssen.
Außerdem erhält man in dem ersten Ausführungsbeispiel, ohne die Zahl an Pixeln für die Telefotokamera erhöhen zu müssen, die gleiche technische Wirkung wie mit einer Stereokamera, die mit einer hochauflösenden Bildaufnahmevorrichtung ausgestattet ist, mit einem einfachen Aufbau, mittels dessen der Bildwinkel der Telefotokamera gesteuert wird.
Im Folgenden wird unter Bezugnahme auf die 12A, 12B und 13 eine alternative Ausführungsform des ersten Ausführungsbeispiels beschrieben. Die 12A und 12B zeigen perspektivische Ansichten einer Stereobildeinrichtung 10', die in einem analytischen Fotogrammetrie-System nach der alternativen Ausführungsform verwendet wird. 12A ist eine perspektivische Vorderansicht von einer unteren Position aus betrachtet, während 12B eine perspektivische Rückansicht von einer oberen Position aus betrachtet ist.
In dem ersten Ausführungsbeispiel werden die aus der rechten und der linken Telefotokamera bzw. dem rechten und dem linken Kamerarotator bestehenden Komponentenpaare verwendet. In der alternativen Ausführungsform ist lediglich ein aus der Telefotokamera 15 und dem Kamerarotator 14 bestehender Satz in der Mitte angeordnet, wie in den 12A und 12B gezeigt ist. So ist der Kamerarotator 14 auf der zentralen Steuerung 11 und die Telefotokamera 15 auf dem Kamerarotator 14 angeordnet. Das Projektionszentrum der Telefotokamera 15 ist in der Mitte des Segmentes zwischen den Projektionszentren der rechten und der linken Stereokamera 13R und 13L angeordnet.
13 zeigt schematisch den Zusammenhang zwischen einem Drehwinkel des Kamerarotators 14, den Bildwinkeln der Stereokamera und Telefotokamera und einem Überlappbereich zwischen dem rechten und dem linken Bild, nämlich dem Bereich, der mit der Stereofotogrammetrie vermessen werden kann und der im Folgenden als Stereomessbereich bezeichnet wird.
In 13 entspricht der Punkt O_R dem Projektionszentrum (oder Standpunkt) der rechten Stereokamera 13R und der Punkt O_L dem Projektionszentrum (oder Standpunkt) der linken Stereokamera 13L. Der Punkt O_C entspricht dem Projektionszentrum (oder Standpunkt) der Telefotokamera 15. In der alternativen Ausführungsform sind die optischen Achsen der Stereokameras 13R und 13L parallel zueinander angeordnet, und das Projektionszentrum O_C der Telefotokamera 15 befindet sich in der Mitte des Segmentes zwischen den Projektionszentren O_R und O_L. Dabei ist der Stereomessbereich, der sowohl von der rechten als auch von der linken Stereokamera 13R und 13L abgebildet wird, durch einen Bereich zwischen den Segmenten L1 und L2 gegeben, wobei das Segment L1 die linke Grenze des horizontalen Bildwinkels LR der rechten Stereokamera und das Segment L2 die rechte Grenze des horizontalen Bildwinkels LR der linken Stereokamera 13L bildet. Die Telefotokamera 15 wird durch den Kamerarotator 14 um die vertikale Achse Y gedreht, so dass der Bereich zwischen den Segmenten L3 und L4 (d.h. innerhalb des horizontalen Bildwinkels LR, dessen Scheitel sich im Projektionszentrum O_C befindet) genau längs der horizontalen Richtung abgebildet wird. So können Bilder innerhalb des Stereomessbereichs längs der horizontalen Richtung durch Kombination mehrerer mit der Telefotokamera 15 eingefangener Bilder wiedergegeben werden.
Da die Projektionszentren O_L, O_C und O_R im Wesentlichen auf der gleichen horizontalen Achse ausgerichtet sind und da die Telefotokamera 15 mittels des Kamerarotators um die horizontale Achse X drehbar ist, kann ein den Stereomessbereich enthaltendes Bild längs der vertikalen Richtung wiedergegeben werden, indem mehrere mit der Telefotokamera 15 eingefangene Bilder über einen innerhalb des vertikalen Bildwinkels ϕ_LR liegenden Bereich hinweg bezogen auf das Projektionszentrum O_C kombiniert werden. So kann jedes der mit den Stereokameras 13R und 13L aufgenommenen Bilder als zusammengesetztes Bild wiedergegeben werden, das aus mehreren Bildern besteht, die mit der horizontal und vertikal gedrehten Telefotokamera 15 eingefangen werden. Da die Telefotokamera 15 mit einer Bildaufnahmevorrichtung arbeitet, welche die gleiche Zahl an Pixeln wie die für die Stereokameras 13R und 13L vorgesehenen Bildaufnahmevorrichtungen hat, ist die Auflösung eines Bildes innerhalb des Stereomessbereichs, das aus den mit der Telefotokamera 15 eingefangenen Telebildern erzeugt wird, höher, d.h. genauer als die Auflösung eines Bildes, das mit den Stereokameras 13R und 13L eingefangen wird. Der Kamerarotator 14 wird in ähnlicher Weise wie in dem ersten Ausführungsbeispiel gesteuert, um den gesamten Stereomessbereich mit der Telefotokamera 15 abzubilden.
In einer alternativen, dem ersten Ausführungsbeispiel ähnlichen Ausführungsform werden Positionen, die einem Messpunkt in dem rechten und dem linken Bild, die mit den Stereokameras 13R, 13L aufgenommen werden, entsprechen, bei Bestimmung des Messpunktes in einem Telebild durch den Benuter mittels Bildanpassung ermittelt. In dieser alternativen Ausführungsform ist die Beziehung zwischen dem Telebild und den beiden Stereobildern nicht so genau wie in dem ersten Ausführungsbeispiel, so dass das niedrigaufgelöste extrahierte Bild und das hochaufgelöste exrtahierte Bild größer sein müssen als in dem ersten Ausführungsbeispiel.
In dieser alternativen Ausführungsform erzielt man eine ähnliche technische Wirkung wie in in dem ersten Ausführungsbeispiel selbst.
Wie in 14 gezeigt, enthält das Vermessungssystem üblicherweise eine Vermessungseinrichtung 30, z.B. eine Totalstation, eine externe digitale Kamera 40 und einen Computer 20, z.B. einen Notebook-Personalcomputer. Die Vermessungseinrichtung 30 ist mit einer eingebauten digitalen Kamera versehen. Die externe digitale Kamera 40 ist eine getrennt von der Vermessungseinrichtung 30 vorgesehene Kamera, so dass sie von dem Benutzer getragen werden kann. Die Vermessungseinrichtung 30 hat ein Zielfernrohr, das um die vertikale und die horizontale Achse drehbar ist. Ferner hat die Vermessungseinrichtung 30 eine Winkelmesskomponente 31 zum Erfassen der Drehwinkel um die Achsen und eine Entfernungsmesskomponente 32 zum Erfassen der Entfernung zu einem Punkt, der von dem Zielfernrohr anvisiert wird. Außerdem hat die Vermessungseinrichtung 30 in dem vorliegenden Ausführungsbeispiel eine eingebaute Kamera 33 zum Einfangen eines Bildes in einer Zielrichtung.
Die Winkelmesskomponente 31, die Entfernungsmesskomponente 32 und die eingebaute Kamera 33 werden von einem Mikrocomputer 34 gesteuert, dem Winkeldaten, Entfernungsmessdaten und Bilddaten zugeführt werden, die für die jeweilige Komponente ermittelt werden. Außerdem sind ein Bedienschaltfeld 35, eine Schnittstellenschaltung 36 und eine Anzeige (z.B. LCD) 37 an den Mikrocomputer 34 angeschlossen. Die Schnittstellenschaltung 36 ist über ein Schnittstellenkabel oder dergleichen mit der Schnittstellenschaltung 22 verbunden. Die Winkeldaten, die Entfernungsdaten und die Bilddaten, die von der Vermessungseinrichtung 30 ermittelt werden, können so an den Computer 20 übertragen und in dem in dem Computer 20 vorgesehenen Aufzeichnungsmedium 23 gespeichert werden. Die externe digitale Kamera 40 ist auch an die Schnittstellenschaltung 22 des Computers 20 angeschlossen, so dass ein von der externen Kamera 40 eingefangenes Bild auch in Form von Bilddaten an den Computer 20 übertragen und in dem Aufzeichnungsmedium 23 gespeichert werden kann.
Um ein weitreichendes Bild um einen Messpunkt herum aufzunehmen, wird für die eingebaute Kamera 33 ein Weitwinkelobjektiv mit einem vergleichsweise großen Bildfeldwinkel verwendet, das an der Vermessungseinrichtung 30 montiert wird. Dagegen dient die externe digitale Kamera 40 dazu, genaue Bilder um den Messpunkt herum aufzunehmen, so dass für die digitale Kamera 40 ein Teleobjektiv verwendet wird, das einen vergleichsweise engen Bildfeldwinkel hat. Wird ein Objekt aus im Wesentlichen gleicher Entfernung sowohl mit der eingebauten Kamera 33 als auch der externen digitalen Kamera 40 aufgenommen, so ist deshalb die Auflösung eines mit der externen digitalen Kamera 40 aufgenommenen Telebildes höher als die eines mit der eingebauten Kamera 33 der Vermessungseinrichtung 30 aufgenommenes Weitwinkelbildes. Im Vorfeld wird für die eingebaute Kamera 33 der Vermessungseinrichtung 30 eine präzise Kalibrierung vorgenommen, so dass die auf die äußere Orientierung bezogenen Parameter des mit der eingebauten Kamera 33 aufgenommenen Bildes bezüglich der Vermessungseinrichtung 30 sowie die auf die innere Orientierung bezogenen Parameter genau bekannt sind. Für die externe digitale Kamera 40 ist keine Kalibrierung erforderlich.
In 16 ist der Vermessungsprozess gezeigt, der von dem Vermessungssystem nach der zweiten Ausführungsform ausgeführt wird. In 17 sind Beispiele für die Messpunktbilder dargestellt, die von der externen digitalen Kamera 40 und der eingebauten Kamera 33 der Vermessungseinrichtung 30 eingefangen werden.
Unter Bezugnahme auf die 16 und 17 werden im Folgenden die in dem Vermessungssystem nach dem zweiten Ausführungsbeispiel ausgeführten Prozesse beschrieben.
In Schritt S500 wird mit dem Zielfernrohr der Vermessungseinrichtung 30 ein Messpunkt R (vergl. 14) anvisiert, so dass man die Entfernungsdaten und die Winkeldaten für den Messpunkt R erhält. Aus diesen Daten werden die dreidimensionalen Koordinaten des Messpunktes R berechnet. Dabei wird gleichzeitig mit der eingebauten Kamera 33 ein niedrigaufgelöstes Weitwinkelbild M5 des Messpunktes R eingefangen. Die Messdaten (Winkeldaten und Entfernungsdaten) und die Bilddaten (Weitwinkelbild) werden an den Computer 20 übertragen.
In Schritt S501 werden die dreidimensionalen Koordinaten des Messpunktes in die Mapping-Koordinaten (zweidimensionale Koordinaten) in dem Weitwinkelbild M5 des Messpunktes R transformiert. Die dreidimensionalen Koordinaten des Messpunktes R werden an Hand der präzise vorgegebenen, auf die äußere Orientierung und die innere Orientierung bezogenen Parameter einer projektiven Transformation unterzogen, so dass sie in die zweidimensionalen Koordinaten in dem Weitwinkelbild M5 transformiert werden.
In Schritt S502 wird aus einer Position nahe der Vermessungseinrichtung 30 mit der externen digitalen Kamera 40 ein hochaufgelöstes Telebild M6 aufgenommen, das ein vergrößertes Bild um den Messpunkt R herum darstellt, und die erhaltenen Bilddaten werden an den Computer 20 übertragen. In Schritt S503 werden in dem Computer 20 in ähnlicher Weise wie in dem auf 11 bezugnehmenden ersten Ausführungsbeispiel die Parameter m, ΔX, ΔY, α und C, die den Wert der Gütefunktion Φ zwischen dem Weitwinkelbild M5 und dem Telebild M6 minimieren, unter Anwendung des Verfahrens der kleinsten Quadrate berechnet. In dem zweiten Ausführungsbeispiel wird beispielsweise das Telebild M6 voller Größe als hochaufgelöstes extrahiertes Bild genutzt.
In Schritt S504 werden die in Schritt S502 berechneten Werte der Parameter m, ΔX, ΔY, α und C sowie die Mapping-Koordinaten des Messpunktes R in Gleichung (1) eingesetzt, wodurch die dem Messpunkt in dem Telebild M6 entsprechende Position berechnet wird. Dabei wird die dem Messpunkt entsprechende Position sowohl in dem Weitwrinkelbild M5 als auch dem Telebild M6 dargestellt. Damit endet der von dem Vermessungssystem nach dem zweiten Ausführungsbeispiel ausgeführte Vermessungsprozess. Der Messpunkt in dem jeweiligen Bild kann mit Symbolen, Markierungen, Zeichen oder dergleichen dargestellt werden.
Wie oben beschrieben, kann in dem zweiten Ausführungsbeispiel ein Punkt (z.B. ein Messpunkt), der in einem niedrigaufgelösten Weitwinkelbild bestimmt wird, präzise auf ein hochaufgelöstes Telebild abgebildet werden, so dass die Position des mit der Vermessungseinrichtung vermessenen Messpunktes einfach und präzise in Korrespondenz zu dem hochaufgelösten Telebild einer externen Kamera gesetzt werden kann, die nicht kalibriert worden ist. Der Vermessungstechniker kann deshalb die genaue Position von Messpunkten in den Telebildern einfach und schnell anzeigen, wenn er nach der Vermessung einen Bericht erstellt.
In dem zweiten Ausführungsbeispiel wird die digitale Kamera von einer in der Vermessungseinrichtung eingebauten Kamera gebildet. Jedoch kann die digitale Kamera auch in Form einer externen Kamera bereitgestellt werden, wenn ihre Position bezüglich der Vermessungseinrichtung bekannt und eine Kalibrierung vorgenommen worden ist. In dem zweiten Ausführungsbeispiel ist die eingebaute Kamera als Weitwinkel- oder niedrigaufgelöste Kamera ausgewählt, während die externe digitale Kamera als Telefoto- oder hochaufgelöste Kamera ausgewählt ist. Dies kann jedoch ebenso umgekehrt sein, d.h. die eingebaute Kamera kann als Telefoto- oder hochaufgelöste Kamera und die externe digitale Kamera als Weitwinkel- oder niedrigaufgelöste Kamera ausgewählt sein.
Wie in dem ersten und dem zweiten Ausführungsbeispiel beschrieben, kann, selbst wenn ein Objekt im Wesentlichen aus ein und derselben Richtung mit zwei unterschiedlichen Auflösungen abgebildet wird, die Korrespondenz zwischen dem vergleichsweise niedrigaufgelösten Bild und dem hochaufgelösten Bild präzise hergestellt werden, und zwar entweder von der niedrigen zur hohen Auflösung oder von der hohen zur niedrigen Auflösung.
In den beschriebenen Ausführungsbeispielen haben die Telefotokamera und die Weitwinkelkamera Bildaufnahmevorrichtungen mit der gleichen Zahl an Pixeln. Jedoch können die Pixelzahlen für die einzelnen Abbildungsvorrichtungen auch unterschiedlich sein. Die Unterscheidung zwischen hoher Auflösung und niedriger Auflösung ist durch den Zusammenhang zwischen Bildwinkel und Pixelzahl festgelegt, d.h. durch das Verhältnis zwischen Bildwinkel und Pixelzahl. So hat das hochaufgelöste Bild eine größere Zahl an Pixeln je Einheitsbildwinkel als das niedrigaufgelöste Bild.
In den beschriebenen Ausführungsbeispielen wird die Anpassung zwischen dem niedrigaufgelösten extrahierten Bild und dem hochaufgelösten extrahierten Bild an Hand der Luminanz vorgenommen. Werden jedoch Farbbilder aufgenommen, so kann die Anpassung zwischen den extrahierten Bildern für die jeweiligen Pixelwerte auch an Hand der einzelnen Farbkomponenten vorgenommen werden, z.B. in Form von R-, G- und B-Bildern. Außerdem kann die Anpassung auch nach der Transformation der R-, G- und B-Pixelwerte in die Luminanzwerte vorgenommen werden.
In den beschriebenen Ausführungsbeispielen werden die jeweiligen Bilder in der Weise extrahiert, dass das niedrigaufgelöste extrahierte Bild in dem hochaufgelösten extrahierten Bild enthalten ist. Jedoch können die Bilder auch so extrahiert werden, dass das hochaufgelöste extrahierte Bild in dem niedrigaufgelösten extrahierten Bild enthalten ist. Um dies zu tun, sollte jedoch die Größe des hochaufgelösten extrahierten Bildes so festgelegt werden, dass sie mehrere Pixel des niedrigaufgelösten Bildes beinhaltet, während das niedrigaufgelöste extrahierte Bild auf das gesamte niedrigaufgelöste Bild voreingestellt werden kann. In diesem Fall wird die zusammengesetzte Luminanz (oder Pixelwert) des hochaufgelösten extrahierten Bildes mit der Luminanz (oder Pixelwert) des niedrigaufgelösten extrahierten Bildes in einem Bereich eines Pixels verglichen, der teilweise mit dem hochaufgelösten extrahierten Bild überlappt. Das resultierende Ergebnis wird in die Gütefunktion eingesetzt.

Claims

Einrichtung zum Herstellen einer Korrespondenz zwischen einem ersten und einem zweiten Bild, die das gleiche Objektbild enthalten, umfassend: ein Mittel zum Bestimmen eines Punktes in dem ersten Bild als Zielpunkt, ein Mittel zum Extrahieren eines vorbestimmten, den Zielpunkt umgebenden Bildbereichs als erstes extrahiertes Bild, und ein Mittel zum Suchen eines Punktes in dem zweiten Bild, der dem Zielpunkt in dem ersten Bild entspricht, durch Bildanpassung zwischen dem ersten extrahierten Bild und dem zweiten Bild, wobei die Auflösungen des ersten Bildes und des zweiten Bildes voneinander verschieden sind.
Einrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Bildanpassung innerhalb eines Überlappbereichs, in dem das erste extrahierte Bild und das zweite Bild einander überlappen, auf Grundlage einer Koinzidenz von Pixelinformation zwischen dem ersten extrahierten Bild und dem zweiten Bild durchgeführt wird.
Einrichtung nach Anspruch 2, dadurch gekennzeichnet, dass die Koinzidenz für jede Pixeleinheit eines in dem Überlappbereich enthaltenen niedrigaufgelösten Bildes berechnet wird, wobei das niedrigaufgelöste Bild das erste oder das zweite Bild mit der geringeren Auflösung ist.
Einrichtung nach Anspruch 3, dadurch gekennzeichnet, dass die Pixelinformation die Luminanz umfasst.
Einrichtung nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass die Koinzidenz berechnet wird, indem Pixelinformation zwischen dem in dem Überlappbereich enthaltenen niedrigaufgelösten Bild und einem in dem niedrigaufgelösten Bild enthaltenen hochaufgelösten Bild verglichen wird und der Vergleich für jede Pixeleinheit des niedrigaufgelösten Bildes durchgeführt wird, wobei das hochaufgelöste Bild von dem ersten oder dem zweiten Bild dasjenige ist, das nicht das niedrigaufgelöste Bild ist.
Einrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die Pixelinformation einen Pixelwert für jedes Pixel enthält.
Einrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Pixelinformation für das hochaufgelöste Bild, das in einem Pixel des in dem Überlappbereich enthaltenen niedrigaufgelösten Bildes enthalten ist, einen zusammengesetzten Pixelwert beinhaltet, der auf der Summe von Pixelwerten des hochaufgelösten Bildes beruht, das in einem Pixel des in dem Überlappbereich enthaltenen niedrigaufgelösten Bildes enthalten ist.
Einrichtung nach Anspruch 7, dadurch gekennzeichnet, dass der zusammengesetzte Pixelwert an Hand der Flächen derjenigen Pixel des hochaufgelösten Bildes, die in dem Pixel des in dem Überlappbereich enthaltenen niedrigaufgelösten Bildes enthalten sind, und eines Kompensationskoeffizienten berechnet wird, mit dem ein Unterschied von Pixelwerten zwischen dem ersten und dem zweiten Bild kompensiert wird.
Einrichtung nach Anspruch 8, dadurch gekennzeichnet, dass der Kompensationskoeffizient nach einem Verfahren der kleinsten Quadrate berechnet wird, das eine auf der Koinzidenz beruhende Gütefunktion verwendet.
Einrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zum Suchen eines Punktes bestimmte Mittel einem dem Zielpunkt entsprechenden Punkt ermittelt, indem es eine Koordinatentransformation zwischen dem ersten und dem zweiten Bild berechnet.
Einrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die Koordinatentransformation Parameter beinhaltet, die auf die Translation, die Rota tion und die Vergrößerung des ersten Bildes oder des zweiten Bildes bezogen sind.
Einrichtung nach Anspruch 11, dadurch gekennzeichnet, dass optimale Werte der Parameter nach einem Verfahren der kleinsten Quadrate berechnet werden, das eine auf der Koinzidenz beruhende Gütefunktion verwendet.
Einrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Mittel, das einen vorbestimmten, das erste extrahierte Bild umgebenden Bildbereich aus dem zweiten Bild als zweites extrahiertes Bild extrahiert, wobei die Bildanpassung zwischen dem ersten extrahierten Bild und dem zweiten extrahierten Bild vorgenommen wird.
Einrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erste Bild das niedrigaufgelöste Bild ist.
Computerprogrammprodukt zum Herstellen einer Korrespondenz zwischen einem ersten und einem zweiten Bild, die das gleiche Objektbild enthalten, umfassend: einen Prozess zum Bestimmen eines Punktes in dem ersten Punkt als Zielpunkt, einen Prozess zum Extrahieren eines den Zielpunkt umgebenden vorbestimmten Bildbereichs als erstes extrahiertes Bild, und einen Prozess zum Suchen eines Bildes in dem zweiten Bild, der dem Zielpunkt in dem ersten Bild entspricht, durch Bildanpassung zwischen dem ersten extrahierten Bild und dem zweiten Bild, wobei die Auflösungen des ersten und des zweiten Bildes voneinander verschieden sind.
Verfahren zum Herstellen einer Korrespondenz zwischen einem ersten und einem zweiten Bild, die das gleiche Objektbild enthalten, umfassend folgende Schritte: Bestimmen eines Punktes in dem ersten Bild als Zielpunkt, Extrahieren eines vorbestimmten, den Zielpunkt umgebenden Bildbereichs als erstes extrahiertes Bild, und Suchen eines Punktes in dem zweiten Bild, der dem Zielpunkt in dem ersten Bild entspricht, durch Bildanpassung zwischen dem ersten extrahierten Bild und dem zweiten Bild, wobei die Auflösungen des ersten und des zweiten Bildes verschieden voneinander sind.
Vermessungsinstrument, umfassend: eine Stereo-Bildaufnahmevorrichtung zum Aufnehmen eines Stereobildes mit einem vergleichsweise weiten Bildwinkel und niedriger Auflösung, eine Tele-Bildaufnahmevorrichtung zum Aufnehmen eines Telebildes mit einem vergleichsweise engen Bildwinkel und hoher Auflösung, eine für die Tele-Bildaufnahmevorrichtung vorgesehene Steuerung zum Aufnehmen mehrerer Telebilder, die einen von der Stereo-Bildaufnahmevorrichtung abgebildeten Bildbereich abdeckt, durch Drehen der Tele-Bildaufnahmevorrichtung, ein Mittel zum Extrahieren eines niedrigaufgelösten Bildes aus dem Stereobild, wobei das niedrigaufgelöste extrahierte Bild einen vorbestimmten Bereich enthält, der einen in dem Telebild bestimmten Zielpunkt umgibt, und ein Mittel zum Suchen eines Punktes in dem Stereobild, der dem Zielpunkt in dem Telebild entspricht, durch Bildanpassung zwischen dem niedrigaufgelösten extrahierten Bild und dem Telebild auf Pixelbruchteile genau.
Vermessungssystem, umfassend: eine Vermessungseinrichtung, die einen Winkel und eine Entfernung eines anvisierten Messpunktes bestimmt, eine erste Bildaufnahmevorrichtung, die den Messpunkt abbildet und deren Position bezüglich der Vermessungseinrichtung bekannt ist, eine zweite Bildaufnahmevorrichtung, die von der Vermessungseinrichtung räumlich getrennt den Messpunkt mit einer Auflösung abbildet, die von der Auflösung des mit der ersten Bildaufnahmevorrichtung erzeugten Bildes verschieden ist, ein Mittel, das aus dem mit der ersten Bildaufnahmevorrichtung aufgenommenen Bild ein Bild extrahiert, wobei dieses extrahierte Bild einen vorbestimmten, den Messpunkt umgebenden Bereich enthält, und ein Mittel, das in dem mit der zweiten Bildaufnahmevorrichtung aufgenommenen Bild einen dem Zielpunkt entsprechenden Punkt sucht, indem es eine Bildanpassung zwischen dem extrahierten Bild und dem mit der zweiten Bildaufnahmevorrichtung aufgenommenen Bild vornimmt.