DE60317976T2

DE60317976T2 - Verfahren und Vorrichtung zur Korrektur von Linsenfehler eines stereoskopischen Kamerasystems mit Zoom

Info

Publication number: DE60317976T2
Application number: DE60317976T
Authority: DE
Inventors: Hitoshi Itabashi-ku Otani; Nobuo Itabashi-ku Kochi; Takayuki Itabashi-ku Noma
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 2002-07-03
Filing date: 2003-07-02
Publication date: 2008-12-04
Anticipated expiration: 2023-07-03
Also published as: US7479982B2; EP1378790A3; EP1378790A2; JP4147059B2; JP2004037270A; EP1378790B1; US20040066454A1; DE60317976D1; ATE381038T1

Description

Hintergrund der Erfindung
1. Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Vorrichtung und ein Verfahren zum Messen von Daten zur Kalibrierung, welche verwendet wird, wenn ein Linsenfehler in einer Fotografie korrigiert wird oder wenn ein Linsenfehler-Korrekturbild zur Verwendung bei einer Stereobild-Messung oder dergleichen notwendig ist, und genauer gesagt auf eine Vorrichtung und ein Verfahren zum Messen von Daten zur Kalibrierung, mit welcher die internen Parameter von einer Kamera, wie beispielsweise die grundlegende Punktposition von der Linse, eine Schirmdistanz (Brennweite) und Störparameter, welche notwendig sind, um ein Linsenfehler-Korrekturbild zu erlangen, einfach erlangt werden können, sogar wenn die Kamera von dem Typ ist, bei welchem optische Bedingungen variiert werden können (beispielsweise eine Zoom-Kamera).
Die vorliegende Erfindung bezieht sich ebenfalls auf eine Bildverarbeitungsvorrichtung, welche dazu in der Lage ist, die Wirkung von einem Linsenfehler bei einem Stereobild zu entfernen, welches mit einer Kamera von dem Typ fotografiert ist, bei welchem optische Bedingungen variiert werden können (beispielsweise eine Zoom-Kamera), um eine genaue dreidimensionale Messung von der Form von einem Objekt durch eine Stereobild-Messung zu ermöglichen.
2. Beschreibung zum Stand der Technik
Herkömmlicherweise ist es wichtig, ein Bild mit einem geringen Fehler in den Bereichen von einer Fotogrammetrie- und Fotografie-Messung zu erlangen. In den Bereichen der Fotogrammetrie- und Fotografie-Messung werden daher hochgenaue Linsen mit einem geringen Fehler verwendet. In dem Bereich der Fotogrammetrie werden die internen Parameter von einer Kamera (grundlegende Punktposition, Schirmdistanz und Verzerrungsparameter) analytisch auf eine Art und Weise erlangt, indem eine Vielzahl von Punkten, welche genau gemessen sind, in einem dreidimensionalen Raum positioniert werden und dann von verschiedenen Winkeln aus gemessen werden. Im Falle von einer Messkamera zur Verwendung im Bereich der Fotografie-Messung werden die internen Parameter von einer Kamera erlangt, indem eine fabrizierte Kamera genau gemessen wird.
Jedoch kann ein Bild, welches mit einer kommerziell verfügbaren Digitalkamera fotografiert ist, bei einer Stereobild-Messung von einem Objekt nicht ohne eine Korrektur verwendet werden, weil der Linsenfehler hoch ist. Es ist somit notwendig, das Bild unter Verwendung der internen Parameter von der Digitalkamera (grundlegende Punktposition, Schirmdistanz und Linsenverzerrung) zu korrigieren, und die Brennweite von der Digitalkamera, mit welcher das Bild aufgenommen wurde, genau zu messen, um die dreidimensionale Genauigkeit zu verbessern. Im Folgenden wird eine Beschreibung separat über eine Kamera mit fixiertem Fokus und eine Kamera mit Mehrfachfokus gegeben.
Herkömmlicherweise wird eine Kamera-Kalibrierung auf eine Stereokamera mit fixiertem Fokus durchgeführt, und wird eine Fotografie von einem Objekt zur Stereobild-Messung bei ihrem fixierten Brennpunkt aufgenommen. Jedoch kann eine Stereokamera mit fixiertem Fokus die Brennweite nicht in Abhängigkeit von den Objekten einstellen, so dass das Bild unscharf sein kann oder das fotografierte Objekt nicht groß genug sein kann, um den Bildbereich unter bestimmten Fotografie-Zuständen zu füllen. Somit ist es schwierig, ein Stereobild von einer Qualität zu erlangen, welche ausreicht, um bei der Stereobild-Messung verwendet zu werden. Zusätzlich, wenn die Kamera oder die Linse in Abhängigkeit von der Größe des Objektes oder der notwendigen Genauigkeit geändert wird, um eine Kamera oder eine Linse mit einer korrekten Brennweite auszuwählen, muss die Kalibrierung abermals auf die ausgewählte Kamera durchgeführt werden. Somit kann eine dreidimensionale Messung mit einer Stereokamera mit fixiertem Fokus nicht einfach durchgeführt werden, welches eine Verbreitung der Stereobild-Messung verhindert.
Bei einer Digitalkamera mit Mehrfachfokus, welche eine sogenannte Zoom-Linse verwendet, ist der Linsenfehler hoch und variieren die Tiefengenauigkeit und der Linsenfehler mit der Brennweite. Somit muss, wenn die Brennweite geändert wird, die Kalibrierung abermals durchgeführt werden. Es ist daher schwierig, eine Bildmessung unter Verwendung von einer Zoom-Linse, im Hinblick auf die Arbeitseffizienz, durchzuführen. Somit wird sogar eine Kamera mit Mehrfachfokus als eine Kamera mit fixiertem Fokus ohne Verwendung der Funktion von der Zoom-Linse verwendet, welches eine Stereobild-Messung an Ort und Stelle unbequem gestaltet.
Das Dokument XP-002254604 von R. G. Willson bezieht sich auf die Modellierung und Kalibrierung von automatischen Zoom-Linsen.
Die DE 195 36 297 A bezieht sich auf eine geometrische Kalibrierung von optischen 3D-Sensoren zur dreidimensionalen Messung von Objekten.
In dem Artikel XP000229755 von Cardillo et al ist eine 3D-Positionsabtastung unter Verwendung eines passiven Monokularsicht-Systems offenbart.
In dem Artikel XP010027657 von Tarabanis et al ist eine Modellierung von einer computergesteuerten Zoom-Linse offenbart.
In dem Artikel XP000767261 von Shih et al ist eine Kalibrierung von einem aktiven Binokular-Kopf beschrieben.
In dem Artikel XP002254603 von Hartley ist eine Eigenkalibrierung von mehreren Ansichten mit einer rotierenden Kamera beschrieben.
In der JP 08 086613 ist eine Einrichtung zur Kalibrierung von einer Stereokamera offenbart.
In dem Artikel XP009017343 von Wiley et al sind metrische Aspekte von Zoomansichten beschrieben.
In dem Artikel XP009017406 von Enciso et al ist eine experimentelle Eigenkalibrierung von vier Ansichten aus beschrieben.
In dem Artikel XP000891213 von Tsai ist eine vielseitige Kamera-Kalibrierungstechnik zur hochgenauen 3D-Maschinen-Sichtmetrologie unter Verwendung von serienmäßigen TV-Kameras und Linsen offenbart.
In der EP-A-0 964 223 sind Bildformungsprozesse zur einfachen Erstellung eines Bildes, welches an einer aktuellen Stelle aufgezeichnet wird, während es in Echtzeit bestätigt wird, offenbart.
In der US 2002/0041383 ist ein fehlerfreies Bildaufnahmesystem und -verfahren offenbart.
Umriss der Erfindung
Die vorliegende Erfindung wurde gemacht, um die obigen Probleme zu lösen. Es ist eine Aufgabe von der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zum Messen von Daten zur Kalibrierung bereitzustellen, mit welcher die internen Parameter von einer Kamera, welche notwendig sind, um ein hochqualitatives Bild, frei von der Wirkung von einem Linsenfehler, zu erlangen, einfach erlangt werden können, sogar wenn die Kamera von dem Typ ist, bei welchem optische Zustände geändert werden können (beispielsweise eine Zoom-Kamera).
Somit ist eine Bildverarbeitungsvorrichtung, welche die Erfindung verwendet, dazu in der Lage, die Wirkung von einem Linsenfehler in einem Stereobild zu entfernen, welches mit einer Kamera von dem Typ fotografiert ist, bei welchem optische Zustände geändert werden können (beispielsweise eine Zoom-Kamera), um eine genaue dreidimensionale Messung von der Form eines Objektes bei einer Stereobild-Messung zu ermöglichen.
Die erfindungsgemäße Vorrichtung zum Messen von Daten zur Kalibrierung, welche die erste Aufgabe löst, dient zum Zwecke des Erlangens von Daten zur Kalibrierung von einer Kamera, welche dazu in der Lage ist, optische Zustände zu ändern, welche zumindest eines enthalten aus der Brennweite von einer Fotografie-Linse von der Kamera und der Position von der Linse, welche zur Einstellung des Fokus bewegt wird, unter Verwendung einer Mehrzahl von Bildern von einem Kalibrierungs-Schaubild, welches darauf angeordnete Markierungen hat, welche mit der Kamera unter variierten optischen Zuständen fotografiert werden, wobei die Mehrzahl von Bildern von einem Kalibrierungs-Schaubild bei einem unterschiedlichen Winkel unter jedem von den variierten optischen Zuständen fotografiert werden, mit: einem Markierungs-Extraktionsteil zum Extrahieren von ersten Markierungen von den Markierungen, welche für zumindest eines verwendet werden aus einem Messen von ungefähren Markierungs-Positionen und einem Korrelieren eines Paars von Bildern, und zum Extrahieren von zweiten Markierungen von den Markierungen, welche zur Anzeige von einer Position von Bilddaten von dem Kalibrierungs-Schaubild, welches durch die Kamera fotografiert wird, verwendet werden, indem die zweiten Markierungen, basierend auf den Positionen von den ersten Markierungen, korreliert werden; einem inneren Parameter-Berechnungsteil zum Berechnen von Daten zur Kalibrierung, welche zumindest Daten enthalten von der grundsätzlichen Punktposition von der Linse und der Verzerrungsabweichung von der Linse, unter optischen Zuständen, unter welchen die Bilder von dem Schaubild, basierend auf den Positionen von den zweiten Markierungen, welche durch das Markierungs-Extraktionsteil extrahiert sind, fotografiert werden; und einem inneren Parameterfunktions-Berechnungsteil zum Berechnen von Daten zur Kalibrierung entsprechend den variierten optischen Fotografie-Zuständen von der Kamera, unter Verwendung der Daten zur Kalibrierung, welche in dem inneren Parameter-Berechnungsteil berechnet sind, und einer Mehrzahl von optischen Zuständen, unter welchen die Bilder von dem Schaubild fotografiert sind.
Eine Kamera, welche dazu in der Lage ist, ihre optischen Zustände zu ändern, ist hierbei eine Kamera mit einer Zoom-Linse, bei welcher die Brennweite geändert werden kann, oder eine Kamera mit automatischem Fokus, bei welcher die Linse eingestellt werden kann, um den Fokus einzustellen. Die Bilder von einem Schaubild, welches unter geänderten optischen Zuständen fotografiert ist, sind Bilder von einem Schaubild, welches bei verschiedenen Brennweiten oder bei verschiedenen Linsenpositionen unter Verwendung eines Automatikfokus-Mechanismus von einer Kamera fotografiert ist. Die geänderten optischen Zustände in der Kamera beim Fotografieren sind die individuellen Brennweiten, welche mit einer Zoom-Linse oder dergleichen eingestellt sind. Die Bilder von dem Schaubild werden mit der Brennweite fotografiert. Die Daten zur Kalibrierung enthalten zumindest eines aus Daten von der grundsätzlichen Punktposition von einer Linse oder Daten von der Verzerrungsabweichung von der Linse.
Bei der Vorrichtung, welche wie oben aufgebaut ist, extrahiert das Markierungs-Extraktionsteil die ersten Markierungen von den Bildern von dem Schaubild und kann vorzugsweise die Positionen von den Markierungen extrahieren und zweite Markierungen extrahieren. Der innere Parameter-Berechnungsteil berechnet Daten zur Kalibrierung unter den optischen Zuständen, unter welchen die Bilder von dem Schaubild fotografiert wurden, basierend auf den Positionen von den zweiten Markierungen, welche durch das Markierungs-Extraktionsteil extrahiert sind, und verwendet vorzugsweise eine Gruppe von Bildern von dem Schaubild, welches unter dem gleichen optischen Zustand fotografiert ist, als Basis von der Berechnung. Das interne Parameterfunktions-Berechnungsteil berechnet Daten zur Kalibrierung entsprechend den variierten optischen Zuständen von der Kamera beim Fotografieren, unter Verwendung der Daten zur Kalibrierung für jeden von den optischen Fotografie-Zuständen, welche in dem inneren Parameter-Berechnungsteil berechnet sind, und einer Mehrzahl von optischen Zuständen, unter welchen die Bilder von dem Schaubild fotografiert sind. Vorzugsweise hat das innere Parameter-Berechnungsteil mathematische Ausdrücke zum Erlangen von Funktions-Formen von Koeffizienten, welche die inneren Parameterfunktionen bilden, und zum Berechnen der inneren Parameter unter Verwendung von Koeffizienten, welche den variierten optischen Fotografie-Zuständen von der Kamera entsprechen.
Vorzugsweise ist das Schaubild zum Kalibrieren eben, und sind die Mehrzahl der Bilder von dem Schaubild gleich Stereo-Bilder, welche auf eine solche Weise fotografiert sind, dass Daten zur Kalibrierung daraus durch das Markierungs-Extraktionsteil und das innere Parameter-Berechnungsteil berechnet werden können.
Vorzugsweise sind die Mehrzahl von Bildern von dem Schaubild gleich Stereo-Bilder, welche bei unterschiedlichen Winkeln fotografiert sind, wobei jeder davon mehr als 10 Grad beträgt.
Vorzugsweise können die Daten zur Kalibrierung, welche in dem inneren Parameter-Berechnungsteil berechnet sind, gemäß den variierten optischen Fotografie-Zuständen von der Kamera kontinuierlich berechnet werden.
Das Verfahren zum Messen von Daten zur Kalibrierung von der vorliegenden Erfindung, welches die erste Aufgabe löst, enthält: einen Schritt zum Fotografieren von einer Mehrzahl von Bildern von einem Kalibrierungs-Schaubild, welches erste Markierungen, welche für zumindest eines verwendet werden aus einem Messen von ungefähren Markierungs-Positionen und einem Korrelieren eines Paares von Bildern zur Kalibrierung, und zweite Markierungen, welche zur Anzeige von einer Position von Bilddaten von dem Kalibrierungs-Schaubild, welches mit einer Kamera fotografiert wird, verwendet werden, hat, wobei die ersten Markierungen und die zweiten Markierungen auf dem Kalibrierungs-Schaubild angeordnet werden, wobei die Kamera dazu in der Lage ist, ihre optischen Zustände zu variieren, welche zumindest eines enthalten aus der Brennweite von einer Fotografie-Linse von der Kamera und der Position von der Linse, welche bewegt wird, um den Fokus einzustellen, unter variierten optischen Zuständen, und wobei die Mehrzahl von Bildern von dem Kalibrierungs-Schaubild bei einem unterschiedlichen Winkel unter jedem von den variierten optischen Zuständen fotografiert wird; einen Markierungs-Extraktionsschritt zum Extrahieren der zweiten Markierungen aus den Bildern von dem Schaubild durch Extrahieren der ersten Markierungen von den Bildern von dem Schaubild und Korrelieren der zweiten Markierungen, basierend auf Positionen von den extrahierten ersten Markierungen; einen inneren Parameter-Berechnungsschritt zum Berechnen von Daten zur Kalibrierung, welche zumindest Daten enthalten aus der grundsätzlichen Punktposition von der Linse und der Verzerrungsabweichung von der Linse, unter welcher die Bilder von dem Schaubild fotografiert sind, basierend auf den Positionen von den extrahierten zweiten Markierungen; und einen inneren Parameterfunktions-Berechnungsschritt zum Berechnen von Daten zur Kalibrierung entsprechend den variierten optischen Fotografie-Zuständen von der Kamera, unter Verwendung der berechneten Daten zur Kalibrierung und einer Mehrzahl von optischen Zuständen, unter welchen die Bilder von dem Schaubild fotografiert sind.
Das Computerprogrammprodukt zur Installation in einem Computer, damit der Computer das zuvor genannte Verfahren durchführt, löst ebenfalls die erste Aufgabe. Das Programmprodukt zum Messen von Daten zur Kalibrierung kann in einem computerlesbaren Aufzeichnungsmedium gespeichert sein.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockdiagramm, welches eine Vorrichtung zum Messen von Daten zur Kalibrierung gemäß einer ersten Ausführungsform von der vorliegenden Erfindung zeigt;
2 ist eine Draufsicht, welche ein Beispiel von einem Kalibrierungs-Schaubild zeigt;
3 ist eine Erklärungsansicht, welche Beispiele von einer ersten Markierung darstellt;
4 ist eine Erklärungsansicht, welche Beispiele von einer zweiten Markierung darstellt;
5 ist eine perspektivische Ansicht, welche die Positionen von einer Zoom-Kamera beim Messen der Linsenabweichung bei verschiedenen Brennweiten von der Kamera zeigt;
6 ist eine Ansicht, welche den Ablauf beim Fotografieren eines Schaubildes mit einer Zoom-Kamera darstellt, und Kamerabilder und die Positionsbeziehungen zwischen dem Schaubild und der Kamera entsprechend den Kamerabildern zeigt;
7 ist eine Ansicht, welche eine Kameradistanz beim Messen der Linsenabweichung darstellt, wenn die Brennweite von einer Zoom-Kamera gleich der von einer normalen Linse oder einer Telelinse ist;
8 ist ein Ablaufdiagramm, welches ein Verfahren zum Messen von Daten zur Kalibrierung unter Verwendung von einer Vorrichtung zum Messen von Daten zur Kalibrierung erläutert;
9 ist ein Ablaufdiagramm, welches den Ablauf zum Berechnen von Kalibrierungselementen bei jeder Brennweite erläutert;
10 ist ein detailliertes Ablaufdiagramm, welches den Ablauf zum Messen der genauen Position von der zweiten Markierung erläutert;
11(A) ist eine Erklärungsansicht von einem Bildkoordinatensystem und einem Objektivkoordinatensystem in einer zentrierten Projektion;
11(B) ist eine Erklärungsansicht von einem Schablonenbild zur normalisierten Korrelation und einem Objektivbild zur Verwendung bei der Erkennung von Zielen;
12 ist eine Erklärungsansicht, welche ein Beispiel eines Schirms darstellt, welcher das Ergebnis des Betriebes zum Erlangen der Kalibrierungselemente anzeigt;
13 ist eine Ansicht, welche die Beziehung zwischen der Brennweite und dem Koeffizienten zur Verwendung bei den inneren Parameterfunktionen darstellt;
14 ist ein Blockdiagramm, welches eine Vorrichtung zum Messen von Daten zur Kalibrierung darstellt, welche nicht Teil von der vorliegenden Erfindung ist;
15 ist ein Blockdiagramm, welches eine Bilddaten-Verarbeitungsvorrichtung darstellt, welche von der vorliegenden Erfindung Gebrauch macht;
16 ist eine Ansicht zur Erläuterung von einer Orientierungsberechnung unter Verwendung eines Modell-Koordinatensystems XYZ und eines rechten und linken Kamerakoordinatensystems xyz;
17 ist ein Ablaufdiagramm zur Erläuterung des Ablaufes beim Fotografieren eines Objektes in Stereo an Ort und Stelle und einer Durchführung einer Stereobild-Messung;
18 zeigt eine Steinwand als ein Beispiel eines Bereiches zur Stereobild-Messung;
19 ist eine Ansicht, welche Fotografie-Zustände von einer Kamera darstellt; und
20 ist eine Ansicht, welche die Experimentierergebnisse zum Messen der Genauigkeit von einer Stereobild-Messung zeigt.
Beschreibung der bevorzugten Ausführungsformen
Es wird im Folgenden eine Beschreibung von der vorliegenden Erfindung mit Bezug auf die Zeichnungen abgegeben. 1 ist ein Blockdiagramm, welches eine Vorrichtung zum Messen von Daten zur Kalibrierung gemäß einer ersten Ausführungsform von der vorliegenden Erfindung darstellt. In 1 ist mit 1 ein Schaubild zur Kalibrierung gekennzeichnet. Das Schaubild 1 ist ein ebenes Blatt, auf welchem erste und zweite Markierungen gedruckt sind. Das Schaubild 1 kann ein ebener Schirm von einer Vorrichtung, wie beispielsweise ein Notebook-Computer, sein, welcher ein Bild von einem ebenen Blatt anzeigt, auf welchem die ersten und zweiten Markierungen gedruckt sind. Ein Glasschirm, wie beispielsweise ein Schirm von einer Flüssigkristallanzeige, ist für eine Vorrichtung zur Anzeige des Schaubildes 1 geeignet, da sich seine Oberfläche bei Änderungen in der Feuchtigkeit und Temperatur viel weniger expandiert und kontrahiert, als dies bei einer Papierseite der Fall ist.
Die ersten Markierungen werden zur Messung von ungefähren Markierungspositionen und zur Korrelation eines Paares von Bildern zur Kalibrierung verwendet, und werden dazu verwendet, um die Winkel zu bestimmen, bei welchen eine Kamera 2 das Schaubild 1 fotografiert. Es sind zumindest drei erste Markierungen auf dem Schaubild 1 vorgesehen. Vorzugsweise sind vier erste Markierungen auf dem Schaubild 1, eine in jedem Quadranten, vorgesehen. Die zweite Markierung bestimmt die Position von Bilddaten auf dem Schaubild 1, welches durch die Kamera 2 fotografiert wird, und wird ebenfalls als ein Ziel bezeichnet. Vorzugsweise sind die zweiten Markierungen über das Schaubild 1 hinweg bei einer gleichförmigen Dichte vorgesehen. Es sind zumindest 30, vorzugsweise 100 bis 200, zweite Markierungen auf dem Schaubild 1 vorgesehen. Das Schaubild 1 wird später detailliert beschrieben.
Die Kamera 2 ist eine Kamera mit variabler Brennweite, beispielsweise als ein Objekt zur Kalibrierung. Die Kamera 2 kann als eine Weitwinkellinse-Kamera wirken, wenn die Brennweite verkürzt wird (beispielsweise auf 8 mm) oder als eine Telelinse-Kamera, wenn ihre Brennweite erweitert wird (beispielsweise auf 200 mm). Die Brennweite von der Kamera 2 kann ebenfalls auf einen Wert eingestellt werden, welcher gleich dem von einer Standard-Linse ist (35 mm). Die Kamera 2 hat vorzugsweise eine Autofokus-Funktion, und die Linse kann bewegt werden, um den Fokus einzustellen. Typischerweise hat die Kamera 2 eine Linse mit einer hohen Abweichung, wie im Falle einer optischen Kamera oder einer Digitalkamera mit Vielzweck, verglichen mit einer Kamera zur Fotogrammetrie- und Fotografie-Messung. Die Kamera 2 wird dazu verwendet, um ein Objekt oder das Schaubild 1 zu fotografieren, und wird typischerweise dazu verwendet, um das Objekt oder das Schaubild 1 in Stereo bei einem Paar aus einer rechten und linken Fotografieposition 2R und 2L zu fotografieren. Daten von einem Paar von Bildern, welche bei der rechten und linken Fotografieposition 2R und 2L fotografiert sind, sind zur dreidimensionalen Bildmessung von einem Objekt hilfreich.
Ein Kalibrierdaten-Messteil 100 hat ein Bilddaten-Speicherteil 110, ein Brennweitedaten-Speicherteil 120, ein Kalibrierungselement-Berechnungsteil 130, ein Bildverarbeitungsteil 140, ein Anzeigeteil 150 und ein internes Parameterfunktions-Berechnungsteil 160. Das Bilddaten-Speicherteil 110 ist eine Aufzeichnungsvorrichtung zum Speichern von Bilddaten von dem Schaubild 1, welches mit der Kamera 2 fotografiert ist, und kann ein elektromagnetisches Aufzeichnungsmedium sein, wie beispielsweise eine Magnetdisc oder eine CD-ROM. Die Bilddaten, welche in dem Bilddaten-Speicherteil 110 zu speichern sind, sind vorzugsweise Stereobilddaten, welche mit der Kamera 2 auf eine solche Art und Weise fotografiert sind, dass das Schaubild 1 in Stereo gesehen werden kann. Typischerweise sind die Daten Bilder, welche bei der rechten und linken Fotografieposition 2R und 2L fotografiert sind. Vorzugsweise werden die Bilder in dem Bilddaten-Speicherteil 110 in einem derartigen Zustand gespeichert, dass die Winkel, bei welchem die Bilder fotografiert sind, bestimmt werden können. Das Kalibrierdaten-Messteil 100 ist mit einer I/O-Vorrichtung zum Auslesen der Bilddaten in dem Bilddaten-Speicherteil 100 bereitgestellt.
Das Brennweitedaten-Speicherteil 120 speichert die Brennweiten von der Kamera 2, bei welchen die Bilder, welche im Bilddaten-Speicherteil 110 gespeichert sind, fotografiert wurden. Die Brennweiten können eine Brennweite-Information, welche den Bilddaten von dem Schaubild 1, welches mit der Kamera 2 fotografiert ist, angehängt ist, Brennweitedaten, welche aus der Kamera 2 entnommen sind, oder Brennweiten, welche aus den Bilddaten zum Zeitpunkt der Messung berechnet sind, sein. Wenn die inneren Parameter von der Kamera im Kalibrierungselement-Berechnungsteil 130 erlangt sind, wird ein Polynom zur Abschätzung zu einer Funktion im inneren Parameterfunktions-Berechnungsteil 160 ausgewählt, so dass sie mit der Anzahl von Messpunkten, bei welchen die Brennweitedaten gemessen sind, und den Intervallen davon übereinstimmen. Wenn beispielsweise die Brennweite von der Zoom-Kamera 2 von 7,2 mm auf 50,8 mm eingestellt werden kann, und wenn die Anzahl der Messpunkte gleich 6 beträgt, wird die Messung bei gleichen Intervallen in optischer Hinsicht, beispielsweise bei Brennweiten von 7,2 mm, 8,7 mm, 11,6 mm, 24,8 mm, 39,0 mm und 52,2 mm durchgeführt. Die Brennweite von 7,2 mm bis 50,8 mm von der Zoom-Kamera 2 ist äquivalent zu 28 mm bis 200 mm im 35-mm-Format.
Das Kalibrierungselement-Berechnungsteil 130 hat ein Markierungs-Extraktionsteil 131, ein Annäherungs-Markierungspositions-Messteil 132, ein Genaue-Markierungspositions-Messteil 133, ein inneres Parameter-Berechnungsteil 134, ein Markierungskoordinaten- Speicherteil 135 und ein berechneter innerer Parameterwert-Speicherteil 136. Das Kalibrierungselement-Berechnungsteil 130 hat ein Bildverarbeitungsteil 140 zur Bestätigung der inneren Parameter, welche im inneren Parameter-Berechnungsteil 134 berechnet sind, und hat ein Bilddaten-Speicherteil 110 und ein Anzeigeteil 150 als externe Vorrichtungen. Als das Kalibrierungselement-Berechnungsteil 130 und das Bildverarbeitungsteil 140 können Computer, welche einen Pentium (Markenzeichen) oder Celeron (Markenzeichen), hergestellt von Intel Corporation, als eine CPU enthalten, verwendet werden.
Der Markierungs-Extraktionsteil 131 führt einen ersten Markierungs-Extraktionsprozess durch, um die ersten Markierungen von den Bilddaten, welche im Bilddaten-Speicherteil 110 gespeichert sind, zu extrahieren, und die Bild-Koordinatenwerte von den ersten Markierungen zu erlangen. Der erste Markierungs-Extraktionsprozess als ein Vorprozess vor der Berechnung und Korrelation der angenäherten Positionen von den zweiten Markierungen wird durch das Annäherungs-Markierungspositions-Messteil 132 durchgeführt. Die Bildkoordinatenwerte von den ersten Markierungen werden im Markierungskoordinaten-Speicherteil 135 gespeichert. Wenn die erste Markierung eine Markierung enthält, welche gleich der zweiten Markierung ist, können die Positionen von den zweiten Markierungen in den ersten Markierungen als die Bildkoordinatenwerte von den ersten Markierungen verwendet werden. Der Prozess zum Extrahieren der ersten Markierungen durch das Markierungs-Extraktionsteil 131 wird später detailliert beschrieben.
Das Annäherungs-Markierungspositions-Messteil 132 führt eine Projektionsumwandlung durch, um ein externes Orientierungselement von den Bildkoordinatenwerten von den ersten Markierungen zu erlangen, und berechnet die angenäherten Positionen von dem zweiten Markierungen unter Verwendung der Einzelfotografie-Orientierung davon und einem Kollinearitäts-Zustandsausdruck, um ein Paar von Bildern zur Kalibrierung zu korrelieren. Der Prozess der Berechnung der angenäherten Positionen von den zweiten Markierungen durch das Annäherungs-Markierungspositions-Messteil 132 wird später detailliert beschrieben.
Das genaue Markierungspositions-Messteil 133 erkennt die zweiten Markierungen auf den gepaarten Bildern zur Kalibrierung und berechnet die Positionen von den zweiten Markierungen genau. Das innere Parameter-Berechnungsteil 134 extrahiert eine zweite Markierung, welche zur Kalibrierung geeignet ist, von den zweiten Markierungen, wobei die genauen Positionen davon in dem genauen Markierungspositions-Messteil 133 berechnet wurden, und stellt die äußeren Orientierungselemente und die Objektiv-Koordinaten davon gleichzeitig ein, und berechnet die inneren Parameter von der Kamera 2 als Daten zur Kalibrierung. Das berechnete innere Parameterwert-Speicherteil 136 speichert die inneren Parameter von der Kamera 2, welche in dem inneren Parameter-Berechnungsteil 134 berechnet sind. Wenn es zwei Markierungen gibt, deren Positionen, berechnet durch das genaue Markierungspositions-Messteil, wesentlich den Positionen von den weiteren zweiten Markierungen in den Bilddaten von dem Schaubild 1 widersprechen, entfernt das innere Parameter-Berechnungsteil 134 die Positionen von solchen zweiten Markierungen. Die inneren Parameter von der Kamera 2, berechnet in dem inneren Parameter-Berechnungsteil 134, werden vorzugsweise im inneren Parameter-Berechnungsteil 136 zusammen mit der Brennweite von der Kamera 2, bei welcher das Schaubild 1 fotografiert wurde, gespeichert.
Die inneren Parameter von der Kamera sind die grundsätzliche Punktposition, die Schirmdistanz und die Verzerrungsparameter. Obwohl hier lediglich Verzerrungsparameter erlangt werden, können die sphärische Abweichung, das Koma, der Astigmatismus, die Feldkrümmung, welche Seidels fünf Abweichungen enthält, erlangt werden. Die inneren Parameter, welche im inneren Parameter-Berechnungsteil 134 erlangt sind, werden auf dem Anzeigeteil in grafischer Form angezeigt. Der Prozess zum Erlangen der inneren Parameter von der Kamera durch das innere Parameter-Berechnungsteil 134 als auch das genaue Markierungs-Messteil 133 wird später detailliert beschrieben.
Das Bildverarbeitungsteil 140 ordnet die Daten von einem Bild, welches mit der Kamera 2 fotografiert ist (insbesondere ein Bild, welches sich von dem Schaubild 1 unterscheidet) unter Verwendung der inneren Parameter, welche im inneren Parameter-Berechnungsteil 134 berechnet sind, neu an. Dann wird das Bild, welches durch die Kamera 2 fotografiert ist, auf dem Anzeigeteil 150 als ein Bild mit niedriger Verzerrung, beinahe frei von einer Linsenabweichung, angezeigt. Das Anzeigeteil 150 ist eine Bildanzeigevorrichtung, wie beispielsweise eine CRT- oder eine Flüssigkristallanzeige. Das Markierungskoordinate-Speicherteil 135 speichert die Bildkoordinatenwerte von den ersten Markierungen und den Verwaltungsnummern, und die Bildkoordinatenwerte von den zweiten Markierungen.
Das innere Parameterfunktions-Berechnungsteil 160 berechnet innere Parameterfunktionen unter Verwendung der Daten zur Kalibrierung, welche im inneren Parameter-Berechnungsteil 134 berechnet sind, und der Brennweiten von der Kamera 2, bei welchen die Bilder von dem Schaubild 1, angezielt durch das Kalibrierungselement-Berechnungsteil 130, fotografiert wurden. Der Prozess zum Berechnen von Daten zur Kalibrierung (innere Parameterfunktionen), entsprechend den Brennweiten von der Kamera 2, durch das innere Parameterfunktions-Berechnungsteil 160, wird später detailliert beschrieben.
Als Nächstes wird eine Beschreibung des Schaubildes 1 als ein Schaubild zur Kalibrierung gegeben. Obwohl eine Beschreibung hier unter Verwendung von einer Papier- oder Plastikseite gegeben wird, auf welcher vorgeschriebene Markierungen gedruckt sind, kann das Schaubild 1 ein ebener Schirm sein, auf welchem ein Bild von den vorgeschriebenen Markierungen angezeigt ist.
2 ist eine Draufsicht, welche ein Beispiel von einem Schaubild zur Kalibrierung darstellt. Das Schaubild 1 ist eine ebene Seite, welche erste Markierungen, welche leicht zu sehen sind, und eine Mehrzahl von Punkten als die zweiten Markierungen, welche darauf gedruckt sind, hat. Fünf erste Markierungen sind auf dem Schaubild 1 bereitgestellt. Jede von den ersten Markierungen ist eine Raute mit einer Markierung, welche gleich der zweiten Markierung am Zentrum ist. Wenn das Schaubild 1 in vier Quadranten unterteilt wird, hat jedes der Quadranten eine erste Markierung. Es befinden sich nämlich die ersten Markierungen 1a, 1b, 1c und 1d jeweils im oberen linken Quadranten, oberen rechten Quadranten, unteren linken Quadranten und unteren rechten Quadranten. Eine erste Markierung 1e befindet sich am Ursprungspunkt. Die ersten Markierungen 1a, 1b, 1c und 1d befindet sich beispielsweise bei derselben Distanz „d" von der ersten Markierung 1e entfernt. Unter der Annahme, dass „h" und „1" jeweils die vertikale Distanz von den ersten Markierungen 1a oder 1b zur ersten Markierung 1e und die laterale Distanz von den ersten Markierungen 1c oder 1d zur ersten Markierung 1e sind, erfüllt die Distanz „d" von der ersten Markierung 1e zu der ersten Markierung 1a, 1b, 1c oder 1d die folgende Beziehung: d = (h2 + l2)1/2 (1)
Die erste und zweite Markierung sind in der gewünschten Größe gedruckt oder es wird die Größe von der ersten und zweiten Markierung zuvor gemessen. Die Werte, weiche die Positionen ausdrücken, wo die erste und zweite Markierung gedruckt werden, werden im Markierungskoordinaten-Speicherteil 135 von der Kalibrierungsvorrichtung gelesen und beim Berechnen und Korrelieren der angenäherten Position von den zweiten Markierungen im Annäherungs-Markierungspositions-Messteil 132 verwendet. Das Schaubild 1 kann in dem Speicher von dem Computer als Bilddaten gespeichert werden und vor einer Verwendung an Ort und Stelle der Kalibrierung gedruckt werden. Wenn die Positionen von der ersten und zweiten Markierung zuvor in der Kalibrierungsvorrichtung gespeichert werden und an den Positionen auf einer Seite gedruckt werden, kann die Arbeit erleichtert werden, weil keine Messung notwendig ist. Alternativ können die Koordinatenpositionen von der ersten und zweiten Markierung auf dem Schaubild 1 zuvor genau gemessen werden und im Markierungskoordinaten-Speicherteil 135 gespeichert werden.
Die ersten Markierungen werden beim Berechnen und Korrelieren der angenäherten Positionen von den zweiten Markierungen verwendet, und werden ebenfalls als Ziele zum Bestimmen der Fotografierichtungen verwendet. Ebenfalls, wenn die ersten Markierungen eine Markierung haben, welche gleich der zweiten Markierung in jedem Zentrum ist, können die ersten Markierungen als Vorlagen bei einer genauen Messung von den zweiten Markierungen durch das genaue Markierungspositions-Messteil 133 verwendet werden.
3 ist eine Erklärungsansicht, welche Beispiele von der ersten Markierung darstellt, bei welcher (A) eine Markierung ist, welche durch eine Raute gebildet ist, (B) eine Markierung ist, welche durch vier Pfeile gebildet ist, und (C) eine Markierung ist, welche durch ein schwarzes Rechteck gebildet ist. In den Markierungen (A) und (B) ist eine Markierung, welche gleich der zweiten Markierung ist, jeweils durch eine Raute und vier Pfeile umschrieben, um somit leicht durch den Bediener erkannt zu werden. Indem solche Markierungen, welche einfach zu erkennen sind, als die ersten Markierungen verwendet werden, können die ersten Markierungen einfach extrahiert werden und können somit einfach aufgefunden werden, sogar wenn ein Winkel als ein Fotografiewinkel von der Kamera aus einem weiten Bereich von einem Fotografiewinkel ausgewählt ist. In der Markierung (C) in 3 ist die erste Markierung ein schwarzes Rechteck, und ist die Markierung im Zentrum in ihrer Farbe gegenüber den zweiten Markierungen invertiert. Dies ist ebenfalls einfach zu erfassen. Wenn der Farbton von der Markierung (C) invertiert ist, kann sie als eine Vorlage von einer zweiten Markierung beim Messen von zweiten Markierungen durch das genaue Markierungs-Messteil 133 verwendet werden.
4 ist eine Erklärungsansicht, welche Beispiele von der zweiten Markierung darstellt, bei welcher (A) ein schwarzer Kreis ist, (B) ein Plus-Zeichen ist, (C) ein Doppelkreis ist, (D) ein Buchstabe X ist, (E) ein Stern ist, (F) ein schwarzes Quadrat ist, (G) ein schwarzes Dreieck ist, und (H) eine schwarze Raute ist. Da eine Mehrzahl der zweiten Markierungen über das Schaubild 1 hinweg angeordnet ist, können verschiedene Typen von Markierungen als die zweite Markierung verwendet werden, solange ihre genaue Position einfach gemessen werden kann.
Es wird eine Beschreibung des Ablaufes zum Fotografieren des Schaubildes 1 mit einer Kamera 2 als ein Kalibrierungsobjekt gegeben. 5 ist eine perspektivische Ansicht, welche Positionen von einer Zoom-Kamera beim Messen der Linsenabweichung bei verschiedenen Brennweiten von der Kamera darstellt. Die Kalibrierung kann durchgeführt werden, wenn es zumindest zwei Bilder des Schaubildes 1 gibt, welches von unterschiedlichen Winkeln aus fotografiert wird. Wenn ein ebenes Schaubild, welches auf einer Seite gedruckt ist, als das Schaubild 1 verwendet wird, wird das Schaubild 1 vorzugsweise von zumindest drei Winkeln aus fotografiert. Dadurch kann eine stabile und zuverlässige Messung von Kalibrierungselementen, insbesondere einer Brennweite, durchgeführt werden. 5 zeigt den Ablauf zum Fotografieren des Schaubildes 1 von der Vorderseite (I), oberen linken Seite (II), oberen rechten Seite (III), unteren linken Seite (IV) und unteren rechten Seite (V) aus. Der Einfallwinkel von der optischen Achse von der Kamera 2 mit Bezug auf das ebene Schaubild ist vorzugsweise im Bereich von 10 bis 30 Grad, wenn die Tiefengenauigkeit an Ort und Stelle auf ungefähr 1 cm eingestellt ist. Angesichts der Tatsache, dass der Distanzbereich, bei welchem die Kamera fokussiert werden kann, aufgrund von der Brennweite von der Linse beschränkt ist, ist der Einfallwinkel vorzugsweise im Bereich von 12 bis 20 Grad. Typischerweise beträgt der Einfallwinkel gleich 15 Grad. Die „zahlreichen Brennweiten" bezeichnen die Brennweiten, welche äquivalent zu jenen einer normalen Linse, Weitwinkellinse und Telelinse in einer Einzellinsen-Reflexkamera sind.
Es wird nun eine Beschreibung über den Ablauf zum Fotografieren des Schaubildes 1 mit einer Zoom-Kamera mit Bezug auf 6 gegeben. In 6 sind (A1), (A2), (A3) und (A4) gleich Bilder, welche mit der Kamera fotografiert sind, und (B1), (B2), (B3) und (B4) zeigen die Positionsbeziehungen zwischen dem Schaubild 1 und der Kamera 2 entsprechend der Bilder an. Das Folgende (I) bis (V) entspricht den Kamerapositionen in 5.

(I): Ein Bild wird derart fotografiert, dass der Bildbereich mit der ersten und zweiten Markierung (6 (A1), (B2)) gefüllt ist. Zu diesem Zeitpunkt sind die Markierungen in den Umfangsbereichen vorzugsweise so nahe zu den Kanten von dem Bildbereich wie möglich positioniert. Dadurch kann die Verzerrung in den Umfangsbereichen, als auch im Zentralbereich von der Linse zuverlässig korrigiert werden. Somit wird die Kameradistanz H gemäß der Brennweite von der Kamera geändert.
(II): Wenn die Brennweite von der Zoom-Kamera äquivalent zu der von einer Telelinse oder einer normalen Linse ist, wird die Kamera an eine Position bei einer Distanz von ungefähr 1/3 der Objektdistanz H von der vorderen Position aus bewegt, so dass beispielsweise die erste Markierung 1a im oberen linken Quadranten von dem Schaubild 1 am Zentrum des Bildbereiches lokalisiert ist (6 (A2), (B2)). Wenn die Brennweite von einer Zoom-Kamera äquivalent ist zu der von einer Weitwinkellinse, und wenn die Objektdistanz H innerhalb von 1 Meter ist, wird die Kamera 2 derart bewegt, dass sich die angezielte erste Markierung an der Vorderseite davon befindet. Dann wird die Kamera 2 derart bewegt, dass die erste Markierung 1e am Zentrum von dem Schaubild 1 zum Zentrum von dem Bildbereich kommt, wobei deren Position beibehalten wird (6 (A3), (B3)). Die Kamera 2 wird dann näher an das Schaubild 1 bewegt, so dass die erste und zweite Markierung den Bildbereich füllt, und das Bild wird fotografiert (6 (A4), (B4)).
(III): Die Kamera wird derart bewegt, so dass die erste Markierung 1b im oberen rechten Quadranten von dem Schaubild 1 zum Zentrum des Bildbereiches kommt. Dann wird die Kamera derart bewegt, so dass die erste Markierung 1e am Zentrum von dem Schaubild 1 zum Zentrum von dem Bildbereich kommt. Die Kamera 2 wird dann näher an das Schaubild 1 bewegt, so dass die erste und zweite Markierung den Bildbereich füllen, und das Bild wird fotografiert.
(IV): Die Kamera wird derart bewegt, so dass die erste Markierung 1c im unteren linken Quadranten von dem Schaubild 1 zum Zentrum des Bildbereiches kommt. Dann wird die Kamera derart bewegt, so dass die erste Markierung 1e am Zentrum von dem Schaubild 1 zum Zentrum von dem Bildbereich kommt. Die Kamera 2 wird dann näher an das Schaubild 1 bewegt, so dass die erste und zweite Markierung den Bildbereich füllen, und das Bild wird fotografiert.
(V): Die Kamera wird derart bewegt, so dass die erste Markierung 1d im unteren rechten Quadranten von dem Schaubild 1 zum Zentrum von dem Bildbereich kommt. Dann wird die Kamera derart bewegt, so dass die erste Markierung 1e am Zentrum von dem Schaubild 1 zum Zentrum von dem Bildbereich kommt. Die Kamera 2 wird dann näher an das Schaubild 1 bewegt, so dass die erste und zweite Markierung den Bildbereich füllen, und das Bild wird fotografiert.

Durch den obigen Ablauf kann der Winkel von der Kamera 2 als die Differenz im Fotografiewinkel erlangt werden, wobei die Brennweiten zuverlässig gemessen werden können.
Es wird eine Beschreibung über den Vorteil von dem Fotografieablauf unter Verwendung der ersten Markierungen zu dem Zeitpunkt gegeben, bei welchem eine Seite, auf welcher eine erste und zweite Markierung gedruckt sind, oder ein ebener Schirm, auf welchem die erste und zweite Markierung angezeigt werden, als ein Schaubild 1 verwendet wird. Wenn Markierungen, welche auf einem ebenen Schirm gedruckt sind, fotografiert werden, kann eine Kamera nicht bei einem gewünschten Winkel geneigt werden, und somit kann die Schirmdistanz (Brennweite) nicht genau erlangt werden. Da nämlich das Schaubild keine Änderung in der Brennweitenrichtung (Höhenrichtung oder Tiefenrichtung) hat, gibt es nichts zum Beschränken der berechneten Werte von den inneren Parametern. Somit, wenn die inneren Parameter von der Kamera berechnet werden, sind die Werte nicht zuverlässig. Somit werden dreidimensional angeordnete Ziele gemessen, um die Brennweite zu erlangen. Jedoch sind dreidimensional angeordnete Ziele schwierig zu messen, und die Messung kann nicht automatisiert werden. Ebenfalls sind dreidimensional angeordnete Ziele schwierig zu erzeugen.
Das ebene Schaubild 1 ist jedoch eine flache Seite, auf welcher die erste und zweite Markierung gedruckt sind, oder ein Schirm, auf welchem die erste und zweite Markierung angezeigt sind, so dass die Schwierigkeit beim Korrelieren der Ziele bei der Verwendung von dreidimensional angeordneten Zielen gelöst werden kann. Ebenfalls, wenn eine Fotografie unter Verwendung der ersten Markierungen durchgeführt wird, kann die Kamera 2 bei einem gewünschten Winkel geneigt werden. Dadurch wird die Änderung in der Höhen-(Tiefen-)-Richtung erzeugt werden, und die Brennweite kann genau berechnet werden. Wenn beispielsweise die Kamera 2 um 10 Grad oder mehr geneigt werden kann, kann die Brennweite durch die Kalibriervorrichtung von der vorliegenden Erfindung zuverlässig erlangt werden.
Die Distanz H zwischen der Kamera 2 und dem Schaubild 1 wird von der Brennweite f von einer Zoom-Kamera erlangt. Wenn beispielsweise die Brennweite von einer Zoom-Kamera äquivalent ist zu der von einer normalen Linse von einer 35-mm-Kamera, beträgt die Objektdistanz H ungefähr 90 cm. Die Distanz „d" zwischen den ersten Markierungen auf dem Schaubild 1 beträgt beispielsweise 20 cm. Somit kann, wenn die Fotografierichtung von der vorderen Position (I) zu der oberen linken Position (II) usw. geneigt wird, ein Fotografiewinkel von ungefähr 10 Grad sichergestellt werden.
Das obere Limit des Neigungswinkels von der Fotografierichtung wird durch die Brennweite usw. bestimmt. Wenn nämlich der Neigungswinkel von der Fotografierichtung hoch ist, variieren die Distanzen zwischen der Kamera 2 und den ersten Markierungen in Abhängigkeit von den ersten Markierungen, und sind die ersten Markierungen in dem Bild verschwommen. Somit beträgt das obere Limit von dem Neigungswinkel von der Fotografierichtung beispielsweise gleich 30 Grad. In der Realität, wenn das Schaubild 1 derart fotografiert wird, so dass die erste und zweite Markierung gemäß den Schritten (I) bis (V) den Bildbereich füllen, wird die obige Bedingung automatisch eingehalten. Somit werden die Bedingungen über die Objektdistanz und die Fotografieposition erfüllt.
7 ist eine Ansicht, welche eine Kameradistanz beim Messen der Linsenabweichung darstellt, wenn die Brennweite von einer Zoom-Kamera äquivalent ist zu der von einer normalen Linse oder einer Telelinse. Wenn die Brennweite von einer Zoom-Kamera äquivalent ist zu der von einer normalen Linse oder einer Telelinse, ist der Sichtwinkel zur Fotografielinse schmal und kann die Kamera nicht sehr stark geneigt werden. Somit, wenn der Fotografiewinkel von der vorderen Position (I) zu der oberen linken Position (II) usw. geneigt wird, kann ein Fotografiewinkel von 10 Grad nicht sichergestellt werden. Dies liegt daran, weil die Distanz H zwischen der Kamera 2 und dem Schaubild 1 gleich 1 Meter oder länger ist und die Distanz „d" zwischen den ersten Markierungen gleich ungefähr 20 cm ist, wenn die Brennweite lang ist. Somit werden die Kamerapositionen (II) und (IV) an der linken Seite und die Kamerapositionen (III) und (V) an der rechten Seite mit Bezug auf die vordere Position (I) bestimmt. Zu diesem Zeitpunkt wird die Kamera um eine Distanz von ungefähr 1/3 der Objektdistanz H von der vorderen Position (I) aus verschoben. Dann werden Fotografien an der oberen linken Position (II), unteren linken Position (IV), oberen rechten Position (III) und unteren rechten Position (V) durchgeführt. Die optische Achse von der Kamera ist zur senkrechten Linie von dem Schaubild 1 ausgerichtet, oder kann zum Schaubild 1 gerichtet sein.
In der obigen Ausführungsform wurde eine Beschreibung über ein Beispiel gegeben, bei welchem das Schaubild 1 von fünf unterschiedlichen Positionen aus fotografiert wird: vorne (I), oben links (II), oben rechts (III), unten links (IV) und unten rechts (V). Jedoch ist es lediglich notwendig, dass das Schaubild 1 von zwei unterschiedlichen Positionen aus fotografiert wird: rechts und links. Alternativ kann das Schaubild 1 von drei unterschiedlichen Positionen aus fotografiert werden. Wenn das Schaubild 1 von zwei unterschiedlichen Winkeln aus fotografiert wird, muss ein Fotografiewinkel von ungefähr 10 Grad sichergestellt werden.
Es wird eine Beschreibung über den Ablauf des Prozesses in der Vorrichtung zum Messen von Daten zur Kalibrierung von der vorliegenden Erfindung gegeben. 8 ist ein Ablaufdiagramm zur Erläuterung des Verfahrens zum Messen von Daten zur Kalibrierung unter Verwendung der Vorrichtung zum Messen von Daten zur Kalibrierung. Eine Kalibrierung von einer Kamera ist ein Vorbereitungsprozess von einer dreidimensionalen Messung unter Verwendung der Kamera, und wird somit hier als ein Vorbereitungsprozess bezeichnet. Der Vorbereitungsprozess beginnt mit einem Einstellen des Schaubildes 1 (S100). Dann wird die Brennweite von der Kamera 2 auf einen Zielwert eingestellt (S102). Wenn beispielsweise die Brennweite von der Zoom-Kamera 2 von 7,2 mm auf 50,8 mm eingestellt werden kann, und wenn die Brennweite-Daten an sechs Punkten gesammelt werden, wird einer der Werte, welche bei gleichen Intervallen in optischer Hinsicht beabstandet sind (7,2 mm, 8,7 mm, 11,6 mm, 24,8 mm, 39,0 mm und 52,2 mm), ausgewählt.
Dann wird das Schaubild 1 mit der Kamera 2 als ein Kalibrierungsobjekt fotografiert (S104). Das Fotografieren wird gemäß dem Ablauf, wie mit Bezug auf 5 und 6 beschrieben, bei welchem die Linsenabweichungen zu dem Zeitpunkt, wenn die Brennweite von der Zoom-Kamera gleich der von einer normalen Linse oder einer Weitlinse ist, gemessen werden, durchgeführt, und gemäß dem Ablauf, wie mit Bezug auf 7 beschrieben, bei welchem die Linsenabweichung zu dem Zeitpunkt, bei welchem die Brennweite von der Zoom-Kamera gleich der von einer Telelinse ist, gemessen wird, durchgeführt. Dann extrahiert das Markierungs-Extraktionsteil 131 die Markierungen auf dem Schaubild von den fotografierten Bildern von dem Schaubild 1 (S105). Zu dieser Zeit messen das ungefähre Markierungspositions-Messteil 132 und das genaue Markierungspositions-Messteil 133 die Positionen von den Markierungen, welche durch das Markierungs-Extraktionsteil 131 extrahiert sind. Dann berechnet das innere Parameter-Berechnungsteil 134 die Kalibrierungselemente von der Kamera 2 (S106). Die Betriebe von den Bauteilen von dem Kalibrierungselement-Berechnungsteil 130 (das Markierungs-Extraktionsteil 131, das ungefähre Markierungspositions-Messteil 132, das genaue Markierungspositions-Messteil 133 und das innere Parameter-Berechnungsteil 134) werden später detailliert mit Bezug auf 9 und 10 beschrieben. Dann wird beurteilt, ob immer noch eine Brennweite von der Kamera 2 verbleibt, bei welcher eine Messung durchgeführt werden sollte (S108). Wenn immer noch eine Brennweite verbleibt, kehrt der Prozess auf S102 zurück. Andererseits berechnet das innere Parameterfunktions-Berechnungsteil 160 die Funktionen von den Kalibrierungselementen, welche die Brennweite als ein Parameter annehmen (S110). Dadurch ist der Vorbereitungsprozess vollendet.
9 ist ein Ablaufdiagramm zur Erläuterung des Prozesses der Berechnung von den Kalibrierungselementen bei jeder Brennweite. Die Bilddaten, welche bei jeder Brennweite von den verschiedenen Winkeln mit der Kamera 2 in Schritt S104 fotografiert sind, wurden im Bilddaten-Speicherteil 110 gespeichert. Dann wird der Schritt S105 begonnen, wobei eine in S200 gezeigte Unterroutine ausgeführt wird. Die Kalibrierungsvorrichtung liest die im Bilddaten-Speicherteil 110 gespeicherten Bilddaten aus und zeigt die Daten auf dem Anzeigeteil 150 an (S202). Dann wählt der Bediener die Bilder, auf welchen eine Korrelation und Messung von Zielen durchgeführt werden, von den Bildern aus, welche auf dem Anzeigeteil 150 angezeigt sind (S204).
Dann extrahiert das Markierungs-Extraktionsteil 131 die ersten Markierungen aus den ausgewählten Bildern (S206).
(I): Erster Markierungs-Extraktionsprozess
Im ersten Markierungs-Extraktionsprozess werden, um Gleichungen zweiter Ordnung zur Projektionsumwandlung von den ebenen Koordinaten von dem Schaubild 1 in Bildkoordinaten (Kamera-Stelle) zu bestimmen, die Positionen von zumindest drei ersten Markierungen aus den ersten Markierungen auf dem ebenen Koordinatensystem auf den Bilddaten gemessen. Hier können, da die ersten Markierungen die zweiten Markierungen darin enthalten, die Positionen von den ersten Markierungen genau bestimmt werden, indem die Positionen von den zweiten Markierungen bestimmt werden, welche in den ersten Markierungen enthalten sind. Im ersten Markierungs-Extraktionsprozess werden die Schritte I-(1) bis I-(4) für alle ersten Markierungen wiederholt. Beispielsweise wird im Falle des in 2 gezeigten Schaubildes 1 der Prozess auf den ersten Markierungen 1a, 1b, 1c und 1d durchgeführt.

I-(1): Der Bediener zeigt mit dem Cursor von der Maus auf die zweite Markierung in der ersten Markierung, welche auf dem gesamten Bild zu erfassen ist, welches auf dem Anzeigeteil 150 angezeigt ist, und klickt mit der Maus darauf, um die ungefähre Position von der ersten Markierung zu erlangen.
I-(2): Der Bediener bestimmt einen Bereich, welcher die Koordinaten von der ersten Markierung, wie in Schritt I-(1) erlangt, und den zweiten Markierungen um diese herum, von einer vergrößerten Ansicht, enthält, und zeigt diesen an. Zu diesem Zeitpunkt kann das Bild, welches die zweiten Markierungen enthält, als eine Vorlage beim Messen der genauen Positionen von den zweiten Markierungen verwendet werden.
I-(3): Der Bediener zeigt mit dem Cursor auf den Schwerpunkt von der zweiten Markierung auf dem vergrößerten Bild, welches im Schritt I-(2) angezeigt ist, und klickt mit der Maus darauf, um die Koordinaten auf die Position von dem Schwerpunkt von der ersten Markierung zu erstellen. Die Positionierung in Schritt I-(3) kann nicht genau sein, weil ein Korrelieren der ungefähren Positionen in einem späteren Prozess durchgeführt wird.
I-(4): Der Bediener gibt die Verwaltungsnummer von der zweiten Markierung entsprechend der Position von dem Schwerpunkt von der ersten Markierung, wie in Schritt I-(3) gemessen, ein, um sie mit der Verwaltungsnummer von der zweiten Markierung zu korrelieren, welche im Markierungskoordinaten-Speicherteil 135 gespeichert ist. Zu diesem Zeitpunkt wird die Position von dem Schwerpunkt von der ersten Markierung, wie in Schritt I-(3) gemessen, der Verwaltungsnummer von der zweiten Markierung als Referenzkoordinaten angehängt.

Im ersten Markierungs-Extraktionsprozess kann, wenn die Reihenfolge zum Messen der ersten Markierungen, beispielsweise auf dem Schaubild 1, zuvor bestimmt wird, der Nummern-Anhängprozess automatisch an Ort und Stelle des Markierungs-Extraktionsteils 130 durchgeführt werden, sogar dann, wenn der Bediener nicht die Verwaltungsnummer von der zweiten Markierung eingibt. Im ersten Markierungs-Extraktionsprozess kann beispielsweise der Schirm von dem Anzeigeteil 150 in zwei Sektionen unterteilt werden, und das gesamte Bild, wie in 2 gezeigt, und das vergrößerte Bild, wie in 3(A) oder 3(B) gezeigt, kann in jeder Sektion angezeigt werden, um die Arbeit des Bedieners zu unterstützen.
Der erste Markierungs-Extraktionsprozess kann unter Verwendung von lediglich einem gesamten Bild, wie in 2 gezeigt, ohne die Verwendung eines vergrößerten Bildes durchgeführt werden. In diesem Fall wird der Schritt I-(1) durchgeführt, und dann wird der Prozess, welcher in Schritt I-(4) im obigen Prozess durchgeführt wird, nämlich die Eingabe von der Verwaltungsnummer von der zweiten Markierung entsprechend der Position von dem Schwerpunkt von der ersten Markierung, wie in Schritt I-(1) gemessen, durchgeführt. Dadurch können die Schritte I-(2) und I-(3) ausgelassen werden, weil kein vergrößertes Bild verwendet wird. Da jedoch das gesamte Bild von dem Schaubild angezeigt wird, werden die ersten Markierungen mit kleinen Größen angezeigt. Der Bediener kann entscheiden, ob im Hinblick auf seine Präferenz ein vergrößertes Bild verwendet wird oder nicht.
Es wird eine Beschreibung des Falles gegeben, bei welchem der erste Markierungs-Extraktionsprozess automatisch durch das Markierungs-Extraktionsteil 131 durchgeführt wird. Zuerst wird der externe Abschnitt von der ersten Markierung, welcher die zweite Markierung ausschließt, als eine Vorlage registriert. Der externe Abschnitt von der ersten Markierung, welcher zuerst im ersten Markierungs-Extraktionsprozess verarbeitet ist, wird als ein Vorlagenbild registriert. Dann können die weiteren ersten Markierungen automatisch durch eine Vorlagen-Übereinstimmung gemessen werden. Ebenfalls kann die Korrelation von den ersten Markierungen einfach durchgeführt werden, da die Positionen von den ersten Markierungen auf dem Bild ersichtlich sind. Wenn beispielsweise die ersten Markierungen, wie in 2 gezeigt, angeordnet sind, ist es einfach, die fünf ersten Markierungen basierend auf den erfassten Koordinaten davon zu korrelieren. Die Vorlagen-Übereinstimmung ist gleich dem Ziel-Erkennungsprozess (S302) beim Messen von genauen Positionen von den zweiten Markierungen, und wird daher hier nicht beschrieben.
Es wird eine Beschreibung des Falles gegeben, bei welchem der erste Markierungs-Extraktionsprozess stärker automatisch durch das Markierungs-Extraktionsteil 131 durchgeführt wird. Ein Vorlagenbild von der ersten Markierung zur Verwendung im ersten Markierungs-Extraktionsprozess wird zuvor im Markierungs-Extraktionsteil 131 registriert. Dann werden die ersten Markierungen individuell durch eine Vorlagen-Übereinstimmung unter Verwendung des Vorlagenbildes von der ersten Markierung extrahiert. Somit kann die Arbeit des Bestimmens von der ersten Markierung in Schritt I-(1) ausgelassen werden. Wenn nämlich die ersten Markierungen offensichtlich unterschiedlich sind zu den ersten Markierungen, kann der Prozess automatisiert werden, indem ein temporäres Vorlagenbild im Markierungs-Extraktionsteil 131 registriert wird.
Da jedoch zumindest drei erste Markierungen gemessen werden müssen, kann der Prozess einfach manuell durchgeführt werden.
Es wird eine Beschreibung abermals mit Bezug auf 9 gegeben. Das ungefähre Markierungspositions-Berechnungsteil 132 misst und korreliert die Positionen von den zweiten Markierungen (S208). Dieser Prozess enthält einen Schritt eines Erlangens von externen Orientierungselementen (II-1) und einen Schritt eines Berechnens der ungefähren Positionen von den zweiten Markierungen (II-2).
(II-1): Schritt eines Erlangens von externen Orientierungselementen
Das ungefähre Markierungspositions-Messteil 132 substituiert die Bildkoordinaten von den ersten Markierungen, welche in Schritt S206 erlangt sind, und die Referenzkoordinaten entsprechend dazu in den Gleichungen zweiter Ordnung (2) zur Projektionsumwandlung, um eine Beobachtungsgleichung zum Erlangen von Parametern b1 bis b8 aufzubauen: X = (b1·x + b2·y + b3)/(b7·x + b8·y + 1) Y = (b4·x + b5·y + b6)/(b7·x + b8·y + 1) (2)wobei X und Y die Referenzpunkt-Koordinaten darstellen und x und y die Bildkoordinaten darstellen.
Die Relation zwischen den Referenzpunkt-Koordinaten und den Bildkoordinaten wird beschrieben. 11(A) ist eine Erläuterungsansicht von einem Bildkoordinatensystem und einem Objektivkoordinatensystem bei einer Mittenprojektion. Bei der Mittenprojektion befinden ein Objektivkoordinatensystem 52 als ein Referenzpunkt-Koordinatensystem, auf welchem sich das Schaubild 1 befindet, und ein Bildkoordinatensystem 50, auf welchem sich der Film in der Kamera 2 oder eine CCD befindet, in der Positionsbeziehung wie in 11(A) gezeigt, mit Bezug auf die Projektionsmitte Oc. Hier sind (X, Y, Z) die Koordinaten von einem Objekt, wie beispielsweise eine Referenzmarkierung auf dem Objektivkoordinatensystem 52, sind (X0, Y0, Z0) die Koordinaten von der Projektionsmitte Oc, sind (x, y) die Koordinaten von einem Punkt auf dem Bildkoordinatensystem 50, ist C die Schirmdistanz von der Projektionsmitte Oc zum Bildkoordinatensystem 50, und sind ω, φ und k die Neigungen von dem Bildkoordinatensystem 50 beim Fotografieren, jeweils mit Bezug auf die drei Achsen X, Y und Z, welche das Objektivkoordinatensystem 52 bilden, und welches als ein externes Orientierungselement bezeichnet wird.
Dann werden unter Verwendung der Parameter b1 bis b8 in der Gleichung (2) die folgenden externen Orientierungselemente durch die Gleichungen (3) erlangt: ω = tan–1(C·b8) φ = tan–1(–C·b7·cos ω) k = tan–1(–b4/b1) (φ = 0) k = tan–1(–b2/b5) (φ # 0 und ω = 0) k = tan–1{–(A1·A3 – A2·A4)/(A1·A2 – A3·A4) (φ ≠ 0 und ω = 0) Z0 = C·cos ω·{(A22 + A32)/(A12 + A42)} 1/2 + Zm X0 = b3 – (tan ω·sin k/cos φ – tan φ·cos k) × (Zm – Z0) Y0 = b6 – (tan ω·cos k/cos φ – tan φ·sin k) × (Zm – Z0) (3),wobei gilt: A1 = 1 + tan² φ, A2 = B1 + B2·tan φ/sin ω, A3 = B4 + B5·tan φ/sin ω, A4 = tan φ/(cos φ × tan ω), wobei Zm der Mittelwert von den Höhen von den Referenzpunkten 1a, 1b, 1c und 1d ist, und C die Brennweite ist und der Schirmdistanz entspricht. Hier sind die Referenzpunkte 1a, 1b, 1c und 1d auf einem ebenen Koordinatensystem, und es wird daher angenommen, dass sie eine gleichförmig hohe Ebene ausbilden.
(II-2): Schritt zum Berechnen von einer ungefähren Position von zweiten Markierungen
Die Kamerakoordinaten (xp, yp, zp) auf einem geneigten Kamera-Koordinatensystem, welches durch das Bildkoordinatensystem 50 dargestellt ist, entsprechend den Koordinaten (X, Y, Z) von einem Objekt auf dem Grund, welche durch das Objektivkoordinatensystem 52 dargestellt werden, sind durch die Gleichung (4), basierend auf dem Prinzip von einer Einzelfotografie-Orientierung, gegeben:
wobei (X0, Y0, Z0) die Grundkoordinaten von der Projektionsmitte Oc sind, wie in 11(A) gezeigt.
Dann werden die Neigungen (ω, φ, k), welche unter Verwendung der Gleichungen (3) erlangt werden, in die Gleichung (4) substituiert, und eine Rotationsmatrix-Berechnung wird durchgeführt, um Rotationsmatrix-Elemente all bis a33 zu erlangen.
Dann werden die somit erlangten Rotationsmatrix-Elemente all bis a33, die Koordinaten von der Position von der Kamera (X0, Y0, Z0), welche unter Verwendung der Gleichung (3) erlangt werden, und die Referenzpunktkoordinaten (X, Y, Z) von einem Ziel in die Gleichung von einer Kollinear-Bedingung (5) substituiert, um die Bildkoordinaten (x, y) von dem Ziel zu erlangen. Die Gleichung von der Kollinear-Bedingung ist eine Beziehungsgleichung, welche hält, wenn die Projektionsmitte, ein fotografiertes Bild und ein Objekt auf dem Grund auf einer Linie sind. Dadurch werden die Positionen von den zweiten Markierungen ohne eine Linsenabweichung berechnet. Somit können die ungefähren Bildkoordinaten von dem Ziel in einem Bild, welches mit der realen Kamera 2 mit der Linsenabweichung fotografiert ist, erlangt werden: x = –C·{a11(X – X0) + a12(X – X0) + a13(Z – Z0)}/{a31(X – X0) + a32(X – X0) + a33(Z – Z0)} y = –C·{a21(X – X0) + a22(X – X0) + a23(Z – Z0)}/{a31(X – X0) + a32(X – X0) + a33(Z – Z0)} (5)
Bei der Berechnung von tan^–1 in den Gleichungen (3) werden zwei Lösungen erlangt. Somit hat jede von den Neigungen ω, φ und k zwei Lösungen. Hierbei werden alle Lösungen berechnet, und korrekte ω, φ und k werden berechnet, indem die Reste zwischen den Bildkoordinaten von den vier ersten Markierungen 1a, 1b, 1c und 1d und den Bildkoordinaten von den entsprechenden Punkten, welche unter Verwendung von den Gleichungen (5) erlangt werden, verglichen werden.
Obwohl Gleichungen zweiter Ordnung zur Projektionsumwandlung verwendet werden, ist die vorliegende Erfindung nicht hierauf beschränkt. Weitere Gleichungen zur Projektionsumwandlung, wie beispielsweise dritte Gleichungen zur Projektion, können verwendet werden.
Das ungefähre Markierungspositions-Messteil 132 korreliert die zweiten Markierungen, indem die Verwaltungsnummern von den zweiten Markierungen, welche einer Referenzpunkt-Datei angehängt sind, welche im Markierungskoordinaten-Speicherteil 135 oder dergleichen gespeichert ist, dem Ziel (zweite Markierung) von jeder von den ersten Markierungen zugewiesen werden.
Es wird abermals eine Beschreibung mit Bezug auf 9 gegeben. Das genaue Markierungspositions-Messteil 133 misst die genauen Positionen von den zweiten Markierungen (S210). Der Ablauf zum Messen der genauen Positionen von den zweiten Markierungen wird detailliert mit Bezug auf 10 beschrieben. Das genaue Markierungspositions-Messteil 133 erkennt die Ziele als zweite Markierungen (S302). Eine Vorlagen-Übereinstimmung unter Verwendung von beispielsweise einer normalisierten Korrelation wird zur Zielerkennung verwendet. Die Zielerkennung wird detailliert beschrieben.
(III) Zielerkennung
11(B) ist eine Erklärungsansicht von einem Vorlagenbild zur normalisierten Korrelation und einem Objektbild zur Verwendung bei der Zielerkennung. Zunächst wird ein beliebiges Ziel aus den Schwerpunkten von den Zielen von den ersten Markierungen, wie beispielsweise die ersten Markierungen 1a, 1b, 1c und 1d, wie im ersten Markierungs-Extraktionsschritt gemessen, ausgewählt (S206). Das Vorlagenbild zur normalisierten Korrelation ist ein M×M Pixelbild, welches um den Schwerpunkt (Bildkoordinaten) von dem Ziel zentriert ist. Das Objektbild ist ein N×N Pixelbild, welches um die ungefähre Position (Bildkoordinaten) von dem Ziel zentriert ist, welches bei dem Schritt eines Messens von den ungefähren Positionen von den zweiten Markierungen berechnet ist (S208).
Dann wird eine Vorlagen-Übereinstimmung gemäß der normalisierten Korrelation, welche in Gleichung (6) ausgedrückt ist, auf das Objektbild und den Punkt, wo der Korrelationswert als Maximum erlangt ist, durchgeführt. Eine Überlagerung wird an dem Punkt erreicht, bei welchem der Korrelationswert maximal ist und das Ziel als an diesem Punkt erkannt angesehen wird. Die Koordinaten von der Mitte von dem Vorlagenbild werden in Bildkoordinaten von einem ebenso skalierten Bild umgewandelt, welche als ein Erfassungspunkt bestimmt werden: A = {M2 × Σ(Xi × Ti) – Σxi × Σti}/ [{M2 × ΣXi2 – Σ(Xi)2} × {M2 × ΣTi2 – Σ(Ti)2}]1 /2 (6)wobei A den Korrelationswert darstellt, M die Seitengröße des Vorlagenbildes darstellt, Xi das Objektbild darstellt und Ti das Vorlagenbild darstellt. Die Seitengrößen N und M sind variabel, jedoch vorzugsweise so klein wie möglich, um die Verarbeitungszeit, basierend auf der Prämisse, dass das Ziel ausreichend in den Bildern enthalten sein kann, zu verkürzen.
Es wird nun eine Beschreibung abermals mit Bezug auf 10 gegeben. Eine Unterpixel-Kantenerfassung wird auf die zweiten Markierungen durchgeführt (S304). Das Objektbild, auf welchem die Unterpixel-Kantenerfassung von den zweiten Markierungen durchgeführt wird, ist ein N×N-Pixelbild, welches um den Erfassungspunkt zentriert ist, welcher als ein Ziel in Schritt S62 erkannt ist. Ein Laplace-Gauß-Filter (LOG-Filter) als ein quadratisches Differenzial von einer Gauß-Funktion, welche durch die Gleichung (7) ausgedrückt wird, wird an die Helligkeits-Wellenform in dem Objektbild angewendet, und die zwei Null-Kreuzpunkte auf einem Kurvenverlauf, als ein Ergebnis der Berechnung, nämlich die Kanten, werden mit der Unterpixel-Genauigkeit erfasst: ∇2·G(x) = {(X2 – 2σ2)/2Πσ6}·exp(–x2/2σ2) (7)wobei σ den Parameter von der Gauß-Funktion darstellt. Zum Erfassen mit einer Unterpixel-Genauigkeit, dient ein Mittel zur Durchführung von einer Positionserfassung mit einer höheren Genauigkeit als ein Pixel.
Dann ist der Schwerpunkt von dem Ziel erfasst (S306), und kehrt der Prozess zurück (S308). Hier wird die Position, bei welcher der Kreuzpunkt von den Kanten in den x- und y-Richtungen sich miteinander kreuzen, wie unter Verwendung der Gleichung (7) erlangt, als die Position des Schwerpunktes von dem Ziel bestimmt. Die Messung von den genauen Positionen von den zweiten Markierungen wird nicht notwendigerweise durch den Prozess durchgeführt, welcher Schritte S302 bis S306 enthält. Die genauen Positionen von den zweiten Markierungen können durch ein weiteres Schwerpunkt-Position-Erfassungsverfahren, wie beispielsweise ein Moment-Verfahren oder ein modifiziertes Vorlagen-Übereinstimmungsverfahren, erlangt werden.
Es wird abermals eine Beschreibung auf 9 gegeben. Es wird bestätigt, dass es keinen offensichtlichen Fehler in den Positionen von den Schwerpunkten von allen Zielen gibt (S212). Es wird nämlich beurteilt, ob die Positionserfassung von den erkannten Zielen geeignet war. Zur Unterstützung des Bedieners werden die Positionen von den erfassten Zielen auf dem Anzeigeteil 150 angezeigt. Wenn es dort keinen Fehler gibt, geht der Prozess auf Schritt S216. Wenn es dort einen Fehler gibt, werden ungeeignete Zielpositionen korrigiert (S214). Ziele, bei denen die Korrelationswerte, wie in Schritt S302 berechnet, niedrig sind, oder Ziele, bei welchen die erfassten Schwerpunktpositionen weit entfernt sind von ihren ungefähren Positionen, werden auf dem Anzeigeteil 150 auf eine solche Art und Weise angezeigt, dass der Bediener sie einfach erkennen kann, beispielsweise in Rot. Der Bediener berechnet manuell die Positionen von solchen Zielen neu (bestimmt die Schwerpunktpositionen davon mit der Maus). Die fehlerhaften Zielpositionen sind hier nicht notwendigerweise korrigiert. Sie können entfernt werden, da sie bei dem Prozess zum Erlangen von Kalibrierungsparametern in Schritt S218 als anormale Punkte erfasst sind.
Der Prozess, welcher Schritte S204 bis S214 enthält, wird für alle Bilder durchgeführt, welche für die Messung von der Linsenabweichung notwendig sind (S216). Wenn beispielsweise fünf Bilder fotografiert werden, kann der Prozess auf die fünf Bilder durchgeführt werden. Wenn eine ausreichende Anzahl von Bildern für die Messung von der Linsenabweichung verarbeitet wurde, brauchen die weiteren fotografierten Bilder nicht notwendigerweise verarbeitet zu werden.
Wenn eine ausreichende Anzahl von Bildern für die Messung von der Linsenabweichung verarbeitet wurde, wird ein Prozess zum Erlangen von Kalibrierungselementen für die Linsenabweichung unter Verwendung des Prozesses zum Berechnen des inneren Parameters, welcher im inneren Parameter-Berechnungsteil 134 durchgeführt wird, durchgeführt (S218). Die Berechnung von Kalibrierungselementen wird auf alle zweiten Markierungen durchgeführt, welche korreliert wurden, und deren Schwerpunkte durch die Prozesse im ungefähren Markierungspositions-Messteil 132 und dem genauen Markierungspositions-Messteil 133 erlangt wurden.
(IV): Prozess zum Berechnen von inneren Parametern von der Kamera (Bündeleinstellung mit Eigenkalibrierung)
Für den Prozess zum Berechnen der inneren Parameter von der Kamera im inneren Parameter-Berechnungsteil 134 wird eine „Bündeleinstellung mit Eigenkalibrierung", wie im Gebiet der Fotogrammetrie verwendet, angewendet. Die „Bündeleinstellung" ist ein Verfahren, bei welchem eine Beobachtungsgleichung für jedes von Lichtbündeln von jedem Bild, basierend auf der Kollinear-Bedingung, bei welcher Lichtbündel, welche mit dem Objekt, der Linse und der CCD-Oberfläche in Kontakt treten, auf einer Linie sein sollten, und die Position und die Neigung von der Kamera (externe Orientierungselemente) und die Koordinatenpositionen von den zweiten Markierungen gleichzeitig durch zumindest ein Quadratverfahren eingestellt werden. Durch die „Bündeleinstellung mit Eigenkalibrierung" können die Kalibrierungselemente, nämlich die inneren Richtungen von der Kamera (Linsenabweichung, grundsätzliche Punktposition und Brennweite), ebenfalls erlangt werden. Die Kollinear-Bedingung-Basisgleichungen der Bündeleinstellung mit Eigenkalibrierung (welche im Folgenden als „Bündeleinstellung" bezeichnet wird) sind die folgenden Gleichungen (8) und (9):
Die Gleichungen (8) und (9) basieren auf der Gleichung von der Kollinear-Bedingung (5) zur Einzelfotografie-Richtung, welche in der Beschreibung bei dem ersten Markierungs-Extraktionsprozess beschrieben ist. Die Bündeleinstellung ist nämlich ein Verfahren, bei welchem verschiedene Lösungen von einer Mehrzahl von Bildern durch eine Letztes-Quadrat-Annäherung erlangt werden, und bei welchem die externen Orientierungspositionen von der Kamera bei unterschiedlichen Fotografiepositionen zur gleichen Zeit erlangt werden können. Es können nämlich die Kalibrierungselemente von der Kamera erlangt werden.
Die folgende Gleichung (10) ist ein Beispiel von einem Korrekturmodell für eine innere Orientierung (Linsenabweichung), welches bei einer Linse mit einer Abweichung in radialer Richtung angewendet wird:

k₁, k₂:: Linsenabweichung in radialer Richtung

Das Korrekturmodell ist nicht auf das Obige beschränkt. Es kann ein Korrekturmodell ausgewählt werden, welches für die Linse geeignet ist. Die Berechnung kann durch ein sukzessives Annäherungsverfahren vorgenommen werden, wenn es zumindest sechs Referenzpunkte auf dem Grundkoordinatensystem und dem Bildkoordinatensystem gibt. Das innere Parameter-Berechnungsteil 134 hat einen Schwellenwert des sukzessiven Annäherungsverfahrens und entfernt die zweiten Markierungen auf dem Schaubild 1, deren Fehler nicht kleiner als der Schwellenwert ist, um genaue Kalibrierungselemente zu erlangen. Somit können die zweiten Markierungen, welche nicht als fehlerhafte Markierungen beim Schritt des Bestätigens der Schwerpunkte von den Zielen erfasst sind (S212), in Schritt S218 erfasst und entfernt werden.
Es wird nun eine Beschreibung abermals mit Bezug auf 9 gegeben. Das Ergebnis der Berechnung zur Erlangung der Kalibrierungselemente durch das interne Parameter-Berechnungsteil 134 wird beurteilt (S220). Wenn die Kalibrierung nicht konvergiert oder wenn es ungeeignete Kalibrierungselemente in den erlangten Kalibrierungselementen gibt, werden die Probleme in Schritt S222 gelöst. In Schritt S222 werden Bilder, welche fehlerhafte zweite Markierungen enthalten, ausgewählt. Da es durch das innere Parameter-Berechnungsteil 134 offensichtlich wurde, welche zweite Markierungen von welchen Bildern einen Fehler haben, werden, wenn die Kalibrierung in Schritt S218 vollständig ist, die Erfassungspunkte von den Zielen zur Bestätigung angezeigt.
Der Bediener korrigiert manuell die fehlerhaften zweiten Markierungen (S224). Da nämlich die Koordinaten von dem Schwerpunkt der fehlerhaften zweiten Markierungen verschoben sind, wird die Korrektur vorgenommen, indem die Markierung, welche als fehlerhafte zweite Markierungen angezeigt ist, zur Schwerpunktposition bewegt wird, welche als geeignet angezeigt ist. Dann wird beurteilt, ob die Korrektur von den Positionen der fehlerhaften zweiten Markierungen vollendet ist (S226). Wenn die Korrektur vollendet ist, kehrt der Prozess zu dem Schritt der Berechnung der Kalibrierungselemente in Schritt S218 zurück, und werden die Kalibrierungselemente abermals berechnet. Wenn es weitere zweite Markierungen zu korrigieren gibt, kehrt der Prozess zu Schritt S222 zurück, und der Betrieb zum Korrigieren der Positionen von fehlerhaften zweiten Markierungen wird wiederholt.
Wenn das Ergebnis des Betriebes zum Erlangen der Kalibrierungselemente geeignet ist, wird das Ergebnis am Anzeigeteil 150 angezeigt (S228). 12 ist eine Erklärungsansicht, welche ein Beispiel von einem Schirm darstellt, welcher das Ergebnis des Betriebes zum Erlangen der Kalibrierungselemente anzeigt. Beispielsweise werden die Brennweite, die grundsätzliche Punktposition und Verzerrungsparameter als die Kalibrierungselemente an dem Anzeigeteil 150 angezeigt. Was die Verzerrung betrifft, welche die Linsenabweichung darstellt, so können Kurvenverläufe 142 vor einer Korrektur, Kurvenverläufe 144 nach einer Korrektur und ideal korrigierte Kurvenverläufe 146 in grafischer Form zum einfachen Verständnis angezeigt werden.
Zusätzlich kann ein Bild, dessen Verzerrung, basierend auf dem Ergebnis der Kalibrierung, korrigiert wurde, im Bildverarbeitungsteil 140 ausgebildet werden und am Anzeigeteil 150 angezeigt werden. Dadurch kann eine Bildanzeigevorrichtung, welche ein Bild korrigieren kann, welches mit einer Kamera mit hoher Verzerrung fotografiert wurde, bereitgestellt werden.
Es wird eine Beschreibung über Beispiele des Ergebnisses von der Berechnung von einer Funktion eines Kalibrierungselements gegeben, welches die Brennweite als einen Parameter annimmt, welche im inneren Parameterfunktions-Berechnungsteil 160 unter Verwendung der inneren Parameter durchgeführt wird, welche im Kalibrierungselement-Berechnungsteil 130 berechnet sind. 13 ist eine Ansicht, welche die Beziehung zwischen der Brennweite und den Koeffizienten zur Verwendung in den inneren Parameterfunktionen darstellt. 13(A) zeigt die Beziehung zwischen der Brennweite und einem Koeffizienten k1 in der Gleichung (10), 13(B) zeigt die Beziehung zwischen der Brennweite und einem Koeffizienten k2 in der Gleichung (10), 13(C) zeigt die Beziehung zwischen der Brennweite und einem Koeffizienten x₀ von einer Abweichung in der x-Achse-Richtung von dem grundsätzlichen Punkt von der Kamera von dem Zentrum des Bildes auf einem Bildkoordinatensystem x, und 13(D) zeigt die Beziehung zwischen der Brennweite und einem Koeffizienten y₀ von einer Abweichung in der y-Achse-Richtung von dem grundsätzlichen Punkt von der Kamera von dem Zentrum des Bildes auf einem Bildkoordinatensystem y. Wie zuvor beschrieben, wird hier die Zoom-Kamera 2, bei welcher die Brennweite von 7,2 mm auf 50,8 mm eingestellt werden kann, als ein Beispiel genommen. Wenn die Brennweitedaten an sechs Punkten gemessen werden, wird die Messung bei Brennweiten von 7,2 mm (Weitende) und 52,2 mm (Telefotoende) durchgeführt, und es werden 8,7 mm, 11,6 mm, 24,8 mm, 39,0 mm als der Messpunkt zwischen ihnen ausgewählt, um eine Messung bei gleichen Intervallen in optischer Hinsicht durchzuführen.
Der Koeffizient k1 in der Gleichung (10) ist am Weitende maximal und an der Telefotoseite klein. Der Koeffizient X0 variiert in komplexer Hinsicht; er nimmt den Maximalwert von 4,46 an, wenn die Brennweite von der Zoom-Kamera 2 gleich 8,7 mm und 52,2 mm ist, und den maximalen Wert von 4,55 an, wenn die Breitweite von der Kamera 2 gleich 39,0 mm ist, und wird somit mit einem Kurvenverlauf der fünften Ordnung angenähert. Der Koeffizient y₀ variiert monoton mit der Brennweite von der Zoom-Kamera 2. Das Schaubild ist im Fokus fotografiert, so dass die Brennweite f von der Zoom- Kamera 2 und die Distanz C von dem Projektions-Mittenpunkt Oc zum Bildkoordinatensystem 50 gleich sind.
Im inneren Parameterfunktions-Berechnungsteil 160 werden, wenn die Brennweite f eingegeben wird, die Koeffizienten k1, k2, x₀ und y₀ zur Verwendung in den inneren Parameterfunktionen erlangt. Dann werden die Koeffizienten in die Gleichungen (8), (9) und (10) als die inneren Parameterfunktionen substituiert, um Beobachtungsgleichungen für jeden der Messpunkte einzustellen. Dann können, indem die Gleichungen gleichzeitig gelöst werden und ein Letztes-Quadrat-Verfahren angewendet wird, die wahrscheinlichsten inneren Parameter berechnet werden.
14 ist ein Blockdiagramm, welches eine Vorrichtung zum Messen von Daten zur Kalibrierung darstellt, welche nicht Teil von der vorliegenden Erfindung ist. Obwohl das ebene Schaubild 1 als das Schaubild zur Kalibrierung in der in 1 gezeigten Ausführungsform verwendet wird, wird ein dreidimensionales Referenzschaubild 20 in diesem Beispiel verwendet. In 14 sind jene Teile, welche den Bauteilen in 1 entsprechen, mit den gleichen Bezugszeichen gekennzeichnet, und ihre Beschreibung wird ausgelassen.
Das in 14 gezeigte dreidimensionale Referenzschaubild 20 hat Ziele 20a bis 20h, deren Positionen mit Genauigkeit dreidimensional gemessen wurden. Die Anzahl, Höhen und ebenen Koordinaten sind geeignet bestimmt, so dass das Schaubild 20 zur dreidimensionalen Messung geeignet sein kann. Die Kamera 2 wird dazu verwendet, um das dreidimensionale Referenzschaubild 20 in Stereo bei einem Paar von einer rechten und einer linken Fotografieposition 2L und 2R zu fotografieren. Die Daten von einem Paar von Stereobildern, welche mit der Kamera 2 fotografiert sind, werden an ein Bilddaten-Speicherteil 110 über ein Bildinformations-Aufzeichnungsmedium oder dergleichen gesendet. Die Distanz zwischen der rechten und linken Fotografieposition 2R und 2L, welche als eine Basislinien-Distanz bezeichnet wird, wird genau gemessen.
Ein Kalibrierungselement-Berechnungsteil 170 berechnet die inneren Parameter von der Kamera 2, wenn das dreidimensionale Referenzschaubild verwendet wird, und hat ein Markierungs-Extraktionsteil 171, ein inneres Parameter-Berechnungsteil 173, ein dreidimensionales Schaubildziel-Aufzeichnungsteil 175 und ein Berechneter-Innerer-Parameterwert-Aufzeichnungsteil 177.
Das Markierungs-Extraktionsteil 171 extrahiert Ziele 20a bis 20h, welche in den Stereobildern von dem dreidimensionalen Schaubild 20 enthalten sind, und misst die Positionen von den Zielen 20a bis 20h auf einem Bildkoordinatensystem. Das innere Parameter-Berechnungsteil 173 berechnet die inneren Parameter von der Kamera 2 als Daten zur Kalibrierung unter Verwendung der Daten über die Positionen von den Zielen 20a bis 20h, welche im Markierungs-Extraktionsteil 171 gemessen sind, und über die Positionen von den Zielen 20a bis 20h, welche im dreidimensionalen Referenzschaubildziel-Speicherteil 175 gespeichert sind, und stellt die äußeren Orientierungselemente und die Koordinaten von Objektivpunkten von den Daten von dem gepaarten rechten und linken Stereobild gleichzeitig ein. Die Positionen von allen Zielen 20a bis 20h von dem dreidimensionalen Schaubild 20 werden im dreidimensionalen Referenzschaubildziel-Speicherteil 175 gespeichert. Die inneren Parameter, welche im inneren Parameter-Berechnungsteil 173 berechnet sind, werden im Berechneter-Innerer-Parameterwert-Speicherteil 177 gespeichert.
Das Markierungs-Extraktionsteil 171 ist vorzugsweise mit einer Funktion zum Entfernen der Stereobilder von dem dreidimensionalen Referenzschaubild 20, bei welchem die Ziele 20a bis 20h nicht klar erscheinen, bereitgestellt. Die inneren Parameter von der Kamera, welche im inneren Parameter-Berechnungsteil 173 berechnet sind, werden vorzugsweise im Berechneter-Innerer-Parameterwert-Speicherteil 177 zusammen mit den Brennweiten, bei welchen das dreidimensionale Referenzschaubild fotografiert wurde, gespeichert.
Es wird eine Beschreibung von den Verfahren zum Messen von Daten zur Kalibrierung unter Verwendung der Vorrichtung, welche wie oben aufgebaut ist, abermals mit Bezug auf 8 gegeben. Zuerst wird das dreidimensionale Referenzschaubild 20 eingestellt (S100), und wird die Brennweite von der Kamera 2 als ein Zielwert eingestellt (S102). Dann wird das dreidimensionale Referenzschaubild 20 mit der Kamera 2 als ein Kalibrierobjekt fotografiert (S104). In diesem Fall wird das dreidimensionale Referenzschaubild 20 bei einer vorgeschriebenen Kameradistanz ohne Einstellung der Brennweite von der Zoom-Kamera fotografiert.
Dann extrahiert das Markierungs-Extraktionsteil 171 die Markierungen, welche auf dem Schaubild 1 ausgebildet sind, von den Bildern, welche von dem Schaubild genommen sind (S105). Das innere Parameter-Berechnungsteil 173 berechnet die Kalibrierungselemente von der Kamera 2 (S106). Der Betrieb von den Bauteilen des Kalibrierungselement-Berechnungsteils 170 (Markierungs-Extraktionsteil 171 und das innere Parameter-Berechnungsteil 173) ist wie folgt. Das Markierungs-Extraktionsteil 171 extrahiert die Ziele 20a bis 20h, welche in den Stereobildern von dem dreidimensionalen Referenzschaubild 20 fotografiert sind, und misst die Positionen von den Zielen 20a bis 20h auf einem Bildkoordinatensystem. Dann berechnet das innere Parameter-Berechnungsteil 173 die inneren Parameter von der Kamera 2 als Daten zur Kalibrierung unter Verwendung der Daten über die Positionen von den Zielen 20a bis 20h, welche im Markierungs-Extraktionsteil 171 gemessen sind, und über die Positionen von den Zielen 20a bis 20h, welche im dreidimensionalen Referenz-Schaubildziel-Speicherteil 175 gespeichert sind. Die inneren Parameter von der Kamera, welche im inneren Parameter-Berechnungsteil 173 berechnet sind, werden im berechneten inneren Parameterwert-Speicherteil 177 zusammen mit den Brennweiten, bei welchen das dreidimensionale Referenzschaubild fotografiert wurde, gespeichert.
Dann wird beurteilt, ob immer noch eine Brennweite von der Zoom-Kamera 2 verbleibt, bei welcher (S108) eine Messung durchgeführt werden sollte. Wenn immer noch eine Brennweite verbleibt, kehrt der Prozess zu S102 zurück, und eine Kalibrierdaten-Messvorrichtung 100 misst die inneren Parameter von der Kamera bei der Brennweite. Andererseits berechnet das innere Parameterfunktions-Berechnungsteil 160 die Funktionen von den Kalibrierungselementen, welche die Brennweite als einen Parameter annehmen (S110). Dadurch ist der Vorbereitungsprozess vollendet.
15 ist ein Blockdiagramm, welches eine Bilddaten-Verarbeitungsvorrichtung darstellt, welche von der vorliegenden Erfindung Verwendung macht. Mit 200 ist eine Bildverarbeitungseinrichtung angezeigt. In der Bildverarbeitungsvorrichtung 200 führt die Kalibrierdaten-Messvorrichtung 100 eine Bildmessung unter Verwendung von Stereobildern von einem Objekt 30 durch, welches mit der Kamera 2 fotografiert ist, deren innere Parameter als Daten zur Kalibrierung gemessen wurden. Das Objekt 30 ist ein Objekt, welches dreidimensional ist, wie beispielsweise ein Objekt bei einer archäologischen Stelle, einer Bauwesenstelle, einer Arbeitsstelle zur Verhinderung von Katastrophen oder einer Stadtplanstelle, oder ein großer Aufbau, wie beispielsweise eine Turbine in einem Energiekraftwerk, einem Flugzeug oder einem Schiff.
Die Stereobilddaten von dem Objekt 30, welches mit der Kamera 2 fotografiert ist, werden in einem elektromagnetischen Speichermedium, wie beispielsweise eine flexible Disc, als ein Paar von einem rechten und linken Stereobild gespeichert. Ein Bilddaten-Empfangsteil 210 ist eine I/O-Vorrichtung zum Empfangen der Stereobilddaten von dem Objekt 30, welches mit der Kamera 2 fotografiert ist. Eine Vorrichtung zum Auslesen eines elektromagnetischen Aufzeichnungsmediums wird als das Bilddaten-Empfangsteil 210 verwendet. Wenn die Brennweite, bei welcher die Stereobilder von dem Objekt fotografiert wurden, gemessen wurde, überträgt ein Brennweiten-Datenspeicherteil 220 die Brennweite an die Bilddaten-Verarbeitungsvorrichtung 200.
Ein Kalibrierdaten-Ausbildungsteil 230 bildet innere Parameter, welche zur Messung notwendig sind, aus den Stereobilddaten, welche im Bilddaten-Empfangsteil 210 gespeichert sind, aus, und hat ein Brennweiten-Berechnungsteil 232, ein Bündeleinstellungs-Durchführungsteil 234, ein inneres Parameter-Berechnungsteil 236 und ein inneres Parameterfunktions-Berechnungsteil 238. Das Brennweiten-Berechnungsteil 232 berechnet die Brennweite von der Kamera 2 zum Zeitpunkt der Fotografie unter Verwendung der Stereobilddaten, welche im Bilddaten-Empfangsteil 210 gespeichert sind, unter Verwendung des Bündeleinstellungs-Durchführteils 234. Wenn die Brennweite von der Kamera 2 zum Zeitpunkt der Fotografie, welche im Brennweiten-Speicherteil 220 gespeichert ist, genau ist, können die Werte, welche im Brennweite-Speicherteil 220 gespeichert sind, als die Brennweite verwendet werden, welche im Brennweite-Berechnungsteil 232 berechnet ist, oder können als die Anfangswerte für die Kalibrierung im Brennweite-Berechnungsteil 232 verwendet werden.
Das innere Parameter-Berechnungsteil 236 berechnet Koeffizienten k1, k2, x₀ und y₀ zur Verwendung bei der Kalibrierung von inneren Parameterfunktionen im inneren Parameterfunktions-Berechnungsteil 238 unter Verwendung der Brennweite, welche im Brennweite-Berechnungsteil 232 berechnet ist. Das innere Parameter-Berechnungsteil 238 hat die gleiche Funktion wie das innere Parameterfunktions-Berechnungsteil 160 von der Kalibrierdaten-Messvorrichtung 100 und berechnet die inneren Parameter von der Kamera 2.
Ein Bildverarbeitungsteil 240 hat ein Stereobild-Erzeugungsteil 242, ein Bildmessteil 244 und ein Orthoskopiebild-Erzeugungsteil 246. Das Stereobild-Erzeugungsteil 242 hat eine Funktion der Durchführung von einer Orientierung (relative Orientierung und absolute Orientierung) und von einer Versatzkorrektur von den Stereobildern, welche durch die Kamera fotografiert sind, um versatzkorrigierte Bilder auszubilden, und ist typischerweise durch Software gebildet, welche durch einen Computer ausführbar ist. Die versatzkorrigierten Bilder sind hier Stereosichtbilder, welche erlangt werden, indem der Versatz in dem gepaarten rechten und linken Stereobild, welche durch die Kamera 2 fotografiert sind, korrigiert wird. Das Bildmessteil 244 führt eine absolute Orientierung über die Stereobilder durch, welche im Stereobild-Erzeugungsteil 242 erzeugt werden, um die Grundkoordinaten von jedem Pixel zu berechnen. Der Prozess ist detailliert in der JP-A-H11-351865 offenbart, welche durch den gleichen Anmelder eingereicht ist. Unter Verwendung des Bildmessteils 244 ist es möglich, einen dreidimensionalen Aufbau, wie beispielsweise die Ebenheit auf einer Oberfläche von dem Objekt 30, genau zu messen.
Das Orthoskopiebild-Erzeugungsteil 246 führt eine dreidimensionale Messung über die Stereobilder, welche im Bilddaten-Empfangsteil 210 gespeichert sind, unter Verwendung des Bildmessteils 244 mit den inneren Parametern von der Kamera 2, welche im Kalibrierdaten-Ausbildungsteil 230 berechnet sind, durch, um die Stereobilder in Orthoskopiebilder umzuwandeln. Ein Orthoskopiebild ist ein orthogonales Projektionsbild, welches erlangt wird, indem ein Versatz in einem Bild aufgrund von der Neigung von der spezifischen Höhe von der Kamera, basierend auf Fotogrammetrie-Techniken, korrigiert wird. Die Stereobilddaten, welche im Bilddaten-Empfangsteil 210 gespeichert sind, sind zentralprojizierte Bilder. Das Orthoskopiebild-Erzeugungsteil 246 wandelt die Stereobilddaten von den zentralen Projektionsbildern in orthogonale Projektionsbilder um, um eine detaillierte Bildzeichnung von dem Objekt 30 auszubilden.
Es wird eine Beschreibung über die relative Orientierung detailliert gegeben. Eine Orientierungsberechnung wird im Gebiet der Luft-Fotogrammetrie usw. verwendet, und die Positionen von der rechten und linken Fotografievorrichtung usw. können über eine relative Orientierung und absolute Orientierung erlangt werden. Bei der relativen Orientierung werden Stereo-Fotografie-Parameter durch die folgende Koplanar-Bedingung-Gleichung erlangt.
16 ist eine Ansicht zur Erläuterung der Orientierungsberechnung unter Verwendung eines Modell-Koordinatensystems XYZ und eines rechten und linken Kamera-Koordinatensystems xyz. Der Ursprung 0 des Modell-Koordinatensystems ist an der linken Projektionsmitte platziert, und eine Linie, welche den Ursprung 0 und die rechte Projektionsmitte verbindet, wird als die X-Achse bezeichnet. Die Basislinien-Länge l wird als die Einheitslänge verwendet. Die zu erlangenden Parameter sind die folgenden fünf Rotationswinkel: Der Rotationswinkel k1 von der Z-Achse und der Rotationswinkel φ1 von der Y-Achse von der linken Kamera, und der Rotationswinkel k2 von der Z-Achse, der Rotationswinkel φ2 von der Y-Achse und der Rotationswinkel ω2 von der X-Achse von der rechten Kamera.
Der Rotationswinkel ω1 von der X-Achse von der linken Kamera ist gleich Null und braucht daher nicht in Betracht gezogen zu werden:

X₀₁, Y₀₁, Z₀₁:: Projektionsmitte-Koordinaten von einem linken Bild
X₀₂, Y₀₂, Z₀₂:: Projektionsmitte-Koordinaten von einem rechten Bild
X₁, Y₁, Z₁:: Bildkoordinaten von einem linken Bild
X₂, Y₂, Z₂:: Bildkoordinaten von einem rechten Bild

Unter den obigen Bedingungen wird die Koplanar-Bedingung-Gleichung (12) von der Gleichung (11) wie folgt angegeben, und die Parameter können erlangt werden, indem die Gleichung gelöst wird:
Die folgenden Beziehungsgleichungen gelten zwischen dem Modell-Koordinatensystem XYZ und dem Kamera-Koordinatensystem xyz:
Unter Verwendung der Gleichungen (11) bis (13) werden unbekannte Parameter gemäß dem folgenden Ablauf erlangt.

V-1: Der anfängliche ungefähre Wert wird grundsätzlich auf 0 eingestellt.
V-2: Die Taylor-Entwicklung wird auf die Koplanar-Bedingung-Gleichung (12) um die Annäherung durchgeführt, und ein Differenzial-Koeffizient von einer Linearisierung wird durch die zwei Gleichungen (13) erlangt, um eine Beobachtungsgleichung einzustellen.
V-3: Ein Letztes-Quadrat-Verfahren wird angewendet, um einen Korrekturwert mit Bezug auf den ungefähren Wert zu erlangen.
V-4: Der ungefähre Wert wird korrigiert.
V-5: Die Schritte V-2 bis V-5 werden unter Verwendung des korrigierten Annäherungswertes bis zur Konvergenz wiederholt.

Bei der obigen relativen Orientierungsberechnung werden die Kalibrierungselemente, welche im inneren Parameterfunktions-Berechnungsteil 238 berechnet sind, verwendet. Genauer gesagt werden die grundsätzliche Punktposition ΔX und die Linsenabweichung ΔY mit den Kalibrierungselementen korrigiert. Die Schirmdistanz (Brennweite) c wird unter Verwendung der Kalibrierungselemente berechnet.
Es wird eine Beschreibung des Ablaufes von der dreidimensionalen Messung unter Verwendung der Bilddaten-Verarbeitungsvorrichtung, welche wie oben aufgebaut ist, gegeben. 17 ist ein Ablaufdiagramm zur Erläuterung des Ablaufes zum Fotografieren eines Objektes in Stereo an Ort und Stelle und einer Durchführung von einer Stereobild-Messung. Bei einer Verarbeitung an Ort und Stelle geht ein Bediener zu der Stelle, wo sich das Objekt befindet, und eine Kamera, deren innere Parameterfunktionen mit einer Kalibrierdaten-Messvorrichtung erlangt wurden, wird verwendet (S400). Der Bediener fotografiert das Objekt bei einer beliebigen Brennweite mit der Kamera 2 auf eine Bildberechnungs-Verarbeitungsweise (S402). Ein Fotografieren auf eine Bildmess-Verarbeitungsweise bedeutet, dass Bilder von einem Objekt kontinuierlich bei einer Distanz zur Stereoskopie-Ansicht, wie bei der Luft-Fotogrammetrie, fotografiert werden. Beispielsweise werden die Bilder auf eine solche Art und Weise fotografiert, dass sich die Bilder um ungefähr 60% in der lateralen Richtung von dem Objekt und ungefähr 20% in der vertikalen Richtung von dem Objekt überlappen. Die fotografierten Bilder werden in einem elektromagnetischen Aufzeichnungsmedium auf eine solche Art und Weise gespeichert, um dazu in der Lage zu sein, sie an das Bilddaten-Empfangsteil 210 zu senden.
Die im elektromagnetischen Aufzeichnungsmedium gespeicherten Bilddaten werden durch das Bilddaten-Empfangsteil 210 empfangen, und es wird ein Paar aus einem rechten und linken Bild zur Erzeugung von Stereobildern ausgewählt (S404). Das Brennweite-Berechnungsteil 232 berechnet die Brennweite, bei welcher die Bilder fotografiert wurden, durch eine Bündeleinstellung mit einer Eigenkalibrierung (S406). Dann berechnet das innere Parameter-Berechnungsteil 236 die weiteren inneren Parameter von der Kamera 2 entsprechend der berechneten Brennweite (S408).
Da die Positionen und die Neigung von den Stereobildern durch eine externe Orientierungselement-Berechnung durch eine relative Orientierung erlangt werden, erzeugt das Stereobild-Erzeugungsteil 242 letztendliche Stereobilder, indem die inneren Parameter von der Kamera 2 hinzugefügt werden. Dann führt das Bildmessteil 244 eine dreidimensionale Messung von dem Objekt in den Stereobildern durch (S410). Das Orthoskopiebild-Erzeugungsteil 246 bildet Orthoskopiebilder, welche frei sind von der Wirkung von der Abweichung der Linse, unter Verwendung der berechneten Parameter von der Kamera 2, basierend auf den dreidimensionalen Messdaten aus (S412). Dann wird beurteilt, ob immer noch ein gepaartes rechtes und linkes Bild zum Erzeugen der Stereobilder im Bilddaten-Speicherteil 210 vorliegen (S414). Wenn dort immer noch Bilder verbleiben, kehrt der Prozess zum Schritt S404 zurück. Andererseits kann die dreidimensionale Messung des Objektes in einem Bereich durchgeführt werden, in welchem das Objekt stereoskopisch gesehen werden kann.
Es wird eine Beschreibung über ein Beispiel gegeben, bei welchem eine Stereobild-Messung in einem realen Feld unter Verwendung der Bilddaten-Verarbeitungsvorrichtung 200 durchgeführt wird. 18 zeigt eine Steinwand als ein Beispiel des Gebietes zur Stereobild-Messung. Eine Steinwand hat einen dreidimensionalen Aufbau, welcher ähnlich zu einem realen Feld ist, wie beispielsweise eine historische Stelle oder eine Bauwesenstelle, und ist somit als ein Gebiet zum Experiment geeignet. In dem Gebiet zur Stereobild-Messung, wie in 18 gezeigt, gibt es 49 Steuerpunkte, welche durch die weißen Punkte dargestellt sind, und ihre Positionen wurden mit einer Tiefengenauigkeit von +/– 1 mm gemessen. In der Bilddaten-Verarbeitungsvorrichtung 200 werden acht Punkte, welche aus den 49 Steuerpunkten ausgewählt sind, zur Kalibrierung von der Brennweite von der Kamera als Steuerpunkte zur Verwendung in der Bündeleinstellung mit Eigenkalibrierung verwendet. Die weiteren 41 Steuerpunkte werden zur Messung von einer Tiefengenauigkeit durch eine Stereobild-Messung verwendet.
19 ist eine Ansicht, welche die Fotografiebedingungen von der Kamera darstellt, und welche die Objektdistanz H und die Fotografie-Basislinienlänge B entsprechend den Brennweiten äquivalent zu jenen von der Weit-, Mitten- und Telefoto-Linse zeigt. Die Brennweite von der Kamera 2 (ungefährer Wert) ist im Fall 1 (weit) auf 9 mm eingestellt, im Fall 2 (normal) auf 30 mm eingestellt, und im Fall 3 (Telefoto) auf 42 mm eingestellt. Die Größe des fotografierten Bereiches von der Steinwand ist 2 m × 2 m.
20 ist eine Ansicht, welche die Ergebnisse des Experiments zum Messen der Genauigkeit von der Stereobild-Messung zeigt, welche die Brennweite (Analysewert) [mm], [μm], Ebenen-Genauigkeit [mm], Tiefengenauigkeit [mm], Ein--Pixel-Auflösung σ_xy auf der Ebene [mm] und Ein-Pixel-Auflösung σ_z in der Tiefenrichtung zeigt. Die Ein-Pixel-Auflösung σ_xy auf der Ebene und die Ein-Pixel-Auflösung σ_z in der Tiefenrichtung sind jeweils durch die folgenden Gleichungen ausgedrückt: σxy = [H/f]·σp (14) σz = [H/f]·[H/B]·σp (15)wobei H, B, f und σ_p die Objektdistanz, die Basislinienlänge, die Brennweite und die Pixelgröße darstellen.
In jeder Spalte von der 20 sind der Wert im Falle, bei welchem die inneren Parameter von der Kamera korrigiert sind, und der Wert in dem Falle, bei welchem die inneren Parameter von der Kamera 2 nicht korrigiert sind, jeweils in der oberen Zeile und der unteren Zeile. Die Tiefengenauigkeit ist bei jeder Brennweite innerhalb von 2 mm. Im Gegensatz dazu, wenn die inneren Parameter von der Kamera 2 nicht korrigiert sind, ist die Tiefengenauigkeit im Bereich von 2 cm. Wenn nämlich die inneren Parameter von der Kamera 2 gemäß der Brennweite korrigiert sind, verbessert sich die Tiefengenauigkeit in einem Größenbereich, verglichen mit dem Fall, bei welchem die inneren Parameter von der Kamera 2 nicht korrigiert sind.
In der obigen Ausführungsform wurde eine Beschreibung über einen Fall gegeben, bei welchem die optische Bedingung, welche in einer Kamera des Typs zu variieren ist, bei welchem optische Bedingungen variiert werden können, gleich die Brennweite von einer Zoom-Kamera. Jedoch ist die vorliegende Erfindung nicht hierauf beschränkt. Die zu variierende Bedingung in einer Kamera kann die sich bewegende Distanz von der Linse in einer Autofokus-Kamera oder ein innerer Parameter von einer Kamera sein, welche eingestellt werden, wenn die Wellenlänge von einem Licht, welches sich vom sichtbaren Licht unterscheidet, wie beispielsweise Infrarotstrahlen, Ultraviolettstrahlen, Röntgenstrahlen oder ein Ladepartikelstrahl, welche durch die Kamera als Bilddaten empfangen werden, variiert.
In der obigen Ausführungsform ist ein Fall dargestellt, bei welchem die Bildverarbeitungsvorrichtung ein Stereobild-Erzeugungsteil hat, um eine dreidimensionale Messung durchzuführen, um Orthoskopiebilder zu erzeugen. Jedoch ist die Bilddaten-Verarbeitungsvorrichtung von der vorliegenden Erfindung nicht hierauf beschränkt. Die Bilddaten-Verarbeitungsvorrichtung kann eine dreidimensionale Messung von einem Objekt direkt durchführen, ohne Orthoskopiebilder zu erzeugen.
Wie oben beschrieben wurde, berechnet die Vorrichtung zum Messen von Daten zur Kalibrierung von der vorliegenden Erfindung die Daten zur Kalibrierung entsprechend den variierten optischen Bedingungen von der Kamera beim Fotografieren unter Verwendung von Daten zur Kalibrierung, welche im inneren Parameter-Berechnungsteil berechnet sind, und einer Mehrzahl von optischen Bedingungen, unter welchen die Bilder von dem Schaubild fotografiert sind. Somit können, wenn Bilder mit einer Kamera des Typs fotografiert sind, bei welchem optische Bedingungen unter variierten Bedingungen variiert werden können, Daten zur Kalibrierung entsprechend den variierten Bedingungen in der Kamera beim Fotografieren, welche notwendig sind, um ein hochqualitatives Bild zu erzeugen, welches von der Wirkung der Linsenabweichung frei ist, einfach erlangt werden.
Die Bilddaten-Verarbeitungsvorrichtung, welche von der vorliegenden Erfindung Gebrauch macht, hat ein Bilddaten-Empfangsteil zum Empfangen von Daten von fotografierten Bildern und optischen Fotografiebedingungen von einer Kamera des Typs, bei welchem optische Bedingungen variiert werden können, ein Kalibrierdaten-Ausbildungsteil zum Ausbilden von Daten zur Kalibrierung, basierend auf den optischen Fotografiebedingungen, welche durch das Bilddaten-Empfangsteil empfangen werden; und ein Bildverarbeitungsteil zum Verarbeiten der Daten von fotografierten Bildern, basierend auf den Daten zur Kalibrierung. Somit können, wenn Bilder mit einer Kamera des Typs fotografiert sind, bei welchem optische Bedingungen unter variierten Bedingungen variiert werden können, hochqualitative Bilder, welche frei von der Wirkung der Linsenabweichung sind, unter Verwendung der Daten zur Kalibrierung entsprechend den variierten Bedingungen in der Kamera beim Fotografieren einfach erlangt werden.

Claims

Vorrichtung zum Messen von Daten zur Kalibrierung, um Daten zur Kalibrierung von einer Kamera (2) zu erlangen, welche dazu in der Lage ist, optische Zustände zu ändern, welche zumindest eines enthalten aus der Brennweite von einer Fotografie-Linse von der Kamera und der Position von der Linse, welche zur Einstellung des Fokus bewegt wird, unter Verwendung einer Mehrzahl von Bildern von einem Kalibrierungs-Schaubild (1), welches darauf angeordnete Markierungen hat, welche mit der Kamera unter variierten optischen Zuständen fotografiert werden, wobei die Mehrzahl von Bildern von einem Kalibrierungs-Schaubild (1) bei einem unterschiedlichen Winkel unter jedem von den variierten optischen Zuständen fotografiert werden, mit: einem Markierungs-Extraktionsteil (131, 132, 133) zum Extrahieren von ersten Markierungen von den Markierungen, welche für zumindest eines verwendet werden aus einem Messen von ungefähren Markierungs-Positionen und einem Korrelieren eines Paars von Bildern, und zum Extrahieren von zweiten Markierungen von den Markierungen, welche zur Anzeige von einer Position von Bilddaten von dem Kalibrierungs-Schaubild, welches durch die Kamera fotografiert wird, verwendet werden, indem die zweiten Markierungen, basierend auf den Positionen von den ersten Markierungen, korreliert werden; einem inneren Parameter-Berechnungsteil (134) zum Berechnen von Daten zur Kalibrierung, welche zumindest Daten enthalten von der grundsätzlichen Punktposition von der Linse und der Verzerrungsabweichung von der Linse, unter optischen Zuständen, unter welchen die Bilder von dem Schaubild, basierend auf den Positionen von den zweiten Markierungen, welche durch das Markierungs-Extraktionsteil extrahiert sind, fotografiert werden; und einem inneren Parameterfunktions-Berechnungsteil (160) zum Berechnen von Daten zur Kalibrierung entsprechend den variierten optischen Fotografie-Zuständen von der Kamera, unter Verwendung der Daten zur Kalibrierung, welche in dem inneren Parameter-Berechnungsteil (134) berechnet sind, und einer Mehrzahl von optischen Zuständen, unter welchen die Bilder von dem Schaubild fotografiert sind.
Vorrichtung zum Messen von Daten zur Kalibrierung nach Anspruch 1, bei welcher das Kalibrierungs-Schaubild (1) eben ist, und bei welcher die Mehrzahl von Bildern von dem Schaubild gleich Stereo-Bilder sind, welche auf eine solche Weise fotografiert sind, dass die Daten zur Kalibrierung daraus durch das Markierungs-Extraktionsteil (131, 132, 133) und das innere Parameter-Berechnungsteil (134) berechnet werden können.
Vorrichtung zum Messen von Daten zur Kalibrierung nach Anspruch 1, bei welcher die Mehrzahl von Bildern von dem Schaubild gleich Stereo-Bilder sind, welche bei unterschiedlichen Winkeln fotografiert sind, wobei jeder davon mehr als 10 Grad beträgt.
Vorrichtung zum Messen von Daten zur Kalibrierung nach einem der Ansprüche 1 bis 3, bei welcher die Daten zur Kalibrierung, welche in dem inneren Parameterfunktions-Berechnungsteil (160) berechnet sind, gemäß den variierten optischen Fotografie-Zuständen von der Kamera berechnet werden können.
Verfahren zum Messen von Daten zur Kalibrierung, mit: einem Schritt zum Fotografieren (S102, S104) von einer Mehrzahl von Bildern von einem Kalibrierungs-Schaubild (1), welches erste Markierungen, welche für zumindest eines verwendet werden aus einem Messen von ungefähren Markierungs-Positionen und einem Korrelieren eines Paares von Bildern zur Kalibrierung, und zweite Markierungen, welche zur Anzeige von einer Position von Bilddaten von dem Kalibrierungs-Schaubild, welches mit einer Kamera (2) fotografiert wird, verwendet werden, hat, wobei die ersten Markierungen und die zweiten Markierungen auf dem Kalibrierungs-Schaubild angeordnet werden, wobei die Kamera dazu in der Lage ist, ihre optischen Zustände zu variieren, welche zumindest eines enthalten aus der Brennweite von einer Fotografie-Linse von der Kamera und der Position von der Linse, welche bewegt wird, um den Fokus einzustellen, unter variierten optischen Zuständen, und wobei die Mehrzahl von Bildern von dem Kalibrierungs-Schaubild (1) bei einem unterschiedlichen Winkel unter jedem von den variierten optischen Zuständen fotografiert wird; einem Markierungs-Extraktionsschritt (S105) zum Extrahieren der zweiten Markierungen aus den Bildern von dem Schaubild durch Extrahieren der ersten Markierungen von den Bildern von dem Schaubild und Korrelieren der zweiten Markierungen, basierend auf Positionen von den extrahierten ersten Markierungen; einem inneren Parameter-Berechnungsschritt (S106) zum Berechnen von Daten zur Kalibrierung, welche zumindest Daten enthalten aus der grundsätzlichen Punktposition von der Linse und der Verzerrungsabweichung von der Linse, unter welcher die Bilder von dem Schaubild fotografiert sind, basierend auf den Positionen von den extrahierten zweiten Markierungen; und einem inneren Parameterfunktions-Berechnungsschritt (S110) zum Berechnen von Daten zur Kalibrierung entsprechend den variierten optischen Fotografie-Zuständen von der Kamera, unter Verwendung der berechneten Daten zur Kalibrierung und einer Mehrzahl von optischen Zuständen, unter welchen die Bilder von dem Schaubild fotografiert sind.
Computerprogrammprodukt zur Installation in einem Computer, welcher eine Vorrichtung gemäß Anspruch 1 steuert, um zu bewirken, dass der Computer das in Anspruch 5 beanspruchte Verfahren durchführt.
Computerlesbares Aufzeichnungsmedium, in welchem das in Anspruch 6 beanspruchte Programm gespeichert ist.