DE69522386T2

DE69522386T2 - Bildverarbeitungsgerät und -verfahren

Info

Publication number: DE69522386T2
Application number: DE69522386T
Authority: DE
Inventors: Masakazu Fujiki; Tomoaki Kawai; Masatoshi Okutomi; Shinji Uchiyama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-06-24
Filing date: 1995-06-23
Publication date: 2002-05-23
Anticipated expiration: 2015-06-24
Also published as: JP3486461B2; US6023276A; EP0689167A1; DE69522386D1; JPH0816783A; EP0689167B1

Description

Die vorliegende Erfindung betrifft ein Bildverarbeitungsgerät und -verfahren und insbesondere ein Bildverarbeitungsgerät und -verfahren, die Daten erzeugen, die ein Computermodell der dreidimensionalen geometrischen Form eines Objekts in einem Stereobild unter Verwendung des rechten und linken Bildes des Objekts definieren.
Zur Erkennung einer dreidimensionalen geometrischen Form eines Objekts unter Verwendung eines rechten und Linken Bildes eines durch eine Stereokamera oder dergleichen aufgenommenen Stereobildes gibt es ein herkömmliches System zum Auffinden der dreidimensionalen Koordinaten durch Auffinden aller entsprechenden Punkte in dem rechten und linken Bild durch einen Übereinstimmungsvergleichsvorgang und dergleichen.
Da allerdings bei dem vorstehend angeführten System ein Computer die entsprechenden Punkte automatisch findet, besteht die Gefahr, dass die lokalisierten entsprechenden Punkte einander nicht tatsächlich entsprechen. Da ferner alle entsprechenden Punkte gesucht werden, muss der Computer eine große Menge an Berechnungen durchführen, und es dauert eine erhebliche Zeit zum Erhalten der dreidimensionalen Koordinaten.
Zur Lösung dieser Probleme hat die Anmelderin der vorliegenden Erfindung eine Patentanmeldung bzgl. eines Verfahrens eingereicht, bei dem ein Benutzer den Computer unterbricht und entsprechende Punkte zum Auffinden einer dreidimensionalen Form bestimmt, was in der japanischen Patentveröffentlichung (Kokai) 7-152928 beschrieben ist.
Nachdem gemäß diesem Verfahren die dreidimensionalen Koordinaten aus entsprechenden Punkten des rechten und linken Bildes eines Stereobildes gefunden wurden, wird ein die dreidimensionalen Koordinatenpunkte verbindendes Dreieck erzeugt, wodurch eine Ebene gebildet wird. Bei dem von der Anmelderin vorgeschlagenen Verfahren wird ein Triangulationsnetzverfahren und dergleichen beruhend auf dem Delaunay-Prinzip zur Erzeugung des Dreiecks verwendet.
Generell sind oft eine Vielzahl dreidimensionaler Objekte in einem Bild enthalten. Gibt es eine Vielzahl von Objekten in einem Bild, werden alle Objekte einschließlich des Hintergrunds immer als einfache dreidimensionale Form behandelt, wenn ein herkömmliches Verfahren angewendet wird. In einem anderen Fall ist es möglich, lediglich einen durch einen Benutzer unterbrechend bestimmten Flächenabschnitt in dem Bild als einzelnes Objekt zu behandeln. Das heißt, selbst wenn eine Vielzahl von Objekten in einem Bild enthalten ist, gibt es kein Gerät, das die Objekte separat im dreidimensionalen Raum erkennen kann. Daher wird die Vielzahl der Objekte immer als einzelnes Objekt (einschließlich der den Hintergrund bildenden Objekte) behandelt.
Des weiteren werden ein rechtes und linkes Bild lediglich zur Eingabe einer dreidimensionalen Form verwendet und wurden nicht als Texturinformationen genutzt.
Verwendet ferner ein Verfahren zur Erzeugung einer Ebene ein Delaunay-Triangulationsnetz, besteht ein Problem dahingehend, dass, wenn eine dreidimensionale konkave Fläche in einem Objekt vorhanden ist, die konkave Fläche nicht erkannt werden kann.
Ist es ferner erforderlich, alle entsprechenden Punkte in dem rechten und linken Bild manuell zu bestimmen, muss der Benutzer ziemlich viele manuelle Operationen durchführen. Außerdem ist die präzise Bestimmung entsprechender Punkte in dem rechten und linken Bild des Stereobildes durch eine manuelle Operation schwierig. Besonders dann, wenn keine klaren Texturinformationen in dem Bild vorhanden sind, ist die Bestimmung der entsprechenden Punkte noch schwieriger.
In der US 4 935 820 ist ein dreidimensionales Messgerät offenbart, auf dem eine Vielzahl von Bildern mit Parallelachsen dargestellt werden, jeweilige Objektpunkte bestimmt und Messvorgänge bzgl. der dreidimensionalen Positionen der bestimmten Punkte durchgeführt werden.
In der US-A-4 875 165 ist ein Verfahren zur Bestimmung einer dreidimensionalen Struktur in einer Zweiebenenangiografie offenbart, bei dem eine dreidimensionale Gefäßstruktur aus zwei ebenen Bildern durch Identifizierung von Punkten in beiden Bildern erhalten wird, die jeweiligen Punkten eines Objekts entsprechen.
In der GB-A-22 44 621 ist ein Verfahren zum Übereinstimmungsvergleich von Merkmalen zwischen zwei unterschiedlichen Bildern einer Szene durch Berechnung einer epipolaren Geraden offenbart.
Die vorliegende Erfindung wurde in Anbetracht der vorstehend beschriebenen Situation entwickelt.
Erfindungsgemäß ist ein Bildverarbeitungsgerät gemäß Patentanspruch 1 ausgestaltet.
Die Erfindung stellt auch ein Verfahren zur Verarbeitung von Bilddaten gemäß Patentanspruch 10 bereit.
Die Erfindung stellt ferner ein Computerprogramm gemäß Patentanspruch 19 bereit.
Die Erfindung stellt auch eine Datenspeichereinrichtung gemäß Patentanspruch 20 bereit.
Optionale Merkmale sind in den Patentansprüchen 2 bis 9 und 11 bis 18 definiert.
Nachstehend sind Ausführungsbeispiele der Erfindung unter Bezugnahme auf die beiliegende Zeichnung beschrieben, in der gleiche Bezugszeichen gleiche oder ähnliche Abschnitte in den Figuren bezeichnen. Es zeigen:
Fig. 1 ein Blockschaltbild des Aufbaus eines. Geräts gemäß einem ersten Ausführungsbeispiel,
Fig. 2 Programmmodule gemäß dem ersten Ausführungsbeispiel,
Fig. 3 eine Darstellung der Zustände eines angezeigten rechten und linken Bildes eines Stereobildes an einer Anfangsstufe gemäß dem ersten Ausführungsbeispiel,
Fig. 4 ein Ablaufdiagramm der Operationsinhalte gemäß dem ersten Ausführungsbeispiel,
Fig. 5 eine Darstellung des Aufbaus einer Punktliste gemäß dem ersten Ausführungsbeispiel,
Fig. 6 eine Darstellung des Aufbaus einer Ebenenliste gemäß dem ersten Ausführungsbeispiel,
Fig. 7 eine Tabelle, die die Übereinstimmung zwischen Objektnamen, der Punktliste und der Ebenenliste gemäß dem ersten Ausführungsbeispiel darstellt,
Fig. 8 ein Ablaufdiagramm eines Vorgangs zur Änderung von Objekten gemäß dem ersten Ausführungsbeispiel,
Fig. 9 ein Ablaufdiagramm eines Vorgangs zur Registrierung eines Objekts gemäß dem ersten Ausführungsbeispiel,
Fig. 10 ein Ablaufdiagramm eines Vorgangs zum Lesen eines Objekts gemäß dem ersten Ausführungsbeispiel,
Fig. 11 ein Ablaufdiagramm eines Vorgangs zur Speicherung eines Objekts gemäß dem ersten Ausführungsbeispiel,
Fig. 12 ein Ablaufdiagramm eines Vorgangs zur Bestätigung einer Anzeige gemäß dem ersten Ausführungsbeispiel,
Fig. 13 eine Darstellung der Anzeige mitten in der Bearbeitung gemäß dem ersten Ausführungsbeispiel, und
Fig. 14 eine Darstellung der Anzeige mitten in der Bearbeitung gemäß dem ersten Ausführungsbeispiel.
Fig. 1 zeigt ein Blockschaltbild des Aufbaus eines Geräts gemäß dem ersten Ausführungsbeispiel.
In Fig. 1 bezeichnet das Bezugszeichen 1-1 eine Eingabe- /Ausgabeeinheit zum Austauschen von Informationen mit einer externen Einrichtung, 1-2 eine Festplatte, die einen Speicherträger mit großer Kapazität darstellt, 1-3 einen Hauptspeicherträger (bestehend aus einem RAM und dergleichen), 1-4 eine CPU, die das gesamte Gerät steuert, 1-5 eine Bitmapanzeige (die nachstehend einfach als "Anzeige" bezeichnet wird) zur Anzeige eines Bildes, wobei ein Bild angezeigt wird, das in einem Bit-RAM-Bereich entwickelt wurde, der auf dem Hauptspeicherträger 1-3 reserviert ist, 1-6 eine Tastatur zur Eingabe verschiedener Arten von Zeichen und Befehlen, und 1-7 eine Zeigeeinrichtung (eine Maus bei diesen Ausführungsbeispielen) zur Bewegung eines bestimmten Cursors an eine willkürliche Position auf der Anzeige 1-5 und zum Abgeben verschiedener Arten von Befehlen.
Bei dem vorstehend beschriebenen Aufbau werden Daten eines rechten und linken Bildes eines Stereobildes, das beispielsweise durch die Aufnahme durch eine Stereokamera erhalten wird, durch eine vorbestimmte Einrichtung digitalisiert (umfasst die Stereokamera eine Digitalisiereinrichtung, ist sie direkt mit dem Gerät gemäß dem ersten Ausführungsbeispiel verbunden). Dann wird die Digitalisiereinrichtung mit der Eingabe/Ausgabeeinheit 1-1 verbunden, wodurch das digitalisierte rechte und linke Bild eines Stereobildes (die nachstehend einfach als das rechte und linke Bild bezeichnet werden) in das Gerät des ersten Ausführungsbeispiels eingegeben und auf der Festplatte 1-2 gespeichert werden (das gespeicherte rechte und linke Bild werden in Fig. 1 durch das Bezugszeichen 1-21 bezeichnet). Durch Bestimmung durch die Tastatur 1-6 oder die Zeigeeinrichtung 1-7 werden das bestimmte rechte und linke Bild von der Festplatte 1-2 in einen VRAM-Bereich auf dem Hauptspeicherträger geladen, und dann auf der Anzeige 1-5 angezeigt. Es ist anzumerken, dass ein Verfahren zur Eingabe der rechten und linken Bilder des Stereobildes in das Gerät nicht auf das vorstehend angeführte Verfahren beschränkt ist. Beispielsweise können das rechte und linke Bild von einem mit dem Gerät des ersten Ausführungsbeispiels verbundenen Diskettenlaufwerk oder über eine Kommunikationsleitung eingegeben werden. Die Festplatte 1-2 speichert das OS (Betriebssystem) und Programme, die den in den jeweiligen nachstehend beschriebenen Ablaufdiagrammen gezeigten Prozessen entsprechen, neben den rechten und linken Bilddaten. Diese Daten und Programme werden in den Hauptspeicherträger 1-3 korrekt geladen und durch die CPU 1-4 ausgeführt.
Fig. 3 zeigt ein auf der Anzeige 1-5 gemäß dem ersten Ausführungsbeispiel anzuzeigendes Beispiel. In Fig. 3 bezeichnet das Bezugszeichen 3-1 ein Operationsmenü, 3-2 und 3- 3 Fenster jeweils zur Anzeige eines rechten und linken Bildes eines Stereobildes und 3-4 ein Fenster zur Anzeige von Daten dreidimensionaler Form, die unterbrochen eingegeben wurden. Das Verfahren zur Eingabe der Daten wurde vorstehend beschrieben.
Fig. 4 zeigt ein Ablaufdiagramm der Verarbeitung gemäß dem ersten Ausführungsbeispiel und Fig. 2 zeigt Programmmodule zur Ausführung von Prozessen des Ablaufdiagramms in Fig. 4.
Die Operationssequenz von Fig. 4 wird unter Bezugnahme auf die Fig. 1 bis 3 beschrieben. Zu verwendende Programme werden von der Festplatte 1-2 in den Hauptspeicherträger 1-3 geladen.
Wird das System eingeschaltet, wird zuerst ein Anfangsmenü (nicht gezeigt) auf der Anzeige angezeigt. Wird "Auslesen eines rechten und linken Bildes eines Stereobildes" aus dem Menü durch die Tastatur 1-6 oder die Zeigeeinrichtung 1-7 bestimmt, wird eine Liste von Sätzen rechter und linker Bilder für Stereobilder angezeigt, die gegenwärtig auf der Festplatte 1-2 gespeichert sind. Dann wird ein Satz in der Liste ausgewählt. Die bestimmten rechten und linken Bilder (beispielsweise das rechte und linke Bild 1-21) werden in einen vorbestimmten Bereich auf dem Hauptspeicherträger 1-3 geladen (Schritt S402) und auf der Anzeige in der in Fig. 3 gezeigten Form angezeigt. Zu diesem Zeitpunkt wird ein Operationsmenü und dergleichen zusammen damit angezeigt. Demnach werden das linke und rechte Bild des Stereobildes jeweils im Fenster 3-2 und 3-3 auf der Anzeige 1-5 angezeigt. Es wird angenommen, dass ein in Fig. 3 gezeigtes Bild auf der Anzeige 1-5 angezeigt wird.
Dann wird der Prozess ausgesetzt, bis ein Benutzer einen Befehl unter Verwendung der Zeigeeinrichtung 1-7 eingibt (Schritt 5404).

< Prozess zur Bestimmung von Koordinaten (zum Hinzufügen von Punkten) durch die Zeigeeinrichtung>

Erfasst das Gerät in dem vorstehend beschriebenen Zustand des Wartens auf einen Befehl das Drücken einer Taste (Klick), die mit der Zeigeeinrichtung verknüpft ist, nachdem der Benutzer einen Cursor bewegt hat, der sich bzgl. der Bedienung der Zeigeeinrichtung 1-7 auf dem angezeigten rechten und linken Bild bewegt, geht der Prozess von Schritt S405 zu Schritt S421 über, in dem Koordinaten des durch die Zeigeeinrichtung 1-7 bestimmten Punktes erhalten werden.
In Schritt S421 und Schritt S422 wird der Prozess ausgesetzt, bis ein Punkt sowohl in dem rechten als auch dem linken Bild in dem rechten Fenster 3-3 und dem linken Fenster 3-2 bestimmt ist. Dann werden Positionen entsprechender Punkte in dem rechten und linken Bild eingegeben. Die bestimmten Punkte werden als Scheitelpunkte dreidimensionaler Formen betrachtet, nachdem sie aufeinanderfolgenden Vorgängen einer dreidimensionalen Koordinatenberechnung unterzogen wurden.
Es ist anzumerken, dass bei dem ersten Ausführungsbeispiel die entsprechenden Punkte in dem rechten und linken Bild manuell nach Augenschein bestimmt werden. Allerdings ist es möglich, ein Gerät derart auszubilden, dass bei der Bestimmung eines Punkts entweder in dem rechten oder linken Bild der entsprechende Punkt in dem anderen Bild automatisch durch Mustervergleich und dergleichen berechnet wird.
Sind die entsprechenden Punkte sowohl in dem rechten als auch dem linken Bild bestimmt, werden ihre Koordinatendaten auf dem Hauptspeicherträger 1-3 oder beispielsweise einer Festplatte 1- 2 gespeichert (Schritt S423). Die Koordinatendaten der bestimmten entsprechenden Punkte in dem rechten und linken Bild haben eine in Fig. 5 beschriebene Struktur. Das heißt, die Koordinatendaten enthalten Koordinaten des bestimmten Punktes in dem rechten Bild, Koordinaten des gleichen in dem linken Bild, dreidimensionale Koordinaten, die durch Durchführung von nachstehend beschriebenen Berechnungen auf der Grundlage der Koordinaten des rechten und linken Bilds erhalten werden, und eine Adresse (Zeiger) zur Bestimmung des nächsten Punktes, und diese Daten werden in einer Liste (die nachstehend als Punktliste bezeichnet wird) registriert. Wurde ein Paar neuer entsprechender Punkte bestimmt, werden die Koordinatendaten der Punkte sequentiell in der Punktliste hinzugefügt.
In Fig. 5 sind bzgl. eines i-ten hinzugefügten Punktes Koordinaten in dem linken Bild (Lxi, Lyi), Koordinaten in dem rechten Bild (Rxi, Ryi) und dreidimensionale Koordinaten, die durch die Durchführung von nachstehend beschriebenen Berechnungen auf der Grundlage der Koordinaten des rechten und linken Bildes erhalten werden, (Vxi, Vyi, Vzi) in der Punktliste registriert.
Die vorstehend angeführten dreidimensionalen Koordinatenberechnungen, die Erzeugung einer Ebene und die dreidimensionale Anzeige werden durch die Durchführung von Prozessen in den Schritten 5424 bis 5429 durchgeführt. Hier werden die Prozesse unter der Annahme beschrieben, dass der i- te entsprechende Punkt hinzugefügt wird. Es ist anzumerken, dass drei Punkte, die zuletzt als erster, zweiter und dritter (Pi, Pi-1, Pi-2) eingegeben wurden, für diese Prozesse verwendet werden. Die Prozesse werden nachstehend beschrieben.
Zuerst werden in Schritt S424 die dreidimensionalen Koordinaten (Vxi, Vyi, Vzi) unter Verwendung der Triangulationstheorie auf der Grundlage der Koordinaten in dem rechten und linken Bild (Lxi, Lyi) und (Rxi, Ryi) und von (nachstehend beschriebenen) Kameraparametern, die zuvor erhalten werden, berechnet und in der Punktliste als i-te Daten registriert (Schritt S425). Die Kameraparameter enthalten Bilderfassungsbedingungen, wenn Kameras das rechte und linke Bild eines Stereobildes erfassen, d.h. Informationen wie die Position, Richtung und Brennpunktweite der Kamera. Kameraparameter für das linke und rechte Bild (d.h. Kameraparameter für eine das rechte Bild erfassende Kamera und eine das linke Bild erfassende Kamera) werden separat eingestellt. Die Kameraparameter werden dem System unter Verwendung eines geeigneten Verfahrens zuvor zugeführt.
Dann wird eine Ebene auf der Grundlage der Punktliste erzeugt, deren Koordinaten in Fig. 5 gezeigt sind. Gemäß dem ersten Ausführungsbeispiel werden Dreiecksflächen beruhend auf bestimmten Punkten entweder eines rechten oder eines linken Bildes erzeugt und als Ebenen behandelt. Das heißt, drei Punkte werden aus den Punkten (Rx1, Ry1), (Rx2, Ry2)... (Rxn, Ryn) in dem rechten Bild (zweidimensionale Ebene) ausgewählt, und Dreiecksflächen werden nacheinander erzeugt. Sind die ersten drei Punkte bestimmt, wird ein einzelnes Dreieck erzeugt. Hinsichtlich von nach dem dritten Punkt bestimmten Punkten wird immer dann, wenn ein neuer Punkt bestimmt wird, dieser Punkt und zwei andere Punkte aus den zuvor bestimmten Punkten ausgewählt und ein neues Dreieck wird definiert. Es ist anzumerken, dass die zwei vor dem neu bestimmten Punkt bestimmten Punkte derart ausgewählt sind, dass das neue zu erzeugende Dreieck die früher erzeugten anderen Dreiecke nicht überlappt. Wird ein Punkt hinzugefügt, werden die vorhandenen Dreiecke immer bei Bedarf neu bewertet und neu erzeugt, so dass sich die Dreiecke nicht teilweise oder ganz überlappen.
Fig. 13 zeigt ein Beispiel eines Bildes auf der Anzeige, wenn Dreiecksflächen auf den Bildern dargestellt werden. In Fig. 13 zeigt ein rechtes Fenster 13-2 die Dreiecksflächen auf dem rechten Bild. Auf der Grundlage dieser Figur wird ein Prozess zur Anpassung von Dreiecksflächen an jede Oberfläche der Objekte in einem linken Fenster 13-1 und in einem dreidimensionalen Raum-Fenster 13-4 nachstehend beschrieben.
Beispielsweise wird zuerst ein Dreieck betrachtet, das durch Verbinden von Punkten in dem rechten Bild (Rx1, Ry1), (Rx2, Ry2) und (Rx3, Ry3) erzeugt wurde, und Koordinaten von Punkten in dem linken Bild und die dreidimensionalen Koordinaten von den Punktdaten P1, P2 und P3, die den Scheitelpunkten des Dreiecks entsprechen, werden in der Punktliste abgerufen. Dann werden Dreiecke für das linke Bild und in dem dreidimensionalen Raum erhalten. Gleichermaßen werden Dreiecke in dem dreidimensionalen Raum-Fenster und im dreidimensionalen Raum erhalten. Es ist anzumerken, dass es in dem dreidimensionalen Raum-Fenster erforderlich ist, die Position eines Blickpunktes eines Objekts und dergleichen zuvor einzustellen.
Als Verfahren zur Erzeugung eines Dreiecks gibt es beispielsweise ein Verfahren, das vorbestimmte Regeln befolgt. Bezüglich der Regeln gibt es ein Verfahren, bei dem ein Triangulationsnetz automatisch auf der Grundlage des Delaunay- Prinzips erzeugt wird. Es ist anzumerken, dass gemäß der Triangulationsnetzerzeugung beruhend auf dem Delaunay-Prinzip ein Triangulationsnetz, das eine Gruppe von Punkten verbindet, derart erzeugt wird, dass ein Scheitelpunkt mit dem kleinsten Winkel aller Scheitelpunkte des erzeugten Dreiecks den maximalen Winkel aufweist (d.h. das erzeugte Dreieck ist beinahe ein rechtwinkliges Dreieck). Dieses Verfahren ist zur automatischen Erzeugung eines Dreiecknetzes sehr effektiv. Da aber alle Prozesse zur Erzeugung des Dreiecknetzes automatisch durchgeführt werden, ist es nicht möglich, explizit eine zwei Punkte verbindende Strecke zu belassen. Die Anmelderin der vorliegenden Erfindung hat ein Verfahren zur Lösung dieses Problems im US-Patent 5 748 865 vorgeschlagen.
Daten des wie vorstehend angeführt erzeugten Dreiecks werden in einer Ebenenliste mit der in Fig. 6 gezeigten Struktur registriert (Schritt S427). Jeder Eintrag der Ebenenliste besteht aus Zeigern auf die drei Einträge in der Punktliste, die jeweils Koordinaten von jeweils drei Scheitelpunkten des Dreiecks halten, und einem Zeiger auf das nächste Dreieck. Demnach ist es möglich, ein aus zweidimensionalen und dreidimensionalen Dreiecksflächen bestehendes Objekt durch Verfolgen der Ebenenliste zu erzeugen.
Zweidimensionale Dreiecksflächen werden überlagert in dem rechten und linken Bild in Schritt S428 angezeigt, und als Linien wie in den Fenstern 13-1 und 13-2 in Fig. 13 angezeigt.
Dreidimensionale Dreiecksflächen werden dreidimensional wie im Fenster 13-4 in Fig. 13 angezeigt. Eine Wire-Frame-Anzeige, eine Schattierungsanzeige und andere Verfahren sind als dreidimensionales Anzeigeverfahren bekannt, und jedes dieser dreidimensionalen Anzeigeverfahren kann hier verwendet werden.
Durch Wiederholen der vorstehend angeführten Prozesse (Schritte S404, S405, und S421 bis S429) wird eine dreidimensionale Form erhalten.
Es ist anzumerken, dass die durch die Durchführung der vorstehend beschriebenen Prozesse erhaltene dreidimensionale Form einen einzelnen Körper darstellt, d.h. alle dreidimensionalen Objekte in einem Bild werden als verknüpftes einzelnes Objekt betrachtet. Ist das Stereobild allerdings aus einer Vielzahl von Objekten zusammengefügt, ist die Durchführung der folgenden Prozesse erforderlich, so dass jedes Objekt als unabhängige dreidimensionale Form behandelt wird.

< Menüauswahl>

Zur Lösung des vorstehend angeführten Problems sollte jedes dreidimensionale Objekt separiert werden, wenn Daten eines Bildes des dreidimensionalen Objekts eingegeben werden.
Dementsprechend wird bei diesem Ausführungsbeispiel ein auf der Anzeige 4-5 angezeigtes Operationsmenü 3-1 (siehe Fig. 3) während der Eingabe der Daten verwendet.
Es gibt mehrere Bilder zur Verarbeitung in dem Operationsmenü 3-1, und eines der Bilder wird durch Bewegen des Cursors, der sich bezüglich der Zeigeeinrichtung 1-7 bewegt, in eine Box und Darauf-Klicken bestimmt.
Zu diesem Zeitpunkt geht der Prozess von Schritt S406 zu Schritt S408 in Fig. 4 über und es werden jedem Feld in dem Menü entsprechende Prozesse in den folgenden Schritten durchgeführt.
Zuerst wird ein Fall beschrieben, in dem "Objekt Registrieren" in dem Operationsmenü 3-1 ausgewählt wird. In diesem Fall geht der Prozess von Schritt S410 zu Schritt S411 über. Einzelheiten des in Schritt S411 durchgeführten Prozesses sind in Fig. 9 als Beispiel gezeigt.
Bei diesem Prozess werden Daten der erzeugten Dreiecksflächen und der dreidimensionalen Formen (die Punktliste und die Ebenenliste) mit Namen registriert. In Schritt S802 in Fig. 9 wird ein Objekt durch die Eingabe von Daten von der Tastatur 1- 6 benannt. In Schritt S803 werden die Objektnamen sowie die Zeiger, die den Anfang der Einträge, die bearbeitet werden, (die nachstehend als Top-Adress-Zeiger bezeichnet werden) in der Punktliste und der Ebenenliste in einer Tabelle wie in Fig. 7 gezeigt gespeichert. Diese Tabelle kann beispielsweise auf der Festplatte 1-21 gespeichert werden. Die Tabelle wird bzgl. einer Datei des rechten und linken Bildes eines Stereobildes gespeichert, das gegenwärtig angezeigt wird.
Wird "Objekte Verändern" ausgewählt, wird ein Prozess in Schritt S409 durchgeführt. Einzelheiten dieses Prozesses sind in Fig. 8 gezeigt.
Zuerst wird ein Objektname bestimmt (Schritt S702), dann werden die Top-Adress-Zeiger für die Punktliste und die Ebenenliste, die dem bestimmten Objektnamen entsprechen, aus der in Fig. 7 gezeigten Tabelle ausgelesen, so dass neue Daten entsprechender Punkte und Dreiecke zu den Punkt- und Ebenenlisten hinzugefügt werden können (Schritt S703 und Schritt S704). Hinsichtlich der Objektbestimmung wird eine Liste von Objekten wie in Fig. 7 gezeigt in einem anderen Fenster angezeigt, und ein Benutzer bestimmt eines der Objekte in der Liste durch die Verwendung der Zeigeeinrichtung 1-7. Zu diesem Zeitpunkt werden, wenn das gegenwärtig verarbeitete Objekt nicht registriert wurde, d.h. wenn die Schritte von S801 bis S804 für das Objekt nicht verarbeitet wurden, Daten des Objekts gelöscht. Sind Daten des Objekts zu speichern, werden ferner die Daten des Objekts durch Einstellung der Top-Adress-Zeiger für die Punkt- und Ebenenlisten und Hinzufügen eines Eintrags zu der Tabelle in Fig. 7 gespeichert. Wurden die Daten des Objekts registriert, wird der Prozess zur Änderung der Objekte durch einfaches Ändern von Zeigern erreicht. Nach der Änderung der Zeiger wird das gegenwärtig bearbeitete Objekt in einem rechten und linken Bild angezeigt, so dass ein Benutzer die Bilder bestätigen kann (Schritt S705). Des weiteren wird das Objekt auch in dem dreidimensionalen Anzeigefenster angezeigt (Schritt S706).
Wird dagegen "Objekt Sichern" im Operationsmenü 3-1 ausgewählt, d.h. der Prozess schreitet von Schritt S414 zu Schritt S415 vor, werden die in dem Ablaufdiagramm in Fig. 11 gezeigten Prozesse durchgeführt.
Bei diesen Prozessen werden Daten der Punktliste und der Ebenenliste in Daten eines geeigneten Formats geändert, und auf der Festplatte 1-2 in einer Datei gespeichert.
Zuerst werden ein Objektname und ein Dateiname unter Verwendung der Tastatur 1-6 bestimmt (Schritt S1002 und Schritt S1003) und dann wird ein Eintrag in dem Objektnamen entsprechenden Listendaten aus der in Fig. 7 gezeigten Tabelle gelesen. Danach werden die durch den Eintrag bestimmten Listendaten in einem geeigneten Format gespeichert (Schritt S1004 und Schritt S1006).
Wird "Objekt Lesen" ausgewählt bzw. schreitet der Prozess von Schritt S412 zu Schritt S413 fort, werden ferner die in einem Ablaufdiagramm in Fig. 10 gezeigten Prozesse durchgeführt. Bei diesen Prozessen werden Daten in der in einer Datei gespeicherten Punktliste und Ebenenliste gelesen.
Zuerst wird ein Dateiname bestimmt (Schritt S902) und eine Datei mit dem bestimmten Dateinamen wird gelesen (Schritt 5903). Dann wird ein Eintrag zum Lesen von Daten der Punktliste und der Ebenenliste eines Objekts zu Einträgen unter Bearbeitung hinzugefügt (Schritt S904). Danach wird das Objekt im rechten und linken Bild angezeigt, um die Bilder zu bestätigen (Schritt S905), und es wird auch im dreidimensionalen Anzeigefenster angezeigt (Schritt S906). Neue entsprechende Punkte können zu der in diesem Prozess gelesenen Punktliste hinzugefügt werden.
Wird "Anzeige Bestätigen" ausgewählt bzw. schreitet der Prozess von Schritt S416 zu Schritt S417 fort, werden die im Ablaufdiagramm in Fig. 12 gezeigten Prozesse durchgeführt. Bei diesen Prozessen werden Bilder zur Bestätigung der registrierten Objekte angezeigt. Eine Vielzahl von Objekten kann gleichzeitig zur Bestätigung angezeigt werden.
Dann wird überprüft, ob die Anzeige zur Bestätigung abgeschlossen ist oder nicht. Diese Bestimmung wird durch die Überprüfung durchgeführt, ob ein Benutzer die Beendigung des Prozesses bestimmt hat oder nicht.
Wurde bestimmt, dass der Prozess fortzusetzen ist (oder wurde der Befehl zum Beenden des Prozesses nicht gegeben), wird überprüft, ob ein zusätzlich anzuzeigendes Objekt vorhanden ist oder nicht (Schritt S1103). Ist eines vorhanden, wird ein Objektname des zusätzlichen Objekts bestimmt (Schritt S1104) und dann die Top-Adress-Zeiger für die Punktliste und die Ebenenliste abgerufen und gesetzt (Schritt S1105). Danach wird das Objekt zu dem rechten und linken Bild (Schritt S1106) und auch zu dem dreidimensionalen Anzeigefenster hinzugefügt (S1107).
Ist ein Befehl zum Löschen eines angezeigten Objekts (oder zum Nichthinzufügen zur Anzeige) vorhanden, geht der Prozess von Schritt S1103 zu Schritt S1108 über. Bei diesem Vorgang wird der Name eines zu löschenden Objekts bestimmt (Schritt S1108) und das Objekt wird aus dem rechten und linken Bild gelöscht, die überlagert angezeigt werden (Schritt S1109). Des weiteren wird es auch aus dem dreidimensionalen Anzeigefenster gelöscht (Schritt S1110). Dadurch ist es möglich, Kombinationen willkürlicher Objekte unter einer Vielzahl von Objekten frei anzuzeigen. Beispielsweise ist es wie in Fig. 14 gezeigt möglich, zwei ausgewählte Objekte in dem dreidimensionalen Anzeigefenster anzuzeigen.
Wird das Ende des Prozesses bestimmt, wird der Prozess zur Änderung der Objekte in den Schritten S701 bis s707 durchgeführt.
Da Werte dreidimensionaler Koordinaten einer Vielzahl von in der Ebenenliste registrierten Objekten eine relative Positionsbeziehung zwischen den Objekten beibehalten können, wenn die Vielzahl der Objekte gleichzeitig angezeigt wird, wird die Positionsbeziehung im dreidimensionalen Raum aufrechterhalten. Dieses Merkmal wirkt sich auf die Texturabbildungsanzeige im dreidimensionalen Anzeigefenster positiv aus. Das heißt, unterschiedliche Texturinformationen für jedes Objekt sind nicht erforderlich, und die gleichen Texturinformationen können für alle Objekte verwendet werden.
Gemäß dem vorstehend beschriebenen ersten Ausführungsbeispiel werden die folgenden Vorteile erhalten.
(0) Da Texturinformationen als Bild zur gleichen Zeit eingegeben werden, wenn das rechte und linke Bild eingegeben werden, ist es möglich, eine Texturabbildungsanzeige in drei Dimensionen selbst dann durchzuführen, wenn die Texturinformationen separat eingegeben werden. Es ist insbesondere möglich, eine dreidimensionale Form eines Objekts aus dem rechten und dem linken Bild eines Stereobildes zu erhalten, indem eine Einrichtung zur Bestimmung entsprechender Punkte im rechten und im linken Bild des Stereobildes bereitgestellt wird.
(1) Es ist möglich, dreidimensionale Formen einer Vielzahl von Objekten separat zu behandeln, indem eine Einrichtung zur Registrierung und Verwaltung der Vielzahl dreidimensionaler Formen bereitgestellt wird, die in einer Einrichtung zum Auffinden einer dreidimensionalen Form auf unterbrochene Art und Weise aus dem rechten und linken Bild eines Stereobildes enthalten ist, wenn eine Vielzahl von Objekten in den Bildern enthalten sind. Demnach ist es möglich, dreidimensionale Formen einer Vielzahl von Objekten separat anzuzeigen, diese in einer Datei zu speichern und aus einer Datei zu lesen.
(2) Des weiteren ist es möglich, eine dreidimensionale Beziehung zwischen einer Vielzahl von Objekten gleichzeitig anzuzeigen und zu bestätigen, indem eine Einrichtung zur Änderung von Daten einer Vielzahl gespeicherter dreidimensionaler Formen und zur Anzeige dieser bereitgestellt wird.
(3) Hinsichtlich eines Objekts mit einer konkaven Fläche, die nicht bearbeitet werden kann, wenn ein Ebenenerzeugungsverfahren unter Verwendung des Delaunay- Triangulationsnetzes angewendet wird, kann das Objekt mit der konkaven Fläche bearbeitet werden, indem das Objekt als Gruppe einer Vielzahl separater konvexer Objekte betrachtet wird.
Da die Texturinformationen als Bild eingegeben werden, ist es daher möglich, eine Texturabbildungsanzeige in drei Dimensionen selbst dann durchzuführen, wenn die Texturinformationen separat eingegeben werden. Wird insbesondere nach der Form eines Objekts als Gruppe einer Vielzahl von Objekten gesucht, sind lediglich die einzelnen Texturinformationen erforderlich, bzw. jedem der Vielzahl der Objekte entsprechende Texturinformationen sind nicht erforderlich.
Es ist anzumerken, dass bei dem vorstehend beschriebenen ersten Ausführungsbeispiel als Verfahren zur Erzeugung von Dreiecksflächen die Verwendung von Dreiecken zur Erzeugung einer Ebene gegenwärtig am effektivsten zur Anzeige und Durchführung von Berechnungen auf schnelle Art und Weise ist.
Allerdings gibt es Verfahren zur Erzeugung einer Ebene ohne die Verwendung von Dreiecken, und die zu verwendende Form ist nicht auf Dreiecke beschränkt, sondern kann ein Rechteck oder dergleichen sein.
Des weiteren wird bei dem ersten Ausführungsbeispiel das Dreiecksnetz auf der Grundlage von Punkten in der zweidimensionalen Ebene eines Bildes erzeugt. Das Dreiecksnetz kann allerdings auch im dreidimensionalen Raum unter Verwendung dreidimensionaler Koordinaten erzeugt werden, die im Schritt S424 erhalten werden. Hinsichtlich eines Verfahrens zur Erzeugung des Dreiecksnetzes unter Verwendung von Punkten dreidimensionaler Koordinaten gibt es ein Verfahren zur Erweiterung des Delaunay-Prinzips bei Punkte mit der geringsten Entfernung zueinander im zwei- oder dreidimensionalen Raum auf den dreidimensionalen Raum, oder das Verfahren kann durch Befolgen anderer Regeln durchgeführt werden.
Ferner werden nicht nur dreidimensionale Formen eingegeben, sondern auch gleichzeitig Texturinformationen. Daher ist es von Vorteil, die dreidimensionale Texturabbildungsanzeige durchzuführen. Die dreidimensionale Anzeigeeinrichtung gemäß dem ersten Ausführungsbeispiel führt eine Texturabbildung durch Verarbeiten entweder des rechten oder des linken Bildes als Textur durch.
Ausführungsbeispiele der Erfindung können ein System aus einer Vielzahl von Einrichtungen oder ein Gerät aus einer einzelnen Einrichtung umfassen. Des weiteren können Ausführungsbeispiele durch die Zufuhr eines Programms zu einem System oder Gerät erhalten werden.
Gemäß dem vorstehend beschriebenen Ausführungsbeispiel kann die Betriebsumgebung während der Extraktion dreidimensionaler Daten aus dem rechten und linken Bild verbessert werden.
Die Erfindung ist nicht auf das vorstehend beschriebene Ausführungsbeispiel beschränkt, und es können verschiedene Änderungen und Modifikationen innerhalb des Schutzbereichs der Patentansprüche gemacht werden.

Claims

1. Bildverarbeitungsgerät zur Verarbeitung von Bilddaten, die ein rechtes und linkes Bild eines Stereobildpaars definieren, mit

einer Anzeigesteuereinrichtung (1-2; 1-3; 1-4) zur Erzeugung von Bilddaten zur Anzeige auf einer Anzeigeeinrichtung, bei der das linke Bild des Stereobildpaares in einer ersten Fläche (3-2) der Bildanzeige und das rechte Bild des Stereobildpaares in einer zweiten Fläche (3-3) der Bildanzeige erscheinen wird, und

einer Einrichtung (1-1) zum Empfangen von Eingangssignalen, die eine Vielzahl von Paaren entsprechender Punkte in dem rechten und linken Bild definieren, die in der ersten und zweiten Fläche der Bildanzeige angezeigt werden, wobei zumindest einer der Punkte in jedem Paar einen Punkt umfasst, der von einem Benutzer auf der Bildanzeige unter Verwendung einer Eingabeeinrichtung bestimmt ist,

gekennzeichnet durch

eine Datenerzeugungseinrichtung (1-2; 1-3; 1-4) zur Verarbeitung entsprechender Punkte zur Erzeugung von Daten, die dreidimensionale planare Oberflächen definieren, die Oberflächen eines Objekts in den Stereobildern entsprechen, wobei die Datenerzeugungseinrichtung zur Erzeugung der ersten planaren Oberfläche eingerichtet ist, wenn Signale empfangen wurden, die eine vorbestimmte Anzahl von Paaren entsprechende Punkte definieren, und zur Erzeugung jeder folgenden planaren Oberfläche als Antwort auf den Empfang von Signalen eingerichtet ist, die ein weiteres Paar entsprechender Punkte definieren,

wobei die Anzeigesteuereinrichtung (1-2; 1-3; 1-4) ferner eingerichtet ist

zur Erzeugung von Bilddaten zur Anzeige auf der Anzeigeeinrichtung, bei der ein Bild der durch die Datenerzeugungseinrichtung erzeugten dreidimensionalen planaren Oberflächen in einer dritten Fläche (3-4) der Bildanzeige erscheinen wird, und

zur Aktualisierung der Bilddaten der dreidimensionalen planaren Oberflächen für die dritte Fläche (3-4) immer dann, wenn die Datenerzeugungseinrichtung eine neue dreidimensionale planare Oberfläche beruhen auf entsprechenden in den Eingangssignalen definierten Punkten erzeugt.

2. Gerät nach Anspruch 1, wobei die Größe der dritten Fläche (3-4) geringer als die der ersten Fläche (3-2) und die der zweiten Fläche (3-3) ist.

3. Gerät nach Anspruch 1 oder 2, wobei die Anzeigesteuereinrichtung (1-2; 1-3, 1-4) ferner eingerichtet ist

zur Erzeugung von Bilddaten zur Anzeige in der ersten und zweiten Fläche der Bildanzeige derart, dass die planaren Oberflächen in der ersten und der zweiten Fläche überlagert auf dem linken und rechten Stereobild angezeigt wird, und

zur Aktualisierung der Bilddaten der planaren Oberflächen für die erste und die zweite Fläche immer dann, wenn die Datenerzeugungseinrichtung eine neue planare Oberfläche erzeugt.

4. Gerät nach einem der vorhergehenden Ansprüche, wobei die Datenerzeugungseinrichtung (1-2; 1-3; 1-4)

eine Berechnungseinrichtung zur Berechnung dreidimensionaler Koordinatendaten beruhend auf den in den Eingangsignalen definierten entsprechenden Punkten und

eine Polygonausbildungseinrichtung zur Erzeugung von die dreidimensionalen planaren Oberflächen als Polygone definierenden Daten auf der Grundlage einer Vielzahl von Sätzen der durch die Berechungseinrichtung berechneten dreidimensionalen Koordinatendaten umfasst.

5. Gerät nach Anspruch 4, wobei die Polygone Dreiecke umfassen.

6. Gerät nach einem der vorhergehenden Ansprüche, das ferner zum Empfangen von separate Objekte in den Stereobildern definierenden Signalen und zur Speicherung von die separaten Objekte definierenden Daten eingerichtet ist.

7. Gerät nach Anspruch 6, ferner mit

einer Speichereinrichtung zur Speicherung dreidimensionaler Koordinatendaten jedes Objekts in einer Datei und

einer Leseeinrichtung zum Lesen der gespeicherten dreidimensionalen Koordinatendaten jedes Objekts.

8. Gerät nach Anspruch 6 oder 7, wobei das Gerät zum Ermöglichen einer separaten Auswahl der Objekte für die Anzeige in der ersten und der zweiten Fläche der Bildanzeige eingerichtet ist.

9. Gerät nach einem der Ansprüche 6 bis 8, wobei das Gerät zum Ermöglichen der separaten Auswahl der Objekte für die Eingabe entsprechende Punkte in dem rechten und dem linken Bild eingerichtet ist.

10. Verfahren zur Verarbeitung von Bilddaten, die ein rechtes und ein linkes Bild eines Stereobildpaares definieren, mit den Schritten

Erzeugen von Bilddaten zur Anzeige auf einer Anzeigeeinrichtung, bei der das linke Bild des Stereobildpaars in einer ersten Fläche (3-2) der Bildanzeige und das rechte Bild des Stereobildpaars in einer zweiten Fläche (3-3) der Bildanzeige erscheinen wird, und

Empfangen von Eingangssignalen, die eine Vielzahl von Paaren entsprechender Punkte in dem rechten und dem linken Bild definieren, die in der ersten und der zweiten Fläche der Bildanzeige angezeigt werden, wobei zumindest einer der Punkte in jedem Paar einen Punkt umfasst, der von einem Benutzer auf der Bildanzeige unter Verwendung einer Eingabeeinrichtung bestimmt ist,

gekennzeichnet durch die Schritte

Verarbeiten entsprechender Punkte zur Erzeugung von Daten, die dreidimensionale planare Oberflächen definieren, die Oberflächen eines Objekts in den Stereobildern entsprechen, wobei die erste planare Oberfläche erzeugt wird, wenn eine vorbestimmte Anzahl von Paaren entsprechender Punkte definierende Signale empfangen wurden, und jede folgende planare Oberfläche als Antwort auf den Empfang von Signalen erzeugt wird, die ein weiteres Paar entsprechender Punkte definieren,

Erzeugen von Bilddaten zur Anzeige auf der Anzeigeeinrichtung, bei der ein Bild der in dem Datenerzeugungsschritt erzeugten dreidimensionalen planaren Oberflächen in einer dritten Fläche (3-4) der Bildanzeige erscheinen wird, und

Aktualisieren der Bilddaten der dreidimensionalen planaren Oberflächen für die dritte Fläche (3-4) immer dann, wenn eine neue dreidimensionale planare Oberfläche beruhend auf entsprechenden in den Eingangssignalen definierten Punkten in dem Datenerzeugungsschritt erzeugt wird.

11. Verfahren nach Anspruch 10, wobei die Größe der dritten Fläche (3-4) geringer als die der ersten Fläche (3-2) und die der zweiten Fläche (3-3) ist.

12. Verfahren nach Anspruch 10 oder 11, wobei in dem Anzeigesteuerschritt

Bilddaten zur Anzeige in der ersten und der zweiten Fläche der Bildanzeige derart erzeugt werden, dass die planaren Oberflächen in der ersten und der zweiten Fläche überlagert auf dem linken und dem rechten Stereobild angezeigt werden, und

die Bilddaten der planaren Oberflächen für die erste und die zweite Fläche immer dann aktualisiert werden, wenn eine neue planare Oberfläche in dem Datenerzeugungsschritt erzeugt wird.

13. Verfahren nach einem der Ansprüche 10 bis 12, wobei der Datenerzeugungsschritt

die Berechung dreidimensionaler Koordinatendaten beruhend auf den in den Eingangssignalen definierten entsprechenden Punkten und

die Erzeugung von die dreidimensionalen planaren Oberflächen als Polygone definierenden Daten auf der Grundlage einer Vielzahl von Sätzen der in dem Berechnungsschritt berechneten dreidimensionalen Koordinatendaten umfasst.

14. Verfahren nach Anspruch 13, wobei die Polygone Dreiecke umfassen.

15. Verfahren nach einem der Ansprüche 10 bis 14, wobei separate Objekte in den Stereobildern definierende · Signale empfangen werden und die separaten Objekte definierende Daten gespeichert werden.

16. Verfahren nach Anspruch 15, ferner mit den Schritten

Speichern dreidimensionaler Koordinatendaten jedes Objekts in einer Datei und

Lesen der gespeicherten dreidimensionalen Koordinatendaten jedes Objekts.

17. Verfahren nach Anspruch 15 oder 16, wobei die Objekte' zur Anzeige in der ersten und zweiten Fläche der Bildanzeige separat ausgewählt werden.

18. Verfahren nach einem der Ansprüche 15 bis 17, wobei die Objekte zur Eingabe entsprechender Punkte in dem rechten und linken Bild separat ausgewählt werden.

19. Computerprogramm mit Befehlen, um ein programmierbares Verarbeitungsgerät zur Durchführung eines Verfahrens nach einem der Ansprüche 10 bis 18 betreibbar zu machen.

20. Datenspeichereinrichtung, die ein Computerprogramm nach Anspruch 19 speichert.