DE69430153T2

DE69430153T2 - Verfahren und Vorrichtung zur dreidimensionalen Bilderzeugung von Objekten

Info

Publication number: DE69430153T2
Application number: DE69430153T
Authority: DE
Inventors: Takeaki Mori; Satoshi Suzuki; Takayuki Yasuno
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1993-06-21
Filing date: 1994-06-20
Publication date: 2002-09-05
Anticipated expiration: 2014-06-21
Also published as: EP0631250B1; EP0631250A2; EP0631250A3; US5475422A; DE69430153D1

Description

HINTERGRUND DER ERFINDUNG

Die vorliegende Erfindung betrifft Messungen der Position, Form und Bewegung eines sich bewegenden dreidimensionalen Objekts, und insbesondere ein Verfahren und eine Vorrichtung zur Rekonstruktion oder Wiederherstellung dreidimensionaler Information, die in den Bereichen der dreidimensionalen Informationswiederherstellung, -erkennung und -beschreibung (CG) sich bewegender Objekte verwendet werden können.
Herkömmliche dreidimensionale Informationsrekonstruktionstechniken können in drei Kategorien klassifiziert werden. Eine erste Technik ist die Stereoskopie. Diese Technik stellt eine Korrespondenz von Punkten oder Linien zwischen einem rechten und einem linken Bild, die von zwei Kameras aufgenommen wurden, her und schätzt aus den Positionen der Kameras und Paaren entsprechender Punkte oder Linien auf dem rechten und dem linken Bild die Positionen von Punkten und Linien in einem Szenenraum nach Maßgabe der Paare entsprechender Punkte oder Linien. Eine zweite Technik ist ein dreidimensionales Informationswiederherstellungsverfahren unter Verwendung einer sich bewegenden Kamera. Dies ist ein Verfahren, das individuelle Merkmalspunkte auf einer Anzahl von durch eine sich bewegende Kamera aufgenommenen Bildern verfolgt und die Positionen von Punkten in einem Szenenraum nach Maßgabe der Merkmalspunkte schätzt. Eine dritte Technik ist ein Rückprojektionsverfahren, das eine dreidimensionale Struktur eines Objekts in einem Szenenraum durch Rückprojektion von Merkmalspunkten in Bildern auf den Szenenraum wiederherstellt oder rekonstruiert.
Bei der ersten Technik (vergleiche beispielsweise Kanade T., Okutomi T. und Nakahara M., "A multiple baseline stereo method", Proc. Image understanding Workshop, Seiten 409 bis 426, 1992 oder das US-Patent 4,654,872) besteht die Tendenz, daß viele Punkte auf der Oberfläche des Objekts aufgrund unebener Objektoberfläche gegenüber der Sichtlinie einer der Kameras versperrt bleiben, und daher können exakte Positionen der entsprechenden Merkmalspunkte zwischen dem rechten und dem linken Bild nicht gewonnen werden, was es schwer macht, sehr genaue dreidimensionale Information zu gewinnen. Die zweite Technik (vergleiche beispielsweise Bolles R.C., Baker H.H. und Marimont D.H.: "Epipolar-plane image analysis: an approach to determining structure from motion", IJCV, Vol. 1, Nr. 1, Seiten 7 bis 55, 1987) kann bei einem sich bewegenden Objekt nicht angewendet werden, weil das Objekt während des Bildaufnahmevorgangs durch eine sich bewegende Kamera stillstehen muß. In jüngerer Zeit wurde eine Technik vorgeschlagen, die eine gleichzeitige Extraktion der dreidimensionalen Form und der Bewegung eines Objekts aus vielen von einer einzigen Kamera aufgenommenen Bildern ermöglicht (vergleiche Tomasi C. und Tanade T.: "Shape and motion from image streams under orthography: a factorization method", IJCV, Vol. 9, Nr. 2, Seiten 137 bis 154, 1992. Diese Technik stellt dreidimensionale Information im wesentlichen durch Verfolgen von Merkmalspunkten zwischen den Bildern wieder her; daher kann dieses Verfahren nicht exakte dreidimensionale Information gewinnen, weil die Oberfläche des Objekts teilweise versperrt gegenüber der Sichtlinie der Kamera sein kann, während sich die Kamera oder das Objekt bewegt. Der Grund hierfür besteht darin, daß ein angegebener Merkmalspunkt auf den Bildern mehrmals aus dem Gesichtsfeld und wieder in dieses zurückkommt und die Ortskurve der Merkmalspunkte auf den Bildern häufig unterbrochen wird, was die Schwierigkeit der Verfolgung des Merkmalspunkts nach sich zieht. Somit ist diese Technik nicht zur Verwendung bei einem sich bewegenden Objekt geeignet. Eine dritte Technik ist ein Silhouettenprojektionsverfahren (vergleiche beispielsweise Ahuja N. und Veenstra J.: "Generation octree from object silhouettes in orthographic views," IEEE Trans. PAMI, Vol. 11, Nr. 2, Seiten 137 bis 149, 1989). Bei diesem Verfahren ist es jedoch sehr schwierig, exakte dreidimensionale Information zu erlangen, weil die Erzeugung von Silhouettenbildern extrem schwierig und instabil ist. Ein anderes Beispiel der dritten Technik ist ein Verfahren, das Ränder eines dreidimensionalen Objekts durch Extraktion von Rändern auf Bildern und durch Abgabe einer Abstimmung an den Szenenraum durch Verwendung der extrahierten Ränder wiederherstellt oder rekonstruiert (vergleiche beispielsweise Hamano T., Yasuno T. und Ishü K.: "Direct estimation of structure from non-linear motion by voting algorithm without tracking and matching", Proc. of ICPR, Vol. 1, Seiten 505 bis 508, 1082 und S. Kawato: "3D Shape Recovering by Octree Voting Technique", PROCEEDINGS of SPLE-The Internation Society for Optical Engineering, 15.-16. Nov. 1992). Bei einem derartigen Verfahren interferieren jedoch, da eine Mehrzahl von Merkmalspunkten gleichzeitig extrahiert wird, Prozesse für die jeweiligen Merkmalspunkte miteinander, was die Möglichkeit nach sich zieht, daß ein falscher Merkmalspunkt extrahiert wird. Es wird eine große Anzahl an Bildern benötigt, um dieses Problem zu lösen. Für ein sich bewegendes Objekt wird jedoch viel Zeit verbraucht, um viele Bilder durch eine Kamera aufzunehmen, und ein System für die gleichzeitige Bildaufnahme unter Verwendung vieler Kamera ist sehr teuer.
Das Dokument YOSHIFUMI KITAMURA ET AL., Trinocular Vision Using edge continuity and local features, SYSTEMS & COMPUTERS IN JAPAN, Vol. 19, Nr. 12, Dezember 1988, NEW YORK, US, offenbart die folgenden Schritte zum Ermitteln der Position eines ausgewählten von Merkmalspunkten eines Objekts: 1) eine erste Epipolarlinie der Basisrückprojektionslinie von der Mitte der ersten Kamera zu einem ausgewählten Merkmalspunkt auf dem Objekt wird auf dem durch die zweite Kamera hergestellten zweiten Bild gebildet; 2) eine dritte Epipolarlinie der Basisrückprojektionslinie von der Mitte der ersten Kamera zum ausgewählten Merkmalspunkt wird auf dem von der dritten Kamera hergestellten dritten Bild gebildet; 3) zweite Epipolarlinien der Referenzrückprojektionslinien von der Mitte der zweiten Kamera durch die jeweiligen Merkmalspunkte auf der Epipolarlinie werden auf dem durch die dritte Kamera hergestellten dritten Bild gebildet; 4) unter den Kreuzungen zwischen den zweiten Epipolarlinien und der dritten Epipolarlinie wird diejenige, die mit einem der Merkmalspunkte zusammenfällt, als der ausgewählte Merkmalspunkt festgelegt. Wenn unter jenen Kreuzungen zwischen der dritten Epipolarlinie und den zweiten Epipolarlinien zwei oder mehr Kreuzungen sind, die mit Merkmalspunkten zusammenfallen, wäre es nicht möglich festzustellen, welche von ihnen dem ausgewählten Merkmalspunkt entspricht. In diesem Fall ist es erforderlich, eine weitere Verarbeitung auszuführen, um sie auf der Basis lokaler Merkmale des Bildes oder auf der Basis der Annahme, daß die Merkmalspunkte sich auf einer durchgehenden Linie befinden, zu unterscheiden.

ZUSAMMENFASSUNG DER ERFINDUNG

Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zu schaffen, die die Erlangung oder Wiederherstellung dreidimensionaler Information eines Objekts aus seinen von einer kleinen Anzahl an Kameras aufgenommenen Bildern ermöglichen.
Diese Aufgabe wird mit einem Verfahren gemäß Anspruch 1 und einer Vorrichtung gemäß Anspruch 12 gelöst. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Bei den Verfahren und Vorrichtungen zur Rekonstruktion dreidimensionaler Information von einem sich bewegenden Objekt gemäß der vorliegenden Erfindung ist, da die Rückprojektionsfläche durch die Einführung einer Bedingung der projektiven Geometrie wesentlich beschränkt ist, die Interferenz der Rückprojektion minimiert, und dreidimensionale Information kann durch Rückprojektion unter Verwendung einer kleinen Anzahl an Bildern erlangt werden. Demzufolge ermöglicht die vorliegende Erfindung eine Reduzierung der Anzahl an Kameras, die erforderlich sind, um sich ständig ändernde dreidimensionale Information eines sich bewegenden Objekts durch gleichzeitige Bildaufnahme mittels einer Mehrzahl von Kameras zu gewinnen.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 ist ein Blockschaltbild, das die Konfiguration einer Ausführungsform der erfindungsgemäßen Vorrichtung zur Rekonstruktion dreidimensionaler Information darstellt;
Fig. 2 ist ein Verarbeitungsblockschaltbild für die ausführliche Erläuterung eines Bildinformationsverarbeitungsteils 20 in Fig. 1;
Fig. 3 ist ein Rückprojektionsdiagramm für die Erläuterung der Prinzipien der vorliegenden Erfindung;
Fig. 4 ist ein dreidimensionaler Graph für die Erläuterung der Wahrscheinlichkeit dafür, daß sich Referenzrückprojektionslinien im gleichen Punkt schneiden;
Fig. 5A ist eine perspektivische Ansicht für die Erläuterung eines Pixelquantisierungsfehlers eines Merkmalpunkts in einem Bild;
Fig. 5B ist eine perspektivische Ansicht für die Erläuterung eines Fehlers der optischen Mitte;
Fig. 6A ist ein Diagramm, das die Verteilung der Kreuzungen auf einer Basisrückprojektionslinie zeigt;
Fig. 6B ist ein Graph, der ein Beispiel der Charakteristik eines Filters zeigt; und
Fig. 6C ist ein Diagramm, das ein Beispiel einer gefilterten Verteilung der Kreuzungen zeigt.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

In Fig. 1 ist eine Ausführungsform der erfindungsgemäßen Vorrichtung zur Rekonstruktion dreidimensionaler Information als Blockschaltbild gezeigt. Die dargestellte Vorrichtung ist aus einem Bildeingabeteil 10 und einem Bildinformationsverarbeitungsteil 20 aufgebaut. Der Bildeingabeteil 10 setzt sich aus n (wobei n eine ganze Zahl größer oder gleich 3 ist) Bildaufnahmeteilen (beispielsweise Fernsehkameras, die nachstehend einfach als Kameras bezeichnet werden) 111 bis 11n, A/D- Umsetzern 121 bis 12n, Rahmenspeichern 131 bis 13n, einer Kamerasteuerung 14, einem bewegbaren Tisch 15A; einem Antrieb 15B und einer Bewegungssteuerung 16 zusammen. Die Kameras 111 bis 11n sind in unterschiedlichen Höhen auf dem gemeinsamen bewegbaren Tisch 15A montiert. Der bewegbare Tisch 15A ist so ausgelegt, daß er von dem aus einem Roboterarm gebildeten Antrieb 15B unter Steuerung der Bewegungssteuerung 16 dreidimensional bewegbar ist.
Die Kameras 111 bis 11n nehmen gleichzeitig mit einer festen Periode (oder Rahmenperiode) Bilder eines Objekts 19 auf und geben jeweils ein analoges Bildsignal aus. Wenn sich das Objekt 19 nicht bewegt, müssen dessen Bilder nicht immer gleichzeitig aufgenommen werden. Die analogen Signale aus den Kameras 111 bis 11n werden von den A/D-Umsetzern 121 bis 12n in digitale Signale umgesetzt, die, als Bilddaten für die einzelnen Rahmen, in den Rahmenspeichern 131 bis 13n gespeichert werden. Der Betrieb dieser Kameras, A/D-Umsetzer und Rahmenspeicher erfolgt unter der Steuerung der Kamerasteuerung 14. Der Bildinformationsverarbeitungsteil 20 wird mit den aus den Rahmenspeichern 131 bis 13n ausgelesenen Bilddaten versorgt und gewinnt durch Ausführen eines nachstehend unter Bezug auf Fig. 2 beschriebenen Prozesses dreidimensionale Information über das Objekt 19.
Fig. 2 zeigt in Form von Funktionsblöcken die Prozedur der Verarbeitung des durch einen Computer gebildeten Bildinformationsverarbeitungsteils 20. Positions- und Lageinformation der Kameras zum Zeitpunkt der Eingabe von Bildern des Objekts 19 durch die Kamera 111 bis 11n wird aus der Bewegungssteuerung 16 in einen Kamerainformationseingabeteil 21 des Bildinformationsverarbeitungsteils 20 eingegeben. Andererseits werden aus den Rahmenspeichern 131 bis 13n ausgelesene Bilddaten an einen Merkmalextraktionsteil 22 geliefert. Der Merkmalextraktionsteil 22 extrahiert Merkmalspunkte (wie beispielsweise isosbestische Punkte und Bereiche normaler Bilder und isosbestische Punkte und Bereiche thermischer Bilder) aus den n Rahmen der aus dem Bildeingabeteil 10 eingegebenen Bilder. Ein Basisrückprojektionslinien-Erzeugungsteil 23 wählt ein beliebiges der n Rahmen der Bilder, aus denen die Merkmalspunkte extrahiert worden sind, als Basisbild aus erzeugt eine Basisrückprojektionslinie, die einen Merkmalspunkt auf dem Basisbild und die optische Mitte der Kamera durchsetzt, die das aus dem Kamerainformationseingabeteil 21 eingegebene Bild aufgenommen hat (wobei diese Kamera nachstehend als Basiskamera bezeichnet wird). Ein Epipolarlinien-Erzeugungsteil 24 liefert Epipolarlinien, die durch Projektion der vorgenannten Basisrückprojektionslinie auf Bilder (Referenzbilder) erzeugt werden, die von Kameras (Referenzkameras) aufgenommen werden, die nicht die Basiskamera sind. Ein Referenzrückprojektionslinien- Erzeugungsteil 25 liefert alle Referenzrückprojektionslinien, die Merkmalspunkte auf den Epipolarlinien auf den Referenzbildern oder innerhalb eines bestimmten Abstandsbereichs auf beiden Seiten der Epipolarlinien und der optischen Mitten der den Epipolarlinien entsprechenden Referenzkameras durchsetzen. Ein Kreuzungsexraktionsteil 26 berechnet die Koordinaten aller Kreuzungen der von dem Basisrückprojektionslinien-Erzeugungsteil 23 erzeugten Basisrückprojektionslinie und der von dem Referenzrückprojektionslinien-Erzeugungsteil 25 erzeugten Referenzrückprojektionslinien. Ein Kreuzungszählteil 27 zählt die Anzahl an Kreuzungen bei Schnittpunkten oder -bereichen der Basisrückprojektionslinie und der vom Kreuzungsexraktionsteil 26 extrahierten Referenzrückprojektionslinien längs der Basisrückprojektionslinie. Ein Filterteil 28 filtert, längs der Basisrückprojektionslinie, die von dem Kreuzungszählteil 27 gelieferte Verteilung der Anzahl der Kreuzungen. Ein Teil 29 für die dreidimensionale Merkmalsextraktion ermittelt, als die Position eines dreidimensionalen Merkmalspunkts, eine der Kreuzungen, die der Spitzenposition am nächsten ist, wo die gefilterte Kreuzungsverteilung einen festen Schwellenwert übersteigt. Ein Teil 2A für die dreidimensionale Bewegungsextraktion berechnet die Bewegung jedes dreidimensionalen Merkmalspunkts und - bereichs auf der Basis der einzelnen dreidimensionalen Merkmalspunkt- und -bereichsinformation zu jedem Zeitintervall, das von dem Teil 29 für die dreidimensionale Merkmalsextraktion extrahiert wurde.
Als nächstes wird der Betrieb dieser erfindungsgemäßen Vorrichtung mit diesem Aufbau unter Bezug auf die Fig. 1, 2 und 3 beschrieben. In Fig. 3 sind umgekehrte Bilder, die auf Fokalebenen der wie dargestellt angeordneten Kameras 111 bis 11n gebildet sind, imaginär auf die Vorderseite der Kameras zurückprojiziert und aus Gründen der Einfachheit als aufrechte Bilder 32 gezeigt. Die Kamerasteuerung 14 aktiviert gleichzeitig die n Kameras 111 bis 11n ab einem eingegebenen Zeitpunkt t, setzt die resultierenden analogen Bildsignale durch die A/D-Umsetzer 121 bis 12n in digitale Bildsignale um und speichert sie in den n Rahmenspeichern 131 bis 13n, um Bilddaten eines Rahmens in jedem Speicher zu gewinnen. Der Kamerainformationseingabeteil 21 gewinnt Kamerainformation zum Zeitpunkt t durch Kalibrierung (vergleiche beispielsweise J. Weng, P. Cohen und M. Herniou: "Calibration of stereo cameras using a non-linear distortion model" Proc. ICCV. S. 246 bis 253, 1990).
Durch den Merkmalsextraktionsteil werden Merkmalspunkte auf jedem Bild 32 (beispielsweise isosbestische Punkte und Bereiche in einem Bild, Konturlinien und -bereiche in einem Differenzbild und isotherme Punkte und Bereiche in einem thermischen Bild) extrahiert. In diesem Beispiel sind Ränder des Bilds durch ein Canny-Filter extrahierte Merkmalspunkte (Canny J. F.: "A computational approach to edge detection", IEEE Trans. PAMI, Vol. 8, Nr. 6, S. 679 bis 698, 1986). Als nächstes wählt der Basisrückprojektionslinien-Erzeugungsteil 23 ein Bild 32 eines beliebigen der n Rahmen als Basisbild 32s aus und berechnet eine Rückprojektionslinie 34s, die einen angegebenen Merkmalspunkt auf dem Basisbild 32s und die optische Mitte 31s der Kamera (das heißt der Basiskamera) durchsetzt, die dem Bild 32s entspricht, das aus dem Kamerainformationseingabeteil 21 eingegeben wird. Die Koordinaten (xb, yb, zb) eines beliebigen Punkts auf der Rückprojektionslinie 34s erfüllen die folgende Bedingung:
wobei (xp, yp, zp) und (xc, yc, zc) Koordinaten des angegebenen Merkmalspunkts auf dem Bild 32s bzw. der optischen Mitte 31s der Basiskameras sind. Eine solche Rückprojektionslinie 34s wird nachstehend auch als Basisrückprojektionslinie bezeichnet. Ein beliebiger Punkt E = (xe, ye) auf einer Epipolarlinie, die durch Projektion der Basisrückprojektionslinie auf die einzelnen Referenzbilder gewonnen wird, erfüllt die unten gezeigten Relationen.
E = RT'(B' - T')
T' = (t&sub1;,t&sub2;)T
wobei RT' und T' ein zweidimensionaler Ausdruck einer transponierten Version einer Matrix, welche die Rotation der optischen Achse der Kamera bezüglich des Koordinatensystems definiert, bzw. ein zweidimensionaler Ausdruck einer Vektors ist, der die Translation der optischen Achse der Kamera bezüglich des Koordinatensystems definiert, und B' = (xb, yb)T ist ein zweidimensionaler Ausdruck eines beliebigen Punkts auf der Rückprojektionslinie. Wie aus Fig. 3 hervorgeht, liegt die Basisrückprojektionslinie 34s in einer die optische Mitte 31 jeder Referenzkamera und die Epipolarlinie 35 durch die Referenzkamera enthaltenden Ebene. Diese Ebene wird nachstehend als Epipolarebene durch die Referenzkamera bezeichnet. Dreidimensionale Merkmalspunkte auf dem Objekt 19, die auf einer Erstreckungsebene der Epipolarebene der einzelnen Kameras liegen, sind alle auf die Epipolarlinie 35 der Kamera projiziert. Als nächstes erfaßt der Referenzrückprojektionslinien- Erzeugungsteil 25 alle Merkmalspunkte 33 auf der vorgenannten Epipolarlinie 35. Einer dieser Merkmalspunkte 33e entspricht dem angegebenen Merkmalspunkt 33s. In der Praxis kommen jedoch Fälle vor, in denen diese Merkmalspunkte aufgrund eines Bildquantisierungsfehlers nicht auf der Epipolarlinie liegen. Demzufolge werden auch Merkmalspunkte innerhalb einer festen Entfernung von der Epipolarlinie 35 als deren Merkmalspunkte 33e angesehen. Danach folgt die Gewinnung von Rückprojektionslinien 34, welche die Merkmalspunkte 33e auf der Epipolarlinie 35 in dem Bild 32 jeder Referenzkamera und die optische Mitte 31 der Referenzkamera durchsetzen. Diese Rückprojektionslinien 34 werden nachstehend als Referenzrückprojektionslinien bezeichnet.
Als nächstes berechnet der Kreuzungsexraktionsteil 26 die Koordinaten der Kreuzungen der Basisrückprojektionslinie 34s und der Referenzrückprojektionslinien 34. Aufgrund des Vorhandenseins eines Merkmalsextraktionsfehlers bei jedem Bild 32 und eines Fehlers der optischen Mitte jeder Kamera tritt gelegentlich die Situation auf, daß sich die Basisrückprojektionslinie 34s und die Referenzrückprojektionslinien 34 im dreidimensionalen Raum nicht schneiden. Bei dieser Ausführungsform wird der kürzeste Abstand zwischen der Basisrückprojektionslinie 34s und jeder Referenzrückprojektionslinie 34 berechnet, und wenn dieser kürzeste Abstand kleiner als ein fester Schwellenwert ist, werden die Basisrückprojektionslinie 34s und die Referenzrückprojektionslinie 34 als sich schneidend angesehen. Das heißt, wenn der Rang der folgenden Matrix mit zwei beliebigen Punkten Bb1 = (xb1, yb1, zb1)T und Bb2 = (xb2, yb2, zb2) auf der Basisrückprojektionslinie 34s und zwei beliebigen Punkten Br1 = (xr1, yr1, zr1) und Br2 = (xr2, yr2, zr2) auf der Referenzrückprojektionslinie 34 1 ist, erstrecken sich diese zwei Linien nicht parallel zueinander.
In diesem Beispiel sind zwei Punkte (xbs, ybs, zbs)T und (xrs, yrs, zrs)T, die auf der Basisrückprojektionslinie 34s bzw. der Referenzrückprojektionslinie 34 liegen und den kürzesten Abstand zwischen den zwei Linien angeben, wie folgt gegeben:
wobei:
Kb = (GrH - FrGb)/(FbFr - H²)
Kr = (FbGr - GbH)/(FbFr - H²)
Fb = (xb2 - xb1)² + (yb2 - yb1)² + (zb2 - zb1)²
Fr = (xr2 - xr1)² + (yr2 - yr1)² + (zr2 - zr1)²
Gb = (xb2 - xb1)(xb1 - xr1) + (yb2 - yb1)(yb1 - yr1) + (zb2 - zb1)(zb1 - zr1)
Gr = (xr2 - xr1)(xr1 - xb1) + (yr2 - yr1)(yr1 - yb1) + (zr2 - zr1)(zr1 - zb1)
H = (xb2 - xb1)(xr1 - xr2) + (yb2 - yb1)(yr1 - Yr2) + (zb2 - zb1)(zr1 - zr2)
Wenn der Abstand d zwischen diesen zwei Punkten die Bedingung erfüllt, daß er kleiner als ein Schwellenwert λ ist, wie nachstehend gezeigt,
d = {(xbs - xrs)² + (ybs - yrs)² + (zbs - zrs)²}1/2 < λ, (6)
werden die Basisrückprojektionslinie 34s und die Referenzrückprojektionslinie 34, auf denen diese zwei Punkte liegen, als einander schneidend angesehen, und die Koordinaten der Position der Kreuzung 36 werden als Mittelpunkt des Abstands zwischen den zwei Punkten festgelegt.
x = (xbs + xrs)/2
y = (ybs + yrs)/2
z = (zbs + zrs)/2 (7)
Als nächstes zählt der Kreuzungszählteil die Anzahl an Kreuzungen der Basisrückprojektionslinie 34s und aller der Referenzrückprojektionslinien 34.
Es besteht übrigens in dem Fall der Verwendung von Bildern, die von zwei Kameras ausgenommen werden (n = 2), die Möglichkeit, daß eine Mehrzahl an Referenzrückprojektionslinien 34 eine Basisrückprojektionslinie 34s an einer Mehrzahl von Positionen schneidet. In einem solchen Fall kann nicht eindeutig ermittelt werden, welcher Kreuzung der dreidimensionale Merkmalspunkt entspricht, wobei letzterer dem Merkmalspunkt 33s entspricht, der die Basisrückprojektionslinie 34s durchsetzt. Nun erfolgt eine Beschreibung dieses Problems.
Aus Gründen der Klarheit sei die Anzahl an Merkmalspunkten auf der Epipolarlinie der einzelnen Referenzkameras, die durch Projektion der Basisrückprojektionslinie 34s auf die einzelnen Referenzbilder gewonnen wird, durch M repräsentiert. Nur einer oder keiner der M Merkmalspunkte auf der Epipolarlinie auf dem Bild von den einzelnen Kameras entspreche dem angegebenen Merkmalspunkt. Nun sei angenommen, daß einer der M Merkmalspunkte auf den einzelnen Epipolarlinien dem angegebenen Merkmalspunkt entspricht. Demzufolge liefert eine Referenzkamera M Referenzrückprojektionslinien, und die Wahrscheinlichkeit, daß eine der M Kreuzungen der M Referenzrückprojektionslinien mit der Basisrückprojektionslinie einem angegebenen Merkmalspunkt entspricht, beträgt β = 1/M. Das gleiche gilt für die anderen Referenzkameras. Somit ist die Wahrscheinlichkeit α, daß eine der Referenzrückprojektionslinien von den einzelnen Referenzkameras die Basisrückprojektionslinie 34s an irgendeiner Kreuzung auf ihr schneidet, α = βn-1. Wenn nur ein Merkmalspunkt auf der Epipolarlinie der Referenzkamera vorhanden ist (das heißt, wenn M = 1), entspricht jener Merkmalspunkt dem angegebenen Merkmalspunkt, und die Referenzrückprojektionslinie schneidet den angegebenen Merkmalspunkt; in diesem Fall besteht kein Problem. Wenn die Anzahl M an Referenzrückprojektionslinien von den einzelnen Referenzkameras 2 oder mehr ist, spielt dies eine Rolle. Daher erfolgt die Diskussion nachstehend für den Fall, daß sich β = 1/M im Bereich zwischen 0 und 0,5 befindet.
Fig. 4 ist ein Graph, der die Wahrscheinlichkeit α zeigt, daß n - 1 Referenzrückprojektionslinien von n - 1 Referenzkameras sich an einem Punkt auf der Basisrückprojektionslinie schneiden, wenn sich der Wert β im Bereich von 0 < β ≤ 0,5 befindet. Wie aus dem Graphen ersichtlich ist, ist selbst im Fall von β = 0,5, falls die Anzahl n aller Kameras (das heißt der Anzahl an Betrachtungspunkten) größer oder gleich 6 ist, die Wahrscheinlichkeit α, daß sich fünf Referenzrückprojektionslinien von Referenzkameras an einem Punkt auf der Basisrückprojektionslinie schneiden, mit 0,5&sup5; = 0,03 vernachlässigbar klein. Auch wenn n = 5 (die Anzahl an Referenzkameras beträgt 4), ist der Wert α mit 0,06 klein. Das heißt, die Wahrscheinlichkeit, daß es passiert, daß sich eine Mehrzahl von Referenzrückprojektionslinien von jeweiligen Referenzkameras an dem angegebenen Merkmalspunkt schneidet, nimmt mit zunehmender Anzahl n an Kameras rapide ab. Anders ausgedrückt bedeutet dies, wenn die Anzahl an Referenzrückprojektionslinien, die sich tatsächlich an einem bestimmten Punkt auf der Basisrückprojektionslinie schneiden, etwas größer (beispielsweise vier oder mehr) ist, daß es sehr wahrscheinlich ist, daß die Kreuzung ein angegebener Merkmalspunkt ist. Dann ist es möglich, die Position des angegebenen dreidimensionalen Merkmalspunkt eindeutig zu ermitteln oder zu lokalisieren, indem im Kreuzungszählteil 27 die Anzahl an Referenzrückprojektionslinien gezählt werden, die sich an den einzelnen Punkten auf der Basisrückprojektionslinie 34s schneiden (nachstehend einfach als Kreuzungsanzahl bezeichnet), und indem dann in dem Teil 29 für die dreidimensionale Merkmalspunktextraktion die Position erfaßt wird, welche die maximale Kreuzungsanzahl liefert, wie zuvor beschrieben. Auf diese Weise kann erreicht werden, daß jeder gegebene dreidimensionale Merkmalspunkt auf dem Objekt 19 einer eindeutigen Kreuzung auf der Basisrückprojektionslinie entspricht.
Angesichts des Obigen wird der Wert n aufgrund der Prinzipien der vorliegenden Erfindung auf drei oder größer eingestellt, aber bei einer bevorzugten Ausführungsform werden sechs unterschiedliche Betrachtungspunkte, das heißt sechs Kameras, verwendet. Eine solche Konfiguration erhöht die Wahrscheinlichkeit, daß ein dreidimensionaler Merkmalspunkt auf dem Objekt 19, der einem bestimmten der Betrachtungspunkte oder Kameras versperrt ist, von den anderen Kameras beobachtet oder gesehen werden und somit lokalisiert werden kann.
Bei tatsächlichen Messungen, wie in den Fig. 5A und 5B gezeigt, können Rückprojektionslinien manchmal aufgrund von Positionsfehlern der Merkmalpunkte 33 auf dem Bild 32 und der optischen Mitte 31 der Kamera von ihren Originalrichtungen abweichen. Da beispielsweise das Bild 32, das sich aus von den einzelnen Kameras gelieferten Bilddaten zusammensetzt, durch Pixel des Bildes quantisiert worden ist, enthält die Position jedes Merkmalpunkts auf dem Bild einen Quantisierungsfehler aufgrund der Pixel. Nun sei angenommen, daß die Position P des wahren Merkmalspunkts 33 auf dem Bild 32 von einer Referenzkamera aufgrund des Quantisierungsfehlers zu P' abweicht, wie in Fig. 5A gezeigt. Da sich die Referenzrückprojektionslinie 34 um die optische Mitte 31 dreht und von ihr abweicht, wird ermittelt, daß der wahre Merkmalspunkt P auf der Basisrückprojektionslinie 34s sich bei B' befindet (nicht immer auf der Basisrückprojektionslinie 34s). Alternativ wird, wenn die durch Messung ermittelte optische Mitte von der wahren optischen Mitte L zu L' abweicht, wie in Fig. 5B dargestellt, der wahre Merkmalspunkt B auf der Basisrückprojektionslinie 34s als bei B" liegend angesehen.
Aufgrund der vorgenannten Abweichung der Referenzrückprojektionslinie 34 unter dem Einfluß derartiger Fehler besteht die Tendenz, daß der von dem gleichen dreidimensionalen Merkmalspunkt auf dem Objekt 19 auf die einzelnen Bilder abgebildete Merkmalspunkt 33 und die dem Merkmalspunkt 33 entsprechende, die optische Mitte 31 durchsetzende Referenzrückprojektionslinie 34 sich an einem Punkt scheiden, der nicht die wahre Position des dreidimensionalen Merkmalspunkts ist. In einer solchen Situation ist es, wenn sich der Punkt B' oder B" innerhalb einer Schwellenwertentfernung von der Basisrückprojektionslinie 34s befindet, wahrscheinlich, daß er zum Zeitpunkt des Zählens der Kreuzungsanzahl durch den Kreuzungszählteil 27 an einer Kreuzung gezählt wird, die sich von der Position des wahren angegebenen Merkmalspunkts auf der Basisrückprojektionslinie 34s unterscheidet. In diesem Fall besteht, wenn die Position der Kreuzung, welche den maximalen Zählwert oberhalb eines vorbestimmten Werts liefert, als dreidimensionaler Merkmalspunkt durch Schwellenwertverarbeitung direkt extrahiert wird, die Besorgnis, daß ein dreidimensionaler Merkmalspunkt, der nicht der angegebene ist, als Pseudo- oder falscher dreidimensionaler Merkmalspunkt extrahiert wird.
Da diese Fehler der Rückprojektionslinien statistisch in Richtung und Stärke verteilt sind, kann jedoch geschätzt werden, daß es sehr wahrscheinlich ist, daß der Mittelbereich der tatsächlich erzielbaren diskreten und expansiven Verteilung der Zählwerte, um die herum sich die Kreuzungen konzentrieren, den wahren dreidimensionalen Merkmalspunkt enthalten. Es ist daher möglich, die Wahrscheinlichkeit des Extrahierens von Pseudo- oder falschen dreidimensionalen Merkmalspunkten zu senken, indem die Verteilung der Kreuzungszählwerte längs der Basisrückprojektionslinie 34s durch den Filterteil 28 gefiltert wird, um die Verteilung an Punkten hervorzuheben, wo Referenzrückprojektionslinien die Basisrückprojektionslinie mit großer Häufung schneiden. Zu diesem Zweck ist es möglich, ein Quadratfilter, ein Dreiecksfilter, ein Gauß-Filter, ein Laplace-Gauß-Filter etc. zu verwenden.
Für die diskrete Verteilung P(s) der Zählwerte der Kreuzungen 51 längs der Basisrückprojektionslinie 34s, wie in Fig. 6A gezeigt, kann der Filterprozeß unter Verwendung einer Funktion f(t) durch eine auf der folgenden Gleichung basierende Faltung erfolgen:
P'(s) = P(s - t)·f(t)dt (7)
wobei P(s) und P'(s) die Verteilungen der Zählwerte der Kreuzungen der Rückprojektionslinie vor bzw. nach der Faltung der Funktion f(t) sind und s die Position längs der Basisrückprojektionslinie 34s ist. Die Filterfunktion f(t) kann mit verschiedenen Filtern wie beispielsweise den oben genannten gewonnen werden. Bei dieser Ausführungsform wird ein Laplace-Gauß-Filter (üblicherweise als ²G- Filter bezeichnet) 52, das die in Fig. 6B gezeigte Charakteristik aufweist, zum Ausführen der Faltung mit der Verteilung der Zählwerte der Kreuzungen 51 längs der Basisrückprojektionslinie 34s verwendet. Da das ²G-Filter die Eigenschaft der Hervorhebung von Spitzen einer kontinuierlichen Wellenform aufweist, während es hochfrequentes diskretes Rauschen unterdrückt, unterdrückt die Faltung Zählwerte diskreter Kreuzungen und hebt Spitzen von Zählwerten stark konzentrierter Kreuzungen hervor, wie in Fig. 6C gezeigt. Somit kann die Extraktion falscher dreidimensionaler Merkmalspunkte verhindert werden, indem in dem Teil 29 für die dreidimensionale Merkmalsextraktion Spitzen 51p der Zählwerte an Kreuzungen auf der Basisrückprojektionslinie 34s erfaßt werden und dann festgelegt wird, daß die Kreuzung, die der betreffenden Spitzenposition am nächsten ist, die Position des angegebenen dreidimensionalen Merkmalspunkts ist.
Wie oben beschrieben, sind Kreuzungen der Basisrückprojektionslinie 34s und der Referenzrückprojektionslinien 34 von den Referenzkameras auf der Basisrückprojektionslinie 34s definiert, und es wird die Anzahl an Kreuzungen bei jeder Kreuzung gezählt. In der Praxis wird jedoch aufgrund des vorgenannten Fehlers bei der optischen Mitte oder des Pixelquantisierungsfehlers am Merkmalspunkt die Kreuzung einer der Referenzrückprojektionslinien 34 von den einzelnen Referenzkameras und der Basisrückprojektionslinie 34s, die dem wahren angegebenen dreidimensionalen Merkmalspunkt entspricht, nicht eine Kreuzung im strenge Sinne. Dann ist es im Fall des Zählens der Anzahl an Kreuzungen an den einzelnen Kreuzungspunkten erforderlich, die Basisrückprojektionslinie 34s in ihrer Längsrichtung in vorbestimmte kleine Längeneinheiten Δs zu unterteilen und die Anzahl an Kreuzungen in jeder Längeneinheit Δs zu zählen. In diesem Fall nimmt, da die Auflösung für die Kreuzungen mit abnehmender Längeneinheit Δs zunimmt, die Anzahl an in der gleichen Längeneinheit Δs auf der Basisrückprojektionslinie 34s vorhandenen Kreuzungen ab. Wenn die Längeneinheit Δs so klein gewählt wird, daß alle Kreuzungen separiert werden, wird die maximale Anzahl an Kreuzungen bei jeder Kreuzung 1, und der angegebene dreidimensionale Merkmalspunkt kann nicht eindeutig identifiziert werden. Auch in diesem Fall sind jedoch die Kreuzungen um den angegebenen dreidimensionalen Merkmalspunkt herum zusammengeklumpt, wie beispielsweise in Fig. 6A angegeben; daher schafft die Filterfaltung für die diskrete Verteilung der Kreuzungen, wie oben beschrieben, eine Spitze in der Mitte des Klumpungsbereichs der Kreuzungen, wodurch es möglich ist festzulegen, daß die der Spitzenposition nächste Kreuzung die Position des wahren dreidimensionalen Merkmalspunkts ist.
Durch Wiederholen des oben beschriebenen Prozesses für jeden der Merkmalspunkte 33s auf dem Basisbild 32s können die Koordinaten aller dreidimensionaler Merkmalspunkte 36t entsprechend allen Merkmalspunkten 33s auf dem Basisbild 32s ermittelt werden. In diesem Fall sind die Rückprojektionslinien, die sich an der Position schneiden, die als dem angegebenen dreidimensionalen Merkmalspunkt entsprechend ermittelt wurde, nur mit dem angegebenen dreidimensionalen Merkmalspunkt verknüpft. Demzufolge ist es durch Entfernen der Merkmalspunkte 33 und 33s auf den Bildern 32 und 32s entsprechend den dreidimensionalen Merkmalspunkten, die unmittelbar vor dem Gewinnen anderer dreidimensionaler Merkmalspunkte ermittelt wurden, möglich, die Störungen der Rückprojektion und die Rechenkosten zu reduzieren. Außerdem ist es durch Auswählen eines anderen Bildes als Basisbild und Wiederholen des oben beschriebenen Prozesses, bis alle Bilder ausgewählt sind, möglich, die Positionen von dreidimensionalen Merkmalspunkten entsprechend Merkmalspunkten auf Bildern, die von allen Betrachtungspunkten gewonnen wurden, das heißt von allen der verwendeten Kameras aufgenommen wurden, zu gewinnen.
Schließlich extrahiert der Teil 2A für die Extraktion dreidimensionaler Bewegungen dreidimensionale Bewegungsinformation des sich bewegenden Objekts durch Berechnen vorübergehender Änderungen der dreidimensionalen Merkmalspunktinformation, die aus dem Teil 29 für die dreidimensionale Merkmalsextraktion stammt. Ein konkretes Verfahren hierfür kann durch eine dreidimensional erweiterte Version eines zweidimensionalen Bewegungsinformationsextraktionsverfahrens (vergleiche beispielsweise R. Agarwal und J. Sklansky: "Optical flow estimation by the clustering of constraint sets in velocity space", Technical Report TP-91-2, Department of Electrical and Computer Engineering, Pattern Recognition and Image Modelling Project, University of California, Irvine, CA, USA) implementiert werden.
Außerdem ist es auch möglich, das Verfolgen eines sich bewegenden Objekts durch Wiederholung folgender Operationen auszuführen: Eingeben der dreidimensionalen Bewegungsinformation aus dem Teil 2A für die Extraktion dreidimensionaler Bewegung in die Bewegungssteuerung 16 des Bildeingabeteils 10; Planen des nächsten Betrachtungspunkts; Aktivieren des Antriebs 15B, um die Mehrzahl von Bildaufnahmeteilen 111 bis 11n zu bewegen und gleichzeitig die Bewegung des Antriebs 15B zu einer Eingabezeit t + w zu messen; und Eingeben des Meßwerts in den Kamerainformationseingabeteil.
Wie oben beschrieben, wird erfindungsgemäß, da die Rückprojektionsfläche durch die Einführung einer projektiven geometrischen Beschränkung erheblich beschränkt ist, die Störung der Rückprojektion minimiert, und daher kann durch Rückprojektion auf eine kleine Anzahl von Bildern eine dreidimensionale Information gewonnen werden. Somit kann die sich ständig ändernde dreidimensionale Form eines sich bewegenden Objekts durch gleichzeitige Bildaufnahme mit einer kleinen Anzahl an Kameras wiederhergestellt werden.

Claims

1. Verfahren der Rekonstruktion dreidimensionaler Information von einem Objekt (19), indem dreidimensionale Merkmalspunkte auf dem Objekt dazu gebracht werden, Merkmalspunkten in Bildern des Objekts zu entsprechen, die mittels einer Mehrzahl von Kameras aufgenommen wurden, wobei das Verfahren die Schritte umfaßt:

(a) bei dem das Objekt durch n Kameras abgebildet wird, um n Rahmen von Bildern zu erhalten, und die Bilder als Bilddaten ausgegeben werden, wobei n eine ganze Zahl gleich oder größer als drei ist,

(b) bei dem die Bilddaten empfangen werden und Merkmalspunkte des Objekts auf den n Rahmen von Bildern jeweils extrahiert werden,

(c) bei dem eine der n Kameras als eine Basiskamera definiert wird, das von dieser Basiskamera aufgenommene Bild als ein Basisbild (32s), die anderen übrigen Kameras als Referenzkameras, die von den Referenzkameras aufgenommenen Bilder als Referenzbilder (32), und eine Rückprojektionslinie, die durch die optische Mitte (31s) der Basiskamera und einen Merkmalspunkt in dem Basisbild geht, der entsprechend einem angegebenen dreidimensionalen Merkmalspunkt auf dem Objekt gewählt ist, als eine Basisrückprojektionslinie definiert wird,

(d) bei dem die Basisrückprojektionslinie auf die Referenzbilder projiziert wird, um darauf jeweilige Epipolarlinien zu definieren,

(e) bei dem Rückprojektionslinien, die durch die Merkmalspunkte auf den Epipolarlinien auf den Referenzbildern und die optischen Mitten der Referenzkameras gehen, als Referenzrückprojektionslinien definiert werden,

(f) bei dem die Position des angegebenen dreidimensionalen Merkmalspunkts dadurch bestimmt wird, daß die Basisrückprojektionslinie mit den Referenzrückprojektionslinien zum Schnitt gebracht wird, und

(g) bei dem die Schritte (c) bis (f) für jeden der Merkmalspunkte auf dem Basisbild wiederholt werden, um die Position des dreidimensionalen Merkmalspunkts auf dem Objekt als dessen dreidimensionale Information zu erhalten,

wobei das Verfahren dadurch gekennzeichnet ist, daß zur Bestimmung des angegebenen dreidimensionalen Merkmalspunkts Koordinaten der Schnittpunkte zwischen der Basisrückprojektionslinie und den Referenzrückprojektionslinien berechnet werden, die Anzahl an Kreuzungen zwischen Basisrückprojektionslinie und Referenzrückprojektionslinien an ihren jeweiligen Schnittpunkten gezählt werden und die Verteilung der Zählwerte der Kreuzungen längs der Basisrückprojektionslinie durch Faltung gefiltert wird, um die Konzentration der Verteilung der Kreuzungen hervorzuheben, und die Position, wo die gefilterte Verteilung von Zählwerten der Kreuzungen maximal ist, als die Position des angegebenen dreidimensionalen Merkmalspunkts festgelegt wird.

2. Verfahren nach Anspruch 1, bei dem eine Position der Basisrückprojektionslinie jede vorbestimmte Einheitslänge der Basisrückprojektionslinie in deren Längsrichtung definiert wird und die Anzahl von Kreuzungen an jedem der Schnittpunkte die Anzahl von Kreuzungen innerhalb der Einheitslänge an der Position der Basisrückprojektionslinie ist, durch welche die Referenzrückprojektionslinien hindurchgehen.

3. Verfahren nach Anspruch 2, bei dem die Referenzrückprojektionslinien, die die Basisrückprojektionslinie kreuzen, Referenzrückprojektionslinien sind, die innerhalb eines vorbestimmten Abstandsbereichs von der Basisrückprojektionslinie liegen.

4. Verfahren nach Anspruch 1, bei der die Filterung mit einem Laplace-Gauß-Filters durchgeführt wird.

5. Verfahren nach Anspruch 1, bei dem die Filterung mit einem Quadratfilter ausgeführt wird.

6. Verfahren nach Anspruch 1, bei dem die Filterung mit einem Dreiecksfilter ausgeführt wird.

7 Verfahren nach Anspruch 1, bei dem die Filterung mit einem Gauß-Filter ausgeführt wird.

8. Verfahren nach Anspruch 1, bei dem Schritt (g) einen Schritt enthält, bei dem jedes Mal, wenn der Merkmalspunkt, der dem angegebenen dreidimensionalen Merkmalspunkt entspricht, durch Durchführung der Reihe von Schritten (c) bis (f) identifiziert ist, der identifizierte Merkmalspunkt von den Kandidaten zur Verarbeitung der nachfolgenden Wiederholung der Schritte entfernt wird.

9. Verfahren nach Anspruch 1, bei dem die Anzahl n der Kameras im Bereich von 5 bis 8 liegt.

10. Verfahren nach Anspruch 1, ferner umfassend einen Schritt, bei dem bei jedem Beenden des Schritts (g), der Schritt (g) für jede einzelne der Kameras nochmal wiederholt wird, wobei eine der Referenzkameras als eine neue Basiskamera und die Basiskamera als eine neue Referenzkamera verwendet werden.

11. Verfahren nach Anspruch 1, ferner umfassend einen Schritt, bei dem bei jeder Wiederholung der gleichzeitigen Aufnahme von Bildern des Objekts (19) durch die n Kameras in einer vorgegebenen Periode dreidimensionale Information des Objekts als Folge der Reihe von Schritten erhalten wird.

12. Vorrichtung zur Rekonstruktion dreidimensionaler Information eines Objekts (19) umfassend:

n Kameraanordnungen (111, ..., 11n), die an unterschiedlichen Positionen angeordnet sind, um Bilder eines Objekts (19) aufzunehmen und die Bilder als Bilddaten auszugeben, wobei n eine ganze Zahl gleich oder größer als drei ist, und

Bildinformationsverarbeitungsmittel (20), die mit den Bilddaten der n Kameraanordnungen beliefert werden, um dreidimensionale Information des Objekts von Bildpunkten in den Bildern zu gewinnen,

wobei die Bildinformationsverarbeitungsmittel umfassen:

Merkmalsextraktionsmittel (22) zum Extrahieren der Merkmalspunkte in den Bildern, Basisrückprojektionslinien-Erzeugungsmittel (23), bei denen eine der n Kameraanordnungen als eine Basiskamera definiert wird, das von dieser Basiskameraanordnung aufgenommene Bild als ein Basisbild (32s), die anderen übrigen Kameraanordnungen als Referenzkameraanordnungen, die von den Referenzkameraanordnungen aufgenommenen Bilder als Referenzbilder (32), und bei denen eine Rückprojektionslinie, die die optische Mitte (31s) der Basiskameraanordnung und einen Merkmalspunkt (33s) in dem Basisbild durchsetzt, welcher entsprechend einem angegebenen dreidimensionalen Merkmalspunkt auf dem Objekt gewählt ist, als eine Basisrückprojektionslinie (34s) erhalten wird,

Epipolarlinien-Erzeugungsmittel (24) zur Projektion der Basisrückprojektionslinie auf die Referenzbilder (32) zum Erhalt von Epipolarlinien (35),

Referenzrückprojektionslinien-Erzeugungsmittel (25) zum Erhalt, als Referenzrückprojektionslinien (34), von Rückprojektionslinien, die Merkmalspunkte auf den Epipolarlinien (35) auf den Referenzbildern und die optischen Mitten der Referenzkameraanordnungen durchsetzen, und

dreidimensionale Merkmalsextraktionsmittel (25-29) zur Bestimmung der Position des angegebenen dreidimensionalen Merkmalspunkts durch Schneiden der Basisrückprojektionslinie mit den Referenzrückprojektionslinien,

wobei die Vorrichtung dadurch gekennzeichnet ist, daß die dreidimensionalen Merkmalsextraktionsmittel die Koordinaten von Schnittpunkten (36) der Basisrückprojektionslinie (34s) und der Referenzrückprojektionslinien (34) berechnen, die Anzahl von Kreuzungen zwischen der Basisrückprojektionslinie und den Referenzrückprojektionslinien an jedem der Schnittpunkte zählen und denjenigen der Schnittpunkte als die Position des angegebenen dreidimensionalen Merkmalspunkts bestimmen, der den maximalen Zählwert aufweist,

wobei die Merkmalsextraktionsmittel (22) eine Filteranordnung (28) enthalten zum Hervorheben der Konzentration der Verteilung von Zählwerten von Kreuzungen durch Faltung längs der Basisrückprojektionslinie und die Position, wo die gefilterte Verteilung von Zählwerten von Kreuzungen maximal ist, als die Position des angegebenen dreidimensionalen Merkmalspunkts bestimmt wird,

wodurch die Positionen der jeweiligen dreidimensionalen Merkmalspunkte auf dem Objekt, die jeweiligen Merkmalspunkten auf dem Basisbild entsprechen, als die dreidimensionale Information des Objekts erhalten werden.

13. Vorrichtung nach Anspruch 12, bei dem die Filteranordnung (28) ein Laplace-Gauß- Filter ist.

14. Vorrichtung nach Anspruch 12, bei der die Filteranordnung (28) ein Quadratfilter ist.

15. Vorrichtung nach Anspruch 12, bei der die Filteranordnung (28) ein Dreiecksfilter ist.

16. Vorrichtung nach Anspruch 12, bei der die Filteranordnung (28) ein Gauß-Filter ist.

17. Vorrichtung nach Anspruch 12, bei der die Anzahl n von Kameraanordnungen im Bereich von 5 bis 8 liegt.

18. Vorrichtung nach Anspruch 12, ferner umfassend Kamerasteuermittel (14) zum Wiederholen einer gleichzeitigen Bildaufnahme des Objekts (19) mit einer festgelegten Periode und zur Lieferung der Bilddaten an die Bildinformationsverarbeitungsmittel (20) nach jeder Erzeugung der Bilddaten.