DE69722378T2 - Verfahren und vorrichtung zur bearbeitung eines dreidimensionalen bildes mit hilfe der parallaxgeometrie von punktpaaren - Google Patents

Verfahren und vorrichtung zur bearbeitung eines dreidimensionalen bildes mit hilfe der parallaxgeometrie von punktpaaren

Info

Publication number
DE69722378T2
DE69722378T2 DE1997622378 DE69722378T DE69722378T2 DE 69722378 T2 DE69722378 T2 DE 69722378T2 DE 1997622378 DE1997622378 DE 1997622378 DE 69722378 T DE69722378 T DE 69722378T DE 69722378 T2 DE69722378 T2 DE 69722378T2
Authority
DE
Grant status
Grant
Patent type
Prior art keywords
plurality
images
points
parallax
step
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE1997622378
Other languages
English (en)
Other versions
DE69722378D1 (de )
Inventor
Pahmanabhan Anandan
Michal Irani
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sarnoff Corp
Original Assignee
Sarnoff Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/209Sensor details, e.g. position, configuration, special lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2209/00Indexing scheme relating to methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K2209/40Acquisition of 3D measurements of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Description

  • Die vorliegende Erfindung betrifft im allgemeinen bildverarbeitende Systeme und insbesondere ein Verfahren und eine Vorrichtung für die Verarbeitung der Parallaxengeometrie von Paaren von Punkten innerhalb einer dreidimensionalen Szene.
  • Vaidya N. M. et al.: "Stereopsis and Image Registration from Extended Edge Features in the Absence of Camera Pose Information", Proceedings of the Computer Society Conference on Computer Vision and Pattern Recognition, USA, Los Alamitos, IEEE. Comp. Soc. Press, 3.-6. Juni 1991, S. 76–82, XP000337344 ISBN: 0-8186-2148-6, beschreibt ein Verfahren der 3D-Bildverarbeitung ohne Verwendung einer Epipolarbedingung. Das Verfahren verwendet einen Algorithmus basierend auf Bildkantenkonturen.
  • Die Analyse von dreidimensionalen Szenen aus Bildsequenzen hat eine Anzahl von Zielen. Diese Ziele beinhalten, sind jedoch nicht begrenzt auf: (i) die Wiederherstellung von 3D-Szenenstrukturen, (ii) die Erfassung von sich bewegenden Objekten in der Anwesenheit von kamerainduzierter Bewegung und (iii) die Synthese von neuen Kameraansichten basierend auf einem gegebenen Satz von Ansichten.
  • Der traditionelle Ansatz für diese Typen von Problemen war es zunächst, die Epipolargeometrie zwischen Paaren von Einzelbildern wiederherzustellen und dann diese Information anzuwenden, um die oben erwähnten Ziele zu erreichen. Dieser Ansatz leidet jedoch unter den Schwierigkeiten, die mit der Wiederherstellung der Epipolargeometrie verknüpft sind.
  • Neuere Ansätze für die 3D-Szenenanalyse haben versucht, einige der Schwierigkeiten bei der Wiederherstellung der Epipolargeometrie zu überwinden durch Zerlegen der Bewegung in eine Kombination aus einer planaren Homographie und einer residuellen Parallaxe. Die Bewegung der residuellen Parallaxe hängt von der projektiven Struktur und der Translation zwischen den Kameraursprüngen ab. Während dieses Verfahren einige Unklarheiten in der Abschätzung der Kameradrehung entfernen, erfordern sie immer noch die explizite Schätzung des Epipols selbst, was unter vielen Umständen schwierig sein kann. Die Epipolabschätzung ist insbesondere schlecht konditioniert, wenn der Epipol signifikant von dem Zentrum des Bildes entfernt liegt und die Parallaxenbewegungsvektoren nahezu parallel zueinander sind. Ebenso, wenn es nur eine kleine Anzahl von Parallaxenvektoren gibt und die Szene sich bewegende Objekte enthält, beeinflussen diese Objekte die Abschätzung des Epipols in falscher Weise.
  • Im allgemeinen nimmt die Behandlung der Mehrpunktgeometrie an, daß die Szene statisch ist und ist auf die Tatsache angewiesen, daß nahezu alle Punkte, die für die Formschätzung ausgewählt wurden, als zu einem einzelnen festen Körper gehörend bekannt sind. In ihrer gegenwärtigen Form hat diese Klasse von Verfahren Nachteile, beispielsweise befassen die Verfahren sich nicht mit dem Problem der Formwiedergewinnung in dynamischen Szenen, insbesondere, wenn die Größe der Bildbewegung aufgrund eines sich unahhängig bewegenden Objektes nicht vernachlässigbar ist:
  • BESCHREIBUNG DER ERFINDUNG
  • Ein Aspekt der Erfindung stellt ein Verfahren für die Bildverarbeitung zur Verfügung, das die Schritte aufweist:
    • (a) Empfangen einer Mehrzahl von zweidimensionalen Bildern, die eine Szene repräsentieren,
    • (b) Berechnen einer mit der Parallaxe verbundenen Beschränkung bzw. Nebenbedingung für ein Paar von Punkten innerhalb der Mehrzahl von Bildem, wobei die mit der Parallaxe verbundene Beschränkung unabhängig von irgendeiner epipolaren Geometrie ist, die für das Paar von Punkten definiert werden kann,
    • (c) Anwenden der mit der Parallaxe verbundenen Beschränkung auf eine Mehrzahl von Punkten innerhalb der Mehrzahl von Bildern, um Informationen zu erzeugen, die repräsentativ dafür sind, ob ein gegebener Punkt innerhalb der Mehrzahl der Bilder mit der die Parallaxe betreffenden Beschränkung konsistent ist, und
    • (d) Verwenden der erzeugten Information für eine Bildverarbeitungsaufgabe, die in Verbindung mit der empfangenen Mehrzahl von Bildern steht.
  • Ein anderer Aspekt der vorliegenden Erfindung stellt eine Vorrichtung für die Bildverarbeitung zur Verfügung, die aufweist: eine Quelle von zweidimensionalen Bildem, die für eine Szene repräsentativ sind, einen Computerprozessor für die Verarbeitung der zweidimensionalen Bilder, der aufweist:
    • (a) eine Einrichtung für das Empfangen einer Mehrzahl von zweidimensionalen Bildern, die repräsentativ für eine Szene sind,
    • (b) eine Einrichtung für das Anwenden einer die Parallaxe betreffenden Beschränkung bzw. Nebenbedingung auf eine Mehrzahl von Punkten innerhalb der Mehrzahl von Bildern, um Informationen zu erzeugen, die dafür repräsentativ sind, ob ein gegebener Punkt innerhalb der Mehrzahl von Bildem konsistent mit der die Parallaxe betreffenden Beschränkung ist, wobei die die Parallaxe betreffende Beschränkung unabhängig von irgendeiner epipolaren Geometrie ist, die für die Mehrzahl von Punkten definiert werden kann,
    • (c) eine Einrichtung für das Anwenden einer Parallaxenbeschränkung an eine Mehrzahl von Punkten innerhalb der Mehrzahl von Bildern, um eine Information zu erzeugen, die repräsentativ dafür ist, ob ein gegebener Punkt innerhalb der Mehrzahl von Bildern mit der die Parallaxe betreffenden Beschränkung konsistent ist,
    • (d) eine Einrichtung für die Verwendung der erzeugten Information für eine Bildverarbeitungsaufgabe, die mit der empfangenen Mehrzahl von Bildern in Beziehung steht, und Erzeugen eines Ausgangssignals, das hiermit in Beziehung steht,
    • (e) eine Ausgabevorrichtung für die Präsentation des Ausgangssignals der bildverarbeitenden Aufgabe.
  • Die Lehren der vorliegenden Erfindung können leicht verstanden werden durch Betrachten der folgenden illustrativen Beschreibung in Verbindung mit den begleitenden Zeichnungen, in denen:
  • 1 ein Blockdiagramm eines Analysesystems für dreidimensionale Szenen darstellt,
  • 2 eine geometrische Darstellung der ebenen Homographie plus der Parallaxenauferlegung zur Verfügung stellt,
  • 3 eine geometrische Darstellung einer paarweisen Parallaxenbeschränkung darstellt,
  • 4 eine geometrische Darstellung einer Szene darstellt, wo die Epipolschätzung unzuverlässig ist, jedoch die relativen Strukturbeschränkungen zuverlässig verwendet werden können, um die relative Struktur innerhalb der Szene wiederherzustellen,
  • 5 ein Flußdiagramm einer Routine darstellt, die die Parallaxenbeschränkung verwendet,
  • 6 und 7 eine Illustration der Parallaxengeometrie und des Dualepipols zur Verfügung stellen und
  • 8a–g eine Reihe von Bildern darstellen, die verwendet und erzeugt werden während der Formwiederherstellung, die auf einem einzelnen Pacallaxenvektor beruht.
  • 9a–b eine zuverlässige Erfassung der 3D-Bewegungsinkonsistenz mit spärlicher Parallaxeninformation unter Verwendung eines Balls und eines Baums darstellt,
  • 10a–f eine Reihe von Bildern sind, die die Erfassung von sich bewegenden Objekten darstellen, die sich auf einen einzelnen Parallaxenvektor stützt.
  • 11a–f eine Reihe von Bildern ähnlich der 10a–f sind, die die Erfassung sich bewegender Objekte beruhend auf einem einzelnen Parallaxenvektor darstellen.
  • Um das Verständnis zu erleichtern, wurden identische Bezugszeichen verwendet, sofern möglich, um identische Elemente, die den Figuren gemeinsam sind, zu bezeichnen.
  • DETAILLIERTE BESCHREIBUNG
  • Überblick
  • Die vorliegende Erfindung verwendet in verschiedenen Bildverarbeitungsaufgaben die geometrischen Beziehungen zwischen der Parallaxenverschiebung von zwei oder mehreren Punkten innerhalb zweier oder mehrerer Bilder. Die Erfindung wendet diese Beziehungen auf verschiedene bildverarbeitende Aufgaben an, wie z. B. (i) die Wiederherstellung einer 3D-Szenenstruktur, (ii) die Erfassung von sich bewegenden Objekten in der Anwesenheit einer kamerainduzierten Bewegung, und (iii) die Synthese von neuen Kameraansichten basierend auf einem gegebenen Satz von Ansichten.
  • Ein wichtiger Vorteil der vorliegenden Erfindung ist die Fähigkeit, effektiv in schwierigen Bildverarbeitungssituationen (z. B. wenn es eine kleine Anzahl von Parallaxenvektoren gibt, wenn die Epipolabschätzung schlecht konditioniert ist und in der Anwesenheit von sich bewegenden Objekten) zu arbeiten. Die vorliegende Erfindung erfordert nicht die Wiedergewinnung der Epipole während der Verarbeitung; daher ist sie auf Situationen anzuwenden, wenn die genaue Wiedergewinnung der Epipole schwierig ist. Darüber hinaus sind die vorliegenden Techniken für die 3D-Szeneanalyse anwendbar, wenn nur ein kleiner Satz von Parallaxenvektoren verfügbar ist. In der Tat kann die ebene Parallaxe eines einzelnen Punktes verwendet werden als eine Referenz, um die Struktur der gesamten Szene wiederherzustellen und um zu bestimmen, ob andere Punkte zu der statischen Szene oder zu einem sich bewegenden Objekt gehören.
  • Die Ergebnisse, die hier präsentiert sind, werden in Abhängigkeit von der residualen Parallxenverschiebung von Punkten nach dem Aufheben einer planaren Homographie ausgedrückt. Es wurde gezeigt, daß die Zerlegung der Bildbewegung in eine Homographie plus eine Parallaxe robuster, sogar allgemeiner als die Zerlegung in eine Bewegung plus Translation ist. Techniken für das Abschätzen der planaren Homographie aus Paaren von Bildem werden beschrieben in J. R. Bergen, P. Anandan, K. J. Hanna und R. Hingorani, "Hierarchical model-based motion estimation" European Conference on Computer Vision, S. 237–252, Santa Margarita Ligure, Mai 1992.
  • Bei der vorliegenden Erfindung wird eine parallaxenbasierte Strukturbeschränkung abgeleitet, die die projektive Struktur zweier Punkte mit ihren Bildpositionen und ihren Parallaxenverschiebungen in Bezug bringt. Durch Eliminieren der relativen projektiven Struktur eines Punktpaares zwischen drei Einzelbildern wird eine Beschränkung, bezeichnet als die parallaxenbasierte Stabilitätsbeschränkung, auf den Parallaxenbewegungen zweier Punkte, die sich als feste Objekte über die Einzelbilder bewegen, abgeleitet.
  • Ebenso wird unten ein alternativer Weg des Ableitens der Parallaxenbasierten Stabilitätsbeschränkung dargelegt. In der alternativen Ableitung wird die Beschränkung geometrisch statt algebraisch bestimmt. Dies führt zu einer einfachen und intuitiven geometrischen Interpretation der Mehrfacheinzelbildstabilitätsbeschränkung und zu der Ableitung eines dualen Punktes zu dem Epipol.
  • Beispiele von Anwendungen dieser Parallaxenbasierten Beschränkungen auf das Lösen dreier wichtiger Probleme in der Analyse von 3D-Szenen werden ebenso beschrieben. Anwendungen beinhalten: (i) die Wiederherstellung einer 3D-Szenenstruktur, (ii) die Erfassung von sich bewegenden Objekten in der Anwesenheit von kamerainduzierter Bewegung und (iii) die Synthese von neuen Kameraansichten basierend auf einem gegebenen Satz von Ansichten.
  • Schließlich wird die Verallgemeinerung der Beschränkung auf die volle Bildbewegung durch Einschließen der planaren Homographiekomponente beschrieben.
  • In 1 ist ein Blockdiagramm eines dreidimensionalen Szeneanalysesystems 100 dargestellt, das für die Implementierung der vorliegenden Erfindung geeignet ist. Das System enthält eine Bildquelle 102, ein Computersystem 104, ein oder mehrere Ausgabevorrichtungen 124 und ein oder mehrere Eingabevorrichtungen 126. Die Bildquelle 102 kann eine Videokamera, eine Infrarotkamera oder irgendein anderer Sensor sein, der eine Reihe von zweidimensionalen Bildern erzeugt, die eine Szene darstellen. Altemativ kann eine Bildquelle eine Speichereinrichtung sein, wie z. B. ein Videobandrecorder, ein Diskettenlaufwerk oder irgendeine andere Einrichtung für das Speichern von sequentiellen Bildern, die eine Szene darstellen. Das System verarbeitet im allgemeinen digitale Bilder, aus diesem Grund wird, wenn die Bildquelle analoge Bilder erzeugt, ein Digitalisierer (nicht gezeigt) zwischen der Bildquelle und dem Computersystem verwendet.
  • Der Universalcomputer 104 erleichtert die Bildverarbeitung, die Szeneanalyse und die Bildanzeige. Genauer gesagt enthält das Computersystem einen Datenpuffer 110, eine zentrale Verarbeitungseinheit (CPU) 112, einen Unterstützungsschaltkreis 114, einen Speicher mit wahlfreiem Zugriff (RAM) 116; einen Nur-Lese-Speicher (ROM) 118 und einen Anzeigetreiber 120. Zusätzlich interagiert ein Benutzer mit dem Computersystem über eine oder mehrere Eingabeeinrichtungen 126, wie z. B. eine Tastatur, eine Maus, einen Trackball, ein Touchpad oder dergleichen. Ebenso weist das Computersystem Bilder und verschiedene graphische Interfaceanzeigen (Bildschirme) auf der Ausgangsanzeigeeinrichtung 124 an, wie z. B. einen Computermonitor. Alternativ kann das Computersystem ebenso mit anderen Ausgabeanzeigeeinrichtungen interagieren, wie z. B. einem Drucker, um eine "Hardcopy" bzw. einen Ausdruck von irgendeiner Anzeige zur Verfügung zu stellen, die auf dem Computermonitor erscheint.
  • Der Datenpufferspeicher 110 stellt eine Datenfrequenzangleichung (Einzelbildpufferspeicherung) zwischen der Bildquelle und der CPU zur Verfügung. Typischerweise ist dieser Pufferspeicher ein First-In-First-Out- (FIFO-) Pufferspeicher. Solche Pufferspeicher werden typischerweise verwendet, um eine konstante Datenrate zu der CPU zur Verfügung zu stellen, während eine Flexibilität in den Datenraten, die von einer Bildquelle erzeugt werden können, zur Verfügung gestellt wird.
  • Die CPU 112 ist typischerweise ein Allzweckprozessor, wie z. B. ein PowerPC, Pentium oder irgendein anderer allgemein verfügbarer Prozessor. PowerPC ist eine eingetragene Marke von International Business Machines aus Armonk, New York, und Pentium ist eine eingetragene Marke von Intel Corporation aus Santa Clara, Kalifornien. Da es nicht notwendig ist, die Softwareimplementierung auf einem bestimmten Prozessor auszuführen, können die Routinen der vorliegenden Erfindung auf irgendeinem Prozessortyp oder auf Kombinationen von Prozessoren in einer parallelverarbeitenden Computerumgebung ausgeführt werden. Zusätzlich kann die Szeneanalyse anstelle der Verwendung eines Allzweckcomputers innerhalb eines Echtzeitprozessors durchgeführt werden.
  • Die CPU 112 arbeitet in Verbindung mit verschiedenen anderen Schaltkreisen, wie z. B. dem RAM 116, dem ROM 118 und dem Unterstützungsschaltkreis 114, wie z. B. Coprozessor(en), Taktkreise, Cachespeicher, Stromversorgungen und anderen gut bekannten Schaltkreisen. Der Betrieb und die Zwischenverbindung dieser verschiedenen Computerkomponenten ist im Stand der Technik gut bekannt und erfordert keine weitere Erklärung. Der Anzeigetreiber 120 kann eine Videokarte, ein Druckertreiber oder irgendeine andere gebräuchliche Treibersoftware oder -hardware sein, wie sie von der (den) Ausgangsvorrichtung(en) 106 erfordert wird.
  • Der RAM 116 speichert die Softwareimplementierung der vorliegenden Erfindung. Typischerweise werden die Routinen der Endung in einer Massenspeichereinrichtung (nicht gezeigt) abgelegt und für die zeitweilige Speicherung in dem RAM 116 wieder aufgerufen, wenn sie von der CPU 112 ausgeführt werden. In 1 ist die Erfindung in einer dreidimensionalen Szenenanalyseroutine 122 verkörpert.
  • A. Parallaxenbasierte Beschränkungen auf Punktpaaren
  • Eine Beschränkung auf der Parallaxenbewegung von Punktpaaren zwischen zwei Einzelbildern, die eine dreidimensionale Szene, wie sie von einer Videokamera abgebildet wird, darstellen, wird unten beschrieben. Die abgeleitete Beschränkung kann verwendet werden, um eine relative 3D-Struktur, die für zwei Punkte invariant ist, allein aus ihren Parallaxenvektoren wiederherzustellen, ohne irgendeine zusätzliche Information und insbesondere ohne daß die Wiederherstellung der Kameraepipole erforderlich ist.
  • Die Parallaxenbeschränkung wird auf mehrere Einzelbilder erweitert, um eine Stabilitätsbeschränkung auf jedem Paar von Bildpunkten (ähnlich der trilinearen Beschränkung) zu bilden. Es können nämlich Inkonsistenten in der 3D-Bewegung von zwei Punkten, die zu sich unabhängig bewegenden 3D-Objekten gehören, basierend auf ihrer Parallaxenverschiebung zwischen drei (oder mehreren) Einzelbildern erfaßt werden, ohne daß die Notwendigkeit besteht, irgendeine 3D-Information zu schätzen.
  • Um die Parallaxenbeschränkung abzuleiten, wird als erstes die Zerlegung der Bildbewegung in eine Homographie (d. h. die Bildbewegung einerwillkürlichen ebenen Fläche) und residuelle Parallaxenverschiebungen beschrieben. Diese Zerlegung ist im Stand der Technik bekannt.
  • 1. Die Ebenen-Parallaxennotationen
  • Figure 00060001
  • Figure 00070001
  • Die Gleichungen (4) und (5) stellen die Form der Parallaxennotation zur Verfügung, die in der folgenden Beschreibung verwendet werden. Es sei bemerkt, daß sie in Begriffen der 2D-Bildkoordinaten ausgedrückt sind. Obgleich wir die Parallaxennotation für TZ ≠ 0 und TZ ≠ 0 unterschiedlich hergeleitet haben, werden sie vereinheitlicht und als ein einzelner Fall in den folgenden Abschnitten behandelt.
  • 2. Die parallaxenbasierte Strukturbeschränkung
  • Figure 00070002
  • Figure 00080001
  • Figure 00090001
  • 3 stellt die Beschränkung geometrisch dar.
  • Der Vorteil der Beschränkung in Gleichung 12 ist der, daß dies direkt aus den Positionen und Parallaxenvektoren der zwei Punkte Information zur Verfügung stellt ohne die Notwendigkeit, über die Berechnung des Epipols zu gehen unter Verwendung von soviel Information wie ein Punkt über einen anderen geben kann.
  • 4 zeigt graphisch ein Beispiel einer Konfiguration, in der das Schätzen des Epipols sehr unzuverlässig ist, wobei das Schätzen der relativen Struktur direkt aus Gleichung (12) zuverlässig ist.
  • 3. Die parallaxenbasierten Stabilitätsbeschränkungen
  • In diesem Abschnitt wird beschrieben, wie die parallaxenbasierte Strukturbeschränkung auf mehrere Einzelbilder erweitert werden kann, um eine Stabilitätsbeschränkung auf Paaren von Bildpunkten zu bilden, die weder Strukturparameter noch Kamerageometrie enthalten.
  • Stabilität über mehrere Einzelbilder.
  • Figure 00100001
  • Stabilität über mehrere Punkte:
  • Anstelle der Betrachtung von Punktpaaren über mehrere Einzelbilder ist es eine Alternative, mehrere Punkte über zwei Einzelbilder zu betrachten, um auf eine unterschiedliche Form der Festigkeitsbeschränkung zu kommen.
  • Figure 00100002
  • Figure 00110001
  • Der Nutzen der Stabilitätsbeschränkung (14) liegt in der Tatsache, daß sie diese Information direkt von den Positionen und Parallaxenvektoren der drei Punkte zur Verfügung stellt ohne die Notwendigkeit, durch die instabile Berechnung des Epipols zu gehen, unter Verwendung von soviel Information wie zwei Punkte über den dritten geben können.
  • B. Parallaxengeometrie und Epipoldual
  • In diesem Abschnitt wird ein anderer Weg der Ableitung der parallaxenbasierten Stabilitätseinschränkung beschrieben. Anstelle des algebraischen Ableitens der Beschränkungen verwendet die alternative Ableitung die Geometrie. Dies führt zu einer einfachen und intuitiven geometrischen Interpretation der Mehrfacheinzelbilderstabilitätsbeschränkung und zu der Ableitung eines bualpunktes zu dem Epipol. Obgleich dieser eindeutige Bildpunkt (der Epipoldual) hervorgehoben wird, erfordert die Stabilitätseinschränkung selbst nicht die Abschätzung des Dualepipols, genauso wie sie nicht die Abschätzung des Epipols selbst erfordert.
  • Figure 00110002
  • Es sei R der Schnittpunkt zwischen der Linie, die P und Q verbindet, und der Ebene S. Es sei bemerkt, daß die Punkte P, Q, R, Pw und (Qw koplanar sind. Somit sind Pw und Qw und RQ linear. Natürlich sind P, Q und R durch Konstruktionen kollinear.
  • Figure 00120001
  • Dies ist dieselbe Gleichung wie die Stabilitätsbeschränkung, die in Gleichung (13) abgeleitet wurde. Es sei bemerkt, daß die Stabilitätsbeschränkung selbst nicht die Abschätzung des Konvergenzpunk– tes
    Figure 00120002
    erfordert, genauso wie sie nicht die Abschätzung des Epipols erfordert.
  • Der Punkt
    Figure 00120003
    ist der Dualpunkt des Epipols: Der Epipol ist der Schnittpunkt von mehreren Parallaxenvektoren zwischen einem Paar von Einzelbildern, d. h. der Schnittpunkt aller Linien, die zwischen einem Einzelbildpaar jeden Bildpunkt mit seinem verzerrten Punkt verbinden. Wohingegen der Dualpunkt
    Figure 00120004
    der Schnittpunkt von allen Linien ist, die ein Punktepaar in dem Referenzbild und das entsprechende Paar von verzerrten Punkten von allen anderen Einzelbildern verbindet.
  • C. Anwendungen der paarweisen Parallaxengeometrie
  • In diesem Abschnitt wird beschrieben, wie die paarweise Parallaxengeometrie in ihren verschiedenen Formen einen Ansatz zur Handhabung von einigen der gut bekannten Problemen in der 3D-Szenenanalyse zur Verfügung stellt, insbesondere: (i) Erfassung von sich bewegenden Objekten, (ii) Formwiederherstellung, (iii) Erzeugung neuer Ansichten. Es wird gezeigt, daß die Parallaxenbeschränkung die Fähigkeit für das Lösen dieser Probleme zur Verfügung stellt, ohne daß zuerst ein "komplexeres" Problem zu lösen ist.
  • 5 stellt ein Flußdiagramm eines Prozesses für das Durchführen der dreidimensionalen Szeneanalyse dar, der die Formbeschränkung von Gleichung (12) (oder der äquivalenten Gleichung (11)) und die Stabilitätsbeschränkungen der Gleichungen (13) und (14) verwendet. Der Prozeß wird als eine ausführbare Softwareroutine 500 dargestellt, die in Schritt 502 beginnt und mit Schritt 504 fortsetzt. In Schritt 504 wird die Routine mit einer Mehrzahl von Eingangsbildern zur Verfügung gestellt. In Schritt 506 berechnet die Routine eine planare Parallaxenbewegung (z. B.
    Figure 00130001
    für jeden
  • Punkt in dem Bild. In Schritt 508 werden dann für jede Bewegungstrajektorie, die in Schritt 506 bestimmt wurde, eine oder mehrere der Beschränkungen der Gleichungen (11), (12), (13) und (14) unter Bezug auf alle anderen Punkte angewendet. Die Routine 500 verwendet die Information von Schritt 508 (z. B. die Information, die einige Bildpunkte als konsistent mit den Beschränkungen und einige Bildpunkte als konsistent mit der Beschränkung darstellt) innerhalb eines oder mehrerer bildverarbeitender Aufgaben. Diese Aufgaben beinhalten, sind jedoch nicht hierauf begrenzt, die Erfassung von sich bewegenden Objekten (Schritt 510), die Formwiederherstellung (Schritt 512) und die Erzeugung einer neuen Ansicht (Schritt 514). Jede dieser illustrativen Anwendungen der erfindungsgemäßen Technik werden unten beschrieben.
  • 1. Abschätzen der planaren Parallaxenbewegung
  • Die Abschätzung der planaren Parallaxenbewegung, die für das Durchführen der Experimente verwendet wird, die in diesem Abschnitt dargestellt werden, wurde durchgeführt unter Verwendung zweier aufeinanderfolgender Berechnungsschritte: (i) 2D-Bildausrichtung, um eine erfaßte ebene Bewegung zu kompensieren (d. h. die Homographie in der Form einer 2D-parametrischen Transformation) und (ii) die Schätzung der residuellen Bildverschiebungen zwischen den ausgerichteten Bildern (d. h. die Parallaxe). Solch ein System ist in der provisorischen US-Patentanmeldung Nr. 60/011,496, eingereicht am 02.12.1996 (Anwaltsaktenzeichen 12040) beschrieben.
  • 2. Formwiederherstellung
  • Die parallaxenbasieite Strukturbeschränkung (Gleichung (12)) kann verwendet werden, um eine relative 3D-Struktur zwischen Punktpaaren direkt aus ihren Parallaxenvektoren wiederherzustellen. Dies impliziert, daß die Struktur der gesamten Szene relativ zu einem einzelnen Referenzbildpunkt (mit einer Parallaxe von ungleich Null) wiederhergestellt werden kann. Singularitäten treten auf, wenn der Nenner der Beschränkung (Gleichung (12)) in Richtung Null tendiert, d. h. für Punkte, die auf der Linie liegen, die von dem Referenzpunkt in Richtung ihres Parallaxenvektors verläuft.
  • Die 8a–g zeigen ein Beispiel einer Wiederherstellungsstruktur einer gesamten Szene relativ zu einem einzelnen Referenzpunkt. Drei Ansichten, die von einer Handkamera erhalten wurden, von einem kleinen Teppich, der mit Spielzeugautos und -boxen bedeckt ist, wurden als Quelldaten verwendet, deren Höhen gemessen wurden. Die ertaßte planare 2D-Bewegung war die des kleinen Teppichs (8d). Ein einzelner Punkt mit einer planaren Parallaxe von ungleich Null wurde als Referenzpunkt für das Abschätzen der relativen Form ausgewählt (8e). 8f zeigt die wiederhergestellte relative Struktur der gesamten Szene aus zwei Einzelbildern (8b und 8c). Regionen nahe der Bildgrenzen wurden ignoriert. Die erhaltenen Resultate waren recht genau, abgesehen von der singulären Linie in Richtung der Parallaxe des Referenzpunktes. Die singuläre Linie ist in 8f offensichtlich.
  • Die Singularitäten können entfernt werden und die Qualität der berechneten Struktur kann verbessert werden entweder durch Verwendung von mehreren Einzelbildern oder durch Verwendung von mehreren Referenzpunkten:
    • – Mehrere Einzelbilder: Singularitäten werden entfernt durch Verwendung von mehreren Einzelbildern, wenn ihre Epipole nicht kollinear sind. Die Nicht-Kollinearität von Epipolen kann durch eine Veränderung in der Parallaxenrichtung des Referenzbildpunktes erfaßt werden.
    • – Mehrere Punkte: Singularitäten können entfernt werden durch Verwendung zusätzlicher Referenzbildpunkte. Ein zusätzlicher Referenzpunkt sollte derart ausgewählt werden, daß: (i) er nicht auf der singulären Linie liegt (d. h. in der Richtung des Parallaxenvektors) des ersten Referenzpunktes (er sollte vorzugsweise auf der Linie senkrecht zu diesem ausgewählt werden), und (ii) der zusätzliche Referenzpunkt sollte zunächst darauf überprüft werden, daß er sich konsistent. mit dem ersten Referenzpunkt durch die Stabilitätsbeschränkung von Gleichung (13) über ein Paar von Einzelbildern bewegt.
  • Kombinationen von mehreren Referenzpunkten über mehrere Einzelbilder können ebenso verwendet werden. 8g zeigt ein Beispiel der Wiederherstellung der Struktur einer gesamten Szene aus drei Einzelbildern relativ zu dem einzelnen Referenzpunkt wie in 8f. Die singuläre Linie in 8f ist verschwunden.
  • Die Fähigkeit, relativ gute Strukturinformation zu erhalten, selbst unter Bezug auf einen einzelnen Punkt hat verschiedene wichtige Vorteile:
    • – Sie erfordert nicht die Abschätzung des Epipols und daher erfordert sie nicht die dichte Parallaxeninformation.
    • – Im Gegensatz zu konventionellen Techniken für das Wiederherstellen von Strukturen stellt sie die Fähigkeit zur Verfügung, dynamische Szenen zu handhaben, da sie nicht eine Samm-lung von Bildpunkten erfordern, von denen a priori bekannt ist, daß sie zu dem einzelnen sich bewegenden 3D-Objekt gehören.
    • – Da es sich auf einen einzelnen Parallaxenvektor stützt, stellt es einen natürlichen kontinuierlichen Weg zur Verfügung, die Lücke zwischen 2D-Fällen, die annehmen, daß nur eine ebene Bewegung existiert, und 3D-Fällen, die sich auf das Vorhandensein von Parallaxendaten stützen, zu überbrücken.
  • 3. Die Ertassung von sich bewegenden Objekten
  • Eine Anzahl von Techniken existiert, um die Analyse von Mehrfachbewegungen in dem einfacheren 2D-Fall zu handhaben, in denen Bewegungen von unabhängigen sich bewegenden Objekten durch parametrische 2D-Transformation modelliert werden. Diese Verfahren erfassen jedoch Punkte mit planarer Parallaxenbewegung als sich bewegende Objekte, da sie eine unterschiedliche 3D-Bildbewegung gegenüber dem ebenen Teil der Hintergrundszene haben.
  • Im allgemeinen 3D-Fall ist das Problem der Erfassung von sich bewegenden Objekten viel komplexer, da es die Erfassung von 3D-Bewegungsinkonsistenzen erfordert. Typischerweise wird dies durchgeführt durch Wiederherstellen der Epipolargeometrie. Das Versuchen, die Epipolargeometrie (d. h. die Kamerabewegung) in der Anwesenheit von mehreren sich bewegenden Objekten zu schätzen ohne vorherige Segmentierung, ist extrem schwierig. Dieses Problem wird hoch akuter, wenn nur noch eine dürftige Parallaxeninformation existiert.
  • 9a stellt graphisch ein Beispiel einer Konfiguration dar, in der das Abschätzen des Epipols in der Anwesenheit von mehreren sich bewegenden Objekten relativ große Fehler erzeugen kann, selbst wenn Clustertechniken in der Epipoldomäne verwendet werden, wie von einigen konventionellen Techniken vorgeschlagen wird. Das Sich-Verlassen auf die Epipolberechnung, um Inkonsistenzen in der 3D-Bewegung zu erfassen, versagt bei der Erfassung von sich bewegenden Objekten in diesen Fällen.
  • In 9a bewegt sich die Kamera nach rechts. Das einzige statische Objekt mit keiner Parallaxenbewegung ist das des Baumes. Der Ball fällt unabhängig. Der Epipol kann inkorrekt als e berechnet werden. Der falsche Epipol e ist mit beiden Bewegungen konsistent.
  • Für jedes der drei Einzelbilder oder für mehrere Einzelbilder in einer Sequenz kann die Par allaxenstabilitätsbeschränkung (Gleichung (13)) angewendet werden, um Inkonsistenzen in der 3D-Bewegung von einem Bildpunkt relativ zu einem anderen direkt aus ihren "Parallaxen"vektoren über mehrere Einzelbilder zu erfassen, ohne die Notwendigkeit, entweder die Kamerageometrie oder die Formparameter zu schätzen, wobei die "Parallaxen"vektoren (d. h. die residuelle Bewegung nach der Planarregistrierung) in konsistenten Gruppen zu konsistenten sich bewegenden 3D-Objekten gehören, selbst in Fällen, wie in 9a, wo die Parallaxeninformation minimal ist und die unabhängige Bewegung nicht vernachlässigbar ist Dieser Prozeß wird in Schritt 510 von 5, wie oben beschrieben, durchgeführt. 9b stellt graphisch dar, wie die Stabilitätsbeschränkung von Gleichung (13), wenn sie angewendet wird, die 3D-Inkonsistenz über die drei Einzelbilder erfaßt.
  • Die 10a–f zeigen ein Beispiel der Verwendung der Stabilitätsbeschränkung von Gleichung (13), um 3D-Inkonsistenzen zu erfassen. In dieser Sequenz ist die Kamera in Bewegung (Translationsbewegung von links nach rechts), was einer Parallaxenbewegung auf dem Haus, der Straße und dem Straßenschild von unterschiedlicher Größe induziert. Das Auto bewegt sich unabhängig von links nach rechts. Wenn Gleichung (13) auf die Bilder angewendet wird, ist die erfaßte ebene 2D-Bewegung diejenige des Hauses. Die planare Parallaxenbewegung wird nach der 2D-Registrierung der drei Bilder unter Bezug auf das Haus (10d) berechnet. Wie in 10d gezeigt ist, werden in diesem Schritt alle Punkte, die zu der erfaßten ebenen 2D-Bewegung korrespondieren, aus dem Bild entfernt. Als nächstes wird ein einzelner Punkt auf dem Straßenschild als Referenzpunkt ausgewählt (10e). 10f stellt das Maß der Inkonsistenz von jedem Punkt in dem Bild unter Bezug auf den ausgewählten Straßenschildpunkt dar, wobei alle Bildpunkte, die eine ebene 2D-Bewegung oder eine 3D-Bewegung, die konsistent mit dem ausgewählten Referenzpunkt ist, darstellen, entfernt sind. Helle Regionen zeigen große Werte an, wenn die Beschränkung von Gleichung (13) (d. h. die Bewegungsdiskontinuitäten-Verletzungen in der 3D-Stabilität, die über die drei Einzelbilder in Bezug auf den Straßenschildpunkt erfaßt wurden) angewendet werden. Der Bereich, der erfaßt wurde als sich 3D-inkonsistent unter Bezug auf den Straßenschildpunkt bewegend, entspricht dem Auto. Regionen, die nahe der Bildgrenze sind, wurden ignoriert. Alle anderen Regionen des Bildes wurden als sich 3D-konsistent mit dem Straßenschildpunkt bewegend erfaßt.
  • Allgemein gesprochen identifiziert und entfernt der Prozeß 1) die Pixel, die der ebenen 2D-Bewegung entsprechen, und 2) die Pixel, die denjenigen Punkten entsprechen, die über die drei Einzelbilder 3D-Stabilität zeigen. Was verbleibt, ist der Bildbereich, der keine 3D-Stabilität über die drei Einzelbilder zeigt, was konsistent mit den Bildebenen ist (d. h. das Haus und das Verkehrszeichen). Daher stellt dieses Verfahren unter der Annahme einer nicht kalibrierten Kamera einen Mechanismus für das Segmentieren aller residuellen Bewegungsvektoren, die nicht Null sind (nach der ebenen 2D-Stabilisierung), in Gruppen, die sich konsistent (im 3D-Sinn) bewegen und für das Bestimmen aus den relativen Konsistenzen, ob ein Objekt sich in dem Bild unabhängig bewegt (d. h. inkonsistent mit der Parallaxenbewegung), zur Verfügung.
  • Die 11a–f zeigen ein anderes Beispiel der Verwendung der Stabilitätsbeschränkung von Gleichung (13), um 3D-Inkonsistenzen zu erfassen. In dieser Abfolge ist die Kamera an einem Helikopter befestigt, der von links nach rechts fliegt, was eine Parallaxenbewegung (von unterschiedlicher Größe) auf das Hausdach und die Bäume (unterer Bereich des Bildes) induziert und auf die Elektrizitätsmasken (neben der Straße). Drei Autos bewegen sich auf der Straße unabhängig. Die erfaßte ebene 2D-Bewegung ist die der Bodenfläche (11d). Ein einzelner Punkt wurde auf einem Baum als Referenzpunkt ausgewählt (11e). 11f stellt das Maß der Inkonsistenz von jedem Punkt in dem Bild unter Bezug auf den ausgewählten Referenzpunkt dar. Helle Bereiche zeigen 3D-Inkonsistenz an, die über drei Einzelbilder erfaßt wurde. Die drei Autos werden als sich inkonsistent mit dem ausgewählten Baumpunkt bewegend erfaßt. Regionen nahe der Bildgrenze werden ignoriert. Alle anderen Bildregionen werden als sich konsistent mit dem ausgewählten Baumpunkt bewegend erfaßt.
  • Im Stand der Technik wurde eine Stabilitätsbeschränkung zwischen drei Einzelbildern in der Form eines trilinearen Tensors unter Verwendung von regelmäßigen Bildverschiebungen präsentiert. Dieses Verfahren erfordert jedoch eine Sammlung eines Satzes von Bildpunkten, von denen a priori bekannt ist, daß sie zu dem einzelnen sich bewegenden 3D-Objekt gehören. Das Auswählen eines inkonsistenten Satzes von Punkten führt zu einem fehlerhaften Tensor und somit zu einer falschen Erfassung von sich bewegenden Objekten.
  • Die Fähigkeit der Parallaxenstabilitätsbeschränkung der vorliegenden Erfindung, 3D-Inkonsistenzen unter Bezug auf einen einzelnen Punkt zu erfassen, stellt einen natürlichen Weg zur Verfügung, um eine Brücke zwischen 2D-Algorithmen (die annehmen, daß jede 2D-Bewegung, die sich von der ebenen Bewegung unterscheidet, ein unabhängiges sich bewegendes Objekt ist) und den 3D-Algorithmen (die sich darauf stützen, vorheriges Wissen über einen konsistenten Satz von Punkten zu haben oder alternativ dichte Parallaxendaten haben) zur Verfügung zu stellen.
  • 4. Erzeugung einer neuen Ansicht
  • Dieser Abschnitt beschreibt einen Ansatz basierend auf der Parallaxenstabilitätsbeschränkung für das Erzeugen von neuen Ansichten unter Verwendung eines Satzes von "Modell"-Ansichten.
  • Verfahren für das Erzeugen neuer Ansichten basierend auf der Wiederherstellung der Epipolargeometrie sind wahrscheinlich stärker rauschempfindlich als Verfahren, die die neue Ansicht allein auf 2D-Information-basierend erzeugen, d. h. ohne von 2D durch ein 3D-Medium zu gehen, um Information noch einmal auf eine neue 2D-Bildebene (die virtuelle Ansicht) zu projizieren. Der Ansatz, der unten beschrieben wird, für die Erzeugung einer neuen Ansicht erfordert keine Schätzung der Epipolargeometrie oder der Form.
  • Sind zwei "Modell"-Einzelbilder gegeben, kann die planare Parallaxenbewegung für alle Bildpunkte zwischen dem ersten (Referenz-) Einzelbild und dem zweiten Einzelbild berechnet werden. Ein Bildpunkt mit einer Parallaxe von nicht Null wird ausgewählt und ein "virtueller" Parallaxenvektor wird für diesen Punkt aus dem Referenzeinzelbild zu dem "virtuellen" Einzelbild, das zu erzeugen ist; definiert. Die Stabilitätsbeschränkung (Gleichung (13)) spezifiziert dann eine einzelne Einschränkung für die virtuelle Parallaxenbewegung von allen anderen Punkten von dem Referenzeinzelbild zu dem virtuellen Einzelbild. Da jeder 2D-Parallaxenvektor zwei Komponenten (d. h. zwei Unbekannte) hat, werden zumindest zwei "virtuelle" Parallaxenvektoren spezifiziert werden müssen, um alle anderen Parallaxenvektoren zu lösen. Sobald die virtuellen Parallaxenvektoren berechnet sind, kann die neue virtuelle Ansicht erzeugt werden durch zweimaliges Verzerren des Referenzbildes: Als erstes wird jeder Bildpunkt um seine berechnete virtuelle Parallaxe verzerrt. Dann wird global das gesamte Einzelbild mit einer virtuellen ebenen 2D-Bewegung für die Virtuelle Homographie verzerrt.
  • Es sei bemerkt, daß zwei virtuelle Parallaxenvektoren eine nicht ausreichende Beschränkung für manche Bildpunkte zur Verfügung stellen können. Dies liegt aufgrund der ungünstigen Lokalisierung der Punkte in der Bildebene unter Bezug auf die zwei ausgewählten Referenzpunkte und ihrer Parallaxenvektoren. Es können jedoch andere Bildpunkte, für die die Beschränkung robust und ausreichend ist, um eine zuverlässige virtuelle Parallaxe zu erzeugen, als zusätzliche Punkte verwendet werden (sobald ihre virtuelle Parallaxe berechnet wurde), um die virtuelle Parallaxe der singulären Punkte zuverlässig einzuschränken.
  • D. Die generalisierte Parallaxenbeschränkung
  • In diesem Abschnitt wird beschrieben, wie die paarweise Parallaxenbeschränkung (Gleichungen (11), (12), (13) und (14)) erweitert werden können, um die volle Bildbewegung (im Gegensatz zu der Parallaxenbewegung) zu behandeln, selbst wenn die Homographie unbekannt ist. Dies ist nützlich für die Behandlung von Szenen, die keine physikalisch ebene Fläche enthalten. Eine Form einer generalisierten Parallaxenbeschränkung zwischen zwei Einzelbildern in Abhängigkeit von den unbekannten Homographieparametern und der relativen projektiven Struktur von Punktpaaren wird beschrieben.
  • Die Gleichungen (1) und (2) können in eine einzelne Form vereinigt werden:
    Figure 00180001
  • Die generalisierte Parallaxenbeschränkung (17) wird in Abhängigkeit von der Homographie A', den Bildkoordinaten eines Punktpaares in zwei Einzelbilder und der relativen projektiven Struktur der zwei Punkte ausgedrückt. Die generalisierte Beschränkung beinhaltet nicht die Epipole.
  • Die generalisierte Parallaxenbeschränkung regt eine neue implizite Darstellung der allgemeinen 2D-Bildbewegung an: Anstelle des Suchens nach der Darstellung der 2D-Bildbewegung in Abhängigkeit von: Homographie plus Epipol plus projektive Struktur, regt sie eine implizite Darstel-lung der 2D-Bildbewegung in Abhängigkeit von der Homographie plus relativer projektiver Struktur von Punktpaaren an. Da diese Darstellung den Epipol nicht enthält, kann sie leicht auf mehrere Einzelbilder erweitert werden.
  • Figure 00190001
  • Gleichung (19) ist eine Stabilitätsbeschränkung für ein Punktepaar über drei Einzelbilder. Wie der trilineare Tensor des Standes der Technik beinhaltet er die Parameter von zwei Homographien über drei Einzelbilder. Anders als der trilineare Tensor enthält er nicht den Epipol, sondern wird stattdessen in Punktpaaren ausgedrückt.
  • Die trilineare Beschränkung basiert auf einem ursprünglichen Referenzpunkt und jeder zusätzliche Punkt addiert vier linear unabhängige Gleichungen, um die Unbekannten des Tensors zu beschränken (die Kombinationen der Homographieparanieter und des Epipols sind).
  • In der generalisierten Parallaxenstabilitätsbeschränkung ist die Basis ein Punktepaar. Hier fügt ebenso jeder zusätzliche Punkt vier linear unabhängige Stabilitätsbeschränkungen ein. Diese können abgeleitet werden durch Ausklammern von TZ aus Gleichung (16) mit dem zusätzlichen drit ten Punkt (immer noch innerhalb eines Paares von Einzelbildern), um die vier linear unabhängigen Gleichungen über die drei Einzelbilder zu bilden.
  • Obgleich verschiedene Ausführungsformen, die die Lehren der vorliegenden Erfindung beinhalten, gezeigt und hier im Detail beschrieben wurden, ergeben sich den Fachleuten leicht viele andere variierte Ausführungsformen, die immer noch diese Lehren beinhalten.

Claims (16)

  1. Verfahren für die Bildverarbeitung, das die Schritte aufweist: a) Empfangen einer Mehrzahl von zweidimensionalen Bildern, die eine Szene darstellen, b) Berechnen einer mit der Parallaxe verbundenen Beschränkung bzw. Nebenbedingung für ein Paar von Punkten innerhalb der Mehrzahl von Bildern, wobei die mit der Parallaxe verbundene Beschränkung unabhängig von irgendeiner epipolaren Geometrie ist, die für das Paar von Punkten definiert werden kann, c) Anwenden der mit der Parallaxe verbundenen Beschränkung auf einer Mehrzahl von Punkten innerhalb der Mehrzahl von Bildern, um Informationen zu erzeugen, die repräsentativ dafür sind, ob ein gegebener Punkt innerhalb der Mehrzahl der Bilder mit der die Parallaxe betreffende Beschränkung konsistent ist, und d) Verwenden der erzeugten Information für eine Bildverarbeitungsaufgabe, die in Verbindung steht mit der empfangenen Mehrzahl von Bildern.
  2. Verfahren für die Bildverarbeitung nach Anspruch 1, um sich bewegende Objekte zu erfassen, wobei: Schritt (b) den Schritt beinhaltet des Berechnens einer Nebenbedingung für die Parallaxensteifigkeit für zumindest ein Paar von Punkten innerhalb der Mehrzahl von Bildern, wobei die Nebenbedingung für die Parallaxensteifigkeit unabhängig von irgendeiner epipolaren Geometne sind, die für das Paar von Punkten definiert werden kann, und Schritt (d) den Schritt enthält des Verwendens der erzeugten Information, um die Erfassung von sich bewegenden Objekten durchzuführen, die mit der empfangenen Mehrzahl von Bilder in Verbindung steht.
  3. Verfahren nach Anspruch 2, wobei die Nebenbedingung für die Parallaxensteifigkeit aus der Positionsinformation des Paares von Punkten und den Parallaxenvektoren des Paares von Punkten abgeleitet wird, die aus dreien der empfangenen Mehrzahl von Bildern erzeugt werden.
  4. Verfahren nach Anspruch 2, wobei die Nebenbedingung für die Parallaxensteifigkeit aus der Positionsinformation von zumindest drei Punkten und den Parallaxenvektoren der zumindest drei Punkte abgeleitet wird, die aus zweien der empfangenen Mehrzahl von Bildern erzeugt werden.
  5. Verfahren nach Anspruch 2, wobei: Schritt (c) weiterhin die Schritte aufweist: (c1) Anwenden einer zweidimensionalen Transformation auf die Mehrzahl der Bilder, um Regionen der Mehrzahl von Bildern auszurichten und eine Mehrzahl von fehlausgerichteten Regionen der Mehrzahl von Bildern zu identifizieren, (c2) Segmentieren und Ausrichten der identifizierten Regionen, um segmentierte Regionen zu erzeugen, und Schritt (d) weiterhin den Schritt aufweist: (d1) das iterative Anordnen und Segmentieren der segmentierten Regionen, bis eine verbleibende Region ein Kriterium erfüllt, das die verbleibende Region als eine Restbewegung innerhalb der Mehrzahl von Bildern identifiziert.
  6. Verfahren nach Anspruch 5, wobei das Kriterium, das von der verbleibenden Region erfüllt wird, die Inkonsistenz mit der Nebenbedingung für die Parallaxensteifigkeit beinhaltet.
  7. Verfahren nach Anspruch 2, wobei: Schritt (b) die Schritte aufweist: (b1) Anlegen einer zweidimensionalen Transformation an die Mehrzahl der Bilder, um Regionen der Mehrzahl von Bildern auszurichten und eine Mehrzahl von fehlausgerichteten Regionen der Mehrzahl von Bildern zu identifizieren, und Schritt (c) die Schritte aufweist: (c1) Segmentieren der fehlausgerichteten Regionen, um segmentierte Regionen zu erzeugen, (c2) iteratives Ausrichten und Segmentieren der fehlausgerichteten Regionen, bis eine verbleibende fehlausgerichtete Region ein Kriterium erfüllt, das die verbleibende fehlausgerichtete Region als Bewegung innerhalb der Mehrzahl von Bilder identifiziert.
  8. Verfahren für die Bildverarbeitung nach Anspruch 1, um die Szenenstruktur wieder herzustellen, wobei: Schritt (b) den Schritt des Berechnens einer Nebenbedingung für die Parallaxenstruktur für ein Paar von Punkten innerhalb der Mehrzahl von Bildem beinhaltet, wobei die Nebenbedingung für die Parallaxenstruktur unabhängig von irgendeiner epipolaren Geometrie ist; die für das Punktepaar definiert werden kann, Schritt (c) den Schritt aufweist des Anwendens der Nebenbedingung für die Parallaxenstruktur an eine Mehrzahl von Punkten innerhalb der Mehrzahl von Bildern, um Information zu erzeugen, die repräsentativ dafür ist, ob ein gegebener Punkt innerhalb der Mehrzahl von Bildern konsistent mit der Nebenbedingung für die Parallaxenstruktur ist, und Schritt (d) den Schritt beinhaltet des Verbindens der erzeugten Information, um die Wiederherstellung der Szenenstruktur, die mit der empfangenen Mehrzahl von Bildern in Verbindung steht, durchzuführen.
  9. Verfahren für die Bildverarbeitung nach Anspruch 1, um neue Ansichten zu erzeugen, wobei: Schritt (b) die Schritte aufweist: (b1) Berechnen einer Nebenbedingung für die Parallaxensteifigkeit für zumindest ein Punktepaar innerhalb der Mehrzahl von Bildern, wobei die Nebenbedingung für die Parallaxensteifgkeit unabhängig von irgendeiner epipolaren Geometrie ist, die für das Punktepaar definiert werden kann, und (b2) Berechnen einer planaren Parallaxenbewegungstrajektorie für eine Untergruppe von Punkten innerhalb der Mehrzahl von Bildern, um Information zu erzeugen, die repräsentativ für die relative Parallaxenbewegung innerhalb der Untergruppenpunkte ist, wobei die planare Parallaxenbewegungstrajektorie unabhängig von irgendeiner epipolaren Geometrie ist, die für die Untergruppe von Punkten definiert werden kann, Schritt (c) die Schritte aufweist: (c1 ) Auswählen von zumindest zwei Punkten aus der Untergruppe von Punkten mit einer Parallaxenbewegung ungleich null, (c2) Definieren von jeweiligen virtuellen Parallaxenbewegungsvektoren für jeden der ausgewählten Punkte, wobei die virtuellen Parallaxenbewegungsvektoren entsprechende Orte der ausgewählten Punkte in einer virtuellen Szene darstellen, und (c3) Anwenden der Nebenbedingung für die Parallaxensteifigkeit auf zumindest die Untergruppe von Punkten innerhalb der Mehrzahl von Bildern unter Bezug auf die definierten Parallaxenbewegungsvektoren, um einen Parallaxenbewegungsvektor für jeden Punkt der Untergruppe zu erzeugen, und Schritt(d) die Schritte aufweist. (d1) Deformieren bzw. Krümmen jedes Punktes in der Mehrzahl von Bildern mit einem Parallaxenbewegungsvektor um diesem Parallaxenbewegungsvektor, um eine virtuelle Zwischenszene zu erzeugen, (d2) globales Krümmen bzw. Deformieren der virtuellen Zwischenszene mit einer virtuellen ebenen 2D-Bewegung entsprechend der virtuellen Szene, um die virtuelle Szene zu erzeugen.
  10. Verfahren nach Anspruch 9, wobei die Nebenbedingung für die Parallaxensteifigkeit aus der Positionsinformation der zumindest zwei Punkte und der Parallaxenvektoren der zumindest zwei Punkten, die aus dreien der empfangenen Mehrzahl von Bildern erzeugt wurde, abgeleitet wird.
  11. Verfahren nach Anspruch 9, wobei die Nebenbedingung für die Parallaxensteifigkeit aus der Positionsinformation von zumindest drei Punkten und der Parallaxenvektoren der zumindest drei Punkte abgeleitet wird, die aus zwei der empfangenen Mehrzahl von Bildern erzeugt wurden.
  12. Vorrichtung für die Bildverarbeitung, die aufweist: eine Quelle (102) von zweidimensionalen Bildem, die für eine Szene repräsentativ sind, einen Computerprozessor (104–122) für die Verarbeitung der zweidimensionalen Bilder, der aufweist: (a) eine Einrichtung für den Empfang einer Mehrzahl von zweidimensionalen Bildern, die repräsentativ für eine Szene sind, (b) eine Einrichtung für das Anwenden einer die Parallaxe betreffenden Beschränkung bzw. Nebenbedingung auf eine Mehrzahl von Punkten innerhalb der Mehrzahl von Bildem, um Information zu erzeugen, die dafür repräsentativ ist, ob ein gegebener Punkt innerhalb der Mehrzahl von Bilden konsistent mit der die Parallaxe betreffenden Beschränkung ist, wobei die Parallaxe betreffende Beschränkung unabhängig von irgendeiner epipolaren Geometrie ist, die für die Mehrzahl von Punkten definiert werden kann, (c) einer Einrichtung für das Anwenden einer Parallaxenbeschränkung an eine Mehrzahl von Punkten innerhalb der Mehrzahl von Bildern, um eine Information zu erzeugen, die repräsentativ dafür ist, ob ein gegebener Punkt innerhalb der Mehrzahl von Bildern konsistent mit der die Parallaxe betreffenden Beschränkung ist, (d) eine Einrichtung für die Verbindung der erzeugten Information für eine Bildverarbeitungsaufgabe, die mit der empfangenen Mehrzahl von Bildern in Beziehung steht und Erzeugen eines Ausgangssignals, das hiermit in Beziehung steht, (e) eine Ausgabevorrichtung für die Präsentation des Ausgangssignals der bildverarbeitenden Aufgabe.
  13. Vorrichtung nach Anspruch 12, wobei die Quelle von Bildern eine Videokamera beinhaltet.
  14. Vorrichtung nach Anspruch 12 für die Erfassung von Objektbewegung innerhalb einer Sequenz von Bildern, die eine Szene darstellen, wobei: die Einrichtung für das Anwenden der die Parallaxe betreffenden Beschränkung an die Mehrzahl von Punkten innerhalb der Mehrzahl von Bildern Regionen der Mehrzahl von Bildern ausrichtet und eine fehlausgerichtete Region der Mehrzahl von Bildern identifiziert, und wobei eine Einrichtung für die Verwendung der erzeugten Information für eine Bildverarbeitungsaufgabe beinhaltet: (d1) eine Einrichtung für die Identifizierung der Parallaxenbewegung innerhalb der fehlausgerichteten Region und (d2) eine Einrichtung für das Entfernen der Parallaxenbewegung aus der fehlausgerichteten Region, um ein sich bewegendes Objekt innerhalb der Szene zu erfassen.
  15. Vorrichtung nach Anspruch 14, wobei die Einrichtung für das Entfernender Parallaxenbewegung weiterhin eine Einrichtung für die Identifizierung von Bildkomponenten beinhaltet, die sich konsistent in Bezug auf die Parallaxenbewegungsbeschränkung bewegen, um die Parallaxen erzeugte Bewegung innerhalb der Restbewegung in der Szene zu identifizieren.
  16. Computerlesbares Medium, auf dem eine Mehrzahl von Befehlen abgelegt ist, wobei die Mehrzahl von Befehlen Befehle beinhaltet, die, wenn sie von einem Prozessor ausgeführt werden, veranlassen, daß der Prozessor die Schritte nach einem der Ansprüche 1 bis 11 durchführt.
DE1997622378 1996-02-12 1997-02-12 Verfahren und vorrichtung zur bearbeitung eines dreidimensionalen bildes mit hilfe der parallaxgeometrie von punktpaaren Expired - Lifetime DE69722378T2 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US1152496 true 1996-02-12 1996-02-12
US11524P 1996-02-12
US08798857 US6192145B1 (en) 1996-02-12 1997-02-11 Method and apparatus for three-dimensional scene processing using parallax geometry of pairs of points
US798857 1997-02-11
PCT/US1997/002115 WO1997035161A1 (en) 1996-02-12 1997-02-12 Method and apparatus for three-dimensional scene processing using parallax geometry of pairs of points

Publications (1)

Publication Number Publication Date
DE69722378T2 true DE69722378T2 (de) 2004-02-26

Family

ID=26682492

Family Applications (2)

Application Number Title Priority Date Filing Date
DE1997622378 Expired - Lifetime DE69722378T2 (de) 1996-02-12 1997-02-12 Verfahren und vorrichtung zur bearbeitung eines dreidimensionalen bildes mit hilfe der parallaxgeometrie von punktpaaren
DE1997622378 Expired - Fee Related DE69722378D1 (de) 1996-02-12 1997-02-12 Verfahren und vorrichtung zur bearbeitung eines dreidimensionalen bildes mit hilfe der parallaxgeometrie von punktpaaren

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE1997622378 Expired - Fee Related DE69722378D1 (de) 1996-02-12 1997-02-12 Verfahren und vorrichtung zur bearbeitung eines dreidimensionalen bildes mit hilfe der parallaxgeometrie von punktpaaren

Country Status (6)

Country Link
US (1) US6192145B1 (de)
EP (1) EP0880675B1 (de)
JP (1) JP2001521650A (de)
KR (1) KR20000064528A (de)
DE (2) DE69722378T2 (de)
WO (1) WO1997035161A1 (de)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6342917B1 (en) * 1998-01-16 2002-01-29 Xerox Corporation Image recording apparatus and method using light fields to track position and orientation
US6198852B1 (en) * 1998-06-01 2001-03-06 Yeda Research And Development Co., Ltd. View synthesis from plural images using a trifocal tensor data structure in a multi-view parallax geometry
EP1038734A4 (de) * 1998-10-08 2005-10-12 Matsushita Electric Ind Co Ltd Fahrhilfevorrichtung und aufzeichnungsmedium
US6424351B1 (en) * 1999-04-21 2002-07-23 The University Of North Carolina At Chapel Hill Methods and systems for producing three-dimensional images using relief textures
US6353678B1 (en) * 1999-07-14 2002-03-05 Sarnoff Corporation Method and apparatus for detecting independent motion in three-dimensional scenes
US6816632B1 (en) * 2000-02-17 2004-11-09 Wake Forest University Health Sciences Geometric motion analysis
EP1297691A2 (de) * 2000-03-07 2003-04-02 Sarnoff Corporation Kameraposebestimmung
JP3996728B2 (ja) 2000-03-08 2007-10-24 株式会社日立ハイテクノロジーズ 表面検査装置およびその方法
US6535114B1 (en) 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
US6829384B2 (en) * 2001-02-28 2004-12-07 Carnegie Mellon University Object finder for photographic images
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
US7031497B2 (en) * 2001-11-05 2006-04-18 Koninklijke Philips Electronics N.V. Method for computing optical flow under the epipolar constraint
US7003150B2 (en) * 2001-11-05 2006-02-21 Koninklijke Philips Electronics N.V. Homography transfer from point matches
US7248741B2 (en) * 2002-01-09 2007-07-24 Hiroshi Akimoto Video sequences correlation and static analysis and scene changing forecasting in motion estimation
US6975756B1 (en) * 2002-03-12 2005-12-13 Hewlett-Packard Development Company, L.P. Image-based photo hulls
JP4075418B2 (ja) * 2002-03-15 2008-04-16 ソニー株式会社 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム
US7174033B2 (en) 2002-05-22 2007-02-06 A4Vision Methods and systems for detecting and recognizing an object based on 3D image data
US7257236B2 (en) 2002-05-22 2007-08-14 A4Vision Methods and systems for detecting and recognizing objects in a controlled wide area
US7446797B2 (en) * 2003-02-10 2008-11-04 Activeye, Inc. User assisted customization of automated video surveillance systems
US7164800B2 (en) * 2003-02-19 2007-01-16 Eastman Kodak Company Method and system for constraint-consistent motion estimation
US7542834B2 (en) 2003-10-17 2009-06-02 Panasonic Corporation Mobile unit motion calculating method, apparatus and navigation system
US8018579B1 (en) 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
GB0613352D0 (en) * 2006-07-05 2006-08-16 Ashbey James A Improvements in stereoscopic imaging systems
US7865285B2 (en) * 2006-12-27 2011-01-04 Caterpillar Inc Machine control system and method
US20120075296A1 (en) * 2008-10-08 2012-03-29 Strider Labs, Inc. System and Method for Constructing a 3D Scene Model From an Image
WO2010044939A1 (en) * 2008-10-17 2010-04-22 Honda Motor Co., Ltd. Structure and motion with stereo using lines
US8675730B2 (en) * 2009-07-13 2014-03-18 Nvidia Corporation Macroblock grouping in a destination video frame to improve video reconstruction performance
US20120050478A1 (en) * 2010-08-27 2012-03-01 Jeyhan Karaoguz Method and System for Utilizing Multiple 3D Source Views for Generating 3D Image
US20120050491A1 (en) * 2010-08-27 2012-03-01 Nambi Seshadri Method and system for adjusting audio based on captured depth information
US8855406B2 (en) 2010-09-10 2014-10-07 Honda Motor Co., Ltd. Egomotion using assorted features
US9959595B2 (en) * 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion
US9245345B2 (en) * 2011-06-29 2016-01-26 Nec Solution Innovators, Ltd. Device for generating three dimensional feature data, method for generating three-dimensional feature data, and recording medium on which program for generating three-dimensional feature data is recorded
US9153025B2 (en) 2011-08-19 2015-10-06 Adobe Systems Incorporated Plane detection and tracking for structure from motion
US8982118B2 (en) 2011-11-22 2015-03-17 Raytheon Company Structure discovery in a point cloud
US8788968B1 (en) * 2012-06-04 2014-07-22 Google Inc. Transitioning an interface to a neighboring image
JP6132275B2 (ja) * 2012-07-02 2017-05-24 パナソニックIpマネジメント株式会社 サイズ測定装置及びサイズ測定方法
JP6201148B2 (ja) * 2013-12-20 2017-09-27 パナソニックIpマネジメント株式会社 キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
CN105300362A (zh) * 2015-11-13 2016-02-03 上海华测导航技术股份有限公司 一种应用于rtk接收机的摄影测量方法
US20180068459A1 (en) * 2016-09-08 2018-03-08 Ford Global Technologies, Llc Object Distance Estimation Using Data From A Single Camera

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3715482A (en) * 1971-10-12 1973-02-06 K Haines Holographic imaging by simultaneous source and receiver scanning
JPS59182688A (en) 1983-03-31 1984-10-17 Toshiba Corp Stereoscopic processor
US4654872A (en) 1983-07-25 1987-03-31 Omron Tateisi Electronics Co. System for recognizing three-dimensional objects
US4669048A (en) * 1984-09-14 1987-05-26 Carl-Zeiss-Stiftung Computer-controlled evaluation of aerial stereo images
US4982438A (en) * 1987-06-02 1991-01-01 Hitachi, Ltd. Apparatus and method for recognizing three-dimensional shape of object
US5448687A (en) * 1988-09-13 1995-09-05 Computer Design, Inc. Computer-assisted design system for flattening a three-dimensional surface and for wrapping a flat shape to a three-dimensional surface
US4985856A (en) * 1988-11-10 1991-01-15 The Research Foundation Of State University Of New York Method and apparatus for storing, accessing, and processing voxel-based data
US4908573A (en) * 1989-01-05 1990-03-13 The Regents Of The University Of California 3D image reconstruction method for placing 3D structure within common oblique or contoured slice-volume without loss of volume resolution
US5076687A (en) * 1990-08-28 1991-12-31 Massachusetts Institute Of Technology Optical ranging apparatus
US5490133A (en) * 1990-10-05 1996-02-06 Hitachi, Ltd. Optical information processing apparatus and method of controlling position of optical spot and reproducing signals
JP2941412B2 (ja) 1990-11-26 1999-08-25 株式会社東芝 3次元計測方法
US5528194A (en) * 1991-05-13 1996-06-18 Sony Corporation Apparatus and method for performing geometric transformations on an input image
US5185671A (en) * 1991-06-21 1993-02-09 Westinghouse Electric Corp. Adaptive control of an electronic imaging camera
US5577130A (en) 1991-08-05 1996-11-19 Philips Electronics North America Method and apparatus for determining the distance between an image and an object
GB9117443D0 (en) * 1991-08-13 1992-05-27 British Aerospace Optical apparatus
US5680474A (en) * 1992-10-27 1997-10-21 Canon Kabushiki Kaisha Corresponding point extraction method for a plurality of images
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
JPH06269444A (ja) * 1993-03-24 1994-09-27 Fujitsu Ltd 放射線三次元画像の生成方法
US5764871A (en) * 1993-10-21 1998-06-09 Eastman Kodak Company Method and apparatus for constructing intermediate images for a depth image from stereo images using velocity vector fields
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5473364A (en) 1994-06-03 1995-12-05 David Sarnoff Research Center, Inc. Video technique for indicating moving objects from a movable platform
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
US5644651A (en) * 1995-03-31 1997-07-01 Nec Research Institute, Inc. Method for the estimation of rotation between two frames via epipolar search for use in a three-dimensional representation
US5821943A (en) * 1995-04-25 1998-10-13 Cognitens Ltd. Apparatus and method for recreating and manipulating a 3D object based on a 2D projection thereof
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
JP3055438B2 (ja) * 1995-09-27 2000-06-26 日本電気株式会社 3次元画像符号化装置
US5694531A (en) * 1995-11-02 1997-12-02 Infinite Pictures Method and apparatus for simulating movement in multidimensional space with polygonal projections
US5706416A (en) * 1995-11-13 1998-01-06 Massachusetts Institute Of Technology Method and apparatus for relating and combining multiple images of the same scene or object(s)
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US5986668A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Deghosting method and apparatus for construction of image mosaics

Also Published As

Publication number Publication date Type
EP0880675B1 (de) 2003-05-28 grant
WO1997035161A1 (en) 1997-09-25 application
JP2001521650A (ja) 2001-11-06 application
DE69722378D1 (de) 2003-07-03 grant
EP0880675A4 (de) 2000-07-05 application
KR20000064528A (ko) 2000-11-06 application
US6192145B1 (en) 2001-02-20 grant
EP0880675A1 (de) 1998-12-02 application

Similar Documents

Publication Publication Date Title
Ohlander Analysis of natural scenes
Levin et al. Seamless image stitching in the gradient domain
Luettgen et al. Efficient multiscale regularization with applications to the computation of optical flow
Zhang et al. Region-based image fusion scheme for concealed weapon detection
Van den Elsen et al. Automatic registration of CT and MR brain images using correlation of geometrical features
Li et al. Multifocus image fusion using region segmentation and spatial frequency
Zhang et al. A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application
US7236622B2 (en) Method for forming a depth image
Chipman et al. Wavelets and image fusion
Carlbom et al. Computer-assisted registration, segmentation, and 3D reconstruction from images of neuronal tissue sections
US6608923B1 (en) System and method for rectifying images of three dimensional objects
Nikolova et al. Efficient reconstruction of piecewise constant images using nonsmooth nonconvex minimization
Patwardhan et al. Video inpainting under constrained camera motion
US5963664A (en) Method and system for image combination using a parallax-based technique
US6266452B1 (en) Image registration method
US6353678B1 (en) Method and apparatus for detecting independent motion in three-dimensional scenes
US6490364B2 (en) Apparatus for enhancing images using flow estimation
Hartley et al. Computing matched-epipolar projections
US6909794B2 (en) Automated registration of 3-D medical scans of similar anatomical structures
US7352386B1 (en) Method and apparatus for recovering a three-dimensional scene from two-dimensional images
Hoff et al. Surfaces from stereo: Integrating feature matching, disparity estimation, and contour detection
Aloimonos Shape from texture
US6891966B2 (en) Method for forming a depth image from digital image data
Avidan et al. Novel view synthesis in tensor space
Kumar et al. Registration of video to geo-referenced imagery