DE60115789T2 - Vorrichtung zur Parallaxbildaufnahme und Parallaxbildverarbeitung - Google Patents

Vorrichtung zur Parallaxbildaufnahme und Parallaxbildverarbeitung Download PDF

Info

Publication number
DE60115789T2
DE60115789T2 DE60115789T DE60115789T DE60115789T2 DE 60115789 T2 DE60115789 T2 DE 60115789T2 DE 60115789 T DE60115789 T DE 60115789T DE 60115789 T DE60115789 T DE 60115789T DE 60115789 T2 DE60115789 T2 DE 60115789T2
Authority
DE
Germany
Prior art keywords
image
unit
view
taken
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60115789T
Other languages
English (en)
Other versions
DE60115789D1 (de
Inventor
Shuji Ashigarakami-gun Ono
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Publication of DE60115789D1 publication Critical patent/DE60115789D1/de
Application granted granted Critical
Publication of DE60115789T2 publication Critical patent/DE60115789T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

  • HINTERGRUND DER ERFINDUNG
  • 1. Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft ein Bildaufnahmegerät, eine Bildverarbeitungsvorrichtung, ein Bildaufnahmeverfahren, ein Aufzeichnungsmedium und ein Programm zum Erhalten von Information über die Tiefe eines Gegenstands. Insbesondere betrifft die Erfindung ein Bildaufnahmegerät, eine Bildverarbeitungsvorrichtung, ein Bildaufnahmeverfahren, ein Aufzeichnungsverfahren und ein Programm zum Gewinnen von Information über die Tiefe des Gegenstands auf der Grundlage von Parallaxenbildern des Gegenstands.
  • 2. Beschreibung des Stands der Technik
  • Um Information über die Lage eines zu photographierenden Gegenstands zu erhalten, ist seit langer Zeit bereits eine Stereobild-Aufnahmetechnik bekannt, bei der Parallaxenbilder von zwei Seite an Seite angeordneten Kameras unter Betrachtung des Gegenstands aus zwei verschiedenen Standpunkten aufgenommen werden, um eine binokulare menschliche Sicht zu erreichen und so die Tiefe des Gegenstands zu messen. Aus der Differenz der Lage der Standpunkte wird die Differenz der Lage des Bilds des Gegenstands zwischen den aufgenommenen Parallaxenbildern ermittelt. Basierend auf der so ermittelten Lagedifferenz des Gegenstandsbilds und einer Brennweite des Objektivs jeder Kamera wird dann der Abstand von der Kamera zu dem Gegenstand durch Triangulation ermittelt. Das japanische Patent 2611173 (vom 27. Februar 1997) zeigt ein Verfahren, bei dem die Lage eines sich bewegenden Objekts mit Hilfe von mindestens drei Aufnahmegeräten gemessen wird.
  • Allerdings hat dieses Verfahren insofern einen Nachteil, als die Größe der gesamten Vorrichtung umfangreich ist und damit die für die Messung erforderlichen Verarbeitungskosten ebenfalls groß sind, da dieses Verfahren mindestens drei Aufnahmegeräte für die Bildaufnahme benötigt.
  • Die WO 95/12954 zeigt ein stereoskopisches Abbildungsgerät mit einer Linsenapertur, die über mehrere Positionen bewegt wird, welche gegenüber einer optischen Achse eines Kameraobjektivs versetzt sind. Ein Gegenstand wird photographiert, als ob er durch unterschiedliche, voneinander abweichende Positionen betrachtet würde, anschließend werden die Bilder derart angezeigt, daß durch den Betrachter ein dreidimensionales Bild wahrgenommen wird.
  • OFFENBARUNG DER ERFINDUNG
  • Es ist daher ein Ziel der Erfindung, ein Bildaufnahmegerät, eine Bildverarbeitungsvorrichtung, ein Bildaufnahmeverfahren, ein Aufzeichnungsmedium und ein Programm zum Gewinnen von Information über eine Tiefe eines sich bewegenden Gegenstands mit Hilfe einer einfachen Anordnung der Vorrichtung zu erhalten, im Stande, die dem Stand der Technik anhaftenden Nachteile zu überwinden.
  • Dieses sowie weitere Ziele lassen sich erreichen durch die Merkmale der unabhängigen Ansprüche 1, 14, 19, 20 bzw. 21. Die abhängigen Ansprüche definieren weitere vorteilhafte und beispielhafte Kombinationen der Erfindung.
  • Der Aufnahmeteil kann mehrere Aufnahmeeinheiten enthalten, die an mehreren verschiedenen Stellen angeordnet sind; die Steuerung kann die mehreren Aufnahmeeinheiten so steuern, daß diese nacheinander die Bildaufnahme für den Gegenstand in der Weise durchführen, daß mindestens eine der Aufnahmeeinheiten die Bildaufnahme zweimal oder öfter durchführt.
  • Das Bildaufnahmegerät kann außerdem eine Standpunktbewegungseinheit aufweisen, betreibbar in der Weise, daß eine Position, an welcher der Aufnahmeteil die Bildaufnahme des Gegenstands vornimmt, zu den mehreren Standpunkten bewegt wird, wobei die Steuerung den Aufnahmeteil so steuert, daß die Bildaufnahme des Gegenstands an den mehreren Standpunkten nacheinander dadurch erfolgt, daß eine Bewegung der Position zu den mehreren Standpunkten erfolgt, um dadurch die zweimalige oder häufigere Bildaufnahme aus dem mindestens einen Standpunkt heraus zu ermöglichen.
  • Die Bildaufnahmevorrichtung enthält weiterhin eine Tiefenberechnungseinheit, betreibbar zum Berechnen einer Tiefe einer speziellen Zone des Gegenstands, basierend auf zwei oder mehr Bildern, die durch die Bildaufnahme erhalten wurden, welche für den Gegenstand zweimal oder öfter an dem einen Standpunkt vorgenommen wurde, und basierend auf einem weiteren Bild, welches durch die Bildaufnahme aus einem anderen, von dem einen Standpunkt verschiedenen Standpunkt erhalten wurde.
  • Das Bildaufnahmegerät kann weiterhin eine Positionsdifferenz-Detektoreinheit aufweisen, betreibbar zum Erfassen einer Positionsabweichung eines Bilds der speziellen Zone des Gegenstands basierend auf den zwei oder mehr Bildern, die aus dem einen Standpunkt erhalten wurden, sowie eines weiteren Bilds, welches aus dem weiteren Standpunkt erhalten wurde, wobei die Tiefenberechnungseinheit die Tiefe der speziellen Zone des Gegenstands auf der Grundlage der Positionsabweichung berechnet.
  • Das Bildaufnahmegerät kann weiterhin eine Schätzbild-Erzeugungseinheit aufweisen, betreibbar in der Weise, daß ein abgeschätztes Bild der speziellen Zone des Gegenstands erzeugt wird, von welchem angenommen wird, daß es aus dem einen Standpunkt zur gleichen Zeit aufgenommen wurde, zu der das weitere Bild aus dem anderen Standpunkt aufgenommen wurde, indem auf der Grundlage von zwei oder mehr Bildern aus dem einen Standpunkt eine Abschätzung vorgenommen wird, wobei die Positionsdifferenz-Detektoreinheit eine Positionsabweichung eines Bilds der speziellen Zone des Gegenstands zwischen dem Schätzbild und dem weiteren, aus dem anderen Standpunkt gewonnenen Bild ermittelt.
  • Das Bildaufnahmegerät kann weiterhin umfassen: eine Zeiteinstelleinheit, betreibbar, um einen Zeitpunkt der Bildaufnahme durch den Aufnahmeteil einzustellen, wobei die Schätzbild-Erzeugungseinheit die Position des Bilds der speziellen Zone des Gegenstands zu einem vorbestimmten Zeitpunkt aus dem einen Standpunkt abschätzt, basierend auf den jeweiligen Zeitpunkten, zu denen die Bildaufnahme zweimal oder häufiger aus dem einen Standpunkt vorgenommen wurde, und den Positionen des Bilds der speziellen Zone in den zwei oder mehr Bildern, die aus dem einen Standpunkt erhalten wurden.
  • Der Aufnahmeteil kann eine Lichtkonvergiereinrichtung enthalten, betreibbar, um auf sie auftreffendes Licht konvergieren zu lassen, ferner eine Lichtbegrenzungseinheit, die mindestens eine Apertur besitzt, um einen Bereich zu begrenzen, in welchem Licht durchgelassen wird, wobei die Standpunktbewegungseinheit die Apertur dadurch bewegen kann, daß sie die Lichtbegrenzungseinheit bewegt, um die mehreren Standpunkte zu realisieren. Alternativ kann der Aufnahmeteil eine Lichtkonvergiereinheit enthalten, die betreibbar ist, um auf sie auftreffendes Licht zu konvergieren, und eine Lichtbegrenzungseinheit besitzen, die mehrere Aperturen zum Begrenzen eines Bereichs aufweist, in welchem Licht durchgelassen wird, wobei die Standpunktbewegungseinheit mindestens eine der mehreren Aperturen schließen kann, um die mehreren Standpunkte zu realisieren.
  • Die Standpunktbewegungseinheit kann in der Lage sein, den Aufnahmeteil zu drei oder mehr Standpunkten zu bewegen, die nicht auf einer Linie liegen. Der Aufnahmeteil kann die mehreren Aufnahmeeinheiten an drei oder mehr Standpunkten enthalten, die nicht auf eine Linie liegen.
  • Die Standpunktbewegungseinheit kann in der Lage sein, den Aufnahmeteil zu fünf Stellen zu bewegen, einschließlich die Scheitel und ein Zentrum einer Raute.
  • Der Aufnahmeteil kann mehrere Aufnahmeeinheiten an mindestens fünf Stellen enthalten, einschließlich die Scheitel und ein Zentrum einer Raute.
  • Der Aufnahmeteil kann die Bildaufnahme für den Gegenstand an zwei der mehreren Standpunkte ausführen, und die Steuerung kann den Aufnahmeteil so steuern, daß dieser abwechselnd die Bildaufnahme an den beiden Standpunkten dreimal oder häufiger ausführt.
  • Die Schätzbild-Erzeugungseinheit kann die Position des Bilds der speziellen Zone des Gegenstands dann abschätzen, wenn der Gegenstand aus einem Standpunkt zur gleichen Zeit betrachtet wird, zu der auch das andere Bild aus dem anderen Standpunkt aufgenommen wurde, basierend auf den jeweiligen Zeiten, zu denen die beiden oder mehreren Bilder aufgenommen wurden an dem einen Standpunkt, und der Position des Bilds der speziellen Zone in den zwei oder mehr Bildern, die an dem einen Standpunkt aufgenommen wurden.
  • Die Schätzbild-Erzeugungseinheit kann die Position des Bilds der speziellen Zone des Gegenstands abschätzen, wenn der Gegenstand aus dem anderen Standpunkt zur gleichen Zeit betrachtet wird, zu der das andere Bild an dem anderen Standpunkt aufgenommen wurde, basierend auf der Position und einer Größe des Bildes der speziellen Zone in jedem der zwei oder mehr Bildern, die aus dem einen Standpunkt aufgenommen wurden.
  • Die Schätzbild-Erzeugungseinheit kann eine erste Zone, die eine Änderung einer Position oder Größe eines Bilds des Gegenstands zwischen den zwei oder mehr Bildern, die aus dem einen Standpunkt aufgenommen wurden, trennen von einer zweiten Zone, die keine Änderung der Position oder Größe des Bilds des Gegenstands enthält, und sie kann ein Bild von den zwei oder mehr Bildern, die aus dem einen Standpunkt aufgenommen wurden, als das Schätzbild verwenden, wenn das Schätzbild für die zweite Zone zu generieren ist.
  • Die Eingabeeinheit kann abwechselnd eine Mehrzahl von Bildern, die an zwei voneinander verschiedenen Standpunkten der mehreren Standpunkte aufgenommen wurden, eingeben; die Schätzbild-Erzeugungseinheit kann eine erste Abschätzung unter Verwendung eines an einem der zwei Standpunkte aufgenommenen ersten Bilds und eines an dem ei nen der zwei Standpunkte vor dem ersten Bild aufgenommenen zweiten Bild vornehmen, um anschließend eine zweite Abschätzung vorzunehmen unter Verwendung eines dritten Bilds, welches an dem einen der beiden Standpunkte aufgenommen wurde, nachdem das erste Bild aufgenommen wurde; und die Positionsdifferenz-Detektoreinheit kann die Lageabweichung zu der ersten und der zweiten Abschätzung unter Verwendung des ersten Bilds und eines weiteren, aus dem anderen der beiden Standpunkte aufgenommenen Bilds ermitteln.
  • Die „Offenbarung" der Erfindung beschreibt nicht notwendigerweise sämtliche notwendigen Merkmale der Erfindung. Die vorliegende Erfindung kann auch eine Unterkombination der oben beschriebenen Merkmale sein. Die oben angegebenen und weitere Merkmale und Vorteile der vorliegenden Erfindung ergeben sich deutlicher aus der nachfolgenden Beschreibung der Ausführungsbeispiele in Verbindung mit den begleitenden Zeichnungen.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist ein funktionelles Blockdiagramm eines Bildaufnahmegeräts gemäß der Erfindung.
  • 2 ist ein Blockdiagramm einer Digitalkamera als Beispiel für das Bildaufnahmegerät gemäß der Erfindung.
  • 3 zeigt eine beispielhafte Ausgestaltung eines Objektivteils des Bildaufnahmegeräts.
  • 4 ist ein funktionelles Blockdiagramm einer Verarbeitungseinheit des Bildaufnahmegeräts gemäß einer Ausführungsform der Erfindung.
  • 5 ist ein Flußdiagramm für einen Bildaufnahmevorgang.
  • 6 ist ein Flußdiagramm für eine Bildverarbeitungsprozedur.
  • 7A, 7B und 7C veranschaulichen ein beispielhaftes Bildschätzverfahren basierend auf einer Zeit der Bildaufnahme.
  • 8A und 8B veranschaulichen ein weiteres beispielhaftes Bildschätzverfahren basierend auf einer Größe einer speziellen Zone.
  • 9 zeigt eine weitere beispielhafte Anordnung des Objektivteils des Bildaufnahmegeräts.
  • 10 zeigt eine noch weitere beispielhafte Ausgestaltung des Objektivteils des Bildaufnahmegeräts.
  • 11 zeigt eine beispielhafte Blende des Bildaufnahmegeräts.
  • 12 zeigt eine beispielhafte Bildverarbeitungsvorrichtung gemäß der Erfindung.
  • 13 ist ein funktionelles Blockdiagramm einer Verarbeitungseinheit gemäß einer weiteren Ausführungsform der Erfindung.
  • 14 zeigt eine weitere beispielhafte Bildverarbeitungsvorrichtung.
  • 15 zeigt einen Aufnahmeteil mit mehreren von der Gegenstandsseite her betrachteten Aufnahmeeinheiten.
  • 16 ist ein funktionelles Blockdiagramm eines dreidimensionalen Modelliersystems gemäß einer Ausführungsform der Erfindung.
  • 17 ist ein Flußdiagramm für den Betrieb des dreidimensionalen Modelliersystems nach 16.
  • DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
  • Im folgenden wird die Erfindung anhand bevorzugter Ausführungsformen beschrieben, die allerdings nicht den Schutzumfang der Erfindung beschränken sollen, sondern lediglich Beispiel für die Erfindung sind. Sämtliche beschriebenen Merkmale und deren Kombinationen einer Ausführungsform sind nicht notwendigerweise erfindungswesentlich.
  • (Ausführungsform 1)
  • Es wird die erste Ausführungsform der Erfindung beschrieben. 1 ist ein funktionelles Blockdiagramm eines Bildaufnahmegeräts 200 dieser Ausführungsform. Das Bildaufnahmegerät 200 enthält eine Steuereinheit 202, eine Standpunktbewegungseinheit 204, eine Zeiteinstelleinheit 206 und eine Bildaufnahmeeinheit 208. Die Steuereinheit 202, die Standpunktbewegungseinheit 204, die Zeiteinstelleinheit 206 und die Bildaufnahmeeinheit 208 können implementiert werden durch eine Bildaufnahmesystem-CPU 50, einen Objektivantrieb 42, einen Verschlußantrieb 48 und eine Bildaufnahmeeinheit 20 in einer Digitalkamera 10. Die Digitalkamera 10 wird im folgenden detailliert erläutert.
  • 2 ist ein Blockdiagramm der Digitalkamera 10 als ein Beispiel für das Bildaufnahmegerät. Der Begriff „Digitalkamera" beinhaltet im vorliegenden Rahmen eine digitale Stehbildkamera, einen Digital-Videorekorder, der ein Stehbild eines Objekts aufnehmen kann, und dergleichen. Die Digitalkamera 10 enthält vornehmlich eine Bildaufnahmeeinheit 20, eine Bildsteuereinheit 40, eine Verarbeitungseinheit 60, eine Anzeigeeinheit 100 und eine Bedieneinheit 110.
  • Die Bildaufnahmeeinheit 20 enthält mechanische Teile und elektrische Teile für die Bildaufnahme und die Bilderzeugung. Die Bildaufnahmeeinheit 20 enthält einen Objektivteil 22, eine Blende 24, einen Verschluß 26, ein optisches TPF (Tiefpaßfilter) 28, ein CCD-Element 30 als Beispiel für einen Festkörper-Bildsensor, und einen Aufnahmesignalprozessor 32. Der Objektivteil 22 enthält ein Fokussierobjektiv, ein Zoom-Objektiv und dergleichen. Dieser Aufbau ermöglicht die Erzeugung eines Bilds eines Gegenstands auf ei ner Lichtaufnahmefläche des CCD-Sensors 30. Abhängig von der Lichtmenge des erzeugten Bilds des Gegenstands werden einzelne (nicht gezeigte) Sensorelemente des CCD-Sensors 30 elektrisch geladen. (Im folgenden werden die in dem Sensorelement gespeicherten elektrischen Ladungen als gespeicherte elektrische Ladungen bezeichnet.) Die gespeicherten elektrischen Ladungen werden von einem Lesegatterimpuls in ein (nicht gezeigtes) Schieberegister eingelesen und werden dann nacheinander durch einen Registertransferimpuls als ein Spannungssignal ausgelesen.
  • Die Digitalkamera 10 enthält im allgemeinen eine elektronische Verschlußfunktion. Daher ist es nicht notwendig, daß die Digitalkamera 10 einen mechanischen Verschluß wie den Verschluß 26 enthält. Um die elektronische Verschlußfunktion zu realisieren, ist der CCD-Sensor 30 über ein Verschluß-Gatter mit einem Verschluß-Drain ausgestattet. Wird das Verschlußgatter angesteuert, werden die gespeicherten elektrischen Ladungen aus dem Verschluß-Drain abgeleitet. Durch Steuern des Verschlußgatters läßt sich die Zeitspanne, während der die einzelnen Sensorelemente elektrisch aufgeladen werden, das heißt, eine Verschlußgeschwindigkeit gesteuert.
  • Das von dem CCD-Sensor 30 ausgegebene Spannungssignal ist ein Analogsignal und wird einer Farbtrennung zum Separieren des Signals in die Komponenten R, G und B im Aufnahmesignalprozessor 32 unterzogen, um dadurch den Weißabgleich einzustellen. Sodann führt der Aufnahmesignalprozessor 32 eine Gammakorrektur durch. Anschließend werden die Signale R, G und B nacheinander einer A/D-Umwandlung in zeitgerechter Weise unterzogen. Durch die obigen Vorgänge erhaltene digitale Bilddaten (im folgenden auch einfach als „Digitalbilddaten" bezeichnet) werden an die Verarbeitungseinheit 60 ausgegeben.
  • Die Bildaufnahmeeinheit 20 enthält weiterhin einen Sucher 34 und ein elektronisches Blitzgerät 36. Der Sucher 34 kann eine (nicht gezeigte) LCD-Anordnung enthalten. In diesem Fall können verschiedene Arten von Information aus einer Haupt-CPU 62 und dergleichen innerhalb des Suchers 34 angezeigt werden. Der elektronische Blitz 36 arbei tet durch Emission von Licht aus einer Entladungsröhre 36a, wenn in einem (nicht gezeigten) Kondensator gespeicherte Energie an die Entladungsröhre 36a geliefert wird.
  • Die Aufnahmesteuereinheit 40 enthält einen Objektivantrieb 42, einen Fokussierantrieb 44, einen Blendenantrieb 46, einen Verschlußantrieb 48, eine Aufnahmesystem-CPU 50 zum Steuern dieser Antriebe, einen Entfernungsmesser 52 und einen Helligkeitssensor 54. Jeder der Antriebe 42, 44, 46 und 48 besitzt eine Antriebseinrichtung wie beispielsweise einen Schrittmotor. Wenn ein unten noch zu beschreibender Auslöseschalter 114 gedrückt wird, mißt der Entfernungsmesser 52 eine Entfernung zu dem Gegenstand, während der Helligkeitsfühler 54 eine Helligkeit des Gegenstands mißt. Die Meßdaten für die Entfernung (im folgenden einfach als „Entfernungsdaten" bezeichnet) und die Meßdaten für die Helligkeit (im folgenden einfach: „Helligkeitsdaten") werden zu der Aufnahmesystem-CPU 50 gesendet. Diese führt Einstellungen für eine Vergrößerung und eine Scharfeinstellung des Objektivteils 22 durch, indem sie den Objektivantrieb 42 und den Fokussierantrieb 44 basierend auf Aufnahmeinformation wie beispielsweise durch den Benutzer spezifizierte Vergrößerung, steuert. Darüber hinaus steuert die Aufnahmesystem-CPU 50 auch den Objektivantrieb 42, um die Lage des Objektivteils 22 zu bewegen, um die Parallaxenbilder aufzunehmen.
  • Die Aufnahmesystem-CPU 50 ermittelt die F-Zahl und die Verschlußgeschwindigkeit basierend auf einem addierten Wert der digitalen Signale R, G und B für ein Einzelbild, das heißt AE-Information, um anschließend die Zeit für den Verschlußantrieb zu bestimmen. Entsprechend den hierdurch erlangten Ergebnissen justiert der Blendenantrieb 46 die Blendenöffnung der Blende, und der Verschlußantrieb 48 führt das Öffnen/Schließen des Verschlusses 26 aus.
  • Die Aufnahmesystem-CPU 50 steuert außerdem die Lichtabgabe durch den elektronischen Blitz 36 auf der Grundlage der Helligkeitsdaten, und sie stellt außerdem die Blendengröße für die Blende 26 ein. Wenn der Benutzer die Digitalkamera 10 veranlaßt, ein Bild aufzunehmen, startet der CCD-Sensor 30 mit der elektrischen Aufladung. Nachdem die Verschlußzeitspanne, die anhand der Helligkeitsdaten berechnet wurde, verstrichen ist, werden die gespeicherte elektrischen Ladungen an den Aufnahmesignalprozessor 32 ausgegeben.
  • Die Verarbeitungseinheit 60 enthält eine Haupt-CPU 62 zum Steuern der gesamten Digitalkamera 10, insbesondere der Verarbeitungseinheit 60, einer Speichersteuereinheit 64, eines YC-Prozessors 70, einer optionalen Gerätesteuerung 74, eines Komprimierungs-/Expandierungs-Prozessors 78 und einer Kommunikationsschnittstelle (I/F) 80, sämtlich gesteuert von der Haupt-CPU 62. Die Haupt-CPU 62 kommuniziert mit der Aufnahmesystem-CPU 50 durch serielle Kommunikation oder dergleichen. Ein Betriebstakt der Haupt-CPU 62 wird von einem Taktgeber 88 geliefert, der außerdem Taktsignale unterschiedlicher Frequenzen an die Aufnahmesystem-CPU 50 bzw. die Anzeigeeinheit 100 liefert.
  • Zusätzlich zu der Haupt-CPU 62 sind in der Verarbeitungseinheit 60 eine Zeichengeneratoreinheit 84 und ein Timer 86 vorhanden. Der Timer 86 besitzt eine Stützbatterie, so daß er stets Zeit und Datum zählt. Basierend auf den Zählwerten wird Information über das Aufnahmedatum mit anderer Information bezüglich der Zeit an die Haupt-CPU 62 gesendet. Die Zeichengeneratoreinheit 84 erzeugt Zeicheninformation, beispielsweise bezüglich Aufnahmedatum, Titel des aufgenommenen Bilds oder dergleichen. Die so erzeugte Zeicheninformation wird in passender Weise mit dem aufgenommenen Bild kombiniert.
  • Die Speichersteuereinheit 64 steuert einen nicht-flüchtigen Speicher 66 und einen Hauptspeicher 68. Der nicht-flüchtige Speicher 66 enthält einen EEPROM (elektrisch löschbarer und programmierbarer ROM) und/oder einen Flash-Speicher oder dergleichen, und speichert verschiedene Daten, die auch dann erhalten bleiben müssen, wenn die Energiezufuhr der Digitalkamera 10 abgeschaltet wird, beispielsweise Information, die durch den Benutzer eingerichtet wird, Parameter für die Digitalkamera 10, die bei deren Versand eingestellt wurden, oder dergleichen. Der nicht-flüchtige Speicher 66 kann ein Boot-Programm für die Haupt-CPU 62 oder ein Systemprogramm speichern, falls notwendig. Andererseits besteht der Hauptspeicher 68 im allgemeinen aus einem relativ billigen Speicher großer Kapazität, zum Beispiel einem DRAM. Der Hauptspeicher 68 hat die Funktion eines Vollbildspeichers zum Speichern von Daten, die aus der Bildaufnahmeeinheit 20 kommen, eine Funktion eines Systemspeichers zum Laden benötigter Programme und eine Funktion des Arbeitsbereichs. Der nicht-flüchtige Speicher 66 und der Hauptspeicher 68 kommunizieren mit den Teilen in der Verarbeitungseinheit 60 sowie anderen Teilen außerhalb der Verarbeitungseinheit 60 über einen Hauptbus 82.
  • Der YC-Prozessor 70 unterzieht die digitalen Bilddaten einer YC-Umwandlung, um ein Leuchtdichtesignal Y und Farbdifferenzsignale B-Y und R-Y zu bilden. Das Leuchtdichtesignal und die Farbdifferenzsignale werden vorübergehend von der Speichersteuereinheit 64 im Speicher 68 gespeichert. Die Kompressions-/Expansions-Steuerung 78 liest nacheinander das Leuchtdichtesignal und die Farbdifferenzsignale aus dem Hauptspeicher 68 aus und komprimiert die gelesenen Signale. Die erhaltenen Daten (im folgenden einfach als die „komprimierten Daten" bezeichnet) werden in eine Speicherkarte eingeschrieben, das heißt in eine Art des optionalen Geräts 76, was über die Steuerung für optionales Gerät 74 geschieht.
  • Die Verarbeitungseinheit 60 enthält außerdem einen Kodierer 72. Der Kodierer 72 übernimmt das Leuchtdichtesignal und die Farbdifferenzsignale, wandelt diese Eingangssignale in ein Videosignal (NTSC- oder PAL-Signal) um und gibt dann das Videosignal über einen Videoausgang 90 aus. Wenn das Videosignal aus den in dem optionalen Gerät 76 gespeicherten Daten erzeugt wird, werden die Daten zunächst über die Steuerung 74 an den Komprimierungs-/Expandierungs-Prozessor 78 geleitet und dann in dem Prozessor 78 einer notwendigen Expandierung unterzogen. Schließlich werden die expandierten Daten von dem Kodierer 72 in das Videosignal umgewandelt.
  • Die Steuerung 74 für optionales Gerät führt die Erzeugung eines Signals oder von Signalen durch, die von dem Hauptbus 82 und dem optionalen Gerät 76 benötigt werden, führt eine logische oder Spannungsumwandlung gemäß den Spezifikationen des Signals durch, die von dem optionalen Gerät 76 und der Busspezifikation des Hauptbusses 82 akzeptiert werden. Die Digitalkamera 10 kann eine andere Vorrichtung als die oben angesprochene Speicherkarte unterstützen, beispielsweise eine der PCMCIA entsprechende E/A-Karte. In diesem Fall kann die Steuerung 74 für optionales Gerät sich aus einer LSI zum Steuern eines Busses für die PCMCIA zusammensetzen.
  • Die Kommunikationsschnittstelle (I/F) 80 steuert die Protokollumwandlung gemäß der Kommunikations-Spezifikation, die von der Digitalkamera 10 unterstützt wird, so zum Beispiel USB, RS-232C, Ethernet, Bluetooth, IrDA und dergleichen. Die Kommunikationsschnittstelle 80 enthält ein Treiber-IC, falls ein solches benötigt wird, und sie kommuniziert mit einem externen Gerät einschließlich eines Netzwerks über einen Verbinder 92. Darüber hinaus kann die Digitalkamera 10 so konfiguriert sein, daß eine Datenkommunikation mit einem externen Gerät wie zum Beispiel einem Drucker, einer Begleitmusikmaschine (Karaoke) oder einem Game-Player über eine spezielle Schnittstelle abweichend von der obigen Standardspezifikation möglich ist.
  • Die Anzeigeeinheit 100 enthält einen LCD-Monitor 102 und ein LCD-Feld 104, die von einem Monitortreiber 106 bzw. einem Feldtreiber 108 gesteuert werden. Der LCD-Monitor 102, beispielsweise ausgebildet als 2-Zoll-LCD-Feld, befindet sich auf der Rückseite der Digitalkamera 10 und zeigt einen laufenden Betriebsmodus an, beispielsweise Aufnahmemodus oder Wiedergabemodus, Vergrößerung der Bildaufnahme oder des wiedergegebenen Bilds, Restkapazität der Batterie, Datum und Zeit, einen Bildschirm zur Betriebsarteinstellung, eines Bilds des Gegenstands oder dergleichen. Das LCD-Feld 104 ist beispielsweise ein kleines einfarbiges LCD und befindet sich auf der Oberseite der Digitalkamera 10. Das LCD-Feld 104 zeigt einfach Information wie beispielsweise die Bildqualität („FEIN", „NORMAL" oder „ELEMENTAR") EIN/AUS für den elektronischen Blitz, die Anzahl von normalerweise aufnehmbaren Bildern, Pixelanzahl und Batteriekapazität oder dergleichen an.
  • Die Betriebseinheit 110 enthält Mechanismen und elektrische Elemente, die der Benutzer benötigt, um die Arbeitsweise und die Betriebsart der Digitalkamera 10 an dieser einzustellen. Ein Netzschalter 112 dient zum Ein-/Ausschalten der Energieversorgung der Digitalkamera 10. Der Auslöseschalter 114 ist als zweistufiger Schalter ausgebildet, er ermög licht ein teilweises Niederdrücken und ein vollständiges Niederdrücken. Wird der Auslöseschalter 114 zum Beispiel halb gedrückt, so werden AF und AE eingefroren. Anschließend wird der Auslöseschalter 114 vollständig niedergedrückt, und es wird ein Bild mit der Digitalkamera 10 geschossen und in dem Hauptspeicher 68 und/oder dem optionalen Gerät 76 gespeichert, nachdem eine notwendige Signalverarbeitung und Datenkompression durchgeführt wurden. Die Betriebseinheit 110 kann die benutzerseitigen Einstellungen über andere Mittel empfangen als über die oben angesprochenen Schalter, beispielsweise über eine Dreh-Betriebswahlscheibe oder eine Kreuztaste. Die anderen Mittel, die benutzt werden können, sind allgemein als Funktionsschalter 116 zusammengefaßt. Die Betriebsarten oder Funktionen, die durch die Betriebseinheit 110 einstellbar sind, beinhalten „Dateiformat", „Spezialeffekt", „Drucken", „Bestimmen/Sichern", „Anzeige ändern" und dergleichen. Mit dem Zoom-Schalter 118 wird die Vergrößerung eingestellt.
  • Die Digitalkamera 10 mit dem oben beschriebenen Aufbau arbeitet folgendermaßen: zunächst wird der Netzschalter 112 der Digitalkamera 10 eingeschaltet, so daß den einzelnen Einheiten der Kamera 10 Energie zugeführt wird. Die Digitalkamera 10 besitzt eine Mehrzahl von Betriebsarten, darunter zumindest die Aufnahmebetriebsart und die Wiedergabebetriebsart. Beispielsweise bestimmt die Haupt-CPU 62, welche der Betriebsarten gerade ausgewählt ist, wozu sie den Zustand des Funktionsschalters 116 abfragt.
  • Im Aufnahmemodus überwacht die Haupt-CPU 62 den Zustand des Auslöseschalters 114. Wird festgestellt, daß der Auslöseschalter 114 halb niedergedrückt ist, erhält die Haupt-CPU 62 die Leuchtdichtedaten und die Entfernungsdaten von dem Helligkeitsfühler 54 bzw. dem Entfernungsfühler 52. Auf der Grundlage der so erhaltenen Daten arbeitet die Aufnahmesteuereinheit 40 in der Weise, daß sie den Fokus des Objektivteils 22, die Blendengröße der Blende und dergleichen einstellt. Sind die Einstellvorgänge abgeschlossen, wird dem Benutzer mitgeteilt, daß die Einstellungen abgeschlossen sind, beispielsweise dadurch, daß auf dem LCD-Monitor 102 „Stand-by" angezeigt wird. Dann überwacht die Haupt-CPU 62 den Zustand des Auslöseschalters 114 darauf, ob er vollständig gedrückt wird oder nicht. Wird der Auslöseschalter 114 vollständig niedergedrückt, wird der Verschluß 26 nach einer vorbestimmten Verschlußzeit geschlossen, und die gespeicherten elektrischen Ladungen aus dem CCD-Sensor 30 werden dann zu dem Aufnahmesignalprozessor 32 geleitet. Die digitalen Bilddaten, die durch Verarbeiten seitens des Aufnahmesignalprozessors 32 erzeugt werden, werden auf den Hauptbus 82 gegeben. Die ausgegebenen digitalen Bilddaten werden vorübergehend im Hauptspeicher 68 gespeichert und anschließend der notwendigen Verarbeitung in dem YC-Prozessor 70 und dem Kompressions-/Expansions-Prozessor 78 unterzogen. Dann werden die verarbeiteten Bilddaten zur Aufzeichnung in dem optionalen Gerät 74 über die Aufzeichnungsmedium-Steuerung 74 abgegeben. Das aufgezeichnete Bild wird von dem LCD-Monitor 102 für eine vorbestimmte Zeitspanne im eingefrorenen Zustand angezeigt, damit der Benutzer das aufgenommene Bild betrachten kann. Wie oben beschrieben, ist nun eine Aufnahmesequenz abgeschlossen.
  • Im Wiedergabemodus liest die Haupt-CPU 62 das zuletzt geschossene Bild über die Speichersteuereinheit 64 aus dem Hauptspeicher 68 aus. Der LCD-Monitor 102 bringt das gelesene Bild zur Anzeige. Wenn der Benutzer in diesem Zustand die Digitalkamera 10 über den Funktionsschalter 116 veranlaßt, die Operation „NÄCHSTER" oder „ZURÜCK" auszuführen, wird das nächste Bild oder das Bild vor dem gerade angezeigten Bild für die Anzeige auf dem LCD-Monitor 102 ausgelesen.
  • Bei der vorliegenden Ausführungsform nimmt die Bildaufnahmeeinheit 20 Parallaxenbilder des Gegenstands aus zwei oder mehr unterschiedlichen Standpunkten auf.
  • 3 zeigt eine beispielhafte Ausgestaltung des Objektivteils 22 der Bildaufnahmeeinheit 20. 3 ist eine Ansicht des Objektivteils 22 von der Vorderseite der Digitalkamera 10 her. Der Objektivteil 22 umfaßt eine Linse. Der Objektivtreiber 42 bewegt den Objektivteil 22 zu Standpunkten 22R und 22L zur Aufnahme von Parallaxenbildern, wenn der aufgenommene Gegenstand aus verschiedenen Standpunkten durch den CCD-Sensor 30 zu betrachten ist.
  • Der Objektivantrieb 42 kann die gesamte Bildaufnahmeeinheit 20 so bewegen, daß diese die Parallaxenbilder aus verschiedenen Standpunkten aufnimmt. Nach diesem Verfahren, das heißt nach einem Bewegungs-Stereoverfahren, bei dem ein Teil der oder die gesamte Bildaufnahmeeinheit bewegt wird, um die Bildaufnahme aus unterschiedlichen Standpunkten vorzunehmen, besteht die Möglichkeit, die Anordnung des Bildaufnahmegeräts zu vereinfachen und die Gerätegröße im Vergleich zu der Bildaufnahme durch das von zwei oder mehr Kameras Gebrauch machende Facettenaugen-Stereoverfahren zu verkleinern, so daß die Vorrichtung wirtschaftlicher hergestellt werden kann. Außerdem ist es einfacher, die Bildaufnahmebedingungen einschließlich Fokussierung des Bildaufnahmegeräts, einzustellen.
  • Der CCD-Sensor 30 der Bildaufnahmeeinheit 20 kann für jeden der Standpunkte getrennt von dem CCD-Sensor 30 eines anderen Standpunkts vorgesehen werden, so daß der Objektivteil 22 das Bild des Gegenstands aus jedem Standpunkt aufnehmen kann. Darüber hinaus kann ein einzelner CCD-Sensor 30 vorgesehen sein, der die Bilder des Gegenstands aus zwei unterschiedlichen Standpunkten empfängt.
  • Der CCD-Sensor 30 dieser Ausführungsform ist ein Beispiel für einen Festkörper-Bildsensor. Der Festkörper-Bildsensor ist ein Bildsensor, der durch Halbleiterfertigungsverfahren hergestellt und integriert wird. Bei einem Festkörper-Bildsensor ist eine Anzahl von Pixeln mit jeweils der Funktion einer photoelektrischen Umwandlung und der Funktion der Speicherung elektrischer Ladungen zweidimensional auf einem Halbleitersubstrat angeordnet. Der Festkörper-Bildsensor empfängt von dem Objektivteil 22 gebündeltes Licht und speichert die durch photoelektrische Umwandlung entstandenen elektrischen Ladungen. Das Bild der gespeicherten elektrischen Ladungen wird in einer vorbestimmten Folge abgetastet und als elektrisches Signal ausgelesen.
  • Der Festkörper-Bildsensor enthält vorzugsweise ein Halbleiterbauelement mit einer Lichtempfangseinheit zum Empfangen von einfallendem Licht und Durchführung einer photoelektrischen Umwandlung, ein Gehäuse, welches das Halbleiterbauelement aufnimmt, ein transparentes Schutzelement, welches an dem Gehäuse gegenüber dem Halbleiterbauelement angeordnet ist und den Eintritt von Licht in die Lichtempfangseinheit ermöglicht; und ein Lichtsperrelement mit einer stärkeren Lichtabschirmeigenschaft als das transparente Schutzelement, wobei das Lichtabschirmelement an der äußeren oder inneren Oberfläche des transparenten Schutzelements ausgebildet ist. Diese Anordnung kann die Qualität des aufgenommenen Bilds verbessern. Darüber hinaus kann das transparente Schutzelement die Auflösung des erzeugten Bilds durch eine Mikrolinsenfunktion verbessern. Außerdem kann ein Farbbild dadurch aufgenommen werden, daß zwischen die Lichtempfangseinheit und das transparente Schutzelement ein Farbfilter eingefügt wird, oder ein solches Farbfilter auf dem transparenten Schutzelement oder innerhalb von diesem angeordnet wird.
  • Es ist erwünscht, daß der CCD-Sensor 30 diese Ausführungsform ein Bauelement mit Ladungskopplung (CCD) in Form eines eindimensionalen Bildsensors (linearen Sensors) oder eines zweidimensionalen Bildsensors (Flächensensors) ist, der eine ausreichend hohe Auflösung besitzt, um ein exaktes Erfassen der Parallaxe in den Parallaxenbildern zu ermöglichen. Als Festkörper-Bildsensor können auch andere Bauteile verwendet werden als der CCD-Sensor, so zum Beispiel ein MOS-Bildsensor, ein CdS-Se-Direktbildsensor, ein a-Si-Direktbildsensor (ein Sensor basierend auf amorphem Silicium), oder ein bipolarer Direktbildsensor.
  • Außerdem kann der Objektivteil 22 ein optisches Linsensystem zur Aufnahme eines Bilds des Gegenstands enthalten, abweichend von dem optischen Objektiv zur Aufnahme von Parallaxenbildern. In diesem Fall können das optische Objektivsystem zur aktuellen Bildaufnahme und das optische Objektivsystem für die Parallaxenbildaufnahme das Bild auf zwei verschiedenen CCD-Sensoren 30 aufnehmen. Das optische Objektivsystem für die aktuelle Bildaufnahme kann ein optisches Standardobjektiv, ein Weitwinkelobjektiv, ein Fischeiobjektiv mit Weitwinkel sein. Der CCD-Sensor 30, auf dem das Bild durch das Objektiv für die aktuelle Bildaufnahme erzeugt wird, hat eine andere Auflösung oder Empfindlichkeit als der CCD-Sensor 30, der das von der Optik für die Parallaxenbildaufnahme erzeugte Bild empfängt.
  • Die Verarbeitungseinheit 60 dieser Ausführungsform gewinnt Information über die Tiefe des Gegenstands auf der Grundlage der Parallaxenbilder des Gegenstands, die von der Bildaufnahmeeinheit 20 aufgenommen werden.
  • 4 ist ein funktionelles Blockdiagramm der Verarbeitungseinheit 60. Sie enthält einen Parallaxenbildspeicher 302, eine Schätzbild-Erzeugungseinheit 303, eine Positionsdifferenz-Detektoreinheit 304, eine Tiefenberechnungseinheit 308 und eine Aufzeichnungseinheit 310.
  • Der Parallaxenbildspeicher 302 speichert drei oder mehr Bilder, die von der Bildaufnahmeeinheit 20 aufgenommen wurden, außerdem die Zeiten, zu denen diese drei oder mehr Bilder gemacht wurden. Die Bilder beinhalten zwei Bilder, die aus einem Standard-Standpunkt aufgenommen wurden, und ein Bild, welches aus einem Referenz-Standpunkt gemacht wurde. Die Aufnahmezeit kann eine relative Zeit sein, beispielsweise ein Zeitintervall zwischen den Bildaufnahmevorgängen. Die Schätzbild-Erzeugungseinheit 303 wählt aus den drei oder mehr Bildern, die in dem Parallaxenbildspeicher 302 gespeichert sind, die aus dem Standard-Standpunkt aufgenommenen Bilder aus und erzeugt dann ein Schätzbild, bei dem es sich um ein Bild handelt, welches schätzungsweise aus dem Standard-Standpunkt zu einem Zeitpunkt aufgenommen wurde, zu welchem das Bild tatsächlich aus dem Referenz-Standpunkt aufgenommen wurde, wozu die zwei oder mehr Bilder verwendet werden, die aus dem Standard-Standpunkt gemacht wurden. Die Einzelheiten der Erzeugung des Schätzbilds werden später beschrieben. Die Positionsdifferenz-Detektoreinheit 304 ermittelt das Ausmaß der Lageabweichung zwischen einer speziellen Zone des Gegenstandsbilds in dem tatsächlich aus dem Referenz-Standpunkt aufgenommenen Bild und einer entsprechenden Zone in dem abgeschätzten Bild.
  • Die Tiefenberechnungseinheit 308 berechnet die Tiefe der speziellen Zone des Gegenstands auf der Grundlage mehrerer Positionsdifferenzen (Lageabweichungen), die von der Positionsdifferenz-Detektoreinheit 304 ermittelt werden. Das Berechnen der Tiefe beruht auf dem Triangulationsprinzip. Mit Hilfe der Positionsdifferenz-Detektoreinheit 304 und der Tiefenberechnungseinheit 308 läßt sich die Tiefe des Gegenstands für einen Teil oder den gesamten Gegenstand berechnen, von dem die Parallaxenbilder erstellt wurden.
  • Die Tiefenberechnungseinheit 308 kann die so berechnete Information über die Tiefe des Gegenstands in die Aufnahmesteuereinheit 40 eingeben. In diesem Fall steuert die Aufnahmesteuereinheit 40 den Fokussierantrieb 44, den Blendenantrieb 46 und den Verschlußantrieb 48 auf der Grundlage der Tiefeninformation über den Gegenstand, um die Brennweite, den Blendenwert der Blende und die Verschlußgeschwindigkeit einzustellen.
  • Die Aufzeichnungseinheit 310 zeichnet die Information über die Tiefe des Gegenstands, die von der Tiefenberechnungseinheit 308 berechnet wurde, und den Parallaxenbildern des Gegenstands, die in dem Parallaxenbildspeicher 302 gespeichert sind, in dem optionalen Gerät 76 auf.
  • Die Funktionen der Schätzbild-Erzeugungseinheit 303, der Positionsdifferenz-Detektiereinheit 304 und der Tiefenberechnungseinheit 308 können zum Beispiel erreicht werden durch Zusammenwirken der in 2 dargestellten Haupt-CPU 62 mit mindestens einem Programm, welches in dem Hauptspeicher 68 oder dem nicht-flüchtigen Speicher 66 gespeichert ist oder dorthin geladen wird. Wenn die Haupt-CPU 62 einen internen Speicher besitzt, kann das erforderliche Programm in dem internen Speicher abgespeichert werden, die oben beschriebenen Funktionen lassen durch Firmware realisieren. Der Hauptspeicher 68 oder der nicht-flüchtige Speicher 66 kann die Parallaxenbilddaten speichern, die in dem Parallaxenbildspeicher 302 der Verarbeitungseinheit 60 abzuspeichern sind. Darüber hinaus können die Parallaxenbilddaten von dem Kompressions-/Expansions-Prozessor 78 komprimiert werden. Die Funktion der Aufzeichnungseinheit 310 der Verarbeitungseinheit 60 lassen sich beispielsweise durch die Steuerung 74 für optionales Gerät erreichen. Außerdem kann die Betriebseinheit 110 eine spezielle Zone des Bilds des Gegenstands für die Verarbeitungseinheit 60 abhängig von einem Benutzerbefehl spezifizieren, damit die Tiefenberechnungseinheit 308 die Tiefenberechnung für diese spezielle Zone ausführt. Die Ausgestaltung zur Realisierung der oben angesproche nen Funktionen der Verarbeitungseinheit 60 in der Digitalkamera 10 ist in weiten Grenzen frei.
  • 5 ist ein Flußdiagramm des Bildaufnahmevorgangs gemäß dieser Ausführungsform. Die Aufnahmesystem-CPU 50 bestimmt das Zeitintervall T (Sekunden) zwischen den Bildaufnahmevorgängen, basierend auf der in oben beschriebener Weise bestimmten Verschlußgeschwindigkeit, und informiert den Objektivantrieb 42, den Verschlußantrieb 48 und die Bildaufnahmeeinheit 20 über das bestimmte Zeitintervall T (Sekunden) (Schritt S100). Der Objektivantrieb 42 bewegt den Objektivteil 22 zu einem Standpunkt 22L, und der Verschlußantrieb 48 und die Bildaufnahmeeinheit 20 arbeiten zusammen, um ein Bild des Gegenstands aufzunehmen und dadurch ein Bild L1 zu gewinnen (Schritt S102). Dann bewegt der Objektivantrieb 42 den Linsenteil 22 zu einem Standpunkt 22R. Der Verschlußantrieb 48 und die Bildaufnahmeeinheit 20 arbeiten zusammen, um das Bild des Gegenstands, nachdem seit der vorhergehenden Bildaufnahme T Sekunden verstrichen sind, derart zu bewegen, daß ein Bild R2 erhalten wird (Schritt S104). Dann bewegt der Objektivantrieb 42 den Objektivteil 22 zum Standpunkt 22L. Der Verschlußantrieb 48 und die Bildaufnahmeeinheit 20 arbeiten zusammen, um das Bild des Gegenstands aufzunehmen, nachdem T Sekunden nach der vorhergehenden Bildaufnahme verstrichen sind, so daß ein Bild L3 gewonnen wird (Schritt S106).
  • Der Parallaxenbildspeicher 302 empfängt Bilddaten von den Bildern L1, R2 und L3, außerdem Daten des Zeitintervalls T, und er speichert die empfangenen Daten (Schritt S107). Die Schätzbild-Erzeugungseinheit 303 erzeugt ein Bild L2 aus dem Standpunkt L zur Zeit, zu der das Bild R2 aufgenommen wurde, basierend auf der Abschätzung anhand der Bilder L1 und L3 (Schritt S110). Die Positionsdifferenz-Detektoreinheit 304 ermittelt dann das Ausmaß der Lageabweichung einer speziellen Zone des Gegenstands zwischen dem Bild R2 und dem Schätzbild L2, wobei die Lageabweichung (Positionsdifferenz) durch die Parallaxe verursacht wird (Schritt S112). Die Tiefenberechnungseinheit 308 berechnet die Tiefe der speziellen Zone basierend auf dem Prinzip der Triangulation (Schritt S114). Die Aufzeichnungseinheit 310 speichert die von der Tiefenberechnungseinheit 308 empfangene Tiefe (Schritt S116). Nach diesem Aufnahmeverfahren ist es möglich, in wirksamer Weise die Tiefe des Gegenstands durch das Bewegungs-Stereoverfahren auch dann zu erhalten, wenn sich der Gegenstand bewegt.
  • 6 ist ein Flußdiagramm einer Prozedur zum Trennen einer Zone in dem Bild des Gegenstands, wobei man die Bewegung des Gegenstands ignorieren kann, von einer Zone, während man die Bewegung des Gegenstands nicht ignorieren kann. Der Parallaxenbildspeicher 302 empfängt die Bilddaten der Bilder L1, R2 und L3 sowie die Daten des Zeitintervalls T und speichert die empfangenen Daten (Schritt S107). Die Schätzbild-Erzeugungseinheit 303 wählt eine spezielle Zone in dem Bild aus (Schritt S108). Die Schätzbild-Erzeugungseinheit 303 bestimmt, ob bei einem Bild für die spezielle Zone des Gegenstands die Abweichung in der Lage und die Größendifferenz zwischen den Bildern L1 und L3 gleich oder kleiner als vorbestimmte Werte sind (Schritt S109). Falls entweder die Lageabweichung oder die Größendifferenz oberhalb des vorbestimmten Werts liegt, wird das Schätzbild L2 in ähnlicher Weise erzeugt, wie dies in 5 gezeigt ist (Schritt S110), und die Lageabweichung der speziellen Zone des Gegenstands zwischen dem Bild R2 und dem Schätzbild L2, hervorgerufen durch Parallaxen, wird ermittelt (Schritt S112). Dann wird die Tiefe der speziellen Zone aus der Lageabweichung (Positionsdifferenz) berechnet (Schritt S114). Die berechnete Tiefe wird in der Aufzeichnungseinheit 310 gespeichert (Schritt S116). Andererseits detektiert dann, wenn de Lageabweichung und die Größenabweichung gleich oder kleiner als die vorbestimmten Werte sind, die Positionsdifferenz-Detektoreinheit 304 die Lageabweichung des Bilds der speziellen Zone zwischen dem Bild L1 und dem Bild R2 (Schritt S113). Die Tiefenberechnungseinheit 308 berechnet dann die Tiefe der speziellen Zone des Gegenstands aus der so berechneten Positionsdifferenz anhand des Triangulationsprinzips (Schritt S114). Die Aufzeichnungseinheit 310 speichert die berechnete Tiefe (Schritt S116). Durch diese Prozedur läßt sich die Bildabschätzung für die Zone ohne oder mit nur wenig Bewegung weglassen.
  • Darüber hinaus wird jedes der Bilder L1 und L3 in mehrere Flächenbereiche aufgeteilt, und diese Flächenbereiche werden abhängig davon, ob ein Bild in jedem Flächenbereich eines der Bilder L1 und L3 übereinstimmt mit einem Bild in dem entsprechenden Flächenbereich des anderen der Bilder L1 und L3 klassifiziert. Für den Flächenbereich, der nicht das mit dem entsprechenden Flächenbereich übereinstimmende Bild enthält, wird das Schätzbild L2 in ähnlicher Weise erzeugt, wie dies in 5 gezeigt ist (Schritt S110); die Positionsdifferenz zwischen dem Bild R2 und dem Schätzbild L2, hervorgerufen durch Parallaxe, wird ermittelt (Schritt S112), und aus der berechneten Positionsdifferenz wird die Tiefe berechnet (Schritt S114). Die berechnete Tiefe wird in der Aufzeichnungseinheit 310 gespeichert (Schritt S116). Für den Flächenbereich, der das mit dem entsprechenden Flächenbereich übereinstimmende Bild enthält, detektiert die Positionsdifferenz-Detektoreinheit 304 die Lageabweichung des Bilds der speziellen Zone zwischen den Bildern L1 und R2 (Schritt S113), und die Tiefenberechnungseinheit 308 berechnet die Tiefe der speziellen Zone des Gegenstands anhand des Triangulationsprinzips unter Verwendung der Lageabweichung (Schritt S114). Die Aufzeichnungseinheit 310 speichert die so berechnete Tiefe (Schritt S116). Bei dieser Prozedur kann die Bildabschätzung für den Bereich mit nur wenig Bewegung des Gegenstands entfallen.
  • Als nächstes wird das Bildabschätzverfahren beschrieben. Die Bildverarbeitung erfolgt für jeden kleinen Flächenbereich, der durch Aufteilung des Bilds des Gegenstands erhalten wird. Dies deshalb, weil die Tiefe und das Ausmaß der Bewegung zwischen den Flächenbereichen verschieden sind.
  • 7A, 7B und 7C veranschaulichen ein beispielhaftes Bildabschätzverfahren für den Fall, daß die Nase eines Menschen als spezielle Zone des Gegenstands betrachtet wird. Da das Zeitintervall zwischen den Bildaufnahmevorgängen ausreichend kurz ist, läßt sich die Lageänderung, die durch die Bewegung des Gegenstands verursacht wird, als im zeitlichen Verlauf linear approximieren. Wenn die Bildaufnahmevorgänge in konstanten Zeitintervallen ausgeführt werden, wie es aus dem in 5 gezeigten Flußdiagramm hervorgeht, so werden charakteristische Punkte in den Bildern L1 und L3 gemäß 7A und 7B derart bestimmt, daß die Punkte einander entsprechen. Im vorliegenden Fall wird der entsprechende charakteristische Punkt in dem Schätzbild L2 als Punkt angenommen, welcher intern eine die charakteristischen Punkte in den Bildern L1 und L3 verbindende Linie im Verhältnis 1:1 teilt. Im Fall von nicht-konstanten Zeitintervallen kann der charakteristische Punkt durch interne oder externe Teilung in ähnlicher Weise berechnet wer den. Man beachte, daß der Bildaufnahmevorgang für denselben Standpunkt dreimal oder häufiger ausgeführt werden kann. In diesem Fall kann die Lageänderung, die durch die Bewegung des Gegenstands verursacht wird, mit Hilfe eines Polynoms approximiert werden. Die Verwendung eines Polynoms verbessert die Approximation.
  • 8A und 8B zeigen ein weiteres beispielhaftes Bildabschätzverfahren für den Fall, daß eine menschliche Nase als spezielle Zone dient. Wenn intern oder extern aufgeteilte Punkte der charakteristischen Punkte in den Bildern L1 und L3 aus den Bildern L1 und L3 gemäß 8A gewonnen werden, kann eine Menge von Schätzbildern L der speziellen Zone des Gegenstands, betrachtet aus dem Standpunkt 22L, abgeschätzt werden. Aus der Schätzbildmenge L wird ein Bild, welches die Nase mit der gleichen Größe wie die Nase im Bild R2 gemäß 8B als das Schätzbild L2 ausgewählt, so daß es dem Bild R2 entspricht. Bei diesem Verfahren kann die Bildabschätzung vorgenommen werden, ohne daß Information über die Zeit vorliegt, zu der die Bildaufnahmevorgänge durchgeführt wurden. Selbst wenn der Gegenstand die Geschwindigkeit erhöht, läßt sich eine hervorragende Approximation durchführen, solange die Bewegung des Gegenstands einer Linie nahekommt. Darüber hinaus kann dieses Verfahren dazu benutzt werden, eine Interpolation bei dem in 7A–7C dargestellten Schätzverfahren vorzunehmen.
  • 9 zeigt eine weitere beispielhafte Ausgestaltung des Objektivteils 22 der Bildaufnahmeeinheit 20 in Form einer Ansicht des Objektivteils 22 für den Fall, daß die Bildaufnahmeeinheit 20 von der Vorderseite her betrachtet wird. Vorzugsweise kann der Objektivantrieb 42 den Standpunkt der Bildaufnahmeeinheit 20, beispielsweise den Objektivteil 22, zu drei Punkten bewegen, die nicht auf mindestens einer Linie liegen. Insbesondere bewegt erfindungsgemäß nach dieser Figur der Objektivantrieb 42 den Standpunkt der Bildaufnahmeeinheit 20 zu der Mitte und zu den Scheiteln einer Raute. Die Standpunkte sind an den Positionen 22a, 22b, 22c, 22d und 22e eingerichtet, bei denen es sich um die Mitte bzw. die Scheitel einer Raute handelt. Alternativ kann der Objektivantrieb 42 den Standpunkt der Bildaufnahmeeinheit 20 zum Zentrum und zu den Ecken eines Quadrats bewegen. Im Fall einer Kombination der Standpunkte 22a und 22c entsteht, wenn sich der Gegenstand gegenüber dem Zentrum des Bilds stark nach rechts oder nach links verlagert, eine „blinde Zone", für die die Berechnung der Tiefe schwierig ist, weil die durch die Parallaxe verursachte Lageabweichung gering ist. Anstatt der Kombination der Standpunkte 22a und 22c ermöglicht die Verwendung der Kombination der Standpunkte 22a und 22b die Tiefenberechnung. Um die Parallaxenbilder des Gegenstands aufzunehmen und damit die durch die Parallaxe hervorgerufene Positionsabweichung für eine größere Zone ohne die Blindzone zu erfassen, ist es effektiv, fünf Standpunkte in der oben beschriebenen Weise zu verwenden. Als Objektivteil 22 dient ein Objektiv. Der Objektivantrieb 42 bewegt den Objektivteil 22, so daß in dem CCD-Sensor 30 die Parallaxenbilder aufgenommen werden, wenn der Gegenstand aus unterschiedlichen Standpunkten gesehen wird. Selbst für eine Zone, bei der die Tiefenberechnung unter Verwendung von zwei aus zwei Standpunkten aufgenommenen Parallaxenbildern schwierig ist, besteht die Möglichkeit, die Tiefe durch Verwendung des Parallaxenbilds zu berechnen, welches an dem dritten Standpunkt aufgenommen wurde, der sich von jenen zwei Standpunkten unterscheidet, zusammen mit den Parallaxenbildern, die aus diesen beiden Standpunkten aufgenommen wurden, wodurch die blinde Zone eliminiert wird. Damit ist es möglich, die Tiefe des Gegenstands mit hoher Genauigkeit für einen größeren Sichtbereich zu berechnen.
  • 10 zeigt ein weiteres Beispiel für die Art und Weise, in der die Bildaufnahmeeinheit 20 den Standpunkt ändert. Die Blende 24 ist ein Beispiel für eine Lichtbegrenzungseinheit. Der Objektivteil 22 steht fest. Der Blendenantrieb 46 bewegt die Öffnung 25 der Blende 24 parallel zu einer Pupillenebene des Objektivteils 22. Die Lage der Öffnung 25 läßt sich durch Drehen der Blende 24 ändern, wie in 11 gezeigt ist. Darüber hinaus läßt sich die Position der Öffnung 25 dadurch öffnen, daß mehrere Blenden mit Hilfe eines optischen Flüssigkristallverschlusses geöffnet/geschlossen werden. Durch Ändern der Stellung der Öffnung in der oben beschriebenen Weise können Bildaufnahmevorgänge aus mehreren Standpunkten ausgeführt werden. Wenn die Öffnung 25 bewegt wird, ändert sich die Position eines Bilds einer Zone des Gegenstands, die in einer Ebene existiert, auf die der Objektivteil 22 scharf eingestellt ist, nicht. Andererseits bewegt sich die Lage eines Bilds einer Zone des Gegenstands, die nicht im Brennpunkt liegt, das heißt ein verschwommenes Bild, wenn die Öffnung 24 bewegt wird. Darüber hinaus nimmt der Bewegungshub des verschwommenen Bilds dann zu, wenn die Entfernung von der Brennebene zunimmt. Unter Ausnutzung dieser Tatsache wird die Tiefe berechnet. In diesem Fall kann die Tiefenberechnung durch bloßes Bewegen der Blende 24 erfolgen. Damit ist es möglich, den beweglichen Teil kompakt und leicht zu gestalten, verglichen mit dem Fall, daß die gesamte Bildaufnahmeeinheit 20 oder der Objektivteil 22 bewegt wird. Im Ergebnis wird das Bewegungssystem sowie die dazugehörige Steuerung vereinfacht. Da außerdem die Zeit zum Bewegen des Standpunkts und das Zeitintervall zwischen den Bildaufnahmevorgängen verkürzt werden können, läßt sich die Genauigkeit der Bildabschätzung verbessern.
  • Wie oben beschrieben wurde, kann erfindungsgemäß mit dem Bildaufnahmegerät ein Paar Parallaxenbilder, in denen der Bewegungsfaktor aufgehoben ist, auch dann erzeugt werden, wenn sich der Gegenstand dreidimensional bewegt. Obschon das Bewegungs-Stereoverfahren den Vorteil hat, daß die Parallaxenbilder wirtschaftlich mit einem kleinen Gerät aufgenommen werden können, ist es nicht effektiv bei einem sich bewegenden Gegenstand, weil die Parallaxenbilder nacheinander aufgenommen werden und sich damit die Aufnahmezeiten voneinander unterscheiden. Andererseits kann bei der vorliegenden Ausführungsform ein Bild zu einer speziellen Zeit unter Verwendung einer Mehrzahl von Bildern abgeschätzt werden, die aus dem gleichen Standpunkt aufgenommen wurden. Das Schätzbild wird dann mit einem Bild aus einem anderen Standpunkt zu entsprechender Zeit kombiniert, um durch das Bewegungs-Stereoverfahren ein Paar Parallaxenbilder zu erhalten, die gleichzeitig aufgenommen wurden. Damit läßt sich die Tiefe in wirksamer Weise berechnen.
  • (Ausführungsform 2)
  • Im folgenden wird die zweite Ausführungsform der Erfindung beschrieben. 12 ist ein Diagramm, weiches schematisch die Ausgestaltung eines Laborsystems 350 als Bildverarbeitungsvorrichtung darstellt, in der die Entwicklung und Editierung von Photographien ausgeführt werden kann. Das Laborsystem 350 enthält eine Eingabeeinheit 352, eine Verarbeitungseinheit 354, eine Aufzeichnungseinheit 356 und eine Ausgabeeinheit 358.
  • Die Eingabeeinheit 352 gibt Bilddaten eines Gegenstands ein. Im Fall der Eingabe von digitalen Bildern eines von einer Digitalkamera oder dergleichen aufgenommenen Objekts wird als Eingabeeinheit 352 ein Lesegerät zum Lesen der Bilddaten von einem entnehmbaren Aufzeichnungsträger, beispielsweise eine Halbleiter-Speicherkarte, verwendet. Wenn die Bilddaten von einer Floppy-Disk, einer MO, einem CD-ROM oder dergleichen gelesen werden, dient als Eingabeeinheit 352 beispielsweise ein MO-Laufwerk, ein CD-Laufwerk oder eine geeignete Laufwerkseinrichtung.
  • Die Verarbeitungseinheit 354 speichert das über die Eingabeeinheit 352 eingegebene Bild und berechnet die Tiefe des Gegenstands. Die Verarbeitungseinheit 354 gibt Information über die berechnete Tiefe zusammen mit dem Bild der Aufzeichnungseinheit 356 aus. Die Verarbeitungseinheit 354 kann das Bild des Gegenstands anhand der berechneten Tiefe verarbeiten, um das verarbeitete Bild an die Aufzeichnungseinheit 356 und die Ausgabeeinheit 354 auszugeben.
  • Die Aufzeichnungseinheit 356 zeichnet die Information über die Tiefe oder die Bilddaten, die von der Verarbeitungseinheit 354 ausgegeben werden, auf einem herausnehmbaren Aufzeichnungsmedium auf. Als herausnehmbares Aufzeichnungsmedium kann ein optischer Aufzeichnungsträger verwendet werden, so zum Beispiel ein beschreibbarer CD-ROM oder eine beschreibbare DVD, ferner ein magnetooptischer Aufzeichnungsträger wie beispielsweise eine MO, ein magnetischer Aufzeichnungsträger wie beispielsweise eine Floppy-Disk oder dergleichen. Damit kann als Aufzeichnungseinheit 356 ein CD-R-Laufwerk, ein DVD-Laufwerk, ein MO-Laufwerk, ein Floppy-Laufwerk oder dergleichen verwendet werden. Die Aufzeichnungseinheit 356 kann die Information über die Tiefe oder die Bilddaten in einen Halbleiterspeicher einschreiben, beispielsweise einen Flash-Speicher oder eine Speicherkarte.
  • Die Ausgabeeinheit 358 gibt die Bilddaten, die von der Verarbeitungseinheit 354 verarbeitet und ausgegeben wurden, als Bild aus. Beispielsweise wird als Ausgabeeinheit 358 für den Fall der Anzeige des Bilds auf einem Bildschirm ein Monitor zur Bildanzeige verwendet. In einem anderen Fall, in welchem das Bild ausgedruckt wird, kann ein Drucker, zum Beispiel ein digitaler Drucker oder ein Laserdrucker als Ausgabeeinheit 358 verwendet werden.
  • 13 ist ein funktionelles Diagramm der Verarbeitungseinheit 354. Diese enthält einen Parallaxenbildspeicher 302, eine Schätzbild-Erzeugungseinheit 303, eine Positionsdifferenz-Detektoreinheit 304, eine Tiefenberechnungseinheit 308 und eine Bildwandlereinheit 312.
  • Der Parallaxenbildspeicher 302 speichert Daten von drei oder mehr Bildern des Gegenstands, die über die Eingabeeinheit 352 eingegeben wurden, in einem Halbleiterspeicher, zum Beispiel einem RAM, oder auf einem magnetischen Aufzeichnungsträger, zum Beispiel einer Festplatte. Die Schätzbild-Erzeugungseinheit 303 schätzt anhand von zwei oder mehr Bildern, die aus dem gleichen Standpunkt aufgenommen wurden, ein Bild einer speziellen Zone des Gegenstands ab, von dem man annehmen kann, daß es aus dem gleichen Standpunkt zu einer vorbestimmten Zeit aufgenommen wurde. Die Positionsdifferenz-Detektoreinheit 304 detektiert die Positionsdifferenz der Lage des Bilds der speziellen Zone, die durch Parallaxe hervorgerufen wird, in Kombination mit dem Schätzbild und einem weiteren Bild der speziellen Zone des Gegenstands, welches zu der vorbestimmten Zeit aus einem anderen Standpunkt aufgenommen wurde, der verschieden ist von dem Standpunkt, welcher dem Schätzbild entspricht. Die Tiefenberechnungseinheit 308 berechnet die Tiefe der speziellen Zone des Gegenstands unter Verwendung einer Mehrzahl von Positionsdifferenzen, die von der Positionsdifferenz-Detektoreinheit 304 nachgewiesen wurden.
  • Die Prozedur der Tiefenberechnung, die von der Schätzbild-Erzeugungseinheit 303, der Positionsdifferenz-Detektoreinheit 304 und der Tiefenberechnungseinheit 308 ausgeführt wird, ist ähnlich derjenigen, die für die erste Ausführungsform beschrieben wurde, so daß die Beschreibung der Tiefenberechnung hier entfällt.
  • Die Bildwandlereinheit 312 verarbeitet das Bild des Gegenstands auf der Grundlage der Information über die Tiefe des Gegenstands, wie sie von der Tiefenberechnungseinheit 308 berechnet wurde. Die Bildwandlereinheit 312 gibt die Information über die Tiefe des Gegenstands, die Parallaxenbilder oder das verarbeitete Bild an die Aufzeichnungseinheit 356 und die Ausgabeeinheit 358 aus.
  • Bei der erfindungsgemäßen Bildverarbeitungsvorrichtung läßt sich die Information über die Tiefe des Gegenstands dadurch erhalten, daß man die Parallaxenbilder des sich bewegenden Gegenstands eingibt. Darüber hinaus kann basierend auf der Information über die Tiefe des Gegenstands die Bildverarbeitung so vorgenommen werden, daß Zeichnungsdaten erstellt werden, beispielsweise CAD-Daten. Wenn außerdem das Zeitintervall zwischen den Bildaufnahmevorgängen eingegeben wird, läßt sich sowohl die Geschwindigkeit als auch die Richtung der Bewegung des Gegenstands für jede spezielle Zone errechnen.
  • (Ausführungsform 3)
  • Im folgenden wird die dritte Ausführungsform der Erfindung beschrieben. 14 ist ein Blockdiagramm einer Bildverarbeitungsvorrichtung gemäß der vorliegenden Ausführungsform. Der grundlegende Aufbau und die Arbeitsweise der Bildverarbeitungsvorrichtung gemäß dieser Ausführungsform sind die gleichen wie bei der zweiten Ausführungsform, nur daß hier ein Computer, beispielsweise ein Personal-Computer oder eine Workstation als Verarbeitungseinheit 354 der Bildverarbeitungsvorrichtung verwendet wird.
  • Bezugnehmend auf 14 wird die Hardware-Konfiguration der Verarbeitungseinheit 354 dieser Ausführungsform erläutert. Eine CPU 230 arbeitet auf der Grundlage mindestens eines in einem ROM 232 oder einem RAM 234 gespeicherten Programms. Der Benutzer gibt Daten über ein Eingabegerät 231 ein, zum Beispiel eine Tastatur oder eine Maus. Ein Festplattenlaufwerk 233 speichert Daten wie zum Beispiel Bilddaten und das Programm, mit dem die CPU 230 arbeitet. Ein CD-ROM-Laufwerk 235 liest Daten oder ein Programm von einer CD-ROM 290 zur Bereitstellung der gelesenen Daten oder eines Programms für den RAM 234, die Festplatte 233 und/oder die CPU 230.
  • Der funktionelle Aufbau des von der CPU 230 auszuführenden Programms ist der gleiche wie bei der Verarbeitungseinheit 354 der Bildverarbeitungsvorrichtung der zweiten Ausführungsform. Das heißt: das von der CPU 230 auszuführende Programm enthält einen Parallaxenbildspeicher, ein Schätzbild-Erzeugungsmodul, ein Positionsdifferenz-Detektormodul, ein Tiefenberechnungsmodul und ein Bildwandlermodul.
  • Die Prozedur, die der Parallaxenbildspeicher, das Schätzbild-Erzeugungsmodul, das Positionsdifferenz-Detektormodul, das Tiefenberechnungsmodul und das Bildwandlermodul ausführen, sind die gleichen wie die Funktionen und die Arbeitsweise des Parallaxenbildspeichers 302, der Schätzbild-Erzeugungseinheit 303, der Positionsdifferenz-Detektoreinheit 304, der Tiefenberechnungseinheit 308 und der Bildwandlereinheit 312 der Verarbeitungseinheit 354 der Bildverarbeitungsvorrichtung der zweiten Ausführungsform, so daß die Beschreibung der Prozeduren entfällt. Das Programm für die obigen Prozeduren wird für den Benutzer durch Speicherung auf einem Aufzeichnungsträger, beispielsweise der CD-ROM 290, bereitgestellt. Die CD-ROM 290 ist ein Beispiel für den Aufzeichnungsträger, der einen Teil oder die gesamten Funktionen und Betriebsabläufe der Bildverarbeitungsvorrichtung gemäß vorliegender Anmeldung speichern kann.
  • Das Programm für die obigen Prozeduren läßt sich von der CPU 230 ausführen, nachdem es von dem Aufzeichnungsträger direkt in den RAM 234 eingelesen wurde. Alternativ läßt sich das Programm für die obige Prozedur von dem Aufzeichnungsträger auf der Festplatte 233 installieren und in den RAM 234 einlesen, so daß die CPU 230 das Programm ausführt.
  • Als Aufzeichnungsträger kann auch ein anderer Aufzeichnungsträger als die Floppy-Disk und die CD-ROM verwendet werden, zum Beispiel ein optischer Aufzeichnungsträger, zum Beispiel eine DVD oder eine PD, ein magnetooptischer Aufzeichnungsträger wie zum Beispiel eine MD, ein bandförmiger Aufzeichnungsträger, ein magnetischer Aufzeichnungsträger oder aber ein Halbleiterspeicher, beispielsweise eine IC-Karte oder eine Miniaturkarte.
  • Das obige Programm kann auf einem einzelnen Aufzeichnungsträger oder auf mehreren Aufzeichnungsträgern gespeichert werden, wobei es gegebenenfalls in mehrere Teile aufgeteilt ist. Außerdem kann das Programm in komprimierter Form auf dem Aufzeichnungsträger aufgezeichnet sein. Das komprimierte Programm kann expandiert und in einen anderen Aufzeichnungsträger, beispielsweise den RAM 234, gelesen werden, um ausgeführt zu werden. Darüber hinaus kann das komprimierte Programm von der CPU 230 expandiert, auf der Festplatte 233 installiert und dann in einen anderen Aufzeichnungsträger, beispielsweise den RAM 234, eingelesen werden, um ausführbar zu sein.
  • Der CD-ROM 290 ist ein Beispiel für das Aufzeichnungsmedium und kann das obige Programm speichern, welches von einem Host-Computer über ein Kommunikationsnetzwerk geliefert wird. Das in dem Aufzeichnungsträger gespeicherte Programm kann in einer Festplatte des Host-Computers gespeichert sein, um anschließend zu dem Computer in Form der Bildverarbeitungsvorrichtung gemäß der vorliegenden Ausführungsform von dem Host-Computer über das Kommunikationsnetzwerk gesendet zu werden, wobei es dann in dem Computer in den anderen Aufzeichnungsträger zur Ausführung eingelesen wird, beispielsweise den RAM 234.
  • Der das vorbestimmte Programm speichernde Aufzeichnungsträger dient nur zur Herstellung der Bildverarbeitungsvorrichtung gemäß vorliegender Anmeldung, so daß ersichtlich ist, daß die Herstellung oder der Vertrieb eines solchen Aufzeichnungsträgers in gewerblicher Form eine Verletzung der auf der vorliegenden Anmeldung basierenden Rechte darstellen kann.
  • (Ausführungsform 4)
  • Als nächstes wird die vierte Ausführungsform der Erfindung beschrieben. Ein Bildaufnahmegerät gemäß dieser Ausführungsform ist ein elektronisches Gerät wie zum Beispiel ein Notebook, enthaltend eine Kamera, außerdem ein PDA mit eingebauter Kamera. In diesen Fällen fungiert ein Computerteil des Notebooks oder des PDA hauptsächlich als die in 14 dargestellte Verarbeitungseinheit 354. Das Bildaufnahmegerät dieser Aus führungsform hat einen Aufbau, den man erhält durch Modifizieren der ersten Ausführungsform in der Weise, daß die Verarbeitungseinheit 60 durch die in 14 dargestellte Hardware der Verarbeitungseinheit 354 ersetzt wird. Der grundlegende Aufbau und die grundlegende Arbeitsweise des Bildaufnahmegeräts dieser Ausführungsform sind die gleichen wie bei der ersten Ausführungsform.
  • Die Hardware der Verarbeitungseinheit 354 dieser Ausführungsform ist die gleiche wie die der Verarbeitungseinheit 354 der dritten Ausführungsform, so daß die Beschreibung entfällt. Die funktionelle Ausgestaltung des Programms zur Ausführung durch die CPU 230 ist ebenfalls die gleiche wie die funktionelle Konfiguration der Verarbeitungseinheit 60 des Bildaufnahmegeräts der ersten Ausführungsform und enthält ein Parallaxenspeichermodul, ein Schätzbild-Erzeugungsmodul, ein Positionsdifferenz-Detektormodul, ein Tiefenberechnungsmodul und ein Aufzeichnungsmodul.
  • Die Prozeduren, die das Parallaxenbildspeichermodul, das Schätzbild-Erzeugungsmodul, das Positionsdifferenz-Detektormodul, das Tiefenberechnungsmodul und das Bildwandlermodul mit der CPU 230 ausführen, sind die gleichen wie Funktionen und Arbeitsweisen des Parallaxenbildspeichers 302, der Schätzbild-Erzeugungseinheit 303, der Positionsdifferenz-Detektoreinheit 304, der Tiefenberechnungseinheit 308 und der Aufzeichnungseinheit 310 in der Verarbeitungseinheit 354 des Bildaufnahmegeräts der zweiten Ausführungsform, so daß die Beschreibung dieser Prozeduren entfällt. Das von der CPU 230 auszuführende Programm wird dem Benutzer gespeichert auf einem Aufzeichnungsträger, beispielsweise dem CD-ROM 290, zur Verfügung gestellt. Der CD-ROM 290 kann als ein Beispiel für den Aufzeichnungsträger einen Teil oder die gesamten Abläufe für die Bildaufnahmevorrichtung gemäß vorliegender Anmeldung speichern.
  • Der Aufzeichnungsträger, der das obige Programm speichert, dient nur zur Herstellung der Bildverarbeitungsvorrichtung gemäß vorliegender Anmeldung, so daß Herstellung und Verkauf eines solchen Aufzeichnungsträgers in gewerblicher Form eine Verletzung der auf der vorliegenden Anmeldung beruhenden Rechte darstellen können.
  • Bei der ersten oben beschriebenen Ausführungsform erfolgt die Bildaufnahme aus mehreren Standpunkten durch Bewegen einer Position, bei der die einzelne Aufnahmeeinheit 20 die Bildaufnahme durchführt, damit die Bildaufnahme für den Gegenstand an mehreren Standpunkten zu unterschiedlichen Zeiten erfolgt. Anstatt die einzelne Aufnahmeeinheit zu bewegen, kann man alternativ mehrere Aufnahmeeinheiten vorsehen, um die Bildaufnahme zu verschiedenen Zeiten vorzunehmen. In diesem Fall sind die Aufnahmeeinheiten 20 an mehreren verschiedenen Stellen angeordnet. Man beachte, daß der Begriff „Aufnahmeeinheiten" Aufnahmegeräte bedeutet, darunter optische Systeme, die unterschiedlich voneinander aufgebaut sein können. Beispielsweise beinhaltet jede Aufnahmeeinheit 20 die Optik (den Objektivteil 22 beispielsweise), die Lichtempfangseinheit (zum Beispiel das CCD-Bauelement) und dergleichen, die separat von solchen Teilen vorgesehen sind, die in anderen Aufnahmeeinheiten 20 enthalten sind, allerdings den Aufnahmesignalprozessor 32, den elektronischen Blitz 26 enthalten, die gemeinsam in den anderen Aufnahmeeinheiten 20 vorhanden sind.
  • 15 ist eine Ansicht eines Aufnahmeteils mit mehreren Aufnahmeeinheiten 20 bei Betrachtung von der Seite des Gegenstands her. Der Aufnahmeteil enthält die Aufnahmeeinheiten 20 an mehreren unterschiedlichen Stellen. Bei dem in 15 dargestellten Beispiel wird die Bildaufnahme für den Gegenstand an mehreren Standpunkten realisiert durch die Bereitstellung der mehreren Aufnahmeeinheiten 20 an verschiedenen Stellen. Die Steuereinheit 202 steuert gemeinsam mit der Zeiteinstelleinheit 206 die Zeiten, zu denen die Aufnahmeeinheiten 20 die Bildaufnahme für den Gegenstand durchführen, so daß die Aufnahmeeinheiten 20 dazu gebracht werden, Bilder des Gegenstands nacheinander zu unterschiedlichen Zeitpunkten aufzunehmen. Bei diesem Vorgang bringt die Steuereinheit 202 mindestens eine der Aufnahmeeinheiten 20 dazu, die Bildaufnahme des Gegenstands zweimal oder häufiger vorzunehmen. Der Aufnahmeteil enthält vorzugsweise eine Mehrzahl von Aufnahmeeinheiten 20 an verschiedenen Stellen, die nicht auf einer Linie liegen. Insbesondere kann der Aufnahmeteil eine Mehrzahl von Aufnahmeeinheiten 20 in der Mitte und an den Ecken einer Raute enthalten. Alternativ kann der Aufnahmeteil mehrere Aufnahmeeinheiten 20 in der Mitte und an den Ecken eines Quadrats enthalten.
  • Alternativ kann das Bildaufnahmegerät Bilder des Gegenstands aus zwei Standpunkten aufnehmen, so daß die Tiefe des Gegenstands durch Verwendung von drei nacheinander aufgenommenen Bildern berechnet wird. In diesem Fall kann das Bildaufnahmegerät nacheinander die Information über die Tiefe des Gegenstands in zeitlicher Folge erhalten, um dadurch beispielsweise ein dreidimensionales Bewegungsbild zu erzeugen.
  • 16 ist ein funktionelles Blockdiagramm eines dreidimensionalen Modelliersystems 500 als Beispiel für das Bildaufnahmegerät gemäß der Erfindung. Das dreidimensionale Modelliersystem 500 erhält nacheinander die Information über die Tiefe des Gegenstands in zeitlicher Folge, um das dreidimensionale Bild des Gegenstands zu erzeugen. Das dreidimensionale Modelliersystem 500 enthält eine Steuerung 502, eine Zeiteinstelleinheit 506, einen Aufnahmeteil 508, einen Parallaxenbildspeicher 510, zwei Schätzbild-Erzeugungseinheiten 512, eine Positionsdifferenz-Detektoreinheit 514, eine Tiefenberechnungseinheit 516 und eine Ausgabeeinheit 518. Insbesondere besitzt das dreidimensionale Modelliersystem 500 dieser Ausführungsform Schätzbild-Erzeugungseinheiten 512L und 512R, wie in 16 gezeigt ist. Außerdem besitzt der Aufnahmeteil 508 zwei Aufnahmeeinheiten 20L und 20R an voneinander verschiedenen Stellen.
  • Die Parallaxenbildspeichereinheit 510, die Schätzbild-Erzeugungseinheit 512, die Positionsdifferenz-Detektoreinheit 514, die Tiefenberechnungseinheit 516 und die Aufnahmeeinheiten 20 haben die gleichen Funktionen wie die Parallaxenbildspeichereinheit 302, die Schätzbild-Erzeugungseinheit 303, die Positionsdifferenz-Detektoreinheit 304, die Tiefenberechnungseinheit 308 und die Aufnahmeeinheit 20 der ersten Ausführungsform. Außerdem bestimmt die Steuerung 502 die Häufigkeit der Bildaufnahme, damit die Aufnahmeeinheiten 20L und 20R Bilder des Gegenstands abwechselnd aufnehmen, und sie gibt die so festgelegten Bildaufnahmezeiten an die Zeiteinstelleinheit 506. Diese gibt die Bildaufnahmezeiten an den Aufnahmeteil 508 abhängig von der Ausgabe seitens der Steuerung 502. Der Aufnahmeteil 508 bringt die Aufnahmeeinheiten 20L und 20R abwechselnd dazu, die Parallaxenbilder des Gegenstands zu den Bildaufnahmezeiten aufzunehmen, die von der Zeiteinstelleinheit 506 empfangen werden, um die aufgenommenen Parallaxenbilder des Gegenstands an die Parallaxenbildspeichereinheit 510 zu geben.
  • Die Parallaxenbildspeichereinheit 510 gibt die von dem Aufnahmeteil 508 empfangenen Parallaxenbilder an die Schätzbild-Erzeugungseinheit 512L und 512R und die Positionsdifferenz-Detektoreinheit 514. Insbesondere gibt die Parallaxenbildspeichereinheit 510 das von der Aufnahmeeinheit 20L aufgenommene Parallaxenbild an die Schätzbild-Erzeugungseinheit 512L, die zu der Aufnahmeeinheit 20L gehört, während sie das von der Aufnahmeeinheit 20R aufgenommene Parallaxenbild an die Schätzbild-Erzeugungseinheit 512R gibt, die zu der Aufnahmeeinheit 20R gehört. Die Schätzbild-Erzeugungseinheiten 512L und 512R erzeugen Schätzbilder unter Verwendung von zu unterschiedlichen Zeiten aufgenommenen Parallaxenbildern, um dann die so erzeugten Schätzbilder an die Positionsdifferenz-Detektoreinheit 514 zu geben.
  • Die Positionsdifferenz-Detektoreinheit 514 detektiert das Ausmaß der Positionsdifferenz durch Verwendung des von einer der Aufnahmeeinheiten 20L und 20R aufgenommenen Parallaxenbilds und des dementsprechenden Schätzbilds, das heißt des Schätzbilds, welches angenommener Weise aus dem Standpunkt der anderen der Aufnahmeeinheiten 20L und 20R zu der Zeit aufgenommen wurden, zu dem die eine der Aufnahmeeinheiten 20L und 20R tatsächlich das Bild des Gegenstands aufgenommen hat, genau so wie es für die erste Ausführungsform beschrieben wurde. Der nachgewiesene Betrag der Positionsdifferenz wird an die Tiefenberechnungseinheit 516 ausgegeben, welche die Tiefe des Gegenstands unter Verwendung des Positionsdifferenzbetrags in der gleichen Weise ausrechnet, wie dies für die erste Ausführungsform beschrieben wird, um anschließend die berechnete Tiefe an die Ausgabeeinheit 518 zu geben. Die Ausgabeeinheit 518 erzeugt das dreidimensionale Modell des Gegenstands unter Verwendung der empfangenen Tiefen. Die Ausgabeeinheit 518 kann die dreidimensionalen Modelle in eine Reihenfolge ausgeben, in der die Parallaxenbilder geschossen wurden, um ein Bewegungsbild des Gegenstands auszugeben.
  • 17 ist ein Flußdiagramm eines Arbeitsablaufs, der von dem dreidimensionalen Modelliersystem 500 ausgeführt wird. Die Steuerung 502 arbeitet mit der Zeiteinstelleinheit 506 zusammen, um die Aufnahmeeinheiten 20L und 20R anzuhalten, abwechselnd die Bildaufnahme für den Gegenstand in vorbestimmten Zeitintervallen auszuführen. Beim vorliegenden Beispiel beginnen die Zeitpunkte, zu denen die Steuerung 502 und die Zeiteinstelleinheit 506 die Bildaufnahme für die Aufnahmeeinheiten 20L und 20R befehlen, mit dem ersten Zeitpunkt, woraufhin sich der zweite Zeitpunkt, der dritte Zeitpunkt ... usw. in dieser Reihenfolge anschließen. Zum ersten Zeitpunkt nimmt die Aufnahmeeinheit 20L das Bild des Gegenstands auf. Zum zweiten Zeitpunkt nimmt die Aufnahmeeinheit 20R das Bild des Gegenstands auf. In der oben beschriebenen Weise erfolgt die Bildaufnahme des Gegenstands abwechselnd durch die Aufnahmeeinheiten 20L und 20R. Der Aufnahmeteil 508 erhält ein Bild L1 durch die Bildaufnahme seitens der Aufnahmeeinheit 20L zu dem ersten Zeitpunkt entsprechend dem Befehl seitens der Steuerung 502 und der Zeiteinstelleinheit 506, um das erhaltene Bild L an die Parallaxenbildspeichereinheit 510 zu geben (Schritt S200).
  • In ähnlicher Weise erhält der Aufnahmeteil 508 ein Bild R2 durch Bildaufnahme seitens der Bildaufnahmeeinheit 20R zum zweiten Zeitpunkt und gibt das erhaltene Bild R2 an die Parallaxenbildspeichereinheit 510 (Schritt S204). Anschließend nimmt die Aufnahmeeinheit 20L ein Bild L3 des Gegenstands zum dritten Zeitpunkt auf. Das Bild L3 wird an die Parallaxenbildspeichereinheit 510 gegeben (Schritt S208). Wenn diese die Bilder L1 und L3, die von der Aufnahmeeinheit 20L aufgenommen wurden, an die Schätzbild-Erzeugungseinheit 512L ausgibt, die zu der Aufnahmeeinheit 20L gehört, erzeugt die Einheit 512L als Schätzbild L2 ein Bild, welches angenommener Weise von der Aufnahmeeinheit 20L zu dem zweiten Zeitpunkt gesehen wurde, wobei die Abschätzung anhand der Bilder L1 und L3 erfolgt. Das Schätzbild L2 wird an die Positionsdifferenz-Detektoreinheit 514 ausgegeben (Schritt S212). Wenn außerdem der Parallaxenbildspeicher 512 das Bild R2 an die Positionsdifferenz-Detektoreinheit 514 gibt (Schritt S216), ermittelt diese das Ausmaß der Positionsdifferenz zwischen dem Schätzbild L2 und dem Bild R2. Anschließend berechnet die Tiefenberechnungseinheit 516 die Tiefe des Gegenstands zum zweiten Zeitpunkt unter Verwendung des ermittelten Betrags für die Positionsdifferenz, und sie gibt die berechnete Tiefe an die Ausgabeeinheit 518 ab (Schritt S220).
  • Die Aufnahmeeinheit 20R nimmt dann ein Bild R4 zu dem vierten Zeitpunkt auf (Schritt S224). Das Bild R4 wird von der Schätzbild-Erzeugungseinheit 512R, die zu der Aufnahmeeinheit 20R gehört, über den Parallaxenbildspeicher 510 empfangen. Die Schätzbild-Erzeugungseinheit 512R erzeugt ein Schätzbild R3 für den dritten Zeitpunkt durch Abschätzung anhand der Bilder R2 und R4, die tatsächlich aufgenommen wurden, und sie gibt das so erzeugte Schätzbild R3 an die Positionsdifferenz-Detektoreinheit 514 (Schritt S228). Die Positionsdifferenz-Detektoreinheit 514 empfängt außerdem von der Parallaxenbildspeichereinheit 512 das Bild L3 (Schritt S232), um dann den Betrag der Positionsdifferenz zwischen dem Bild L3 und dem Schätzbild R3 zu ermitteln. Die Tiefenberechnungseinheit 516 berechnet die Tiefe des Gegenstands zu dem dritten Zeitpunkt unter Verwendung des ermittelten Betrags der Positionsdifferenz, und sie gibt die errechnete Tiefe an die Ausgabeeinheit 518 (Schritt S236).
  • Wenn dann die Aufnahmeeinheit 20L ein Bild zum fünften Zeitpunkt aufnimmt (Schritt S240), erzeugt die zugehörige Schätzbild-Erzeugungseinheit 512L ein Schätzbild L4 beim vierten Zeitpunkt durch Abschätzung anhand der über die Parallaxenbildspeichereinheit 510 erhaltenen Bilder L3 und L5. Das so erzeugte Schätzbild L4 wird an die Positionsdifferenz-Detektoreinheit 514 gegeben (Schritt S244). Diese empfängt außerdem das Bild R4 von der Parallaxenbildspeichereinheit 512 (Schritt S248), um dann den Betrag der Positionsdifferenz zwischen dem Bild R4 und dem Schätzbild L4 zu ermitteln. Danach berechnet die Tiefenberechnungseinheit 516 die Tiefe des Gegenstands zu dem vierten Zeitpunkt anhand des so berechneten Betrags der Positionsdifferenz. Die berechnete Tiefe wird an die Ausgabeeinheit 518 ausgegeben (Schritt S252).
  • Wenn dann die Aufnahmeeinheit 20R ein Bild R6 des Gegenstands zu dem sechsten Zeitpunkt aufnimmt (Schritt S254), erzeugt die Schätzbild-Erzeugungseinheit 512R, die zu der Aufnahmeeinheit 20R gehört, ein Schätzbild zu dem fünften Zeitpunkt mit Hilfe der Abschätzung anhand der Bilder R4 und R6, die über die Parallaxenbildspeichereinheit 510 seitens der Aufnahmeeinheit 20R empfangen wurden. Das Schätzbild R5 wird an die Positionsdifferenz-Detektoreinheit 51 gegeben (Schritt S256), die außerdem von dem Parallaxenbildspeicher 510 das Bild L5 empfängt (Schritt S260), um anschließend das Aus maß der Positionsdifferenz zwischen dem Bild L5 und dem Schätzbild R5 zu ermitteln. Dann berechnet die Tiefenberechnungseinheit 516 die Tiefe des Gegenstands zu dem fünften Zeitpunkt unter Verwendung des so berechneten Betrags der Positionsdifferenz, um die berechnete Tiefe an die Ausgabeeinheit 518 auszugeben (Schritt S264). Für jeden der nachfolgenden Bildaufnahmezeitpunkte wird die Tiefe des Gegenstands in ähnlicher Weise berechnet, wie es oben erläutert wurde. Auf diese Weise kann die Ausgabeeinheit 518 das dreidimensionale Modell zu einem gewünschten Zeitpunkt erzeugen.
  • Außerdem kann die Ausgabeeinheit 518 die dreidimensionalen Modelle nacheinander in der Reihenfolge der Bildaufnahmezeitpunkte anzeigen, so daß ein Bewegungsbild des Gegenstands angezeigt wird. Darüber hinaus kann das dreidimensionale Modelliersystem 500 Prozessoren für die Schätzbild-Erzeugungseinheiten 512L und 512R und die Positionsdifferenz-Detektoreinheit 514 bereitstellen. Wie oben beschrieben, läßt sich durch abwechselndes Aufnehmen der Bilder des Gegenstands an zwei unterschiedlichen Standpunkten unter Verwendung von drei der Bilder, die zu aufeinanderfolgenden Zeitpunkten geschossen wurden, die zeitliche Nacheilung von der Bildaufnahme zur Beendigung der Tiefenberechnung minimiert werden. Außerdem läßt sich die Tiefenberechnung für den Gegenstand in effizienter Weise durchführen.
  • Wie oben beschrieben wurde, kann bei dem Bildaufnahmegerät und der Bildverarbeitungsvorrichtung gemäß der Erfindung selbst bei einem beweglichen Objekt ein Paar Parallaxenbilder, aus dem die Positionsdifferenz aufgrund der Bewegung des Gegenstands beseitigt ist, aus mehreren Bildern des Gegenstands abgeschätzt werden, die an zwei oder mehr verschiedenen Standpunkten aufgenommen wurden, um zwei oder mehr Bilder einzubeziehen, die aus dem gleichen Standpunkt aufgenommen wurden. Auf diese Weise läßt sich die Positionsdifferenz eines Bilds einer speziellen Zone des Gegenstands ermitteln. Die Tiefe des Gegenstands läßt sich anhand der ermittelten Positionsdifferenz gewinnen.
  • Obschon die vorliegende Erfindung anhand beispielhafter Ausführungsformen erläutert wurde, versteht sich für den Fachmann, daß zahlreiche Änderungen und Ersetzungen vor genommen werden können, ohne vom Schutzumfang der Erfindung abzuweichen, der ausschließlich durch die beigefügten Patentansprüche bestimmt wird.

Claims (21)

  1. Bildaufnahmegerät zum Gewinnen von Information über die Tiefe eines Gegenstands, umfassend: einen Aufnahmeteil (20), betreibbar zum Durchführen einer Bildaufnahme für den Gegenstand aus mehreren Standpunkten; und eine Steuerung (40, 230), die dazu ausgebildet ist, den Aufnahmeteil (20, 202) so zu steuern, daß dieser die Bildaufnahme zu unterschiedlichen Zeiten aus den mehreren Standpunkten durchführt, wobei die Steuerung (40, 230) den Aufnahmeteil (20) derart steuert, daß die Bildaufnahme des Gegenstands aus zumindest einem der mehreren Standpunkte zweimal oder öfter erfolgt, wobei das Gerät außerdem eine Tiefenberechnungseinheit (308, 516) aufweist, die betreibbar ist, um eine Tiefe einer speziellen Zone des Gegenstands basierend auf zwei oder mehr Bildern zu berechnen, die durch die Bildaufnahme des Gegenstands erhalten wurde, die aus dem einen Standpunkt zweimal oder häufiger vorgenommen wurde, sowie eines weiteren Bilds, welches durch die Bildaufnahme gewonnen wurde, die aus einem von dem einen Standpunkt verschiedenen weiteren Standpunkt erfolgt ist.
  2. Gerät nach Anspruch 1, bei dem der Aufnahmeteil mehrere Aufnahmeeinheiten (201) enthält, die sich an jeweils einem von mehreren verschiedenen Positionen befinden, und die Steuerung (40, 230) die mehreren Aufnahmeeinheiten derart steuert, daß die Bildaufnahme des Gegenstands sukzessive in der Weise erfolgt, daß mindestens eine der Aufnahmeeinheiten (20) zweimal oder häufiger eine Bildaufnahme durchführt.
  3. Gerät nach Anspruch 1, weiterhin umfassend eine Standpunktbewegungseinheit (204), die betreibbar ist, um eine Position, an welcher der Aufnahmeteil (20) die Bildaufnahme des Gegenstands vornimmt, zu den mehreren Standpunkten zu bewegen, wobei die Steuerung (40) den Aufnahmeteil (20) so steuert, daß die Bildaufnahme des Gegenstands an den mehreren Standpunkten sukzessive dadurch erfolgt, daß eine Bewegung der Position zu den mehreren Standpunkten erfolgt, um dadurch die zweimalige oder häufigere Bildaufnahme aus dem mindestens einen Standpunkt heraus zu ermöglichen.
  4. Gerät nach Anspruch 1, weiterhin umfassend eine Positionsdifferenz-Detektoreinheit (304), die betreibbar ist, um eine Positionsabweichung eines Bilds der speziellen Zone des Gegenstands basierend auf den zwei oder mehr Bildern nachzuweisen, die aus dem einen Standpunkt erhalten wurden, sowie eines weiteren Bilds, welches aus dem weiteren Standpunkt erhalten wurde, wobei die Tiefenberechnungseinheit (308, 516) die Tiefe der speziellen Zone des Gegenstands basierend auf der Positionsabweichung berechnet.
  5. Gerät nach Anspruch 4, weiterhin umfassend eine Schätzbild-Erzeugungseinheit (303), die betreibbar ist, um ein abgeschätztes Bild der speziellen Zone des Gegenstands zu erzeugen, von welchem angenommen wird, daß es aus dem einen Standpunkt zur gleichen Zeit aufgenommen wurde, zu der das weitere Bild aus dem anderen Standpunkt aufgenommen wurde, indem auf der Grundlage von zwei oder mehr Bildern aus dem einen Standpunkt eine Abschätzung vorgenommen wird, wobei die Positionsdifferenz-Detektoreinheit (304) eine Positionsabweichung eines Bilds der speziellen Zone des Gegenstands zwischen dem Schätzbild und dem weiteren, aus dem anderen Standpunkt gewonnenen Bild erfaßt.
  6. Gerät nach Anspruch 5, weiterhin umfassend eine Zeiteinstelleinheit (206), die betreibbar ist, um einen Zeitpunkt der Bildaufnahme durch den Aufnahmeteil (20) einzustellen, wobei die Schätzbild-Erzeugungseinheit (303) die Position des Bilds der speziellen Zone des Gegenstands zu einem vorbestimmten Zeitpunkt aus dem einen Standpunkt abschätzt, basierend auf den jeweiligen Zeitpunkten, zu denen die Bildaufnahme zweimal oder häufiger aus dem einen Standpunkt vorgenommen wurde, und den Positionen des Bilds der speziellen Zone in den zwei oder mehr Bildern, die aus dem einen Standpunkt erhalten wurden.
  7. Gerät nach Anspruch 3, bei dem der Aufnahmeteil eine Lichtkonvergiereinheit enthält, die betreibbar ist, auf sie auftreffendes Licht konvergieren zu lassen, und eine Lichtbegrenzungseinheit aufweist, die mindestens eine Apertur besitzt, um einen Bereich zu begrenzen, in welchem Licht durchgelassen wird, und die Standpunktbewegungseinheit (204), die Apertur dadurch bewegt, daß sie die Lichtbegrenzungseinheit bewegt, um die mehreren Standpunkte zu realisieren.
  8. Gerät nach Anspruch 3, bei dem der Aufnahmeteil eine Lichtkonvergiereinheit enthält, die betreibbar ist, um darauf auftreffendes Licht zu konvergieren, und eine Lichtbegrenzungseinheit besitzt, die mehrere Aperturen zum Begrenzen eines Bereichs, in welchem Licht durchgelassen wird, aufweist, und die Standpunktbewegungseinheit (204) mindestens eine der mehreren Aperturen schließt, um die mehreren Standpunkte zu realisieren.
  9. Gerät nach Anspruch 3, bei dem die Standpunktbewegungseinheit (204) in der Lage ist, den Aufnahmeteil zu drei oder mehr Standpunkten zu bewegen, die nicht auf einer Linie liegen.
  10. Gerät nach Anspruch 9, bei dem die Standpunktbewegungseinheit (204) in der Lage ist, den Aufnahmeteil zu fünf Positionen zu bewegen, die die Scheitel und ein Zentrum einer Raute enthalten.
  11. Gerät nach Anspruch 2, bei dem der Aufnahmeteil die mehreren Aufnahmeeinheiten an drei oder mehr Standpunkten enthält, die nicht auf einer Linie liegen.
  12. Gerät nach Anspruch 11, bei dem der Aufnahmeteil die mehreren Aufnahmeeinheiten mindestens fünf Positionen enthält, welche Scheitel und ein Zentrum einer Raute beinhalten.
  13. Gerät nach Anspruch 1, bei dem der Aufnahmeteil die Bildaufnahme für den Gegenstand an zwei der mehreren Standpunkte durchführt, und die Steuerung den Aufnahmeteil derart steuert, daß die Bildaufnahme abwechselnd dreimal oder häufiger aus den zwei Standpunkten durchgeführt wird.
  14. Bildverarbeitungsvorrichtung zum Gewinnen von Information über die Tiefe eines Gegenstands, umfassend: eine Eingabeeinheit (352, 508), die betreibbar ist, um mehrere Bilder des Gegenstands einzugeben, die sukzessive an einer Mehrzahl unterschiedlicher Standpunkte geschossen wurden, wobei die mehreren Bilder zwei oder mehr Bilder enthalten, die aus einem Standpunkt aufgenommen wurden; eine Schätzbild-Erzeugungseinheit (303, 512), die betreibbar ist, ein Schätzbild zu erzeugen, von dem angenommen wird, daß es aus dem einen Standpunkt zu einem Zeitpunkt aufgenommen wurde, der identisch ist mit dem Zeitpunkt, zu dem ein weiteres der mehreren Bilder aus einem von dem einen Standpunkt ver schiedenen Standpunkt aufgenommen wurde, und zwar mit einer Abschätzung, die auf den zwei oder mehr Bildern beruht, die aus dem einen Standpunkt heraus aufgenommen wurden; eine Positionsdifferenz-Detektoreinheit (304, 508), die betreibbar ist, eine Lageabweichung eines Bilds einer speziellen Zone des Gegenstands zwischen dem Schätzbild und einem weiteren Bild nachzuweisen, welches aus dem anderen Standpunkt aufgenommen wurde; und eine Tiefenberechnungseinheit (308, 516), die betreibbar ist, die Tiefe der speziellen Zone des Gegenstands basierend auf der Lageabweichung zu berechnen.
  15. Gerät nach Anspruch 4, bei dem die Schätzbild-Erzeugungseinheit (303) die Position des Bilds der speziellen Zone des Gegenstands abschätzt, wenn der Gegenstand von dem einen Standpunkt aus zur gleichen Zeit gesehen wird, zu der das weitere Bild aus dem anderen Standpunkt aufgenommen wird, basierend auf den jeweiligen Zeitpunkten, zu denen zwei oder mehr Bilder aus dem einen Standpunkt aufgenommen wurden, und der Position des Bilds der speziellen Zone in den zwei oder mehr Bildern, die aus dem einen Standpunkt aufgenommen wurden.
  16. Gerät nach Anspruch 4, bei dem die Schätzbild-Erzeugungseinheit (303) die Position des Bilds der speziellen Zone des Gegenstands abschätzt, wenn der Gegenstand aus einem anderen Standpunkt zur gleichen Zeit gesehen wird, zu der das weitere Bild aus dem weiteren Standpunkt aufgenommen wurde, basierend auf der Position und der Größe des Bilds der speziellen Zone in jedem der zwei oder mehr Bilder, die aus dem einen Standpunkt aufgenommen wurden.
  17. Gerät nach Anspruch 4, bei dem die Schätzbild-Erzeugungseinheit (303) eine erste Zone, die eine Änderung einer Position oder Größe eines Bilds des Gegenstands zwischen den zwei oder mehr Bildern, die aus dem einen Standpunkt aufgenommen wurden, trennt von einer zweiten Zone, die keine Änderung der Position oder der Größe des Bilds des Gegenstands enthält, und eines der zwei oder mehreren Bilder, die aus dem einen Standpunkt aufgenommen wurden, als das Schätzbild für den Fall verwendet, daß das Schätzbild der zweiten Zone erzeugt wird.
  18. Gerät nach Anspruch 4, bei dem die Eingabeeinheit (352) abwechselnd mehrere Bilder eingibt, die aus zwei der mehreren Standpunkte aufgenommen wurden, wobei die zwei Standpunkte sich voneinander unterscheiden, die Schätzbild-Erzeugungseinheit (303) eine erste Abschätzung vornimmt unter Verwendung eines ersten Bilds, welches aus einem der zwei Standpunkte aufgenommen wurde, und eines zweiten Bilds, welches aus dem einen der zwei Standpunkte vor dem ersten Bild aufgenommen wurde, um dann eine zweite Abschätzung vorzunehmen unter Verwendung eines dritten Bilds, welches aus dem einen der zwei Standpunkte aufgenommen wurde, nachdem das erste Bild und das zweite Bild aufgenommen wurden, und die Positionsdifferenz-Detektoreinheit (304) die Lageabweichung zwischen der ersten und der zweiten Abschätzung unter Verwendung des ersten Bilds und eines weiteren, aus dem anderen der beiden Standpunkte aufgenommenen Bilds ermittelt.
  19. Bildaufnahmeverfahren zum Gewinnen von Information über die Tiefe eines Gegenstands, umfassend: Aufnehmen eines ersten Bilds des Gegenstands zu einem ersten Zeitpunkt aus einem ersten Standpunkt; Aufnehmen eines zweiten Bilds des Gegenstands zu einem zweiten Zeitpunkt aus einem zweiten Standpunkt; Aufnehmen eines dritten Bilds des Gegenstands zu einem dritten Zeitpunkt aus dem ersten Standpunkt; Abschätzen eines Bilds einer speziellen Zone des Gegenstands zu einem zweiten Zeitpunkt aus dem ersten Standpunkt, basierend auf dem ersten und dem dritten Bild; Erfassen einer Lageabweichung zwischen dem Schätzbild der speziellen Zone des Gegenstands und einem Bild der speziellen Zone des Gegenstands innerhalb des zweiten Bilds; und Berechnen der Tiefe der speziellen Zone des Gegenstands basierend auf der ermittelten Lageabweichung.
  20. Aufzeichnungsmedium zum Speichern eines Computerprogramms zum Gewinnen von Information über die Tiefe eines Gegenstands, wobei das Programm aufweist: ein Eingabemodul, betreibbar zum Eingeben mehrerer Bilder des Gegenstands, die sukzessive aus mehreren verschiedenen Standpunkten aufgenommen wurden, wobei die mehreren Bilder zwei oder mehr Bilder beinhalten, die aus einem Standpunkt aufgenommen wurden; ein Schätzbild-Erzeugungsmodul, betreibbar zum Erzeugen eines Schätzbilds, welches angenommenerweise aus dem einen Standpunkt zur gleichen Zeit aufgenommen wurde, zu dem ein anderes der mehreren Bilder aus einem anderen, von dem einen Standpunkt verschiedenen Standpunkt aufgenommen wurde, mit Hilfe einer Abschätzung, die auf den zwei oder mehr Bildern basiert, die aus dem einen Standpunkt aufgenommen wurden; ein Positionsabweichungs-Detektormodul, betreibbar zum Erfassen einer Abweichung einer Position eines Bilds einer speziellen Zone des Gegenstands zwischen dem Schätzbild und dem weiteren, aus dem anderen Standpunkt aufgenommenen Bild; und ein Tiefenberechnungsmodul, betreibbar zum Berechnen einer Tiefe der speziellen Zone des Gegenstands anhand der Lageabweichung, indem die Tiefe berechnet wird anhand von zwei oder mehr Bildern, die für den Gegenstand zweimal oder häufiger aus dem einen Standpunkt erhalten wurden, und eines weiteren Bilds, welches aus einem anderen Standpunkt aufgenommen wurde, der von dem einen Standpunkt verschieden ist.
  21. Computerprogramm zum Gewinnen von Information über die Tiefe eines Gegenstands, umfassend: ein Eingabemodul, betreibbar zum Eingeben mehrerer Bilder des Gegenstands, die sukzessive aus mehreren verschiedenen Standpunkten aufgenommen wurden, wobei die mehreren Bilder zwei oder mehr Bilder beinhalten, die aus einem Standpunkt aufgenommen wurden; ein Schätzbild-Erzeugungsmodul, betreibbar zum Erzeugen eines Schätzbilds, welches angenommenerweise aus dem einen Standpunkt zur gleichen Zeit aufgenommen wurde, zu dem ein weiteres der mehreren Bilder aus einem anderen, von dem einen Standpunkt verschiedenen Standpunkt aufgenommen wurde, mit Hilfe einer Abschätzung, die auf zwei oder mehr Bildern basiert, die aus dem einen Standpunkt aufgenommen wurden; ein Lageabweichungs-Detektormodul, betreibbar zum Ermitteln einer Lageabweichung eines Bilds einer speziellen Zone des Gegenstands zwischen dem Schätzbild und einem weiteren Bild, welches aus einem anderen Standpunkt aufgenommen wurde; und ein Tiefenberechnungsmodul, betreibbar zum Berechnen einer Tiefe der speziellen Zone des Gegenstands basierend auf der Lageabweichung, indem die Tiefe berechnet wird anhand von zwei oder mehr Bildern, die für den Gegenstand zweimal oder häufiger aus dem einen Standpunkt erhalten wurden, und eines weiteren Bilds, welches aus einem anderen, von dem einen Standpunkt verschiedenen Standpunkt aufgenommen wurde.
DE60115789T 2000-08-25 2001-08-23 Vorrichtung zur Parallaxbildaufnahme und Parallaxbildverarbeitung Expired - Lifetime DE60115789T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000256432 2000-08-25
JP2000256432 2000-08-25

Publications (2)

Publication Number Publication Date
DE60115789D1 DE60115789D1 (de) 2006-01-19
DE60115789T2 true DE60115789T2 (de) 2006-08-31

Family

ID=18745044

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60115789T Expired - Lifetime DE60115789T2 (de) 2000-08-25 2001-08-23 Vorrichtung zur Parallaxbildaufnahme und Parallaxbildverarbeitung

Country Status (5)

Country Link
US (1) US7200261B2 (de)
EP (1) EP1185112B1 (de)
AT (1) ATE313218T1 (de)
DE (1) DE60115789T2 (de)
HK (1) HK1045042B (de)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4075418B2 (ja) * 2002-03-15 2008-04-16 ソニー株式会社 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム
EP1489857B1 (de) * 2002-03-27 2011-12-14 Sanyo Electric Co., Ltd. Verfahren und einrichtung zur dreidimensionalen bildverarbeitung
US8369607B2 (en) 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US6952046B2 (en) * 2002-06-19 2005-10-04 Foster-Miller, Inc. Electronic and optoelectronic component packaging technique
JP4635477B2 (ja) * 2003-06-10 2011-02-23 カシオ計算機株式会社 画像撮影装置、擬似３次元画像生成方法、及び、プログラム
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
JP3800217B2 (ja) * 2003-10-10 2006-07-26 コニカミノルタホールディングス株式会社 監視システム
JP4516536B2 (ja) * 2005-03-09 2010-08-04 富士フイルム株式会社 動画生成装置、動画生成方法、及びプログラム
US7692696B2 (en) * 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
JP4463215B2 (ja) * 2006-01-30 2010-05-19 日本電気株式会社 立体化処理装置及び立体情報端末
US7469071B2 (en) * 2006-02-14 2008-12-23 Fotonation Vision Limited Image blurring
IES20060558A2 (en) 2006-02-14 2006-11-01 Fotonation Vision Ltd Image blurring
IES20060564A2 (en) * 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
US8009903B2 (en) * 2006-06-29 2011-08-30 Panasonic Corporation Image processor, image processing method, storage medium, and integrated circuit that can adjust a degree of depth feeling of a displayed high-quality image
US20090033755A1 (en) * 2007-08-03 2009-02-05 Tandent Vision Science, Inc. Image acquisition and processing engine for computer vision
CN101459857B (zh) * 2007-12-10 2012-09-05 华为终端有限公司 通信终端
CN102037717B (zh) 2008-05-20 2013-11-06 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP2502115A4 (de) 2009-11-20 2013-11-06 Pelican Imaging Corp Aufnahme und verarbeitung von bildern mittels eines monolithischen kameraarrays mit heterogenem bildwandler
WO2011096252A1 (ja) * 2010-02-02 2011-08-11 コニカミノルタホールディングス株式会社 画像処理システム、画像処理方法、およびプログラム
KR101824672B1 (ko) 2010-05-12 2018-02-05 포토네이션 케이맨 리미티드 이미저 어레이 구조 및 어레이 카메라
KR101692397B1 (ko) * 2010-05-28 2017-01-03 삼성전자주식회사 광량 조절장치, 촬영장치 및 촬영방법
US20110304706A1 (en) * 2010-06-09 2011-12-15 Border John N Video camera providing videos with perceived depth
WO2012039346A1 (ja) * 2010-09-22 2012-03-29 富士フイルム株式会社 立体撮像装置およびシェーディング補正方法
JP5477349B2 (ja) * 2010-09-30 2014-04-23 カシオ計算機株式会社 画像合成装置、及び画像検索方法、プログラム
KR101750047B1 (ko) * 2010-10-11 2017-06-22 삼성전자주식회사 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치
KR101156734B1 (ko) * 2010-11-05 2012-06-14 전자부품연구원 테이블 타입 인터렉티브 3차원 시스템
JP4768079B1 (ja) * 2010-11-15 2011-09-07 龍貴 大西 血管表示装置
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5906062B2 (ja) 2010-12-17 2016-04-20 キヤノン株式会社 撮像装置およびその制御方法
JP5431390B2 (ja) * 2011-02-28 2014-03-05 株式会社東芝 映像出力装置及び映像出力方法
US8964025B2 (en) * 2011-04-12 2015-02-24 International Business Machines Corporation Visual obstruction removal with image capture
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
CN104685513B (zh) 2012-08-23 2018-04-27 派力肯影像公司 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9224060B1 (en) * 2013-09-17 2015-12-29 Amazon Technologies, Inc. Object tracking using depth information
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
EP3075140B1 (de) 2013-11-26 2018-06-13 FotoNation Cayman Limited Zeilenkamerakonfigurationen mit mehreren zeilenkameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
JP6608194B2 (ja) * 2014-07-09 2019-11-20 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
EP3201877B1 (de) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systeme und verfahren zur dynamischen kalibrierung von array-kameras
JP6544978B2 (ja) * 2015-04-15 2019-07-17 キヤノン株式会社 画像出力装置およびその制御方法、撮像装置、プログラム
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
EP3286914B1 (de) 2015-04-19 2019-12-25 FotoNation Limited Architekturen eines kameragruppensystem mit mehreren grundlinien zur tiefenerweiterung bei vr/ar-anwendungen
BR112018002047A2 (pt) * 2015-07-31 2018-09-18 Hsni Llc sistema para a geração de um conteúdo de vídeo, e método para a geração de conteúdo de vídeo
TWI572209B (zh) * 2016-02-19 2017-02-21 致伸科技股份有限公司 影像景深測量方法以及應用該方法的影像擷取裝置與電子裝置
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
CN107862721B (zh) * 2017-12-01 2020-06-16 杭州晶一智能科技有限公司 一种基于双目立体视觉的草地二次识别系统
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
CN114766003B (zh) 2019-10-07 2024-03-26 波士顿偏振测定公司 用于利用偏振增强传感器系统和成像系统的系统和方法
EP4066001A4 (de) 2019-11-30 2024-01-24 Boston Polarimetrics Inc Systeme und verfahren zur transparenten objektsegmentierung unter verwendung von polarisationshinweisen
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
JP2023511747A (ja) 2020-01-30 2023-03-22 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3800307A (en) * 1972-04-06 1974-03-26 R Wechsler Three dimensional autostereoscopic production of selector screen images formed of perspectives taken from discrete points of view
JP2611173B2 (ja) 1992-06-11 1997-05-21 運輸省船舶技術研究所長 魚眼レンズを用いた測位方法およびその装置
JP2996806B2 (ja) * 1992-06-11 2000-01-11 キヤノン株式会社 カメラ、自動焦点調節装置及び焦点調節方法
US5448322A (en) * 1993-11-05 1995-09-05 Vision Iii Imaging, Inc. Autostereoscopic imaging apparatus and method using a parallax scanning lens aperture
FR2724033B1 (fr) * 1994-08-30 1997-01-03 Thomson Broadband Systems Procede de generation d'image de synthese
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US5835133A (en) * 1996-01-23 1998-11-10 Silicon Graphics, Inc. Optical system for single camera stereo video
US5864640A (en) * 1996-10-25 1999-01-26 Wavework, Inc. Method and apparatus for optically scanning three dimensional objects using color information in trackable patches
US6747610B1 (en) * 1997-07-22 2004-06-08 Sanyo Electric Co., Ltd. Stereoscopic image display apparatus capable of selectively displaying desired stereoscopic image
US6043838A (en) 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
JP3745117B2 (ja) * 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
US6269223B1 (en) * 1998-09-14 2001-07-31 Loreo Asia Limited Camera for mono and stereo photographs

Also Published As

Publication number Publication date
US7200261B2 (en) 2007-04-03
DE60115789D1 (de) 2006-01-19
EP1185112A3 (de) 2004-12-08
HK1045042B (zh) 2006-04-21
US20020028014A1 (en) 2002-03-07
ATE313218T1 (de) 2005-12-15
EP1185112A2 (de) 2002-03-06
EP1185112B1 (de) 2005-12-14
HK1045042A1 (en) 2002-11-08

Similar Documents

Publication Publication Date Title
DE60115789T2 (de) Vorrichtung zur Parallaxbildaufnahme und Parallaxbildverarbeitung
DE60207496T2 (de) Kamera und verfahren zur darstellung eines erfassten bildes und eines anderen bildfeldes der erfassten szene
DE602005000090T2 (de) Autofokussystem
DE69635436T2 (de) Videokamera mit auswechselbarer Linsenvorrichtung
US8558913B2 (en) Capture condition selection from brightness and motion
DE60131759T2 (de) Bilderzeugungsvorrichtung und -verfahren
US7929027B2 (en) Image management method
DE112014006009T5 (de) Bildaufnahmegerät und Zeitraffer-Bildaufnahmeverfahren
EP2030433B1 (de) Verfahren und anordnung zur behandlung von datensätzen bildgebender sensoren sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
EP3005292B1 (de) 3d-aufnahmevorrichtung, verfahren zur erstellung eines 3d-bildes und verfahren zur einrichtung einer 3d-aufnahmevorrichtung
DE102010023108B4 (de) Projektor mit automatischer Fokussierung und Abbildungsverfahren
DE112015002096T5 (de) Abstandsmessvorrichtung, Abstandsmessverfahren und Abstandsmessprogramm
DE10344058A1 (de) Vorrichtung und Verfahren zum Reduzieren von Bildunschärfe bei einer Digitalkamera
DE4106825A1 (de) Belichtungskontrollvorrichtung fuer einzelbild-videokameras
DE112012000950T5 (de) Ermitteln des Abstands zwischen verschiedenen Punkten an einem abgebildeten Gegenstand
CN103986854B (zh) 图像处理设备、摄像设备和控制方法
DE112013006817B4 (de) Bildaufnahmevorrichtung, Signalverarbeitungsverfahren und Signalverarbeitungsprogramm
CN104717427A (zh) 一种自动变焦方法、装置和移动终端
CN101350889A (zh) 图像拾取设备及其控制方法
DE3622058A1 (de) Vorrichtung zur bildverarbeitung
DE112008002819T5 (de) Autofokus-Bildsystem
EP1357742B1 (de) Digitale Laufbildkamera
US6876762B1 (en) Apparatus for imaging and image processing and method thereof
DE112015002098T5 (de) Abstandsmessvorrichtung, Abstandsmessverfahren und Abstandsmessprogramm
DE102014204635A1 (de) Objektivvorrichtung und Kamerasystem

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: FUJIFILM CORP., TOKIO/TOKYO, JP