DE102015006142A1

DE102015006142A1 - Handgehaltene, elektronische Vorrichtung, Bilderfassungsvorrichtung und Bilderfassungsverfahren von dieser

Info

Publication number: DE102015006142A1
Application number: DE102015006142.9A
Authority: DE
Inventors: Wei-Feng Chien; Gordon Horng; Yu-Chun Peng
Original assignee: HTC Corp
Current assignee: HTC Corp
Priority date: 2014-05-16
Filing date: 2015-05-12
Publication date: 2015-11-19
Also published as: CN105100559B; CN105100559A; TWI627487B; US20150334309A1; TW201544890A

Abstract

Die Erfindung sieht eine elektronische Vorrichtung, eine Bilderfassungsvorrichtung und ein Bilderfassungsverfahren dieser vor. Die Bilderfassungsvorrichtung weist eine Hauptkamera, eine Telekamera, eine Tiefenkamera und eine Verarbeitungseinheit auf. Die Hauptkamera wird zur Erfassung eines Hauptbildes verwendet, die Telekamera wird zur Erfassung eines Telebildes verwendet, und die Tiefenkamera wird zur Erfassung eines Tiefenbildes verwendet. Die Verarbeitungseinheit ist mit den Haupt-, Tele- und Tiefenkameras gekoppelt. Die Verarbeitungseinheit wird verwendet, um: das Hauptbild und das Telebild zu kombinieren, um ein gezoomtes Bild zu erhalten; und um eine Tiefenkarte zugehörig zu dem gezoomten Bild basierend auf dem Hauptbild, dem Telebild und dem Tiefenbild zu erzeugen.

Description

Hintergrund
Gebiet der Erfindung
Die Erfindung bezieht sich auf eine Bilderfassungsvorrichtung und ein Bilderfassungsverfahren von dieser. Insbesondere bezieht sich die Erfindung auf eine Bilderfassungsvorrichtung und ein Bilderfassungsverfahren dieser zum Erhalten einer Tiefenkarte eines in der Ansicht vergrößerten bzw. gezoomten Bildes.
Beschreibung der verwandten Technik
Mit der Weiterentwicklung elektronischer Technologien, sind handgehaltene, elektronische Vorrichtungen ein wichtiges Werkzeug des täglichen Lebens geworden. Eine handgehaltene, elektronische Vorrichtung ist gewöhnlich mit einer Bilderfassungsvorrichtung vorgesehen, die heute eine standardmäßige Ausrüstung für handgehaltene, elektronische Vorrichtungen ist.
Zur Verbesserung der Effizienz der Bilderfassungsvorrichtung in der handgehaltenen, elektronischen Vorrichtung, sind mehr Bildschirm- bzw. Anzeigefunktionen für das erfasste Bild erforderlich. Um beispielsweise eine herangezoomte Bildanzeige auf der handgehaltenen, elektronischen Vorrichtung auszuführen, d. h. ein herangezoomtes Bild mit einer guten Bildqualität zu liefern, ist ebenfalls eine präzise Tiefenkarte zugehörig zu dem herangezoomten Bild erforderlich.
Zusammenfassung der Erfindung
Die Erfindung bezieht sich auf eine handgehaltene, elektronische Vorrichtung, eine Bilderfassungsvorrichtung und ein Bilderfassungsverfahren dieser, um eine Tiefenkarte eines in der Ansicht vergrößerten bzw. gezoomten Bilds zu erhalten.
Die Erfindung sieht eine Bilderfassungsvorrichtung vor, die eine Hauptkamera, Telekamera, eine Tiefenkamera und eine Verarbeitungseinheit aufweist. Die Hauptkamera wird zur Erfassung eines Hauptbilds verwendet, die Telekamera wird verwendet, um ein Telebild zu erfassen, und die Tiefenkamera wird verwendet, um eine Bildtiefe zu erfassen. Die Verarbeitungseinheit ist mit den Haupt-, Tele- und Tiefenkameras gekoppelt. Die Verarbeitungseinheit wird verwendet, um das Hauptbild und das Telebild zu kombinieren, um ein gezoomtes Bild zu erhalten; und um eine Tiefenkarte zugehörig zu dem gezoomten Bild basierend auf dem Hauptbild, dem Telebild und dem Tiefenbild bzw. Tiefenabbild zu erzeugen.
Die Erfindung sieht eine handgehaltene, elektronische Vorrichtung einschließlich eines Gehäuses, einer Hauptkamera, eine Telekamera, einer Tiefenkamera und einer Verarbeitungseinheit vor. Das Gehäuse weist eine Vorderseite und eine Rückseite auf. Die Hauptkamera wird verwendet, um ein Hauptbild zu erfassen, wobei die Hauptkamera in dem Gehäuse angebracht und auf der Rückseite angeordnet ist. Die Telekamera wird verwendet, um ein Telebild zu erfassen, wobei die Telekamera in dem Gehäuse angebracht ist und auf der Rückseite angeordnet ist. Die Tiefenkamera wird verwendet, um ein Tiefenbild zu erfassen, wobei die Tiefenkamera in dem Gehäuse angebracht und auf der Rückseite angeordnet ist. Die Verarbeitungseinheit ist mit den Haupt-, Tele- und Tiefenkameras gekoppelt und ist konfiguriert, um das Hauptbild und das Telebild zu kombinieren, um ein gezoomtes Bild zu erhalten; und um eine Tiefenkarte zugehörig zu dem gezoomten Bild basierend auf dem Hauptbild, dem Telebild und dem Tiefenbild zu erzeugen.
Die Erfindung sieht ein Bilderfassungsverfahren vor und die Schritte des Verfahrens weisen das Erfassen eines Hauptbilds, eines Telebilds bzw. eines Tiefenbilds, das Kombinieren des Hauptbilds und des Telebilds, um ein gezoomtes Bild zu erhalten, und das Erzeugen einer Tiefenkarte zugehörig zu dem gezoomten Bild, basierend auf dem Hauptbild, dem Telebild und dem Tiefenbild auf.
Gemäß der vorangehenden Beschreibung sind die Haupt- und Telekameras vorgesehen, um ein in der Ansicht vergrößertes bzw. gezoomtes Bild zu erhalten. Die Tiefenkamera ist vorgesehen, um eine Tiefenkarte zu erhalten. Die Tiefenarte zugehörig zu dem gezoomten Bild kann basierend auf einem Hauptbild, einem Telebild und einem Tiefenbild erhalten werden, die durch die Haupt-, Tele- bzw. Tiefenkameras erhalten werden. D. h. die Tiefenkarte kann in präziser Weise erhalten werden und das gezoomte Bild kann gut durch die Bilderfassungsvorrichtung vollzogen werden.
Um die vorangehenden und andere Merkmale und Vorteile der Erfindung verständlich zu machen, sind nachfolgend mehrere beispielhafte Ausführungsbeispiele begleitet von Zeichnungen im Detail beschrieben.
Kurze Beschreibung der Zeichnungen
Die begleitenden Zeichnungen sind enthalten, um ein besseres Verständnis der Erfindung zu liefern und sind enthalten in und bilden einen Bestandteil dieser Beschreibung. Die Zeichnungen stellen Ausführungsbeispiele der Erfindung dar und gemeinsam mit dieser Beschreibung dienen sie der Erläuterung der Prinzipien der Erfindung.
1 ist ein Strukturdiagramm einer handgehaltenen, elektronischen Vorrichtung 100 gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung.
2 ist ein Strukturdiagramm einer Bilderfassungsvorrichtung einer handgehaltenen, elektronischen Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung.
3 stellt ein Verfahren zum Erhalten der Tiefenkarte gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung dar.
4 stellt ein Sichtfeld bzw. FOV (FOV = Field of View) der Haupt- und Telekameras gemäß den Ausführungsbeispielen der vorliegenden Anmeldung dar.
5A ist ein Blockdiagramm einer Bilderfassungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung.
5B ist ein Blockdiagramm einer Bilderfassungsvorrichtung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Anmeldung.
6A und 6B sind Anordnungen von Kameras gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung.
7 ist ein Flussdiagramm der Schritte des Bilderfassungsverfahrens gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung.
Detaillierte Beschreibung der offenbarten Ausführungsbeispiele
Es sei auf 1 Bezug genommen. 1 ist ein Strukturdiagramm einer handgehaltenen, elektronischen Vorrichtung 100 gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung. Die handgehaltene, elektronische Vorrichtung 100 weist ein Gehäuse MB auf. Das Gehäuse MB weist eine Vorderseite 102 und eine Rückseite 101 auf, und Haupt-, Tele- und Tiefenkameras 111, 112 und 113 sind in dem Gehäuse MB angebracht und auf der Rückseite 101 angeordnet. Die handgehaltene, elektronische Vorrichtung 100 kann ein Smartphone sein.
Die Hauptkamera 111 befindet sich benachbart zu der Telekamera 112 und die Telekamera 112 befindet sich benachbart zu der Tiefenkamera 113. In 1 ist die Telekamera 112 zwischen der Hauptkamera 111 und der Tiefenkamera 113 angeordnet, und die Haupt-, Tele- und Tiefenkameras 111, 112 und 113 können in einer geraden Linie angeordnet sein.
Eine Verarbeitungseinheit ist in der handgehaltenen, elektronischen Vorrichtung 100 angeordnet. Die Verarbeitungseinheit ist mit den Haupt-, Tele- und Tiefenkameras 111, 112 und 113 gekoppelt. Die Haupt-, Tele- und Tiefenkameras 111, 112 und 113 können verwendet werden, um Haupt-, Tele- bzw. Tiefenbilder zu erfassen. Die Verarbeitungseinheit kann einen Antrieb zur stufenlosen, optischen Formatänderung bzw. einen Zoomantrieb aufweisen, um an den ersten und zweiten Bildern zu arbeiten, die durch die Hauptkamera 111 bzw. die Telekamera 112 erhalten werden. Die Verarbeitungseinheit kann ferner einen Tiefenantrieb zum Erhalten einer Tiefenkarte gemäß dem dritten Bild, welches durch die Tiefenkamera 113 erfasst wird, und dem Hauptbild und/oder dem Telebild, aufweisen.
Darüber hinaus können die Hauptkamera 111, die Telekamera 112 und die Tiefenkamera 113 so konfiguriert sein, dass sie synchron das Hauptbild, das Telebild und das Tiefenbild erfassen. Oder die Hauptkamera 111, die Telekamera 112 und die Tiefenkamera 113 können so konfiguriert sein, dass sie nicht synchron das Hauptbild, das Telebild und das Tiefenbild erfassen.
Die Verarbeitungseinheit kann ein gezoomtes Bild durch den Zoombetrieb erzeugen. Eine Steuervorrichtung der handgehaltenen, elektronischen Vorrichtung 100 kann ein Ausgabebild gemäß dem gezoomten Bild und der Tiefenkarte erzeugen.
Es sei auf 2 Bezug genommen. 2 stellt ein Strukturdiagramm einer Bilderfassungsvorrichtung einer handgehaltenen, elektronischen Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung dar. In 2 sind Haupt-, Tele- und Tiefenkameras 211–213 in einer Oberfläche einer elektronischen Vorrichtung angeordnet. Eine Entfernung D1 zwischen der Hauptkamera 211 und der Tiefenkamera 213 ist geringer als eine Entfernung D2 zwischen der Telekamera 212 und der Tiefenkamera 213. Die Hauptkamera 211 und die Telekamera 212 liefern jeweils Haupt- und Telebilder für den Zoombetrieb.
Es sei auf 4 Bezug genommen. 4 zeigt das Sichtfeld bzw. FOV (FOV = Field of View) der Haupt- und Telekameras gemäß den Ausführungsbeispielen der vorliegenden Anmeldung. Es sei hier bemerkt, dass eine effektive Brennweite der Hauptkamera 211 geringer als eine effektive Brennweite der Telekamera 212 ist, und ein Bereich des Sichtfelds W2 der Telekamera 212 kleiner als ein Sichtfeld W1 der Hauptkamera 211 ist. Ebenfalls deckt das Sichtfeld W1 das Sichtfeld W2 ab und die geometrischen Mitten der Sichtfelder W1 und W2 überlappen sich nicht. Darüber hinaus kann eine effektive Brennweite der Tiefenkamera 213 kleiner als die effektive Brennweite der Hauptkamera 211 sein, und ein Sichtfeld der Tiefenkamera 213 ist größer als die Sichtfelder W1 und W2 und kann diese abdecken.
Wenn ein Zoombetrieb (Heranzoomen) in der handgehaltenen, elektronischen Vorrichtung ausgeführt wird, kann ein Interpolationsvorgang durch die Verarbeitungseinheit gemäß dem ersten Bild und dem zweiten Bild ausgeführt werden, die durch die Haupt- bzw. Telekameras 211 bzw. 212 erfasst werden. Darüber hinaus müssen die Haupt- und Telekameras 211 und 212 nahe aneinander sein, und die ersten und zweiten Kameras 211 und 212 können auf dem gleichen Substrat kombiniert sein, oder können separate Module sein und durch eine mechanische Befestigung kombiniert sein.
In 2 wird die Tiefenkamera 213 verwendet, um eine Tiefenkarte zu erhalten. Die Verarbeitungseinheit kann ein Bild der dritten Kamera 213 verwenden und ein Bild, das durch die Hauptkamera 211 und/oder die Telekamera 212 erhalten wurde. Beispielsweise werden für ein Objekt in einer Nahdistanz Bilder der Tiefenkamera 213 und der Hauptkamera 211 für das Berechnen der Tiefenkarte verwendet. Andererseits werden für ein Objekt in Ferndistanz Bilder der Tiefenkamera 213 und der Telekamera 212 verwendet, um die Tiefenkarte zu berechnen.
Die Verarbeitungseinheit kann die Kamera 211 und/oder die Kamera 212 für die Tiefenkartenberechnung gemäß einem Zoomfaktor auswählen. Der Zoomfaktor kann durch den Nutzer eingestellt werden, und wenn der Zoomfaktor geringer als der erste Schwellenwert ist, kann die Verarbeitungseinheit die ersten und dritten Kameras 211 und 213 auswählen. Andererseits, wenn der Zoomfaktor größer als ein zweiter Schwellenwert ist, kann die Verarbeitungseinheit die Tele- und Tiefenkameras 212 und 213 auswählen. Wobei der erste Schwellenwert nicht größer als der zweite Schwellenwert ist.
Wenn sich der erste Schwellenwert von dem zweiten Schwellenwert unterscheidet (kleiner als dieser ist), und wenn der Zoomfaktor zwischen den ersten und zweiten Schwellenwerten liegt, kann die Verarbeitungseinheit beide Bilder der Haupt- und Telekameras 211 und 212 für das Berechnen der Tiefenkarte mit dem Bild der Tiefenkamera 213 auswählen.
Andererseits kann die Verarbeitungseinheit eine Nahdistanz-Parallaxeninformation durch Vergleichen des Tiefenbilds und des Hauptbilds berechnen, und eine Ferndistanz-Parallaxeninformation durch Vergleichen des Tiefenbilds und des Telebilds berechnen. Darüber hinaus übernimmt die Verarbeitungseinheit selektiv die Nahdistanz-Parallaxeninformation oder die Ferndistanz-Parallaxeninformation, um die Tiefenkarte zu erzeugen.
Über den Zoombetrieb empfängt die Verarbeitungseinheit einen Zoomfaktor und schneidet das Hauptbild basierend auf dem Zoomfaktor zu, um ein zugeschnittenes Hauptbild zu erhalten. Dann reichert die Verarbeitungseinheit das zugeschnittene Hauptbild durch Referenzieren auf das Telebild an, um das gezoomte Bild zu erhalten.
Es sei auf 3 Bezug genommen. 3 stellt ein Verfahren zum Erhalten einer Tiefenkarte gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung dar. Durch unterschiedliche Zoomfaktoren, werden, wenn sich das Objekt OBJ1 in einer nahen Objektdistanz befindet, Bilder der dritten und ersten Kameras 213 und 211 für die Berechnung der Tiefenkarte verwendet. Wenn sich das Objekt OBJ2 in einer fernen Objektdistanz befindet, werden die Bilder der Tiefen- und Telekameras 213 und 212 für die Berechnung der Tiefenkarte verwendet. Da die Entfernung zwischen den Haupt- und Telekameras 211 und 213 geringer als die Entfernung zwischen den zweiten und dritten Kameras 211 und 213 ist, und demgemäß die Entfernung zwischen den zweiten und dritten Kameras 212 und 213 größer ist, kann die Tiefenkarte präzise erhalten werden. Das Ausgabebild kann dementsprechend mit hoher Leistung erhalten werden.
Kurz gesagt, wenn die Bildtiefe des Objekts weniger als 20 cm beträgt, können die ersten und dritten Kameras 211 und 213 verwendet werden, um die Bildtiefe zu berechnen, und wenn die Bildtiefe des Objekts zwischen 20 cm bis 2 m beträgt, können die Tele- und Tiefenkameras 212 und 213 verwendet werden, um die Bildtiefe zu berechnen.
Im Detail über die Tiefenkarte, ist die Verarbeitungseinheit so konfiguriert, dass sie ein Zielobjekt in dem Hauptbild, dem Telebild und dem Tiefenbild sucht und die Nahdistanz-Parallaxe, die zwischen dem Zielobjekt auf dem Tiefenbild und dem Hauptbild existiert. Darüber hinaus berechnet die Verarbeitungseinheit die Ferndistanz-Parallaxe, die zwischen dem Zielobjekt auf dem Tiefenbild und dem Telebild existiert, und schätzt eine Objektdistanz entsprechend einer Distanz zwischen dem Zielobjekt und der Bilderfassungsvorrichtung basierend auf der Nahdistanz-Parallaxe oder der Ferndistanz-Parallaxe. Die Tiefenkarte kann basierend auf der geschätzten Objektdistanz erzeugt werden. Es sei hier bemerkt, dass die Verarbeitungseinheit die Objektdistanz basierend auf der Nahdistanz-Parallaxe schätzt, wenn der Fokusfaktor innerhalb eines ersten Schwellenwerts eingestellt ist. Und die Verarbeitungseinheit schätzt die Objektdistanz basierend auf der Ferndistanz-Parallaxe, wenn der Fokusfaktor oberhalb eines zweiten Schwellenwerts liegt. Die ersten und zweiten Schwellenwerte können durch einen Konstrukteur der Bilderfassungsvorrichtung bestimmt werden.
Tatsächlich gibt es mehrere Objekte in einem Bild und die Objektdistanz der Objekte kann sich unterscheiden. Die Verarbeitungseinheit kann die mehreren Zielobjekte in dem Hauptbild, Telebild und Tiefenbild absuchen und eine Nahdistanz-Parallaxe, die zwischen dem Tiefenbild und dem Hauptbild existiert, berechnen. Ferner kann die Verarbeitungseinheit eine Ferndistanz-Parallaxe berechnen, die zwischen dem Tiefenbild und dem Telebild existiert, einen ersten Satz der Objektdistanz entsprechend der Distanz zwischen den mehreren Zielobjekten und der Bilderfassungsvorrichtung basierend auf der Nahdistanz-Parallaxe und der Ferndistanz-Parallaxe schätzen, und einen zweiten Satz der Objektdistanz entsprechend der Distanz zwischen den mehreren Zielobjekten und der Bilderfassungsvorrichtung basierend auf der Ferndistanz-Parallaxe schätzen. Die Verarbeitungseinheit kann aus dem ersten Satz der Objektdistanzen und dem zweiten Satz der Objektdistanzen auswählen, um einen optimierten Satz an Objektdistanzen zu erhalten.
Außerdem kann die Verarbeitungseinheit sowohl das Tiefenbild als auch das gezoomte Bild in ein YUV-Format übertragen und die Tiefenkarte gemäß dem Tiefenbild und dem gezoomten Bild mit dem YUV-Format berechnen.
In einigen Ausführungsbeispielen der vorliegenden Anmeldung werden sämtliche der Haupt-, Tele- und Tiefenkameras 211–213 für die Tiefenkartenberechnung verwendet, insbesondere für das Objekt mit einer mittleren Bildtiefe.
Es sei bemerkt, dass die Auflösungen der Haupt-, Tele- und Tiefenkameras die gleichen sein können.
Es sei auf 5A Bezug genommen, wobei 5A ein Blockdiagramm einer Bilderfassungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung ist. Die Bilderfassungsvorrichtung 51 weist eine Hauptkamera 501, eine Telekamera 502, eine Tiefenkamera 503, eine Verarbeitungseinheit 510 und eine Steuervorrichtung 504 auf. Die Verarbeitungseinheit 510 ist mit den Haupt-, Tele- und Tiefenkameras 501, 502 und 503 gekoppelt. Eine Entfernung zwischen der Hauptkamera 501 und der Tiefenkamera 503 ist geringer als eine Entfernung zwischen der Telekamera 502 und der Tiefenkamera 503. Die Haupt-, Tele- und Tiefenkameras 501–503 erfassen Haupt-, Tele- und Tiefenbilder CIM1, CIM2 bzw. CIM3. Die Verarbeitungseinheit 510 weist einen Zoomfaktor ZF auf, und die Verarbeitungseinheit 510 wendet den Zoomvorgang auf den Bildern CIM1 und CIM2, die jeweils durch die Haupt- bzw. Telekameras 501 bzw. 502 erhalten werden, gemäß dem Zoomfaktor ZF an, um ein gezoomtes Bild ZIM zu erhalten.
Die Verarbeitungseinheit 510 weist eine Bildverarbeitungseinheit 511, eine Schnittstelleneinheit 515, einen Zoomantrieb 512, und einen Tiefenantrieb 513 auf. Die Bildverarbeitungseinheit 511 ist mit den Haupt-, Tele- und Tiefenkameras 501–503 gekoppelt und empfängt die Haupt-, Tele- und Tiefenbilder CIM1–CIM3, die durch die Haupt-, Tele- bzw. Tiefenkameras 501–503 erzeugt werden. Die Bildverarbeitungseinheit 511 wendet eine Signalverarbeitung auf dem Signal der Haupt-, Tele- und Tiefenbilder CIM1–CIM3 an und erzeugt verarbeitete Haupt-, Tele- bzw. Tiefenbilder PMS1–PMS3.
Die Schnittstelleneinheit 515 ist mit der Bildverarbeitungseinheit 511 gekoppelt und empfängt die Haupt- und Telebilder PMS1–PMS2 und den Zoomfaktor ZF. Die Schnittstelleneinheit 515 transportiert entweder die verarbeiteten Haupt- oder Telebilder PMS1–PMS2 an den Tiefenantrieb 513 gemäß dem Zoomfaktor ZF. Im Detail, wenn der Zoomfaktor ZF größer als ein Schwellenwert ist, kann die Schnittstelleneinheit 515 das erste verarbeitete Bildsignal PMS1 an den Tiefenantrieb 513 transportieren, und wenn der Zoomfaktor ZF kleiner als der Schwellenwert ist, kann die Schnittstelleneinheit 515 das zweite, verarbeitete Bildsignal PMS2 an die Tiefenmaschine 513 transportieren.
Andererseits transportiert die Schnittstelleneinheit 515 ebenfalls die verarbeiteten Haupt- und Telebilder PMS1 und PMS2 an den Zoomantrieb. Der Zoomantrieb 512 wendet einen Zoomvorgang (z. B. einen Heranzoom-Vorgang) auf den verarbeiteten Haupt- und Telebildern PMS1 und PMS2 gemäß dem Zoomfaktor ZF an, um das gezoomte Bild ZIM zu erzeugen.
Die Zoommaschine 512 ist so konfiguriert, dass er das gezoomte Bild durch Verschachteln des Telebilds und des Hauptbilds erzeugt.
Die Tiefenmaschine 513 empfängt entweder die verarbeiteten Haupt- und Telebilder PMS1 und PMS2, das verarbeitete Tiefenbildsignal PMS3 oder den Zoomfaktor ZF1. Wenn das verarbeitete Hauptbild PMS1 zu der Tiefenmaschine 513 transportiert wird, berechnet die Tiefenmaschine 513 die Tiefenkarte IDI gemäß den verarbeiteten Haupt- und Tiefenbildern PMS1 und PMS3. Im Gegensatz dazu, wenn die verarbeiteten Telebildsignale PMS2 zu der Tiefenmaschine 513 transportiert werden, berechnet die Tiefenmaschine 513 die Tiefenkarte IDI gemäß den verarbeiteten Tele- und Tiefenbildern PMS2 und PMS3.
Natürlich kann in einigen Ausführungsbeispielen die Schnittstelleneinheit 515 sowohl die verarbeiteten Haupt- als auch Telebilder PMS1 und PMS2 gemäß dem Zoomfaktor transportieren. Die Tiefenmaschine 513 kann die Tiefenkarte IDI gemäß den verarbeiten Haupt-, Tele- und Tiefenbildern PMS1, PMS2 und PMS3 erhalten.
Im Detail kann die Tiefenmaschine 513 so konfiguriert sein, dass sie eine Objektdistanz von zumindest einem Bereich des gezoomten Bilds ZIM von der Zoommaschine 512 basierend auf einer Zoomparallaxe zwischen dem gezoomten Bild ZIM und dem Tiefenbild PMS3 berechnet, und die Tiefenkarte basierend auf der berechneten Objektdistanz erzeugt. Darüber hinaus kann die Tiefenmaschine 513 so konfiguriert sein, dass sie eine Objektdistanz von zumindest einem Bereich der zu Haupt- und/oder Telebilder PMS1 und PMS2 basierend auf einer Zoomparallaxe zwischen den Haupt- und/oder Telebildern PMS1 und PMS2 und dem Tiefenbild PMS3 berechnet, und die Tiefenkarte basierend auf der berechneten Objektdistanz erzeugt. Andererseits kann die Tiefenmaschine 513 ebenfalls so konfiguriert sein, dass sie eine erste Objektdistanz von zumindest einem Bereich des Hauptbilds PMS1 basierend auf einer Zoomparallaxe zwischen dem Hauptbild PMS1 und dem Tiefenbild PMS3 berechnet, und eine zweite Objektdistanz von zumindest einem Bereich des Telebilds PMS2 basierend auf der Zoomparallaxe zwischen dem Telebild PMS2 und dem Tiefenbild PMS3 berechnet, und die Tiefenmaschine 513 ist ferner so konfiguriert, dass sie die Tiefenkarte basierend auf den ersten und zweiten Objektdistanzen erzeugt.
D. h. die Tiefenmaschine 513 kann die Tiefenkarte gemäß dem Tiefenbild PMS3 und den Haupt-, Tele- und gezoomten Bildern PMS1, PMS2 und ZIM erhalten. Die Tiefenkarte wird durch das Tiefenbild PMS3 und irgendeines oder mehrere der Haupt-, Tele- und gezoomten Bilder PMS1, PMS2 und ZIM erhalten. Eine optimale Tiefenkarte kann erhalten werden.
Die Steuervorrichtung 504 ist mit der Zoommaschineneinheit 512 und der Tiefenmaschine 513 gekoppelt. Die Steuervorrichtung 504 empfängt das gezoomte Bild ZIM und die Tiefenkarte IDI, und erzeugt ein Ausgabebild OI gemäß dem gezoomten Bild ZIM und der Tiefenkarte IDI.
Es sei auf 5B Bezug genommen. 5B ist ein Blockdiagramm einer Bilderfassungsvorrichtung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Anmeldung. In 5B weist die Bilderfassungsvorrichtung 52 eine Hauptkamera 501, eine Telekamera 502, eine Tiefenkamera 503 und eine Verarbeitungseinheit 520 auf. Die Verarbeitungseinheit 520 weist einen Anwendungsprozessor 521 und einen externen Bildsignalprozessor 522 auf. Der Anwendungsprozessor 521 weist zwei interne Bildprozessoren 5211 und 5212 auf. Die internen Bildprozessoren 5211 und 5212 sind jeweils mit den Haupt- und Telekameras 501 und 502 verbunden und werden verwendet, um das Hauptbild CIM1 bzw. das Telebild CIM2 zu empfangen. Die internen Bildprozessoren 5211 und 5212 wenden eine Bildverarbeitung auf den Haupt- und Telebildern CIM1 bzw. CIM2 an. Der Anwendungsprozessor 521 erzeugt das gezoomte Bild basierend auf den Haupt- und Telebildern CIM1 und CIM2, die jeweils durch die internen Bildprozessoren 5211 und 5212 verarbeitet werden.
Der externe Bildsignalprozessor 522 ist zwischen der Tiefenkamera 503 und dem Anwendungsprozessor 521 verbunden. Der externe Bildsignalprozessor 522 ist so konfiguriert, dass er das Tiefenbild CIM3 empfängt.
Es sei auf 6A und 6B Bezug genommen. 6A und 6B sind Anordnungen von Kameras gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung. In 6A sind die ersten, zweiten und dritten Kameras 611, 612 und 613 in einer L-Form angeordnet. Die Entfernung D1 zwischen den Haupt- und Tiefenkameras 611 und 613 ist geringer als die Entfernung D2 zwischen den Tele- und Tiefenkameras 612 und 613. In 6B sind die Haupt-, Tele- und Tiefenkameras 621, 622 und 623 in einem Dreieck angeordnet. Die Entfernung D1 zwischen den Haupt- und Tiefenkameras 621 und 623 ist geringer als die Entfernung D2 zwischen den Tele- und Tiefenkameras 622 und 623.
Natürlich können in einigen Ausführungsbeispielen, die Haupt-, Tele- und Tiefenkameras in einer anderen Form angeordnet sein. Der Punkt ist, dass eine Entfernung zwischen den Haupt- und Tiefenkameras kleiner als eine Entfernung zwischen den Tele- und Tiefenkameras sein sollte.
Es sei auf 7 Bezug genommen. 7 ist ein Flussdiagramm der Schritte des Bilderfassungsverfahrens gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung. In Schritt S710 werden Haupt-, Tele- und Tiefenbilder durch Haupt-, Tele bzw. Tiefenkameras erhalten. Hier ist eine Entfernung zwischen den ersten und dritten Kameras geringer als eine Entfernung zwischen den zweiten und dritten Kameras. In Schritt S720 wird ein gezoomtes Bild durch Kombinieren des Hauptbilds und des Telebilds erhalten. In Schritt S730 wird eine Tiefenkarte gemäß dem gezoomten Bild basierend auf dem Hauptbild, dem Telebild und dem Tiefenbild erhalten. Ein Ausgabebild kann gemäß dem gezoomten Bild und der Tiefenkarte erhalten werden. Darüber hinaus kann für den detaillierten Betrieb jeder der Schritte S710–S730 auf die Ausführungsbeispiele in 1–6 Bezug genommen werden.
Zusammenfassend werden die Haupt-, Tele- und Tiefenbilder durch die Haupt-, Tele- bzw. Tiefenbildkameras erhalten. Das gezoomte Bild kann basierend auf den Haupt- und Telebildern erhalten werden. Die Tiefenkarte kann basierend auf den Haupt-, Tele- und Tiefenbildern erhalten werden. In der vorliegenden Offenbarung kann die Tiefenkarte gemäß zumindest zweien der Haupt-, Tele- und Tiefenbilder berechnet werden. Demgemäß kann die Tiefenkarte mit hoher Präzision erhalten werden.
Es wird Fachleuten des Gebiets offensichtlich sein, dass verschiedene Modifikationen und Variationen an dem Aufbau der Erfindung vorgenommen werden können, ohne den Umfang und Rahmen der Erfindung zu verlassen. Angesichts des Vorangehenden soll die Erfindung Modifikationen und Variationen dieser Erfindung abdecken, vorausgesetzt diese fallen in den Umfang der folgenden Ansprüche und ihrer Äquivalente.

Claims

Bilderfassungsvorrichtung, die Folgendes aufweist: eine Hauptkamera zum Erfassen eines Hauptbilds; eine Telekamera zum Erfassen eines Telebilds; eine Tiefenkamera zum Erfassen eines Tiefenbilds; und eine Verarbeitungseinheit, die mit den Haupt-, Tele- und Tiefenkameras gekoppelt ist, um: das Hauptbild und das Telebild zu kombinieren, um ein gezoomtes Bild zu erhalten; eine Tiefenkarte zugehörig zu dem gezoomten Bild basierend auf dem Hauptbild, dem Telebild und dem Tiefenbild zu erzeugen.
Bilderfassungsvorrichtung gemäß Anspruch 1, wobei die Verarbeitungseinheit Folgendem dient: Berechnen einer Nahdistanz-Parallaxeninformation durch Vergleichen des Tiefenbilds und des Hauptbilds; Berechnen einer Ferndistanz-Parallaxeninformation durch Vergleichen des Tiefenbilds und des Telebilds; und Selektives Übernehmen der Nahdistanz-Parallaxeninformation oder der Ferndistanz-Parallaxeninformation, um die Tiefenkarte zu erzeugen.
Bilderfassungsvorrichtung gemäß Anspruch 1 oder 2, die ferner ein Gehäuse mit einer Vorderseite und einer Rückseite aufweist, wobei die Telekamera, die Hauptkamera und die Tiefenkamera in dem Gehäuse angebracht und auf der Rückseite angeordnet sind.
Bilderfassungsvorrichtung gemäß Anspruch 1, 2 oder 3, wobei ein Sichtfeld bzw. FOV (FOV = Field of View) der Telekamera durch ein Sichtfeld der Hauptkamera abgedeckt wird, und das Sichtfeld der Hauptkamera durch ein Sichtfeld der Tiefenkamera abgedeckt wird.
Bilderfassungsvorrichtung gemäß Anspruch 1, 2, 3 oder 4, wobei die Verarbeitungseinheit Folgendes aufweist: einen Anwendungsprozessor, der einen ersten internen Bildsignalprozessor, der mit der Telekamera verbunden ist, um das Telebild zu empfangen, und einen zweiten internen Bildsignalprozessor aufweist, der mit der Hauptkamera verbunden ist, um das Hauptbild zu empfangen; wobei der Anwendungsprozessor so konfiguriert ist, dass er das gezoomte Bild basierend auf dem Telebild und dem Hauptbild erzeugt; und einen externen Bildsignalprozessor, der zwischen der Tiefenkamera und dem Anwendungsprozessor verbunden ist, der so konfiguriert ist, dass er das Tiefenbild empfängt.
Bilderfassungsvorrichtung gemäß Anspruch 5, wobei das gezoomte Bild und das Tiefenbild in das YUV-Format übertragen werden.
Bilderfassungsvorrichtung gemäß Anspruch 1, 2, 3, 4 oder 5, wobei der Prozessor ferner Folgendes aufweist: eine Zoommaschine, die so konfiguriert ist, dass sie das gezoomte Bild durch Verschachteln des Telebilds und des Hauptbilds erzeugt; und eine Tiefenmaschine, die so konfiguriert ist, dass sie die Tiefenkarte gemäß dem Tiefenbild und den Haupt- und/oder Telebildern erhält.
Bilderfassungsvorrichtung gemäß Anspruch 7, wobei die Tiefenmaschine so konfiguriert ist, dass sie eine Objektdistanz von zumindest einem Bereich des gezoomten Bilds basierend auf einer Zoomparallaxe zwischen dem gezoomten Bild und dem Tiefenbild berechnet und die Tiefenkarte basierend auf der berechneten Objektdistanz erzeugt.
Bilderfassungsvorrichtung gemäß Anspruch 7 oder 8, wobei die Tiefenmaschine so konfiguriert ist, dass sie eine Objektdistanz von zumindest einem Bereich der Haupt- und/oder Telebilder basierend auf einer Zoomparallaxe zwischen den Haupt- und/oder Telebildern und dem Tiefenbild berechnet, und die Tiefenkarte basierend auf der berechneten Objektdistanz erzeugt.
Bilderfassungsvorrichtung gemäß Anspruch 7, 8 oder 9, wobei die Tiefenmaschine so konfiguriert ist, dass sie eine Objektdistanz von zumindest einem Bereich des Hauptbilds basierend auf einer Zoomparallaxe zwischen dem Hauptbild und dem Tiefenbild berechnet, und eine zweite Objektdistanz von zumindest einem Bereich des Telebilds basierend auf der Zoomparallaxe zwischen dem Telebild und dem Tiefenbild berechnet, wobei die Tiefenmaschine ferner konfiguriert ist, um die Tiefenkarte basierend auf den ersten und zweiten Objektdistanzen zu erzeugen.
Bilderfassungsvorrichtung gemäß Anspruch 7, 8, 9 oder 10, wobei die Verarbeitungseinheit ferner Folgendes aufweist: eine Bildsignalverarbeitungseinheit, die die Haupt-, Tele- und Tiefenbilder empfängt, und einen Signalverarbeitungsvorgang auf den Haupt-, Tele- und Tiefenbildern anwendet, die Signalverarbeitungseinheit ein verarbeitetes Hauptbild und ein verarbeitetes Telebild zu der Zoommaschine transportiert und ein verarbeitetes Tiefenbild und ein verarbeitetes Hauptbild und/oder Tiefenbild an die Tiefenmaschine transportiert.
Bilderfassungsvorrichtung gemäß Anspruch 11, wobei die Bildsignalverarbeitungseinheit Folgendes aufweist: einen ersten Signalprozessor, der mit der Hauptkamera gekoppelt ist, wobei der erste Signalprozessor das Hauptbild verarbeitet, um das verarbeitete Hauptbild zu erhalten; einen zweiten Signalprozessor, der mit der Telekamera gekoppelt ist, wobei der zweite Signalprozessor das Telebild verarbeitet, um das verarbeitete Telebild zu erhalten; und einen dritten Signalprozessor, der mit der Tiefenkamera gekoppelt ist, wobei der dritte Signalprozessor das Tiefenbild verarbeitet, um das verarbeitete Tiefenbild zu erhalten.
Bilderfassungsvorrichtung gemäß Anspruch 11 oder 12, wobei die Verarbeitungseinheit ferner Folgendes aufweist: eine Schnittstelleneinheit, die zwischen die Bildsignalverarbeitungseinheit, die Zoommaschine und die Tiefenmaschine gekoppelt ist, wobei die Schnittstelleneinheit den Zoomfaktor empfängt und die verarbeiteten Haupt- und/oder Telebilder an die Tiefenmaschine gemäß dem Zoomfaktor transportiert.
Bilderfassungsvorrichtung gemäß Anspruch 11, 12 oder 13, die ferner Folgendes aufweist: eine Steuervorrichtung, die mit der Zoommaschine und der Tiefenmaschine gekoppelt ist, wobei die Steuervorrichtung ein Ausgabebild gemäß dem gezoomten Bild und der Tiefenkarte erzeugt.
Bilderfassungsvorrichtung gemäß Anspruch 1, 2, 3, 4, 5 oder 7, wobei eine Entfernung zwischen den Haupt- und Telekameras geringer als eine Entfernung zwischen den Tele- und Tiefenkameras ist.
Bilderfassungsvorrichtung gemäß Anspruch 15, wobei sich die Hauptkamera dicht benachbart zu der Telekamera mit einer ersten Entfernung und benachbart zu der Tiefenkamera mit einer zweiten Entfernung befindet, und die erste Entfernung im Wesentlichen kleiner als die zweite Entfernung ist, und folglich eine Parallaxe zwischen dem Hauptbild und dem Telebild im Wesentlichen kleiner als eine Parallaxe zwischen dem Tiefenbild und dem Hauptbild ist.
Bilderfassungsvorrichtung gemäß Anspruch 1, 2, 3, 4, 5, 7 oder 15, wobei eine effektive Brennweite der Hauptkamera kleiner als eine effektive Brennweite der Telekamera ist.
Bilderfassungsvorrichtung gemäß Anspruch 1, 2, 3, 4, 5, 7, 15 oder 17, wobei die Verarbeitungseinheit konfiguriert ist zum: Empfangen eines Zoomfaktors; Zuschneiden des Hauptbilds auf den Zoomfaktor, um ein zugeschnittenes Hauptbild zu erhalten; und Erweitern des zugeschnittenen Hauptbilds durch Bezugnahme auf das Telebild, um das gezoomte Bild zu erhalten.
Bilderfassungsvorrichtung gemäß Anspruch 1, 2, 3, 4, 5, 7, 15, 17 oder 18, wobei die Hauptkamera, die Telekamera und die Tiefenkamera so konfiguriert sind, dass sie synchron fotografieren, um das Hauptbild, das Telebild und das Tiefenbild zu erfassen.
Bilderfassungsvorrichtung gemäß Anspruch 2, wobei die Verarbeitungseinheit konfiguriert ist, um: ein Zielobjekt in dem Hauptbild, dem Telebild und dem Tiefenbild zu suchen; die Nahdistanz-Parallaxe zu berechnen, die zwischen dem Zielobjekt auf dem Tiefenbild und dem Hauptbild existiert; die Ferndistanz-Parallaxe zu berechnen, die zwischen dem Zielobjekt auf dem Tiefenbild und dem Telebild existiert; eine Objektdistanz entsprechend einer Distanz zwischen dem Zielobjekt und der Bilderfassungsvorrichtung basierend auf der Nahdistanz-Parallaxe oder der Ferndistanz-Parallaxe zu schätzen; und die Tiefenkarte basierend auf der geschätzten Objektdistanz zu erzeugen.
Bilderfassungsvorrichtung gemäß Anspruch 19, wobei die Verarbeitungseinheit die Objektdistanz basierend auf der Nahdistanz-Parallaxe schätzt, wenn der Fokusfaktor innerhalb eines ersten Schwellenwerts eingestellt wird.
Bilderfassungsvorrichtung gemäß Anspruch 21, wobei die Verarbeitungseinheit die Objektdistanz basierend auf der Ferndistanz-Parallaxe schätzt, wenn der Fokusfaktor über einen zweiten Schwellenwert hinaus eingestellt wird.
Bilderfassungsvorrichtung gemäß Anspruch 1, 2, 3, 4, 5, 7, 15, 17, 18 oder 19, wobei die Verarbeitungseinheit konfiguriert ist, um: mehrere Zielobjekte in dem Hauptbild, dem Telebild und dem Tiefenbild zu suchen; eine Nahdistanz-Parallaxe zu berechnen, die zwischen dem Tiefenbild und dem Hauptbild existiert; eine Ferndistanz-Parallaxe zu berechnen, die zwischen dem Tiefenbild und dem Telebild existiert; einen ersten Satz der Objektdistanz entsprechend der Distanz zwischen den mehreren Zielobjekten und der Bilderfassungsvorrichtung basierend auf der Nahdistanz-Parallaxe und der Ferndistanz-Parallaxe zu schätzen; einen zweiten Satz der Objektdistanz entsprechend der Distanz zwischen den mehreren Zielobjekten und der Bilderfassungsvorrichtung basierend auf der Ferndistanz-Parallaxe zu schätzen; und aus dem ersten Satz der Objektdistanzen und dem zweiten Satz der Objektdistanzen auszuwählen, um einen optimierten Satz von Objektdistanzen zu erhalten.
Bilderfassungsvorrichtung gemäß Anspruch 22, wobei die Verarbeitungseinheit die Tiefenkarte durch die ersten, zweiten und dritten Kameras erhält, wenn der Zoomfaktor zwischen den ersten und zweiten Schwellenwerten liegt, wobei der erste Schwellenwert niedriger als der zweite Schwellenwert ist.
Bilderfassungsvorrichtung gemäß Anspruch 1, 2, 3, 4 5, 7, 15, 17, 18, 19 oder 23, wobei die Auflösungen der Haupt-, Tele- und Tiefenkameras die gleichen sind.
Bilderfassungsvorrichtung gemäß Anspruch 1, 2, 3, 4 5, 7, 15, 17, 18, 19, 23 oder 25, wobei die Haupt-, Tele- und Tiefenkameras in einer Linie, einer L-Form oder einer Dreiecksform angeordnet sind.
Handgehaltene, elektronische Vorrichtung, die Folgendes aufweist: ein Gehäuse mit einer Vorderseite und einer Rückseite; eine Hauptkamera zum Erfassen eines Hauptbilds, wobei die Hauptkamera in dem Gehäuse angebracht und auf der Rückseite angeordnet ist; eine Telekamera zum Erfassen eines Telebilds, wobei die Telekamera in dem Gehäuse angebracht und auf der Rückseite angeordnet ist; eine Tiefenkamera zum Erfassen eines Tiefenbilds, wobei die Tiefenkamera in dem Gehäuse angebracht und auf der Rückseite angeordnet ist; und eine Verarbeitungseinheit, die mit den Haupt-, Tele- und Tiefenkameras gekoppelt ist; um: das Hauptbild und das Telebild zu kombinieren, um ein gezoomtes Bild zu erhalten; und eine Tiefenkarte zugehörig zu dem gezoomten Bild basierend auf dem Hauptbild, dem Telebild und dem Tiefenbild zu erzeugen.
Handgehaltene, elektronische Vorrichtung gemäß Anspruch 27, wobei sich die Hauptkamera dicht benachbart zu der Telekamera mit einer ersten Entfernung und benachbart zu der Tiefenkamera mit einer zweiten Entfernung befindet, und die erste Entfernung wesentlich kleiner als die zweite Entfernung ist, und folglich eine Parallaxe zwischen dem Hauptbild und dem Telebild wesentlich kleiner als eine Parallaxe zwischen dem Tiefenbild und dem Hauptbild ist.
Handgehaltene, elektronische Vorrichtung gemäß Anspruch 28, wobei eine effektive Brennweite der Hauptkamera kleiner als eine effektive Brennweite der Telekamera ist.
Bilderfassungsverfahren, das Folgendes aufweist: Erfassen eines Hauptbilds, eines Telebilds bzw. eines Tiefenbilds; Kombinieren des Hauptbilds und des Telebilds, um ein gezoomtes Bild zu erhalten; und Erzeugen einer Tiefenkarte zugehörig zu dem gezoomten Bild basierend auf dem Hauptbild, dem Telebild und dem Tiefenbild.