QUERVERWEIS AUF VERWANDTE ANMELDUNGENCROSS-REFERENCE TO RELATED APPLICATIONS
Diese Anmeldung ist eine Continuation-in-part-Anmeldung und beansprucht die Priorität einer US-Anmeldung Ser. Nr. 13/224 364, eingereicht am 2. September 2011, jetzt anhängig. Diese Anmeldung ist ferner eine Continuation-in-part-Anmeldung und beansprucht die Priorität einer US-Anmeldung Ser. Nr. 13/937 223, eingereicht am 9. Juli 2013, jetzt anhängig. Die Gesamtheit von jeder der oben genannten Patentanmeldungen wird hiermit durch Bezugnahme aufgenommen und stellt einen Teil dieser Beschreibung dar.This application is a continuation-in-part application and claims the priority of a U.S. Application Ser. No. 13 / 224,364, filed September 2, 2011, now pending. This application is also a continuation-in-part application and claims the priority of a US Ser application. No. 13 / 937,223, filed July 9, 2013, now pending. The entirety of each of the above-identified patent applications is hereby incorporated by reference and forms a part of this specification.
HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION
Gebiet der ErfindungField of the invention
Die Erfindung betrifft eine Bildaufnahmevorrichtung und insbesondere eine Bildaufnahmevorrichtung einer tragbaren elektronischen Vorrichtung.The invention relates to an image pickup device, and more particularly to an image pickup device of a portable electronic device.
Beschreibung des Standes der TechnikDescription of the Prior Art
Mit dem Fortschritt der elektronischen Technologien sind tragbare elektronische Vorrichtungen ein wichtiges Werkzeug des täglichen Lebens geworden. Eine tragbare elektronische Vorrichtung verfügt in der Regel über eine Bildaufnahmevorrichtung, die heute eine Standardausrüstung für die tragbare elektronische Vorrichtung ist.With the advancement of electronic technologies, portable electronic devices have become an important tool of daily life. A portable electronic device typically has an image pickup device that is now standard equipment for the portable electronic device.
Nimmt man ein Mobiltelefon als Beispiel, so kann, während eines Autofokus-Vorgangs mit einer herkömmlichen Technik, die Bildaufnahmevorrichtung (z. B. eine Kamera) ein Bild durch Benutzung eines Bildsensors (beispielsweise ein CMOS-Sensor) mit Bewegungen eines Stellglieds/Aktuator, der darin ausgebildet ist, scannen und einen Kontrastwert des Bildes aufnehmen. Die Kamera führt einen Fokussierungsvorgang durch und führt einen Bildaufnahmevorgang durch, durch Auswählen einer geeigneten Bewegungsdistanz für das Stellglied entsprechend dem Kontrastwert des Bildes. Ferner ist beim Stand der Technik die Bildaufnahmevorrichtung auf dem Mobiltelefon durch die Tiefenschärfe der bereitgestellten Linse beschränkt, so dass eine Tiefenschärfeinformation eines Bildes außerhalb der Tiefenschärfe nicht korrekt erzielt werden kann, wodurch die erfasste Qualität des Bildes beeinflusst wird.Taking a mobile phone as an example, during an autofocus operation with a conventional technique, the image pickup device (eg, a camera) may capture an image by using an image sensor (eg, a CMOS sensor) with movements of an actuator / actuator, which is adapted to scan and record a contrast value of the image. The camera performs a focusing operation and performs an image pickup operation by selecting a suitable moving distance for the actuator in accordance with the contrast value of the image. Further, in the prior art, the image pickup device on the mobile phone is limited by the depth of focus of the lens provided, so that depth-of-field information of an image outside the depth of field can not be obtained correctly, thereby affecting the captured quality of the image.
ZUSAMMENFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION
Die Erfindung ist auf eine Vielzahl von Bildaufnahmevorrichtungen und Verfahren zum Erhalten deren Tiefenschärfeinformationen gerichtet, die in der Lage sind, effektiv die Tiefenschärfeinformation des Zielbildes zu berechnen.The invention is directed to a variety of image capture devices and methods for obtaining their depth-of-field information capable of effectively calculating the depth-of-field information of the target image.
Eine Bildaufnahmevorrichtung der Erfindung umfasst eine erste Bilderfassungseinheit, eine zweite Bilderfassungseinheit und eine Steuerung. Die erste Bilderfassungseinheit führt einen Bildaufnahmevorgang entsprechend einer Vielzahl von Brennweiten durch, um jeweils eine Vielzahl von Zoom-Bildern zu erhalten. Die zweite Bilderfassungseinheit führt einen Bildaufnahmevorgang gemäß einer festen Brennweite durch, um ein Fixfokus/festen Fokus-Bild zu erhalten. Die Steuerung ist mit den ersten und zweiten Bilderfassungseinheiten verbunden und die Steuerung erzeugt eine Vielzahl von Tiefenschärfeinformation, jeweils entsprechend den Brennweiten des Zoom-Bildes gemäß dem Fixfokus-Bild und dem Zoom-Bild.An image pickup apparatus of the invention comprises a first image capture unit, a second image capture unit, and a controller. The first image acquisition unit performs an image pickup operation corresponding to a plurality of focal lengths to obtain a plurality of zoom images, respectively. The second image acquiring unit performs an image pickup operation according to a fixed focal length to obtain a fixed focus / fixed focus image. The controller is connected to the first and second image sensing units, and the controller generates a plurality of depth-of-field information corresponding to the focal lengths of the zoom image according to the fixed-focus image and the zoom image, respectively.
Eine weitere Bildaufnahmevorrichtung der Erfindung umfasst eine erste Bilderfassungseinheit, eine zweite Bilderfassungseinheit und eine Steuerung. Die erste Bilderfassungseinheit führt einen Bildaufnahmevorgang entsprechend einer Vielzahl von Brennweiten durch, um jeweils eine Mehrzahl von ersten Zoom-Bildern zu erhalten. Die zweite Bilderfassungseinheit führt einen Bildaufnahmevorgang entsprechend der Brennweite, um jeweils eine Vielzahl von zweiten Zoom-Bildern zu erhalten. Die Steuerung ist mit der ersten Bilderfassungseinheit und der zweiten Bilderfassungseinheit verbunden und ist konfiguriert, um eine Vielzahl von Tiefenschärfeinformation jeweils entsprechend den Zoom-Bildern gemäß der ersten Zoom-Bilder und der zweiten Zoom-Bilder zu erhalten.Another image pickup device of the invention comprises a first image capture unit, a second image capture unit, and a controller. The first image acquisition unit performs an image pickup operation corresponding to a plurality of focal lengths to obtain a plurality of first zoom images, respectively. The second image capture unit performs an image pickup operation corresponding to the focal length to obtain a plurality of second zoom images, respectively. The controller is connected to the first image capture unit and the second image capture unit, and is configured to obtain a plurality of depth-of-field information corresponding to the zoom images in accordance with the first zoom images and the second zoom images, respectively.
Die Erfindung stellt ein Verfahren zur Gewinnung von Tiefenschärfeinformationen bereit, das umfasst: Durchführen eines Bildaufnahmevorgangs entsprechend einer Vielzahl von Brennweiten von einer ersten Bilderfassungseinheit, um jeweils eine Vielzahl von Zoom-Bildern zu erhalten; Durchführen eines Bildaufnahmevorgangs mit einer festen Brennweite durch eine zweite Bilderfassungseinheit um ein Fixfokus-Bild zu erhalten; und Erzeugen jeweils einer Vielzahl von Tiefenschärfeinformationen, die jeweils der Brennweiten der Zoom-Bilder entsprechend, gemäß einer Bilddifferenz zwischen den Zoom-Bilder und dem Fixfokus-Bild.The invention provides a method of obtaining depth-of-field information, comprising: performing an image pickup operation corresponding to a plurality of focal lengths from a first image capture unit to obtain a plurality of zoom images, respectively; Performing a fixed focus image pickup by a second image capture unit to obtain a fixed focus image; and generating a plurality of depth-of-field information, respectively corresponding to the focal lengths of the zoom images, according to an image difference between the zoom images and the fixed-focus image.
Die Erfindung stellt ein weiteres Verfahren zum Erhalten von Tiefenschärfeinformationen bereit, welches umfasst: Durchführen eines Bildaufnahmevorgangs entsprechend einer Vielzahl von Brennweiten mit einer ersten Bilderfassungseinheit und einer zweiten Bilderfassungseinheit, um jeweils eine Vielzahl von ersten Zoom-Bildern und eine Vielzahl von zweiten Zoom-Bildern zu erhalten; und Erzeugen einer Vielzahl von Tiefenschärfeinformationen, die jeweils den Brennweiten der Zoom-Bilder entsprechend, gemäß den ersten und zweiten Zoom-Bildern.The invention provides another method for obtaining depth-of-field information, comprising: performing an image pickup operation corresponding to a plurality of focal lengths with a first image capture unit and a second image capture unit to respectively acquire a plurality of first zoom images and a plurality of second zoom images receive; and generating a plurality of depth-of-field information respectively corresponding to the focal lengths of the zoomed images according to the first and second zoom images.
Basierend auf dem Obigen, ist die Bildaufnahmevorrichtung der Erfindung fähig, verschiedene Zoom-Bilder durch die erste Bilderfassungseinheit mit verschiedenen Brennweiten zu erfassen, die Erfassung des Fixfokus-Bildes durch die zweite Bilderfassungseinheit mit einer Festbrennweite, und Berechnung der Tiefenschärfeinformation entsprechend den Zoom-Bildern und dem Fixfokus-Bild. Darüber hinaus ist auch die Bildaufnahmevorrichtung der Erfindung fähig, die ersten und die zweiten Zoom-Bilder jeweils mit verschiedenen Brennweiten zu erhalten, und die Berechnung der Tiefenschärfeinformation gemäß der ersten und der zweiten Zoom-Bilder durchzuführen. Mit anderen Worten ist die Erfindung fähig, effektiv genauere Tiefenschärfeinformation durch die Zoom-Bilder, die durch wenigstens eine Bilderfassungseinheit mit Autofokus-Fähigkeit erzeugt wurden, zu erhalten, um als Grundlage für die Berechnung der Tiefenschärfeinformation verwendet zu werden.Based on the above, the image pickup device of the invention is capable of detecting various zoom images by the first image acquisition unit with different focal lengths, the detection of the fixed focus image by the second image capture unit with a fixed focal length, and calculation of the depth of field information corresponding to the zoom images and the fixed focus image. Moreover, the image pickup device of the invention is also capable of obtaining the first and second zoom images each having different focal lengths and performing the calculation of depth-of-field information according to the first and second zoom images. In other words, the invention is capable of effectively obtaining more accurate depth-of-field information by the zoom images generated by at least one autofocus-capable image acquisition unit to be used as the basis for the calculation of depth-of-field information.
Um die oben genannten Merkmale und Vorteile der Erfindung verständlicher zu machen werden mehrere Ausführungsformen, begleitend durch Zeichnungen, im Detail wie folgt beschrieben.In order to make the above-mentioned features and advantages of the invention more comprehensible, several embodiments, accompanied by drawings, will be described in detail as follows.
KURZE BESCHREIBUNG DER ZEICHNUNGENBRIEF DESCRIPTION OF THE DRAWINGS
1 ist eine schematische Ansicht, die eine tragbaren elektronische Vorrichtung 100 gemäß einer Ausführungsform der Erfindung darstellt. 1 is a schematic view showing a portable electronic device 100 according to an embodiment of the invention.
2 ist eine schematische Ansicht, die eine Bildaufnahmevorrichtung 200 gemäß einer Ausführungsform der Erfindung darstellt. 2 is a schematic view showing an image pickup device 200 according to an embodiment of the invention.
3A ist eine schematische Ansicht, die eine Ausführung der Fokussierungserfassungsabstand gemäß einer Ausführungsform der Erfindung darstellt. 3A FIG. 12 is a schematic view illustrating one embodiment of the focus detection distance according to an embodiment of the invention. FIG.
3B ist eine schematische Ansicht, die eine Implementierung einer Umwandlung zwischen dem Fokussierungserfassungsabstand und dem Hauptfokussierungsabstand darstellt. 3B Fig. 10 is a schematic view illustrating an implementation of a conversion between the focus detection distance and the main focus distance.
4 ist eine schematische Ansicht, die eine Bildaufnahmevorrichtung 400 gemäß einer anderen Ausführungsform der Erfindung darstellt. 4 is a schematic view showing an image pickup device 400 represents according to another embodiment of the invention.
5A und 5B sind schematische Ansichten, die einen Abdeckungsstatus des Sichtbereichs der Bildaufnahmevorrichtung gemäß einer Ausführungsform der Erfindung darstellen. 5A and 5B 13 are schematic views illustrating a cover state of the field of view of the image pickup device according to an embodiment of the invention.
6 ist ein Flussdiagramm, das ein Verfahren zum Fokussieren der Bildaufnahmevorrichtung gemäß einer Ausführungsform der Erfindung darstellt. 6 FIG. 10 is a flowchart illustrating a method of focusing the image pickup device according to an embodiment of the invention. FIG.
7 ist eine schematische Ansicht, die eine Bildaufnahmevorrichtung 700 gemäß einer Ausführungsform der Erfindung darstellt. 7 is a schematic view showing an image pickup device 700 according to an embodiment of the invention.
8A ist eine schematische Ansicht, die ein Aufnahmebild. 8A is a schematic view showing a picture taken.
8B ist eine schematische Ansicht, die eine Vielzahl von Zoom-Bilder darstellt. 8B is a schematic view illustrating a plurality of zoom images.
9 ist eine schematische Darstellung der Zoom-Bilder gemäß einer Ausführungsform der Erfindung. 9 FIG. 13 is a schematic diagram of the zoom images according to an embodiment of the invention. FIG.
10 ist eine schematische Ansicht, die eine Implementierung zur Berechnung der Tiefenschärfeinformation nach einer Ausführungsform der Erfindung darstellt. 10 FIG. 12 is a schematic view illustrating an implementation for calculating depth-of-field information according to an embodiment of the invention. FIG.
11 zeigt eine Implementierung der Steuerung gemäß einem Ausführungsbeispiel der Erfindung. 11 shows an implementation of the controller according to an embodiment of the invention.
12 und 13 veranschaulichen ein Flussdiagramm zum Erhalten der Tiefenschärfeinformation gemäß zweier Ausführungsformen der Erfindung. 12 and 13 illustrate a flowchart for obtaining depth-of-field information according to two embodiments of the invention.
BESCHREIBUNG DER AUSFÜHRUNGSFORMENDESCRIPTION OF THE EMBODIMENTS
Im Folgenden wird auf 1 Bezug genommen. 1 ist eine schematische Ansicht, die eine tragbare elektronische Vorrichtung 100 gemäß einer Ausführungsform der Erfindung darstellt. In der tragbaren elektronischen Vorrichtung 100 umfasst die Bilderfassungsvorrichtung eine Hauptbilderfassungseinheit 110 und eine Hilfsbilderfassungseinheit 120. Die Hauptbilderfassungseinheit 110 und die Hilfsbilderfassungseinheit 120 sind auf der gleichen Ebene/Schicht eines Substrats 10 der tragbaren elektronischen Vorrichtung 100 angeordnet. Außerdem sind die Hilfsbilderfassungseinheit 110 und die Hauptbilderfassungseinheit 120 benachbart zueinander angeordnet. In der vorliegenden Ausführungsform fokussiert sich die Hauptbilderfassungseinheit 110 auf ein Zielobjekt gemäß einem Fokussierungserfassungsabstand und führt einen Bildaufnahmevorgang aus. Der Fokussierungserfassungsabstand wird von der Hilfsbilderfassungseinheit 120 erzeugt. Genauer gesagt, wenn die tragbare elektronische Vorrichtung 110 eine Aufnahmevorgang (Bildaufnahme) an dem Zielobjekt ausführt, führt zunächst die Hilfsbilderfassungseinheit 120 eine Anzahl von Fokussierungsvorgängen an dem Zielobjekt mit einer Vielzahl von Fokussierungsabständen aus. Eine Vielzahl von Bildkontrastwerten werden durch Ausführen schneller Bildaufnahmevorgänge auf dem Zielobjekt unter verschiedenen Fokussierungsabständen erzeugt. Die Bildkontrastwerte entsprechend jeweils den Fokussierungsabständen, die in den Fokussierungsvorgängen, die durch die HilfsBilderfassungseinheit 120 ausgeführt wird, benutzt wurden. Durch Analysieren der Bildkontrastwerte kann die Bildaufnahmevorrichtung der tragbaren elektronischen Vorrichtung 100 einen Höchst-Wert unter den Bildkontrastwerten auswählen, und wählt den Fokussierungsabstand entsprechend zu dem Höchsten der Bildkontrastwerten, um als Fokussierungserfassungsabstand zu verwendet zu werden.The following will be on 1 Referenced. 1 is a schematic view showing a portable electronic device 100 according to an embodiment of the invention. In the portable electronic device 100 The image capture device comprises a main image capture unit 110 and an auxiliary image capturing unit 120 , The main image capture unit 110 and the auxiliary image capturing unit 120 are at the same level / layer of a substrate 10 portable electronic device 100 arranged. In addition, the auxiliary picture capturing unit 110 and the main image capture unit 120 arranged adjacent to each other. In the present embodiment, the main image capture unit focuses 110 to a target object according to a focus detection distance and performs an image pickup operation. The focus detection distance is determined by the auxiliary image detection unit 120 generated. More specifically, when the portable electronic device 110 performs a capturing operation (image capturing) on the target object, first guides the auxiliary capturing unit 120 a number of focusing operations on the target object with a plurality of focusing distances. A variety of image contrast values become faster by performing Imaging operations on the target object generated at different focus distances. The image contrast values corresponding respectively to the focusing distances included in the focusing operations performed by the auxiliary imaging unit 120 is executed were used. By analyzing the image contrast values, the image capture device of the portable electronic device 100 select a maximum value among the image contrast values, and selects the focusing distance corresponding to the highest of the image contrast values to be used as the focus detection distance.
Dementsprechend kann die Hauptbilderfassungseinheit 110 gemäß der Fokussierungserfassungsabstand direkt eine Linse bewegen, und führt den Bilderfassungsvorgang auf dem Zielobjekt aus. Mit anderen Worten kann die Hauptbilderfassungseinheit 110 den Fokussierungsvorgang ohne wiederholtes Bewegen der Linse zum Finden eines optimalen Fokusabstand ausführen, so dass Zeit, die die Hauptbilderfassungseinheit 110 normalerweise zum Durchführen des Fokussierungsvorgangs benötigt, eingespart werden.Accordingly, the main image capture unit 110 directly move a lens according to the focus detection distance, and performs the image capturing operation on the target object. In other words, the main image capture unit 110 perform the focusing operation without repeatedly moving the lens to find an optimum focus distance, so that time that the main imaging unit 110 normally needed to perform the focusing operation.
Es ist zu beachten, dass die Hauptbilderfassungseinheit 110, wie sie in der vorliegenden Ausführungsform angeordnet ist, eine hochauflösende Bilderfassungseinheit ist, während die Hilfsbilderfassungseinheit 120 eine niedrigauflösende Bilderfassungseinheit ist. Mit anderen Worten, die Geschwindigkeit für das Erhalten der Bildkontrastwerte, die den Fokussierungsabständen entsprechen, durch Verwendung der Hilfsbilderfassungseinheit 120 ist viel höher als die Geschwindigkeit für das Erhalten derselben unter Verwendung der Hauptbilderfassungseinheit 110. In der vorliegenden Ausführungsform ist Geschwindigkeit zum Durchführen des Fokussierungsvorgangs mit der Hilfsbilderfassungseinheit 120 mindestens 8-mal die Geschwindigkeit zum Durchführen der Fokussierungsvorgangs durch die Hauptbilderfassungseinheit 110.It should be noted that the main image capture unit 110 as arranged in the present embodiment is a high-resolution image capture unit while the auxiliary image capture unit 120 is a low-resolution image capture unit. In other words, the speed for obtaining the image contrast values corresponding to the focusing distances by using the auxiliary image acquiring unit 120 is much higher than the speed for obtaining the same using the main image capturing unit 110 , In the present embodiment, speed for performing the focusing operation with the auxiliary image detection unit 120 at least 8 times the speed for performing the focusing operation by the main imaging unit 110 ,
Im Folgenden wird auf 2 Bezug genommen, 2 ist eine schematische Ansicht, die eine Bildaufnahmevorrichtung 200 gemäß einer Ausführungsform der Erfindung darstellt. Die Bildaufnahmevorrichtung 200 umfasst eine Hauptbilderfassungseinheit 210, einen Hilfsbilderfassungseinheit 220 und eine Steuerung 230. Der Hilfsbilderfassungseinheit 210 und die Hauptbilderfassungseinheit 220 sind mit der Steuerung 230 verbunden. Wenn die Bildaufnahmevorrichtung 200 einen Bildaufnahmevorgang ausführt, führt zuerst die Hilfsbilderfassungseinheit 220 unter der Kontrolle der Steuerung 230 sequentiell eine Mehrzahl von Fokussierungsvorgängen auf einem Zielobjekt jeweils entsprechend einer Vielzahl von Fokussierungsabständen durch. Die Fokussierungsabstände können nacheinander aufsteigend oder nacheinander absteigend sein, basierend auf einer Reihenfolge der Fokussierungsvorgänge. Ferner führt die Hilfsbilderfassungseinheit 220 den Bildaufnahmevorgang auf dem Zielobjekt unter Verwendung verschiedener Fokussierungsabständen aus, und ein aufgenommenes Bild wird dann zu der Steuerung 230 zur Analyse übertragen. Die Steuerung 230 analysiert die Bildkontrastwerte von den empfangenen Bildern und findet einen Höchstwert unter den Bildkontrastwerten. Die Steuerung 230 wählt den jeweiligen Fokussierungsabstand, der dem Höchstwert aus den Bildkontrastwerten entspricht, so dass ein Fokussierungserfassungsabstand erhalten wird.The following will be on 2 Referenced, 2 is a schematic view showing an image pickup device 200 according to an embodiment of the invention. The image pickup device 200 includes a main image capture unit 210 , an auxiliary picture capturing unit 220 and a controller 230 , The auxiliary picture capturing unit 210 and the main image capture unit 220 are with the controller 230 connected. When the image pickup device 200 performs an image pickup operation, first guides the auxiliary image capture unit 220 under the control of the controller 230 sequentially performing a plurality of focusing operations on a target object respectively corresponding to a plurality of focusing distances. The focusing distances may be sequentially ascending or descending, based on an order of the focusing operations. Further, the auxiliary image capturing unit performs 220 the image pickup operation on the target object using different focus distances, and a captured image then becomes the controller 230 for analysis. The control 230 analyzes the image contrast values from the received images and finds a maximum value below the image contrast values. The control 230 selects the respective focusing distance corresponding to the maximum value of the image contrast values, so that a focus detection distance is obtained.
Auf der Grundlage, dass sich die Anordnungspositionen der Hauptbilderfassungseinheit 210 und der Hilfsbilderfassungseinheit 220 voneinander unterscheiden, führt die Steuerung 230 eine Konvertierung gemäß dem Fokussierungserfassungsabstand durch, und ein Hauptfokussierungsabstand wird entsprechend erzeugt. Der Hauptfokussierungsabstand kann direkt für die Hauptbilderfassungseinheit 210 vorgesehen sein, um den Fokussierungsvorgang durchzuführen. Dabei kann die Steuerung 230 die Umwandlung des Fokussierungserfassungsabstands und des Hauptfokussierungsabstands durch Verwendung einer Beziehung zwischen einem Abstand der Hauptbilderfassungseinheit 210 zu dem Zielobjekt und den Abstand von der Hilfsbilderfassungseinheit 220 zu dem Zielobjekt durchzuführen. Die oben erwähnte Beziehung zwischen den Abständen kann von einem Entwickler erhalten werden, indem praktische Messungen mit der Bilderfassungsvorrichtung 200 durchgeführt werden. Dateninhalte der Beziehung können in einer Nachschlagetabelle implementiert und in einem Speicher gespeichert werden.On the basis that the arrangement positions of the main image acquisition unit 210 and the auxiliary image capturing unit 220 differ from each other, the controller performs 230 a conversion according to the focus detection distance, and a main focusing distance is generated accordingly. The main focusing distance can be directly for the main image acquisition unit 210 be provided to perform the focusing operation. In doing so, the controller 230 the conversion of the focus detection distance and the main focus distance by using a relationship between a distance of the main imaging unit 210 to the target object and the distance from the auxiliary image capturing unit 220 to perform the target object. The above-mentioned relationship between the distances can be obtained from a developer by making practical measurements with the image sensing device 200 be performed. Data contents of the relationship may be implemented in a look-up table and stored in memory.
Darüber hinaus kann die Hauptbilderfassungseinheit 210 einen Hauptbildsensorchip beinhalten und die Hilfsbildbilderfassungseinheit 220 kann einen Hilfsbildsensorchip enthalten. Das Format des Hauptbildsensorchips 210 ist größer als das Format des Hilfsbildsensorchips 220.In addition, the main image capture unit 210 include a main image sensor chip and the auxiliary image image acquisition unit 220 may include an auxiliary image sensor chip. The format of the main image sensor chip 210 is larger than the format of the auxiliary image sensor chip 220 ,
Im Folgenden wird auf die 2, 3A und 3B Bezug genommen. 3A ist eine schematische Ansicht, die eine Ausführung der Fokussierungserfassungsabstand gemäß einer Ausführungsform der Erfindung zeigt, und 3B ist eine schematische Ansicht, die eine Ausführung einer Umwandlung zwischen dem Fokussierungserfassungsabstand und dem Hauptfokussierungsabstand zeigt. In 3A führt die Hilfsbilderfassungseinheit 220 einen Bildaufnahmevorgang auf dem Zielobjekt entsprechend einer Vielzahl von ansteigenden Fokussierungsabständen d0~d1~d2 durch, um eine Vielzahl von Bildkontrastwerte zu erhalten. Ferner steigen entsprechend zu den Fokussierungsabständen d0~d1 die Bildkontrastwerte, während die Fokusentfernung zunimmt; und in Übereinstimmung mit den Fokussierungsabständen d1~d2 sind die Bildkontrastwerte absteigend sobald der Fokussierungsabstand weiter zunimmt. Mit anderen Worten, da der Bildkontrastwert entsprechend des Fokussierungsabstands d1 den höchste Wert hat, kann die Steuerung 230 den Fokussierungsabstand d1 auswählen, um der Fokussierungserfassungsabstand zu sein.The following is on the 2 . 3A and 3B Referenced. 3A FIG. 12 is a schematic view showing an embodiment of the focus detection distance according to an embodiment of the invention; and FIG 3B Fig. 12 is a schematic view showing an embodiment of conversion between the focus detection distance and the main focusing distance. In 3A guides the auxiliary picture capturing unit 220 performs an image pickup operation on the target object in accordance with a plurality of increasing focus distances d0~d1~d2 to obtain a plurality of image contrast values. Further, according to the focusing distances d0~d1, the image contrast values increase while the Focus removal increases; and in accordance with the focusing distances d1~d2, the image contrast values decrease as the focusing distance further increases. In other words, since the image contrast value corresponding to the focusing distance d1 has the highest value, the controller can 230 select the focusing distance d1 to be the focus detection distance.
In Anbetracht von 3A, kann es bekannt sein, dass für die Hilfsbilderfassungseinheit 230 nicht den Fokussierungsvorgang und den Bildaufnahmevorgang für alle Fokussierungsabstände d0~d2 durchzuführen durchführen muss. Während der Fokussierungsvorgang und der Bildaufnahmevorgang durch die Hilfsbilderfassungseinheit 220 durchgeführt wird, kann die Steuerung 230 eine Veränderungsentwicklung in Bezug auf das Steigen und Fallen der Bildkontrastwerte bestimmen. Wenn die Veränderungsentwicklung der Bildkontrastwerte sich von steigend zu fallend verändert, kann die Steuerung 230 dann den Fokussierungsabstand entsprechend des höchsten unter den Bildkontrastwerten wählen.In view of 3A , it may be known that for the auxiliary image capture unit 230 does not have to perform the focusing operation and the image pickup operation for all focus distances d0 ~ d2. During the focusing operation and the image pickup operation by the auxiliary image detection unit 220 is performed, the controller can 230 determine a change in development with respect to the rise and fall of the image contrast values. As the change in image contrast values changes from increasing to decreasing, the controller can 230 then choose the focusing distance corresponding to the highest among the image contrast values.
Zusätzlich stellen in 3B die Kurven 310 und 320 ein Beziehungsdiagramm zwischen den Bewegungsabständen eines Hilfsstellglieds und eines Hauptstellglieds bei unterschiedlichen Objektabständen dar. Darin führt die Hilfsbilderfassungseinheit 220 den Fokussierungsvorgang durch eine Bewegung des Hilfsstellglieds durch und die Hauptbilderfassungseinheit 210 führt den Fokussierungsvorgang durch eine Bewegung des Hauptstellglieds durch. Im Hinblick auf 3B ist es bekannt, dass für den Fall, dass der Objektabstand gleich einem Abstand dA ist, und wenn das Hilfsstellglied sich für eine Fokussierungsabstands d1 gleich dem Fokussierungserfassungsabstand bewegt, ist der Hauptfokussierungsabstand von dem Hauptstellglied, das entsprechend bewegt wird, ein Fokussierungsabstand dM.In addition, put in 3B the curves 310 and 320 a relationship diagram between the movement distances of an auxiliary actuator and a main actuator at different object distances. In it, the auxiliary image detection unit leads 220 the focusing operation by a movement of the auxiliary actuator by and the main image detection unit 210 performs the focusing operation by a movement of the main actuator. With regard 3B For example, in the case where the object distance is equal to a distance dA, and when the auxiliary actuator moves equal to the focus detection distance for a focusing distance d1, it is known that the main focusing distance from the main actuator which is correspondingly moved is a focusing distance dM.
Im folgenden wird auf 4 Bezug genommen, 4 ist eine schematische Ansicht einer Bildaufnahmevorrichtung 400 gemäß einer anderen Ausführungsform der Erfindung. Die Bildaufnahmevorrichtung 400 umfasst eine Hauptbilderfassungseinheit 410, eine Hilfsbilderfassungseinheit 430, eine Steuerung 440 und eine Nachschlagetabelle 440. Die Hauptbilderfassungseinheit 410 weist ein Hauptstellglied 411 auf und die Hilfsbilderfassungseinheit 420 weist ein Hilfsstellglied 421 auf. Das Hauptstellglied 411 und das Hilfsstellglied 412 sind mit der Steuerung 430 verbunden und bewegen sich übereinstimmend zu den Befehlen, die von der Steuerung 430 übertragen werden, um so die Hauptbilderfassungseinheit 410 und die Hilfsbilderfassungseinheit 420 dazu zu bringen, den Fokussierungsvorgang durchzuführen. Die Nachschlagtabelle 440 ist mit der Steuerung 430 verbunden und die Nachschlagtabelle 440 kann Informationen über eine Beziehung zwischen den Kurven 310 und 320 aufnehmen, wie in 3B beschrieben.The following will be on 4 Referenced, 4 Fig. 10 is a schematic view of an image pickup device 400 according to another embodiment of the invention. The image pickup device 400 includes a main image capture unit 410 , an auxiliary picture capturing unit 430 , a controller 440 and a lookup table 440 , The main image capture unit 410 has a main actuator 411 on and the auxiliary picture capturing unit 420 has an auxiliary actuator 421 on. The main actuator 411 and the auxiliary actuator 412 are with the controller 430 connected and move in accordance with the commands issued by the controller 430 so as to transmit the main picture capturing unit 410 and the auxiliary image capturing unit 420 to make the focusing operation. The lookup table 440 is with the controller 430 connected and the lookup table 440 can provide information about a relationship between the curves 310 and 320 record as in 3B described.
Bei der vorliegenden Ausführungsform kann das Hauptstellglied 411 und das Hilfsstellglied 412 ein Schwingspulenmotor (VCM), ein Schrittmotor oder Motoren in verschiedenen Typen sein. Der Schwingspulenmotor ist eine Vorrichtung zum Umwandeln einer elektrischen Energie in mechanische Energie während der Realisierung einer Linearbewegung und einer Bewegung mit begrenztem Schwenkwinkel. Der Schwingspulenmotor erzeugt eine normale Bewegung durch Verwendung einer gegenseitigen Wirkung von Magnetpolen zwischen einem Magnetfeld von einem Dauermagnetstahl und einem magnetischen Feld, das durch leitende Spulenleitern erzeugt wird. Da der Schwingspulenmotor eine nicht-kommutierte Vorrichtung ist, ist seine Positioniergenauigkeit vollständig von einem Steuersystem des Schwingspulenmotors abhängig. Der Schrittmotor ist ein Motor mit Statoren und Rotoren, die als Räder projiziert sind, die ineinander greifen, und graduell in einem bestimmten Drehwinkel durch Umschalten eines Stromflusses in einer Statorspule rotieren. Der Schrittmotor kann Ansteuerungsvorgänge des Stroms durch ein Impulssignal wechseln, ohne einen Erfassungsvorgang der Positionen und Geschwindigkeiten der Rotoren durchzuführen. Somit kann sich der Schrittmotor genau und proportional entsprechend dem Impulssignal, das empfangen wird, drehen, um eine Position und eine Geschwindigkeit desselben genau zu steuern, wodurch eine bessere Stabilität bereitgestellt wird.In the present embodiment, the main actuator 411 and the auxiliary actuator 412 a voice coil motor (VCM), a stepper motor or motors of different types. The voice coil motor is a device for converting an electrical energy into mechanical energy during the realization of a linear movement and a movement with a limited tilt angle. The voice coil motor generates a normal motion by using a mutual action of magnetic poles between a magnetic field from a permanent magnet steel and a magnetic field generated by conductive coil conductors. Since the voice coil motor is a non-commutated device, its positioning accuracy is completely dependent on a voice coil motor control system. The stepping motor is a motor having stators and rotors projected as wheels that mesh with each other and gradually rotating at a certain rotation angle by switching a current flow in a stator coil. The stepping motor can change driving operations of the current by a pulse signal without performing a detecting operation of the positions and speeds of the rotors. Thus, the stepping motor can accurately and proportionally rotate according to the pulse signal that is received to accurately control a position and a speed thereof, thereby providing better stability.
Bei einer Implementierung der Nachschlagetabelle 440 kann die Nachschlagtabelle 440 unter Verwendung eines nicht-flüchtigen Speicherbausteins ausgebildet sein, so dass die Beziehung der Kurven 310 und 320 wie in 3B digitalisiert werden, so dass digitalisierte Werte dann in die Nachschlagtabelle 440 geschrieben werden können.In an implementation of the lookup table 440 can the lookup table 440 be formed using a non-volatile memory device, so that the relationship of the curves 310 and 320 as in 3B be digitized, so digitized values are then added to the lookup table 440 can be written.
Abgesehen davon, dass sie außerhalb der Steuerung 430 angeordnet ist, um mit Steuerung 430 verbunden zu werden, kann die Nachschlagetabelle 440 auch in der Steuerung 430 eingebettet sein kann. Zusammenfassend soll eine Position der Nachschlagetabelle 440 nicht beschränkt sein.Apart from being outside the controller 430 is arranged to with control 430 The lookup table can be linked 440 also in the controller 430 can be embedded. In summary, a position of the lookup table 440 not be limited.
Im Folgenden wird auf auf die 5A und 5B Bezug genommen, 5A und 5B sind schematische Ansichten, die einen Abdeckungsstatus von Bereichen der Bildaufnahmevorrichtung gemäß einer Ausführungsform der Erfindung zeigen. Gemäß 5A sind Sichtbereiche einer Hauptbilderfassungseinheit 510 und einer Hilfsbilderfassungseinheit 520 mit einen Objektabstand dA jeweils RA1 und RA2; und Sichtbereiche der Hauptbilderfassungseinheit 510 und der Hilfsbilderfassungseinheit 520 mit einen Objektabstand dB sind jeweils RB1 und RB2. Es ist deutlich aus 5B zu entnehmen, dass die Sichtbereich RB1 und RB2 der Hilfsbilderfassungseinheit 520 jeweils den gezeigten Bereich RA1 und RA2 der Hilfsbilderfassungseinheit 510 abdecken. Natürlich, kann in anderen Ausführungsformen der Erfindung der Sichtbereich der Hilfsbilderfassungseinheit 520 auch etwas kleiner als der Sichtbereich des Hauptbilderfassungseinheit 510 sein.The following will be on the 5A and 5B Referenced, 5A and 5B 10 are schematic views showing a coverage status of areas of the image pickup apparatus according to an embodiment of the invention. According to 5A are viewing areas of a main image capture unit 510 and an auxiliary image capturing unit 520 with an object distance dA, RA1 and RA2, respectively; and viewing areas of the main image capture unit 510 and the auxiliary image capturing unit 520 with an object distance dB are respectively RB1 and RB2. It is clearly out 5B can be seen that the field of view RB1 and RB2 of the auxiliary image acquisition unit 520 respectively the shown area RA1 and RA2 of the auxiliary image acquisition unit 510 cover. Of course, in other embodiments of the invention, the field of view of the auxiliary imaging unit 520 also slightly smaller than the field of view of the main image capture unit 510 be.
Im Folgenden wird auf 6 Bezug genommen, 6 zeigt ein Flussdiagramm, das ein Verfahren zum Fokussieren der Bildaufnahmevorrichtung gemäß einer Ausführungsform der Erfindung zeigt. In Schritt S610 wird die Hilfsbilderfassungseinheit vorgesehen, um eine Mehrzahl von Fokussierungsvorgängen auf dem Zielobjekt entsprechend einer Mehrzahl von Fokussierungsabständen durchzuführen und um eine Vielzahl von Bildkontrastwerten zu erzeugen. Als nächstes wird in Schritt S620 einer der Fokussierungsabstände gewählt, um der Fokussierungserfassungsabstand entsprechend der Bildkontrastwerte zu sein. Als nächstes wird in Schritt S630 eine Hauptbilderfassungseinheit vorgesehen, um einen Bildaufnahmevorgang auf dem Zielobjekt entsprechend des Fokussierungserfassungsabstand durchzuführen.The following will be on 6 Referenced, 6 FIG. 12 is a flow chart showing a method of focusing the image pickup device according to an embodiment of the invention. FIG. In step S610, the auxiliary image detection unit is provided to perform a plurality of focusing operations on the target object corresponding to a plurality of focusing distances and to generate a plurality of image contrast values. Next, in step S620, one of the focus distances is selected to be the focus detection distance corresponding to the image contrast values. Next, in step S630, a main image acquisition unit is provided to perform an image pickup operation on the target object in accordance with the focus detection distance.
Zusätzlich zum Zuweisen eines Teils des Zielobjekts, kann ein Benutzer das Zielobjekt zum Fokussiert, durch Benutzung eines Berührungsverfahrens auf einem Displayrahmen, der auf dem Bildschirm des tragbaren elektronischen Geräts angezeigt wird, auswählen. Oder die tragbare elektronische Vorrichtung kann einen Flächenbereich einer Person im gezeigten Bereich durch Verwendung einer Gesichtserkennungstechnologie erkennen, um so die Fokussierung auf den Flächenbereich der Person, die als Zielobjekt dient, durchzuführen. Selbstverständlich kann die tragbare elektronische Vorrichtung auch das für die Ausführungsformen der Erfindung passend Zielobjekt durch die Nutzung anderen Methoden auswählen.In addition to assigning a part of the target object, a user may select the target object to be focused by using a touch method on a display frame displayed on the screen of the portable electronic device. Or, the portable electronic device can recognize a surface area of a person in the area shown by using a face recognition technology so as to perform focusing on the area of the person serving as a target object. Of course, the portable electronic device may also select the appropriate target for the embodiments of the invention by using other methods.
Relevante Implementierungsdetails für die oben genannten Schritte wurde in den vorhergehenden Ausführungsformen und Implementierungen beschrieben, so dass sie im Folgenden weggelassen werden.Relevant implementation details for the above steps have been described in the previous embodiments and implementations so that they will be omitted hereafter.
Im Folgenden wird auf 7 Bezug genommen, 7 ist eine schematische Ansicht, die eine Bildaufnahmevorrichtung 700 gemäß einer Ausführungsform der Erfindung zeigt. Die Bildaufnahmevorrichtung 700 beinhaltet Bilderfassungseinheiten 710 und 720 und eine Steuerung 730. Die Bilderfassungseinheiten 710 und 720 sind mit der Steuerung 730 verbunden. Ferner kann die Bilderfassungseinheit 710 einen Bildaufnahmevorgang entsprechend einer Vielzahl von Brennweiten ausführen, um jeweils eine Vielzahl von Zoom-Bildern zu erhalten. Die zweite Bilderfassungseinheit 720 kann einen Bildaufnahmevorgang übereinstimmend mit einer Brennweite durchführen, um ein Fixfokus-Bild zu erhalten. Es sollte beachtet werden, dass die Brennweiten die von der Bilderfassungseinheit 710 verwendet werden, entsprechend einer Vielzahl von Objekten mit unterschiedlichen Tiefeschärfen in dem Bild erzeugt werden können, oder ein Satz von vorbestimmten Werten sein können. Im Folgenden wird auf 7, 8A bis 8B Bezug genommen, 8A ist eine schematische Ansicht, die ein zu erfassendes Bild zeigt und 8B ist eine schematische Ansicht, die eine Vielzahl von Zoom-Bildern zeigt. In einem Bild 800, das erfasst werden soll, sind Objekte B1 bis B3 mit unterschiedlichen Tiefenschärfen enthalten. Das Objekt B1 mit einem kleinen Blumenmuster hat die kleinste Tiefenschärfe, das Objekt B2 mit einem menschlichen Muster hat die Tiefenschärfe, die etwas größer ist als die des Objekts B1, und das Objekts B3 diente als Hintergrund, einschließlich eines Berg und einer Sonne, dessen Tiefenschärfe relativ größer ist.The following will be on 7 Referenced, 7 is a schematic view showing an image pickup device 700 according to an embodiment of the invention. The image pickup device 700 includes image capture units 710 and 720 and a controller 730 , The image capture units 710 and 720 are with the controller 730 connected. Furthermore, the image capture unit 710 perform an image pickup operation corresponding to a plurality of focal lengths to obtain a plurality of zoom images, respectively. The second image capture unit 720 can perform an image pickup operation in accordance with a focal length to obtain a fixed focus image. It should be noted that the focal lengths are those of the image acquisition unit 710 may be generated corresponding to a plurality of objects having different depth shots in the image, or may be a set of predetermined values. The following will be on 7 . 8A to 8B Referenced, 8A is a schematic view showing an image to be captured and 8B Fig. 16 is a schematic view showing a plurality of zoom images. In a picture 800 to be detected are included objects B1 to B3 with different depth of field. The object B1 with a small flower pattern has the smallest depth of field, the object B2 with a human pattern has the depth of field slightly larger than that of the object B1, and the object B3 served as a background including a mountain and a sun whose depth of focus is relatively larger.
Wenn die Bilderfassungseinheit 710 den Bildaufnahmevorgang des Bildes 800 durchführt, kann der Fokussierungsvorgang auf die Objekte B1 bis B3 entsprechend durchgeführt werden, um eine Vielzahl von Brennweiten und eine Vielzahl von Zoom-Bilder 821 bis 823 zu diesen unterschiedlichen Brennweiten erfassen zu können. Das Zoom-Bild 821 wird durch die Bilddaten von der Bilderfassungseinheit 710 erhalten, gemäß einer Brennweite die relativ weiter ist, wobei die Brennweite durch die Fokussierung auf das Objekt B3, das als Hintergrund diente, einschließlich dem Berg und der Sonne, erhalten wird, und das Objekt B3 mit dem Berg und der Sonne ist ein Objekt, das relativ heller/klarer ist. Das Zoom-Bild 822 wird durch die Bilddaten von der Bilderfassungseinheit 710 gemäß einer Brennweite erhalten, die relativ näher ist, wobei die Brennweite durch die Fokussierung auf das Objekt B2 mit dem menschlichen Muster erhalten wird, und das Objekt B2 mit dem menschlichen Muster ist ein Objekt, das relativ heller/klarer ist. Das Zoom-Bild 823 wird durch die Bilddaten von der Bilderfassungseinheit 710 gemäß der Brennweite erhalten, die am nächsten liegt, wobei die Brennweite durch die Fokussierung auf das Objekt B1 mit dem kleinen Blumenmuster erhalten wird, und das Objekt B1 mit dem menschlichen Muster ist ein Objekt, das relativ klarer/heller ist.If the image capture unit 710 the image recording process of the image 800 The focusing operation on the objects B1 to B3 may be performed in accordance with a plurality of focal lengths and a plurality of zoom images 821 to 823 to capture these different focal lengths. The zoom picture 821 is through the image data from the image capture unit 710 according to a focal length which is relatively wider, the focal length being obtained by focusing on the object B3 serving as a background, including the mountain and the sun, and the object B3 with the mountain and the sun being an object, that is relatively brighter / clearer. The zoom picture 822 is through the image data from the image capture unit 710 according to a focal length which is relatively closer, the focal length being obtained by focusing on the object B2 with the human pattern, and the object B2 with the human pattern being an object which is relatively brighter / clearer. The zoom picture 823 is through the image data from the image capture unit 710 is obtained in accordance with the focal distance closest to the focal length obtained by focusing on the object B1 having the small flower pattern, and the object B1 having the human pattern is an object which is relatively clearer / brighter.
Andererseits führt die Bilderfassungseinheit 720 den Bildaufnahmevorgang des Bildes 800 mit einer festen Brennweite aus, um ein Fixfokus-Bild zu erhalten, und eine Bildauflösung der Bilderfassungseinheits 720 kann geringer sein, als eine Bildauflösung der Bilderfassungseinheit 710. Und die Steuerung 730 empfängt die Zoom-Bilder 821 bis 823 von der Bilderfassungseinheit 710 und das Fixfokus-Bild, das von der Bilderfassungseinheit 720 erhalten wird, und berechnet dann eine Vielzahl von Tiefenschärfeinformation des Bildes 800 entsprechend den Zoom-Bildern 821 bis 823 und dem Fixfokus-Bild.On the other hand, the image capture unit performs 720 the image recording process of the image 800 with a fixed focal length to obtain a fixed focus image and an image resolution of the image acquisition unit 720 may be lower than an image resolution of the image capture unit 710 , And the controller 730 receives the zoom images 821 to 823 from the image capture unit 710 and the fixed focus image taken by the image capture unit 720 receive and then calculates a plurality of depth-of-field information of the image 800 according to the zoom pictures 821 to 823 and the fixed focus image.
Als Implementierungsdetails für den Erhalt der Tiefenschärfeinformation kann die Steuerung 830 eine Bildverarbeitung in Bezug auf die Zoom-Bildern 821 bis 823 durchführen, und jeweils klare Objektbilder aus den klaren Objekte B3 bis B1 darin erfassen. Bei einer Realisierung der vorliegenden Ausführung kann die Steuerung 830 einen Bild-Misch-Vorgang auf die erhaltene klare Objektbildern durchführen, um so ein vollständiges klares Objektbild zu erzeugen. Dann führt die Steuerung 830 eine Berechnung mit Hilfe des vollständigen klaren Objektbilds zusammen mit den Zoom-Bildern aus, um so die Tiefenschärfeinformation des Bildes 800 zu erhalten.As an implementation detail for obtaining the depth of field information, the controller may 830 an image processing with respect to the zoom images 821 to 823 and respectively capture clear object images from the clear objects B3 to B1 therein. In one implementation of the present embodiment, the controller may 830 perform an image blending operation on the obtained clear object images so as to produce a complete clear object image. Then the controller performs 830 a calculation using the complete clear object image together with the zoom images so as to obtain the depth-of-focus information of the image 800 to obtain.
In einer weiteren Implementierung der vorliegenden Ausführungsform kann die Steuerung 830 jeweils die Berechnung für die Tiefenschärfeinformation durch die Verwendung von Zoom-Bildern 821 bis 823 zusammen mit der Fixfokus-Bild ausführen, um so die Tiefenschärfeinformation des Bildes 800 zu erhalten.In another implementation of the present embodiment, the controller may 830 in each case the calculation for the depth of focus information by the use of zoom images 821 to 823 run along with the fixed focus image so the depth of field detail of the image 800 to obtain.
In anderen Ausführungsformen der Erfindung, können die Bilderfassungseinheiten 710 und 720 auch Bilderfassungseinheiten mit ähnlichen Auflösungen sein. Und die Bilderfassungseinheiten 710 und 720 führen jeweils die Bildaufnahmevorgänge für das Bild 800 gemäß einer Vielzahl von Brennweiten aus, um jeweils eine Vielzahl von Zoom-Bilder zu erhalten. Im Folgenden wird auf 7 und 9 zusammen Bezug genommen, 9 ist eine schematische Darstellung der Zoom-Bilder gemäß einer Ausführungsform der Erfindung.In other embodiments of the invention, the image capture units 710 and 720 also be image capture units with similar resolutions. And the image capture units 710 and 720 each perform the image acquisition operations for the image 800 according to a plurality of focal lengths to obtain a plurality of zoom images, respectively. The following will be on 7 and 9 taken together, 9 FIG. 13 is a schematic diagram of the zoom images according to an embodiment of the invention. FIG.
In der 9, werden klare Objektbilder 911 bis 913 durch die Bilderfassungseinheit 710 nach der Durchführung des Bildaufnahmevorgangs des Bildes 800 mit den jeweiligen Brennweiten erhalten, wobei klare Objektbilder 921 bis 923 durch die Bilderfassungseinheit 720 nach der Durchführung des Bildaufnahmevorgangs mit dem Bild 800 jeweils entsprechend der Brennweite erhalten werden. Die klaren Objektbilder 911 und 921 sind Bilddaten, die durch die Fokussierung auf das Objekt B3 erhaltenen werden; die klaren Objektbilder 912 und 922 sind Bilddaten, die durch die Fokussierung auf das Objekt B2 erhalten werden; und die klaren Objektbilder 913 und 923 sind Bilddaten, die durch die Fokussierung auf das Objekt B1 erhaltenen werden. Es sollte beachtet werden, dass die Brennweiten die von der Bilderfassungseinheit 710 und der Bilderfassungseinheit 720, die während des Bildaufnahmevorgangs des gleichen Objekts verwendet werden, im Wesentlichen dieselben sein.In the 9 , become clear object images 911 to 913 through the image capture unit 710 after performing the image pickup operation of the image 800 obtained with the respective focal lengths, with clear object images 921 to 923 through the image capture unit 720 after performing the image pickup operation with the image 800 each be obtained according to the focal length. The clear object images 911 and 921 are image data obtained by focusing on the object B3; the clear object pictures 912 and 922 are image data obtained by focusing on the object B2; and the clear object images 913 and 923 are image data obtained by focusing on the object B1. It should be noted that the focal lengths are those of the image acquisition unit 710 and the image capture unit 720 that are used during the image pickup operation of the same object should be substantially the same.
Dabei kann die Steuerung 730 eine Tiefenschärfeinformation der klaren Objektbilder 911 und 921 berechnen, eine andere Tiefenschärfeinformationen der klaren Objektbilder 912 und 922 berechnen, und noch eine weitere Tiefenschärfeinformation der klaren Objektbilder 913 und 923 berechnen. Oder, wie in einer weiteren Implementierung, die Steuerung 730 kann auch die klaren Objektbilder 911 bis 913 zu einem klaren Bildobjekt zusammenführen, und die klaren Objektbilder 921 bis 923 in einem anderen klaren Objektbild zusammenführen. Der Steuerung 730 kann dann die Tiefenschärfeinformation nach den zwei klaren Bildobjektbildern berechnen.In doing so, the controller 730 a depth of field information of the clear object images 911 and 921 calculate another depth of field information of the clear object images 912 and 922 calculate, and still another depth of field information of the clear object images 913 and 923 to calculate. Or, as in another implementation, the controller 730 can also clear the object images 911 to 913 to merge a clear image object, and the clear object images 921 to 923 merge into another clear object image. The controller 730 can then calculate the depth of focus information according to the two clear image object images.
Im Folgenden wird auf 10 Bezug genommen, 10 ist eine schematische Ansicht, die eine Implementierung zur Berechnung der Tiefenschärfeinformation nach einer Ausführungsform der Erfindung zeigt. In 10 werden Bilderfassungseinheiten 1011 und 1012 auf einer Bildaufnahmevorrichtung 1000 angeordnet. Die Bildaufnahmevorrichtung 1000 kann auf einer tragbaren elektronischen Vorrichtung (z. B. ein Mobiltelefon) angeordnet sein. Hierbei ist ein Abstand d zwischen dem Bilderfassungseinheit 1011 und 1012, und der Fokussierungsvorgang wird auf ein Objekt OBJ ausgeführt, um den Bildaufnahmevorgang durchzuführen. Und der Abstand zwischen der Bildaufnahmevorrichtung 1000 und dem Objekt OBJ ist D, und ein Disparitätswinkel erzeugt zwischen den Bilderfassungseinheiten 1011 und 1012 und dem Objekt OBJ ist A. Dementsprechend wird eine Tiefenschärfeinformation DEPTH des Objekts OBJ durch eine Gleichung im Folgenden dargestellt:The following will be on 10 Referenced, 10 Fig. 12 is a schematic view showing an implementation for calculating depth-of-field information according to an embodiment of the invention. In 10 become image capture units 1011 and 1012 on an image pickup device 1000 arranged. The image pickup device 1000 may be located on a portable electronic device (eg, a mobile phone). Here is a distance d between the image acquisition unit 1011 and 1012 , and the focusing operation is performed on an object OBJ to perform the image pickup operation. And the distance between the image capture device 1000 and the object OBJ is D, and a disparity angle is generated between the image capturing units 1011 and 1012 and the object OBJ is A. Accordingly, a depth of field information DEPTH of the object OBJ is represented by an equation below:
Es sei darauf hingewiesen, dass, wenn die Bildaufnahmevorrichtung 1000 in der tragbaren elektronischen Vorrichtung angepasst ist, so kann der Abstand d zwischen den Bilderfassungseinheiten 1011 und 1012 nicht mehr als 7 cm betragen.It should be noted that when the image pickup device 1000 is adapted in the portable electronic device, so the distance d between the image capture units 1011 and 1012 not more than 7 cm.
Darüber hinaus ist es zu beachten, dass die Bilderfassungseinheit 1011 und 1012 parallel auf der Bildaufnahmevorrichtung 1000 angeordnet sein können, und den Bildaufnahmevorgang auf das Objekt OBJ jeweils nach verschiedenen Brennweiten durchführen können. Dementsprechend können Bilder die jeweils durch Bilderfassungseinheit 1011 und 1012 erfasst werden, als Stereopsis oder Video für das Objekt OBJ verwendet werden, und genannte Bilder können durch einen Bildsynchronisierer in der Bildaufnahmevorrichtung 1000 zusammengefügt werden, um ein überlagertes Bild zu erzeugen. Die Bildaufnahmevorrichtung 1000 kann auch einen Bildeinsteller zum Ausfiltern einer Bilddämpfung in dem Mischbild beinhalten, um ein justiertes Bild zu erzeugen.In addition, it should be noted that the image capture unit 1011 and 1012 parallel on the image pickup device 1000 can be arranged, and can perform the image pickup operation on the object OBJ respectively for different focal lengths. Accordingly, images can each be captured by the image acquisition unit 1011 and 1012 may be detected as stereoopsis or video for the object OBJ, and said images may be captured by an image synchronizer in the image pickup device 1000 be merged to create a superimposed image. The image pickup device 1000 may also include an image adjuster for filtering out image attenuation in the composite image to produce an adjusted image.
Im Folgenden wird auf 11 Bezug genommen, 11 zeigt eine Implementierung der Steuerung gemäß einer Ausführungsform der Erfindung. In der vorliegenden Ausführungsform umfasst eine Steuerung 1100 eine sekundäre Bildverarbeitungseinheit 1110 und eine primäre Bildverarbeitungseinheit 1120, einen Tiefenschärfeinformationsrechner 1130 und eine Tiefenschärfe-Abbildungs-Misch-Einheit 1140. Die Steuerung 1100 kann mit einem Speichergerät 1101 gekoppelt werden. Die sekundäre Bildverarbeitungseinheit 1110 und die primäre Bildverarbeitungseinheit 1120 sind mit dem Tiefenschärfeinformationsrechner 1130 verbunden. Die Bilderfassungseinheit, die mit der sekundären Bildverarbeitungseinheit 1110 gekoppelt ist, erfasst Bilddaten unter Verwendung eines Zoomverfahrens, und die sekundäre Bildverarbeitungseinheit 1110 verarbeitet eine Vielzahl von empfangenen Zoombildern, um jeweils eine Vielzahl von klaren Objektbilder in den Zoombildern zu erfassen. Die primäre Bildverarbeitungseinheit 1120 kann mit der Bilderfassungseinheit gekoppelt sein, die das Bild mit einer festen Brennweite erfasst, und kann auch auf dem Bilderfassungseinheit gekoppelt sein, die Bilddaten unter Verwendung der Zoomverfahren erfasst. Wenn die primäre Bildverarbeitungseinheit 1120 ein Fixtfokusbild empfängt, kann die primäre Bildverarbeitungseinheit 1120 eine Bildverarbeitung auf das Fixfokusbild durchführen, um ein verarbeitetes Fixfokusbild zu erzeugen. Auf der anderen Seite, wenn die primäre Bildverarbeitungseinheit 1120 die Zoom-Bilder empfängt, verarbeite die primäre Bildverarbeitungseinheit 112 die empfangenen Zoom-Bilder, um so jeweils zusätzliche klare Objektbilder zu erfassen.The following will be on 11 Referenced, 11 shows an implementation of the Control according to an embodiment of the invention. In the present embodiment, a controller includes 1100 a secondary image processing unit 1110 and a primary image processing unit 1120 , a depth of field information calculator 1130 and a depth of field picture mixing unit 1140 , The control 1100 can with a storage device 1101 be coupled. The secondary image processing unit 1110 and the primary image processing unit 1120 are with the depth of field information calculator 1130 connected. The image capture unit connected to the secondary image processing unit 1110 is coupled, captures image data using a zoom method, and the secondary image processing unit 1110 processes a plurality of received zoom images to respectively capture a plurality of clear object images in the zoom images. The primary image processing unit 1120 may be coupled to the image capture unit that captures the image with a fixed focal length, and may also be coupled to the image capture unit that captures image data using the zooming methods. If the primary image processing unit 1120 receives a fixed focus image, the primary image processing unit 1120 perform image processing on the fixed focus image to produce a processed fixed focus image. On the other hand, if the primary image processing unit 1120 the zoom images are received process the primary image processing unit 112 the received zoom images so as to capture additional clear object images.
Der Tiefenschärfeinformationsrecher 1130 kann die klaren Objektbilder empfangen, die durch die sekundären Bildverarbeitungseinheit 1110 erzeugt werden, und die verarbeiteten Fixfokus-Bilder, die von der primären Bildverarbeitungseinheit 1120 erzeugt werden, um so die Tiefenschärfeinformation zu berechnen. Oder der Tiefenschärfeinformationsrechner 1130 kann auch die klaren Objektbilder empfangen, die von der Sekundären- und Primären-Bildverarbeitungseinheiten 1110 und 1120 erzeugt werden, um so die Tiefenschärfeinformation zu berechnen. Die Tiefenschärfeinformation die durch den Tiefenschärfeinformationsrechner 1130 berechnet wurde, kann auf das Speichergerät 1101 zur Speicherung übertragen werden. Die Tiefenschärfe-Abbildungs-Misch-Einheit 1140 ist mit dem Speichergerät 1101 verbunden, und ist konfiguriert, um die Tiefenschärfeinformation aus dem Speichergerät 1101 zu lesen, die zu vermischen sind, zum Erzeugen der Tiefenschärfeabbildung DTH_MAP.The depth of field information searcher 1130 can receive the clear object images by the secondary image processing unit 1110 generated, and the processed fixed focus images taken by the primary image processing unit 1120 are generated so as to calculate the depth of focus information. Or the depth of field information calculator 1130 can also receive the clear object images from the secondary and primary image processing units 1110 and 1120 are generated so as to calculate the depth of focus information. The depth of field information obtained by the depth of field information calculator 1130 was calculated on the storage device 1101 be transferred for storage. The Selective Focus Picture Mixing Unit 1140 is with the storage device 1101 connected, and is configured to the depth of field information from the storage device 1101 to be merged, for generating the depth of field map DTH_MAP.
In einer weiteren Ausführungsform der Erfindung kann die sekundäre Bildverarbeitungseinheit 1110 einen Bildaufnahmevorgang auf eine Vielzahl von Teilbereichen durchführen, die eine Bildqualität haben, die höher als ein Schwellenwert in den Zoom-Bilder ist, um eine Vielzahl von Teilbereichsbilder zu erhalten. Die primäre Bildverarbeitungseinheit 1120 kann das Fixfokusbild verarbeiten, um das bearbeitete Fixfokusbild zu erzeugen. Der Tiefenschärfeinformationsrechner 1130 kann eine Vielzahl von Tiefenschärfeinformationen für die jeweiligen Teilbereichsbilder gemäß der erhaltenen Teilbereichsbilder und Fixfokusbild erzeugen. Dann kann die Tiefenschärfe-Abbildungs-Misch-Einheit 1140 die Tiefenschärfeabbildung DTH_MAP entsprechend erstellen.In a further embodiment of the invention, the secondary image processing unit 1110 perform an image pickup operation on a plurality of partial areas having an image quality higher than a threshold in the zoom images to obtain a plurality of partial area images. The primary image processing unit 1120 can process the fixed focus image to create the processed fixed focus image. The depth of field information calculator 1130 may generate a plurality of depth-of-field information for the respective sub-area images according to the obtained sub-area images and fixed-focus image. Then the Selective Focus Picture Mixing Unit 1140 Create the depth of field map DTH_MAP accordingly.
Es ist zu beachten, dass der Tiefenschärfeinformationsrechner 1130 ein gesamtes Bereichsbild entsprechend der Teilbereichsbilder erzeugen kann, und die Tiefenschärfeinformation aufgrund einer Bilddifferenz des gesamten Bereichsbilds und des verarbeitet Fixfokusbilds erzeugt.It should be noted that the depth of field information calculator 1130 can generate an entire area image corresponding to the area images, and generates the depth-of-field information due to an image difference of the entire area image and the processed fixed-focus image.
In noch einer anderen Ausführungsform der Erfindung, führt, falls die Bilderfassungseinheit jeweils an die sekundäre Bildverarbeitungseinheit 1110 und die primäre Bildverarbeitungseinheit 1120 gekoppelt ist, diese eine Vielzahl von Bildaufnahmevorgängen entsprechend einer Vielzahl von Brennweiten aus, und erhält entsprechend eine Vielzahl der ersten und zweiten Zoom-Bilder, wobei die sekundären Bildverarbeitungseinheit 1110 und die primären Bildverarbeitungseinheit 1110 als erste und zweite Bildverarbeitungseinheiten dienen. Dabei erfasst die erste Bildverarbeitungseinheit eine Mehrzahl von ersten Teilbereichsbildern mit einer Bildklarheit, die höher als ein erster Schwellenwert ist, in den ersten Zoom-Bildern, und die zweite Bildverarbeitungseinheit erfasst eine Vielzahl von zweiten Teilbereichsbildern mit einer Bildklarheit, die höher als ein Schwellenwert ist, in den zweiten Zoom-Bildern. Der Tiefenschärfeinformationsrechner 1130 erzeugt einen erstes Bereichsbild komplett und ein zweites Teilbereichsbild nach den ersten und den zweiten Teilbereichsbildern und erzeugt die Tiefenschärfeinformation nach dem ersten kompletten Bereichsbild und dem zweiten kompletten Bereichsbild.In still another embodiment of the invention, if the image capture unit respectively leads to the secondary image processing unit 1110 and the primary image processing unit 1120 coupled thereto, it receives a plurality of image pickup operations corresponding to a plurality of focal lengths, and receives a plurality of the first and second zoom images, respectively, wherein the secondary image processing unit 1110 and the primary image processing unit 1110 serve as first and second image processing units. Here, the first image processing unit acquires a plurality of first sub-area images having an image clarity higher than a first threshold in the first zoom images, and the second image processing unit detects a plurality of second sub-area images having an image clarity higher than a threshold value, in the second zoom pictures. The depth of field information calculator 1130 generates a first area image completely and a second area image after the first and second area images and generates the depth of field information after the first full area image and the second full area image.
Im Folgenden wird auf 12 und 13 Bezug genommen., 12 und 13 veranschaulichen jeweils ein Flussdiagramm zum Erhalten der Tiefenschärfeinformation gemäß zwei Ausführungsformen der Erfindung. Im Hinblick auf die 12 wird in Schritt S1201 ein Bildaufnahmevorgang durch eine erste Bilderfassungseinheit durchgeführt, um eine Vielzahl von Zoom-Bildern gemäß einer Vielzahl von Brennweiten zu erhalten, und im Schritt S1202 wird ein Bildaufnahmevorgang mit einer zweiten Bilderfassungseinheit durchgeführt, um Fixfokus-Bilder gemäß einer Brennweite zu erhalten. Ferner wird in Schritt S1203 jeweils eine Vielzahl von Tiefenschärfeinformationen korrespondierend zu den Zoom-Bildern gemäß den Zoom-Bilder und dem Fixfokus-Bild erzeugt.The following will be on 12 and 13 Referenced, 12 and 13 each illustrate a flowchart for obtaining depth-of-field information according to two embodiments of the invention. In terms of 12 At step S1201, an image pickup operation is performed by a first image capture unit to obtain a plurality of zoom images according to a plurality of focal lengths, and at step S1202, an image pickup operation is performed with a second image capture unit to obtain fixed focus images according to a focal length. Further, in step S1203, a plurality of depth-of-focus information corresponding to the zoom images corresponding to the zoom images and the fixed-focus image are respectively generated.
In der oben genannten Ausführungsform ist eine Bildauflösung der ersten Bilderfassungseinheit höher als eine Auflösung der zweiten Bilderfassungseinheit, und eine Auflösung eines aufgenommenes Bild der ersten Bilderfassungseinheit hat die gleiche Auflösung eines erfassten Bilds der zweiten Bilderfassungseinheit.In the above embodiment, an image resolution of the first image capture unit is higher than a resolution of the second image capture unit, and a resolution of a captured image of the first image capture unit has the same resolution of a captured image of the second image capture unit.
In den oben genannten Schritten, ist eine Reihenfolge von Schritt S1201 und Schritt S1202 wie oben beschrieben nicht explizit beschränkt, das heißt, der Bildaufnahmevorgang des ersten und des zweiten Bilderfassungseinheit kann gleichzeitig oder nacheinander durchgeführt werden.In the above-mentioned steps, an order of step S1201 and step S1202 is not explicitly limited as described above, that is, the image pickup operation of the first and second image capture units may be performed simultaneously or sequentially.
Gemäß der 13 werden eine Vielzahl von ersten und zweiten Zoom-Bildern jeweils durch die erste und die zweite Erfassungseinheit nach Durchführung des Bildaufnahmevorgangs entsprechend einer Vielzahl von Brennweiten in Schritt S1301 erhalten, und eine Vielzahl von Tiefenschärfeinformationen, die jeweils den Zoom-Bildern entsprechend, werden entsprechend den ersten und zweiten Zoom-Bilden in Schritt S1302 erzeugt. Entsprechend ist eine Reihenfolge der Bildaufnahmevorgänge des ersten und des zweiten Bilderfassungseinheit, wie oben beschreiben, nicht darauf beschränkt, das heißt, der Bildaufnahmevorgang kann von der ersten und dem zweiten Bilderfassungseinheit sequentiell oder gleichzeitig durchgeführt werden.According to the 13 A plurality of first and second zoom images are respectively obtained by the first and second detection units after performing the image pickup operation corresponding to a plurality of focal lengths in step S1301, and a plurality of depth-of-field information corresponding respectively to the zoom images corresponding to the first and second zooming in step S1302. Accordingly, an order of image pickup operations of the first and second image capture units as described above is not limited thereto, that is, the image pickup operation may be performed sequentially or simultaneously by the first and second image capture units.
Darüber hinaus sind Implementierungsdetails der Schritte für den Erhalt der Tiefenschärfeinformation in der 12 und 13 speziell in den vorhergehenden Ausführungsformen und Implementierungen beschrieben worden, so dass es im Folgenden nicht wiederholt wird.In addition, implementation details of the steps for obtaining the depth of field information are in the 12 and 13 specifically described in the previous embodiments and implementations so that it will not be repeated below.
Zusammenfassend ist die Erfindung in der Lage die Zoom-Bilder durch Verwendung von mindestens einer Bilderfassungseinheit und der Berechnung der Tiefenschärfeinformation des Bildes nach dem Fixfokus-Bild entsprechend dessen Festbrennweite oder zusätzlichen Zoom-Bildern zu erfassen. Als Ergebnis kann die Tiefenschärfeinformation des Bildes effektiv und genau berechnet und nachfolgenden Bildverarbeitungsvorgang zur Verfügung gestellt werden.In summary, the invention is capable of capturing the zoom images by using at least one image capture unit and calculating the depth of focus information of the image after the fixed focus image according to its fixed focal length or additional zoom images. As a result, the depth of focus information of the image can be effectively and accurately calculated and provided to subsequent image processing.
