CN106982312A - 多光圈相机系统及其操作方法 - Google Patents

多光圈相机系统及其操作方法 Download PDF

Info

Publication number
CN106982312A
CN106982312A CN201611037987.XA CN201611037987A CN106982312A CN 106982312 A CN106982312 A CN 106982312A CN 201611037987 A CN201611037987 A CN 201611037987A CN 106982312 A CN106982312 A CN 106982312A
Authority
CN
China
Prior art keywords
aperture
image
camera systems
many
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611037987.XA
Other languages
English (en)
Inventor
庆宗旻
文俊护
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juridical Person Is First Intelligent It Emerging System Repeatedly
Center for Integrated Smart Sensors Foundation
Original Assignee
Juridical Person Is First Intelligent It Emerging System Repeatedly
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juridical Person Is First Intelligent It Emerging System Repeatedly filed Critical Juridical Person Is First Intelligent It Emerging System Repeatedly
Publication of CN106982312A publication Critical patent/CN106982312A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00—Exposure-making shutters; Diaphragms
    • G03B9/02—Diaphragms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optics & Photonics (AREA)

Abstract

一种多光圈相机系统及其操作方法，包括：第一光圈，引入RGB光信号；第二光圈，区别于所述第一光圈，引入与所述RGB光信号不同波长带的光信号；图像传感器，处理经由所述第一光圈引入的所述RGB光信号来获取与被拍摄物体相关的第一图像，且处理经由所述第二光圈引入的与所述RGB光信号不同波长带的光信号来获取与所述被拍摄物体相关的第二图像；以及距离决定部，利用所述第一图像与所述第二图像之间的视差，决定所述图像传感器与所述被拍摄物体之间的距离，其中，所述第一光圈和所述第二光圈以具有互相错位的中心位置的方式形成在单一光学系统上。

Description

多光圈相机系统及其操作方法
技术领域
下述实施例涉及一种利用视差(disparity)的多光圈相机系统，其是一种利用通过多个光圈获取的图像间的视差来决定多光圈相机系统所包括的图像传感器与被拍摄物体间的距离的技术。
背景技术
现有的决定图像传感器和被拍摄物体间的距离的散焦测距(DFD，Depth FromDefocus)技术利用通过多个光圈获取的各个图像中的模糊大小来推定图像传感器与被拍摄物体间的距离。
但现有的DFD技术由于在使图像模糊化进而同一地制造出各个图像中的模糊大小后，基于模糊的程度来推定图像传感器与被拍摄物体间的距离，因此存在不能精确计算图像传感器与被拍摄物体间的距离的缺点。
对此，为了决定图像传感器与被拍摄物体间的距离，建议了一种利用通过多个光圈获取的图像间的视差的技术。具体来讲，现有的利用视差的技术通过在两个光学系统的每个中设置光圈和图像传感器，通过两个光学系统的每个的光圈，利用在图像传感器获取的图像间的视差来决定图像传感器与被拍摄物体间的距离。
这种现有的利用视差的技术由于在结构上必须设置两个光学系统，存在难以适用于小型化相机模块的缺点，并且也存在制造成本上升的问题。
因此，为了解决现有的DFD技术以及现有的利用视差的技术的缺点和问题，下述实施例建议了一种决定图像传感器与被拍摄物体间的距离的技术。
发明内容
一个实施例为了解决现有DFD技术和利用现有视差的技术的缺点和问题，提供了一种按照以图像传感器的水平方向、竖直方向或倾斜(oblique)方向中的任一方向移位(offset)而具有互相错位中心位置的方式，利用形成在单一光学系统上的多个光圈而决定图像传感器与被拍摄物体间的距离的多光圈相机系统及其动作方法。
并且，一个实施例按照以图像传感器的水平方向、竖直方向或倾斜(oblique)方向中的任一方向移位(offset)而具有互相错位中心位置的方式，利用经由形成在单一光学系统上的多个光圈引入RGB光信号的第一光圈以及引入与RGB光信号不同波长带的光信号的第二光圈，提供了一种保障图像传感器获取的RGB图像质量的多光圈相机系统及其动作方法。
并且，一个实施例针对相同的光学系统或光学镜头通过包含至少两个光圈的相机来推定相机与被拍摄物体间的距离，可按相比立体照相机尺寸小、费用低的方式制造相机。
并且，一个实施例针对相同的光学系统或光学镜头通过使用包含至少两个光圈的相机，不需要立体照相机要求的校准(calibration)过程，且能改善因校准误差而发生的问题。
并且，一个实施例通过第一光圈在不损伤RGB光信号的情况下而进行引入，即使不经过额外的图像信号处理过程，也能按低复杂度获取高质量的RGB图像。
并且，一个实施例通过第一光圈和第二光圈的排序，使用于推定距离的扫描线处理算法容易适用，可大幅度改善运算的复杂度以及硬件的复杂度。
具体来讲，一个实施例提供了一种多光圈相机系统及其动作方法，以通过第一光圈获取的第一图像中与被拍摄物体相关的源区域为基准，根据搜索范围，搜索通过第二光圈获取的第二图像中与被拍摄物体相关的多个目标区域，且计算多个目标区域的每一个与源区域之间的相关度进而选择多个目标区域中任意一个目标区域，且利用选择的任意一个目标区域与源区域之间的视差来决定图像传感器与被拍摄物体之间的距离。
并且，一个实施例提供了一种多光圈相机系统及其动作方法，在搜索多个目标区域的过程中，将源区域和多个目标区域的高度和宽度按多个值进行变更，且搜索多个目标区域。
并且，一个实施例提供了一种多光圈相机系统及其动作方法，将形成有第一光圈和第二光圈的单一光学系统按针对图像传感器相对配置在多个位置的方式进行移动，且利用获取的多个图像组每一个中的视差来决定图像传感器与被拍摄物体之间的距离。根据一个实施例，利用视差的多光圈相机系统包括：第一光圈，引入RGB光信号；第二光圈，区别于所述第一光圈，引入与所述RGB光信号不同波长带的光信号；图像传感器，处理经由所述第一光圈引入的所述RGB光信号来获取与被拍摄物体相关的第一图像，且处理经由所述第二光圈引入的与所述RGB光信号不同波长带的光信号来获取与所述被拍摄物体相关的第二图像；以及距离决定部，利用所述第一图像与所述第二图像之间的视差，决定所述图像传感器与所述被拍摄物体之间的距离，所述第一光圈和所述第二光圈按照具有沿所述图像传感器的水平方向、竖直方向或倾斜方向中的至少一个方向移位的中心位置的方式而形成。
所述第二光圈引入IR光信号。
所述第一光圈和所述第二光圈形成为具有圆、椭圆、三角、四角、多角或组合上述之形态中的任一形态。
所述第二光圈设置有多个，用于搜索针对所述被拍摄物体的隐藏区域。
所述多个第二光圈引入互相不同波长带的光信号。
所述第一光圈按照具有与所述单一光学系统的中心位置相同的中心位置的方式而形成。
所述距离决定部基于所述第一图像与所述第二图像之间的视差、所述第一光圈的中心位置与所述第二光圈的中心位置之间的距离、所述图像传感器焦点对准的被拍摄物体距离以及焦距，计算从所述被拍摄物体至形成有所述第一光圈和所述第二光圈的单一光学系统的距离。
所述多光圈相机系统进一步包括SIR透光镜，防止与所述RGB光信号不同波长带的光信号泄露到用于获取所述第一图像而处理所述RGB光信号的RGB像素中，其中所述RGB像素包含在所述图像传感器中。
所述多光圈相机系统进一步包括双频道滤光镜，为了防止与所述RGB光信号不同波长带的光信号泄漏到用于获取所述第一图像而处理所述RGB光信号的RGB像素中，配置于所述第一光圈和所述第二光圈上部，进而选择性地引入所述RGB光信号或与所述RGB光信号不同波长带的光信号中的任一个光信号。
所述第一光圈和所述第二光圈在所述单一光学系统上互相不重叠地独立形成。
所述第一光圈和所述第二光圈在所述单一光学系统上至少一部分区域互相重叠而形成。
所述第二光圈形成于所述第一光圈区域内。
所述距离决定部，以所述第一图像中与所述被拍摄物体相关的源区域为基准，根据搜索范围，搜索所述第二图像中与所述被拍摄物体相关的多个目标区域，且计算所述多个目标区域的每一个与所述源区域之间的相关度进而选择所述多个目标区域中任意一个目标区域，且利用所述选择的任意一个目标区域与所述源区域之间的视差来决定所述图像传感器与所述被拍摄物体之间的距离。
所述距离决定部，将所述源区域和所述多个目标区域的高度和宽度按多个值进行变更，且以所述源区域为基准，根据所述搜索范围，在所述第二图像中搜索所述多个目标区域。
根据一个实施例，一种利用视差的多光圈相机系统的动作方法，包括如下步骤：通过第一光圈引入RGB光信号；通过与所述第一光圈相区别的第二光圈，引入与所述RGB光信号不同波长带的光信号；在图像传感器中，分别处理经由所述第一光圈引入的所述RGB光信号以及与经由所述第二光圈引入的所述RGB光信号不同波长带的光信号，获取与被拍摄物体相关的第一图像和第二图像；以及在距离决定部中，利用所述第一图像和所述第二图像之间的视差，决定所述图像传感器与所述被拍摄物体之 间的距离，其中，所述第一光圈和所述第二光圈以具有互相错位的中心位置的方式形成在单一光学系统上。
根据一个实施例，一种利用视差的多光圈相机系统，包括：单一光学系统，形成有引入RGB光信号的第一光圈以及引入与所述RGB光信号不同波长带的光信号的第二光圈，且配置在多个位置以进行移动；图像传感器，与所述单一光学系统在所述多个位置上的配置相应答，获取与所述多个位置相对应的多个图像组，其中，所述多个图像组的每一个包括：处理经由所述第一光圈引入的所述RGB光信号而获取的第一图像，以及处理经由所述第二光圈引入的与所述RGB光信号不同波长带的光信号而获取的第二图像；以及距离决定部，利用所述多个图像组每一个中的视差，决定所述图像传感器与被拍摄物体之间的距离，其中，所述第一光圈和所述第二光圈以具有互相错位的中心位置的方式形成在所述单一光学系统上。
所述距离决定部，计算所述多个图像组每一个中的相关度，且以所述多个图像组每一个中的相关度为基础，利用所述多个图像组中至少任意一个组中的视差，决定所述图像传感器和所述被拍摄物体相关的距离。
一个实施例为了解决现有DFD技术和利用现有视差的技术的缺点和问题，可提供一种按照以图像传感器的水平方向、竖直方向或倾斜(oblique)方向中的任一方向移位(offset)而具有互相错位中心位置的方式，利用形成在单一光学系统上的多个光圈而决定图像传感器与被拍摄物体间的距离的多光圈相机系统及其动作方法。
具体来讲，一个实施例按照以图像传感器的水平方向、竖直方向或倾斜(oblique)方向中的任一方向移位(offset)而具有互相错位中心位置的方式，利用经由形成在单一光学系统上的多个光圈来决定图像传感器与被拍摄物体间的距离，可提供一种准确计算图像传感器与被拍摄物体间的距离的多光圈相机系统及其动作方法。
并且，一个实施例按照以图像传感器的水平方向、竖直方向或倾斜(oblique)方向中的任一方向移位(offset)而具有互相错位中心位置的方式，利用经由形成在单一光学系统上的多个光圈来决定图像传感器与被拍摄 物体间的距离，可提供一种能易于适用于按低费用制造且小型化的相机模块的多光圈相机系统及其动作方法。
并且，一个实施例按照以图像传感器的水平方向、竖直方向或倾斜(oblique)方向中的任一方向移位(offset)而具有互相错位中心位置的方式，利用经由形成在单一光学系统上的多个光圈引入RGB光信号的第一光圈以及引入与RGB光信号不同波长带的光信号的第二光圈，可提供一种保障图像传感器获取的RGB图像质量的多光圈相机系统及其动作方法。
并且，一个实施例针对相同的光学系统或光学镜头通过包含至少两个光圈的相机来推定相机与被拍摄物体间的距离，可按相比立体照相机尺寸小、费用低的方式制造相机。
并且，一个实施例针对相同的光学系统或光学镜头通过使用包含至少两个光圈的相机，不需要立体照相机要求的校准(calibration)过程，且能改善因校准误差而发生的问题。
并且，一个实施例通过第一光圈在不损伤RGB光信号的情况下而进行引入，即使不经过额外的图像信号处理过程，也能按低复杂度获取高质量的RGB图像。
并且，一个实施例通过第一光圈和第二光圈的排序，使用于推定距离的扫描线处理算法容易适用，可大幅度改善运算的复杂度以及硬件的复杂度。
具体来讲，一个实施例提供了一种多光圈相机系统及其动作方法，以通过第一光圈获取的第一图像中与被拍摄物体相关的源区域为基准，根据搜索范围，搜索通过第二光圈获取的第二图像中与被拍摄物体相关的多个目标区域，且计算多个目标区域的每一个与源区域之间的相关度进而选择多个目标区域中任意一个目标区域，且利用选择的任意一个目标区域与源区域之间的视差来决定图像传感器与被拍摄物体之间的距离。
并且，一个实施例提供了一种多光圈相机系统及其动作方法，在搜索多个目标区域的过程中，将源区域和多个目标区域的高度和宽度按多个值进行变更，且搜索多个目标区域。
并且，一个实施例提供了一种多光圈相机系统及其动作方法，将形成有第一光圈和第二光圈的单一光学系统按针对图像传感器相对配置在多个位置的方式进行移动，且利用获取的多个图像组每一个中的视差来决定图像传感器与被拍摄物体之间的距离。
附图说明
图1是用于说明在一个实施例的多光圈相机中利用视差来决定图像传感器与被拍摄物体间的距离的原理的示图。
图2是示出一个实施例的多光圈相机系统的示图。
图3是示出一个实施例的第一光圈和第二光圈的示图。
图4是示出另一个实施例的第一光圈和第二光圈的示图。
图5是示出另一个实施例的第一光圈和第二光圈的示图。
图6至图8是示出多种实施例的第一光圈和第二光圈的示图。
图9是示出另一个实施例的多光圈相机系统的示图。
图10是示出一个实施例的多光圈相机系统的动作方法的流程图。
图11是示出针对一个实施例的第一光圈按非对称而形成的多个第二光圈的示图。
具体实施方式
以下，参考附图对本发明的实施例进行详细说明。但本发明并不被实施例所局限或限定。并且，各个附图中所示的相同参考符号表示相同的部件。
并且，在本说明书中使用的术语(terminology)作为用于适当表现本发明优选实施例而使用的术语，其根据用户、运营者的意图或本发明所属领域的惯例等会不同。因此，该术语的定义应以该整个说明书涉及的内容为基础而做出。
图1是用于说明在一个实施例的多光圈相机中利用视差来决定图像传感器与被拍摄物体间的距离的原理的示图。
参考图1，一个实施例的多光圈相机系统以图像传感器120的水平方向、竖直方向或倾斜(oblique)方向中的任一方向移位(offset)而具有互相错位中心位置的方式，利用形成在单一光学系统110上的第一光圈111和第二光圈112来决定图像传感器120与被拍摄物体间的距离。单一光学系统110意味着包括由第一光圈111和第二光圈112形成的滤光镜和镜头之光学装置。
以下，图像传感器120与被拍摄物体间的距离可定义为单一光学系统110的第一主平面(principal plane)(例如，滤光镜或镜头中任一个)与被拍摄物体间的距离。虽然在后面将进行叙述，但这种情况下，图像传感器120与被拍摄物体间的距离可将单一光学系统110的第一主平面与被拍摄物体间的距离以及单一光学系统110的第一主平面与图像传感器120间的距离(单一光学系统110的第一主平面与图像传感器120间的距离为多光圈相机系统中预先设定的值)进行合计而算出。因此，决定图像传感器120与被拍摄物体间的距离意味着决定单一光学系统110的第一主平面与被拍摄物体间的距离。
在此，第一光圈111形成为引入RGB光信号(例如，400nm至650nm之间波长带的光信号)，第二光圈112形成为引入与RGB光信号不同波长带的光信号。以下，虽然将第二光圈112记载为引入IR光信号(例如，650nm至810nm之间波长带的光信号)，但其并不局限或限定于此，也可引入与RGB光信号不同波长带的多种光信号。
此时，由于第一光圈111和第二光圈112形成为具有互相错位的中心位置，图像传感器120处理经由第一光圈111引入的RGB信号而获取的与被拍摄物体相关的第一图像的中心位置一般来讲与图像传感器120处理经由第二光圈112引入的IR光信号而获取的与被拍摄物体相关的第二图像的中心位置不一致。例如，当图像传感器120设置于从附图所示位置起更靠近单一光学系统110的位置时，发生第二图像的中心位置以第一图像的中心位置为基准而向右侧倾斜的现象，当图像传感器120设置于从附图所示的位置起更远离单一光学系统110的位置时，发生第二图像的中心位置以第一图像的中心位置为基准而向左侧倾斜的现象。
多光圈相机系统利用如下原理可按数学式1计算第一图像和第二图像间的视差p。以下，第一图像和第二图像间的视差意味着第一图像的中心位置与第二图像的中心位置间的视差(尤其是，第一图像中与被拍摄物体相关区域的中心位置以及第二图像中与被拍摄物体相关区域的中心位置间的视差)。
<数学式1>
在数学式1中，x表示第一光圈111的中心位置与第二光圈112的中心位置之间的距离，f表示焦距，a表示被拍摄物体距离(自被拍摄物体起至单一光学系统110的第一主平面的距离)，a0表示在图像传感器120中焦点对准的被拍摄物体距离。
此时，当第一图像的中心位置与第二图像的中心位置之间的视差p的值从正数转换为负数或从负数转换为正数时，两图像间的视差方向转换。因此，根据p的值的符号，具有边缘(edge)的被拍摄物体以焦点对准的位置为基准可被区分为是否在前景(foreground)或是否在背景(background)。
并且，从数学式1中被拍摄物体距离a可如数学式2被算出。
<数学式2>
在数学式2中，a0表示图像传感器120中焦点对准的被拍摄物体距离，f表示焦距，p表示第一图像和第二图像之间的视差，x表示第一光圈111的中心位置与第二光圈112的中心位置之间的距离。
因此，图像传感器120与被拍摄物体之间的距离c如数学式3可被决定。
<数学式3>
c＝a+b
在数学式3中，a表示被拍摄物体距离(自被拍摄物体起至单一光学系统110的第一主平面的距离)，b表示单一光学系统110的第一主平面与图像传感器120之间的距离。
如上所述，一个实施例的多光圈相机系统以图像传感器120的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向移位(offset)而具有互相错位中心位置的方式，在单一光学系统110上形成引入RGB光信号的第一光圈111和引入IR光信号的第二光圈112，利用经由各个第一光圈111和第二光圈112获取的第一图像和第二图像之间的视差，可决定图像传感器120与被拍摄物体之间的距离。
尤其是，第一光圈111和第二光圈112通过以图像传感器120的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向移位(offset)而具有互相错位中心位置的方式而形成，可容易地适用用于决定距离的扫描线处理算法(此时，扫描线处理算法根据图像传感器120可按图像传感器120的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向而执行)。例如，可按图像传感器120的水平方向(X轴方向)、竖直方向(Y轴方向)或倾斜(oblique)方向(相对X轴与Y轴倾斜的方向)中的至少一个方向与连接第一光圈111的中心和第二光圈112的中心之线部的方向相一致的方式，来排序第一光圈111和第二光圈112。因此，第一光圈111和第二光圈112的移位方向与图像传感器120的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向之间的角度理想上设定为接近0，因此多光圈相机系统可很容易地适用扫描线处理算法。即，第一光圈111和第二光圈112可按具有沿图像传感器120适用的扫描线处理算法所进行的方向移位(offset)的中心位置的方式而形成。
此时，当第一光圈111和第二光圈112的移位方向与图像传感器120的水平方向之间的角度不设定为接近0时，多光圈相机系统通过扩大视差搜索区域，可适用扫描线处理算法。
并且，多光圈相机系统不仅可利用第一图像和第二图像之间的视差，也可进一步适应性地利用各个第一图像和第二图像中的模糊大小来计算图像传感器120与被拍摄物体之间的距离。
首先，各个第一图像和第二图像中的模糊大小d如数学式4所示。
<数学式4>
在数学式4中，f表示焦距，F#表示多光圈相机系统中镜头的亮度值，a表示被拍摄物体距离(自被拍摄物体起至单一光学系统110的第一主平面的距离)，a0表示在图像传感器120中焦点对准的被拍摄物体距离。
因此，从数学式4中被拍摄物体距离可如数学式5被算出。
<数学式5>
在数学式5中，F#表示多光圈相机系统中镜头的亮度值，a0表示在图像传感器120中焦点对准的被拍摄物体距离，f表示焦距，d表示各个第一图像和第二图像中的模糊大小。因此，多光圈相机系统不仅可利用如数学式2第一图像和第二图像之间的视差，也可进一步如数学式5利用各个第一图像和第二图像中的模糊大小来计算图像传感器120与被拍摄物体之间的距离。
图2是示出一个实施例的多光圈相机系统的示图。
参考图2，一个实施例的多光圈相机系统包括单一光学系统210、图像传感器220和距离决定部(未图示)。以下，虽然按距离决定部被包含于图像传感器220而设置的情况进行说明，但其并不局限或限定于此，其也按另外的构成部进行设置。
在单一光学系统210上，以图像传感器220的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向移位(offset)而具有互相错位中心位置的方式，形成第一光圈211和第二光圈212。具体来讲，第一光圈211和第二光圈212，以图像传感器220的水平方向、竖直方向或倾斜(oblique) 方向中的至少一个方向移位(offset)而具有互相错位中心位置的方式，可形成在单一光学系统210所包括的滤光镜213上(单一光学系统210包括滤光镜213和镜头214)。
尤其是，第一光圈211和第二光圈212通过以图像传感器220的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向移位(offset)而具有互相错位中心位置的方式而形成，可按图像传感器220的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向与连接第一光圈211的中心和第二光圈212的中心之线部的方向相一致的方式，来排序第一光圈211和第二光圈212。
在此，按图像传感器220的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向与连接第一光圈211的中心和第二光圈212的中心之线部的方向相一致的方式来排序第一光圈211和第二光圈212意味着第一光圈211和第二光圈212的移位方向与图像传感器220的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向之间的角度设定为接近0。因此，距离决定部可容易地适用用于决定距离的扫描线处理算法(此时，扫描线处理算法可按图像传感器220的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向而执行)，从而大幅度改善演算的复杂度以及硬件的复杂度。
即，相比立体照相机，一个实施例的多光圈相机系统可将第一图像和第二图像的比较问题从二次元问题或三次元问题简化为一次元问题，其可寻求计算量的减少以及硬件的简化。
并且，当第一光圈211和第二光圈212的移位方向与图像传感器220的水平方向、竖直方向或倾斜方向中的至少一个方向之间的角度不设定为接近0时，多光圈相机系统为了适用扫描线处理算法可扩大视差搜索区域。
此时，第一光圈211和第二光圈212的直径可互相相同或不同，第一光圈211和第二光圈212的形状不仅可为圆形、椭圆形，也可为包括矩形、棱形、三角形等的多角形。并且，第一光圈211和第二光圈212可互相部分地重叠或不重叠。
在此，第一光圈211形成为引入RGB光信号，第二光圈212形成为引入IR光信号。关于其的详细说明参考图3进行记载。
图像传感器220按处理经由第一光圈211引入的RGB光信号而获取与被拍摄物体相关的第一图像以及经由第二光圈212引入的IR光信号而获取与被拍摄物体相关的第二图像之方式，可包括RGB像素和IR像素。
因此，距离决定部参考图1基于上述原理，利用第一图像与第二图像之间的视差，决定图像传感器220与被拍摄物体之间的距离。
此时，距离决定部在决定图像传感器220与被拍摄物体之间的距离的过程中，计算第一图像中被拍摄物体相关区域与第二图像中被拍摄物体相关区域之间的相关度，当相关度为预先设定的基准值以上时，计算第一图像中被拍摄物体相关区域的中心位置与第二图像中被拍摄物体相关区域的中心位置之间的视差从而可进行利用。并且，距离决定部以第一图像中被拍摄物体相关区域为基准根据搜索范围(视差搜索范围)在第二图像中搜索被拍摄物体相关区域，从而可查询到与第一图像中被拍摄物体相关区域相关度高的第二图像的被拍摄物体相关区域。
具体来讲，距离决定部以第一图像中与被拍摄物体相关的源区域为基准，根据搜索范围，搜索第二图像中与被拍摄物体相关的多个目标区域，且计算多个目标区域的每一个与源区域之间的相关度进而选择多个目标区域中任意一个目标区域。例如，距离决定部在第二图像的搜索范围内搜索与源区域相对应的多个目标区域，且针对多个目标区域的每一个与源区域执行图像图案映射，进而在计算出多个目标区域的每一个与源区域之间的相关度之后，可在多个目标区域中选择具有与源区域最高相关度的任意一个目标区域。因此，距离决定部利用选择的任意一个目标区域与源区域之间的视差，可决定图像传感器220与被拍摄物体之间的距离。
更具体来讲，距离决定部以源区域为基准根据搜索范围，通过在第二图像中搜索与被拍摄物体相关的第一目标区域、第二目标区域和第三目标区域，可计算第一目标区域与源区域之间的相关度、第二目标区域与源区域之间的相关度以及第三目标区域与源区域之间的相关度。在计算各个相关度的过程中，可获取第一目标区域与源区域之间的视差、第二目标区域 与源区域之间的视差以及第三目标区域与源区域之间的视差。之后，距离决定部选择第一目标区域、第二目标区域和第三目标区域中具有与源区域最高相关度的第一目标区域，利用选择的第一目标区域与源区域之间的视差，可决定图像传感器220与被拍摄物体之间的距离。
在此，源区域和多个目标区域每一个的高度和宽度可按多个值进行变更。此时，距离决定部以上述第一图像中与被拍摄物体相关的源区域为基准，根据搜索范围，将源区域和多个目标区域每一个的高度和宽度按多个值进行变更，且可执行搜索多个目标区域的过程。
因此，源区域和多个目标区域每一个的高度和宽度按多个值进行变更且选择具有最高相关的任意一个源区域和任意一个目标区域，利用选择的任意一个源区域和任意一个目标区域之间的视差可决定图像传感器220与被拍摄物体之间的距离。
例如，距离决定部将源区域和多个目标区域每一个的高度和宽度按第一值进行设定，以第一值的源区域为基准，搜索第一值的第一目标区域、第一值的第二目标区域和第一值的第三目标区域，且可计算第一值的第一目标区域与第一值的源区域之间的相关度、第一值的第二目标区域与第一值的源区域之间的相关度以及第一值的第三目标区域与第一值的源区域之间的相关度。
接着，距离决定部将源区域和多个目标区域每一个的高度和宽度按第二值进行设定，进而以第二值为基准，搜索第二值的第一目标区域、第二值的第二目标区域以及第二值的第三目标区域，且计算第二值的第一目标区域与第二值的源区域之间的相关度、第二值的第二目标区域与第二值的源区域之间的相关度以及第二值的第三目标区域与第二值的源区域之间的相关度。
之后，距离决定部通过选择具有第一值的第一目标区域与第一值的源区域之间的相关度、第一值的第二目标区域与第一值的源区域之间的相关度、第一值的第三目标区域与第一值的源区域之间的相关度、第二值的第一目标区域与第二值的源区域之间的相关度、第二值的第二目标区域与第二值的源区域之间的相关度以及第二值的第三目标区域与第二值的源区 域之间的相关度中最高相关度的第一值的第一目标区域与第一值的源区域，利用选择的第一值的第一目标区域与第一值的源区域之间的视差可决定图像传感器220与被拍摄物体之间的距离。
如此，一个实施例的多光圈相机系统基于在单一光学系统210上以图像传感器220的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向移位(offset)而具有互相错位中心位置的方式而形成的第一光圈211和第二光圈212，通过利用根据第一图像的源区域与第二图像的多个目标区域每一个之间的相关度而选择的任意一个目标区域与源区域之间的视差，可准确地计算图像传感器220与被拍摄物体之间的距离，从而能按低费用进行制造并容易地适用于小型化的相机模块。
此时，多光圈相机系统将源区域和多个目标区域的高度和宽度按多个值进行变更，且通过搜索与源区域相对应的多个目标区域，可更准确地计算图像传感器220与被拍摄物体之间的距离。
并且，多光圈相机系统通过利用引入整个RGB光信号的第一光圈211代替利用分离并引入RGB光信号的光圈，可保障图像传感器220获取的RGB图像(第一图像)的质量。
并且，距离决定部以图像传感器220为基准利用按配置在多个位置的方式而移动的单一光学系统210，进而扫描多个焦点对准的被拍摄物体距离且决定被拍摄物体与图像传感器220之间的距离。
此时，图像传感器220与单一光学系统210在多个位置上的配置(单一光学系统210以图像传感器220为基准配置在相对的位置处)进而获取与多个位置相对应的多个图像组。在此，多个图像组的每一个包括：处理经由第一光圈211引入的RGB光信号而获取的第一图像，以及处理经由第二光圈212引入的IR光信号而获取的第二图像。例如，图像传感器220根据单一光学系统210按P1位置进行配置，获取P1图像组(P1-RGB图像和P1-IR图像)，根据单一光学系统210按P2位置进行配置，获取P2图像组(P2-RGB图像和P2-IR图像)，且根据单一光学系统210按P3位置进行配置，获取P3图像组(P3-RGB图像和P3-IR图像)。
因此，距离决定部利用多个图像组每一个中的视差决定图像传感器220与被拍摄物体之间的距离。具体来讲，距离决定部计算多个图像组每一个中的相关度(P1-RGB图像和P1-IR图像之间的相关度、P2-RGB图像和P2-IR图像之间的相关度以及P3-RGB图像和P3-IR图像之间的相关度)，且基于多个图像组每一个中的相关度利用多个图像组中至少任意一个组中的视差可决定与被拍摄物体相关的距离。
此时，距离决定部计算多个图像组每一个中的相关度进而在获取多个图像组每一个中的视差后，选择多个图像组中具有最高相关度的任意一个图像组，进而利用选择的任意一个图像组中的视差可决定图像传感器220与被拍摄物体之间的距离。
例如，距离决定部基于配置单一光学系统210的多个位置每一中的理想视差，如表1所示，预先生成计算距离的图表(参考图1基于上述原理利用理想的视差来计算距离)，选择多个图像组中具有最高相关度的任意一个图像组，当获取选择的任意一个组时，在确认单一光学系统210被配置的特定位置后，基于如表1之图表，基于单一光学系统210被配置的特定位置中的理想视差，可将计算的距离决定为图像传感器220与被拍摄物体之间的距离。
[表1]
单一光学系统位置 理想视差 距离
位置1(P1) 视差1 高度1
位置2(P2) 视差2 高度2
位置3(P3) 视差3 高度3
... ... ...
作为另一个示例，距离决定部计算P1-RGB图像和P1-IR图像之间的相关度、P2-RGB图像和P2-IR图像之间的相关度以及P3-RGB图像和P3-IR图像之间的相关度，在获取P1-RGB图像和P1-IR图像之间的视差、P2-RGB图像和P2-IR图像之间的视差以及P3-RGB图像和P3-IR图像之间的视差后，可在多个图像组中选择具有最高相关度(具有最小视差)的P1图像组。对此，距离决定部利用P1图像组即P1-RGB图像与P1-IR图像 之间的视差(参考图1基于上述原理利用P1-RGB图像与P1-IR图像之间的视差)可决定图像传感器220与被拍摄物体之间的距离。
并且，距离决定部不仅可选择多个图像组中具有最高相关度的任意一个图像组，也可选择多个图像组中一部分组进而利用一部分组每一个中的视差来决定图像传感器220与被拍摄物体之间的距离。
例如，距离决定部计算多个图像组每一个中的相关度，在获取多个图像组每一个中的视差后，基于多个图像组每一个中的相关度，可选择一部分组。然后，距离决定部向从一部分组每一个中的视差中计算出的距离适用加权值，进而可决定图像传感器220与被拍摄物体之间的距离。
更具体来讲，距离决定部计算多个图像组每一个中的相关度，在获取多个图像组每一个中的视差后，可在多个图像组中选择各个视差符号改变的两个图像组(例如，当P1图像组中的视差符号是+，且P2图像组中的视差符号是-时，选择P1图像组和P2图像组)。之后，距离决定部可将从视差符号改变的两个图像组每一个中的视差中计算出的距离的加权平均(向从P1图像组中的视差中计算出的距离和从P2图像组中的视差中计算出的距离分别适用了加权值的平均)决定为图像传感器220与被拍摄物体之间的距离。
如此，根据一个实施例的多光圈相机系统将单一光学系统210按针对图像传感器220相对配置在多个位置的方式进行移动，且通过利用获取的多个图像组每一个中的视差，可更准确地决定图像传感器220与被拍摄物体之间的距离。
图3是示出一个实施例的第一光圈和第二光圈的示图。
参考图3，一个实施例的第一光圈311和第二光圈312以图像传感器的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向移位(offset)而具有互相错位中心位置的方式可形成在单一光学系统上。也就是说，可按图像传感器的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向与连接第一光圈311的中心和第二光圈312的中心之线部的方向相一致的方式，来排序第一光圈311和第二光圈312。
例如，第一光圈311通过蚀刻单一光学系统包括的滤光镜310的前面(执行切断RGB光信号的功能)并原样维持滤光镜310的背面(执行切断IR光信号的功能)，可按引入RGB光信号的方式而形成。并且，第二光圈312通过原样维持滤光镜310的前面并蚀刻滤光镜310的背面，可按引入IR光信号的方式而形成。但其并不局限或限定于此，第一光圈311和第二光圈312可按分别引入RGB光信号和引入IR光信号的方式，以多种形式而形成在单一光学系统包括的滤光镜310上。
并且，在附图中虽然示出了第一光圈311和第二光圈312形成为具有圆形态，但其并不局限或限定于此，其也可多样地形成为具有三角、四角、多角或组合上述之形态中的任一形态。
此时，第一光圈311和第二光圈312可在单一光学系统包括的滤光镜310上互相不重叠地独立形成。但其并不局限或限定于此，第一光圈311和第二光圈312可在单一光学系统包括的滤光镜310上至少部分区域互相重叠地形成，或第二光圈312也可形成在第一光圈311上。关于此的详细说明参考图6至图8进行记载。
并且，第一光圈311和第二光圈312的尺寸可形成为互相相同或存有差异的多种尺寸。
图4是示出另一个实施例的第一光圈和第二光圈的示图。
参考图4，另一个实施例的第一光圈411和第二光圈412以图像传感器的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向移位(offset)而具有互相错位中心位置的方式可形成在单一光学系统上，尤其是，可形成为第一光圈411的中心位置具有与单一光学系统的中心位置相同的中心位置。
例如，引入RGB光信号的第一光圈411可按具有与单一光学系统包括的滤光镜410的中心位置相同的中心位置而形成，引入IR光信号的第二光圈412可按具有与单一光学系统包括的滤光镜410的中心位置以及第一光圈411的中心位置相错位的中心位置而形成。
此时，另一个实施例的第一光圈411和第二光圈412除了按第一光圈411具有与单一光学系统的中心位置相同的中心位置而形成的以外，也可根据与参考图3所示的第一光圈和第二光圈相同的方式而形成。
图5是示出另一个实施例的第一光圈和第二光圈的示图。
参考图5，另一个实施例的第一光圈511和第二光圈512以图像传感器的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向移位(offset)而具有互相错位中心位置的方式可形成在单一光学系统上，尤其是，第二光圈512可形成为多个。
例如，在单一光学系统包括的滤光镜510上形成一个引入RGB光信号的第一光圈511，而在滤光镜510上可形成多个引入IR光信号的第二光圈512和513。
因此，另一个实施例的多光圈相机系统通过多个第二光圈512和513可搜索与被拍摄物体相关的隐藏区域(hidden region)。
此时，多个第二光圈512和513可引入互不相同的波长带的光信号(与RGB光信号不同波长带中互不相同的波长带的光信号)。例如，多个第二光圈512和513分割IR光信号的波长带进而可引入IR波长带中各自不同波长带的IR光信号。但其并不局限或限定于此，多个第二光圈512和513也可引入相同波长带的光信号。
如果，当多个第二光圈512和513引入相同波长带的光信号时，多个第二光圈512和513如附图所示可针对第一光圈511非对称地形成，从而代替针对第一光圈511对称地形成。
在此，形成多个第二光圈512和513的位置和个数可适应性地设定。关于其的详细说明在图11中进行记载。
图6至图8是示出多种实施例的第一光圈和第二光圈的示图。
参考图6至图8，第一光圈和第二光圈以图像传感器的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向移位(offset)而具有互相错位中心位置的方式可在单一光学系统上形成有各种形态、尺寸和结构。
例如，多光圈相机系统包括的第一光圈和第二光圈如610之情形可按相同的尺寸互相不重叠地独立形成，或如620之情形可按第一光圈相比第 二光圈尺寸大且互相不重叠地独立形成。并且，多光圈相机系统包括的第一光圈和第二光圈如630之情形可按分别为一个和多个且互相不重叠地独立形成。
再例如，多光圈相机系统包括的第一光圈和第二光圈如710之情形可按相同的尺寸且至少一部分区域互相重叠而形成，或如720之情形可按第一光圈相比第二光圈尺寸大且至少一部分区域互相重叠而形成。并且，多光圈相机系统包括的第一光圈和第二光圈如图730之情形，可按分别为一个和多个且至少一部分区域互相重叠而形成。
再例如，多光圈相机系统包括的第二光圈如810之情形可形成于第一光圈区域内，或如820之情形可在一个第一光圈区域内形成有多个。
但第一光圈和第二光圈并不局限或限定于附图所示之情形，其可形成为具有多种形态、尺寸和结构。
图9是示出另一个实施例的多光圈相机系统的示图。
参考图9，另一个实施例的多光圈相机系统包括单一光学系统910、图像传感器920和距离决定部(未图示)。在此，另一个实施例的多光圈相机系统包括执行与图2所示的多光圈相机系统相同功能的单一光学系统910、图像传感器920和距离决定部，但也可追加包括选择性红外滤光镜930(SIR filter，selective IR filter)和双频道滤光镜940(dualband filter)。
SIR滤光镜930可防止IR光信号泄露(IR leakage)到图像传感器920包括的RGB像素(RGB像素处理用于获取第一图像的RGB光信号)。
同样地，双频道滤光镜940配置于形成在单一光学系统910包括的透光镜913上的第一光圈911和第二光圈912上部(单一光学系统910包括的镜头914的上部或下部)，通过选择性地引入RGB光信号或IR光信号，可防止IR光信号泄漏到RGB像素。例如，当图像传感器920要处理经由第一光圈911引入的RGB光信号时(图像传感器920包括的RGB像素要动作时)，双频道滤光镜可选择性地仅引入RGB光信号，且当图像传感器920要处理经由第二光圈912引入的IR光信号时(图像传感器920包括的IR像素要动作时)，可选择性地仅引入IR光信号。
附图中虽然示出了另一个实施例的多光圈相机系统全部包括SIR滤光镜930和双频道滤光镜940，但其并不局限或限定于此，也可选择性地仅包括SIR滤光镜930或双频道滤光镜940中的任一个。
图10是示出一个实施例的多光圈相机系统的动作方法的流程图。
参考图10，多光圈相机系统通过第一光圈引入RGB光信号(步骤1010)。
接着，多光圈相机系统通过区别于第一光圈的第二光圈引入IR光信号。
虽未进行图示，但在步骤1010和1020步骤之前，多光圈相机系统利用配置在第一光圈和第二光圈上部的双频道滤光镜可选择性地引入RGB光信号或IR光信号中的任一个光信号。利用双频道滤光镜选择性地引入RGB光信号或IR光信号中的任一个光信号的过程可选择性地省略。
在此，第一光圈和第二光圈以图像传感器的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向移位(offset)而具有互相错位中心位置的方式而形成在单一光学系统上。例如，可按图像传感器的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向与连接第一光圈的中心和第二光圈的中心之线部的方向相一致的方式，来排序第一光圈和第二光圈。
此时，第一光圈可形成为具有与单一光学系统的中心位置相同的中心位置。
并且，第一光圈和第二光圈可形成为具有圆、三角、四角、多角或组合上述之形态中的任一形态。
并且，第二光圈为了搜索与被拍摄物体相关的隐藏区域，可设置有多个。这种情况下，多个第二光圈可引入互相不同波长带的光信号。
然后，多光圈相机系统利用图像传感器，分别处理经由第一光圈引入的RGB光信号和经由第二光圈引入的IR光信号，获取与被拍摄物体相关的第一图像和第二图像(步骤1030)。例如，多光圈相机系统通过图像传感器处理经由第一光圈引入的RGB光信号可获取与被拍摄物体相关的第一图像，通过图像传感器处理经由第二光圈引入的IR光信号可获取与被拍摄物体相关的第二图像。
虽未进行图示，但在步骤1030中，多光圈相机系统利用SIR滤光镜可防止IR光信号泄露到图像传感器包括的RGB像素中。
之后，多光圈相机系统通过距离决定部利用第一图像和第二图像之间的视差决定图像传感器与被拍摄物体之间的距离(步骤1040)。
具体来讲，多光圈相机系统基于第一图像与第二图像之间的视差、第一光圈的中心位置与第二光圈的中心位置之间的距离、图像传感器焦点对准的被拍摄物体距离、焦距，可计算从被拍摄物体至形成有第一光圈和第二光圈的单一光学系统的距离。因此，多光圈相机系统合计从被拍摄物体至单一光学系统的距离与图像传感器和单一光学系统之间的距离，可决定从图像传感器至被拍摄物体之间的距离。
并且，多光圈相机系统不仅可利用第一图像和第二图像之间的视差，也可进一步利用各个第一图像和第二图像中的模糊大小来计算图像传感器与被拍摄物体之间的距离。
图11是示出针对一个实施例的第一光圈按非对称而形成的多个第二光圈的示图。
参考图11，一个实施例的多个第二光圈1110和1120可相对于第一光圈1130非对称性地形成。例如，多个第二光圈1110和1120中的任一个第二光圈1110可按具有相对第一光圈1130的中心位置远离x的距离的中心位置而形成，另外的第二光圈1120可按具有相对第一光圈1130的中心位置远离y的距离的中心位置而形成。
并且，如同任一个第二光圈1110相比另外的第二光圈1120按更小尺寸形成，多个第二光圈1110和1120也可形成为具有互相不对称的尺寸。
此时，多光圈相机系统为了计算通过第一光圈1130获取的第一图像和相关度，则会利用通过多个第二光圈1110和1120的每一个而获取的第二图像，但在通过多个第二光圈1110和1120的每一个获取的第二图像之间会发生模糊(ambiguous)问题。
对此，一个实施例的多光圈相机系统如前所述，通过包括相对第一光圈1130非对称形成的多个第二光圈1110和1120，不仅可搜索与被拍摄物 体相关的隐藏区域，也可利用通过相对第一光圈1130非对称形成的多个第二光圈1110和1120的每一个而获取的图像来解决模糊问题。
如上所述，虽然根据实施例所限定的实施例和附图进行了说明，但对本技术领域具有一般知识的技术人员来说能从上述的记载中进行各种修改和变形。例如，根据与说明的技术中所说明的方法相不同的顺序来进行，和/或根据与说明的系统、结构、装置、电路等构成要素所说明的方法相不同的形态进行结合或组合，或根据其他构成要素或均等物进行替换或置换也可达成适当的效果。
因此，其他具体体现、其他实施例以及与权利要求范围相均等的都属于所述的权利要求所保护的范围。

Claims (17)

1.一种多光圈相机系统，利用视差，所述多光圈相机系统包括：
第一光圈，配置为引入RGB光信号；
第二光圈，区别于所述第一光圈，并且配置为引入与所述RGB光信号不同波长的红外线(IR)光信号；
图像传感器，配置为处理经由所述第一光圈引入的所述RGB光信号来获取物体的第一图像，且配置为处理经由所述第二光圈引入的所述IR光信号来获取所述物体的第二图像；以及
距离决定部，配置为利用所述第一图像与所述第二图像之间的视差，决定所述图像传感器与所述物体之间的距离，
其中，所述第一光圈和所述第二光圈以互相具有不同中心的方式形成在单一光学系统上。
2.如权利要求1所述的多光圈相机系统，其中，所述第一光圈和所述第二光圈按照具有沿所述图像传感器的水平方向、竖直方向或倾斜方向中的至少一个方向移位的中心的方式而形成。
3.如权利要求1所述的多光圈相机系统，其中，所述第一光圈和所述第二光圈的形状为圆、椭圆、三角、四角、多角或上述形状的组合。
4.如权利要求1所述的多光圈相机系统，其中，所述第二光圈设置有多个，用于搜索针对所述物体的隐藏区域。
5.如权利要求4所述的多光圈相机系统，其中，多个所述第二光圈引入不同波长的IR光信号。
6.如权利要求1所述的多光圈相机系统，其中，所述第一光圈按照具有与所述单一光学系统的中心相同的中心的方式而形成。
7.如权利要求1所述的多光圈相机系统，其中，所述距离决定部基于所述第一图像与所述第二图像之间的视差、所述第一光圈的中心与所述第二光圈的中心之间的距离、所述图像传感器焦点对准的物体距离以及焦距，计算从所述物体至形成有所述第一光圈和所述第二光圈的所述单一光学系统的距离。
8.如权利要求1所述的多光圈相机系统，进一步包括：
选择IR(SIR)滤光镜，配置为防止光信号引入到包含在所述图像传感器中并且为所述第一图像而处理所述RGB光信号的RGB像素中。
9.如权利要求1所述的多光圈相机系统，进一步包括：
双频道滤光镜，配置于所述第一光圈和所述第二光圈上部，并且配置为选择性地引入所述RGB光信号和与所述RGB光信号不同波长的光信号中的一个光信号，为了防止与所述RGB光信号不同波长的光信号引入到为所述第一图像而处理所述RGB光信号的RGB像素中，所述RGB像素包括在所述图像传感器中。
10.如权利要求1所述的多光圈相机系统，其中，所述第一光圈和所述第二光圈在所述单一光学系统上互相不重叠地独立形成。
11.如权利要求1所述的多光圈相机系统，其中，所述第一光圈和所述第二光圈在所述单一光学系统上部分互相重叠。
12.如权利要求1所述的多光圈相机系统，其中，所述第二光圈形成于所述第一光圈内。
13.如权利要求1所述的多光圈相机系统，其中，所述距离决定部，以所述第一图像中的所述物体的源区域为基准，根据搜索范围，从所述第二图像搜索多个物体目标区域，通过计算所述多个目标区域的每一个与所述源区域之间的相关度进而选择所述多个目标区域中的一个目标区域，且通过利用所选择的一个所述目标区域与所述源区域之间的视差来决定所述图像传感器与所述物体之间的距离。
14.如权利要求13所述的多光圈相机系统，其中，所述距离决定部，将所述源区域和所述多个目标区域的高度和宽度变更为多个值，且以所述源区域为基准，根据所述搜索范围，从所述第二图像搜索所述多个目标区域。
15.一种多光圈相机系统的操作方法，利用视差，所述操作方法包括：
通过第一光圈引入RGB光信号；
通过与所述第一光圈相区别的第二光圈，引入与所述RGB光信号不同波长的光信号；
通过图像传感器，处理经由所述第一光圈引入的所述RGB光信号以及经由所述第二光圈引入的IR光信号，并且获取物体的第一图像和第二图像；以及
利用所述第一图像和所述第二图像之间的视差，决定所述图像传感器与所述物体之间的距离，
其中，所述第一光圈和所述第二光圈以互相具有不同中心的方式形成在单一光学系统上。
16.一种多光圈相机系统，利用视差，所述多光圈相机系统包括：
单一光学系统，配备有引入RGB光信号的第一光圈以及引入IR光信号的第二光圈，且配置在多个位置以进行移动；
图像传感器，配置为与所述单一光学系统在所述多个位置上的配置相应答，获取与所述多个位置相对应的多个图像组，每个图像组包括通过处理经由所述第一光圈引入的所述RGB光信号而获取的第一图像，以及通过处理所述IR光信号而获取的第二图像；以及
距离决定部，配置为通过所述多个图像组的每一个的视差，决定所述图像传感器与物体之间的距离，
其中，所述第一光圈和所述第二光圈以具有互相错位的中心位置的方式形成在所述单一光学系统上。
17.如权利要求16所述的多光圈相机系统，其中，所述距离决定部，计算所述多个图像组的每一个的相关度，且以所述多个图像组的每一个的所述相关度为基础，通过利用所述多个图像组中的至少一个的视差，能决定所述图像传感器和所述物体的距离。
CN201611037987.XA 2015-11-23 2016-11-23 多光圈相机系统及其操作方法 Pending CN106982312A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20150164214 2015-11-23
KR10-2015-0164214 2015-11-23
KR1020160012382A KR101672669B1 (ko) 2015-11-23 2016-02-01 시차를 이용하는 멀티 애퍼처 카메라 시스템
KR10-2016-0012382 2016-02-01

Publications (1)

Publication Number Publication Date
CN106982312A true CN106982312A (zh) 2017-07-25

Family

ID=57571255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611037987.XA Pending CN106982312A (zh) 2015-11-23 2016-11-23 多光圈相机系统及其操作方法

Country Status (3)

Country Link
US (1) US10021282B2 (zh)
KR (1) KR101672669B1 (zh)
CN (1) CN106982312A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973199A (zh) * 2015-12-17 2017-07-21 财团法人多次元智能It融合系统 利用对焦距离扫描提高深度精确度的多光圈相机系统
CN107835347A (zh) * 2017-11-30 2018-03-23 信利光电股份有限公司 一种摄像装置及电子设备

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3422700B1 (en) * 2017-06-29 2021-03-10 Axis AB A method for enhancing color images, and an assembly performing such method
CN108093240A (zh) * 2017-12-22 2018-05-29 成都先锋材料有限公司 3d深度图获取方法及装置
US10419664B2 (en) * 2017-12-28 2019-09-17 Semiconductor Components Industries, Llc Image sensors with phase detection pixels and a variable aperture
KR102060880B1 (ko) * 2018-03-05 2020-02-11 재단법인 다차원 스마트 아이티 융합시스템 연구단 단안 카메라를 이용한 내시현미경 및 그 동작 방법
KR102177400B1 (ko) * 2020-03-09 2020-11-11 재단법인 다차원 스마트 아이티 융합시스템 연구단 낮은 복잡도로 깊이 정확도를 향상시키는 카메라 시스템 및 그 동작 방법
KR102192322B1 (ko) * 2020-04-13 2020-12-17 재단법인 다차원 스마트 아이티 융합시스템 연구단 픽셀 블록 단위로 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법
CN113542613B (zh) * 2020-04-14 2023-05-12 华为技术有限公司 一种用于拍照的装置及方法
US11853845B2 (en) * 2020-09-02 2023-12-26 Cognex Corporation Machine vision system and method with multi-aperture optics assembly
KR102382206B1 (ko) * 2020-10-16 2022-04-05 주식회사 덱셀리온 Opa가 적용된 카메라 시스템 및 그 동작 방법
WO2022122110A1 (en) * 2020-12-07 2022-06-16 Huawei Technologies Co., Ltd. Imaging structures

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902658A (zh) * 2010-07-19 2010-12-01 张德忠 无重影多目立体图像摄取与重现系统
US20130033578A1 (en) * 2010-02-19 2013-02-07 Andrew Augustine Wajs Processing multi-aperture image data
CN103559701A (zh) * 2013-09-26 2014-02-05 哈尔滨商业大学 基于dct系数熵的二维单视图像深度估计方法
CN103814571A (zh) * 2011-09-26 2014-05-21 索尼公司 摄像装置及滤光器
EP2762972A1 (en) * 2006-02-13 2014-08-06 3M Innovative Properties Company Monocular three-dimensional imaging
CN204269898U (zh) * 2014-10-31 2015-04-15 高准精密工业股份有限公司 组合式透镜模组以及应用此模组的摄像感测组件
CN104714355A (zh) * 2013-12-17 2015-06-17 宏达国际电子股份有限公司 主动式滤镜、影像拍摄系统及拍摄方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007033652A (ja) 2005-07-25 2007-02-08 Canon Inc 焦点検出装置及びそれを有する撮像装置
US20080278572A1 (en) * 2007-04-23 2008-11-13 Morteza Gharib Aperture system with spatially-biased aperture shapes and positions (SBPSP) for static and dynamic 3-D defocusing-based imaging
US20160042522A1 (en) * 2010-02-19 2016-02-11 Dual Aperture International Co. Ltd. Processing Multi-Aperture Image Data
CN103210641B (zh) * 2010-02-19 2017-03-15 双光圈国际株式会社 处理多孔径像数据
KR101680762B1 (ko) * 2010-10-29 2016-11-29 삼성전자주식회사 3ｄ 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치
JP2014153494A (ja) 2013-02-07 2014-08-25 Canon Inc 測距装置
KR101591172B1 (ko) * 2014-04-23 2016-02-03 주식회사 듀얼어퍼처인터네셔널 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치
KR101566619B1 (ko) * 2014-06-03 2015-11-09 중앙대학교 산학협력단 듀얼 오프 액시스 컬러 필터 조리개를 이용한 거리 추정 장치 및 방법
US20160255323A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
US20170140221A1 (en) * 2015-11-13 2017-05-18 Intel Corporation Dual function camera for infrared and visible light with electrically-controlled filters

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2762972A1 (en) * 2006-02-13 2014-08-06 3M Innovative Properties Company Monocular three-dimensional imaging
US20130033578A1 (en) * 2010-02-19 2013-02-07 Andrew Augustine Wajs Processing multi-aperture image data
CN101902658A (zh) * 2010-07-19 2010-12-01 张德忠 无重影多目立体图像摄取与重现系统
CN103814571A (zh) * 2011-09-26 2014-05-21 索尼公司 摄像装置及滤光器
CN103559701A (zh) * 2013-09-26 2014-02-05 哈尔滨商业大学 基于dct系数熵的二维单视图像深度估计方法
CN104714355A (zh) * 2013-12-17 2015-06-17 宏达国际电子股份有限公司 主动式滤镜、影像拍摄系统及拍摄方法
CN204269898U (zh) * 2014-10-31 2015-04-15 高准精密工业股份有限公司 组合式透镜模组以及应用此模组的摄像感测组件

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MANUEL MARTINELLO，等: "Dual Aperture Photography: Image and Depth from a Mobile Camera", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL PHOTOGRAPHY (ICCP)》 *
S LEE,等: "Distance estimation using a single computational camera with dual off-axis color filtered apertures", 《OPTICS EXPRESS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973199A (zh) * 2015-12-17 2017-07-21 财团法人多次元智能It融合系统 利用对焦距离扫描提高深度精确度的多光圈相机系统
US10623719B2 (en) 2015-12-17 2020-04-14 Center For Integrated Smart Sensors Foundation Multi-aperture camera system for improving depth accuracy through focusing distance scan
CN106973199B (zh) * 2015-12-17 2020-12-04 财团法人多次元智能It融合系统 利用对焦距离扫描提高深度精确度的多光圈相机系统
CN107835347A (zh) * 2017-11-30 2018-03-23 信利光电股份有限公司 一种摄像装置及电子设备
CN107835347B (zh) * 2017-11-30 2020-08-14 信利光电股份有限公司 一种摄像装置及电子设备

Also Published As

Publication number Publication date
US10021282B2 (en) 2018-07-10
US20170150019A1 (en) 2017-05-25
KR101672669B1 (ko) 2016-11-03

Similar Documents

Publication Publication Date Title
CN106982312A (zh) 多光圈相机系统及其操作方法
EP3284060B1 (en) Convolutional color correction
Li et al. A multiple-camera system calibration toolbox using a feature descriptor-based calibration pattern
CN102834845B (zh) 用于多摄像装置校准的方法与装置
CN104169970B (zh) 用于确定图像的景深图的方法和光学系统
US20160029017A1 (en) Calibration of light-field camera geometry via robust fitting
US9250510B2 (en) Panoramic stereo catadioptric imaging
Fuhl et al. Fast camera focus estimation for gaze-based focus control
CN110036410A (zh) 用于从视图中获得距离信息的设备和方法
CN107483774A (zh) 拍摄装置以及车辆
KR102118173B1 (ko) 왜곡계수 추정을 통한 영상 보정 시스템 및 방법
CN107767420B (zh) 一种水下立体视觉系统的标定方法
KR101053506B1 (ko) 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법
CN105303615A (zh) 一种图像二维拼接与三维表面重建的组合方法
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
CN106060493A (zh) 多源投影无缝边缘拼接方法及系统
EP2745171A1 (en) Projector and control method thereof
CN108765489A (zh) 一种基于组合靶标的位姿计算方法、系统、介质及设备
US10540813B1 (en) Three-dimensional point data alignment
CN105258673B (zh) 一种基于双目合成孔径聚焦图像的目标测距方法、装置
US20070136034A1 (en) Method for modeling three dimensional shape of objects using level set solutions on partial differential equation derived from helmholtz reciprocity condition
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN106416242A (zh) 两个投影装置的增强型校准方法
CN110322572A (zh) 一种基于双目视觉的水下涵隧内壁三维信息恢复方法
Bastanlar et al. Multi-view structure-from-motion for hybrid camera scenarios

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170725

WD01 Invention patent application deemed withdrawn after publication