CN106973199A - 利用对焦距离扫描提高深度精确度的多光圈相机系统 - Google Patents

利用对焦距离扫描提高深度精确度的多光圈相机系统 Download PDF

Info

Publication number
CN106973199A
CN106973199A CN201611170377.7A CN201611170377A CN106973199A CN 106973199 A CN106973199 A CN 106973199A CN 201611170377 A CN201611170377 A CN 201611170377A CN 106973199 A CN106973199 A CN 106973199A
Authority
CN
China
Prior art keywords
group
depth
aperture
image
image sets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611170377.7A
Other languages
English (en)
Other versions
CN106973199B (zh
Inventor
庆宗旻
文俊护
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dykes Lane Ltd
Original Assignee
Juridical Person Is First Intelligent It Emerging System Repeatedly
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juridical Person Is First Intelligent It Emerging System Repeatedly filed Critical Juridical Person Is First Intelligent It Emerging System Repeatedly
Publication of CN106973199A publication Critical patent/CN106973199A/zh
Application granted granted Critical
Publication of CN106973199B publication Critical patent/CN106973199B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00—Exposure-making shutters; Diaphragms
    • G03B9/02—Diaphragms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一种通过对焦距离扫描提高深度精确度的多光圈相机系统，包括：单一光学系统，形成有引入RGB光信号的第一光圈和引入与所述RGB光信号不同波长带的非RGB光信号的第二光圈，且按配置在多个位置的方式移动；图像传感器，与所述单一光学系统配置在所述多个位置的每一处相应答，获得与所述多个位置相对应的多个图像组，所述多个图像组每一组包括处理所述RGB光信号获得的RGB图像和处理所述非RGB光信号获得的非RGB图像；以及深度决定部，计算所述多个图像组每一组中的视差，并且利用所述多个图像组每一组中的视差，决定与被拍摄物体相关的深度，所述第一光圈和所述第二光圈以具有互相错位的中心位置的方式形成在所述单一光学系统上。

Description

利用对焦距离扫描提高深度精确度的多光圈相机系统
技术领域
下述的实施例涉及一种利用视差(disparity)来决定与被拍摄物体相关的深度的多光圈相机系统，更具体来讲，是一种利用对焦被拍摄物体距离扫描来提高与被拍摄物体相关的深度精确度的技术。
背景技术
现有的决定与被拍摄物体相关的深度的技术，替代设定光学系统和图像传感器的位置以使图像传感器相对光学系统接近对焦被拍摄物体距离，通过任意地设定光学系统和图像传感器的位置，利用通过光学系统在图像传感器中获得的多个图像来推定与被拍摄物体相关的深度。
例如，现有的散焦测距(DFD，Depth From Defocus)技术，通过任意地设定光学系统和图像传感器的位置，图像传感器相对光学系统不能配置在接近对焦被拍摄物体距离，利用通过形成在光学系统的多个光圈而获取的多个图像中每一个的模糊大小来推定与被拍摄物体相关的深度。
再例如，现有的利用视差的技术，在配置由光学系统和图像传感器构成的两个相机模块后，通过在两个相机模块的每一个中任意设定光学系统和图像传感器的位置，图像传感器相对光学系统不能配置在接近对焦被拍摄物体距离，利用两个相机模块的每一个中获得的图像间的视差来推定与被拍摄物体相关的深度。
这种现有的决定与被拍摄物体相关的深度的技术，利用模糊大小或当利用视差时全部任意地设定光学系统和图像传感器的位置，由于图像传感器相对光学系统不能配置在接近对焦被拍摄物体距离，因此存在不能精确计算与被拍摄物体相关的深度之缺点。
对此，下述实施例为了解决现有的决定与被拍摄物体相关的深度之技术的问题点，建议了一种通过光学系统以图像传感器为基准按相对地配置在多个位置而移动，扫描多个对焦被拍摄物体距离来决定与被拍摄物体相关的深度的技术。
发明内容
一个实施例提供了一种多光圈相机系统及其动作方法，为了针对图像传感器相对地配置在多个位置而移动光学系统，且利用获得的多个图像组决定与被拍摄物体相关的深度，所述多个图像组的每一组包括RGB图像和非RGB图像。
具体来讲，一个实施例提供了一种多光圈相机系统及其动作方法，通过将具有互相错位中心位置的光圈而形成的单一光学系统针对图像传感器相对地移动且获得多个图像组，利用多个图像组每一组中的视差来决定与被拍摄物体相关的深度。
并且，一个实施例提供了一种多光圈相机系统及其动作方法，通过将引入互不相同波长带的光信号的光圈而形成光学系统针对图像传感器相对地移动且获得多个图像组，利用多个图像组每一组中的模糊大小的变化来决定于被拍摄物体相关的深度。
因此，一个实施例为了针对图像传感器相对地配置在多个位置而移动光学系统进而扫描多个对焦被拍摄物体距离，相比现有的决定与被拍摄物体相关的深度的技术，提供了一种决定更精确深度的多光圈相机系统及其动作方法。
根据一个实施例，一种多光圈相机系统，作为通过对焦距离扫描提高深度精确度的多光圈相机系统，包括：单一光学系统，形成有引入RGB光信号的第一光圈和引入与所述RGB光信号不同波长带的非RGB光信号的第二光圈，并且以图像传感器为基准，按相对地配置在多个位置的方式进行移动；图像传感器，与所述单一光学系统以所述图像传感器为基准相对地配置在所述多个位置的每一处相应答，获得与所述多个位置相对应的多个图像组，其中，所述多个图像组每一组包括处理所述RGB光信号获得的RGB图像和处理所述非RGB光信号获得的非RGB图像；以及深度决定部，计算所述多个图像组每一组中的视差，并且利用所述多个图像组每一组中的视差，决定与被拍摄物体相关的深度，其中，所述第一光圈和所述第二光圈以具有互相错位的中心位置的方式形成在所述单一光学系统上。
所述深度决定部，计算所述多个图像组每一组中的相关度，基于所述多个图像组每一组中的相关度，利用所述多个图像组中至少一组中的视差，决定与所述被拍摄物体相关的深度。
所述深度决定部，基于所述多个图像组每一组中的相关度，在所述多个图像组中选择具有最高相关度的一个图像组，并且利用所述选择的一个图像组中的视差，决定与所述被拍摄物体相关的深度。
所述深度决定部，基于所述多个图像组每一组中的相关度，设定与所述多个图像组每一组相关的加权值，并且利用所述多个图像组每一组中的视差，抽取与所述被拍摄物体相关的多个深度，根据在所述多个深度每一个中适用了所述加权值的平均值，决定与所述被拍摄物体相关的深度。
所述深度决定部，基于与所述多个图像组每一组相关的加权值，在所述多个图像组中选择一部分图像组，并且利用所述选择的一部分图像组每一组中的视差，抽取与所述被拍摄物体相关的多个深度，根据在所述多个深度每一个中适用了所述加权值的平均值，决定与所述被拍摄物体相关的深度。
所述深度决定部，基于所述多个图像组每一组中的视差、所述第一光圈的中心位置和所述第二光圈的中心位置间的距离、所述单一光学系统所配置的所述多个位置每一处相关的所述图像传感器对焦的被拍摄物体深度以及所述单一光学系统所配置的所述多个位置每一处相关的对焦距离，计算自所述被拍摄物体起至所述单一光学系统的深度。
所述多个图像组每一组中的视差是所述多个图像组每一组包括的所述RGB图像和所述非RGB图像间的视差。
所述第一光圈和所述第二光圈按具有沿所述图像传感器的水平方向、竖直方向或倾斜方向中至少一个方向移位的中心位置而形成。
根据另一实施例，一种多光圈相机系统，作为通过对焦距离扫描提高深度精确度的多光圈相机系统，包括：光学系统，形成有引入RGB光信号的第一光圈和引入与所述RGB光信号不同波长带的非RGB光信号的第二光圈，并且以图像传感器为基准，按相对地配置在多个位置的方式进行移动；图像传感器，与所述光学系统以所述图像传感器为基准相对地配置在所述多个位置的每一处相应答，获得与所述多个位置相对应的多个图像组，其中，所述多个图像组每一组包括处理所述RGB光信号获得的RGB图像和处理所述非RGB光信号获得的非RGB图像；以及深度决定部，利用所述多个图像组每一组中的模糊大小的变化，决定与被拍摄物体相关的深度。
所述深度决定部，计算所述多个图像组每一组中的相关度，基于所述多个图像组每一组中的相关度，利用所述多个图像组中至少一组中的模糊大小的变化，决定与所述被拍摄物体相关的深度。
根据一个实施例，一种多光圈相机系统的动作方法，作为通过对焦距离扫描提高深度精确度的多光圈相机系统的动作方法，包括如下步骤：以图像传感器为基准，将单一光学系统按相对地配置在多个位置的方式进行移动，所述单一光学系统形成有引入RGB光信号的第一光圈和引入与所述RGB光信号不同波长带的非RGB光信号的第二光圈；通过形成在所述单一光学系统的所述第一光圈和所述第二光圈，分别引入所述RGB光信号和所述非RGB光信号，所述单一光学系统以所述图像传感器为基准相对地配置在所述多个位置的每一处；与所述单一光学系统配置在所述多个位置的每一处相应答，获得与所述多个位置相对应的多个图像组，其中，所述多个图像组每一组包括处理所述RGB光信号获得的RGB图像和处理所述非RGB光信号获得的非RGB图像；以及利用所述多个图像组每一组中的视差，决定与被拍摄物体相关的深度，其中，所述第一光圈和所述第二光圈以具有互相错位的中心位置的方式形成在所述单一光学系统上。
所述决定与被拍摄物体相关的深度的步骤，包括如下步骤：计算所述多个图像组每一组中的相关度；和基于所述多个图像组每一组中的相关度，利用所述多个图像组中至少一组中的视差，决定与所述被拍摄物体相关的深度。
根据另一实施例，一种多光圈相机系统的动作方法，作为通过对焦距离扫描提高深度精确度的多光圈相机系统的动作方法，包括如下步骤：将光学系统按配置在多个位置的方式进行移动，所述光学系统形成有引入RGB光信号的第一光圈和引入与所述RGB光信号不同波长带的非RGB光信号的第二光圈；通过形成在所述光学系统的所述第一光圈和所述第二光圈，分别引入所述RGB光信号和所述非RGB光信号，所述光学系统配置在所述多个位置的每一处；与所述光学系统配置在所述多个位置的每一处相应答，获得与所述多个位置相对应的多个图像组，其中，所述多个图像组每一组包括处理所述RGB光信号获得的RGB图像和处理所述非RGB光信号获得的非RGB图像；以及利用所述多个图像组每一组中的模糊大小的变化，决定与被拍摄物体相关的深度。
一个实施例可提供一种多光圈相机系统及其动作方法，为了针对图像传感器相对地配置在多个位置而移动光学系统，且利用获得的多个图像组决定与被拍摄物体相关的深度，所述多个图像组的每一组包括RGB图像和非RGB图像。
具体来讲，一个实施例可提供一种多光圈相机系统及其动作方法，通过将具有互相错位中心位置的光圈而形成的单一光学系统针对图像传感器相对地移动且获得多个图像组，利用多个图像组每一组中的视差来决定与被拍摄物体相关的深度。
并且，一个实施例可提供一种多光圈相机系统及其动作方法，通过将引入互不相同波长带的光信号的光圈而形成光学系统针对图像传感器相对地移动且获得多个图像组，利用多个图像组每一组中的模糊大小的变化来决定于被拍摄物体相关的深度。
因此，一个实施例为了针对图像传感器相对地配置在多个位置而移动光学系统进而扫描多个对焦被拍摄物体距离，相比现有的决定与被拍摄物体相关的深度的技术，提供了一种决定更精确深度的多光圈相机系统及其动作方法。
附图说明
图1是用于说明在一个实施例的多光圈相机中利用视差来决定图像传感器与被拍摄物体间的深度的原理的示图。
图2是用于说明在一个实施例的多光圈相机系统中与根据对焦被拍摄物体距离之被拍摄物体相关的深度的精确度的示图。
图3是用于说明一个实施例的多光圈相机系统的深度决定过程的示图。
图4是示出根据一个实施例的多光圈相机系统的动作方法的流程图。
图5是示出根据一个实施例的多光圈相机系统的框图。
图6是示出根据另一个实施例的多光圈相机系统的动作方法的流程图。
图7是示出根据另一个实施例的多光圈相机系统的框图。
图8是用于说明一个实施例的多光圈相机系统的深度决定原理的示图。
图9是用于说明另一个实施例的多光圈相机系统的深度决定原理的示图。
具体实施方式
以下，参考附图对本发明的实施例进行详细说明。但本发明并不被实施例所局限或限定。并且，各个附图中所示的相同参考符号表示相同的部件。
并且，在本说明书中使用的术语(terminology)作为用于适当表现本发明优选实施例而使用的术语，其根据用户、运营者的意图或本发明所属领域的惯例等会不同。因此，该术语的定义应以该整个说明书涉及的内容为基础而做出。
图1是用于说明在一个实施例的多光圈相机中利用视差来决定图像传感器与被拍摄物体间的深度的原理的示图。
参考图1，多光圈相机系统以图像传感器120的水平方向、竖直方向或倾斜(oblique)方向中的任一方向移位(offset)而具有互相错位中心位置的方式，利用形成在单一光学系统110上的第一光圈111和第二光圈112来决定与被拍摄物体相关的深度。单一光学系统110意味着包括由第一光圈111和第二光圈112形成的滤光镜和镜头之光学装置。
以下，与被拍摄物体相关的深度可定义为图像传感器120与被拍摄物体间的距离，即单一光学系统110的第一主平面(principalplane)与被拍摄物体间的距离。虽然在后面将进行叙述，但这种情况下，图像传感器120与被拍摄物体间的距离可将单一光学系统110的第一主平面与被拍摄物体间的距离以及单一光学系统110的第一主平面与图像传感器120间的距离(单一光学系统110的第一主平面与图像传感器120间的距离为多光圈相机系统中预先设定的值)进行合计而算出。因此，决定图像传感器120与被拍摄物体间的距离意味着决定单一光学系统110的第一主平面与被拍摄物体间的距离。
在此，第一光圈111形成为引入RGB光信号(例如，400nm至650nm之间波长带的光信号)，第二光圈112形成为引入与RGB光信号不同波长带的非RGB光信号。以下，虽然将第二光圈112记载为引入IR光信号(例如，650nm至810nm之间波长带的光信号)，但其并不局限或限定于此，也可引入与RGB光信号不同波长带的多种非RGB光信号。
此时，由于第一光圈111和第二光圈112形成为具有互相错位的中心位置，图像传感器120处理经由第一光圈111引入的RGB信号而获取的与被拍摄物体相关的RGB图像的中心位置一般来讲与图像传感器120处理经由第二光圈112引入的IR光信号而获取的与被拍摄物体相关的非RGB图像的中心位置不一致。例如，当图像传感器120设置于从附图所示位置起更靠近单一光学系统110的位置时，发生非RGB图像的中心位置以RGB图像的中心位置为基准而向右侧倾斜的现象，当图像传感器120设置于从附图所示的位置起更远离单一光学系统110的位置时，发生非RGB图像的中心位置以RGB图像的中心位置为基准而向左侧倾斜的现象。
多光圈相机系统利用如下原理可按数学式1计算RGB图像和非RGB图像间的视差p。以下，RGB图像和非RGB图像间的视差意味着RGB图像的中心位置与非RGB图像的中心位置间的视差(尤其是，RGB图像中与被拍摄物体相关区域的中心位置以及RGB图像中与被拍摄物体相关区域的中心位置间的视差)。
<数学式1>
在数学式1中，x表示第一光圈111的中心位置与第二光圈112的中心位置之间的距离，f表示焦距(自单一光学系统110起至对准被拍摄物体成像的焦平面的距离)，a表示被拍摄物体深度(自被拍摄物体起至单一光学系统110的第一主平面的距离)，a0表示在图像传感器120中焦点对准的被拍摄物体深度。
此时，当RGB图像的中心位置与非RGB图像的中心位置之间的视差p的值从正数转换为负数或从负数转换为正数时，两图像间的视差方向转换。因此，根据p的值的符号，具有边缘(edge)的被拍摄物体以焦点对准的位置为基准可被区分为是否在前景(foreground)或是否在背景(background)。
并且，从数学式1中被拍摄物体距离a可如数学式2被算出。
<数学式2>
在数学式2中，a0表示图像传感器120中焦点对准的被拍摄物体深度，f表示焦距，p表示RGB图像和非RGB图像之间的视差，x表示第一光圈111的中心位置与第二光圈112的中心位置之间的距离。
因此，图像传感器120与被拍摄物体之间的深度c如数学式3可被决定。
<数学式3>
c＝a+b
在数学式3中，a表示被拍摄物体深度(自被拍摄物体起至单一光学系统110的第一主平面的距离)，b表示单一光学系统110的第一主平面与图像传感器120之间的距离。
在此，第一光圈111和第二光圈112通过以图像传感器120的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向移位(offset)而具有互相错位中心位置的方式而形成，可适用用于决定深度的扫描线处理算法(此时，扫描线处理算法根据图像传感器120可按图像传感器120的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向而执行)。例如，可按图像传感器120的水平方向(X轴方向)、竖直方向(Y轴方向)或倾斜(oblique)方向(相对X轴与Y轴倾斜的方向)中的至少一个方向与连接第一光圈111的中心和第二光圈112的中心之线部的方向相一致的方式，来排序第一光圈111和第二光圈112。因此，第一光圈111和第二光圈112的移位方向与图像传感器120的水平方向、竖直方向或倾斜(oblique)方向中的至少一个方向之间的角度理想上设定为接近0，因此多光圈相机系统可很容易地适用扫描线处理算法。即，第一光圈111和第二光圈112可按具有沿图像传感器120适用的扫描线处理算法所进行的方向移位(offset)的中心位置的方式而形成。
此时，当第一光圈111和第二光圈112的移位方向与图像传感器120的水平方向之间的角度不设定为接近0时，多光圈相机系统通过扩大视差搜索区域，可适用扫描线处理算法。
根据一个实施例的多光圈相机系统以上述利用RGB图像和非RGB图像间的视差的原理为基准可决定与被拍摄物体相关的深度。与此相关的说明将在下述进行记载。
并且，根据另一实施例的多光圈相机系统除了利用上述RGB图像和非RGB图像之间的视差的原理，也可以引入互不相同波长带的光信号而获得的RGB图像和非RGB图像间的模糊大小的变化的原理为基准，决定与被拍摄物体相关的深度。利用模糊大小的变化决定深度的方式可使用现有的利用两个图像间的模糊大小的变化来决定深度的DFD技术。
图2是用于说明在一个实施例的多光圈相机系统中与根据对焦被拍摄物体距离之被拍摄物体相关的深度的精确度的示图。
如图2所示，若参考与自被拍摄物体起至单一光学系统的深度以及通过形成在单一光学系统的多个光圈而获得的图像间的视差(或模糊大小变化)相关的图表，当通过多个光圈的每一个获得的RGB图像和非RGB图像间的视差或模糊大小变化接近于0时(210)，自被拍摄物体起至单一光学系统的深度理想上可被最精确地获得。
即，由于通过多个光圈的每一个获得的RGB图像和非RGB图像间的视差或模糊大小变化接近于0的情况意味着图像传感器针对光学系统位于对焦被拍摄物体距离的情况(图像传感器位于自光学系统起关于被拍摄物体成像的焦点面之情况)，当图像传感器针对光学系统位于对焦被拍摄物体距离时，利用通过光学系统在图像传感器中获得的RGB图像和非RGB图像间的视差或模糊大小的变化，可决定最精确的深度。
因此，根据一个实施例的多光圈相机系统为了决定与被拍摄物体相关的精确深度，通过使光学系统针对图像传感器相对地配置在多个位置，可相对性地针对光学系统使图像传感器接近地位于对焦被拍摄物体距离，或针对光学系统使图像传感器分别位于多个对焦被拍摄物体距离。与此相关的详细说明将参考图3进行记载。
图3是用于说明一个实施例的多光圈相机系统的深度决定过程的示图。
参考图3，根据一个实施例的多光圈相机系统310通过移动光学系统311使其针对图像传感器312相对地配置在多个位置(P1、P2、P3)，通过形成在光学系统311的第一光圈(引入RGB光信号的光圈)和第二光圈(引入与RGB光信号不同波长带的非RGB光信号的光圈)，可获得针对图像传感器312与相对的多个位置(P1、P2、P3)相对应的多个图像组。以下，光学系统311为了配置在多个位置(P1、P2、P3)而进行移动意味着光学系统311以图像传感器312为基准为了相对地配置在多个位置(P1、P2、P3)针对图像传感器312相对地移动。
例如，多光圈相机系统310针对第一拍摄物体320通过移动光学系统311使其配置在P1位置、P2位置和P3位置，可获得光学系统311配置在P1位置时的P1图像组(P1-RGB图像和P1-非RGB图像)，获得光学系统311配置在P2位置时的P2图像组(P2-RGB图像和P2-非RGB图像)，并且可获得光学系统311配置在P3位置时的P3图像组(P3-RGB图像和P3-非RGB图像)。
同样的，多光圈相机系统310针对第二拍摄物体330通过移动光学系统311使其配置在P1位置、P2位置和P3位置，可获得光学系统311配置在P1位置时的P1图像组(P1-RGB图像和P1-非RGB图像)，获得光学系统311配置在P2位置时的P2图像组(P2-RGB图像和P2-非RGB图像)，并且可获得光学系统311配置在P3位置时的P3图像组(P3-RGB图像和P3-非RGB图像)。
此时，第一光圈和第二光圈参考图1所述，可在具有互相错位中心位置的光学系统311上形成，且光学系统311可意味着第一光圈和第二光圈全部可形成的单一光学系统。
对此，多光圈相机系统310通过计算多个图像组每一组中的视差，利用多个图像组每一组的视差可决定深度。在此，多个图像组每一组中的视差意味着包含在多个图像组每一组的RGB图像和非RGB图像间的视差。
具体来讲，多光圈相机系统310通过计算多个图像组每一组的相关度(correlation)，基于多个图像组每一组的相关度，利用多个图像组中至少一个组中的视差，可决定与被拍摄物体相关的深度。
例如，当为了使自光学系统311起有D1距离的第一被拍摄物体320与图像传感器312对焦，配置光学系统311的位置(具有对焦被拍摄物体距离情况的光学系统311的位置)是P1位置时，多光圈相机系统310在计算与第一被拍摄物体320相关的P1图像组中的相关度(P1-RGB图像以及P1-非RGB图像间的相关度)、P2图像组中的相关度(P2-RGB图像以及P2-非RGB图像间的相关度)和P3图像组中的相关度(P3-RGB图像以及P3-非RGB图像间的相关度)之后，基于P1图像组中的相关度、P2图像组中的相关度和P3图像组中的相关度，抽取具有最高相关度的P1图像组，利用抽取的P1图像组中的视差，可按具有与第一被拍摄物体320的实际距离即D1相接近的值之方式决定与第一被拍摄物体320相关的深度。以下，利用视差决定与被拍摄物体相关的深度的详细过程以参考图1记载的原理为基础课进行实施。与此相关的详细说明将参考图8进行更进一步的记载。
再例如，当为了使自光学系统311起有D1距离的第一被拍摄物体320与图像传感器312对焦，配置光学系统311的位置是P1位置时，多光圈相机系统310在计算与第一被拍摄物体320相关的P1图像组中的相关度、P2图像组中的相关度和P3图像组中的相关度之后，基于P1图像组中的相关度、P2图像组中的相关度和P3图像组中的相关度，可设定P1图像组的加权值、P2图像组的加权值和P3图像组的加权值。此时，由于P1图像组中的相关度最高，因此P1图像组的加权值被最高地设定，其次由于P2图像组中的相关度最高，因此将P2图像组的加权值设定为第二高，由于P3图像组中的相关度最低，因此将P3图像组的加权值设定为最低。因此，多光圈相机系统310根据在分别以P1图像组中的视差为基准计算的深度、以P2图像组中的视差为基准计算的深度和以P3图像组中的视差为基准计算的深度中分别适用设定的加权值的平均值(例如，基于在以P1图像组中的视差为基准计算的深度中适用的加权值、以P2图像组中的视差为基准计算的深度中适用的加权值和以P3图像组中的视差为基准计算的深度中适用的加权值而计算的平均值)，可决定与第一被拍摄物体320相关的深度。该情况，针对第一被拍摄物体320而被决定的深度将具有第一被拍摄物体320的实际距离即D1与D3间的值，尤其是，可具有第一被拍摄物体320的实际距离即接近于D1的值。
在此，多光圈相机系统310除了在利用多个图像组每一组中的视差而计算出的与第一被拍摄物体320相关的深度中适用加权值，通过在多个图像组每一组中的视差自身适用加权值，利用适用了加权值的多个图像组每一组中的视差，也可决定与第一被拍摄物体320相关的深度。
并且，多光圈相机系统310除了在以P1图像组中的视差为基准计算的深度、以P2图像组中的视差为基准计算的深度和以P3图像组中的视差为基准计算的深度中全部适用设定的加权值，通过抽取多个图像组中按高加权值设定的一部分图像组即P1图像组和P2图像组，根据在分别以抽取的P1图像组中的视差为基准计算的深度和以P2图像组中的视差为基准计算的深度中分别适用设定的加权值的平均值(例如，基于在以P1图像组中的视差为基准计算的深度中适用的加权值和以P2图像组中的视差为基准计算的深度中适用的加权值而计算的平均值)，可决定与第一被拍摄物体320相关的深度。该情况，针对第一被拍摄物体320而被决定的深度将具有第一被拍摄物体320的实际距离即D1与D2间的值，尤其是，可具有第一被拍摄物体320的实际距离即接近于D1的值。
再例如，当为了使自光学系统311起有D3距离的第二被拍摄物体330与图像传感器312对焦，配置光学系统311的位置(具有对焦被拍摄物体距离情况的光学系统311的位置)是P3位置时，多光圈相机系统310在计算与第二被拍摄物体330相关的P1图像组中的相关度、P2图像组中的相关度和P3图像组中的相关度之后，基于P1图像组中的相关度、P2图像组中的相关度和P3图像组中的相关度，抽取具有最高相关度的P3图像组，利用抽取的P3图像组中的视差，可按具有与第二被拍摄物体330的实际距离即D3相接近的值之方式决定与第二被拍摄物体330相关的深度。
同样的，当为了使自光学系统311起有D3距离的第二被拍摄物体330与图像传感器312对焦，配置光学系统311的位置是P3位置时，多光圈相机系统310在计算与第二被拍摄物体330相关的P1图像组中的相关度、P2图像组中的相关度和P3图像组中的相关度之后，基于P1图像组中的相关度、P2图像组中的相关度和P3图像组中的相关度，可设定P1图像组的加权值、P2图像组的加权值和P3图像组的加权值。此时，由于P1图像组中的相关度最低，因此P1图像组的加权值被最低地设定，其次由于P2图像组中的相关度最低，因此将P2图像组的加权值设定为第二低，由于P3图像组中的相关度最高，因此将P3图像组的加权值设定为最高。因此，多光圈相机系统310根据在分别以P1图像组中的视差为基准计算的深度、以P2图像组中的视差为基准计算的深度和以P3图像组中的视差为基准计算的深度中分别适用设定的加权值的平均值(例如，基于在以P1图像组中的视差为基准计算的深度中适用的加权值、以P2图像组中的视差为基准计算的深度中适用的加权值和以P3图像组中的视差为基准计算的深度中适用的加权值而计算的平均值)，可决定与第二被拍摄物体330相关的深度。该情况，针对第二被拍摄物体330而被决定的深度将具有第二被拍摄物体330的实际距离即D3与D1间的值，尤其是，可具有第二被拍摄物体330的实际距离即接近于D3的值。
并且，多光圈相机系统310通过抽取多个图像组中按高加权值设定的一部分图像组即P3图像组和P2图像组，根据在分别以抽取的P3图像组中的视差为基准计算的深度和以P2图像组中的视差为基准计算的深度中分别适用设定的加权值的平均值(例如，基于在以P3图像组中的视差为基准计算的深度中适用的加权值和以P2图像组中的视差为基准计算的深度中适用的加权值而计算的平均值)，可决定与第二被拍摄物体330相关的深度。该情况，针对第二被拍摄物体330而被决定的深度将具有第二被拍摄物体330的实际距离即D3与D2间的值，尤其是，可具有第二被拍摄物体320的实际距离即接近于D3的值。
如上所述，根据一个实施例的多光圈相机系统310移动光学系统311以配置在多个位置(P1、P2、P3)(产生扫描多个对焦被拍摄物体距离的效果)且利用获得的多个图像组，通过决定于被拍摄物体320和330的深度，与现有技术相比，可获得更精确的深度。
并且，根据另一实施例的多光圈相机系统通过移动光学系统以配置在多个位置(P1、P2、P3)，通过形成在光学系统的第一光圈(引入RGB光信号的光圈)和第二光圈(引入与RGB光信号不同波长带的非RGB光信号)，在获得与多个位置(P1、P2、P3)相对应的多个图像组后，利用多个图像组每一组中的模糊大小的变化，可决定深度。
具体来讲，根据另一实施例的多光圈相机系统通过计算多个图像组每一组的相关度，基于多个图像组每一组的相关度，利用多个图像组中至少一组中的模糊大小的变化，可决定与被拍摄物体相关的深度。
如此，根据利用多个图像组每一组中的模糊大小的变化决定深度的另一实施例的多光圈相机系统与根据一个实施例的多光圈相机系统310的唯一差别在于，在计算多个图像组中至少一组中的深度的过程中利用模糊大小的变化或视差中的哪一个，除此之外的过程全都可相同地进行，与此相关的详细说明将参考图9进行记载。
图4是示出根据一个实施例的多光圈相机系统的动作方法的流程图。
参考图4，根据一个实施例的多光圈相机系统移动由引入RGB光信号的第一光圈和引入与RGB光信号不同波长带的非RGB光信号的第二光圈构成的单一光学系统以配置在多个位置(410)。以下，为了将单一光学系统配置在多个位置而进行移动意味着为了以图像传感器为基准相对地配置在多个位置而针对图像传感器相对地移动单一光学系统。
在此，第一光圈和第二光圈可按具有互相错位的中心位置的形式而形成在单一光学系统上。例如，第一光圈和第二光圈可按具有沿图像传感器的水平方向、竖直方向或倾斜方向中任一方向移位的中心位置的形式而形成。
接着，多光圈相机系统通过配置在多个位置的单一光学系统所形成的第一光圈和第二光圈，分别引入RGB光信号和非RGB光信号(420)。
然后，多光圈相机系统与多个位置分别配置有单一光学系统相应答，获得与多个位置相对应的多个图像组(430)，其中多个图像组的每一组包括处理RGB光信号而获得的RGB图像和处理非RGB光信号而获得的非RGB图像。
之后，多光圈相机系统利用多个图像组每一组中的视差决定与被拍摄物体相关的深度。在此，多个图像组每一组的视差意味着多个图像组每一组所包括的RGB图像和非RGB图像间的视差。
此时，多光圈相机系统基于多个图像组每一组中的视差、第一光圈的中心位置和第二光圈中心位置间的距离、单一光学系统所配置的多个位置每一处相关的图像传感器对焦的被拍摄物体深度以及单一光学系统所配置的多个位置每一处相关的对焦距离，可计算自被拍摄物体起至单一光学系统的深度。
具体来讲，多光圈相机系统在计算多个图像组每一组的相关度后(440)，基于多个图像组每一组中的相关度，利用多个图像组中至少一组的视差，可决定与被拍摄物体相关的深度(450)。
例如，多光圈相机系统基于多个图像组每一组中的相关度，在选择多个图像组中具有最高相关度的任一图像组后，利用选择的任一图像组中的视差，可决定与被拍摄物体相关的深度。
并且，多光圈相机系统基于多个图像组每一组的相关度，通过设定与多个图像组每一组相关的加权值(460)，基于与多个图像组每一组相关的加权值，利用至少一组中的视差，可决定与被拍摄物体相关的深度(470)。
例如，多光圈相机系统基于多个图像组每一组中的相关度，设定与多个图像组每一组相关的加权值，且利用与多个图像组每一组中的视差，抽取与被拍摄物体相关的多个深度后，根据在多个深度每一个中适用加权值的平均值，可决定与被拍摄物体相关的深度。
更具体示例来讲，多光圈相机系统基于与多个图像组每一组相关的加权值，选择多个图像组一部分图像组，且利用选择的一部分组的每一组中的视差，在抽取与被拍摄物体相关的多个深度后，根据向多个深度每一个适用加权值的平均值，可决定与被拍摄物体相关的深度。
图5是示出根据一个实施例的多光圈相机系统的框图。
参考图5，一个实施例的多光圈相机系统包括单一光学系统510、图像传感器520和深度决定部530。
单一光学系统510形成有引入RGB光信号的第一光圈和引入与RGB光信号不同波长带的非RGB光信号的第二光圈，且可移动被配置在多个位置。以下，单一光学系统为了配置在多个位置而进行移动意味着单一光学系统以图像传感器为基准为了相对地配置在多个位置针对图像传感器相对地移动。
具体来讲，单一光学系统510根据距离决定部511的控制，以图像传感器520为基准，通过移动而配置在多个位置，可将图像传感器520和单一光学系统510间的距离决定为多个距离。
在此，第一光圈和第二光圈可按具有互相错位中心位置的形式形成在单一光学系统510上。例如，第一光圈和第二光圈可按具有沿图像传感器520的水平方向、竖直方向或倾斜方向中至少一个方向移位的中心位置而形成。
图像传感器520与多个位置分别配置有单一光学系统510相应答，获得与多个位置相对应的多个图像组，其中多个图像组的每一组包括处理RGB光信号而获得的RGB图像和处理非RGB光信号而获得的非RGB图像。
深度决定部530计算多个图像组每一组中的视差，利用多个图像组每一组中的视差决定与被拍摄物体相关的深度。多个图像组每一组的视差意味着多个图像组每一组所包括的RGB图像和非RGB图像间的视差。
此时，深度决定部530基于多个图像组每一组中的视差、第一光圈的中心位置和第二光圈中心位置间的距离、单一光学系统510所配置的多个位置每一处相关的图像传感器520对焦的被拍摄物体深度以及单一光学系统510所配置的多个位置每一处相关的对焦距离，可计算自被拍摄物体起至单一光学系统510的深度。
具体来讲，深度决定部530在计算多个图像组每一组的相关度后，基于多个图像组每一组中的相关度，利用多个图像组中至少一组的视差，可决定与被拍摄物体相关的深度。
例如，深度决定部530基于多个图像组每一组中的相关度，在选择多个图像组中具有最高相关度的任一图像组后，利用选择的任一图像组中的视差，可决定与被拍摄物体相关的深度。
再例如，深度决定部530基于多个图像组每一组中的相关度，设定与多个图像组每一组相关的加权值，且利用与多个图像组每一组中的视差，通过深度抽取部531抽取与被拍摄物体相关的多个深度后，根据在多个深度每一个中适用加权值的平均值，可决定与被拍摄物体相关的深度。
更具体示例来讲，深度决定部530基于与多个图像组每一组相关的加权值，选择多个图像组一部分图像组，且利用选择的一部分组的每一组中的视差，通过深度抽取部531在抽取与被拍摄物体相关的多个深度后，根据向多个深度每一个适用加权值的平均值，可决定与被拍摄物体相关的深度。
在附图中，距离决定部511、深度抽取部531和深度决定部530虽然按配置在多光圈相机系统外部的方式进行了图示，但其并不局限或限定于此，也可配置在多光圈相机系统内部。并且，距离决定部511和深度抽取部531也可适应地包含在深度决定部530或图像传感器520中而进行配置。
图6是示出根据另一个实施例的多光圈相机系统的动作方法的流程图。
参考图6，根据另一个实施例的多光圈相机系统移动由引入RGB光信号的第一光圈和引入与RGB光信号不同波长带的非RGB光信号的第二光圈构成的单一光学系统以配置在多个位置(610)。以下，为了将单一光学系统配置在多个位置而进行移动意味着为了以图像传感器为基准相对地配置在多个位置而针对图像传感器相对地移动单一光学系统。
在此，第一光圈和第二光圈可形成在一个滤光镜上，但其并不局限或限定于此，针对一个透镜也可分别形成在互不相同的滤光镜上。
接着，多光圈相机系统通过配置在多个位置的单一光学系统所形成的第一光圈和第二光圈，分别引入RGB光信号和非RGB光信号(620)。
然后，多光圈相机系统与多个位置分别配置有单一光学系统相应答，获得与多个位置相对应的多个图像组(630)，其中多个图像组的每一组包括处理RGB光信号而获得的RGB图像和处理非RGB光信号而获得的非RGB图像。
之后，多光圈相机系统利用多个图像组每一组中的模糊大小的变化决定与被拍摄物体相关的深度。
具体来讲，多光圈相机系统在计算多个图像组每一组的相关度后(640)，基于多个图像组每一组中的相关度，利用多个图像组中至少一组中的模糊大小的变化，可决定与被拍摄物体相关的深度(650)。
例如，多光圈相机系统基于多个图像组每一组中的相关度，在选择多个图像组中具有最高相关度的任一图像组后，利用选择的任一图像组中的模糊大小的变化，可决定与被拍摄物体相关的深度。
并且，多光圈相机系统基于多个图像组每一组的相关度，通过设定与多个图像组每一组相关的加权值(660)，基于与多个图像组每一组相关的加权值，利用至少一组中的模糊大小的变化，可决定与被拍摄物体相关的深度(670)。
例如，多光圈相机系统基于多个图像组每一组中的相关度，设定与多个图像组每一组相关的加权值，且利用与多个图像组每一组中的模糊大小的变化，抽取与被拍摄物体相关的多个深度后，根据在多个深度每一个中适用加权值的平均值，可决定与被拍摄物体相关的深度。
更具体示例来讲，多光圈相机系统基于与多个图像组每一组相关的加权值，选择多个图像组一部分图像组，且利用选择的一部分组的每一组中的模糊大小的变化，在抽取与被拍摄物体相关的多个深度后，根据向多个深度每一个适用加权值的平均值，可决定与被拍摄物体相关的深度。
图7是示出根据另一个实施例的多光圈相机系统的框图。
参考图7，一个实施例的多光圈相机系统包括光学系统710、图像传感器720和深度决定部730。
光学系统710形成有引入RGB光信号的第一光圈和引入与RGB光信号不同波长带的非RGB光信号的第二光圈，且可移动被配置在多个位置。以下，光学系统为了配置在多个位置而进行移动意味着光学系统以图像传感器为基准为了相对地配置在多个位置针对图像传感器相对地移动。
具体来讲，光学系统710根据距离决定部711的控制，以图像传感器720为基准，通过移动而配置在多个位置，可将图像传感器720和光学系统710间的距离决定为多个距离。
在此，第一光圈和第二光圈可形成在单一光学系统上，但其并不局限或限定于此，针对一个透镜也可分别形成在互不相同的滤光镜上。
图像传感器720与多个位置分别配置有光学系统710相应答，获得与多个位置相对应的多个图像组，其中多个图像组的每一组包括处理RGB光信号而获得的RGB图像和处理非RGB光信号而获得的非RGB图像。
深度决定部730利用多个图像组每一组中的模糊大小的变化决定与被拍摄物体相关的深度。
具体来讲，深度决定部730在计算多个图像组每一组的相关度后，基于多个图像组每一组中的相关度，利用多个图像组中至少一组的模糊大小的变化，可决定与被拍摄物体相关的深度。
例如，深度决定部730基于多个图像组每一组中的相关度，在选择多个图像组中具有最高相关度的任一图像组后，利用选择的任一图像组中的模糊大小的变化，可决定与被拍摄物体相关的深度。
再例如，深度决定部730基于多个图像组每一组中的相关度，设定与多个图像组每一组相关的加权值，且利用与多个图像组每一组中的模糊大小的变化，通过深度抽取部731抽取与被拍摄物体相关的多个深度后，根据在多个深度每一个中适用加权值的平均值，可决定与被拍摄物体相关的深度。
更具体示例来讲，深度决定部730基于与多个图像组每一组相关的加权值，选择多个图像组一部分图像组，且利用选择的一部分组的每一组中的模糊大小的变化，通过深度抽取部731在抽取与被拍摄物体相关的多个深度后，根据向多个深度每一个适用加权值的平均值，可决定与被拍摄物体相关的深度。
在附图中，距离决定部711、深度抽取部731和深度决定部730虽然按配置在多光圈相机系统外部的方式进行了图示，但其并不局限或限定于此，也可配置在多光圈相机系统内部。并且，距离决定部711和深度抽取部731也可适应地包含在深度决定部730或图像传感器720中而进行配置。
图8是用于说明一个实施例的多光圈相机系统的深度决定原理的示图。
参考图8，根据一个实施例的多光圈相机系统包括由第一光圈811和第二光圈812形成的单一光学系统810和图像传感器820。在此，第一光圈811和第二光圈812分别引入RGB光信号和非RGB光信号，且按具有互相错位中心位置的形式而形成。
此时，第一光圈811和第二光圈812各个的中心位置间的距离b、通过第一光圈811和第二光圈812在图像传感器820中获得的RGB图像和非RGB图像间的视差D、被拍摄物体与单一光学系统810间的深度d以及单一光学系统810与图像传感器820间的距离c之间可设立一定的比例关系。
例如，随着第一光圈811和第二光圈822每一个的中心位置间的距离b变大，RGB图像和非RGB图像间的视差D也变大，且根据第一光圈811和第二光圈812各个的中心位置间的距离b与RGB图像和非RGB图像间的视差D的比例，被拍摄物体和单一光学系统810间的深度d与单一光学系统810和图像传感器820间的距离c的比例可被决定。
因此，根据一个实施例的多光圈相机系统如上所述，利用RGB图像和非RGB图像间的视差D，可决定被拍摄物体与单一光学系统810间的深度d。
虽然未以另外的附图进行图示，但包括透镜的多光圈相机系统也同样地，在第一光圈和第二光圈各个的中心位置间的距离b、通过第一光圈和第二光圈在图像传感器中获得的RGB图像和非RGB图像间的视差D、被拍摄物体与单一光学系统间的深度d以及单一光学系统与图像传感器间的距离c之间可设立一定的比例关系。
图9是用于说明另一个实施例的多光圈相机系统的深度决定原理的示图。
参考图9，根据另一个实施例的多光圈相机系统包括由第一光圈911和第二光圈912形成的光学系统910和图像传感器920。在此，第一光圈911和第二光圈912分别引入RGB光信号和非RGB光信号而形成。
此时，第一光圈911的直径b、通过第一光圈911和第二光圈912在图像传感器920中获得的RGB图像和非RGB图像间的模糊大小D、被拍摄物体与光学系统910间的深度d以及光学系统910与图像传感器920间的距离c之间可设立一定的比例关系。
例如，随着第一光圈911的直径b变大，RGB图像和非RGB图像间的模糊大小D也变大，且根据第一光圈911的直径b与RGB图像和非RGB图像间的模糊大小D的比例，被拍摄物体和光学系统910间的深度d与光学系统910和图像传感器920间的距离c的比例可被决定。
因此，根据另一个实施例的多光圈相机系统如上所述，利用RGB图像和非RGB图像间的模糊大小D，可决定被拍摄物体与光学系统910间的深度d。
虽然未以另外的附图进行图示，但包括透镜的多光圈相机系统也同样地，在第一光圈的直径b、通过第一光圈和第二光圈在图像传感器中获得的RGB图像和非RGB图像间的模糊大小D、被拍摄物体与单一光学系统间的深度d以及光学系统与图像传感器间的距离c之间可设立一定的比例关系。
如上所述，虽然根据实施例所限定的实施例和附图进行了说明，但对本技术领域具有一般知识的技术人员来说能从上述的记载中进行各种修改和变形。例如，根据与说明的技术中所说明的方法相不同的顺序来进行，和/或根据与说明的系统、结构、装置、电路等构成要素所说明的方法相不同的形态进行结合或组合，或根据其他构成要素或均等物进行替换或置换也可达成适当的效果。
因此，其他具体体现、其他实施例以及与权利要求范围相均等的都属于所述的权利要求所保护的范围。

Claims (12)

1.一种多光圈相机系统，作为通过对焦距离扫描提高深度精确度的多光圈相机系统，包括：
单一光学系统，形成有引入RGB光信号的第一光圈和引入与所述RGB光信号不同波长带的非RGB光信号的第二光圈，并且以图像传感器为基准，按相对地配置在多个位置的方式进行移动；
图像传感器，与所述单一光学系统以所述图像传感器为基准相对地配置在所述多个位置的每一处相应答，获得与所述多个位置相对应的多个图像组，其中，所述多个图像组每一组包括处理所述RGB光信号获得的RGB图像和处理所述非RGB光信号获得的非RGB图像；以及
深度决定部，计算所述多个图像组每一组中的视差，并且利用所述多个图像组每一组中的视差，决定与被拍摄物体相关的深度，
其中，所述第一光圈和所述第二光圈以具有互相错位的中心位置的方式形成在所述单一光学系统上。
2.如权利要求1所述的多光圈相机系统，其特征在于，所述深度决定部，计算所述多个图像组每一组中的相关度，基于所述多个图像组每一组中的相关度，利用所述多个图像组中至少一组中的视差，决定与所述被拍摄物体相关的深度。
3.如权利要求2所述的多光圈相机系统，其特征在于，所述深度决定部，基于所述多个图像组每一组中的相关度，在所述多个图像组中选择具有最高相关度的一个图像组，并且利用所述选择的一个图像组中的视差，决定与所述被拍摄物体相关的深度。
4.如权利要求2所述的多光圈相机系统，其特征在于，所述深度决定部，基于所述多个图像组每一组中的相关度，设定与所述多个图像组每一组相关的加权值，并且利用所述多个图像组每一组中的视差，抽取与所述被拍摄物体相关的多个深度，根据在所述多个深度每一个中适用了所述加权值的平均值，决定与所述被拍摄物体相关的深度。
5.如权利要求4所述的多光圈相机系统，其特征在于，所述深度决定部，基于与所述多个图像组每一组相关的加权值，在所述多个图像组中选择一部分图像组，并且利用所述选择的一部分图像组每一组中的视差，抽取与所述被拍摄物体相关的多个深度，根据在所述多个深度每一个中适用了所述加权值的平均值，决定与所述被拍摄物体相关的深度。
6.如权利要求1所述的多光圈相机系统，其特征在于，所述深度决定部，基于所述多个图像组每一组中的视差、所述第一光圈的中心位置和所述第二光圈的中心位置间的距离、所述单一光学系统所配置的所述多个位置每一处相关的所述图像传感器对焦的被拍摄物体深度以及所述单一光学系统所配置的所述多个位置每一处相关的对焦距离，计算自所述被拍摄物体起至所述单一光学系统的深度。
7.如权利要求1所述的多光圈相机系统，其特征在于，所述多个图像组每一组中的视差是所述多个图像组每一组包括的所述RGB图像和所述非RGB图像间的视差。
8.如权利要求1所述的多光圈相机系统，其特征在于，所述第一光圈和所述第二光圈按具有沿所述图像传感器的水平方向、竖直方向或倾斜方向中至少一个方向移位的中心位置而形成。
9.一种多光圈相机系统，作为通过对焦距离扫描提高深度精确度的多光圈相机系统，包括：
光学系统，形成有引入RGB光信号的第一光圈和引入与所述RGB光信号不同波长带的非RGB光信号的第二光圈，并且以图像传感器为基准，按相对地配置在多个位置的方式进行移动；
图像传感器，与所述光学系统以所述图像传感器为基准相对地配置在所述多个位置的每一处相应答，获得与所述多个位置相对应的多个图像组，其中，所述多个图像组每一组包括处理所述RGB光信号获得的RGB图像和处理所述非RGB光信号获得的非RGB图像；以及
深度决定部，利用所述多个图像组每一组中的模糊大小的变化，决定与被拍摄物体相关的深度。
10.如权利要求9所述的多光圈相机系统，其特征在于，所述深度决定部，计算所述多个图像组每一组中的相关度，基于所述多个图像组每一组中的相关度，利用所述多个图像组中至少一组中的模糊大小的变化，决定与所述被拍摄物体相关的深度。
11.一种多光圈相机系统的动作方法，作为通过对焦距离扫描提高深度精确度的多光圈相机系统的动作方法，包括如下步骤：
以图像传感器为基准，将单一光学系统按相对地配置在多个位置的方式进行移动，所述单一光学系统形成有引入RGB光信号的第一光圈和引入与所述RGB光信号不同波长带的非RGB光信号的第二光圈；
通过形成在所述单一光学系统的所述第一光圈和所述第二光圈，分别引入所述RGB光信号和所述非RGB光信号，所述单一光学系统以所述图像传感器为基准相对地配置在所述多个位置的每一处；
与所述单一光学系统配置在所述多个位置的每一处相应答，获得与所述多个位置相对应的多个图像组，其中，所述多个图像组每一组包括处理所述RGB光信号获得的RGB图像和处理所述非RGB光信号获得的非RGB图像；以及
利用所述多个图像组每一组中的视差，决定与被拍摄物体相关的深度，
其中，所述第一光圈和所述第二光圈以具有互相错位的中心位置的方式形成在所述单一光学系统上。
12.如权利要求11所述的多光圈相机系统的动作方法，其特征在于，所述决定与被拍摄物体相关的深度的步骤，包括如下步骤：
计算所述多个图像组每一组中的相关度；和
基于所述多个图像组每一组中的相关度，利用所述多个图像组中至少一组中的视差，决定与所述被拍摄物体相关的深度。
CN201611170377.7A 2015-12-17 2016-12-16 利用对焦距离扫描提高深度精确度的多光圈相机系统 Expired - Fee Related CN106973199B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150181137A KR101684194B1 (ko) 2015-12-17 2015-12-17 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템
KR10-2015-0181137 2015-12-17

Publications (2)

Publication Number Publication Date
CN106973199A true CN106973199A (zh) 2017-07-21
CN106973199B CN106973199B (zh) 2020-12-04

Family

ID=57573340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611170377.7A Expired - Fee Related CN106973199B (zh) 2015-12-17 2016-12-16 利用对焦距离扫描提高深度精确度的多光圈相机系统

Country Status (3)

Country Link
US (1) US10623719B2 (zh)
KR (1) KR101684194B1 (zh)
CN (1) CN106973199B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110460785A (zh) * 2018-05-08 2019-11-15 财团法人多次元智能It融合系统 摄像头系统及补偿颜色混合的方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019015575A (ja) * 2017-07-05 2019-01-31 株式会社東芝 画像処理装置、測距装置および処理システム
CN109688321B (zh) * 2018-11-21 2021-09-07 惠州Tcl移动通信有限公司 电子设备及其图像显示方法、具有存储功能的装置
CN110602381B (zh) * 2019-08-26 2020-10-13 腾讯科技（深圳）有限公司 景深检测方法、装置、存储介质及终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070188601A1 (en) * 2006-02-13 2007-08-16 Janos Rohaly Three-channel camera systems with non-collinear apertures
US20130033578A1 (en) * 2010-02-19 2013-02-07 Andrew Augustine Wajs Processing multi-aperture image data
CN104166987A (zh) * 2014-07-08 2014-11-26 哈尔滨师范大学 一种基于改进的自适应加权和置信度传播的视差估计方法
CN204269898U (zh) * 2014-10-31 2015-04-15 高准精密工业股份有限公司 组合式透镜模组以及应用此模组的摄像感测组件
WO2015152423A1 (ja) * 2014-04-04 2015-10-08 株式会社ニコン 撮像素子、撮像装置および画像処理装置
US20160018574A1 (en) * 2014-07-15 2016-01-21 Center For Integrated Smart Sensors Foundation Dual Aperture Camera with Improved Color Gamut and Operating Method of Thereof
CN106982312A (zh) * 2015-11-23 2017-07-25 财团法人多次元智能It融合系统 多光圈相机系统及其操作方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160042522A1 (en) * 2010-02-19 2016-02-11 Dual Aperture International Co. Ltd. Processing Multi-Aperture Image Data
US9514522B2 (en) * 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
KR20150137169A (ko) * 2014-05-28 2015-12-09 재단법인 다차원 스마트 아이티 융합시스템 연구단 위치가 변경된 핀 홀을 포함하는 듀얼 애퍼처 카메라
KR20150137170A (ko) * 2014-05-28 2015-12-09 재단법인 다차원 스마트 아이티 융합시스템 연구단 수직 집적 셀 구조를 갖는 듀얼 애퍼처 카메라
KR101575964B1 (ko) * 2014-07-01 2015-12-11 재단법인 다차원 스마트 아이티 융합시스템 연구단 듀얼 애퍼처 카메라의 센서 어레이
WO2016003253A1 (en) * 2014-07-04 2016-01-07 Samsung Electronics Co., Ltd. Method and apparatus for image capturing and simultaneous depth extraction
US10114545B2 (en) * 2014-09-03 2018-10-30 Intel Corporation Image location selection for use in depth photography system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070188601A1 (en) * 2006-02-13 2007-08-16 Janos Rohaly Three-channel camera systems with non-collinear apertures
US20130033578A1 (en) * 2010-02-19 2013-02-07 Andrew Augustine Wajs Processing multi-aperture image data
WO2015152423A1 (ja) * 2014-04-04 2015-10-08 株式会社ニコン 撮像素子、撮像装置および画像処理装置
CN104166987A (zh) * 2014-07-08 2014-11-26 哈尔滨师范大学 一种基于改进的自适应加权和置信度传播的视差估计方法
US20160018574A1 (en) * 2014-07-15 2016-01-21 Center For Integrated Smart Sensors Foundation Dual Aperture Camera with Improved Color Gamut and Operating Method of Thereof
CN204269898U (zh) * 2014-10-31 2015-04-15 高准精密工业股份有限公司 组合式透镜模组以及应用此模组的摄像感测组件
CN106982312A (zh) * 2015-11-23 2017-07-25 财团法人多次元智能It融合系统 多光圈相机系统及其操作方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MANUEL MARTINELLO等: "Dual Aperture Photography: Image and Depth from a Mobile Camera", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL PHOTOGRAPHY (ICCP)》 *
S LEE等: "Distance estimation using a single computational camera with dual off-axis color filtered apertures", 《OPTICS EXPRESS》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110460785A (zh) * 2018-05-08 2019-11-15 财团法人多次元智能It融合系统 摄像头系统及补偿颜色混合的方法

Also Published As

Publication number Publication date
KR101684194B1 (ko) 2016-12-07
US10623719B2 (en) 2020-04-14
CN106973199B (zh) 2020-12-04
US20170180710A1 (en) 2017-06-22

Similar Documents

Publication Publication Date Title
CN107105141B (zh) 图像传感器、图像处理方法、成像装置和移动终端
CN110036410B (zh) 用于从视图中获得距离信息的设备和方法
CN102227746B (zh) 立体图像处理装置、方法和立体成像设备
CN103986854B (zh) 图像处理设备、摄像设备和控制方法
JP6916415B2 (ja) 画像処理装置、撮像装置
CN108141571A (zh) 无掩模相位检测自动聚焦
US10708486B2 (en) Generation of a depth-artificial image by determining an interpolated supplementary depth through interpolation based on the original depths and a detected edge
CN107077743A (zh) 用于阵列相机的动态校准的系统和方法
CN106462956A (zh) 局部自适应直方图均衡
CN106973199A (zh) 利用对焦距离扫描提高深度精确度的多光圈相机系统
CN109064505B (zh) 一种基于滑动窗口张量提取的深度估计方法
CN104641624B (zh) 图像处理装置、摄像装置及图像处理方法
CN103828361A (zh) 图像处理装置、方法、程序和记录介质，立体图像获取装置，便携式电子设备，打印机和立体图像播放器装置
CN106982312A (zh) 多光圈相机系统及其操作方法
CN103905726B (zh) 摄像装置及其控制方法
CN105258673B (zh) 一种基于双目合成孔径聚焦图像的目标测距方法、装置
WO2018147059A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN104641275B (zh) 成像控制装置、成像设备和成像控制装置执行的控制方法
CN109059868A (zh) 一种基于自适应匹配窗口的双目测距方法
CN111108742A (zh) 信息处理装置、信息处理方法、程序以及可互换透镜
CN108476295A (zh) 离焦图像组合
CN109714530A (zh) 一种航空相机图像调焦方法
CN106780326A (zh) 一种提高全景图像清晰度的融合方法
CN103621078A (zh) 图像处理装置和图像处理程序

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210316

Address after: Han Guodatianshi

Patentee after: Dykes Lane Ltd.

Address before: 291 Korean Road, Rucheng District, Daejeon, Korea

Patentee before: CENTER FOR INTEGRATED SMART SENSORS FOUNDATION

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201204

CF01 Termination of patent right due to non-payment of annual fee