CN107024817A - 多光圈相机系统及其动作方法 - Google Patents

多光圈相机系统及其动作方法 Download PDF

Info

Publication number
CN107024817A
CN107024817A CN201610818445.XA CN201610818445A CN107024817A CN 107024817 A CN107024817 A CN 107024817A CN 201610818445 A CN201610818445 A CN 201610818445A CN 107024817 A CN107024817 A CN 107024817A
Authority
CN
China
Prior art keywords
aperture
image
window
scan line
camera systems
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610818445.XA
Other languages
English (en)
Inventor
庆宗旻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juridical Person Is First Intelligent It Emerging System Repeatedly
Center for Integrated Smart Sensors Foundation
Original Assignee
Juridical Person Is First Intelligent It Emerging System Repeatedly
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150164226A external-priority patent/KR101605292B1/ko
Priority claimed from KR1020160012382A external-priority patent/KR101672669B1/ko
Application filed by Juridical Person Is First Intelligent It Emerging System Repeatedly filed Critical Juridical Person Is First Intelligent It Emerging System Repeatedly
Publication of CN107024817A publication Critical patent/CN107024817A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00—Exposure-making shutters; Diaphragms
    • G03B9/02—Diaphragms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种多光圈相机系统及其动作方法，包括：第一光圈，引入RGB光信号；第二光圈，区别于所述第一光圈，引入与所述RGB光信号不同波长带的光信号；图像传感器，处理经由所述第一光圈引入的所述RGB光信号来获取第一图像，且处理经由所述第二光圈引入的与所述RGB光信号不同波长带的光信号来获取第二图像；多个帧缓冲器，分别存储所述第一图像和所述第二图像；以及扫描线处理单元，按扫描线方式处理所述第一图像和所述第二图像，决定所述第一图像和所述第二图像的至少任一个像素的深度，其中，所述第一光圈和所述第二光圈以沿所述图像传感器的水平方向移位而具有互相错位的中心位置的方式形成在单一光学系统上。

Description

多光圈相机系统及其动作方法
技术领域
下述实施例涉及一种利用扫描线方式(scanline processing)的多光圈相机系统，更具体来讲，其是一种在利用视差(disparity)决定深度的多光圈相机系统中适用扫描线方式来处理图像的技术。
背景技术
现有的利用通过多个光圈获取的图像之间的视差来决定与被拍摄物体相关的深度的技术在两个光学系统中的每一个设置光圈和图像传感器，通过两个光学系统的每个光圈，利用图像传感器中获取的图像之间的视差来决定与被拍摄物体相关的深度。因此，现有的利用通过多个光圈获取的图像之间的视差的技术在立体相机系统中被使用。
这种现有的立体相机系统由于使用两个光学系统每一个的光圈，存在难以适用于小型化相机模块且制造成本上升并且需要追加的校准(calibration)过程的缺点，而且存在因校准误差而不能计算准确的深度的问题。
并且，现有的立体相机系统由于在两个光学系统中分开配置多个光圈，因此存在为了决定深度不能按硬件性综合处理通过多个光圈获取的图像的缺点，并且由于仅能通过软件性处理通过多个光圈获取的图像，存在深度决定过程的复杂度增加的问题。
因此，为了解决现有的立体相机系统的缺点和问题，下述实施例建议了一种利用扫描线方式的多光圈相机系统。
发明内容
一个实施例为了解决现有的立体相机系统的缺点和问题，按照以图像传感器的水平方向移位(offset)而具有互相错位中心位置的方式，利用硬件性技术来处理通过形成在单一光学系统上的多个光圈而获取的图像，提供了一种决定与被拍摄物体相关的至少任一个像素中的深度的多光圈相机系统及其动作方法。
具体来讲，一个实施例按照以图像传感器的水平方向移位(offset)而具有互相错位中心位置的方式，按扫描线方式来处理通过形成在单一光学系统上的多个光圈而获取的图像，提供了一种决定与被拍摄物体相关的至少任一个像素中的深度的多光圈相机系统及其动作方法。
并且，一个实施例提供了一种多光圈相机系统及其动作方法，在按扫描线方式处理通过第一光圈获取的第一图像和通过第二光圈获取的第二图像的过程中，将以包括第一图像的至少任意一个像素的方式而设定的源图案窗口以及在第二图像中搜索搜索范围窗口的区域而设定的多个目标图案窗口的高度和宽度按多个值进行变更，且搜索多个目标图案窗口。
并且，一个实施例按照以图像传感器的水平方向移位(offset)的方式排序第一光圈和第二光圈，通过容易地适用扫描线方式，提供了一种大幅度改善演算复杂度的多光圈相机系统及其动作方法。
并且，一个实施例通过第一光圈在不损伤RGB光信号的情况下而进行引入，提供了一种即使不经过额外的图像信号处理过程，也能按低复杂度获取高质量的RGB图像的多光圈相机系统及其动作方法。
并且，一个实施例提供了一种多光圈相机系统及其动作方法，将形成有第一光圈和第二光圈的单一光学系统按针对图像传感器相对配置在多个位置的方式进行移动，且利用获取的多个图像组每一个中的视差来决定与被拍摄物体相关的至少任意一个像素中的深度。
根据一个实施例，一种利用扫描线方式的多光圈相机系统，包括：第一光圈，引入RGB光信号；第二光圈，区别于所述第一光圈，引入与所述RGB光信号不同波长带的光信号；图像传感器，处理经由所述第一光圈引入的所述RGB光信号来获取第一图像，且处理经由所述第二光圈引入的与所述RGB光信号不同波长带的光信号来获取第二图像；多个帧缓冲器，分别存储所述第一图像和所述第二图像；以及扫描线处理单元，按扫描线方式处理所述第一图像和所述第二图像，决定所述第一图像和所述第二图像的至少任一个像素的深度，其中，所述第一光圈和所述第二光圈以沿所述图像传感器的水平方向移位而具有互相错位的中心位置的方式形成在单一光学系统上。
所述扫描线处理单元包括：扫描线缓冲器，存储适用于所述第一图像的扫描线窗口以及适用于所述第二图像的扫描线窗口；源图案缓冲器，存储按在适用于所述第一图像的扫描线窗口中包括至少任一个像素而设定的源图案窗口；搜索范围缓冲器，存储在适用于所述第二图像的扫描线窗口中基于所述源图案窗口设定的搜索范围窗口；目标图案缓冲器，存储在所述搜索范围窗口中被搜索的多个目标图案窗口；以及处理器，控制所述多个帧缓冲器、所述扫描线缓冲器、所述源图案缓冲器、所述搜索范围缓冲器以及所述目标图案缓冲器的动作，就所述多个目标图案窗口的每一个，针对所述源图案窗口执行图像图案映射进而计算所述多个目标图案窗口与所述源图案窗口之间的相关度，利用所述多个目标图案窗口中最大化所述相关度的任一个目标图案窗口与所述源图案窗口之间的视差决定所述至少任一个像素的深度。
所述处理器基于所述第一光圈和所述第二光圈移位的方向与所述图像传感器的水平方向之间的排序误差角度，搜索所述搜索范围窗口的区域，进而设定所述多个目标图案窗口。
所述处理器沿水平方向和竖直方向搜索所述搜索范围窗口的区域，进而设定所述多个目标图案窗口。
所述处理器基于所述第一光圈和所述第二光圈移位的方向与所述图像传感器的水平方向之间的排序误差角度、根据所述第一光圈的中心位置与所述第二光圈的中心位置互相错位而在所述第一图像和所述第二图像之间发生的最大视差以及所述源图案窗口的高度设定所述扫描线窗口的高度，且基于所述第一图像和所述第一图像的宽度设定所述扫描线窗口的宽度。
所述处理器基于所述第一光圈和所述第二光圈移位的方向与所述图像传感器的水平方向之间的排序误差角度、根据所述第一光圈的中心位置与所述第二光圈的中心位置互相错位而在所述第一图像和所述第二图像之间发生的最大视差以及所述源图案窗口的宽度设定所述搜索范围窗口的宽度，且基于所述扫描线窗口的高度设定所述搜索范围窗口的高度。
所述处理器将所述源图案窗口和所述多个目标图案窗口的高度和宽度按多个值进行变更，且搜索所述搜索范围窗口的区域，进而设定所述多个目标图案窗口。
所述处理器在适用于所述第一图像的扫描线窗口中针对除了预先设定的边界区域的余下区域决定所述源图案窗口。
所述处理器针对所述至少任一个像素按能执行所述图像图案映射的方式决定所述源图案窗口的高度和宽度。
所述处理器基于所述源图案的高度和宽度决定所述多个目标图案窗口每一个的高度和宽度。
所述扫描线处理单元进一步包括：深度帧缓冲器，存储所述至少任一个的像素中的深度。
所述处理器利用类似或非类似矩阵，计算所述多个目标图案窗口与所述源图案窗口之间的相关度。
所述处理器针对所述第一图像和所述第二图像每一个的竖直方向，按顺序地适用所述扫描线窗口。
根据一个实施例，一种利用扫描线方式的多光圈相机系统的动作方法，包括如下步骤：通过第一光圈引入RGB光信号；通过区别于所述第一光圈的第二光圈，引入与所述RGB光信号不同波长带的光信号；在图像传感器中，分别处理经由所述第一光圈引入的所述RGB光信号和经由所述第二光圈引入的与所述RGB光信号不同波长带的光信号，获取第一图像和第二图像；以及在扫描线处理单元中，按扫描线方式处理所述第一图像和所述第二图像，决定所述第一图像和所述第二图像的至少一个像素中的深度，其中，所述第一光圈和所述第二光圈以沿所述图像传感器的水平方向移位而具有互相错位的中心位置的方式形成在单一光学系统上。
所述决定所述至少任一个像素中的深度的步骤包括如下步骤：按在适用于所述第一图像的扫描线窗口中包括至少任一个像素而设定源图案窗口；在适用于所述第二图像的扫描线窗口中基于所述源图案窗口设定搜索范围窗口；在所述搜索范围窗口中搜索多个目标图案窗口；就所述多个目标图案窗口的每一个，针对所述源图案窗口执行图像图案映射进而计算所述多个目标图案窗口与所述源图案窗口之间的相关度；以及利用所述多个目标图案窗口中最大化所述相关度的任一个目标图案窗口与所述源图案窗口之间的视差决定所述至少任一个像素的深度。
在所述搜索范围窗口中搜索多个目标图案窗口的步骤包括：基于所述第一光圈和所述第二光圈移位的方向与所述图像传感器的水平方向之间的排序误差角度，搜索所述搜索范围窗口的区域，进而设定所述多个目标图案窗口。
决定所述至少任一个像素的深度的步骤进一步包括如下步骤：基于所述第一光圈和所述第二光圈移位的方向与所述图像传感器的水平方向之间的排序误差角度、根据所述第一光圈的中心位置与所述第二光圈的中心位置互相错位而在所述第一图像和所述第二图像之间发生的最大视差、所述源图案窗口的高度以及所述第一图像和所述第一图像的宽度，设定所述扫描线窗口。
设定所述搜索范围窗口的步骤包括如下步骤：基于所述第一光圈和所述第二光圈移位的方向与所述图像传感器的水平方向之间的排序误差角度、根据所述第一光圈的中心位置与所述第二光圈的中心位置互相错位而在所述第一图像和所述第二图像之间发生的最大视差、所述源图案窗口的宽度以及所述扫描线窗口的高度，设定所述搜索范围窗口。
在所述搜索范围窗口中搜索多个目标图案窗口的步骤，将所述源图案窗口和所述多个目标图案窗口的高度和宽度按多个值进行变更，且搜索所述搜索范围窗口的区域，进而设定所述多个目标图案窗口。
根据一个实施例，一种利用视差的多光圈相机系统，包括：单一光学系统，形成有引入RGB光信号的第一光圈以及引入与所述RGB光信号不同波长带的光信号的第二光圈，且配置在多个位置以进行移动；图像传感器，与所述单一光学系统在所述多个位置上的配置相应答，获取与所述多个位置相对应的多个图像组，其中，所述多个图像组的每一个包括：处理经由所述第一光圈引入的所述RGB光信号而获取的第一图像，以及处理与所述RGB光信号不同波长带的光信号而获取的第二图像；多个帧缓冲器，存储所述多个图像组的每一个；以及扫描线处理单元，利用按扫描线方式处理所述多个图像组的每一个而计算出的所述多个图像组每一个中的视差，决定所述多个图像组至少任意一个的像素中的深度，其中，所述第一光圈和所述第二光圈,按照以所述图像传感器的水平方向移位而具有互相错位的中心位置的方式，形成在所述单一光学系统上。
一个实施例为了解决现有的立体相机系统的缺点和问题，按照以图像传感器的水平方向移位(offset)而具有互相错位中心位置的方式，利用硬件性技术来处理通过形成在单一光学系统上的多个光圈而获取的图像，可提供一种决定与被拍摄物体相关的至少任一个像素中的深度的多光圈相机系统及其动作方法。
具体来讲，一个实施例按照以图像传感器的水平方向移位(offset)而具有互相错位中心位置的方式，按扫描线方式来处理通过形成在单一光学系统上的多个光圈而获取的图像，可提供一种决定与被拍摄物体相关的至少任一个像素中的深度的多光圈相机系统及其动作方法。
并且，一个实施例提供了一种多光圈相机系统及其动作方法，在按扫描线方式处理通过第一光圈获取的第一图像和通过第二光圈获取的第二图像的过程中，将以包括第一图像的至少任意一个像素的方式而设定的源图案窗口以及在第二图像中搜索搜索范围窗口的区域而设定的多个目标图案窗口的高度和宽度按多个值进行变更，且搜索多个目标图案窗口。
因此，一个实施例相比现有的立体相机可提供一种能按小型化尺寸以及按低制造费用而制造的多光圈相机系统及其动作方法。
并且，一个实施例通过省略现有的立体相机需要的校准(calibration)过程，可提供一种改善因校准误差而不能计算准确的深度的问题之多光圈相机系统及其动作方法。
并且，一个实施例按照以图像传感器的水平方向移位(offset)的方式排序第一光圈和第二光圈，通过容易地适用扫描线方式，可提供一种大幅度改善演算复杂度的多光圈相机系统及其动作方法。
并且，一个实施例通过第一光圈在不损伤RGB光信号的情况下而进行引入，可提供一种即使不经过额外的图像信号处理过程，也能按低复杂度获取高质量的RGB图像的多光圈相机系统及其动作方法。
并且，一个实施例提供了一种多光圈相机系统及其动作方法，将形成有第一光圈和第二光圈的单一光学系统按针对图像传感器相对配置在多个位置的方式进行移动，且利用获取的多个图像组每一个中的视差来决定与被拍摄物体相关的至少任意一个像素中的深度。
附图说明
图1是示出一个实施例的多光圈相机系统的示图。
图2是用于说明一个实施例的多光圈相机系统包含的SPU在各个第一图像和第二图像中适用扫描线窗口的过程的示图。
图3是用于说明一个实施例的第一光圈和第二光圈移位方向与图像传感器的水平方向之间的排序误差角度的示图。
图4是示出一个实施例的SPU设定源图案窗口的过程的示图。
图5是示出一个实施例的SPU设定搜索范围窗口的过程的示图。
图6是示出一个实施例的SPU搜索多个目标图案窗口的过程的示图。
图7是示出与一个实施例的SPU动作相关的算法的示图。
图8是示出用于说明一个实施例的SPU包含的缓冲器的动作的示图。
图9是示出一个实施例的多光圈相机系统的动作方法的流程图。
图10是具体示出图9所示决定深度的步骤的流程图。
图11是示出一个实施例的多光圈相机系统的框图。
图12是具体示出图11所示的SPU的框图。
具体实施方式
以下，参考附图对本发明的实施例进行详细说明。但本发明并不被实施例所局限或限定。并且，各个附图中所示的相同参考符号表示相同的部件。
并且，在本说明书中使用的术语(terminology)作为用于适当表现本发明优选实施例而使用的术语，其根据用户、运营者的意图或本发明所属领域的惯例等会不同。因此，该术语的定义应以该整个说明书涉及的内容为基础而做出。
图1是示出一个实施例的多光圈相机系统的示图。
参考图1，一个实施例的多光圈相机系统包括单一光学系统110、图像传感器120、多个帧缓冲器(未图示)以及扫描线处理单元(未图示)(SPU，Scanline-based ProcessorUnit)。以下，虽然按多个帧缓冲器和SPU被包含于图像传感器120而设置的情况进行说明，但其并不局限或限定于此，其也按另外的构成部进行设置。
在单一光学系统110上，以图像传感器120的水平方向移位(offset)而具有互相错位中心位置的方式，形成第一光圈111和第二光圈112。具体来讲，第一光圈111和第二光圈112，以图像传感器120的水平方向移位(offset)而具有互相错位中心位置的方式，可形成在单一光学系统110所包括的滤光镜113上(单一光学系统110包括滤光镜113和镜头114)。
因此，第一光圈111和第二光圈112通过以图像传感器120的水平方向移位(offset)而具有互相错位中心位置的方式而形成，可按第一光圈111和第二光圈112移位的方向(连接第一光圈111的中心和第二光圈112的中心之线部的方向)与图像传感器120的水平方向之间的排序误差角度接近于0的方式而设定。
如此，随着按第一光圈111和第二光圈112移位的方向与图像传感器120的水平方向之间的排序误差角度接近于0的方式而设定，在通过第一光圈111获取的第一图像和通过第二光圈112获取的第二图像中顺利地适用扫描线方式，能大幅度改善决定深度的演算的复杂度。
即，相比现有的立体照相机，一个实施例的多光圈相机系统可将第一图像和第二图像的比较问题从二次元问题或三次元问题简化为一次元问题，其可寻求计算量的减少以及硬件的简化。
并且，当第一光圈111和第二光圈112的移位方向与图像传感器120的水平方向之间的排序误差角度未设定为接近0时，多光圈相机系统可扩大搜索第一图像和第二图像的区域。关于其的详细说明在下述与SPU相关的说明中进行记载。
此时，第一光圈111和第二光圈112的直径可互相相同或不同，第一光圈111和第二光圈112的形状不仅可为圆形、椭圆形、其他圆形，也可为包括矩形、菱形、三角形等的多角形。
并且，第一光圈111和第二光圈112可在单一光学系统110包含的透光镜113上互相不重叠地独立形成，透光镜113上至少一部分区域互相重叠地形成，或第二光圈112形成在第一光圈111上。并且，虽然在附图中示出了第二光圈112形成为一个，但其并不局限或限定于此，可设定多个用来搜索与被拍摄物体相关的隐藏区域(hidder region)。此时，多个第二光圈可引入互相不同波长带的光信号(例如，与RGB光信号不同波长带中互相不同波长带的光信号)。
在此，第一光圈111形成为引入RGB光信号(例如，400nm至650nm之间波长带的光信号)，第二光圈112形成为引入与RGB光信号不同波长带的光信号。以下，虽然将第二光圈112记载为引入IR光信号(例如，650nm至810nm之间波长带的光信号)，但其并不局限或限定于此，也可引入与RGB光信号不同波长带的多种光信号。
例如，第一光圈111通过蚀刻单一光学系统110包括的滤光镜113的前面(执行切断RGB光信号的功能)并原样维持滤光镜113的背面(执行切断IR光信号的功能)，可按引入RGB光信号的方式而形成。并且，第二光圈112通过原样维持滤光镜113的前面并蚀刻滤光镜113的背面，可按引入IR光信号的方式而形成。但其并不局限或限定于此，第一光圈111和第二光圈112可按分别引入RGB光信号和引入IR光信号的方式，以多种形式而形成在单一光学系统110包括的滤光镜113上。
图像传感器120以处理经由第一光圈111引入的RGB光信号获取第一图像且处理经由第二光圈112引入的IR光信号获取第二图像的方式可包括RGB像素和IR像素。此时，图像传感器120不仅可执行处理RGB光信号将其转换为RGB数字图像信号以及处理IR光信号将其转换为IR数字图像信号的功能，也可执行从RGB数字图像信号中生成第一图像以及从IR数字图像信号中生成第二图像的图像信号处理器(ISP，Image Signal Processor)的功能。因此，如下，图像传感器120除了一般的图像传感器的功能之外，意味着执行ISP功能的复合模块。
在此，第一图像可是经由图像传感器120分离各个RGB光信号而生成的R图像、G图像或B图像中任一个图像，或并和RGB光信号而生成的RGB图像。
如此获取的每一个第一图像和第二图像通过存储在多个帧缓冲器中，根据SPU的控制而下载进而在深度决定过程(更详细来讲，在每一个第一图像和第二图像中分别适用扫描线窗口的过程)中可被使用。
因此，SPU利用第一图像和第二图像之间的视差决定第一图像和第二图像的至少一个像素中的深度。利用多个图像之间的视差计算深度的方法超出本发明的技术思想，因此省略。
具体来讲，SPU在计算第一图像中按包括要设定深度的至少任一个像素的方式而设定的源图案窗口(相对至少任一个像素具有预先设定的宽度和高度的窗口)和与源图案窗口相对应的第二图像的区域(多个目标图案窗口)之间的视差后，利用计算的视差可决定至少任一个像素中的深度。
如此，被决定的至少任一个像素中的深度可存储在深度帧缓冲器(未图示)中。
尤其是，SPU在搜索与源图案窗口相对应的第二图像的区域即多个目标图案窗口的过程中，可适用扫描线方式。例如，当按第一光圈111和第二光圈112移位的方向与图像传感器120的水平方向之间的排序误差角度接近为0而设定时，SPU仅可按水平方向扩展搜索第一图像和第二图像的区域，当未按第一光圈111和第二光圈112移位的方向与图像传感器120的水平方向之间的排序误差角度接近为0而设定时，SPU不仅可按水平方向扩展搜索第一图像和第二图像的区域，而且也可基于第一光圈111和第二光圈112移位的方向与图像传感器120的水平方向之间的排序误差角度按竖直方向进行扩展。
如此，一个实施例的多光圈相机系统通过按扫描线方式处理第一图像和第二图像，可以低演算复杂度准确地算出与被拍摄物体相关的至少任一个像素中的深度，相比现有的立体相机，可按小型化尺寸以及低制造费用来制造，其中，所述第一图像和第二图像利用按图像传感器120的水平方向移位而具有互相错位的中心位置在单一光学系统110上形成的第一光圈111和第二光圈112被获取。
并且，多光圈相机系统通过省略现有立体相机要求的校准过程，可改善因校准误差而不能计算准确深度的问题，并且通过第一光圈111不损伤地引入RGB光信号，即使不经过追加的图像信号处理过程也能按低复杂度获取高质量的RGB图像。
图2是用于说明一个实施例的多光圈相机系统包含的SPU在各个第一图像和第二图像中适用扫描线窗口的过程的示图。
参考图2，一个实施例的多光圈相机系统在每一个第一图像和第二图像210中适用扫描线窗口220。例如，多光圈相机系统包含的SPU针对每一个第一图像和第二图像210的竖直方向可顺序地适用扫描线窗口220(例如，扫描线窗口220沿每一个第一图像和第二图像210的竖直方向可单独适用与扫描线窗口220的高度相对应的线)。
在此，SPU在计算后述的第一图像的源图案窗口以及与源图案窗口相对应的第二图像的区域即多个目标图案窗口之间的视差的过程之前，为了在每一个第一图像和第二图像210中设定源图案窗口和多个目标图案窗口，可按区域类别区分第一图像和第二图像210的方式来适用扫描线窗口220。
因此，SPU在扫描线缓冲器中存储适用于每一个第一图像和第二图像210的扫描线窗口220之后，根据需要而下载(load)，可在决定深度的过程(更详细来讲，在适用于第一图像的扫描线窗口220中设定源图案窗口的过程以及在适用于第二图像的扫描线窗口220中设定搜索范围窗口的过程)中利用适用于每一个第一图像和第二图像210的扫描线窗口220。
此时，扫描线窗口220的宽度Ws可基于第一图像和第二图像210的宽度Wf来设定(例如，扫描线窗口220的宽度与第一图像和第二图像210的宽度相同而设定)，扫描线窗口220的高度hs如数学式1所示，可基于第一光圈和第二光圈移位的方向与图像传感器的水平方向之间的排序误差角度、根据第一光圈的中心位置与第二光圈的中心位置互相错位而在第一图像和第二图像210中发生的最大视差、以及源图案窗口的高度hp而设定。
<数学式1>
hs＝hp+2·Disparitymax·sinθ
在数学式1中，hs表示扫描线窗口210的高度，hp表示源图案窗口的高度，Disparitymax表示根据第一光圈的中心位置与第二光圈的中心位置互相错位而在第一图像和第二图像210中发生的最大视差，θ表示第一光圈和第二光圈移位的方向与图像传感器的水平方向之间的排序误差角度。关于第一光圈和第二光圈移位的方向与图像传感器的水平方向之间的排序误差角度的详细说明参考图3进行记载。
如此，随着扫描线窗口220针对第一图像和第二图像210的整体区域沿竖直方向顺序地适用，SPU针对第一图像和第二图像210的整体区域可决定深度。
图3是用于说明一个实施例的第一光圈和第二光圈移位方向与图像传感器的水平方向之间的排序误差角度的示图。
参考图3，一个实施例的多光圈相机系统可将第一光圈310和第二光圈320移位的方向330(连接第一光圈310的中心与第二光圈320的中心的线部的方向)与图像传感器340的水平方向341之间的排序误差角度θ设定为接近于0。在此，图像传感器340的水平方向341意味着按扫描线方式与图像被处理方向相同的方向。
这种情况下，由于按扫描线方式处理图像的方向与第一光圈310和第二光圈320移位的方向330相一致，因此SPU在按扫描线方式处理图像的过程中，为了在第一图像中设定源图案窗口可仅沿水平方向扩展而搜索第一图像的区域，为了在第二图像中设定与源图案窗口相对应的多个目标图案窗口，可仅沿水平方向扩展而搜索第二图像的区域。
此时，在仅沿水平方向扩展而搜索第二图像的区域的过程中，SPU为了更进一步缩减搜索演算的复杂度，可设定与源图案窗口相对应的多个目标图案窗口可存在的一定幅度的搜索范围窗口。例如，SPU以源图案窗口的宽度为基准进一步加上在第一图像和第二图像之间发生的最大视差的变动宽度而设定搜索范围窗口的宽度。与此相关的详细说明参考图5进行记载。
但理想上当排序误差角度θ未被设定为接近于0时，由于按扫描线方式处理图像的方向与第一光圈310和第二光圈320移位的方向330不相一致，因此SPU在按扫描线方式处理图像的过程中，需要进一步考虑排序误差角度θ来扩大并搜索第二图像的区域。
具体来讲，SPU不仅沿水平方向扩展第二图像的区域，而且为了在第二图像中设定与源图案窗口相对应的多个目标图案窗口，以源图案窗口的高度为基准进一步加上考虑排序误差角度θ的第一图像和第二图像之间发生的最大视差的变动高度可沿竖直方向扩展进而搜索第二图像的区域。
同样地，理想上当排序误差角度θ未被设定为接近于0时，在沿水平方向扩展进而搜索第二图像的区域的过程中，SPU为了更进一步缩减搜索演算的复杂度，可在第二图像中设定与源图案窗口相对应的多个目标图案窗口可存在的一定幅度的搜索范围窗口。例如，SPU以源图案窗口的宽度为基准进一步加上在考虑排序误差角度θ的第一图像和第二图像之间发生的最大视差的变动宽度而设定搜索范围窗口的宽度。与此相关的详细说明参考图5进行记载。
图4是示出一个实施例的SPU设定源图案窗口的过程的示图。
参考图4，一个实施例的多光圈相机系统可按在适用于第一图像410的扫描线窗口420中包括至少一个像素431的方式来设定源图案窗口430。在此，至少任一个像素431作为在第一图像410中要决定深度的像素431，意味着在第一图像410中包括的多个像素中边缘被检测出的像素。
因此，SPU在源图案缓冲器中存储如上所述设定的源图案窗口430后，根据需要进行下载，从而可在决定深度的过程中(更详细来讲，第二图像的多个目标图案窗口的每一个，针对源图案窗口430执行图像图案映射进而计算多个目标图案窗口与源图案窗口430之间的相关度的过程)利用源图案窗口430。
此时，多光圈相机系统包括的SPU在适用于第一图像410的扫描线窗口420中针对除了预先设定的边界区域421之外的余下区域(扫描线窗口420的余下区域的宽度wd通过在扫描线窗口420的宽度ws中除去预先设定的边界区域421的宽度dhm的两倍而计算)可设定源图案窗口430。即，源图案窗口430针对除去第一图像410的水平边界区域411和竖直边界区域412之外的余下关注区域413(余下的关注区域413的宽度与扫描线窗口420的余下区域的宽度wd相同，关注区域413的高度hd通过在第一图像410(或第二图像)的高度hf中除去竖直边界区域412的高度dvm的两倍而计算)可进行设定。
并且，SPU针对至少任一个像素431按能执行图像图案映射的方式可将源图案窗口的高度hp和宽度wp决定为一定值以上。如此决定源图案窗口的高度和宽度可在将扫描线窗口420适用于第一图像410之前而执行。
图5是示出一个实施例的SPU设定搜索范围窗口的过程的示图。
参考图5，一个实施例的多光圈相机系统在适用于第二图像510的扫描线窗口520中设定搜索范围窗口530。在此，搜索范围窗口530为了搜索与第一图像的源图案窗口相对应的第二图像510的多个目标图案窗口，意味着在适用于第二图像510的扫描线窗口520上多个目标图案窗口可存在的一定宽度的区域。即，多光圈相机系统包括的SPU为了缩减搜索多个目标图案窗口的演算复杂度，可设定搜索范围窗口530。
因此，SPU在搜索范围缓冲器中存储如上所述设定的搜索范围窗口530后，根据需要进行下载，从而可在决定高度的过程中(更详细来讲，针对源图案窗口搜索将执行图像图案映射的多个目标图案窗口的过程)利用搜索范围窗口530。
此时，SPU基于源图案窗口可设定搜索范围窗口530。例如，搜索范围窗口530的高度hr可参考图2基于记载的扫描线窗口520的高度hs来设定(例如，搜索范围窗口530的高度与扫描线窗口520的高度相同而设定)，搜索范围窗口530的宽度wr如数学式2所示，可基于第一光圈和第二光圈移位的方向与图像传感器的水平方向之间的排序误差角度、根据第一光圈的中心位置与第二光圈的中心位置互相错位而在第一图像和第二图像510中发生的最大视差、以及参考图4记载的源图案窗口的宽度wp而设定。
<数学式2>
wr＝wp+2·Disparitymax·cosθ
在数学式2中，wr表示搜索范围窗口530的宽度，wp表示源图案窗口的宽度，Disparitymax表示根据第一光圈的中心位置与第二光圈的中心位置互相错位而在第一图像和第二图像510中发生的最大视差，θ表示第一光圈和第二光圈移位的方向与图像传感器的水平方向之间的排序误差角度。
在此，由于扫描线窗口520的高度hs如参考考图2所记载的，可基于第一光圈和第二光圈移位的方向与图像传感器的水平方向之间的排序误差角度、根据第一光圈的中心位置与第二光圈的中心位置互相错位而在第一图像和第二图像510中发生的最大视差、以及源图案窗口的高度hp而设定，因此搜索范围窗口530的高度基于源图案窗口的高度可被设定。
图6是示出一个实施例的SPU搜索多个目标图案窗口的过程的示图。
参考图6，一个实施例的多光圈相机系统包括的SPU在第二图像610的搜索范围窗口620中搜索多个目标图案窗口621、622和623。在此，多个目标图案窗口621、622和623意味着以至少一个像素630为基准而与第一图像的源图案窗口相对应的区域。
例如，SPU根据至少任一个像素630的可水平移动的范围dhs和可竖直移动的范围dvs搜索存在于搜索范围窗口620内的多个目标图案窗口621、622和623，在存储于目标缓冲器后，根据需要进行下载，从而可在决定深度的过程中(更详细来讲，多个目标图案窗口621、622和623的每一个，针对源图案窗口执行图像图案映射进而计算多个目标图案窗口621、622和623与源图案窗口之间的相关度的过程)利用多个目标图案窗口621、622和623。附图中虽然示出了多个目标图案窗口621、622和623被搜索两个的情况，但其并不局限或限定于此，可也搜索多个。
如此若多个目标图案窗口621、622和623被搜索，SPU就多个目标图案窗口621、622和623的每一个，针对源图案窗口执行图像图案映射进而计算多个目标图案窗口621、622和623与源图案窗口之间的相关度。例如，SPU利用与归一化互相关(NCC，normalized crosscorrelation)算法或绝对差值和(SAD，sum of absolute difference)算法之类似或非类似矩阵(similarity/dissimilarity metric)可计算多个目标图案窗口621、622和623与源图案窗口之间的相关度。
然后，SPU如数学式3所示可决定多个目标图案窗口621、622和623中最大化相关度的任一个目标图案窗口。
<数学式3>
因此，SPU利用多个目标图案窗口621、622和623中最大化相关度的任一个目标图案窗口与源图案窗口之间的视差决定至少任一个像素630的深度。
被决定的深度可存储在深度帧缓冲器中。在此，深度帧缓冲器可包含在扫描线缓冲器内部或多个帧缓冲器中，或可设置为单独的缓冲器。
图7是示出与一个实施例的SPU动作相关的算法的示图。
参考图7，参考图2和图6记载的SPU的距离决定动作按算法进行图示。
具体来讲，SPU如算法的第一行所示，在设定将适用于第一图像和第二图像的扫描线窗口之后，如第二行至第三行所示，在适用于第一图像的扫描线窗口中基于按包括至少一个像素而设定的源图案窗口可设定搜索范围窗口。
然后，SPU如算法的第四行至第六行所示，通过在搜索范围窗口中搜索多个目标图案窗口，就多个目标图案窗口的每一个，针对源图案窗口执行图像图案映射进而计算多个目标图案窗口与源图案窗口之间的相关度。
之后，SPU如算法的第七行至第八行所示，通过搜索多个目标图案窗口中最大化相关度的任一个目标图案窗口，利用多个目标图案窗口中最大化相关度的任一个目标图案窗口与源图案窗口之间的视差，可决定至少任一个像素中的深度。
被决定的深度如算法的第九行所示，可存储在深度帧缓冲器中。并且，如果距离被决定而存储，SPU如算法的第十一行所示，针对第一图像和第二图像的竖直方向可按下一扫描线适用扫描线窗口。并且，如上所述，算法的第二行至第九行也可在第一图像和第二图像的下一扫描线中反复。
图8是示出用于说明一个实施例的SPU包含的缓冲器的动作的示图。
参考图8，一个实施例的多光圈相机系统包括的SPU810在参考图2至图6记载的深度决定过程中，在存储第一图像和第二图像的多个帧缓冲器820、存储适用于第一图像的扫描线窗口和适用于第二图像的扫描线窗口的扫描线缓冲器830、存储搜索范围窗口的搜索范围缓冲器840、存储源图案窗口的源图案缓冲器850、以及存储多个目标窗口的目标图案缓冲器860中可仅控制扫描线缓冲器830、搜索范围缓冲器840、源图案缓冲器850以及目标图案缓冲器860。
此时，在附图中虽然示出了存储深度的深度帧缓冲器包含于扫描线缓冲器830或多个帧缓冲器中的情况，但其并不局限或限定于此，可按单独的缓冲器进行设置。此时，SPU810在深度决定过程中，可追加控制单独的深度帧缓冲器。
多个帧缓冲器820在图像传感器中将分别获取第一图像和第二图像时动作后，SPU810在将扫描线窗口适用于第一图像和第二图像的过程中，自执行下载动作后起无需进行动作。因此，SPU810在深度决定过程中可最小化大尺寸的内存即经由多个帧缓冲器820的接触，通过终止不必要的缓冲器的动作，可大幅度改善演算的复杂度。
图9是示出一个实施例的多光圈相机系统的动作方法的流程图。
参考图9，一个实施例的多光圈相机系统的动作方法根据第一光圈、第二光圈、图像传感器以及包括SPU的多光圈相机系统而执行。
多光圈相机系统通过第一光圈引入RGB光信号(步骤910)。
接着，多光圈相机系统通过区别于第一光圈的第二光圈引入与RGB光信号不同波长带的光信号(步骤920)。
在此，第一光圈和第二光圈以图像传感器的水平方向移位(offset)而具有互相错位中心位置的方式而形成在单一光学系统上。
然后，多光圈相机系统在图像传感器中，分别处理经由第一光圈引入的RGB光信号和经由第二光圈引入的与RGB光信号不同波长带的光信号，获取第一图像和第二图像(步骤930)。此时，虽未进行图示，多光圈相机系统可在多个帧缓冲器中存储第一图像和第二图像。
之后，多光圈相机系统在SPU中，按扫描线方式处理第一图像和第二图像进而决定第一图像和第二图像的至少一个像素中的深度(步骤940)。与此相关的详细说明参考图10进行记载。
图10是具体示出图9所示决定深度的步骤的流程图。
参考图10，多光圈相机系统在适用于第一图像的扫描线窗口中按包括至少一个像素的方式可设定源图案窗口(步骤1010)。例如，多光圈相机系统在适用于第一图像的扫描线窗口中针对除了预先设定的边界区域的余下区域可设定源图案窗口。并且，多光圈相机系统按针对至少任一个像素能执行图像图案映射可决定源图案窗口的高度和宽度。
在此，虽未进行图示，多光圈相机系统在设定源图案窗口的步骤1010之前，可基于第一光圈和第二光圈移位的方向与图像传感器的水平方向之间的排序误差角度、根据第一光圈的中心位置与第二光圈的中心位置互相错位而在第一图像和第二图像210中发生的最大视差、源图案窗口的高度以及第一图像和第二图像的宽度设定扫描线窗口之后，可在第一图像和第二图像中分别适用。
接着，多光圈相机系统在适用于第二图像的扫描线窗口中基于源图案窗口可设定搜索范围窗口(步骤1020)。
具体来讲，多光圈相机系统可基于第一光圈和第二光圈移位的方向与图像传感器的水平方向之间的排序误差角度、根据第一光圈的中心位置与第二光圈的中心位置互相错位而在第一图像和第二图像210中发生的最大视差、源图案窗口的宽度以及扫描线窗口的高度，来设定搜索范围窗口。
接着，多光圈相机系统可在搜索范围窗口中搜索多个目标图案窗口(步骤1030)。
此时，多光圈相机系统基于第一光圈和第二光圈移位的方向与图像传感器的水平方向之间的排序误差角度，搜索搜索范围窗口的区域进而可设定多个目标图案窗口。例如，多光圈相机系统考虑第一光圈和第二光圈移位的方向与图像传感器的水平方向之间的排序误差角度，沿水平方向和竖直方向搜索搜索范围窗口的区域进而可设定多个目标图案窗口。多个目标图案窗口的高度和宽度可基于源图案窗口的高度和宽度而决定。
接着，多光圈相机系统就多个目标图案窗口，针对源图案窗口执行图像图案映射，可计算多个目标图案窗口与源图案窗口之间的相关度(步骤1040)。
例如，多光圈相机系统利用与归一化互相关(NCC，normalized crosscorrelation)算法或绝对差值和(SAD，sum of absolute difference)算法之类似或非类似矩阵(similarity/dissimilarity metric)可计算多个目标图案窗口与源图案窗口之间的相关度。
之后，多光圈相机系统利用多个目标图案窗口中最大化相关度的任一个目标图案窗口与源图案窗口之间的视差可决定至少任一个像素中的深度(步骤1050)。
在此，多光圈相机系统将源图案窗口和多个目标图案窗口的高度和宽度按多个值进行变更，且搜索搜索范围窗口的区域进而能设定多个目标窗口。
即，多光圈相机系统将源图案窗口和多个目标图案窗口的高度和宽度按多个值进行变更，可重复执行步骤1010至步骤1040(根据将源图案窗口和多个目标图案窗口的高度和宽度按多个值进行变更，扫描线窗口和搜索范围窗口每一个的高度和宽度也可按多个值进行变更)。
因此，在步骤1050中，源图案窗口和多个目标图案窗口的高度和宽度按多个值进行变更，且利用具有最高相关度的任意一个的源图案窗口和任意一个的目标图案窗口之间的视差，可决定深度。
例如，多光圈相机系统在步骤1010至步骤1030中将源图案窗口和多个目标图案窗口每一个的高度和宽度按第一值进行设定从而以第一值的源图案窗口为基准搜索第一值的第一目标图案窗口、第一值的第二目标图案窗口和第一值的第三目标图案窗口，且在步骤1040中可计算第一值的第一目标图案窗口与第一值的源图案窗口之间的相关度、第一值的第二目标图案窗口与第一值的源图案窗口之间的相关度以及第一值的第三目标图案窗口与第一值的源图案窗口之间的相关度。
接着，多光圈相机系统通过反复执行步骤1010至步骤1030，将源图案窗口和多个目标图案窗口每一个的高度和宽度按第二值进行设定从而以第二值的源图案窗口为基准搜索第二值的第一目标图案窗口、第二值的第二目标图案窗口和第二值的第三目标图案窗口，且通过反复执行步骤1040，可计算第二值的第一目标图案窗口与第二值的源图案窗口之间的相关度、第二值的第二目标图案窗口与第二值的源图案窗口之间的相关度以及第二值的第三目标图案窗口与第二值的源图案窗口之间的相关度。
之后，多光圈相机系统在步骤1050中，通过选择具有在第一值的第一目标图案窗口与第一值的源图案窗口之间的相关度、第一值的第二目标图案窗口与第一值的源图案窗口之间的相关度、第一值的第三目标图案窗口与第一值的源图案窗口之间的相关度、第二值的第一目标图案窗口与第二值的源图案窗口之间的相关度、第二值的第二目标图案窗口与第二值的源图案窗口之间的相关度以及第二值的第三目标图案窗口与第二值的源图案窗口之间的相关度中最高相关度的第一值的第一目标图案窗口与第一值的源图案窗口，利用选择的第一值的第一目标图案窗口与第一值的源图案窗口之间的视差，可决定至少任意一个像素中的深度。
虽未进行图示，多光圈相机系统可在深度帧缓冲器中存储至少任一个像素中的深度。
如果深度被决定而存储，多光圈相机系统针对第一图像和第二图像的竖直方向可按下一扫描线顺序地适用扫描线窗口，步骤1010至步骤1050可针对第一图像和第二图像的整体区域反复执行。
并且，虽未进行图示，多光圈相机系统利用以图像传感器为基准配置在多个位置的方式而移动的单一光学系统，扫描多个焦点对准的被拍摄物体距离，且可决定与被拍摄物体相关的至少任意一个像素的深度。
此时，图像传感器与单一光学系统在多个位置上的配置(单一光学系统以图像传感器为基准配置在相对的位置处)进而获取与多个位置相对应的多个图像组。在此，多个图像组的每一个包括：处理经由第一光圈引入的RGB光信号而获取的第一图像，以及处理经由第二光圈引入的IR光信号而获取的第二图像。例如，图像传感器根据单一光学系统按P1位置进行配置，获取P1图像组(P1-RGB图像和P1-IR图像)，根据单一光学系统按P2位置进行配置，获取P2图像组(P2-RGB图像和P2-IR图像)，且根据单一光学系统按P3位置进行配置，获取P3图像组(P3-RGB图像和P3-IR图像)。
因此，多光圈相机系统通过SPU，利用多个图像组每一个中的视差决定多个图像组的至少任意一个像素中的深度。具体来讲，多光圈相机系统计算多个图像组每一个中的相关度(P1-RGB图像和P1-IR图像之间的相关度、P2-RGB图像和P2-IR图像之间的相关度以及P3-RGB图像和P3-IR图像之间的相关度)，且基于多个图像组每一个中的相关度利用多个图像组中至少任意一个组中的视差可决定与被拍摄物体相关的深度。
此时，多光圈相机系统计算多个图像组每一个中的相关度进而在获取多个图像组每一个中的视差后，选择多个图像组中具有最高相关度的任意一个图像组，进而利用选择的任意一个图像组中的视差可决定与被拍摄物体相关的深度。
例如，多光圈相机系统基于配置单一光学系统的多个位置每一中的理想视差，如表1所示，预先生成计算深度的图表，选择多个图像组中具有最高相关度的任意一个图像组，当获取选择的任意一个组时，在确认单一光学系统被配置的特定位置后，基于如表1之图表，基于单一光学系统被配置的特定位置中的理想视差，可将计算的深度决定为与被拍摄物体相关的深度。
[表1]
单一光学系统位置 理想视差 深度
位置1(P1) 视差1 深度1
位置2(P2) 视差2 深度2
位置3(P3) 视差3 深度3
... ... ...
作为另一个示例，多光圈相机系统计算P1-RGB图像和P1-IR图像之间的相关度、P2-RGB图像和P2-IR图像之间的相关度以及P3-RGB图像和P3-IR图像之间的相关度，在获取P1-RGB图像和P1-IR图像之间的视差、P2-RGB图像和P2-IR图像之间的视差以及P3-RGB图像和P3-IR图像之间的视差后，可在多个图像组中选择具有最高相关度(具有最小视差)的P1图像组。对此，多光圈相机系统利用P1图像组即P1-RGB图像与P1-IR图像之间的视差可决定与被拍摄物体相关的深度。
并且，多光圈相机系统不仅可选择多个图像组中具有最高相关度的任意一个图像组，也可选择多个图像组中一部分组进而利用一部分组每一个中的视差来决定与被拍摄物体相关的深度。
例如，多光圈相机系统计算多个图像组每一个中的相关度，在获取多个图像组每一个中的视差后，基于多个图像组每一个中的相关度，可选择一部分组。然后，多光圈相机系统向从一部分组每一个中的视差中计算出的深度适用加权值，进而可决定与被拍摄物体相关的深度。
更具体来讲，多光圈相机系统计算多个图像组每一个中的相关度，在获取多个图像组每一个中的视差后，可在多个图像组中选择各个视差符号改变的两个图像组(例如，当P1图像组中的视差符号是+，且P2图像组中的视差符号是-时，选择P1图像组和P2图像组)。之后，多光圈相机系统可将从视差符号改变的两个图像组每一个中的视差中计算出的深度的加权平均(向从P1图像组中的视差中计算出的深度和从P2图像组中的视差中计算出的深度分别适用了加权值的平均)决定为与被拍摄物体相关的深度。
如此，根据一个实施例的多光圈相机系统将单一光学系统按针对图像传感器相对配置在多个位置的方式进行移动，且通过利用获取的多个图像组每一个中的视差，可更准确地决定与被拍摄物体相关的深度。
图11是示出一个实施例的多光圈相机系统的框图。
参考图11，一个实施例的多光圈相机系统可包括第一光圈1110、第二光圈1120、镜头1130、图像传感器1140、多个帧缓冲器1150、SPU1160以及深度帧缓冲器1170。
第一光圈1110引入RGB光信号。
第二光圈1120区别于第一光圈1110，引入与RGB光信号不同波长带的光信号。
在此，第一光圈1110和第二光圈1120以图像传感器1140的水平方向移位(offset)而具有互相错位中心位置的方式而形成在单一光学系统(针对单一镜头1130)上。
镜头1130将分别经由第一光圈1110和第二光圈1120引入的RGB光信号以及与RGB光信号不同波长带的光信号引入至图像传感器1140中。
图像传感器1140处理经由第一光圈1110引入的RGB光信号而获取第一图像，且处理经由第二光圈1120引入的与RGB光信号不同波长带的光信号而获取第二图像。此时，图像传感器1140意味着执行ISP功能的复合模块。
多个帧缓冲器1150在图像传感器1140中分别存储获取的第一图像和第二图像。因此，SPU1160从多个帧缓冲器1150中下载第一图像和第二图像，进而可在后述的深度决定过程中利用第一图像和第二图像。
SPU1160按扫描线方式处理第一图像和第二图像进而决定第一图像和第二图像的至少任一个像素中的深度。与此相关的详细说明参考图12进行记载。
深度帧缓冲器1170存储至少任一个像素中的深度。此时，深度帧缓冲器1170可设置为包含于多个帧缓冲器1150或后述的扫描线缓冲器中。
图12是具体示出图11所示的SPU的框图。
参考图12，SPU1200可包括扫描线缓冲器1210、源图案缓冲器1220、搜索范围缓冲器1230、目标图案缓冲器1240以及处理器1250。
扫描线缓冲器1210存储适用于第一图像的扫描线窗口以及适用于第二图像的扫描线窗口。
源图案缓冲器1220在适用于第一图像的扫描线窗口中存储按包括至少任一个像素而设定的源图案窗口。
搜索范围缓冲器1230存储在适用于第二图像的扫描线窗口中基于源图案窗口设定的搜索范围窗口。
目标图案缓冲器1240存储在搜索范围窗口中被搜索的多个目标图案窗口。
处理器1250控制多个帧缓冲器、扫描线缓冲器1210、源图案缓冲器1220、搜索范围缓冲器1230以及目标图案缓冲器1240的动作，就多个目标图案窗口的每一个，针对源图案窗口执行图像图案映射进而计算多个目标图案窗口与源图案窗口之间的相关度，利用多个目标图案窗口中最大化相关度的任一个目标图案窗口与源图案窗口之间的视差决定至少任一个像素的深度。
并且，处理器1250基于第一光圈和第二光圈移位的方向与图像传感器的水平方向之间的排序误差角度，搜索搜索范围窗口的区域进而可设定多个目标图案窗口。例如，处理器1250考虑第一光圈和第二光圈移位的方向与图像传感器的水平方向之间的排序误差角度，沿水平方向和竖直方向搜索搜索范围窗口的区域进而可设定多个目标图案窗口。多个目标图案窗口的高度和宽度可基于源图案窗口的高度和宽度而决定。
并且，处理器1250基于第一光圈和第二光圈移位的方向与图像传感器的水平方向之间的排序误差角度、根据第一光圈的中心位置与第二光圈的中心位置互相错位而在第一图像和第二图像中发生的最大视差以及源图案窗口的高度设定扫描线窗口的高度，且基于第一图像和第一图像的宽度设定扫描线窗口的宽度。如此设定的扫描线窗口经由处理器1250可分别适用于第一图像和第二图像。
并且，处理器1250基于第一光圈和第二光圈移位的方向与图像传感器的水平方向之间的排序误差角度、根据第一光圈的中心位置与第二光圈的中心位置互相错位而在第一图像和第二图像中发生的最大视差以及源图案窗口的宽度设定搜索范围窗口的高度，且基于扫描线窗口的高度设定搜索范围窗口的宽度。
并且，处理器1250在适用于第一图像的扫描线窗口中针对除了预先设定的边界区域的余下区域可决定源图案窗口。
此时，处理器120针对至少任一个像素按能执行图像图案映射的方式可决定源图案窗口的高度和宽度。
尤其是，处理器1250可在搜索范围窗口中搜索多个目标图案窗口。例如，处理器1250基于第一光圈和第二光圈移位的方向与图像传感器的水平方向之间的排序误差角度，搜索搜索范围窗口的区域进而可设定多个目标图案窗口。
并且，处理器1250利用与归一化互相关(NCC，normalized cross correlation)算法或绝对差值和(SAD，sum of absolute difference)算法之类似或非类似矩阵(similarity/dissimilarity metric)可计算多个目标图案窗口与源图案窗口之间的相关度。
如此深度若被决定，处理器1250可在深度决定缓冲器中存储至少任一个像素中的深度。
如果深度被决定而存储，处理器1250针对第一图像和第二图像的竖直方向可按下一扫描线顺序地适用扫描线窗口，上述的深度决定动作可针对第一图像和第二图像的整体区域而反复执行。
如上所述，虽然根据实施例所限定的实施例和附图进行了说明，但对本技术领域具有一般知识的技术人员来说能从上述的记载中进行各种修改和变形。例如，根据与说明的技术中所说明的方法相不同的顺序来进行，和/或根据与说明的系统、结构、装置、电路等构成要素所说明的方法相不同的形态进行结合或组合，或根据其他构成要素或均等物进行替换或置换也可达成适当的效果。
因此，其他具体体现、其他实施例以及与权利要求范围相均等的都属于所述的权利要求所保护的范围。

Claims (20)

1.一种多光圈相机系统，作为利用扫描线方式的多光圈相机系统，包括：
第一光圈，引入RGB光信号；
第二光圈，区别于所述第一光圈，引入与所述RGB光信号不同波长带的光信号；
图像传感器，处理经由所述第一光圈引入的所述RGB光信号来获取第一图像，且处理经由所述第二光圈引入的与所述RGB光信号不同波长带的光信号来获取第二图像；
多个帧缓冲器，分别存储所述第一图像和所述第二图像；以及
扫描线处理单元，按扫描线方式处理所述第一图像和所述第二图像，决定所述第一图像和所述第二图像的至少任一个像素的深度，
其中，所述第一光圈和所述第二光圈以沿所述图像传感器的水平方向移位而具有互相错位的中心位置的方式形成在单一光学系统上。
2.如权利要求1所述的多光圈相机系统，其特征在于，所述扫描线处理单元包括：
扫描线缓冲器，存储适用于所述第一图像的扫描线窗口以及适用于所述第二图像的扫描线窗口；
源图案缓冲器，存储按在适用于所述第一图像的扫描线窗口中包括至少任一个像素而设定的源图案窗口；
搜索范围缓冲器，存储在适用于所述第二图像的扫描线窗口中基于所述源图案窗口设定的搜索范围窗口；
目标图案缓冲器，存储在所述搜索范围窗口中被搜索的多个目标图案窗口；以及
处理器，控制所述多个帧缓冲器、所述扫描线缓冲器、所述源图案缓冲器、所述搜索范围缓冲器以及所述目标图案缓冲器的动作，就所述多个目标图案窗口的每一个，针对所述源图案窗口执行图像图案映射进而计算所述多个目标图案窗口与所述源图案窗口之间的相关度，利用所述多个目标图案窗口中最大化所述相关度的任一个目标图案窗口与所述源图案窗口之间的视差决定所述至少任一个像素的深度。
3.如权利要求2所述的多光圈相机系统，其特征在于，所述处理器基于所述第一光圈和所述第二光圈移位的方向与所述图像传感器的水平方向之间的排序误差角度，搜索所述搜索范围窗口的区域，进而设定所述多个目标图案窗口。
4.如权利要求3所述的多光圈相机系统，其特征在于，所述处理器沿水平方向和竖直方向搜索所述搜索范围窗口的区域，进而设定所述多个目标图案窗口。
5.如权利要求2所述的多光圈相机系统，其特征在于，所述处理器基于所述第一光圈和所述第二光圈移位的方向与所述图像传感器的水平方向之间的排序误差角度、根据所述第一光圈的中心位置与所述第二光圈的中心位置互相错位而在所述第一图像和所述第二图像之间发生的最大视差以及所述源图案窗口的高度设定所述扫描线窗口的高度，且基于所述第一图像和所述第一图像的宽度设定所述扫描线窗口的宽度。
6.如权利要求2所述的多光圈相机系统，其特征在于，所述处理器基于所述第一光圈和所述第二光圈移位的方向与所述图像传感器的水平方向之间的排序误差角度、根据所述第一光圈的中心位置与所述第二光圈的中心位置互相错位而在所述第一图像和所述第二图像之间发生的最大视差以及所述源图案窗口的宽度设定所述搜索范围窗口的宽度，且基于所述扫描线窗口的高度设定所述搜索范围窗口的高度。
7.如权利要求2所述的多光圈相机系统，其特征在于，所述处理器将所述源图案窗口和所述多个目标图案窗口的高度和宽度按多个值进行变更，且搜索所述搜索范围窗口的区域，进而设定所述多个目标图案窗口。
8.如权利要求2所述的多光圈相机系统，其特征在于，所述处理器在适用于所述第一图像的扫描线窗口中针对除了预先设定的边界区域的余下区域设定所述源图案窗口。
9.如权利要求2所述的多光圈相机系统，其特征在于，所述处理器针对所述至少任一个像素按能执行所述图像图案映射的方式决定所述源图案窗口的高度和宽度。
10.如权利要求8所述的多光圈相机系统，其特征在于，所述处理器基于所述源图案的高度和宽度决定所述多个目标图案窗口每一个的高度和宽度。
11.如权利要求2所述的多光圈相机系统，其特征在于，所述扫描线处理单元进一步包括：
深度帧缓冲器，存储所述至少任一个的像素中的深度。
12.如权利要求2所述的多光圈相机系统，其特征在于，所述处理器利用类似或非类似矩阵，计算所述多个目标图案窗口与所述源图案窗口之间的相关度。
13.如权利要求2所述的多光圈相机系统，其特征在于，所述处理器针对所述第一图像和所述第二图像每一个的竖直方向，按顺序地适用所述扫描线窗口。
14.一种多光圈相机系统的动作方法，作为利用扫描线方式的多光圈相机系统的动作方法，包括如下步骤：
通过第一光圈引入RGB光信号；
通过区别于所述第一光圈的第二光圈，引入与所述RGB光信号不同波长带的光信号；
在图像传感器中，分别处理经由所述第一光圈引入的所述RGB光信号和经由所述第二光圈引入的与所述RGB光信号不同波长带的光信号，获取第一图像和第二图像；以及
在扫描线处理单元中，按扫描线方式处理所述第一图像和所述第二图像，决定所述第一图像和所述第二图像的至少任一个像素中的深度，
其中，所述第一光圈和所述第二光圈以沿所述图像传感器的水平方向移位而具有互相错位的中心位置的方式形成在单一光学系统上。
15.如权利要求14所述的多光圈相机系统的动作方法，其特征在于，所述决定所述至少任一个像素中的深度的步骤包括如下步骤：
按在适用于所述第一图像的扫描线窗口中包括所述至少任一个像素而设定源图案窗口；
在适用于所述第二图像的扫描线窗口中基于所述源图案窗口设定搜索范围窗口；
在所述搜索范围窗口中搜索多个目标图案窗口；
就所述多个目标图案窗口的每一个，针对所述源图案窗口执行图像图案映射进而计算所述多个目标图案窗口与所述源图案窗口之间的相关度；以及
利用所述多个目标图案窗口中最大化所述相关度的任一个目标图案窗口与所述源图案窗口之间的视差决定所述至少任一个像素的深度。
16.如权利要求15所述的多光圈相机系统的动作方法，其特征在于，在所述搜索范围窗口中搜索多个目标图案窗口的步骤包括：
基于所述第一光圈和所述第二光圈移位的方向与所述图像传感器的水平方向之间的排序误差角度，搜索所述搜索范围窗口的区域，进而设定所述多个目标图案窗口。
17.如权利要求15所述的多光圈相机系统的动作方法，其特征在于，进一步包括如下步骤：
基于所述第一光圈和所述第二光圈移位的方向与所述图像传感器的水平方向之间的排序误差角度、根据所述第一光圈的中心位置与所述第二光圈的中心位置互相错位而在所述第一图像和所述第二图像之间发生的最大视差、所述源图案窗口的高度以及所述第一图像和所述第一图像的宽度，设定所述扫描线窗口。
18.如权利要求15所述的多光圈相机系统的动作方法，其特征在于，设定所述搜索范围窗口的步骤包括如下步骤：
基于所述第一光圈和所述第二光圈移位的方向与所述图像传感器的水平方向之间的排序误差角度、根据所述第一光圈的中心位置与所述第二光圈的中心位置互相错位而在所述第一图像和所述第二图像之间发生的最大视差、所述源图案窗口的宽度以及所述扫描线窗口的高度，设定所述搜索范围窗口。
19.如权利要求15所述的多光圈相机系统的动作方法，其特征在于，在所述搜索范围窗口中搜索多个目标图案窗口的步骤，将所述源图案窗口和所述多个目标图案窗口的高度和宽度按多个值进行变更，且搜索所述搜索范围窗口的区域，进而设定所述多个目标图案窗口。
20.一种多光圈相机系统，作为利用视差的多光圈相机系统，包括：
单一光学系统，形成有引入RGB光信号的第一光圈以及引入与所述RGB光信号不同波长带的光信号的第二光圈，且配置在多个位置以进行移动；
图像传感器，与所述单一光学系统在所述多个位置上的配置相应答，获取与所述多个位置相对应的多个图像组，其中，所述多个图像组的每一个包括：处理经由所述第一光圈引入的所述RGB光信号而获取的第一图像，以及处理与所述RGB光信号不同波长带的光信号而获取的第二图像；
多个帧缓冲器，存储所述多个图像组的每一个；以及
扫描线处理单元，利用按扫描线方式处理所述多个图像组的每一个而计算出的所述多个图像组每一个中的视差，决定所述多个图像组至少任意一个的像素中的深度，
其中，所述第一光圈和所述第二光圈，按照以所述图像传感器的水平方向移位而具有互相错位的中心位置的方式，形成在所述单一光学系统上。
CN201610818445.XA 2015-11-23 2016-09-12 多光圈相机系统及其动作方法 Pending CN107024817A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20150164214 2015-11-23
KR10-2015-0164214 2015-11-23
KR1020150164226A KR101605292B1 (ko) 2015-11-23 2015-11-23 스캔 라인 방식을 이용하는 멀티 애퍼처 카메라 시스템
KR10-2015-0164226 2015-11-23
KR10-2016-0012382 2016-02-01
KR1020160012382A KR101672669B1 (ko) 2015-11-23 2016-02-01 시차를 이용하는 멀티 애퍼처 카메라 시스템

Publications (1)

Publication Number Publication Date
CN107024817A true CN107024817A (zh) 2017-08-08

Family

ID=58721004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610818445.XA Pending CN107024817A (zh) 2015-11-23 2016-09-12 多光圈相机系统及其动作方法

Country Status (2)

Country Link
US (1) US10051263B2 (zh)
CN (1) CN107024817A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643341B2 (en) * 2018-03-22 2020-05-05 Microsoft Technology Licensing, Llc Replicated dot maps for simplified depth computation using machine learning
US10565720B2 (en) 2018-03-27 2020-02-18 Microsoft Technology Licensing, Llc External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
TWI669538B (zh) * 2018-04-27 2019-08-21 點晶科技股份有限公司 立體影像擷取模組及立體影像擷取方法
US11451688B2 (en) * 2018-09-26 2022-09-20 Zoox, Inc. Image scan line timestamping
US10582137B1 (en) 2018-09-26 2020-03-03 Zoox, Inc. Multi-sensor data capture synchronizaiton

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5608538A (en) * 1994-08-24 1997-03-04 International Business Machines Corporation Scan line queuing for high performance image correction
US20030095119A1 (en) * 2001-11-17 2003-05-22 Hong Jeong Apparatus for synthesizing multiview image using two images of stereo camera and depth map
CN101238489A (zh) * 2005-08-11 2008-08-06 国际商业机器公司 具有深度缓冲显示器的光线跟踪系统和方法
CN101960860A (zh) * 2007-11-09 2011-01-26 汤姆森许可贸易公司 使用基于区域的滤波的深度图提取系统和方法
US20130033578A1 (en) * 2010-02-19 2013-02-07 Andrew Augustine Wajs Processing multi-aperture image data
US20160042522A1 (en) * 2010-02-19 2016-02-11 Dual Aperture International Co. Ltd. Processing Multi-Aperture Image Data

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864367A (en) * 1996-08-23 1999-01-26 Texas Instruments Incorporated Video processing system with scan-line video processor
US6757440B2 (en) * 1997-06-19 2004-06-29 Electronics For Imaging, Inc. Methods and apparatus for data compression
US6834119B2 (en) * 2001-04-03 2004-12-21 Stmicroelectronics, Inc. Methods and apparatus for matching multiple images
US8310538B2 (en) * 2010-03-19 2012-11-13 Fujifilm Corporation Imaging apparatus, method, program, and recording medium used in the program
US9171213B2 (en) * 2013-03-15 2015-10-27 Xerox Corporation Two-dimensional and three-dimensional sliding window-based methods and systems for detecting vehicles
JP6418879B2 (ja) * 2014-10-06 2018-11-07 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
EP3101625A3 (en) * 2015-04-30 2016-12-14 Pixia Corp. Method and system of selecting a view from a plurality of cameras

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5608538A (en) * 1994-08-24 1997-03-04 International Business Machines Corporation Scan line queuing for high performance image correction
US20030095119A1 (en) * 2001-11-17 2003-05-22 Hong Jeong Apparatus for synthesizing multiview image using two images of stereo camera and depth map
CN101238489A (zh) * 2005-08-11 2008-08-06 国际商业机器公司 具有深度缓冲显示器的光线跟踪系统和方法
CN101960860A (zh) * 2007-11-09 2011-01-26 汤姆森许可贸易公司 使用基于区域的滤波的深度图提取系统和方法
US20110044531A1 (en) * 2007-11-09 2011-02-24 Thomson Licensing System and method for depth map extraction using region-based filtering
US20130033578A1 (en) * 2010-02-19 2013-02-07 Andrew Augustine Wajs Processing multi-aperture image data
US20160042522A1 (en) * 2010-02-19 2016-02-11 Dual Aperture International Co. Ltd. Processing Multi-Aperture Image Data

Also Published As

Publication number Publication date
US20170148169A1 (en) 2017-05-25
US10051263B2 (en) 2018-08-14

Similar Documents

Publication Publication Date Title
CN107024817A (zh) 多光圈相机系统及其动作方法
US10764559B2 (en) Depth information acquisition method and device
CN101630406B (zh) 摄像机的标定方法及摄像机标定装置
CN103460242B (zh) 信息处理装置、信息处理方法、以及位置信息的数据结构
US8903161B2 (en) Apparatus for estimating robot position and method thereof
AU2018346909A1 (en) Image signal processor for processing images
JP2020511022A (ja) デュアルコアフォーカシングイメージセンサ、そのフォーカシング制御方法、および電子装置
US9025862B2 (en) Range image pixel matching method
US10949700B2 (en) Depth based image searching
JP6494294B2 (ja) 画像処理装置、及び撮像システム
US8922627B2 (en) Image processing device, image processing method and imaging device
US20210392313A1 (en) Image processing apparatus, image processing method, storage medium, manufacturing method of learned model, and image processing system
CN108965742A (zh) 异形屏显示方法、装置、电子设备及计算机可读存储介质
CN105791801A (zh) 图像处理装置、图像拾取装置和图像处理方法
US8433187B2 (en) Distance estimation systems and method based on a two-state auto-focus lens
CN106982312A (zh) 多光圈相机系统及其操作方法
US9288472B2 (en) Image processing device and method, and image capturing device
WO2018147059A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2012208597A (ja) パターン識別装置、パターン識別方法及びプログラム
CN104641625A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
US9330447B2 (en) Image evaluation device, image selection device, image evaluation method, recording medium, and program
KR101875532B1 (ko) 계층적 스테레오 매칭 장치 및 방법
KR20150107580A (ko) 화상 처리 장치 및 화상 처리 방법
JP2015019346A (ja) 視差画像生成装置
KR102156998B1 (ko) 비디오 시퀀스에서 모션을 감지하기 위한 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170808

WD01 Invention patent application deemed withdrawn after publication