CN102724399A - 基于场景深度图的缩放、孔径和快门速度的自动设定 - Google Patents

基于场景深度图的缩放、孔径和快门速度的自动设定 Download PDF

Info

Publication number
CN102724399A
CN102724399A CN2012100361354A CN201210036135A CN102724399A CN 102724399 A CN102724399 A CN 102724399A CN 2012100361354 A CN2012100361354 A CN 2012100361354A CN 201210036135 A CN201210036135 A CN 201210036135A CN 102724399 A CN102724399 A CN 102724399A
Authority
CN
China
Prior art keywords
scene
peak
depth map
camera
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100361354A
Other languages
English (en)
Other versions
CN102724399B (zh
Inventor
弗洛瑞娜·瑟瑞亚
咖兹·阿力
亚历山大·布莱斯托弗
李俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102724399A publication Critical patent/CN102724399A/zh
Application granted granted Critical
Publication of CN102724399B publication Critical patent/CN102724399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/02—Focusing arrangements of general interest for cameras, projectors or printers moving lens along baseboard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了基于场景深度图的缩放、孔径和快门速度的自动设定。深度图(DM)能被用于涉及相机、摄像机以及其他设备的许多参数设定。设定成像设备上的参数包括缩放设定、孔径设定和快门速度设定。

Description

基于场景深度图的缩放、孔径和快门速度的自动设定
技术领域
本发明涉及成像领域。更具体地，本发明涉及利用深度图来设定成像设备上的参数。
背景技术
深度图(DM)是与从相机传感器到场景中用于各个单个像素的相应点的距离相关的图。DM生成法可以是主动的或被动的，主动的DM生成法包括测距传感器(range sensor)，测距传感器使用超声波或投射激光图案或者利用某种其他手段扫描场景来测量离相机的距离；被动的DM生成法诸如立体系统，其使用两个或更多个相机/镜头来获取场景的多个图像并且然后对他们进行匹配以便对场景中的点进行三角测量，或者是基于从若干图像计算深度的方法。
发明内容
深度图(DM)能被用于设定包括相机、便携式摄放像向机以及其他设备的成像设备上的参数。这些参数包括缩放设定、孔径设定和快门速度设定。
在一方面中，在设备上实施的方法包括生成深度图和利用深度图来配置设备上的参数设定。深度图通过利用单镜头相机生成。深度图是如下生成的：在具有第一模糊质量的第一图像信号在第一位置处通过镜头后在图像传感器处接收该第一图像信号，在具有第二模糊质量的一个或多个第二图像信号在第二位置处通过镜头后在图像传感器处接收此一个或多个第二图像信号，利用第一模糊质量和第二模糊质量计算模糊差，并且从模糊差生成深度图。深度图通过利用如下至少一个生成：与设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。配置参数设定包括配置缩放设定。配置参数设定包括配置孔径设定。配置参数设定包括配置快门速度设定。此方法还包括对场景进行分类以辅助配置参数设定，所述分类包括计算来自深度图的值的直方图，对直方图进行平滑以消除噪声，检测经平滑的直方图中的最左峰和最右峰，如果最左峰和最右峰对应于比风景阈值大的深度则场景被分类为风景，否则，如果在最左峰和最右峰之间没有发现局部最小值则场景被分类为其他，否则，通过选择最左峰和最右峰之间的局部最小值来确定前景/背景阈值，并且基于前景/背景阈值，像素被分类为前景或背景并且前景像素的边界框确定了在场景中是否有感兴趣的对象。参数设定为自动缩放调节，包括对场景分类，如果场景被分类为风景则递进地缩小场景并重新对深度图分类以保持风景类别，并达到最宽可用缩放设定为止，如果场景被分类为包含主要对象则自动在对象上放大直到场景的对象边界为止，执行孔径调节，执行快门速度调节并更新聚焦位置。所述设备选自包括个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、
Figure BSA00000671590100021
视频播放器、DVD录播器、电视、家庭娱乐系统的群组。
在另一方面中，一种被编程在被配置用于在一个或多个应用中利用深度图的设备的控制器中的系统，包括：孔径设定模块，被配置用于设定设备的孔径大小；和快门速度设定模块，被配置用于设定设备的快门速度。深度图通过利用如下至少一个生成：与设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。所述设备选自包括个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、
Figure BSA00000671590100022
视频播放器、DVD录播器、电视、家庭娱乐系统的群组。在一些实施例中，深度图通过利用单镜头相机生成。
在另一方面中，一种设备包括：存储器，用于存储应用，所述应用被配置用于生成深度图，利用深度图来配置设备上的参数设定；以及处理部件，处理部件耦合到存储器，所述处理部件被配置用于处理所述应用。深度图通过利用如下至少一个生成：与设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。利用深度图配置参数设定包括配置缩放设定、配置孔径设定以及配置快门速度设定中的至少一个。所述应用还被配置用于对场景进行分类以辅助配置参数设定，所述分类包括包括计算来自深度图的值的直方图，对直方图进行平滑以消除噪声，检测经平滑的直方图中的最左峰和最右峰，如果最左峰和最右峰对应于比风景阈值大的深度则场景被分类为风景，否则，如果在最左峰和最右峰之间没有发现局部最小值则场景被分类为其他，否则，通过选择最左峰和最右峰之间的局部最小值来确定前景/背景阈值，并且像素基于前景/背景阈值被分类为前景或背景并且前景像素的边界框确定了在场景中是否有感兴趣的对象。参数设定为自动缩放调节，包括对场景分类，如果场景被分类为风景则逐步缩小场景并重新对深度图分类以保持风景类别并达到最宽可用缩放设定，如果场景被分类为包含主要对象则自动在对象上放大直到场景的对象边界，执行孔径调节，执行快门速度调节并更新聚焦位置。所述设备选自包括个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、视频播放器、DVD录播器、电视、家庭娱乐系统的群组。所述设备是数字静态相机。
在另一方面中，一种相机设备包括：图像获取部件；存储器，用于存储应用，所述应用被配置用于生成深度图，利用深度图来配置设备上的参数设定以便利用图像获取部件来获取图像；以及处理部件，处理部件耦合到存储器，所述处理部件被配置用于处理所述应用。深度图通过利用如下至少一个生成：与设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。所述应用还被配置用于对场景进行分类以帮助配置参数设定，所述分类包括包括计算来自深度图的值的直方图，对直方图进行平滑以消除噪声，检测经平滑的直方图中的最左峰和最右峰，如果最左峰和最右峰对应于比风景阈值大的深度则场景被分类为风景，否则，如果在最左峰和最右峰之间没有发现局部最小值则场景被分类为其他，否则，通过选择最左峰和最右峰之间的局部最小值来确定前景/背景阈值，并且像素基于前景/背景阈值被分类为前景或背景并且前景像素的边界框确定了在场景中是否有感兴趣的对象。参数设定为自动缩放调节，包括对场景分类，如果场景被分类为风景则逐步缩小场景并重新对深度图分类以保持风景类别并达到最宽可用缩放设定，如果场景被分类为包含主要对象则自动在对象上放大直到场景的对象边界，执行孔径调节，执行快门速度调节并更新聚焦位置。利用深度图配置参数设定包括配置缩放设定、配置孔径设定以及配置快门速度设定中的至少一个。
附图说明
图1图示出根据一些实施例的相机和摄像机中的数字图像处理的第一阶段的框图；
图2图示出根据一些实施例的基于深度图的场景分类方法的流程图；
图3图示出根据一些实施例的深度图的直方图和经平滑的直方图的曲线图；
图4图示出根据一些实施例的利用深度图生成感兴趣的对象的边界框的示例；
图5图示出根据一些实施例的利用孔径调节和快门速度调节来进行自动缩放设定的流程图；
图6图示出根据一些实施例的利用深度图进行缩放设定以对包含主要的感兴趣的对象的场景拍照的示例；
图7图示出根据一些实施例的利用深度图进行缩放设定以对包含风景的场景拍照的示例；
图8图示出根据一些实施例的自动孔径设定和快门速度调节的流程图；
图9图示出根据一些实施例的利用深度图进行孔径设定以对包含主要的感兴趣的对象的场景拍照的示例；
图10图示出根据一些实施例的利用深度图来设定设备参数的方法的流程图；
图11图示出根据一些实施例的被配置用于设定设备参数的示例性计算设备的框图。
具体实施方式
深度图(DM)能被用于包括相机、摄像机和其他设备的许多应用。生成DM有很多方式。生成DM的方法的一些示例包括与设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似DM自动聚焦的单镜头相机、水平移动的单镜头相机以及其他实现方式。确定DM的另一种具体实现方式在名称为“METHOD OF AND APPRATUSFOR GENERATING A DEPTH MAP UTILIZED IN AUTOFOCUSING”的美国专利申请No.11/473,694中被描述，该申请通过应用被结合于此，这种实现方式包括可移动镜头和图像传感器。深度信息通过使镜头移动一段短距离并获取具有不同模糊质量的多个图像并且然后利用所获取的信息计算DM来获得。另一种实现方式包括利用捕获并生成多个被模糊的图像，如在名称为“METHOD OF AND APPRATUS FOR SIMULTANEOUSLYCARTURING AND GENERATING MULTIPLE BLURRED IMAGES”的美国专利申请No.11/357,631中所描述，该申请通过应用被结合于此。不管DM是如何获得的，在此所描述的申请都能利用DM。
用于生成精密深度图的一种具体实现方式由名称为“METHOD ANDAPPRATUS FOR GENERATING A DENSE DEPTH MAP USISNG ANADAPTIVE JOINT BILATERAL FILTER”的专利申请12/931,293描述，该申请通过引用被结合于此。这样的生成深度图的方法能被用于增强现有的粗糙深度图的空间和深度分辨率，现有的粗糙深度图一般可从最当前可获得的DM生成法来得到。
图1图示出根据一些实施例的相机和摄像机中的数字图像处理的第一阶段的框图。在步骤100中，相机参数设定能被配置。参数设定的示例包括但不限于缩放设定、孔径设定和快门速度设定。设定快门速度是自动缩放设定或孔径设定的间接副产物。相机参数设定能从DM的信息获益。
基于DM执行场景分类
图2图示出根据一些实施例的基于深度图进行场景分类的方法的流程图。在步骤200，计算从0到最大距离的DM范围内的DM值的直方图。最大距离是深度图中的最大可测距离。此值依赖于用于获取或计算深度图的方法或设备。在步骤202，利用具有大方差的1-D高斯滤波器来平滑直方图。此步骤的目的是消除深度图直方图中的噪声(小变动)。此滤波器的实际方差根据用于获取或计算深度图的方法或设备来调节。作为示例，方差＝5被用于针对利用模糊差计算的约400,000像素的深度图的具有256个区间(bin)的直方图。任何利用模糊差计算深度图的方法都能使用，诸如在于2006年2月16日提交的名称为“METHOD OF AND APPRATUSFOR SIMULTANEOUSLY CAPTURING AND GENERATING MULTIPLEBLURRED IMAGES”的美国专利申请No.11/357,631中描述的方法，该申请通过引用被全部结合于此。在步骤204，检测经平滑的DM的直方图中的最左峰和最右峰。直方图中的最左峰对应于前景区，而直方图中的最右峰对应于背景区。检测最左峰和最右峰能够通过分析经平滑的DM的直方图中的梯度来实现。在步骤206，如果经平滑的直方图的最左峰和最右峰二者都对应于比风景阈值(threshold landscape)大的深度，则在步骤S208场景被分类为风景并且场景分类结束。否则，处理继续寻找感兴趣的对象。在步骤210，通过阈值化来执行对感兴趣的对象的分段。在阈值化的一个示例中，在经平滑的直方图中的最左峰和最右峰之间找出局部最小值。如果没有局部最小值，则将场景分类为“其他”并且结束场景分类。如果若干局部最小值在最左峰和最右峰之间的全局最小值的某一阈值内，则对应于最低深度的局部最小值(即最左的局部最小值)被选择。所选择的局部最小值对应于前景/背景深度阈值。如果没有找到局部最小值，则场景被分类为“其他”并且场景分类结束。阈值化通过将具有比阈值低的深度值分类为前景位置并且将具有比阈值大或等于阈值的深度值分类为背景位置来执行。图像中感兴趣的对象的边界框通过查找与前面步骤中计算的前景对应的深度的最小x、最小y、最大x、最大y的图像位置而被计算出。虽然描述了阈值化的一个示例，但是其他实现方式也是可行的。
在此描述一些实施例的深度图阈值化的另外的细节。在第一步中，计算深度图的直方图H。例如，256个区间被使用。在第二步中，通过以1D高斯对直方图H进行卷积来计算经平滑的直方图(SH)。例如，用于256个区间的直方图的具有标准偏差为0.5的1D高斯被使用。SH＝H|G。在第三步中，计算经平滑的直方图的一次导数(first derivative)。例如，使用某些差来计算该导数：D(i)＝[SH(i+1)-SH(i-1)]/2。在第四步中，通过找出一次导数的零值来计算经平滑的直方图的局部最小值和最大值。例如，L＝{i，D(i)＜tolerance_zero}，其中，tolerance_zero为0.02*总像素/totle_bins(总区间)。在第五步中，计算Leftmost_peak(最左峰)、Rightmost_peak(最右峰)和threshold(阈值)。例如，Leftmost_peak＝min{i，i，L}，Rightmost_peak＝max{i，i，L}，threshold＝{d，HS(d)＝min{HS(i)}，Leftmost_peak3d# Rightmost_peak}。如果没有阈值满足上述条件，则场景不包含感兴趣的对象。如果多个阈值满足此条件，则最低阈值被选择并且场景被分类为包含感兴趣的对象的。
图3图示出根据一些实施例的深度图的直方图和经平滑的直方图的曲线图。在深度图的经平滑的直方图中，该直方图的最左峰是前景区，并且最右峰是背景区。前景/背景深度阈值位于最左峰和最右峰之间的直方图的最小值处。
图4图示出根据一些实施例的利用深度图生成感兴趣的对象的边界框的示例。首先，示出了具有感兴趣的对象和背景的深度图。然后，检测到的感兴趣的对象被选择并且背景被移除。感兴趣的对象的边界框在检测到的感兴趣的对象的周围被生成。
在此描述基于深度与阈值水平相比来对深度图中的像素分类的方法。
F是一组前景像素，并且B是一组背景像素。
F＝{(x，y)，DM(x，y)＜threshold}
B = { ( x , y ) , DM ( x , y ) ∃ threshold }
感兴趣的对象的边界框由startxF、startyF、endxF、endyF来限定：
startxF＝min{x，(x，y)，F}
startyF＝min{y，(x，y)，F}
endxF＝max{x，(x，y)，F}
endyF＝max{y，(x，y)，F}
如果startxF＞minxF并且startyF＞minyF并且endxF＜maxxF并且endyF＜maxyF，则场景包含感兴趣的对象。否则，场景不包含感兴趣的对象。
自动缩放调节
图5图示出根据一些实施例的自动缩放调节的流程图。场景分类发生在步骤500中。然后，在步骤502中判断场景是否被分类为风景。如果场景被分类为风景，则可在步骤504中通过渐进的自动缩小来增强图像组分。因为缩小从外界向场景引入了新内容，所以缩小能够在渐进步骤中被执行，同时在每步后DM被重新分类，以便确保在缩小过程中保持场景被分类为风景。具体地，在步骤506中判断是否已达到可获得的最宽缩放设置。如果已经达到可获得的最宽缩放设置，则处理在步骤518中继续。然而，如果还未达到可获得的最宽缩放设置，则在步骤508中深度图被重新计算。在步骤510，在此发生基于深度图的场景分类。在步骤512，判断场景是否仍表示风景。如果场景仍表示风景，则处理在步骤504再继续缩小。如果场景不表示风景，则处理跳到步骤518中的孔径调节。
如果在步骤514场景被分类为包含主要对象，则在步骤516中可通过自动将感兴趣的对象放大直到原始场景中感兴趣的对象的边界为止来增强图像组分。在此自动调节处理完成之后，在步骤518中孔径调节被执行并且在步骤520中快门速度调节被执行。孔径调节和快门速度调节被用于补偿某些类型的镜头的最宽可用孔径的改变。
在这些调节之后，如果聚焦透镜位置已被计算出，则在步骤522聚焦位置能够被更新以便反映因缩放设定而引起的场的场景深度的改变，作为改变缩放设定的结果。
图6中示出了对主要的感兴趣的对象的自动缩放调节。在图6中，使用DM确定出最近的对象和背景，然后，当对象是除了背景以外的唯一对象时，能够进行缩放，从而使得能够拍摄对象的特写(close-up)画面。
图7中示出了对风景进行自动缩放调节的示例。对于当前缩放的画面，初始深度图被确定，但是随着处理进行缩小，最终的深度图被生成并且最终最小的画面按照如上所述被生成。
自动孔径/快门速度调节
图8图示出根据一些实施例的自动孔径/快门速度调节的流程图。在步骤800中，发生基于深度图的场景分类。如果在步骤802中场景被分类为表示风景，则在步骤804中能够通过自动将孔径设定为针对当前缩放位置的最窄可用设置来增强图像组分。得到的图像将具有经增强的场深度，适合于风景摄影。之后，处理跳到步骤810。
如果在步骤806中场景被分类为包含主要对象，则在步骤808中能够通过将孔径设定为针对当前缩放位置的最宽可用设置来增强图像组分。得到的最终图像的浅的场深度将增强主要对象与其余场景之间的深度分隔。
在步骤810，快门速度被调节。如果场景被分类为包含主要的感兴趣的对象，则为了对最终图像的保持相同的曝光水平，快门速度因此被增大。如果场景被分类为包含风景，则为了对最终图像的保持相同的曝光水平，快门速度因此被减小。
在自动孔径/快门速度调节处理完成之后，如果聚焦透镜位置已被计算出，则在步骤812中该聚焦位置能够被更新以便反映因孔径设定而引起的场的场景深度的改变。
图9图示出根据一些实施例的利用深度图来进行孔径设定以拍摄包含主要的感兴趣的对象的场景的照片的示例。在图9中，使用DM确定出最近的对象和背景，然后当此对象是除背景以外的唯一对象时，能够发生孔径调节，从而使得能够拍摄对象的特写画面。
图10图示出根据一些实施例的利用DM设定相机参数的方法的流程图。在步骤1000中，DM被生成。如上所述，DM能够按照多种不同的方式来生成。在步骤1002中，DM被存储。在一些实施例中，DM被利用图像拷贝以便用于后续处理。在一些实施例中，DM不被存储并且步骤1002能被跳过。在步骤1004，DM被利用来设定诸如上述那些的相机参数。
图11图示出根据一些实施例的被配置为实施利用DM的应用的示例性计算设备1100的框图。计算设备1100能够被用于获取、存储、计算、传达和/或显示诸如图像和视频的信息。例如，计算设备1100能够获取和存储照片。利用DM的应用能够被用于配置计算设备1100以获取图像、在图像获取中配置计算设备1100或在图像被获取之后配置计算设备1100。一般而言，适用于实现计算设备1100的硬件结构包括网络接口1102、存储器1104、处理器1106、(一个或多个)I/O设备1108、总线1110和存储设备1112。处理器的选择不是紧要的，只要选择具有充分速度的合适处理器即可。存储器1104能够是现有技术中的任何传统的计算机存储器。存储设备1112能够包括硬驱动器、CDROM、CDRW、DVD、DVDRW、闪存卡或任何其他存储设备。计算设备1100能够包括一个或多个网络接口1102。网络接口的示例包括连接到以太网或其他类型的LAN的网卡。(一个或多个)I/O设备1108能够包括如下一个或多个：键盘、鼠标、监视器、显示器、打印机、调制解调器、触摸屏、按钮界面和其他设备。用于执行DM方法的(一个或多个)DM参数设定模块1130可被存储在存储设备1112和存储器1104中并且如模块被通常处理那样被处理。在计算设备1100中可包括比图11中示出的部件更多或更少的部件。在一些实施例中，DM处理器或存储硬件1120被包括。虽然图11中的计算设备1100包括参数设定模块1130和用于DM参数设定模块的硬件1120，但是DM参数设定模块能够以硬件、固件、软件或它们的任何组合的形式被实现在计算设备上。
在一些实施例中，(一个或多个)DM参数设定模块包括另外的模块。在一些实施例中，(一个或多个)DM参数设定模块包括配置用于设定缩放的缩放设定模块1132、被配置用于设定孔径大小的孔径设定模块1134和被配置用于设定快门速度的快门速度设定模块1136。
适当的计算设备的示例包括个人计算机、膝上型计算机、计算机工作台、服务器、主机计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、
Figure BSA00000671590100111
视频播放器、DVD录播器、电视、家庭娱乐系统或任何其他合适的计算设备。
在图像/视频被获取之前，DM能够被利用以设定包括但不限于缩放设定、孔径设定和快门速度设定的参数。
在操作中，通过在图像/视频被获取之前适当地配置相机设定能够改善图像获取。
基于场景深度图进行自动的缩放、孔径和快门速度设定的一些实施例
1.一种在设备上实现的方法，包括：
a.生成深度图；以及
b.利用所述深度图来配置所述设备上的参数设定。
2.根据权利要求1所述的方法，其中，所述深度图是利用单镜头相机生成的。
3.根据权利要求2所述的方法，其中，所述深度图通过如下步骤生成：
a.在具有第一模糊质量的第一图像信号在第一位置处通过镜头之后，在图像传感器处接收所述第一图像信号；
b.在具有第二模糊质量的一个或多个第二图像信号在第二位置处通过所述镜头之后，在所述图像传感器处接收所述一个或多个第二图像信号；
c.使用所述第一模糊质量和所述第二模糊质量来计算模糊差；以及
d.从所述模糊差生成所述深度图。
4.根据权利要求1所述的方法，其中，所述深度图通过使用如下装置中的至少一种生成：与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。
5.根据权利要求1所述的方法，其中，配置所述参数设定包括配置缩放设定。
6.根据权利要求1所述的方法，其中，配置所述参数设定包括配置孔径设定。
7.根据权利要求1所述的方法，其中，配置所述参数设定包括配置快门速度设定。
8.根据权利要求1所述的方法，还包括对场景进行分类以辅助配置所述参数设定，所述对场景进行分类包括：
a.计算来自所述深度图的值的直方图；
b.对所述直方图进行平滑以消除噪声；
c.检测经平滑的直方图中的最左峰和最右峰；
d.如果所述最左峰和所述最右峰对应于比风景阈值大的深度，则所述场景被分类为风景；
e.否则，如果在所述最左峰和所述最右峰之间没有找到局部最小值，则所述场景被分类为其他；以及
f.否则，通过选择所述最左峰和所述最右峰之间的局部最小值来确定前景/背景阈值，并且基于所述前景/背景阈值，像素被分类为前景或背景并且前景像素的边界框确定在所述场景中是否有感兴趣的对象。
9.根据权利要求1所述的方法，所述参数设定是自动缩放调节，包括：
a.对场景进行分类；
b.如果所述场景被分类为风景，则递进地缩小所述场景并对所述深度图重新分类以保持风景类别，并且达到最宽的可用缩放设定；
c.如果所述场景被分类为包含主要对象，则自动在所述对象上放大，直到所述场景的对象边界为止；
d.执行孔径调节；
e.执行快门速度调节；以及
f.更新聚焦位置。
10.根据权利要求1所述的方法，其中，所述设备选自包括如下装置的群组：个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、视频播放器、DVD录播器、电视、家庭娱乐系统。
11.一种系统，所述系统被编程在被配置用于在一个或多个应用中利用深度图的设备的控制器中，所述系统包括：
a.孔径设定模块，所述孔径设定模块被配置为设定所述设备的孔径大小；以及
b.快门速度设定模块，所述快门速度设定模块被配置为设定所述设备的快门速度。
12.根据权利要求11所述的系统，其中，所述深度图通过使用如下装置中的至少一种生成：与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。
13.根据权利要求11所述的系统，其中，所述设备选自包括如下装置的群组：个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、
Figure BSA00000671590100132
视频播放器、DVD录播器、电视、家庭娱乐系统。
14.根据权利要求11所述的系统，其中，所述深度图是利用单镜头相机生成的。
15.一种设备，包括：
a.用于存储应用的存储器，所述应用被配置用于：
i.生成深度图；
ii.利用所述深度图来配置所述设备上的参数设定；以及
b.耦合到所述存储器的处理部件，所述处理部件被配置用于处理所述应用。
16.根据权利要求15所述的设备，其中，所述深度图通过使用如下装置中的至少一种生成：与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。
17.根据权利要求15所述的设备，其中，利用所述深度图来配置所述参数设定包括配置缩放设定、配置孔径设定以及配置快门速度设定中的至少一种。
18.根据权利要求15所述的设备，其中，所述孔径进一步被配置用于对场景进行分类以辅助配置所述参数设定，包括：
a.计算来自所述深度图的值的直方图；
b.对所述直方图进行平滑以消除噪声；
c.检测经平滑的直方图中的最左峰和最右峰；
d.如果所述最左峰和所述最右峰对应于比风景阈值大的深度，则所述场景被分类为风景；
e.否则，如果在所述最左峰和所述最右峰之间没有找到局部最小值，则所述场景被分类为其他；以及
f.否则，通过选择所述最左峰和所述最右峰之间的局部最小值来确定前景/背景阈值，并且基于所述前景/背景阈值，像素被分类为前景或背景并且前景像素的边界框确定在所述场景中是否有感兴趣的对象。
19.根据权利要求15所述的设备，其中，所述参数设定是自动缩放调节，包括：
a.对场景进行分类；
b.如果所述场景被分类为风景，则递进地缩小所述场景并对所述深度图重新分类以保持风景类别，并且达到最宽的可用缩放设定；
c.如果所述场景被分类为包含主要对象，则自动在所述对象上放大，直到所述场景的对象边界为止；
d.执行孔径调节；
e.执行快门速度调节；以及
f.更新聚焦位置。
20.根据权利要求15所述的设备，其中，所述设备选自包括如下装置的群组：个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、
Figure BSA00000671590100151
视频播放器、DVD录播器、电视、家庭娱乐系统。
21.根据权利要求15所述的设备，其中，所述设备是数字静态相机。
22.一种相机设备，包括：
a.图像获取部件；
b.用于存储应用的存储器，所述应用被配置用于：
i.生成深度图；
ii.利用所述深度图来配置用于利用所述图像获取部件获取图像的所述设备上的参数设定；以及
c.耦合到所述存储器的处理部件，所述处理部件被配置用于处理所述应用。
23.根据权利要求22所述的相机设备，其中，所述深度图通过如下装置中的至少一种生成：与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。
24.根据权利要求22所述的相机设备，其中，利用所述深度图来配置所述参数设定包括配置缩放设定、配置孔径设定以及配置快门速度设定中的至少一种。
25.根据权利要求22所述的相机设备，其中，所述应用还被配置用于对场景进行分类以辅助配置所述参数设定，包括：
a.计算来自所述深度图的值的直方图；
b.对所述直方图进行平滑以消除噪声；
c.检测经平滑的直方图中的最左峰和最右峰；
d.如果所述最左峰和所述最右峰对应于比风景阈值大的深度，则所述场景被分类为风景；
e.否则，如果在所述最左峰和所述最右峰之间没有找到局部最小值，则所述场景被分类为其他；以及
f.否则，通过选择所述最左峰和所述最右峰之间的局部最小值来确定前景/背景阈值，并且基于所述前景/背景阈值，像素被分类为前景或背景并且前景像素的边界框确定在所述场景中是否有感兴趣的对象。
26.根据权利要求22所述的设备，其中，所述参数设定是自动缩放调节，包括：
a.对场景进行分类；
b.如果所述场景被分类为风景，则递进地缩小所述场景并对所述深度图重新分类以保持风景类别，并且达到最宽的可用缩放设定；
c.如果所述场景被分类为包含主要对象，则自动在所述对象上放大，直到所述场景的对象边界为止；
d.执行孔径调节；
e.执行快门速度调节；以及
f.更新聚焦位置。
为了助于理解本发明的结构和操作的原理，已经结合细节根据具体实施例描述了本发明。这里对于具体实施例及其细节的这样的引用不意在限制所附权利要求的范围。对于本领域技术人员来说，很明显可在不脱离由权利要求定义的精神和范围的情况下对被选择用以图示的实施例作出其他各种修改。

Claims (26)

1.一种在设备上实现的方法，包括：
a.生成深度图；以及
b.利用所述深度图来配置所述设备上的参数设定。
2.根据权利要求1所述的方法，其中，所述深度图是利用单镜头相机生成的。
3.根据权利要求2所述的方法，其中，所述深度图通过如下步骤生成：
a.在具有第一模糊质量的第一图像信号在第一位置处通过镜头之后，在图像传感器处接收所述第一图像信号；
b.在具有第二模糊质量的一个或多个第二图像信号在第二位置处通过所述镜头之后，在所述图像传感器处接收所述一个或多个第二图像信号；
c.使用所述第一模糊质量和所述第二模糊质量来计算模糊差；以及
d.从所述模糊差生成所述深度图。
4.根据权利要求1所述的方法，其中，所述深度图通过使用如下装置中的至少一种生成：与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。
5.根据权利要求1所述的方法，其中，配置所述参数设定包括配置缩放设定。
6.根据权利要求1所述的方法，其中，配置所述参数设定包括配置孔径设定。
7.根据权利要求1所述的方法，其中，配置所述参数设定包括配置快门速度设定。
8.根据权利要求1所述的方法，还包括对场景进行分类以辅助配置所述参数设定，所述对场景进行分类包括：
a.计算来自所述深度图的值的直方图；
b.对所述直方图进行平滑以消除噪声；
c.检测经平滑的直方图中的最左峰和最右峰；
d.如果所述最左峰和所述最右峰对应于比风景阈值大的深度，则所述场景被分类为风景；
e.否则，如果在所述最左峰和所述最右峰之间没有找到局部最小值，则所述场景被分类为其他；以及
f.否则，通过选择所述最左峰和所述最右峰之间的局部最小值来确定前景/背景阈值，并且基于所述前景/背景阈值，像素被分类为前景或背景并且前景像素的边界框确定在所述场景中是否有感兴趣的对象。
9.根据权利要求1所述的方法，所述参数设定是自动缩放调节，包括：
a.对场景进行分类；
b.如果所述场景被分类为风景，则递进地缩小所述场景并对所述深度图重新分类以保持风景类别，并且达到最宽的可用缩放设定；
c.如果所述场景被分类为包含主要对象，则自动在所述对象上放大，直到所述场景的对象边界为止；
d.执行孔径调节；
e.执行快门速度调节；以及
f.更新聚焦位置。
10.根据权利要求1所述的方法，其中，所述设备选自包括如下装置的群组：个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、视频播放器、DVD录播器、电视、家庭娱乐系统。
11.一种系统，所述系统被编程在被配置用于在一个或多个应用中利用深度图的设备的控制器中，所述系统包括：
a.孔径设定模块，所述孔径设定模块被配置为设定所述设备的孔径大小；以及
b.快门速度设定模块，所述快门速度设定模块被配置为设定所述设备的快门速度。
12.根据权利要求11所述的系统，其中，所述深度图通过使用如下装置中的至少一种生成：与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。
13.根据权利要求11所述的系统，其中，所述设备选自包括如下装置的群组：个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、
Figure FSA00000671580000031
视频播放器、DVD录播器、电视、家庭娱乐系统。
14.根据权利要求11所述的系统，其中，所述深度图是利用单镜头相机生成的。
15.一种设备，包括：
a.用于存储应用的存储器，所述应用被配置用于：
i.生成深度图；
ii.利用所述深度图来配置所述设备上的参数设定；以及
b.耦合到所述存储器的处理部件，所述处理部件被配置用于处理所述应用。
16.根据权利要求15所述的设备，其中，所述深度图通过使用如下装置中的至少一种生成：与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。
17.根据权利要求15所述的设备，其中，利用所述深度图来配置所述参数设定包括配置缩放设定、配置孔径设定以及配置快门速度设定中的至少一种。
18.根据权利要求15所述的设备，其中，所述孔径进一步被配置用于对场景进行分类以辅助配置所述参数设定，包括：
a.计算来自所述深度图的值的直方图；
b.对所述直方图进行平滑以消除噪声；
c.检测经平滑的直方图中的最左峰和最右峰；
d.如果所述最左峰和所述最右峰对应于比风景阈值大的深度，则所述场景被分类为风景；
e.否则，如果在所述最左峰和所述最右峰之间没有找到局部最小值，则所述场景被分类为其他；以及
f.否则，通过选择所述最左峰和所述最右峰之间的局部最小值来确定前景/背景阈值，并且基于所述前景/背景阈值，像素被分类为前景或背景并且前景像素的边界框确定在所述场景中是否有感兴趣的对象。
19.根据权利要求15所述的设备，其中，所述参数设定是自动缩放调节，包括：
a.对场景进行分类；
b.如果所述场景被分类为风景，则递进地缩小所述场景并对所述深度图重新分类以保持风景类别，并且达到最宽的可用缩放设定；
c.如果所述场景被分类为包含主要对象，则自动在所述对象上放大，直到所述场景的对象边界为止；
d.执行孔径调节；
e.执行快门速度调节；以及
f.更新聚焦位置。
20.根据权利要求15所述的设备，其中，所述设备选自包括如下装置的群组：个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、
Figure FSA00000671580000041
视频播放器、DVD录播器、电视、家庭娱乐系统。
21.根据权利要求15所述的设备，其中，所述设备是数字静态相机。
22.一种相机设备，包括：
a.图像获取部件；
b.用于存储应用的存储器，所述应用被配置用于：
i.生成深度图；
ii.利用所述深度图来配置用于利用所述图像获取部件获取图像的所述设备上的参数设定；以及
c.耦合到所述存储器的处理部件，所述处理部件被配置用于处理所述应用。
23.根据权利要求22所述的相机设备，其中，所述深度图通过如下装置中的至少一种生成：与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。
24.根据权利要求22所述的相机设备，其中，利用所述深度图来配置所述参数设定包括配置缩放设定、配置孔径设定以及配置快门速度设定中的至少一种。
25.根据权利要求22所述的相机设备，其中，所述应用还被配置用于对场景进行分类以辅助配置所述参数设定，包括：
a.计算来自所述深度图的值的直方图；
b.对所述直方图进行平滑以消除噪声；
c.检测经平滑的直方图中的最左峰和最右峰；
d.如果所述最左峰和所述最右峰对应于比风景阈值大的深度，则所述场景被分类为风景；
e.否则，如果在所述最左峰和所述最右峰之间没有找到局部最小值，则所述场景被分类为其他；以及
f.否则，通过选择所述最左峰和所述最右峰之间的局部最小值来确定前景/背景阈值，并且基于所述前景/背景阈值，像素被分类为前景或背景并且前景像素的边界框确定在所述场景中是否有感兴趣的对象。
26.根据权利要求22所述的设备，其中，所述参数设定是自动缩放调节，包括：
a.对场景进行分类；
b.如果所述场景被分类为风景，则递进地缩小所述场景并对所述深度图重新分类以保持风景类别，并且达到最宽的可用缩放设定；
c.如果所述场景被分类为包含主要对象，则自动在所述对象上放大，直到所述场景的对象边界为止；
d.执行孔径调节；
e.执行快门速度调节；以及
f.更新聚焦位置。
CN201210036135.4A 2011-03-25 2012-02-15 基于场景深度图的缩放、孔径和快门速度的自动设定 Active CN102724399B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/072,614 US9307134B2 (en) 2011-03-25 2011-03-25 Automatic setting of zoom, aperture and shutter speed based on scene depth map
US13/072,614 2011-03-25

Publications (2)

Publication Number Publication Date
CN102724399A true CN102724399A (zh) 2012-10-10
CN102724399B CN102724399B (zh) 2015-03-11

Family

ID=46877028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210036135.4A Active CN102724399B (zh) 2011-03-25 2012-02-15 基于场景深度图的缩放、孔径和快门速度的自动设定

Country Status (2)

Country Link
US (1) US9307134B2 (zh)
CN (1) CN102724399B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903222A (zh) * 2012-12-26 2014-07-02 财团法人工业技术研究院 三维感测方法与三维感测装置
CN106416217A (zh) * 2014-04-17 2017-02-15 索尼公司 照相机的深度辅助场景识别
CN107547789A (zh) * 2016-06-24 2018-01-05 聚晶半导体股份有限公司 影像获取装置及其摄影构图的方法
WO2019179413A1 (zh) * 2018-03-21 2019-09-26 维沃移动通信有限公司 景深图像生成方法及移动终端
CN110378945A (zh) * 2019-07-11 2019-10-25 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789235B (zh) * 2009-01-22 2011-12-28 华为终端有限公司 一种图像处理方法及装置
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US9160917B2 (en) * 2013-07-09 2015-10-13 Htc Corporation Handheld electronic apparatus and image capturing apparatus and focusing method thereof
US20140225991A1 (en) * 2011-09-02 2014-08-14 Htc Corporation Image capturing apparatus and method for obatining depth information of field thereof
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR102092846B1 (ko) 2013-03-08 2020-03-24 삼성전자주식회사 3차원 영상 줌을 수행하는 영상 처리 장치 및 방법
US9860510B2 (en) * 2013-03-15 2018-01-02 Intuitive Surgical Operations, Inc. Depth based modification of captured images
US20150172541A1 (en) * 2013-12-17 2015-06-18 Glen J. Anderson Camera Array Analysis Mechanism
US9418432B2 (en) 2014-03-28 2016-08-16 Sony Corporation Imaging system with depth estimation mechanism and method of operation thereof
CA2848794C (en) * 2014-04-11 2016-05-24 Blackberry Limited Building a depth map using movement of one camera
JP6403473B2 (ja) * 2014-07-22 2018-10-10 キヤノン株式会社 撮像装置、その制御方法及びプログラム
TWI538508B (zh) * 2014-08-15 2016-06-11 光寶科技股份有限公司 一種可獲得深度資訊的影像擷取系統與對焦方法
TWI500904B (zh) * 2014-09-18 2015-09-21 Vivotek Inc 立體攝影機及用來測量立體攝影機與基準面之距離的自動測距方法
US9781405B2 (en) * 2014-12-23 2017-10-03 Mems Drive, Inc. Three dimensional imaging with a single camera
US20170289515A1 (en) * 2016-04-01 2017-10-05 Intel Corporation High dynamic range depth generation for 3d imaging systems
US10277889B2 (en) * 2016-12-27 2019-04-30 Qualcomm Incorporated Method and system for depth estimation based upon object magnification
US10594926B2 (en) * 2017-01-25 2020-03-17 International Business Machines Corporation Preferred picture taking
TWI641264B (zh) * 2017-03-30 2018-11-11 晶睿通訊股份有限公司 影像處理系統及鏡頭狀態判斷方法
US11212506B2 (en) 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
US10893299B2 (en) 2018-07-31 2021-01-12 Intel Corporation Surface normal vector processing mechanism
US10762394B2 (en) 2018-07-31 2020-09-01 Intel Corporation System and method for 3D blob classification and transmission
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
CN109389631B (zh) * 2018-09-05 2022-09-16 奥比中光科技集团股份有限公司 深度计算系统与方法
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
DE102019127349A1 (de) 2018-10-10 2020-04-16 Intel Corporation Punktwolkencodierungsstandard-konformitätsdefintion in computerumgebungen
KR102635884B1 (ko) * 2018-10-31 2024-02-14 삼성전자주식회사 조리개를 포함하는 카메라 모듈
US20210245047A1 (en) 2020-02-10 2021-08-12 Intel Corporation Continuum architecture for cloud gaming
KR20220122317A (ko) * 2021-02-26 2022-09-02 삼성전자주식회사 오토 줌 및 오토 포커스를 수행하는 이미지 시그널 프로세서, 이미지 시그널 프로세서의 이미지 프로세싱 방법 및 이미지 프로세싱 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926851A (zh) * 2004-01-16 2007-03-07 索尼电脑娱乐公司 通过深度信息优化捕获装置设置的方法和设备
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
US20070297784A1 (en) * 2006-06-22 2007-12-27 Sony Corporation Method of and apparatus for generating a depth map utilized in autofocusing
US20090268985A1 (en) * 2008-04-29 2009-10-29 Earl Quong Wong Reduced Hardware Implementation For A Two-Picture Depth Map Algorithm

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043900A (en) * 1998-03-31 2000-03-28 Xerox Corporation Method and system for automatically detecting a background type of a scanned document utilizing a leadedge histogram thereof
US6765618B1 (en) * 1998-10-19 2004-07-20 Pentax Corporation Subject selection device and in-focus portion indicating device
US7065242B2 (en) * 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
US7262798B2 (en) 2001-09-17 2007-08-28 Hewlett-Packard Development Company, L.P. System and method for simulating fill flash in photography
US8593542B2 (en) * 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
FR2857133A1 (fr) 2003-07-03 2005-01-07 Thomson Licensing Sa Procede de generation de flou
EP1738198A4 (en) 2004-02-13 2011-05-25 Technion Res & Dev Foundation IMPROVED UNDERWATER PICTURE
US7929017B2 (en) * 2004-07-28 2011-04-19 Sri International Method and apparatus for stereo, multi-camera tracking and RF and video track fusion
US7389041B2 (en) 2005-02-01 2008-06-17 Eastman Kodak Company Determining scene distance in digital camera images
US7929801B2 (en) * 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
TWI314832B (en) 2006-10-03 2009-09-11 Univ Nat Taiwan Single lens auto focus system for stereo image generation and method thereof
US8077964B2 (en) 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
US8351685B2 (en) * 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
US8233077B2 (en) * 2007-12-27 2012-07-31 Qualcomm Incorporated Method and apparatus with depth map generation
TWI393980B (zh) * 2009-06-08 2013-04-21 Nat Univ Chung Cheng The method of calculating the depth of field and its method and the method of calculating the blurred state of the image
US8229172B2 (en) * 2009-12-16 2012-07-24 Sony Corporation Algorithms for estimating precise and relative object distances in a scene
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
US8335390B2 (en) * 2010-03-22 2012-12-18 Sony Corporation Blur function modeling for depth of field rendering
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US9077891B1 (en) * 2013-03-06 2015-07-07 Amazon Technologies, Inc. Depth determination using camera focus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926851A (zh) * 2004-01-16 2007-03-07 索尼电脑娱乐公司 通过深度信息优化捕获装置设置的方法和设备
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
US20070297784A1 (en) * 2006-06-22 2007-12-27 Sony Corporation Method of and apparatus for generating a depth map utilized in autofocusing
US20090268985A1 (en) * 2008-04-29 2009-10-29 Earl Quong Wong Reduced Hardware Implementation For A Two-Picture Depth Map Algorithm

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903222A (zh) * 2012-12-26 2014-07-02 财团法人工业技术研究院 三维感测方法与三维感测装置
CN103903222B (zh) * 2012-12-26 2017-06-27 财团法人工业技术研究院 三维感测方法与三维感测装置
CN106416217A (zh) * 2014-04-17 2017-02-15 索尼公司 照相机的深度辅助场景识别
CN107547789A (zh) * 2016-06-24 2018-01-05 聚晶半导体股份有限公司 影像获取装置及其摄影构图的方法
CN107547789B (zh) * 2016-06-24 2020-09-01 聚晶半导体股份有限公司 影像获取装置及其摄影构图的方法
WO2019179413A1 (zh) * 2018-03-21 2019-09-26 维沃移动通信有限公司 景深图像生成方法及移动终端
CN110378945A (zh) * 2019-07-11 2019-10-25 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备

Also Published As

Publication number Publication date
US9307134B2 (en) 2016-04-05
US20120242796A1 (en) 2012-09-27
CN102724399B (zh) 2015-03-11

Similar Documents

Publication Publication Date Title
CN102724399B (zh) 基于场景深度图的缩放、孔径和快门速度的自动设定
CN102640189B (zh) 用于估计场景中精确和相对物体距离的方法
JP4268220B2 (ja) 撮影装置、撮影方法、およびプログラム
JP4823179B2 (ja) 撮像装置及び撮影制御方法
US7801432B2 (en) Imaging apparatus and method for controlling the same
US8306360B2 (en) Device and method for obtaining clear image
CN107087107A (zh) 基于双摄像头的图像处理装置及方法
CN102436639B (zh) 一种去除图像模糊的图像采集方法和图像采集系统
US8675085B2 (en) Camera that combines images of different scene depths
CN106292162A (zh) 立体照相装置和相关控制方法
JP2014168227A (ja) 画像処理装置、撮像装置、画像処理方法
EP3562143A1 (en) Image processing device, image processing method, and program
CN107950018A (zh) 通过焦点栈呈现的逼真浅景深
CN102227746A (zh) 立体图像处理装置、方法、记录介质和立体成像设备
CN108600638B (zh) 摄像机自动调焦系统及方法
CN107787463B (zh) 优化对焦堆栈的捕获
CN105791801A (zh) 图像处理装置、图像拾取装置和图像处理方法
CN104867125B (zh) 获取图像的方法以及装置
JP5210198B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
EP2733923A2 (en) Multiresolution depth from defocus based autofocus
WO2019104569A1 (zh) 一种对焦方法、设备及可读存储介质
CN104079837A (zh) 一种基于图像传感器的对焦方法及装置
JP2009047497A (ja) 立体撮像装置および立体撮像装置の制御方法並びにプログラム
CN101470248B (zh) 对焦装置及方法
JP2009047496A (ja) 立体撮像装置および立体撮像装置の制御方法並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant