CN103916659A - 用于场深可视化的系统和方法 - Google Patents

用于场深可视化的系统和方法 Download PDF

Info

Publication number
CN103916659A
CN103916659A CN201410001474.8A CN201410001474A CN103916659A CN 103916659 A CN103916659 A CN 103916659A CN 201410001474 A CN201410001474 A CN 201410001474A CN 103916659 A CN103916659 A CN 103916659A
Authority
CN
China
Prior art keywords
pixel
field depth
distance value
group
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410001474.8A
Other languages
English (en)
Other versions
CN103916659B (zh
Inventor
J.F.凯利
T.西格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN103916659A publication Critical patent/CN103916659A/zh
Application granted granted Critical
Publication of CN103916659B publication Critical patent/CN103916659B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

在用于使场深可视化的方法中,一种计算设备基于在各像素中描述的主题和与计算设备集成的成像设备之间的距离来确定用于数字图像的多个像素中的每个相应像素的距离值。该计算设备确定数字图像的场深。该计算设备将数字图像的场深与用于每个相应像素的距离值相比较以确定具有在场深外面的距离值的所述多个像素中的第一组像素和具有在场深内部的距离值的所述多个像素中的第二组像素。该计算设备在用户界面中指示第一组像素。

Description

用于场深可视化的系统和方法
技术领域
本发明一般地涉及摄影领域,并且更特别地涉及场深的可视化。
背景技术
场深是静止图像或“焦点对准”视频的一部分,如由成像系统的光学元件呈现。更特别地,场深是在图像中看起来可接受地锐利的场景中的最近和最远目标(object)之间的距离。专业摄影师使用场深将被摄体(subject)隔离以获得视觉效果,或者扩展场深以将附加的组成元素或大的被摄体(相对于光学因素而言)对焦。场深被摄影师所使用,因为其能够被调整,使得所有或大多数图像焦点对准,或者其能够被调整以模糊前景或背景以将被摄体隔离(称为散景)。设备的光圈(镜头开口)控制场深;开口越小、场深越大。到被摄体(焦点对准的被摄体)的距离、镜头的焦距、传感器尺寸和像素尺寸也影响由模糊圈计算的场深。
场深大大地改变。场深在捕获图像或视频时被视为最有价值的创作工具且能够准确地计算。然而,发现将满足创作预期的正确光圈是试错法中的一个,即使是对于最有经验的摄影师或视频记录者而言。许多变量影响成像场深,使得难以在没有时间和工具的情况下实现精确度。
发明内容
本发明的实施例的各方面公开了一种用于使场深可视化的方法、计算机程序产品和计算系统。计算设备基于在各像素中描述的主题和与计算设备集成的成像设备之间的距离来确定用于数字图像的多个像素的每个相应像素的距离值。该计算设备确定数字图像的场深。该计算设备将数字图像的场深与用于每个相应像素的距离值相比较,以确定具有在场深外面的距离值的所述多个像素中的第一组像素和具有在场深内部的距离值的所述多个像素中的第二组像素。计算设备在用户界面中指示第一组像素。
附图说明
图1是根据本发明的一个实施例的图像捕获设备的功能框图。
图2A是根据本发明的一个实施例的用于图1的图像捕获设备的图像捕获程序的用户界面的示例性视图。
图2B是根据本发明的一个实施例的受用于使由图像捕获程序捕获的图像中的场深可视化的场深程序影响的用户界面的示例性视图。
图3是描述根据本发明的一个实施例的场深程序的步骤的流程图。
图4是根据本发明的说明性实施例的图像捕获设备的部件的框图。
具体实施方式
场深是在图像中看起来可接受地锐利的场景中的最近和最远目标之间的距离,且在捕获图像或视频时被视为最有价值的创作工具。虽然能够准确地计算场深,但要确定满足创作预期所需的适当设置对于摄影师而言常常是有挑战性的,因此使得其成为试错法的过程。本发明的实施例认识到要在与大多数成像设备(诸如数字相机)集成的小的、低分辨率显示器上看到捕获的数字图像的场深,对于摄影师而言是特别困难的。摄影师不能在没有首先变焦或在另一显示器上显示照片的情况下在被附接于成像设备的较小显示器上准确地查看场深。本发明通过覆盖或模糊在场深之外的捕获数字图像的各部分、为摄影师提供直接的视觉反馈而利用计算机程序来使场深可视化。
所属技术领域的技术人员知道,本发明的各个方面可以实现为系统、方法或计算机程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、驻留软件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。此外,在一些实施例中,本发明的各个方面还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式,该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些计算机程序指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。
也可以把这些计算机程序指令存储在计算机可读介质中,这些指令使得计算机、其它可编程数据处理装置、或其他设备以特定方式工作,从而,存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令的制造品(article of manufacture)。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
现在将参考附图来详细描述本发明。图1是根据本发明的一个实施例的图像捕获设备10的功能框图。图1仅描述了一个实施例的图示且不意味着关于其中可以实现不同实施例的环境的任何限制。
在描述的实施例中,图像捕获设备10是与成像设备集成的计算设备。例如,图像捕获设备10可以是数字相机,诸如数字单镜头反射相机(dSLR),其具有计算机处理能力,或者替换地,与单独的不同计算设备通信的成像设备。在其他实施例中,图像捕获设备10可以是数字摄像机、具有集成数字相机的计算机、装配有数字相机的智能电话或能够捕获和显示数字图像的任何可编程电子设备。数字图像可以是静止照片或运动图像,诸如视频或电影。图像捕获设备10包括光学镜头20、显示器30、用户界面40、图像传感器50、图像捕获程序60以及场深程序70。
光学镜头20与图像捕获设备10集成。在一个实施例中,光学镜头20是可互换dSLR镜头。例如,光学镜头20可以是30mm可互换dSLR镜头。在另一实施例中,可以将光学镜头20永久地固定于图像捕获设备10。例如,当图像捕获设备10是数字傻瓜相机时,光学镜头20被永久地固定。光学镜头20操作用于使光对焦到图像传感器50上。
光圈(未示出)是光通过其穿过光学镜头20并进入图像捕获设备10的开口。光圈可以位于光学镜头20内的不同点上。例如,光圈可以是将光学元件保持就位的环或其他固定装置,或者其可以是被放置在光学路径中以限制通过镜头发射的光的量的光阑。可以调整光圈以控制进入图像捕获设备10的光的量。
如果光学镜头不是固定焦距镜头,则可以由图像捕获设备10的操作员来调整光学镜头20的镜头焦距。镜头焦距是在其范围内光线对焦在焦点上的距离。该焦点是光线在该处会聚并对焦的点。调整光学镜头20的镜头焦距还将调整光学镜头20的f数,其为镜头焦距与光圈的直径的比。设置f数以便调整光圈直径,以便控制进入成像设备10的光的量。当写出时,常常在f数前面放f/。因此,4的f数被写为f/4。例如,如果光学镜头20是具有f/4的f数设置的100mm焦距镜头,则光学镜头20将具有25mm的光圈直径。
显示器30被连接到图像捕获设备10。在一个实施例中,显示器30是被固定于图像捕获设备10的液晶显示器(LCD)。在另一实施例中,显示器30是被连接到具有集成数字相机的计算机的显示监视器。在另一实施例中,显示器30是被连接到网络或LAN的显示监视器。在另一实施例中,显示器30是经由电缆被附接于图像捕获设备10的监视器。显示器30进行操作以显示由图像捕获设备10捕获的数字图像。数字图像由一组像素组成。在一个实施例中,数字图像可以是静止图像。在另一实施例中,数字图像可以是数字视频。
用户界面40在图像捕获设备10上进行操作并与显示器30相结合地工作以使诸如由图像捕获设备10捕获的图像的内容可视化。用户界面40可以包括一个或多个界面,诸如操作系统界面和应用界面。在一个实施例中,用户界面40包括到图像捕获程序60和场深程序70的界面。在一个实施例中,用户界面40接收由图像捕获程序60捕获的图像并将图像发送到显示器30。
图像传感器50与图像捕获设备10集成。图像传感器50是将光学图像转换成电子信号的检测器。电信号被模数(A/D)转换器(未示出)量化。在一个实施例中,图像传感器50可以是电荷耦合器件(CCD)传感器。在另一实施例中,图像传感器50可以是互补金属氧化物半导体(CMOS)传感器或另一类型的传感器。在另一实施例中,图像传感器50可以是用于医学成像的特殊化传感器。
在一个实施例中,光通过光学镜头20并到达图像传感器50,其包含均匀分布在图像传感器50上的像素传感器阵列。像素传感器可以由吸收光的光子并产生电子信号的半导体材料组成。在一个实施例中,图像传感器50还可以包含自动对焦像素传感器。自动对焦像素传感器可以是以各种图案布置的阵列。在另一实施例中,可以在与图像传感器50分开的传感器上包含自动对焦像素传感器。
图像捕获程序60是标准图像捕获程序。例如,图像捕获程序60是在数字相机、诸如场景识别系统上操作的程序。在一个实施例中,图像捕获程序60接收并处理来自图像传感器60的电子信号。图像捕获程序60将已处理图像发送到用户界面40以便在显示器30上显示。
在一个实施例中,图像捕获程序60还管理图像捕获设备10的自动对焦能力。自动对焦能力利用一个或多个自动对焦像素传感器来确定图像是否焦点对准,并且如果图像并未焦点对准,则以机电方式来调整图像捕获设备10的焦点。用户可以使用用户界面40来操作图像捕获程序60以选择一个或多个焦点以设置在图像捕获设备10的视场中的摄影师焦点。焦点是与自动对焦像素传感器相关联的图像捕获设备10的视场中的位置。图像捕获程序60然后确定单个焦点处的主题是否焦点对准。如果在单个焦点处的该主题并未焦点对准,则图像捕获程序60以机电方式来调整焦点直至该主题焦点对准。
如果自动对焦程序利用主动自动对焦,则图像捕获程序60可以使用红外光的超声波或三角测量来确定被摄体与传感器50之间的距离。主动自动对焦是一种自动对焦,其通过独立于光学系统来测量到被摄体的距离而确定正确的焦点。在一个实施例中,可以使用超声波检测器(未示出)来确定距离。在另一实施例中,可以使用红外光检测器(未示出)来确定距离。在另一实施例中,可以使用另一方法来确定距离。如果自动对焦程序利用被动自动对焦,则图像捕获程序60可以使用相位检测或对比度测量来确定焦点。被动自动对焦是一种自动对焦,其通过执行进入光学系统的图像的被动分析来确定正确的焦点。在一个实施例中,图像捕获程序60可能够在保持对焦在主题上的同时检测被摄体朝向或远离相机的运动。
在一个实施例中,相位检测还可以确定焦点处的主题和与焦点相关联的自动对焦像素传感器之间的距离。相位检测可以以与测距仪类似的方式运行,其为允许用户测量到主题的距离的对焦机构。测距仪示出了两个相同的图像。一个图像在图像捕获设备上的已校准轮转动时移动。在两个图像重叠且融合成一个时,从已校准轮读出该距离。例如,当利用相位检测时,成像设备10包含捕获来自镜头的相对侧的光并使光转向至与图像传感器50分开定位的自动对焦传感器的射束分离器(未示出)。这产生两个单独图像,其被针对光强度和间隔误差进行比较以便确定图像是焦点对准还是焦点未对准。在此比较期间,使用相位检测来确定焦点处的主题到关联自动对焦像素传感器之间的距离。例如,数字相机以电子方式来测量到主题的距离。
场深程序70进行操作以使由图像捕获程序60捕获的图像的场深可视化。在一个实施例中,场深程序70基于图像数据来确定捕获图像的场深,该图像数据包括通过使用图像捕获程序的自动对焦能力来计算场深所需的数据,诸如光圈孔径、光学镜头20的焦距以及焦点处的被摄体到与焦点相关联的自动对焦像素传感器之间的距离。图像数据还包括到多个焦点的距离。场深程序70促使场深显示在图像捕获设备10的用户界面40中。如所描述的,场深程序70是图像捕获程序60的子程序或例程。在另一实施例中,场深程序70可以是与图像捕获程序60通信的独立程序。
在一个实施例中,场深程序70在图像上覆盖变化透明度的掩膜,以便区别在场深内部和外部的区域。例如,场深程序70覆盖用于很好地在场深外面的区域的不透明掩膜和用于接近于场深的焦点的半透明掩膜。在围绕所选焦点的场深内部的区域未被掩蔽。在另一实施例中,场深程序70可以在图像上覆盖变化色彩或图案的掩膜,以便区别在场深内部和外部的区域。例如,场深程序70可以覆盖用于很好地在场深外面的区域的蓝色掩膜和用于接近于场深的焦点的红色掩膜。在本实施例中,场深程序70可以用黄色掩膜来覆盖场深内部的区域。在另一实施例中,场深程序70将图像的散景放大以便使场深可视化。散景的放大将随显示器尺寸的减小而增加。
图像捕获设备10可以包括如相对于4更详细地描述的内部和外部部件。
图2A和2B描述了根据本发明的一个实施例的用于图像捕获程序60和场深程序70的用户界面的示例性视图。图2A的用户界面200和图2B的用户界面250每个是图1的用户界面40的示例,并且可以允许用户看到来自图像捕获程序60和场深程序70的显示内容。
图2A描述了显示场深之前的用户界面200的显示。用户界面200包含从图像捕获程序60接收到的图像。图像包括被摄体220及目标230和240。焦点210是每个与自动对焦像素传感器相关联的图像捕获设备10的视场中的位置。在一个实施例中,用户可以经由用户界面200来选择单个焦点。在另一实施例中,用户可以经由用户界面200来选择多个焦点。所选焦点215是被用户选择为焦点对准的焦点。被摄体220是在用户所选的焦点处的目标。被摄体220在图像捕获设备10的显示器30上所显示的图像中焦点对准。前景目标230是图像的前景中的焦点未对准目标。背景目标240是图像背景中的焦点未对准目标。
图2B描述了显示场深之后的用户界面250的显示。用户界面250包含从图像捕获程序60接收到的图像。图像包括被摄体220及目标230和240。被摄体220是图像的被摄体,并且该被摄体在显示于显示器30上的图像中焦点对准。前景目标230是图像的前景中的焦点未对准目标。背景目标240是图像背景中的焦点未对准目标。焦点区域260是在场深中的目标220周围的焦点对准区域。前景覆盖270是在场深之外的图像的前景中的焦点未对准区域上的掩膜。背景覆盖280是在场深之外的背景中的焦点未对准区域上的掩膜。
图3是描述了根据本发明的实施例的用于使捕获图像的场深可视化的场深程序70的操作步骤的流程图。
在一个实施例中,用户选择视场中的摄影师焦点。在一个实施例中,最初,光通过镜头20。图像传感器50吸收光,将其转换成电子信号,并将该信号发送到图像捕获程序60。图像捕获程序60从图像传感器50接收电子信号。图像捕获程序60调整自动对焦以使摄影师焦点处的主题焦点对准。图像捕获程序60针对多个焦点中的每个焦点确定焦点处的主题和与焦点相关联的自动对焦像素传感器之间的距离。在一个实施例中,图像捕获程序60确定图像数据,该图像数据包括通过使用图像捕获程序的自动对焦能力来计算场深所需的数据,诸如光圈孔径、光学镜头20的焦距以及摄影师焦点处的主题和与摄影师焦点相关联的自动对焦像素传感器之间的距离。图像数据还包括针对多个焦点中的每个焦点的焦点处的主题和与焦点相关联的自动对焦像素传感器之间的距离。在一个实施例中,图像捕获程序60将某些或所有图像数据发送到场深程序70。
在一个实施例中,图像捕获程序60促使捕获图像被显示在用户界面40中。在另一实施例中,图像捕获程序60将捕获图像发送到场深程序70。
在步骤300中,场深程序70接收图像数据。在一个实施例中,场深程序70从图像捕获程序60接收图像数据。在另一实施例中,场深程序70可以访问图像捕获程序60的自动对焦能力,并且场深程序确定图像数据。图像数据包括计算场深所需的数据,诸如光圈直径、光学镜头20的焦距以及摄影师焦点处的主题和与摄影师焦点相关联的自动对焦像素传感器之间的距离。
在步骤310中,场深程序70创建用于捕获图像的深度图。在一个实施例中,深度图表示捕获图像的像素和到与每个像素相关联的自动对焦传感器的与每个像素相关联的距离。所述多个焦点中的每个焦点与捕获图像的一个或多个像素相关联。图像数据中的每个距离与焦点相关联。在一个实施例中,场深程序70确定用于并未与焦点相关联的捕获图像的像素的距离的平均值。例如,场深程序70确定与两个相邻焦点相关联的距离的平均值,并给未与焦点相关联的两个相邻焦点之间的像素分配平均距离值。在另一实施例中,场深程序70确定用于并未与焦点相关联的像素的渐进距离。例如,场深程序70确定用于两个相邻焦点的距离并给并未与焦点相关联的两个相邻焦点之间的像素分配渐进距离值。
在步骤320中,场深程序70确定用于由程序60捕获的图像的场深。在一个实施例中,场深程序70基于图像数据来确定用于捕获图像的场深。图像数据包括光圈直径、光学镜头20的焦距以及摄影师焦点处的主题到与摄影师焦点相关联的自动对焦像素传感器之间的距离。例如,场深程序70通过使用已知算法来计算场深而确定用于捕获图像的场深。场深包括与由摄影师选择的焦点的一定范围的距离。
在步骤330处,场深程序70使捕获图像的场深可视化。在一个实施例中,场深程序70确定捕获图像的哪些像素在场深中。场深程序70将场深中的距离范围与分配给深度图中的每个像素的距离值相比较。如果像素落入场深中的距离范围内,则认为像素在场深中。如果像素与远于场深的距离相关联,则认为像素超过捕获图像的背景中的场深。场深程序70用覆盖图来掩蔽超过场深的像素。场深程序70并未掩蔽在场深中的像素。如果像素与比场深更近的距离相关联,则认为像素在场深之外且在捕获图像的前景中。场深程序70用覆盖图来掩蔽比场深更近的像素。
在一个实施例中,“焦点对准”或在场深内的组成元素未被掩蔽。在焦点平面外面的元素被逐渐不透明的掩膜所掩蔽,其中距离镜头的焦点平面最远的点是最不透明的。在另一实施例中,距离镜头焦点的平面最远的元素被模糊,因为此深度图模拟最终图像将如何出现在较大显示器上。在另一实施例中,背景中的元素被图案或色彩掩蔽,并且前景中的元素被不同的图案或色彩掩蔽。
在一个实施例中,场深程序70促使捕获图像的场深被显示在用户界面40上。跨越在图像捕获设备10的显示器30上示出的图像可视化的掩膜帮助用户相对于数字图像的被摄体使图像中的目标的位置可视化,并预览数字图像,因此用户能够清楚地看到哪些元素是焦点对准的和哪些元素是焦点未对准的。可以将数字图像的某些或所有部分掩蔽。在一个实施例中,场深程序70向用户界面40发送将覆盖哪些像素的指示和要使用的掩膜的类型。在另一示例中,场深程序70向图像捕获程序60发送要覆盖哪些像素的指示和掩膜的类型,并且图像捕获程序60向用户界面40发送指示。
图4描述了根据本发明的说明性实施例的图像捕获设备10的部件的框图。应认识到图4仅提供了一个实施方式的图示而不暗示关于其中可以实现不同实施例的环境的任何限制。可以实现对所描述环境的许多修改。
图像捕获设备10包括通信结构402,其提供计算机处理器404、存储器406、持久性储存器408、通信单元410以及输入/输出(I/O)接口412之间的通信。能够用被设计成用于在处理器(诸如微处理器、通信和网络处理器等)、系统存储器、外围设备以及系统内的任何其他硬件部件之间传递数据和/或控制信息的任何架构来实现通信结构402。例如,能够用一个或多个总线来实现通信结构402。
存储器406和持久性储存器408是计算机可读存储介质。在本实施例中,存储器406包括随机存取存储器(RAM)414和高速缓冲存储器416。一般地,存储器406可以包括任何适当的易失性或非易失性计算机可读存储介质。
用户界面40、图像捕获程序60以及场深程序70被存储在持久性储存器408中,以便由各计算机处理器404中的一个或多个经由存储器406的一个或多个存储器来执行。在本实施例中,持久性储存器408包括磁性硬盘驱动器。替换地,或者除磁性硬盘驱动器之外,持久性储存器408可以包括固态硬盘驱动器、半导体存储器件、只读存储器(ROM)、可擦可编程序只读存储器(EPROM)、闪速存储器或能够存储程序指令或数据信息的任何其他计算机可读存储介质。
持久性储存器408所使用的介质还可以是可移除的。例如,可以将可移除硬盘驱动器用于持久性储存器408。其他示例包括光盘和磁盘、拇指驱动器以及智能卡,其被插入驱动器中以便传输到也是持久性储存器408的一部分的另一计算机可读存储介质上。
在这些示例中,通信单元410提供与其他服务器的通信。在这些示例中,通信单元410包括一个或多个网络接口卡。通信单元410可以通过使用物理和无线通信链路中的任一者或两者来提供通信。可以通过通信单元410将用户界面40、图像捕获程序60以及场深程序70下载到持久性储存器408。
I/O接口412允许用可以连接到图像捕获设备的其他设备进行数据的输入和输出。例如,I/O接口412可以提供到外部设备418、诸如键盘、键区、触摸屏和/或某个其他适当输入设备的连接。外部设备418还可以包括便携式计算机可读存储介质,诸如,例如拇指驱动器、便携式光盘或磁盘以及存储卡。用来实施本发明的实施例的软件和数据、例如用户界面40、图像捕获程序60以及场深程序70能够存储在此类便携式计算机可读存储介质上,并且可以经由I/O接口412加载到持久性储存器408上。I/O412还连接到显示器420。
显示器420提供了一种向用户显示数据的机制且可以是例如计算机监视器。
本文所述的程序是基于对于其而言在本发明的特定实施例中实现该程序的应用程序而识别的。然而,应认识到任何特定程序命名仅仅是为了方便起见而使用的,并且因此本发明不限于仅仅在由此类命名所识别和/或暗示的任何特定应用中使用。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

Claims (12)

1.一种用于使数字图像的场深可视化的方法,该方法包括步骤:
计算设备基于在各像素中描述的主题和与计算设备集成的成像设备之间的距离,确定用于数字图像的多个像素的每个相应像素的距离值;
该计算设备确定数字图像的场深;以及
该计算设备将数字图像的场深与用于每个相应像素的距离值相比较,以确定具有在场深外面的距离值的所述多个像素中的第一组像素,以及具有在场深内部的距离值的所述多个像素中的第二组像素;以及
该计算设备在用户界面中指示第一组像素。
2.如权利要求1所述的方法,其中,计算设备在用户界面中指示第一组像素的步骤包括:计算设备在用户界面中在具有在场深外面的距离值的第一组像素上覆盖第一掩膜。
3.如权利要求2所述的方法,其中,所述第一掩膜在透明度上变化。
4.如权利要求1所述的方法,其中,计算设备在用户界面中指示第一组像素的步骤包括:计算设备在用户界面中使具有在场深外面的距离值的第一组像素模糊。
5.如权利要求1所述的方法,还包括步骤:
所述计算设备确定具有小于场深的最低距离范围值的距离值的第一组像素中的像素的第一子集;以及
所述计算设备确定具有大于场深的最高距离范围值的距离值的第一组像素中的像素的第二子集。
6.如权利要求5所述的方法,还包括步骤:
所述计算设备在具有小于场深的最低距离范围值的距离值的第一组像素中的像素的第一子集上覆盖第二掩膜;以及
所述计算设备在具有大于场深的最高距离范围值的距离值的第一组像素中的像素的第二子集上覆盖第三掩膜。
7.一种用于使数字图像的场深可视化的计算机系统,该计算机系统包括:
一个或多个计算机处理器;
一个或多个计算机可读存储介质;
程序指令,存储在所述计算机可读介质上以便由所述一个或多个处理器中的至少一个来执行,该程序指令包括:
程序指令,用以基于在各像素中描述的主题和与计算设备集成的成像设备之间的距离,确定用于数字图像的多个像素的每个相应像素的距离值;
程序指令,用以确定数字图像的场深;以及
程序指令,用以将数字图像的场深与用于每个相应像素的距离值相比较,以确定具有在场深外面的距离值的所述多个像素中的第一组像素,以及具有在场深内部的距离值的所述多个像素中的第二组像素;以及
程序指令,用以在用户界面中指示第一组像素。
8.如权利要求7所述的计算机系统,其中,用以在计算机界面中指示第一组像素的程序指令包括:用以在用户界面中在具有在场深外面的距离值的第一组像素上覆盖第一掩膜的程序指令。
9.如权利要求8所述的计算机系统,其中,所述第一掩膜在透明度上变化。
10.如权利要求7所述的计算机系统,其中,用以在用户界面中指示第一组像素的程序指令包括:用以在用户界面中使具有在场深外面的距离值的第一组像素模糊的程序指令。
11.如权利要求7所述的计算机系统,还包括:
存储在计算机可读存储介质上以便由所述一个或多个处理器中的至少一个执行的程序指令,用以确定具有小于场深的最低距离范围值的距离值的第一组像素中的像素的第一子集;以及
存储在计算机可读存储介质上以便由所述一个或多个处理器中的至少一个执行的程序指令,用以确定具有大于场深的最高距离范围值的距离值的第一组像素中的像素的第二子集。
12.如权利要求11所述的计算机系统,还包括:
存储在计算机可读存储介质上以便由所述一个或多个处理器中的至少一个执行的程序指令,用以在具有小于场深的最低距离范围值的距离值的第一组像素中的像素的第一子集上覆盖第二掩膜;以及
存储在计算机可读存储介质上以便由所述一个或多个处理器中的至少一个执行的程序指令,用以在具有大于场深的最高距离范围值的距离值的第一组像素中的像素的第二子集上覆盖第三掩膜。
CN201410001474.8A 2013-01-02 2014-01-02 用于场深可视化的系统和方法 Expired - Fee Related CN103916659B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/732,577 US20140184586A1 (en) 2013-01-02 2013-01-02 Depth of field visualization
US13/732,577 2013-01-02

Publications (2)

Publication Number Publication Date
CN103916659A true CN103916659A (zh) 2014-07-09
CN103916659B CN103916659B (zh) 2016-11-16

Family

ID=51016662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410001474.8A Expired - Fee Related CN103916659B (zh) 2013-01-02 2014-01-02 用于场深可视化的系统和方法

Country Status (2)

Country Link
US (1) US20140184586A1 (zh)
CN (1) CN103916659B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107438157A (zh) * 2016-05-25 2017-12-05 聚晶半导体股份有限公司 影像获取装置及其渐进式对焦方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6245885B2 (ja) * 2013-08-02 2017-12-13 キヤノン株式会社 撮像装置およびその制御方法
US9734551B1 (en) * 2013-12-01 2017-08-15 Google Inc. Providing depth-of-field renderings
US9449234B2 (en) 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9300857B2 (en) 2014-04-09 2016-03-29 International Business Machines Corporation Real-time sharpening of raw digital images
US9456010B1 (en) 2015-12-30 2016-09-27 International Business Machines Corporation Convergence of social enterprise and digital telephony
US10733706B2 (en) * 2018-01-07 2020-08-04 Htc Corporation Mobile device, and image processing method for mobile device
CN109615648B (zh) * 2018-12-07 2023-07-14 深圳前海微众银行股份有限公司 景深数据转换方法、装置、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926851A (zh) * 2004-01-16 2007-03-07 索尼电脑娱乐公司 通过深度信息优化捕获装置设置的方法和设备
CN102422630A (zh) * 2009-05-12 2012-04-18 佳能株式会社 摄像设备
CN102842110A (zh) * 2011-06-20 2012-12-26 富士胶片株式会社 图像处理设备和图像处理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603485B2 (en) * 2001-04-24 2003-08-05 Hewlett-Packard Development Company, L.P. Computer cursor spotlight
US20130094753A1 (en) * 2011-10-18 2013-04-18 Shane D. Voss Filtering image data
US8805059B2 (en) * 2011-10-24 2014-08-12 Texas Instruments Incorporated Method, system and computer program product for segmenting an image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926851A (zh) * 2004-01-16 2007-03-07 索尼电脑娱乐公司 通过深度信息优化捕获装置设置的方法和设备
CN102422630A (zh) * 2009-05-12 2012-04-18 佳能株式会社 摄像设备
CN102842110A (zh) * 2011-06-20 2012-12-26 富士胶片株式会社 图像处理设备和图像处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107438157A (zh) * 2016-05-25 2017-12-05 聚晶半导体股份有限公司 影像获取装置及其渐进式对焦方法
CN107438157B (zh) * 2016-05-25 2020-04-07 聚晶半导体股份有限公司 影像获取装置及其渐进式对焦方法

Also Published As

Publication number Publication date
CN103916659B (zh) 2016-11-16
US20140184586A1 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
CN103916659A (zh) 用于场深可视化的系统和方法
US9196027B2 (en) Automatic focus stacking of captured images
CN102223477B (zh) 基于双图片匹配的深度估计的四维多项式模型
CN107948519A (zh) 图像处理方法、装置及设备
CN108718381B (zh) 摄影装置以及摄影装置的控制方法
JP5996319B2 (ja) ステレオ計測装置およびステレオ計測装置の作動方法
JP6497987B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2007282188A (ja) 被写体追尾装置、被写体追尾方法、被写体追尾プログラムおよび光学機器
JP2014010400A (ja) 撮像装置およびレンズ装置
JP2016114668A (ja) 撮像装置および制御方法とプログラム
CN101183206A (zh) 计算被拍摄物体的距离及其实际尺寸的方法
US11499824B2 (en) Distance measuring camera
JP2015072357A (ja) 焦点調節装置
JP2012253462A (ja) 撮像装置およびその制御方法
JP6418770B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
JP2020088689A (ja) 画像処理装置、撮像装置及び画像処理方法
US9449234B2 (en) Displaying relative motion of objects in an image
JP2014145867A (ja) 撮像装置及び撮像方法
JP6346484B2 (ja) 画像処理装置およびその制御方法
CN106686375B (zh) 一种摄像头超焦距的计算方法及系统
JP2010282107A (ja) 撮像装置及びその制御方法
CN113424020B (zh) 测距摄像机
JP2017038933A (ja) ステレオ計測用画像取得装置及びステレオ計測用画像取得装置の作動方法
JP6818798B2 (ja) 画像処理装置および画像処理方法、ならびに撮像装置
JP2011123152A (ja) 望遠鏡及び望遠鏡システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161116

Termination date: 20190102