CN107295249A - 全焦点实现 - Google Patents

全焦点实现 Download PDF

Info

Publication number
CN107295249A
CN107295249A CN201710420569.7A CN201710420569A CN107295249A CN 107295249 A CN107295249 A CN 107295249A CN 201710420569 A CN201710420569 A CN 201710420569A CN 107295249 A CN107295249 A CN 107295249A
Authority
CN
China
Prior art keywords
image
focal plane
camera
focusing
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710420569.7A
Other languages
English (en)
Other versions
CN107295249B (zh
Inventor
S.萨卡
G.F.布恩斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN107295249A publication Critical patent/CN107295249A/zh
Application granted granted Critical
Publication of CN107295249B publication Critical patent/CN107295249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本文描述了用于全焦点实现的各种系统和方法。用于操作相机的系统包括：相机中的图像传感器，以捕捉不同焦平面中的图像序列，图像序列的至少一部分在接收存储全焦点图像的信号前发生；用户接口模块，接收来自用户的存储全焦点图像的信号；及图像处理器，融合至少两个图像以产生全焦点图像，其中，至少两个图像具有不同的焦平面。

Description

全焦点实现
技术领域
本文中所述实施例一般涉及摄影术，并且具体地说，涉及全焦点（all-in-focus）实现。
背景技术
在摄影术中，摄影景深(DOF)指图像中焦点的前后范围。在有着大DOF的照片中，前景、中部和背景全部在焦点中。相反，有着浅DOF的照片可在焦点中只具有一个平面。在常规相机中，大DOF可通过小的相机孔径实现。在一些数码相机中，可快速连续捕捉焦点的几个平面并且将其组合以产生全焦点图像。
附图说明
在不一定按比例画出的图中，类似的标号可描述不同视图中的类似组件。具有不同字母后缀的类似标号可表示类似组件的不同实例。一些实施例在附图的图形中通过示例而不是作为限制示出，图中：
图1是根据一示例实施例，示出相机的框图；
图2是根据一实施例，示出帧序列的表格；
图3是根据一实施例，示出帧序列的表格；
图4是根据本发明的一实施例，示出用于操作相机的方法的流程图；以及
图5是根据一示例实施例，示出本文中讨论的任何一种或多种技术（例如，方法）可在其上执行的示例机器的框图。
具体实施方式
通过融合在不同焦平面的多个图像以获得即使不是完全也是大部分在焦点的结果图像，创建全焦点图像。技术也称为聚焦堆叠、焦点平面合并或z堆叠。图像处理器通过图像分析执行来自不同焦平面的图像的融合。例如，通过使用边缘检查，可比较来自不同焦平面的图像的各种对应部分，并且随后在结果图像中使用聚焦最多部分。
在常规相机中，在摄影师促动快门机构的时间与捕捉图像的时间之间存在延迟。对于全焦点摄影，此延迟被加剧。摄影师促动快门释放时，常规相机捕捉多个图像，并且随后组合它们以形成全焦点图像。另外，由于延迟原因，摄影师在电子取景器上看到的内容与捕捉的实际图像不一致。本公开内容描述为全焦点图像提供优化取景器和零快门迟滞的系统和方法。本文中所述系统和方法适用于自动聚焦实现。
图1是根据一示例实施例，示出相机100的框图。相机100包括镜头102、图像传感器104、图像数据存储装置106、预览屏幕108及电子取景器110。镜头102用于将光线聚焦到图像传感器104上。图像传感器104可以是任何类型的图像传感器，包括电荷耦合装置(CCD)、互补型金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS)装置。在CCD传感器中，像素由P掺杂MOS电容器表示。电容器阵列充当光敏区，促使每个电容器积累与光强度成正比的电荷。在转储阵列时，将电荷转换成电压。随后，对电压进行采样，数字化并且在存储器中存储。CMOS有源像素传感器是包含像素传感器的阵列的集成电路，每个像素包含光电检测器和有源放大器。
图像存储装置106可以是任何类型的内置或可移动存储器，如随机存取存储器(RAM)、CompactFlash存储器、安全数字存储器、硬盘驱动器、闪盘驱动器或其它闪存存储器数据存储装置。拍摄图像时，至少在图像存储装置中暂时存储图像。
预览屏幕108以许多形式用于在图像拍摄后就暂时显示图像。与相机主体的大小相比，预览屏幕108可较大。例如，预览屏幕108可占用相机主体的后面板的大部分。在预览屏幕上显示的预览图像允许用户（摄影师）快速查看图像并且采取另外的步骤，如，如果图像不合需要，则删除图像，拍摄另一图像，或者使用相机内处理，通过滤波器、裁剪缩放或诸如此类修改图像。电子取景器110由用户用于在触发图像捕捉过程之前框入场景和构成场景。电子取景器110可布置在相机100上的常规位置中，如在相机主体的顶部，并且包括遮挡电子取景器的图像以防止环境光的遮光罩或其它防护罩。在一些情况下，电子取景器110包含到预览屏幕108中，使得预览屏幕用作场景的实时预览。在诸如移动电话、平板或智能电话等一些移动装置中，电子取景器110和预览屏幕108是相同的一个装置。这种组织要求在预览屏幕上的高FPS更新以确保平滑的取景器图像。
图像数据存储装置106可包括图像缓冲器112。在操作期间，图像缓冲器112用于存储由图像传感器104连续捕捉的图像的循环缓冲器。图像可从图像传感器104以某个帧速率捕捉。可根据图像传感器104、图像数据存储装置106、图像处理器116或相机100的其它组件的能力，约束或设计帧速率。
帧速率可以是每秒30帧(FPS)、24 FPS、45 FPS、60 FPS或任何其它帧速率。用户在框入场景（例如，经部分按下快门释放或只是指向物体）时，相机100不断捕捉图像并且在图像缓冲器112中存储它们。用户触发图像捕捉（例如，按快门释放）时，从图像缓冲器112检索几个图像并且将它们用于组合全焦点图像。
另外，用户在框入场景时，通过可从图像缓冲器112检索的聚焦图像（例如自动聚焦图像），更新电子取景器110和/或预览屏幕108。
图像缓冲器112可以几种方式之一布置以改进用于全焦点图像的处理时间和改进或消除电子取景器110或预览屏幕108中的图像迟滞。在一实施例中，一系列的图像由图像传感器104连续捕捉并且存储在图像缓冲器112中。该系列可包括以带有自动聚焦基础焦点的图像、带有更远焦平面的图像和带有更近焦平面的图像的顺序的三个差分聚焦图像的重复模式。序列可扩展成具有五个或更多个差分曝光图像而不是三个。例如，序列可以是基础焦点图像、远图像、更远图像、近图像及更近图像。通过此设计，可以最小处理迟滞获得全焦点图像。
图2是根据一实施例，示出帧序列的表格200。在第一行202中，示出一系列的帧期间。相对焦距在第二行204中示出。在第三行到第五行206、208和210中，示出全焦点图像融合。在第六行212中，示出在特定图像帧期间是否使用自动聚焦处理的指示。在第七行214中，示出在特定图像帧期间是否使用预览处理的指示。
如表格200中所示，通过使用在帧期间0、1和2捕捉的图像执行多帧图像融合，可为帧期间1进行全焦点处理。类似地，通过使用在帧期间1、2和3捕捉的图像执行多帧图像融合，可为帧期间2进行全焦点处理。这样，可为每个帧期间处理全焦点图像。
因此，支持带有单帧期间粒度的零快门迟滞特征。用户能够以单帧期间的步长回溯导航帧历史。允许用户从按下快门前的时间访问图像的时间推进特征也可以单帧粒度实现。为有利于时间推进，可在捕捉的帧上执行预处理以便在差分聚焦图像上为用户提供更佳清晰度。
然而，图2所示组织可遭受对于捕捉FPS的三分之一的预览窗格有着更低FPS，这是因为每第三个图像帧通过从自动聚焦得到的基础焦点曝光。近和远聚焦图像帧不适合用于预览，这是因为图像的目标对象是有意失焦的。此外，由于仅每第三个图像帧使用自动聚焦，因此，用于自动聚焦的会聚的自动聚焦处理和速度可受影响，由此使自动聚焦变得更困难。
图3是根据一实施例，示出帧序列的表格300。在第一行302中，示出一系列的帧期间。相对焦距在第二行304中示出。在第三行和第四行306和308中，示出全焦点图像融合。在第五行310中，示出在特定图像帧期间是否使用自动聚焦处理的指示。在第六行312中，示出在特定图像帧期间是否使用预览处理的指示。
为优化预览和自动聚焦性能，此处描述上面相对于图2所述组织的修改的组织。改变用于持续捕捉的聚焦值，使得每四个连续图像捕捉聚焦为基础（自动）焦点捕捉、远焦点捕捉、再次的基础（自动）焦点捕捉和近焦点捕捉。该循环重复进行。在带有基础焦点的图像捕捉上计算自动聚焦。类似于图2的组织，在带有基础（自动）焦点的图像捕捉上处理用于取景器的预览。
如表格300中所示，通过使用在帧期间1、2和3捕捉的图像执行多帧图像融合，为帧期间2执行全焦点处理。类似地，通过使用在帧期间3、4和5捕捉的图像执行多帧图像融合，为帧期间4进行全焦点处理。这样，全焦点处理的图像可用于每个帧期间。
因此，在用户能够一次回退两帧时，支持带有两帧期间粒度的零快门迟滞特征。时间推进特征也在两帧期间中实现。
由于带有基础自动聚焦的图像每第2个帧而不是每第三个帧（例如，在图2中）可用，因此，用于取景器110或预览屏幕108的自动聚焦和预览处理可每隔一帧执行，或者以图像捕捉的FPS的一半执行。自动聚焦会聚比带有单帧时间粒度的图2中所示组织更快得多，通过更快的相机响应及因此以基础焦点作为自动聚焦的更高质量全焦点，使用户体验更佳。由于预览FPS只是相机捕捉FPS的一半，因此，取景器成像顺畅，增强了用户体验。由于自动聚焦会聚比带有单帧时间粒度的图2中所示组织更快得多，因此，通过更准确地跟踪基础焦点并且在视野更改导致焦点更改时更快地聚焦，结果自适应全焦点图像也具有更高质量。
本文中所述的系统和方法通过去除或降低时间延迟，增强了用户体验，并且允许用户在快门释放的时刻或更接近快门释放的时刻捕捉全焦点图像。此机制称为零快门迟滞。
另外，通过图像缓冲器112，用户能够在短期间内及时回溯导航，并且基于来自图像缓冲器112的图像，组合全焦点图像。如上所述，此机制称为时间推进。
本文中所述的系统和方法是自适应性的。使用自动聚焦估计的焦点平面作为基础，并且相对于自动聚焦估计的图像帧在差分聚焦平面进行其它组件静态图像捕捉，这允许系统是自适应性，并且调整到自动聚焦焦点平面。
回到图1，图1示出用于操作相机100的系统，系统包括：相机100中的图像传感器104，以捕捉不同焦平面中的图像序列，图像序列的至少一部分在接收存储全焦点图像的信号前发生；用户接口模块114，接收来自用户的存储全焦点图像的信号；及图像处理器116，融合至少两个图像以产生全焦点图像，其中，至少两个图像具有不同的焦平面。
在一实施例中，为捕捉图像的序列，图像传感器104要以每秒多帧捕捉图像的序列。在各种实施例中，每秒帧的数量为以下之一：每秒24帧、每秒30帧、每秒45帧或每秒60帧。
在一实施例中，为接收存储全焦点图像的信号，用户接口模块114要接收存储在图像的序列中某个时间帧的全焦点图像的命令。为融合至少两个图像以产生全焦点图像，图像处理器116要在时间帧从图像的序列选择至少两个图像。
在一实施例中，接收存储全焦点图像的信号发生在第一时间，并且图像处理器116要：估计第二时间，第二时间在第一时间前发生，并且第二时间表示用户要存储全焦点图像的时间；以及通过在第二时间从图像的序列选择至少两个图像，融合至少两个图像以产生全焦点图像。
在一实施例中，为估计第二时间，图像处理器116要：识别用户的反应时间；以及从第一时间减去反应时间以得到第二时间。
在一实施例中，在不同焦平面中图像的序列包括带有基础焦平面、远焦平面和近焦平面的图像的重复系列。
在一实施例中，为融合至少两个图像以产生全焦点图像，图像处理器116要：从图像的序列选择三个连续的图像，三个连续的图像包括带有基础焦平面的图像、带有远焦平面的图像和带有近焦平面的图像；以及融合图像的聚焦部分以产生全焦点图像。在一实施例中，基础焦平面是自动聚焦估计的焦平面。
在一实施例中，在不同焦平面中图像的序列包括带有基础焦平面、远焦平面、基础焦平面和近焦平面的图像的重复系列。
在一实施例中，为融合至少两个图像以产生全焦点图像，图像处理器116要：从图像的序列选择三个连续的图像，三个连续的图像包括带有基础焦平面的图像、带有远焦平面的图像和带有近焦平面的图像；以及融合图像的聚焦部分以产生全焦点图像。
在一实施例中，为融合至少两个图像以产生全焦点图像，图像处理器116要：从图像的序列选择带有远焦平面的图像；从图像的序列选择带有基础焦平面的图像，带有基础焦平面的图像紧跟在带有远焦平面的图像后；从图像的序列选择带有近焦平面的图像，带有近焦平面的图像紧跟在带有基础焦平面的图像后；以及融合带有远、基础和近焦平面的图像的聚焦部分以产生全焦点图像。
在一实施例中，为融合至少两个图像以产生全焦点图像，图像处理器116要：从图像的序列选择带有近焦平面的图像；从图像的序列选择带有基础焦平面的图像，带有基础焦平面的图像紧跟在带有近焦平面的图像后；从图像的序列选择带有远焦平面的图像，带有近焦平面的图像紧跟在带有基础焦平面的图像后；以及融合带有近、基础和远焦平面的图像的聚焦部分以产生全焦点图像。
在一实施例中，用户接口模块114要通过从图像的序列选择的图像，显示电子取景器图像。
图4是根据本发明的一实施例，示出用于操作相机的方法400的流程图。在402，使用相机中的图像传感器，捕捉不同焦平面中的图像序列，其中，图像序列的至少一部分在接收存储全焦点图像的信号前发生。
在一实施例中，捕捉图像的序列包括以每秒多帧捕捉图像的序列。在各种实施例中，每秒帧的数量为以下之一：每秒24帧、每秒30帧、每秒45帧或每秒60帧。
在一实施例中，在不同焦平面中图像的序列包括带有基础焦平面、远焦平面和近焦平面的图像的重复系列。在一实施例中，融合至少两个图像以产生全焦点图像包括：从图像的序列选择三个连续的图像，三个连续的图像包括带有基础焦平面的图像、带有远焦平面的图像和带有近焦平面的图像；以及融合图像的聚焦部分以产生全焦点图像。在一实施例中，基础焦平面是自动聚焦估计的焦平面。
在一实施例中，在不同焦平面中图像的序列包括带有基础焦平面、远焦平面、基础焦平面和近焦平面的图像的重复系列。在一实施例中，融合至少两个图像以产生全焦点图像包括：从图像的序列选择三个连续的图像，三个连续的图像包括带有基础焦平面的图像、带有远焦平面的图像和带有近焦平面的图像；以及融合图像的聚焦部分以产生全焦点图像。在一实施例中，融合至少两个图像以产生全焦点图像包括：从图像的序列选择带有远焦平面的图像；从图像的序列选择带有基础焦平面的图像，带有基础焦平面的图像紧跟在带有远焦平面的图像后；从图像的序列选择带有近焦平面的图像，带有近焦平面的图像紧跟在带有基础焦平面的图像后；以及融合带有远、基础和近焦平面的图像的聚焦部分以产生全焦点图像。
在一实施例中，融合至少两个图像以产生全焦点图像包括：从图像的序列选择带有近焦平面的图像；从图像的序列选择带有基础焦平面的图像，带有基础焦平面的图像紧跟在带有近焦平面的图像后；从图像的序列选择带有远焦平面的图像，带有近焦平面的图像紧跟在带有基础焦平面的图像后；以及融合带有近、基础和远焦平面的图像的聚焦部分以产生全焦点图像。
在404，接收来自用户的存储全焦点图像的信号。通过用户按物理或虚拟快门释放按钮，按预览屏幕108，使用远程快门释放，使用定时快门释放或诸如此类，可启动该信号。
在406，使用图像处理器融合至少两个图像以产生全焦点图像，其中，至少两个图像具有不同焦平面。
在一实施例中，接收存储全焦点图像的信号包括接收存储在图像的序列中某个时间帧的全焦点图像的命令，并且融合至少两个图像以产生全焦点图像包括在该时间帧从图像的序列选择至少两个图像。
在一实施例中，接收存储全焦点图像的信号发生在第一时间，并且其中方法包括：估计第二时间，第二时间在第一时间前发生，并且第二时间表示用户要存储全焦点图像的时间；以及融合至少两个图像以产生全焦点图像包括在第二时间从图像的序列选择至少两个图像。在一实施例中，估计第二时间包括：识别用户的反应时间；以及从第一时间减去反应时间以得到第二时间。
在一实施例中，方法400包括通过从图像的序列选择的图像，显示电子取景器图像。图像可以是来自例如图像缓冲器112的基础图像自动聚焦。
实施例可以硬件、固件和软件之一或组合形式实现。实施例也可实现为存储在机器可读存储装置上的指令，可由至少一个处理器读取和执行以执行本文中所述的操作。机器可读存储装置可包括用于以机器（例如，计算机）可读形式存储信息的任何非暂时性机制。例如，机器可读存储装置可包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置及其它存储装置和介质。
如本文中所述的示例例如可包括逻辑或多个组件、模块或机制，或者可对其进行操作。模块可以是以通信方式耦合到一个或更多个处理器以便执行本文中所述操作的硬件、软件或固件。模块可以是硬件模块并且此类模块可视为能够执行指定操作的有形实体，并且可以某种方式配置或布置。在示例中，电路可以指定方式（例如，在内部或相对于诸如其它电路等外部实体）布置为模块。在示例中，一个或多个计算机系统（例如，独立、客户端或服务器计算机系统）或一个或多个硬件处理器的整体或其部分可通过固件或软件（例如，指令、应用部分或应用）配置为操作以执行指定操作的模块。在示例中，软件可驻留在机器可读介质上。在示例中，软件在由模块的基础硬件执行时，促使硬件执行指定的操作。相应地，术语硬件模块要理解为包含有形实体，不管是物理上构成，明确配置（例如，硬连线）或暂时（例如，短暂）配置（例如，编程）成以指定方式操作或执行本文中所述任何操作的一部分或全部。考虑模块暂时配置的示例，无需在任何一个时刻例示每个模块。例如，在模块包括使用软件配置的通用硬件处理器的情况下，通用硬件处理器可在不同时间配置为相应的不同模块。软件可相应地配置硬件处理器，例如，构成在一个时刻的特定模块以及构成在不同时刻的不同模块。模块也可以是软件或固件模块，用于执行本文中所述的方法。
图5是根据一示例实施例，示出计算机系统500的示例形式的机器的框图，系统内可执行用于促使机器执行本文中讨论的任何一种方法的指令集或指令序列。在备选实施例中，机器作为独立装置操作，或者可连接（例如，连网）到其它机器。在连网的部署中，机器可在客户端服务器网络环境中的服务器或客户端机器的容量中操作，或者它可充当对等（或分布式）网络环境中的对等体机器操作。机器可以是能够执行要由该机器采取的动作的指令（有序或无序）的车载系统、可佩戴装置、个人计算机(PC)、平板PC、混合平板、个人数字助理(PDA)、移动电话或任何机器。此外，虽然只示出单个机器，但术语“机器”也应视为包括单独或联合执行指令集（或多个指令集）以执行本文中所述的任何一个或多个方法的任何机器集。类似地，术语“基于处理器的系统”应视为包括由处理器（例如，计算机）控制或操作以单独或联合执行指令，以执行本文中讨论的任何一个或更多个方法的一个或更多个机器的任何集。
示例计算机系统500至少包括一个处理器502（例如，中央处理单元(CPU)、图形处理单元(GPU)或两者、处理器核、计算节点等）、主存储器504和静态存储器506，这些组件经总线508相互进行通信。计算机系统500可还包括视频显示单元510、字母数字输入装置512（例如，键盘）和用户接口(UI)导航装置514（例如，鼠标）。在一个实施例中，视频显示单元510、输入装置512和UI导航装置514包含到触摸屏显示器中。计算机系统500可另外包括存储装置516（例如，驱动器单元）、信号生成装置518（例如，扬声器）、网络接口装置520和诸如全球定位系统(GPS)传感器、指南针、加速计或其它传感器等一个或更多个传感器（未示出）。
存储装置516包括机器可读介质522，介质上存储有由本文中所述任何一个或更多个方法或功能实施或利用的数据结构或指令524的一个或更多个集（例如，软件）。指令524也可在其由计算机系统500执行期间完全或至少部分驻留在主存储器504内、静态存储器506内和/或处理器502内，主存储器504、静态存储器506和/或处理器502也构成机器可读介质。
虽然机器可读介质522在一示例实施例中示为单个介质，但术语“机器可读介质”可包括存储一个或更多个指令524的单个介质或多个介质（例如，集中或分布式数据库和/或相关联高速缓存和服务器）。术语“机器可读介质”也应视为包括任何有形介质，介质能够存储、编码或携带用于由机器执行并且促使机器执行本公开内容的任何一个或更多个方法的指令，或者能够存储、编码或携带由此类指令使用或与其相关联的数据结构。术语“机器可读介质”应相应地视为包括但不限于固态存储器和光学与磁性介质。机器可读介质的特定示例包括：非易失性存储器，例如包括但不限于半导体存储器器件（例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)）和闪存存储器装置；诸如内部硬盘和可拆卸盘等磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。
还可通过利用多个公知传送协议之任一（例如，HTTP），经网络接口装置520，使用传送介质通过通信网络526传送或接收指令524。通信网络的示例包括局域网(LAN)、宽域网(WAN)、因特网、移动电话网、普通老式电话(POTS)网络及无线数据网络（例如，Wi-Fi、3G和4G LTE/LTE-A或WiMAX网络）。术语“传送介质”应视为包括能够存储、编码或携带指令以便由机器执行的任何无形介质，并且包括数字或模拟通信信号或其它无形介质以有利于此类软件的通信。
另外的注释和示例：
示例1包括用于操作包括系统的相机的主题（诸如装置、设备或机器），系统包括：相机中的图像传感器，以捕捉不同焦平面中的图像序列，图像序列的至少一部分在接收存储全焦点图像的信号前发生；用户接口模块，接收来自用户的存储全焦点图像的信号；及图像处理器，融合至少两个图像以产生全焦点图像，其中，至少两个图像具有不同的焦平面。
在示例2中，示例1的主题可包括，其中为捕捉图像的序列，图像传感器要：以每秒多帧捕捉图像的序列。
在示例3中，示例1到2的任何一个或更多个示例的主题可包括，其中每秒帧的数量为以下之一：每秒24帧、每秒30帧、每秒45帧或每秒60帧。
在示例4中，示例1到3的任何一个或更多个示例的主题可包括，其中为接收存储全焦点图像的信号，用户接口模块要接收存储在图像的序列中某个时间帧的全焦点图像的命令；以及其中为融合至少两个图像以产生全焦点图像，图像处理器要在该时间帧从图像的序列选择至少两个图像。
在示例5中，示例1到4的任何一个或更多个示例的主题可包括，其中接收存储全焦点图像的信号发生在第一时间，并且其中图像处理器要：估计第二时间，第二时间在第一时间前发生，并且第二时间表示用户要存储全焦点图像的时间；以及通过在第二时间从图像的序列选择至少两个图像，融合至少两个图像以产生全焦点图像。
在示例6中，示例1到5的任何一个或更多个示例的主题可包括，其中为估计第二时间，图像处理器要：识别用户的反应时间；以及从第一时间减去反应时间以得到第二时间。
在示例7中，示例1到6的任何一个或更多个示例的主题可包括，其中在不同焦平面中图像的序列包括带有基础焦平面、远焦平面和近焦平面的图像的重复系列。
在示例8中，示例1到7的任何一个或更多个示例的主题可包括，其中为融合至少两个图像以产生全焦点图像，图像处理器要：从图像的序列选择三个连续的图像，三个连续的图像包括带有基础焦平面的图像、带有远焦平面的图像和带有近焦平面的图像；以及融合图像的聚焦部分以产生全焦点图像。
在示例9中，示例1到8的任何一个或更多个示例的主题可包括，其中基础焦平面是自动聚焦估计的焦平面。
在示例10中，示例1到9的任何一个或更多个示例的主题可包括，其中在不同焦平面中图像的序列包括带有基础焦平面、远焦平面、基础焦平面和近焦平面的图像的重复系列。
在示例11中，示例1到10的任何一个或更多个示例的主题可包括，其中为融合至少两个图像以产生全焦点图像，图像处理器要：从图像的序列选择三个连续的图像，三个连续的图像包括带有基础焦平面的图像、带有远焦平面的图像和带有近焦平面的图像；以及融合图像的聚焦部分以产生全焦点图像。
在示例12中，示例1到11的任何一个或更多个示例的主题可包括，其中为融合至少两个图像以产生全焦点图像，图像处理器要：从图像的序列选择带有远焦平面的图像；从图像的序列选择带有基础焦平面的图像，带有基础焦平面的图像紧跟在带有远焦平面的图像后；从图像的序列选择带有近焦平面的图像，带有近焦平面的图像紧跟在带有基础焦平面的图像后；以及融合带有远、基础和近焦平面的图像的聚焦部分以产生全焦点图像。
在示例13中，示例1到12的任何一个或更多个示例的主题可包括，其中为融合至少两个图像以产生全焦点图像，图像处理器要：从图像的序列选择带有近焦平面的图像；从图像的序列选择带有基础焦平面的图像，带有基础焦平面的图像紧跟在带有近焦平面的图像后；从图像的序列选择带有远焦平面的图像，带有近焦平面的图像紧跟在带有基础焦平面的图像后；以及融合带有近、基础和远焦平面的图像的聚焦部分以产生全焦点图像。
在示例14中，示例1到13的任何一个或更多个示例的主题可包括，其中用户接口模块要通过从图像的序列选择的图像，显示电子取景器图像。
示例15包括用于操作相机的主题（诸如方法、用于执行动作的部件、包括在由机器执行时促使机器执行动作的指令的机器可读介质或配置成执行的设备），包括使用相机中的图像传感器捕捉不同焦平面中的图像序列，图像序列的至少一部分在接收存储全焦点图像的信号前发生；接收来自用户的存储全焦点图像的信号；以及使用图像处理器融合至少两个图像以产生全焦点图像，其中，至少两个图像具有不同的焦平面。
在示例16中，示例15的主题可包括，其中捕捉图像的序列包括：以每秒多帧捕捉图像的序列。
在示例17中，示例15到16的任何一个或更多个示例的主题可包括，其中每秒帧的数量为以下之一：每秒24帧、每秒30帧、每秒45帧或每秒60帧。
在示例18中，示例15到17的任何一个或更多个示例的主题可包括，其中接收存储全焦点图像的信号包括接收存储在图像的序列中某个时间帧的全焦点图像的命令；以及其中融合至少两个图像以产生全焦点图像包括在该时间帧从图像的序列选择至少两个图像。
在示例19中，示例15到18的任何一个或更多个示例的主题可包括，其中接收存储全焦点图像的信号发生在第一时间，并且其中方法包括：估计第二时间，第二时间在第一时间前发生，并且第二时间表示用户要存储全焦点图像的时间；以及其中融合至少两个图像以产生全焦点图像包括在第二时间从图像的序列选择至少两个图像。
在示例20中，示例15到19的任何一个或更多个示例的主题可包括，其中估计第二时间包括：识别用户的反应时间；以及从第一时间减去反应时间以得到第二时间。
在示例21中，示例15到20的任何一个或更多个示例的主题可包括，其中在不同焦平面中图像的序列包括带有基础焦平面、远焦平面和近焦平面的图像的重复系列。
在示例22中，示例15到21的任何一个或更多个示例的主题可包括，其中融合至少两个图像以产生全焦点图像包括：从图像的序列选择三个连续的图像，三个连续的图像包括带有基础焦平面的图像、带有远焦平面的图像和带有近焦平面的图像；以及融合图像的聚焦部分以产生全焦点图像。
在示例23中，示例15到22的任何一个或更多个示例的主题可包括，其中基础焦平面是自动聚焦估计的焦平面。
在示例24中，示例15到23的任何一个或更多个示例的主题可包括，其中在不同焦平面中图像的序列包括带有基础焦平面、远焦平面、基础焦平面和近焦平面的图像的重复系列。
在示例25中，示例15到24的任何一个或更多个示例的主题可包括，其中融合至少两个图像以产生全焦点图像包括：从图像的序列选择三个连续的图像，三个连续的图像包括带有基础焦平面的图像、带有远焦平面的图像和带有近焦平面的图像；以及融合图像的聚焦部分以产生全焦点图像。
在示例26中，示例15到25的任何一个或更多个示例的主题可包括，其中融合至少两个图像以产生全焦点图像包括：从图像的序列选择带有远焦平面的图像；从图像的序列选择带有基础焦平面的图像，带有基础焦平面的图像紧跟在带有远焦平面的图像后；从图像的序列选择带有近焦平面的图像，带有近焦平面的图像紧跟在带有基础焦平面的图像后；以及融合带有远、基础和近焦平面的图像的聚焦部分以产生全焦点图像。
在示例27中，示例15到26的任何一个或更多个示例的主题可包括，其中融合至少两个图像以产生全焦点图像包括：从图像的序列选择带有近焦平面的图像；从图像的序列选择带有基础焦平面的图像，带有基础焦平面的图像紧跟在带有近焦平面的图像后；从图像的序列选择带有远焦平面的图像，带有近焦平面的图像紧跟在带有基础焦平面的图像后；以及融合带有近、基础和远焦平面的图像的聚焦部分以产生全焦点图像。
在示例28中，示例15到27的任何一个或更多个示例的主题可包括，通过从图像的序列选择的图像，显示电子取景器图像。
示例29包括一种有指令的计算机可读介质，指令在由机器执行时，促使机器执行如示例1-28任一项所述的操作。
示例30包括一种有用于执行示例1-28任一项的部件的设备。
示例31包括一种设备包括：用于使用相机中的图像传感器，捕捉不同焦平面中的图像序列的部件，图像序列的至少一部分在接收存储全焦点图像的信号前发生；用于接收来自用户的存储全焦点图像的信号的部件；以及使用图像处理器用于融合至少两个图像以产生全焦点图像的部件，其中，至少两个图像具有不同的焦平面。
在示例32中，示例30的主题可包括，其中捕捉图像的序列包括：以每秒多帧捕捉图像的序列。
在示例33中，示例30到32的任何一个或更多个示例的主题可包括，其中每秒帧的数量为以下之一：每秒24帧、每秒30帧、每秒45帧或每秒60帧。
在示例34中，示例30到33的任何一个或更多个示例的主题可包括，其中用于接收存储全焦点图像的信号的部件包括用于接收存储在图像的序列中某个时间帧的全焦点图像的命令的部件；以及其中用于融合至少两个图像以产生全焦点图像的部件包括用于在该时间帧从图像的序列选择至少两个图像的部件。
在示例35中，示例30到34的任何一个或更多个示例的主题可包括，其中接收存储全焦点图像的信号发生在第一时间，并且其中设备包括：用于估计第二时间的部件，第二时间在第一时间前发生，并且第二时间表示用户要存储全焦点图像的时间；以及其中用于融合至少两个图像以产生全焦点图像的部件包括用于在第二时间从图像的序列选择至少两个图像的部件。
在示例36中，示例30到35的任何一个或更多个示例的主题可包括，其中用于估计第二时间的部件包括：用于识别用户的反应时间的部件；以及用于从第一时间减去反应时间以得到第二时间的部件。
在示例37中，示例30到36的任何一个或更多个示例的主题可包括，其中在不同焦平面中图像的序列包括带有基础焦平面、远焦平面和近焦平面的图像的重复系列。
在示例38中，示例30到37的任何一个或更多个示例的主题可包括，其中用于融合至少两个图像以产生全焦点图像的部件包括：用于从图像的序列选择三个连续的图像的部件，三个连续的图像包括带有基础焦平面的图像、带有远焦平面的图像和带有近焦平面的图像；以及用于融合图像的聚焦部分以产生全焦点图像的部件。
在示例39中，示例30到38的任何一个或更多个示例的主题可包括，其中基础焦平面是自动聚焦估计的焦平面。
在示例40中，示例30到39的任何一个或更多个示例的主题可包括，其中在不同焦平面中图像的序列包括带有基础焦平面、远焦平面、基础焦平面和近焦平面的图像的重复系列。
在示例41中，示例30到39的任何一个或更多个示例的主题可包括，其中用于融合至少两个图像以产生全焦点图像的部件包括：用于从图像的序列选择三个连续的图像的部件，三个连续的图像包括带有基础焦平面的图像、带有远焦平面的图像和带有近焦平面的图像；以及用于融合图像的聚焦部分以产生全焦点图像的部件。
在示例42中，示例30到41的任何一个或更多个示例的主题可包括，其中用于融合至少两个图像以产生全焦点图像的部件包括：用于从图像的序列选择带有远焦平面的图像的部件；用于从图像的序列选择带有基础焦平面的图像的部件，带有基础焦平面的图像紧跟在带有远焦平面的图像后；用于从图像的序列选择带有近焦平面的图像的部件，带有近焦平面的图像紧跟在带有基础焦平面的图像后；以及用于融合带有远、基础和近焦平面的图像的聚焦部分以产生全焦点图像的部件。
在示例43中，示例30到42的任何一个或更多个示例的主题可包括，其中用于融合至少两个图像以产生全焦点图像的部件包括：用于从图像的序列选择带有近焦平面的图像的部件；用于从图像的序列选择带有基础焦平面的图像的部件，带有基础焦平面的图像紧跟在带有近焦平面的图像后；用于从图像的序列选择带有远焦平面的图像的部件，带有近焦平面的图像紧跟在带有基础焦平面的图像后；以及用于融合带有近、基础和远焦平面的图像的聚焦部分以产生全焦点图像的部件。
在示例44中，示例30到43的任何一个或更多个示例的主题可包括，用于通过从图像的序列选择的图像，显示电子取景器图像的部件。
上述详细描述包括对形成详细描述的一部分的附图的引用。图形通过图示示出可实践的特定实施例。这些实施例在本文中也称为“示例”。此类示例可包括除所示或所述那些元素外的其它元素。然而，也设想了包括所示或所述元素的示例。另外，也设想了相对于特定示例（或其一个或多个方面）或者相对于本文中所示或所述的其它示例（或其一个或多个方面），使用所示或所述那些元素的任何组件或置换的示例。
本文档中引用的出版物、专利和专利文档通过引用全文结合于本文中，就好像单独通过引用结合一样。如果在本文档与通过引用如此结合的那些文档之间出现不一致使用，则结合引用中的使用是对本文档的内容的补充；对于不可调和的不一致，本文档中的使用优先。
在本文档中，如在专利文档中常见的一样，数词“一”用于包括一个或不止一个，独立于“至少一个”或“一个或多个”的任何其它实例或使用。在本文档中，除非另有指示，否则，术语“或”用于指非独占，或者使得“A或B”包括“A但无B”、“B但无A”及“A和B”。在所附权利要求书中，术语“包括”和“其中”用作相应术语“包含”和“之中”的等效物。此外，在下面的权利要求中，术语“包括”和“包含”是开放式的，即，除在权利要求中此类术语后所列那些元素外还包括其它元素的系统、装置、制品或过程仍被视为在该权利要求的范围内。另外，在下述权利要求书中，术语“第一”、“第二”和“第三”等只用作标签，并无意暗示用于其对象的数字顺序。
上述描述旨在说明而不是限制。例如，上述示例（或其一个或多个方面）可与其它示例组合使用。可使用其它实施例，如由本领域技术人员在查看上面的描述后使用。摘要部分是为了让读者快速确定本技术公开内容的本质。它是在将不用于解释或限制权利要求书范围或含意的理解下提交。此外，在上面的具体实施方式中，各种特征可编组在一起以简化公开内容。然而，由于实施例可具有所述特征的子集，因此，权利要求书可未陈述本文中公开的每个特征。此外，实施例可包括比特定示例中所述那些特征更少的特征。因此，下述权利要求书在此结合到具体实施方式中，其是每个权利要求项本身保持为单独的实施例。因此，本文中公开的实施例的范围要参照所附权利要求书以及此权利要求书被授权的等同物的完全范围来确定。

Claims (24)

1.一种相机，包括：
所述相机中的图像传感器，所述图像传感器响应于快门的促动而自动地捕捉多个图像，所述多个图像至少包括带有基础焦平面的图像、带有远焦平面的图像、带有近焦平面的图像；其中，所述基础焦平面是自动聚焦确定的焦平面；
所述相机中的图像处理器，所述图像处理器将所述多个图像中的至少三个图像组合为聚焦堆叠图像；
取景器显示屏幕；
镜头；和
存储器。
2.如权利要求1中所述的相机，其中，聚焦堆叠图像包括全焦点图像、焦点平面合并图像、或z堆叠图像。
3.如权利要求1中所述的相机，其中，所述多个图像包括带有基础焦平面、远焦平面、和近焦平面的图像的重复系列。
4.如权利要求1中所述的相机，其中，为将所述多个图像中的至少三个图像组合为聚焦堆叠图像，所述图像处理器将所述至少三个图像的聚焦部分组合以产生所述聚焦堆叠图像。
5.如权利要求1中所述的相机，进一步包括用户接口以在所述取景器显示屏幕上显示所述聚焦堆叠图像。
6.如权利要求1中所述的相机，其中，所述图像传感器包括电荷耦合装置(CCD)图像传感器、互补型金属氧化物半导体(CMOS)图像传感器、或N型金属氧化物半导体(NMOS)图像传感器之一。
7.一种相机，包括：
所述相机中的图像传感器，所述图像传感器响应于快门的促动而自动地捕捉多个图像，其中，通过在所述多个图像中的任何两个图像之间移动焦点来捕捉所述多个图像，其中，多个图像中的至少一个包括自动聚焦确定的焦深；
所述相机中的图像处理器，所述图像处理器将所述多个图像中的至少三个图像组合为聚焦堆叠图像；
取景器显示屏幕；
镜头；和
存储器。
8.如权利要求7中所述的相机，其中，聚焦堆叠图像包括全焦点图像、焦点平面合并图像、或z堆叠图像。
9.如权利要求7中所述的相机，其中，所述多个图像至少包括带有基础焦平面的图像、带有远焦平面的图像、带有近焦平面的图像；其中，所述基础焦平面是自动聚焦确定的焦平面。
10.如权利要求7中所述的相机，其中，为将所述多个图像中的至少三个图像组合为聚焦堆叠图像，所述图像处理器将所述至少三个图像的聚焦部分组合以产生所述聚焦堆叠图像。
11.如权利要求7中所述的相机，进一步包括用户接口以在所述取景器显示屏幕上显示所述聚焦堆叠图像。
12.如权利要求7中所述的相机，其中，所述图像传感器包括电荷耦合装置(CCD)图像传感器、互补型金属氧化物半导体(CMOS)图像传感器、或N型金属氧化物半导体(NMOS)图像传感器之一。
13. 一种方法，包括：
使用相机的图像传感器响应于快门的促动而自动地捕捉多个图像，所述多个图像至少包括带有基础焦平面的图像、带有远焦平面的图像、带有近焦平面的图像；其中，所述基础焦平面是自动聚焦确定的焦平面；和
使用所述相机的图像处理器将所述多个图像的至少三个图像组合以形成聚焦堆叠图像。
14.如权利要求13所述的方法，其中，聚焦堆叠图像包括全焦点图像、焦点平面合并图像、或z堆叠图像。
15.如权利要求13所述的方法，其中，将所述多个图像中的所述至少三个图像组合为聚焦堆叠图像包括将所述至少三个图像的聚焦部分组合以产生所述聚焦堆叠图像。
16.如权利要求13所述的方法，进一步包括在所述相机的取景器显示屏幕上显示所述聚焦堆叠图像。
17. 一种非暂时性计算机可读的介质，包括一个或更多指令，所述指令在被处理器运行时促使所述处理器：
使用相机的图像传感器响应于快门的促动而自动地捕捉多个图像，所述多个图像至少包括带有基础焦平面的图像、带有远焦平面的图像、带有近焦平面的图像；其中，所述基础焦平面是自动聚焦确定的焦平面；和
使用所述相机的图像处理器将所述多个图像的至少三个图像组合以形成聚焦堆叠图像。
18.如权利要求17所述的非暂时性计算机可读的介质，其中，聚焦堆叠图像包括全焦点图像、焦点平面合并图像、或z堆叠图像。
19.如权利要求17所述的非暂时性计算机可读的介质，其中，将所述多个图像中的所述至少三个图像组合为聚焦堆叠图像包括将所述至少三个图像的聚焦部分组合以产生所述聚焦堆叠图像。
20.如权利要求17所述的非暂时性计算机可读的介质，进一步包括一个或更多指令，所述指令在被处理器运行时促使所述处理器以在所述相机的取景器显示屏幕上显示所述聚焦堆叠图像。
21. 一种设备，包括：
用于使用相机的图像传感器响应于快门的促动而自动地捕捉多个图像的装置，所述多个图像至少包括带有基础焦平面的图像、带有远焦平面的图像、带有近焦平面的图像；其中，所述基础焦平面是自动聚焦确定的焦平面；和
用于使用所述相机的图像处理器将所述多个图像的至少三个图像组合以形成聚焦堆叠图像的装置。
22.如权利要求21所述的设备，其中，聚焦堆叠图像包括全焦点图像、焦点平面合并图像、或z堆叠图像。
23.如权利要求21所述的设备，其中，将所述多个图像中的所述至少三个图像组合为聚焦堆叠图像包括将所述至少三个图像的聚焦部分组合以产生所述聚焦堆叠图像。
24.如权利要求21所述的设备，进一步包括用于在所述相机的取景器显示屏幕上显示所述聚焦堆叠图像的装置。
CN201710420569.7A 2014-03-26 2015-02-26 全焦点实现 Active CN107295249B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/225866 2014-03-26
US14/225,866 US9307166B2 (en) 2014-03-26 2014-03-26 All-in-focus implementation
CN201510088167.2A CN104954665B (zh) 2014-03-26 2015-02-26 全焦点实现

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201510088167.2A Division CN104954665B (zh) 2014-03-26 2015-02-26 全焦点实现

Publications (2)

Publication Number Publication Date
CN107295249A true CN107295249A (zh) 2017-10-24
CN107295249B CN107295249B (zh) 2021-05-04

Family

ID=54066924

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510088167.2A Active CN104954665B (zh) 2014-03-26 2015-02-26 全焦点实现
CN201710420569.7A Active CN107295249B (zh) 2014-03-26 2015-02-26 全焦点实现

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510088167.2A Active CN104954665B (zh) 2014-03-26 2015-02-26 全焦点实现

Country Status (5)

Country Link
US (5) US9307166B2 (zh)
JP (1) JP5979453B2 (zh)
KR (1) KR101633671B1 (zh)
CN (2) CN104954665B (zh)
DE (1) DE102015102681B4 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307166B2 (en) 2014-03-26 2016-04-05 Intel Corporation All-in-focus implementation
JP6346793B2 (ja) * 2014-06-03 2018-06-20 オリンパス株式会社 撮像装置、撮像装置の制御方法、及びプログラム
US9749532B1 (en) * 2014-08-12 2017-08-29 Amazon Technologies, Inc. Pixel readout of a charge coupled device having a variable aperture
CN104680563B (zh) * 2015-02-15 2018-06-01 青岛海信移动通信技术股份有限公司 一种图像数据的生成方法和装置
CN106600529A (zh) * 2016-11-28 2017-04-26 北京暴风魔镜科技有限公司 一种全焦全景图像的获取方法和装置
JP6863787B2 (ja) * 2017-03-17 2021-04-21 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡システム
CA3078762A1 (en) * 2017-10-20 2019-04-25 Institut National D'optique High resolution and high depth of field camera systems and methods using focus stacking
WO2020215050A1 (en) * 2019-04-19 2020-10-22 Arizona Board Of Regents On Behalf Of The University Of Arizona All-in-focus imager and associated method
WO2020215046A1 (en) 2019-04-19 2020-10-22 Arizona Board Of Regents On Behalf Of The University Of Arizona On-chip signal processing method and pixel-array sensor

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060109371A1 (en) * 2004-11-19 2006-05-25 Fujinon Corporation AF-area display apparatus and AF-area operation apparatus
CN101191719A (zh) * 2006-12-01 2008-06-04 鸿富锦精密工业（深圳）有限公司 影像焦点合成系统及方法
WO2013169671A1 (en) * 2012-05-09 2013-11-14 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
US20140002712A1 (en) * 2012-06-28 2014-01-02 International Business Machines Corporation Depth of Focus in Digital Imaging Systems
CN103533232A (zh) * 2012-07-05 2014-01-22 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN103581686A (zh) * 2012-07-19 2014-02-12 索尼公司 压缩z-堆叠显微镜图像的方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005311488A (ja) 2004-04-19 2005-11-04 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
JP2006086952A (ja) 2004-09-17 2006-03-30 Casio Comput Co Ltd デジタルカメラ、および、プログラム
JP2007214887A (ja) * 2006-02-09 2007-08-23 Fujifilm Corp デジタルスチルカメラ及び画像合成方法
JP5094070B2 (ja) 2006-07-25 2012-12-12 キヤノン株式会社 撮像装置、撮像方法、プログラム、及び記憶媒体
TWI377435B (en) * 2008-06-11 2012-11-21 Asia Optical Co Inc Camera
JP5282533B2 (ja) * 2008-11-12 2013-09-04 株式会社ニコン 画像処理装置、撮像装置およびプログラム
JP5163446B2 (ja) 2008-11-25 2013-03-13 ソニー株式会社 撮像装置、撮像方法及びプログラム
JP5154392B2 (ja) 2008-12-12 2013-02-27 株式会社キーエンス 撮像装置
JP5478935B2 (ja) * 2009-05-12 2014-04-23 キヤノン株式会社 撮像装置
US8600186B2 (en) * 2010-04-26 2013-12-03 City University Of Hong Kong Well focused catadioptric image acquisition
JP4988057B1 (ja) * 2011-10-11 2012-08-01 アキュートロジック株式会社 全焦点画像生成方法、全焦点画像生成装置、全焦点画像生成プログラム、被写体高さ情報取得方法、被写体高さ情報取得装置及び被写体高さ情報取得プログラム
JP5662511B2 (ja) * 2013-04-10 2015-01-28 シャープ株式会社 撮像装置
JP2015163943A (ja) * 2014-01-29 2015-09-10 パナソニックＩｐマネジメント株式会社 撮像装置
US9307166B2 (en) 2014-03-26 2016-04-05 Intel Corporation All-in-focus implementation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060109371A1 (en) * 2004-11-19 2006-05-25 Fujinon Corporation AF-area display apparatus and AF-area operation apparatus
CN101191719A (zh) * 2006-12-01 2008-06-04 鸿富锦精密工业（深圳）有限公司 影像焦点合成系统及方法
WO2013169671A1 (en) * 2012-05-09 2013-11-14 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
US20140002712A1 (en) * 2012-06-28 2014-01-02 International Business Machines Corporation Depth of Focus in Digital Imaging Systems
CN103533232A (zh) * 2012-07-05 2014-01-22 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN103581686A (zh) * 2012-07-19 2014-02-12 索尼公司 压缩z-堆叠显微镜图像的方法和装置

Also Published As

Publication number Publication date
US10721414B2 (en) 2020-07-21
US20190364190A1 (en) 2019-11-28
US9307166B2 (en) 2016-04-05
CN107295249B (zh) 2021-05-04
US9554039B2 (en) 2017-01-24
KR101633671B1 (ko) 2016-06-27
US11570376B2 (en) 2023-01-31
US20150281592A1 (en) 2015-10-01
CN104954665B (zh) 2018-11-27
JP2015201837A (ja) 2015-11-12
US10165196B2 (en) 2018-12-25
KR20150111835A (ko) 2015-10-06
US20210075954A1 (en) 2021-03-11
JP5979453B2 (ja) 2016-08-24
DE102015102681A1 (de) 2015-10-01
US20160212334A1 (en) 2016-07-21
CN104954665A (zh) 2015-09-30
DE102015102681B4 (de) 2022-04-21
US20170126950A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
CN104954665B (zh) 全焦点实现
US10311649B2 (en) Systems and method for performing depth based image editing
KR101214536B1 (ko) 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
CN104113700B (zh) 拍摄装置和拍摄方法
CN105516582B (zh) 摄像装置以及摄像装置的控制方法
WO2017045558A1 (zh) 景深调节方法、装置及终端
KR101766614B1 (ko) 저속 셔터 촬영 방법 및 그 촬영 장치
CN106713768B (zh) 人景图像合成方法、系统和计算机设备
US9888176B2 (en) Video apparatus and photography method thereof
CN101196670A (zh) 景深包围拍摄方法及装置
JP2015001609A (ja) 制御装置、および記憶媒体
CN107770521A (zh) 相机拍摄模式调整方法
JP6300076B2 (ja) 撮像装置、撮像方法及びプログラム
JP2017139646A (ja) 撮影装置
CN112839166A (zh) 拍摄方法、装置及电子设备
JP2019029954A (ja) 画像処理装置および画像処理方法
US20150254856A1 (en) Smart moving object capture methods, devices and digital imaging systems including the same
JP5800600B2 (ja) 撮像装置、撮像方法およびプログラム
JP5209517B2 (ja) ビューファインダーシステム及びそれを備えた撮像装置
WO2014191613A1 (en) Light field imaging
JP2015139018A (ja) 電子機器及び制御プログラム
CN108076284A (zh) 相机拍摄模式调整系统
KR101825147B1 (ko) 디지털 촬영이미지의 흔들림 보정 촬영방법
JP2016126661A (ja) 情報処理装置、情報処理方法及びプログラム
CN117750182A (zh) 拍摄方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant