CN105637854A - 可重聚焦图像 - Google Patents

可重聚焦图像 Download PDF

Info

Publication number
CN105637854A
CN105637854A CN201480055534.2A CN201480055534A CN105637854A CN 105637854 A CN105637854 A CN 105637854A CN 201480055534 A CN201480055534 A CN 201480055534A CN 105637854 A CN105637854 A CN 105637854A
Authority
CN
China
Prior art keywords
image
region
corresponding region
contrast
time period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480055534.2A
Other languages
English (en)
Other versions
CN105637854B (zh
Inventor
萨博拉曼尼姆·文卡特拉曼
维克托·库里克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105637854A publication Critical patent/CN105637854A/zh
Application granted granted Critical
Publication of CN105637854B publication Critical patent/CN105637854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Abstract

本发明的实施例涉及提供可重聚焦图像。可重聚焦图像是在被捕获之后可以经重新聚焦或经调整以具有不同焦距的图像。本文中所描述的所述实施例可以利用智能手机等移动用户装置，而不需要专用硬件。所述移动装置的相机可以经配置以在较短时间段上连续地获取一系列图像，其中改变所述相机的所述焦距使得每个图像具有不同焦距。图像栈通过对准所述图像而产生，且图像经处理以针对所述图像栈中的每个区域确定哪个图像具有最高对比度(即，焦点对准)。实施例可以进一步包含显示所述系列的图像中的第一图像。

Description

可重聚焦图像
背景技术
由于利用专用技术的最新消费型产品，可重聚焦图像或“活的图片”正变得受欢迎。这些技术使用专用硬件来生成图像，所述图像可以在它们被捕获之后通过例如选择图像的不同部分而重新聚焦。选定部分可变得焦点对准。这给予观看者一种更加交互的图像观看体验。然而，用于实现此功能性的专用硬件可能是昂贵的。
发明内容
本发明的实施例涉及通过智能手机等移动用户装置提供可重聚焦图像，而不需要此类硬件。移动装置的相机可以经配置以在某一时间段上连续地获取一系列图像。在所述时间段期间，改变相机的焦距而不管所捕获的是什么，使得所述系列的图像中的每个图像使用不同焦距捕获。使用例如来自图像被捕获时的运动传感器数据使图像彼此对准。通过以下操作进一步处理图像：将每个图像划分成各区域(例如，网格)，计算每个区域的对比度，且比较所述系列的图像中的每个图像的相对应区域以确定哪个图像具有具有最高对比度的相对应区域。实施例可以进一步包含显示所述系列的图像中的第一图像。所述系列的图像提供可重聚焦图像功能性，因为用户可以选择所显示图像的不同部分来变得焦点对准，使得显示所述系列的图像中具有焦点对准的选定部分的图像。
根据本发明的图像捕获和处理的实例方法包含在某一时间段上用相机连续地捕获多个图像，其中所述捕获通过用户输入触发。所述方法进一步包含：在所述时间段期间改变相机的焦距，使得多个图像中的每个图像使用唯一焦距捕获；且使用在所述时间段期间获取的运动传感器数据来对准多个图像。所述方法还包含用处理单元通过以下操作处理多个图像：将每个图像划分成多个区域，每个区域具有在多个图像中的每一者中的相对应区域；计算相对应区域的第一集合中的每个区域的对比度；比较相对应区域的第一集合中的区域的对比度；且确定相对应区域的第一集合中具有最高对比度的第一图像。所述方法还包含当选定相对应区域的第一集合中的一者时，使得显示器示出第一图像。
图像捕获和处理的实例方法可以进一步包含以下特征中的一或多者。相对应区域的第一集合中的一者可以选自多个图像中的初始显示图像。对准可以在其中捕获多个图像的时间段期间进行。处理多个图像可以通过移动装置执行。处理多个图像可以通过除移动装置外的计算装置执行。所述方法可进一步包括：从第一图像接收对相对应区域的第二集合中的一者的选择；从多个图像确定相对应区域的第二集合中具有最高对比度的第二图像；且使得显示器示出第二图像。所述方法可进一步包括从多个图像去除一或多个图像，在所述一或多个图像中，所述图像的多个区域中没有区域被确定为在多个图像的相对应区域当中的最高对比度区域。对准多个图像可以包括以下操作中的至少一者：缩放多个图像中的一或多个图像，移动多个图像中的一或多个图像，使多个图像中的一或多个图像旋转，或调整多个图像中的一或多个图像的亮度。运动传感器数据可以从陀螺仪、加速度计或相机中的至少一者获得。
根据本发明的实例设备可以包含存储器、显示器以及以通信方式与存储器耦合的处理单元。处理单元经配置以执行包含获得在某一时间段上通过移动装置的相机连续地捕获的多个图像的功能，其中所述捕获通过用户输入触发，且在所述时间段期间改变相机的焦距，使得多个图像中的每个图像使用唯一焦距捕获。处理单元还经配置以执行包含以下操作的功能：使用在所述时间段期间获取的运动传感器数据对准多个图像，且通过以下操作来处理多个图像：将每个图像划分成多个区域来，每个区域具有在多个图像中的每一者中的相对应区域；计算相对应区域的第一集合中的每个区域的对比度；比较相对应区域的第一集合中的区域的对比度；且确定相对应区域的第一集合中具有最高对比度的第一图像。处理单元进一步经配置以执行包含在选定相对应区域的第一集合中的一者时使得显示器示出第一图像的功能。
实例设备可以进一步包含以下特征中的一或多者。处理单元可以经配置以在其中捕获多个图像的时间段期间执行对准。所述设备可以包括移动装置。所述设备可以包括除移动装置外的计算装置。处理单元可以进一步经配置以：从第一图像接收对相对应区域的第二集合中的一者的选择，从多个图像确定相对应区域的第二集合中具有最高对比度的第二图像，且使得显示器示出第二图像。处理单元可以进一步经配置以从多个图像去除一或多个图像，在所述一或多个图像中，所述图像的多个区域中没有区域被确定为在多个图像的相对应区域当中的最高对比度区域。处理单元进一步经配置以通过以下操作对准多个图像：缩放多个图像中的一或多个图像，移动多个图像中的一或多个图像，使多个图像中的一或多个图像旋转，或调整多个图像中的一或多个图像的亮度。
根据本说明书的实例非暂时性计算机可读存储媒体可以具有嵌入在其上以用于提供可重聚焦图像的指令。所述指令包括用于在某一时间段上用移动装置的相机连续地获得多个图像的计算机代码，其中捕获通过用户输入触发。所述指令进一步包括用于进行以下操作的计算机代码：使得相机在所述时间段期间改变焦距，使得多个图像中的每个图像使用唯一焦距捕获；且使用在所述时间段期间获取的运动传感器数据对准多个图像。所述指令还包括用于通过以下操作处理多个图像的计算机代码：将每个图像划分成多个区域，每个区域具有在多个图像中的每一者中的相对应区域；计算相对应区域的第一集合中的每个区域的对比度；比较相对应区域的第一集合中的区域的对比度；且确定相对应区域的第一集合中具有最高对比度的第一图像。所述指令还包括用于在选定相对应区域的第一集合中的一者时使得显示器示出第一图像的计算机代码。
实例非暂时性计算机可读存储媒体还可以包括以下特征中的一或多者。用于对准的代码可以经配置以使得对准在其中捕获多个图像的时间段期间进行。非暂时性计算机可读存储媒体可以包含用于进行以下操作的代码：从第一图像接收对相对应区域的第二集合中的一者的选择，从多个图像确定相对应区域的第二集合中具有最高对比度的第二图像，且使得显示器示出第二图像。非暂时性计算机可读存储媒体可以包含用于从多个图像去除一或多个图像的代码，在所述一或多个图像中，所述图像的多个区域中没有区域被确定为在多个图像的相对应区域当中的最高对比度区域。用于对准多个图像的代码可以包含用于执行以下操作中的至少一者的代码：缩放多个图像中的一或多个图像，移动多个图像中的一或多个图像，使多个图像中的一或多个图像旋转，或调整多个图像中的一或多个图像的亮度。
根据本发明的实例装置可以包含用于在某一时间段上用移动装置的相机连续地获得多个图像的装置，其中捕获通过用户输入触发。所述装置还包含用于使得相机在所述时间段期间改变焦距而使得多个图像中的每个图像使用唯一焦距捕获的装置，以及用于使用在所述时间段期间获取的运动传感器数据对准多个图像的装置。实例装置进一步包含用于通过以下操作来处理多个图像的装置：将每个图像划分成多个区域，每个区域具有在多个图像中的每一者中的相对应区域；计算相对应区域的第一集合中的每个区域的对比度；比较相对应区域的第一集合中的区域的对比度；且确定相对应区域的第一集合中具有最高对比度的第一图像。所述装置还包含用于在选定相对应区域的第一集合中的一者时使得显示器示出第一图像的装置。
实例装置可以进一步包含以下特征中的一或多者。根据权利要求22所述的装置，其中用于对准的装置经配置以使得对准在其中捕获多个图像的时间段期间进行。所述装置可以包含用于进行以下操作的装置：从第一图像接收对相对应区域的第二集合中的一者的选择，从多个图像确定相对应区域的第二集合中具有最高对比度的第二图像，且使得显示器示出第二图像。所述装置还可以包含用于从多个图像去除一或多个图像的装置，在所述一或多个图像中，所述图像的多个区域中没有区域被确定为在多个图像的相对应区域当中的最高对比度区域。用于对准多个图像的装置包括以下各者中的至少一者：用于缩放多个图像中的一或多个图像的装置，用于移动多个图像中的一或多个图像的装置，用于使多个图像中的一或多个图像旋转的装置，或用于调整多个图像中的一或多个图像的亮度的装置。
本文中所描述的项目和/或技术可以提供以下能力中的一或多者以及未提及的其它能力。技术可以提供用于提供可重聚焦或“活的”图像，而不需要专用硬件。这不仅可以向移动装置提供此类功能性而不增加成本，而且还可以提供比专用解决方案更高的分辨率。结合下文和附图更详细描述这些和其它优点和特征。
附图说明
参考下图，可以对各种实施例的性质和优点实现进一步的理解。在附图中，类似的组件或特征可以具有相同的参考标记。此外，可以通过在参考标记后跟着短划线和区分类似组件的第二标记来区分相同类型的各种组件。如果说明书中仅使用第一参考标记，那么所述描述适用于具有相同的第一参考标记的类似组件中的任一者，与第二参考标记无关。
图1是可以使用本文中所描述的技术捕获且显示可重聚焦图像的系统的实施例的说明。
图2A和2B是帮助说明可以如何显示可重聚焦图像的功能性的所捕获图像的实例黑白表示。
图3是根据一个实施例的可以如何将图像分成各种区域以用于处理的简化说明。
图4说明在图像栈当中如何比较区域。
图5是指示二维图像中的每个区域的对比度测量结果的三维图式。
图6是说明根据一个实例的在图像栈中的所有图像中的相对应区域的对比度分数的比较的曲线图。
图7说明图像捕获和处理的方法的实施例。
图8说明移动装置的实施例，所述实施例可以实施在本文中论述的图像捕获、处理和/或显示技术。
具体实施方式
参考图式提供以下描述，其中相同的参考标号始终用以指代相同的元件。尽管本文中描述一或多种技术的各种细节，但其它技术也是可能的。在一些情况下，以框图形式示出结构和装置以便于描述各种技术。
本发明的实施例涉及提供可重聚焦图像。可重聚焦图像是在被捕获之后可以经重新聚焦或经调整以具有不同焦距的图像。本文中所描述的实施例可以利用智能手机等移动用户装置，而不需要专用硬件。移动装置的相机可以经配置以在较短时间段上连续地获取一系列图像(例如，静态场景)，其中改变相机的焦距，使得每个图像具有不同焦距。图像栈通过对准图像而产生，且图像经处理以针对图像栈中的每个区域确定哪个图像具有最高对比度(即，焦点对准)。实施例可以进一步包含显示所述系列的图像中的第一图像。图像栈可以提供可重聚焦图像功能性，因为用户可以选择所显示图像的不同部分来变得焦点对准，使得显示所述系列的图像中具有焦点对准的选定部分的图像。因此，根据所揭示的技术，可重聚焦图像可以包括图像栈。
图1说明可以实施本文中所描述的功能性的系统的实施例100。所说明的实施例100包含移动装置110和显示器装置120。其它实施例可以将所有功能性并入在移动装置110上，以与本文中所描述不同的方式在移动装置110和显示器装置120之间分割功能性，和/或包含另外装置以执行不同功能。下文关于图8更详细描述移动装置110和显示器装置120的硬件和软件组件。所属领域的技术人员将认识到许多省略、替代和/或其它变化。
移动装置110可以包括具有相机的多种个人电子装置中的任一者，例如智能手机或其它手机、平板计算机、个人相机、膝上型计算机、头戴式显示器及类似者。移动装置可以经配置以用其相机捕获场景130的一系列图像。(注意，移动装置的相机在图1中不可见，而是是移动装置110的背面上。点虚线表示移动装置的相机的视野。)当图像被捕获时，相机的焦距可以改变(例如，从近到远)，使得每个图像具有不同焦距。取决于所希望的功能性，图像的数目可以改变。可以呈现给用户专门的菜单项、按钮或其它界面来选择此功能性。例如，智能手机的用户界面可以具有相机菜单，其中用户能够在单拍、快拍、相机、可重聚焦图像及类似者之间进行选择。所述系列的图像的捕获可以通过单一输入触发，例如用户以与在单拍模式中捕获单一图像相同的方式按下快门按钮。
取决于实施例，在获取图像时在某一范围的焦距上改变焦距可以不同方式实施。例如，在一些情况下，功能性可以通过移动装置110的应用和/或操作系统提供在应用层处。在其它情况下，此类功能性可能在应用层处不可用，而是可使用用于控制相机的功能性的硬件和/或软件可实施。在任一实施例中，移动装置110都可以提供用户界面，通过所述用户界面用户能够选择可重聚焦图像功能性。在一些实施例中，可重聚焦图像功能性可以在特定情形下或通过特定应用自动地选定。
取决于所希望的功能性，所捕获的图像的数目和每个图像的曝光时间可以改变。例如，在一些实施例中，图像可以使用视频(或类似方式)使用恒定帧率(即，每秒捕获的帧的速率)来捕获。在其它实施例中，在所述系列图像中的一些图像的曝光时间可能长于或短于所述系列图像中的其它图像的曝光时间。因此，在获取图像时“有效帧率”可改变。取决于所希望的功能性，在一系列图像中获取的图像的数目可以少至2、多达100或更多，或者是两者之间的任何量。在一些实施例中，移动装置110可以确定将预先获取的多个图像(例如，通过利用图像和/或其它传感器数据来确定哪些焦距可能使所关注的)。一些实施例可以具有在图像捕获中常用的某些预先确定的焦距和/或预先确定的焦距范围。
为了提供可重聚焦功能性，所述系列的图像可以是不移动的静态场景130。因为移动装置110很可能被固持在用户的手中(而非在例如三角架上)，所以所述移动装置在捕获所述系列的图像时经受震颤和其它手动移动。为了补偿此，移动装置110可以对齐图像，从而对准在所述系列图像中的图像以补偿移动。
图像对齐可以利用在视频捕获中使用的电子稳像(EIS)的形式。使用图像处理的EIS的形式(例如，对准图像的相似)可能不可靠，因为一个图像中的焦点对准特征可能在另一图像中离焦。然而，可以利用基于传感器的EIS，其中来自运动传感器(例如陀螺仪、加速度计及类似者)的数据可以用于确定移动装置110的移动且通过补偿所确定的移动来对准图像。移动装置的运动传感器数据可以与图像捕获数据同步，由此使得装置能够确定移动相对于图像捕获何时发生以及此类移动可能如何影响图像对准。取决于所希望的功能性，当图像被装置捕获时，图像对齐可以实时地进行。在其它实施例中，因为用于可重聚焦功能性的所述系列的图像快速连续地被捕获，所以所述图像中的全部或一部分可以快速速率被捕获，在所述快速速率处，移动装置110不能够实时地执行图像对齐。在此类情况下，图像和相对应的运动传感器数据可以由移动装置110、显示器装置120和/或其它装置(未显示)存储以用于稍后的图像对齐。图像对齐和/或图像对准还可以包括缩放(即，调整大小)、移动一或多个图像和/或使一或多个图像旋转以补偿变焦、移动和/或其它影响，所述影响可能在相机的焦距被改变时发生。另外或替代地，可以调整一或多个图像的亮度水平以补偿图像，所述图像在被用户选定用于观看时可能具有不同的曝光和/或人为变亮的较暗区域。
所述系列的经对准图像或图像栈的图像数据可以可选地提供给显示器装置120以允许用户观看可重聚焦图像。图像数据可以使用通信链路140来提供，所述通信链路可以采用多种有线和/或无线技术中的任一者。显示器装置120可以包括能够显示图像栈且接收用户输入的多种电子装置中的任一者(例如，个人计算机、平板计算机、电视视频游戏系统及类似者)。取决于所希望的功能性，图像栈中的图像可以通过显示器装置120和/或移动装置110的硬件和/或软件来处理，如下文进一步详细所论述，以便确定图像栈中对于图像栈的给定区域处于最佳焦点对准的图像。图像栈中的图像通过显示器装置120显示为可重聚焦图像。当用户选择可重聚焦图像的区域时，将显示图像栈中的是具有最佳聚焦的图像。另外或替代地，实施例可以允许在移动装置110的显示器上观察到可重聚焦图像。
取决于所希望的功能性、显示器装置的能力和/或其它因素，选择区域的方法可以改变。例如，用户可以通过简单地使用鼠标控制的光标点击区域或轻触在区域上(如果所述区域显示在触摸屏上)来选择区域。一些实施例可以包括在能够跟踪眼睛移动的装置上显示可重聚焦图像。在这些实施例中，用户可以通过简单地注视区域、注视同时执行动作(例如，按一下按钮、眨眼等)和/或执行类似的基于眼睛的动作来选择区域。此类选择的方法可通过用户配置。
图2A和2B是帮助说明可以如何显示可重聚焦图像的功能性的所捕获图像的实例黑白表示。所述图像可以是通过例如图1的显示器装置120显示为可重聚焦图像的图像栈的部分。当用户选择可重聚焦图像的不同区域时，显示具有焦点对准的选定区域的图像。
例如，显示器装置120可以通过初始地示出图像栈中的默认图像来示出可重聚焦图像。初始图像可以是所述栈的第一图像，或以另一方式选定(例如，具有焦点对准的图像的中心部分的图像，具有最常见焦距的图像，具有焦点对准的图像的最大部分的图像等)。如果用户选择在图像的下部右手角落中的玩具直升机210，那么显示图2A的图像，其中玩具直升机210是焦点对准的。如果用户随后选择毛绒兔220，那么显示图2B的图像，其中毛绒兔220是焦点对准的。尽管仅两个图像在图2A和2B中示出，但图像栈可以包括大量图像，从而使得用户能够选择可重聚焦图像的许多其它部分且观看图像栈的其中选定部分焦点对准的相对应图像。因此，尽管可重聚焦图像包括图像栈，但所述可重聚焦图像表现得像基于用户输入调整其焦点的单一图像。
图3是根据一个实施例的可以如何将图像300分成各种区域以用于处理的简化说明。在此实施例中，图像300根据网格简单地分成不同区域，其中列和行沿着X和Y轴分布。(尽管网格线在图3中可见，但它们可以表示区域之间的不可见边界。然而，在一些实施例中，可重聚焦图像可以示出可见区域边界。)取决于实施例，网格的行和列的数目可以改变。例如，一些实施例可以简单地将图像分成具有默认数目的行和列(例如，20行和20列)的网格。其它实施例可以基于例如图像分辨率、图像处理能力及类似者的因素来确定行和/或列的数目。一些实施例可以动态地基于图像栈中的一或多个图像中的多个检测到的特征、图像栈中的多个图像和/或在图像栈之间可能不同的另一因素来确定网格中的行和/或列的数目。其它实施例可以用除网格外的方式将图像栈中的图像划分成不同区域。此类区域可以独立于图像栈的内容来确定，或可以将图像栈的可见部分(例如不同物体)划分成不同区域。此外，在一些实施例中，不同区域可以是基于在图像栈中的一或多个图像中检测到的特征。
图4说明在图像栈400当中如何比较区域。在图像处理期间，将某一图像的每个区域与图像栈400中的其它图像300的相对应区域进行比较以确定哪一个区域是焦点对准的(或最接近焦点对准)。例如，分析第一图像300-1中的特定区域310-1且将其与图像栈400中的其它图像300-2、300-3、300-4中的相对应区域310-2、310-3、310-4进行比较。(如图4中指示，图像栈可以包含超过4个图像。)具有焦点对准或最接近焦点对准的区域310的图像300是在用户选择所述特定区域310时被显示的图像。因为图像栈400中的每个图像300的焦距是唯一的，所以将存在将具有最焦点对准的区域310的一个图像。例如，如果图像300-3中的区域310-3被确定为图像栈400中的图像300中的所有相对应区域310中最为焦点对准的，那么当向用户示出可重聚焦图像且用户选择区域310时，将向用户示出图像300-3。不具有确定为图像栈400中的图像300中的所有相对应区域中焦点对准或最接近焦点对准的图像300可以从图像栈去除，这可以减少存储图像栈所需的存储器的量。
可注意到，取决于各种因素，例如示出可重聚焦图像的显示器装置的能力，在图3到6中说明的图像处理可以在图像被显示之前或在图像被显示给用户时实时地进行。在其中处理在可重聚焦图像示出给用户之前进行的情况下，如关于图4所论述，可以存储图像栈中的图像300中的区域的比较的结果且稍后在将可重聚焦图像示出给用户时使用。
确定哪一个图像300具有图像栈400中的图像中的所有相对应区域中最为焦点对准的区域可以用多种方式中的任一者来实现。图5和6说明确定可以如何测量区域的聚焦且将其与其它图像的相对应区域比较的方法。
图5是指示图像300中的每个区域的对比度的分数、或测量结果的三维图式，其中图像使用沿着图像300的X和Y轴的20×20网格分成多个区域。对比度是聚焦的量度；对比度越高，聚焦越大。根据此实施例，对比度分数通过计算每个区域的方差来确定。其它实施例可以利用确定对比度的其它方法。图5中示出的区域中的每一者的分数可以与栈中的其它图像中的相对应区域的分数比较。
图6说明根据一个实例的在图像栈中的所有图像中的相对应区域的对比度分数的比较。在此实例中，图像栈中的图像是视频帧，其中帧数范围为0到近似170。如曲线图所说明，各区域当中的对比度分数基本上不同，但可以容易地确定最大分数500。因此，相对应的图像(帧90)可以确定为其中对应的区域最为焦点对准的图像。如果用户在观看可重聚焦图像时选择对应的区域，那么将显示相对应的图像。
可注意到，当图像栈中的图像被捕获时，图像栈中的物体可能移动。用户可以选择图像栈中的第一图像中的其中物体离焦的区域，希望看见所述物体焦点对准。然而，如果物体在移动，那么它可能在与图像栈中的具有用于所述区域的最高对比度的第二图像不同的位置处(或完全丢失)。在此类情况下，可以实施技术以调整此类图像显示的程度。例如，图像栈中的相对应区域的颜色信息可以用于确定那些区域中的物体是否已经从一个图像移动到另一者。如果确定来自选定区域的物体已经移动(例如，来自第一图像中的选定区域和第二图像中的相对应的最高对比度区域的颜色信息指示所述区域中的物体已经移动)，那么在一些实施例中，将不进行重新聚焦(即，将不显示第二图像)。在一些实施例中，将显示第二图像，且将会将此消息以及选定图像中的物体已经移动告知用户(例如，经由显示器上的文本)。一些实施例可以示出图像栈中的图像中的一些或全部的幻灯片以向用户说明物体的运动。其它实施例可以采用补偿此类运动的又其它技术。取决于所希望的功能性，关于图3到6描述的图像处理中的全部或一部分可以在将相对应的可重聚焦图像显示给用户之前和/或期间进行。此外，处理可以在单一装置(例如，图1的移动装置110)或多个装置(例如，图1的移动装置110和显示器装置120)上进行。此外，取决于所希望的功能性，可重聚焦图像的显示可以通过显示器装置(例如，图1中示出的显示器装置)或通过移动装置自身提供。
图7说明图像捕获和处理的方法700的实施例。用于执行方法700的组成部分中的一或多者的装置可以包含关于图8进一步详细描述的硬件和/或软件装置。替代实施例可以包含对所示出的实施例的更改。尽管以特定次序说明，但根据不同实施例，方法700的组成部分可以不同次序和/或同时执行。此外，所属领域的技术人员将认识到许多添加、省略和/或其它变化。
在框710处，在某一时间段上连续地捕获多个图像。如先前所指示，所述时间段可以取决于各种因素而改变，所述因素包含所捕获的图像的数目和/或每个图像的曝光时间。例如，在一些情况下，曝光时间可以是10ms。在其它情况下，例如在低光中，曝光时间可以是20ms或更多。取决于相机光学器件、环境光和/或其它因素，曝光时间可以大于、小于这些值或在这些值之间。此外，多个图像中的一些图像的曝光时间可以大于多个图像中的其它图像。
在框720处，在所述时间段期间改变相机的焦距。这产生具有不同焦距的多个图像。多个图像中的每个图像可以使用不同唯一焦距捕获。焦距可以基于常用的焦距和或常用焦距的范围预先确定。连续图像的焦距之间的差值可以是均一的，或可以不同(例如，较高数目的图像与小焦距相对应，当焦距变大时所述数目减小)。可以另外或替代地使用确定焦距的其它方法，例如先前描述的那些方法。
在框730处，对准多个图像，从而形成图像栈。如先前指示，图像对准或对齐可以包括使用在其中捕获多个图像的时间段期间获取的运动传感器数据。此类对准的实例是基于传感器的EIS，其中结合图像数据使用运动传感器数据以确定在图像的捕获之间进行的任何运动(例如，平移和/或旋转)。一旦确定运动，就可以对准图像以补偿此类运动。运动传感器数据可以包含来自一或多个陀螺仪、加速度计、相机和/或可以检测移动的其它传感器的数据。此外，根据一些实施例，对准可以在其中捕获多个图像的时间段期间实时地进行。如上文所论述，对准可以包含图像缩放、移动和/或旋转。
在框740处，将每个图像划分成多个区域。如在图3和4中指示，这些区域可以在图像处理中用于针对每个区域确定在多个图像当中的最焦点对准区域。图像可以根据网格或其它图案划分，且取决于所希望的功能性，网格的粒度(即，区域的大小)可以改变，如上文所描述。
在框750处，通过以下操作处理多个图像：针对多个图像中的每个图像中的每个区域，计算对比度，比较所述对比度与其它图像上的相对应区域的对比度，且确定具有最高对比度区域的图像。如先前所指示，可以通过计算区域的方差来计算对比度。如图6中示出，对比相对应区域之间的分数以确定具有具有最高对比度(其指示最焦点对准)的相对应区域的图像。取决于实施例，框750的功能性可以通过移动装置、显示器装置或另一计算装置执行。
在框760处，显示第一图像。如先前所指示，多个图像(图像栈)有效地用作可重聚焦图像，所述可重聚焦图像允许用户选择可重聚焦图像的一部分以使其变得焦点对准。随后将具有用于选定部分的最高对比度的相对应的图像示出给用户。多个图像中的第一图像可以基于多种因素中的任一者(例如，所捕获的第一图像、具有最高数目的焦点对准区域的图像、具有在特定位置处的焦点对准区域的图像等)来显示。
图8说明移动装置110的实施例，所述实施例可以实施在本文中所论述的图像捕获、处理和/或显示技术，例如图7中示出的方法700。应注意，图8仅意图提供对各种组件的一般化说明，所述组件中的任一者或全部可以在适当时被利用。此外，系统元件可以相对分离或相对更集成的方式实施。另外或替代地，图8中示出的组件中的一些或全部可以用于另一计算装置，例如图1的显示器装置120，所述显示器装置可以与移动装置110一起使用，如先前描述。
移动装置110示出为包括可经由总线805电耦合(或可在适当时以其它方式通信)的硬件元件。硬件元件可以包含处理单元810，所述处理单元可以包含但不限于一或多个通用处理器、一或多个专用处理器(例如数字信号处理器(DSP)、图形加速处理器、专用集成电路(ASIC)和/或类似者)和/或其它处理结构或的装置，其可以经配置以执行在本文中描述的方法中的一或多者，包含图7中说明的方法700。如图8中示出，取决于所希望的功能性，一些实施例可以具有单独的DSP820。移动装置110还可以包含：一或多个输入装置870，所述输入装置可以包含但不限于一或多个相机、触摸屏、触摸板、麦克风、按钮、拨号盘、开关和/或类似者；以及一或多个输出装置815，所述输出装置可以包含但不限于显示器、发光二极管(LED)、扬声器和/或类似者。
移动装置110还可包含无线通信接口830，所述无线通信接口可以包含但不限于调制解调器、网卡、红外通信装置、无线通信装置和/或芯片组(例如BluetoothTM装置、IEEE802.11装置、IEEE802.15.4装置、WiFi装置、WiMax装置、蜂窝式通信设施等)和/或类似者。无线通信接口830可准许与网络、无线接入点、其它计算机系统和/或本文中所描述的任何其它电子装置交换数据。可经由发送和/或接收无线信号834的一或多个无线通信天线832执行通信。
取决于所希望的功能性,无线通信接口830可以包含用于与基站收发器台(例如，蜂窝式网络的基站收发器台)和接入点通信的单独收发器。这些不同数据网络可以包含OFDMA和/或其它类型的网络。
移动装置110可以进一步包含传感器840。此类传感器可以包含但不限于一或多个加速度计、陀螺仪、相机、磁力计、高度计、麦克风、近程传感器、光传感器及类似者。传感器840的至少一个子集可以提供用于如本文中所论述的图像对齐的运动检测。
移动装置的实施例还可以包含卫星定位系统(SPS)接收器880，其能够使用SPS天线882从一或多个SPS卫星接收信号884。此类定位可以用于补充和/或结合本文中所描述的技术。可注意到，如本文中所使用，SPS可以包含一或多个全球和/或地区性导航卫星系统和/或扩增系统的任何组合，且SPS信号可以包含SPS、类SPS和/或与此类一或多个SPS相关联的其它信号。
移动装置110可以进一步包含存储器860和/或与之通信。存储器860可以包含但不限于本地和/或网络可接入存储装置、磁盘驱动、驱动阵列、光学存储装置、固态存储装置(例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，这些存储器可以是可编程的、闪存可更新的)和/或类似者。此类存储装置可经配置以实施任何适当数据结构,例如FIFO和/或由本文中所描述的技术利用的其它存储器，且可由OFDM接收器的硬件和/或软件元件分配。另外或替代地，本文中所描述的数据结构可以通过高速缓存或DSP820或处理单元810的其它本地存储器实施。存储器可以进一步用于存储图像栈、运动传感器数据和/或本文中所描述的其它信息。
移动装置110的存储器860还可包括软件元件(未图示)，包含操作系统、装置驱动器、可执行库和/或其它代码，例如一或多个应用程序，所述应用程序可包括由各种实施例提供的计算机程序，和/或可经设计以实施由其它实施例提供的方法和/或配置由其它实施例提供的系统，如本文中所描述。仅举例来说，关于上文所论述的方法(例如关于图7描述的方法700)描述的一或多个步骤可以实施为可通过移动装置110(和/或移动装置110内的处理单元810)执行和/或存储在非暂时性和/或机器可读存储媒体(例如，“计算机可读存储媒体”，“机器可读存储媒体”等)上的代码和/或指令。在一方面中，随后，此类代码和/或指令可用于配置和/或调适通用处理器(或其它装置)以执行根据所描述方法的一或多个操作。
所属领域的技术人员将清楚，可根据具体要求作出较大变化。例如，还可使用定制硬件，和/或可用硬件、软件(包含便携式软件，例如小程序等)或这两者来实施特定元件。此外，可采用到其它计算装置(例如，网络输入/输出装置)的连接。
上文所论述的方法、系统和装置为实例。在适当时，各种配置可省略、替代或添加各种步骤或组件。举例来说，在替代性配置中，可以不同于所描述的次序的次序来执行方法，和/或可添加、省略和/或组合各种阶段。并且，可以各种其它配置组合关于某些配置所描述的特征。可以类似方式组合配置的不同方面和元件。并且，技术发展，且因此元件中的许多为实例且并不限制本发明或权利要求的范围。
如本文所使用，术语“和”以及“或”可包含多种含义，这些含义还预期至少部分取决于使用此类术语的上下文。通常，如果将“或”用于关联列表(例如A、B或C)，则意图表示A、B以及C(此处是在包含性意义上使用)，以及A、B或C(此处是在排它性意义上使用)。另外，如本文所使用，术语“一或多个”可用于以单数形式描述任何特征、结构或特性，或可用于描述特征、结构或特性的某种组合。然而，应注意，这仅仅为说明性实例，且所要求的主题并不限于此实例。此外，如果将术语“中的至少一者”用于关联列表(例如A、B或C)，那么可将其解释为表示A、B和/或C中的任何组合，例如A、AB、AA、AAB、AABBCCC等。
在已描述若干实例配置之后，可在不脱离本发明的精神的情况下使用各种修改、替代构造和等效物。例如，上述元件可为较大系统的组件，其中其它规则可优先于本发明的应用或以其它方式修改本发明的应用。并且，可在考虑上述元件之前、期间或之后进行多个步骤。因此，上述描述并不约束权利要求书的范围。

Claims (26)

1.一种图像捕获和处理的方法，所述方法包括：
在某一时间段上用相机连续地捕获多个图像，其中所述捕获通过用户输入触发；
在所述时间段期间改变所述相机的焦距，使得所述多个图像中的每个图像使用唯一焦距捕获；
使用在所述时间段期间获取的运动传感器数据对准所述多个图像；
用处理单元通过以下操作处理所述多个图像：
将每个图像划分成多个区域，每个区域具有在所述多个图像中的每一者中的相对应区域；
计算相对应区域的第一集合中的每个区域的对比度；
比较所述相对应区域的第一集合中的区域的所述对比度；以及
确定在所述相对应区域的第一集合中具有最高对比度的第一图像；以及
当选定所述相对应区域的第一集合中的一者时，使得显示器示出所述第一图像。
2.根据权利要求1所述的方法，其中所述相对应区域的第一集合中的一者选自所述多个图像中的初始显示图像。
3.根据权利要求1所述的方法，其中所述对准在其中捕获所述多个图像的所述时间段期间进行。
4.根据权利要求1所述的方法，其中处理所述多个图像通过移动装置来执行。
5.根据权利要求1所述的方法，其中处理所述多个图像通过除移动装置外的计算装置来执行。
6.根据权利要求1所述的方法，其进一步包括：
从所述第一图像接收对相对应区域的第二集合中的一者的选择；
从所述多个图像确定在所述相对应区域的第二集合中具有最高对比度的第二图像；以及
使得所述显示器示出所述第二图像。
7.根据权利要求1所述的方法，其进一步包括从所述多个图像去除一或多个图像，在所述一或多个图像中，所述图像的所述多个区域中没有区域被确定为在所述多个图像的所述相对应区域当中的最高对比度区域。
8.根据权利要求1所述的方法，其中对准所述多个图像包括以下操作中的至少一者：
缩放所述多个图像中的一或多个图像，
移动所述多个图像中的一或多个图像，
使所述多个图像中的一或多个图像旋转，或
调整所述多个图像中的一或多个图像的亮度。
9.根据权利要求1所述的方法，其中所述运动传感器数据从以下各者中的至少一者获得：
陀螺仪，
加速度计，或
所述相机。
10.一种设备，其包括：
存储器；
显示器；以及
以通信方式与所述存储器耦合的处理单元，其中所述处理单元经配置以执行包含以下操作的功能：
获得在某一时间段上通过移动装置的相机连续地捕获的多个图像，其中：
所述捕获通过用户输入触发；以及
在所述时间段期间改变所述相机的焦距，使得所述多个图像中的每个图像使用唯一焦距捕获；
使用在所述时间段期间获取的运动传感器数据对准所述多个图像；
通过以下操作处理所述多个图像：
将每个图像划分成多个区域，每个区域具有在所述多个图像中的每一者中的相对应区域；
计算相对应区域的第一集合中的每个区域的对比度；
比较所述相对应区域的第一集合中的区域的所述对比度；以及
确定在所述相对应区域的第一集合中具有最高对比度的第一图像；以及
当选定所述相对应区域的第一集合中的一者时，使得显示器示出所述第一图像。
11.根据权利要求10所述的设备，其中所述处理单元经配置以在其中捕获所述多个图像的所述时间段期间执行所述对准。
12.根据权利要求10所述的设备，其中所述设备包括所述移动装置。
13.根据权利要求10所述的设备，其中所述设备包括除所述移动装置外的计算装置。
14.根据权利要求10所述的设备，其中所述处理单元进一步经配置以：
从所述第一图像接收对相对应区域的第二集合中的一者的选择；
从所述多个图像确定所述相对应区域的第二集合中具有最高对比度的第二图像；以及
使得所述显示器示出所述第二图像。
15.根据权利要求10所述的设备，其中所述处理单元进一步经配置以从所述多个图像去除一或多个图像，在所述一或多个图像中，所述图像的所述多个区域中没有区域被确定为在所述多个图像的所述相对应区域当中的最高对比度区域。
16.根据权利要求10所述的设备，所述处理单元进一步经配置以通过以下操作对准所述多个图像：
缩放所述多个图像中的一或多个图像，
移动所述多个图像中的一或多个图像，
使所述多个图像中的一或多个图像旋转，或
调整所述多个图像中的一或多个图像的亮度。
17.一种非暂时性计算机可读存储媒体，其具有嵌入在其上以用于提供可重聚焦图像的指令，所述指令包括用于进行以下操作的计算机代码：
在某一时间段上用移动装置的相机连续地获得多个图像，其中捕获通过用户输入触发；
在所述时间段期间使得所述相机改变焦距，使得所述多个图像中的每个图像使用唯一焦距捕获；
使用在所述时间段期间获取的运动传感器数据对准所述多个图像；
通过以下操作处理所述多个图像：
将每个图像划分成多个区域，每个区域具有在所述多个图像中的每一者中的相对应区域；
计算相对应区域的第一集合中的每个区域的对比度；
比较所述相对应区域的第一集合中的区域的所述对比度；以及
确定相对应区域中的所述第一集合中具有最高对比度的第一图像；以及
当选定所述相对应区域的第一集合中的一者时，使得显示器示出所述第一图像。
18.根据权利要求17所述的非暂时性计算机可读存储媒体，其中用于对准的所述代码经配置以使得所述对准在其中捕获所述多个图像的所述时间段期间进行。
19.根据权利要求17所述的非暂时性计算机可读存储媒体，其进一步包括用于进行以下操作的代码：
从所述第一图像接收对相对应区域的第二集合中的一者的选择；
从所述多个图像确定在所述相对应区域的第二集合中具有最高对比度的第二图像；以及
使得所述显示器示出所述第二图像。
20.根据权利要求17所述的非暂时性计算机可读存储媒体，其进一步包括用于从所述多个图像去除一或多个图像的代码，在所述一或多个图像中，所述图像的所述多个区域中没有区域被确定为在所述多个图像的所述相对应区域当中的最高对比度区域。
21.根据权利要求17所述的非暂时性计算机可读存储媒体，其中用于对准所述多个图像的所述代码包括用于执行以下操作中的至少一者的代码：
缩放所述多个图像中的一或多个图像，
移动所述多个图像中的一或多个图像，
使所述多个图像中的一或多个图像旋转，或
调整所述多个图像中的一或多个图像的亮度。
22.一种装置，其包括：
用于在某一时间段上用移动装置的相机连续地获得多个图像的装置，其中捕获通过用户输入触发；
用于使得所述相机在所述时间段期间改变焦距而使得所述多个图像中的每个图像使用唯一焦距捕获的装置；
用于使用在所述时间段期间获取的运动传感器数据对准所述多个图像的装置；
用于通过以下操作处理所述多个图像的装置：
将每个图像划分成多个区域，每个区域具有在所述多个图像中的每一者中的相对应区域；
计算相对应区域的第一集合中的每个区域的对比度；
比较所述相对应区域的第一集合中的区域的所述对比度；以及
确定相对应区域中的所述第一集合中具有最高对比度的第一图像；以及
用于在选定所述相对应区域的第一集合中的一者时使得显示器示出所述第一图像的装置。
23.根据权利要求22所述的装置，其中用于对准的所述装置经配置以使得所述对准在其中捕获所述多个图像的所述时间段期间进行。
24.根据权利要求22所述的装置，其进一步包括用于进行以下操作的装置：
从所述第一图像接收对相对应区域的第二集合中的一者的选择；
从所述多个图像确定在所述相对应区域的第二集合中具有最高对比度的第二图像；以及
使得所述显示器示出所述第二图像。
25.根据权利要求22所述的装置，其进一步包括用于从所述多个图像去除一或多个图像的装置，在所述一或多个图像中，所述图像的所述多个区域中没有区域被确定为在所述多个图像的所述相对应区域当中的最高对比度区域。
26.根据权利要求22所述的装置，其中用于对准所述多个图像的所述装置包括以下各者中的至少一者：
用于缩放所述多个图像中的一或多个图像的装置，
用于移动所述多个图像中的一或多个图像的装置，
用于使所述多个图像中的一或多个图像旋转的装置，或
用于调整所述多个图像中的一或多个图像的亮度的装置。
CN201480055534.2A 2013-10-14 2014-10-09 可重聚焦图像 Active CN105637854B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/053,436 US9973677B2 (en) 2013-10-14 2013-10-14 Refocusable images
US14/053,436 2013-10-14
PCT/US2014/059953 WO2015057493A1 (en) 2013-10-14 2014-10-09 Refocusable images

Publications (2)

Publication Number Publication Date
CN105637854A true CN105637854A (zh) 2016-06-01
CN105637854B CN105637854B (zh) 2018-09-18

Family

ID=51794983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480055534.2A Active CN105637854B (zh) 2013-10-14 2014-10-09 可重聚焦图像

Country Status (6)

Country Link
US (1) US9973677B2 (zh)
EP (1) EP3058716A1 (zh)
JP (1) JP2017500766A (zh)
KR (1) KR20160070780A (zh)
CN (1) CN105637854B (zh)
WO (1) WO2015057493A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109842760A (zh) * 2019-01-23 2019-06-04 罗超 一种模拟人眼视物的影像拍摄与回放方法
CN110930436A (zh) * 2019-11-27 2020-03-27 深圳市捷顺科技实业股份有限公司 一种目标跟踪方法及设备
CN111034170A (zh) * 2017-08-16 2020-04-17 高通股份有限公司 具有稳定曝光或白平衡的图像捕获装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
CN103703757B (zh) * 2013-08-01 2015-09-09 华为终端有限公司 一种拍照方法及装置
JP6362433B2 (ja) * 2014-06-04 2018-07-25 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
DE102015006528A1 (de) * 2015-05-27 2016-12-01 Roland Harras Verfahren zur Bild- und Filmwiedergabe mit automatischer Fokusierung der Blickbereiche der Betrachter
KR102493746B1 (ko) * 2016-08-18 2023-02-02 삼성전자주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서, 및 전자 장치
CN114449163A (zh) * 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
EP4307700A3 (en) * 2016-11-01 2024-03-20 Snap Inc. Systems and methods for fast video capture and sensor adjustment
US11164352B2 (en) 2017-04-21 2021-11-02 Intel Corporation Low power foveated rendering to save power on GPU and/or display
JP7195790B2 (ja) * 2018-07-02 2022-12-26 キヤノン株式会社 撮像装置及びその制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030052991A1 (en) * 2001-09-17 2003-03-20 Stavely Donald J. System and method for simulating fill flash in photography
US20030076408A1 (en) * 2001-10-18 2003-04-24 Nokia Corporation Method and handheld device for obtaining an image of an object by combining a plurality of images
EP2085817A2 (en) * 2008-02-04 2009-08-05 Ricoh Company, Limited Apparatus, method system, and program for image processing
JP4972579B2 (ja) * 2007-09-11 2012-07-11 株式会社リコー 電子機器および再生装置
TW201331693A (zh) * 2012-01-17 2013-08-01 Benq Corp 影像擷取裝置及影像處理方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0961506B1 (en) * 1998-05-20 2003-03-26 Texas Instruments France Autostereoscopic display
US6320979B1 (en) * 1998-10-06 2001-11-20 Canon Kabushiki Kaisha Depth of field enhancement
WO2005093654A2 (en) * 2004-03-25 2005-10-06 Fatih Ozluturk Method and apparatus to correct digital image blur due to motion of subject or imaging device
US7565075B2 (en) * 2005-07-11 2009-07-21 Nokia Corporation System and method for exhibiting image focus information on a viewfinder
JP4874668B2 (ja) * 2006-02-22 2012-02-15 Ｈｏｙａ株式会社 オートフォーカスユニット及びカメラ
JP4315971B2 (ja) * 2006-11-09 2009-08-19 三洋電機株式会社 撮像装置
JP4804398B2 (ja) * 2007-03-30 2011-11-02 三洋電機株式会社 撮像装置及び撮影方法
US8384803B2 (en) * 2007-12-13 2013-02-26 Keigo Iizuka Camera system and method for amalgamating images to create an omni-focused image
US8233077B2 (en) * 2007-12-27 2012-07-31 Qualcomm Incorporated Method and apparatus with depth map generation
JP2010020081A (ja) * 2008-07-10 2010-01-28 Ricoh Co Ltd 撮像装置及び撮像方法、並びに制御プログラム及び記憶媒体
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US8405742B2 (en) * 2008-12-30 2013-03-26 Massachusetts Institute Of Technology Processing images having different focus
US20120249550A1 (en) * 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
SG166684A1 (en) 2009-05-11 2010-12-29 Creative Tech Ltd A multimodal camera and a method for selecting an operation mode of a camera
US8436893B2 (en) * 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
US8633968B2 (en) * 2009-12-11 2014-01-21 Dish Network L.L.C. Three-dimensional recording and display system using near- and distal-focused images
JP2012054810A (ja) * 2010-09-02 2012-03-15 Olympus Corp 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム
KR101728042B1 (ko) * 2010-10-01 2017-04-18 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US9007428B2 (en) 2011-06-01 2015-04-14 Apple Inc. Motion-based image stitching
US8432434B2 (en) 2011-07-08 2013-04-30 Mitsubishi Electric Research Laboratories, Inc. Camera and method for focus based depth reconstruction of dynamic scenes
EP3675481A1 (en) * 2011-08-16 2020-07-01 Imax Theatres International Limited Hybrid image decomposition and projection
US9501834B2 (en) 2011-08-18 2016-11-22 Qualcomm Technologies, Inc. Image capture for later refocusing or focus-manipulation
JP5898466B2 (ja) * 2011-11-11 2016-04-06 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP5867198B2 (ja) * 2012-03-14 2016-02-24 オムロン株式会社 領域指定方法及び領域指定装置
US9607424B2 (en) * 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
US20140125831A1 (en) * 2012-11-06 2014-05-08 Mediatek Inc. Electronic device and related method and machine readable storage medium
JP6198389B2 (ja) * 2012-12-19 2017-09-20 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
US8849064B2 (en) 2013-02-14 2014-09-30 Fotonation Limited Method and apparatus for viewing images
WO2014193377A1 (en) * 2013-05-30 2014-12-04 Nokia Corporation Image refocusing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030052991A1 (en) * 2001-09-17 2003-03-20 Stavely Donald J. System and method for simulating fill flash in photography
US20030076408A1 (en) * 2001-10-18 2003-04-24 Nokia Corporation Method and handheld device for obtaining an image of an object by combining a plurality of images
JP4972579B2 (ja) * 2007-09-11 2012-07-11 株式会社リコー 電子機器および再生装置
EP2085817A2 (en) * 2008-02-04 2009-08-05 Ricoh Company, Limited Apparatus, method system, and program for image processing
TW201331693A (zh) * 2012-01-17 2013-08-01 Benq Corp 影像擷取裝置及影像處理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111034170A (zh) * 2017-08-16 2020-04-17 高通股份有限公司 具有稳定曝光或白平衡的图像捕获装置
CN109842760A (zh) * 2019-01-23 2019-06-04 罗超 一种模拟人眼视物的影像拍摄与回放方法
CN110930436A (zh) * 2019-11-27 2020-03-27 深圳市捷顺科技实业股份有限公司 一种目标跟踪方法及设备
CN110930436B (zh) * 2019-11-27 2023-04-14 深圳市捷顺科技实业股份有限公司 一种目标跟踪方法及设备

Also Published As

Publication number Publication date
WO2015057493A1 (en) 2015-04-23
US9973677B2 (en) 2018-05-15
US20150103192A1 (en) 2015-04-16
CN105637854B (zh) 2018-09-18
EP3058716A1 (en) 2016-08-24
JP2017500766A (ja) 2017-01-05
KR20160070780A (ko) 2016-06-20

Similar Documents

Publication Publication Date Title
CN105637854A (zh) 可重聚焦图像
US8558759B1 (en) Hand gestures to signify what is important
US20170372449A1 (en) Smart capturing of whiteboard contents for remote conferencing
KR20200123223A (ko) 애플리케이션을 위한 디스플레이 적응 방법 및 장치, 디바이스, 및 저장 매체
KR102627612B1 (ko) 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치
CN102436460A (zh) 用于提供对象信息的装置和方法
EP3460745B1 (en) Spherical content editing method and electronic device supporting same
WO2014003981A1 (en) Enhanced information delivery using a transparent display
CN112105983B (zh) 增强的视觉能力
US9495773B2 (en) Location map submission framework
KR102501713B1 (ko) 영상 표시 방법 및 그 전자장치
US20230068730A1 (en) Social connection through distributed and connected real-world objects
Ostkamp et al. Using mobile devices to enable visual multiplexing on public displays: three approaches compared
CN114143588B (zh) 一种播放控制方法以及电子设备
US20230060838A1 (en) Scan-based messaging for electronic eyewear devices
US20230069328A1 (en) Snapshot messages for indicating user state
CN114466237B (zh) 显示方法、装置、计算机设备及介质
US20230298247A1 (en) Sharing received objects with co-located users
CN111026992B (zh) 多媒体资源预览方法、装置、终端、服务器及存储介质
US20240069843A1 (en) Extending user interfaces of mobile apps to ar eyewear
CN110365903B (zh) 基于视频的对象处理方法、装置、设备及可读存储介质
KR20240049836A (ko) 전자 안경류 디바이스들에 대한 스캔 기반 메시징
KR20240051260A (ko) 사용자 상태를 나타내기 위한 스냅샷 메시지들
KR20240047482A (ko) 분산되고 연결된 실세계 객체들을 통한 소셜 연결
CN117916693A (zh) 用于电子眼镜设备的基于扫描的消息收发

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant