CN107810629B - 图像处理装置和图像处理方法 - Google Patents

Abstract

提供了一种图像处理装置和图像处理方法。该图像处理装置包括：图像捕获器，被配置为捕获具有不同缩放级别的多个图像；存储设备，被配置为存储所述多个图像；显示器，被配置为显示所述多个图像中的第一图像；以及处理器，被配置为控制所述显示器基于控制输入显示所述多个图像中的第二图像，所述第二图像具有与所述第一图像的缩放级别不同的缩放级别。

Description

图像处理装置和图像处理方法

技术领域

本公开涉及一种图像处理装置、图像处理方法和其上记录有用于执行图像处理方法的程序代码的非暂时性计算机可读记录介质。

背景技术

为了获得再聚焦效果，已经提出了各种技术。例如，为了获得再聚焦效果，可以使用专门的传感器，例如在普通相机中不使用的光场传感器。然而，额外的硬件配置(例如，光场传感器)会导致额外的成本并增加产品的重量。此外，即使使用光场传感器，也不可能对相同焦平面上的每个对象进行再聚焦。

提出以上信息作为背景信息仅仅是为了辅助理解本公开。并未确定和承认上述任何内容是否可应用作本公开的现有技术。

发明内容

问题的解决方案

本公开的各个方面是为了至少解决上述问题和/或缺点，并且至少提供以下描述的优点。因此，本公开的一个方面在于通过以多个缩放级别捕获多个图像来提供可再聚焦图像，而无需诸如光场传感器的特殊传感器。

本公开的另一方面在于提供针对似乎存在于相同焦平面上的对象改善焦点分辨率，这是因为对象被放置在较远的距离处。

根据本公开的一方面，提出了一种图像处理装置。该图像处理装置包括：图像捕获器，被配置为捕获具有不同缩放级别的多个图像；存储设备，被配置为存储所述多个图像；显示器，被配置为显示所述多个图像中的第一图像；以及处理器，被配置为控制所述显示器基于控制输入显示所述多个图像中的第二图像，所述第二图像具有与所述第一图像的缩放级别不同的缩放级别。

有益效果

本公开的一个方面具有以下技术优点：通过以多个缩放级别捕获多个图像来提供可再聚焦图像，而无需诸如光场传感器的特殊传感器。

本公开的另一方面具有以下技术优点：针对似乎存在于相同焦平面上的对象改善焦点分辨率，这是因为对象被放置在较远的距离处。

附图说明

根据结合附图的以下描述，本公开的某些实施例的上述和其他方面、特征以及优点将更清楚，在附图中：

图1是根据本公开实施例的图像处理装置的框图；

图2是用于描述根据本公开实施例的捕获具有不同缩放级别的多个图像的处理的示图；

图3是用于描述根据本公开实施例的显示所捕获的图像中的一个图像的处理的示图；

图4是根据本公开实施例的图像处理方法的流程图；

图5是根据本公开实施例的在图像处理装置中捕获多个图像的方法的流程图；

图6是用于描述根据本公开实施例的用户对感兴趣区域(ROI)的选择的示图；

图7是根据本公开实施例的选择ROI以以多个缩放级别捕获多个图像的方法的流程图；

图8是根据本公开实施例的自动确定ROI的方法的流程图；

图9是用于描述根据本公开实施例的基于焦点值将高活动区域确定为ROI的方法的示图；

图10是用于描述根据本公开实施例的以相同缩放级别捕获具有不同焦点的图像的处理的示图；

图11是用于描述根据本公开实施例的在包括被识别为位于相同焦平面上的多个对象在内的区域上进行放大的处理的示图；

图12是用于描述根据本公开实施例的在包括被识别为位于相同焦平面上的多个对象在内的区域上进行放大的处理的示图；

图13是用于描述根据本公开实施例的提供用户指导以相对于ROI调整视场(FOV)的操作的示图；

图14是用于描述根据本公开实施例的存储可再聚焦图像的方法的示图；

图15是用于描述根据本公开实施例的存储可再聚焦图像的方法的示图；

图16是根据本公开实施例的在图像中进行再聚焦的方法的流程图；

图17是用于描述根据本公开实施例的显示可再聚焦图像的方法的示图；

图18是示出了根据本公开实施例的可再聚焦图像的示图；

图19是用于描述根据本公开实施例的选择ROI的操作的示图；

图20是用于描述根据本公开实施例的选择ROI的操作的示图；

图21是根据本公开实施例的图像处理机制的流程图；

图22是用于描述根据本公开实施例的后处理方法的示图；

图23是根据本公开实施例的生物认证方法的流程图；

图24是用于描述根据本公开实施例的生物认证方法的示图；

图25是用于描述根据本公开实施例的提供千兆像素摄影图像的方法的示图；

图26是根据本公开实施例的图像处理方法的流程图；

图27是用于描述根据本公开实施例的捕获面部区域的图像的操作的示图；

图28是根据本公开实施例的图像处理装置的框图；以及

图29是根据本公开实施例的执行用于在电子设备中捕获多个图像的方法和系统的计算环境的框图。

应注意，在整个附图中，相似的附图标记用于描述相同或相似的元件、特征和结构。

具体实施方式

根据本公开的一方面，提出了一种图像处理装置。该图像处理装置包括：图像捕获器，被配置为捕获具有不同缩放级别的多个图像；存储设备，被配置为存储所述多个图像；显示器，被配置为显示所述多个图像中的第一图像；以及处理器，被配置为控制所述显示器基于控制输入显示所述多个图像中的第二图像，所述第二图像具有与所述第一图像的缩放级别不同的缩放级别。

所述处理器还可以被配置为：控制所述图像捕获器捕获具有不同缩放级别的多个图像，所述多个图像包括由输入到所述处理器的控制信号确定的感兴趣区域(ROI)。

所述处理器还可以被配置为：基于由所述图像捕获器捕获的输入图像的焦点值来设置至少一个ROI，以及控制所述图像捕获器在所述至少一个ROI上进行放大并针对所述至少一个ROI捕获至少一个图像。

所述处理器还可以被配置为：从由所述图像捕获器捕获的输入图像检测被推断为相同焦平面的多个对象，以及控制所述图像捕获器以第一缩放级别针对包括所述多个对象的区域进行放大，以所述第一缩放级别顺序地对所述多个对象进行聚焦，并捕获具有不同焦点的多个图像。

所述处理器还可以被配置为：确定ROI，并输出调整视场(FOV)从而将ROI置于FOV的中心处的指导信息。

所述显示器还可以被配置为：显示具有不同缩放级别的多个图像。

所述显示器还可以被配置为：显示具有第一缩放级别的第一图像，并在第一图像上覆盖具有不同缩放级别且与第一图像中包括的至少一个ROI相对应的至少一个图像。

所述显示器还可以被配置为：在显示第一图像的同时在第一图像上显示标记，所述标记指示具有与第一图像的缩放级别不同的缩放级别的图像的FOV。

所述显示器还可以被配置为：在显示第一图像的同时在第一图像上显示标记，所述标记指示关于具有与第一图像的焦点不同的焦点的图像的信息。

所述存储设备还可以被配置为：存储具有不同缩放级别的所述多个图像的标识信息，以及存储从以下项中选择的至少一项：具有不同缩放级别的所述多个图像的缩放级别信息、FOV信息和焦点信息。

根据本公开的另一方面，提供了一种图像处理方法。该图像处理方法包括：捕获具有不同缩放级别的多个图像；显示所述多个图像中的第一图像；以及基于控制输入显示所述多个图像中的第二图像，所述第二图像具有与所述第一图像的缩放级别不同的缩放级别。

捕获多个图像可以包括：针对由输入控制信号确定的ROI捕获具有不同缩放级别的多个图像。

该图像处理方法还可以包括：基于输入图像的焦点值来设置至少一个ROI，其中捕获多个图像可以包括：在所述至少一个ROI上进行放大并针对所述至少一个ROI捕获至少一个图像。

该图像处理方法还可以包括：从输入图像检测被推断为相同焦平面的多个对象，其中捕获多个图像可以包括：以第一缩放级别针对包括所述多个对象的区域进行放大，以所述第一缩放级别顺序地对所述多个对象进行聚焦，并捕获具有不同焦点的多个图像。

该图像处理方法还可以包括：确定ROI，并输出调整FOV从而将ROI置于FOV的中心部分的指导信息。

该图像处理方法还可以包括：显示具有不同缩放级别的多个图像。

显示所述多个图像中的至少一个图像可以包括：显示具有第一缩放级别的第一图像，并在第一图像上覆盖具有不同缩放级别且与第一图像中包括的至少一个ROI相对应的至少一个图像。

该图像处理方法还可以包括：在显示第一图像的同时在第一图像上显示标记，所述标记指示具有与第一图像的缩放级别不同的缩放级别的图像的FOV。

根据本公开的另一方面，提供了一种图像处理装置。该图像处理装置包括：图像捕获器，被配置为捕获具有不同缩放级别的多个图像；处理器，被配置为针对所述多个图像中的每一个产生包括再聚焦信息和图像数据的图像文件；以及存储设备，被配置为存储所述图像文件，其中所述再聚焦信息可以包括指示对应图像文件是可再聚焦图像的信息以及为进行再聚焦处理要参考的文件的路径。

根据本公开的另一方面，提供了一种图像处理装置。该图像处理装置包括：存储设备，被配置为存储具有不同缩放级别的多个图像和再聚焦信息；显示器，被配置为显示所述多个图像中的第一图像；以及处理器，被配置为当接收到控制输入时，控制所述显示器基于所述再聚焦信息显示第二图像，所述第二图像具有与所述多个图像中的所述第一图像的缩放级别不同的缩放级别，其中所述再聚焦信息可以包括指示对应图像文件是可再聚焦图像的信息以及为进行再聚焦处理要参考的文件的路径。

根据结合附图公开了本公开各种实施例的以下详细描述，本公开的其他方面、优点和突出特征对于本领域技术人员将变得清楚明白。

具体实施方式

提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各实施例。以下描述包括各种具体细节以帮助理解，但这些具体细节应被视为仅仅是示例性的。因此，本领域普通技术人员将认识到：在不脱离本公开的范围和精神的前提下，可以对本文所述的各种实施例进行各种改变和修改。另外，为了清楚和简洁起见，可以省略对已知功能和结构的描述。

以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅仅被发明人用来实现对本公开清楚一致的理解。因此，对于本领域技术人员来说应当清楚的是，提供本公开的各种实施例的以下描述以仅用于说明的目的，而不是限制由所附权利要求及其等同物限定的本公开。

应当理解的是，除非上下文中另有清楚指示，否则单数形式“一”、“一个”和“所述”包括复数指示物。因此，例如，对“组件表面”的引用包括对这样的表面中的一个或多个的引用。

术语“大体上”意味着所记载的特征、参数或者值不需要精确实现，而是可以出现包括诸如公差、测量误差、测量精度限制及本领域技术人员已知的其他因素在内的偏差或变化，该偏差或变化可以以不妨碍该特征预期所要提供的效果的量来出现。

在本公开的实施例中，将描述本发明构思的原理并将描述实施例，使得权利要求的范围变得清楚，并且本领域的普通技术人员能够容易地实现本发明构思。本文所阐述的实施例可以以多种形式来实现。

贯穿本公开和附图，相似的附图标记用于表示相似的元件。本公开没有描述实施例的全部要素，并且将省略本公开所属领域的一般描述和实施例之间的冗余描述。术语“部分”或“部”可以通过软件或硬件来实现。根据本公开的各种实施例，多个“部分”或“部”可以由一个单元或元件实现，并且一个“部分”或“部”可以包括多个组件。另外，将理解，虽然术语“第一”、“第二”等可以在本文中用于描述各种组件，但是这些组件不应受这些术语的限制。这些组件仅用于将一个组件与另一组件进行区分。

在下文中，将参照附图描述本发明构思和实施例的操作原理。

图1是根据本公开实施例的图像处理装置的框图。

参考图1，根据本实施例的图像处理装置100可以包括图像捕获器110、处理器120、存储设备130和显示器140。根据本公开的实施例，图像处理装置100还可以包括用户输入部(未示出)。

根据本公开的实施例，图像处理装置100可以是智能电话、平板个人计算机(PC)、移动电话、相机、笔记本计算机或个人数字助理(PDA)，但不限于此。

图像捕获器110可以通过捕获具有不同缩放级别的多个图像来产生图像数据。可以使用以不同缩放级别捕获的多个图像来产生可再聚焦图像。

缩放级别可以由光学角度和焦距来确定。在放大的情况下，即，当缩放级别增加时，光学角度变窄并且焦距增加。在缩小的情况下，即，当缩放级别降低时，光学角度变宽并且焦距缩短。

图像捕获器110可以包括镜头、光圈和成像元件。图像捕获器110可以根据从处理器120输入的控制信号来控制镜头、光圈和成像元件捕获具有不同缩放级别的多个图像。图像捕获器110可以通过使用镜头驱动器改变镜头的位置并调整光圈的f数来调整缩放级别。根据本公开的实施例，图像捕获器110可以通过调整从成像元件读取信号的有效区域来调整视场(FOV)。图像捕获器110可以通过在根据来自处理器120的控制信号顺序地对多个对象进行聚焦的同时捕获所述多个对象的图像来产生具有不同焦点的多个图像。

根据本公开的实施例，图像捕获器110可以响应于一次性输入的快门释放信号，连续地捕获具有不同缩放级别的多个图像。在每次捕获时，对缩放级别和FOV进行限定。关于缩放级别和FOV的信息可以由处理器120传送到图像捕获器110。根据本公开的实施例，图像处理装置100可以定义捕获可再聚焦图像的第一模式。当在第一模式下输入快门释放信号时，处理器120可以确定多个缩放级别，并控制图像捕获器110以所确定的多个缩放级别连续地捕获图像。图像捕获器110可以在基于来自处理器120的控制信号调整镜头的位置和光圈的开口的同时以所设置的多个缩放级别连续地捕获多个图像。

处理器120可以控制图像处理装置100的总体操作。例如，处理器120可以控制图像捕获器110、存储设备130、显示器140和用户输入部(未示出)的总体操作。

处理器120可以控制图像捕获器110以多个缩放级别捕获多个图像。多个图像的FOV可以被确定为包括感兴趣区域(ROI)。ROI可以基于用户输入来确定，或者可以被自动地确定。根据本公开的实施例，处理器120可以根据通过用户输入部输入的控制信号来设置ROI。根据本公开的另一实施例，处理器120可以从图像捕获器110所产生的输入图像识别对象，并设置与所识别的每个对象相对应的ROI。

对象可以包括人、物、动物或建筑物。ROI可以被定义和识别为图像中的特定区域，并且可以包括一个或多个对象。根据本公开的实施例，用户可以选择至少一个ROI。根据本公开的另一实施例，处理器120可以基于图像捕获器110所捕获的输入图像的焦点值来设置至少一个ROI。另外，处理器120可以控制图像捕获器110通过在至少一个ROI上进行放大来针对至少一个ROI捕获至少一个图像。

当ROI被确定时，处理器120可以确定包括ROI的至少一个FOV，并且可以控制图像捕获器110通过以所确定的至少一个FOV进行放大来针对ROI捕获至少一个图像。处理器120可以根据所确定的FOV来确定缩放级别。如上所述，处理器120可以控制图像捕获器110通过响应于一次性输入的快门释放信号在所确定的FOV处进行放大来连续地捕获多个图像。可以通过用户输入部输入快门释放信号。

另外，处理器120可以产生和输出从以下信息中选择的一项：用于调整FOV的指导信息、关于捕获处理的进度的信息、关于设置的FOV的信息、关于捕获模式的信息以及它们的组合。可以通过显示器140以各种形式输出这些信息，例如图形用户界面(GUI)输出、音频输出、发光二极管(LED)闪烁输出、振动输出或者它们的组合。例如，处理器120可以输出调整FOV的指导信息以便包括ROI。根据本公开的另一实施例，当所选ROI或对象的缩放级别改变时，处理器120可以在显示器140上输出和显示改变后的结果。

处理器120可以通过执行后处理、编码等产生用于存储多个捕获图像的文件，并将所产生的文件存储在存储设备130中。可以根据各种实施例不同地确定多个图像文件的编码方法和文件格式。

处理器120可以再现以多个缩放级别捕获的多个图像并在显示器140上显示多个图像。根据向其输入的控制信号，处理器120可以在显示器140上显示多个图像中的第一图像，并且可以在显示器140上显示多个图像中的具有与第一图像的缩放级别不同的缩放级别的第二图像。第二图像是具有与第一图像的缩放级别不同的缩放级别的图像，并且具有不同的FOV。处理器120可以提供允许用户选择具有不同FOV的第二图像的用户界面(UI)。可以通过各种方法(例如对缩放级别的选择、对FOV的选择或自动选择)执行对第二图像的选择。

根据本公开的实施例，在显示第一图像时，处理器120可以在第一图像上显示如下标记：指示具有与第一图像的缩放级别不同的缩放级别的图像的FOV的标记、或者指示关于具有与第一图像的焦点不同的焦点的图像的信息的标记。第一图像可以是包括ROI的可再聚焦图像。

第一图像可以通过用户输入来选择，或者可以自动地选择。根据本公开的实施例，在用户选择特定图像并且所选图像是以多个缩放级别捕获的可再聚焦图像的情况下，在所选图像被显示在显示器140上的同时，处理器120可以提供指示相应图像是可再聚焦图像的信息，或者可以提供关于可选择的FOV的信息。根据本公开的另一实施例，在设置了与多个可再聚焦图像相对应的组并且用户选择可再聚焦图像的组的情况下，处理器120可以在显示器140上显示所选组的代表性图像。代表性图像可以根据各种实施例而改变。例如，代表性图像可以是具有最宽FOV的图像、具有最深深度的图像或者通过合成多个图像所产生的图像。

第二图像的显示可以通过各种方法来实现，例如屏幕改变、覆盖或屏幕分割。

显示器140可以显示从具有不同缩放级别的多个图像中所选择的至少一个图像。显示器140可以是例如液晶显示器(LCD)、有机电致发光(EL)显示器、等离子体显示面板(PDP)、电子纸。显示器140上所显示的图像可以是由处理器120处理和输出的图像。处理器120可以将图像处理为可在显示器140上显示的格式(例如，红绿蓝(RGB)图像)，并将处理后的图像输出到显示器140。

在显示第一图像时，显示器140可以在第一图像上显示如下标记，所述标记指示具有与第一图像的缩放级别不同的缩放级别的图像的FOV。显示器140可以根据从处理器120输入的控制信号显示GUI屏幕以允许选择与第一图像的缩放级别不同的缩放级别或者选择具有与第一图像的缩放级别不同的缩放级别的第二图像。另外，显示器140可以显示具有所选缩放级别的第二图像或者由用户选择的第二图像。

用户输入部(未示出)可以接收用户输入。根据本公开的实施例，用户输入部(未示出)可以接收指示捕获的控制信号(例如，快门释放信号)和选择至少一个ROI的信号。

用户输入部(未示出)可以包括键区、圆顶开关、触摸板(电容型触摸板、电阻型触摸板、红外光束型触摸板、表面声波型触摸板、整体应变仪型触摸板、压电效应型触摸板等)、滚轮开关和轻推开关，但不限于此。

根据本公开的实施例，显示器140和用户输入部(未示出)可以像触摸屏一样整体地配置。在这种情况下，对ROI的选择可以是选择包括至少一个对象的特定区域的触摸输入。例如，在实时查看模式下，用户可以通过手势输入来选择ROI。用户的手势可以包括轻击、触摸并保持、双击、拖动、平移、轻弹、拖曳、扫动、悬停等。

根据本公开的另一实施例，用户输入部(未示出)可以是鼠标。根据本公开的实施例，对ROI的选择可以是点击包括至少一个对象的特定区域的鼠标输入。例如，用户可以通过将鼠标指针放在要选择的ROI上、然后点击ROI来选择多个ROI之一。根据本公开的另一实施例，对ROI的选择可以是直接指定包括至少一个对象的特定区域的鼠标拖动输入。例如，用户可以通过在点击鼠标的同时拖动要选择的对象的区域来指定ROI。

存储设备130可以存储处理器120所产生的图像文件。存储设备130可以是例如闪存、固态驱动器(SSD)、安全数字(SD)卡、微型SD卡、智能媒体卡(SMC)、紧凑式闪存(CF)卡、记忆棒或极限数字(XD)图片卡。

根据本公开的实施例，图像处理装置100还可以包括通信器(未示出)。图像处理装置100可以经由通信器向其他设备发送可再聚焦图像文件。

根据本公开的实施例，图像处理装置100可以包括图像捕获器110、处理器120和存储设备130。根据本公开的实施例，图像捕获器110可以捕获具有不同缩放级别的多个图像，并且处理器120可以针对多个图像中的每一个产生包括再聚焦信息和图像数据的图像文件。存储设备130可以存储处理器120针对多个图像中的每一个产生的图像文件。使用再聚焦信息在图像文件的再现期间执行再聚焦处理。再聚焦信息可以包括指示相应图像文件是可再聚焦图像和进行再聚焦处理要参考的文件的路径的信息。进行再聚焦处理要参考的文件的路径可以是例如属于可再聚焦图像的组的图像文件的路径或者存储用于执行再聚焦处理的信息的单独的再聚焦信息文件的路径。根据本公开的另一实施例，图像处理装置100可以包括处理器120、存储设备130和显示器140。根据本公开的实施例，存储设备130可以存储具有不同缩放级别的多个图像和再聚焦信息，并且显示器140可以显示多个图像中的第一图像。当接收到控制输入时，处理器120可以控制显示器140基于再聚焦信息显示多个图像中的具有与第一图像的缩放级别不同的缩放级别的第二图像。当接收到请求再聚焦的控制输入时，处理器120可以基于存储第一图像的图像文件中所存储的再聚焦信息搜索与用户所请求的焦点相对应的第二图像，可以在存储设备130中搜索第二图像的图像文件，可以再现第二图像的图像文件，并且可以在显示器140上显示第二图像。

图2是用于描述根据本公开实施例的捕获具有不同缩放级别的多个图像的处理的示图。

参考图2，用户捕获包括多个对象的第一图像210。根据本公开的各种实施例，第一图像210可以是从实时查看图像、快速查看图像、从图像文件再现的图像中选择的至少一个。当第一图像210中的ROI 205被自动确定或由用户确定时，图像处理装置100在ROI 205上进行放大。第二图像220是通过在ROI 205上进行放大所捕获的图像。当第二图像220中的ROI 215被确定时，图像处理装置100在ROI 215上进行放大。第三图像230是通过在ROI 215上进行放大所捕获的图像。已经在上面的示例中描述了在逐渐放大的同时捕获具有不同缩放级别的多个图像的处理，但实施例不限于此。缩放级别可以通过缩小而改变。

图3是用于描述根据本公开实施例的显示所捕获的图像中的一个图像的处理的示图。

参考图3，在操作S302中，图像处理装置100的显示器140可以显示如以上参考图2所述的以不同缩放级别捕获的多个图像中的一个图像。根据本公开的实施例，在显示图像的同时，可以以各种形式显示指示ROI 310的标记。例如，当用户触摸所显示图像的一个位置时，可以显示框，所述框将包括触摸位置的特定区域设置为ROI 310。

在操作S304中，图像处理装置100可以基于控制输入来显示具有与在操作S302中显示的图像的缩放级别不同的缩放级别的图像。根据本公开的实施例，具有不同缩放级别的图像可以是通过在ROI 310上进行放大所捕获的图像。控制输入可以是选择ROI 310并执行控制以在所选ROI 310上进行放大的用户触摸输入。

图4是根据本公开实施例的图像处理方法的流程图。

参考图4，图像处理方法的每个操作可以由包括图像处理器和存储介质的电子设备执行。以下描述将集中在本文所阐述的图像处理装置100执行图像处理方法的实施例。因此，关于图像处理装置100提供的实施例可以应用于图像处理方法，并且关于图像处理方法提供的实施例可以应用于图像处理装置100。根据各种实施例的图像处理方法不限于由本文所阐述的图像处理装置100执行的方法，并且可以由各种电子设备执行。

在操作S402中，图像处理装置100可以捕获具有不同缩放级别的多个图像。操作S402与参考图2所述的基本上相同。根据本公开的实施例，在操作S402中，除了改变缩放级别以外，图像处理装置100还可以执行聚焦处理。

在操作S404中，图像处理装置100可以显示多个图像中的第一图像。根据本公开的实施例，第一图像可以是与可再聚焦图像相对应的图像组中的具有最宽FOV的图像。由于操作S404与操作S302相对应，因此将省略其描述。

在操作S406中，图像处理装置100可以基于控制输入来显示多个图像中的具有与第一图像的缩放级别不同的缩放级别的第二图像。第二图像可以是通过在第一图像的ROI上进行放大所获得的图像。

图5是根据本公开实施例的在图像处理装置中捕获多个图像的方法的流程图。

参考图5，在操作S502中，图像处理装置100可以识别FOV内的多个对象。根据本公开的实施例，图像处理装置100可以通过使用设置在其中的传感器来识别FOV内的多个对象。根据本公开的另一实施例，图像处理装置100可以通过使用对象识别算法来识别FOV内的多个对象。

在操作S504中，图像处理装置100可以针对所识别对象中的一个或多个对象以多个缩放级别激活缩放功能。根据本公开的实施例，图像处理装置100可以使成像元件针对对象以多个缩放级别激活缩放功能。

在操作S506中，图像处理装置100可以以多个缩放级别捕获关于一个或多个对象的一个或多个图像。与现有方法不同，图像处理装置100可以使成像元件以多个缩放级别捕获对象的图像。

在操作S508中，图像处理装置100可以基于以多个缩放级别捕获的图像来产生可再聚焦图像。图像处理装置100可以基于所捕获的图像产生可再聚焦图像。

在操作S510中，图像处理装置100可以将可再聚焦图像存储在存储设备130中。

根据本公开的实施例，可以以相同缩放级别产生关于对象的可再聚焦图像。为了产生可再聚焦图像，以相同缩放级别捕获多个图像。根据本公开的实施例，图像处理装置100可以在包括多个对象的FOV处进行放大并且顺序地对多个对象(或ROI)进行聚焦，使得在不同焦平面上识别被推断为相同焦平面的多个对象。整个捕获的图像可以被合成以产生具有再聚焦效果的可再聚焦图像。通过提供再聚焦效果，用户可以选择存在于相同深度内的每个对象，并查看焦点对准的对象。

根据本公开的实施例，可对被识别为存在于相同焦平面上或相同深度处的对象进行再聚焦。在这种情况下，成像元件可以以多个缩放级别自动放大，使得对象存在于不同的聚焦深度处，并且捕获用于再聚焦的多个图像。

图6是用于描述根据本公开实施例的用户对ROI的选择的示图。

参考图6，在操作S602中，用户可以在捕获之前在实时查看模式下选择ROI。在实时查看模式下，处理器120可以在显示器140上显示对根据特定标准自动确定的ROI加以指示的预览框622。根据本公开的实施例，自动设置的预览框622的中心610可以显示在显示器140上。处理器120可以通过使用各种方法确定预览框622。例如，处理器120可以将预览框622设置为包括从基于对象识别所识别的对象中选择的至少一个对象。根据本公开的另一实施例，处理器120可以将预览框622设置在具有高焦点值的区域周围。根据本公开的另一实施例，处理器120可以将预览框622设置为包括基于面部检测的面部区域。在显示自动确定的预览框622时，处理器120可以通过用户输入部接收选择预览框622的位置的用户输入。例如，用户可以选择对期望由用户放大的ROI加以指示的边界框的中心620。

在操作S604中，图像捕获器110可以相对于边界框的中心620在ROI上进行放大。处理器120可以控制图像捕获器110捕获关于通过用户选择所确定的至少一个ROI的至少一个图像。

图7是根据本公开实施例的选择ROI以以多个缩放级别捕获多个图像的方法的流程图。图7的操作序列可以由微控制器、微处理器等执行。将参考图6来描述图7的操作。

参考图7，在操作S702和S704中，图像处理装置100可以在图像捕获期间识别并确定FOV内的多个对象。当识别出多个对象时，用户可以手动选择如图6所示的边界框。

在操作S706中，可以计算对自动设置的预览框加以指示的边界框的中心610和用户所选择的边界框的中心620之间的差。

在操作S708中，图像处理装置100可以指导用户朝用户所选择的边界框的中心620调整相机FOV的中心。

在操作S710中，可以基于边界框的大小计算缩放尺度。例如，处理器120可以基于当前FOV的大小与边界框的大小之比来计算用于将FOV调整到边界框的缩放级别。

在操作S712中，可以基于所计算的缩放级别激活缩放功能，并且以计算出的缩放级别执行放大。

如图6所示，以计算出的缩放尺度执行放大并捕获图像。

图7的流程图中的各种操作可以按照图7所示的顺序执行，或者可以与图7所示的顺序不同地执行，或者可以基本上同时执行。此外，在本公开的一些实施例中，在不脱离本公开的范围的情况下，可以不同地改变一些处理、块、操作等。例如，一些处理、块、操作等可以被省略、添加、修改或跳过。

图8是根据本公开实施例的自动确定ROI的方法的流程图。

参考图8，在操作S802中，图像处理装置100可以将输入图像划分为多个区域。根据本公开的实施例，图像处理装置100可以将图像捕获器110所捕获的输入图像划分为多个区域，如图9所示。根据各种实施例，可以不同地确定多个区域中的每个区域的大小和形状。另外，多个区域可以具有不同大小和不同形状。

在操作S804中，图像处理装置100可以检测关于多个区域中的每一个的焦点值。可以通过例如光学自动对焦(AF)方法或对比度AF方法来计算焦点值。根据光学AF方法，可以基于由AF光学系统检测到的信号来检测焦点值。根据对比度AF方法，可以基于输入图像的每个区域的对比度值来检测焦点值。

在操作S806中，图像处理装置100可以将焦点值改变的区域确定为ROI。焦点值改变很大的区域是用户很可能感兴趣的高活动区域。因此，处理器120可以将高活动区域确定为ROI。将参考图9描述高活动区域。

在操作S808中，图像处理装置100可以在所确定的ROI上进行放大。处理器120可以控制图像捕获器110针对所确定的至少一个ROI捕获至少一个图像。

图9是用于描述根据本公开实施例的基于焦点值将高活动区域确定为ROI的方法的示图。将省略参考图8已经提供的描述。

参考图9，处理器120可以检测关于通过划分输入图像所定义的多个区域中的每一个的焦点值。另外，处理器120可以将所检测的焦点值改变很大的区域确定为高活动区域920，并且可以将所检测的焦点值略微改变的区域确定为低活动区域910。焦点值改变很大意味着相邻区域之间的焦点值的差很大。如图9所示，高活动区域920包括分别具有焦点值400、520、480和460的四个区域。低活动区域910包括分别具有焦点值450的三个区域。高活动区域920的焦点值改变很大，并且是用户很可能感兴趣的区域，这是因为其中将包括至少一个对象的可能性很高。因此，图像处理装置100可以将高活动区域920自动确定为ROI，而无需任何单独的用户输入。

图10是用于描述根据本公开实施例的以相同缩放级别捕获具有不同焦点的图像的处理的示图。

参考图10，第一图像1010和第二图像1020是以相同缩放级别捕获的具有不同焦点的图像。第一图像1010是通过对具有较近深度的第一对象1012进行聚焦所捕获的图像，第二图像1020是通过对具有较远深度的第二对象1016和第三对象1018进行聚焦所捕获的图像。深度表示图像中特定对象的深度感。箭头1014a指示焦点对准，箭头1014b指示焦点未对准。具有较远深度的第二对象1016和第三对象1018被推断为相同焦平面。因此，第二对象1016和第三对象1018如在第一图像1010中都是焦点未对准的，或者第二对象1016和第三对象1018如在第二图像1020中都是焦点对准的。将参考图11描述包括被识别为位于相同焦平面上的多个对象的区域1030。

图11是用于描述根据本公开实施例的在包括被识别为位于相同焦平面上的多个对象在内的区域上进行放大的处理的示图。

参考图11，在操作S1102中，可以检测包括被识别为位于相同焦平面上的多个对象在内的区域1030。第二对象1016和第三对象1018被识别为位于相同焦平面上表示第二对象1016和第三对象1018被推断为相同焦平面。被推断为相同焦平面的多个对象全部焦点对准或焦点未对准。因此，在第二图像1020中，被识别为位于相同焦平面上的第二对象1016和第三对象1018全部焦点对准。

在操作S1104中，图像处理装置100可以在包括被识别为位于相同焦平面上的多个对象1016和1018在内的区域1030上进行放大。由于图像处理装置100在包括被推断为相同焦平面的第二对象1016和第三对象1018在内的区域1030上进行放大，所以第二对象1016和第三对象1018可以被区分为不同的焦平面。因此，可以对多个对象中的每一个进行聚焦。第三图像1110是通过对位于较短距离处的第二对象1060进行聚焦所捕获的图像，第四图像1120是通过对位于较长距离处的第三对象1018进行聚焦所捕获的图像。

包括多个对象的第三对象1018存在于放大的第四图像1120中，将参考图12对其描述进行说明。

图12是用于描述根据本公开实施例的在包括被识别为位于相同焦平面上的多个对象在内的区域上进行放大的处理的示图。

参考图12，在操作S1202中，可以在第四图像1120中检测包括被识别为位于相同焦平面上的第五对象1018a和第六对象1018b在内的区域1130。被识别为位于相同焦平面上的第五对象1018a和第六对象1018b被推断为相同焦平面。被推断为相同焦平面的多个对象1018a和1018b全部焦点对准或焦点未对准。

在操作S1204中，图像处理装置100可以在包括被识别为位于相同焦平面上的第五对象1018a和第六对象1018b在内的区域1130上进行放大。通过在包括被识别为位于相同焦平面上的第五对象1018a和第六对象1018b在内的区域1130上进行放大，第五对象1018a和第六对象1018b可以被检测为位于不同焦平面上。因此，可以对多个对象中的每一个进行聚焦。第五图像1210是通过对具有较近深度的第五对象1018a进行聚焦所捕获的图像，第六图像1220是通过对具有较远深度的第六对象1018b进行聚焦所捕获的图像。

图13是用于描述根据本公开实施例的提供用户指导以相对于ROI调整FOV的操作的示图。

参考图13，在操作S1302中，图像处理装置100可以输出用于指导用户移动图像处理装置100使得ROI 1310位于FOV的中心处的指导信息。指导信息可以包括关于用户要执行以使FOV移动到ROI 1310的操作的指导1320和1330以及指示当前设置的ROI 1310的信息。例如，指导信息可以包括对图像处理装置100需要被用户移动所沿的方向加以指示的箭头1330和对用户的操作进行说明的文本消息1320。根据本公开的另一实施例，可以通过使用各种方法(例如音频、视频、振动或LED闪烁)输出指导信息。图像处理装置100可以在FOV正改变的同时确定ROI 1310是否位于FOV的中心处。为此，图像处理装置100可以确定所设置的ROI 1310的位置与FOV的位置之间的差是否等于或小于参考值。

在操作S1304中，当FOV被布置为使得ROI位于FOV的中心时，图像处理装置100可以在ROI上进行放大并执行捕获。根据本公开的实施例，图像处理装置100可以输出对放大操作和捕获操作正被执行加以指示的指导消息1340。

在操作S1306中，当在ROI上进行放大的操作完成时，图像处理装置100可以捕获具有与FOV相对应的FOV的图像。根据本公开的实施例，当在ROI上进行放大之后，图像处理装置100还可以执行对ROI中所包括的至少一个对象进行聚焦的操作。根据本公开的实施例，当两个或更多个对象存在于ROI中时，图像处理装置100可以在顺序地对这两个或更多个对象进行聚焦的同时捕获具有不同焦点的两个或更多个图像。

图14是用于描述根据本公开实施例的存储可再聚焦图像的方法的示图。

参考图14，再聚焦信息1440可以包括在与图像有关的多个图像文件的首部中，其中所述图像的焦点是可变的。再聚焦信息1440可以包括从以下项中选择的一项：指示相应图像是可再聚焦图像的信息、为进行再聚焦处理要参考的文件的路径、属于相同组的图像文件1410、1420和1430之间的关系、缩放级别信息、焦点信息和FOV信息及它们的组合。可再聚焦图像可以通过具有不同FOV或不同焦点的图像文件组来实现。根据特定格式，属于该组的图像文件可以被产生为单独的文件，或者可以被产生为一个文件。

为了显示与用户所选择的焦点相对应的图像，必需管理具有不同FOV或不同焦点的图像文件之间的关系和关于图像文件的信息。为此，根据本公开的本实施例，将再聚焦信息1440存储在多个图像文件的首部中，并且当再现图像文件时，搜索并再现与用户所选择的焦点相对应的图像文件。作为示例，将描述三个图像文件属于相同组的情况。然而，属于相同组的图像文件的数量、图像文件的数据结构和图像文件的格式可以根据各种实施例而改变。

第一图像文件1410、第二图像文件1420和第三图像文件1430可以将以下项存储在其首部1412、1422和1432中：指示相应图像是可再聚焦图像的信息、第一至第三图像文件1410、1420和1430之间的关系、缩放级别信息、焦点信息和FOV信息。

指示相应图像是可再聚焦图像的信息是指示相应文件是可再聚焦图像的信息。

为进行再聚焦处理要参考的文件的路径表示属于可再聚焦图像组的另一图像文件的路径。例如，第一图像文件1410可以将第二图像文件1420的路径和第三图像文件1430的路径包括在再聚焦信息中。

关于图像之间的关系的信息指示属于相同组的图像文件。另外，关于图像之间的关系的信息可以包括关于除相应图像文件以外的文件的FOV信息、缩放级别信息、焦点信息和对象信息。根据本公开的实施例，可能存在以下关系：第一至第三图像文件1410、1420和1430中的至少两个是包括相同对象或ROI的图像。根据本公开的实施例，可能存在以下关系：第一至第三图像文件1410、1420和1430中的至少两个是相同缩放级别的包括不同焦点的图像。

缩放级别信息指示关于相应图像文件的缩放级别的信息。焦点信息指示关于相应图像文件是否对图像内的特定对象进行聚焦的信息。FOV信息指示关于相应图像文件的FOV的位置的信息。

图15是用于描述根据本公开实施例的存储可再聚焦图像的方法的示图。

参考图15，可以产生和存储用于存储再聚焦信息1550的单独的再聚焦信息文件1560，并且可以将关于再聚焦信息文件1560的信息存储在图像文件1510、1520和1530中。关于再聚焦信息文件1560的信息可以包括例如再聚焦信息文件1560的文件名和路径信息。再聚焦信息1540可以包括例如关于与再聚焦有关的图像文件1510、1520和1530的信息以及图像文件1510、1520和1530的缩放级别信息、FOV信息和焦点信息。关于与再聚焦有关的图像文件1510、1520和1530的信息可以包括例如图像文件1510、1520和1530中的每一个的文件名和路径信息。

例如，如图15所示，可以将指示相应文件是可再聚焦图像的信息和关于再聚焦信息文件1560的信息分别存储在包括图像数据1514、1524和1534的图像文件1510、1520和1530的首部1512、1522和1532中。因此，当仅查看图像文件的首部时，可以知道图像文件是否是可再聚焦图像，并且可以知道再聚焦信息文件的路径。另外，当查看再聚焦信息文件时，可以知道哪些图像文件属于可再聚焦图像组。

当存在与可再聚焦图像相对应的许多图像文件时，产生单独的再聚焦信息文件的方法可以是有用的。

图16是根据本公开实施例的在图像中进行再聚焦的方法的流程图。

参考图16，在操作S1602中，图像处理装置100可以显示包括多个对象的可再聚焦图像。图像处理装置100可以控制显示器140显示包括多个对象的可再聚焦图像。可再聚焦图像包括与以特定缩放级别捕获的对象相对应的图像。

在操作S1604中，图像处理装置100可以检测大于多个对象中的特定对象的手势。图像处理装置100可以控制用户输入部检测关于多个对象中的特定对象的手势。根据本实施例的用户输入部可以包括触摸屏、触摸面板、触摸板、跟踪球、陀螺仪传感器、加速度传感器等。处理器120可以基于用户输入部的检测信号来检测并识别手势。根据本公开的实施例，可以显示与至少一个对象相对应的标记以便对该至少一个对象进行聚焦。根据本公开的实施例，手势指示焦点域内的对象。焦点域是近焦点和远焦点之一。在操作S1606中，图像处理装置100可以显示与可再聚焦图像内的对象相对应的图像。处理器120可以基于手势确定对象中的至少一个可聚焦点，并控制图像捕获器110基于该至少一个可聚焦点对至少一个图像中的对象进行聚焦。

图17是用于描述根据本公开实施例的显示可再聚焦图像的方法的示图。

参考图17，当显示可再聚焦图像时，用户可以通过在滚动条1716上移动允许用户选择缩放级别的选择图标1714来选择期望的缩放级别。根据本公开的实施例，显示与可变缩放级别的整个范围相对应的滚动条1716，并且通过在滚动条1716上移动选择图标1714，用户可以容易地掌握当前显示的图像对应于整个可表现的缩放级别中的哪个缩放级别。

在操作S1702中，图像处理装置100可以显示具有第一缩放级别的第一图像1710。具有第一缩放级别的第一图像1710是与通过选择图标1714设置的缩放级别相对应的图像。根据本公开的实施例，当在具有第一缩放级别的第一图像1710中执行放大时，可以显示对执行放大的区域加以指示的框1712。在操作S1704中，当接收到沿放大方向(即，朝第一图标1717)移动选择图标1714的用户输入时，显示第二图像1720，其中第二图像1720是在与框1712的区域相对应的区域上放大的并具有第二缩放级别。当存在从第二缩放级别进一步放大的第三图像时，图像处理装置100在第二图像1720上显示与第三图像的FOV相对应的框1722。在操作S1706中，当根据用户输入进一步执行放大时，显示与框1722的区域相对应并具有第三缩放级别的第三图像1730。

另外，当用户沿缩小方向(即，朝第二图标1718)移动选择图标1714时，可以显示具有比当前显示的图像更低的缩放级别的图像。

图18是示出了根据本公开实施例的可再聚焦图像的示图。

参考图18，可以与作为可再聚焦图像的第一图像1800一起显示具有不同缩放级别或不同FOV的图像。可以通过各种形式显示具有不同缩放级别或不同FOV的图像，例如在第一图像1800上弹出的形式、在与第一图像1800相对应的区域上覆盖的形式、或者在与第一图像1800分开的区域上显示的形式。

图18示出了其中在第一图像1800上以弹出形式显示具有不同缩放级别或不同FOV的图像的UI。根据本公开的实施例，以弹出形式显示第一图像1800的FOV中所包括的具有不同FOV的候选图像1810a、1810b、1810c和1810d。当用户选择以弹出形式显示的候选图像1810a、1810b、1810c和1810d之一时，可以以较大尺寸再现所选图像。

根据本公开的实施例，图像处理装置100可以以弹出形式或在与第一图像1800分开的区域上显示的形式来显示具有比第一图像1800更大的FOV的候选图像，即，从第一图像1800缩小的候选图像。当用户选择具有比第一图像1800更大的FOV的候选图像时，可以以较大尺寸再现具有较大FOV的图像。

图19是用于描述根据本公开实施例的选择ROI的操作的示图。

参考图19，可以通过拖动或悬停来输入选择ROI的用户输入。

在操作S1902中，用户可以通过用他/她的手指在第一位置触摸屏幕、将他/她的手指拖动至第二位置、然后从屏幕释放他/她的手指的拖动手势来设置ROI 1912。可以通过使用触摸屏、触摸面板、触摸板等检测用户的拖动手势。

根据本公开的另一实施例，用户可以通过在不进行屏幕触摸或机械接触的情况下在屏幕上方从第一位置拖动至第二位置、然后保持的悬停手势来设置ROI 1912。可以通过使用接近传感器等检测用户的悬停手势。

在操作S1904中，图像处理装置100可以显示在通过拖动手势或悬停手势设置的ROI上放大的图像。根据本公开的实施例，可以与再现的图像一起显示滚动条1916和指示与当前显示的图像1910或1920相对应的缩放级别的图标1914。如图19所示，当放大再现的图像时，图标1914的位置可以根据改变的缩放级别在滚动条1916上改变。

根据本公开的实施例，可以与通过拖动、悬停等选择ROI的UI一起提供通过在滚动条1916中移动图标1914改变缩放级别的UI。

图20是用于描述根据本公开实施例的选择ROI的操作的示图。

参考图20，图像处理装置100可以在再现的图像2010上显示指示可再聚焦FOV区域的边界框2018a、2018b和2018c。边界框2018a、2018b和2018c可以指示可再聚焦FOV。

在操作S2002中，图像处理装置100可以在第一图像2010上显示指示可选FOV的边界框2018a、2018b和2018c。在操作S2004中，当用户选择边界框2018a、2018b和2018c中的一个边界框(2012)时，显示在与所选边界框2018b相对应的区域上放大的第二图像2020。当改变所显示图像的缩放级别时，可以在滚动条2016上移动指示改变的缩放级别的图标2014。

根据本公开的实施例，可以与选择边界框的方法一起提供通过在滚动条2016中移动图标2014改变缩放级别的GUI。

图21是根据本公开实施例的图像处理机制的流程图。

参考图21，在操作S2110中，可以确定是否可以以多个缩放级别捕获多个图像。当从输入图像中检测到至少一个对象时，当从输入图像中检测到至少一个高活动区域时，或者当从输入图像中检测到面部时，可以以多个缩放级别捕获多个图像。

在操作S2120中，当不可能以多个缩放级别捕获多个图像时，图像处理装置100可以将要在先前捕获的图像内放大的一个或多个ROI确定为后处理。该一个或多个ROI可以通过用户的选择来确定，或者可以通过检测焦点值的改变来自动确定。

在操作S2130中，图像处理装置100可以产生除ROI以外的区域模糊的一个或多个图像。

在操作S2140中，图像处理装置100可以在图像内以多个缩放级别显示具有关于至少一个ROI的可再聚焦形式的图像。

在操作S2150中，图像处理装置100可以确定用户是否选择ROI。

在操作S2160中，当用户选择ROI时，图像处理装置100可以自动在用户所选择的ROI上进行放大。参考图19和图20所述的实施例可以用于选择ROI的方法。

在操作S2170中，图像处理装置100可以以多个缩放级别捕获图像。

在操作S2180中，当用户未选择ROI时，图像处理装置100可以自动确定ROI。参考图8和图9所述的方法可以用于自动确定ROI的方法。

在操作S2190中，当ROI被确定时，图像处理装置100可以在自动确定的ROI上进行放大。在操作S2170和S2140中，图像处理装置100可以以多个缩放级别针对ROI捕获图像，并且以可再聚焦形式显示图像。

图22是用于描述根据本公开实施例的后处理方法的示图。

参考图22，可以通过对所捕获和存储的图像执行后处理来产生可再聚焦图像。根据本公开的实施例，从存储设备130读取的图像2210是包括多个对象的图像。图像2210中的ROI 2212和2214包括焦点对准的对象。当用户仅对焦点对准的对象中的一些感兴趣时，可以通过使其他焦点对准的对象模糊来获得再聚焦效果。

例如，图像处理装置100可以通过使除第一ROI 2212以外的区域模糊来产生与第一ROI 2212焦点对准的图像2220。另外，图像处理装置100可以通过使除第二ROI 2214以外的区域模糊来产生与第二ROI2214焦点对准的图像2230。

图23是根据本公开实施例的生物认证方法的流程图。图24是用于描述根据本公开实施例的生物认证方法的示图。

参考图23和图24，在操作S2302中，图像处理装置100可以通过使用具有第一缩放级别的输入图像2410尝试面部认证。

在操作S2304中，图像处理装置100可以确定是否可以通过使用以第一缩放级别捕获的图像执行面部认证。例如，当以第一缩放级别捕获的图像中的面部区域的大小小于参考值时，图像处理装置100可以确定不可以进行面部认证。作为另一示例，当以第一缩放级别捕获的图像中的面部区域焦点未对准时，图像处理装置100可以确定不可以进行面部认证。

在操作S2306中，当图像处理装置100在操作S2304中确定面部认证失败时，图像处理装置100可以通过在与面部区域相对应的FOV处进行放大来重新捕获面部区域。在操作S2302中，图像处理装置100可以通过使用重新捕获的图像2420再次执行面部认证。根据本公开的实施例，图像处理装置100可以通过使用可再聚焦图像对面部区域进行再聚焦，并根据再聚焦图像执行面部认证。

在操作S2308中，当图像处理装置100在操作S2304中确定面部认证成功时，图像处理装置100可以通过使用输入图像执行虹膜认证。在操作S2312中，当图像处理装置100在操作S2310中确定虹膜认证失败时，图像处理装置100可以在与面部的眼睛区域相对应的FOV处重新捕获面部的眼睛区域。在操作S2308中，图像处理装置100可以通过使用重新捕获的图像2430再次执行虹膜认证。根据本公开的实施例，图像处理装置100可以通过使用可再聚焦图像对眼睛区域进行再聚焦，并根据再聚焦图像执行虹膜认证。

图25是用于描述根据本公开实施例的提供千兆像素摄影图像的方法的示图。

参考图25，图像处理装置100可以通过另外捕获并存储关于图像中具有高复杂度的ROI所放大的图像来提供千兆像素摄影功能。具有高复杂度的区域可以被定义为包括一个或多个对象的区域、存在至少特定数量的边缘的区域、存在文本的区域或焦点值改变很大的区域。图像处理装置100可以自动检测具有高复杂度的ROI，并且可以放大并捕获图像以获得多个缩放级别的再聚焦效果。根据本公开的实施例，图像处理装置100可以将具有高复杂度的区域自动检测为ROI 2512、2514和2516。图像处理装置100可以以多个缩放级别放大并捕获检测到的ROI2512、2514和2516的图像。第二图像2520是通过针对第一图像2510的ROI 2512进行放大所捕获的图像。第三图像2530是通过针对第一图像2510的ROI 2514进行放大所捕获的图像。第四图像2540是通过针对第一图像2510的ROI 2516进行放大所捕获的图像。图像处理装置100可以将第一图像2510、第二图像2520、第三图像2530和第四图像2540存储为可再聚焦图像组。

根据本公开的实施例，当再现第一图像2510时，图像处理装置100可以以高分辨率显示用户所选择的区域。当用户选择具有低复杂度的区域时，图像处理装置100可以放大并显示所选区域。当用户选择具有高复杂度的区域时，图像处理装置100可以显示通过在所选区域上进行放大所捕获的另一图像。根据本公开的实施例，甚至对于具有高复杂度的区域，图像处理装置100也可以显示高分辨率图像，而没有任何图像失真。

图26是根据本公开实施例的图像处理方法的流程图。图27是用于描述根据本公开实施例的捕获面部区域的图像的操作的示图。

参考图26和图27，图像处理装置100还可以存储通过在面部区域上进行放大所捕获的图像，并向面部区域提供可再聚焦图像。根据本公开的实施例，图像处理装置100可以用于检测或识别监控相机中的面部。

在操作S2602中，图像处理装置100可以从输入图像2710检测面部区域2712和2714。处理器120可以通过使用各种面部检测算法，从输入图像2710检测面部。

在操作S2604中，当从输入图像2710检测到面部区域2712和2714时，图像处理装置100可以放大并重新捕获面部区域2712和2714，如重新捕获的图像2720中所示。在操作S2606中，图像处理装置100可以将放大并重新捕获的图像2722和2724存储在存储设备130中。

可以重复操作S2602和S2604，直到面部可被充分识别为止。

当重新捕获的图像2722和2724中包括多个面部区域2722和2724时，图像处理装置100可以在面部区域2712和2714上进行放大，另外针对面部区域2722和2724捕获多个图像2730和2740，并存储所捕获的图像2730和2740。

图28是根据本公开实施例的图像处理装置的框图。

参考图28，根据本实施例的图像处理装置2800可以包括用户输入部2810、输出部2820、处理器2830、传感器部2840、通信部2850、音频/视频(A/V)输入部2860、存储器2870和存储设备2880。然而，图28所示的所有元件对于图像处理装置2800并不都是必需的。图像处理装置2800可以用比图28中所示的更多数量的元件来实现，或者可以用比图28中所示的更少数量的元件来实现。由于图28所示的图像处理装置2800对应于图1所示的图像处理装置100，因此将不重复对其的重复描述。

用户输入部2810可以对应于图像处理装置100的用户输入部(未示出)。

输出部2820可以输出音频信号、视频信号或振动信号。输出部2820可以包括显示器2821、音频输出部2822和振动电机2823。

显示器2821可以显示由图像处理装置2800处理的信息。例如，显示器2821可以显示用于在实时查看模式下选择ROI的边界框UI、用户指导、捕获的图像等。显示器2821可以对应于图1的显示器140。

另一方面，在显示器2821和触摸板形成分层结构以构成触摸屏的情况下，显示器2821还可以用作输入设备以及输出部。显示器2821可以包括从以下项中选择的至少一项：LCD、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、三维(3D)显示器和电泳显示器。根据各种实施例，图像处理装置2800可以包括两个或更多个显示器2821。这两个或更多个显示器2821可以布置为通过使用铰链而相互面对。

音频输出部2822可以输出从通信部2850接收的音频数据或存储器2870中存储的音频数据。另外，音频输出部2822可以输出与由图像处理装置2800执行的功能有关的音频信号，例如呼叫信号接收声音、消息接收声音和通知声音。音频输出部2822可以包括扬声器、蜂鸣器等。

振动电机2823可以输出振动信号。例如，振动电机2823可以输出与音频数据或视频数据(例如，呼叫信号接收声音、消息接收声音等)的输出相对应的振动信号。另外，振动电机2823可以在触摸屏被触摸时输出振动信号。

处理器2830可以控制图像处理装置2800的总体操作。处理器2830可以包括一个或多个处理器和存储空间(例如，高速缓冲存储器、寄存器等)。例如，处理器2830可以通过执行存储器2870中存储的程序来控制用户输入部2810、输出部2820、传感器部2840、通信部2850和A/V输入部2860。

具体地，处理器2830可以对应于图1的处理器120。

传感器部2840可以检测图像处理装置2800的状态或者图像处理装置2800周围的状况，并将感测到的信息传送给处理器2830。

传感器部2840可以包括从以下项中选择的至少一项：磁传感器2841、加速度传感器2842、温度/湿度传感器2843、红外传感器2844、陀螺仪传感器2845、位置传感器(例如，全球定位系统(GPS))2846、气压计传感器2847、接近传感器2848和RGB传感器(照明传感器)2849，但不限于此。由于各个传感器的功能可以从它们的名称直观地推断出，所以将省略其描述。

通信部2850可以包括用于图像处理装置2800与服务器(未示出)之间的通信或图像处理装置2800与外部设备(未示出)之间的通信的一个或多个元件。例如，通信部2850可以包括短距离无线通信器2851、移动通信器2852和广播接收器2853。

短距离无线通信器2851可以包括蓝牙通信器、蓝牙低能耗(BLE)通信器、近场通信器、无线本地接入网络(WLAN)、无线保真(Wi-Fi)通信器、Zigbee通信器、红外数据协会(IrDA)通信器、Wi-Fi直连(WFD)通信器、超宽带(UWB)通信器或Ant+通信器，但不限于此。

移动通信器2852可以通过移动通信网络与从基站、外部终端和服务器中选择的至少一个发送和接收无线信号。根据文本或多媒体消息发送和接收，无线信号可以包括语音呼叫信号、视频呼叫信号或各种类型的数据。

广播接收器2853可以通过广播信道从外部接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和地面信道。根据本公开的各种实施例，图像处理装置2800可以不包括广播接收器2853。

通信部2850可以与服务器(未示出)和外部设备(未示出)发送和接收必要的信息。

A/V输入部2860可以输入音频或视频信号，并且可以包括相机2861和麦克风2862。相机2861可以通过图像传感器在视频呼叫模式或拍摄模式下获取图像帧，例如静态图像或运动图像。由图像传感器捕获的图像可以由处理器2830或单独的图像处理器(未示出)处理。

由相机2861处理的图像帧可以存储在存储器2870中或者可以通过通信部2850发送到外部。相机2861可以根据终端的配置类型包括两个或更多个相机。

由于相机2861对应于图像捕获器110，所以将省略其描述。

麦克风2862可以接收外部音频信号并将外部音频信号处理为电语音数据。例如，麦克风2862可以从外部设备或讲话的人接收音频信号。麦克风2862可以使用各种噪声去除算法来去除在接收外部音频信号的过程中产生的噪声。

存储器2870可以存储用于处理器2830的处理和控制的程序，并且可以存储输入到图像处理装置2800的数据或者从图像处理装置2800输出的数据。

存储器2870可以包括从以下项中选择的至少一种存储介质：闪速存储器、硬盘、多媒体卡微型存储器、卡类型存储器(例如，SD或XD存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)、磁性存储器、磁盘和光盘。

存储在存储器2870中的程序可以根据其功能而分类为多个模块。例如，程序可以分类为UI模块2871、触摸屏模块2872和通知模块2873。

UI模块2871可以根据每个应用提供与图像处理装置2800交互工作的专用UI或GUI。触摸屏模块2872可以检测用户在触摸屏上的触摸手势，并向处理器2830发送关于触摸手势的信息。根据本公开的一些实施例，触摸屏模块2872可以识别和分析触摸代码。触摸屏模块2872可以包括包含控制器在内的单独硬件。

可以在触摸屏内部或附近设置各种传感器，以检测对触摸屏的触摸或触摸屏上方的悬停。检测对触摸屏的触摸的传感器的示例可以是触觉传感器。触觉传感器可以以人的敏感度或超出人的敏感度来检测特定对象的接触。触觉传感器可以检测各种信息，例如接触表面的粗糙度、接触对象的硬度、接触点的温度等。

另外，检测对触摸屏的触摸的传感器的示例可以是接近传感器。

接近传感器可以在没有任何机械接触的情况下，通过使用电磁场的力或红外光来检测靠近特定检测表面的对象或附近存在的对象的存在或不存在。接近传感器的示例可以包括透射式光电传感器、直接反射式光电传感器、镜面反射式光电传感器、射频振荡式接近传感器、静电电容式接近传感器、磁式接近传感器和红外接近传感器。

通知模块2873可以产生用于向用户通知在图像处理装置2800中事件的发生的信号。在图像处理装置2800中发生的事件的示例可以包括呼叫信号接收、消息接收、键信号输入和日程安排通知。通知模块2873可以通过显示器2821以视频信号的形式输出通知信号。通知模块2873可以通过音频输出部2822以音频信号的形式输出通知信号。通知模块2873可以通过振动电机8353以振动信号的形式输出通知信号。

存储设备2880可以对应于图1的存储设备130。

图29是根据本公开实施例的执行用于在电子设备中捕获多个图像的方法和系统的计算环境的框图。

参考图29，计算环境2902可以包括包含控制器2904和算术逻辑单元(ALU)2906在内的至少一个处理器2908、存储器2910、存储设备2912、多个网络设备2916和输入/输出(I/O)设备2914。处理器2908可以处理方案的命令。处理器2908可以从控制器2904接收命令以执行控制器2904的处理。另外，可以通过ALU 2906执行与命令的执行有关的逻辑和算术运算。

计算环境2902可以包括多个同构或异构内核、不同类型的中央处理单元(CPU)、特定媒体和其他加速器。处理器2908可以处理方案的命令。另外，多个处理器2908可以布置在一个芯片上，或者可以布置在多个芯片上。

方案可以包括实施方式所需的命令和代码。方案可以存储在存储器2910或存储设备2912中的任一个或两者中。当执行命令时，可以从存储器2910或存储设备2912读取命令并由处理器2908执行命令。

在硬件实现的情况下，网络设备2916或外部I/O设备2914可以与计算环境2902连接以通过网络接口和I/O设备支持实现。

根据本公开的各种实施例，可以通过以多个缩放级别捕获多个图像来提供可再聚焦图像，而无需诸如光场传感器的特殊传感器。

根据本公开的各种实施例，因为对象被放置在较远的距离处，所以可以针对似乎存在于相同焦平面上的对象改善焦点分辨率。

此外，根据本公开的各种实施例，可以对存在于相同焦平面上的对象进行再聚焦。

实施例可以被具体实现在其上记录有计算机可执行指令代码(例如，可由计算机执行的程序模块)的非暂时性计算机可读记录介质中。非暂时性计算机可读记录介质可以是能够由计算机访问的任何可用介质，并且可以包括任何易失性和非易失性介质以及任何可移除和不可移除介质。此外，非暂时性计算机可读记录介质可以包括任何计算机存储介质和通信介质。计算机存储介质可以包括通过用于存储信息的某种方法或技术实现的任何易失性和非易失性介质或者可移除和不可移除介质，例如计算机可读指令代码、数据结构、程序模块或其他数据。通信介质可以包括计算机可读指令代码、数据结构、程序模块、调制数据信号的其他数据或其他传输机制，并且可以包括任何信息传输介质。

应当理解的是，应仅以描述性意义而不是限制性目的来考虑本文中描述的实施例。对每个实施例中的特征或方面的描述一般应当被看作可用于其他实施例中的其他类似特征或方面。

尽管参考本公开各实施例示出并描述了本公开，但是本领域技术人员将理解：在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的前提下，可以进行形式和细节上的各种改变。

Claims (13)

1.一种图像处理装置，包括：

图像捕获器，被配置为捕获具有不同缩放级别的多个图像；

存储设备，被配置为存储所述多个图像；

显示器，被配置为显示所述多个图像中的第一图像；以及

处理器，被配置为控制所述图像捕获器捕获所述第一图像中的位于不同焦平面上的多个对象的多个图像，其中所述多个对象的所述多个图像中的每一个图像是以比所述第一图像的缩放级别更高的缩放级别在对所述多个对象中的对应对象进行聚焦的情况下捕获的，并且

其中，所述处理器还被配置为：确定感兴趣区域ROI，并输出调整视场FOV并且将所述ROI置于所述FOV的中心处的指导信息，并且

所述指导信息包括关于要由所述用户执行的操作的信息和指示所述ROI的信息。

2.根据权利要求1所述的图像处理装置，其中，所述处理器还被配置为：控制所述图像捕获器捕获具有不同缩放级别的多个图像，所述多个图像包括由输入到所述处理器的控制信号确定的ROI。

3.根据权利要求1所述的图像处理装置，其中，所述处理器还被配置为：

基于由所述图像捕获器捕获的输入图像的焦点值来设置至少一个ROI，以及

控制所述图像捕获器在所述至少一个ROI上进行放大并针对所述至少一个ROI捕获至少一个图像。

4.根据权利要求1所述的图像处理装置，其中，所述处理器还被配置为：

从由所述图像捕获器捕获的输入图像检测被推断为相同焦平面的多个对象，以及

控制所述图像捕获器以第一缩放级别针对包括所述多个对象的区域进行放大，以所述第一缩放级别顺序地对所述多个对象进行聚焦，并捕获具有不同焦点的多个图像。

5.根据权利要求1所述的图像处理装置，其中，所述显示器还被配置为：显示具有不同缩放级别的多个图像。

6.根据权利要求5所述的图像处理装置，其中，所述显示器还被配置为：显示具有第一缩放级别的第一图像，并在所述第一图像上覆盖具有不同缩放级别且与所述第一图像中包括的至少一个ROI相对应的至少一个图像。

7.根据权利要求1所述的图像处理装置，其中，所述显示器还被配置为：在显示所述第一图像的同时在所述第一图像上显示标记，所述标记指示具有与所述第一图像的缩放级别不同的缩放级别的图像的FOV。

8.根据权利要求1所述的图像处理装置，其中，所述显示器还被配置为：在显示所述第一图像的同时在所述第一图像上显示标记，所述标记指示关于具有与所述第一图像的焦点不同的焦点的图像的信息。

9.根据权利要求1所述的图像处理装置，其中，所述存储设备还被配置为：

存储具有不同缩放级别的所述多个图像的标识信息，以及

存储从以下项中选择的至少一项：具有不同缩放级别的所述多个图像的缩放级别信息、FOV信息和焦点信息。

10.一种图像处理方法，包括：

捕获具有不同缩放级别的多个图像；

显示所述多个图像中的第一图像；

确定感兴趣区域ROI；

输出调整视场FOV并且将所述ROI置于所述FOV的中心处的指导信息；以及

捕获所述第一图像中的位于不同焦平面上的多个对象的多个图像，其中所述多个对象的所述多个图像中的每一个图像是以比所述第一图像的缩放级别更高的缩放级别在对所述多个对象中的对应对象进行聚焦的情况下捕获的，

其中所述指导信息包括关于要由所述用户执行的操作的信息和指示所述ROI的信息。

11.根据权利要求10所述的图像处理方法，其中，捕获多个图像包括：针对由输入控制信号确定的ROI捕获具有不同缩放级别的多个图像。

12.根据权利要求10所述的图像处理方法，还包括：

基于输入图像的焦点值来设置至少一个ROI，

其中，捕获多个图像包括：在所述至少一个ROI上进行放大并针对所述至少一个ROI捕获至少一个图像。

13.根据权利要求10所述的图像处理方法，还包括：

从输入图像检测被推断为相同焦平面的多个对象，

其中，捕获多个图像包括：

以第一缩放级别针对包括所述多个对象的区域进行放大；以及

以所述第一缩放级别顺序地对所述多个对象进行聚焦，并捕获具有不同焦点的多个图像。

Images