CN103945116B

CN103945116B - 用于在具有相机的移动终端中处理图像的设备和方法

Info

Publication number: CN103945116B
Application number: CN201410030654.9A
Authority: CN
Inventors: 尹泳权; 孙才植; 金杓宰; 罗进熙
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2013-01-23
Filing date: 2014-01-22
Publication date: 2018-06-22
Anticipated expiration: 2034-01-22
Also published as: KR20140094791A; EP2760197B1; KR102022892B1; EP2760197A1; CN103945116A; US20140204236A1; US9167150B2

Abstract

提供一种用于在具有相机的移动终端中处理图像的设备和方法。所述设备通过基于经过改变同一对象的聚焦特性而拍摄的多个图像执行聚焦功能来从多个图像中获得最终图像。

Description

用于在具有相机的移动终端中处理图像的设备和方法

技术领域

本公开涉及一种用于在具有相机的便携式终端中处理图像的方法和设备，更具体地，涉及一种通过基于经过改变同一对象的聚焦特性而拍摄的多个图像执行聚焦功能来从所述多个图像中获得最终图像的方法和设备。

背景技术

在传统相机中，为了利用全焦或失焦功能，必须通过更换镜头或改变光圈数来改变镜头的深度。然而，镜头更换的结构或光圈集成的镜头具有大尺寸，因此，它们在应用于符合小型化的趋势的移动电话的相机或小型相机方面具有问题。

此外，可通过使用分割技术和将模糊滤镜应用于背景而将具有高聚焦深度的相机获得的图像划分为将被聚焦的部分和背景，来利用失焦功能。然而，由于在划分对象和背景方面会产生问题，而且当应用模糊滤镜时，由于分割技术的限制会产生图像质量的退化，所以在获得高质量照片上方面存在问题。可通过使用通过图像处理扩展效果的深度的EDoF（聚焦深度扩展）技术来利用全焦功能。然而，此方法由于图像质量的退化很少被使用。此外，可通过使用获得光路的信息的相机（诸如，全光相机和阵列相机）来利用重新聚集功能。然而，此方法在获得高分辨率照片方面具有问题。

因此，根据小型化的趋势，对于移动电话的相机和小型相机在提供聚焦功能（诸如，全焦、失焦和重新聚焦功能）的技术方面的发展是必须的。

发明内容

为了解决上述缺陷，本文的主要对象是提供一种通过基于经过改变同一对象的聚焦特性拍摄的多个图像来执行聚焦功能来从所述多个图像中获得最终图像的设备和方法。

根据本公开的一种用于在具有相机的移动终端中处理图像的设备，所述设备包括：显示单元；控制单元，基于通过改变同一对象的聚焦特性拍摄的多个第一图像执行聚焦功能而从所述多个第一图像中获得第三图像，并通过显示单元显示获得的第三图像。

此外，根据本公开的一种用于在具有相机的移动终端中处理图像的方法，所述方法包括：通过基于经过改变同一对象的聚焦特性拍摄的多个第一图像执行聚焦功能而从所述多个第一图像中获得第三图像；显示获得的第三图像。

根据本公开，在图像捕捉中，可通过基于经过改变聚焦特性捕捉的多个图像而获得具有不同聚焦特性的多个图像，并基于获得的多个图像执行聚焦功能来利用聚焦功能（诸如，全焦、失焦和重新聚焦功能）。

在进行下面的“具体实施方式”之前，阐述在本专利文档全篇中使用的特定单词和短语的定义可以是有利的：术语“包括”及其派生词表示没有限制的包含；术语“或”是包含性的，意思是“和/或”；短语“与…相关联的”和“与其相关联的”及其派生词可表示包括、被包括在内、与…相互连接、包含、被包含在内、连接到…或与…连接、耦合到…或与…耦合、与…可通信、与…交错、并置、接近于…、被绑定到…或与…绑定、具有、具有…的属性，等等；而术语“控制器”表示控制至少一个操作的任何装置、系统或装置、系统的一部分，其中，所述装置可以被实现为硬件、固件或软件或者硬件、固件和软件中的至少两个的某一组合。应注意到：无论是本地地还是远程地，都可集中或分布与任何特定控制器相关联的功能。本专利文档全篇提供对于特定单词和短语的定义，本领域普通技术人员应理解：在多个（如果不是最多的）示例中，所述定义应用于限定的单词和短语的之前以及未来的使用。

附图说明

为了更完整地理解本公开和它的优点，现在参照以下结合附图的描述，其中，同样的标号表示同样的部分：

图1示出根据本公开的实施例的便携式终端的内部结构的框图；

图2示出根据本公开的实施例的处理图像的过程的流程图；

图3示出根据本公开的实施例的拍摄场景的示例；

图4示出根据本公开的实施例的镜头位置的可变运动；

图5示出根据本公开的另一实施例的处理图像的过程的流程图；

图6示出图5中的选择多个第二图像的详细过程的流程图；

图7到图9示出根据本公开的另一实施例的选择多个第二图像的示例。

具体实施方式

以下讨论的图1到图9和在本发明文档中用于描述本公开的原理的各种实施例仅当作示意而不应以任何方式被理解为限制本公开的范围。本领域技术人员将理解：本公开的原理可被实现为任意适当排列的系统或装置。在下文中，参照附图详细地描述本公开的实施例。贯穿整个附图，相同的参考符号被用于表示相同或同样的部分。本文中包含的公知功能和结构的详细描述可被省略以避免模糊本公开的主题。

图1示出根据本公开的实施例的便携式终端100的内部结构的框图。

参照图1，根据本公开的便携式终端100可包括相机单元110、音频处理单元120、显示单元130、存储单元140和控制单元150。

相机单元110执行接收视频信号的功能。相机单元110被配置有镜头111和图像传感器113，并处理帧图像（诸如，在通信模式或拍摄模式下由图像传感器113获得的静止图像和运动图像）。由相机单元110处理的帧图像可通过显示单元130被输出。此外，由相机单元110处理的帧图像可被存储在存储单元140或通过无线通信单元（未示出）被发送到外面。

相机单元110可根据便携式终端100的规格被配置有多于一个相机。例如，便携式终端100可具有分别置于显示单元130同一侧或显示单元130的两侧的两个相机。

音频处理单元120可被配置有编码解码器，并且编码解码器可被配置有处理数据包的数据编码解码器和处理音频信号（诸如，语音）的音频编码解码器。音频处理单元120通过音频编码解码器将数字音频信号变换为模拟音频信号，并且通过扬声器（SPK）播放，而通过音频编码解码器将由麦克风（MIC）输入的模拟音频信号变换为数字音频信号。

显示单元130为用户视觉上提供多样化的信息（诸如，便携式终端100的菜单、输入数据和功能设置）。显示单元130执行输出便携式终端100的启动屏幕、等待屏幕、菜单屏幕、通信屏幕和应用屏幕的功能。

显示单元130可被配置有LCD（液晶显示器）、OLED（有机发光二极管）、AMOLED（主动矩阵有机发光二极管）、柔性显示器或3维显示器。

存储单元140执行存储便携式终端100的操作所需的程序和数据的作用，并可被划分为程序区域和数据区域。程序区域可存储用于控制便携式终端100的一般操作、启动便携式终端100的操作系统（OS）、播放多媒体内容所需的应用程序和便携式终端100的其它可选功能（诸如，语音对话功能、相机功能、声音播放功能和静止图像或运动图像的播放功能）的程序。数据区域是存储通过使用便携式终端100而产生的数据的区域，而且可存储静止图像、运动图像、电话簿和音频数据。

控制单元150控制便携式终端100的每一个组件的一般操作。如果由便携式终端100提供的图像拍摄功能被执行，则控制单元150通过控制相机单元110进入图像拍摄模式。此外，控制单元150可根据用户的操作而拍摄图像并将拍摄的图像存储在存储单元140中。

具体地，根据本公开的控制单元150在通过改变同一对象的聚焦特性而捕捉多个第一图像时，获得具有不同聚焦特性的多个第一图像。换言之，当通过相机单元110捕捉图像时，控制单元150通过多次改变图像传感器113和镜头111之间的距离而拍摄图像，并获得具有不同聚焦特性的多个第一图像。此外，控制单元150可通过基于多个第一图像执行聚焦功能而从多个第一图像中获得第三图像。为此，根据本公开的控制单元150可被配置有镜头位置控制器151、图像处理单元153和图像存储单元155。

在下文中，参照图2到图4描述根据本公开的实施例的图像处理操作。

图2示出根据本公开的实施例的处理图像的过程的流程图，图3示出根据本公开的实施例的拍摄场景的示例，图4示出根据本公开的实施例的镜头位置的可变运动。

在图2中，如果便携式终端进入图像拍摄模式（S210），则在根据用户的操作捕捉图像时，镜头位置控制器151改变安装在相机单元110中的镜头111的位置以获得具有不同聚焦特性的多个第一图像（S220）。换言之，镜头位置控制器151可通过在调整镜头111和图像传感器113之间的距离以多次改变镜头111的位置时进行拍摄而获得多个第一图像。

参照图3，当按照基于相机单元110的距离的顺序（对象3、对象2、对象1）捕捉图像时，位置控制器151可通过由相机单元110改变镜头111的位置以调整焦平面（FP）来获得图像。换言之，随着镜头111和图像传感器113之间的距离越来越大，焦平面（FP）接近相机单元110。与此同时，随着对象位于远离焦平面（FP），图像模糊的程度增加。参照图4，如果根据用户的操作开始捕捉图像（st），则镜头位置控制器151通过调整镜头111和图像传感器113之间的距离（D1、D2、…Dn）而获得具有不同聚焦特性的多个图像。

返回图2，图像处理单元153通过基于在经由镜头位置控制器151改变镜头111的位置时捕捉的多个第一图像执行聚焦功能而从多个第一图像中获得第三图像（S230）。

更详细地，图像处理单元153可通过将多个第一图像相互比较，并根据构成第一图像的多个目标在多个第一图像中合成聚焦的图像，来从多个第一图像中获得第三图像。换言之，对于多个第一图像，图像处理单元153可通过获得聚焦在包括多个对象的图像中的每一个对象上的多个图像，并将聚焦在每一个对象上的多个图像合成来执行全焦功能。

此外，图像处理单元153可通过以下操作获得第三图像：分析多个第一图像并相互比较，将用户从多个第一图像中选择的第一图像合成为聚焦的图像并将剩余的多个第一图像合成为未聚焦的图像。换言之，图像处理单元153可通过将用户从多个对象中选择的对象合成为聚焦的图像而将剩余的多个对象合成为未聚焦的图像来执行失焦功能和重新聚焦功能。

这里，图像处理单元153可在将模糊滤镜应用于剩余的多个第一对象之后从多个第一图像中获得第三图像。换言之，图像处理单元153可增加剩余的多个第一对象的模糊程度，以使得由用户选择的图像部分更锐利。

此外，当应用模糊滤镜时，图像处理单元153可将不同的模糊滤镜应用于每一个剩余的图像。换言之，图像处理单元153不将相同的模糊滤镜应用于剩余的图像，而将不同的模糊滤镜应用于每一个剩余的图像。

随后，图像处理单元153可通过显示单元130显示获得的第三图像（S240）。这里，图像存储单元155可通过合并为文件格式将多个第一图像存储在存储单元140。例如，通过对于同一对象改变聚焦特性而获得的多个图像可被包括在存储于存储单元140中的图像文件中。图像处理单元153可通过合并具有不同聚焦特性的多个第一图像并以文件格式存储它们来执行重新聚焦功能。换言之，图像处理单元153可通过使用包括在一个存储于存储单元140中的图像文件中的多个图像并通过仅对由用户选择的图像执行失焦功能而执行重新聚焦功能。

在下文中，参照图5描述根据本公开的另一实施例的处理图像的方法。

图5示出根据本公开的另一实施例的处理图像的过程的流程图。

根据实施例的处理图像的过程实际上与上一实施例的处理图像的过程相似，因此在下文中仅描述具有差异的部分。

参照图5，如果便携式终端100进入图像拍摄模式（S510），则当根据用户的操作捕捉图像时，镜头位置控制器151通过改变安装在相机单元110中的镜头111的位置而获得具有不同聚焦特性的多个第一图像（S520）。

随后，当通过镜头位置控制器151改变镜头111的位置时，图像处理单元153从多个第一图像中选择多个第二图像（S530）。

然后，图像处理单元153通过基于从多个第一图像中选择的多个第二图像执行聚焦功能而从多个第二图像中获得第三图像（S540）。换言之，图像处理单元153可基于多个第二图像执行全焦、失焦或重新聚焦功能。

随后，图像处理单元153可通过显示单元130显示获得的第三图像（S550）。这里，图像存储单元155可通过合并为文件格式将多个第二图像存储在存储单元140中。

在下文中，参照图6到图9更加详细地描述根据本公开的另一实施例的选择多个第二图像的过程。

图6示出图5中的选择多个第二图像的详细过程的流程图，而图7到图9示出根据本公开的另一实施例的选择多个第二图像的示例。图6中示出的过程是图5中的步骤S530的一个实施例的示例。

参照图6，图像处理单元153将多个第一图像中的每一个划分为预定的多个区域（S610）。如图7中所示，图像处理单元153可根据预定尺寸将第一图像（IM）划分为数量为“m×n”的区域（IR）。

随后，图像处理单元153计算对于划分的多个第一图像的每一个区域的边界值（S620）。边界值表示每一个区域的平均锐度。例如，边缘值越大，区域的锐度越大。如图8中所示，图像处理单元153对于划分的多个第一图像（IM_1、IM_2、…IM_n）计算每一个区域（IR）的边缘值。例如，图像处理单元153从构成每一个区域（IR）的像素和相邻像素之间的差异来计算微分值，并基于计算的微分值计算每一个区域（IR）的边缘值。

然后，图像处理单元153基于计算的每一个区域的边缘值获得聚焦在每一个区域上的镜头111的位置（S630）。例如，图像处理单元153将区域(IR)的边缘值与对于多个第一图像（IM_1、IM_2、…IM_n）计算的多个边缘值进行比较，并可从多个第一图像（IM_1、IM_2、…IM_n）中获得与具有最高边缘值的图像相应的镜头111的位置。图像处理单元153可通过对每一个区域（IR）重复地执行此处理而获得聚焦在每一个区域的镜头111的位置。换言之，图像处理单元153可获得对于每一个区域（IR）的镜头111和图像传感器113之间的距离。

随后，图像处理单元153基于由镜头111分别地聚焦的区域的数量从多个第一图像中选择多个第二图像（S640）。更详细地，图像处理单元153可从对于每一个区域（IR）获得的镜头111和图像传感器113之间的距离信息获得与镜头111的每一个位置相应的聚焦的区域的数量。例如，图像处理单元153可获得图9中示出的直方图。如果镜头111和图像传感器113之间的距离是‘Dn’，则捕捉的图像（IM_n）具有大约8个聚焦的区域。如果距离是‘D2’，则捕捉的图像（IM_2）具有大约2个聚焦的区域。如果距离是‘D1’，则捕捉的图像（IM_1）具有大约6个聚焦的区域。

图像处理单元153可基于与镜头111的每一个位置相应的聚焦的区域的数量从多个第一图像中选择多个第二图像。这里，图像处理单元153可通过使用信息（诸如，划分的区域（IR）的总数量、包括在图像中的对象的数量和聚焦的区域的数量）来确定从多个第一图像中选择的第二图像的数量。例如，如果包括在图像中的对象的数量是3，则图像处理单元153可从多个第一图像中选择4个第二图像。此外，图像处理单元153可选择具有最大的聚焦的区域的数量变化的图像作为第二图像。当然，从多个第一图像中选择的第二图像的数量可被预定。

图像处理单元153可基于与镜头111的每一个位置相应的聚焦的区域的数量和预定的重要性因素从多个第一图像中选择多个第二图像。这里，重要性因素包括：到图像的中央的距离、对象的类型和色彩改变的程度。一般来说，用户在将主要对象定位于图像的中央的情况下拍照，因此更靠近图像的中央的区域在重要性因素方面具有更高的值，而更远离图像的中央的区域在重要性因素方面具有更低的值。通过使用这种特性，图像处理单元153可对与镜头111的每一个位置相应的多个聚焦的区域进行补偿。图像处理单元153可基于与镜头111的每一个位置相应的补偿的聚焦的区域的数量，从多个第一图像中选择多个第二图像。

如上所述，当捕捉图像时，可通过获得具有不同聚焦特性的多个图像并基于获得的多个图像执行聚焦功能来利用聚焦功能（诸如，全焦、失焦和重新聚焦功能）。

本公开描述了控制单元150、镜头位置控制器151、图像处理单元153和图像存储单元155被配置为单独的块并且每一个块执行不同的功能。然而，这仅为了便于描述，而每一个功能可不被划分为如上所示。例如，由镜头位置控制器151和图像处理单元153执行的特定功能可由控制单元150执行。

此外，已经描述了当捕捉图像时，通过获得具有不同聚焦特性的多个第一图像并基于多个获得的图像执行聚焦功能而获得第三图像的方法，但是本公开不限于此。根据另一实施例，在捕捉图像时获得的多个第一图像可通过将它们合并而被存储为图像文件，并且如果根据用户的操作选择了存储的图像文件，则可基于包括在图像文件中的多个第一图像并根据用户的操作执行聚焦功能。

虽然已经使用示例性实施例描述了本公开，但是可将各种改变和修改建议给本领域技术人员。意图是本公开包含落入权利要求范围内的改变和修改。

Claims

1.一种用于在便携式终端中处理图像的设备，所述设备包括：

相机单元，包括镜头；

显示单元；

控制单元，被配置为执行如下操作：

基于使用改变同一对象的聚焦特性而拍摄的多个第一图像执行聚焦功能，

基于由镜头聚焦的区域的数量和预定的重要性因素从所述多个第一图像中选择多个第二图像，其中，所述预定的重要性因素包括：到图像的中央的距离、对象的类型和色彩改变的程度，

基于所述多个第二图像获得第三图像，

使显示单元显示获得的第三图像。

2.如权利要求1所述的设备，

其中，相机单元还包括传感器；

其中，控制单元被配置为当使用相机单元产生图像时，通过改变图像传感器和镜头之间的距离来获得具有不同聚焦特性的所述多个第一图像。

3.如权利要求2所述的设备，其中，控制单元被配置为执行如下操作：

将所述多个第一图像中的每一个划分为预定的多个区域，

计算对于所述多个第一图像中的每一个的每一个区域的边缘值，其中，边缘值对应于所述每一个区域的锐度，

基于计算的每一个区域的边缘值获得聚焦在每一个区域上的镜头位置。

4.如权利要求3所述的设备，还包括：

存储单元，

其中，控制单元被配置为通过以文件格式合并所述多个第一图像或所述多个第二图像来将所述多个第一图像或所述多个第二图像存储在存储单元中。

5.如权利要求1所述的设备，其中，控制单元被配置为通过将所述多个第一图像相互比较，并对根据呈现在所述多个第一图像中的目标从所述多个第一图像中选择的聚焦的图像进行合成，来从所述多个第一图像中获得第三图像。

6.如权利要求1所述的设备，其中，所述多个第一图像包括聚焦于不同对象的一个或更多个图像，其中，第三图像包括聚焦在从所述一个或更多个图像中的至少一部分中产生的不同对象上的部分。

7.一种用于在具有相机的便携式终端中处理图像的方法，所述方法包括：

基于使用改变同一对象的聚焦特性拍摄的多个第一图像执行聚焦功能；

基于所述多个第二图像获得第三图像，

显示获得的第三图像。

8.如权利要求7所述的方法，还包括：

通过当使用相机产生图像时，多次改变图像传感器和镜头之间的距离而获得具有不同聚焦特性的所述多个第一图像。

9.如权利要求8所述的方法，还包括：

将所述多个第一图像中的每一个划分为预定的多个区域；

计算对于所述多个第一图像的每一个区域的边缘值，其中，边缘值对应于所述每一个区域的锐度；

基于计算的每一个区域的边缘值获得聚焦在每一个区域上的镜头的位置。

10.如权利要求7所述的方法，其中，获得第三图像的步骤包括：通过将所述多个第一图像相互比较，并对根据呈现在所述多个第一图像中的目标从所述多个第一图像中选择的聚焦的图像进行合成，来从所述多个第一图像中获得第三图像。

11.如权利要求7所述的方法，其中，获得第三图像的步骤包括：通过将所述多个第一图像相互比较，将由用户选择的所述多个第一图像的部分合成为聚焦的图像，而将剩余的所述多个第一图像合成为未聚焦的图像，来从所述多个第一图像中获得第三图像。

12.如权利要求11所述的方法，其中，获得第三图像的步骤包括：在将模糊滤镜应用于剩余的所述多个第一图像之后，从所述多个第一图像中获得第三图像。

13.如权利要求12所述的方法，其中，获得第三图像的步骤包括：当应用模糊滤镜时，将不同的模糊滤镜应用于与剩余的所述多个第一图像相应的每一个图像。