CN107016651A - 图像锐化方法、图像锐化装置及电子装置 - Google Patents

Abstract

本发明公开了一种基于深度的图像锐化方法。所述图像锐化方法包括：处理场景数据以获得场景主图像的前景部分和背景部分；采用第一锐化程度锐化前景部分；和采用第二锐化程度锐化背景部分，第一锐化程度大于第二锐化程度。此外，本发明还公开了一种图像锐化装置及电子装置。本发明的图像锐化方法、图像锐化装置及电子装置根据深度信息对场景主图像的前景部分和背景部分进行不同程度的锐化，从而突出作为主体的前景部分。

Description

图像锐化方法、图像锐化装置及电子装置

技术领域

本发明涉及成像技术，特别涉及一种图像锐化方法、图像锐化装置及电子装置。

背景技术

图像锐化方法一般是对整个图像进行同等程度的锐化，导致主体和背景的区别度不高，达不到突出主体的效果。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式提供了一种图像锐化方法、图像锐化装置及电子装置。

一种基于深度的图像锐化方法，用于处理成像装置采集的场景数据，所述场景数据包括场景主图像，所述图像锐化方法包括以下步骤：

处理所述场景数据以获得所述场景主图像的前景部分和背景部分；

采用第一锐化程度锐化所述前景部分；和

采用第二锐化程度锐化所述背景部分，所述第一锐化程度大于所述第二锐化程度。

一种基于深度的图像锐化装置，用于处理成像装置采集的场景数据，所述场景数据包括场景主图像，所述图像锐化装置包括第一处理模块、第二处理模块和第三处理模块。

所述第一处理模块用于处理所述场景数据以获得所述场景主图像的前景部分和背景部分。

所述第二处理模块用于采用第一锐化程度锐化所述前景部分。

所述第三处理模块用于采用第二锐化程度锐化所述背景部分，所述第一锐化程度大于所述第二锐化程度。

一种电子装置包括成像装置和所述图像锐化装置。

本发明的图像锐化方法、图像锐化装置及电子装置根据深度信息对场景主图像的前景部分和背景部分进行不同程度的锐化，从而突出作为主体的前景部分。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的图像锐化方法的流程示意图。

图2是本发明实施方式的电子装置的平面示意图。

图3是本发明实施方式的图像锐化方法的另一个流程示意图。

图4是本发明实施方式的第一处理模块的功能模块示意图。

图5是本发明实施方式的图像锐化方法的再一个流程示意图。

图6是本发明实施方式的第一处理单元的功能模块示意图。

图7是本发明实施方式的图像锐化方法的又一个流程示意图。

图8是本发明实施方式的第一处理单元的另一个功能模块示意图。

图9是本发明实施方式的图像锐化方法的又一个流程示意图。

图10是本发明实施方式的获取单元的功能模块示意图。

图11是本发明实施方式的图像锐化方法的又一个流程示意图。

图12是本发明实施方式的图像锐化方法的又一个流程示意图。

图13是本发明实施方式的第三处理模块的功能模块示意图。

主要元件符号说明：

电子装置100、图像锐化装置10、第一处理模块12、第一处理单元122、第一处理子单元1222、第二处理子单元1224、第三处理子单元1226、第四处理子单元1228、获取单元124、第五处理子单元1242、寻找子单元1244、确定子单元1246、第二处理模块14、第三处理模块16、划分单元162、确定单元164、第二处理单元166、成像装置20。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的实施方式在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

请一并参阅图1和图2，本发明实施方式的基于深度的图像锐化方法可以用于处理成像装置20采集的场景数据。场景数据包括场景主图像。图像锐化方法包括以下步骤：

S12：处理场景数据以获得场景主图像的前景部分和背景部分；

S14：采用第一锐化程度锐化前景部分；和

S16：采用第二锐化程度锐化背景部分，第一锐化程度大于第二锐化程度。

请再次参阅图2，本发明实施方式的基于深度的图像锐化装置10可以用于处理成像装置20采集的场景数据。场景数据包括场景主图像。图像锐化装置10包括第一处理模块12、第二处理模块14和第三处理模块16。第一处理模块12用于处理场景数据以获得场景主图像的前景部分和背景部分。第二处理模块14用于采用第一锐化程度锐化前景部分。第三处理模块16用于采用第二锐化程度锐化背景部分，第一锐化程度大于第二锐化程度。

也即是说，本发明实施方式的图像锐化方法可以由本发明实施方式的图像锐化装置10实现，其中，步骤S12可以由第一处理模块12实现，步骤S14可以由第二处理模块14实现，步骤S16可以由第三处理模块16实现。

在某些实施方式中，本发明实施方式的图像锐化装置10可以应用于本发明实施方式的电子装置100，或者说本发明实施方式的电子装置100可以包括本发明实施方式的图像锐化装置10。此外，本发明实施方式的电子装置100还包括成像装置20，成像装置20和图像锐化装置10电连接。

本发明实施方式的图像锐化方法、图像锐化装置10及电子装置100根据深度信息对场景主图像的前景部分和背景部分进行不同程度的锐化，从而突出作为主体的前景部分。

在某些实施方式中，电子装置100包括手机、平板电脑、智能手表、笔记本电脑、智能手环、智能眼镜或智能头盔。在本发明实施方式中，电子装置100是手机。

在某些实施方式中，成像装置20包括前置相机和/或后置相机，在此不做任何限制。在本发明实施方式中，成像装置20是前置相机。

可以理解，图像锐化可以包括多种处理方法，比如空域处理或者频域处理，在此不做任何限制。在一个例子中，可以采用Sobel或Canny等边缘检测算子提取场景主图像的边缘强度信息，再处理边缘强度信息以得到增强后的边缘强度信息图，将增强后的边缘强度信息图与场景主图像叠加，可以实现图像锐化的效果。

另一方面，锐化程度可以包括图像锐化处理中涉及的各个参数，通过控制这些参数可以控制图像锐化的程度，从而使得经过第一锐化程度的前景部分比经过第二锐化程度的背景部分更加突出。

请参阅图3，在某些实施方式中，步骤S12包括以下步骤：

S122：处理场景数据以获取场景主图像的深度信息；和

S124：根据深度信息获取场景主图像的前景部分和背景部分。

请参阅图4，在某些实施方式中，第一处理模块12包括第一处理单元122和获取单元124。第一处理单元122用于处理场景数据以获取场景主图像的深度信息。获取单元124用于根据深度信息获取场景主图像的前景部分和背景部分。

也即是说，步骤S122可以由第一处理单元122实现，步骤S124可以由获取单元124实现。

如此，可以根据深度信息获取场景主图像的前景部分和背景部分。

请参阅图5，在某些实施方式中，场景数据包括与场景主图像对应的深度图像，步骤S122包括以下步骤：

S1222：处理深度图像以获取场景主图像的深度数据；和

S1224：处理深度数据以得到深度信息。

请参阅图6，在某些实施方式中，场景数据包括与场景主图像对应的深度图像，第一处理单元122包括第一处理子单元1222和第二处理子单元1224。第一处理子单元1222用于处理深度图像以获取场景主图像的深度数据。第二处理子单元1224用于处理深度数据以得到深度信息。

也即是说，步骤S1222可以由第一处理子单元1222实现，步骤S1224可以由第二处理子单元1224实现。

如此，可以利用深度图像快速获得场景主图像的深度信息。

可以理解，场景主图像为RGB彩色图像，深度图像包含场景中各个人或物体的深度信息。由于场景主图像的色彩信息与深度图像的深度信息是一一对应的关系，因此，可获得场景主图像的深度信息。

在某些实施方式中，与场景主图像对应的深度图像的获取方式包括采用结构光深度测距获取深度图像及采用飞行时间(time of flight,TOF)深度摄像头获取深度图像两种方式。

采用结构光深度测距获取深度图像时，成像装置20包括摄像头和投射器。

可以理解，结构光深度测距是利用投射器将一定模式的光结构投射于物体表面，在表面形成由被测物体形状所调制的光条三维图像。光条三维图像由摄像头探测从而获得光条二维畸变图像。光条的畸变程度取决于投射器与摄像头之间的相对位置和物体表面形廓或高度。沿光条显示出的位移与物体表面的高度成比例，扭结表示了平面的变化，不连续显示表面的物理间隙。当投射器与摄像头之间的相对位置一定时，由畸变的二维光条图像坐标便可重现物体表面的三维轮廓，从而可以获取深度信息。结构光深度测距具有较高的分辨率和测量精度。

采用TOF深度摄像头获取深度图像时，成像装置20包括TOF深度摄像头。

可以理解，TOF深度摄像头通过传感器记录从发光单元发出的调制红外光发射到物体，再从物体反射回来的相位变化，在一个波长的范围内根据光速，可以实时的获取整个场景深度距离。TOF深度摄像头计算深度信息时不受被摄物表面的灰度和特征的影响，且可以快速地计算深度信息，具有很高的实时性。

请参阅图7，在某些实施方式中，场景数据包括与场景主图像对应的场景副图像，步骤S122包括以下步骤：

S1226：处理场景主图像和场景副图像以得到场景主图像的深度数据；和

S1228：处理深度数据以得到深度信息。

请参阅图8，在某些实施方式中，场景数据包括与场景主图像对应的场景副图像，第一处理单元122包括第三处理子单元1226和第四处理子单元1228。第三处理子单元1226用于处理场景主图像和场景副图像以得到场景主图像的深度数据。第四处理子单元1228用于处理深度数据以得到深度信息。

也即是说，步骤S1226可以由第三处理子单元1226实现，步骤S1228可以由第四处理子单元1228实现。

如此，可以通过处理场景主图像和场景副图像获取场景主图像的深度信息。

在某些实施方式中，成像装置20包括主摄像头和副摄像头。

可以理解，深度信息可以通过双目立体视觉测距方法进行获取，此时场景数据包括场景主图像和场景副图像。其中，场景主图像由主摄像头拍摄得到，场景副图像由副摄像头拍摄得到。双目立体视觉测距是运用两个相同的摄像头对同一被摄物从不同的位置成像以获得被摄物的立体图像对，再通过算法匹配出立体图像对的相应像点，从而计算出视差，最后采用基于三角测量的方法恢复深度信息。如此，通过对场景主图像和场景副图像这一立体图像对进行匹配便可获得场景主图像的深度信息。

请参阅图9，在某些实施方式中，步骤包括S124以下步骤：

S1242：根据深度信息获得场景主图像的最前点；

S1244：寻找与最前点邻接且深度连续变化的区域作为前景部分；和

S1246：确定场景主图像除前景部分外的区域为背景部分。

请参阅图10，在某些实施方式中，获取单元124包括第五处理子单元1242、寻找子单元1244和确定子单元1246。第五处理子单元1242用于根据深度信息获得场景主图像的最前点。寻找子单元1244用于寻找与最前点邻接且深度连续变化的区域作为前景部分。确定子单元1246用于确定场景主图像除前景部分外的区域为背景部分。

也即是说，步骤S1242可以由第五处理子单元1242实现，步骤S1244可以由寻找子单元1244实现，步骤S1242可以由确定子单元1246实现。

如此，可以获得场景主图像物理联系的前景部分和背景部分。在现实场景中，通常前景部分是连接在一起的。以物理联系的前景部分作为主体，可以直观地获得前景部分的关系。

具体地，先根据深度信息获得场景主图像的最前点，最前点相当于前景部分的开端，从最前点进行扩散，获取与最前点邻接并且深度连续变化的区域，这些区域和最前点归并为前景区域。

需要说明的是，最前点指的是深度最小的物体对应的像素点，即物距最小或者离成像装置20最近的物体对应的像素点。邻接是指两个像素点连接在一起。深度连续变化是指邻接的两个像素点的深度差值小于预定差值，或者说深度之差小于预定差值的两个邻接的像素点的深度连续变化。

请参阅图11，在某些实施方式中，步骤S124可以包括以下步骤：

S1247：根据深度信息获得场景主图像的最前点；

S1248：寻找与最前点的深度之差小于预定阈值的区域作为前景部分；和

S1249：确定场景主图像除前景部分外的区域为背景部分。

如此，可以获得场景主图像逻辑联系的前景部分和背景部分。在现实场景中，前景部分可能没有连接在一起，但是符合某种逻辑关系，比如老鹰俯冲下来抓小鸡的场景，老鹰和小鸡物理上可能没连接在一起，但是从逻辑上，可以判断它们是联系起来的。

具体地，先根据深度信息获得场景主图像的最前点，最前点相当于前景部分的开端，从最前点进行扩散，获取与最前点的深度之差小于预定阈值的区域，这些区域和最前点归并为前景区域。

在某些实施方式中，预定阈值可以是由用户设置的一个值。如此，用户可根据自身的需求来确定前景部分的范围，从而获得理想的构图建议，实现理想的构图。

在某些实施方式中，预定阈值可以是图像锐化装置10确定的一个值，在此不做任何限制。图像锐化装置10确定的预定阈值可以是内部存储的一个固定值，也可以是根据不同情况，例如最前点的深度，计算出来的数值。

在某些实施方式中，步骤S124可以包括以下步骤：

寻找深度处于预定区间的区域作为前景部分；和

确定场景主图像除前景部分外的区域为背景部分。

如此，可以获得深度处于合适范围的前景部分和背景部分。

可以理解，有些拍摄情况下，前景部分并不是最前面的部分，而是最前面部分稍微靠后一点的部分，例如，人坐在电脑后面，电脑比较靠前，但是人才是主体部分，所以将深度处于预定区间的区域作为前景部分，可以有效地避免主体选择不正确的问题。

请参阅图12，在某些实施方式中，步骤S16包括以下步骤：

S162：根据深度信息将背景部分划分成至少一个锐化区域；

S164：确定每个锐化区域的锐化程度，每个锐化区域的锐化程度小于等于第二锐化程度并与对应的深度负相关；和

S166：锐化背景部分。

请参阅图13，在某些实施方式中，第三处理模块16包括划分单元162、确定单元164和第二处理单元166。划分单元162用于根据深度信息将背景部分划分成至少一个锐化区域。确定单元164用于确定每个锐化区域的锐化程度，每个锐化区域的锐化程度小于等于第二锐化程度并与对应的深度负相关。第二处理单元166用于锐化背景部分。

也即是说，步骤S162可以由划分单元162实现，步骤S164可以由确定单元164实现，步骤S166可以由第二处理单元166实现。

如此，可使得背景部分层次分明，具有更佳的视觉效果。

具体地，可将背景部分当成另一帧场景主图像，依据上述的图像锐化方法进行处理。例如将背景部分划分成第一锐化区域和第二锐化区域，第一锐化区域的深度小于第二锐化区域，采用第二锐化程度锐化第一锐化区域，采用第三锐化程度锐化第二锐化区域，第二锐化程度大于第三锐化程度。

在本发明的实施方式的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (16)

1.一种基于深度的图像锐化方法，用于处理成像装置采集的场景数据，所述场景数据包括场景主图像，其特征在于，所述图像锐化方法包括以下步骤：

处理所述场景数据以获得所述场景主图像的前景部分和背景部分；

采用第一锐化程度锐化所述前景部分；和

采用第二锐化程度锐化所述背景部分，所述第一锐化程度大于所述第二锐化程度。

2.如权利要求1所述的图像锐化方法，其特征在于，所述处理所述场景数据以获得所述场景主图像的前景部分和背景部分的步骤包括以下步骤：

处理所述场景数据以获取所述场景主图像的深度信息；和

根据所述深度信息获取所述场景主图像的前景部分和背景部分。

3.如权利要求2所述的图像锐化方法，其特征在于，所述场景数据包括与所述场景主图像对应的深度图像，所述处理所述场景数据以获取所述场景主图像的深度信息的步骤包括以下步骤：

处理所述深度图像以获取所述场景主图像的深度数据；和

处理所述深度数据以得到所述深度信息。

4.如权利要求2所述的图像锐化方法，其特征在于，所述场景数据包括与所述场景主图像对应的场景副图像，所述处理所述场景数据以获取所述场景主图像的深度信息的步骤包括以下步骤：

处理所述场景主图像和所述场景副图像以得到所述场景主图像的深度数据；和

处理所述深度数据以得到所述深度信息。

5.如权利要求2所述的图像锐化方法，其特征在于，所述根据所述深度信息获取所述场景主图像的前景部分和背景部分的步骤包括以下步骤：

根据所述深度信息获得所述场景主图像的最前点；

寻找与所述最前点邻接且深度连续变化的区域作为所述前景部分；和

确定所述场景主图像除所述前景部分外的区域为所述背景部分。

6.如权利要求2所述的图像锐化方法，其特征在于，所述采用第二锐化程度锐化所述背景部分的步骤包括以下步骤：

根据深度信息将所述背景部分划分成至少一个锐化区域；

确定每个所述锐化区域的锐化程度，每个所述锐化区域的锐化程度小于等于所述第二锐化程度并与对应的深度负相关；和

锐化所述背景部分。

7.一种基于深度的图像锐化装置，用于处理成像装置采集的场景数据，所述场景数据包括场景主图像，其特征在于，所述图像锐化装置包括：

第一处理模块，所述第一处理模块用于处理所述场景数据以获得所述场景主图像的前景部分和背景部分；

第二处理模块，所述第二处理模块用于采用第一锐化程度锐化所述前景部分；和

第三处理模块，所述第三处理模块用于采用第二锐化程度锐化所述背景部分，所述第一锐化程度大于所述第二锐化程度。

8.如权利要求7所述的图像锐化装置，其特征在于，所述第一处理模块包括：

第一处理单元，所述第一处理单元用于处理所述场景数据以获取所述场景主图像的深度信息；和

获取单元，所述获取单元用于根据所述深度信息获取所述场景主图像的前景部分和背景部分。

9.如权利要求8所述的图像锐化装置，其特征在于，所述场景数据包括与所述场景主图像对应的深度图像，所述第一处理单元包括：

第一处理子单元，所述第一处理子单元用于处理所述深度图像以获取所述场景主图像的深度数据；和

第二处理子单元，所述第二处理子单元用于处理所述深度数据以得到所述深度信息。

10.如权利要求8所述的图像锐化装置，其特征在于，所述场景数据包括与所述场景主图像对应的场景副图像，所述第一处理单元包括：

第三处理子单元，所述第三处理子单元用于处理所述场景主图像和所述场景副图像以得到所述场景主图像的深度数据；和

第四处理子单元，所述第四处理子单元用于处理所述深度数据以得到所述深度信息。

11.如权利要求8所述的图像锐化装置，其特征在于，所述获取单元包括：

第五处理子单元，所述第五处理子单元用于根据所述深度信息获得所述场景主图像的最前点；

寻找子单元，所述寻找子单元用于寻找与所述最前点邻接且深度连续变化的区域作为所述前景部分；和

确定子单元，所述确定子单元用于确定所述场景主图像除所述前景部分外的区域为所述背景部分。

12.如权利要求8所述的图像锐化装置，其特征在于，所述第三处理模块包括：

划分单元，所述划分单元用于根据深度信息将所述背景部分划分成至少一个锐化区域；

确定单元，所述确定单元用于确定每个所述锐化区域的锐化程度，每个所述锐化区域的锐化程度小于等于所述第二锐化程度并与对应的深度负相关；和

第二处理单元，所述第二处理单元用于锐化所述背景部分。

13.一种电子装置，其特征在于，包括：

成像装置；和

如权利要求7至12任意一项所述的图像锐化装置。

14.如权利要求13所述的电子装置，其特征在于，所述成像装置包括主摄像头和副摄像头。

15.如权利要求13所述的电子装置，其特征在于，所述成像装置包括摄像头和投射器。

16.如权利要求13所述的电子装置，其特征在于，所述成像装置包括TOF深度摄像头。