CN108551552B - 图像处理方法、装置、存储介质及移动终端 - Google Patents

Abstract

本申请实施例公开了图像处理方法、装置、存储介质及移动终端。该方法包括：当遮挡检测事件被触发时，获取摄像头的拍摄图像；对拍摄图像进行遮挡检测，确定拍摄图像中的第一遮挡区域；当第一遮挡区域的特征值小于预设特征阈值时，判断第一遮挡区域的周围区域的像素特征是否满足预设条件；其中，第一遮挡区域的特征值包括第一遮挡区域的面积、第一遮挡区域的像素总数及第一遮挡区域在拍摄图像中所占比例中的至少一个；当像素特征满足预设条件时，基于周围区域对第一遮挡区域进行修复。本申请实施例通过采用上述技术方案，在保证拍摄图像完整性的前提下，不仅可以使拍摄图像更接近摄像头未被遮挡时拍摄的图像，而且可以有效提高拍摄图像的质量。

Description

图像处理方法、装置、存储介质及移动终端

技术领域

本申请实施例涉及图像处理领域，尤其涉及图像处理方法、装置、存储介质及移动终端。

背景技术

随着电子技术的快速发展和人们生活水平的日益提高，终端设备已经成为人们生活中必不可少的一部分。现在大多数的终端都具有拍照摄像功能，而且拍照或摄像功能深受用户喜爱，且得到越来越广泛的应用。用户通过终端的拍照摄像功能，记录生活中的点点滴滴，并保存在终端中，便于日后回忆、欣赏及查看。

然而，在一些情况下，在用户拍摄照片或视频的过程中，存在遮挡物遮挡部分摄像头的情况，导致拍摄画面质量较差，影响拍摄图像的美观。因此，提高拍摄图像的质量变得至关重要。

发明内容

本申请实施例提供图像处理方法、装置、存储介质及移动终端，可以有效提高拍摄图像的质量。

第一方面，本发明实施例提供了一种图像处理方法，包括：

当遮挡检测事件被触发时，获取摄像头的拍摄图像；

对所述拍摄图像进行遮挡检测，确定所述拍摄图像中的第一遮挡区域；

当所述第一遮挡区域的特征值小于预设特征阈值时，判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件；其中，所述第一遮挡区域的特征值包括第一遮挡区域的面积、第一遮挡区域的像素总数及第一遮挡区域在所述拍摄图像中所占比例中的至少一个；

当所述像素特征满足预设条件时，基于所述周围区域对所述第一遮挡区域进行修复。

第二方面，本发明实施例提供了一种图像处理装置，包括：

拍摄图像获取模块，用于当遮挡检测事件被触发时，获取摄像头的拍摄图像；

遮挡区域确定模块，用于对所述拍摄图像进行遮挡检测，确定所述拍摄图像中的第一遮挡区域；

遮挡区域判断模块，用于当所述第一遮挡区域的特征值小于预设特征阈值时，判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件；其中，所述第一遮挡区域的特征值包括第一遮挡区域的面积、第一遮挡区域的像素总数及第一遮挡区域在所述拍摄图像中所占比例中的至少一个；

遮挡区域修复模块，用于当所述像素特征满足预设条件时，基于所述周围区域对所述第一遮挡区域进行修复。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的图像处理方法。

第四方面，本申请实施例提供了一种移动终端，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的图像处理方法。

本发明实施例中提供的图像处理方案，当遮挡检测事件被触发时，获取摄像头的拍摄图像，并对拍摄图像进行遮挡检测，确定拍摄图像中的第一遮挡区域，当第一遮挡区域的特征值小于预设特征阈值时，判断第一遮挡区域的周围区域的像素特征是否满足预设条件，其中，周围区域的面积大于遮挡区域面积，第一遮挡区域的特征值包括第一遮挡区域的面积、第一遮挡区域的像素总数及第一遮挡区域在拍摄图像中所占比例中的至少一个，当像素特征满足预设条件时，基于周围区域对第一遮挡区域进行修复。通过本申请实施例提供的技术方案，可以在遮挡区域较小，且遮挡区域的周围区域的像素特征满足预设条件时，基于周围区域对遮挡区域进行修复，在保证拍摄图像完整性的前提下，不仅可以使拍摄图像更接近摄像头未被遮挡时拍摄的图像，而且可以有效提高拍摄图像的质量。

附图说明

图1为本发明实施例提供的一种图像处理方法的流程示意图；

图2为本发明实施例提供的另一种图像处理方法的流程示意图；

图3为本发明实施例提供的又一种图像处理方法的流程示意图；

图4为本发明实施例提供的一种图像处理装置的结构框图；

图5为本申请实施例提供的一种移动终端的结构示意图；

图6为本发明实施例提供的一种移动终端的结构示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图1为本发明实施例提供的图像处理方法的流程示意图，本实施例可适用于图像遮挡检测的情况，该方法可以由图像处理装置执行，其中该装置可由软件和/或硬件实现，一般可集成在移动终端中。如图1所示，该方法包括：

步骤101、当遮挡检测事件被触发时，获取摄像头的拍摄图像。

示例性的，本申请实施例中的移动终端可包括手机及平板电脑等移动设备。

当遮挡检测事件被触发时，获取摄像头的拍摄图像，从而启动遮挡检测事件。

示例性的，为了在合适的时机进行遮挡检测，可以预先设置遮挡检测事件被触发的条件。可选的，监听是否接收到遮挡检测指令；当接收到所述遮挡检测指令时，确定遮挡检测事件被触发，这样可以更准确地满足用户对遮挡检测的真实需求。可以理解的是，当接收到用户输入的遮挡检测指令时，表明检测到当前用户主动打开遮挡检测权限，此时，触发遮挡检测事件。可选的，为了使遮挡检测应用于更有价值的应用时机，以节省遮挡检测所带来的额外功耗，可对遮挡检测的应用时机和应用场景进行分析或调研等，设置合理的预设场景，在检测到移动终端处于预设场景时，触发遮挡检测事件。示例性的，获取拍摄图像的曝光度；当所述曝光度大于预设曝光阈值时，确定遮挡检测事件被触发。可以理解的是，当拍摄图像的曝光度较大时，说明在拍摄阶段，用户很可能会为了避免过曝光的情况发生，用衣物或手等来尽可能的降低图像的曝光度。因此，当拍摄图像的曝光度大于预设曝光阈值时，触发遮挡检测事件被触发。又如，当移动终端所处位置的环境光亮度大于预设亮度阈值时，触发遮挡检测事件。可以理解的是，当环境光亮度较大时，容易造成拍摄的图像过曝光，用户为了降低环境光亮度，减少过曝光的情况发生的可能性，通常会用衣物或手来降低过亮的环境光对拍照的影响。但是，在这个过程中，容易在用户不注意的情况下，对摄像头产生部分遮挡。需要说明的是，本申请实施例对遮挡检测事件被触发的具体表现形式不做限定。

在本申请实施例中，当遮挡检测事件被触发时，获取摄像头的拍摄图像。可以理解的是，当用户需要拍照时，打开终端的拍摄功能，如打开终端中的相机应用，即打开终端的摄像头，通过摄像头对待拍摄对象进行拍摄，生成拍摄图像。其中，拍摄图像可以是摄像头拍摄的视频图像中的至少一帧图像，也可以是摄像头连拍的多张图像中的至少一帧图像，还可以是摄像头拍摄的单张图像，本申请实施例对此不做限定。另外，摄像头可以为2D摄像头，也可以为3D摄像头。3D摄像头又可以称为3D传感器。3D摄像头与普通摄像头(也即2D摄像头)的区别在于，3D摄像头不仅可以获取平面图像，还可以获取拍摄对象的深度信息，也就是三维的位置和尺寸信息。当摄像头为2D摄像头时，获取的摄像头的拍摄图像为2D拍摄图像；当摄像头为3D摄像头时，获取的拍摄图像为3D拍摄图像。

步骤102、对所述拍摄图像进行遮挡检测，确定所述拍摄图像中的第一遮挡区域。

在本申请实施例中，对拍摄图像进行遮挡检测，确定拍摄图像中的第一遮挡区域，可以包括：基于图像识别技术对拍摄图像进行分析，根据分析结果确定拍摄图像中的第一遮挡区域。示例性的，对拍摄图像的模糊度进行分析，将拍摄图像中模糊度较大的图像区域，确定为第一遮挡区域。可以理解的是，拍摄图像的模糊度反映了拍摄图像的图像质量，模糊度越高，对应的图像质量越差，反之，模糊度越低，对应的图像质量越高。可以理解的是，当拍摄图像中存在遮挡区域时，造成遮挡区域的遮挡物通常在摄像头的焦距范围之外，也即摄像头对遮挡物进行拍摄时，通常是无法对准摄像头焦距的，会造成遮挡物对应的图像区域的模糊度较高，也即遮挡区域的模糊程度较大，遮挡区域缺乏明显的纹理特征或尖锐的边缘特征，会进一步影响整个拍摄预览图像的模糊度。因此，可以将模糊度较大的图像区域，如将模糊度大于预设模糊度阈值的图像区域，确定为第一遮挡区域。

可选的，将拍摄图像输入至预先训练的遮挡区域确定模型中，根据遮挡区域确定模型的输出结果确定拍摄图像中的第一遮挡区域。需要说明的是，本申请实施例对确定拍摄图像中的第一遮挡区域的方式不做限定。

步骤103、当所述第一遮挡区域的特征值小于预设特征阈值时，判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件。

其中，所述第一遮挡区域的特征值包括第一遮挡区域的面积、第一遮挡区域的像素总数及第一遮挡区域在所述拍摄图像中所占比例中的至少一个。

在本申请实施例中，第一遮挡区域的特征值反映了第一遮挡区域在拍摄图像中的大小。其中，第一遮挡区域的特征值越大，表示第一遮挡区域在拍摄图像中所占的图像比例越大。示例性的，当第一遮挡区域的特征值为第一遮挡区域的面积时，第一遮挡区域的特征值小于预设特征阈值，可以理解为第一遮挡区域的面积小于预设面积阈值，即表示第一遮挡区域的面积足够小。当第一遮挡区域的特征值为第一遮挡区域的像素总数时，第一遮挡区域的特征值小于预设特征阈值，可以理解为第一遮挡区域的像素总数小于预设像素数阈值，即表示第一遮挡区域对应图像中所包含的像素数足够少。当第一遮挡区域的特征值为第一遮挡区域在拍摄图像中所占比例时，第一遮挡区域的特征值小于预设特征阈值，可以理解为第一遮挡区域在拍摄图像中所占比例小于预设比例阈值，即表示第一遮挡区域占这个拍摄图像的比例足够小。

当第一遮挡区域的特征值小于预设特征阈值时，进一步判断第一遮挡区域的周围区域的像素特征是否满足预设条件。其中，周围区域可以包括分布在第一遮挡区域四周，且与第一遮挡区域的形状及面积大小完全相同的图像区域，也可以包括分布在第一遮挡区域四周，且与第一遮挡区域的外接规则图形完全相同的图像区域。例如，第一遮挡区域为不规则形状，则从第一遮挡区域的四周截取，与第一遮挡区域的外接矩形或外接圆的面积和形状完全相同的图像区域，作为第一遮挡区域的周围区域。当然，周围区域也可以是与第一遮挡区域或第一遮挡区域的外接规则图形的形状相同，面积更大的图像区域。周围区域还可以是与第一遮挡区域或第一遮挡区域的外接规则图形的形状相同，面积稍小的图像区域。另外，周围区域的个数可以为一个，也可以为多个。示例性的，第一遮挡区域分布在拍摄图像的右上角，则从第一遮挡区域的左方和下方的周围区域中分别截取一个与第一遮挡区域对应的周围区域。又示例性的，还可以从第一遮挡区域的四周截取多个面积大小不同的周围区域。当周围区域为多个时，各个周围区域的形状和面积大小可以相同，也可以不同。需要说明的是，本申请实施例对第一遮挡区域的周围区域数量、形状及大小不做限定。

其中，周围区域的像素特征反映了周围区域对应的图像中的像素特征信息，如周围区域对应图像的像素值的变化情况，又如周围区域对应图像的像素分布情况等。判断周围区域的像素特征是否满足预设条件，如判断周围区域对应的图像的像素值是否恒定不变，也即周围区域对应的图像是否呈单一像素；又如，判断周围区域对应的图像的像素值的变化情况是否满足一定规律，如像素值先增大后减小，然后再增大，而后又减小的渐变的变化规律；再如，判断周围区域对应的图像的像素分布呈递增或递减的线性分布。需要说明的是，本申请实施例对周围区域的像素特征满足预设条件不做具体限定。

步骤104、当所述像素特征满足预设条件时，基于所述周围区域对所述第一遮挡区域进行修复。

在本申请实施例中，当周围区域的像素特征满足预设条件时，基于周围区域对第一遮挡区域进行修复。示例性的，当周围区域的面积小于第一遮挡区域的面积时，可以从该周围区域中随机截取一个图像块，或者从周围区域中截取与第一遮挡区域相邻的图像块，并基于该图像块对第一遮挡区域进行修复。又示例性的，当周围区域的面积大于第一遮挡区域的面积时，从周围区域中截取与第一遮挡区域的形状和面积大小完全相同的图像块，用该图像块对第一遮挡区域进行修复。其中，基于图像块对第一遮挡区域进行修复，可以包括：用图像块对应图像的像素值代替第一遮挡区域对应图像的像素值。需要说明的是，基于周围区域对第一遮挡区域进行修复的方式不做限定。

本发明实施例中提供的图像处理方法，当遮挡检测事件被触发时，获取摄像头的拍摄图像，并对拍摄图像进行遮挡检测，确定拍摄图像中的第一遮挡区域，当第一遮挡区域的特征值小于预设特征阈值时，判断第一遮挡区域的周围区域的像素特征是否满足预设条件，其中，周围区域的面积大于遮挡区域面积，第一遮挡区域的特征值包括第一遮挡区域的面积、第一遮挡区域的像素总数及第一遮挡区域在拍摄图像中所占比例中的至少一个，当像素特征满足预设条件时，基于周围区域对第一遮挡区域进行修复。通过本申请实施例提供的技术方案，可以在遮挡区域较小，且遮挡区域的周围区域的像素特征满足预设条件时，基于周围区域对遮挡区域进行修复，在保证拍摄图像完整性的前提下，不仅可以使拍摄图像更接近摄像头未被遮挡时拍摄的图像，而且可以有效提高拍摄图像的质量。

在一些实施例中，所述像素特征包括像素跳变值；当所述像素特征满足预设条件时，基于所述周围区域对所述第一遮挡区域进行修复，包括：当所述像素跳变值小于预设跳变阈值时，从所述周围区域中确定修复像素块；基于所述修复像素块对所述第一遮挡区域进行修复。这样设置的好处在于，在保证拍摄图像完整性的前提下，可以使拍摄图像更接近摄像头未被遮挡时拍摄的图像，进一步提高拍摄图像的质量。

在本申请实施例中，像素跳变值反映了周围区域对应的图像的像素值的变化情况。其中，像素跳变值可以包括周围区域对应的图像中相邻像素的像素值差值的最大值，也可以包括周围区域对应的图像中相邻像素的像素值差值的均值。像素跳变值越大，表示周围区域对应的图像的颜色变化越明显，反之，像素跳变值越小，表示周围区域对应的图像的颜色变化越小，如周围区域对应的图像为单一色图像，或者为接近单一色的图像。当像素跳变值小于预设跳变阈值时，表明第一遮挡区域四周的周围区域对应的图像颜色(即像素值)变化较小，或为单一色，此时，说明第一遮挡区域对应的图像颜色(即像素值)与周围区域的颜色相差不是很大，可以从周围区域中确定修复块，并基于修复块对第一遮挡区域进行修复。

示例性的，当周围区域为与第一遮挡区域的形状及面积大小完全相同的图像区域时，可以直接将该周围区域作为修复块，用该修复块对第一遮挡区域记性修复，也即用周围区域覆盖该第一遮挡区域。当周围区域为与第一遮挡区域的外接规则图形完全相同的图像区域时，可以从该周围区域中截取与第一遮挡区域的形状及面积大小完全相同的图像区域，作为修复块，对第一遮挡区域进行修复，也可以从该周围区域中随机截取预设大小的图像块作为修复块，通过多个修复块对第一遮挡区域进行修复。当周围区域的面积小于第一遮挡区域的面积时，可以从该周围区域中截取像素跳变值最小的图像块作为修复块，或者从周围区域中截取与第一遮挡区域相邻的图像块作为修复块，并基于该修复块对第一遮挡区域进行修复。其中，基于修复块对第一遮挡区域进行修复，可以包括：用修复块对应图像的像素值代替第一遮挡区域对应图像的像素值。

在一些实施例中，所述像素特征包括像素分布特征；当所述像素特征满足预设条件时，基于所述周围区域对所述第一遮挡区域进行修复，包括：当所述像素分布特征为像素呈线性分布时，基于像素线性分布特征确定所述第一遮挡区域对应的目标像素块；基于所述目标像素块对所述第一遮挡区域进行修复。这样设置的好处在于，在保证拍摄图像完整性的前提下，根据遮挡区域的周围区域的像素线性分布特征，修复遮挡区域，可以使拍摄图像更接近摄像头未被遮挡时拍摄的图像，进一步提高拍摄图像的质量。

在本申请实施例中，周围区域的像素分布特征反映了周围区域对应图像的像素值的分布特征。当像素分布特征为像素呈线性分布时，即像素分布特征为像素线性分布特征，说明周围区域的像素值的变化呈线性变化。其中，像素线性分布包括像素递增的线性分布、像素递减的像素分布及像素恒定的线性分布。示例性的，当周围区域的像素分布为像素递增的线性分布时，说明周围区域对应的图像的像素值，从左至右或从下至上按照线性关系依次递增。当周围区域的像素分布为像素递减的线性分布时，说明周围区域对应的图像的像素值，从左至右或从下至上按照线性关系依次递减。当周围区域的像素分布为恒定的线性分布时，说明周围区域对应的图像的像素值恒定不变。

示例性的，基于周围区域的像素线性分布特征确定第一遮挡区域对应的目标像素块。其中，第一遮挡区域对应的目标像素块可以理解为与第一遮挡区域形状和面积大小完全相同的图像区域，但是，该目标像素块对应的像素值与第一遮挡区域对应的像素值不同，目标像素块对应的像素值能够更真实地反映，摄像头未被遮挡时，第一遮挡区域所对应的实际图像区域的像素分布情况。示例性的，按照y＝kx的函数关系，计算目标像素块中的各个像素值。其中，x表示拍摄图像中的像素位置(或者说拍摄图像中的第几个像素点)，y表示像素点对应的像素值，k表示像素值与像素位置之间的变化系数。当像素分布为像素递增的线性分布时，若第一遮挡区域位于周围区域的右侧，则根据递增的线性分布确定第一遮挡区域对应的目标像素块，此时，k为大于0的正数，计算的目标像素块中的像素值随着像素位置的增加，而不断增大。当像素分布为像素递减的线性分布时，若第一遮挡区域位于周围区域的右侧，则根据递减的线性分布确定第一遮挡区域对应的目标像素块，此时，k为小于0的正数，计算的目标像素块中的像素值随着像素位置的增加，而不断减小。当像素分布为像素递减的线性分布时，目标像素块中的像素值与周围区域中的像素值相同。

其中，基于目标像素块对第一遮挡区域进行修复，可以理解为用目标像素块中的像素值代替第一遮挡区域对应图像的像素值。

在一些实施例中，在判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件之前，还包括：确定所述拍摄图像中的主体区域；判断所述第一遮挡区域与所述主体区域是否存在重叠；判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件，包括：当所述第一遮挡区域与所述主体区域不存在重叠时，判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件。这样设置的好处在于，可以在保证遮挡区域对拍摄图像中的主体图像不影响的前提下，也即在保证拍摄的主体图像的完整性的前提下，对拍摄图像中的遮挡区域进行修复，可以进一步提高拍摄图像的质量。

在本申请实施例中，当第一遮挡区域的特征值小于预设特征阈值时，说明第一遮挡区域在整个拍摄图像中所占的图像比例足够小，但如果，此时第一遮挡区域刚好位于拍摄图像的主体图像上，也即第一遮挡区域的存在使拍摄图像的主体图像不完整，如果继续基于周围区域对第一遮挡区域进行修复，无法准确确定第一遮挡区域的像素值分布情况，也无法保证拍摄图像中的主体图像的完整性，而且还会使整个拍摄图像看起来比较突兀，不够协调、美观。因此，当第一遮挡区域的特征值小于预设特征阈值时，确定拍摄图像中的主体区域，并当第一遮挡区域与主体区域不存在重叠时，再进一步判断第一遮挡区域的周围区域的像素特征是否满足预设条件。其中，主体区域为拍摄图像中的主体图像对应的图像区域，也即主体区域对应的图像中包含了拍摄图像的主体图像。示例性的，基于图像识别技术对拍摄图像中的主体图像进行识别，其中，主体图像包括拍摄时摄像头的主要拍摄物，在拍摄图像中呈现的图像。例如，拍摄物可以包括博物馆、儿童、小狗、花海及树木等不同的拍摄对象，则主体图像为与拍摄物对应的图像。可以将主体图像所对应的图像区域作为主体区域，也可以将主体图像所对应的外接规则图像区域作为主体区域。当第一遮挡区域与主体图像不重叠时，说明第一遮挡区域虽然影响了这个拍摄图像的美观性，但是并未影响主体图像的完整性，即第一遮挡区域并未覆盖部分主体图像，此时，可以基于周围区域对第一遮挡区域进行修复，以到达对拍摄图像美化的效果。

在一些实施例中，对所述拍摄图像进行遮挡检测，确定所述拍摄图像中的第一遮挡区域，包括：将所述拍摄图像输入至预先训练的遮挡区域确定模型中；其中，所述遮挡区域确定模型基于遮挡区域在图像中呈现的特征规律生成；根据所述遮挡区域确定模型的输出结果确定所述拍摄图像中的第一遮挡区域。这样设置的好处在于，通过预先构建的遮挡区域确定模型对拍摄图像进行遮挡检测，可以准确、快速地确定出拍摄图像中的遮挡区域。

在本申请实施例中，遮挡区域确定模型可以理解为在输入拍摄图像后，可以快速确定出拍摄图像中的遮挡区域的学习模型，也即可快速判断出遮挡区域在拍摄图像中的具体分布区域的学习模型。遮挡区域确定模型可以包括神经网络模型、决策树模型及随机森林模型等机器学习模型中的任意一种。遮挡区域确定模型可以是对样本库中包括存在遮挡区域的样本图像，并在样本图像中标注了遮挡区域的样本训练集进行训练生成的。示例性的，遮挡区域确定模型基于遮挡区域在图像中呈现的特征规律生成。可以理解的是，在一张图像中遮挡区域和非遮挡区域呈现的特征是不同的，因此，可以对遮挡区域在图像中呈现的特征规律进行学习，生成遮挡区域确定模型。其中，遮挡区域在图像中呈现的特征可以包括：遮挡区域在图像中的大小、遮挡区域在图像中的位置、遮挡区域在图像中的形状、遮挡区域的亮度、遮挡区域的颜色、遮挡区域的模糊度及遮挡区域的纹理中的至少一个。在遮挡检测事件被触发时，获取摄像头的拍摄图像，并将获取的拍摄图像输入至遮挡区域确定模型中，遮挡区域确定模型可以对该拍摄图像的特征信息进行分析，并可以根据分析结果确定该拍摄图像中的遮挡区域，也即确定拍摄图像中具体哪一部分图像区域为第一遮挡区域。

示例性的，将拍摄图像输入至遮挡区域确定模型后，遮挡区域确定模型经分析确定拍摄图像中存在遮挡区域，则遮挡区域确定模型可以输出标记有第一遮挡区域的拍摄图像。即，此时遮挡区域确定模型的输出结果也是拍摄图像，只不过在拍摄图像中标记出了第一遮挡区域。将拍摄图像输入至遮挡区域确定模型后，遮挡区域确定模型经分析确定拍摄图像中不存在遮挡区域，则遮挡区域确定模型可以输出与输入的拍摄图像完全相同的图像，即输出的拍摄图像中不带任何标记。

在一些实施例中，在将所述拍摄图像输入至预先训练的遮挡区域确定模型中之前，还包括：获取样本图像，其中，所述样本图像包括存在第二遮挡区域的图像；在所述样本图像中对所述第二遮挡区域进行标注，并将标注第二遮挡区域后的样本图像作为训练样本集；利用所述训练样本集对预设机器学习模型进行训练以对所述第二遮挡区域的特征规律进行学习，得到遮挡区域确定模型。这样设置的好处在于，将包括遮挡区域的样本图像作为遮挡区域确定模型的样本来源，并对样本图像中的遮挡区域进行标注，可以大大提高对遮挡区域确定模型训练的精度。

在本申请实施例中，获取样本图像，其中，样本图像包括存在第二遮挡区域的图像。其中，可以基于图像处理技术确定样本图像中的第二遮挡区域，还可以根据用户的圈选操作确定样本图像中的第二遮挡区域。在样本图像中对第二遮挡区域进行标注，也即将第二遮挡区域对应的图像区域标注在对应的第二样本图像中。将标注第二遮挡区域后的第二样本图像作为训练样本集，并利用训练样本集对预设机器学习模型进行训练，以对第二遮挡区域的特征规律进行学习，得到遮挡区域确定模型。示例性的，预设机器学习模型对训练样本中的第二遮挡区域的形状、颜色、亮度、模糊度、纹理信息及第二遮挡区域在样本图像中的位置等一系列信息进行学习，根据第二遮挡区域在样本图像中呈现的特征规律，生成遮挡区域确定模型。其中，预设机器学习模型可以包括神经网络模型、决策树模型、随机森林模型及朴素贝叶斯模型中的任意一种。本申请实施例对预设机器学习模型不做限定。

其中，在将拍摄图像输入至预先训练的遮挡区域确定模型中之前，获取遮挡区域确定模型。需要说明的是，可以是移动终端获取上述样本图像，并将标注第二遮挡区域的第二样本图像作为训练样本集，利用该训练样本集对预设机器学习模型进行训练，直接生成遮挡区域确定模型。还可以是移动终端直接调用其他移动终端训练生成的遮挡区域确定模型。当然，也可以通过服务器基于预设机器学习模型对训练样本集进行训练，得到遮挡区域确定模型。当移动终端需要确定拍摄图像中的遮挡区域时，从服务器调用已训练好的遮挡区域确定模型。

图2为本申请实施例提供的图像处理方法的流程示意图。如图2所示，该方法包括：

步骤201、当遮挡检测事件被触发时，获取摄像头的拍摄图像。

其中，监听是否接收到遮挡检测指令；当接收到遮挡检测指令时，确定遮挡检测事件被触发；或获取拍摄图像的曝光度；当曝光度大于预设曝光阈值时，确定遮挡检测事件被触发。

步骤202、对拍摄图像进行遮挡检测，确定拍摄图像中的第一遮挡区域。

步骤203、当第一遮挡区域的特征值小于预设特征阈值时，确定拍摄图像中的主体区域。

其中，第一遮挡区域的特征值包括第一遮挡区域的面积、第一遮挡区域的像素总数及第一遮挡区域在拍摄图像中所占比例中的至少一个。

步骤204、判断第一遮挡区域与主体区域是否存在重叠，若是，则执行步骤208，否则，执行步骤205。

步骤205、获取第一遮挡区域的周围区域的像素跳变值。

步骤206、当像素跳变值小于预设跳变阈值时，从周围区域中确定修复块。

步骤207、基于修复块对第一遮挡区域进行修复，以对拍摄图像进行美化。

步骤208、不对第一遮挡区域进行处理操作。

本申请实施例提供的图像处理方法，当第一遮挡区域的面积小于预设阈值，且第一遮挡区域与主体区域不存在重叠时，获取第一遮挡区域的周围区域的像素跳变值，并当像素跳变值小于预设跳变阈值时，从周围区域中确定修复块，并基于修复块对第一遮挡区域进行修复。通过采用上述技术方案，在保证拍摄图像完整性的前提下，可以使拍摄图像更接近摄像头未被遮挡时拍摄的图像，进一步提高拍摄图像的质量。

图3为本申请实施例提供的图像处理方法的流程示意图。如图3所示，该方法包括：

步骤301、获取样本图像。

其中，样本图像包括存在第二遮挡区域的图像。

步骤302、在样本图像中对第二遮挡区域进行标注，并将标注第二遮挡区域后的样本图像作为训练样本集。

步骤303、利用训练样本集对预设机器学习模型进行训练以对第二遮挡区域的特征规律进行学习，得到遮挡区域确定模型。

其中，遮挡区域在图像中呈现的特征包括：遮挡区域在图像中的大小、遮挡区域在图像中的位置、遮挡区域在图像中的形状、遮挡区域的亮度、遮挡区域的颜色、遮挡区域的模糊度及遮挡区域的纹理中的至少一个。

步骤304、当遮挡检测事件被触发时，获取摄像头的拍摄图像。

其中，监听是否接收到遮挡检测指令；当接收到遮挡检测指令时，确定遮挡检测事件被触发；或获取拍摄图像的曝光度；当曝光度大于预设曝光阈值时，确定遮挡检测事件被触发。

步骤305、将拍摄图像输入至预先训练的遮挡区域确定模型中。

其中，遮挡区域确定模型基于遮挡区域在图像中呈现的特征规律生成；

步骤306、根据遮挡区域确定模型的输出结果确定拍摄图像中的第一遮挡区域。

步骤307、当第一遮挡区域的面积小于预设阈值时，确定拍摄图像中的主体区域。

步骤308、判断第一遮挡区域与主体区域是否存在重叠，若是，则执行步骤312，否则，执行步骤309。

步骤309、获取第一遮挡区域的周围区域的像素分布特征。

步骤310、当像素分布特征为像素呈线性分布时，基于像素线性分布特征确定第一遮挡区域对应的目标像素块。

步骤311、基于目标像素块对第一遮挡区域进行修复，以对拍摄图像进行美化。

步骤312、不对第一遮挡区域进行处理操作。

本申请实施例提供的图像处理方法，将拍摄图像输入至预先训练的遮挡区域确定模型中，根据遮挡区域确定模型的输出结果确定拍摄图像中的第一遮挡区域，并当第一遮挡区域与主体区域不存在重叠时，基于第一遮挡区域的周围区域的像素线性分布特征确定第一遮挡区域对应的目标像素块，并基于目标像素块对第一遮挡区域进行修复。通过采用上述技术方案，可以通过预先构建的遮挡区域确定模型对拍摄图像进行遮挡检测，准确、快速地确定出拍摄图像中的遮挡区域，并在保证拍摄的主体图像的完整性的前提下，可以使拍摄图像更接近摄像头未被遮挡时拍摄的图像，进一步提高拍摄图像的质量。

图4为本申请实施例提供的一种图像处理装置的结构框图，该装置可由软件和/或硬件实现，一般集成在移动终端中，可通过执行图像处理方法来提高拍摄图像的质量。如图4所示，该装置包括：

拍摄图像获取模块401，用于当遮挡检测事件被触发时，获取摄像头的拍摄图像；

遮挡区域确定模块402，用于对所述拍摄图像进行遮挡检测，确定所述拍摄图像中的第一遮挡区域；

遮挡区域判断模块403，用于当所述第一遮挡区域的特征值小于预设特征阈值时，判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件；其中，所述第一遮挡区域的特征值包括第一遮挡区域的面积、第一遮挡区域的像素总数及第一遮挡区域在所述拍摄图像中所占比例中的至少一个；

遮挡区域修复模块404，用于当所述像素特征满足预设条件时，基于所述周围区域对所述第一遮挡区域进行修复。

本申请实施例提供的图像处理装置，当遮挡检测事件被触发时，获取摄像头的拍摄图像，并对拍摄图像进行遮挡检测，确定拍摄图像中的第一遮挡区域，当第一遮挡区域的特征值小于预设特征阈值时，判断第一遮挡区域的周围区域的像素特征是否满足预设条件，其中，周围区域的面积大于遮挡区域面积，第一遮挡区域的特征值包括第一遮挡区域的面积、第一遮挡区域的像素总数及第一遮挡区域在拍摄图像中所占比例中的至少一个，当像素特征满足预设条件时，基于周围区域对第一遮挡区域进行修复。通过本申请实施例提供的技术方案，可以在遮挡区域较小，且遮挡区域的周围区域的像素特征满足预设条件时，基于周围区域对遮挡区域进行修复，在保证拍摄图像完整性的前提下，不仅可以使拍摄图像更接近摄像头未被遮挡时拍摄的图像，而且可以有效提高拍摄图像的质量。

可选的，所述像素特征包括像素跳变值；

所述遮挡区域修复模块，用于：

当所述像素跳变值小于预设跳变阈值时，从所述周围区域中确定修复像素块；

基于所述修复像素块对所述第一遮挡区域进行修复。

可选的，所述像素特征包括像素分布特征；

所述遮挡区域修复模块，用于：

当所述像素分布特征为像素呈线性分布时，基于像素线性分布特征确定所述第一遮挡区域对应的目标像素块；

基于所述目标像素块对所述第一遮挡区域进行修复。

可选的，该装置还包括：

主体区域确定模块，用于在判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件之前，确定所述拍摄图像中的主体区域；

重叠判断模块，用于判断所述第一遮挡区域与所述主体区域是否存在重叠；

所述遮挡区域判断模块，用于：

当所述第一遮挡区域与所述主体区域不存在重叠时，判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件。

可选的，遮挡区域确定模块，用于：

将所述拍摄图像输入至预先训练的遮挡区域确定模型中；其中，所述遮挡区域确定模型基于遮挡区域在图像中呈现的特征规律生成；

根据所述遮挡区域确定模型的输出结果确定所述拍摄图像中的第一遮挡区域。

可选的，该装置还包括：

样本图像获取模块，用于在将所述拍摄图像输入至预先训练的遮挡区域确定模型中之前，获取样本图像，其中，所述样本图像包括存在第二遮挡区域的图像；

遮挡区域标注模块，用于在所述样本图像中对所述第二遮挡区域进行标注，并将标注第二遮挡区域后的样本图像作为训练样本集；

遮挡区域确定模型训练模块，用于利用所述训练样本集对预设机器学习模型进行训练以对所述第二遮挡区域的特征规律进行学习，得到遮挡区域确定模型。

可选的，遮挡检测事件被触发，包括：

监听是否接收到遮挡检测指令；当接收到所述遮挡检测指令时，确定遮挡检测事件被触发；或

获取拍摄图像的曝光度；当所述曝光度大于预设曝光阈值时，确定遮挡检测事件被触发。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行图像处理方法，该方法包括：

当遮挡检测事件被触发时，获取摄像头的拍摄图像；

对所述拍摄图像进行遮挡检测，确定所述拍摄图像中的第一遮挡区域；

当所述第一遮挡区域的特征值小于预设特征阈值时，判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件；其中，所述第一遮挡区域的特征值包括第一遮挡区域的面积、第一遮挡区域的像素总数及第一遮挡区域在所述拍摄图像中所占比例中的至少一个；

当所述像素特征满足预设条件时，基于所述周围区域对所述第一遮挡区域进行修复。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的图像处理操作，还可以执行本申请任意实施例所提供的图像处理方法中的相关操作。

本申请实施例提供了一种移动终端，该移动终端中可集成本申请实施例提供的图像处理装置。图5为本申请实施例提供的一种移动终端的结构示意图。移动终端500可以包括：存储器501，处理器502及存储在存储器上并可在处理器运行的计算机程序，所述处理器502执行所述计算机程序时实现如本申请实施例所述的图像处理方法。

本申请实施例提供的移动终端，可以在遮挡区域较小，且遮挡区域的周围区域的像素特征满足预设条件时，基于周围区域对遮挡区域进行修复，在保证拍摄图像完整性的前提下，不仅可以使拍摄图像更接近摄像头未被遮挡时拍摄的图像，而且可以有效提高拍摄图像的质量。

图6为本申请实施例提供的另一种移动终端的结构示意图，该移动终端可以包括：壳体(图中未示出)、存储器601、中央处理器(central processing unit，CPU)602(又称处理器，以下简称CPU)、电路板(图中未示出)和电源电路(图中未示出)。所述电路板安置在所述壳体围成的空间内部；所述CPU602和所述存储器601设置在所述电路板上；所述电源电路，用于为所述移动终端的各个电路或器件供电；所述存储器601，用于存储可执行程序代码；所述CPU602通过读取所述存储器601中存储的可执行程序代码来运行与所述可执行程序代码对应的计算机程序，以实现以下步骤：

当遮挡检测事件被触发时，获取摄像头的拍摄图像；

对所述拍摄图像进行遮挡检测，确定所述拍摄图像中的第一遮挡区域；

当所述第一遮挡区域的特征值小于预设特征阈值时，判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件；其中，所述第一遮挡区域的特征值包括第一遮挡区域的面积、第一遮挡区域的像素总数及第一遮挡区域在所述拍摄图像中所占比例中的至少一个；

当所述像素特征满足预设条件时，基于所述周围区域对所述第一遮挡区域进行修复。

所述移动终端还包括：外设接口603、RF(Radio Frequency，射频)电路605、音频电路606、扬声器611、电源管理芯片608、输入/输出(I/O)子系统609、其他输入/控制设备610、触摸屏612、其他输入/控制设备610以及外部端口604，这些部件通过一个或多个通信总线或信号线607来通信。

应该理解的是，图示移动终端600仅仅是移动终端的一个范例，并且移动终端600可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

下面就本实施例提供的用于图像处理的移动终端进行详细的描述，该移动终端以手机为例。

存储器601，所述存储器601可以被CPU602、外设接口603等访问，所述存储器601可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

外设接口603，所述外设接口603可以将设备的输入和输出外设连接到CPU602和存储器601。

I/O子系统609，所述I/O子系统609可以将设备上的输入输出外设，例如触摸屏612和其他输入/控制设备610，连接到外设接口603。I/O子系统609可以包括显示控制器6091和用于控制其他输入/控制设备610的一个或多个输入控制器6092。其中，一个或多个输入控制器6092从其他输入/控制设备610接收电信号或者向其他输入/控制设备610发送电信号，其他输入/控制设备610可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是，输入控制器6092可以与以下任一个连接：键盘、红外端口、USB接口以及诸如鼠标的指示设备。

触摸屏612，所述触摸屏612是用户移动终端与用户之间的输入接口和输出接口，将可视输出显示给用户，可视输出可以包括图形、文本、图标、视频等。

I/O子系统609中的显示控制器6091从触摸屏612接收电信号或者向触摸屏612发送电信号。触摸屏612检测触摸屏上的接触，显示控制器6091将检测到的接触转换为与显示在触摸屏612上的用户界面对象的交互，即实现人机交互，显示在触摸屏612上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是，设备还可以包括光鼠，光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸。

RF电路605，主要用于建立手机与无线网络(即网络侧)的通信，实现手机与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地，RF电路605接收并发送RF信号，RF信号也称为电磁信号，RF电路605将电信号转换为电磁信号或将电磁信号转换为电信号，并且通过该电磁信号与移动通信网络以及其他设备进行通信。RF电路605可以包括用于执行这些功能的已知电路，其包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC(COder-DECoder，编译码器)芯片组、用户标识模块(Subscriber Identity Module，SIM)等等。

音频电路606，主要用于从外设接口603接收音频数据，将该音频数据转换为电信号，并且将该电信号发送给扬声器611。

扬声器611，用于将手机通过RF电路605从无线网络接收的语音信号，还原为声音并向用户播放该声音。

电源管理芯片608，用于为CPU602、I/O子系统及外设接口所连接的硬件进行供电及电源管理。

上述实施例中提供的图像处理装置、存储介质及移动终端可执行本申请任意实施例所提供的图像处理方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的图像处理方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种图像处理方法，其特征在于，包括：

当遮挡检测事件被触发时，获取摄像头的拍摄图像；

对所述拍摄图像进行遮挡检测，确定所述拍摄图像中的第一遮挡区域；

当所述第一遮挡区域的特征值小于预设特征阈值时，判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件；其中，所述第一遮挡区域的特征值包括第一遮挡区域的面积、第一遮挡区域的像素总数及第一遮挡区域在所述拍摄图像中所占比例中的至少一个；

当所述像素特征满足预设条件时，基于所述周围区域对所述第一遮挡区域进行修复；

其中，在判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件之前，还包括：

确定所述拍摄图像中的主体区域；

判断所述第一遮挡区域与所述主体区域是否存在重叠；

判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件，包括：

当所述第一遮挡区域与所述主体区域不存在重叠时，判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件。

2.根据权利要求1所述的方法，其特征在于，所述像素特征包括像素跳变值；

当所述像素特征满足预设条件时，基于所述周围区域对所述第一遮挡区域进行修复，包括：

当所述像素跳变值小于预设跳变阈值时，从所述周围区域中确定修复像素块；

基于所述修复像素块对所述第一遮挡区域进行修复。

3.根据权利要求1所述的方法，其特征在于，所述像素特征包括像素分布特征；

当所述像素特征满足预设条件时，基于所述周围区域对所述第一遮挡区域进行修复，包括：

当所述像素分布特征为像素呈线性分布时，基于像素线性分布特征确定所述第一遮挡区域对应的目标像素块；

基于所述目标像素块对所述第一遮挡区域进行修复。

4.根据权利要求1所述的方法，其特征在于，对所述拍摄图像进行遮挡检测，确定所述拍摄图像中的第一遮挡区域，包括：

将所述拍摄图像输入至预先训练的遮挡区域确定模型中；其中，所述遮挡区域确定模型基于遮挡区域在图像中呈现的特征规律生成；

根据所述遮挡区域确定模型的输出结果确定所述拍摄图像中的第一遮挡区域。

5.根据权利要求4所述的方法，其特征在于，在将所述拍摄图像输入至预先训练的遮挡区域确定模型中之前，还包括：

获取样本图像，其中，所述样本图像包括存在第二遮挡区域的图像；

在所述样本图像中对所述第二遮挡区域进行标注，并将标注第二遮挡区域后的样本图像作为训练样本集；

利用所述训练样本集对预设机器学习模型进行训练以对所述第二遮挡区域的特征规律进行学习，得到遮挡区域确定模型。

6.根据权利要求1-5任一所述的方法，其特征在于，遮挡检测事件被触发，包括：

监听是否接收到用户输入的遮挡检测指令；当接收到所述遮挡检测指令时，确定遮挡检测事件被触发；或

获取拍摄图像的曝光度；当所述曝光度大于预设曝光阈值时，确定遮挡检测事件被触发。

7.一种图像处理装置，其特征在于，包括：

拍摄图像获取模块，用于当遮挡检测事件被触发时，获取摄像头的拍摄图像；

遮挡区域确定模块，用于对所述拍摄图像进行遮挡检测，确定所述拍摄图像中的第一遮挡区域；

遮挡区域判断模块，用于当所述第一遮挡区域的特征值小于预设特征阈值时，判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件；其中，所述第一遮挡区域的特征值包括第一遮挡区域的面积、第一遮挡区域的像素总数及第一遮挡区域在所述拍摄图像中所占比例中的至少一个；

遮挡区域修复模块，用于当所述像素特征满足预设条件时，基于所述周围区域对所述第一遮挡区域进行修复；

其中，所述装置还包括：

主体区域确定模块，用于在判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件之前，确定所述拍摄图像中的主体区域；

重叠判断模块，用于判断所述第一遮挡区域与所述主体区域是否存在重叠；

所述遮挡区域判断模块，用于：

当所述第一遮挡区域与所述主体区域不存在重叠时，判断所述第一遮挡区域的周围区域的像素特征是否满足预设条件。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的图像处理方法。

9.一种移动终端，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一所述的图像处理方法。

Images