CN112040223A - 一种图像处理方法、终端设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法、终端设备及存储介质，涉及终端术领域，可以解决在摄像头存在污渍或裂纹，或者屏下摄像头所对应的屏幕区域存在污渍或裂纹的情况下，拍摄得到的图像的显示效果较差的问题。该方法包括：获取在非静止状态下采集的多帧图像；将多帧图像的像素点进行对比，得到对比结果；当根据对比结果确定多帧图像中存在常驻异常显示区域时，根据每帧图像的正常显示区域对存在的常驻异常显示区域进行修复；其中，常驻异常显示区域为多帧图像中出现频次高于频次阈值的相同异常显示区域。

Description

一种图像处理方法、终端设备及存储介质

技术领域

本发明实施例涉及终端技术领域，尤其涉及一种图像处理方法、终端设备 及存储介质。

背景技术

随着终端技术的发展，终端设备被广泛使用和普及，越来越多的用户喜欢 使用终端设备拍照或者摄像，但是在一些情况下可能因为在摄像头存在污渍， 或者，摄像头存在裂纹的情况下，可能会使得拍摄的图像中显示出这些污渍和 裂纹，对于设有屏下摄像头的终端设备，因为屏幕用户会经常触碰，所以在屏 下摄像头所对应的屏幕区域上存在污渍或者裂纹的情况会更普遍，如此在摄像 头存在污渍或裂纹，或者屏下摄像头所对应的屏幕区域存在污渍或裂纹的情况 下，拍摄得到的图像的显示效果较差。

发明内容

本发明实施例提供一种图像处理方法、终端设备及存储介质，用以解决在 摄像头存在污渍或裂纹，或者屏下摄像头所对应的屏幕区域存在污渍或裂纹的 情况下，拍摄得到的图像的显示效果较差的问题。

为了解决上述技术问题，本发明实施例是这样实现的：

第一方面，本发明实施例提供一种图像处理方法，包括：

获取在非静止状态下采集的多帧图像；

将所述多帧图像的像素点进行对比，得到对比结果；

当根据所述对比结果确定所述多帧图像中存在常驻异常显示区域时，根据 每帧图像的正常显示区域对存在的常驻异常显示区域进行修复；

其中，所述常驻异常显示区域为所述多帧图像中出现频次高于频次阈值的 相同异常显示区域。

第二方面，提供一种终端设备，包括：

获取模块，用于获取在非静止状态下采集的多帧图像；

处理模块，用于将所述多帧图像的像素点进行对比，得到对比结果；

当根据所述对比结果确定所述多帧图像中存在常驻异常显示区域时，根据 每帧图像的正常显示区域对存在的常驻异常显示区域进行修复；

其中，所述常驻异常显示区域为所述多帧图像中出现频次高于频次阈值的 相同异常显示区域。

第三方面，提供一种终端设备，包括：处理器、存储器及存储在所述存储 器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执 行时实现如第一方面所述的图像处理方法的步骤。

第四方面，提供一种计算机可读存储介质，包括：所述计算机可读存储介 质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的 图像处理方法的步骤。

本发明实施例中，可以获取在非静止状态下采集的多帧图像；将所述多帧 图像的像素点进行对比，得到对比结果；当根据所述对比结果确定所述多帧图 像中存在常驻异常显示区域时，根据每帧图像的正常显示区域对存在的常驻异 常显示区域进行修复；其中，所述常驻异常显示区域为所述多帧图像中出现频 次高于频次阈值的相同异常显示区域。通过该方案，由于获取在终端设备处于 非静止状态下采集的多帧图像，可以得到成像不同的多帧图像，在对这多帧图 像的像素点进行对比之后，根据对比结果可以确定出这多帧图像中是否多次出 现相同异常显示区域，如果多次出现相同异常显示区域，则可以确定这些相同 异常显示区域并非实际环境的成像内容，可能是摄像头上的污渍或者裂纹，或 者，可能是屏下摄像头对应的屏幕区域上的污渍或者裂纹造成的常驻异常显示 区域，此时可以对存在的常驻异常显示区域进行修复，这样对图像进行处理后， 可以得到接近于实际环境的成像内容，从而可以提高图像的显示效果。

附图说明

图1为本发明实施例提供的图像处理方法的流程图一；

图2为本发明实施例提供的一种两帧图像的对比示意图一；

图3为本发明实施例提供的一种两帧图像的对比示意图二；

图4为本发明实施例提供的图像处理方法的流程图二；

图5为本发明实施例提供的终端设备的结构示意图；

图6为本发明实施例提供的终端设备的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部 的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书中的术语“第一”和“第二”等是用于区别不同的对象，而不是 用于描述对象的特定顺序。例如，第一提示信息和第二提示信息等是用于区别 不同的提示信息，而不是用于描述提示信息的特定顺序。

需要说明的是，本发明实施例中，“示例性的”或者“例如”等词用于表示作例 子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例 或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而 言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本发明实施例中的终端设备可以是智能外设、移动终端设备，也可以为非 移动终端设备。移动终端设备可以为终端设备、平板电脑、笔记本电脑、掌上 电脑、车载终端设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA) 等；非移动终端设备可以为个人计算机(personal computer，PC)、电视机 (television，TV)、柜员机或者自助机等，本发明实施例不作具体限定。

本发明实施例提供的图像处理方法，可以由终端设备作为执行主体，也可 以由终端设备中的图像处理器，或者终端设备中可以实现图像处理的功能模块 作为执行主体来实现。

本发明实施例提供一种图像处理方法，如图1所示，该图像处理方法包括 如下步骤101至104：

101、获取在非静止状态下采集的多帧图像。

本发明实施例中，终端设备中可以内置有陀螺仪传感器。在终端设备中的 陀螺仪传感器的加速度为零时，终端设备通常处于静止状态，在终端设备中的 陀螺仪传感器的加速度不为零时，终端设备处于非静止状态。

本发明实施例中获取在非静止状态下采集的多帧图像可以是指，在终端设 备中陀螺仪传感器的加速度不为零时，终端设备处于非静止状态，获取在此时 采集的多帧图像。

可选的，本发明实施例中，上述多帧图像可以为拍摄照片时的预览图像。

102、将多帧图像的像素点进行对比，得到对比结果。

一种可能的实现方式为：

A、当检测到不同帧图像中均存在异常显示区域时，将不同帧图像中的异常 显示区域的像素点进行对比，以判断不同帧图像中异常显示区域的位置是否相 同。

B、若不同帧图像中异常显示区域的位置相同，则确定不同帧图像中存在相 同异常显示区域。

该实现方式中，可以先识别每帧图像中是否存在异常显示区域，在确定了 多帧图像中不同帧图像存在异常显示区域之后，再对不同帧图像中异常显示区 域的像素点进行对比，以此来判断不同帧图像中异常显示区域的位置是否相同。

可选的，针对摄像头上的污渍/裂纹造成的异常显示区域，或者屏下摄像头 对应的屏幕区域上的污渍/裂纹造成的异常显示区域，异常显示区域与其相邻区 域的像素值的差值通常比较大。因此本发明实施例中，在识别每帧图像中是否 存在异常显示区域时，可以通过边缘识别算法，识别图像中各个图像区域的边 缘，在确定图像区域的边缘之后，可以将图像区域的边缘的像素值与该图像区 域的边缘以外相邻像素点的像素值进行比较，如果该边缘的像素值与该相邻像 素点的像素值的差值大于预设阈值，那么确定该边缘内的图像区域为异常显示 区域。

可选的，在识别每帧图像中是否存在异常显示区域时，还可以通过神经网 络模型识别图像中是否存在异常显示区域。示例性的，可以预先通过神经网络 学习大量存在裂纹的图像，以学习裂纹的相关图像特征，得到识别裂纹的神经 网络模型，然后将上述多帧图像中的每帧图像输入该识别裂纹的神经网络模型， 以确定每帧图像中是否存在裂纹造成的异常显示区域。

进一步的，在确定不同帧图像中均存在异常显示区域时，可以再通过对不 同帧图像中的异常显示区域的特征点进行对比，对比这些不同帧图像中异常显 示区域在各自所在图像中的位置是否相同，如果相同，则确定不同帧图像存在 相同异常显示区域，也就是说，相同异常显示区域可以是指异常显示区域在各 自所在图像中的位置相同。

具体的，在判断不同帧图像中异常显示区域在各自所在图像中的位置是否 相同时，可以判断不同帧图像中异常显示区域中的匹配点的像素坐标是否相同。

其中，匹配点可以是在不同帧图像中异常显示区域中选取的对应点。

可选的，该匹配点可以为异常显示区域的中心点。

另一种可能的实现方式为：

C、将多帧图像的像素点进行比对。

D若存在不同帧图像中相匹配的图像区域中的图像内容相同，则确定不同 帧图像中存在相同异常显示区域。

其中，不同帧图像中相匹配的图像区域的位置相同。

将多帧图像的像素点进行比对可以包括：

针对多帧图像：例如，帧1，帧2…以及帧N，进行求同操作，相同位置一 直保留的局部区域，即为相同异常显示区域。

以将多帧图像中帧1和帧2求同操作为例，将帧1的像素1，像素2，…， 像素N，与帧2的像素1’，像素2’，…，像素N’逐行逐列的对像素值对应相减， 如果差值小于一定数值(也即差值足够小)时候，可以认定是两帧的对应图像 区域是相等像素，也即上述相匹配的图像区域中的图像内容相同。

如图2所示，为终端设备内置的陀螺仪传感器加速度不为零时，拍摄得到 的两帧图像，一帧图像为21，另一帧图像为22，因为陀螺仪传感器加速度不为 零时，终端设备会发生移动，因此得到的两帧图像中拍摄得到的内容应该会不 一样，或者，存在相同内容，但是这些内容在图像中所处的位置会不一样，但 是21和22中的均存在条形的显示区域(可能是由于摄像头上存在裂纹造成的) 在图像中所处的位置相同，而其他的内容的位置并不相同，那么可以确定出图 像21和图像22中存在相同异常显示区域(图像21中为211，图像22中为221)。

示例性的，结合上述图2所示，在图2中的的211的中匹配点的像素坐标， 与221的中匹配点的像素坐标相同时，确定图像21与图像22的相同位置均存 在异常显示区域。

如图3所示，为终端设备内置的陀螺仪传感器加速度不为零时，拍摄得到 的两帧图像，一帧图像为31，另一帧图像为32，因为终端设备内置的陀螺仪传 感器处于加速度不为零时，终端设备会发生移动，因此得到的两帧图像中拍摄 得到的内容应该会不一样，或者，存在相同内容，但是这些内容在图像中所处 的位置会不一样，但是31和32中均存在闭合的不规则显示区域(可能是由于 摄像头上脏污造成的)，且在图像中所处的位置相同，而其他的内容的位置并不 相同，那么可以确定出图像31和图像33中的存在相同异常显示区域(图像31 中为221，图像32中为321)。

103、根据对比结果确定多帧图像中存在常驻异常显示区域。

其中，常驻异常显示区域可以为多帧图像中出现频次高于频次阈值的相同 异常显示区域。

本发明实施例中，在确定多帧图像中的不同帧图像中存在相同异常显示区 域之后，可以进一步获取相同异常显示区域在多帧图像中出现的频次，然后判 断该频次是否高于频次阈值，如果该频次高于频次阈值，那么说明这样的异常 显示区域多次出现，可能并不是想要拍摄的实际景物，而可能是由于摄像头上 的裂痕/脏污造成的。

示例性的，假设总共有5帧图像，频次阈值为3次，如果在确定5帧图像 中的不同帧图像中存在相同异常显示区域之后，其中，有3帧或者3帧以上存 在相同异常显示区域，那么可以确定该相同异常显示区域为常驻异常显示区域。

可选的，常驻异常显示区域还可以为多帧图像中连续出现的频次高于频次 阈值的相同异常显示区域。

示例性的，假设总共有5帧图像，频次阈值为3次，如果在确定5帧图像 中的不同帧图像中存在相同异常显示区域之后，其中，第1帧、第2帧和第3 帧和第4帧中均存在相同异常显示区域，那么可以确定该相同异常显示区域为 常驻异常显示区域。

104、根据每帧图像的正常显示区域对存在的常驻异常显示区域进行修复。

可选的，在每帧图像的正常显示区域中，确定与常驻异常显示区域相邻的 目标像素点，根据目标像素点的像素值，调整每帧图像的常驻异常显示区域的 像素值。

可选的，上述目标像素点的像素值可以为正常显示区域中与常驻异常显示 区域相邻的所有像素点的像素值的平均值，或者可以为常驻异常显示区域中与 常驻异常显示区域相邻的像素点中某一像素点的像素值。

可选的，可以在每帧图像的正常显示区域中，确定与该常驻异常显示区域 距离较近(即该常驻异常显示区域预设距离范围内的像素点)的像素点为目标 像素点，根据该目标像素点的像素值，调整每帧图像的常驻异常显示区域的像 素值。

可选的，本发明实施例中的像素值可以为RGB值和YUV值中的一种。

像素是用来描述图像信息元素的数据结构，如果把一张图片看成是一堆信 息元素的集合，那么为了描述一张图片，我们要先建模，用一个数据结构来表 示信息元素。从而建模后图像就成了一堆数据结构的集合，现在给这种数据结 构起个名字就叫像素；所以像素不是一个具体的物理量，它仅仅是一个抽象的 数据结构。

RGB可以是在像素这种数据结构记录的颜色信息(因为图像就是由不同颜 色组成的)，如果用RGB颜色空间来表示颜色，那么一个像素又要分成红、绿、 蓝3个子像素(或者叫3个分量)。

上述YUV也可以作为颜色空间来表示颜色，如果用YUV颜色空间来表示 颜色，又可以分成Y(亮度--luminance)、UV(色度也叫色差，色度又被分成 两个独立信号存储，U(Cb--蓝色)、V(Cr--红色)。

可选的，根据目标像素点的像素值，调整每帧图像的常驻异常显示区域的 像素值，可以包括以下几种实现方式：

第一种可能的实现方式中，将常驻异常显示区域包括的像素点的像素值均 替换为目标像素点的像素值。

第二种可能的实现方式中，将常驻异常显示区域包括的像素点的像素值均 设置为0，然后采用目标像素点的像素值填充常驻异常显示区域包括的像素点。

第三种可能的实现方式中，将常驻异常显示区域包括的像素点的像素值均 设置为第一像素值，该第一像素值可以与该常驻异常显示区域所在的图像中所 有像素值均不同，然后采用目标像素点的像素值替换该图像中第一像素值的像 素点。

本发明实施例中，可以获取在非静止状态下采集的多帧图像；将所述多帧 图像的像素点进行对比，得到对比结果；当根据所述对比结果确定所述多帧图 像中存在常驻异常显示区域时，根据每帧图像的正常显示区域对存在的常驻异 常显示区域进行修复；其中，所述常驻异常显示区域为所述多帧图像中出现频 次高于频次阈值的相同异常显示区域。通过该方案，由于获取在终端设备处于 非静止状态下采集的多帧图像，可以得到成像不同的多帧图像，在对这多帧图 像的像素点进行对比之后，根据对比结果可以确定出这多帧图像中是否多次出 现相同异常显示区域，如果多次出现相同异常显示区域，则可以确定这些相同 异常显示区域并非实际环境的成像内容，可能是摄像头上的污渍或者裂纹，或 者，可能是屏下摄像头对应的屏幕区域上的污渍或者裂纹造成的常驻异常显示 区域，此时可以对存在的常驻异常显示区域进行修复，这样对图像进行处理后， 可以得到接近于实际环境的成像内容，从而可以提高图像的显示效果。

本发明实施例中的图像处理方法，可以应用在常规的终端设备(即摄像头 并未设置在终端设备的屏幕内，而是摄像头的拍摄面处于终端设备的外表面) 中，也可以应用在设有屏下摄像头的终端设备(即摄像头设置在终端设备的屏 幕内)。

在应用在常规的终端设备中时，本发明实施例提供的图像处理方法可以通 过检测多帧图像中是否存在常驻异常显示区域，若存在，这种情况下摄像头可 能本身存在裂纹，或者，存在脏污。进一步的，针对上述情况可以通过输出提 示信息等方式，来提示用户摄像头可能本身存在裂纹，或者，存在脏污，提醒 用户检查摄像头，或者，擦拭摄像头。

在应用在设有屏下摄像头的终端设备中时，本发明实施例提供的图像处理 方法可以通过检测多帧图像中是否存在常驻异常显示区域，若存在，这种情况 下摄像头所对应的屏幕区域可能本身存在裂纹，或者，存在脏污。进一步的， 针对上述情况可以通过输出提示信息等方式，来提示用户摄像头对应的区域存 在裂纹，或者，存在脏污，提醒用户检查摄像头对应的区域，或者，擦拭摄像 头对应的区域。

可以理解，在应用在设有屏下摄像头的终端设备中时，本发明实施例提供 的图像处理方法可以通过检测多帧图像中是否存在常驻异常显示区域，若存在， 这种情况下也有可能是摄像头本身存在裂纹，或者，存在脏污。进一步的，针 对上述情况也可以通过输出提示信息等方式，来提示用户摄像头可能本身存在 裂纹，提醒用户检查摄像头。

如图4所示，本发明实施例提供一种图像处理方法，该方法可以应用于设 置有屏下摄像头的终端设备，该方法包括以下步骤401至409：

401、获取在非静止状态下采集的多帧第一预览图像。

402、将多帧第一预览图像的像素点进行对比，得到对比结果。

403、根据对比结果确定多帧第一预览图像中存在常驻异常显示区域。

404、根据每帧第一预览图像的正常显示区域对存在的常驻异常显示区域进 行修复。

对于上述401至404的描述，与对上述101至104的描述类似，可以参照 对上述101至104的相关描述，此处不再赘述。

本发明实施例提供的图像处理方法中，可以在拍摄照片之前，在内置的陀 螺仪传感器的加速度不为零的情况下，可以获取多帧预览图像，由于获取在终 端设备处于非静止状态下采集的多帧预览图像，可以得到成像不同的多帧预览 图像，在对这多帧预览图像的像素点进行对比之后，根据对比结果可以确定出 这多帧预览图像中是否多次出现相同异常显示区域，如果多次出现相同异常显 示区域，则可以确定这些相同异常显示区域并非实际环境的成像内容，可能是 摄像头上的污渍或者裂纹，或者，可能是屏下摄像头对应的屏幕区域上的污渍 或者裂纹造成的常驻异常显示区域，此时可以对存在的常驻异常显示区域进行 修复，这样对图像进行处理后，可以得到接近于实际环境的成像内容，从而可 以提高图像的显示效果。

进一步的，在预先获知图像会存在常驻的异常显示区域的情况下，在后续 拍摄照片时，可以无需再通过多帧图像进行对比，而可以直接在拍摄图片之后， 调整图片中的常驻异常显示区域的像素值，从而可以减少后续图像处理的复杂 度。

405、输出第一提示信息。

其中，第一提示信息用于提示用户擦拭屏下摄像头所对应的屏幕区域。

可选的，拍摄图像之前，可以通过检测预览图像，获知摄像头上有污渍或 者裂纹，或者，屏下摄像头对应的屏幕区域上有污渍或者裂纹，并输出上述第 一提示信息，如此可以在拍摄图像之前，可以先提示用户检查摄像头，以避免 因为污渍造成拍摄的图像中存在常驻异常显示区域。

可选的，在输出第一提示信息之后还可以检测是否擦拭屏下摄像头所对应 的屏幕区域，并执行下述步骤406和407。

406、在第一时长内检测到用户擦拭屏下摄像头所对应的屏幕区域。

可选的，可以在第一时长内检测用户是否擦拭屏下摄像头所对应的屏幕区 域。

可选的，检测方式可以存在以下两种实现方式：

一种可能的实现方式为：在第一时长内检测是否接收到用户在屏下摄像头 所对应的屏幕区域上的触控输入。

如果在第一时长内接收到用户在屏下摄像头所对应的屏幕区域上的触控输 入，说明用户可能是在用手指，或手部其他位置擦拭屏下摄像头所对应的屏幕 区域。

另一种可能的实现方式为：在第一时长内，可以通过该屏下摄像头获取多 帧第三预览图像，然后对比这多帧第三预览图像中，是否存在不同图像的亮度 值的变化量大于或等于预设变化量。

如果存在不同图像的亮度值的变化量大于或等于预设变化量，说明用户可 能因为擦拭摄像头所对应的屏幕区域，而遮挡了摄像头的拍摄面的光线，从而 能使得不同图像的亮度值的变化量大于或等于预设变化量。

407、在第一时长之后，在非静止状态下获取第二预览图像。

408、确定第二预览图像存在与第一预览图像中同样的常驻异常显示区域。

本发明实施例中，因为第一预览图像为在用户擦拭摄像头，或，摄像头所 对应的屏幕区域之前，获取到的图像，而第二预览图像为在用户擦拭摄像头， 或，摄像头所对应的屏幕区域之后，获取到的图像，将两者进行对比，确定第 二预览图像存在与第一预览图像中同样的常驻异常显示区域的情况下，可以确 定第一预览图像中的异常显示区域并非是因为脏污造成的，从而可以输出第二 提示信息来提示用户摄像头损坏，或，屏下摄像头所对应的屏幕区域损坏。

相应的，在将两者进行对比，确定第二预览图像不存在与第一预览图像中 同样的常驻异常显示区域的情况下，那么可以确定出第一预览图像中的异常显 示区域是因为脏污造成的，并且在用户擦拭之后，已经不存在，此时可以通过 其他提示信息，来提示用户可以正常拍摄图像。

409、输出第二提示信息。

其中，第二提示信息用于提示用户屏下摄像头损坏，或者，第二提示信息 用于提示用户屏下摄像头所对应的屏幕区域损坏。

本发明实施例中，可以在发现拍摄的图片中存在常驻异常显示区域的情况 下，可以通过提示信息来提示用户擦拭摄像头，或者，摄像头所对应的屏幕区 域，从而排除因为脏污所造成的常驻异常显示区域，并且在检测到用户进行擦 拭之后，还可以拍摄图像来进行验证，是因为脏污所造成的常驻异常显示区域， 还是因为摄像头损坏，或者，摄像头所对应的屏幕区域损坏所造成的常驻异常 显示区域，以及在确定因为摄像头损坏，或者，摄像头所对应的屏幕区域损坏 所造成的常驻异常显示区域的情况下，再次输出提示信息来提示用户摄像头损 坏，或者，摄像头所对应的屏幕区域损坏，以提供更加准确和智能的人机交互 性能。

应理解，上述图4所示的图像显示方法，同样可以适用于其他设置有摄像 头的终端设备，本发明实施例中仅以设有屏下摄像头的终端设备为例进行说明 的。

可选的，在根据对比结果确定多帧图像中存在常驻异常显示区域之后，本 发明实施例可以通过以下两种可选的方式来确定造成图像中常驻异常显示区域 的原因：

第一种方式：由于通常脏污造成的常驻异常显示区域接近于圆形，常驻异 常显示区域的内接圆与外接圆的尺寸相差较小，摄像头或摄像头所对应的屏幕 区域损坏造成的常驻显示区域则接近于线条型，常驻异常显示区域的内接圆与 外接圆的尺寸相差较大。其中，本发明实施例中涉及的圆的尺寸可以为圆的面 积、半径或直径。

确定常驻异常显示区域的内接圆的尺寸，以及确定常驻异常显示区域的外 接圆的尺寸；

计算内接圆的尺寸与外接圆的尺寸的第一比值；

若第一比值小于第一比例阈值，则说明该常驻异常显示区域并不接近于圆 形，确定常驻异常显示区域为由摄像头损坏造成，或者，由屏下摄像头所对应 的屏幕区域损坏造成；

若第一比值大于或等于第一比例阈值，则说明该常驻异常显示区域接近于 圆形，确定常驻异常显示区域为由摄像头脏污造成，或者，由屏下摄像头所对 应的屏幕区域脏污造成。

第二种方式：

确定常驻异常显示区域的面积值，以及确定常驻异常显示区域的周长值；

计算周长值与面积值的第二比值；

若第二比值小于第二比例阈值，则说明该常驻异常显示区域并不接近于圆 形，确定常驻异常显示区域为由摄像头损坏造成，或者，由屏下摄像头所对应 的屏幕区域损坏造成；

若第二比值大于或等于第二比例阈值，则说明该常驻异常显示区域接近于 圆形，确定常驻异常显示区域为由摄像头脏污造成，或者，由屏下摄像头所对 应的屏幕区域脏污造成。

可选的，可以通过检测常驻异常显示区域的形状特征，确定造成图像中常 驻异常显示区域的原因，这样可以输出相应的提示信息来提示用户，以提供更 加准确和智能的人机交互性能。

基于同一发明构思，作为对上述方法的实现，本发明实施例还提供了一种 执行上述方法实施例提供的图像处理方法的终端设备，下面在描述该终端设备 时，不再对前述方法实施例中的类似内容进行逐一赘述，但应当明确，本实施 例中的终端设备能够对应实现前述方法实施例中的全部内容。

图5为本发明实施例提供的一种终端设备的结构示意图，参照图5所示， 该终端设备包括：

获取模块501，用于获取在非静止状态下采集的多帧图像；

处理模块502，用于将多帧图像的像素点进行对比，得到对比结果；

当根据对比结果确定多帧图像中存在常驻异常显示区域时，根据每帧图像 的正常显示区域对存在的常驻异常显示区域进行修复；

其中，常驻异常显示区域为多帧图像中出现频次高于频次阈值的相同异常 显示区域。

可选的，处理模块502，具体用于当检测到不同帧图像中均存在异常显示区 域时，将不同帧图像中的异常显示区域的像素点进行对比，以判断不同帧图像 中异常显示区域的位置是否相同。

若不同帧图像中异常显示区域的位置相同，则确定不同帧图像中存在相同 异常显示区域。

可选的，处理模块502，具体用于将多帧图像的像素点进行比对；

若存在不同帧图像中相匹配的图像区域中的图像内容相同，则确定不同帧 图像中存在相同异常显示区域，不同帧图像中相匹配的图像区域的位置相同。

处理模块502，还用于在根据对比结果确定多帧图像中存在常驻异常显示区 域之后，确定常驻异常显示区域的内接圆的尺寸，以及确定常驻异常显示区域 的外接圆的尺寸；

计算内接圆的尺寸与外接圆的尺寸的第一比值；

若第一比值小于第一比例阈值，则确定常驻异常显示区域为由摄像头损坏 造成，或者，由屏下摄像头所对应的屏幕区域损坏造成；

若第一比值大于或等于第一比例阈值，则确定常驻异常显示区域为由摄像 头脏污造成，或者，由屏下摄像头所对应的屏幕区域脏污造成。

处理模块502，还用于在根据对比结果确定多帧图像中存在常驻异常显示区 域之后，确定常驻异常显示区域的面积值，以及确定常驻异常显示区域的周长 值；

计算周长值与面积值的第二比值；

若第二比值小于第二比例阈值，则确定常驻异常显示区域为由摄像头损坏 造成，或者，由屏下摄像头所对应的屏幕区域损坏造成；

若第二比值大于或等于第二比例阈值，则确定常驻异常显示区域为由摄像 头脏污造成，或者，由屏下摄像头所对应的屏幕区域脏污造成。

处理模块502，具体用于在每帧图像的正常显示区域中，确定与常驻异常显 示区域相邻的目标像素点；

根据目标像素点的像素值，调整每帧图像的常驻异常显示区域的像素值。

可选的，像素值，包括：

RGB值和YUV值中的一种。

本发明实施例提供的终端设备中，可以获取在非静止状态下采集的多帧图 像；将多帧图像的像素点进行对比，得到对比结果；当根据对比结果确定多帧 图像中存在常驻异常显示区域时，根据每帧图像的正常显示区域对存在的常驻 异常显示区域进行修复；其中，常驻异常显示区域为多帧图像中出现频次高于 频次阈值的相同异常显示区域。通过该方案，由于获取在终端设备处于非静止

图6为实现本发明各个实施例的一种终端设备的硬件结构示意图，如图6 所示，该终端设备700包括但不限于：射频(radio frequency，RF)电路710、 存储器720、输入单元730、显示单元740、传感器750、音频电路760、无线保 真(wireless fidelity，WiFi)模块770、处理器780、以及摄像头790等部件。 其中，射频电路710包括接收器710和发送器712。本领域技术人员可以理解， 图6中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多 或更少的部件，或者组合某些部件，或者不同的部件布置。

RF电路710可用于收发信息或通话过程中，信号的接收和发送，特别地， 将基站的下行信息接收后，给处理器780处理；另外，将设计上行的数据发送 给基站。通常，RF电路710包括但不限于天线、至少一个放大器、收发信机、 耦合器、低噪声放大器(low noiseamplifier，LNA)、双工器等。此外，RF电路 710还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通 信标准或协议，包括但不限于全球移动通讯系统(global system of mobile communication，GSM)、通用分组无线服务(general packetradio service，GPRS)、 码分多址(code division multiple access，CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long termevolution，LTE)、电 子邮件、短消息服务(short messaging service，SMS)等。

存储器720可用于存储软件程序以及模块，处理器780通过运行存储在存 储器720的软件程序以及模块，从而执行终端设备的各种功能应用以及数据处 理。存储器720可主要包括存储程序区和存储数据区，其中，存储程序区可存 储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功 能等)等；存储数据区可存储根据终端设备的使用所创建的数据(比如音频数 据、电话本等)等。此外，存储器720可以包括高速随机存取存储器，还可以 包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性 固态存储器件。

输入单元730可用于接收输入的数字或字符信息，以及产生与终端设备的 用户设置以及功能控制有关的键信号输入。具体地，输入单元730可包括触控 面板731以及其他输入设备732。触控面板731，也称为触摸屏，可收集用户在 其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在 触控面板731上或在触控面板731附近的操作)，并根据预先设定的程式驱动相 应的连接装置。可选的，触控面板731可包括触摸检测装置和触摸控制器两个 部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号， 将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将 它转换成触点坐标，再送给处理器780，并能接收处理器780发来的命令并加以 执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种实现触控 面板731。除了触控面板731，输入单元730还可以包括其他输入设备732。具 体地，其他输入设备732可以包括但不限于物理键盘、功能键(比如音量控制 按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元740可用于显示由用户输入的信息或提供给用户的信息以及终端设备的各种菜 单。显示单元740可包括显示面板741，可选的，可以采用液晶显示器(liquidcrystal display， LCD)、有机发光二极管(organic light-Emitting diode，OLED)等形式来配置显示面板741。 进一步的，触控面板731可覆盖显示面板741，当触控面板731检测到在其上或附近的触摸 操作后，传送给处理器780以确定触摸事件的，随后处理器780根据触摸事件的在显示面板 741上提供相应的视觉输出。虽然在图6中，触控面板731与显示面板741是作为两个独立 的部件来实现终端设备的输入和输入功能，但是在某些实施例中，可以将触控面板731与显 示面板741集成而实现终端设备的输入和输出功能。

终端设备还可包括至少一种传感器750，比如光传感器、运动传感器以及其 他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境 光传感器可根据环境光线的明暗来调节显示面板741的亮度，接近传感器可在 终端设备移动到耳边时，关闭显示面板741和/或背光。作为运动传感器的一种， 加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测 出重力的大小及方向，可用于识别终端设备姿态的应用(比如横竖屏切换、相 关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于 终端设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。本发明实施例中，该终端设备可以包括加速度传感器、 深度传感器或者距离传感器等。

音频电路760、扬声器761，传声器762可提供用户与终端设备之间的音频 接口。音频电路760可将接收到的音频数据转换后的电信号，传输到扬声器761， 由扬声器761转换为声音信号输出；另一方面，传声器762将收集的声音信号 转换为电信号，由音频电路760接收后转换为音频数据，再将音频数据输出处 理器780处理后，经RF电路710以发送给比如另一终端设备，或者将音频数据 输出至存储器720以便进一步处理。

WiFi属于短距离无线传输技术，终端设备通过WiFi模块770可以帮助用户 收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联 网访问。虽然图6示出了WiFi模块770，但是可以理解的是，其并不属于终端 设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器780是终端设备的控制中心，利用各种接口和线路连接整个终端设 备的各个部分，通过运行或执行存储在存储器720内的软件程序和/或模块，以 及调用存储在存储器720内的数据，执行终端设备的各种功能和处理数据，从 而对终端设备进行整体监控。可选的，处理器780可包括一个或多个处理单元； 优选的，处理器780可集成应用处理器和调制解调处理器，其中，应用处理器 主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通 信。可以理解的是，上述调制解调处理器也可以不集成到处理器780中。

摄像头790，可以用来获取图像，并发送给处理器780，由处理器780进行 图像处理。

终端设备还包括给各个部件供电的电源(比如电池)，优选的，电源可以通 过电源管理系统与处理器780逻辑相连，从而通过电源管理系统实现管理充电、 放电、以及功耗管理等功能。尽管未示出，终端设备还可以包括摄像头、蓝牙 模块等，在此不再赘述。

本发明实施例中，上述摄像头790，用于获取在非静止状态下采集的多帧图 像，并传输给处理器780进行图像处理；

上述处理器780，用于将多帧图像的像素点进行对比，得到对比结果；

当根据对比结果确定多帧图像中存在常驻异常显示区域时，根据每帧图像 的正常显示区域对存在的常驻异常显示区域进行修复；

其中，常驻异常显示区域为多帧图像中出现频次高于频次阈值的相同异常 显示区域。

可选的，可选的，处理器780，具体用于当检测到不同帧图像中均存在异常 显示区域时，将不同帧图像中的异常显示区域的像素点进行对比，以判断不同 帧图像中异常显示区域的位置是否相同

若不同帧图像中异常显示区域的位置相同，则确定不同帧图像中存在相同 异常显示区域。

可选的，处理器780，具体用于将多帧图像的像素点进行比对；

若存在不同帧图像中相匹配的图像区域中的图像内容相同，则确定不同帧 图像中存在相同异常显示区域，不同帧图像中相匹配的图像区域的位置相同。

处理器780，还用于在根据对比结果确定多帧图像中存在常驻异常显示区域 之后，确定常驻异常显示区域的内接圆的尺寸，以及确定常驻异常显示区域的 外接圆的尺寸；

计算内接圆的尺寸与外接圆的尺寸的第一比值；

若第一比值小于第一比例阈值，则确定常驻异常显示区域为由摄像头损坏 造成，或者，由屏下摄像头所对应的屏幕区域损坏造成；

若第一比值大于或等于第一比例阈值，则确定常驻异常显示区域为由摄像 头脏污造成，或者，由屏下摄像头所对应的屏幕区域脏污造成。

处理器780，还用于在根据对比结果确定多帧图像中存在常驻异常显示区域 之后，确定常驻异常显示区域的面积值，以及确定常驻异常显示区域的周长值；

计算周长值与面积值的第二比值；

若第二比值小于第二比例阈值，则确定常驻异常显示区域为由摄像头损坏 造成，或者，由屏下摄像头所对应的屏幕区域损坏造成；

若第二比值大于或等于第二比例阈值，则确定常驻异常显示区域为由摄像 头脏污造成，或者，由屏下摄像头所对应的屏幕区域脏污造成。

处理器780，具体用于在每帧图像的正常显示区域中，确定与常驻异常显示 区域相邻的目标像素点；

根据目标像素点的像素值，调整每帧图像的常驻异常显示区域的像素值。

可选的，像素值，包括：

RGB值和YUV值中的一种。

本发明实施例还提供一种终端设备，该终端设备可以包括：处理器，存储 器以及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被处 理器执行时可以实现上述方法实施例提供的声纹唤醒日志收集方法，且能达到 相同的技术效果，为避免重复，这里不再赘述。

本发明实施例提供一种计算机可读存储介质，其特征在于，该计算机可读 存储介质上存储计算机程序，该计算机程序被处理器执行时实现上述方法实施 例提供的声纹唤醒日志收集方法。

本发明实施例中提供的第一设备，第二设备，以及存储介质与上述方法实 施例中提供的声纹唤醒日志收集方法可以达到相同的技术效果，为避免重复， 这里不再赘述其技术效果。

其中，该计算机可读存储介质可以为只读存储器(Read-Only Memory， ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵 盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不 仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种 过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包 括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置 中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实 施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬 件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方 案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来， 该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包 括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器， 或者网络设备等)执行本发明各个实施例的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述 的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本 领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保 护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，应用于终端设备，包括：

获取在非静止状态下采集的多帧图像；

将所述多帧图像的像素点进行对比，得到对比结果；

当根据所述对比结果确定所述多帧图像中存在常驻异常显示区域时，根据每帧图像的正常显示区域对存在的常驻异常显示区域进行修复；

其中，所述常驻异常显示区域为所述多帧图像中出现频次高于频次阈值的相同异常显示区域。

2.根据权利要求1所述的方法，其特征在于，所述将所述多帧图像的像素点进行对比，得到对比结果，包括：

当检测到不同帧图像中均存在异常显示区域时，将所述不同帧图像中的异常显示区域的像素点进行对比，以判断所述不同帧图像中异常显示区域的位置是否相同；

若所述不同帧图像中异常显示区域的位置相同，则确定所述不同帧图像中存在相同异常显示区域。

3.根据权利要求1所述的方法，其特征在于，所述将所述多帧图像的像素点进行对比，得到对比结果，包括：

将所述多帧图像的像素点进行比对；

若存在不同帧图像中相匹配的图像区域中的图像内容相同，则确定所述不同帧图像中存在相同异常显示区域，所述不同帧图像中相匹配的图像区域的位置相同。

4.根据权利要求2所述的方法，其特征在于，在根据所述对比结果确定所述多帧图像中存在常驻异常显示区域之后，所述方法还包括：

确定所述常驻异常显示区域的内接圆的尺寸，以及确定所述常驻异常显示区域的外接圆的尺寸；

计算所述内接圆的尺寸与所述外接圆的尺寸的第一比值；

若所述第一比值小于第一比例阈值，则确定所述常驻异常显示区域为由摄像头损坏造成，或者，由屏下摄像头所对应的屏幕区域损坏造成；

若所述第一比值大于或等于第一比例阈值，则确定所述常驻异常显示区域为由摄像头脏污造成，或者，由屏下摄像头所对应的屏幕区域脏污造成。

5.根据权利要求4所述的方法，其特征在于，在根据所述对比结果确定所述多帧图像中存在常驻异常显示区域之后，所述方法还包括：

确定所述常驻异常显示区域的面积值，以及确定所述常驻异常显示区域的周长值；

计算所述周长值与所述面积值的第二比值；

若所述第二比值小于第二比例阈值，则确定所述常驻异常显示区域为由摄像头损坏造成，或者，由屏下摄像头所对应的屏幕区域损坏造成；

若所述第二比值大于或等于第二比例阈值，则确定所述常驻异常显示区域为由摄像头脏污造成，或者，由屏下摄像头所对应的屏幕区域脏污造成。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据每帧图像的正常显示区域对存在的常驻异常显示区域进行修复，包括：

在所述每帧图像的所述正常显示区域中，确定与所述常驻异常显示区域相邻的目标像素点；

根据所述目标像素点的像素值，调整所述每帧图像的所述常驻异常显示区域的像素值。

7.根据权利要求6所述的方法，其特征在于，所述像素值，包括：

RGB值和YUV值中的一种。

8.一种终端设备，其特征在于，包括：

获取模块，用于获取在非静止状态下采集的多帧图像；

处理模块，用于将所述多帧图像的像素点进行对比，得到对比结果；

当根据所述对比结果确定所述多帧图像中存在常驻异常显示区域时，根据每帧图像的正常显示区域对存在的常驻异常显示区域进行修复；

其中，所述常驻异常显示区域为所述多帧图像中出现频次高于频次阈值的相同异常显示区域。

9.一种终端设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的图像处理方法。

10.一种计算机可读存储介质，其特征在于，包括：所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法。

Images