CN110517246A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置、电子设备及存储介质，涉及图像处理技术，方法包括：提取图像的特征信息，根据所述特征信息对所述图像进行分类；当分类结果表征所述图像中植入有干扰内容时，检测所述图像中的干扰内容与原始内容之间的边界位置；根据所述检测到的边界位置、以及所述分类结果表征的所述干扰内容的分布方式，确定所述图像中呈现所述原始内容的可视范围区域；确定所述可视范围区域的面积占比；当所述可视范围区域的面积占比小于面积占比阈值时，确定所述图像属于影响观看体验的异常图像。通过本发明，能够识别出图像的原始内容的可视范围区域，从而判断图像是否属于影响观看体验的异常图像。

Description

一种图像处理方法、装置、电子设备及存储介质

技术领域

本发明涉及人工智能的计算机视觉技术，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。

计算机视觉技术(CV，Computer Vision)是人工智能的重要应用，其研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。典型的计算机视觉技术通常包括图像处理。

随着互联网技术的日益发展，视频以及照片等图像形式的媒体数据已经成为了大数据的主体，其中包括一些质量较差的视频以及照片，打压低质量图像对提高用户体验至关重要，某些自媒体为降低制作成本会搬运外站图像，搬运过程中为了躲避查重机制，会对图像进行二次编辑，例如在图像两侧插入黑色区域、毛玻璃区域，或者与图片原始内容无关的广告信息或者其他干扰图案，这种类型的照片和视频会影响用户的观看体验。

发明内容

本发明实施例提供一种图像处理方法、装置、电子设备及存储介质，能够识别判断图像是否属于影响观看体验的异常图像。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种图像处理方法，包括：

提取图像的特征信息，根据所述特征信息对所述图像进行分类；

当分类结果表征所述图像中植入有干扰内容时，检测所述图像中的干扰内容与原始内容之间的边界位置；

根据所述检测到的边界位置、以及所述分类结果表征的所述干扰内容的分布方式，确定所述图像中呈现所述原始内容的可视范围区域；

确定所述可视范围区域的面积占比；

当所述可视范围区域的面积占比小于面积占比阈值时，确定所述图像属于影响观看体验的异常图像。

本发明实施例提供一种图像处理装置，包括：

图像分类模块，用于提取图像的特征信息，根据所述特征信息对所述图像进行分类；

边界检测模块，用于当分类结果表征所述图像中植入有干扰内容时，检测所述图像中的干扰内容与原始内容之间的边界位置；

可视范围区域确认模块，用于根据所述检测到的边界位置、以及所述分类结果表征的所述干扰内容的分布方式，确定所述图像中呈现所述原始内容的可视范围区域；

面积占比确定模块，用于确定所述可视范围区域的面积占比；

图像判断模块，用于当所述可视范围区域的面积占比小于面积占比阈值时，确定所述图像属于影响观看体验的异常图像。

上述方案中，所述图像分类模块还用于：

通过分类神经网络模型从所述图像中提取特征，将所提取的特征转换为分别对应以下分类结果的概率：

未植入有干扰内容的正常图像、植入有干扰内容的潜在异常图像；

其中，所述潜在异常图像以先验的多种呈现方式中任意一种呈现方式植入有干扰内容。

上述方案中，所述边界检测模块还用于：

对所述图像进行预处理以去除所述图像中的噪声；

确定所述图像中的每个像素点的梯度大小以及方向，以获得边缘像素点的候选集；

对所述边缘像素点的候选集进行精简处理，基于精简后的边缘像素点的候选集形成所述图像的轮廓图；

基于所述轮廓图，获得所述图像中的干扰内容与原始内容之间的边界位置。

上述方案中，所述边界检测模块还用于：

保留所述轮廓图中梯度强度大于第一梯度阈值的像素点，并抑制梯度强度小于第二梯度阈值的像素点，其中，所述第一梯度阈值大于所述第二梯度阈值；

将梯度强度在所述第一梯度阈值和所述第二梯度阈值之间的像素点，标记为弱边缘像素点；

当所述弱边缘像素点的邻域内有梯度强度大于所述第一梯度阈值的像素点时，保留所述弱边缘像素点，当所述弱边缘像素点的邻域内没有梯度强度大于所述第一梯度阈值的像素点时，抑制所述弱边缘像素点；

基于所述轮廓图中保留的像素点组合形成所述图像中的干扰内容与原始内容之间的边界位置。

上述方案中，所述边界检测模块还用于：

确定白色像素点比例阈值；

遍历所述轮廓图，获得所述轮廓图中每一行的白色像素点的比例；

将所述轮廓图中大于所述白色像素点比例阈值的行的位置，确定为所述图像中的干扰内容与原始内容之间的边界位置。

上述方案中，所述边界检测模块还用于：

根据所述干扰内容的边界清晰度确定白色像素点比例阈值，其中，所述白色像素点比例阈值与所述干扰内容的边界清晰度成正相关。

上述方案中，所述边界检测模块还用于：

当所述干扰内容为单色图像时，确定所述白色像素点比例阈值为第一比例阈值；

当所述干扰内容为毛玻璃图像时，确定所述白色像素点比例阈值为第二比例阈值；

当所述干扰内容为除了所述单色图像和所述毛玻璃图像之外的其他图像时，确定所述白色像素点比例阈值为第三比例阈值；

其中，所述第三比例阈值大于所述第二比例阈值，且所述第三比例阈值小于所述第一比例阈值。

上述方案中，所述装置还包括：

滑动平均方差检测模块，用于：

当所述异常图像包含多个相同或者相似子图像时，在每个子图像中进行滑窗处理，并检测每个子图像中相同位置窗口的灰度图像素值的标准差；

当所述标准差之间的差值小于标准差阈值时，确定所述相同位置窗口的图像为相似图像，并将所述相同位置窗口确定为相似窗口；

当所述相似窗口的数量的占比大于相似窗口占比阈值时，将所述异常图像的分类结果更新为正常图像。

上述方案中，所述装置还包括：视频解码模块和视频判断模块，

所述视频解码模块，用于从视频中解码得到多帧所述图像；

所述视频判断模块，用于当解码得到的多帧所述图像中属于所述异常图像的数目大于异常阈值时，确定所述视频属于影响观看体验的异常视频。

本发明实施例提供一种图像处理电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的图像处理方法。

本发明实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的图像处理方法。

本发明实施例具有以下有益效果：

通过对图像进行分类得到图像的类型，基于图像的类型进行边缘检测定位边界线，从而能够识别出图像的原始内容的可视范围，并判断图像是否属于影响观看体验的异常图像。

附图说明

图1是本发明实施例提供的图像处理系统架构在实际应用中的一个可选的结构示意图；

图2是本发明实施例提供图像处理装置的一个可选的结构示意图；

图3A-3E是本发明实施例提供的图像处理方法的可选的流程示意图；

图4为本发明实施例提供的算子的方向示意图；

图5A是本发明实施例提供的干扰内容是黑色区域的图像示意图；

图5B是本发明实施例提供的干扰内容是毛玻璃区域的图像示意图；

图5C是本发明实施例提供的干扰内容是除了单色图像和毛玻璃图像之外的其他图像的图像示意图；

图6A和图6B是本发明实施例提供的滑动平均方差检测技术的适应应用场景示意图；

图7是本发明实施例提供的图像处理方法的原理流程图；

图8是本发明实施例提供的图像处理方法用于内容审核和推荐使用的流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)原始内容：照片或者视频帧等图像中所要表达的实际内容。

2)干扰内容：在图像的原始内容中添加的广告信息，或者黑框区域，或者毛玻璃区域等影响用户观看体验的内容。

3)可视范围区域：图像中用于呈现原始内容的区域。

目前大量的自媒体开始生产内容，其中包括一些质量较差的包括视频在内的图像资源，打压低质量图像资源对提高用户体验至关重要，某些自媒体为降低制作成本会搬运外站视频，为了躲避查重机制，会对视频进行二次编辑，例如图片两侧插入黑色区域、毛玻璃区域，或者与图片中间内容无关的广告信息以及其他干扰内容。这种类型的图像资源会影响用户的观看体验，因此需要机器自动识别进行拦截或者在推荐侧做打压。

在相关技术中，主要是通过检测图像两侧有无黑边，按行或按列遍历图像像素矩阵，计算黑色像素点的占比来判断图像中具有黑色区域，该方法适用场景单一，不适用于图像两侧带有广告符号、毛玻璃特效、静态主体等复杂场景，针对这一问题，本发明实施例提出一种图像处理方法，通过分类模型区分图片类型，分类模型能够学习到不同类型的特征，具有较强的泛化性强，进一步基于图像的类型进行边缘检测定位边界线，从而能够识别出图像的原始内容的可视范围，并判断图像是否属于影响观看体验的异常图像，最后通过滑动平均方差检测技术避免误召回，提高识别准确率。

本发明实施例提供一种图像处理方法、装置、电子设备和存储介质，能够识别出图像的原始内容的可视范围区域，并判断图像是否属于影响观看体验的异常图像，下面说明本发明实施例提供的电子设备的示例性应用，本发明实施例提供的电子设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。下面，将结合图像处理系统说明电子设备实施为服务器时示例性应用。

参见图1，图1是本发明实施例提供的图像处理系统100的一个可选的架构示意图，终端400通过网络300连接电子设备200，网络300可以是广域网或者局域网，又或者是二者的组合。

所述图像处理系统100中包括电子设备200、用户终端400和文件存储系统500、图像推荐系统600和图像拦截数据库700。电子设备200从文件存储系统500中读取图像，通过本发明实施例提供的图像处理方法确定所读取的图像是否为影响观看体验的异常图像，服务器根据图像的判断结果，将影响观看体验的异常图像进行拦截或者打压，并将其所进行拦截和打压的图像发送至图像拦截数据库700，以用于模型的训练和学习，将不属于影响观看体验的异常图像的图像推送给推荐系统，经过推荐系统进行召回和排序后，将图像推荐给用户终端。

参见图2，图2是本发明实施例提供的用于图像处理的电子设备的结构示意图，图2中所示出的结构示意图可以是适用于终端和服务器，根据实际需求有选择性实施其中的组件。图2所示的电子设备200包括：至少一个处理器21 0、存储器250、至少一个网络接口220和用户接口230。电子设备200中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统240。

处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器250可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。

存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Me mory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memo ry)。本发明实施例描述的存储器250旨在包括任意适合类型的存储器。

在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块252，用于经由一个或多个(有线或无线)网络接口420到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；

呈现模块253，用于经由一个或多个与用户接口230相关联的输出装置23 1(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；

输入处理模块254，用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本发明实施例提供的图像处理装置可以采用软件方式实现，图2示出了存储在存储器250中的图像处理装置255，其可以是程序和插件等形式的软件，包括以下软件模块：图像分类模块2551、边界检测模块255 2，可视范围区域确认模块2553、面积占比确定模块2554和图像判断模块255 5、滑动平均方差检测模块2556、视频解码模块2557和视频判断模块2558，其可以嵌入各种客户端中，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分，将在下文中具体说明各个模块的功能。

在另一些实施例中，本发明实施例提供的图像处理装置可以采用硬件方式实现，作为示例，本发明实施例提供的图像处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC， Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Progr ammable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programma ble Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Ar ray)或其他电子元件。

参见图3A，图3A是本发明实施例提供的图像处理方法的一个可选的流程示意图，将结合图3A示出的步骤进行说明，下述方法的步骤可以在上述任意类型的电子设备(例如终端或服务器)上实现。

在步骤101中，提取图像的特征信息，根据特征信息对图像进行分类。

以电子设备为服务器为例，服务器会接收用户上传的图像，这里的图像可以来源于视频文件或者照片文件。服务器提取图像的特征信息，根据图像的特征信息对图像进行分类。

参见图3B，基于图3A，步骤101中提取图像的特征信息，根据特征信息对图像进行分类可以具体通过步骤1011实现。

在步骤1011中，通过分类神经网络模型从图像中提取特征，将所提取的特征转换为分别对应以下分类结果的概率：

未植入有干扰内容的正常图像、植入有干扰内容的潜在异常图像；

其中，潜在异常图像以先验的多种呈现方式中任意一种呈现方式植入有干扰内容。

作为示例，分类神经网络模型可以是Inception V3模型，相关技术的提升模型性能的方式是通过增加网络的深度和宽度，但是，这种方式的缺点在于由于网络结构深度和宽度的增加，参数量会随之增大导致需要更多的计算资源，并且容易出现过拟合现象。同时，随着网络的加深，梯度容易弥散，模型不容易收敛，卷积核大小的选择也会影响模型的性能。为了解决这类问题，Incepti on V3模型使用多个大小不同的卷积核得到不同尺度的特征，并且使用1*1的卷积核在通道的层面进行降维，减少参数数量。Inception V3进一步优化了Inc eption模型的结构，例如将3*3卷积核拆分为1*3卷积核和3*1卷积核。在本发明实施例中，在通过预先设定的可视化数据库预训练得到的Inception V3模型的基础上，利用业务场景下的“可视范围区域数据集”进行迁移学习从而得到本发明实施例中的分类神经网络模型。

在一些实施例中，在分类神经网络模型的训练过程中，根据干扰内容在异常图像中的呈现形式以及视觉形态，异常图像被分为多个先验的类型。干扰内容在异常图像中的呈现形式可以是干扰内容对原始内容环绕、干扰内容在原始内容的上下两侧或者左右两侧，干扰内容的视觉形态可以是黑色区域、毛玻璃区域或者和原始内容无关的广告内容等等。通过以上多个先验的类型来训练分类神经网络模型，这里的类型同时表征了呈现形式和视觉形态。通过分类神经网络模型来预测图像分别属于正常图像以及各个类型的潜在异常图像的概率，将最大概率的预测结果作为分类结果。这里的分类神经网络模型可以为卷积神经网络(CNN，Convolutional Neural Network)，卷积层的输出是从图像中提取到的特征，再通过全连接层连接提取的特征，进而通过最大似然(softmax) 函数层将所提取的特征转换为分别对应未植入有干扰内容的正常图像和植入有干扰内容的潜在异常图像的概率，这里潜在异常图像以先验的多种呈现方式中任意一种呈现方式植入有干扰内容。

例如，干扰内容的类型可以为黑色区域分布在原始内容的上下两侧，该类型是作为先验数据训练分类神经网络模型的众多潜在异常图像中的一类，这里，分类神经网络模型的输出为图像属于正常图像的概率以及图像具有干扰内容，且干扰内容的类型为黑色区域分布在原始内容的上下两侧的概率。图像输入到分类神经网络之后，输出的对应于图像属于正常图像的概率小于输出的对应于图像具有干扰内容，且干扰内容的类型为黑色区域分布在原始内容的上下两侧的概率，从而可以获得图像的类型为图像具有干扰内容，且干扰内容的类型为黑色区域分布在原始内容的上下两侧。

在步骤102中，当分类结果表征图像中植入有干扰内容时，检测图像中的干扰内容与原始内容之间的边界位置。

在一些实施例中，当步骤101中得到的分类结果表征图像中植入有干扰内容时，检测图像中的干扰内容与原始内容之间的边界位置。图像中的干扰内容可以为黑色区域，毛玻璃区域或者其他与原始内容无关的内容，图像中的原始内容是具有实际内容含义的部分。

参见图3C，基于图3A，步骤102中当分类结果表征图像中植入有干扰内容时，检测图像中的干扰内容与原始内容之间的边界位置可以通过步骤1021-1 024实现。

在步骤1021中，对图像进行预处理以去除图像中的噪声。

在一些实施例中，图像上的噪声会影响边缘检测的精度，噪声容易被识别为伪边缘，因此将图像像素矩阵与高斯滤波器进行卷积操作以去除噪声，这一过程也可以称为是对图像进行平滑，大小为(2k+1)x(2k+1)的高斯滤波器核H_ij的生成方程式由下式给出：

这里的i和j分别表示高斯卷积核矩阵中的行序号和列序号，k为正整数，σ为常数，高斯卷积核大小会影响边缘检测的性能，其尺寸越大，边缘检测过程中对噪声的敏感度越低，但是边缘检测的定位误差也将会有增加。

在步骤1022中，确定图像中的每个像素点的梯度大小以及方向，以获得边缘像素点的候选集。

在一些实施例中，通过计算图像梯度可以得到边缘像素点的候选集，图像的梯度相当于2个相邻像素之间的差值，在轮廓边缘的灰度变化比其他部分更加明显，这里的梯度相当于灰度值的变化率。通过罗伯特(Roberts)、浦路伊特(Prewitt)、索博尔(Sobel)等算子可以计算出水平方向和垂直方向的梯度值，下面以Sobel为例说明如何计算梯度强度和方向。

在直角坐标系中，Sobel算子的方向如图4所示。图4为本发明实施例提供的Sobel算子的方向示意图。x和y方向的Sobel算子分别为：

其中S_x表示x方向的Sobel算子，用于检测y方向的边界，Sy表示y方向的Sobel算子，用于检测x方向的边界，边界方向和梯度方向垂直。

若图像中一个3x3的窗口为A，要计算梯度的像素点为e，则和Sobel算子进行卷积之后，像素点e在x和y方向的梯度值分别为：

其中*为卷积符号，sum表示矩阵中所有元素相加求和，边界检测的算子返回水平Gx和垂直Gy方向的一阶导数值，由此便可以确定像素点的梯度G和方向θ，具体公式如下：

在步骤1023中，对边缘像素点的候选集进行精简处理，基于精简后的边缘像素点的候选集形成图像的轮廓图。

在一些实施例中，对图像进行梯度计算后，仅仅基于梯度值提取的边缘仍然很模糊，本发明实施例提供的精简处理过程则是将局部最大值之外的所有梯度值抑制为0，具体精简流程如下：比较当前像素和沿正负梯度方向上的邻近像素的梯度强度，如果当前像素点的梯度强度大于沿正负梯度方向上的邻近像素的梯度强度，则将当前像素点保留为边缘点，否则当前像素点被抑制，即将当前像素点的灰度值设为0，从而精简像素点的候选集，使识别到的轮廓图更加精简清晰。

在步骤1024中，基于轮廓图，获得图像中的干扰内容与原始内容之间的边界位置。

基于在步骤1023中得到的轮廓图，可以获得图像中干扰内容和原始内容之间的边界位置。在进行了精简处理之后，剩余的像素可以更准确地表示图像中的实际边缘，然而，图像中仍然存在由于噪声和颜色变化引起的一些边缘像素，为了克服这些噪声以及颜色变化引起的响应，需要利用梯度阈值对边缘像素进行过滤。

作为示例，这里的梯度阈值包括高阈值和低阈值(小于高阈值)，当边缘像素的梯度值高于高阈值时，则将其标记为强边缘像素；当边缘像素的梯度值小于高阈值并且大于低阈值时，则将其标记为弱边缘像素；当边缘像素的梯度值小于低阈值，则该边缘像素会被抑制，推荐的高阈值和低阈值的比值在2和 3之间。因而，为了使获得的边缘更加精确，可以通过以下步骤具体实现步骤 1024。

第一步，保留轮廓图中梯度强度大于第一梯度阈值的像素点，并抑制梯度强度小于第二梯度阈值的像素点，其中，第一梯度阈值大于第二梯度阈值。这里的第一梯度阈值为上述的高阈值，这里的第二梯度阈值为上述的低阈值。对像素点的抑制是通过将像素点的灰度值设为0实现的。

第二步，将梯度强度在第一梯度阈值和第二梯度阈值之间的像素点，标记为弱边缘像素点。这里轮廓图中梯度强度在第一梯度阈值和第二梯度阈值之间的像素点即为上述梯度值小于高阈值并且大于低阈值的像素点。

第三步，当所述弱边缘像素点的邻域内有梯度强度大于所述第一梯度阈值的像素点时，保留所述弱边缘像素点，当所述弱边缘像素点的邻域内没有梯度强度大于所述第一梯度阈值的像素点时，抑制所述弱边缘像素点。

到目前为止，被保留的轮廓图中梯度强度大于第一梯度阈值的像素点已经被确定为实际边缘，对于被标记为弱边缘像素的像素点，则存在不确定性。这些像素点可以是实际边缘提取出来的，也可以是因噪声或颜色变化而被识别出来的。通常，由实际边缘引起的弱边缘像素将连接到被保留的轮廓图中梯度强度大于第一梯度阈值的像素点，为了跟踪边界连接，可以查找弱边缘像素及其 8个邻域像素，只要其中一个为被保留的轮廓图中梯度强度大于第一梯度阈值的像素点，则该弱边缘点就可以保留为真实的边缘像素点。

第四步，基于轮廓图中保留的像素点，组合形成图像中的干扰内容与原始内容之间的边界位置。

针对在第三步中得到的轮廓图中保留的像素点，当异常内容是呈现在规则区域内，则异常内容和原始内容在边界位置的边界线为一条直线，通常轮廓图是二值图，轮廓由白色像素点连接，通过对轮廓图进行遍历来判断每行或者每列上白色像素点的占比，如果该行或者该列的白色像素点占比超过白色像素点比例阈值，则确定该行或者该列是上述边界直线，即为原始内容和干扰内容的边界，基于上述对轮廓图进行遍历的技术思想，第四步中基于轮廓图中保留的像素点，组合形成图像中的干扰内容与原始内容之间的边界位置具体通过如下方式实现。

确定白色像素点比例阈值，遍历轮廓图，获得轮廓图中每一行的白色像素点的比例，将所述轮廓图中大于白色像素点比例阈值的行的位置，确定为图像中的干扰内容与原始内容之间的边界位置。

在一些实施例中，异常内容分布在原始内容的上下两侧，异常内容的分布区域是矩形，则通过遍历轮廓图，获得轮廓图中每一行的白色像素点的比例，将大于白色像素点比例阈值的行的位置，确定为图像中的干扰内容与原始内容之间的边界位置。

在一些实施例中，异常内容分布在原始内容的左右两侧，异常内容的分布区域是矩形，则通过遍历轮廓图，获得轮廓图中每一列的白色像素点的比例，将大于白色像素点比例阈值的列的位置，确定为图像中的干扰内容与原始内容之间的边界位置。

在一些实施例中，异常内容可以环绕在原始内容的四周，异常内容的分布区域是由矩形组合形成的环绕区域时，则通过遍历轮廓图，获得轮廓图中每一列的白色像素点的比例以及轮廓图中每一行的白色像素点的比例，将大于白色像素点比例阈值的列的位置和大于白色像素点比例阈值的行的位置，确定为图像中的干扰内容与原始内容之间的边界位置。

在一些实施例中，根据干扰内容的边界清晰度，确定白色像素点比例阈值，白色像素点比例阈值与干扰内容的边界清晰度成正相关。如果阈值设得过高，导致没有识别出相应的边界，从而召回的图像数目不够；如果阈值设得过低，则会导致不为边界的像素点被识别成边界，导致后期召回的图像实际上不属于影响观看体验的异常图像，因而，这里的白色像素点比例阈值是根据边界清晰度确定的。

在一些实施例中，干扰内容可以为黑色区域分布在原始内容的两侧，参见图5A，图5A为本发明实施例提供的干扰内容是黑色区域的图像，当干扰内容为单色图像时，例如，单色区域可以为黑色区域501A，原始内容的呈现区域是可视范围区域502A，确定白色像素点比例阈值为第一比例阈值。第一比例阈值为专门对应于干扰内容为单色图像的情况下的白色像素点比例阈值。第一比例阈值是根据实验数据得到的，先设定第一比例阈值为一个值，基于设定的第一比例阈值，对图像进行处理来计算呈现原始内容的可视范围区域，获取使用本发明实施例进行评测的准确率。通过准确率来评估第一比例阈值设定得是否合适。

在一些实施例中，干扰内容可以为毛玻璃区域分布在原始内容的两侧，参见图5B，图5B为本发明实施例提供的干扰内容是毛玻璃区域的图像，例如，毛玻璃区域可以为图5B中的毛玻璃区域501B，原始内容的呈现区域是可视范围区域502B，当干扰内容为毛玻璃图像时，确定白色像素点比例阈值为第二比例阈值。第二比例阈值为专门对应于干扰内容为毛玻璃图像的情况下的白色像素点比例阈值。第二比例阈值也是根据实验数据得到的，其设定方法和第一比例阈值类似。

在一些实施例中，干扰内容可以为除了所述单色图像和所述毛玻璃图像之外的其他图像，分布在原始内容的两侧，例如，干扰内容可以为广告内容，参见图5C，图5C为本发明实施例提供的干扰内容是除了所述单色图像和所述毛玻璃图像之外的其他图像的图像示意图，例如，除了单色图像和毛玻璃图像之外的其他图像可以为图5C中的广告图像，广告图像呈现在原始内容的上下两侧的广告图像区域501C，原始内容的呈现区域是可视范围区域502C，当干扰内容为除了所述单色图像和所述毛玻璃图像之外的其他图像时，确定白色像素点比例阈值为第三比例阈值。第三比例阈值为专门对应于干扰内容为毛玻璃图像的情况下的白色像素点比例阈值。第三比例阈值也是根据实验数据得到的，其设定方法和第一比例阈值类似。

由于单色区域和原始内容的边界线比毛玻璃与原始内容的边界线清晰，所以第一比例阈值大于第二比例阈值，由于除了所述单色图像和所述毛玻璃图像之外的其他图像和原始内容的边界线的清晰程度在单色区域和毛玻璃之间，因此，第三比例阈值介于第一比例阈值大于第二比例阈值。

在一些实施例中，干扰内容和原始内容的相对分布方式以及干扰内容的视觉呈现形式具有多种类型，例如，干扰内容的视觉呈现形式可以是单色区域，可以是毛玻璃特效，也可以是广告信息等等，经过分类神经网络模型对图像进行了分类之后，对于具有特定类型的干扰内容的图像，在针对其轮廓图进行边界定位时，会基于对应于特定类型的干扰内容的白色像素比例阈值来进行边界定位，从而使得边界定位更加准确，白色像素比例阈值也随着方法的准确率评估不断进行调节。

在步骤103中，根据检测到的边界位置、以及分类结果表征的干扰内容的分布方式，确定图像中呈现原始内容的可视范围区域。根据检测到的边界位置、以及分类结果表征的干扰内容的分布方式，可以确定图像中呈现原始内容的可视范围区域。

在步骤104中，确定可视范围区域的面积占比。基于在步骤103中获得的图像中呈现原始内容的可视范围区域，可以确定可视范围区域的面积占比。

在步骤105中，当可视范围区域的面积占比小于面积占比阈值时，确定图像属于影响观看体验的异常图像。当可视范围区域的面积占比小于面积占比阈值时，确定图像属于影响观看体验的异常图像。

参见图3D，基于图3A，在执行完步骤105之后，还可以执行步骤106-108。

在步骤106中，当异常图像包含多个相同或者相似子图像时，在每个子图像中进行滑窗处理，并检测每个子图像中相同位置窗口的灰度图像素值的标准差。

在步骤107中，当标准差之间的差值小于标准差阈值时，确定相同位置窗口的图像为相似图像，并将相同位置窗口确定为相似窗口。

在步骤108中，当相似窗口的数量的占比大于相似窗口占比阈值时，将异常图像的分类结果更新为正常图像。

参见图6A和图6B，图6A和图6B为本发明实施例提供的滑动平均方差检测技术的适应应用场景示意图。这种应用场景下的图像特征是包含多个相同或者相似子图像，例如图像的上中下三个区域内的图案大致相同，但是又不完全一致，存在上下偏移、中间区域带字幕、加滤镜等现象。例如，上部区域601A、中间区域602A和下部区域603A中呈现的图像主体是类似的，区别仅在于中间区域602A中存在字幕，下部区域603A中没有字幕黑边，上部区域601B、中间区域602B和下部区域603B中呈现的图像主体也是类似的，区别仅在于图像主体有一定偏移，这类图像在步骤101-105中可能会被识别为异常图像，但在实际应用中，这类图像并不属于影响观看体验的异常图像，因此，需要对此类图像进行类型更新。在步骤106-108中设置一个大小为N*M的矩阵窗口，在多个相似子图像的区域内分别计算在多个相似子图像的区域内相同位置窗口的灰度图像素值的标准差。当计算得到的三个窗口的标准差之间的差值小于标准差阈值时，则判断这个位置的图像是相似的，否则判断这个位置的图像是不相似的，最后计算相似窗口数量的占比，如果占比超过相似窗口占比阈值，则判断多个相似子图像的区域内的多个相似子图像相同，将这个异常图像的分类结果更新为正常图像。

参见图3E，基于图3A，在执行步骤101之前还可以执行步骤109，在执行步骤105之后，还可以执行步骤110。

在步骤109中，从视频中解码得到多帧图像。

在步骤110中，当解码得到的多帧图像中属于异常图像的数目大于异常阈值时，确定视频属于影响观看体验的异常视频。

在步骤101-105中所执行的图像处理方法可以是针对于一张图像所进行的。针对于用户上传的视频而言，可以通过步骤109提取视频封面并对视频进行抽帧处理，从而在步骤101-105中对每帧图像执行异常图像的检测。当在步骤10 中确定解码得到的多帧图像中属于异常图像的数目大于异常阈值时，确定视频属于影响观看体验的异常视频。这里的异常阈值是通过对方法的性能进行评估而不断试验得到的数据，对方法进行性能评估的参数为准确率和召回率以及基于准确率和召回率得到的综合性能评价参数F。

作为示例，召回率的计算过程如下，对大量图像分别进行人工审核和通过本发明实施例计算可视范围区域面积占比从而判断异常图像，这里图像的实际数目可以为1000张，识别出有100张异常图像，这100张异常图像中真正为异常图像的数目为90张，即识别准确率为90％，但是实际上1000张图像中有110 张异常图像，那么召回率为82％。通过设定不同的异常阈值得到不同的综合性能评价参数、准确率和召回率，再根据评估得到的不同的综合性能评价参数、准确率和召回率反推出阈值的取值，上述设定阈值的方式同样适用于本发明实施例中其他的阈值设定过程。

综合性能评价参数的计算公式如下：

本发明实施例提供的图像处理方法的应用对象还可以是照片，在社交软件中，需要对照片进行内容审核，当照片在内容审核中被判断为异常图像时，照片可以被拦截。

在一些实施例中，可以对用户上传的相册中的多张照片分别进行可视范围区域计算，从而判断照片是否为异常图像，当判断为异常图像的照片数目超于异常阈值时，可以对整个相册进行拦截，或者限制相册的展示权限。

在一些实施例中，可以对某一张照片多次执行本发明实施例提供的可视范围区域计算方法，对多次计算获得的各个面积占比结果进行平均，基于平均面积占比，判断照片是否属于异常图像，从而提高判断异常图像的准确率。

下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。

本发明实施例提出一种图像处理方法，该方法主要包括三个部分：图片分类部分、边界检测部分、滑动平均方差检测部分。

图片分类部分使用卷积神经网络进行图像分类，类别包括正常图像、两侧黑色区域、两侧毛玻璃、两侧含静态主体等等。

边界检测部分使用肯尼(Canny)边缘检测技术提取图片轮廓特征，并根据卷积神经网络的图像分类结果设定不同白色像素比例阈值，以确定出边界位置。

滑动平均方差检测技术计算上下区域与中间区域的相似性，防止正常图片被误识别。

针对于视频类型的图像资源，本发明实施例的示例性应用流程如下图7所示，图7为本发明实施例提供的图像处理的方法原理流程图。首先接收到对于视频的可视范围识别服务请求，获取视频的视频封面图和视频内容，对视频内容进行均匀采样抽帧从而组合形成图像集合，使用卷积神经网络对图像集合中的图像进行分类，类别包括正常图像、两侧黑边区域、两侧毛玻璃区域、两侧含静态主体，如果图像识别为正常图像则停止后续检测步骤，使用Canny边缘检测技术计算图像的可视范围边界，用于识别边界的白色像素比例阈值根据上一步图像的所属类别设定，使用滑动平均方差检测技术豁免误召回的图像，从而提高异常图像判断的准确率，对于图像集合中的每一个图像均进行如上所述的处理，当异常图像的数目超过了异常阈值时，确定视频为异常视频，在实际应用中，可以在推荐系统中对异常视频进行打压或者拦截。

下面，将说明本发明实施例提供的Canny边缘检测技术的流程步骤。

Canny边缘检测技术是通过识别图像的轮廓，判断以及定位图像可视范围的边界线。首先通过高斯滤波器过滤噪声，平滑图像，图像上的噪声会影响边缘检测的精度，容易被识别为伪边缘，因此将图像像素矩阵与高斯滤波器进行卷积操作，去除噪声；计算图像梯度大小和方向，通过计算图像梯度可以得到轮廓边缘的候选集，通过算子可以计算出水平方向和垂直方向的一阶导数值，可以确定像素点的梯度方向和大小；进行非极大值抑制处理，比较当前像素和沿正负梯度方向上的邻近像素的梯度强度，从而精简轮廓边缘候选集，使识别到的轮廓外形更加精简清晰；进行双阈值检测，进一步过滤非边缘轮廓点，设置强梯度阈值和弱梯度阈值。

使用Canny边缘检测得到图像轮廓图后，黑色区域、毛玻璃、含静态主体区域和图像实际可视范围的交接处会被识别为轮廓，并且该轮廓为一条直线。图像轮廓图是二值图，轮廓由白色像素点连接。因此可以通过遍历轮廓图，判断每行或者每列上白色像素点的占比，如果该行的白色像素点占比超过阈值，则认为是直线，即定位到可视范围边界。如果白色像素点比例阈值设得过高，则召回的异常图像数目不够，存在异常图像没有被召回的情形；如果白色像素点比例阈值设得过低，则会造成误识别，所以白色像素点比例阈值的选择至关重要。黑色区域和图像主体部分的交界线比较清晰，因此，白色像素点比例阈值设置得较高，因为边界更明显；毛玻璃区域与图像主体交界线一般比较模糊，因此，白色像素点比例阈值设置得较低，因为边界不明显；对于干扰内容为静态主体区域的情况，白色像素点比例阈值在上述两者之间；白色像素点比例阈值的设置是通过实验结果确定的。总体而言，需要根据图像分类结果设定不同的白色像素点比例阈值，最终通过白色像素点比例阈值定位到边界线。

下面，将说明本发明实施例提供的滑动平均方差检测技术的流程步骤。

滑动平均方差检测是为了解决误召回现象以提高准确率，图像分类和 Canny边缘检测会将图6A和图6B所示的图像识别为该类图像为两侧区域含静态主体，但是实际上这类图像属于具有特效的正常图像。这类图像特征比较明显，上中下三个区域内的图案大体相同，但是又不完全一致，存在上下偏移、中间区域带字幕、加滤镜等现象。滑动平均方差检测模块会设置一个大小为 N*M的矩阵窗口，在三个区域内分别计算相同位置窗口的灰度图像素值的标准差。如果计算得到的三个窗口的标准差之间差异小于标准差阈值，则确定这个位置的图像是相似的，否则判断这个位置的图像不相似，反复滑动窗口以重复上述操作，最后计算相似窗口数量的占比，如果占比超过相似窗口占比阈值，则判断上中下上个区域图片相同，不识别为两侧区域含静态主体的异常图像。

参见图8，图8为本发明实施例提供的图像处理方法用于内容审核和推荐使用的流程图。获取到封面图和视频内容后，对封面图以及经过视频内容抽帧处理后得到的图像集合中的每个图像进行图像分类，如果图像的实际可视范围的面积占比小于面积占比阈值，即表征图像的实际可视范围过小，当实际可视范围过小的图像数目超过了异常阈值，则对视频进行打压，当分类结果表征图像中存在上述呈现干扰内容的区域，但是图像的实际可视范围的面积占比仍然大于面积占比阈值，则对视频进行标记，并将视频给推荐侧使用。

在一些实施例中，对于图像可视范围区域进行识别还可以通过端到端的目标检测技术进行，将图像的可视范围区域作为目标进行目标检测，通过目标检测框内的结果，可以计算可视范围区域的面积占比并获得图像的类型。

下面继续说明本发明实施例提供的图像处理装置255的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器250的图像处理装置255中的软件模块可以包括：图像分类模块2551，用于提取图像的特征信息，根据所述特征信息对所述图像进行分类；边界检测模块2552，用于当分类结果表征所述图像中植入有干扰内容时，检测所述图像中的干扰内容与原始内容之间的边界位置；可视范围区域确认模块2553，用于根据所述检测到的边界位置、以及所述分类结果表征的所述干扰内容的分布方式，确定所述图像中呈现所述原始内容的可视范围区域；面积占比确定模块2554，用于确定所述可视范围区域的面积占比；图像判断模块2555，用于当所述可视范围区域的面积占比小于面积占比阈值时，确定所述图像属于影响观看体验的异常图像。

在一些实施例中，所述图像分类模块2551还用于：通过分类神经网络模型从所述图像中提取特征，将所提取的特征转换为分别对应以下分类结果的概率：未植入有干扰内容的正常图像、植入有干扰内容的潜在异常图像；其中，所述潜在异常图像以先验的多种呈现方式中任意一种呈现方式植入有干扰内容。

在一些实施例中，所述边界检测模块2552还用于：对所述图像进行预处理以去除所述图像中的噪声；确定所述图像中的每个像素点的梯度大小以及方向，以获得边缘像素点的候选集；对所述边缘像素点的候选集进行精简处理，基于精简后的边缘像素点的候选集形成所述图像的轮廓图；基于所述轮廓图，获得所述图像中的干扰内容与原始内容之间的边界位置。

在一些实施例中，所述边界检测模块2552还用于：保留所述轮廓图中梯度强度大于第一梯度阈值的像素点，并抑制梯度强度小于第二梯度阈值的像素点，其中，所述第一梯度阈值大于所述第二梯度阈值；将梯度强度在所述第一梯度阈值和所述第二梯度阈值之间的像素点，标记为弱边缘像素点；当所述弱边缘像素点的邻域内有梯度强度大于所述第一梯度阈值的像素点时，保留所述弱边缘像素点，当所述弱边缘像素点的邻域内没有梯度强度大于所述第一梯度阈值的像素点时，抑制所述弱边缘像素点；基于所述轮廓图中保留的像素点组合形成所述图像中的干扰内容与原始内容之间的边界位置。

在一些实施例中，所述边界检测模块2552还用于：确定白色像素点比例阈值；遍历所述轮廓图，获得所述轮廓图中每一行的白色像素点的比例；将所述轮廓图中大于所述白色像素点比例阈值的行的位置,确定为所述图像中的干扰内容与原始内容之间的边界位置。

在一些实施例中，所述边界检测模块2552还用于：根据所述干扰内容的边界清晰度确定白色像素点比例阈值，其中，所述白色像素点比例阈值与所述干扰内容的边界清晰度成正相关。

在一些实施例中，所述边界检测模块2552还用于：当所述干扰内容为单色图像时，确定所述白色像素点比例阈值为第一比例阈值；当所述干扰内容为毛玻璃图像时，确定所述白色像素点比例阈值为第二比例阈值；当所述干扰内容为除了所述单色图像和所述毛玻璃图像之外的其他图像时，确定所述白色像素点比例阈值为第三比例阈值；其中，所述第三比例阈值大于所述第二比例阈值，且所述第三比例阈值小于所述第一比例阈值。

在一些实施例中，所述装置还包括：

滑动平均方差检测模块2556，用于：当所述异常图像包含多个相同或者相似子图像时，在每个子图像中进行滑窗处理，并检测每个子图像中相同位置窗口的灰度图像素值的标准差；当所述标准差之间的差值小于标准差阈值时，确定所述相同位置窗口的图像为相似图像，并将所述相同位置窗口确定为相似窗口；当所述相似窗口的数量的占比大于相似窗口占比阈值时，将所述异常图像的分类结果更新为正常图像。

在一些实施例中，所述装置还包括：视频解码模块2557和视频判断模块 2558。视频解码模块2557，用于从视频中解码得到多帧所述图像；所述视频判断模块2558，用于当解码得到的多帧所述图像中属于所述异常图像的数目大于异常阈值时，确定所述视频属于影响观看体验的异常视频。

本发明实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的图像处理方法，例如，如图3A-3E示出的方法。

在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、 EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言 (HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

综上所述，通过本发明实施例，在图片可视范围计算的过程中结合深度网络和传统图像特征，利用分类神经网络模型识别图片类别，再使用边缘检测技术计算图片轮廓，根据不同类别设置不同白色像素点比例阈值，利用图片轮廓图和白色像素点比例阈值定位图片实际可视范围边界，最后使用滑动平均方差检测技术豁免特殊图片，提高了准确率。本发明实施例提供的方法能够在图像分类的基础上识别图像的可视范围区域，最后通过滑动平均方差技术豁免特殊图像，避免了图像误召回，提高了异常图像识别准确率，从而节省了大量审核人力，便于拦截打压大量低质量的照片和视频，提升了用户的观看体验。

以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

提取图像的特征信息，根据所述特征信息对所述图像进行分类；

当分类结果表征所述图像中植入有干扰内容时，检测所述图像中的干扰内容与原始内容之间的边界位置；

根据所述检测到的边界位置、以及所述分类结果表征的所述干扰内容的分布方式，确定所述图像中呈现所述原始内容的可视范围区域；

确定所述可视范围区域的面积占比；

当所述可视范围区域的面积占比小于面积占比阈值时，确定所述图像属于影响观看体验的异常图像。

2.根据权利要求1所述的方法，其特征在于，所述提取图像的特征信息，根据所述特征信息对所述图像进行分类，包括：

通过分类神经网络模型从所述图像中提取特征，将所提取的特征转换为分别对应以下分类结果的概率：

未植入有干扰内容的正常图像、植入有干扰内容的潜在异常图像；

其中，所述潜在异常图像以先验的多种呈现方式中任意一种呈现方式植入有干扰内容。

3.根据权利要求1所述的方法，其特征在于，所述检测所述图像中的干扰内容与原始内容之间的边界位置，包括：

对所述图像进行预处理以去除所述图像中的噪声；

确定所述图像中的每个像素点的梯度大小以及方向，以获得边缘像素点的候选集；

对所述边缘像素点的候选集进行精简处理，基于精简后的边缘像素点的候选集形成所述图像的轮廓图；

基于所述轮廓图，获得所述图像中的干扰内容与原始内容之间的边界位置。

4.根据权利要求3所述的方法，其特征在于，所述基于所述轮廓图，获得所述图像中的干扰内容与原始内容之间的边界位置，包括：

保留所述轮廓图中梯度强度大于第一梯度阈值的像素点，并抑制梯度强度小于第二梯度阈值的像素点，其中，所述第一梯度阈值大于所述第二梯度阈值；

将梯度强度在所述第一梯度阈值和所述第二梯度阈值之间的像素点，标记为弱边缘像素点；

当所述弱边缘像素点的邻域内有梯度强度大于所述第一梯度阈值的像素点时，保留所述弱边缘像素点，当所述弱边缘像素点的邻域内没有梯度强度大于所述第一梯度阈值的像素点时，抑制所述弱边缘像素点；

基于所述轮廓图中保留的像素点，组合形成所述图像中的干扰内容与原始内容之间的边界位置。

5.根据权利要求4所述的方法，其特征在于，所述基于所述轮廓图中保留的像素点，组合形成所述图像中的干扰内容与原始内容之间的边界位置，包括：

确定白色像素点比例阈值；

遍历所述轮廓图，获得所述轮廓图中每一行的白色像素点的比例；

将所述轮廓图中大于所述白色像素点比例阈值的行的位置，确定为所述图像中的干扰内容与原始内容之间的边界位置。

6.根据权利要求5所述的方法，其特征在于，所述确定白色像素点比例阈值，包括：

根据所述干扰内容的边界清晰度确定白色像素点比例阈值，其中，所述白色像素点比例阈值与所述干扰内容的边界清晰度成正相关。

7.根据权利要求5所述的方法，其特征在于，所述确定白色像素点比例阈值，包括：

当所述干扰内容为单色图像时，确定所述白色像素点比例阈值为第一比例阈值；

当所述干扰内容为毛玻璃图像时，确定所述白色像素点比例阈值为第二比例阈值；

当所述干扰内容为除了所述单色图像和所述毛玻璃图像之外的其他图像时，确定所述白色像素点比例阈值为第三比例阈值；

其中，所述第三比例阈值大于所述第二比例阈值，且所述第三比例阈值小于所述第一比例阈值。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

当所述异常图像包含多个相同或者相似子图像时，在每个子图像中进行滑窗处理，并检测每个子图像中相同位置窗口的灰度图像素值的标准差；

当所述标准差之间的差值小于标准差阈值时，确定所述相同位置窗口的图像为相似图像，并将所述相同位置窗口确定为相似窗口；

当所述相似窗口的数量的占比大于相似窗口占比阈值时，将所述异常图像的分类结果更新为正常图像。

9.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

从视频中解码得到多帧所述图像；

当解码得到的多帧所述图像中属于所述异常图像的数目大于异常阈值时，确定所述视频属于影响观看体验的异常视频。

10.一种图像处理装置，其特征在于，所述装置包括：

图像分类模块，用于提取图像的特征信息，根据所述特征信息对所述图像进行分类；

边界检测模块，用于当分类结果表征所述图像中植入有干扰内容时，检测所述图像中的干扰内容与原始内容之间的边界位置；

可视范围区域确认模块，用于根据所述检测到的边界位置、以及所述分类结果表征的所述干扰内容的分布方式，确定所述图像中呈现所述原始内容的可视范围区域；

面积占比确定模块，用于确定所述可视范围区域的面积占比；

图像判断模块，用于当所述可视范围区域的面积占比小于面积占比阈值时，确定所述图像属于影响观看体验的异常图像。