CN109101523A - 一种图像处理方法、装置和电子设备 - Google Patents

一种图像处理方法、装置和电子设备 Download PDF

Info

Publication number
CN109101523A
CN109101523A CN201810615079.7A CN201810615079A CN109101523A CN 109101523 A CN109101523 A CN 109101523A CN 201810615079 A CN201810615079 A CN 201810615079A CN 109101523 A CN109101523 A CN 109101523A
Authority
CN
China
Prior art keywords
image
original image
sensitive
convolutional neural
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810615079.7A
Other languages
English (en)
Inventor
商磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sogou Technology Development Co Ltd
Sogou Hangzhou Intelligent Technology Co Ltd
Original Assignee
Beijing Sogou Technology Development Co Ltd
Sogou Hangzhou Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sogou Technology Development Co Ltd, Sogou Hangzhou Intelligent Technology Co Ltd filed Critical Beijing Sogou Technology Development Co Ltd
Priority to CN201810615079.7A priority Critical patent/CN109101523A/zh
Publication of CN109101523A publication Critical patent/CN109101523A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Abstract

本发明实施例提供了一种图像处理方法、装置和电子设备,其中,所述方法包括:获取显示信息的原始图像,采用卷积神经网络提取所述原始图像的特征得到特征图像;依据所述特征图像,确定原始图像的敏感信息检测区域;依据所述敏感信息检测区域确定所述原始图像是敏感图像时,过滤所述原始图像;进而通过减少使用卷积神经网络的次数,提高敏感图像的识别效率。

Description

一种图像处理方法、装置和电子设备
技术领域
本发明涉及数据处理技术领域,特别是涉及一种图像处理方法、装置和电子设备。
背景技术
目前,互联网已逐渐发展成为人们生活、工作的一部分,如上网发邮件、查询资料、下载软件、购物等,互联网不但扩展了人们的视野,还丰富了人们的工作方式和生活方式。
往往会有不法分子利用互联网传播一些违法图片如色情图片、暴力血腥图片等等,以达到盈利的目的,这严重影响了人们的身心健康,因此需要对这些违法图片进行屏蔽以净化网络环境。不法分子通常会缩小违法图片中敏感信息占图片的比例,以加大各平台对敏感信息的识别难度;现有技术对于这类违法图片识别的方式是,将图片裁剪成多个部分,然后将每个部分分别输入至神经网络,检测每个部分是否存在敏感信息,若一张图片的至少一个部分包括敏感信息,则确定该图片是违法图片;这种方式需要多次利用到神经网络进行检测,耗时长,识别效率低。
发明内容
本发明实施例提供一种图像处理方法,以提高敏感图像的识别效率。
相应的,本发明实施例还提供了一种图像处理装置和一种电子设备,用以保证上述方法的实现及应用。
为了解决上述问题,本发明实施例公开了一种图像处理方法,具体包括:获取显示信息的原始图像,采用卷积神经网络提取所述原始图像的特征得到特征图像;依据所述特征图像,确定原始图像的敏感信息检测区域;依据所述敏感信息检测区域确定所述原始图像是敏感图像时,过滤所述原始图像。
可选地,所述依据所述特征图像确定原始图像的敏感信息检测区域,包括:依据所述特征图像,确定所述原始图像对应的敏感响应图像;依据所述原始图像对应的敏感响应图像,确定原始图像的敏感信息检测区域。
可选地,所述特征图像是由卷积神经网络的倒数第三层输出的,所述卷积神经网络的倒数第三层为卷积层、最后一层为全连接层;所述依据所述特征图像,确定原始图像对应的敏感响应图像,包括:依据所述特征图像和全连接层的权重信息,确定原始图像对应的敏感响应图像。
可选地,所述卷积神经网络包括多个通道,一个通道对应一个特征图像,一个通道对应全连接层中一个敏感权重信息;所述依据所述特征图像和全连接层的权重信息,确定原始图像对应的敏感响应图像,包括:针对每通道对应的特征图像,依据所述特征图像中各像素点的像素值和所述通道对应的敏感权重信息,确定所述特征图像对应的敏感响应图像;将每个通道的特征图像对应的敏感响应图像进行合成,生成所述原始图像对应的敏感响应图像。
可选地,所述依据原始图像对应的敏感响应图像,确定原始图像中敏感信息检测区域,包括:确定原始图像对应敏感响应图像的二值图像,确定所述二值图像的连通域;确定所述连通域的外接多边形和外接多边形各个顶点的像素点坐标;依据所述各个顶点的像素点坐标,确定原始图像中敏感信息检测区域。
可选地,所述依据所述各个顶点的像素点坐标,确定原始图像中敏感信息检测区域,包括:依据所述各个顶点的像素点坐标,确定所述原始图像中各顶点对应的像素点;确定以所述各个像素点为顶点的多边形区域,将所述多边形区域确定为所述原始图像的敏感信息检测区域。
可选地,所述卷积神经网络的最后一层为全连接层,所述方法还包括训练卷积神经网络的步骤:获取训练图像;将所述训练图像输入至卷积神经网络中,得到其全连接层输出的二维向量;确定所述训练图像的类别,依据所述二维向量和类别调整所述卷积神经网络的权值,所述权值包括全连接层的权重信息。
可选地,所述卷积神经网络的包括多个池化层,其中一个池化层是卷积神经网络的倒数第二层,所述倒数第二层的池化层的池化处理方式包括全局平均池化的处理方式。
本发明实施例还公开了一种图像处理装置,具体包括:提取模块,用于获取显示信息的原始图像,采用卷积神经网络提取所述原始图像的特征得到特征图像;区域确定模块,用于依据所述特征图像,确定原始图像的敏感信息检测区域;过滤模块,用于依据所述敏感信息检测区域确定所述原始图像是敏感图像时,过滤所述原始图像。
可选地,所述区域确定模块包括:响应图像确定子模块,用于依据所述特征图像,确定所述原始图像对应的敏感响应图像;检测区域确定子模块,用于依据所述原始图像对应的敏感响应图像,确定原始图像的敏感信息检测区域。
可选地,所述特征图像是由卷积神经网络的倒数第三层输出的,所述卷积神经网络的倒数第三层为卷积层、最后一层为全连接层;所述响应图像确定子模块,用于依据所述特征图像和全连接层的权重信息,确定原始图像对应的敏感响应图像。
可选地,所述卷积神经网络包括多个通道,一个通道对应一个特征图像,一个通道对应全连接层中一个敏感权重信息;所述响应图像确定子模块,具体用于针对每通道对应的特征图像,依据所述特征图像中各像素点的像素值和所述通道对应的敏感权重信息,确定所述特征图像对应的敏感响应图像;将每个通道的特征图像对应的敏感响应图像进行合成,生成所述原始图像对应的敏感响应图像。
可选地,所述检测区域确定子模块,用于确定原始图像对应敏感响应图像的二值图像,确定所述二值图像的连通域;确定所述连通域的外接多边形和外接多边形各个顶点的像素点坐标;依据所述各个顶点的像素点坐标,确定原始图像中敏感信息检测区域。
可选地,所述检测区域确定子模块,具体用于依据所述各个顶点的像素点坐标,确定所述原始图像中各顶点对应的像素点;确定以所述各个像素点为顶点的多边形区域,将所述多边形区域确定为所述原始图像的敏感信息检测区域。
可选地,所述卷积神经网络的最后一层为全连接层,所述装置还包括:训练模块,用于获取训练图像;将所述训练图像输入至卷积神经网络中,得到其全连接层输出的二维向量;确定所述训练图像的类别,依据所述二维向量和类别调整所述卷积神经网络的权值,所述权值包括全连接层的权重信息。
可选地,所述卷积神经网络的包括多个池化层,其中一个池化层是卷积神经网络的倒数第二层,所述倒数第二层的池化层的池化处理方式包括全局平均池化的处理方式。
本发明实施例还公开了一种可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如本发明实施例任一所述的图像处理方法。
本发明实施例还公开了一种电子设备,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:获取显示信息的原始图像,采用卷积神经网络提取所述原始图像的特征得到特征图像;依据所述特征图像,确定原始图像的敏感信息检测区域;依据所述敏感信息检测区域确定所述原始图像是敏感图像时,过滤所述原始图像。
可选地,所述依据所述特征图像确定原始图像的敏感信息检测区域,包括:依据所述特征图像,确定所述原始图像对应的敏感响应图像;依据所述原始图像对应的敏感响应图像,确定原始图像的敏感信息检测区域。
可选地,所述特征图像是由卷积神经网络的倒数第三层输出的,所述卷积神经网络的倒数第三层为卷积层、最后一层为全连接层;所述依据所述特征图像,确定原始图像对应的敏感响应图像,包括:依据所述特征图像和全连接层的权重信息,确定原始图像对应的敏感响应图像。
可选地,所述卷积神经网络包括多个通道,一个通道对应一个特征图像,一个通道对应全连接层中一个敏感权重信息;所述依据所述特征图像和全连接层的权重信息,确定原始图像对应的敏感响应图像,包括:针对每通道对应的特征图像,依据所述特征图像中各像素点的像素值和所述通道对应的敏感权重信息,确定所述特征图像对应的敏感响应图像;将每个通道的特征图像对应的敏感响应图像进行合成,生成所述原始图像对应的敏感响应图像。
可选地,所述依据原始图像对应的敏感响应图像,确定原始图像中敏感信息检测区域,包括:确定原始图像对应敏感响应图像的二值图像,确定所述二值图像的连通域;确定所述连通域的外接多边形和外接多边形各个顶点的像素点坐标;依据所述各个顶点的像素点坐标,确定原始图像中敏感信息检测区域。
可选地,所述依据所述各个顶点的像素点坐标,确定原始图像中敏感信息检测区域,包括:依据所述各个顶点的像素点坐标,确定所述原始图像中各顶点对应的像素点;确定以所述各个像素点为顶点的多边形区域,将所述多边形区域确定为所述原始图像的敏感信息检测区域。
可选地,所述卷积神经网络的最后一层为全连接层,还包含用于进行以下训练卷积神经网络操作的指令:获取训练图像;将所述训练图像输入至卷积神经网络中,得到其全连接层输出的二维向量;确定所述训练图像的类别,依据所述二维向量和类别调整所述卷积神经网络的权值,所述权值包括全连接层的权重信息。
可选地,所述卷积神经网络的包括多个池化层,其中一个池化层是卷积神经网络的倒数第二层,所述倒数第二层的池化层的池化处理方式包括全局平均池化的处理方式。
本发明实施例包括以下优点:
本发明实施例在获取显示信息的原始图像后,采用卷积神经网络提取所述原始图像的特征得到特征图像,再依据所述特征图像,确定原始图像的敏感信息检测区域,然后在依据所述敏感信息检测区域确定所述原始图像是敏感图像时,过滤所述原始图像,进而达到了净化网络环境的目的;相比于现有技术对敏感图像的检测而言,本发明实施例减少了使用卷积神经网络的次数,从而提高了敏感图像的识别效率。
附图说明
图1是本发明的一种图像处理方法实施例的步骤流程图;
图2是本发明的一种卷积神经网络训练方法实施例的步骤流程图;
图3是本发明的一种图像处理方法可选实施例的步骤流程图;
图4是本发明的实施例的一种原始图像对应的敏感响应图像的示意图;
图5是本发明实施例的一种二值图像的示意图;
图6是本发明的一种图像处理装置实施例的结构框图;
图7是本发明的一种图像处理装置可选实施例的结构框图;
图8根据一示例性实施例示出的一种用于图像处理的电子设备的结构框图;
图9是本发明根据另一示例性实施例示出的一种用于图像处理的电子设备的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例的核心构思之一是,可将原始图像直接输入至卷积神经网络中,依据卷积神经网络输出的特征图像,确定原始图像的敏感信息检测区域;然后通过对敏感信息检测区域的检测确定原始图像是否为敏感图像,确定原始图像是敏感图像时可对所述原始图像进行过滤,以净化网络环境;进而无需将原始图像划分成多个部分,通过多次采用卷积神经网络实现敏感图像的检测,提高了敏感图像的识别效率。
参照图1,示出了本发明的一种图像处理方法实施例的步骤流程图,具体可以包括如下步骤:
步骤102、获取显示信息的原始图像,采用卷积神经网络提取所述原始图像的特征得到特征图像。
本发明实施例中,在展示显示信息之前,可从显示信息中获取图像,然后对显示信息中的图像进行检测,判断所述图像是否是敏感图像,所述敏感图像可以是指包含敏感信息的图像,如裸露图片、暴力/血腥图片等可能引起人体不适的图片,又如含有售假、造假信息的图片等,所述敏感信息可以指违反法律、法规的信息;其中,可将从显示信息中获取的图像称为原始图像。若原始图像是敏感图像,则可对该原始图像进行过滤,即在展示显示信息时可不展示该原始图像,若所述图像不是敏感图像,则在展示所述显示信息时即可展示该原始图像;进而达到过滤敏感图像,净化网络环境的目的。
在获取原始图像后,可将所述原始图像输入至卷积神经网络中,采用卷积神经网络对原始图像进行特征提取,得到原始图像对应的特征图像;其中,所述特征图像是卷积神经网络的最后一个卷积层输出的。其中,可预先采用训练图像对卷积神经网络进行训练,再采用训练后的卷积神经网络提取原始图像的特征;其中,对卷积神经网络的训练方法在后续进行详细说明。
步骤104、依据所述特征图像,确定原始图像的敏感信息检测区域。
步骤106、依据所述敏感信息检测区域确定所述原始图像是敏感图像时,过滤所述原始图像。
其中,若原始图像是敏感图像,则原始图像对应的特征图像中可包括敏感信息对应的特征,因此本发明实施例可在得到特征图像之后,通过对特征图像的分析,确定原始图像中可能存在敏感信息的区域,即原始图像中的敏感信息检测区域。然后可从原始图像中提取敏感信息检测区域对应的图像,通过对提取图像的检测,判断所述提取的图像中是否包含敏感信息;若提取的图像包含敏感信息,可确定所述原始图像是敏感图像,可过滤所述原始图像;若提取的图像不包含敏感信息,可确定所述原始图像不是敏感图像,可对下一张原始图像进行检测。可见本发明实施例无需将原始图像划分成多个部分分别输入至卷积神经网络进行多次敏感图像的检测,进而提高了敏感图像的识别效率。
综上所述,本发明实施例在获取显示信息的原始图像后,采用卷积神经网络提取所述原始图像的特征得到特征图像,再依据所述特征图像,确定原始图像的敏感信息检测区域,然后在依据所述敏感信息检测区域确定所述原始图像是敏感图像时,过滤所述原始图像,进而达到了净化网络环境的目的;相比于现有技术对敏感图像的检测而言,本发明实施例减少了使用卷积神经网络的次数,从而提高了敏感图像的识别效率。
本发明的另一个实施例中,可收集训练图像,采用训练图像对卷积神经网络进行训练,使得采用训练后的卷积神经网络能够更准确地提取原始图像的特征,进而提高确定原始图像的敏感信息检测区域的准确性,由此提高确定原始图像是否为敏感图像的准确性。
其中,常规卷积神经网络可以包括:输入层-N个中间层-全连接层-输出层,其中,中间层可以包括:卷积层和池化层,数据流的流向是由卷积层到池化层,N为大于0的整数;而本发明实施例中的用于训练的卷积神经网络不包括输出层,即用于训练的卷积神经网络包括:输入层-N个中间层-全连接层,即用于训练的卷积神经网络的最后一层为全连接层,倒数第二层为池化层,倒数第三层为卷积层。其中,训练卷积神经网络的步骤,可包括以下步骤:202-208:
参照图2、示出了本发明的一种卷积神经网络训练方法实施例的步骤流程图;具体可包括以下步骤:
步骤202、获取训练图像。
本发明实施例中,可收集训练图像,其中,所述训练图像可包括敏感图像和常规图像,所述常规图像可以是除敏感图像外的其他图像,所述训练图像的数量可按照需求确定。
步骤204、将所述训练图像输入至卷积神经网络中,得到全连接层输出的二维向量。
步骤206、确定所述训练图像的类别,依据所述二维向量和类别调整所述卷积神经网络的权值,所述权值包括全连接层的权重信息。
本发明实施例中,对卷积神经网络的训练可包括两个过程:正向传播和反向传播,其中,正向传播:将训练图像输入至卷积神经网络中,经过中间层后到达全连接层,由全连接层输出二维向量。本发明实施例中,所述卷积神经网络可包括多个池化层,其中最后一个池化层(即卷积神经网络的倒数第二层)和其他池化层的池化处理方式不同,最后一个池化层的池化处理方式可以是全局平均池化处理;其中,卷积神经网络的倒数第二层接收到卷积神经网络的倒数第三层输出的图像(训练过程中可将卷积神经网络倒数第三层输出的图像称为特征训练图像)后,可采用与特征训练图像相同大小的滤波器,对特征训练图像进行池化处理,即计算特征训练图像各像素点的像素值的平均值;例如4*4的特征训练图像各像素点的像素值如表1所示,对表1的特征图像进行全局平均池化处理,可得到平均值为:6.56。
1 1 2 4
5 6 6 8
3 2 1 0
1 2 3 4
表1
然后将平均值作为倒数第二层的池化结果,然后将池化结果输入至全连接层。
本发明实施例中,所述卷积神经网络可包括多个通道,每一个通道可对应一个特征训练图像,每一个通道可对应全连接层中一个敏感权重信息和一个常规权重信息。其中,所述通道的数量可按照需求设置;即在正向传播时,将训练图像输入卷积神经网络中后,其倒数第三层可输出与其通道数量相同的特征训练图像。例如,卷积神经网络的通道数为512,则训练图像输入至卷积神经网络后,其倒数第三层输出的512张特征训练图像。然后卷积神经网络的倒数第二层可对每个通道对应的特征图像进行池化处理,可得到每个特征图像对应的池化结果,所述池化结果的数量和通道数量相同,例如,针对512张4*4的特征训练图像进行池化处理,可得到512个池化结果,即512个平均值。然后将每个通道对应的池化结果,输入至全连接层中该通道对应位置,与该位置对应的敏感权重信息和常规权重信息进行运算,最终全连接层可输出一个二维向量;其中,所述二维向量包括两个维度,一个维度是常规维度,常规维度的值是训练图像为常规图像的分值,另一个维度是敏感维度,敏感维度的值是训练图像为敏感图像的分值。所述二维向量用于表征卷积神经网络对图像的检测结果即图像的类别,所述类别包括:常规类和敏感类,若二维向量中常规维度对应的分值大于敏感维度对应的分值,确定图像的类别为常规类;若二维向量中常规维度对应的分值小于敏感维度对应的分值,确定图像的类别为敏感类。
在进行正向传播后,可对卷积神经网络进行反向传播,即将全连接层输出的二维向量与训练图像的类别进行对比,依据两者比对的结果调整卷积神经网络的权值。本发明实施例中,可确定训练图像的类别,以及将二维向量两个维度对应的分值映射为概率值,并使两个维度的概率值相加等于1;再依据训练图像的类别和二维向量两个维度的概率值,调整卷积神经网络的权值。
其中,若二维向量中敏感维度对应的概率值大于常规维度对应的概率值,则说明采用卷积神经网络检测图像的类别为敏感类,当该二维向量中敏感维度对应的概率值越趋于1,则说明该图像的类别为敏感类的概率越大;对应的,若二维向量中常规维度对应的概率值大于敏感维度对应的概率值,则说明采用卷积神经网络检测图像的类别为常规类,当该二维向量中常规维度对应的概率值越趋于1,则说明该图像的类别为常规类的概率越大。
因此在调整卷积神经网络过程中,若训练图像的类别为敏感类,二维向量中敏感维度对应的概率值为0.7,则可调整卷积神经网络的权值,使二维向量中敏感维度对应的概率值为趋于1;若训练图像的类别为常规类,二维向量中常规维度对应的概率值为0.6,则可调整卷积神经网络的权值,使二维向量中常规维度对应的概率值为趋于1。其中,所述卷积神经网络的权值包括全连接层的权重信息,所述全连接层的权重信息可包括常规权重信息和敏感权重信息;当然所述卷积神经网络的权值也可以包括全部或部分卷积层的权重信息。
综上所述,本发明实施例在训练卷积神经网络的过程中,可获取训练图像,将所述训练图像输入至卷积神经网络中,得到其全连接层输出的二维向量;再确定所述训练图像的类别,依据所述二维向量和类别调整所述卷积神经网络的权值;进而在获取训练图像后直接将训练图像输入至卷积神经网络中进行训练,而无需人工对训练图像中敏感信息对应区域进行标注后再输入至卷积神经网络中,从而提高了卷积神经网络训练的效率。
本发明的另一个实施例中,上述步骤104中依据所述特征图像,确定原始图像的敏感信息检测区域可包括:依据所述特征图像,确定原始图像对应的敏感响应图像;依据原始图像对应的敏感响应图像,确定原始图像的敏感信息检测区域。
参照图3,示出了本发明的一种图像处理方法可选实施例的步骤流程图,具体可以包括如下步骤:
步骤302、获取显示信息的原始图像,采用卷积神经网络提取所述原始图像的特征得到特征图像。
本发明实施例中,为了对显示信息中的敏感图像进行屏蔽,净化网络环境,对显示信息中的原始图像进行检测,在确定原始图像为敏感图像时,可过滤所述原始图像。即在获取到原始图像后,可采用上述训练的卷积神经网络提取所述原始图像的特征得到特征图像;其中,采用卷积神经网络提取原始图像的特征时,并未利用卷积神经网络的最后一层(即全连接层)和其倒数第二层(即池化层),所述特征图像是由卷积神经网络的倒数第三层(即卷积层)输出的。卷积神经网络的全连接层用于提供权重信息,所述权重信息可与特征图像结合确定原始图像的敏感信息检测区域。
上述步骤104中依据所述特征图像,确定原始图像的敏感信息检测区域,可以包括如下步骤:304-306。
步骤304、依据所述特征图像,确定所述原始图像对应的敏感响应图像。
本发明实施例在得到特征图像后,可对所述特征图像进行处理,将原始图像中敏感信息对应区域与非敏感信息对应的区域进行区分,确定原始图像对应的敏感响应图像。具体的,可以获取卷积神经网络的全连接层的权重信息,依据所述特征图像和全连接层的权重信息,确定原始图像对应的敏感响应图像;具体可通过如下子步骤42-44实现。
子步骤42、针对每通道对应的特征图像,依据所述特征图像中各像素点的像素值和所述通道对应的敏感权重信息,确定所述特征图像对应的敏感响应图像。
子步骤44、将每个通道的特征图像对应的敏感响应图像进行合成,生成所述原始图像对应的敏感响应图像。
依据上述说明可知,所述卷积神经网络包括多个通道,一个通道对应一个特征图像,一个通道对应全连接层中一个敏感权重信息;因此针对每个通道对应的特征图像,可依据所述特征图像中各像素点的像素值和所述通道对应的敏感权重信息,确定所述特征图像对应的敏感响应图像,例如可计算特征图像中各像素点的像素值与所述通道对应的敏感权重信息的乘积,得到特征图像对应的敏感响应图像。例如某一通道的特征图像的尺寸为4*4,特征图像中各像素点的像素值如表1所示,该通道对应的敏感权重信息为0.3,则该特征图像对应敏感响应图像各像素点的像素值如表2所示:
0.3 0.3 0.6 1.2
1.5 1.8 1.8 2.4
0.9 0.6 0.3 0
0.3 0.6 0.9 1.2
表2
进而可得到每个通道的特征图像对应的敏感响应图像,再将每个通道的特征图像对应的敏感响应图像进行合成,生成所述原始图像对应的敏感响应图像;例如可将各特征图像对应的敏感响应图像对应位置的像素值相加,然后将每个像素点的像素值映射为灰度值,得到原始图像的敏感响应图像。例如每个特征图像的敏感响应图像的尺寸为4*4,卷积神经网络的通道数量为512,可将512个敏感响应图像的第一行第一列的像素点的像素值相加,对于其他像素点可以以此类推,进而得到原始图像的敏感响应图像,如图4所示。
步骤306、依据所述原始图像对应的敏感响应图像,确定原始图像中敏感信息检测区域。
本发明实施例在得到原始图像对应的敏感响应图像后,可依据原始图像对应的敏感响应图像,确定原始图像中敏感信息检测区域,具体可通过如下子步骤62-66实现。
子步骤62、确定原始图像对应敏感响应图像的二值图像,确定所述二值图像的连通域。
子步骤64、确定所述连通域的外接多边形和外接多边形各个顶点的像素点坐标。
子步骤66、依据所述各个顶点的像素点坐标,确定原始图像中敏感信息检测区域。
本发明实施例中,所述原始图像对应敏感响应图像是灰度图,可对该敏感响应图像进行二值化处理,例如将敏感响应图像中像素值大于阈值的像素点的像素值置为1,像素值小于阈值的像素点的像素值置为0;当然也可以将敏感响应图像中像素值大于阈值的像素点的像素值置为0,将像素值小于阈值的像素点的像素值置为1;进而得到敏感响应图像对应的二值图像。然后对二值图像进行连通域分析,确定二值图像的连通域,其中,所述连通域可包括敏感信息所在的区域。其中,所述阈值可按照需求设置。
本发明可依据连通域的像素点坐标,确定连通域的外接多边形和外接多边形各个顶点的像素点坐标,再依据所述各个顶点的像素点坐标,确定所述原始图像的敏感信息检测区域。其中,所述外接多边形可以包括矩形,则连通域的外接矩形可以包括连通域的最小面积外接矩形;可参照图5,是连通域的外接多边形为矩形的示例,图5是图4的二值图像,其中,方框A即为连通域的外接矩形。
其中,所述依据所述各个顶点的像素点坐标,确定原始图像中敏感信息检测区域,具体可通过如下子步骤S2-S4实现。
子步骤S2、依据所述各个顶点的像素点坐标,确定所述原始图像中各顶点对应的像素点。
子步骤S4、确定以所述各个像素点为顶点的多边形区域,将所述多边形区域确定为所述原始图像的敏感信息检测区域。
本发明实施例中,依据所述各个顶点的像素点坐标,确定所述原始图像中的各个像素点,即在原始图像中直接查找各顶点对应的像素点,进而可查找到原始图像中的各个像素点;其中,原始图像中各个像素点的坐标,与各个顶点的像素点坐标存在对应的关系,所述关系可依据原始图像和特征图像的大小关系确定。例如,原始图像为64*64,特征图像为4*4,则原始图像的敏感响应图像也为4*4,即原始图像为敏感响应图像的16*16倍;因此可将原始图像的敏感响应图像对应连通域的外接多边形各个顶点的像素点坐标放大16*16倍,可得到原始图像中各个像素点的坐标。然后可确定以所述各个像素点为顶点的多边形区域,将所述多边形区域确定为所述原始图像的敏感信息检测区域,即将图5中方框A框定的区域对应到原始图像中,确定敏感信息检测区域。
本发明实施例中,若二值图像的外接多边形包括多个,则可确定多组像素点坐标,对应的,原始图像的敏感信息检测区域也可包括多个。
本发明实施例中,所述外接多边形可以是矩形,也可以是除矩形外的其他多边形,若所述连通域的外接多边形是除矩形外的其他多边形,则对应确定的敏感信息检测区域也不是矩形,可将所述敏感信息检测区域由多边形转换为矩形,再执行步骤308。当然,若所述连通域的外接多边形是矩形,则对应确定的敏感信息检测区域也为矩形,可直接执行步骤308。
步骤308、依据所述敏感信息检测区域判断所述原始图像是否为敏感图像。
本发明实施例在确定敏感信息检测区域后,可确定敏感信息检测区域对应的倾斜角度,然后依据敏感信息检测区域的各像素点坐标和倾斜角度,执行抠图的操作,从原始图像中提取敏感信息检测区域的图像。然后对提取的图像进行检测,例如将提取的图像输入至常规卷积神经网络中,可得到提取的图像对应分类结果,然后依据所述分类结果判断所述原始图像是否为敏感图像;即若提取的图像对应分类结果是敏感类,则确定原始图像是敏感图像,可执行步骤310,若提取的图像对应分类结果是非敏感类,则确定原始图像不是敏感图像,则结束上述流程。
步骤310、过滤所述原始图像。
确定所述原始图像是敏感图像时,可过滤所述原始图像,使得向用户展示的显示信息中不包含敏感图像,提高了用户体验。
本发明实施例可将显示信息中的原始图像直接输入值卷积神经网络中,得到特征图像,然后依据所述特征图像确定原始图像的敏感信息检测区域,并在依据所述敏感信息检测区域确定所述原始图像是敏感图像时,过滤所述原始图像,进而达到了净化网络环境的目的,且提高了用户体验;相比于现有技术对敏感图像的检测而言,本发明实施例减少了使用卷积神经网络的次数,从而提高了敏感图像的识别效率。
其次,本发明实施例在依据所述特征图像确定原始图像的敏感信息检测区域时,依据所述特征图像,确定所述原始图像对应的敏感响应图像,依据所述原始图像对应的敏感响应图像,确定原始图像的敏感信息检测区域;其中,可依据所述特征图像和全连接层的权重信息,将原始图像中敏感信息对应区域与非敏感信息对应的区域进行区分,确定敏感响应图像;因此依据所敏感响应图像确定敏感信息检测区域,可提高确定敏感信息检测区域的准确性。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图6,示出了本发明的一种图像处理装置实施例的结构框图,具体可以包括如下模块:提取模块602、区域确定模块604和过滤模块606,其中,
提取模块602,用于获取显示信息的原始图像,采用卷积神经网络提取所述原始图像的特征得到特征图像;
区域确定模块604,用于依据所述特征图像,确定原始图像的敏感信息检测区域;
过滤模块606,用于依据所述敏感信息检测区域确定所述原始图像是敏感图像时,过滤所述原始图像。
参照图7,示出了本发明的一种图像处理装置可选实施例的结构框图。
本发明一个可选的实施例中,所述卷积神经网络的最后一层为全连接层,所述装置还包括:训练模块608,用于获取训练图像;将所述训练图像输入至卷积神经网络中,得到其全连接层输出的二维向量;确定所述训练图像的类别,依据所述二维向量和类别调整所述卷积神经网络的权值,所述权值包括全连接层的权重信息。
本发明一个可选的实施例中,所述卷积神经网络包括多个池化层,其中一个池化层是卷积神经网络的倒数第二层,所述倒数第二层的池化层的池化处理的方式包括全局平均池化的处理方式。
本发明一个可选的实施例中,所述区域确定模块604包括:响应图像确定子模块6042和检测区域确定子模块6044,其中,
响应图像确定子模块6042,用于依据所述特征图像,确定所述原始图像对应的敏感响应图像;
检测区域确定子模块6044,用于依据所述原始图像对应的敏感响应图像,确定原始图像的敏感信息检测区域。
本发明一个可选的实施例中,所述特征图像是由卷积神经网络的倒数第三层输出的,所述卷积神经网络的倒数第三层为卷积层、最后一层为全连接层;
所述响应图像确定子模块6042,用于依据所述特征图像和全连接层的权重信息,确定原始图像对应的敏感响应图像。
本发明一个可选的实施例中,所述卷积神经网络包括多个通道,一个通道对应一个特征图像,一个通道对应全连接层中一个敏感权重信息;所述响应图像确定子模块6042,具体用于针对每通道对应的特征图像,依据所述特征图像中各像素点的像素值和所述通道对应的敏感权重信息,确定所述特征图像对应的敏感响应图像;将每个通道的特征图像对应的敏感响应图像进行合成,生成所述原始图像对应的敏感响应图像。
本发明一个可选的实施例中,所述检测区域确定子模块6044,用于确定原始图像对应敏感响应图像的二值图像,确定所述二值图像的连通域;确定所述连通域的外接多边形和外接多边形各个顶点的像素点坐标;依据所述各个顶点的像素点坐标,确定原始图像中敏感信息检测区域。
本发明一个可选的实施例中,所述检测区域确定子模块6044,具体用于依据所述各个顶点的像素点坐标,确定所述原始图像中各顶点对应的像素点;确定以所述各个像素点为顶点的多边形区域,将所述多边形区域确定为所述原始图像的敏感信息检测区域。
本发明实施例在获取显示信息的原始图像后,采用卷积神经网络提取所述原始图像的特征得到特征图像,再依据所述特征图像,确定原始图像的敏感信息检测区域,然后在依据所述敏感信息检测区域确定所述原始图像是敏感图像时,过滤所述原始图像,进而达到了净化网络环境的目的;相比于现有技术对敏感图像的检测而言,本发明实施例减少了使用卷积神经网络的次数,从而提高了敏感图像的识别效率。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
图8是根据一示例性实施例示出的一种用于图像处理的电子设备800的结构框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理部件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信部件814经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信部件814还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行一种图像处理方法,所述方法包括:获取显示信息的原始图像,采用卷积神经网络提取所述原始图像的特征得到特征图像;依据所述特征图像,确定原始图像的敏感信息检测区域;依据所述敏感信息检测区域确定所述原始图像是敏感图像时,过滤所述原始图像。
可选地,所述依据所述特征图像确定原始图像的敏感信息检测区域,包括:依据所述特征图像,确定所述原始图像对应的敏感响应图像;依据所述原始图像对应的敏感响应图像,确定原始图像的敏感信息检测区域。
可选地,所述特征图像是由卷积神经网络的倒数第三层输出的,所述卷积神经网络的倒数第三层为卷积层、最后一层为全连接层;所述依据所述特征图像,确定原始图像对应的敏感响应图像,包括:依据所述特征图像和全连接层的权重信息,确定原始图像对应的敏感响应图像。
可选地,所述卷积神经网络包括多个通道,一个通道对应一个特征图像,一个通道对应全连接层中一个敏感权重信息;所述依据所述特征图像和全连接层的权重信息,确定原始图像对应的敏感响应图像,包括:针对每通道对应的特征图像,依据所述特征图像中各像素点的像素值和所述通道对应的敏感权重信息,确定所述特征图像对应的敏感响应图像;将每个通道的特征图像对应的敏感响应图像进行合成,生成所述原始图像对应的敏感响应图像。
可选地,所述依据原始图像对应的敏感响应图像,确定原始图像中敏感信息检测区域,包括:确定原始图像对应敏感响应图像的二值图像,确定所述二值图像的连通域;确定所述连通域的外接多边形和外接多边形各个顶点的像素点坐标;依据所述各个顶点的像素点坐标,确定原始图像中敏感信息检测区域。
可选地,所述依据所述各个顶点的像素点坐标,确定原始图像中敏感信息检测区域,包括:依据所述各个顶点的像素点坐标,确定所述原始图像中各顶点对应的像素点;确定以所述各个像素点为顶点的多边形区域,将所述多边形区域确定为所述原始图像的敏感信息检测区域。
可选地,所述卷积神经网络的最后一层为全连接层,所述方法还包括训练卷积神经网络的步骤:获取训练图像;将所述训练图像输入至卷积神经网络中,得到其全连接层输出的二维向量;确定所述训练图像的类别,依据所述二维向量和类别调整所述卷积神经网络的权值,所述权值包括全连接层的权重信息。
可选地,所述卷积神经网络的包括多个池化层,其中一个池化层是卷积神经网络的倒数第二层,所述倒数第二层的池化层的池化处理方式包括全局平均池化的处理方式。
图9是本发明根据另一示例性实施例示出的一种用于图像处理的电子设备900的结构示意图。该电子设备900可以是服务器,该服务器可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)922(例如,一个或一个以上处理器)和存储器932,一个或一个以上存储应用程序942或数据944的存储介质930(例如一个或一个以上海量存储设备)。其中,存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器922可以设置为与存储介质930通信,在服务器上执行存储介质930中的一系列指令操作。
服务器还可以包括一个或一个以上电源926,一个或一个以上有线或无线网络接口950,一个或一个以上输入输出接口958,一个或一个以上键盘956,和/或,一个或一个以上操作系统941,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
一种电子设备,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:获取显示信息的原始图像,采用卷积神经网络提取所述原始图像的特征得到特征图像;依据所述特征图像,确定原始图像的敏感信息检测区域;依据所述敏感信息检测区域确定所述原始图像是敏感图像时,过滤所述原始图像。
可选地,所述依据所述特征图像确定原始图像的敏感信息检测区域,包括:依据所述特征图像,确定所述原始图像对应的敏感响应图像;依据所述原始图像对应的敏感响应图像,确定原始图像的敏感信息检测区域。
可选地,所述特征图像是由卷积神经网络的倒数第三层输出的,所述卷积神经网络的倒数第三层为卷积层、最后一层为全连接层;所述依据所述特征图像,确定原始图像对应的敏感响应图像,包括:依据所述特征图像和全连接层的权重信息,确定原始图像对应的敏感响应图像。
可选地,所述卷积神经网络包括多个通道,一个通道对应一个特征图像,一个通道对应全连接层中一个敏感权重信息;所述依据所述特征图像和全连接层的权重信息,确定原始图像对应的敏感响应图像,包括:针对每通道对应的特征图像,依据所述特征图像中各像素点的像素值和所述通道对应的敏感权重信息,确定所述特征图像对应的敏感响应图像;将每个通道的特征图像对应的敏感响应图像进行合成,生成所述原始图像对应的敏感响应图像。
可选地,所述依据原始图像对应的敏感响应图像,确定原始图像中敏感信息检测区域,包括:确定原始图像对应敏感响应图像的二值图像,确定所述二值图像的连通域;确定所述连通域的外接多边形和外接多边形各个顶点的像素点坐标;依据所述各个顶点的像素点坐标,确定原始图像中敏感信息检测区域。
可选地,所述依据所述各个顶点的像素点坐标,确定原始图像中敏感信息检测区域,包括:依据所述各个顶点的像素点坐标,确定所述原始图像中各顶点对应的像素点;确定以所述各个像素点为顶点的多边形区域,将所述多边形区域确定为所述原始图像的敏感信息检测区域。
可选地,所述卷积神经网络的最后一层为全连接层,还包含用于进行以下训练卷积神经网络操作的指令:获取训练图像;将所述训练图像输入至卷积神经网络中,得到其全连接层输出的二维向量;确定所述训练图像的类别,依据所述二维向量和类别调整所述卷积神经网络的权值,所述权值包括全连接层的权重信息。
可选地,所述卷积神经网络的包括多个池化层,其中一个池化层是卷积神经网络的倒数第二层,所述倒数第二层的池化层的池化处理方式包括全局平均池化的处理方式。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种图像处理方法、一种图像处理装置和一种电子设备,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
获取显示信息的原始图像,采用卷积神经网络提取所述原始图像的特征得到特征图像;
依据所述特征图像,确定原始图像的敏感信息检测区域;
依据所述敏感信息检测区域确定所述原始图像是敏感图像时,过滤所述原始图像。
2.根据权利要求1所述的方法,其特征在于,所述依据所述特征图像确定原始图像的敏感信息检测区域,包括:
依据所述特征图像,确定所述原始图像对应的敏感响应图像;
依据所述原始图像对应的敏感响应图像,确定原始图像的敏感信息检测区域。
3.根据权利要求2所述的方法,其特征在于,所述特征图像是由卷积神经网络的倒数第三层输出的,所述卷积神经网络的倒数第三层为卷积层、最后一层为全连接层;
所述依据所述特征图像,确定原始图像对应的敏感响应图像,包括:
依据所述特征图像和全连接层的权重信息,确定原始图像对应的敏感响应图像。
4.根据权利要求3所述的方法,其特征在于,所述卷积神经网络包括多个通道,一个通道对应一个特征图像,一个通道对应全连接层中一个敏感权重信息;
所述依据所述特征图像和全连接层的权重信息,确定原始图像对应的敏感响应图像,包括:
针对每通道对应的特征图像,依据所述特征图像中各像素点的像素值和所述通道对应的敏感权重信息,确定所述特征图像对应的敏感响应图像;
将每个通道的特征图像对应的敏感响应图像进行合成,生成所述原始图像对应的敏感响应图像。
5.根据权利要求2所述的方法,其特征在于,所述依据原始图像对应的敏感响应图像,确定原始图像中敏感信息检测区域,包括:
确定原始图像对应敏感响应图像的二值图像,确定所述二值图像的连通域;
确定所述连通域的外接多边形和外接多边形各个顶点的像素点坐标;
依据所述各个顶点的像素点坐标,确定原始图像中敏感信息检测区域。
6.根据权利要求5所述的方法,其特征在于,所述依据所述各个顶点的像素点坐标,确定原始图像中敏感信息检测区域,包括:
依据所述各个顶点的像素点坐标,确定所述原始图像中各顶点对应的像素点;
确定以所述各个像素点为顶点的多边形区域,将所述多边形区域确定为所述原始图像的敏感信息检测区域。
7.根据权利要求1所述的方法,其特征在于,所述卷积神经网络的最后一层为全连接层,所述方法还包括训练卷积神经网络的步骤:
获取训练图像;
将所述训练图像输入至卷积神经网络中,得到其全连接层输出的二维向量;
确定所述训练图像的类别,依据所述二维向量和类别调整所述卷积神经网络的权值,所述权值包括全连接层的权重信息。
8.一种图像处理装置,其特征在于,包括:
提取模块,用于获取显示信息的原始图像,采用卷积神经网络提取所述原始图像的特征得到特征图像;
区域确定模块,用于依据所述特征图像,确定原始图像的敏感信息检测区域;
过滤模块,用于依据所述敏感信息检测区域确定所述原始图像是敏感图像时,过滤所述原始图像。
9.一种可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如方法权利要求1-7任一所述的图像处理方法。
10.一种电子设备,其特征在于,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
获取显示信息的原始图像,采用卷积神经网络提取所述原始图像的特征得到特征图像;
依据所述特征图像,确定原始图像的敏感信息检测区域;
依据所述敏感信息检测区域确定所述原始图像是敏感图像时,过滤所述原始图像。
CN201810615079.7A 2018-06-14 2018-06-14 一种图像处理方法、装置和电子设备 Pending CN109101523A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810615079.7A CN109101523A (zh) 2018-06-14 2018-06-14 一种图像处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810615079.7A CN109101523A (zh) 2018-06-14 2018-06-14 一种图像处理方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN109101523A true CN109101523A (zh) 2018-12-28

Family

ID=64796839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810615079.7A Pending CN109101523A (zh) 2018-06-14 2018-06-14 一种图像处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN109101523A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740548A (zh) * 2019-01-08 2019-05-10 北京易道博识科技有限公司 一种报销票据图像分割方法及系统
CN110163300A (zh) * 2019-05-31 2019-08-23 北京金山云网络技术有限公司 一种图像分类方法、装置、电子设备及存储介质
CN111738290A (zh) * 2020-05-14 2020-10-02 北京沃东天骏信息技术有限公司 图像检测方法、模型构建和训练方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203765A (zh) * 2017-03-30 2017-09-26 腾讯科技(上海)有限公司 敏感图像检测方法和装置
CN107220652A (zh) * 2017-05-31 2017-09-29 北京京东尚科信息技术有限公司 用于处理图片的方法和装置
CN107563303A (zh) * 2017-08-09 2018-01-09 中国科学院大学 一种基于深度学习的鲁棒性舰船目标检测方法
CN107704877A (zh) * 2017-10-09 2018-02-16 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203765A (zh) * 2017-03-30 2017-09-26 腾讯科技(上海)有限公司 敏感图像检测方法和装置
CN107220652A (zh) * 2017-05-31 2017-09-29 北京京东尚科信息技术有限公司 用于处理图片的方法和装置
CN107563303A (zh) * 2017-08-09 2018-01-09 中国科学院大学 一种基于深度学习的鲁棒性舰船目标检测方法
CN107704877A (zh) * 2017-10-09 2018-02-16 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FEI WANG等: "Residual Attention Network for Image Classification", 《HTTPS://ARXIV.ORG/ABS/1704.06904》 *
JIE HU等: "Squeeze-and-Excitation Networks", 《HTTPS://ARXIV.ORG/ABS/1709.01507V2》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740548A (zh) * 2019-01-08 2019-05-10 北京易道博识科技有限公司 一种报销票据图像分割方法及系统
CN110163300A (zh) * 2019-05-31 2019-08-23 北京金山云网络技术有限公司 一种图像分类方法、装置、电子设备及存储介质
CN111738290A (zh) * 2020-05-14 2020-10-02 北京沃东天骏信息技术有限公司 图像检测方法、模型构建和训练方法、装置、设备和介质
CN111738290B (zh) * 2020-05-14 2024-04-09 北京沃东天骏信息技术有限公司 图像检测方法、模型构建和训练方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN108256555B (zh) 图像内容识别方法、装置及终端
CN105809704B (zh) 识别图像清晰度的方法及装置
CN104408402B (zh) 人脸识别方法及装置
CN108121952A (zh) 人脸关键点定位方法、装置、设备及存储介质
CN110471858B (zh) 应用程序测试方法、装置及存储介质
CN110688951A (zh) 图像处理方法及装置、电子设备和存储介质
CN104918107B (zh) 视频文件的标识处理方法及装置
CN105653032B (zh) 显示调整方法及装置
CN104636453B (zh) 非法用户资料识别方法及装置
CN108062547A (zh) 文字检测方法及装置
CN107832741A (zh) 人脸特征点定位的方法、装置及计算机可读存储介质
CN109101523A (zh) 一种图像处理方法、装置和电子设备
CN104933700B (zh) 一种进行图像内容识别的方法和装置
TW202009761A (zh) 身分識別方法、裝置和電腦可讀儲存媒體
CN109784147A (zh) 关键点检测方法、装置、电子设备及存储介质
CN109242045B (zh) 图像聚类处理方法、装置、电子设备及存储介质
CN107729880A (zh) 人脸检测方法及装置
CN111062248A (zh) 图像检测的方法、装置、电子设备及介质
CN112967730A (zh) 语音信号的处理方法、装置、电子设备及存储介质
CN109509195A (zh) 前景处理方法、装置、电子设备及存储介质
CN108717542A (zh) 识别文字区域的方法、装置及计算机可读存储介质
CN114741559A (zh) 确定视频封面的方法、设备及存储介质
CN110717399A (zh) 人脸识别方法和电子终端设备
CN108509406A (zh) 一种语料抽取方法、装置和电子设备
CN105678220B (zh) 人脸关键点定位处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181228

RJ01 Rejection of invention patent application after publication