CN108198191B - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN108198191B
CN108198191B CN201810001120.1A CN201810001120A CN108198191B CN 108198191 B CN108198191 B CN 108198191B CN 201810001120 A CN201810001120 A CN 201810001120A CN 108198191 B CN108198191 B CN 108198191B
Authority
CN
China
Prior art keywords
image
violated
processed
confidence level
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810001120.1A
Other languages
English (en)
Other versions
CN108198191A (zh
Inventor
吕志高
张文明
陈少杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Douyu Network Technology Co Ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN201810001120.1A priority Critical patent/CN108198191B/zh
Priority to PCT/CN2018/082921 priority patent/WO2019134298A1/zh
Publication of CN108198191A publication Critical patent/CN108198191A/zh
Application granted granted Critical
Publication of CN108198191B publication Critical patent/CN108198191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像处理方法及装置。该方法包括:获得待处理图像;将待处理图像输入到预先配置的卷积神经网络中,获取待处理图像在卷积神经网络中最后一层卷积层的卷积映射,卷积映射包括该卷积层中每个像素点的违禁置信度;基于卷积映射计算待处理图像中每个像素点的违禁置信度,并基于待处理图像中每个像素点的违禁置信度得到待处理图像的违禁热力图;获取违禁热力图中最高违禁置信度的目标区域坐标;基于目标区域坐标从待处理图像中分割出对应的坐标片段,以得到待处理图像的违禁区域。由此,能够快速精准获取待处理图像中高可信度的违禁区域图像片段,有效提升违禁信息鉴别效果,为审核用户提供信息支撑。

Description

图像处理方法及装置
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种图像处理方法及装置。
背景技术
随着互联网行业的快速发展,图像与视频信息膨胀式产生,如何在海量图像信息中快速精准地对图像数据进行扩展,并获取对图像分类模型有意义的图像数据进行训练,以为审核用户提供信息支撑,是目前亟待解决的技术难题。
发明内容
为了克服现有技术中的上述不足,本发明的目的在于提供一种图像处理方法及装置,能够快速精准获取待处理图像中高可信度的违禁区域图像片段,有效提升违禁信息鉴别效果,为审核用户提供信息支撑。
为了实现上述目的,本发明较佳实施例采用的技术方案如下:
本发明较佳实施例提供一种图像处理方法,应用于电子设备,所述方法包括:
获得待处理图像;
将所述待处理图像输入到预先配置的卷积神经网络中,获取所述待处理图像在所述卷积神经网络中最后一层卷积层的卷积映射,所述卷积映射包括该卷积层中每个像素点的违禁置信度;
基于所述卷积映射计算所述待处理图像中每个像素点的违禁置信度,并基于所述待处理图像中每个像素点的违禁置信度得到所述待处理图像的违禁热力图;
获取所述违禁热力图中最高违禁置信度的目标区域坐标;
基于所述目标区域坐标从所述待处理图像中分割出对应的坐标片段,以得到所述待处理图像的违禁区域。
在本发明较佳实施例中,所述将所述待处理图像输入到预先配置的卷积神经网络中,获取所述待处理图像在所述卷积神经网络中最后一层卷积层的卷积映射,包括:
将所述待处理图像输入到预先配置的卷积神经网络中,获取所述待处理图像在所述卷积神经网络中最后一层卷积层的每个像素点的违禁信息权重;
基于所述每个像素点的违禁信息权重获取所述待处理图像在所述卷积神经网络中最后一层卷积层的卷积映射。
在本发明较佳实施例中,所述基于所述每个像素点的违禁信息权重获取所述待处理图像在所述卷积神经网络中最后一层卷积层的卷积映射的计算公式为:
Convi,j=255×pi,j×Wi,j,0≤Convi,j≤255,0≤i<wconv,0≤j<hconv
Convi,j为待处理图像在最后一层卷积层中每个像素点的违禁置信度;
wsrc为待处理图像的宽,且0<wsrc
hsrc为待处理图像的高,且0<hsrc
Featconv为根据鉴别违禁信息的卷积神经网络,获取待处理图像的最后一层卷积映射;
wconv为该卷积映射Featconv的宽,且3≤wconv<wsrc
hconv为该卷积映射Featconv的高,且3≤hconv<hsrc
pi,j为每个像素点的像素值,且0≤pi,j≤1,0≤i<wconv,0≤j<hconv
Wi,j为每个像素点的违禁信息权重,且0≤Wi,j≤1。
在本发明较佳实施例中,在获得待处理图像之前,所述方法还包括:
训练所述卷积神经网络;
所述训练所述卷积神经网络的方式;
接收输入的违禁信息数据集;
基于所述违禁信息数据集训练卷积神经网络,获得具有违禁信息鉴别能力的卷积神经网络。
在本发明较佳实施例中,所述基于所述卷积映射计算所述待处理图像中每个像素点的违禁置信度,包括:
基于所述卷积映射,采用双线性插值法计算所述待处理图像中每个像素点的违禁置信度。
在本发明较佳实施例中,所述获取所述违禁热力图中最高违禁置信度的目标区域坐标,包括:
基于预设违禁置信度阈值对所述违禁热力图进行分割,得到分割后图像;
对所述分割后图像进行图像二值化处理,得到至少一个连通区域;
针对每个连通区域,获取该连通区域中每个像素点的图像灰度值,并基于该连通区域中每个像素点的图像灰度值计算该连通区域的累积置信度;
基于计算得到的每个连通区域的累积置信度获取累积置信度最高的连通区域;
获取该连通区域在所述待处理图像中的目标区域坐标。
在本发明较佳实施例中,所述基于该连通区域中每个像素点的图像灰度值计算该连通区域的累积置信度的计算公式为:
其中,Gi',j'为该连通区域中每个像素点的图像灰度值,T为预设违禁置信度阈值。
在本发明较佳实施例中,所述基于计算得到的每个连通区域的累积置信度获取累积置信度最高的连通区域的计算公式为:
其中,Max-ROI为累积置信度最高的连通区域。
在本发明较佳实施例中,所述基于所述目标区域坐标从所述待处理图像中分割出对应的坐标片段,以得到所述待处理图像的违禁区域之后,所述方法还包括:
将所述违禁区域输入到所述卷积神经网络中进行训练。
本发明较佳实施例还提供一种图像处理装置,应用于电子设备,所述装置包括:
获得模块,用于获得待处理图像。
输入模块,用于将所述待处理图像输入到预先配置的卷积神经网络中,获取所述待处理图像在所述卷积神经网络中最后一层卷积层的卷积映射,所述卷积映射包括该卷积层中每个像素点的违禁置信度。
计算模块,用于基于所述卷积映射计算所述待处理图像中每个像素点的违禁置信度,并基于所述待处理图像中每个像素点的违禁置信度得到所述待处理图像的违禁热力图。
获取模块,用于获取所述违禁热力图中最高违禁置信度的目标区域坐标。
分割模块,用于基于所述目标区域坐标从所述待处理图像中分割出对应的坐标片段,以得到所述待处理图像的违禁区域。
本发明较佳实施例还提供一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被执行时实现上述的图像处理方法。
相对于现有技术而言,本发明具有以下有益效果:
本发明实施例提供一种图像处理方法及装置,首先,获得待处理图像,并将待处理图像输入到预先配置的卷积神经网络中,获取待处理图像在卷积神经网络中最后一层卷积层的卷积映射,然后,基于卷积映射计算待处理图像中每个像素点的违禁置信度,并基于待处理图像中每个像素点的违禁置信度得到待处理图像的违禁热力图,接着,获取违禁热力图中最高违禁置信度的目标区域坐标,并基于目标区域坐标从待处理图像中分割出对应的坐标片段,以得到待处理图像的违禁区域。由此,能够快速精准获取待处理图像中高可信度的违禁区域图像片段,有效提升违禁信息鉴别效果,为审核用户提供信息支撑。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它相关的附图。
图1为本发明较佳实施例提供的图像处理方法的一种流程示意图;
图2为图1中所示的步骤S240包括的各个子步骤的一种流程示意图;
图3为本发明较佳实施例提供的图像处理装置的一种功能模块图;
图4为本发明较佳实施例提供的用于实现上述图像处理方法的电子设备的方框示意图。
图标:100-电子设备;110-总线;120-处理器;130-存储介质;140-总线接口;150-网络适配器;160-用户接口;200-图像处理装置;210-获得模块;220-输入模块;230-计算模块;240-获取模块;250-分割模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1,为本发明较佳实施例提供的图像处理方法的一种流程示意图。所应说明的是,本发明实施例提供的图像处理方法不以图2及以下所述的具体顺序为限制。所述方法可以通过如下步骤实现:
步骤S210,获得待处理图像。
本实施例中,所述待处理图像可以是用于训练卷积神经网络的图像样本,所述图像样本可以根据实际训练的卷积神经网络进行选取,例如,本实施例提供的卷积神经网络具有违禁信息鉴别能力,能够用于对图像中的违禁信息进行有效鉴别。
步骤S220,将所述待处理图像输入到预先配置的卷积神经网络中,获取所述待处理图像在所述卷积神经网络中最后一层卷积层的卷积映射。
本实施例中,在对所述步骤S220作进一步阐述之前,首先对所述卷积神经网络的配置过程进行说明,所述卷积神经网络的训练方式可以通过如下步骤实现:
首先,接收输入的违禁信息数据集。其中,所述违禁信息数据集可包括多张包含有违禁信息的图像样本。
然后,基于所述违禁信息数据集训练卷积神经网络,获得具有违禁信息鉴别能力的卷积神经网络。
在上述卷积神经网络训练完成之后,首先,将所述所述待处理图像输入到预先配置的卷积神经网络中,获取所述待处理图像在所述卷积神经网络中最后一层卷积层的每个像素点的违禁信息权重,然后基于所述每个像素点的违禁信息权重获取所述待处理图像在所述卷积神经网络中最后一层卷积层的卷积映射,所述卷积映射包括该卷积层中每个像素点的违禁置信度。具体计算公式如下:
Convi,j=255×pi,j×Wi,j,0≤Convi,j≤255,0≤i<wconv,0≤j<hconv
Convi,j为待处理图像在最后一层卷积层中每个像素点的违禁置信度;
wsrc为待处理图像的宽,且0<wsrc
hsrc为待处理图像的高,且0<hsrc
Featconv为根据鉴别违禁信息的卷积神经网络,获取待处理图像的最后一层卷积映射;
wconv为该卷积映射Featconv的宽,且3≤wconv<wsrc
hconv为该卷积映射Featconv的高,且3≤hconv<hsrc
pi,j为每个像素点的像素值,且0≤pi,j≤1,0≤i<wconv,0≤j<hconv
Wi,j为每个像素点的违禁信息权重,且0≤Wi,j≤1。
步骤S230,基于所述卷积映射计算所述待处理图像中每个像素点的违禁置信度,并基于所述待处理图像中每个像素点的违禁置信度得到所述待处理图像的违禁热力图。
本实施例中,可以基于所述卷积映射,采用双线性插值法计算所述待处理图像中每个像素点的违禁置信度。具体地,由于上述获取的最后一层卷积映射的尺寸与所述待处理图像的尺寸不一致,因此进行相应的尺度缩放,通过双线性插值法即可计算待处理图像的第i'行第j'列的违禁置信度Conf’i’,j',0≤i'<wsrc,0≤j'<hsrc,并使用以下计算公式计算的值,填满的图像即为违禁热力图:
步骤S240,获取所述违禁热力图中最高违禁置信度的目标区域坐标。
详细地,作为一种实施方式,请参阅图2,所述步骤S240可以通过如下子步骤实现:
子步骤S241,基于预设违禁置信度阈值对所述违禁热力图进行分割,得到分割后图像。
具体地,通过上述步骤S230获取所述待处理图像的违禁热力图,并基于预设违禁置信度阈值T对所述违禁热力图进行分割,得到分割后图像,具体计算公式为:
其中,预设违禁置信度阈值T为经过训练样本集的违禁图片数据,综合最终效果获取得到的经验值,在一种实施方式中,T=160。
子步骤S242,对所述分割后图像进行图像二值化处理,得到至少一个连通区域。
本实施例中,图像的二值化处理就是将分割后图像上的点的灰度值为0或255,也就是将整个分割后图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。为了得到理想的二值图像,一般采用封闭、连通的边界定义不交叠的区域。所有灰度大于或等于阈值的像素被判定为属于特定物体,其灰度值为255表示,否则这些像素点被排除在物体区域以外,灰度值为0,表示背景或者例外的物体区域。
子步骤S243,针对每个连通区域,获取该连通区域中每个像素点的图像灰度值,并基于该连通区域中每个像素点的图像灰度值计算该连通区域的累积置信度。
本实施例中,计算每个连通区域的累积置信度ROIk,k>0,具体计算公式如下:
子步骤S244,基于计算得到的每个连通区域的累积置信度获取累积置信度最高的连通区域。
本实施例中,基于每个连通区域的累积置信度ROIk,可以查找到违禁置信度最高的连通区域Max-ROI,公式如下:
子步骤S245,获取该连通区域在所述待处理图像中的目标区域坐标。
本实施例中,通过子步骤S244得到的累积置信度最高的连通区域的坐标即为所述待处理图像中的目标区域坐标。
请再次参阅图1,步骤S250,基于所述目标区域坐标从所述待处理图像中分割出对应的坐标片段,以得到所述待处理图像的违禁区域。
本实施例中,通过步骤S240获取到所述待处理图像中的目标区域坐标后,联合所述待处理图像,裁切出所述待处理图像的相应坐标片段,即为所述待处理图像的违禁区域。
值得说明的是,在上述基础上,可以将所述违禁区域输入到所述卷积神经网络中进行训练。由此,有效对样本数据进行了扩展,能够快速精准获取待处理图像中高可信度的违禁区域图像片段,通过将违禁区域重新输入到所述卷积神经网络中进行训练,训练后的卷积神经网络可以有效提升违禁信息鉴别效果,为审核用户提供信息支撑。
进一步地,请参阅图3,本发明较佳实施例还提供一种图像处理装置200,所述装置可以包括:
获得模块210,用于获得待处理图像。
输入模块220,用于将所述待处理图像输入到预先配置的卷积神经网络中,获取所述待处理图像在所述卷积神经网络中最后一层卷积层的卷积映射,所述卷积映射包括该卷积层中每个像素点的违禁置信度。
计算模块230,用于基于所述卷积映射计算所述待处理图像中每个像素点的违禁置信度,并基于所述待处理图像中每个像素点的违禁置信度得到所述待处理图像的违禁热力图。
获取模块240,用于获取所述违禁热力图中最高违禁置信度的目标区域坐标。
分割模块250,用于基于所述目标区域坐标从所述待处理图像中分割出对应的坐标片段,以得到所述待处理图像的违禁区域。
可以理解的是,本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述,在此不再重复赘述综上所述。
进一步地,本发明较佳实施例还提供一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被执行时实现上述的图像处理方法。
进一步地,请参阅图4,为本发明较佳实施例提供的电子设备100的一种结构示意框图。本实施例中,所述电子设备100可以是手机、平板电脑、个人电脑(PC)、笔记本电脑甚至是服务器等,本实施例对此不作具体限制。
如图4所示,电子设备100可以由总线110作一般性的总线体系结构来实现。根据电子设备100的具体应用和整体设计约束条件,总线110可以包括任意数量的互连总线和桥接。总线110将各种电路连接在一起,这些电路包括处理器120、存储介质130和总线接口140。可选地,电子设备100可以使用总线接口140将网络适配器150等经由总线110连接。网络适配器150可用于实现电子设备100中物理层的信号处理功能,并通过天线实现射频信号的发送和接收。用户接口160可以连接外部设备,例如:键盘、显示器、鼠标或者操纵杆等。总线110还可以连接各种其它电路,如定时源、外围设备、电压调节器或者功率管理电路等,这些电路是本领域所熟知的,因此不再详述。
可以替换的,电子设备100也可配置成通用处理系统,例如通称为芯片,该通用处理系统包括:提供处理功能的一个或多个微处理器,以及提供存储介质130的至少一部分的外部存储器,所有这些都通过外部总线体系结构与其它支持电路连接在一起。
可替换的,电子设备100可以使用下述来实现:具有处理器120、总线接口140、用户接口160的ASIC(专用集成电路);以及集成在单个芯片中的存储介质130的至少一部分,或者,电子设备100可以使用下述来实现:一个或多个FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本发明通篇所描述的各种功能的电路的任意组合。
其中,处理器120负责管理总线110和一般处理(包括执行存储在存储介质130上的软件)。处理器120可以使用一个或多个通用处理器和/或专用处理器来实现。处理器120的例子包括微处理器、微控制器、DSP处理器和能够执行软件的其它电路。应当将软件广义地解释为表示指令、数据或其任意组合,而不论是将其称作为软件、固件、中间件、微代码、硬件描述语言还是其它。
在图4中存储介质130被示为与处理器120分离,然而,本领域技术人员很容易明白,存储介质130或其任意部分可位于电子设备100之外。举例来说,存储介质130可以包括传输线、用数据调制的载波波形、和/或与无线节点分离开的计算机制品,这些介质均可以由处理器120通过总线接口140来访问。可替换地,存储介质130或其任意部分可以集成到处理器120中,例如,可以是高速缓存和/或通用寄存器。
所述处理器120可执行上述实施例,具体地,所述存储介质130中可以存储有所述图像处理装置200,所述处理器120可以用于执行所述图像处理装置200。
综上所述,本发明实施例提供一种图像处理方法及装置,首先,获得待处理图像,并将待处理图像输入到预先配置的卷积神经网络中,获取待处理图像在卷积神经网络中最后一层卷积层的卷积映射,然后,基于卷积映射计算待处理图像中每个像素点的违禁置信度,并基于待处理图像中每个像素点的违禁置信度得到待处理图像的违禁热力图,接着,获取违禁热力图中最高违禁置信度的目标区域坐标,并基于目标区域坐标从待处理图像中分割出对应的坐标片段,以得到待处理图像的违禁区域。由此,能够快速精准获取待处理图像中高可信度的违禁区域图像片段,有效提升违禁信息鉴别效果,为审核用户提供信息支撑。
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
可以替换的,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的电子设备、服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句"包括一个……"限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其它的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种图像处理方法,其特征在于,应用于电子设备,所述方法包括:
获得待处理图像;
将所述待处理图像输入到预先配置的卷积神经网络中,获取所述待处理图像在所述卷积神经网络中最后一层卷积层的卷积映射,所述卷积映射包括该卷积层中每个像素点的违禁置信度;
基于所述卷积映射计算所述待处理图像中每个像素点的违禁置信度,并基于所述待处理图像中每个像素点的违禁置信度得到所述待处理图像的违禁热力图;
获取所述违禁热力图中最高违禁置信度的目标区域坐标;
基于所述目标区域坐标从所述待处理图像中分割出对应的坐标片段,以得到所述待处理图像的违禁区域。
2.根据权利要求1所述的图像处理方法,其特征在于,所述将所述待处理图像输入到预先配置的卷积神经网络中,获取所述待处理图像在所述卷积神经网络中最后一层卷积层的卷积映射,包括:
将所述待处理图像输入到预先配置的卷积神经网络中,获取所述待处理图像在所述卷积神经网络中最后一层卷积层的每个像素点的违禁信息权重;
基于所述每个像素点的违禁信息权重获取所述待处理图像在所述卷积神经网络中最后一层卷积层的卷积映射。
3.根据权利要求2所述的图像处理方法,其特征在于,所述基于所述每个像素点的违禁信息权重获取所述待处理图像在所述卷积神经网络中最后一层卷积层的卷积映射的计算公式为:
Convi,j=255×pi,j×Wi,j,0≤Convi,j≤255,0≤i<wconv,0≤j<hconv
Convi,j为待处理图像在最后一层卷积层中每个像素点的违禁置信度;
wsrc为待处理图像的宽,且0<wsrc
hsrc为待处理图像的高,且0<hsrc
Featconv为根据鉴别违禁信息的卷积神经网络,获取待处理图像的最后一层卷积映射;
wconv为该卷积映射Featconv的宽,且3≤wconv<wsrc
hconv为该卷积映射Featconv的高,且3≤hconv<hsrc
pi,j为每个像素点的像素值,且0≤pi,j≤1,0≤i<wconv,0≤j<hconv
Wi,j为每个像素点的违禁信息权重,且0≤Wi,j≤1。
4.根据权利要求1所述的图像处理方法,其特征在于,在获得待处理图像之前,所述方法还包括:
训练所述卷积神经网络;
所述训练所述卷积神经网络的方式;
接收输入的违禁信息数据集;
基于所述违禁信息数据集训练卷积神经网络,获得具有违禁信息鉴别能力的卷积神经网络。
5.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述卷积映射计算所述待处理图像中每个像素点的违禁置信度,包括:
基于所述卷积映射,采用双线性插值法计算所述待处理图像中每个像素点的违禁置信度。
6.根据权利要求1所述的图像处理方法,其特征在于,所述获取所述违禁热力图中最高违禁置信度的目标区域坐标,包括:
基于预设违禁置信度阈值对所述违禁热力图进行分割,得到分割后图像;
对所述分割后图像进行图像二值化处理,得到至少一个连通区域;
针对每个连通区域,获取该连通区域中每个像素点的图像灰度值,并基于该连通区域中每个像素点的图像灰度值计算该连通区域的累积置信度;
基于计算得到的每个连通区域的累积置信度获取累积置信度最高的连通区域;
获取该连通区域在所述待处理图像中的目标区域坐标。
7.根据权利要求6所述的图像处理方法,其特征在于,所述基于该连通区域中每个像素点的图像灰度值计算该连通区域的累积置信度的计算公式为:
其中,Gi',j'为该连通区域中每个像素点的图像灰度值,T为预设违禁置信度阈值,Confi',j'为待处理图像的第i'行第j'列的违禁置信度。
8.根据权利要求6所述的图像处理方法,其特征在于,所述基于计算得到的每个连通区域的累积置信度获取累积置信度最高的连通区域的计算公式为:
其中,Max-ROI为累积置信度最高的连通区域。
9.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述目标区域坐标从所述待处理图像中分割出对应的坐标片段,以得到所述待处理图像的违禁区域之后,所述方法还包括:
将所述违禁区域输入到所述卷积神经网络中进行训练。
10.一种图像处理装置,其特征在于,应用于电子设备,所述装置包括:
获得模块,用于获得待处理图像;
输入模块,用于将所述待处理图像输入到预先配置的卷积神经网络中,获取所述待处理图像在所述卷积神经网络中最后一层卷积层的卷积映射,所述卷积映射包括该卷积层中每个像素点的违禁置信度;
计算模块,用于基于所述卷积映射计算所述待处理图像中每个像素点的违禁置信度,并基于所述待处理图像中每个像素点的违禁置信度得到所述待处理图像的违禁热力图;
获取模块,用于获取所述违禁热力图中最高违禁置信度的目标区域坐标;
分割模块,用于基于所述目标区域坐标从所述待处理图像中分割出对应的坐标片段,以得到所述待处理图像的违禁区域。
CN201810001120.1A 2018-01-02 2018-01-02 图像处理方法及装置 Active CN108198191B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810001120.1A CN108198191B (zh) 2018-01-02 2018-01-02 图像处理方法及装置
PCT/CN2018/082921 WO2019134298A1 (zh) 2018-01-02 2018-04-13 图像处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810001120.1A CN108198191B (zh) 2018-01-02 2018-01-02 图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN108198191A CN108198191A (zh) 2018-06-22
CN108198191B true CN108198191B (zh) 2019-10-25

Family

ID=62587990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810001120.1A Active CN108198191B (zh) 2018-01-02 2018-01-02 图像处理方法及装置

Country Status (2)

Country Link
CN (1) CN108198191B (zh)
WO (1) WO2019134298A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020010561A1 (zh) * 2018-07-12 2020-01-16 华为技术有限公司 测量物体参数的方法及装置
CN109766885B (zh) * 2018-12-29 2022-01-18 北京旷视科技有限公司 一种文字检测方法、装置、电子设备及存储介质
CN109978890B (zh) * 2019-02-25 2023-07-07 平安科技(深圳)有限公司 基于图像处理的目标提取方法、装置及终端设备
CN110782421B (zh) * 2019-09-19 2023-09-26 平安科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质
CN111260038B (zh) * 2019-12-16 2023-06-13 深圳云天励飞技术股份有限公司 卷积神经网络的实现方法、装置、电子设备及存储介质
CN111145151B (zh) * 2019-12-23 2023-05-26 维沃移动通信有限公司 一种运动区域确定方法及电子设备
CN113127864B (zh) * 2019-12-31 2024-05-24 奇安信科技集团股份有限公司 特征码提取方法、装置、计算机设备和可读存储介质
CN111259680B (zh) * 2020-02-13 2022-04-12 支付宝(杭州)信息技术有限公司 二维码图像二值化处理方法及装置
CN111738295B (zh) * 2020-05-22 2024-03-22 南通大学 图像的分割方法及存储介质
CN111861577B (zh) * 2020-07-28 2024-01-23 北京思特奇信息技术股份有限公司 产品办理热力图生成方法、装置、电子设备及存储介质
CN114004731B (zh) * 2021-09-30 2023-11-07 苏州浪潮智能科技有限公司 一种基于卷积神经网络的图像处理方法、装置及相关设备
CN113849760B (zh) * 2021-12-02 2022-07-22 云账户技术(天津)有限公司 敏感信息风险评估方法、系统和存储介质
CN117197006B (zh) * 2023-09-27 2024-05-10 上海世禹精密设备股份有限公司 区域过滤方法、装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650699A (zh) * 2016-12-30 2017-05-10 中国科学院深圳先进技术研究院 一种基于卷积神经网络的人脸检测方法及装置
CN106651955A (zh) * 2016-10-10 2017-05-10 北京小米移动软件有限公司 图片中目标物的定位方法及装置
CN106845383A (zh) * 2017-01-16 2017-06-13 腾讯科技(上海)有限公司 人头检测方法和装置
CN106846278A (zh) * 2017-02-17 2017-06-13 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像像素标记方法
CN107194933A (zh) * 2017-04-24 2017-09-22 天津大学 结合卷积神经网络和模糊推理的脑肿瘤分割方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8488881B2 (en) * 2010-07-27 2013-07-16 International Business Machines Corporation Object segmentation at a self-checkout
US10169661B2 (en) * 2014-03-28 2019-01-01 International Business Machines Corporation Filtering methods for visual object detection
CN107085696A (zh) * 2016-10-15 2017-08-22 安徽百诚慧通科技有限公司 一种基于卡口图像的车辆定位及型号识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651955A (zh) * 2016-10-10 2017-05-10 北京小米移动软件有限公司 图片中目标物的定位方法及装置
CN106650699A (zh) * 2016-12-30 2017-05-10 中国科学院深圳先进技术研究院 一种基于卷积神经网络的人脸检测方法及装置
CN106845383A (zh) * 2017-01-16 2017-06-13 腾讯科技(上海)有限公司 人头检测方法和装置
CN106846278A (zh) * 2017-02-17 2017-06-13 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像像素标记方法
CN107194933A (zh) * 2017-04-24 2017-09-22 天津大学 结合卷积神经网络和模糊推理的脑肿瘤分割方法和装置

Also Published As

Publication number Publication date
WO2019134298A1 (zh) 2019-07-11
CN108198191A (zh) 2018-06-22

Similar Documents

Publication Publication Date Title
CN108198191B (zh) 图像处理方法及装置
US11367273B2 (en) Detecting objects using a weakly supervised model
US10733431B2 (en) Systems and methods for optimizing pose estimation
CN108830816B (zh) 图像增强方法及装置
US10796452B2 (en) Optimizations for structure mapping and up-sampling
CN106780512B (zh) 分割图像的方法、应用及计算设备
US20180122071A1 (en) Skin lesion segmentation using deep convolution networks guided by local unsupervised learning
CN110189246B (zh) 图像风格化生成方法、装置及电子设备
WO2021189901A1 (zh) 图像分割方法、装置、电子设备及计算机可读存储介质
WO2020087564A1 (zh) 三维物体重建方法、计算机设备及存储介质
CN107688824A (zh) 图片匹配方法及终端设备
CN113034406B (zh) 扭曲文档恢复方法、装置、设备及介质
CN112419326B (zh) 图像分割数据处理方法、装置、设备及存储介质
CN109584197A (zh) 一种图像融合方法及相关装置
CN113506305B (zh) 三维点云数据的图像增强方法、语义分割方法及装置
CN113140292A (zh) 图像异常区域浏览方法、装置、移动端设备及存储介质
US11379898B2 (en) Touch and pressure-based apparel image searching
CN108198125A (zh) 一种图像处理方法及装置
CN109410121B (zh) 人像胡须生成方法及装置
Xiao et al. Saliency detection via multi-view graph based saliency optimization
US8948512B2 (en) Methods, systems, and media for image processing using hierarchical expansion
CN114821140A (zh) 基于曼哈顿距离的图像聚类方法、终端设备及存储介质
CN110717950A (zh) 用于医学影像的阅片方法及装置
Amintoosi et al. Video enhancement through image registration based on structural similarity
CN118096593A (zh) 一种图像处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant