CN110176015B - 基于深度学习的图像处理方法、装置及存储介质 - Google Patents

基于深度学习的图像处理方法、装置及存储介质 Download PDF

Info

Publication number
CN110176015B
CN110176015B CN201910432459.1A CN201910432459A CN110176015B CN 110176015 B CN110176015 B CN 110176015B CN 201910432459 A CN201910432459 A CN 201910432459A CN 110176015 B CN110176015 B CN 110176015B
Authority
CN
China
Prior art keywords
image
deep learning
image processing
model
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910432459.1A
Other languages
English (en)
Other versions
CN110176015A (zh
Inventor
张一帆
邢斌
张颖
万正勇
沈志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Merchants Finance Technology Co Ltd
Original Assignee
China Merchants Finance Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Merchants Finance Technology Co Ltd filed Critical China Merchants Finance Technology Co Ltd
Priority to CN201910432459.1A priority Critical patent/CN110176015B/zh
Publication of CN110176015A publication Critical patent/CN110176015A/zh
Application granted granted Critical
Publication of CN110176015B publication Critical patent/CN110176015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明揭露了一种基于深度学习的图像处理方法，该方法包括：在预设类型的深度学习模型的卷积层和池化层外接预设数量的旁路结构得到扩展后的深度学习模型，并将每个旁路的输出设置为前一个旁路的输入；利用预先确定的样本图像集训练所述扩展后的深度学习模型得到图像处理模型；及，将待处理图像输入所述图像处理模型，输出所述待处理图像的视觉显著性热力图。本发明还揭露了一种电子装置及计算机存储介质。利用本发明，可提高获取的视觉显著性热力图的准确性。

Description

基于深度学习的图像处理方法、装置及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的图像处理方法、电子装置及计算机可读存储介质。
背景技术
人们在接收自然图像后，由于人脑需要区分对待不同等级的信息资源，因此在处理自然图像信息时，人们会将不同的信息资源进行分级处理，从而表现出选择的特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的各个区域，而是对更感兴趣的语义信息部分进行优先处理。将图像视觉显著区域计算出来是计算机视觉领域中的一个重要的研究内容。然而，现有的图像视觉显著提取方法提取的人类注视图的准确性较差，因此，亟需一种能解决上述问题的图像处理方法。
发明内容
鉴于以上内容，本发明提供一种基于深度学习的图像处理方法、电子装置及计算机可读存储介质，其主要目的在于提高图像处理过程中获取的视觉显著性热力图的准确性。
为实现上述目的，本发明提供一种基于深度学习的图像处理方法，该方法包括：
模型扩展步骤：在预设类型的深度学习模型的卷积层和池化层外接预设数量的旁路结构得到扩展后的深度学习模型，并将每个旁路的输出设置为前一个旁路的输入；
模型训练步骤：利用预先确定的样本图像集训练所述扩展后的深度学习模型得到图像处理模型；及
图像处理步骤：将待处理图像输入所述图像处理模型，输出所述待处理图像的视觉显著性热力图。
优选地，所述训练步骤包括：
获取预设数量的样本图像，在所述样本图像上标注视觉显著性热力图区域，生成所述预先确定的样本图像集，将所述样本图像集划分为训练集及验证集；
将所述训练集中的样本图像输入扩展后的深度学习模型，根据每个旁路k的输出计算所述样本图像的交叉熵CEk，根据所述交叉熵计算所述样本图像的融合损失FL，
Figure BDA0002068855310000021
Figure BDA0002068855310000022
其中，m，n分别为样本图像的长和宽，x为标注视觉显著性热力图区域中的像素，xij为样本图像中的像素，N>2且为自然数，代表旁路分支的数量；
根据所述样本图像的融合损失，对所述扩展后的深度学习模型进行反向梯度传播，并进行迭代优化；及
每隔预设训练间隔利用所述验证集对所述扩展后的深度学习模型进行验证，当验证结果满足第一预设条件时，结束训练，得到所述图像处理模型。
优选地，所述预设类型的深度学习模型为VGGNet网络模型。
优选地，该方法还包括：
调整步骤：基于预设裁剪规则对所述视觉显著性热力图进行裁剪，得到所述调整后的视觉显著性热力图。
优选地，所述预设裁剪规则包括：
将所述视觉显著性热力图转换为灰度图像，对所述灰度图像的像素进行二值化操作得到二值化图像；
获取所述二值化图像中边界像素点形成的轮廓区域，生成每个所述轮廓区域的最小外接矩形框；及
选取所述最小外接矩形框中长宽比满足第二预设条件的目标区域，将所述视觉显著性热力图中与所述目标区域对应的图像区域作为所述待处理图像调整后的图像。
此外，为实现上述目的，本发明还提供一种电子装置，该装置包括：存储器、处理器，所述存储器中存储有可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时可实现如上所述图像处理方法中的任意步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括图像处理程序，所述图像处理程序被处理器执行时，可实现如上所述图像处理方法中的任意步骤。
本发明提出的基于深度学习的图像处理方法、电子装置及计算机可读存储介质，通过在深度学习模型的卷积层和池化层外接预设数量的预设大小的旁路分支，且通过上采样将每个旁路的输出都作为上一个旁路的输入，得到扩展后的深度学习模型，使扩展后的网络模型可以充分地学习到各层的特征；利用经过训练的扩展后的深度学习模型获取图像的视觉显著性热力图，从而提升了提取的视觉显著性热力图的视觉显著性及准确性。
附图说明
图1为本发明基于深度学习的图像处理方法较佳实施例的流程示意图；
图2为较佳实施例中扩展后的VGGNet网络模型的示意图；
图3为本发明电子装置较佳实施例的示意图；
图4为图3中图像处理程序较佳实施例的程序模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于深度学习的图像处理方法。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
参照图1所示，为本发明基于深度学习的图像处理方法较佳实施例的流程示意图。
在所述基于深度学习的图像处理方法一实施例中，该方法仅包括：步骤S1-步骤S3。
步骤S1，在预设类型的深度学习模型的卷积层和池化层外接预设数量的旁路结构得到扩展后的深度学习模型，并将每个旁路的输出设置为前一个旁路的输入。
在以下描述中，以电子装置为主体，对本实施例进行说明。
在本实施例中，上述预设类型的深度学习模型为VGGNet网络模型。
人类视觉系统在观察图像时，会首先聚焦于某些特定区域，这些区域就是视觉显著性区域，模仿人类视觉系统，针对一张图像可以生成视觉显著性热力图。为了提高图像处理过程中视觉显著性热力图的视觉显著性及准确性，本实施例对预设类型的深度学习模型进行扩展，并利用扩展后的深度学习模型获取图像对应的视觉显著性热力图。
参照图2所示，图2为扩展后的VGGNet网络模型的示意图。本实施例在VGGNet网络模型的卷积层和池化层外接预设数量的旁路分支对VGGNet网络模型进行扩展，包括：分别在VGGNet网络模型的卷积层1_2，卷积层2_2，卷积层3_3，卷积层4_3，卷积层5_3以及池化层5，用1*1的卷积核依次外接于预设大小的N个旁路分支。例如，N＝6，旁路分支1的大小为256*256，旁路分支2的大小为128*128，旁路分支3的大小为64*64，旁路分支4的大小为32*32，旁路分支5的大小为16*16，旁路分支6的大小为8*8。
其中，对于每个靠后的旁路分支，通过上采样的方法将该旁路输出的结果作为前一个旁路分支的输入，例如，旁路分支6的输出结果为旁路分支5的输入，旁路分支5的输出结果为旁路分支4的输入，…，依此类推。
步骤S2，利用预先确定的样本图像集训练所述扩展后的深度学习模型得到图像处理模型。
利用上述步骤得到扩展后的VGGNet网络模型后对其进行训练，训练步骤过程包括：
首先，获取预设数量的样本图像，在所述样本图像上标注视觉显著性热力图区域，生成所述预先确定的样本图像集，将所述样本图像集划分为训练集及验证集。
预先准确10000张像素为256*256的样本图像，生成对应的样本图像集，按照预设比例(例如，8:2)确定样本集及验证集。
然后，将所述训练集中的样本图像输入扩展后的深度学习模型，根据每个旁路k的输出计算所述样本图像的交叉熵CEk，根据所述交叉熵计算所述样本图像的融合损失FL，其中，交叉熵CEk及融合损失FL的计算公式分别为：
Figure BDA0002068855310000051
Figure BDA0002068855310000052
其中，m，n分别为样本图像的长和宽，x为标注视觉显著性热力图区域中的像素，xij为样本图像中的像素，N>2且为自然数，代表旁路分支的数量。
接着，根据所述样本图像的融合损失，对所述扩展后的深度学习模型进行反向梯度传播，并进行迭代优化。
在训练过程中，对扩展后的VGGNet网络模型中的原始网络部分设置第一学习率(例如，0.001)，对扩展后的VGGNet网络模型中的扩展部分设置第二学习率(例如，0.005)，在训练过程中，设置的第一学习率及第二学习率每隔预设训练间隔(例如，50轮次)乘以一个预设值(例如，0.95)，分别得到更新后的第一学习率及更新后的第二学习率。利用Adam优化器对模型进行预设轮次(例如，800个轮次)的优化训练。
最后，每隔预设训练间隔利用所述验证集对所述扩展后的深度学习模型进行验证，当验证结果满足第一预设条件时，结束训练，得到所述图像处理模型。
上述预设训练间隔为：优化训练20轮次。
上述第一预设条件包括：1.优化训练次数达到预设轮次，例如，800个轮次；及/或，融合损失值满足预设要求，例如，在10轮优化训练过程中融合损失值的变化量小于0.01。
步骤S3，将待处理图像输入所述图像处理模型，输出所述待处理图像的视觉显著性热力图。
需要说明的是，本实施例以VGG网络模型为例，在其他实施例中，其他适合的任意深度学习模型均可参照上述步骤进行旁路分支扩展、模型训练及应用。
上述实施例提出的基于深度学习的图像处理方法，通过在深度学习模型的卷积层和池化层外接旁路分支，且每个旁路的输出都作为上一个旁路的输入，得到扩展后的深度学习模型，这样的网络模型的结构可以充分地学习到各层的特征；利用经过训练的扩展后的深度学习模型获取图像的视觉显著性热力图，从而提升了提取的视觉显著性热力图的视觉显著性及准确性。
在本发明基于深度学习的图像处理方法另一实施例中，该方法还包括：步骤S4。
步骤S4，基于预设裁剪规则对所述视觉显著性热力图进行裁剪，得到所述调整后的视觉显著性热力图。
在本实施例中，该步骤包括：
首先，将所述视觉显著性热力图转换为灰度图像，对所述灰度图像的像素进行二值化操作得到二值化图像。
具体地，对上述视觉显著性热力图进行灰度处理，得到对应的灰度图像，并对得到的灰度图像进行二值化处理，例如，设置128为预设灰度值阈值，那么灰度值大于等于128的像素点全部被置为255(纯白)，小于128的像素点全部被置为0(纯黑)，得到二值化图像。经过二值化操作得到的二值化图像中各像素点的像素值为0或255，整个图像呈现出明显的黑白效果。
然后，获取所述二值化图像中边界像素点形成的轮廓区域，生成每个所述轮廓区域的最小外接矩形框。
上述边界像素点可以举例为像素值为255的像素点。上述轮廓区域中包括所有边界像素点。
最后，选取所述最小外接矩形框中长宽比满足第二预设条件的目标区域，将所述视觉显著性热力图中与所述目标区域对应的图像区域作为所述待处理图像调整后的图像。
上述第二预设条件可以举例为：长宽比小于或等于3:1。
基于最小外接矩形框的长宽比进行关键区域提取，可使得最终选定区域中图像的显示比例更好，防止图像失真。
当然，本领域技术人员应当知晓，根据业务需求，还可以对上述裁剪得到的图像进行后续处理，例如，进一步的裁剪、缩放或旋转等操作。这里不做赘述。
本发明还提出一种电子装置。参照图3所示，为本发明电子装置较佳实施例的示意图。
在本实施例中，电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有数据处理功能的终端设备，所述服务器可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器。
该电子装置1包括存储器11、处理器12及显示单元13。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是所述电子装置1的内部存储单元，例如该电子装置1的硬盘。存储器11在另一些实施例中也可以是所述电子装置1的外部存储设备，例如该电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括该电子装置1的内部存储单元也包括外部存储设备。
存储器11不仅可以用于存储安装于该电子装置1的应用软件及各类数据，例如图像处理程序10等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如图像处理程序10等。
显示单元13可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。其中，显示单元也可以称为显示屏或显示器，用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
图3仅示出了具有组件11-13的电子装置1，本领域技术人员可以理解的是，图3示出的结构并不构成对电子装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
可选地，电子装置1还可以包括通信单元，例如，Wi-Fi单元、基于SIM(SubscriberIdentification Module)卡的移动通信单元等。
在图2所示的电子装置1实施例中，作为一种计算机存储介质的存储器11中存储图像处理程序10的程序代码，处理器12执行图像处理程序10的程序代码时，实现如下步骤：
模型扩展步骤：在预设类型的深度学习模型的卷积层和池化层外接预设数量的旁路结构得到扩展后的深度学习模型，并将每个旁路的输出设置为前一个旁路的输入。
在以下描述中，以电子装置为主体，对本实施例进行说明。
上述预设类型的深度学习模型为VGGNet网络模型。
人类视觉系统在观察图像时，会首先聚焦于某些特定区域，这些区域就是视觉显著性区域，模仿人类视觉系统，针对一张图像可以生成视觉显著性热力图。为了提高图像处理过程中视觉显著性热力图的视觉显著性及准确性，本实施例对预设类型的深度学习模型进行扩展，并利用扩展后的深度学习模型获取图像对应的视觉显著性热力图。
参照图2所示，图2为扩展后的VGGNet网络模型的示意图。本实施例在VGGNet网络模型的卷积层和池化层外接预设数量的旁路分支对VGGNet网络模型进行扩展，包括：分别在VGGNet网络模型的卷积层1_2，卷积层2_2，卷积层3_3，卷积层4_3，卷积层5_3以及池化层5，用1*1的卷积核依次外接于预设大小的N个旁路分支。例如，N＝6，旁路分支1的大小为256*256，旁路分支2的大小为128*128，旁路分支3的大小为64*64，旁路分支4的大小为32*32，旁路分支5的大小为16*16，旁路分支6的大小为8*8。
其中，对于每个靠后的旁路分支，通过上采样的方法将该旁路输出的结果作为前一个旁路分支的输入，例如，旁路分支6的输出结果为旁路分支5的输入，旁路分支5的输出结果为旁路分支4的输入，…，依此类推。
模型训练步骤：利用预先确定的样本图像集训练所述扩展后的深度学习模型得到图像处理模型。
利用上述步骤得到扩展后的VGGNet网络模型后对其进行训练，训练步骤过程包括：
首先，获取预设数量的样本图像，在所述样本图像上标注视觉显著性热力图区域，生成所述预先确定的样本图像集，将所述样本图像集划分为训练集及验证集。
预先准确10000张像素为256*256的样本图像，生成对应的样本图像集，按照预设比例(例如，8:2)确定样本集及验证集。
然后，将所述训练集中的样本图像输入扩展后的深度学习模型，根据每个旁路k的输出计算所述样本图像的交叉熵CEk，根据所述交叉熵计算所述样本图像的融合损失FL，其中，交叉熵CEk及融合损失FL的计算公式分别为：
Figure BDA0002068855310000091
Figure BDA0002068855310000092
其中，m，n分别为样本图像的长和宽，x为标注视觉显著性热力图区域中的像素，xij为样本图像中的像素，N>2且为自然数，代表旁路分支的数量。
接着，根据所述样本图像的融合损失，对所述扩展后的深度学习模型进行反向梯度传播，并进行迭代优化。
在训练过程中，对扩展后的VGGNet网络模型中的原始网络部分设置第一学习率(例如，0.001)，对扩展后的VGGNet网络模型中的扩展部分设置第二学习率(例如，0.005)，在训练过程中，设置的第一学习率及第二学习率每隔预设训练间隔(例如，50轮次)乘以一个预设值(例如，0.95)，分别得到更新后的第一学习率及更新后的第二学习率。利用Adam优化器对模型进行预设轮次(例如，800个轮次)的优化训练。
最后，每隔预设训练间隔利用所述验证集对所述扩展后的深度学习模型进行验证，当验证结果满足第一预设条件时，结束训练，得到所述图像处理模型。
上述预设训练间隔为：优化训练20轮次。
上述第一预设条件包括：1.优化训练次数达到预设轮次，例如，800个轮次；及/或，融合损失值满足预设要求，例如，在10轮优化训练过程中融合损失值的变化量小于0.01。
图像处理步骤：将待处理图像输入所述图像处理模型，输出所述待处理图像的视觉显著性热力图。
需要说明的是，本实施例以VGG网络模型为例，在其他实施例中，其他适合的任意深度学习模型均可参照上述步骤进行旁路分支扩展、模型训练。
上述实施例提出的电子装置1，通过在深度学习模型的卷积层和池化层外接旁路分支，且每个旁路的输出都作为上一个旁路的输入，得到扩展后的深度学习模型，这样的网络模型的结构可以充分地学习到各层的特征；利用经过训练的扩展后的深度学习模型获取图像的视觉显著性热力图，从而提升了提取的视觉显著性热力图的视觉显著性及准确性。
在其他实施例中，作为一种计算机存储介质的存储器11中存储图像处理程序10的程序代码，处理器12执行图像处理程序10的程序代码时，还实现如下步骤：
调整步骤：基于预设裁剪规则对所述视觉显著性热力图进行裁剪，得到所述调整后的视觉显著性热力图。
在本实施例中，所述调整步骤包括：
首先，将所述视觉显著性热力图转换为灰度图像，对所述灰度图像的像素进行二值化操作得到二值化图像。
具体地，对上述视觉显著性热力图进行灰度处理，得到对应的灰度图像，并对得到的灰度图像进行二值化处理，例如，设置128为预设灰度值阈值，那么灰度值大于等于128的像素点全部被置为255(纯白)，小于128的像素点全部被置为0(纯黑)，得到二值化图像。经过二值化操作得到的二值化图像中各像素点的像素值为0或255，整个图像呈现出明显的黑白效果。
然后，获取所述二值化图像中边界像素点形成的轮廓区域，生成每个所述轮廓区域的最小外接矩形框。
上述边界像素点可以举例为像素值为255的像素点。上述轮廓区域中包括所有边界像素点。
最后，选取所述最小外接矩形框中长宽比满足第二预设条件的目标区域，将所述视觉显著性热力图中与所述目标区域对应的图像区域作为所述待处理图像调整后的图像。
上述第二预设条件可以举例为：长宽比小于或等于3:1。
基于最小外接矩形框的长宽比进行关键区域提取，可使得最终选定区域中图像的显示比例更好，防止图像失真。
当然，本领域技术人员应当知晓，根据业务需求，还可以对上述裁剪得到的图像进行后续处理，例如，进一步的裁剪、缩放或旋转等操作。这里不做赘述。
可选地，在其他的实施例中，图像处理程序10还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器12所执行，以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。
例如，参照图4所示，为图3中图像处理程序10的模块示意图。
在所述图像处理程序10一实施例中，图像处理程序10仅包括：模块110-130，其中：
模型扩展模块110，用于在预设类型的深度学习模型的卷积层和池化层外接预设数量的旁路结构得到扩展后的深度学习模型，并将每个旁路的输出设置为前一个旁路的输入；
模型训练模块120，用于利用预先确定的样本图像集训练所述扩展后的深度学习模型得到图像处理模型；及
图像处理模块130，用于将待处理图像输入所述图像处理模型，输出所述待处理图像的视觉显著性热力图。
进一步地，在所述图像处理程序10另一实施例中，所述图像处理程序10还包括模块140，其中：
调整模块140，用于基于预设裁剪规则对所述视觉显著性热力图进行裁剪，得到所述调整后的视觉显著性热力图。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括图像处理程序10，所述图像处理程序10被处理器执行时实现如下操作：
模型扩展步骤：在预设类型的深度学习模型的卷积层和池化层外接预设数量的旁路结构得到扩展后的深度学习模型，并将每个旁路的输出设置为前一个旁路的输入；
模型训练步骤：利用预先确定的样本图像集训练所述扩展后的深度学习模型得到图像处理模型；及
图像处理步骤：将待处理图像输入所述图像处理模型，输出所述待处理图像的视觉显著性热力图。
本发明之计算机可读存储介质的具体实施方式与上述基于深度学习的图像处理方法的具体实施方式大致相同，在此不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于深度学习的图像处理方法，适用于电子装置，其特征在于，该方法包括：
模型扩展步骤：在预设类型的深度学习模型的卷积层和池化层外接预设数量的旁路结构得到扩展后的深度学习模型，并将每个靠后的旁路k的输出设置为前一个旁路k-1的输入，其中k≥2；
模型训练步骤：利用预先确定的样本图像集训练所述扩展后的深度学习模型得到图像处理模型，包括：
获取预设数量的样本图像，在所述样本图像上标注视觉显著性热力图区域，生成所述预先确定的样本图像集，将所述样本图像集划分为训练集及验证集；
将所述训练集中的样本图像输入扩展后的深度学习模型，根据每个旁路k的输出计算所述样本图像的交叉熵CEk，根据所述交叉熵计算所述样本图像的融合损失FL，
Figure FDA0002781765200000011
Figure FDA0002781765200000012
其中，m，n分别为样本图像的长和宽，x为标注视觉显著性热力图区域中的像素，xij为样本图像中的像素，N>2且为自然数，代表旁路分支的数量；
根据所述样本图像的融合损失，对所述扩展后的深度学习模型进行反向梯度传播，并进行迭代优化；及
每隔预设训练间隔利用所述验证集对所述扩展后的深度学习模型进行验证，当验证结果满足第一预设条件时，结束训练，得到所述图像处理模型；及
每隔预设训练间隔利用所述验证集对所述扩展后的深度学习模型进行验证，当验证结果满足第一预设条件时，结束训练，得到所述图像处理模型；及
图像处理步骤：将待处理图像输入所述图像处理模型，输出所述待处理图像的视觉显著性热力图。
2.根据权利要求1所述的图像处理方法，其特征在于，所述预设类型的深度学习模型为VGGNet网络模型。
3.根据权利要求1或2所述的图像处理方法，其特征在于，该方法还包括：
调整步骤：基于预设裁剪规则对所述视觉显著性热力图进行裁剪，得到所述调整后的视觉显著性热力图。
4.根据权利要求3所述的图像处理方法，其特征在于，所述调整步骤包括：
将所述视觉显著性热力图转换为灰度图像，对所述灰度图像的像素进行二值化操作得到二值化图像；
获取所述二值化图像中边界像素点形成的轮廓区域，生成每个所述轮廓区域的最小外接矩形框；及
选取所述最小外接矩形框中长宽比满足第二预设条件的目标区域，将所述视觉显著性热力图中与所述目标区域对应的图像区域作为所述调整后的视觉显著性热力图。
5.一种电子装置，其特征在于，该装置包括存储器及处理器，所述存储器中存储有可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时可实现如下步骤：
模型扩展步骤：在预设类型的深度学习模型的卷积层和池化层外接预设数量的旁路结构得到扩展后的深度学习模型，并将每个靠后的旁路k的输出设置为前一个旁路k-1的输入，其中k≥2；
模型训练步骤：利用预先确定的样本图像集训练所述扩展后的深度学习模型得到图像处理模型，包括：
获取预设数量的样本图像，在所述样本图像上标注视觉显著性热力图区域，生成所述预先确定的样本图像集，将所述样本图像集划分为训练集及验证集；
将所述训练集中的样本图像输入扩展后的深度学习模型，根据每个旁路k的输出计算所述样本图像的交叉熵CEk，根据所述交叉熵计算所述样本图像的融合损失FL，
Figure FDA0002781765200000031
Figure FDA0002781765200000032
其中，m，n分别为样本图像的长和宽，x为标注视觉显著性热力图区域中的像素，xij为样本图像中的像素，N>2且为自然数，代表旁路分支的数量；
根据所述样本图像的融合损失，对所述扩展后的深度学习模型进行反向梯度传播，并进行迭代优化；及
每隔预设训练间隔利用所述验证集对所述扩展后的深度学习模型进行验证，当验证结果满足第一预设条件时，结束训练，得到所述图像处理模型；及
图像处理步骤：将待处理图像输入所述图像处理模型，输出所述待处理图像的视觉显著性热力图。
6.根据权利要求5所述的电子装置，其特征在于，所述图像处理程序被所述处理器执行时还可实现如下步骤：
调整步骤：基于预设裁剪规则对所述视觉显著性热力图进行裁剪，得到所述调整后的视觉显著性热力图。
7.根据权利要求6所述的电子装置，其特征在于，所述调整步骤包括：
将所述视觉显著性热力图转换为灰度图像，对所述灰度图像的像素进行二值化操作得到二值化图像；
获取所述二值化图像中边界像素点形成的轮廓区域，生成每个所述轮廓区域的最小外接矩形框；及
选取所述最小外接矩形框中长宽比满足第二预设条件的目标区域，将所述视觉显著性热力图中与所述目标区域对应的图像区域作为所述待处理图像调整后的图像。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括图像处理程序，所述图像处理程序被处理器执行时，可实现如权利要求1至4中任意一项所述的基于深度学习的图像处理方法的步骤。
CN201910432459.1A 2019-05-22 2019-05-22 基于深度学习的图像处理方法、装置及存储介质 Active CN110176015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910432459.1A CN110176015B (zh) 2019-05-22 2019-05-22 基于深度学习的图像处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910432459.1A CN110176015B (zh) 2019-05-22 2019-05-22 基于深度学习的图像处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110176015A CN110176015A (zh) 2019-08-27
CN110176015B true CN110176015B (zh) 2021-04-23

Family

ID=67691917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910432459.1A Active CN110176015B (zh) 2019-05-22 2019-05-22 基于深度学习的图像处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110176015B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785599B (zh) * 2020-12-25 2024-05-28 深兰工业智能创新研究院(宁波)有限公司 图像扩展方法及装置
CN118172450B (zh) * 2023-06-29 2024-10-29 杭州大千数码科技有限公司 视频处理方法、系统与存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2545661A (en) * 2015-12-21 2017-06-28 Nokia Technologies Oy A method for analysing media content
CN107862695A (zh) * 2017-12-06 2018-03-30 电子科技大学 一种基于全卷积神经网络的改进型图像分割训练方法
CN108596330B (zh) * 2018-05-16 2022-03-15 中国人民解放军陆军工程大学 一种并行特征全卷积神经网络装置及其构建方法
CN109035233B (zh) * 2018-07-24 2021-09-21 西安邮电大学 视觉注意力网络系统及工件表面缺陷检测方法
CN109255340A (zh) * 2018-10-29 2019-01-22 东北大学 一种融合多种改进vgg网络的人脸识别方法
CN109753954A (zh) * 2018-11-14 2019-05-14 安徽艾睿思智能科技有限公司 基于深度学习注意力机制的文本实时定位识别方法
CN109712164A (zh) * 2019-01-17 2019-05-03 上海携程国际旅行社有限公司 图像智能剪裁方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN110176015A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110853047B (zh) 智能图像分割及分类方法、装置及计算机可读存储介质
WO2020098250A1 (zh) 字符识别方法、服务器及计算机可读存储介质
CN110516544B (zh) 基于深度学习的人脸识别方法、装置及计算机可读存储介质
CN110209862B (zh) 文本配图方法、电子装置及计算机可读存储介质
WO2019205391A1 (zh) 车辆损伤分类模型的生成装置、方法及计算机可读存储介质
CN111160434B (zh) 目标检测模型的训练方法、装置及计算机可读存储介质
CN103366186B (zh) 动态变换终端背景的方法及装置
CN108491866B (zh) 色情图片鉴定方法、电子装置及可读存储介质
CN110008997B (zh) 图像纹理相似度识别方法、装置及计算机可读存储介质
CN111291753B (zh) 基于图像的文本识别方法、装置及存储介质
CN113239910B (zh) 证件识别方法、装置、设备及存储介质
CN113012075B (zh) 一种图像矫正方法、装置、计算机设备及存储介质
CN113763249A (zh) 文本图像超分辨率重建方法及其相关设备
CN112686243A (zh) 智能识别图片文字的方法、装置、计算机设备及存储介质
CN110176015B (zh) 基于深度学习的图像处理方法、装置及存储介质
CN112464833A (zh) 基于光流的动态手势识别方法、装置、设备及存储介质
CN108021863B (zh) 电子装置、基于图像的年龄分类方法及存储介质
CN112016502B (zh) 安全带检测方法、装置、计算机设备及存储介质
CN113222921A (zh) 一种图像处理方法及系统
CN110705547B (zh) 图像内文字识别方法、装置及计算机可读存储介质
CN112651399B (zh) 检测倾斜图像中同行文字的方法及其相关设备
CN114758145A (zh) 一种图像脱敏方法、装置、电子设备及存储介质
CN111079624B (zh) 一种样本信息采集的方法、装置、电子设备以及介质
CN110287988B (zh) 数据增强方法、装置及计算机可读存储介质
CN111079749B (zh) 一种带姿态校正的端到端商品价签文字识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant