CN111179175A - 基于卷积神经网络的图像处理方法、装置及存储介质 - Google Patents

基于卷积神经网络的图像处理方法、装置及存储介质 Download PDF

Info

Publication number
CN111179175A
CN111179175A CN201911399345.8A CN201911399345A CN111179175A CN 111179175 A CN111179175 A CN 111179175A CN 201911399345 A CN201911399345 A CN 201911399345A CN 111179175 A CN111179175 A CN 111179175A
Authority
CN
China
Prior art keywords
image
convolution
neural network
convolutional neural
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911399345.8A
Other languages
English (en)
Other versions
CN111179175B (zh
Inventor
郭闯世
邵新庆
刘强
徐�明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen ZNV Technology Co Ltd
Nanjing ZNV Software Co Ltd
Original Assignee
Shenzhen ZNV Technology Co Ltd
Nanjing ZNV Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen ZNV Technology Co Ltd, Nanjing ZNV Software Co Ltd filed Critical Shenzhen ZNV Technology Co Ltd
Priority to CN201911399345.8A priority Critical patent/CN111179175B/zh
Publication of CN111179175A publication Critical patent/CN111179175A/zh
Application granted granted Critical
Publication of CN111179175B publication Critical patent/CN111179175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的图像处理方法、装置及存储介质，该基于卷积神经网络的图像处理方法包括以下步骤：获取一组图像集合；其中，所述图像集合内包括同一原始图像的不同尺寸的图像；将所述图像集合中的每张图像分别输入第一卷积层中对应的卷积处理支路，以获得每张图像的特征图；对各张所述特征图进行合并处理，以获得所述图像集合对应的目标特征图，并将所述目标特征图输入第二卷积层。本发明的技术方案，旨在减少图像处理过程的计算量，提升网络性能。

Description

基于卷积神经网络的图像处理方法、装置及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于卷积神经网络的图像处理方法、装置及存储介质。
背景技术
三阶段级联架构的MTCNN(Multi-task convolutional neural network，多任务卷积神经网络)在人脸检测上有着领先性的优势，其包括Proposal Network(全卷积网络，P-Net)，Refine Network(R-Net)以及Output Network(O-Net)。其中P-Net主要用于获得人脸区域的候选窗口和边界框的回归向量，并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制来合并高度重叠的候选框。R-Net是通过边界框回归和NMS来去掉那些预测错误的区域。O-Net比R-Net多了一层卷积层，作用和R-Net层作用一样，通过边界框回归和NMS来去掉那些预测错误的区域。
为了适应图片中不同尺度的人脸，网络的输入是一个金字塔图像，即将原图像按照设定的放缩因子p，以p，p2，p3，p4……的比例逐渐缩小，生成一个金字塔图像，最后获得的最小图像的最短边大于或者等于12。其中，原图像的尺度越大，检测到的人脸尺度越小，原图像的尺度越小，检测到的人脸尺度越大，保证了对不同尺度人脸的检测准确性。但是随着图像尺度的增大，金字塔图像的层数也会增加，导致计算量随之增加。
发明内容
本发明通过提供一种基于卷积神经网络的图像处理方法、装置及存储介质，旨在减少图像处理过程的计算量，提升网络性能。
为实现上述目的，本发明提供一种基于卷积神经网络的图像处理方法，所述基于卷积神经网络的图像处理方法包括以下步骤：
获取一组图像集合；其中，所述图像集合内包括同一原始图像的不同尺寸的图像；
将所述图像集合中的每张图像分别输入第一卷积层中对应的卷积处理支路，以获得每张图像的特征图；
对各张所述特征图进行合并处理，以获得所述图像集合对应的目标特征图，并将所述目标特征图输入第二卷积层。
可选的，所述将所述图像集合中的每张图像分别输入第一卷积层中对应的卷积处理支路，以获得每张图像的特征图的步骤包括：
获取所述图像集合中每张图像的尺寸信息；
确定第一卷积层中与所述尺寸信息对应的卷积处理支路；
将每张图像输入所确定的所述卷积处理支路，以获得每张图像的特征图。
可选的，所述对各张所述特征图进行合并处理，以获得所述图像集合对应的目标特征图的步骤包括：
将每张所述图像的特征图进行合并处理，以获得初始特征图；
将所述初始特征图输入预设的激活函数，以生成所述图像集合对应的目标特征图。
可选的，所述获取一组图像集合的步骤之前，还包括：
获取所述原始图像的多张不同尺寸的图像；
对多张所述不同尺寸的图像进行分组处理，以获得多组图像集合。
可选的，所述对多张所述不同尺寸的图像进行分组处理，以获得多组图像集合的步骤之后，还包括：
根据每组所述图像集合中每张图像的尺寸信息确定每张图像的扩张卷积和普通卷积；
以所确定的所述扩张卷积和所述普通卷积建立每张图像对应的卷积处理支路。
可选的，所述以所确定的所述扩张卷积和所述普通卷积建立每张图像对应的卷积处理支路的步骤包括：
将所述扩张卷积和所述普通卷积按照预设的布局规则进行位置布局，以获得所述卷积处理支路。
可选的，所述对多张所述不同尺寸的图像进行分组处理，以获得多组图像集合的步骤之后，还包括：
根据每组所述图像集合中每张图像的尺寸信息确定每张图像的普通卷积；
以所确定的所述普通卷积建立每张图像对应的卷积处理支路。
为实现上述目的，本发明还提供一种基于卷积神经网络的图像处理装置，所述基于卷积神经网络的图像处理装置包括存储器、处理器及存储在存储器上并可在处理器上运行的基于卷积神经网络的图像处理程序，所述基于卷积神经网络的图像处理程序被所述处理器运行时实现如上任一项所述的基于卷积神经网络的图像处理方法的各个步骤。
为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有基于卷积神经网络的图像处理程序，所述基于卷积神经网络的图像处理程序被所述处理器执行时实现如上任一项所述的基于卷积神经网络的图像处理方法的各个步骤。
本发明的技术方案，将输入的一组图像集合中的每张图像通过预先设置的卷积处理支路进行卷积操作，以获得当前一组图像集合中每张图像的特征图，并对各张特征图进行拼接处理，以获得该组图像集合的目标特征图。相当于每次输入多张图像至P-Net，P-Net对应输出一张目标特征图，使得后端的R-Net和O-Net的网络输入量也大幅度减少，这将使得整个图像处理过程的效率更高，速度更快。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的电子设备结构示意图；
图2为本发明基于卷积神经网络的图像处理方法一实施例的流程示意图；
图3为P-Net的原始结构示意图；
图4为本发明一示例性实施例中P-Net的结构示意图；
图5为图2中步骤S2的一细化流程示意图；
图6为图2中步骤S3的一细化流程示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：获取一组图像集合；其中，所述图像集合内包括同一原始图像的不同尺寸的图像；将所述图像集合中的每张图像分别输入第一卷积层中对应的卷积处理支路，以获得每张图像的特征图；对各张所述特征图进行合并处理，以获得所述图像集合对应的目标特征图，并将所述目标特征图输入第二卷积层。
本发明的技术方案，将输入的一组图像集合中的每张图像通过预先设置的卷积处理支路进行卷积操作，以获得当前一组图像集合中每张图像的特征图，并对各张特征图进行拼接处理，以获得该组图像集合的目标特征图。相当于每次输入多张图像至P-Net，P-Net对应输出一张目标特征图，使得后端的R-Net和O-Net的网络输入量也大幅度减少，这将使得整个图像处理过程的效率更高，速度更快。
作为一种实施方案，基于卷积神经网络的图像处理装置可以如图1所示。
本发明实施例方案涉及的是基于卷积神经网络的图像处理装置，基于卷积神经网络的图像处理装置包括：处理器1001，例如CPU，通信总线1002，存储器1003。其中，通信总线1002用于实现这些组件之间的连接通信。
存储器1003可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。如图1所示，作为一种计算机存储介质的存储器1003中可以包括程序；而处理器1001可以用于调用存储器1003中存储的基于卷积神经网络的图像处理程序，并执行以下操作：
获取一组图像集合；其中，所述图像集合内包括同一原始图像的不同尺寸的图像；
将所述图像集合中的每张图像分别输入第一卷积层中对应的卷积处理支路，以获得每张图像的特征图；
对各张所述特征图进行合并处理，以获得所述图像集合对应的目标特征图，并将所述目标特征图输入第二卷积层。
可选的，处理器1001可以用于调用存储器1003中存储的基于卷积神经网络的图像处理程序，并执行以下操作：
获取所述图像集合中每张图像的尺寸信息；
确定第一卷积层中与所述尺寸信息对应的卷积处理支路；
将每张图像输入所确定的所述卷积处理支路，以获得每张图像的特征图。
可选的，处理器1001可以用于调用存储器1003中存储的基于卷积神经网络的图像处理程序，并执行以下操作：
将每张所述图像的特征图进行合并处理，以获得初始特征图；
将所述初始特征图输入预设的激活函数，以生成所述图像集合对应的目标特征图。
可选的，处理器1001可以用于调用存储器1003中存储的基于卷积神经网络的图像处理程序，并执行以下操作：
获取所述原始图像的多张不同尺寸的图像；
对多张所述不同尺寸的图像进行分组处理，以获得多组图像集合。
可选的，处理器1001可以用于调用存储器1003中存储的基于卷积神经网络的图像处理程序，并执行以下操作：
根据每组所述图像集合中每张图像的尺寸信息确定每张图像的扩张卷积和普通卷积；
以所确定的所述扩张卷积和所述普通卷积建立每张图像对应的卷积处理支路。
可选的，处理器1001可以用于调用存储器1003中存储的基于卷积神经网络的图像处理程序，并执行以下操作：
将所述扩张卷积和所述普通卷积按照预设的布局规则进行位置布局，以获得所述卷积处理支路。
可选的，处理器1001可以用于调用存储器1003中存储的基于卷积神经网络的图像处理程序，并执行以下操作：
根据每组所述图像集合中每张图像的尺寸信息确定每张图像的普通卷积；
以所确定的所述普通卷积建立每张图像对应的卷积处理支路。
图2为本发明基于卷积神经网络的图像处理方法一实施例的流程示意图。
该基于卷积神经网络的图像处理方法包括：
步骤S1，获取一组图像集合；其中，所述图像集合内包括同一原始图像的不同尺寸的图像；
三阶段级联架构的MTCNN(Multi-task convolutional neural network，多任务卷积神经网络)包括Proposal Network(全卷积网络，P-Net)，Refine Network(R-Net)以及Output Network(O-Net)。其中P-Net主要用于获得人脸区域的候选窗口和边界框的回归向量，并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制来合并高度重叠的候选框。
为了适应图片中不同尺度的人脸，网络的输入是一个金字塔图像，即将原图像按照设定的放缩因子p，以p，p2，p3，p4……的比例逐渐缩小，生成一个金字塔图像。本实施例预先按照各张图像之间的尺寸关系将输入的金字塔图像分为多组图像集合，图像集合的组数以及每组图像集合中所包含的图像张数可以根据实际需要设定。例如，若金字塔图像包含以p，p2，p3，p4……的比例逐渐缩小的12张不同尺寸的图像，可以将第一层图像、第三层图像和第五层图像作为一组图像集合；将第二层图像、第四层图像、第六层图像最为另一组图像集合；将第七层图像、第九层图像和第十一层图像作为一组图像集合；再将第八层图像、第十层图像和第十二层图像作为一组图像集合，也就是将12张不同尺寸的图像分为4组图像集合，每组图像集合包含3张不同尺寸的图像，其中，优选每组图像集合中的各张图像存在一定的比例关系。在将原始图像的不同尺寸的图像分为多组图像集合后，先将其中一组图像集合输入P-Net。
步骤S2，将所述图像集合中的每张图像分别输入第一卷积层中对应的卷积处理支路，以获得每张图像的特征图；
特征图表示图像经第一卷积层中对应的卷积处理支路处理后所获得的特征矩阵。原始的P-Net架构包括三层卷积层，例如，原始的P-Net架构如图3所示，原始P-Net包括三层Conv-3，其中，Conv-3表示卷积核为3*3，填充为1的普通卷积。本实施例中，预先将P-Net的第一卷积层Conv-3以多条卷积处理支路、拼接层以及激活函数所组成的架构取代，其中，每条卷积处理支路可以由扩张卷积与普通卷积组合搭建，也可以由多层普通卷积搭建，此处可根据实际需要设置。例如，设定每组图像集合包含3张尺寸存在一定比例关系的图像，将P-Net的第一层Conv-3以由3条卷积处理支路、拼接层Connection以及激活函数Maxout所组成的结构取代。第一条卷积处理支路包括两层扩张卷积DeConv-3-2和一层普通卷积Conv-3；其中，DeConv-3-2表示卷积核为3*3，扩张率为2的扩张卷积，Conv-3表示卷积核为3*3，填充为1的普通卷积；第二条卷积处理支路包括一层扩张卷积DeConv-3-2和一层普通卷积Conv-3-2，Conv-3-2表示卷积核为3*3，填充为2的普通卷积；第三条卷积处理支路包括一层普通卷积Conv-3-3，Conv-3-3表示卷积核为3*3，填充为3的普通卷积，从而生成如图4所示的新的架构。在将P-Net中的第一卷积层Conv-3以新的卷积架构替换后，可根据每组图像集合中每张图像的尺寸信息，确定与之对应的卷积处理支路，并将每张图像输入对应的卷积处理支路，以获得每张图像的特征图。其中，处于同一图像集合的每张图像经过其对应的卷积处理支路进行卷积处理后，所生成的特征图的尺寸相同，以便于对多张特征图进行合并、拼接处理。例如，当前一组图像集合包括3张尺寸分别为800*800、392*392、192*192的图像，尺寸为800*800的图像经过两层扩张卷积和一层普通卷积进行处理，尺寸为392*392的图像经过一层扩张卷积和一层普通卷积进行处理；图像为192*192经过一层普通卷积进行处理，最终输出3张尺寸均为98*98的特征图。
可选的，在一实施例中，参照图5，步骤S2包括：
步骤S21，获取所述图像集合中每张图像的尺寸信息；
在获得一组图像集合后，先确定图像集合中每张图像的尺寸信息。
步骤S22，确定第一卷积层中与所述尺寸信息对应的卷积处理支路；
在确定图像集合中每张图像的尺寸信息后，根据每张图像的尺寸信息确定该图像所要输入的卷积处理支路。例如，当前一组图像集合包括3张不同尺寸的图像，第一张图像的尺寸为800*800、第二张图像的尺寸为392*392、第三张图像的尺寸为192*192，则尺寸为800*800的图像对应如图4所示的第一条卷积处理支路，即包括两层扩张卷积DeConv-3-2和一层普通卷积Conv-3的卷积处理支路；尺寸为392*392的图像对应第二条卷积处理支路，即包括一层扩张卷积DeConv-3-2和一层普通卷积Conv-3-2的卷积处理支路；尺寸为192*192的图像对应第三条卷积处理支路，即包括一层普通卷积Conv-3-3的卷积处理支路。
步骤S23，将每张图像输入所确定的所述卷积处理支路，以获得每张图像的特征图。
在确定每张图像对应的卷积处理支路后，将各张图像分别输入对应的卷积处理支路，以通过对应的卷积处理支路生成该图像的特征图。例如，当前一组图像集合包括3张不同尺寸的图像，第一张图像的尺寸为800*800、第二张图像的尺寸为392*392、第三张图像的尺寸为192*192，则将尺寸为800*800的图像输入如图4所示的P-Net中第一条卷积处理支路，即包括两层扩张卷积DeConv-3-2和一层普通卷积Conv-3的卷积处理支路；将尺寸为392*392的图像输入第二条卷积处理支路，即包括一层扩张卷积DeConv-3-2和一层普通卷积Conv-3-2的卷积处理支路；将尺寸为192*192的图像输入第三条卷积处理支路，即包括一层普通卷积Conv-3-3的卷积处理支路。对应的，第一条卷积处理支路输出98*98的特征图，第二条卷积处理支路输出98*98的特征图，第三条卷积处理支路输出98*98的特征图。也就是说，将一组图像集合中的各张图像分别输入对应的卷积处理支路后，得到的各张特征图的尺寸相同。
步骤S3，对各张所述特征图进行合并处理，以获得所述图像集合对应的目标特征图，并将所述目标特征图输入第二卷积层。
在获得每张图像的特征图后，将所获得的多张特征图进行拼接处理，即将多张特征图拼接成一张图像，例如，将3张维度为5*12*12的特征图拼接为一张维度为15*12*12的初始特征图。并将拼接后的初始特征图输入预设的激活函数进行激活操作，以获得目标特征图，同时达到降低维度的目的。例如，将维度为15*12*12的原始特征图输入预设的激活函数后，生成维度为5*12*12的目标特征图，并将目标特征图输入至P-Net的第二卷积层。其中，在卷积神经网络中，一个激活函数的输出可以由多张特征图取最值得到，即将原始特征图进行竞争融合，以输出最优的目标特征图。激活函数具有较强的拟合能力，能够拟合任意的凸函数，但其计算量随着中间神经元个数k的增加而成倍数的增长，所以选取合适的k值非常重要。在一实施例中，该神经元个数k可选为5。激活函数就是从多张特征图中选择最佳的图像特征，并将所选择的图像特征拼接为一张目标特征图。
可选的，在一实施例中，参照图6，步骤S3包括：
步骤S31，将每张所述图像的特征图进行合并处理，以获得初始特征图；
在获得当前一组图像集合中每张图像的特征图后，将每张图像的特征图进行拼接处理，即如图4所示的拼接层Connection，以通过拼接层将多张特征图拼接成一张原始特征图，例如，将3张维度为5*12*12的特征图拼接为一张维度为15*12*12的初始特征图。其中，拼接层Connection用于将各张特征图拼接在一起，以方便输入到后续的Maxout激活函数。
步骤S32，将所述初始特征图输入预设的激活函数，以生成所述图像集合对应的目标特征图。
将初始特征图输入预设的激活函数，即如图4所示的Maxout，Maxout表示激活函数。其中，在卷积神经网络中，激活函数的输出可以由多个特征图取最值得到，即将原始特征图进行竞争融合，以输出最优的目标特征图。激活函数具有较强的拟合能力，能够拟合任意的凸函数，但其计算量随着中间神经元个数k的增加而成倍数的增长，所以选取合适的k值非常重要。在一实施例中，该神经元个数k可选为5。通过预设的激活函数生成当前一组图像集合的目标特征图，并将所生成的目标特征图输入到P-Net的第二卷积层进行卷积操作。
也就是说，原始的P-Net架构中，每次只能处理1张图像，例如，若原始图像包括12张不同尺寸的图像，则P-Net需要进行12次图像处理，同理，R-Net以及O-Net同样需要进行12次图像处理，整个图像处理过程的计算量大、速度慢。本发明的技术方案，通过改变P-Net的架构，将P-Net的第一卷积层设计成多个卷积处理支路，使得P-Net的第一卷积层每次可以同时处理多张图像。并预先将原始图像的金字塔图像分为若干组，每次输入一组图像集合，并通过对应的卷积处理支路对图像集合中的每张图像进行卷积操作，最终得到多张相同尺寸的特征图，然后对各张特征图进行拼接处理，再通过预设的激活函数对拼接处理后的原始特征图进竞争融合，最终获得图像集合的目标特征图。由于输出至后端卷积层的图像的维度大幅度减少，则后端卷积层的网络计算量也会随之减少，使得整个图像处理过程的效率更高，速度更快。
本发明的技术方案，将输入的一组图像集合中的每张图像通过预先设置的卷积处理支路进行卷积操作，以获得当前一组图像集合中每张图像的特征图，并对各张特征图进行拼接处理，以获得该组图像集合的目标特征图。相当于每次输入多张图像至P-Net，P-Net对应输出一张目标特征图，使得后端的R-Net和O-Net的网络输入量也大幅度减少，这将使得整个图像处理过程的效率更高，速度更快。
可选的，在一实施例中，步骤S1之前，还包括：
步骤S101，获取所述原始图像的多张不同尺寸的图像；
为了适应图片中不同尺度的人脸，网络的输入是一个金字塔图像，即将原始图像按照设定的放缩因子p，以p，p2，p3，p4……的比例逐渐缩小，生成一个金字塔图像，即生成原始图像的多张不同尺寸的图像。
步骤S102，对多张所述不同尺寸的图像进行分组处理，以获得多组图像集合。
由于金字塔图像是将一张原始图像按照设定的放缩因子逐渐缩小而形成的，可按照设定的尺寸比例将金字塔图像分为多组图像集合，图像集合的组数以及每组图像集合所包含的图像张数可以根据实际需要设定。例如，若原始图像包括以p，p2，p3，p4……的比例逐渐缩小12张不同尺寸的图像，可以将第一层图像、第三层图像和第五层图像作为一组图像集合；将第二层图像、第四层图像、第六层图像最为另一组图像集合；将第七层图像、第九层图像和第十一层图像作为一组图像集合；再将第八层图像、第十层图像和第十二层图像作为一组图像集合，也就是将12张不同尺寸的图像分为4组图像集合，每组图像集合包含3张不同尺寸的图像。
在一实施例中，步骤S102之后，还包括：
步骤S103，根据每组所述图像集合中每张图像的尺寸信息确定每张图像的扩张卷积和普通卷积；
根据每组图像集合中每张图像的尺寸信息确定每张图像所需要的扩张卷积和普通卷积，以通过所确定的扩张卷积和普通卷积搭建该图像对应的卷积处理支路，使得一组图像集合中的各张图像经过其对应的卷积处理支路进行卷积操作后，生成的特征图的尺寸相同。例如，当前一组图像集合包括3张不同尺寸的图像，第一张图像的尺寸为800*800、第二张图像的尺寸为392*392、第三张图像的尺寸为192*192，第三张图像经过一层普通卷积后，所获得的特征图的尺寸为98*98。再以尺寸为98*98的特征图为结果确定第一张图像合第二张图像所需要的扩张卷积的层数和普通卷积的层数，并以所确定的扩张卷积和普通卷积搭建其对应的卷积处理支路。例如，经过计算，尺寸为800*800的图像需要两层扩张卷积DeConv-3-2和一层普通卷积Conv-3进行处理，才能生成尺寸为98*98的特征图；尺寸为392*392的图像需要一层扩张卷积DeConv-3-2和一层普通卷积Conv-3-2，才能生成尺寸为98*98的特征图。
步骤S104，以所确定的所述扩张卷积和所述普通卷积建立每张图像对应的卷积处理支路。
在确定了每张图像所需要的扩张卷积的层数和普通卷积的层数后，根据所确定的扩张卷积和普通卷积搭建每张图像对应的卷积处理支路。
可选的，步骤S1041，将所述扩张卷积和所述普通卷积按照预设的布局规则进行位置布局，以获得所述卷积处理支路。
在确定每张图像所需要的扩张卷积和普通卷积后，以预设的布局规则对所确定的扩张卷积和普通卷积搭建每张图像所需要的卷积处理支路。例如，如图4所示，尺寸为800*800的图像需要两层扩张卷积DeConv-3-2和一层普通卷积Conv-3，则将两层扩张卷积设置于普通卷积的上层，使得尺寸为800*800的图像先经过两层扩张卷积进行处理，最后再经过一层普通卷积进行处理。
可选的，在一实施例中，步骤S102之后，还包括：
步骤S105，根据每组所述图像集合中每张图像的尺寸信息确定每张图像的普通卷积；
步骤S106，以所确定的所述普通卷积建立每张图像对应的卷积处理支路。
根据图像集合中每张图像的尺寸信息确定每张图像所需要的普通卷积层数，以所确定的普通卷积层数搭建卷积处理支路。例如，当前一组图像集合包括3张不同尺寸的图像，第一张图像的尺寸为800*800、第二张图像的尺寸为392*392、第三张图像的尺寸为192*192。第三张图像经过一层普通卷积后，所获得的特征图的尺寸为98*98。再以尺寸为98*98的特征图为结果确定第一张图像和第二张图像所需要的普通卷积的层数，并以所确定的普通卷积搭建第一张图像和第二张图像对应的卷积处理支路。例如，经过计算，尺寸为800*800的图像需要两层普通卷积Conv-5-5和一层普通卷积Conv-3进行处理，才能生成尺寸为98*98的特征图；尺寸为392*392的图像需要一层普通卷积Conv-5-5和一层普通卷积Conv-3-2，才能生成尺寸为98*98的特征图。又例如，经过计算，尺寸为800*800的图像需要四层普通卷积Conv-3-3和一层普通卷积Conv-3进行处理，才能生成尺寸为98*98的特征图；尺寸为392*392的图像需要两层普通卷积Conv-3-3和一层普通卷积Conv-3-2，才能生成尺寸为98*98的特征图。当然，搭建每张图像对应的卷积处理支路的扩张卷积和普通卷积可根据实际需要设置，只要使得一组图像集合中的每张图像进行对应的卷积处理支路处理后，每张图像的特征图的尺寸相同即可，以便于对所生成的各张特征图进行拼接处理，达到降低维度的目的。
为实现上述目的，本发明还提供一种基于卷积神经网络的图像处理装置，所述基于卷积神经网络的图像处理装置包括存储器、处理器及存储在存储器上并可在处理器上运行的基于卷积神经网络的图像处理程序，所述基于卷积神经网络的图像处理程序被所述处理器运行时实现如上所述的基于卷积神经网络的图像处理方法的各个步骤。
为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有基于卷积神经网络的图像处理程序，所述基于卷积神经网络的图像处理程序被所述处理器执行时实现如上所述的基于卷积神经网络的图像处理方法的各个步骤。
以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (9)

1.一种基于卷积神经网络的图像处理方法，其特征在于，所述基于卷积神经网络的图像处理方法包括以下步骤：
获取一组图像集合；其中，所述图像集合内包括同一原始图像的不同尺寸的图像；
将所述图像集合中的每张图像分别输入第一卷积层中对应的卷积处理支路，以获得每张图像的特征图；
对各张所述特征图进行合并处理，以获得所述图像集合对应的目标特征图，并将所述目标特征图输入第二卷积层。
2.如权利要求1所述的基于卷积神经网络的图像处理方法，其特征在于，所述将所述图像集合中的每张图像分别输入第一卷积层中对应的卷积处理支路，以获得每张图像的特征图的步骤包括：
获取所述图像集合中每张图像的尺寸信息；
确定第一卷积层中与所述尺寸信息对应的卷积处理支路；
将每张图像输入所确定的所述卷积处理支路，以获得每张图像的特征图。
3.如权利要求1所述的基于卷积神经网络的图像处理方法，其特征在于，所述对各张所述特征图进行合并处理，以获得所述图像集合对应的目标特征图的步骤包括：
将每张所述图像的特征图进行合并处理，以获得初始特征图；
将所述初始特征图输入预设的激活函数，以生成所述图像集合对应的目标特征图。
4.如权利要求1-3任一项所述的基于卷积神经网络的图像处理方法，其特征在于，所述获取一组图像集合的步骤之前，还包括：
获取所述原始图像的多张不同尺寸的图像；
对多张所述不同尺寸的图像进行分组处理，以获得多组图像集合。
5.如权利要求4所述的基于卷积神经网络的图像处理方法，其特征在于，所述对多张所述不同尺寸的图像进行分组处理，以获得多组图像集合的步骤之后，还包括：
根据每组所述图像集合中每张图像的尺寸信息确定每张图像的扩张卷积和普通卷积；
以所确定的所述扩张卷积和所述普通卷积建立每张图像对应的卷积处理支路。
6.如权利要求5所述的基于卷积神经网络的图像处理方法，其特征在于，所述以所确定的所述扩张卷积和所述普通卷积建立每张图像对应的卷积处理支路的步骤包括：
将所述扩张卷积和所述普通卷积按照预设的布局规则进行位置布局，以获得所述卷积处理支路。
7.如权利要求4所述的基于卷积神经网络的图像处理方法，其特征在于，所述对多张所述不同尺寸的图像进行分组处理，以获得多组图像集合的步骤之后，还包括：
根据每组所述图像集合中每张图像的尺寸信息确定每张图像的普通卷积；
以所确定的所述普通卷积建立每张图像对应的卷积处理支路。
8.一种基于卷积神经网络的图像处理装置，其特征在于，所述基于卷积神经网络的图像处理装置包括存储器、处理器及存储在存储器上并可在处理器上运行的基于卷积神经网络的图像处理程序，所述基于卷积神经网络的图像处理程序被所述处理器运行时实现如权利要求1至7任一项所述的基于卷积神经网络的图像处理方法的各个步骤。
9.一种存储介质，其特征在于，所述存储介质上存储有基于卷积神经网络的图像处理程序，所述基于卷积神经网络的图像处理程序被所述处理器执行时实现如权利要求1至7任一项所述的基于卷积神经网络的图像处理方法的各个步骤。
CN201911399345.8A 2019-12-27 2019-12-27 基于卷积神经网络的图像处理方法、装置及存储介质 Active CN111179175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911399345.8A CN111179175B (zh) 2019-12-27 2019-12-27 基于卷积神经网络的图像处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911399345.8A CN111179175B (zh) 2019-12-27 2019-12-27 基于卷积神经网络的图像处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111179175A true CN111179175A (zh) 2020-05-19
CN111179175B CN111179175B (zh) 2023-04-07

Family

ID=70654272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911399345.8A Active CN111179175B (zh) 2019-12-27 2019-12-27 基于卷积神经网络的图像处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111179175B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116071A (zh) * 2020-09-07 2020-12-22 地平线(上海)人工智能技术有限公司 神经网络计算方法、装置、可读存储介质以及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180150681A1 (en) * 2016-11-30 2018-05-31 Altumview Systems Inc. Face detection using small-scale convolutional neural network (cnn) modules for embedded systems
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN109508625A (zh) * 2018-09-07 2019-03-22 咪咕文化科技有限公司 一种情感数据的分析方法及装置
CN109522966A (zh) * 2018-11-28 2019-03-26 中山大学 一种基于密集连接卷积神经网络的目标检测方法
CN110414371A (zh) * 2019-07-08 2019-11-05 西南科技大学 一种基于多尺度核卷积神经网络的实时人脸表情识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180150681A1 (en) * 2016-11-30 2018-05-31 Altumview Systems Inc. Face detection using small-scale convolutional neural network (cnn) modules for embedded systems
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN109508625A (zh) * 2018-09-07 2019-03-22 咪咕文化科技有限公司 一种情感数据的分析方法及装置
CN109522966A (zh) * 2018-11-28 2019-03-26 中山大学 一种基于密集连接卷积神经网络的目标检测方法
CN110414371A (zh) * 2019-07-08 2019-11-05 西南科技大学 一种基于多尺度核卷积神经网络的实时人脸表情识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙康等: "基于级联卷积神经网络的人脸检测算法", 《南京理工大学学报》 *
张文涛等: "一种多尺度轻量化的人脸识别算法", 《现代计算机(专业版)》 *
张文达等: "基于多尺度分块卷积神经网络的图像目标识别算法", 《计算机应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116071A (zh) * 2020-09-07 2020-12-22 地平线(上海)人工智能技术有限公司 神经网络计算方法、装置、可读存储介质以及电子设备

Also Published As

Publication number Publication date
CN111179175B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110717527B (zh) 结合空洞空间金字塔结构的目标检测模型确定方法
CN110837811B (zh) 语义分割网络结构的生成方法、装置、设备及存储介质
US11216353B2 (en) Data visual analysis method, system and terminal and computer readable storage medium
CN109658346B (zh) 图像修复方法、装置、计算机可读存储介质及电子设备
CN111275190B (zh) 神经网络模型的压缩方法及装置、图像处理方法及处理器
KR102513707B1 (ko) 학습 장치, 추론 장치, 학습 모델 생성 방법 및 추론 방법
CN111967297B (zh) 图像的语义分割方法、装置、电子设备及介质
JP7165018B2 (ja) 情報処理装置、情報処理方法
CN112055244B (zh) 图像获取方法、装置、服务器和电子设备
JP2016115248A (ja) 演算処理装置
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
CN105678831A (zh) 一种图像渲染方法和装置
CN111179175B (zh) 基于卷积神经网络的图像处理方法、装置及存储介质
JP2017068577A (ja) 演算装置、方法及びプログラム
CN103578077B (zh) 一种图像缩放处理方法和相关装置
US11900577B2 (en) Processing apparatus for performing processing using a convolutional neural network
CN113888524A (zh) 缺陷检测模型训练方法、装置、设备及可读存储介质
CN108280135B (zh) 实现数据结构可视化的方法、装置和电子设备
CN110992387B (zh) 一种图像处理方法、装置及电子设备和存储介质
JP2021144428A (ja) データ処理装置、データ処理方法
CN107977923B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN116051846A (zh) 图像特征提取方法、装置、计算机设备和存储介质
CN104517273A (zh) 一种图像超分辨率处理方法及装置
CN114549945A (zh) 遥感影像变化检测方法及相关装置
CN113705795A (zh) 卷积处理方法、装置、卷积神经网络加速器和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant