CN110348411B - 一种图像处理方法、装置和设备 - Google Patents

一种图像处理方法、装置和设备 Download PDF

Info

Publication number
CN110348411B
CN110348411B CN201910642257.XA CN201910642257A CN110348411B CN 110348411 B CN110348411 B CN 110348411B CN 201910642257 A CN201910642257 A CN 201910642257A CN 110348411 B CN110348411 B CN 110348411B
Authority
CN
China
Prior art keywords
convolution
feature
atlas
processed
feature atlas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910642257.XA
Other languages
English (en)
Other versions
CN110348411A (zh
Inventor
胡一凡
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910642257.XA priority Critical patent/CN110348411B/zh
Publication of CN110348411A publication Critical patent/CN110348411A/zh
Application granted granted Critical
Publication of CN110348411B publication Critical patent/CN110348411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像处理方法、装置和设备，该方法包括：获取待处理的图像，通过预设的卷积神经网络对待处理的图像进行处理，得到待处理的特征图集，通过至少一个一次型卷积对待处理的特征图集进行卷积操作，得到第一特征图集；通过至少一个预设的卷积组对待处理的数据进行卷积操作，得到第二特征图集；在待处理的数据为待处理的特征图集的情况下，将第一特征图集和第二特征图集进行融合，得到目标特征图集。由此，通过将一次型卷积和二次型卷积分开处理，并通过空洞卷积提高二次型卷积的感受野，实现了，在保障在数据量较少的情况下，既提取全局特征和局部特征，还能提高提取到的全局特征的准确性和全面性，进而提升了图像处理的精度。

Description

一种图像处理方法、装置和设备
技术领域
本发明涉及图像处理领域，尤其涉及一种图像处理方法、装置和设备。
背景技术
卷积神经网络(英文全称：(ConvolutionalNeuralNetwork，英文简称：CNN)是一种前馈神经网络，具有识别效率高、旋转缩放不变性好等优点。基于卷积神经网络的优点，卷积神经网络广泛应用于图像处理、模式分类等领域，并且也是专家学者重点研究的对象。
现有技术中存在很多的新型的卷积神经网络，例如：RESNET(英文全称：ResidualNeural Network，中文全称：残差神经网络)、SENET(英文全称：squeeze-and-excitationnetworks，中文全称：挤压激发网络)等，虽然新型的卷积神经网络相对于传统卷积神经网络，在性能上有所提升，但在特征提取的准确性和全面性上仍然有待提高。
并且，在图像处理方面，特征提取的准确性和全面性对卷积神经网络最终输出的图像处理的精度有很大的影响，例如会影响图像分类的精度。因此，为了提高卷积神经网络对图像处理的精度，提升特征提取的准确性和全面性是非常必要的。
发明内容
有鉴于此，本发明实施例公开了一种图像处理方法、装置和设备，其中，通过一次型卷积和二次型卷积分别对数据进行处理，并通过空洞卷积提高了二次型卷积的感受野，这样，在保障较少参数量的情况下，既提取到了全局特征和局部特征，还提高了提取到的全局特征的准确性和全面性，进而提升了卷积神经网络对图像处理的精度。
本发明实施例公开了一种图像处理方法，该方法包括：
获取待处理的图像；
通过预设的卷积神经网络对所述待处理的图像进行处理，得到待处理的特征图集；
通过至少一个一次型卷积对所述待处理的特征图集进行卷积操作，得到第一特征图集；所述一次型卷积表示通过预设的第一卷积参数对变量进行卷积操作；
通过至少一个预设的卷积组对待处理的数据进行卷积操作，得到第二特征图集；所述预设的卷积组包括：二次型卷积和空洞卷积，所述二次型卷积表示通过预设的第二卷积参数对关联变量进行卷积操作，所述关联变量是通过计算变量中各个变量因子之间的关联关系得到的；
在所述待处理的数据为待处理的特征图集的情况下，将所述第一特征图集和所述第二特征图集进行融合，得到目标特征图集；
对所述目标特征图集进行分析，输出图像处理结果。
可选的，若所述待处理的数据为第一特征图集，则所述目标特征图集为所述第二特征图集。
可选的，所述预设的第一卷积参数包括：全局池化的卷积参数。
可选的，所述关联变量的计算过程包括：
计算变量中每两个因子的乘积；
将所述每两个因子的乘积构成的矩阵表示为关联变量。
可选的，所述二次型卷积的第二卷积参数为上三角矩阵。
可选的，所述二次型卷积的卷积核大于或者等于一次型卷积的卷积核。
可选的，所述一次型卷积的步长大于或者等于1，所述二次型卷积的步长大于1。
可选的，将所述第一特征图集和所述第二特征图集进行融合，包括：
确定第一特征图集的通道数和第二特征图集的通道数；
根据所述第一特征图集的通道数和第二特征图集的通道数，将所述第一特征图集和所述第二特征图集进行融合。
可选的，所述根据第一特征图集的通道数和第二特征图集的通道数，将所述第一特征图集和所述第二特征图集进行融合，包括：
将所述第一特征图集和第二特征图集的所有通道相融合。
可选的，所述根据第一特征图集的通道数和第二特征图集的通道数，对所述第一特征图集和所述第二特征图集进行融合，包括：
当所述第一特征图集的通道数和第二特征图集的通道数相同时，将第一特征图集中每个通道对应的特征图与第二特征图集中相应通道上的特征图相加，得到目标特征图集合。
可选的，所述对所述目标特征图集进行分析，输出图像处理结果，包括：
通过预设的卷积神经网络的激励层对所述目标特征图集进行非线性映射；
通过预设的卷积神经网络的池化层对目标特征图集进行数据压缩；
通过预设的卷积神经网络的全连接层对池化层输出的特征图集中的特征映射到样本标记空间，以得到图像分类结果。
可选的，所述待处理的图像包括：
从待处理的视频中提取出的视频帧图像；
或者
包含文字或者字符的图像；
或者
由语音转换成的语音图谱。
本发明实施例还公开了一种图像处理装置，包括：
获取模块，用于获取待处理的图像；
图像预处理模块，用于通过预设的卷积神经网络对所述待处理的图像进行处理，得到待处理的特征图集；
一次型卷积模块，用于通过至少一个一次型卷积对所述待处理的特征图进行卷积操作，得到第一特征图集；所述一次型卷积表示通过预设的第一卷积参数对变量进行卷积操作；
二次型卷积模块，用于通过至少一个预设的卷积组对待处理的数据进行卷积操作，得到第二特征图集；所述预设的卷积组包括：二次型卷积和空洞卷积，所述二次型卷积表示通过预设的第二卷积参数对关联变量进行卷积操作，所述关联变量是通过计算变量中各个变量因子之间的关联关系得到的；
特征融合模块，用于在所述待处理的数据为待处理的特征图集的情况下，将所述第一特征图集和所述第二特征图集进行融合，得到目标特征图集；
分析模块，用于对所述目标特征图集进行分析，输出图像处理结果。
可选的，若所述待处理的数据为第一特征图集，则所述目标特征图集为所述第二特征图集。
本发明实施例还公开了一种图像处理设备，包括：处理器和存储器；
其中，所述处理器用于执行所述存储器中存储的程序；
所述存储器用于存储程序，所述程序至少用于：
获取待处理的图像；
通过预设的卷积神经网络对所述待处理的图像进行处理，得到待处理的特征图集；
通过至少一个一次型卷积对所述待处理的特征图集进行卷积操作，得到第一特征图集；所述一次型卷积表示通过预设的第一卷积参数对变量进行卷积操作；
通过至少一个预设的卷积组对待处理的数据进行卷积操作，得到第二特征图集；所述预设的卷积组包括：二次型卷积和空洞卷积，所述二次型卷积表示通过预设的第二卷积参数对关联变量进行卷积操作，所述关联变量是通过计算变量中各个变量因子之间的关联关系得到的；
在所述待处理的数据为待处理的特征图集的情况下，将所述第一特征图集和所述第二特征图集进行融合，得到目标特征图集；
对所述目标特征图集进行分析，输出图像处理结果。
本发明公开了一种图像处理方法、装置及设备，包括：获取待处理的图像，通过预设的卷积神经网络对待处理的图像进行处理，得到待处理的特征图集，然后，分别通过一次型卷积和二次型卷积对待处理的特征图集进行处理，并将得到的结果进行融合，得到目标特征图集，并将目标特征图集进行分析处理，输出图像处理结果。由此可知，本实施例中通过将一次型卷积和二次型卷积分开处理，并通过空洞卷积提高二次型卷积的感受野，实现了，在保障在数据量较少的情况下，既提取全局特征和局部特征，还能提高提取到的全局特征的准确性和全面性，进而实现了提升图像处理精度的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了本发明实施例提供的一种图像处理方法的流程示意图；
图2示出了本发明实施例提供的一种图像处理方法的又一流程示意图；
图3示出了本发明实施例提供的一次型卷积和二次型卷积-空洞卷积组的一种组合方式的示意图；
图4示出了本发明实施例提供的一次型卷积和二次型卷积-空洞卷积组的另一种组合方式的示意图；
图5示出了本发明实施例提供的一次型卷积和二次型卷积-空洞卷积组的一种组合方式的场景示意图；
图6示出了本发明实施例提供的一次型卷积和二次型卷积-空洞卷积组的一种组合方式的又一场景示意图；
图7示出了本发明实施例公开的一种图像处理装置的结构示意图；
图8示出了本发明实施例提供的一种卷积神经网络的又一结构示意图；
图9示出了本发明实施例提供的一种卷积神经网络的又一结构示意图；
图10示出了本发明实施例提供的一种卷积神经网络的又一结构示意图；
图11示出了本发明实施例提供的一种卷积神经网络的又一结构示意图；
图12示出了本发明实施例提供的一种卷积神经网络的又一结构示意图；
图13示出了本发明实施例提供的一种图像处理的场景示意图；
图14示出了本发明实施例提供的一种图像处理的又一场景示意图；
图15示出了本发明实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
申请人经研究发现，现有技术中卷积神经网络对于特征提取的准确性和全面性仍然有待提高，例如，有一些卷积神经网络(例如全局平均池化思想)虽然操作简单，运行速度快，但是无法获得更多的细节信息；或者有一些卷积神经网络(例如GC-Net几何与结构关系网络)对于全局特征的提取，没有考虑到区域之间的联系，导致提取到的全局特征不够全面也不够准确。
针对上述问题，技术人员发现了一种新型的二维卷积方法，该新型的二维卷积方法表示为如下的公式1)：
其中，(表示新型二维卷积的一次型卷积)，可以理解为单点加权求和的方式进行卷积操作，体现了对局部特征的提取。
其中，y2(x)＝w2xTx(表示新型二维卷积的二次型卷积)，在对变量进行卷积的同时也考虑了变量中各变量因子之间的联系。
为了进一步提高提取到的全局特征的全面性和准确性，可以增大卷积时的感受野，例如，增大卷积核。但是，由于新型二维卷积的参数量较大，为了保障较快的运行速度，采用的卷积核较小，若要增大新型二维卷积的卷积核，新型二维卷积的参数会成指数倍增加。
或者，还有一种提高感受野的方式是采用空洞卷积，但是若采用空洞卷积的方式，y2(x)和y1(x)的感受野都会增大，对于y2(x)来说，增加它的感受野，反而会降低提取到的局部特征的准确性。
因此，在提高感受野的方式上，无论增大卷积核的方式还是采用空洞卷积的方式，虽然能够一定程度上实现增大感受野的目的，但是也需要付出增加运算量或者降低局部特征准确性的代价。因此，在实际的应用过程中，可以根据实际的应用场景，结合硬件条件或者目标需求来决定采用何种方式。
但是，发明人仍然希望能够找到一种不受硬件条件限制，以及不需要损失局部特征准确性的卷积方法，从而更好的实现提高全局特征的全面性和准确性，进而提升卷积神经网络对图像处理的精度，例如提升图像分类的精度。
发明人经研究发现，新型的二维卷积在提高感受野时之所以会出现上述的问题，是因为二维卷积在运算时，一次型卷积和二次型卷积的参数是一致的，变量区域的大小也是一致的，例如，一次型卷积的卷积核和二次型卷积的卷积核是一致的，若增大二次型卷积的卷积核，也会增大一次型卷积的卷积核，也就是说若要增大二次型卷积的感受野，同时也会增大一次型卷积的感受野。但是，对于新型二维卷积，一次型卷积用于提取局部特征，适用于较小的卷积核，二次型卷积用于提取全局特征，若想提取到更加全面的全局特征，需要增加二次型卷积的感受野。基于上述问题，新型二维卷积是无法做到既保证一次型卷积采用较小的卷积核，并提高二次型卷积的感受野。
发明人基于对上述问题的研究，将新型二维卷积的一次型卷积和二次型卷积分别进行计算，并通过空洞卷积提高二次型卷积的感受野，这样在不提高运算量的同时，既可以保障一次型卷积采用较小的卷积核，并提高二次型卷积的感受野，这样，既可以提取到较为准确的局部特征，也可以提高提取到的全局特征的全面性和准确性，进而提高了卷积神经网络对图像处理的精度。
下文对本方案的技术方案进行全面的阐释：
参考图1，示出了本发明实施例提供的一种图像处理方法的流程示意图，在本实施例中，该方法包括：
S101：获取待处理的图像：
本实施例中，待处理的图像的来源有多种，在本实施例中不进行限定，例如可以包括：通过设备拍摄得到的图像、视频中的视频帧图像、包含文字或者字符的图像或者由语音转换成的语音图谱等。
并且，图像在生成的过程中，由于一些原因可能造成图像包含噪声，或者待处理的图像大小不适用于卷积神经网络的处理，因此，可以预先对图像进行处理，例如进行去噪、归一化处理等。
S102：通过预设的卷积神经网络对所述待处理的图像进行处理，得到待处理的特征图；
本实施例中，将待处理的图像输入到卷积神经网络之后，卷积神经网络的输入层先对待处理的图像进行处理，提取出待处理图像的特征，得到待处理图像对应的特征图。
或者再将待处理的图像经过卷积层、激励层或者池化层中的任意一个或者多个，对输入层得到的特征图进行处理，得到待处理的特征图集。
其中，待处理的特征图集可以是单通道的也可以是多通道的。
S103：通过至少一个一次型卷积对所述待处理的特征图集进行卷积操作，得到第一特征图集；所述一次型卷积表示通过预设的第一卷积参数对变量进行卷积操作；
本实施例中，一次型卷积可以表示为如下的公式2)：
其中，W1 T表示卷积参数，即w1为一个列向量，b表示偏差参数，一次型卷积还可以表示为如下的公式3)：
其中，该一次型卷积结合了传统卷积和全局池化思想，用户可以根据不同的目的选择采用传统卷积或者全局池化思想的卷积。
本实施例中，可以通过设置不同的参数，区分传统卷积和全局池化思想的卷积。
其中，当w1为普通参数时，例如w1＝(1,0,1,0,1,0,1,0,0)，一次型卷积为传统卷积，如下公式4)所示：
4)y1(x)＝wx+b；
本实施例中，在对卷积过程没有特殊要求的情况下，可以采用传统卷积。并且，若采用传统卷积，可以通过设置较小的卷积核，获取更多的细节信息。
当b＝0,w1为全1/n向量时，一次型卷积为全局池化思想的卷积，如下公式5)所示：
本实施例中，全局池化的优点在于，卷积结构更加简单，而且参数量少，能够防止过拟合。在对参数的数量有要求的情况下，可以采用全局池化思想的卷积。或者全局池化的一次型卷积更适用于下采样层，对数据进行下采样。
本实施例中，在对待处理的特征图集进行卷积时，对采用的一次型卷积的数量不进行限定，例如，可以采用一个一次型卷积，也可以采用多个一次型卷积。
并且，通过一次型卷积得到的第一特征图集，可以是单通道的也可以是多通道的。其中，在卷积操作时，一个卷积核会相对应的得到一个特征图，若只采用一个卷积核对待处理的特征图集进行卷积，则得到的第一特征图集是单通道的，仅包含一个特征图；若采用多个卷积核对待处理的特征图集进行卷积，则得到的第一特征图集为多通道的，每个卷积核会对应一个特征图。
本实施例中，在通过一次型卷积进行卷积操作时，一次型卷积的卷积步长可以根据用户需求进行设置，例如可以设置为大于等于1。其中，在步长设置为1时，表示会遍历图像中所有的像素点，但是当步长大于1时，不会遍历所有的像素点，会过滤掉一些像素点，相当于包含了下采样操作。
S104：通过至少一个预设的卷积组对待处理的数据进行卷积操作，得到第二特征图集；所述预设的卷积组包括：二次型卷积和空洞卷积，所述二次型卷积表示通过预设的第二卷积参数对关联变量进行卷积操作，所述关联变量是通过计算变量中各个变量因子之间的关联关系得到的；
本实施例中，二次型卷积表示通过预设的第二卷积参数对关联变量进行卷积，其中，关联变量是通过计算变量中各变量因子之间的关联关系得到的。
其中，这里提到的变量表示第二数据中与卷积核大小相对应的区域构成的矩阵，构成该矩阵的因子表示为该变量的变量因子。例如，若卷积核的大小为[3*3]，变量的区域大小也是[3*3]，在该[3*3]的区域内包含9个因子，这9个因子表示该变量的变量因子。
本实施例中，卷积操作考虑了变量中各个变量因子之间的关联关系，即考虑了各像素点之间的联系，这样提高了提取到的全局特征的准确性和全面性。
其中，对于变量之间各个变量因子之间的关联关系，可以通过多种方式进行计算，优选的，可以采用如下的方法：
计算变量中每两个变量因子的乘积；
所述每两个变量因子的乘积构成的矩阵表示为关联变量。
其中，二次型卷积可以表示为如下的公式6)：
6)y2(x′)＝w2x′Tx′；
假设变量x′＝[x′1,x′2,x′3,...,x′n]T，则关联变量表示为如下的公式7)：
其中，根据上述对二次型卷积的描述，二次型卷积还可以表示为如下的公式8)：
其中，W2可以为对角矩阵或者为上三角矩阵，但是，为了获取到更加全面的全局特征，本实施例中，优选上三角矩阵，如下的式9)所示：
其中，二次型卷积的展开形式可以表示为如下的公式10)：
需要说明的是，在采用二次型卷积和一次型卷积进行卷积操作时，可以为二次型卷积和一次型卷积设置不同的参数，相对应的，变量表示的区域也可以不同。例如，二次型卷积的卷积核和一次型卷积的卷积核的大小不同，那么二次型卷积的卷积核对应的变量x′的区域与一次型卷积x的区域不同。
本实施例中，为了增大卷积的感受野，采用二次型卷积和空洞卷积结合的方式对第二数据进行卷积操作。
其中，在卷积神经网络中，感受野表示，卷积神经网络中每一层输出的特征图上的像素点在输入图片上映射的区域大小。
空洞卷积是在卷积时，在卷积核中相邻的点之间加入若干个空洞，相当于扩大了卷积核，然后再将扩大的卷积核和原图作卷积，这样就可以增大感受野。
本实施例中，在对待处理的数据进行卷积时，可以采用一组二次型卷积和空洞卷积，也可以采用多组二次型卷积和空洞卷积，在本实施例中，不进行限定。
为了方便后续对二次型卷积和空洞卷积的组合进行描述，本实施例中，将二次型卷积和空洞卷积的组合表示为：二次型卷积—空洞卷积组，即将预设的卷积组表示为二次型卷积-空洞卷积组。
本实施例中，通过空洞卷积对第二数据进行卷积，实现了在不增加参数量的同时，增大感受野，由此，大大增强了全局特征带来的信息。
并且，通过二次型卷积—空洞卷积组得到的第二特征图集，可以是单通道的也可以是多通道的。若只采用一个卷积核对待处理的数据进行卷积，则得到的第二特征图集是单通道的，若采用多个卷积核对待处理的数据进行卷积，则得到的第二特征图集为多通道的，每个卷积核会对应一个特征图。
本实施例中，在通过二次型卷积-空洞卷积组进行卷积操作时，二次型卷积的卷积步长可以根据用户需求进行设置，例如可以设置卷积步长大于等于1。其中，在步长为1时，表示会遍历图像中所有的像素点，但是当步长大于1时，不会遍历所有的像素点，会过滤掉一些像素点，相当于包含了下采样操作。由于，二次卷积-空洞卷积组在进行卷积时，包含的参数较多，优选的，会采用大于1的卷积步长。
S105：在所述待处理的数据为待处理的特征图集的情况下，将所述第一特征图集和所述第二特征图集进行融合，得到目标特征图集。
本实施例中，一次型卷积和二次型卷积-空洞卷积组分别对S102得到的待处理的特征图集进行卷积操作后，得到第一特征图集和第二特征图集，然后采用融合的方式将第一特征图集和第二特征图集进行融合。
具体的，第一特征图集和第二特征图集的融合方法包括：
确定第一特征图集的通道数和第二特征图集的通道数；
根据第一特征图的通道数和第二特征图的通道数，对所述第一特征图集和第二特征图集进行融合。
其中，上述融合方法包含如下的两种方式：
方式一：将第一特征图集和第二特征图集进行融合时，将第一特征图集和第二特征图集的所有通道相融合，即将第一特征图集和第二特征图集所有的通道合并，得到的目标特征图集的通道数为第一特征图集和第二特征图集通道数的综合，但是每个通道中的特征的特征量不发生变化。
方式二：将第一特征图集和第二特征图集中每个通道上的特征进行相加，但是总的通道数不变。
其中，针对方式一，无论第一特征图集和第二特征图集的通道数是否相同，均可以采用方式一的方式进行融合，但是，对于方式二，只有在第一通道数和第二通道数相同的情况下，才能实现。
由此，无论在得到的第一特征图集和第二特征图集的通道数相同还是不同，均可以采用方式一将特征图进行融合；但是，只有在第一特征图集的通道数和第二特征图集的通道数相同的情况下才可以采用方式二。
S106：对所述目标特征图集进行分析，输出图像处理结果。
本实施例中，对目标特征图的分析，可以包括通过卷积神经网络的卷积层、池化层、激励层、全连接层等对提取到的特征进行后续的处理操作，例如：
通过预设的卷积神经网络的激励层对所述目标特征图集进行非线性映射；
通过预设的卷积神经网络的池化层对目标特征图集进行数据压缩；
通过预设的卷积神经网络的全连接层对池化层输出的特征图集中的特征映射到样本标记空间，以得到图像分类结果。
需要说明的是，本实施例中提到的卷积神经网络可以是任何一种卷积神经网络模型，S102和S105中，可以通过任何一种卷积神经网络模型中的任何一个或者多个模块进行处理，本实施例中不进行限定。
本实施例中，图像处理可以实现多种功能，例如可以包括：图像识别、图像分类、图像质量评价等。引申到对视频的处理方面，可以实现的功能包括：视频分类、对视频中的目标进行识别、视频监测、对视频中的目标进行追寻等。引申到对于文字或符号的处理，可以实现的功能包括：文字或符号分类、文字或符号查找等；引申到对语音的处理方面，可以实现的功能包括：语音识别、语音匹配等。
本实施例中，通过预设的卷积神经网络对待处理的图像进行处理，得到待处理的特征图集，并通过至少一个一次型卷积以及至少一个二次型卷积-空洞卷积组分别对待处理的特征图集进行处理，得到第一特征图集和第二特征图集，并将第一特征图集和第二特征图集进行融合，得到目标特征图集。该种方式，将一次型卷积和二次型卷积分开处理，并通过空洞卷积提高二次型卷积的感受野，这样，保障了在数据量较少的情况下，既提取全局特征和局部特征，还提高了提取到的全局特征的全面性和准确性，进而提升了卷积神经网络对图像处理的精度，例如提高图像中对目标的识别精度，或者提高图像分类的精度。
参考图2，示出了本发明实施例公开的一种图像处理方法的又一流程示意图，该方法包括：
S201：获取待处理的图像；
其中，S201与上述S101一致，本实施例中不再赘述。
S202：通过预设的卷积神经网络对所述待处理的图像进行处理，得到待处理的特征图集；
其中，S202与上述S102一致，本实施例中不再赘述。
S203：通过至少一个一次型卷积对所述待处理的特征图集进行卷积操作，得到第一特征图集；所述一次型卷积表示通过预设的第一卷积参数对变量进行卷积操作；
本实施例中的S203步骤与上述S103一致，在这里就不再赘述。
S204：通过至少一个预设的卷积组对所述待处理的数据进行卷积操作，得到第二特征图集；其中，所述预设的卷积组包括：二次型卷积和空洞卷积，所述二次型卷积表示通过预设的第二卷积参数对关联变量进行卷积操作，所述关联变量是通过计算变量中各个变量因子之间的关联关系得到的；
本实施例中，待处理的数据为S203中得到的第一特征图集。
并且，在待处理的数据为第一特征图集的基础上，S204与S104完全一致，本实施例中不再赘述。
S205：若所述待处理的数据为所述第一特征图集，则所述目标特征图集为所述第二特征图集。
S206：对所述目标特征图集进行分析，输出图像处理结果。
本实施例中，S206与上述S106一致，本实施例中不进行限定。
本实施例中，上述S203-S205描述的过程可以理解为，先对待处理的特征图集通过至少一个一次型卷积进行卷积操作，得到第一特征图集，并对第一特征图集通过至少一个二次型卷积-空洞卷积组进行卷积操作，得到目标特征图集。
由此可知，本实施例中，也是将一次型卷积和二次型卷积分开处理，但是需要先执行一次型卷积，再执行二次型卷积，同样也实现了在保障数据量较少的情况下，提取全局特征和局部特征，并提高提取到的全局特征的全面性，进而实现了提升图像处理精度的目的。
为了更清楚的展示并行方式和串行方式的不同，如图13和图14所示，示出了示出了本发明实施例提供的一种图像处理的场景示意图，其中，图13示出了并行方式的图像处理的场景示意图，图14示出了串行方式的图像处理的场景示意图。
通过图13和图14所示，虽然二者均实现了在保障数据量较少的情况下，提取全局特征和局部特征，并提高提取到的全局特征的全面性，但是相较于图13(并行方式)，图14(串行方式)简化了操作流程，然而由于图14中二次型卷积是对一次型卷积处理后的数据进行卷积操作，而不是对原数据(待处理的特征图)进行操作，会丢失一部分信息。
通过上述实施例一(S101-S106)和实施例二(S201-S206)的描述，在通过一次型卷积和二次型卷积—空洞卷积组对数据进行卷积时，一次型卷积和二次型卷积—空洞卷积组包括如下的两种组合方式：并行式组合方式和串行式组合方式；其中，如图3所示，并行式的组合为将一次型卷积和二次型卷积-空洞卷积组分别对某个数据进行卷积操作，然后再将二者得到处理结果进行融合处理(如实施例一)；如图4所示，串行组合方式表示，一次型卷积和二次型卷积-空洞卷积组分先后顺序进行，例如先执行一次型卷积再执行二次型卷积-空洞卷积组(如实施例二)。
其中，无论是并行式组合方式还是串行式组合方式，均实现了将一次型卷积和二次型卷积分开处理，并且还将空洞卷积与二次型卷积相结合，提高了二次型卷积的感受野。由此，通过上述的方式，在保障数据量较少的情况下，不仅能够提取全局特征和局部特征，并且还提高了提取到的全局特征的全面性和准确性。
基于上述实施例一和实施例二的图像处理方法，进一步的，一次型卷积和二次型卷积-空洞卷积组可以分别与其它的卷积操作相结合，例如可以与BN(英文全称：BatchNormalization，中文全称：批归一化)+ReLU(英文全称：Rectified Linear Unit,中文全称：线性整流函数)相结合，如下图5所示。进一步的，在对数据进行卷积时，可以采用一个或者多个一次型卷积，并且采用一个或者多个二次型卷积-空洞卷积组，由于二次型卷积的参数量较多，为了保证运算的速度，在对数据进行卷积时，如图6所示：例如可以采用多个一次型卷积，采用一个二次型卷积-空洞卷积组合，并且，一次型卷积和二次型卷积-空洞卷积组分别可以与不同的卷积参数相结合。
并且需要知道的是，二次型卷积的卷积核大于或者等于一次型卷积的卷积核。由于二次型卷积结合了空洞卷积，因此即使二次型卷积的卷积核等于一次型卷积的卷积核，二次型卷积的感受野也大于一次型卷积的感受野。但是为了进一步得到更加全面的全局特征和更多的细节信息，二次型卷积-空洞卷积可以设置较大的卷积核，能够进一步增大感受野，一次型卷积可以设置较小的卷积核，可以得到更多的细节信息，也就是说，二次型卷积的卷积核大于一次型卷积的卷积核。
通过上述的介绍可知，在执行卷积操作时，不再仅仅限制于采用一次一次型卷积，就采用一次二次型卷，可以根据需要灵活的选用执行一次型卷积的卷积次数，以及执行二次型卷积的卷积次数。并且，一次型卷积和二次型卷积还可以和其它的卷积操作相结合，相对于新型的二维卷积，优化了卷积的结构，提升了系统性能。
参考图7，示出了本发明实施例公开的一种图像处理装置的结构示意图，该图像处理装置包括：
获取模块701，用于获取待处理的图像；
图像预处理模块702，用于通过预设的卷积神经网络对所述待处理的图像进行处理，得到待处理的特征图集；
一次型卷积模块703，用于通过至少一个一次型卷积对所述待处理的特征图进行卷积操作，得到第一特征图集；所述一次型卷积表示通过预设的第一卷积参数对变量进行卷积操作；
二次型卷积模块704，用于通过至少一个预设的卷积组对待处理的数据进行卷积操作，得到第二特征图集；所述预设的卷积组包括：二次型卷积和空洞卷积，所述二次型卷积表示通过预设的第二卷积参数对关联变量进行卷积操作，所述关联变量是通过计算变量中各个变量因子之间的关联关系得到的；
特征融合模块705用于，在所述待处理的数据为待处理的特征图集的情况下，将所述第一特征图集和所述第二特征图集进行融合，得到目标特征图集。
分析模块706，用于对所述目标特征图集进行分析，输出图像处理结果。
其中，若所述待处理的数据是将第一数据经过一次型卷积进行处理后得到的，即待处理的数据为第一特征图集的情况下，目标特征图集为经过二次卷积和空洞卷积处理后得到的第二特征图集。
由此可知，上述描述了一次型卷积模块和二次型卷积模块的两种不同的组合方式，并行组合方式和串行组合方式。
其中，并行的组合方式为：
一次型卷积模块和二次型卷积模块分别对接收到的输入数据(待处理的特征图集)进行卷积操作，之后特征融合模块将卷积的结果进行融合。
串行的组合方式为：
一次型卷积模块和二次型卷积模块串行连接，待处理的特征图集经过一次型卷积模块进行卷积操作，得到第一特征图集，将第一特征图集经过二次型卷积模块进行卷积操作。
可选的，所述特征融合模块具体用于：
确定第一特征图集的通道数和第二特征图集的通道数；
根据第一特征图集的通道数和第二特征图集的通道数，对所述第一特征图集和所述第二特征图集进行融合。
可选的，所述特征融合模块具体用于：
将所述第一特征图集和第二特征图集的所有通道相融合；
或者所述特征融合模块具体用于：
当所述第一特征图集的通道数和第二特征图集的通道数相同时，将第一特征图集中每个通道对应的特征图与第二特征图集中相应通道上的特征图相加，得到目标特征图集合。
其中，一次型卷积模块和二次型卷积模块中各个参数的设置情况为：
可选的，所述预设的第一卷积参数包括全局池化的卷积参数。
可选的，二次型卷积模块还用于计算关联变量，具体的包括：
计算变量中每两个变量因子的乘积；
所述每两个变量因子的乘积构成的矩阵表示为关联变量。
可选的，所述二次型卷积的第二卷积参数为上三角矩阵。
可选的，所述二次型卷积的卷积核大于一次型卷积的卷积核。
可选的，所述一次型卷积的卷积步长大于或者等于1。
可选的，所述二次型卷积的卷积步长大于1。
本实施例中，分别采用一次型卷积模块和二次型卷积模块对数据进行卷积，即将一次型卷积和二次型卷积分开处理，并通过空洞卷积提高二次型卷积的感受野。这样，既实现了在保障在数据量较少的情况下，提取到全局特征和局部特征，还提高了提取到的全局特征的准确性和全面性，进而提高了图像处理的精度。
本实施例中，上述的图像处理装置，是卷积神经网络与一次型卷积模块、二次型卷积模块和融合模块进行结合的结果，然而，卷积神经网络与一次型卷积模块、二次型卷积模块和融合模块有多种组合方式，本实施例中，不进行限定。
其中，一次型卷积模块、二次型卷积模块和融合模块与卷积神经网络组合的方式可以概括为：将一次型卷积模块、二次型卷积模块和融合模块部署于卷积神经网络中。具体的，可以理解为，将一次型卷积模块、二次型卷积模块和融合模块，添加到卷积神经网络中，或者替换卷积神经网络中的基础模块。
其中，基础模块为卷积神经网络中的卷积模块、激励模块或者下采样模块中的任意一个。
其中，卷积模块为执行卷积层操作的各个模块，激励模块为执行激励层操作的各个模块，下采样模块为执行下采样层操作的各个模块。
本实施例中，针对于一次型卷积模块和二次型卷积模块添加到卷积神经网络的情况：
具体的，也可以理解为，将一次型卷积模块和二次型卷积模块添加到卷积模块和激励模块之间，或者将一次型卷积模块和二次型卷积模块添加到激励模块或者下采样模块之间，或者还可以将一次型卷积模块和二次型卷积模块添加到卷积模块和卷积模块之间，或者将一次型卷积模块和二次型卷积模块添加到下采样模块与下采样模块之间。
针对于，将一次型卷积模块和二次型卷积模块替换卷积神经网络中基础模块的情况，具体的，一次型卷积模块可以替换任何一个卷积模块，也可以替换任何一个下采样模块，二次型卷积模块也可以替换任何一个卷积模块或者替换任何一个下采样模块。
但是，无论是将一次型卷积模块和二次型卷积模块添加到卷积神经网络中，或者替换卷积神经网络中的任何一个模块，一次型卷积模块和二次型卷积模块所构成的结构，可以是串行组合的结构也可以是并行组合的结构。
对于串行组合的方式，可以包括：
方式一、参考图8，一次型卷积模块的一端与卷积神经网络的第一基础模块相连接，一次型卷积模块的另一端与二次型卷积模块的一端相连接，二次型卷积模块的另一端与第二基础模块相连接；
其中，第一基础模块可以为卷积模块、激励模块或者下采样模块中的任意一个，第三基础模块可以为卷积模块、激励模块或者下采样模块中的任意一个。
举例说明：第一基础模块为卷积模块，第二基础模块为激励模块，若是添加的方式，那么可以理解为将一次型卷积模块和二次型卷积模块添加到卷积模块和激励模块之间。
方式二、如图9所示，所述特征提取装置的一次型卷积模块的一端与卷积神经网络的第一基础模块相连接，另一端与一个或者多个预设的第三基础模块相连接，二次型卷积模块的一端和第三基础模块相连接，二次型卷积模块的另一端与第四基础模块相连接。
其中第一基础模块可以为卷积模块、激励模块或者下采样模块，第三基础模块可以为卷积模块、激励模块或者下采样模块，第四基础模块可以为卷积模块、激励模块、下采样模块或者全连接模块中的任意一个。
对于并联组合的方式，可以包括：
方式一、如图10所示，一次型卷积模块和二次型卷积模块的一端分别与卷积神经网络的第一基础模块相连接，一次型卷积模块和二次型卷积模块的另一端分别与特征融合模块相连接，特征融合模块的另一端与第五基础模块相连接；
其中，第一基础模块可以为卷积模块、激励模块或者下采样模块，第五基础模块可以为卷积模块、激励模块、下采样模块或者全连接模块中的任意一个。
举例说明：如图11所示，以Residual网络为例，将Residual网络与特征提取装置相结合，将一次型卷积模块和二次型卷积模块的一端分别与卷积层模块相连接，另一端与特征融合模块相连接，融合模块与激励层模块相连接，即将特征提取装置添加到卷积层模块与激励层模块之间。其中，图12中，特征提取模块之前的为卷积层模块，ReLU为激励层模块。
方式二、如图12所示，一次型卷积模块和二次型卷积模块的一端分别与卷积神经网络的第一基础模块相连接，一次型卷积模块的另一端与一个或者多个第六基础模块相连接，二次型卷积模块的另一端分别与一个或者多个第七基础模块相连接，融合模块的一端分别与第六基础模块和第七基础模块相连接，所述特征融合模块的另一端与第八基础模块相连接。
其中，第一基础模块可以为卷积模块、激励模块或者下采样模块中的一个，第六基础模块可以为卷积模块、激励模块或者下采样模块中的任意一个或者多个，第七基础模块可以为卷积模块、激励模块或者下采样模块中的任意一个或者多个，第八基础模块可以为卷积模块、激励模块、下采样模块或者全连接模块中的任意一个。
其中，上述提到的特征融合模块，具体用于：
确定第一特征图集的通道数和第二特征图集的通道数；
根据第一特征图集的通道数和第二特征图集的通道数，将所述第一特征图集和所述第二特征图集进行融合。
或者融合模块，具体用于：
当所述第一特征图集的通道数和第二特征图集的通道数相同时，将第一特征图集中每个通道对应的特征图与第二特征图集中相应通道上的特征图相加，得到目标特征图集合。
本实施例中，特征提取模块中，一次型卷积模块和二次型卷积模块中，各参数的设置情况包括：
可选的，所述第一卷积参数包括全局池化的卷积参数。
可选的，所述关联变量的计算过程包括：
计算变量中每两个变量因子的乘积；
所述每两个变量因子的乘积构成的矩阵表示为关联变量。
可选的，所述二次型卷积的第二卷积参数为上三角矩阵。
可选的，所述二次型卷积的卷积核大于一次型卷积的卷积核。
可选的，所述一次型卷积的卷积步长大于或者等于1。
可选的，所述二次型卷积的卷积步长大于1。
本实施例中，将一次型卷积模块和二次型卷积模块与卷积神经网络进行组合使用，一次型卷积模块和二次型卷积模块可以添加到卷积神经网络中，也可以替换卷积神经网络中的某个模块，这样，一次型卷积模块和二次型卷积模块具有很强的通用型。并且将一次型卷积和二次型卷积分开处理，并通过空洞卷积提高二次型卷积的感受野，这样实现了，在保障在数据量较少的情况下，既提取全局特征和局部特征，还能提高提取到的全局特征的准确性和全面性，进而实现了提升图像处理精度的目的。
参考图15，示出了本发明实施例提供的一种图像处理设备的结构示意图，在本实施例中，该设备包括：包括：处理器1501和存储器1502；
其中，所述处理器1501用于执行所述存储器1501中存储的程序；
所述存储器1502用于存储程序，所述程序至少用于：
获取待处理的图像；
通过预设的卷积神经网络对所述待处理的图像进行处理，得到待处理的特征图集；
通过至少一个一次型卷积对所述待处理的特征图集进行卷积操作，得到第一特征图集；所述一次型卷积表示通过预设的第一卷积参数对变量进行卷积操作；
通过至少一个预设的卷积组对待处理的数据进行卷积操作，得到第二特征图集；所述预设的卷积组包括：二次型卷积和空洞卷积，所述二次型卷积表示通过预设的第二卷积参数对关联变量进行卷积操作，所述关联变量是通过计算变量中各个变量因子之间的关联关系得到的；
在所述待处理的数据为待处理的特征图集的情况下，将所述第一特征图集和所述第二特征图集进行融合，得到目标特征图集；
对所述目标特征图集进行分析，输出图像处理结果。
可选的，在所述待处理的数据为待处理的特征图集的情况下，将所述第一特征图集和所述第二特征图集进行融合，得到目标特征图集；
可选的，所述预设的第一卷积参数包括：全局池化的卷积参数。
可选的，所述关联变量的计算过程包括：
计算变量中每两个因子的乘积；
将所述每两个因子的乘积构成的矩阵表示为关联变量。
可选的，所述二次型卷积的第二卷积参数为上三角矩阵。
可选的，所述二次型卷积的卷积核大于或者等于一次型卷积的卷积核。
可选的，所述一次型卷积的步长大于或者等于1，所述二次型卷积的步长大于1。
可选的，将所述第一特征图集和所述第二特征图集进行融合，包括：
确定第一特征图集的通道数和第二特征图集的通道数；
根据所述第一特征图集的通道数和第二特征图集的通道数，将所述第一特征图集和所述第二特征图集进行融合。
可选的，所述根据第一特征图集的通道数和第二特征图集的通道数，将所述第一特征图集和所述第二特征图集进行融合，包括：
将所述第一特征图集和第二特征图集的所有通道相融合。
可选的，所述根据第一特征图集的通道数和第二特征图集的通道数，对所述第一特征图集和所述第二特征图集进行融合，包括：
当所述第一特征图集的通道数和第二特征图集的通道数相同时，将第一特征图集中每个通道对应的特征图与第二特征图集中相应通道上的特征图相加，得到目标特征图集合。
可选的，所述对所述目标特征图集进行分析，输出图像处理结果，包括：
通过预设的卷积神经网络的激励层对所述目标特征图集进行非线性映射；
通过预设的卷积神经网络的池化层对目标特征图集进行数据压缩；
通过预设的卷积神经网络的全连接层对池化层输出的特征图集中的特征映射到样本标记空间，以得到图像分类结果。
可选的，所述待处理的图像包括：
从待处理的视频中提取出的视频帧图像；
或者
包含文字或者字符的图像；
或者
由语音转换成的语音图谱。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (19)

1.一种图像处理方法，其特征在于，包括：
获取待处理的图像；
通过预设的卷积神经网络对所述待处理的图像进行处理，得到待处理的特征图集；
通过至少一个一次型卷积对所述待处理的特征图集进行卷积操作，得到第一特征图集；所述一次型卷积表示通过预设的第一卷积参数对变量进行卷积操作；
通过至少一个预设的卷积组对待处理的数据进行卷积操作，得到第二特征图集；所述预设的卷积组包括：二次型卷积和空洞卷积，所述二次型卷积表示通过预设的第二卷积参数对关联变量进行卷积操作，所述关联变量是通过计算变量中各个变量因子之间的关联关系得到的；所述关联变量的计算过程包括：计算变量中每两个因子的乘积，将所述每两个因子的乘积构成的矩阵表示为关联变量；
在所述待处理的数据为待处理的特征图集的情况下，确定第一特征图集的通道数和第二特征图集的通道数，并根据所述第一特征图集的通道数和第二特征图集的通道数，将所述第一特征图集和所述第二特征图集进行融合，得到目标特征图集；
通过预设的卷积神经网络的激励层对所述目标特征图集进行非线性映射；
通过预设的卷积神经网络的池化层对目标特征图集进行数据压缩；
通过预设的卷积神经网络的全连接层对池化层输出的特征图集中的特征映射到样本标记空间，以得到图像分类结果。
2.根据权利要求1所述的方法，其特征在于，若所述待处理的数据为第一特征图集，则所述目标特征图集为所述第二特征图集。
3.根据权利要求1或2所述的方法，其特征在于，
所述预设的第一卷积参数包括：全局池化的卷积参数。
4.根据权利要求1或2所述的方法，其特征在于，所述二次型卷积的第二卷积参数为上三角矩阵。
5.根据权利要求1或2所述的方法，其特征在于，所述二次型卷积的卷积核大于或者等于一次型卷积的卷积核。
6.根据权利要求1所述的方法，其特征在于，所述一次型卷积的步长大于或者等于1，所述二次型卷积的步长大于1。
7.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图集的通道数和第二特征图集的通道数，将所述第一特征图集和所述第二特征图集进行融合，包括：
将所述第一特征图集和第二特征图集的所有通道相融合。
8.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图集的通道数和第二特征图集的通道数，将所述第一特征图集和所述第二特征图集进行融合，包括：
当所述第一特征图集的通道数和第二特征图集的通道数相同时，将第一特征图集中每个通道对应的特征图与第二特征图集中相应通道上的特征图相加，得到目标特征图集合。
9.根据权利要求1或2所述的方法，其特征在于，所述待处理的图像包括：
从待处理的视频中提取出的视频帧图像；
或者
包含文字或者字符的图像；
或者
由语音转换成的语音图谱。
10.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待处理的图像；
图像预处理模块，用于通过预设的卷积神经网络对所述待处理的图像进行处理，得到待处理的特征图集；
一次型卷积模块，用于通过至少一个一次型卷积对所述待处理的特征图进行卷积操作，得到第一特征图集；所述一次型卷积表示通过预设的第一卷积参数对变量进行卷积操作；
二次型卷积模块，用于通过至少一个预设的卷积组对待处理的数据进行卷积操作，得到第二特征图集；所述预设的卷积组包括：二次型卷积和空洞卷积，所述二次型卷积表示通过预设的第二卷积参数对关联变量进行卷积操作，所述关联变量是通过计算变量中各个变量因子之间的关联关系得到的；所述关联变量的计算过程包括：计算变量中每两个因子的乘积，将所述每两个因子的乘积构成的矩阵表示为关联变量；
特征融合模块，用于在所述待处理的数据为待处理的特征图集的情况下，确定第一特征图集的通道数和第二特征图集的通道数，并根据所述第一特征图集的通道数和第二特征图集的通道数，将所述第一特征图集和所述第二特征图集进行融合，得到目标特征图集；
分析模块，用于通过预设的卷积神经网络的激励层对所述目标特征图集进行非线性映射；通过预设的卷积神经网络的池化层对目标特征图集进行数据压缩；通过预设的卷积神经网络的全连接层对池化层输出的特征图集中的特征映射到样本标记空间，以得到图像分类结果。
11.根据权利要求10所述的装置，其特征在于，若所述待处理的数据为第一特征图集，则所述目标特征图集为所述第二特征图集。
12.根据权利要求10或11所述的装置，其特征在于，
所述预设的第一卷积参数包括：全局池化的卷积参数。
13.根据权利要求10或11所述的装置，其特征在于，所述二次型卷积的第二卷积参数为上三角矩阵。
14.根据权利要求10或11所述的装置，其特征在于，所述二次型卷积的卷积核大于或者等于一次型卷积的卷积核。
15.根据权利要求10所述的装置，其特征在于，所述一次型卷积的步长大于或者等于1，所述二次型卷积的步长大于1。
16.根据权利要求10所述的装置，其特征在于，所述特征融合模块，具体用于：
将所述第一特征图集和第二特征图集的所有通道相融合。
17.根据权利要求10所述的装置，其特征在于，所述特征融合模块，具体用于：
当所述第一特征图集的通道数和第二特征图集的通道数相同时，将第一特征图集中每个通道对应的特征图与第二特征图集中相应通道上的特征图相加，得到目标特征图集合。
18.根据权利要求10或11所述的装置，其特征在于，所述待处理的图像包括：
从待处理的视频中提取出的视频帧图像；
或者
包含文字或者字符的图像；
或者
由语音转换成的语音图谱。
19.一种图像处理设备，其特征在于，包括：处理器和存储器；
其中，所述处理器用于执行所述存储器中存储的程序；
所述存储器用于存储程序，所述程序至少用于：
获取待处理的图像；
通过预设的卷积神经网络对所述待处理的图像进行处理，得到待处理的特征图集；
通过至少一个一次型卷积对所述待处理的特征图集进行卷积操作，得到第一特征图集；所述一次型卷积表示通过预设的第一卷积参数对变量进行卷积操作；
通过至少一个预设的卷积组对待处理的数据进行卷积操作，得到第二特征图集；所述预设的卷积组包括：二次型卷积和空洞卷积，所述二次型卷积表示通过预设的第二卷积参数对关联变量进行卷积操作，所述关联变量是通过计算变量中各个变量因子之间的关联关系得到的；所述关联变量的计算过程包括：计算变量中每两个因子的乘积，将所述每两个因子的乘积构成的矩阵表示为关联变量；
在所述待处理的数据为待处理的特征图集的情况下，确定第一特征图集的通道数和第二特征图集的通道数，并根据所述第一特征图集的通道数和第二特征图集的通道数，将所述第一特征图集和所述第二特征图集进行融合，得到目标特征图集；
通过预设的卷积神经网络的激励层对所述目标特征图集进行非线性映射；
通过预设的卷积神经网络的池化层对目标特征图集进行数据压缩；
通过预设的卷积神经网络的全连接层对池化层输出的特征图集中的特征映射到样本标记空间，以得到图像分类结果。
CN201910642257.XA 2019-07-16 2019-07-16 一种图像处理方法、装置和设备 Active CN110348411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910642257.XA CN110348411B (zh) 2019-07-16 2019-07-16 一种图像处理方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910642257.XA CN110348411B (zh) 2019-07-16 2019-07-16 一种图像处理方法、装置和设备

Publications (2)

Publication Number Publication Date
CN110348411A CN110348411A (zh) 2019-10-18
CN110348411B true CN110348411B (zh) 2024-05-03

Family

ID=68174811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910642257.XA Active CN110348411B (zh) 2019-07-16 2019-07-16 一种图像处理方法、装置和设备

Country Status (1)

Country Link
CN (1) CN110348411B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991303A (zh) * 2019-11-27 2020-04-10 上海智臻智能网络科技股份有限公司 一种图像中文本定位方法、装置及电子设备
CN111079767B (zh) * 2019-12-22 2022-03-22 浪潮电子信息产业股份有限公司 一种用于分割图像的神经网络模型及其图像分割方法
CN111144313A (zh) * 2019-12-27 2020-05-12 创新奇智(青岛)科技有限公司 一种基于多感受野动态结合的人脸检测方法及系统
CN111325724B (zh) * 2020-02-19 2023-06-09 石家庄铁道大学 隧道裂纹区域检测方法和装置
CN111583655B (zh) * 2020-05-29 2021-12-24 苏州大学 一种车流量检测方法、装置、设备及介质
CN112101318A (zh) * 2020-11-17 2020-12-18 深圳市优必选科技股份有限公司 基于神经网络模型的图像处理方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106981080A (zh) * 2017-02-24 2017-07-25 东华大学 基于红外图像和雷达数据的夜间无人车场景深度估计方法
CN107578054A (zh) * 2017-09-27 2018-01-12 北京小米移动软件有限公司 图像处理方法及装置
WO2018036146A1 (zh) * 2016-08-26 2018-03-01 东方网力科技股份有限公司 基于卷积神经网络的目标匹配方法、装置及存储介质
CN108734211A (zh) * 2018-05-17 2018-11-02 腾讯科技（深圳）有限公司 图像处理的方法和装置
CN109800793A (zh) * 2018-12-28 2019-05-24 广州海昇教育科技有限责任公司 一种基于深度学习的目标检测方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018036146A1 (zh) * 2016-08-26 2018-03-01 东方网力科技股份有限公司 基于卷积神经网络的目标匹配方法、装置及存储介质
CN106981080A (zh) * 2017-02-24 2017-07-25 东华大学 基于红外图像和雷达数据的夜间无人车场景深度估计方法
CN107578054A (zh) * 2017-09-27 2018-01-12 北京小米移动软件有限公司 图像处理方法及装置
CN108734211A (zh) * 2018-05-17 2018-11-02 腾讯科技（深圳）有限公司 图像处理的方法和装置
CN109800793A (zh) * 2018-12-28 2019-05-24 广州海昇教育科技有限责任公司 一种基于深度学习的目标检测方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王威 ; 邹婷 ; 王新 ; .基于局部感受野扩张D-MobileNet模型的图像分类方法.计算机应用研究.(04),全文. *

Also Published As

Publication number Publication date
CN110348411A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN110348411B (zh) 一种图像处理方法、装置和设备
CN107767328B (zh) 基于少量样本生成的任意风格和内容的迁移方法和系统
CN110751134B (zh) 目标检测方法、装置、存储介质及计算机设备
US11315253B2 (en) Computer vision system and method
CN112446383B (zh) 车牌识别方法及装置、存储介质、终端
CN111428781A (zh) 遥感影像地物分类方法及系统
WO2020034663A1 (en) Grid-based image cropping
US11107194B2 (en) Neural network for enhancing original image, and computer-implemented method for enhancing original image using neural network
CN108805874B (zh) 一种基于卷积神经网络的多光谱图像语义切割方法
CN112070670B (zh) 全局-局部分离注意力机制的人脸超分辨率方法及系统
CN109886330B (zh) 文本检测方法、装置、计算机可读存储介质和计算机设备
US20160364877A1 (en) Apparatus and method for extracting object of interest from image using image matting based on global contrast
CN108961180B (zh) 红外图像增强方法及系统
CN111310598B (zh) 一种基于3维和2维混合卷积的高光谱遥感图像分类方法
CN112465801B (zh) 一种分尺度提取掩码特征的实例分割方法
CN114187311A (zh) 一种图像语义分割方法、装置、设备及存储介质
US10769784B2 (en) Image analyzing method and electrical device
CN111160273A (zh) 一种高光谱图像空谱联合分类方法及装置
CN113066065B (zh) 无参考图像质量检测方法、系统、终端及介质
CN110866938B (zh) 一种全自动视频运动目标分割方法
CN111914654A (zh) 一种文本版面分析方法、装置、设备和介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
WO2020043296A1 (en) Device and method for separating a picture into foreground and background using deep learning
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant