CN112927174B - 一种图像处理，图像训练以通道混洗方法和装置 - Google Patents

一种图像处理，图像训练以通道混洗方法和装置 Download PDF

Info

Publication number
CN112927174B
CN112927174B CN201911242229.5A CN201911242229A CN112927174B CN 112927174 B CN112927174 B CN 112927174B CN 201911242229 A CN201911242229 A CN 201911242229A CN 112927174 B CN112927174 B CN 112927174B
Authority
CN
China
Prior art keywords
convolution
image
sub
image group
convolution image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911242229.5A
Other languages
English (en)
Other versions
CN112927174A (zh
Inventor
张昱航
陈长国
杨凤海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201911242229.5A priority Critical patent/CN112927174B/zh
Priority to PCT/CN2020/133972 priority patent/WO2021110147A1/zh
Publication of CN112927174A publication Critical patent/CN112927174A/zh
Application granted granted Critical
Publication of CN112927174B publication Critical patent/CN112927174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种图像处理方法和装置，一种基于残差网络的图像训练方法和装置，一种神经网络的通道混洗方法和装置，一种神经网络架构以及计算机存储介质和电子设备，所述图像处理方法包括：对获取的特征图像进行卷积操作，获得卷积图像集合；对所述卷积图像集合进行拆分，获得第一卷积图像组和第二卷积图像组；分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；对所述第一子卷积图像组和第二子卷积图像组进行通道混洗，获得混洗后的特征图像。从而降低图像处理过程中的计算量，减少图像特征数据的丢失，提高最终输出特征图像的精度。

Description

一种图像处理，图像训练以通道混洗方法和装置
技术领域
本申请涉及计算机应用技术领域，具体涉及一种图像处理方法和装置，基于残差网络的图像训练方法和装置，神经网络的通道混洗方法和装置，神经网络架构，以及计算机存储介质和电子设备。
背景技术
随着人工智能的发展，神经网络被广泛的应用在交通、医学等领域。例如：图像识别，音频识别，人体姿态识别等。
目前已有的神经网络，在对图像人体姿态检测的优化中，常见的就是通过加深网络方式或者利用迁移学习的方式完成网络精度的提升，从而提高识别的准确度。其中，对于加深网络是指增加网络的层数，网络的层数越多，意味着能够提取的特征层次就越丰富，并且，越深的网络提取的特征越抽象，越具有语义信息。所以，通常在选用神经网络时更倾向于使用更深层次的网络结构，以便取得更高层次的特征。但是在使用深层次的网络结构时存在梯度消失，梯度爆炸和网络退化等问题。
基于现有深层网络存在的问题，可以采用残差网络结构解决了上述梯度消失，梯度爆炸和网络退化的问题。例如：现有技术中的轻量化网络(ShuffleNet)就是一种采用残差网络结构的轻量化神经网络，但是所述轻量化神经网络由于是在网络末端输出后进行通道混洗工作，从而导致计算量较大，另外由于该轻量化神经网络对中间通道涉及较多操作，输出数据的精度并不好。
发明内容
本申请提供一种图像处理方法，以解决现有技术中处理图像过程中计算量大且精度差的问题。
本申请提供一种图像处理方法，包括：
对获取的特征图像进行卷积操作，获得卷积图像集合；
拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；
分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；
将所述第一子卷积图像组和第二子卷积图像组的通道顺序进行混洗，获得混洗后的特征图像。
在一些实施例中，所述拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组，包括：
按照设定的拆分要求，基于所述卷积图像集合中的通道数量，对所述卷积图像集合进行拆分，获得所述第一卷积图像组和第二卷积图像组。
在一些实施例中，所述按照设定的拆分要求，基于所述卷积图像集合中的通道数量，对所述卷积图像集合进行拆分，获得所述第一卷积图像组和第二卷积图像组，包括：
若所述通道数量为偶数，则按照通道排列顺序，将所述卷积图像集合拆分成通道数量相同的第一卷积图像组合和第二卷积图像组；
若所述通道数量为奇数，则选取所述通道数量的一半并取整数；
按照通道排列顺序，将相邻且大于所述整数的通道对应的卷积图像作为第一卷积图像组的末尾卷积图像，将相邻且大于所述末尾卷积图像通道的卷积图像作为第二卷积图像组的首位卷积图像。
在一些实施例中，所述分别对所述第一卷积图像组和第二卷积图像组卷积操作，获得所述第一子卷积图像组和第二子卷积图像组，包括：
对所述第一卷积图像组和所述第二卷积图像组分别采用预设的卷积核进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组。
在一些实施例中，所述对所述第一卷积图像组和所述第二卷积图像组分别采用预设的卷积核进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组，包括：
对所述第一卷积图像组采用预设的第一卷积核进行卷积操作，获得所述第一子卷积图像组；
对所述第二卷积图像组采用预设的第二卷积核进行卷积操作，获得所述第二子卷积图像组。
在一些实施例中，所述对所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗，获得混洗后的特征图像，包括：
对所述第一子卷积图像组和第二子卷积图像组进行拼接，获得拼接后的拼接特征图像集合；
对所述拼接特征图像集合进行通道混洗，获得所述混洗后的特征图像。
在一些实施例中，所述对所述第一子卷积图像组和第二子卷积图像组进行拼接，获得拼接后的拼接特征图像集合，包括：
按照通道排列顺序，将所述第二子卷积图像组中首位卷积图放到所述第一子卷积图像组中末尾卷积图之后，获得所述拼接特征图像集合。
在一些实施例中，所述对所述拼接特征图像集合进行通道混洗，获得混洗后的特征图像，包括：
按照设定的通道排列要求，对所述拼接特征图像集合重新排列，获得混洗后的特征图像。
在一些实施例中，还包括：
根据获取的特征图像的图像特征数据和混洗后的特征图像的图像特征数据，确定输出的特征图像。
在一些实施例中，所述根据获取的特征图像的图像特征数据和混洗后的特征图像的图像特征数据，确定输出的特征图像，包括：
将所述特征图像的图像特征数据和混洗后的特征图像的图像特征数据进行逐图像特征数据相加，确定输出的特征图像。
本申请还提供一种图像处理装置，包括：
第一卷积单元，用于对获取的特征图像进行卷积操作，获得卷积图像集合；
拆分单元，用于拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；
第二卷积单元，用于分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；
通道混洗单元，用于对所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗，获得混洗后的特征图像。
本申请还提供一种基于残差网络的图像训练方法，包括：
基于残差网络模型架构，对输入的特征图像进行卷积操作，获得卷积图像集合；
拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；
分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；
对所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗，获得混洗后的特征图像；
根据获取的特征图像的图像特征数据和混洗后的特征图像的图像特征数据，确定所述特征图像训练后的特征图像。
本申请还提供一种基于残差网络的图像训练装置，包括：
第一卷积单元，用于基于残差网络模型架构，对输入的特征图像进行卷积操作，获得卷积图像集合；
拆分单元，用于拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；
第二卷积单元，用于分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；
通道混洗单元，用于对所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗，获得混洗后的特征图像；
确定单元，用于根据获取的特征图像的图像特征数据和混洗后的特征图像的图像特征数据，确定所述特征图像训练后的特征图像。
本申请还提供一种神经网络的通道混洗方法，包括：
根据对输入到神经网络中的特征图像进行卷积操作，获得卷积图像集合；
拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；
分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；
对所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗。
在一些实施例中，所述对所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗，包括：
对所述第一子卷积图像组和第二子卷积图像组进行拼接，获得拼接后的拼接特征图像集合；
对所述拼接特征图像集合进行通道混洗。
在一些实施例中，所述对对所述第一子卷积图像组和第二子卷积图像组进行拼接，获得拼接后的拼接特征图像集合，包括：
按照通道排列顺序，将所述第二子卷积图像组中首位卷积图放到所述第一子卷积图像组中末尾卷积图之后，获得所述拼接特征图集合。
在一些实施例中，所述对所述拼接特征图像集合进行通道混洗，包括：
按照设定的通道排列要求，对所述拼接特征图像集合重新排列。
本申请还提供一种神经网络的通道混洗装置，包括：
第一卷积单元，用于根据对输入到神经网络中的特征图像进行卷积操作，获得卷积图像集合；
拆分单元，用于拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；
第二卷积单元，用于分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；
混洗单元，用于对所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗。
本申请还提供一种神经网络架构，包括：
第一卷积层，用于针对输入的特征图像进行卷积操作，获得卷积图像集合；
拆分层，用于拆分所述第一卷积层卷积后的所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；
第二卷积层，用于对所述拆分层拆分后的所述第一卷积图像组和第二卷积图像组分别进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；
混洗层，用于对所述第二卷积层卷积后的所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗，获得混洗后的特征图像；
计算层，用于根据输入到所述第一卷积层的特征图像的图像特征数据和混洗层混洗后的特征图像的图像特征数据，计算待输出的特征图像。
本申请还提供一种计算机存储介质，用于存储网络平台产生数据，以及对应所述网络平台产生数据进行处理的程序；
所述程序在被读取执行时，执行如上所述的图像处理方法的步骤；或者执行如上所述的基于残差网络的图像训练方法的步骤；或者执行如上所述的神经网络的通道混洗方法。
本申请还一种电子设备，包括：
处理器；
存储器，用于存储对网络平台产生数据进行处理的程序，所述程序在被所述处理器读取执行时，执行如上所述的图像处理方法的步骤；或者执行如上所述的基于残差网络的图像训练方法的步骤；或者执行如上所述的神经网络的通道混洗方法。
与现有技术相比，本申请具有以下优点:
本申请提供的一种图像处理方法，通过对获取的特征图像进行卷积操作，获得卷积图像集合；接着对所述卷积图像集合进行拆分，获得第一卷积图像组和第二卷积图像组；之后，分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；最后，对所述第一子卷积图像组和第二子卷积图像组进行通道混洗，获得混洗后的特征图像。由于对卷积图像集合进行拆分处理，形成至少两个分支，即第一卷积图像组和第二卷积图像组，从而分散对特征图像处理的计算量，并且在最终输出特征图像前对第一子卷积图像组和第二子卷积图像组进行通道混洗，缩短处理过程从而减少图像特征数据的丢失，故能够提高最终输出特征图像的精度。
附图说明
图1是现有技术中轻量化网络的结构示意图；
图2是本申请提供的一种图像处理方法实施例的流程图；
图3是本申请提供的一种图像处理装置实施例的结构示意图；
图4是本申请提供的一种基于残差网络的图像训练方法实施例的流程图；
图5是本申请提供的一种基于残差网络的图像训练方法实施例中残差网络的结构示意图；
图6是本申请提供的一种基于残差网络的图像训练方法实施例中训练过程的示意图；
图7是本申请提供的一种基于残差网络的图像训练装置实施例的结构示意图；
图8是本申请提供的一种神经网络的通道混洗方法实施例的流程图；
图9是本申请提供的一种神经网络的通道混洗装置实施例的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
本申请中使用的术语是仅仅出于对特定实施例描述的目的，而非旨在限制本申请。在本申请中和所附权利要求书中所使用的描述方式例如：“一种”、“第一”、和“第二”等，并非对数量上的限定或先后顺序上的限定，而是用来将同一类型的信息彼此区分。
为了能够更好的了解本申请提供的图像处理方法，先根据背景技术部分以及应用场景对本申请技术方案的产生背景进行说明。
根据上述背景技术中的描述可知，现有深层次的神经网络结构存在梯度消失，梯度爆炸和网络退化的问题，请结合图1理解梯度消失和梯度爆炸的问题。图1是现有技术中一种比较简单的深层网络示意图，该网络是一个四层的全连接网络，假设每一层网络激活后的输出为fi(x)，其中i为第i层，x代表第i层的输入，也就是第i-1层的输出，f是激活函数，那么，得出fi+1＝f(fi*wi+1+bi+1)，记为：fi+1＝f(fi*wi+1)。BP算法(BP算法是神经网络中基于梯度下降法的优化算法)基于梯度下降策略，以目标的负梯度方向对参数进行调整，参数更新为w＝w+Δw，给定学习率α，得出如果要更新第二隐藏层的权值信息，根据链式求导法则，更新梯度信息为：
根据上述公式可以看出，即第二隐藏层的输入。因此，/>是对激活函数的求导，如果求导结果大于1，那么在网络层数增多的情况下，最终求出的梯度更新将以指数形式增加，即发生梯度爆炸，如果求导结果小于1，那么在网络层数增多的情况下，求出的梯度更新信息将会以指数形式衰减，即发生梯度消失。概括来说，所谓梯度消失指的是随着网络深度增加，参数的梯度范数指数式减小的现象。梯度很小，意味着参数的变化很缓慢，从而使得学习过程停滞，直到梯度变得足够大，而这通常需要指数量级的时间，从而导致在进行图像识别过程中耗时。
对于网络退化的问题主要是指，随着网络深度的增加会出现大量冗余的层次，该些冗余的层次会造成输入与输出之间的差异，进而导致网络退化，从而导致对图像的识别处理精度或准确度降低。
基于上述由于网络深度的增加而带来的弊端，现有技术提供一种轻量级的网络，该网络采用残差网络结构，从而避免梯度消失(爆炸)问题和网络退化问题。但是，该轻量级网络由于在网络末端输出后对数据进行通道混洗工作，从而导致计算量较大，并且该轻量级网络也仍然存在图像处理的精度差的问题。
基于上述内容，本申请提供的一种图像处理方法，该方法能够降低计算量的同时提高图像处理的精度。
请参考图2所示，图2是本申请提供的一种图像处理方法实施例的流程图，该方法包括：
步骤S201：对获取的特征图像进行卷积操作，获得卷积图像集合；
所述步骤S201的目的在于对特征图像进行升维操作。具体实现过程可以是获取的特征图像可以是将通过神经网络的输入端输入的特征图像作为获取的特征图像。对所述特征图像进行卷积操作获得多个卷积后的卷积图像，该些卷积图像构成卷积图像集合。在本实施例中，该步骤S201中的卷积操作可以采用1×1的卷积核对特征图像进行卷积操作，从而获得多个卷积图。
其中，获取的特征图像也可以是多个，对多个特征图像卷积操作后获得多个卷积图，该些卷积图中可以包括新的图像特征数据。需要说明的是，新的图像特征数据来源于所述获取的特征图像。此处主要是针对卷积操作后的图像特征数据与卷积操作前的图像特征数据的区别而言。
步骤S202：拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；
所述步骤S202的目的在于，将卷积图像集合分成至少两个支路，以便后续处理过程中能够降低计算量。
在本实施例中，所述步骤S202的拆分过程可以采用一分为二的拆分方式，将卷积图像集合拆分成至少两部分，进而可以获得第一卷积图像组合第二卷积图像组。在本实施例中，拆分要求可以设定为一分为二，具体可以是针对卷积图像集合通道总数的一半进行拆分，即从卷积图像集合的中间分成两部分。当然，拆分数量还可以是三部分等。换言之，拆分后的卷积图像集合包括：n组卷积图像组。
由于通道数量存在多种情况，例如：偶数和奇数，因此，在本实施例中对卷积图像集合的拆分可以分为两种情况进行，具体如下：
若所述通道数量为偶数，则按照通道排列顺序，将所述卷积图像集合拆分成通道数量相同的第一卷积图像组合和第二卷积图像组；即：第一卷积图像组为1，2，3，...，(1/2)k；第二卷积图像组为其中，k为卷积图像集合中卷积图的总数。
若所述通道数量为奇数，则选取所述通道数量的一半并取整数；
按照通道排列顺序，将相邻且大于所述整数的通道对应的卷积图像作为第一卷积图像组的末尾特征图像，第二卷积图像组的首位卷积图像为与所述第一卷积图像组的末尾卷积图像相邻的卷积图像，将相邻且大于所述末尾卷积图像通道的卷积图像作为第二卷积图像组的首位卷积图像。即：第一卷积图像组的末尾卷积图像为第二卷积图像组的首位卷积图像为/>
在本实施例中，主要采用一分为二的拆分方式对所述卷积图像结合进行拆分，即平均分为两部分。当然也可以按照通道数的奇偶分，即根据对通道数量的顺序排列，将通道数为奇数的分为一组，通道数量为偶数的分为一组。当然也可以分为多组，拆分方式不限上述。
基于上述对卷积图像集合拆分后，还需要对拆分后的第一卷积图像组合第二卷积图像组再次进行卷积操作，进而进入步骤S203。
步骤S203：分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；
所述步骤S203的目的在于，通过分别对第一卷积图像组和第二卷积图像组进行卷积操作，从而降低计算量。
在本实施例中，对第一卷积图像组和第二卷积图像组可以采用相同的卷积核进行卷积操作，例如：均采用5×5的卷积核进行卷积操作，进而得到对应于第一卷积图像组的第一子卷积图像组，以及对应所述第二卷积图像组的第二子卷积图像组。
可以理解的是，对第一卷积图像组和第二卷积图像组可以采用不同的卷积核进行卷积操作，例如：对第一卷积图像组采用3×3的卷积核进行卷积操作，对第二卷积图像组采用5×5的卷积核进行卷积操作。
上述对第一卷积图像组和第二卷积图像组所采用的卷积核的大小并不限于上述3×3和5×5，还可以采用其他大小的卷积核，例如：7×7，在本实施例中，采用5×5的卷积核。
所述卷积核的大小可以预先设定，也可以根据第一卷积图像组和第二卷积图像组的图像特征数据量进行调整，例如：如果预先设定的卷积核大小为5×5，那么可以根据第一卷积图像组的图像特征数据的情况，将卷积核大小调整为3×3或者7×7，同样地，对所述第二卷积图像组进行卷积时，卷积核的大小也可以进行调整。就是说，在对第一卷积图像组和第二卷积图像组中的任意一个卷积图像组进行卷积操作时，可以随时调整卷积核的大小，已达到更有的卷积操作。
基于上述内容，在对第一卷积图像组和第二卷积图像组进行卷积操作后，会对应所述第一卷积图像组和第二卷积图像组分别生成多个卷积后的子卷积图像。具体卷积过程属于现有技术，大概为将5×5的卷积核作为滤波器在每个卷积图像上滑动，将对应位置进行相乘求和的计算，进而得到针对卷积图像组中每个卷积图像的子卷积图像。由于本实施例中，将获取的特征图像拆分成至少两条支路，并分别对两条支路进行卷积操作，进而能够将对特征图像的计算分散为两个，即对两个50％的特征图像进行卷积操作，从而使得计算量相比拆分前的计算量降低了50％。
在针对第一卷积图像组和第二卷积图像组进行卷积操作后，需要获得的第一子卷积图像组和第二子卷积图像组还原成拆分前的结构，因此，进入步骤S204。
步骤S204：对所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗，获得混洗后的特征图像。
所述步骤S204的目的在于，将针对拆分支路上的卷积图像进行卷积后获得的子卷积图像组还原成拆分前的结构。其中，所述通道混洗可以理解为：在神经网络生成的特征图中打乱原有的通道叠放顺序的过程。所述混洗后的特征图像即为通道顺序重新排列过的特征图像。所述步骤S204的具体实现过程可以包括：
步骤S204-1：对所述第一子卷积图像组和第二子卷积图像组进行拼接，获得拼接后的拼接特征图像集合；
步骤S204-2：对所述拼接特征图像集合进行通道混洗，获得所述混洗后的特征图像。
其中，步骤S204-1中的拼接可以理解为合并，即将第一子卷积图像组和第二子卷积图像组进行合并，使二者形成子卷积图像集合。具体拼接可以包括：
按照通道排列顺序，将所述第二子卷积图像组中首位卷积图放到所述第一子卷积图像组中末尾卷积图之后，获得所述拼接特征图像集合。换言之，第一子卷积图像组和第二子卷积图像组的拼接可以参考上述拆分过程，即在一分为二的拆分方式下，拼接可以将第一子卷积图像组的末位和第二子卷积图像组的首位拼接，形成子卷积图像组集合。例如：第一子卷积图像组为K1，K2，K3，K4；第二子卷积图像组为P1，P2，P3，P4；那么，拼接之后为K1，K2，K3，K4，P1，P2，P3，P4。
为保证通道组之间的图像特征信息流通，提高图像特征信息表示能力，需要对所述步骤S204-1拼接后的拼接特征图像集合进行通道混洗，因此，所述步骤S204-2的具体实现过程可以包括：
按照设定的通道排列要求，对所述拼接特征图像集合重新排列，获得混洗后的特征图像。沿用上述在步骤S204-1中的举例，拼接之后为K1，K2，K3，K4，P1，P2，P3，P4的拼接特征图像集合进行混洗，如果通道排列要求为则重新排列后为K1，P1，K2，P2，K3，P3，K4，P4。
基于上述内容可以获得针对获取的特征图像的处理结果，即：混洗后的特征图像，在获得混洗后的特征图像后，还可以包括：
根据获取的特征图像的图像特征数据和混洗后的特征图像的图像特征数据，确定输出的特征图像。具体地，可以将所述特征图像的图像特征数据和混洗后的特征图像的图像特征数据进行逐图像特征数据相加，确定输出的特征图像。
由于本实施例中对图像的处理进行拆分处理，形成至少两个分支，从而分散对特征图像处理的计算量，并且在最终输出特征图像前对第一子卷积图像组和第二子卷积图像组进行通道混洗，缩短处理过程从而减少图像特征数据的丢失，故能够提高最终输出特征图像的精度。
本申请实施例提供的图像处理方法，可以应用于行人检测，行人姿态估计，车辆检测、飞机检测、船只检测、物流车检测、无人机检测，安全行驶估计、飞行姿态估计，工厂、机坪、工程场地、大型活动、演唱会等的安全工作监控等应用场景，使得在该些应用场景下，输出的图像检测结果在减少检测计算量的同时，能够保证图像检测结果精度的准确性。
以上是对本申请提供的一种图像处理方法实施例的详细描述，与前述提供的一种图像处理方法实施例相对应，本申请还公开一种图像处理装置实施例，请参看图3，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
请参考图3所示，图3是本申请提供的一种图像处理装置实施例的结构示意图。该装置包括：
第一卷积单元301，用于对获取的特征图像进行卷积操作，获得卷积图像集合；
所述第一卷积单元301的目的在于：对特征图像进行升维操作。具体实现过程可以是获取的特征图像可以是将通过神经网络的输入端输入的特征图像作为获取的特征图像。对所述特征图像进行卷积操作获得多个卷积后的卷积图像，该些卷积图像构成卷积图像集合。在本实施例中，卷积操作可以采用1×1的卷积核对特征图像进行卷积操作，从而获得多个卷积图。
其中，获取的特征图像也可以是多个，对多个特征图像卷积操作后获得多个卷积图，该些卷积图中可以包括新的图像特征数据。
拆分单元302，用于拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；
所述拆分单元目的在于，将所述第一卷积单元301中的卷积图像集合分成至少两个支路，以便后续处理过程中能够降低计算量，即分别对两个支路的卷积图组进行卷积计算，进而分散计算量。
在本实施例中，拆分过程可以采用一分为二的拆分方式，将卷积图像集合拆分成至少两部分，进而可以获得第一卷积图像组合第二卷积图像组。在本实施例中，拆分要求可以设定为一分为二，具体可以是针对卷积图像集合通道总数的一半进行拆分，即从卷积图像集合的中间分成两部分。当然，拆分数量还可以是三部分等。换言之，拆分后的卷积图像集合包括：n组卷积图像组。
由于通道数量存在多种情况，例如：偶数和奇数，因此，在本实施例中对卷积图像集合的拆分可以分为两种情况进行，具体如下：
若所述通道数量为偶数，则按照通道排列顺序，将所述卷积图像集合拆分成通道数量相同的第一卷积图像组合和第二卷积图像组；即：第一卷积图像组为1，2，3，...，(1/2)k；第二卷积图像组为其中，k为卷积图像集合中卷积图的总数。
若所述通道数量为奇数，则选取所述通道数量的一半并取整数；
按照通道排列顺序，将相邻且大于所述整数的通道对应的卷积图像作为第一卷积图像组的末尾特征图像，第二卷积图像组的首位卷积图像为与所述第一卷积图像组的末尾卷积图像相邻的卷积图像，将相邻且大于所述末尾卷积图像通道的卷积图像作为第二卷积图像组的首位卷积图像。即：第一卷积图像组的末尾卷积图像为第二卷积图像组的首位卷积图像为/>
在本实施例中，主要采用一分为二的拆分方式对所述卷积图像结合进行拆分，即平均分为两部分。当然也可以按照通道数的奇偶分，即根据对通道数量的顺序排列，将通道数为奇数的分为一组，通道数量为偶数的分为一组。当然也可以分为多组，拆分方式不限上述。
第二卷积单元303，用于分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；
所述第二卷积单元303的目的在于，通过分别对第一卷积图像组和第二卷积图像组进行卷积操作，从而降低计算量。
在本实施例中，对第一卷积图像组和第二卷积图像组可以采用相同的卷积核进行卷积操作，例如：均采用5×5的卷积核进行卷积操作，进而得到对应于第一卷积图像组的第一子卷积图像组，以及对应所述第二卷积图像组的第二子卷积图像组。
可以理解的是，对第一卷积图像组和第二卷积图像组可以采用不同的卷积核进行卷积操作，例如：对第一卷积图像组采用3×3的卷积核进行卷积操作，对第二卷积图像组采用5×5的卷积核进行卷积操作。
上述对第一卷积图像组和第二卷积图像组所采用的卷积核的大小并不限于上述3×3和5×5，还可以采用其他大小的卷积核，例如：7×7，在本实施例中，采用5×5的卷积核。
所述卷积核的大小可以预先设定，也可以根据第一卷积图像组和第二卷积图像组的图像特征数据量进行调整，例如：如果预先设定的卷积核大小为5×5，那么可以根据第一卷积图像组的图像特征数据的情况，将卷积核大小调整为3×3或者7×7，同样地，对所述第二卷积图像组进行卷积时，卷积核的大小也可以进行调整。就是说，在对第一卷积图像组和第二卷积图像组中的任意一个卷积图像组进行卷积操作时，可以随时调整卷积核的大小，已达到更有的卷积操作。
基于上述内容，在对第一卷积图像组和第二卷积图像组进行卷积操作后，会对应所述第一卷积图像组和第二卷积图像组分别生成多个卷积后的子卷积图像。具体卷积过程属于现有技术，大概为将5×5的卷积核作为滤波器在每个卷积图像上滑动，将对应位置进行相乘求和的计算，进而得到针对卷积图像组中每个卷积图像的子卷积图像。由于本实施例中，将获取的特征图像拆分成至少两条支路，并分别对两条支路进行卷积操作，进而能够将对特征图像的计算分散为两个，即对两个50％的特征图像进行卷积操作，从而使得计算量相比拆分前的计算量降低了50％。
通道混洗单元304，用于对所述第一子卷积图像组和第二子卷积图像组进行通道混洗，获得混洗后的特征图像。
所述通道混洗单元304的目的在于，将针对拆分支路上的卷积图像进行卷积后获得的子卷积图像组还原成拆分前的结构。具体实现过程可以包括：
拼接子单元，用于对所述第一子卷积图像组和第二子卷积图像组进行拼接，获得拼接后的拼接特征图像集合；
混洗子单元，用于对所述拼接子单元中获得拼接特征图像集合进行通道混洗，获得所述混洗后的特征图像。
其中，所述拼接子单元中的拼接可以理解为合并，即将第一子卷积图像组和第二子卷积图像组进行合并，使二者形成子卷积图像集合。具体拼接可以包括：
按照通道排列顺序，将所述第二子卷积图像组中首位卷积图放到所述第一子卷积图像组中末尾卷积图之后，获得所述拼接特征图像集合。换言之，第一子卷积图像组和第二子卷积图像组的拼接可以参考上述拆分过程，即在一分为二的拆分方式下，拼接可以将第一子卷积图像组的末位和第二子卷积图像组的首位拼接，形成子卷积图像组集合。例如：第一子卷积图像组为K1，K2，K3，K4；第二子卷积图像组为P1，P2，P3，P4；那么，拼接之后为K1，K2，K3，K4，P1，P2，P3，P4。
为保证通道组之间的图像特征信息流通，提高图像特征信息表示能力，需要对所述拼接子单元拼接后的拼接特征图像集合进行通道混洗，因此，所述混洗子单元的具体实现过程可以包括：
按照设定的通道排列要求，对所述拼接特征图像集合重新排列，获得混洗后的特征图像。沿用上述在所述拼接子单元中的举例，拼接之后为K1，K2，K3，K4，P1，P2，P3，P4的拼接特征图像集合进行混洗，如果通道排列要求为则重新排列后为K1，P1，K2，P2，K3，P3，K4，P4。
基于上述内容可以获得针对获取的特征图像的处理结果，即：混洗后的特征图像，在获得混洗后的特征图像后，还可以包括：
根据获取的特征图像的图像特征数据和混洗后的特征图像的图像特征数据，确定输出的特征图像。具体地，可以将所述特征图像的图像特征数据和混洗后的特征图像的图像特征数据进行逐图像特征数据相加，确定输出的特征图像。
由于本实施例中对图像的处理进行拆分处理，形成至少两个分支，从而分散对特征图像处理的计算量，并且在最终输出特征图像前对第一子卷积图像组和第二子卷积图像组进行通道混洗，缩短处理过程进而减少图像特征数据的丢失，从而提高最终输出特征图像的精度。
基于上述内容，请参考图4所示，图4是本申请还提供一种基于残差网络的图像训练方法实施例的流程图，该训练方法包括：
步骤S401：基于残差网络模型架构，对输入的特征图像进行卷积操作，获得卷积图像集合；
所述步骤S401的具体实现过程可以参考上述本申请提供的一种图像处理方法实施例中的步骤S201。
对于步骤S401需要说明的是残差网络模型架构，即残差网络。请参考图5所示，图5是本申请提供的一种基于残差网络的图像训练方法实施例中残差网络的结构示意图。所述残差网络是一种带有信息跳跃连接的一系列基础残差模块组成的网络，即每两层增加一个捷径(跳跃连接)，构成一个残差块，多个残差块连接在一起即构成一个残差网络。
步骤S402：拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；
对于步骤S402具体实现过程可以参考图6所示，图6是本申请提供的一种基于残差网络的图像训练方法实施例中训练过程的示意图；图6的最右侧为拆分后的第一卷积图像组和第二卷积图像组，具体拆分过程可以参考上述本申请提供的一种图像处理方法实施例中的步骤S202，此处不再赘述。
需要特别说明的是，在本实施例中步骤S402中的拆分是针对残差网络内部的拆分，即在残差网络内部的支路上进行了拆分。
步骤S403：分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；
对于步骤S403具体实现过程可以参考图6所示，如图6中采用m×m的卷积核对第一卷积图像组和第二卷积图像组进行卷积，具体卷积过程可以参考上述本申请提供的一种图像处理方法实施例中的步骤S203，此处不再赘述。
步骤S404：对所述第一子卷积图像组和第二子卷积图像组进行通道混洗，获得混洗后的特征图像；
对于步骤S404具体实现过程可以参考图6所示，将第一子卷积图像组和第二子卷积图像组相互掺插，具体通道混洗过程可以参考上述本申请提供的一种图像处理方法实施例中的步骤S204，此处不再赘述。
步骤S405：根据获取的特征图像的图像特征数据和混洗后的特征图像的图像特征数据，确定所述特征图像训练后的特征图像。
所述步骤S405的具体实现过程，可以将输入的特征图像的图像特征数据和混洗后的特征图像的图像特征数据进行逐图像特征数据相加，确定出最终输出的特征图像。
以上是对本申请提供的一种基于残差网络的图像训练方法实施例的详细描述，与前述提供的一种基于残差网络的图像训练方法实施例相对应，本申请还公开一种基于残差网络的图像训练装置实施例，请参看图7，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
如图7所示，图7是本申请提供的一种基于残差网络的图像训练装置实施例的结构示意图。该装置包括：
第一卷积单元701，用于基于残差网络模型架构，对输入的特征图像进行卷积操作，获得卷积图像集合；
所述第一卷积单元701的具体实现过程可以参考上述一种基于残差网络的图像训练方法实施例中的步骤S401。
拆分单元702，用于拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；
所述拆分单元702的具体实现过程可以参考上述一种基于残差网络的图像训练方法实施例中的步骤S402。
第二卷积单元703，用于分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；
所述第二卷积单元703的具体实现过程可以参考上述一种基于残差网络的图像训练方法实施例中的步骤S403。
通道混洗单元704，用于对所述第一子卷积图像组和第二子卷积图像组进行通道混洗，获得混洗后的特征图像；
所述通道混洗单元704的具体实现过程可以参考上述一种基于残差网络的图像训练方法实施例中的步骤S404。
确定单元705，用于根据获取的特征图像的图像特征数据和混洗后的特征图像的图像特征数据，确定所述特征图像训练后的特征图像。
所述确定单元705的具体实现过程可以参考上述一种基于残差网络的图像训练方法实施例中的步骤S405。
基于上述，本申请还提供一种神经网络的通道混洗方法，具体请参考图8所示，图8是本申请提供的一种神经网络的通道混洗方法实施例的流程图。该通道混洗方法包括：
步骤S801：根据对输入到神经网络中的特征图像进行卷积操作，获得卷积图像集合；
所述步骤S801的具体实现过程可以参考上述本申请提供的一种图像处理方法实施例中的步骤S201，此处不再赘述。
步骤S802：拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；
所述步骤S802的具体实现过程可以参考上述本申请提供的一种图像处理方法实施例中的步骤S202，此处不再赘述。
步骤S803：分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；
所述步骤S803的具体实现过程可以参考上述本申请提供的一种图像处理方法实施例中的步骤S203，此处不再赘述。
步骤S804：对所述第一子卷积图像组和第二子卷积图像组进行通道混洗。
所述步骤S804的具体实现过程可以参考上述本申请提供的一种图像处理方法实施例中的步骤S204，此处不再赘述。
同样地，本申请还提供一种神经网络的通道混洗装置，如图9所示，该装置包括：
第一卷积单元901，用于根据对输入到神经网络中的特征图像进行卷积操作，获得卷积图像集合；
拆分单元902，用于拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；
第二卷积单元903，用于分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；
混洗单元904，用于对所述第一子卷积图像组和第二子卷积图像组进行通道混洗。
本申请提供神经网络的通道混洗装置可以参考上述本申请提供的一种图像处理装置实施例中的描述，此处不再赘述。
基于上述内容，本申请还提供一种神经网络架构，包括：
第一卷积层，用于针对输入的特征图像进行卷积操作，获得卷积图像集合；
拆分层，用于拆分所述第一卷积层卷积后的所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；
第二卷积层，用于对所述拆分层拆分后的所述第一卷积图像组和第二卷积图像组分别进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组；
混洗层，用于对所述第二卷积层卷积后的所述第一子卷积图像组和第二子卷积图像组进行通道混洗，获得混洗后的特征图像；
计算层，用于根据输入到所述第一卷积层的特征图像的图像特征数据和混洗层混洗后的特征图像的图像特征数据，计算待输出的特征图像。
基于上述内容，本申请还提供一种计算机存储介质，用于存储网络平台产生数据，以及对应所述网络平台产生数据进行处理的程序；
所述程序在被读取执行时，执行如上所述的图像处理方法的步骤；或者执行如上所述的基于残差网络的图像训练方法的步骤；或者执行如上所述的神经网络的通道混洗方法。
基于上述内容，本申请还提供一种电子设备，包括：
处理器；
存储器，用于存储对网络平台产生数据进行处理的程序，所述程序在被所述处理器读取执行时，执行如上所述的图像处理方法的步骤；或者执行如上所述的基于残差网络的图像训练方法的步骤；或者执行如上所述的神经网络的通道混洗方法。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (18)

1.一种图像处理方法，其特征在于，包括：
对获取的特征图像进行卷积操作，获得卷积图像集合；
拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；包括：按照设定的拆分要求，基于所述卷积图像集合中的通道数量，对所述卷积图像集合进行拆分；
分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得第一子卷积图像组和第二子卷积图像组；
将所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗，获得混洗后的特征图像；
根据所述获取的特征图像的图像特征数据和所述混洗后的特征图像的图像特征数据，确定输出的特征图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述按照设定的拆分要求，基于所述卷积图像集合中的通道数量，对所述卷积图像集合进行拆分，包括：
若所述通道数量为偶数，则按照通道排列顺序，将所述卷积图像集合拆分成通道数量相同的第一卷积图像组合和第二卷积图像组；
若所述通道数量为奇数，则选取所述通道数量的一半并取整数；
按照通道排列顺序，将相邻且大于所述整数的通道对应的卷积图像作为第一卷积图像组的末尾卷积图像，将相邻且大于所述末尾卷积图像通道的卷积图像作为第二卷积图像组的首位卷积图像。
3.根据权利要求1所述的图像处理方法，其特征在于，所述分别对所述第一卷积图像组和第二卷积图像组卷积操作，获得第一子卷积图像组和第二子卷积图像组，包括：
对所述第一卷积图像组和所述第二卷积图像组分别采用预设的卷积核进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组。
4.根据权利要求3所述的图像处理方法，其特征在于，所述对所述第一卷积图像组和所述第二卷积图像组分别采用预设的卷积核进行卷积操作，获得所述第一子卷积图像组和第二子卷积图像组，包括：
对所述第一卷积图像组采用预设的第一卷积核进行卷积操作，获得所述第一子卷积图像组；
对所述第二卷积图像组采用预设的第二卷积核进行卷积操作，获得所述第二子卷积图像组。
5.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗，获得混洗后的特征图像，包括：
对所述第一子卷积图像组和第二子卷积图像组进行拼接，获得拼接后的拼接特征图像集合；
对所述拼接特征图像集合进行通道混洗，获得所述混洗后的特征图像。
6.根据权利要求5所述的图像处理方法，其特征在于，所述对所述第一子卷积图像组和第二子卷积图像组进行拼接，获得拼接后的拼接特征图像集合，包括：
按照通道排列顺序，将所述第二子卷积图像组中首位卷积图放到所述第一子卷积图像组中末尾卷积图之后，获得所述拼接特征图像集合。
7.根据权利要求5或6所述的图像处理方法，其特征在于，所述对所述拼接特征图像集合进行通道混洗，获得混洗后的特征图像，包括：
按照设定的通道排列要求，对所述拼接特征图像集合重新排列，获得混洗后的特征图像。
8.根据权利要求1所述的图像处理方法，其特征在于，所述根据获取的特征图像的图像特征数据和混洗后的特征图像的图像特征数据，确定输出的特征图像，包括：
将所述特征图像的图像特征数据和混洗后的特征图像的图像特征数据进行逐图像特征数据相加，确定输出的特征图像。
9.一种图像处理装置，其特征在于，包括：
第一卷积单元，用于对获取的特征图像进行卷积操作，获得卷积图像集合；
拆分单元，用于拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；包括：按照设定的拆分要求，基于所述卷积图像集合中的通道数量，对所述卷积图像集合进行拆分；
第二卷积单元，用于分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得第一子卷积图像组和第二子卷积图像组；
通道混洗单元，用于对所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗，获得混洗后的特征图像；将所述获取的特征图像的图像特征数据和所述混洗后的特征图像的图像特征数据进行逐图像特征数据相加，确定输出的特征图像。
10.一种图像处理方法，其特征在于，包括：
基于残差网络模型架构，对输入的特征图像进行卷积操作，获得卷积图像集合；
拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；包括：按照设定的拆分要求，基于所述卷积图像集合中的通道数量，对所述卷积图像集合进行拆分；
分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得第一子卷积图像组和第二子卷积图像组；
对所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗，获得混洗后的特征图像；
根据获取的特征图像的图像特征数据和混洗后的特征图像的图像特征数据，确定输出的特征图像。
11.一种图像处理装置，其特征在于，包括：
第一卷积单元，用于基于残差网络模型架构，对输入的特征图像进行卷积操作，获得卷积图像集合；
拆分单元，用于拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；包括：按照设定的拆分要求，基于所述卷积图像集合中的通道数量，对所述卷积图像集合进行拆分；
第二卷积单元，用于分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得第一子卷积图像组和第二子卷积图像组；
通道混洗单元，用于对所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗，获得混洗后的特征图像；
确定单元，用于根据获取的特征图像的图像特征数据和混洗后的特征图像的图像特征数据，确定输出的特征图像。
12.一种神经网络的通道混洗方法，其特征在于，包括：
根据对输入到神经网络中的特征图像进行卷积操作，获得卷积图像集合；
拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；包括：按照设定的拆分要求，基于所述卷积图像集合中的通道数量，对所述卷积图像集合进行拆分；
分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得第一子卷积图像组和第二子卷积图像组；
对所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗。
13.根据权利要求12所述的神经网络的通道混洗方法，其特征在于，所述对所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗，包括：
对所述第一子卷积图像组和第二子卷积图像组进行拼接，获得拼接后的拼接特征图像集合；
对所述拼接特征图像集合进行通道混洗。
14.根据权利要求13所述的神经网络的通道混洗方法，其特征在于，所述对所述第一子卷积图像组和第二子卷积图像组进行拼接，获得拼接后的拼接特征图像集合，包括：
按照通道排列顺序，将所述第二子卷积图像组中首位卷积图放到所述第一子卷积图像组中末尾卷积图之后，获得所述拼接特征图集合。
15.根据权利要求13或14所述的神经网络的通道混洗方法，其特征在于，所述对所述拼接特征图像集合进行通道混洗，包括：
按照设定的通道排列要求，对所述拼接特征图像集合重新排列。
16.一种神经网络的通道混洗装置，其特征在于，包括：
第一卷积单元，用于根据对输入到神经网络中的特征图像进行卷积操作，获得卷积图像集合；
拆分单元，用于拆分所述卷积图像集合，获得第一卷积图像组和第二卷积图像组；包括：按照设定的拆分要求，基于所述卷积图像集合中的通道数量，对所述卷积图像集合进行拆分；
第二卷积单元，用于分别对所述第一卷积图像组和第二卷积图像组进行卷积操作，获得第一子卷积图像组和第二子卷积图像组；
混洗单元，用于对所述第一子卷积图像组和第二子卷积图像组的通道顺序进行通道混洗。
17.一种计算机存储介质，用于存储网络平台产生数据，以及对应所述网络平台产生数据进行处理的程序；
所述程序在被读取执行时，执行如权利要求1至8任意一项所述的图像处理方法；或者执行如权利要求10所述的图像处理方法；或者执行如权利要求12至15任意一项所述的神经网络的通道混洗方法。
18.一种电子设备，包括：
处理器；
存储器，用于存储对网络平台产生数据进行处理的程序，所述程序在被所述处理器读取执行时，执行如权利要求1至8任意一项所述的图像处理方法；或者执行如权利要求10所述的图像处理方法；或者执行如权利要求12至15任意一项所述的神经网络的通道混洗方法。
CN201911242229.5A 2019-12-06 2019-12-06 一种图像处理，图像训练以通道混洗方法和装置 Active CN112927174B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911242229.5A CN112927174B (zh) 2019-12-06 2019-12-06 一种图像处理，图像训练以通道混洗方法和装置
PCT/CN2020/133972 WO2021110147A1 (zh) 2019-12-06 2020-12-04 一种图像处理，图像训练以通道混洗方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911242229.5A CN112927174B (zh) 2019-12-06 2019-12-06 一种图像处理，图像训练以通道混洗方法和装置

Publications (2)

Publication Number Publication Date
CN112927174A CN112927174A (zh) 2021-06-08
CN112927174B true CN112927174B (zh) 2024-05-03

Family

ID=76161551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911242229.5A Active CN112927174B (zh) 2019-12-06 2019-12-06 一种图像处理，图像训练以通道混洗方法和装置

Country Status (2)

Country Link
CN (1) CN112927174B (zh)
WO (1) WO2021110147A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393368B (zh) * 2021-06-11 2023-08-18 安谋科技（中国）有限公司 基于神经网络模型的图像处理方法、介质和电子设备
CN113743582B (zh) * 2021-08-06 2023-11-17 北京邮电大学 基于栈混洗的新型通道混洗方法和装置
CN115223018B (zh) * 2022-06-08 2023-07-04 东北石油大学 伪装对象协同检测方法及装置、电子设备和存储介质
CN115348432B (zh) * 2022-08-15 2024-05-07 上海壁仞科技股份有限公司 数据处理方法及装置、图像处理方法、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409342A (zh) * 2018-12-11 2019-03-01 北京万里红科技股份有限公司 一种基于轻量卷积神经网络的虹膜活体检测方法
CN109492514A (zh) * 2018-08-28 2019-03-19 初速度（苏州）科技有限公司 一种单相机采集人眼视线方向的方法及系统
CN110009565A (zh) * 2019-04-04 2019-07-12 武汉大学 一种基于轻量化网络的超分辨率图像重建方法
CN110073359A (zh) * 2016-10-04 2019-07-30 奇跃公司 用于卷积神经网络的有效数据布局
CN110309876A (zh) * 2019-06-28 2019-10-08 腾讯科技（深圳）有限公司 目标检测方法、装置、计算机可读存储介质和计算机设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10936913B2 (en) * 2018-03-20 2021-03-02 The Regents Of The University Of Michigan Automatic filter pruning technique for convolutional neural networks
CN109145970B (zh) * 2018-08-06 2021-01-12 北京市商汤科技开发有限公司 基于图像的问答处理方法和装置、电子设备及存储介质
CN110084274B (zh) * 2019-03-29 2022-09-06 南京邮电大学 实时图像语义分割方法及系统、可读存储介质和终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110073359A (zh) * 2016-10-04 2019-07-30 奇跃公司 用于卷积神经网络的有效数据布局
CN109492514A (zh) * 2018-08-28 2019-03-19 初速度（苏州）科技有限公司 一种单相机采集人眼视线方向的方法及系统
CN109409342A (zh) * 2018-12-11 2019-03-01 北京万里红科技股份有限公司 一种基于轻量卷积神经网络的虹膜活体检测方法
CN110009565A (zh) * 2019-04-04 2019-07-12 武汉大学 一种基于轻量化网络的超分辨率图像重建方法
CN110309876A (zh) * 2019-06-28 2019-10-08 腾讯科技（深圳）有限公司 目标检测方法、装置、计算机可读存储介质和计算机设备

Also Published As

Publication number Publication date
CN112927174A (zh) 2021-06-08
WO2021110147A1 (zh) 2021-06-10

Similar Documents

Publication Publication Date Title
CN112927174B (zh) 一种图像处理，图像训练以通道混洗方法和装置
US11462035B2 (en) Processing images using deep neural networks
US20200327391A1 (en) System and method for parallelizing convolutional neural networks
EP3349153B1 (en) Convolutional neural network (cnn) processing method and apparatus
EP3467721B1 (en) Method and device for generating feature maps by using feature upsampling networks
US20180322391A1 (en) Loss-scaling for deep neural network training with reduced precision
US11847569B2 (en) Training and application method of a multi-layer neural network model, apparatus and storage medium
EP4312157A2 (en) Progressive neurale netzwerke
KR20180012439A (ko) 회선 신경망에서 가속기 및 이의 동작 방법
JP2019087252A (ja) ニューラルネットワークにおいてデコンボルーション演算を実行する装置及びその方法
US20190303757A1 (en) Weight skipping deep learning accelerator
KR20200066952A (ko) 확장 컨벌루션 연산을 수행하는 장치 및 방법
CN108021923A (zh) 一种用于深度神经网络的图像特征提取方法
KR102165273B1 (ko) 소형 뉴럴 네트워크의 채널 프루닝(pruning) 방법 및 시스템
KR102313604B1 (ko) 멀티 피딩을 적용한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
US20200389182A1 (en) Data conversion method and apparatus
CN110647992A (zh) 卷积神经网络的训练方法、图像识别方法及其对应的装置
KR20210085569A (ko) 표적 추적 시스템 및 방법
CN113869495B (zh) 神经网络卷积权重layout优化的方法、装置、设备及可读介质
CN112308102B (zh) 图像相似度计算方法、计算装置及存储介质
CN113625753A (zh) 一种由专家规则引导神经网络学习无人机机动飞行的方法
KR20200072308A (ko) 뉴럴 네트워크에서 컨볼루션 연산을 수행하는 방법 및 장치
CN112907450B (zh) 三维时序图像处理方法、装置、计算机设备和存储介质
KR102393761B1 (ko) 이미지 처리를 위한 인공 신경망 모델 학습 방법 및 시스템
CN112990046B (zh) 差异信息获取方法、相关装置及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40050677

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant