CN111860557A - 图像处理方法及装置、电子设备及计算机存储介质 - Google Patents

图像处理方法及装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN111860557A
CN111860557A CN201910377360.6A CN201910377360A CN111860557A CN 111860557 A CN111860557 A CN 111860557A CN 201910377360 A CN201910377360 A CN 201910377360A CN 111860557 A CN111860557 A CN 111860557A
Authority
CN
China
Prior art keywords
network
network channel
channels
channel
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910377360.6A
Other languages
English (en)
Other versions
CN111860557B (zh
Inventor
王飞
王蓓
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910377360.6A priority Critical patent/CN111860557B/zh
Publication of CN111860557A publication Critical patent/CN111860557A/zh
Application granted granted Critical
Publication of CN111860557B publication Critical patent/CN111860557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例公开了一种图像处理方法及装置、电子设备及计算机存储介质，其中，方法包括：获取待处理图像；将待处理图像输入到目标神经网络进行处理，得到图像处理结果；其中目标神经网络采用以下步骤获得：根据第一神经网络中各个网络通道之间的相似度，对第一神经网络中的网络通道进行分组；根据分组，确定第一神经网络中至少一个网络通道组中的基准网络通道；根据至少一个网络通道组中的除基准网络通道以外的网络通道及其与网络通道组中的基准网络通道之间的相似度，更新网络通道组中的基准网络通道的权重，并消除网络通道组中的除基准网络通道以外的网络通道，以得到所述目标神经网络。本公开实施例应用于移动端可以保证图像处理的精度。

Description

图像处理方法及装置、电子设备及计算机存储介质
技术领域
本发明涉及计算机视觉技术，尤其是一种图像处理方法及装置、电子设备及计算机存储介质。
背景技术
近年来，深度卷积神经网络在计算机视觉领域的应用中取得了显著的进展。大多数深度卷积神经网络，如VGG、ResNet等，需要在具有大量存储器和计算能力的GPU上执行，因此采用已有的深度卷积神经网络处理图像，由于计算量过大，导致深度卷积神经网络在计算资源受限的移动端应用困难。
网络压缩技术作为深度卷积神经网络在移动端应用的技术基础，受到越来越多的关注。其中，减少网络冗余性的剪枝技术，通过直接将网络中不重要的网络通道减掉，能够很好的减小神经网络的规模。采用已有的剪枝方法处理后的神经网络进行图像处理，虽然降低了计算量，但是由于网络精度严重下降，导致图像处理的精度下降，使所得到图像难以满足实际应用的需求。
发明内容
本发明实施例提供一种图像处理技术方案。
根据本公开实施例的一个方面，提供一种图像处理方法，包括：
获取待处理图像；
将所述待处理图像输入到目标神经网络进行处理，得到图像处理结果；
其中，所述目标神经网络采用以下步骤获得：
根据第一神经网络中各个网络通道之间的相似度，对所述第一神经网络中的网络通道进行分组；
根据所述分组，确定所述第一神经网络中至少一个网络通道组中的基准网络通道；
根据所述至少一个网络通道组中的除基准网络通道以外的网络通道及其与所述网络通道组中的基准网络通道之间的相似度，更新所述网络通道组中的基准网络通道的权重，并消除所述网络通道组中的除基准网络通道以外的网络通道，以得到所述目标神经网络。
可选地，在本公开上述方法实施例中，所述根据所述分组，确定所述第一神经网络中至少一个网络通道组中的基准网络通道，包括：
针对所述第一神经网络中的一个网络通道组，确定该网络通道组中的每个网络通道与该组内其它网络通道之间的相似度之和；
将该网络通道组中与该组内其它网络通道之间的相似度之和最大的网络通道，作为该网络通道组的基准网络通道。
可选地，在本公开上述任一方法实施例中，根据一个网络通道组中的除基准网络通道以外的网络通道及其与该网络通道组中的基准网络通道之间的相似度，更新该网络通道组中的基准网络通道的权重，包括：
确定该网络通道组中的网络通道在下一个网络层中的线性组合；
根据该网络通道组中的除基准网络通道以外的各个网络通道及其与该网络通道组中的基准网络通道之间的相似度，将所述线性组合中除基准网络通道以外的网络通道表示为基准网络通道与新的权重的乘积，其中，所述新的权重中包含除基准网络通道以外的该网络通道的信息；
根据所述新的权重以及所述线性组合中的基准网络通道的权重之和，更新该网络通道组中的基准网络通道的权重。
可选地，在本公开上述任一方法实施例中，所述根据第一神经网络中各个网络通道之间的相似度，对所述第一神经网络中的网络通道进行分组，包括：
获取所述第一神经网络中网络通道的特征信息；
根据所述特征信息，确定所述第一神经网络中同一个网络层中不同网络通道之间的相似度；
根据所述相似度，对所述第一神经网络中同一个网络层中的网络通道进行分组。
可选地，在本公开上述任一方法实施例中，所述根据所述相似度，对所述第一神经网络中同一个网络层中的网络通道进行分组，包括：
根据所述相似度与预设相似度阈值进行比较，对所述第一神经网络中同一个网络层中的网络通道进行分组，使同一个网络通道组中的不同网络通道之间的相似度大于所述预设相似度阈值。
可选地，在本公开上述任一方法实施例中，所述根据所述相似度，对所述第一神经网络中同一个网络层中的网络通道进行分组，包括：
基于预设网络通道组数，根据所述相似度，对所述第一神经网络中同一个网络层中的网络通道进行分组，使同一个网络通道组中的不同网络通道之间的相似度大于不同网络通道组中的网络通道之间的相似度。
可选地，在本公开上述任一方法实施例中，所述获取第一神经网络中网络通道的特征信息，包括：
通过所述第一神经网络对样本图像进行处理，获取所述第一神经网络中网络通道的特征信息。
可选地，在本公开上述任一方法实施例中，所述通过所述第一神经网络对样本图像进行处理，获取所述第一神经网络中网络通道的特征信息，包括：
通过所述第一神经网络对数据集进行处理，得到所述第一神经网络中各个网络层中的网络通道对应的卷积核提取到的所述数据集中的每张样本图像的特征信息；
所述根据所述特征信息，确定所述第一神经网络中同一个网络层中不同网络通道之间的相似度，包括：
针对所述数据集中的每张样本图像的特征信息，确定所述第一神经网络中同一个网络层中不同网络通道之间的相似度；
对由所述数据集确定的所述第一神经网络中同一个网络层中不同网络通道之间的相似度进行统计，得到所述第一神经网络中同一个网络层中不同网络通道之间的相似度。
根据本公开实施例的另一个方面，提供的一种图像处理装置，包括：
图像获取单元，用于获取待处理图像；
图像处理单元，用于将所述待处理图像输入到目标神经网络进行处理，得到图像处理结果；
网络处理单元，用于获得所述目标神经网络，所述网络处理单元包括：
分组子单元，用于根据第一神经网络中各个网络通道之间的相似度，对所述第一神经网络中的网络通道进行分组；
选择子单元，用于根据所述分组，确定所述第一神经网络中至少一个网络通道组中的基准网络通道；
压缩子单元，用于根据所述至少一个网络通道组中的除基准网络通道以外的网络通道及其与所述网络通道组中的基准网络通道之间的相似度，更新所述网络通道组中的基准网络通道的权重，并消除所述网络通道组中的除基准网络通道以外的网络通道，以得到所述目标神经网络。
可选地，在本公开上述装置实施例中，所述选择子单元包括：
第一计算模块，用于针对所述第一神经网络中的一个网络通道组，确定该网络通道组中的每个网络通道与该组内其它网络通道之间的相似度之和；
通道选择模块，用于将该网络通道组中与该组内其它网络通道之间的相似度之和最大的网络通道，作为该网络通道组的基准网络通道。
可选地，在本公开上述任一装置实施例中，所述压缩子单元包括：
线性组合模块，用于确定一个网络通道组中的网络通道在下一个网络层中的线性组合；
通道重组模块，用于根据该网络通道组中的除基准网络通道以外的各个网络通道及其与该网络通道组中的基准网络通道之间的相似度，将所述线性组合中除基准网络通道以外的网络通道表示为基准网络通道与新的权重的乘积，其中，所述新的权重中包含除基准网络通道以外的该网络通道的信息；
权重更新模块，用于根据所述新的权重以及所述线性组合中的基准网络通道的权重之和，更新该网络通道组中的基准网络通道的权重。
可选地，在本公开上述任一装置实施例中，所述分组子单元包括：
特征获取模块，用于获取所述第一神经网络中网络通道的特征信息；
第二计算模块，用于根据所述特征信息，确定所述第一神经网络中同一个网络层中不同网络通道之间的相似度；
通道分组模块，用于根据所述相似度，对所述第一神经网络中同一个网络层中的网络通道进行分组。
可选地，在本公开上述任一装置实施例中，所述通道分组模块，用于根据所述相似度与预设相似度阈值进行比较，对所述第一神经网络中同一个网络层中的网络通道进行分组，使同一个网络通道组中的不同网络通道之间的相似度大于所述预设相似度阈值。
可选地，在本公开上述任一装置实施例中，所述通道分组模块，用于基于预设网络通道组数，根据所述相似度，对所述第一神经网络中同一个网络层中的网络通道进行分组，使同一个网络通道组中的不同网络通道之间的相似度大于不同网络通道组中的网络通道之间的相似度。
可选地，在本公开上述任一装置实施例中，所述特征获取模块，用于通过所述第一神经网络对样本图像进行处理，获取所述第一神经网络中网络通道的特征信息。
可选地，在本公开上述任一装置实施例中，所述特征获取模块，用于通过所述第一神经网络对数据集进行处理，得到所述第一神经网络中各个网络层中的网络通道对应的卷积核提取到的所述数据集中的每张样本图像的特征信息；
所述第二计算模块，用于针对所述数据集中的每张样本图像的特征信息，确定所述第一神经网络中同一个网络层中不同网络通道之间的相似度；对由所述数据集确定的所述第一神经网络中同一个网络层中不同网络通道之间的相似度进行统计，得到所述第一神经网络中同一个网络层中不同网络通道之间的相似度。
根据本公开实施例的又一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
处理器，用于执行所述可执行指令从而完成上述任一实施例所述的方法。
根据本公开实施例的再一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现上述任一实施例所述方法的指令。
根据本公开实施例的再一个方面，提供的一种计算机存储介质，用于存储计算机可读指令，所述指令被执行时实现上述任一实施例所述的方法。
基于本发明上述实施例提供的图像处理方法及装置、电子设备及计算机存储介质，在获取待处理图像后，将待处理图像输入到目标神经网络进行处理，得到图像处理结果，由于在得到目标神经网络时，是利用网络通道之间的相似度对第一神经网络中的网络通道进行分组，并确定网络通道组中的基准网络通道，在根据网络通道组中的除基准网络通道以外的网络通道及其与网络通道组中的基准网络通道之间的相似度，更新至少一个网络通道组中的基准网络通道的权重时，可以将该网络通道组中待消除的网络通道的信息保留于更新后的基准网络通道的权重中，在消除该网络通道组中除基准网络通道以外的网络通道后，可以利用更新后的基准网络通道的权重中保留的被消除的网络通道的信息，使目标神经网络很好地保持与第一神经网络相近的表达性能，从而在保证目标神经网络的精度，保证图像处理的精度，使所得到图像可以满足实际应用的需求的前提下，降低计算量，在保证神经网络的精度的同时实现压缩神经网络，实现神经网络的加速，可以使压缩后的神经网络应用于计算资源受限的移动端。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本公开一些实施例的目标神经网络的获得方法的流程图；
图2为本公开一些实施例根据网络通道之间的相似度确定基准网络通道的流程图；
图3为本公开一些实施例利用网络通道的线性组合更新网络通道组中的基准网络通道的权重的流程图；
图4为本公开一些实施例根据网络通道的特征信息确定网络通道之间的相似度的流程图；
图5为本公开一些实施例的图像处理装置的结构示意图；
图6为本公开一些实施例的选择子单元的结构示意图；
图7为本公开一些实施例的压缩子单元的结构示意图；
图8为本公开一些实施例的分组子单元的结构示意图；
图9为本发明一些实施例提供的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本公开实施例提供的图像处理方法，通过获取待处理图像，将待处理图像输入到目标神经网络进行处理，得到图像处理结果，其中，目标神经网络可以采用以下方法获得。
如图1所示，图1为本公开一些实施例的目标神经网络的获得方法的流程图。该方法可以由服务器或终端设备执行，例如：终端设备可以包括：手机、计算机、机器人、可穿戴设备、车载设备等。该方法包括：
102，根据第一神经网络中各个网络通道之间的相似度，对第一神经网络中的网络通道进行分组。
在本公开实施例中，第一神经网络可以为训练好的神经网络，并且第一神经网络可以为规模较大的神经网络，例如，第一神经网络的网络参数的数量大于某一数值，但本公开实施例对此不作限定。可选地，第一神经网络可以为卷积神经网络(ConvolutionalNeural Network，CNN)、深度神经网络(Deep Neural Network，DNN)等，本公开实施例对第一神经网络的类型不作限定。第一神经网络可以为适用于图像处理任务的神经网络，例如：目标识别任务、目标分类任务、目标检测任务或姿态估计任务等。第一神经网络也可以为适用于各种应用场景的神经网络，例如：安防监控场景、人脸解锁场景或人脸支付场景等，本公开实施例对第一神经网络的适用范围不作限定。
在本公开实施例中，第一神经网络包括多个卷积核，每个卷积核对应于神经网络的一个网络通道，可以根据第一神经网络中两个网络通道之间的相似度，对第一神经网络中的各个网络通道进行分组，使相似度大的网络通道被分为一组。例如：可以根据位于第一神经网络中同一个网络层的两个网络通道之间的相似度，对位于第一神经网络中同一个网络层的各个网络通道进行分组。可选地，可以根据第一神经网络中两个网络通道的参数，确定第一神经网络中两个网络通道之间的相似度；或者，可以根据第一神经网络中两个网络通道的特征信息，确定第一神经网络中两个网络通道之间的相似度；本公开实施例对确定第一神经网络中网络通道的相似度的方法不作限定。
104，根据分组，确定第一神经网络中至少一个网络通道组中的基准网络通道。
可选地，对于第一神经网络中只包含一个网络通道的网络通道组，不需要确定该网络通道组中的基准网络通道；对于第一神经网络中包含两个以上网络通道的网络通道组，可以确定该网络通道组中的基准网络通道。可选地，可以从网络通道组中随机选取一个网络通道，作为该网络通道组的基准网络通道；或者，可以根据网络通道组中各个网络通道之间的相似度，确定该网络通道组中的基准网络通道，本公开实施例对确定网络通道组中的基准网络通道的方法不作限定。
可选地，对于第一神经网络中需要确定基准网络通道的网络通道组，可以采用相同的方法确定基准网络通道，例如：采用基于相似度的方法；或者，对于第一神经网络中需要确定基准网络通道的网络通道组，可以采用不同的方法确定基准网络通道，例如：对于包含两个网络通道的网络通道组，可以采用随机选取的方法确定基准网络通道，对于包含三个以上网络通道的网络通道组，可以采用基于相似度的方法确定基准网络通道；本公开实施例对此不作限定。
106，根据至少一个网络通道组中的除基准网络通道以外的网络通道及其与网络通道组中的基准网络通道之间的相似度，更新网络通道组中的基准网络通道的权重，并消除网络通道组中的除基准网络通道以外的网络通道，也就是消除除基准网络通道以外的网络通道对应的卷积核，以得到目标神经网络。
步骤106中包括以下两种情况：第一种情况是可以根据一个网络通道组中除基准网络通道以外的部分网络通道与该网络通道组中的基准网络通道之间的相似度，更新该网络通道组中的基准网络通道的权重，使更新后的基准网络通道的权重中保留该部分网络通道(即除基准网络通道以外的部分网络通道)的信息，并消除该网络通道组中的该部分网络通道；第二种情况是可以根据一个网络通道组中除基准网络通道以外的所有网络通道与该网络通道组中的基准网络通道之间的相似度，更新该网络通道组中的基准网络通道的权重，使更新后的基准网络通道的权重中保留该网络通道组中除基准网络通道以外的所有网络通道的信息，并消除该网络通道组中除基准网络通道以外的所有网络通道；本公开实施例对消除网络通道组中除基准网络通道以外的网络通道的方法(也就是上述两种情况)不作限定。
可选地，对于第一神经网络中需要消除网络通道的网络通道组，可以采用相同的方法消除网络通道组中除基准网络通道以外的网络通道，例如：采用消除网络通道组中除基准网络通道以外的所有网络通道的方法；或者，对于第一神经网络中需要消除网络通道的网络通道组，可以采用不同的方法消除网络通道组中除基准网络通道以外的网络通道，例如：对于两个分别包含四个网络通道的网络通道组，可以对其中的一个网络通道组采用消除网络通道组中除基准网络通道以外的部分网络通道的方法，即消除网络通道组中除基准网络通道以外的一个或两个网络通道，而对其中的另一个网络通道组采用消除网络通道组中除基准网络通道以外的所有网络通道的方法，即消除网络通道组中除基准网络通道以外的三个网络通道；本公开实施例对此不作限定。
可选地，可以将通过消除网络通道组中的除基准网络通道以外的网络通道得到神经网络，直接作为目标神经网络，用于图像处理；或者，可以对通过消除网络通道组中的除基准网络通道以外的网络通道得到神经网络，进行训练后作为标神经网络，用于图像处理，以进一步提高图像处理的精度。
当然，在实际应用中，可以对神经网络中的所有网络通道组执行步骤106，也就是进行通道剪枝，也可以对神经网络中的部分网络通道组进行通道剪枝，本公开实施例对此不做限定。
基于本公开实施例提供的方法得到的目标神经网络处理图像，由于在得到目标神经网络时，是利用网络通道之间的相似度对第一神经网络中的网络通道进行分组，并确定网络通道组中的基准网络通道，在根据网络通道组中的除基准网络通道以外的网络通道及其与网络通道组中的基准网络通道之间的相似度，更新网络通道组中的基准网络通道的权重时，可以将网络通道组中待消除的网络通道的信息保留于更新后的基准网络通道的权重中，在消除网络通道组中除基准网络通道以外的网络通道后，可以利用更新后的基准网络通道的权重中保留的被消除的网络通道的信息，使目标神经网络很好地保持与第一神经网络相近的表达性能，从而在保证目标神经网络的精度，保证图像处理的精度，使所得到图像可以满足实际应用的需求的前提下，降低计算量，在保证神经网络的精度的同时实现压缩神经网络，实现神经网络的加速，可以使压缩后的神经网络应用于计算资源受限的移动端。
在本公开实施例中，在根据第一神经网络中各个网络通道之间的相似度，对第一神经网络中的网络通道进行分组后，可以根据分组的结果，采用多种方法确定网络通道组中的基准网络通道。其中，在本公开的一些实施例中，可以根据网络通道组中各个网络通道之间的相似度，来确定网络通道组中的基准网络通道。下面将结合图2，详细描述本公开一些实施例根据网络通道之间的相似度确定基准网络通道的流程。
如图2所示，该方法包括：
202，针对第一神经网络中的一个网络通道组，确定该网络通道组中的每个网络通道与该组内其它网络通道之间的相似度之和。
可选地，可以根据第一神经网络中网络通道的分组，获取每个网络通道组中包含的网络通道的数量，可以根据每个网络通道组中包含的网络通道的数量，确定第一神经网络的网络通道组中需要确定基准网络通道的网络通道组，并在需要确定基准网络通道的网络通道组中，确定可以根据网络通道之间的相似度确定基准网络通道的网络通道组。例如：对于只包含一个网络通道的网络通道组，可以不确定基准网络通道，对于包含两个网络通道的网络通道组，可以采用随机选取的方法确定基准网络通道，对于包含三个以上网络通道的网络通道组，可以根据网络通道之间的相似度确定基准网络通道。
可选地，对于根据网络通道之间的相似度确定基准网络通道的网络通道组，可以根据对第一神经网络中的网络通道进行分组，获取的第一神经网络中各个网络通道之间的相似度，确定每个网络通道组中的各个网络通道之间的相似度，从而针对每个网络通道组，确定该网络通道组中的每个网络通道与该组内其它网络通道之间的相似度之和。
204，将该网络通道组中与该组内其它网络通道之间的相似度之和最大的网络通道，作为该网络通道组的基准网络通道。
可选地，对于根据网络通道之间的相似度确定基准网络通道的网络通道组，在确定每个网络通道组中的每个网络通道与该组内其它网络通道之间的相似度之和后，可以通过比较每个网络通道组所确定的各个相似度之和的大小，将该网络通道组中与该组内其它网络通道之间的相似度之和最大的网络通道，作为该网络通道组的基准网络通道。
例如，在包含三个网络通道的网络通道组中，三个网络通道的特征图对应的特征向量x1、x2和x3之间的余弦相似度分别为cos＜x1,x2＞＝0.95，cos＜x1,x3＞＝0.96，cos＜x2,x3＞＝0.9，其中，特征向量x1对应的网络通道与组内其它网络通道的余弦相似度之和为0.95+0.96，特征向量x2对应的网络通道与组内其它网络通道的余弦相似度之和为0.95+0.9，特征向量x3对应的网络通道与组内其它网络通道的余弦相似度之和为0.96+0.9，由于特征向量x1对应的网络通道与组内其它网络通道的余弦相似度之和最大，因此将特征向量x1作为基准特征向量，将基准特征向量x1对应网络通道作为该网络通道组的基准网络通道。
本实施例通过确定网络通道组中的每个网络通道与该组内其它网络通道之间的相似度之和，将该网络通道组中与该组内其它网络通道之间的相似度之和最大的网络通道，作为该网络通道组的基准网络通道，可以使所选取出的网络通道组中的基准网络通道与该组内的其它网络通道均具有较高的相似度，从而使基准网络通道更具有代表性，可以作为基准很好表征网络通道组中的其它网络通道。
在本公开实施例中，在确定网络通道组中的基准网络通道后，可以根据网络通道组中的除基准网络通道以外的网络通道及其与网络通道组中的基准网络通道之间的相似度，更新网络通道组中的基准网络通道的权重。其中，在本公开的一些实施例中，可以利用网络通道组中的网络通道的线性组合，来更新网络通道组中的基准网络通道的权重。下面将结合图3，详细描述本公开一些实施例利用网络通道的线性组合更新网络通道组中的基准网络通道的权重的流程。
如图3所示，该方法包括：
302，确定该网络通道组中的网络通道在下一个网络层中的线性组合。
可选地，当以第一神经网络中网络通道的特征信息表征网络通道时，例如：网络通道的特征信息可以为该网络通道对应的卷积核对图像进行卷积处理提取到的图像的特征信息，它可以包括一张特征图、或者对应的特征向量等，本公开实施例对此不作限定，由于第一神经网络中位于同一个网络层中的各个网络通道的特征信息在下一个网络层中可以被表示为这些网络通道的特征信息的线性组合，因此，在对第一神经网络中的网络通道进行分组时，可以针对第一神经网络中位于同一个网络层中的各个网络通道进行分组，从而可以根据分组得到的网络通道组，确定网络通道组中的网络通道在下一个网络层中的线性组合。
304，根据该网络通道组中的除基准网络通道以外的各个网络通道及其与该网络通道组中的基准网络通道之间的相似度，将线性组合中除基准网络通道以外的网络通道表示为基准网络通道与新的权重的乘积。
可选地，在对第一神经网络中的网络通道进行分组时，由于是基于在网络通道之间的相似度，对第一神经网络中位于同一个网络层中的各个网络通道进行分组，因此在同一个网络通道组中的各个网络通道之间具有很强的相似性，可以根据一个网络通道组中的除基准网络通道以外的各个网络通道与该网络通道组中的基准网络通道之间的相似度，利用该网络通道组中的网络通道在下一个网络层中的线性组合，对该线性组合进行线性重组，将该线性组合中除基准网络通道以外的网络通道表示为基准网络通道与新的权重的乘积的形式，其中，该线性组合中除基准网络通道以外的网络通道对应的新的权重中包含除基准网络通道以外的网络通道的信息。
306，根据新的权重以及线性组合中的基准网络通道的权重之和，更新该网络通道组中的基准网络通道的权重。
可选地，可以根据一个网络通道组中的网络通道在下一个网络层中的线性组合，确定该线性组合中除基准网络通道以外的网络通道的新的权重与该线性组合中的基准网络通道的权重之和，从而根据该权重之和更新该网络通道组中的基准网络通道的权重，使更新后的该网络通道组中的基准网络通道的权重中包含该网络通道组中除基准网络通道以外的网络通道的信息。
例如，在当前网络层中包含三个网络通道的网络通道组中，三个网络通道的特征图对应的特征向量x1、x2和x3之间的余弦相似度分别为cos＜x1,x2＞＝0.95，cos＜x1,x3＞＝0.96，cos＜x2,x3＞＝0.9，在下一网络层中与当前网络层中的三个网络通道对应的网络通道的权重分别为w1,w2和w3，其中，选择特征向量x1作为基准特征向量。根据余弦相似度的定义：
Figure BDA0002047646890000131
当两个特征向量a和b之间的余弦相似度很大时，可以进行如下近似计算：
Figure BDA0002047646890000132
由于同一个网络通道组中的网络通道对应的特征向量之间具有很强的余弦相似性，因此，可以根据公式1将原网络通道组中网络通道的线性组合y＝w1x1+w2x2+w3x3近似表示为：
y＝x1(w1+w′2+w′3)＝x1·wnew (公式2)
其中，
Figure BDA0002047646890000133
wnew＝w1+w′2+w′3，为更新后的基准网络通道的权重。本实施例后续可以将网络通道组中特征向量x2和x3对应的网络通道消除，只保留特征向量x1对应的网络通道，从而将网络通道组中的3个网络通道压缩为1个网络通道，并利用w′2和w′3在特征向量x1对应的网络通道在下一个网络层的权重wnew中保留了被消除的特征向量x2和x3对应的网络通道的信息。
本实施例通过利用网络通道组中的网络通道是在下一个网络层中的线性组合，根据一个网络通道组中的除基准网络通道以外的各个网络通道与该网络通道组中的基准网络通道之间的相似度，对该网络通道组中网络通道的线性组合进行线性重组，并根据线性重组后的线性组合中的权重更新该网络通道组中的基准网络通道的权重，可以在后续消除该网络通道组中的除基准网络通道以外的网络通道时，利用更新后的该网络通道组中的基准网络通道的权重中保留的被消除的网络通道的信息，可以使消除网络通道后的压缩网络能够很好地保留原网络的性能，从而保证压缩后的网络的精度，并且可以降低网络的计算量，减少计算的复杂度，提高网络处理的速度。
在本公开实施例中，在对第一神经网络中的网络通道进行分组时，可以采用多种方法确定第一神经网络中各个网络通道之间的相似度。其中，在本公开的一些实施例中，可以根据第一神经网络中网络通道的特征信息，确定第一神经网络中各个网络通道之间的相似度。下面将结合图4，详细描述本公开一些实施例根据网络通道的特征信息确定网络通道之间的相似度的流程。
如图4所示，该方法包括：
402，获取第一神经网络中网络通道的特征信息。
可选地，可以通过第一神经网络中的网络通道对图像进行处理，获取第一神经网络中网络通道的特征信息，例如：网络通道的特征信息可以为该网络通道对应的卷积核对图像进行卷积处理提取到的图像的特征信息，它可以包括一张特征图、或者对应的特征向量等，本公开实施例对此不作限定。可选地，可以通过第一神经网络对预先收集的样本图像进行处理，获取第一神经网络中网络通道的特征信息，其中，样本图像设置有与图像处理任务对应的标签，例如：对于目标识别任务，样本图像设有目标类别标签。
在一些实施例中，可以先对样本图像进行预处理，然后通过第一神经网络对预处理后的图像进行处理。可选地，预处理可以包括下列处理中的至少一种：尺度调整、亮度调整、转正处理、裁剪处理等。例如，第一神经网络对输入图像的尺寸有要求，此时，如果样本图像的尺寸符合第一神经网络对输入图像的尺寸要求，可以将样本图像直接输入第一神经网络进行处理，而如果样本图像的尺寸与第一神经网络对输入图像的尺寸要求不符，可以对样本图像进行尺寸调整处理后再输入第一神经网络进行处理，本公开实施例对预处理的实现方式不作限定。
404，根据特征信息，确定第一神经网络中同一个网络层中不同网络通道之间的相似度。
可选地，可以根据特征信息，确定第一神经网络中同一个网络层中不同网络通道之间的欧式距离；或者，可以根据特征信息，确定第一神经网络中同一个网络层中不同网络通道之间的余弦相似度，其中，利用余弦相似度可以衡量出不同网络通道提取出的特征图对应的特征向量在方向上的差异；本公开实施例对确定不同网络通道之间的相似度的实现方式不作限定。
可选地，可以通过第一神经网络对数据集进行处理，得到第一神经网络中各个网络层中的网络通道对应的卷积核提取到的数据集中的每张样本图像的特征信息，然后针对数据集中的每张样本图像的特征信息，确定第一神经网络中同一个网络层中不同网络通道之间的相似度，通过对由数据集确定的第一神经网络中同一个网络层中不同网络通道之间的相似度进行统计，根据统计的结果得到第一神经网络中同一个网络层中不同网络通道之间的相似度。例如：针对第一神经网络中同一个网络层中的两个网络通道，统计数据集中的各个样本图像确定的这两个网络通道之间的相似度，计算各个样本图像确定这两个网络通道之间的相似度平均值，作为这两个网络通道之间的相似度。其中，基于数据集，采用统计的方法得到第一神经网络中同一个网络层中不同网络通道之间的相似度，可以保证所获得第一神经网络中同一个网络层中不同网络通道之间的相似度的准确性。
406，根据相似度，对第一神经网络中同一个网络层中的网络通道进行分组。
在本实施例中，可以根据相似度，采用多种方法对第一神经网络中同一个网络层中的网络通道进行分组；例如：可以预设相似度阈值，根据第一神经网络中同一个网络层中不同网络通道之间的相似度与预设相似度阈值进行比较，对第一神经网络中同一个网络层中的网络通道进行分组；又例如：可以预设保留的网络通道数，即预设网络层的网络通道组数，基于预设网络通道组数，根据第一神经网络中同一个网络层中不同网络通道之间的相似度，对第一神经网络中同一个网络层中的网络通道进行分组；本公开实施例对网络通道进行分组的实现方法不作限定。
可选地，可以根据对网络压缩程度的需求，预设相似度阈值，根据第一神经网络中同一个网络层中不同网络通道之间的相似度与预设相似度阈值进行比较，对第一神经网络中同一个网络层中的网络通道进行分组，使同一个网络通道组中的不同网络通道之间的相似度大于预设相似度阈值，其中，预设相似度阈值越大，网络通道划分的组数就越多，压缩得到的网络与第一神经网络就越接近。
例如，同一个网络层中的五个网络通道的特征图对应的特征向量x1、x2、x3、x4和x5之间的余弦相似度分别为cos＜x1,x2＞＝0.95，cos＜x1,x3＞＝0.96，cos＜x1,x4＞＝0.8，cos＜x1,x5＞＝0.86，cos＜x2,x3＞＝0.9，cos＜x2,x4＞＝0.71，cos＜x2,x5＞＝0.82，cos＜x3,x4＞＝0.75，cos＜x4,x5＞＝0.93，其中，当预设相似度阈值为0.9时，特征向量x1、x2和x3对应的网络通道之间的余弦相似度分别为0.95、0.96和0.9，被分为一组，特征向量x4和x5对应的网络通道之间的余弦相似度为0.93，被分为一组；当预设相似度阈值为0.7时，特征向量x1、x2、x3、x4和x5对应的网络通道之间的余弦相似度均大于0.7，被分为一组。
可选地，为了使压缩后的网络达到需要的压缩比例，可以预设需要保留的网络通道数，即预设网络层的网络通道组数，基于预设网络通道组数，根据第一神经网络中同一个网络层中不同网络通道之间的相似度，对第一神经网络中同一个网络层中的网络通道进行分组，使同一个网络通道组中的不同网络通道之间的相似度均大于不同组中网络通道之间的相似度，其中，预设网络通道组数越少，网络压缩的比例就越高，反之，压缩得到的网络与第一神经网络就越接近。
例如，同一个网络层中的五个网络通道的特征图对应的特征向量x1、x2、x3、x4和x5之间的余弦相似度分别为cos＜x1,x2＞＝0.95，cos＜x1,x3＞＝0.96，cos＜x1,x4＞＝0.8，cos＜x1,x5＞＝0.86，cos＜x2,x3＞＝0.9，cos＜x2,x4＞＝0.71，cos＜x2,x5＞＝0.82，cos＜x3,x4＞＝0.75，cos＜x4,x5＞＝0.93，其中，当网络通道组数为2时，可以将特征向量x1、x2和x3对应的网络通道分为一组，将特征向量x4和x5对应的网络通道分为一组，其中，同一组中特征向量x1、x2和x3对应的网络通道之间的余弦相似度分别为0.95、0.96和0.9，以及特征向量x4和x5对应的网络通道之间的余弦相似度为0.93，均大于不同组中特征向量对应的网络通道之间的余弦相似度，cos＜x1,x4＞＝0.8，cos＜x1,x5＞＝0.86，cos＜x2,x4＞＝0.71，cos＜x2,x5＞＝0.82，cos＜x3,x4＞＝0.75；当网络通道组数为1时，可以将特征向量x1、x2、x3、x4和x5对应的网络通道分为一组。
本实施例通过采用第一神经网络中网络通道的特征信息，确定第一神经网络中同一个网络层中不同网络通道之间的相似度，可以使相似度体现出网络通道对于图像处理的贡献，在根据相似度，对第一神经网络中同一个网络层中的网络通道进行分组时，可以使相似度能够真实反映网络通道的冗余性，通过根据相似度对网络通道进行分组，可以将具有较高的相似度网络通道分为一组，可以为根据对网络通道的分组有效地消除网络中冗余的网络通道，保证消除网络通道后的网络的精度提供基础。
图5为本公开一些实施例的图像处理装置的结构示意图。该装置可以执行上述任一实施例的方法，该装置可以安装于服务器或终端设备，例如：终端设备可以包括：手机、计算机、机器人、可穿戴设备、车载设备等。如图1所示，该装置包括：图像获取单元510、图像处理单元520和网络处理单元530。其中，
图像获取单元510，用于获取待处理图像.
图像处理单元520，用于将待处理图像输入到目标神经网络进行处理，得到图像处理结果
网络处理单元530，用于获得目标神经网络。网络处理单元530包括：分组子单元531、选择子单元532和压缩子单元533，其中，
分组子单元531，用于根据第一神经网络中各个网络通道之间的相似度，对第一神经网络中的网络通道进行分组。
在本实施例中，关于分组子单元531的说明可以参见图1中关于操作102的说明，故在此不再敷述。
选择子单元532，用于根据分组，确定第一神经网络中至少一个网络通道组中的基准网络通道。
在本实施例中，关于选择子单元532的说明可以参见图1中关于操作104的说明，故在此不再敷述。
压缩子单元533，用于根据至少一个网络通道组中的除基准网络通道以外的网络通道及其与网络通道组中的基准网络通道之间的相似度，更新网络通道组中的基准网络通道的权重，并消除网络通道组中的除基准网络通道以外的网络通道，以得到目标神经网络。
在本实施例中，关于压缩子单元533的说明可以参见图1中关于操作106的说明，故在此不再敷述。
基于本公开实施例提供的图像处理装置，由于在得到目标神经网络时，是利用网络通道之间的相似度对第一神经网络中的网络通道进行分组，并确定网络通道组中的基准网络通道，在根据网络通道组中的除基准网络通道以外的网络通道及其与网络通道组中的基准网络通道之间的相似度，更新网络通道组中的基准网络通道的权重时，可以将网络通道组中待消除的网络通道的信息保留于更新后的基准网络通道的权重中，在消除网络通道组中除基准网络通道以外的网络通道后，可以利用更新后的基准网络通道的权重中保留的被消除的网络通道的信息，使目标神经网络很好地保持与第一神经网络相近的表达性能，从而在保证目标神经网络的精度，保证图像处理的精度，使所得到图像可以满足实际应用的需求的前提下，降低计算量，在保证神经网络的精度的同时实现压缩神经网络，实现神经网络的加速，可以使压缩后的神经网络应用于计算资源受限的移动端。
图6为本公开一些实施例的选择子单元的结构示意图。如图6所示，该选择子单元包括：第一计算模块610和通道选择模块620。其中，
第一计算模块610，用于针对第一神经网络中的一个网络通道组，确定该网络通道组中的每个网络通道与该组内其它网络通道之间的相似度之和。
在本实施例中，关于第一计算模块610的说明可以参见图2中关于操作202的说明，故在此不再敷述。
通道选择模块620，用于将该网络通道组中与该组内其它网络通道之间的相似度之和最大的网络通道，作为该网络通道组的基准网络通道。
在本实施例中，关于通道选择模块620的说明可以参见图2中关于操作204的说明，故在此不再敷述。
本实施例通过确定网络通道组中的每个网络通道与该组内其它网络通道之间的相似度之和，将该网络通道组中与该组内其它网络通道之间的相似度之和最大的网络通道，作为该网络通道组的基准网络通道，可以使所选取出的网络通道组中的基准网络通道与该组内的其它网络通道均具有较高的相似度，从而使基准网络通道更具有代表性，可以作为基准很好表征网络通道组中的其它网络通道。
图7为本公开一些实施例的压缩子单元的结构示意图。如图7所示，该压缩子单元包括：线性组合模块710、通道重组模块720和权重更新模块730。其中，
线性组合模块710，用于确定该网络通道组中的网络通道在下一个网络层中的线性组合。
在本实施例中，关于线性组合模块710的说明可以参见图3中关于操作302的说明，故在此不再敷述。
通道重组模块720，用于根据该网络通道组中的除基准网络通道以外的各个网络通道及其与该网络通道组中的基准网络通道之间的相似度，将线性组合中除基准网络通道以外的网络通道表示为基准网络通道与新的权重的乘积。
在本实施例中，关于通道重组模块720的说明可以参见图3中关于操作304的说明，故在此不再敷述。
权重更新模块730，用于根据新的权重以及线性组合中的基准网络通道的权重之和，更新该网络通道组中的基准网络通道的权重。
在本实施例中，关于权重更新模块730的说明可以参见图3中关于操作306的说明，故在此不再敷述。
本实施例通过利用网络通道组中的网络通道是在下一个网络层中的线性组合，根据一个网络通道组中的除基准网络通道以外的各个网络通道与该网络通道组中的基准网络通道之间的相似度，对该网络通道组中网络通道的线性组合进行线性重组，并根据线性重组后的线性组合中的权重更新该网络通道组中的基准网络通道的权重，可以在后续消除该网络通道组中的除基准网络通道以外的网络通道时，利用更新后的该网络通道组中的基准网络通道的权重中保留的被消除的网络通道的信息，可以使消除网络通道后的压缩网络能够很好地保留原网络的性能，从而保证压缩后的网络的精度，并且可以大幅度降低网络的计算量，减少计算的复杂度，提高网络处理的速度。
图8为本公开一些实施例的分组子单元的结构示意图。如图8所示，该分组子单元包括：特征获取模块810、第二计算模块820和通道分组模块830。其中，
特征获取模块810，用于获取第一神经网络中网络通道的特征信息。
在本实施例中，关于特征获取模块810的说明可以参见图4中关于操作402的说明，故在此不再敷述。
第二计算模块820，用于根据特征信息，确定第一神经网络中同一个网络层中不同网络通道之间的相似度。
可选地，特征获取模块810可以通过第一神经网络对数据集进行处理，得到第一神经网络中各个网络层中的网络通道对应的卷积核提取到的数据集中的每张样本图像的特征信息，第二计算模块820可以针对数据集中的每张样本图像的特征信息，确定第一神经网络中同一个网络层中不同网络通道之间的相似度，通过对由数据集确定的第一神经网络中同一个网络层中不同网络通道之间的相似度进行统计，根据统计的结果得到第一神经网络中同一个网络层中不同网络通道之间的相似度。例如：针对第一神经网络中同一个网络层中的两个网络通道，统计数据集中的各个样本图像确定的这两个网络通道之间的相似度，计算各个样本图像确定这两个网络通道之间的相似度平均值，作为这两个网络通道之间的相似度。其中，基于数据集，采用统计的方法得到第一神经网络中同一个网络层中不同网络通道之间的相似度，可以保证所获得第一神经网络中同一个网络层中不同网络通道之间的相似度的准确性。
通道分组模块830，用于根据相似度，对第一神经网络中同一个网络层中的网络通道进行分组。
可选地，通道分组模块830可以根据对网络压缩程度的需求，预设相似度阈值，根据第一神经网络中同一个网络层中不同网络通道之间的相似度与预设相似度阈值进行比较，对第一神经网络中同一个网络层中的网络通道进行分组，使同一个网络通道组中的不同网络通道之间的相似度大于预设相似度阈值，其中，预设相似度阈值越大，网络通道划分的组数就越多，压缩得到的网络与第一神经网络就越接近。
可选地，为了使压缩后的网络达到需要的压缩比例，通道分组模块830可以预设需要保留的网络通道数，即预设网络层的网络通道组数，基于预设网络通道组数，根据第一神经网络中同一个网络层中不同网络通道之间的相似度，对第一神经网络中同一个网络层中的网络通道进行分组，使同一个网络通道组中的不同网络通道之间的相似度均大于不同组中网络通道之间的相似度，其中，预设网络通道组数越少，网络压缩的比例就越高，反之，压缩得到的网络与第一神经网络就越接近。
本实施例通过采用第一神经网络中网络通道的特征信息，确定第一神经网络中同一个网络层中不同网络通道之间的相似度，可以使相似度体现出网络通道对于图像处理的贡献，在根据相似度，对第一神经网络中同一个网络层中的网络通道进行分组时，可以使相似度能够真实反映网络通道的冗余性，通过根据相似度对网络通道进行分组，可以将具有较高的相似度网络通道分为一组，可以为根据对网络通道的分组有效地消除网络中冗余的网络通道，保证消除网络通道后的网络的精度提供基础。
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图9，其示出了适于用来实现本公开实施例的终端设备或服务器的电子设备900的结构示意图：如图9所示，电子设备900包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)901，和/或一个或多个加速单元913等，加速单元913可包括但不限于GPU、FPGA、其他类型的专用处理器等，处理器可以根据存储在只读存储器(ROM)902中的可执行指令或者从存储部分908加载到随机访问存储器(RAM)903中的可执行指令而执行各种适当的动作和处理。通信部912可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，处理器可与只读存储器902和/或随机访问存储器903中通信以执行可执行指令，通过总线904与通信部912相连、并经通信部912与其他目标设备通信，从而完成本公开实施例提供的任一项方法对应的操作，例如，获取待处理图像；将所述待处理图像输入到目标神经网络进行处理，得到图像处理结果；其中，所述目标神经网络采用以下步骤获得：根据第一神经网络中各个网络通道之间的相似度，对所述第一神经网络中的网络通道进行分组；根据所述分组，确定所述第一神经网络中至少一个网络通道组中的基准网络通道；根据所述至少一个网络通道组中的除基准网络通道以外的网络通道及其与所述网络通道组中的基准网络通道之间的相似度，更新所述网络通道组中的基准网络通道的权重，并消除所述网络通道组中的除基准网络通道以外的网络通道，以得到所述目标神经网络。
此外，在RAM 903中，还可存储有装置操作所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线904彼此相连。在有RAM903的情况下，ROM902为可选模块。RAM903存储可执行指令，或在运行时向ROM902中写入可执行指令，可执行指令使中央处理单元901执行上述通信方法对应的操作。输入/输出(I/O)接口905也连接至总线904。通信部912可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
需要说明的，如图9所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图9的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如加速单元913和CPU901可分离设置或者可将加速单元913集成在CPU901上，通信部912可分离设置，也可集成设置在CPU901或加速单元913上，等等。这些可替换的实施方式均落入本发明公开的保护范围。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本公开实施例提供的方法步骤对应的指令，例如，获取待处理图像；将所述待处理图像输入到目标神经网络进行处理，得到图像处理结果；其中，所述目标神经网络采用以下步骤获得：根据第一神经网络中各个网络通道之间的相似度，对所述第一神经网络中的网络通道进行分组；根据所述分组，确定所述第一神经网络中至少一个网络通道组中的基准网络通道；根据所述至少一个网络通道组中的除基准网络通道以外的网络通道及其与所述网络通道组中的基准网络通道之间的相似度，更新所述网络通道组中的基准网络通道的权重，并消除所述网络通道组中的除基准网络通道以外的网络通道，以得到所述目标神经网络。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本公开的方法中限定的上述功能。
在一个或多个可选实施方式中，本发明实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，该指令被执行时使得计算机执行上述任一可能的实现方式中的图像处理方法。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，该计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，该计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
在一个或多个可选实施方式中，本发明实施例还提供了一种图像处理方法及其对应的装置、电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中，该方法包括：第一装置向第二装置发送图像处理指示，该指示使得第二装置执行上述任一可能的实施例中的图像处理方法；第一装置接收第二装置发送的图像处理结果。
在一些实施例中，该图像处理指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行图像处理，相应地，响应于接收到调用指令，第二装置可以执行上述图像处理方法中的任意实施例中的步骤和/或流程。
应理解，本发明实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本发明实施例的限定。
还应理解，在本发明中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本发明中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
还应理解，本发明对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像输入到目标神经网络进行处理，得到图像处理结果；
其中，所述目标神经网络采用以下步骤获得：
根据第一神经网络中各个网络通道之间的相似度，对所述第一神经网络中的网络通道进行分组；
根据所述分组，确定所述第一神经网络中至少一个网络通道组中的基准网络通道；
根据所述至少一个网络通道组中的除基准网络通道以外的网络通道及其与所述网络通道组中的基准网络通道之间的相似度，更新所述网络通道组中的基准网络通道的权重，并消除所述网络通道组中的除基准网络通道以外的网络通道，以得到所述目标神经网络。
2.根据权利要求1所述的方法，其特征在于，所述根据所述分组，确定所述第一神经网络中至少一个网络通道组中的基准网络通道，包括：
针对所述第一神经网络中的一个网络通道组，确定该网络通道组中的每个网络通道与该组内其它网络通道之间的相似度之和；
将该网络通道组中与该组内其它网络通道之间的相似度之和最大的网络通道，作为该网络通道组的基准网络通道。
3.根据权利要求1或2所述的方法，其特征在于，根据一个网络通道组中的除基准网络通道以外的网络通道及其与该网络通道组中的基准网络通道之间的相似度，更新该网络通道组中的基准网络通道的权重，包括：
确定该网络通道组中的网络通道在下一个网络层中的线性组合；
根据该网络通道组中的除基准网络通道以外的各个网络通道及其与该网络通道组中的基准网络通道之间的相似度，将所述线性组合中除基准网络通道以外的网络通道表示为基准网络通道与新的权重的乘积，其中，所述新的权重中包含除基准网络通道以外的该网络通道的信息；
根据所述新的权重以及所述线性组合中的基准网络通道的权重之和，更新该网络通道组中的基准网络通道的权重。
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述根据第一神经网络中各个网络通道之间的相似度，对所述第一神经网络中的网络通道进行分组，包括：
获取所述第一神经网络中网络通道的特征信息；
根据所述特征信息，确定所述第一神经网络中同一个网络层中不同网络通道之间的相似度；
根据所述相似度，对所述第一神经网络中同一个网络层中的网络通道进行分组。
5.根据权利要求4所述的方法，其特征在于，所述根据所述相似度，对所述第一神经网络中同一个网络层中的网络通道进行分组，包括：
根据所述相似度与预设相似度阈值进行比较，对所述第一神经网络中同一个网络层中的网络通道进行分组，使同一个网络通道组中的不同网络通道之间的相似度大于所述预设相似度阈值。
6.根据权利要求4所述的方法，其特征在于，所述根据所述相似度，对所述第一神经网络中同一个网络层中的网络通道进行分组，包括：
基于预设网络通道组数，根据所述相似度，对所述第一神经网络中同一个网络层中的网络通道进行分组，使同一个网络通道组中的不同网络通道之间的相似度大于不同网络通道组中的网络通道之间的相似度。
7.根据权利要求4至6中任意一项所述的方法，其特征在于，所述获取第一神经网络中网络通道的特征信息，包括：
通过所述第一神经网络对样本图像进行处理，获取所述第一神经网络中网络通道的特征信息。
8.一种图像处理装置，其特征在于，包括：
图像获取单元，用于获取待处理图像；
图像处理单元，用于将所述待处理图像输入到目标神经网络进行处理，得到图像处理结果；
网络处理单元，用于获得所述目标神经网络，所述网络处理单元包括：
分组子单元，用于根据第一神经网络中各个网络通道之间的相似度，对所述第一神经网络中的网络通道进行分组；
选择子单元，用于根据所述分组，确定所述第一神经网络中至少一个网络通道组中的基准网络通道；
压缩子单元，用于根据所述至少一个网络通道组中的除基准网络通道以外的网络通道及其与所述网络通道组中的基准网络通道之间的相似度，更新所述网络通道组中的基准网络通道的权重，并消除所述网络通道组中的除基准网络通道以外的网络通道，以得到所述目标神经网络。
9.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及
处理器，用于执行所述可执行指令从而完成权利要求1至7中任意一项所述的方法。
10.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时实现权利要求1至7中任意一项所述的方法。
CN201910377360.6A 2019-04-30 2019-04-30 图像处理方法及装置、电子设备及计算机存储介质 Active CN111860557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910377360.6A CN111860557B (zh) 2019-04-30 2019-04-30 图像处理方法及装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910377360.6A CN111860557B (zh) 2019-04-30 2019-04-30 图像处理方法及装置、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111860557A true CN111860557A (zh) 2020-10-30
CN111860557B CN111860557B (zh) 2024-05-24

Family

ID=72965918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910377360.6A Active CN111860557B (zh) 2019-04-30 2019-04-30 图像处理方法及装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111860557B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052301A (zh) * 2021-03-29 2021-06-29 商汤集团有限公司 神经网络生成方法、装置、电子设备及存储介质
CN113435385A (zh) * 2021-07-08 2021-09-24 网易（杭州）网络有限公司 脸部的检测模型训练方法、识别方法、装置、介质和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242092A (zh) * 2018-09-29 2019-01-18 深圳市商汤科技有限公司 网络获取及图像处理方法和装置、电子设备、存储介质
WO2019020075A1 (zh) * 2017-07-28 2019-01-31 北京市商汤科技开发有限公司 图像处理方法、装置、存储介质、计算机程序和电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019020075A1 (zh) * 2017-07-28 2019-01-31 北京市商汤科技开发有限公司 图像处理方法、装置、存储介质、计算机程序和电子设备
CN109242092A (zh) * 2018-09-29 2019-01-18 深圳市商汤科技有限公司 网络获取及图像处理方法和装置、电子设备、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
沈雁;王环;戴瑜兴;: "基于改进深度孪生网络的分类器及其应用", 计算机工程与应用, no. 10 *
赵建武;师奕兵;王志刚;: "复用NoC测试SoC内嵌IP芯核的测试规划研究", 计算机工程与应用, no. 15 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052301A (zh) * 2021-03-29 2021-06-29 商汤集团有限公司 神经网络生成方法、装置、电子设备及存储介质
CN113052301B (zh) * 2021-03-29 2024-05-28 商汤集团有限公司 神经网络生成方法、装置、电子设备及存储介质
CN113435385A (zh) * 2021-07-08 2021-09-24 网易（杭州）网络有限公司 脸部的检测模型训练方法、识别方法、装置、介质和设备

Also Published As

Publication number Publication date
CN111860557B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN108229479B (zh) 语义分割模型的训练方法和装置、电子设备、存储介质
CN106557778B (zh) 通用物体检测方法和装置、数据处理装置和终端设备
CN110929780B (zh) 视频分类模型构建、视频分类的方法、装置、设备及介质
CN110084365B (zh) 一种基于深度学习的服务提供系统及方法
CN108154222B (zh) 深度神经网络训练方法和系统、电子设备
CN110431560B (zh) 目标人物的搜索方法和装置、设备和介质
CN108229341B (zh) 分类方法和装置、电子设备、计算机存储介质
CN108229419B (zh) 用于聚类图像的方法和装置
CN108280451B (zh) 语义分割及网络训练方法和装置、设备、介质
CN110929839B (zh) 训练神经网络的方法和装置、电子设备和计算机存储介质
WO2018099473A1 (zh) 场景分析方法和系统、电子设备
CN114330713B (zh) 卷积神经网络模型剪枝方法和装置、电子设备、存储介质
WO2022037541A1 (zh) 图像处理模型训练方法、装置、设备及存储介质
CN110765860A (zh) 摔倒判定方法、装置、计算机设备及存储介质
CN111950723A (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN108491872B (zh) 目标再识别方法和装置、电子设备、程序和存储介质
CN110929836B (zh) 神经网络训练及图像处理方法和装置、电子设备、介质
CN111428557A (zh) 基于神经网络模型的手写签名的自动校验的方法和装置
CN112132279B (zh) 卷积神经网络模型压缩方法、装置、设备及存储介质
CN114186632A (zh) 关键点检测模型的训练方法、装置、设备、存储介质
CN108154153B (zh) 场景分析方法和系统、电子设备
CN111223128A (zh) 目标跟踪方法、装置、设备及存储介质
CN111860557B (zh) 图像处理方法及装置、电子设备及计算机存储介质
Lyu et al. A GPU‐free real‐time object detection method for apron surveillance video based on quantized MobileNet‐SSD
CN114494747A (zh) 模型的训练方法、图像处理方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant