CN113095356B - 一种轻量型神经网络系统及图像处理方法及装置 - Google Patents

一种轻量型神经网络系统及图像处理方法及装置 Download PDF

Info

Publication number
CN113095356B
CN113095356B CN202110237244.1A CN202110237244A CN113095356B CN 113095356 B CN113095356 B CN 113095356B CN 202110237244 A CN202110237244 A CN 202110237244A CN 113095356 B CN113095356 B CN 113095356B
Authority
CN
China
Prior art keywords
network
feature
target
convolution
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110237244.1A
Other languages
English (en)
Other versions
CN113095356A (zh
Inventor
焦继超
张塘昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110237244.1A priority Critical patent/CN113095356B/zh
Publication of CN113095356A publication Critical patent/CN113095356A/zh
Application granted granted Critical
Publication of CN113095356B publication Critical patent/CN113095356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种轻量型神经网络系统及图像处理方法及装置，涉及神经网络技术领域，该轻量型神经网络系统包括：特征提取网络和特征聚合网络，所述特征提取网络用于提取作为输入内容的目标图像的特征矩阵，所述特征聚合网络用于基于所述目标图像的特征矩阵，确定处理结果；所述特征提取网络包括多个提取子网络和融合子网络；其中，每一提取子网络对所述目标图像进行池化下采样，得到该提取子网络对应的特征矩阵；所述融合子网络将各个提取子网络对应的特征矩阵进行矩阵融合，得到所述目标图像的特征矩阵。本方案提供的轻量型神经网络模型可以部署于无法搭载高性能算力的设备内，以使该无法搭载高性能算力的设备可以进行图像处理。

Description

一种轻量型神经网络系统及图像处理方法及装置
技术领域
本发明涉及神经网络技术领域，特别是涉及一种轻量型神经网络系统及图像处理方法及装置。
背景技术
神经网络模型是目前在进行图像处理时，应用较多的一种处理模型。现有技术中，将待处理的目标图像输入至神经网络模型，通过神经网络模型中的多层子网络结构的处理，得到处理结果。
然而，目前的神经网络模型所包含的子网络层较为庞大，使得该神经网络模型对所部署的设备的计算能力有较高要求。当无法搭载高性能算力的设备，如：嵌入式的移动设备，在进行图像处理时，例如：对目标图像内所包含物体的类别进行分类时，容易出现该神经网络模型无法正常运行等问题。因此，如何为无法搭载高性能算力的设备，例如：手机、平板电脑等，提供一种轻量型的神经网络模型进行图像处理，是一种亟待解决的技术问题。
发明内容
本发明实施例的目的在于提供一种轻量型神经网络系统及图像处理方法及装置，以实现为无法搭载高性能算力的设备，提供一种轻量型的神经网络模型进行图像处理的目的。具体技术方案如下：
第一方面，本发明实施例提供了一种轻量型神经网络系统，包括：特征提取网络和特征聚合网络，所述特征提取网络用于提取作为输入内容的目标图像的特征矩阵，所述特征聚合网络用于基于所述目标图像的特征矩阵，确定处理结果；
所述特征提取网络包括多个提取子网络和融合子网络；其中，每一提取子网络对所述目标图像进行池化下采样，得到该提取子网络对应的特征矩阵；所述融合子网络将各个提取子网络对应的特征矩阵进行矩阵融合，得到所述目标图像的特征矩阵。
可选地，所述多个提取子网络包括目标提取子网络以及除所述目标提取子网络以外的其他提取子网络；
所述目标提取子网络用于利用预设的第一低秩卷积核和第二低秩卷积核，依次对所述目标图像进行池化下采样，得到所述目标提取子网络对应的特征矩阵；其中，各低秩卷积核由标准卷积核分解得到，任一低秩卷积核的长度尺寸或宽度尺寸与所述标准卷积核对应的尺寸大小相同，并且，各低秩卷积核的尺寸总和，小于所述标准卷积核的尺寸，所述标准卷积核为长度尺寸与宽度尺寸相同的卷积核；
所述其他提取子网络利用所述标准卷积核，对所述目标图像进行池化下采样，得到所述其他提取子网络对应的特征矩阵。
可选地，所述其他提取子网络包括第一提取子网络和第二提取子网络；
所述第一提取子网络具体用于利用所述标准卷积核，对所述目标图像进行平均值池化方式的下采样，得到所述第一提取子网络对应的参考特征矩阵，并对所述第一提取子网络对应的参考特征矩阵进行压缩，得到所述第一提取子网络对应的特征矩阵；
所述第二提取子网络具体用于利用所述标准卷积核，对所述目标图像进行最大值池化方式的下采样，得到所述第二提取子网络对应的特征矩阵；
所述融合子网络将各个提取子网络对应的特征矩阵进行矩阵融合，包括：
所述融合子网络将所述第二提取子网络对应的特征矩阵与所述目标提取子网络对应的特征矩阵进行拼接，并将所拼接的特征矩阵与所述第一提取子网络对应的特征矩阵进行矩阵融合，得到所述目标图像的特征矩阵。
可选地，所述目标提取子网络包括目标卷积子网络和目标融合子网络，所述目标卷积子网络包括多个卷积支路；所述目标提取子网络用于利用预设的第一低秩卷积核和第二低秩卷积核，依次对所述目标图像进行池化下采样，得到所述目标提取子网络对应的特征矩阵的方式，包括：
所述目标卷积子网络的每一卷积支路采用所述第一低秩卷积核，对该卷积支路的所述目标图像的图像矩阵进行卷积，得到该卷积支路对应的第一特征矩阵；采用所述第二低秩卷积核，对该卷积支路对应的第一特征矩阵进行卷积，得到该卷积支路对应的第二特征矩阵；
所述目标融合子网络用于融合所述多个卷积支路对应的第二特征矩阵，得到融合后的特征矩阵，并根据预设的激活函数，对所述融合后的特征矩阵进行特征映射，得到各卷积支路对应的特征矩阵的权重；
根据各卷积支路对应的特征矩阵的权重，将各卷积支路对应的特征矩阵进行拼接，得到所述目标提取子网络对应的特征矩阵。
可选地，所述特征聚合网络包括：聚合子网络和全连接层子网络；
所述聚合子网络用于对所述特征提取网络所提取的特征矩阵进行分割，得到分割后的多个特征矩阵，针对所述分割后的多个特征矩阵中的目标矩阵，获取待进行卷积的卷积支路数，针对所获取的每一卷积支路，采用所述第一低秩卷积核，对该卷积支路的所述目标矩阵进行卷积，得到该卷积支路对应的第一目标矩阵，采用所述第二低秩卷积核，对该卷积支路对应的第一目标矩阵进行卷积，得到该卷积支路对应的第二目标矩阵；将各卷积支路对应的第二目标矩阵进行拼接，得到拼接后的目标矩阵，将所述拼接后的目标矩阵，与分割后的其余特征矩阵进行拼接，得到拼接后的特征矩阵；所述目标矩阵为所述分割后的多个特征矩阵中的任一矩阵；
所述全连接层子网络用于对所述拼接后的特征矩阵进行压缩，得到压缩后的特征矩阵，并对所述压缩后的特征矩阵进行归一化，得到所述处理结果。
第二方面，本发明实施例还提供了一种图像处理方法，包括：
获取待处理的目标图像；
将所述目标图像输入至预设的轻量型神经网络模型，以使所述轻量型神经网络模型提取所述目标图像的特征矩阵，并基于所述目标图像的特征矩阵，确定处理结果；
其中，所述轻量型神经网络模型为基于样本图像以及所述样本图像的真实标签，对预设的轻量型神经网络系统进行训练后所得到的模型；所述预设的轻量型神经网络系统为第一方面任一所述的轻量型神经网络系统。
可选地，所述轻量型神经网络模型的训练过程包括：
将所述样本图像输入至预设的轻量型神经网络系统，以使所述轻量型神经网络系统提取所述样本图像的特征矩阵，并基于所述样本图像的特征矩阵，确定处理结果；
基于所述样本图像的处理结果和所述真实标签，计算损失值；
基于所述损失值，判断所述轻量型神经网络系统是否收敛，若是，结束训练，得到训练完成的所述轻量型神经网络模型；若否，调整所述轻量型神经网络系统的网络参数，继续训练所述轻量型神经网络系统。
第三方面，本发明实施例还提供了一种图像处理装置，包括：
图像获取模块，用于获取待处理的目标图像；
图像处理模块，用于将所述目标图像输入至预设的轻量型神经网络模型，以使所述轻量型神经网络模型提取所述目标图像的特征矩阵，并基于所述目标图像的特征矩阵，确定处理结果；
其中，所述轻量型神经网络模型为基于样本图像以及所述样本图像的真实标签，对预设的轻量型神经网络系统进行训练后所得到的模型；所述预设的轻量型神经网络系统为第一方面任一所述的轻量型神经网络系统。
第四方面，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现任一所述的图像处理方法步骤。
第五方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现现任一所述的图像处理方法步骤。
本发明实施例有益效果：
本发明实施例提供的轻量型神经网络系统，包括：特征提取网络和特征聚合网络，所述特征提取网络用于提取作为输入内容的目标图像的特征矩阵，所述特征聚合网络用于基于所述目标图像的特征矩阵，确定处理结果；所述特征提取网络包括多个提取子网络和融合子网络；其中，每一提取子网络对所述目标图像进行池化下采样，得到该提取子网络对应的特征矩阵；所述融合子网络将各个提取子网络对应的特征矩阵进行矩阵融合，得到所述目标图像的特征矩阵。本方案中，每一提取子网络对所述目标图像进行池化下采样，通过池化下采样可以减少网络参数，简化了网络计算时的复杂度。可见，本方案提供的轻量型神经网络模型可以部署于无法搭载高性能算力的设备内，以使该无法搭载高性能算力的设备可以进行图像处理。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明实施例的一种轻量型神经网络系统的结构示意图；
图2为本发明实施例的特征提取网络的结构示意图；
图3为本发明实施例的聚合子网络的结构示意图；
图4为本发明实施例的一种图像处理方法的流程图；
图5为本发明实施例的一种图像处理装置的结构示意图；
图6为本发明实施例的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。
为了实现为无法搭载高性能算力的设备，提供一种轻量型的神经网络模型进行图像处理的目的，本发明实施例提供了一种轻量型神经网络系统及图像处理方法、装置。
下面结合图1，对本发明实施例所提供的一种轻量型神经网络系统进行介绍。
如图1所示，本发明实施例所提供的一种轻量型神经网络系统包括：特征提取网络110和特征聚合网络120，该特征提取网络110用于提取作为输入内容的目标图像的特征矩阵，该特征聚合网络120用于基于所述目标图像的特征矩阵，确定处理结果；
该特征提取网络110包括多个提取子网络1101和融合子网络1102；其中，每一提取子网络对所述目标图像进行池化下采样，得到该提取子网络对应的特征矩阵；该融合子网络1102将各个提取子网络对应的特征矩阵进行矩阵融合，得到该目标图像的特征矩阵。
其中，目标图像可以为任一本地存储，或者，可以通过网络下载的图像，并且，该目标图像作为输入内容时，输入的尺寸可以为任一尺寸，例如：32×32、64×64等。
该轻量型神经网络系统可以对目标图像进行多种类型的任务处理，示例性的，对目标图像的任务类型可以包括：对目标图像进行图像分类、语义分割等。相应的，当对目标图像进行图像分类时，该轻量型神经网络系统，对目标图像的处理结果可以为：识别目标图像所包含的对象，示例性的，所识别出的对象可以包括：具体的食物种类，如：苹果、梨等，或者，具体的动物种类，如：猫、狗等等。当对目标图像进行语义分割时，该轻量型神经网络系统，对目标图像的处理结果可以为：识别出目标图像所包含的各个对象的轮廓线位置等。
在具体应用时，在对目标图像进行图像分类时，该轻量型神经网路的输出可以为包含各对象的预测概率的矩阵，例如：[0.2 0.5 0.3]，其中，矩阵的第一元素对应苹果，第二元素对应梨，第三元素对应菠萝，那么，该目标图像的图像分类结果可以为概率值0.5对应的结果，即梨。
其中，每一提取子网络对目标图像进行池化下采样时，可以先提取该目标图像的图像矩阵，该图像矩阵可以为由该目标图像的各个像素值构成的特征矩阵等，每一提取子网络对该目标图像的图像矩阵进行池化下采样。示例性的，每一提取子网络在进行池化下采样时，所利用的卷积核的大小，可以相同，也可以不同，并且，每一提取子网络在利用卷积核进行卷积时，卷积次数可以为一次或多次。此外，每一提取子网络在进行池化下采样时，所采用的池化方式可以为：平均值池化，或者，最大值池化。
该特征聚合网络将各个提取子网络对应的特征矩阵进行矩阵融合的实现方式可以存在多种，示例性的，在一种实现方式中，该特征聚合网络将各个提取子网络对应的特征矩阵进行矩阵融合，可以包括：该特征聚合网络将各个提取子网络对应的特征矩阵相加，并将相加后所得到的特征矩阵，作为该目标图像特征矩阵。
示例性的，在另一种实现方式中，该特征聚合网络将各个提取子网络对应的特征矩阵进行矩阵融合，可以包括：该特征聚合网络将各个提取子网络对应的特征矩阵，按照预设的权重系数进行相加，并将相加后所得到的特征矩阵，作为该目标图像特征矩阵。其中，各个提取子网络对应的特征矩阵的权重系数，可以相同，也可以不同。
本实施例中，每一提取子网络对所述目标图像进行池化下采样，通过池化下采样可以减少网络参数，简化了网络计算时的复杂度。可见，本方案提供的轻量型神经网络模型可以部署于无法搭载高性能算力的设备内，以使该无法搭载高性能算力的设备可以进行图像处理。
可选地，在本发明的另一实施例中，该多个提取子网络包括目标提取子网络以及除该目标提取子网络以外的其他提取子网络；
该目标提取子网络用于利用预设的第一低秩卷积核和第二低秩卷积核，依次对该目标图像进行池化下采样，得到该目标提取子网络对应的特征矩阵；其中，各低秩卷积核由标准卷积核分解得到，任一低秩卷积核的长度尺寸或宽度尺寸与所述标准卷积核对应的尺寸大小相同，并且，各低秩卷积核的尺寸总和，小于该标准卷积核的尺寸，该标准卷积核为长度尺寸与宽度尺寸相同的卷积核；
所述其他提取子网络利用该标准卷积核，对该目标图像进行池化下采样，得到该其他提取子网络对应的特征矩阵。
可以理解的是，一方面，考虑到计算的复杂度，可以仅对目标图像的部分信息进行提取，另一方面，在提取该部分信息时，可能存在遗漏该目标图像的部分重要特征信息。那么，在提取目标图像的特征矩阵时，可以设置多种提取方式，即，该多个提取子网络可以包括目标提取子网络以及除该目标提取子网络以外的其他提取子网络。这样，在提取该目标图像的特征矩阵时，目标提取子网络和其他提取子网络可以提取出不同的特征矩阵。
示例性的，该目标提取子网络在对目标图像进行池化下采样时，所利用的卷积核可以包括第一低秩卷积核和第二低秩卷积核，各低秩卷积核由标准卷积核分解得到，且各低秩卷积核的尺寸总和，小于所述标准卷积核的尺寸。例如：假设标准卷积核为3×3大小的卷积核，那么，第一低秩卷积核可以为3×1大小的卷积核，第二低秩卷积核可以为1×3大小的卷积核，或者，第一低秩卷积核可以为1×3大小的卷积核，第二低秩卷积核可以为3×1大小的卷积核等。
在目标提取子网络利用预设的第一低秩卷积核和第二低秩卷积核，依次对该目标图像进行池化下采样时，该其他提取子网络可以采用该标准卷积核对该目标图像进行池化下采样，其中，该其他提取子网络可以为一个或多个，并且，当该其他提取子网络为多个时，对该目标图像进行下采样所采用的池化方式可以不同。为了方案清楚和布局完整，后续结合另一实施例，对该其他提取子网络进行介绍。
可选地，在本发明的另一实施例中，该其他提取子网络包括第一提取子网络和第二提取子网络；
该第一提取子网络具体用于利用该标准卷积核，对该目标图像进行平均值池化方式的下采样，得到该第一提取子网络对应的参考特征矩阵，并对该第一提取子网络对应的参考特征矩阵进行压缩，得到该第一提取子网络对应的特征矩阵；
所述第二提取子网络具体用于利用该标准卷积核，对该目标图像进行最大值池化方式的下采样，得到该第二提取子网络对应的特征矩阵；
该融合子网络将各个提取子网络对应的特征矩阵进行矩阵融合，包括：
该融合子网络将该第二提取子网络对应的特征矩阵与该目标提取子网络对应的特征矩阵进行拼接，并将所拼接的特征矩阵与该第一提取子网络对应的特征矩阵进行矩阵融合，得到该目标图像对应的特征矩阵。
可以理解的是，当该其他提取子网络包括第一提取子网络和第二提取子网络时，该第一提取子网络和第二提取子网络在对该目标图像进行池化下采样时，所采用的池化方式可以相同，也可以不同。示例性的，该第一提取子网络可以利用该标准卷积核，对该目标图像进行平均值池化方式的下采样，得到该第一提取子网络对应的参考特征矩阵。此外，考虑到下采样过程的计算复杂度，可以对第一提取子网络对应的参考特征矩阵进行压缩。其中，对该第一提取子网络对应的参考特征矩阵进行压缩的实现方式可以存在多种，例如：采用通道注意力和空间注意力机制(Convolutional Block Attention Module，CBAM)对该第一提取子网络对应的参考特征矩阵进行压缩，采用CBAM，可以在不增加整体网络参数的大小的情况下，提高该第一提取子网络对应的特征矩阵的精度。
可以理解的是，当该其他提取子网络包括第一提取子网络和第二提取子网络时，融合子网络可以将该第二提取子网络对应的特征矩阵与该目标提取子网络对应的特征矩阵进行矩阵拼接，并将所拼接的特征矩阵与所述第一提取子网络对应的特征矩阵进行矩阵融合，其中，该融合的具体融合方式可以与特征聚合网络将各个提取子网络对应的特征矩阵进行矩阵融合的融合方式相同，在此不做赘述。
此外，为了方便该轻量型神经网络系统对目标图像进行处理，可以在得到目标图像的特征矩阵后，利用激活函数对该目标图像的特征矩阵进行非线性变换，该激活函数可以包括多种，例如：线性整流函数(Rectified Linear Unit，ReLU，PRelu)等。
可选地，在本发明的另一实施例中，该目标提取子网络包括目标卷积子网络和目标融合子网络，该目标卷积子网络包括多个卷积支路；该目标提取子网络包括多个卷积支路；该目标提取子网络用于利用预设的第一低秩卷积核和第二低秩卷积核，依次对该目标图像进行池化下采样，得到该目标提取子网络对应的特征矩阵的方式，包括：
该目标提取子网络的每一卷积支路采用该第一低秩卷积核，对该卷积支路的该目标图像的图像矩阵进行卷积，得到该卷积支路对应的第一特征矩阵；采用该第二低秩卷积核，对该卷积支路对应的第一特征矩阵进行卷积，得到该卷积支路对应的第二特征矩阵；
该目标融合子网络用于融合该多个卷积支路对应的第二特征矩阵，得到融合后的特征矩阵，并根据预设的激活函数，对该融合后的特征矩阵进行特征映射，得到各卷积支路对应的特征矩阵的权重；
根据各卷积支路对应的特征矩阵的权重，将各卷积支路对应的特征矩阵进行拼接，得到该目标提取子网络对应的特征矩阵。
在通过池化方式进行采样时，为了在保证计算量较低的情况下提高目标图像的处理结果的精度，该目标提取子网络可以包括目标卷积子网络和目标融合子网络，其中，该目标卷积子网络可以包括多个卷积支路。该目标卷积子网络可以为空洞卷积(dilatedconvolution)子网络，并且，每一卷积支路所进行的卷积操作可以相同，也可以不同。例如：每一卷积支路所包括的卷积操作可以为：3×1的深度卷积+最大值池化+1×3的深度卷积(3×1depthwise convolution+maxpool+1×3depthwise convolution)，或者，3×1的深度卷积+平均池化+1×3的深度卷积(3×1depthwise convolution+avgpool+1×3depthwiseconvolution)等。可以理解的是，为了消除空洞卷积所带来的栅格效应(The GriddingEffect)，可以为每一卷积支路设置不同的空洞率，例如：空洞率为1、2等等。
另外，为了进一步降低卷积时的计算量，可以在该目标卷子网络之前增加用于降低目标图像的维度的参考卷积子网络，该参考卷积子网络可以存在多种，示例性的，该参考卷积子网络可以为逐点分组卷积(pointwise group convolution)子网络等，并且，该逐点分组卷积子网络的分组数可以根据需要进行调整，例如，分组数可以为：2、3、4等等，且，该逐点分组卷积子网络的卷积核可以为1×1。此外，为了降低逐点分组卷积对各卷积支路的相关性的负影响，可以在每个分组进行逐点分组卷积后，将各个分组得到的卷积结果进行通道混洗(channel shuffle)。那么，相对于现有技术，本发明实施例当采用上述逐点分组卷积子网络以及空洞卷积子网络时，网络参数的数量可以下降至现有技术的(Md/g+(n^2+d)dK)/(Md/g+(2n+d)dK)倍，其中，M为输入的目标图像的通道数量，d为设置的空洞卷积的空洞率，g为逐点分组卷积的分组数目，n为卷积核的大小，K为输出的特征矩阵的通道数量。
考虑到各卷积支路所得到的卷积结果，即第二特征矩阵可能不同，则各卷积支路所提取到的目标图像的特征可能不同，那么，各个卷积支路的重要程度可以不同。这样，在将各个卷积支路的结果进行拼接前，可以先对各卷积支路对应的第二特征矩阵进行矩阵融合，并对融合后的特征矩阵进行特征融合来确定各个卷积支路的重要程度。示例性的，该各卷积支路对应的第二特征矩阵进行矩阵融合时，可以采用融合公式进行融合，所采用的融合公式可以包括：
其中，fusion map表征融合后的特征矩阵，i为卷积支路的数量，out为各卷积支路的卷积结果。
示例性的，在一种实现方式中，根据预设的激活函数，对融合后的特征矩阵进行特征映射，可以包括：对融合后的特征矩阵进行全局池化(global pooling)，并采用第一激活函数，对池化后的特征矩阵进行处理，得到激活处理结果；对该激活处理结果进行归一化，并对归一化后的结果进行1×1的卷积操作，得到卷积结果；采用第二激活函数，对该卷积结果进行处理，得到各卷积支路对应的特征矩阵的权重。其中，在进行全局池化时，池化方式可以为全局平均池化(global avgpooling)，和/或，全局最大池化(global maxpooling)，示例性的，当采用global avgpooling和global maxpooling时，所得到的池化结果可以为：
Fscore(fusion map)＝α*avgpool(fusion map)+β*maxpool(fusion map)
其中，Fscore(fusion map)表征池化结果，α和β均为超参数，fusion map表征融合后的特征矩阵。第一激活函数可以为PReLU激活函数，第二激活函数可以为softmax激活函数。
示例性的，在一种实现方式中，根据预设的激活函数，对融合后的特征矩阵进行特征映射，可以包括：根据预设的激活函数，采用预设的特征映射公式，对融合后的特征矩阵进行特征映射；其中，预设的特征映射公式可以包括：
F1(x)＝hsigmoid(B(w1*x))
F2(x)＝w2*x
Score＝F2(F1(x))
其中，B表征批量归一化(BatchNorm)，F2为softmax函数，sigmoid为激活函数，F1表征sigmoid激活函数的处理结果，x表征输入，即融合后的特征矩阵，Score表征权重，w1和w2表征网络参数。
可以理解的是，在得到各卷积支路对应的特征矩阵的权重后，可以根据各卷积支路对应的特征矩阵的权重，将各卷积支路对应的特征矩阵进行拼接，得到该目标提取子网络对应的特征矩阵。
可选地，在本发明实施例中，特征聚合网络包括：聚合子网络和全连接层子网络；
该聚合子网络用于对该特征提取网络所提取的特征矩阵进行分割，得到分割后的多个特征矩阵，针对该分割后的多个特征矩阵中的目标矩阵，获取待进行卷积的卷积支路数，针对每一卷积分支，采用该第一低秩卷积核，对该卷积支路的该目标矩阵进行卷积，得到该卷积支路对应的第一目标矩阵，采用该第二低秩卷积核，对该卷积支路对应的第一目标矩阵进行卷积，得到该卷积支路对应的第二目标矩阵；将各卷积支路对应的第二目标矩阵进行拼接，得到拼接后的目标矩阵，将该拼接后的目标矩阵，与分割后的其余特征矩阵进行拼接，得到拼接后的特征矩阵；该目标矩阵为该分割后的多个特征矩阵中的任一矩阵；
该全连接层子网络用于对该拼接后的特征矩阵进行压缩，得到压缩后的特征矩阵，并对该压缩后的特征矩阵进行归一化，得到该处理结果。
其中，聚合子网络在对所提取的特征矩阵进行分割时，可以按照一定的分割比例进行分割，或者，均匀分割，这都是合理的，并且，分割得到的多个特征矩阵可以为两个，或两个以上。在对所获取的每一卷积支路，进行卷积时，所采用的第一低秩卷积核和第二低秩卷积核可以与目标提取子网络对目标图像进行池化下采样时，所采用的第一低秩卷积核和第二低秩卷积核相同。
此外，当多个特征矩阵的数量为两个以上时，该拼接后的目标矩阵，与分割后的其余特征矩阵进行拼接时，可以从所分割后的其余特征矩阵终，选取该其余矩阵中的任一矩阵作为基础矩阵，在该拼接后的目标矩阵，与分割后的除该基础矩阵以外的其余特征矩阵进行拼接后，将所拼接的结果与该基础矩阵再进行拼接，得到最终拼接结果，并将该最终拼接结果作为拼接后的特征矩阵。
示例性的，假设分割后的多个特征矩阵包括矩阵A1、矩阵A2和矩阵A3，其中，矩阵A3为目标矩阵，A1和A2为其余矩阵，并且，A1为基础矩阵。那么，将该拼接后的目标矩阵，与分割后的其余特征矩阵进行拼接，得到拼接后的特征矩阵，可以包括：将拼接后的矩阵A3与A2进行拼接，并将所拼接的结果与A1进行拼接，得到最终拼接结果，并将该最终拼接结果作为拼接后的特征矩阵。
为了提高计算效率，根据内存访问量公式：可知，其中，MAC表征内存访问量，h为输入图像，即本发明实施例中的目标图像的长度，w为输入图像的宽度，B表征批量处理数量(Batchsize)，k为通道数。当卷积输入的通道(channel)数目与输出数据保持一致的时候，可以使MAC达到最小，从而使得计算效率达到最高。那么，为了减少参数量，在对该特征提取网络所提取的特征矩阵进行分割前，可以采用1×1的逐点分组卷积，对该特征提取网络所提取的特征矩阵进行卷积，以降低该特征提取网络所提取的特征矩阵的维度，并在逐点分组卷积后，进行通道混洗，得到待分割的特征矩阵，从而进一步对待分割的特征矩阵进行分割，得到分割后的多个特征矩阵。相应的，在得到拼接后的目标矩阵后，与分割后的其余特征矩阵进行拼接之前，可以对拼接后的目标矩阵进行升维，得到升维后的目标矩阵，使得升维后的目标矩阵的维度，与分割后的其余特征矩阵的维度可以相同。对拼接后的目标矩阵进行升维，可以存在多种方式，例如：采用1×1的逐点分组卷积对拼接后的目标矩阵进行升维，并对升维结果进行通道混洗，得到升维后的目标矩阵。
可以理解的是，为了方便得到目标图像的处理结果，可以采用全连接层子网络对聚合子网络得到的拼接后的特征矩阵进行压缩。示例性的，在一种实现方式中，该全连接层子网络对该拼接后的特征矩阵进行压缩，可以包括：该全连接层子网络采用预设的激活函数，对该拼接后的特征矩阵进行压缩。其中，该预设的激活函数可以存在多种，例如：ReLU函数等。此外，对压缩后的特征矩阵进行归一化的方式可以存在多种，例如：采用softmax函数对压缩后的特征矩阵进行归一化等。
为了方案清楚，下面结合图2和图3，对本发明实施例所提供的一种轻量型神经网络系统进行介绍。其中，图2为特征提取网络的结构图，图3为聚合子网络的结构图。
该轻量型神经网络系统包括：特征提取网络和特征聚合网络；该特征提取网络用于提取作为输入内容的目标图像的特征矩阵，该特征聚合网络用于基于所述目标图像的特征矩阵，确定处理结果。
其中，特征提取网络包括三个提取子网络和融合子网络，该三个提取子网络包括第一提取子网络，目标提取子网络以及第二提取子网络。
该目标提取子网络包括目标卷积子网络和目标融合子网络，该目标卷积子网络用于采用g＝4的逐点分组卷积(对应图中2中Gconv)，对目标图像的图像矩阵进行卷积，得到分组卷积结果，其中，g表征分组数；采用空洞卷积对该分组卷积结果进行卷积，得到空洞卷积对应的特征矩阵；其中，该空洞卷积的卷积支路包括第一支路(图2中d＝1的支路)、第二支路(图2中d＝2的支路)、第三支路(图2中d＝3的支路)和第四支路(图2中d＝4的支路)，空洞卷积对应的特征矩阵包括各卷积支路对应的特征矩阵(out1、out2、out3、out4)；第一支路和第三支路的卷积方式为：3×1的深度卷积(DDConvert3×1)+最大池化+1×3的深度卷积(DDConvert1×3)，第二支路和第四支路的卷积方式为：3×1的深度卷积+平均池化+1×3的深度卷积；
该目标融合子网络通过引入多分支打分机制(multiBranch score)，得到得到各卷积支路对应的特征矩阵的权重(Spatial Score)；示例性的，该目标融合子网络用于将各卷积支路对应的特征矩阵进行矩阵融合(add)，得到融合后的特征矩阵，并对融合后的特征矩阵进行全局平均池化和全局最大池化(Global Pool)，得到池化结果，采用PReLU激活函数，对池化结果进行处理，得到激活处理结果；对该激活处理结果进行归一化，并对归一化后的结果进行1×1的卷积操作(conv1×1+bn+relu)，得到参考卷积结果；采用1×1的卷积核对该卷积结果再次进行卷积操作(conv1×1)，得到卷积结果；采用softmax函数，对该卷积结果进行处理，得到各卷积支路对应的特征矩阵的权重；将各卷积支路对应的特征矩阵的权重，与该卷积支路对应的特征矩阵相乘，得到该卷积支路对应的第一相关特征矩阵；采用g＝4逐点分组卷积(Gconv1×1(g＝4))，对各卷积支路对应的相关特征矩阵进行卷积，得到各卷积支路对应的第二相关特征矩阵；将各卷积支路对应的第二相关特征矩阵进行拼接(Concat)，得到该目标提取子网络对应的特征矩阵。
第一提取子网络用于对目标图像的图像矩阵采用平均值池化(3×3Avgpool(s＝2，Repeat＝Px))进行下采样，得到该第一提取子网络对应的参考特征矩阵；采用深度卷积(DwConv3×3)，对该第一提取子网络对应的参考特征矩阵进行卷积操作，得到该第一提取子网络对应的卷积参考特征矩阵；采用逐点卷积(PwConv3×3)对该第一提取子网络对应的卷积参考特征矩阵进行卷积，得到该第一提取子网络对应的卷积特征矩阵；采用通道注意力(Channel attention)和空间注意力(Spatial attention)机制，确定通道加权值和空间加权值，并分别将该通道加权值和空间加权值与该第一提取子网络对应的卷积特征矩阵相乘，得到该第一提取子网络对应的特征矩阵。
第二提取子网络用于对目标图像的图像矩阵采用最大值池化(3×3Maxpool(s＝2))进行下采样，得到该第二提取子网络对应的特征矩阵。
该融合子网络用于将该目标提取子网络对应的特征矩阵与该第二提取子网络对应的特征矩阵进行拼接，将所拼接的特征矩阵与该第一提取子网络对应的特征矩阵进行矩阵融合，得到该目标图像的特征矩阵。
该特征聚合网络包括：聚合子网络和全连接层子网络。
该聚合子网络用于对该目标图像的特征矩阵进行通道混并分割(Shuffle andSplit)得到分割后的三个特征矩阵；针对该分割后的三个特征矩阵中的目标矩阵，采用逐点分组卷积，对目标矩阵进行卷积，并将卷积结果进行通道混洗(Gconv(g＝3)+Shuffle)，得到混洗后的目标矩阵；获取待进行卷积的三个卷积支路(d＝1，d＝2，d＝3)，针对所获取的每一卷积支路，采用3×1的深度卷积(DDConvert3×1)+1×3的深度卷积(DDConvert1×3)，对该卷积支路的该混洗后的目标矩阵进行卷积，得到该卷积支路对应的第二目标矩阵；将各卷积支路对应的第二目标矩阵进行拼接，得到拼接后的目标矩阵；采用逐点分组卷积(Gconv(g＝3))，对该拼接后的目标矩阵进行卷积，得到拼接后的参考目标特征矩阵；将该拼接后的参考目标特征矩阵，与分割后的其余两个特征矩阵进行拼接，得到拼接后的特征矩阵。
该全连接层子网络用于采用ReLU函数，对该拼接后的特征矩阵进行压缩处理，得到压缩后的特征矩阵，并对该压缩后的特征矩阵进行归一化，得到处理结果。
下面结合图4，对本发明实施例提供的一种图像处理方法进行介绍。
如图4所示，本发明实施例提供的一种图像处理方法应用于电子设备，在实际应用中，该电子设备可以为终端设备，例如：智能手机、平板电脑等，或者服务器。该图像处理方法，可以包括：
S401，获取待处理的目标图像；
可以理解的是，该目标图像可以为本地存储的样本图像库中的任一图像，也可以为任一张通过网络下载到的图像，那么，获取待处理的目标图像的实现方式可以存在多种。示例性的，在一种实现方式中，获取待处理的目标图像，可以包括：从本地存储的样本图像库中，获取待处理的目标图像。
S402，将该目标图像输入至预设的轻量型神经网络模型，以使该轻量型神经网络模型提取该目标图像的特征矩阵，并基于该目标图像的特征矩阵，确定处理结果；
其中，该轻量型神经网络模型为基于样本图像以及该样本图像的真实标签，对预设的轻量型神经网络系统进行训练后所得到的模型；该预设的轻量型神经网络系统为上述实施例中的任一轻量型神经网络系统。该轻量型神经网络系统的结构可以参见上述实施例，在此不做赘述。
本实施例中，在对目标图像进行处理时，每一提取子网络对该目标图像进行池化下采样，通过池化下采样可以减少网络参数，简化了网络计算时的复杂度。可见，本方案提供的轻量型神经网络模型可以部署于无法搭载高性能算力的设备内，以使该无法搭载高性能算力的设备可以进行图像处理。
可选地，本发明的实施例中，所述轻量型神经网络模型的训练过程包括：
将所述样本图像输入至预设的轻量型神经网络系统，以使所述轻量型神经网络系统提取所述样本图像的特征矩阵，并基于所述样本图像的特征矩阵，确定处理结果；
基于所述样本图像的处理结果和所述真实标签，计算损失值；
基于所述损失值，判断所述轻量型神经网络系统是否收敛，若是，结束训练，得到训练完成的所述轻量型神经网络模型；若否，调整所述轻量型神经网络系统的网络参数，继续训练所述轻量型神经网络系统。
如图5所示，本发明实施例还提供了一种图像处理装置，包括：
图像获取模块510，用于获取待处理的目标图像；
图像处理模块520，用于将所述目标图像输入至预设的轻量型神经网络模型，以使所述轻量型神经网络模型提取所述目标图像的特征矩阵，并基于所述目标图像的特征矩阵，确定处理结果；
其中，所述轻量型神经网络模型为基于样本图像以及所述样本图像的真实标签，对预设的轻量型神经网络系统进行训练后所得到的模型；所述预设的轻量型神经网络系统为上述实施例中的任一的轻量型神经网络系统。
本实施例中，在对目标图像进行处理时，每一提取子网络对该目标图像进行池化下采样，通过池化下采样可以减少网络参数，简化了网络计算时的复杂度。可见，本方案提供的轻量型神经网络模型可以部署于无法搭载高性能算力的设备内，以使该无法搭载高性能算力的设备可以进行图像处理。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信；
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现上述任一图像处理方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像处理方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质等实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种轻量型神经网络系统，其特征在于，包括：特征提取网络和特征聚合网络，所述特征提取网络用于提取作为输入内容的目标图像的特征矩阵，所述特征聚合网络用于基于所述目标图像的特征矩阵，确定处理结果；所述处理结果为：所述目标图像所包含的对象，或者所述目标图像所包含的各个对象的轮廓线位置；
所述特征提取网络包括多个提取子网络和融合子网络；其中，每一提取子网络对所述目标图像进行池化下采样，得到该提取子网络对应的特征矩阵；所述融合子网络将各个提取子网络对应的特征矩阵进行矩阵融合，得到所述目标图像的特征矩阵；每一提取子网络具体用于：提取所述目标图像的图像矩阵，对所述图像矩阵进行池化下采样，所述图像矩阵为由所述目标图像的各个像素值构成的特征矩阵；
所述多个提取子网络包括目标提取子网络以及除所述目标提取子网络以外的其他提取子网络；
所述目标提取子网络用于利用预设的第一低秩卷积核和第二低秩卷积核，依次对所述目标图像进行池化下采样，得到所述目标提取子网络对应的特征矩阵；其中，各低秩卷积核由标准卷积核分解得到，任一低秩卷积核的长度尺寸或宽度尺寸与所述标准卷积核对应的尺寸大小相同，并且，各低秩卷积核的尺寸总和，小于所述标准卷积核的尺寸，所述标准卷积核为长度尺寸与宽度尺寸相同的卷积核；
所述其他提取子网络利用所述标准卷积核，对所述目标图像进行池化下采样，得到所述其他提取子网络对应的特征矩阵；
所述其他提取子网络包括第一提取子网络和第二提取子网络；
所述第一提取子网络具体用于利用所述标准卷积核，对所述目标图像进行平均值池化方式的下采样，得到所述第一提取子网络对应的参考特征矩阵，并对所述第一提取子网络对应的参考特征矩阵进行压缩，得到所述第一提取子网络对应的特征矩阵；
所述第二提取子网络具体用于利用所述标准卷积核，对所述目标图像进行最大值池化方式的下采样，得到所述第二提取子网络对应的特征矩阵；
所述融合子网络将各个提取子网络对应的特征矩阵进行矩阵融合，包括：
所述融合子网络将所述第二提取子网络对应的特征矩阵与所述目标提取子网络对应的特征矩阵进行拼接，并将所拼接的特征矩阵与所述第一提取子网络对应的特征矩阵进行矩阵融合，得到所述目标图像的特征矩阵。
2.根据权利要求1所述的网络系统，其特征在于，所述目标提取子网络包括目标卷积子网络和目标融合子网络，所述目标卷积子网络包括多个卷积支路；所述目标提取子网络用于利用预设的第一低秩卷积核和第二低秩卷积核，依次对所述目标图像进行池化下采样，得到所述目标提取子网络对应的特征矩阵的方式，包括：
所述目标卷积子网络的每一卷积支路采用所述第一低秩卷积核，对该卷积支路的所述目标图像的图像矩阵进行卷积，得到该卷积支路对应的第一特征矩阵；采用所述第二低秩卷积核，对该卷积支路对应的第一特征矩阵进行卷积，得到该卷积支路对应的第二特征矩阵；
所述目标融合子网络用于融合所述多个卷积支路对应的第二特征矩阵，得到融合后的特征矩阵，并根据预设的激活函数，对所述融合后的特征矩阵进行特征映射，得到各卷积支路对应的特征矩阵的权重；
根据各卷积支路对应的特征矩阵的权重，将各卷积支路对应的特征矩阵进行拼接，得到所述目标提取子网络对应的特征矩阵。
3.根据权利要求1所述的网络系统，其特征在于，所述特征聚合网络包括：聚合子网络和全连接层子网络；
所述聚合子网络用于对所述特征提取网络所提取的特征矩阵进行分割，得到分割后的多个特征矩阵，针对所述分割后的多个特征矩阵中的目标矩阵，获取待进行卷积的卷积支路数，针对所获取的每一卷积支路，采用所述第一低秩卷积核，对该卷积支路的所述目标矩阵进行卷积，得到该卷积支路对应的第一目标矩阵，采用所述第二低秩卷积核，对该卷积支路对应的第一目标矩阵进行卷积，得到该卷积支路对应的第二目标矩阵；将各卷积支路对应的第二目标矩阵进行拼接，得到拼接后的目标矩阵，将所述拼接后的目标矩阵，与分割后的其余特征矩阵进行拼接，得到拼接后的特征矩阵；所述目标矩阵为所述分割后的多个特征矩阵中的任一矩阵；
所述全连接层子网络用于对所述拼接后的特征矩阵进行压缩，得到压缩后的特征矩阵，并对所述压缩后的特征矩阵进行归一化，得到所述处理结果。
4.一种图像处理方法，其特征在于，包括：
获取待处理的目标图像；
将所述目标图像输入至预设的轻量型神经网络模型，以使所述轻量型神经网络模型提取所述目标图像的特征矩阵，并基于所述目标图像的特征矩阵，确定处理结果；所述处理结果为：所述目标图像所包含的对象，或者所述目标图像所包含的各个对象的轮廓线位置；
其中，所述轻量型神经网络模型为基于样本图像以及所述样本图像的真实标签，对预设的轻量型神经网络系统进行训练后所得到的模型；所述预设的轻量型神经网络系统为权利要求1-3任一项所述的网络系统。
5.根据权利要求4所述的方法，其特征在于，所述轻量型神经网络模型的训练过程包括：
将所述样本图像输入至预设的轻量型神经网络系统，以使所述轻量型神经网络系统提取所述样本图像的特征矩阵，并基于所述样本图像的特征矩阵，确定处理结果；
基于所述样本图像的处理结果和所述真实标签，计算损失值；
基于所述损失值，判断所述轻量型神经网络系统是否收敛，若是，结束训练，得到训练完成的所述轻量型神经网络模型；若否，调整所述轻量型神经网络系统的网络参数，继续训练所述轻量型神经网络系统。
6.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取待处理的目标图像；
图像处理模块，用于将所述目标图像输入至预设的轻量型神经网络模型，以使所述轻量型神经网络模型提取所述目标图像的特征矩阵，并基于所述目标图像的特征矩阵，确定处理结果；所述处理结果为：所述目标图像所包含的对象，或者所述目标图像所包含的各个对象的轮廓线位置；
其中，所述轻量型神经网络模型为基于样本图像以及所述样本图像的真实标签，对预设的轻量型神经网络系统进行训练后所得到的模型；所述预设的轻量型神经网络系统为权利要求1-3任一项所述的网络系统。
7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求4或5所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求4或5所述的方法。
CN202110237244.1A 2021-03-03 2021-03-03 一种轻量型神经网络系统及图像处理方法及装置 Active CN113095356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110237244.1A CN113095356B (zh) 2021-03-03 2021-03-03 一种轻量型神经网络系统及图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110237244.1A CN113095356B (zh) 2021-03-03 2021-03-03 一种轻量型神经网络系统及图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN113095356A CN113095356A (zh) 2021-07-09
CN113095356B true CN113095356B (zh) 2023-10-31

Family

ID=76666331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110237244.1A Active CN113095356B (zh) 2021-03-03 2021-03-03 一种轻量型神经网络系统及图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN113095356B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113611315B (zh) * 2021-08-03 2023-09-22 南开大学 基于轻量化卷积神经网络的声纹识别方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN108764063A (zh) * 2018-05-07 2018-11-06 华中科技大学 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
CN111079781A (zh) * 2019-11-07 2020-04-28 华南理工大学 基于低秩与稀疏分解的轻量化卷积神经网络图像识别方法
CN111079570A (zh) * 2019-11-29 2020-04-28 北京奇艺世纪科技有限公司 一种人体关键点识别方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205813B (zh) * 2016-12-16 2022-06-03 微软技术许可有限责任公司 基于学习网络的图像风格化

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN108764063A (zh) * 2018-05-07 2018-11-06 华中科技大学 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
CN111079781A (zh) * 2019-11-07 2020-04-28 华南理工大学 基于低秩与稀疏分解的轻量化卷积神经网络图像识别方法
CN111079570A (zh) * 2019-11-29 2020-04-28 北京奇艺世纪科技有限公司 一种人体关键点识别方法、装置及电子设备

Also Published As

Publication number Publication date
CN113095356A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN108427708B (zh) 数据处理方法、装置、存储介质和电子装置
CN110969066B (zh) 直播视频的识别方法、装置及电子设备
WO2022042123A1 (zh) 图像识别模型生成方法、装置、计算机设备和存储介质
WO2020098121A1 (zh) 快速模型的训练方法、装置、计算机设备及存储介质
CN111898703A (zh) 多标签视频分类方法、模型训练方法、装置及介质
CN113095356B (zh) 一种轻量型神经网络系统及图像处理方法及装置
CN114332500A (zh) 图像处理模型训练方法、装置、计算机设备和存储介质
CN111126626A (zh) 一种训练方法、装置、服务器、平台及存储介质
CN113011532A (zh) 分类模型训练方法、装置、计算设备及存储介质
CN114155388B (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN110929118B (zh) 网络数据处理方法、设备、装置、介质
US20220358362A1 (en) Data processing method, electronic device and computer-readable medium
CN113704528A (zh) 聚类中心确定方法、装置和设备及计算机存储介质
CN115935274A (zh) 转售行为识别模型训练方法、装置、设备及存储介质
CN114077885A (zh) 基于张量分解的模型压缩方法、装置和服务器
CN113645059B (zh) 切片确定方法、装置、计算机设备和存储介质
CN114372205B (zh) 特征量化模型的训练方法、装置以及设备
CN110119745B (zh) 深度学习模型的压缩方法、装置、计算机设备及存储介质
CN113302657B (zh) 一种神经网络压缩方法和装置
CN113705589A (zh) 数据处理方法、装置及设备
CN114219972A (zh) 图像的分类方法、装置、存储介质及电子装置
CN115690530A (zh) 对象识别模型训练方法、装置、电子设备及存储介质
CN115661733A (zh) 行人重识别方法及装置
CN116339939A (zh) 基于人工智能的云服务平台任务调度方法及系统
CN117648455A (zh) 图像搜索方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant