CN111507985A - 图像实例分割优化处理方法、装置和计算机设备 - Google Patents

图像实例分割优化处理方法、装置和计算机设备 Download PDF

Info

Publication number
CN111507985A
CN111507985A CN202010194266.XA CN202010194266A CN111507985A CN 111507985 A CN111507985 A CN 111507985A CN 202010194266 A CN202010194266 A CN 202010194266A CN 111507985 A CN111507985 A CN 111507985A
Authority
CN
China
Prior art keywords
network
model
image
sub
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010194266.XA
Other languages
English (en)
Inventor
张少林
宁欣
石园
刘江宽
支金林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wave Wisdom Security And Safety Technology Co ltd
Original Assignee
Beijing Wave Wisdom Security And Safety Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wave Wisdom Security And Safety Technology Co ltd filed Critical Beijing Wave Wisdom Security And Safety Technology Co ltd
Priority to CN202010194266.XA priority Critical patent/CN111507985A/zh
Publication of CN111507985A publication Critical patent/CN111507985A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像实例分割优化处理方法、装置和计算机设备。所述方法包括：获取图像实例分割任务，所述图像实例分割任务携带待分割图像以及模型标识；对所述模型标识对应的实例分割模型进行解析，得到所述实例分割模型对应的原模型网络；调用预设子网络，根据所述预设子网络对所述原模型网络进行更换，得到目标模型网络；对所述目标模型网络中的所述预设子网络进行剪枝处理，得到剪枝处理后的实例分割模型；将所述待分割图像输入至所述剪枝处理后的实例分割模型，对所述待分割图像进行预测运算，得到图像实例分割结果。采用本方法能够减少不必要的计算时间消耗。

Description

图像实例分割优化处理方法、装置和计算机设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像实例分割优化处理方法、装置、计算机设备和存储介质。
背景技术
随着互联网技术的发展，图像处理技术得到了广泛应用。作为图像处理技术中一个新分支的图像实例分割，受到广泛关注。图像实例分割是指从图像中用目标检测方法框出不同实例，再用语义分割方法在不同实例区域内进行像素标记，即实例分割是目标检测与语义分割的结合。图像实例分割既需要对图像的所有对象进行正确的识别与检测，又需要对每个实例进行精确地分割。传统方式中，实例分割效率最高的一种实现方式是通过YOLACT(You Only Look At CoefficienTs，只考虑系数)实例分割模型对图像进行实例分割。
然而，传统方式中，YOLACT实例分割模型中部分子网络的网络结构较大，导致图像实例分割的计算量较大，导致不必要的计算时间消耗。因此，如何通过优化传统的YOLACT实例分割模型以减少不必要的计算时间消耗成为目前需要解决的一个技术问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够通过优化传统的YOLACT实例分割模型以减少不必要的时间消耗的图像实例分割优化处理方法、装置、计算机设备和存储介质。
一种图像实例分割优化处理方法，所述方法包括：
获取图像实例分割任务，所述图像实例分割任务携带待分割图像以及模型标识；
对所述模型标识对应的实例分割模型进行解析，得到所述实例分割模型对应的原模型网络；
调用预设子网络，根据所述预设子网络对所述原模型网络进行更换，得到目标模型网络；
对所述目标模型网络中的所述预设子网络进行剪枝处理，得到剪枝处理后的实例分割模型；
将所述待分割图像输入至所述剪枝处理后的实例分割模型，对所述待分割图像进行预测运算，得到图像实例分割结果。
在其中一个实施例中，所述对所述目标模型网络中的所述预设子网络进行剪枝处理，得到剪枝处理后的实例分割模型包括：
获取与所述预设子网络对应的通道缩放因子；
根据所述通道缩放因子将所述目标模型网络中所述预设子网络的网络通道进行排列；
对所述排列后的网络通道进行剪枝处理，得到剪枝处理后的实例分割模型。
在其中一个实施例中，所述根据所述预设子网络对所述原模型网络进行更换，得到目标模型网络包括：
根据所述预设子网络在所述原模型网络中确定待更换子网络；
将所述预设子网络对所述待更换子网络进行更换，得到目标模型网络。
在其中一个实施例中，在根据所述预设子网络对所述原模型网络进行更换，得到目标模型网络之后，还包括：
获取训练图像集；
通过所述训练图像集对所述目标模型网络进行训练，直至满足第一训练条件，得到第一模型网络。
在其中一个实施例中，在所述获取训练图像集之后，还包括：
对所述训练图像集进行预处理，得到预处理后的训练图像集；
通过第一训练策略以及所述预处理后的训练图像集对所述目标模型网络进行训练。
在其中一个实施例中，在根据所述预设子网络对所述原模型网络进行更换，得到目标模型网络之后，还包括：
对所述目标模型网络进行正则化处理，得到正则化处理后的目标模型网络；
获取训练图像集；
通过第二训练策略以及所述训练图像集对所述正则化处理后的目标模型网络进行稀疏化训练，直至满足第二训练条件，得到第二模型网络。
在其中一个实施例中，对所述目标模型网络中的所述预设子网络进行剪枝处理，得到剪枝处理后的实例分割模型之后，还包括：
将所述剪枝处理后的实例分割模型中的正则化部分进行过滤；
获取训练图像集；
根据所述训练图像集对所述过滤后的实例分割模型进行调整，直至满足预设条件。
一种图像实例分割优化处理装置，所述装置包括：
获取模块，用于获取图像实例分割任务，所述图像实例分割任务携带待分割图像以及模型标识；
解析模块，用于对所述模型标识对应的实例分割模型进行解析，得到所述实例分割模型对应的原模型网络；
更换模块，用于调用预设子网络，根据所述预设子网络对所述原模型网络进行更换，得到目标模型网络；
剪枝模块，用于对所述目标模型网络中的所述预设子网络进行剪枝处理，得到剪枝处理后的实例分割模型；
预测模块，用于将所述待分割图像输入至所述剪枝处理后的实例分割模型，对所述待分割图像进行预测运算，得到图像实例分割结果。
在其中一个实施例中，所述剪枝模块还用于获取与所述预设子网络对应的通道缩放因子；根据所述通道缩放因子将所述目标模型网络中所述预设子网络的网络通道进行排列；对所述排列后的网络通道进行剪枝处理，得到剪枝处理后的实例分割模型。
在其中一个实施例中，所述更换模块还用于根据所述预设子网络在所述原模型网络中确定待更换子网络；将所述预设子网络对所述待更换子网络进行更换，得到目标模型网络。
一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
上述图像实例分割优化处理方法、装置、计算机设备和存储介质，获取图像实例分割任务，图像实例分割任务携带待分割图像以及模型标识。通过对模型标识对应的实例分割模型进行解析，得到实例分割模型，从而调用预设子网络对原模型网络进行更换，并对预设子网络进行剪枝处理。进而通过剪枝处理后的实例分割模型对待分割图像进行预测运算，得到图像实例分割结果。由于原模型网络中部分子网络的网络结构较大，通过预设子网络进行网络更换以及剪枝处理，减小了原模型网络的网络结构，同时减少了网络结构中的网络通道数量，从而有效减少了图像实例分割的计算量，减少了不必要的计算时间消耗，从而进一步提高了图像的实例分割效率，另外，也降低了模型占用的存储空间。
附图说明
图1为一个实施例中图像实例分割优化处理方法的应用环境图；
图2为一个实施例中图像实例分割优化处理方法的流程示意图；
图3为一个实施例中对目标模型网络中的预设子网络进行剪枝处理，得到剪枝处理后的实例分割模型步骤的流程示意图；
图4为一个实施例中优化后的YOLACT实例分割模型与经典的YOLACT实例分割模型的结果对比示意图；
图5为一个实施例中图像实例分割优化处理装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像实例分割优化处理方法，可以应用于终端，也可以应用于服务器。以应用于服务器为例进行说明，可以应用于如图1所示的应用环境中。终端102与服务器104通过网络进行连接。服务器104获取终端102上传的图像实例分割任务，图像实例分割任务携带待分割图像以及模型标识。服务器104对模型标识对应的实例分割模型进行解析，得到实例分割模型对应的原模型网络。服务器104调用预设子网络，通过预设子网络对原模型网络进行更换，得到目标模型网络。服务器104对目标模型网络中的预设子网络进行剪枝处理，得到剪枝处理后的实例分割模型。服务器104将待分割模型输入至剪枝处理后的实例分割模型，对待分割图像进行预测运算，得到图像实例分割结果。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种图像实例分割优化处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，获取图像实例分割任务，图像实例分割任务携带待分割图像以及模型标识。
图像实例分割是指通过目标检测方法对图像进行检测，框出多个实例区域，再通过语义分割方法在每个实例区域内进行像素标记，即实例分割是目标检测与语义分割的结合。其中，多个实例区域可以是不同的。实例分割既需要对图像中的所有对象进行正确的识别与检测，又需要对每个实例进行精确地分割。
具体的，终端可以在用户需要进行图像实例分割时，根据获取到的待分割图像，以及根据接收到的用户的操作指令确定对应的实例分割模型，生成携带待分割图像以及模型标识的图像实例分割任务。终端也可以根据实际需求调用对应的实例分割模型，生成图像实例分割任务。实例分割任务中携带模型标识。模型标识是指实例分割模型对应的标识，用于标记实例分割模型，是实例分割模型的唯一标识。终端可以将实例分割任务上传至服务器进行图像实例分割。
步骤204，对模型标识对应的实例分割模型进行解析，得到实例分割模型对应的原模型网络。
服务器对获取到的图像实例分割任务进行解析，得到待分割图像以及模型标识，从而根据模型标识获取对应的实例分割模型。实例分割模型可以是预先训练后，配置在服务器中的。例如，实例分割模型可以是YOLACT(You Only Look At CoefficienTs，只考虑系数)实例分割模型。YOLACT实例分割模型属于一种完全卷积神经网络模型。
服务器可以根据模型标识调用实例分割模型，对实例分割模型进行解析，得到实例分割模型对应的原模型网络。原模型网络是指服务器调用的实例分割模型对应的神经网络结构。实例分割模型可以包括多个计算层，每个计算层可以对应数据操作。计算层与计算层之间可以存在条件或关联关系。例如，一些计算层的输出可以为对应计算层的输入。实例分割模型包括的计算层以及计算层之间的关联关系构成了实例分割模型对应的原模型网络。原模型网络中可以包括多个模型子网络。在原模型网络中，计算层与计算层之间的关联关系以及先后顺序都是固定的，对于不同的实例分割模型可以对应不同的网络结构。例如，当实例分割模型为YOLACT实例分割模型时，YOLACT实例分割模型可以包括输入层、卷积层以及输出层等。YOLACT实例分割模型对应的原模型网络为YOLACT网络。
步骤206，调用预设子网络，根据预设子网络对原模型网络进行更换，得到目标模型网络。
服务器可以调用预设子网络。预设子网络可以是根据用户需求预先设置的，与模型标识相对应的子网络，用于对原模型网络进行优化。预设子网络可以包括多个计算层以及多个计算层之间的关联关系，计算层之间的关联关系具体可以包括计算层之间的逻辑条件和输入输出关系。原模型网络中可以包括多个模型子网络。服务器可以根据预设子网络在原模型网络中确定待更换子网络。待更换子网络为原模型网络中可以进行优化的部分网络结构。进而服务器利用预设子网络更换该待更换子网络，得到目标模型网络，实现对原模型网络进行网络更换。
服务器根据预设子网络对原模型网络进行更换之后，可以对更换后得到的目标模型网络进行训练，当目标模型网络的损失不再下降时，停止网络训练。
步骤208，对目标模型网络中的预设子网络进行剪枝处理，得到剪枝处理后的实例分割模型。
目标模型网络中包括预设子网络。服务器对预设子网络进行剪枝处理。具体的，预设子网络中包括多个网络通道，剪枝处理可以是对预设子网络中的网络通道进行剪枝处理。服务器通过获取与预设子网络对应的通道缩放因子，根据通道缩放因子将预设子网络的网络通道进行排列，进而对排列后的网络通道进行剪枝，直接剪去该部分通道在网络中的连接。服务器保留剪枝后的预设子网络，得到剪枝处理后的实例分割模型。
步骤210，将待分割图像输入至剪枝处理后的实例分割模型，对待分割图像进行预测运算，得到图像实例分割结果。
服务器将解析得到的待分割图像输入至剪枝处理后的实例分割模型中，通过剪枝处理后的实例分割模型对待分割图像进行推理，输出图像实例分割结果。具体的，服务器通过实例分割模型中的预设子网络对待分割图像进行特征提取，输出特征图。特征图为卷积网络对输入图像进行运算后的高维抽象表示。特征图通过后续分支子模型网络的预测运算，可以得到对应的图像实例分割结果。
目标模型网络可以包括预设子网络在内的多个模型子网络。多个模型子网络之间存在先后顺序关系。预设子网络之后存在两个并行的分支子模型网络，第一分支子模型网络以及第二分支子模型网络。其中，第一分支子模型网络可以用于预测图像的原型掩膜(prototype mask)。第二分支子模型网络可以用于预测图像的掩膜系数(maskcoefficients)、检测框以及图像中物体的类别。
服务器将预设子网络输出的特征图作为第一分支子模型网络以及第二分支子模型网络的输入，通过第一分支子模型网络对特征图进行预测运算，输出待分割图像的原型掩膜。通过第二分支子模型网络对特征图进行预测运算，输出待分割图像的掩膜系数、检测框以及待分割图像中物体的类别。服务器将第一分支子模型网络以及第二分支子模型网络的输出结果进行线性组合，得到待分割图像对应的图像实例分割结果。线性组合的方式可以是针对每一个检测框中的实例，将对应的掩膜系数与原型掩膜进行相乘，并累加，得到线性组合结果，即图像实例分割结果。
例如，当目标模型网络为剪枝处理后的YOLACT模型网络时，第一分支子模型网络可以是protonet。protonet可以是基于全卷积网络(Fully Convolution Networks，简称FCN)实现的。第二分支子模型网络可以是Prediction Head网络。
在本实施例中，服务器获取图像实例分割任务，图像实例分割任务携带待分割图像以及模型标识。通过对模型标识对应的实例分割模型进行解析，得到实例分割模型，从而调用预设子网络对原模型网络进行更换，并对预设子网络进行剪枝处理。进而通过剪枝处理后的实例分割模型对待分割图像进行预测运算，得到图像实例分割结果。由于原模型网络中部分子网络的网络结构较大，通过预设子网络进行网络更换以及剪枝处理，减小了原模型网络的网络结构，同时减少了网络结构中的网络通道数量，从而有效减少了图像实例分割的计算量，减少了不必要的计算时间消耗，从而进一步提高了图像的实例分割效率，另外，也降低了模型占用的存储空间。
在一个实施例中，如图3所示，对目标模型网络中的预设子网络进行剪枝处理，得到剪枝处理后的实例分割模型的步骤，具体包括：
步骤302，获取与预设子网络对应的通道缩放因子。
步骤304，根据通道缩放因子将目标模型网络中预设子网络的网络通道进行排列。
步骤306，对排列后的网络通道进行剪枝处理，得到剪枝处理后的实例分割模型。
预设子网络可以包括多个网络通道，每个网络通道的BN(Batch Normalization，批量标准化)层对应一个通道缩放因子。服务器获取预设子网络中所有网络通道的BN层对应的通道缩放因子。服务器将预设子网络中的多个网络通道根据通道缩放因子按照从小到大的顺序进行排列。服务器中预先设置有通道保留比例阈值。例如，通道保留比例阈值可以是0.5。服务器可以将通道缩放因子中(1-通道保留比例阈值)比例的网络通道进行剪枝，即直接剪去该部分通道在预设子网络中的连接。例如，当通道保留比例阈值是为0.5时，服务器剪去通道缩放因子中50％比例的网络通道，实现将预设子网络中的网络通道进行剪枝处理，得到剪枝处理后的实例分割模型。
在本实施例中，服务器获取与预设子网络对应的通道缩放因子，根据通道缩放因子将目标模型网络中预设子网络的网络通道进行排列，从而根据预设通道参数(通道保留比例阈值)对排列后的网络通道进行剪枝处理，能够将预设子网络中对图像实例分割影响较小的通道剪去，进一步减少了预设子网络的计算量，从而提高了实例分割模型的图像实例分割效率。
在一个实施例中，根据预设子网络对原模型网络进行更换，得到目标模型网络包括：根据预设子网络在原模型网络中确定待更换子网络；将预设子网络对待更换子网络进行更换，得到目标模型网络。
服务器调用预设子网络，预设子网络用于对原模型网络进行优化。根据预设子网络在原模型网络的多个子模型网络中确定待更换子网络。待更换子网络为可以进行优化的子模型网络。服务器进而根据预设子网络对待更换子网络进行更换，实现原模型网络的网络结构优化。
例如，当原模型网络为YOLACT网络时，服务器中预先配置的预设子网络为ResNet50。服务器根据ResNet50确定YOLACT网络中的待更换网络为ResNet101。待更换网络ResNet101为特征提取网络。进而将ResNet50对ResNet101进行更换，使得YOLACT网络中的特征提取网络变为ResNet50。
在本实施例中，服务器根据预设子网络在原模型网络中确定待更换子网络，将预设子网络对待更换子网络进行更换，得到目标模型网络。由于预设子网络的网络结构小于待更换子网络，通过网络更换，减小了原模型网络的网络结构，减少了实例分割模型占用的存储空间，使其更容易在实际场景中部署实施。
在一个实施例中，在根据预设子网络对原模型网络进行更换，得到目标模型网络之后，还包括：获取训练图像集；通过训练图像集对目标模型网络进行训练，直至满足第一训练条件，得到第一模型网络。
服务器在得到网络更换后的目标模型网络后，可以对目标模型网络进行训练。具体的，服务器获取训练图像集。训练图像集中可以包括多个样本图像。例如，训练图像集可以是COCO2017训练集。服务器将目标模型网络在训练图像集上进行训练，直至满足第一训练条件，服务器停止对目标模型网络进行训练，以及将满足第一训练条件的目标模型网络作为第一模型网络。第一训练条件可以是对目标模型网络的损失不再下降，此时，通过训练图像集对目标模型网络训练64epochs(遍历一次训练图像集中所有样本图像)。
在本实施例中，服务器通过训练图像集对目标模型网络进行训练，直至满足第一训练条件，得到第一模型网络。能够得到损失稳定的第一模型网络，通过第一模型网络进行图像实例分割，能够有效提高图像实例分割的准确性。
在一个实施例中，在获取训练图像集之后，还包括：对训练图像集进行预处理，得到预处理后的训练图像集；通过第一训练策略以及预处理后的训练图像集对目标模型网络进行训练。
预处理可以是将训练图像集中的训练图像裁切或者放大到预设尺寸。例如，预设尺寸可以是550*550。服务器中预先设置有第一训练策略。第一训练策略可以是根据实际需要设置的。第一训练策略可以包括batchsize(1次迭代所使用的样本量)、初始学习率、学习率衰减策略。例如，可以设置batchsize为8，初始学习率为0.001，学习率衰减策略为在epochs(对训练图像集中所有样本图像的遍历次数)为20、40、50、55时，学习率依次衰减10倍。服务器通过第一训练策略以及预处理后的训练图像集对目标模型网络进行训练，直至满足第一训练条件，服务器停止对目标模型网络进行训练，以及将满足第一训练条件的目标模型网络作为第一模型网络。第一训练条件可以是对目标模型网络的损失不再下降，此时，通过训练图像集对目标模型网络训练64epochs(遍历一次训练图像集中所有样本图像)。
在本实施例中，服务器对训练图像集进行预处理，进而通过第一训练策略以及预处理后的训练图像集对所述目标模型网络进行训练，能够将训练图像集进行统一化，有利于提高目标模型训练的准确性以及训练效率。
在一个实施例中，在根据预设子网络对原模型网络进行更换，得到目标模型网络之后，还包括：对目标模型网络进行正则化处理，得到正则化处理后的目标模型网络；获取训练图像集；通过第二训练策略以及训练图像集对正则化处理后的目标模型网络进行稀疏化训练，直至满足第二训练条件，得到第二模型网络。
服务器在进行网络更换之后，还可以对更换后得到的目标模型网络进行稀疏化训练。具体的，服务器在目标模型网络的损失函数中添加正则化项，实现对目标模型网络进行正则化处理，得到正则化处理后的目标模型网络。正则化项可以用如下公式进行表示：
Figure BDA0002416993190000131
其中，L1表示正则化项，λ表示超参数，可以设为0.00001，γ表示通道缩放因子，Γ为预设子网络中所有通道的BN层缩放因子的集合。
服务器可以通过计算BN层激活值，得到对应的通道缩放因子γ。BN层激活值的可以用如下公式表示：
Figure BDA0002416993190000132
zout＝γz′+β (3)
其中，zin表示BN层的输入，μβ表示BN层每个输入batch的平均值，σβ表示BN层每个输入batch的标准差，
Figure BDA0002416993190000133
为网络参数固定值，zout表示BN层的输出，γ表示通道缩放因子，β表示通道的偏置量，γ和β均为网络可以学习的参数。
服务器中预先设置有第二训练策略。第二训练策略可以是根据实际需要设置的。第二训练策略可以包括batchsize(1次迭代所使用的样本量)以及学习率。例如，可以设置batchsize为8，学习率为0.000001。服务器通过第二训练策略以及训练图像集对正则化处理后的目标模型网络进行稀疏化训练，直至满足第二训练条件，服务器停止稀疏化训练。第二训练条件可以是正则化处理后的目标模型网络损失不再下降，保持稳定。服务器将满足第二训练条件的正则化处理后的目标模型网络作为第二模型网络。此时，通过训练图像集对正则化处理后的目标模型网络训练12epochs(遍历一次训练图像集中所有样本图像)。
服务器在通过第二训练策略以及训练图像集对正则化处理后的目标模型网络进行稀疏化训练之前，还可以将训练图像集中的训练图像裁切或者放大到预设尺寸。例如，预设尺寸可以是550*550。
在本实施例中，服务器对目标模型网络进行正则化处理，能够对目标模型网络的损失函数进行限制，为后续的稀疏化训练做准备。通过第二训练策略以及训练图像集对正则化处理后的目标模型网络进行稀疏化训练，直至满足第二训练条件。
在一个实施例中，对目标模型网络中的预设子网络进行剪枝处理，得到剪枝处理后的实例分割模型之后，还包括：将剪枝处理后的实例分割模型中的正则化部分进行过滤；获取训练图像集；根据训练图像集对过滤后的实例分割模型进行调整，直至满足预设条件。
服务器对剪枝后的实例分割模型的损失函数中的正则化部分进行过滤，从而根据训练图像集对过滤后的实例分割模型进行调整。具体的，服务器中预先设置有batchsize(1次迭代所使用的样本量)以及学习率。例如，可以设置batchsize为8，学习率为0.00001。服务器将训练图像集中的训练图像进行预处理，预处理方式可以是将训练图像裁切或者放大到预设尺寸。例如，预设尺寸可以是550*550。从而服务器根据预处理后的训练图像集对过滤后的实例分割模型进行调整，直至满足预设条件，服务器停止调整过程，得到损失稳定的实例分割模型，有利于提高实例分割模型的实例分割准确性。预设条件可以是过滤后的实例分割模型的损失函数不再下降，保持稳定。此时，通过预处理后的训练图像集对过滤后的实例分割模型训练2epochs(遍历一次训练图像集中所有样本图像)。
在一个实施例中，服务器在对过滤后的实例分割模型进行调整，直至满足预设条件之后，可以将调整后的实例分割模型进行保存。服务器计算调整后的实例分割模型的存储空间。服务器将计算得到的实例分割模型的存储空间与预设模型标识对应的实例分割模型的存储空间进行比较，得到存储空间比较结果。服务器可以通过比较存储空间来验证调整后的实例分割模型能够有效节省存储资源。
在一个实施例中，服务器计算剪枝处理后的实例分割模型的存储空间。服务器计算得到的实例分割模型的存储空间与预设模型标识对应的实例分割模型的存储空间进行比较，得到存储空间比较结果。服务器计算在GPU上，剪枝处理后的实例分割模型的预测单张图像的耗时，将计算得到的预测耗时与预设模型标识对应的实例分割模型的预测耗时进行比较，得到第一耗时比较结果。服务器计算在CPU上，剪枝处理后的实例分割模型的预测单张图像的耗时，将计算得到的预测耗时与预设模型标识对应的实例分割模型的预测耗时进行比较，得到第二耗时比较结果。服务器计算剪枝处理后的实例分割模型的分割精确度，将计算得到的实例分割模型的分割精确度与预设模型标识对应的实例分割模型的分割精确度进行比较，得到精确度比较结果。服务器根据存储空间比较结果、第一耗时比较结果、第二耗时比较结果以及精确度比较结果来验证剪枝处理后的实例分割模型能够有效减小模型存储空间，提升运行速度。
例如，当剪枝处理后的实例分割模型为优化后的YOLACT实例分割模型时，模型标识对应的实例分割模型为经典的YOLACT实例分割模型。服务器可以根据计算得到的存储空间比较结果、第一耗时比较结果、第二耗时比较结果以及精确度比较结果建立结果对比图，如图4所示。其中，服务器计算得到优化后的YOLACT实例分割模型的存储空间为51MB，经典的YOLACT实例分割模型的存储空间为194MB，存储空间减少了73.7％。服务器计算在GPU上，优化后的YOLACT实例分割模型预测单张图像的耗时为18.36ms，经典的YOLACT实例分割模型在GPU上预测单张图像的耗时为35.48ms，运行速度提高了48.2％。服务器计算在CPU上，优化后的YOLACT实例分割模型预测单张图像的耗时为613ms，经典的YOLACT实例分割模型在GPU上预测单张图像的耗时为860ms，运行速度提高了28.7％。服务器计算优化后的YOLACT实例分割模型的分割精确度为28.6，经典的YOLACT实例分割模型的分割精确度为29.8，分割精确度只下降了4％。
应该理解的是，虽然图2至3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种图像实例分割优化处理装置，包括：获取模块502、解析模块504、更换模块506、剪枝模块508和预测模块510，其中：
获取模块502，用于获取图像实例分割任务，图像实例分割任务携带待分割图像以及模型标识。
解析模块504，用于对模型标识对应的实例分割模型进行解析，得到实例分割模型对应的原模型网络。
更换模块506，用于调用预设子网络，根据预设子网络对原模型网络进行更换，得到目标模型网络。
剪枝模块508，用于对目标模型网络中的预设子网络进行剪枝处理，得到剪枝处理后的实例分割模型。
预测模块510，用于将待分割图像输入至剪枝处理后的实例分割模型，对待分割图像进行预测运算，得到图像实例分割结果。
在一个实施例中，剪枝模块508还用于获取与预设子网络对应的通道缩放因子；根据通道缩放因子将目标模型网络中预设子网络的网络通道进行排列；根据预设通道参数(通道保留比例阈值)对排列后的网络通道进行剪枝处理，得到剪枝处理后的实例分割模型。
在一个实施例中，更换模块506还用于根据预设子网络在原模型网络中确定待更换子网络；将预设子网络对待更换子网络进行更换，得到目标模型网络。
在一个实施例中，上述装置还包括：第一训练模块，用于获取训练图像集；通过训练图像集对目标模型网络进行训练，直至满足第一训练条件，得到第一模型网络。
在一个实施例中，上述装置还包括：预处理模块，用于对训练图像集进行预处理，得到预处理后的训练图像集；通过第一训练策略以及预处理后的训练图像集对目标模型网络进行训练。
在一个实施例中，上述装置还包括：第二训练模块，用于对目标模型网络进行正则化处理，得到正则化处理后的目标模型网络；获取训练图像集；通过第二训练策略以及训练图像集对正则化处理后的目标模型网络进行稀疏化训练，直至满足第二训练条件，得到第二模型网络。
在一个实施例中，上述装置还包括：调整模块，用于将剪枝处理后的实例分割模型中的正则化部分进行过滤；获取训练图像集；根据训练图像集对过滤后的实例分割模型进行调整，直至满足预设条件。
关于图像实例分割优化处理装置的具体限定可以参见上文中对于图像实例分割优化处理方法的限定，在此不再赘述。上述图像实例分割优化处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像实例分割结果。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像实例分割优化处理方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述各个实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像实例分割优化处理方法，其特征在于，所述方法包括：
获取图像实例分割任务，所述图像实例分割任务携带待分割图像以及模型标识；
对所述模型标识对应的实例分割模型进行解析，得到所述实例分割模型对应的原模型网络；
调用预设子网络，根据所述预设子网络对所述原模型网络进行更换，得到目标模型网络；
对所述目标模型网络中的所述预设子网络进行剪枝处理，得到剪枝处理后的实例分割模型；
将所述待分割图像输入至所述剪枝处理后的实例分割模型，对所述待分割图像进行预测运算，得到图像实例分割结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标模型网络中的所述预设子网络进行剪枝处理，得到剪枝处理后的实例分割模型包括：
获取与所述预设子网络对应的通道缩放因子；
根据所述通道缩放因子将所述目标模型网络中所述预设子网络的网络通道进行排列；
对所述排列后的网络通道进行剪枝处理，得到剪枝处理后的实例分割模型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述预设子网络对所述原模型网络进行更换，得到目标模型网络包括：
根据所述预设子网络在所述原模型网络中确定待更换子网络；
将所述预设子网络对所述待更换子网络进行更换，得到目标模型网络。
4.根据权利要求1所述的方法，其特征在于，在根据所述预设子网络对所述原模型网络进行更换，得到目标模型网络之后，还包括：
获取训练图像集；
通过所述训练图像集对所述目标模型网络进行训练，直至满足第一训练条件，得到第一模型网络。
5.根据权利要求4所述的方法，其特征在于，在所述获取训练图像集之后，还包括：
对所述训练图像集进行预处理，得到预处理后的训练图像集；
通过第一训练策略以及所述预处理后的训练图像集对所述目标模型网络进行训练。
6.根据权利要求1所述的方法，其特征在于，在根据所述预设子网络对所述原模型网络进行更换，得到目标模型网络之后，还包括：
对所述目标模型网络进行正则化处理，得到正则化处理后的目标模型网络；
获取训练图像集；
通过第二训练策略以及所述训练图像集对所述正则化处理后的目标模型网络进行稀疏化训练，直至满足第二训练条件，得到第二模型网络。
7.根据权利要求1至6所述的方法，其特征在于，对所述目标模型网络中的所述预设子网络进行剪枝处理，得到剪枝处理后的实例分割模型之后，还包括：
将所述剪枝处理后的实例分割模型中的正则化部分进行过滤；
获取训练图像集；
根据所述训练图像集对所述过滤后的实例分割模型进行调整，直至满足预设条件。
8.一种图像分割优化处理装置，其特征在于，所述装置包括：
获取模块，用于获取图像实例分割任务，所述图像实例分割任务携带待分割图像以及模型标识；
解析模块，用于对所述模型标识对应的实例分割模型进行解析，得到所述实例分割模型对应的原模型网络；
更换模块，用于调用预设子网络，根据所述预设子网络对所述原模型网络进行更换，得到目标模型网络；
剪枝模块，用于对所述目标模型网络中的所述预设子网络进行剪枝处理，得到剪枝处理后的实例分割模型；
预测模块，用于将所述待分割图像输入至所述剪枝处理后的实例分割模型，对所述待分割图像进行预测运算，得到图像实例分割结果。
9.根据权利要求8所述的装置，其特征在于，所述剪枝模块还用于获取与所述预设子网络对应的通道缩放因子；根据所述通道缩放因子将所述目标模型网络中所述预设子网络的网络通道进行排列；对所述排列后的网络通道进行剪枝处理，得到剪枝处理后的实例分割模型。
10.根据权利要求8所述的装置，其特征在于，所述更换模块还用于根据所述预设子网络在所述原模型网络中确定待更换子网络；将所述预设子网络对所述待更换子网络进行更换，得到目标模型网络。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202010194266.XA 2020-03-19 2020-03-19 图像实例分割优化处理方法、装置和计算机设备 Pending CN111507985A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010194266.XA CN111507985A (zh) 2020-03-19 2020-03-19 图像实例分割优化处理方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010194266.XA CN111507985A (zh) 2020-03-19 2020-03-19 图像实例分割优化处理方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN111507985A true CN111507985A (zh) 2020-08-07

Family

ID=71877897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010194266.XA Pending CN111507985A (zh) 2020-03-19 2020-03-19 图像实例分割优化处理方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN111507985A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001294A (zh) * 2020-08-19 2020-11-27 福建船政交通职业学院 一种基于yolact++的车身表面损伤检测及掩膜生成方法和存储设备
CN112364716A (zh) * 2020-10-23 2021-02-12 岭东核电有限公司 核电设备异常信息检测方法、装置和计算机设备
JP2022548341A (ja) * 2020-08-21 2022-11-18 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド 目標モデルの取得
CN116664539A (zh) * 2023-06-14 2023-08-29 中南大学 用于处理透水型水稳再生骨料混合料数字图像的方法及装置
CN116721342A (zh) * 2023-06-05 2023-09-08 淮阴工学院 一种基于深度学习的杂交稻种质量识别装置
CN116721342B (zh) * 2023-06-05 2024-06-11 淮阴工学院 一种基于深度学习的杂交稻种质量识别装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709568A (zh) * 2016-12-16 2017-05-24 北京工业大学 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN108985229A (zh) * 2018-07-17 2018-12-11 北京果盟科技有限公司 一种基于深度神经网络的智能广告替换方法及系统
CN109598340A (zh) * 2018-11-15 2019-04-09 北京知道创宇信息技术有限公司 卷积神经网络的裁剪方法、装置及存储介质
US10551846B1 (en) * 2019-01-25 2020-02-04 StradVision, Inc. Learning method and learning device for improving segmentation performance to be used for detecting road user events using double embedding configuration in multi-camera system and testing method and testing device using the same
CN110782467A (zh) * 2019-10-24 2020-02-11 新疆农业大学 基于深度学习和图像处理的马体尺测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709568A (zh) * 2016-12-16 2017-05-24 北京工业大学 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN108985229A (zh) * 2018-07-17 2018-12-11 北京果盟科技有限公司 一种基于深度神经网络的智能广告替换方法及系统
CN109598340A (zh) * 2018-11-15 2019-04-09 北京知道创宇信息技术有限公司 卷积神经网络的裁剪方法、装置及存储介质
US10551846B1 (en) * 2019-01-25 2020-02-04 StradVision, Inc. Learning method and learning device for improving segmentation performance to be used for detecting road user events using double embedding configuration in multi-camera system and testing method and testing device using the same
CN110782467A (zh) * 2019-10-24 2020-02-11 新疆农业大学 基于深度学习和图像处理的马体尺测量方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001294A (zh) * 2020-08-19 2020-11-27 福建船政交通职业学院 一种基于yolact++的车身表面损伤检测及掩膜生成方法和存储设备
CN112001294B (zh) * 2020-08-19 2023-05-12 福建船政交通职业学院 一种基于yolact++车身表面损伤检测及掩膜生成方法和存储设备
JP2022548341A (ja) * 2020-08-21 2022-11-18 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド 目標モデルの取得
CN112364716A (zh) * 2020-10-23 2021-02-12 岭东核电有限公司 核电设备异常信息检测方法、装置和计算机设备
CN116721342A (zh) * 2023-06-05 2023-09-08 淮阴工学院 一种基于深度学习的杂交稻种质量识别装置
CN116721342B (zh) * 2023-06-05 2024-06-11 淮阴工学院 一种基于深度学习的杂交稻种质量识别装置
CN116664539A (zh) * 2023-06-14 2023-08-29 中南大学 用于处理透水型水稳再生骨料混合料数字图像的方法及装置
CN116664539B (zh) * 2023-06-14 2024-03-12 中南大学 用于处理透水型水稳再生骨料混合料数字图像方法及装置

Similar Documents

Publication Publication Date Title
CN111507985A (zh) 图像实例分割优化处理方法、装置和计算机设备
CN112258528B (zh) 图像处理方法和装置、电子设备
CN111192292A (zh) 基于注意力机制与孪生网络的目标跟踪方法及相关设备
CN111199523B (zh) 电力设备识别方法、装置、计算机设备和存储介质
CN112163628A (zh) 一种适用于嵌入式设备的改进目标实时识别网络结构的方法
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN109712128A (zh) 特征点检测方法、装置、计算机设备和存储介质
CN112232426A (zh) 目标检测模型的训练方法、装置、设备及可读存储介质
CN116188331B (zh) 一种建设工程施工状态变化监测方法及系统
CN113888514A (zh) 导地线缺陷检测方法、装置、边缘计算设备和存储介质
CA3136990A1 (en) PRINCIPAL POINT DETECTION METHOD OF A HUMAN BODY, APPARATUS, COMPUTER DEVICE AND STORAGE MEDIA
CN111985340A (zh) 基于神经网络模型的人脸识别方法、装置和计算机设备
CN112001294A (zh) 一种基于yolact++的车身表面损伤检测及掩膜生成方法和存储设备
CN115674272A (zh) 机器人故障诊断方法、装置、设备以及存储介质
CN112102269B (zh) 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质
CN111679970B (zh) 机器人软件系统运行环境状态预测方法
US20230343137A1 (en) Method and apparatus for detecting key point of image, computer device and storage medium
WO2024011859A1 (zh) 一种基于神经网络的人脸检测方法和装置
CN115690704B (zh) 基于LG-CenterNet模型的复杂道路场景目标检测方法及装置
CN114494441A (zh) 基于深度学习的葡萄及其采摘点同步识别定位方法、装置
CN115481728A (zh) 输电线路缺陷检测方法、模型剪枝方法、设备和介质
CN114037858A (zh) 一种基于泰勒展开的图像分类网络层剪枝方法
CN112000428B (zh) 基于机器学习的jvm调优方法、装置和电子装置
CN113033422A (zh) 基于边缘计算的人脸检测方法、系统、设备和存储介质
DE112020005140T5 (de) Dreidimensionale faltung im prozessor eines neuronalen netzwerks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200807

RJ01 Rejection of invention patent application after publication