CN116091895B - 一种面向多任务知识融合的模型训练方法及装置 - Google Patents

一种面向多任务知识融合的模型训练方法及装置 Download PDF

Info

Publication number
CN116091895B
CN116091895B CN202310361997.2A CN202310361997A CN116091895B CN 116091895 B CN116091895 B CN 116091895B CN 202310361997 A CN202310361997 A CN 202310361997A CN 116091895 B CN116091895 B CN 116091895B
Authority
CN
China
Prior art keywords
feature
recognition model
target
block
feature block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310361997.2A
Other languages
English (en)
Other versions
CN116091895A (zh
Inventor
王玉柱
张艾嘉
裘云蕾
段曼妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310361997.2A priority Critical patent/CN116091895B/zh
Publication of CN116091895A publication Critical patent/CN116091895A/zh
Application granted granted Critical
Publication of CN116091895B publication Critical patent/CN116091895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本说明书公开了一种面向多任务知识融合的模型训练方法及装置。首先，获取图像数据。其次，根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到各等量特征块识别模型。然后，针对目标识别模型中包含的每个特征块，从各等量特征块识别模型中确定出与该特征块相对应的特征块，作为目标特征块，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征，并将该特征块输出的图像特征与该特征块对应的拼接后图像特征之间的偏差，作为该特征块对应的偏差。最后，以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练。本方法可以使得目标识别模型能够同时解决预先训练的各识别模型的任务。

Description

一种面向多任务知识融合的模型训练方法及装置
技术领域
本说明书涉及计算机技术领域，尤其涉及一种面向多任务知识融合的模型训练方法及装置。
背景技术
知识蒸馏方法是在训练模型时，使用一个较大的经过训练的模型作为教师模型，训练学生模型模仿教师模型的行为，从而将教师模型中的知识转移到学生模型中的技术。
但是，目前的知识蒸馏方法中，学生模型仅能学习单个教师模型中的知识，无法学习多个教师模型中的知识，使得学生模型能够同时解决多个教师模型的任务。
因此，如何使得学生模型能够同时解决多个教师模型的任务，则是一个亟待解决的问题。
发明内容
本说明书提供一种面向多任务知识融合的模型训练方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种面向多任务知识融合的模型训练方法，包括：
获取图像数据，所述图像数据是由若干像素组成的；
根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到与所述目标识别模型中的特征块数量相同的各识别模型，作为各等量特征块识别模型，所述特征块由相邻且网络尺寸相同的特征层组成；
将所述图像数据输入到所述目标识别模型中，确定所述目标识别模型中的各特征块输出的图像特征；
针对目标识别模型中包含的每个特征块，从各等量特征块识别模型中确定出与该特征块相对应的特征块，作为目标特征块，以在将所述图像数据输入到各等量特征块识别模型中时，确定每个目标特征块输出的图像特征，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征，并将该特征块输出的图像特征与该特征块对应的拼接后图像特征之间的偏差，作为该特征块对应的偏差；
以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练。
可选地，根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到与所述特征块数量相同的各识别模型，作为各等量特征块识别模型，具体包括：
针对预先训练的每个识别模型，若确定该识别模型中的特征块数量小于待训练的目标识别模型中的特征块数量，则将该识别模型中的至少一个特征块进行残差连接，构建残差块，得到与所述目标识别模型中的特征块数量相同的该识别模型，作为该识别模型对应的等量特征块识别模型。
可选地，根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到与所述特征块数量相同的各识别模型，作为各等量特征块识别模型，具体包括：
针对预先训练的每个识别模型，若确定该识别模型中的特征块数量小于待训练的目标识别模型中的特征块数量，则将该识别模型中的至少一个特征块进行单位卷积，构建单位卷积块，得到与所述目标识别模型中的特征块数量相同的该识别模型，作为该识别模型对应的等量特征块识别模型。
可选地，根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到与所述特征块数量相同的各识别模型，作为各等量特征块识别模型，具体包括：
针对预先训练的每个识别模型，若确定该识别模型中的特征块数量大于待训练的目标识别模型中的特征块数量，则将该识别模型中的至少两个特征块进行合并，构建合并特征块，得到与所述目标识别模型中的特征块数量相同的该识别模型，作为该识别模型对应的等量特征块识别模型。
可选地，从各等量特征块识别模型中确定出与该特征块相对应的特征块，作为目标特征块，具体包括：
确定该特征块在所述目标识别模型中所在的位置，作为该特征块对应的位置；
从各等量特征块识别模型中确定出与该特征块对应的位置相同的特征块，作为目标特征块。
可选地，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征，具体包括：
将各目标特征块输出的图像特征输入到自适应层，得到网络尺寸相同的各目标特征块输出的图像特征，并将所述网络尺寸相同的各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征。
可选地，将该特征块输出的图像特征与该特征块对应的拼接后图像特征之间的偏差，作为该特征块对应的偏差，具体包括：
将该特征块对应的拼接后图像特征输入到整合特征层，确定该特征块对应的整合后图像特征；
将该特征块输出的图像特征与该特征块对应的整合后图像特征之间的偏差，作为该特征块对应的偏差。
可选地，以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练，具体包括：
将该特征块对应的整合后图像特征输入到重构特征层，确定各目标特征块对应的重构图像特征；
针对每个目标特征块，确定该目标特征块对应的重构图像特征与该目标特征块输出的图像特征之间的偏差，作为该目标特征块对应的重构偏差；
以最小化各特征块对应的偏差以及各目标特征块对应的重构偏差为优化目标，对目标识别模型进行训练。
可选地，所述方法还包括：
针对每个等量特征块识别模型，将所述图像数据输入到该等量特征块识别模型中，确定所述图像数据对应的各类别概率；
根据所述图像数据对应的各类别概率，确定该等量特征块识别模型对应的损失；
以最小化该等量特征块识别模型对应的损失为优化目标，对该等量特征块识别模型进行训练。
可选地，以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练，具体包括：
以最小化各特征块对应的偏差、各等量特征块识别模型对应的损失以及各目标特征块对应的重构偏差为优化目标，对目标识别模型进行训练。
可选地，以最小化各特征块对应的偏差、各等量特征块识别模型对应的损失以及各目标特征块对应的重构偏差为优化目标，对目标识别模型进行训练，具体包括：
确定第一损失权重、第二损失权重以及第三损失权重；
根据所述第一损失权重以及各特征块对应的偏差，确定第一损失；
根据所述第二损失权重以及各等量特征块识别模型对应的损失，确定第二损失；
根据所述第三损失权重以及各目标特征块对应的重构偏差，确定第三损失；
以最小化所述第一损失、所述第二损失以及所述第三损失的和值为优化目标，对目标识别模型进行训练。
本说明书提供了一种图像识别的方法，包括：
获取图像数据，所述图像数据是由若干像素组成的；
将所述图像数据输入到预先训练的目标识别模型中，确定所述图像数据中的目标物的类别，所述目标识别模型是通过上述面向多任务知识融合的模型训练方法训练得到的；
根据所述目标物的类别，进行业务执行。
本说明书提供了一种面向多任务知识融合的模型训练装置，包括：
获取模块，用于获取图像数据，所述图像数据是由若干像素组成的；
变换模块，用于根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到与所述目标识别模型中的特征块数量相同的各识别模型，作为各等量特征块识别模型，所述特征块由相邻且网络尺寸相同的特征层组成；
输入模块，用于将所述图像数据输入到所述目标识别模型中，确定所述目标识别模型中的各特征块输出的图像特征；
拼接模块，用于针对目标识别模型中包含的每个特征块，从各等量特征块识别模型中确定出与该特征块相对应的特征块，作为目标特征块，以在将所述图像数据输入到各等量特征块识别模型中时，确定每个目标特征块输出的图像特征，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征，并将该特征块输出的图像特征与该特征块对应的拼接后图像特征之间的偏差，作为该特征块对应的偏差；
训练模块，用于以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练。
本说明书提供了一种图像识别的装置，包括：
获取模块，用于获取图像数据，所述图像数据是由若干像素组成的；
输入模块，用于将所述图像数据输入到预先训练的目标识别模型中，确定所述图像数据中的目标物的类别，所述目标识别模型是通过上述面向多任务知识融合的模型训练的方法训练得到的；
执行模块，用于根据所述目标物的类别，进行业务执行。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述面向多任务知识融合的模型训练方法或图像识别的方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述面向多任务知识融合的模型训练方法或图像识别的方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书提供的面向多任务知识融合的模型训练方法中，首先，获取图像数据，图像数据是由若干像素组成的。其次，根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到与目标识别模型中的特征块数量相同的各识别模型，作为各等量特征块识别模型，特征块由相邻且网络尺寸相同的特征层组成。而后，将图像数据输入到目标识别模型中，确定目标识别模型中的各特征块输出的图像特征。然后，针对目标识别模型中包含的每个特征块，从各等量特征块识别模型中确定出与该特征块相对应的特征块，作为目标特征块，以在将图像数据输入到各等量特征块识别模型中时，确定每个目标特征块输出的图像特征，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征，并将该特征块输出的图像特征与该特征块对应的拼接后图像特征之间的偏差，作为该特征块对应的偏差。最后，以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练。
从上述的面向多任务知识融合的模型训练方法中可以看出，本方法可以根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到各等量特征块识别模型。然后，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征，并将该特征块输出的图像特征与该特征块对应的拼接后图像特征之间的偏差，作为该特征块对应的偏差。最后，以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练。本方法可以使得目标识别模型能够同时解决预先训练的各识别模型的任务。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书实施例提供的面向多任务知识融合的模型训练方法的流程示意图；
图2为本说明书实施例提供的一种恒等变换的示意图；
图3为本说明书实施例提供的一种构建残差块的示意图；
图4为本说明书实施例提供的一种构建单位卷积块的示意图；
图5为本说明书实施例提供的训练目标识别模型的示意图；
图6为本说明书实施例提供的图像识别的方法的流程示意图；
图7为本说明书实施例提供的面向多任务知识融合的模型训练装置的结构示意图；
图8为本说明书实施例提供的图像识别的装置的结构示意图；
图9为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书实施例提供的面向多任务知识融合的模型训练方法的流程示意图，具体包括以下步骤：
S100：获取图像数据，所述图像数据是由若干像素组成的。
在本说明书实施例中，本说明书提供的面向多任务知识融合的模型训练方法的执行主体可以是服务器，也可以是诸如台式电脑等电子设备，为了便于描述，下面仅以服务器为执行主体，对本说明书提供的面向多任务知识融合的模型训练方法进行说明。
在本说明书实施例中，服务器可以获取图像数据。这里提到的图像数据是由若干像素组成的，可以是指包含有目标物的图像。预先训练的各识别模型可以用于识别图像数据中的目标物的类别。
S102：根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到与所述目标识别模型中的特征块数量相同的各识别模型，作为各等量特征块识别模型，所述特征块由相邻且网络尺寸相同的特征层组成。
在实际应用中，由于教师模型中的模型结构与学生模型中的模型结构并不相同，这导致学生模型无法学习到模型结构不同的教师模型中的知识。基于此，服务器可以对教师模型进行恒等变换，使得教师模型中的特征块数量与学生模型中的特征块数量相同，从而，让学生模型可以学习到模型结构不同的教师模型中的知识。
在本说明书实施例中，服务器可以根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到与目标识别模型中的特征块数量相同的各识别模型，作为各等量特征块识别模型。这里提到的特征块由相邻且网络尺寸相同的特征层组成。也就是说，特征块可以是指相邻两个下采样层中间所有的特征层，特征块中的各特征具层有相同的尺度（宽、高），下采样层通常由最大池化层或步长大于1的卷积层实现。当然，不同的特征块中的特征层的尺寸可以不同。具体如图2所示。
图2为本说明书实施例提供的一种恒等变换的示意图。
在图2中，若确定预先训练的第一识别模型中的特征块数量小于待训练的目标识别模型中的特征块数量，服务器可以对第一识别模型进行恒等变换，直到得到与目标识别模型中的特征块数量相同的第一识别模型，作为第一等量特征块识别模型。
若确定预先训练的第N识别模型中的特征块数量大于待训练的目标识别模型中的特征块数量，服务器可以对第N识别模型进行恒等变换，得到与目标识别模型中的特征块数量相同的第N识别模型，作为第N等量特征块识别模型。
其中，
Figure SMS_1
可以用于表示第N个类别对应的识别模型。训练完成后的目标识别模型可以识别N个类别的目标物。
具体的，针对预先训练的每个识别模型，若确定该识别模型中的特征块数量小于待训练的目标识别模型中的特征块数量，则将该识别模型中的至少一个特征块进行残差连接，构建残差块，得到与目标识别模型中的特征块数量相同的该识别模型，作为该识别模型对应的等量特征块识别模型。这里提到的残差连接可以是指将输出表述为输入和输入的一个非线性变换的线性叠加。也就是说，一层特征层的输出不仅包括这一层特征层的输入信息，还包括这一层特征层经过非线性变换后的输入信息。具体如图3所示。
图3为本说明书实施例提供的一种构建残差块的示意图。
在图3中，若确定该识别模型中的特征块数量小于待训练的目标识别模型中的特征块数量，服务器可以从该识别模型中随机挑选出一个特征块进行残差连接，构建残差块，直到得到与目标识别模型中的特征块数量相同的该识别模型。
其中，在残差块中包含有若干个BN层(Batch Normalization)，BN层可以是指一个可学习、有参数（γ、β）的网络层，在残差块中的最后一个BN层需要将参数β初始化为0。
针对预先训练的每个识别模型，若确定该识别模型中的特征块数量小于待训练的目标识别模型中的特征块数量，则将该识别模型中的至少一个特征块进行单位卷积，构建单位卷积块，得到与目标识别模型中的特征块数量相同的该识别模型，作为该识别模型对应的等量特征块识别模型。这里提到的单位卷积可以是指通过初始化为中心为1，其余位置为0的卷积核进行卷积。具体如图5所示。
图4为本说明书实施例提供的一种构建单位卷积块的示意图。
在图4中，若确定该识别模型中的特征块数量小于待训练的目标识别模型中的特征块数量，服务器可以从该识别模型中随机挑选出一个特征块进行单位卷积，构建单位卷积块，直到得到与目标识别模型中的特征块数量相同的该识别模型。
需要说明的是，服务器可以从该识别模型中随机挑选出一个特征块进行残差连接或单位卷积，也可以从该识别模型中确定出处于中间位置的特征块进行残差连接或单位卷积。
针对预先训练的每个识别模型，若确定该识别模型中的特征块数量大于待训练的目标识别模型中的特征块数量，则将该识别模型中的至少两个特征块进行合并，构建合并特征块，得到与目标识别模型中的特征块数量相同的该识别模型，作为该识别模型对应的等量特征块识别模型。
具体的，服务器可以将多个特征块通过插值或补零的方式进行合并，构建合并特征块，使得预先训练的识别模型与目标识别模型中的特征块数量相同。
当然，若确定该识别模型中的特征块数量大于待训练的目标识别模型中的特征块数量超过两个，服务器也可以将多组相邻的特征块进行合并，构建多个合并特征块，得到与目标识别模型中的特征块数量相同的该识别模型。
在实际应用中，由于对预先训练的识别模型进行恒等变换，会导致预先训练的识别模型的模型性能降低。因此，服务器在训练等量特征块识别模型的过程中，等量特征块识别模型中的其他特征块初始化为预先训练的识别模型的特征块的参数，等量特征块识别模型相对于预先训练的识别模型仅增加了特征块。也就是说，等量特征块识别模型的模型性能的降低仅与新增加的特征块的参数有关。
基于此，服务器可以通过反向传播算法，对等量特征块识别模型进行训练。由于，等量特征块识别模型中增加了参数，训练完成后的等量特征块识别模型的模型性能可以高于预先训练的识别模型。
在本说明书实施例中，服务器可以针对每个等量特征块识别模型，将图像数据输入到该等量特征块识别模型中，确定图像数据对应的各类别概率。
其次，服务器可以根据图像数据对应的各类别概率，确定该等量特征块识别模型对应的损失。具体公式如下所示。
Figure SMS_2
在上述公式中，
Figure SMS_3
可以用于表示通过识别模型对图像数据的预测结果为第j个类别对应的预测概率。/>
Figure SMS_4
可以用于表示第j个类别。可以看出，图像数据的预测结果中的各类别对应的预测概率之间的差别越大，/>
Figure SMS_5
越小，分类边界也就越清晰。
最后，服务器可以以最小化该等量特征块识别模型对应的损失为优化目标，对该等量特征块识别模型进行训练。
可以看出，训练等量特征块识别模型并不需要图像数据的标签信息，并且，服务器在训练等量特征块识别模型的过程中仅对残差块、单位卷积块或合并特征块中的参数进行调整。
S104：将所述图像数据输入到所述目标识别模型中，确定所述目标识别模型中的各特征块输出的图像特征。
在本说明书实施例中，服务器可以将图像数据输入到目标识别模型中，确定目标识别模型中的各特征块输出的图像特征。这里提到的特征块输出的图像特征可以是指特征块中的最后一层特征层输出的图像特征。
S106：针对目标识别模型中包含的每个特征块，从各等量特征块识别模型中确定出与该特征块相对应的特征块，作为目标特征块，以在将所述图像数据输入到各等量特征块识别模型中时，确定每个目标特征块输出的图像特征，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征，并将该特征块输出的图像特征与该特征块对应的拼接后图像特征之间的偏差，作为该特征块对应的偏差。
在本说明书实施例中，针对目标识别模型中包含的每个特征块，服务器可以从各等量特征块识别模型中确定出与该特征块相对应的特征块，作为目标特征块，以在将图像数据输入到各等量特征块识别模型中时，确定每个目标特征块输出的图像特征，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征，并将该特征块输出的图像特征与该特征块对应的拼接后图像特征之间的偏差，作为该特征块对应的偏差。
其中，服务器可以确定该特征块在所述目标识别模型中所在的位置，作为该特征块对应的位置。
其次，服务器可以从各等量特征块识别模型中确定出与该特征块对应的位置相同的特征块，作为目标特征块。
在实际应用中，不同的等量特征块识别模型中的目标特征块的尺寸可能并不相同，确定出的目标特征块输出的图像特征的尺寸也不相同，这导致无法将确定出的各目标特征块输出的图像特征进行拼接。因此，服务器可以将确定出的各目标特征块输出的图像特征输入到自适应层中，将各特征块输出的图像特征处理为相同的尺寸，再对相同尺寸的各特征块输出的图像特征进行拼接。
在本说明书实施例中，服务器可以将各目标特征块输出的图像特征输入到自适应层，得到网络尺寸相同的各目标特征块输出的图像特征，并将网络尺寸相同的各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征。
其中，自适应层可以应用多种方法，例如，插值、补零、1×1卷积、1×1卷积→3×3卷积→1×1卷积等。本说明书不对自适应层的方法进行限定。
进一步的，服务器可以将该特征块对应的拼接后图像特征输入到整合特征层，确定该特征块对应的整合后图像特征。这里提到的整合特征层可以应用残差块的方法。也就是说，服务器可以将该特征块对应的拼接后图像特征进行非线性变换后，再加上该特征块对应的拼接后图像特征，得到该特征块对应的整合后图像特征。
然后，服务器可以将该特征块输出的图像特征与该特征块对应的整合后图像特征之间的偏差，作为该特征块对应的偏差。具体公式如下所示。
Figure SMS_6
在上述公式中，
Figure SMS_7
可以用于表示最大均值差异（Maximum MeanDiscrepancy，MMD），用来度量两个不同但相关的随机变量的分布的距离。/>
Figure SMS_8
可以用于表示目标识别模型中的该特征块输出的图像特征。/>
Figure SMS_9
可以用于表示该特征块对应的整合后图像特征。可以看出，/>
Figure SMS_10
越小，目标识别模型中的该特征块输出的图像特征与该特征块对应的整合后图像特征越相似。
S108：以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练。
在本说明书实施例中，服务器可以以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练，以使得目标识别模型学习到预先训练的各识别模型中的知识。
进一步的，由于预先训练的各识别模型中的各特征块输出的图像特征差异较大，服务器可以将该特征块对应的拼接后图像特征输入到整合特征层，确定该特征块对应的整合后图像特征，将该特征块输出的图像特征与该特征块对应的整合后图像特征之间的偏差，作为该特征块对应的偏差。
在实际应用中，整合后图像特征可能失去了部分的等量特征块识别模型中的重要信息。为了保证整合后图像特征仍然保留各等量特征块识别模型中的重要信息。服务器可以将该特征块对应的整合后图像特征进行重构，确定各目标特征块对应的重构图像特征。
在本说明书实施例中，服务器可以将该特征块对应的整合后图像特征输入到重构特征层，确定各目标特征块对应的重构图像特征。
其次，针对每个目标特征块，确定该目标特征块对应的重构图像特征与该目标特征块输出的图像特征之间的偏差，作为该目标特征块对应的重构偏差。具体公式如下所示。
Figure SMS_11
在上述公式中，
Figure SMS_12
可以用于表示该目标特征块输出的图像特征。/>
Figure SMS_13
可以用于表示该目标特征块对应的重构图像特征。可以看出，/>
Figure SMS_14
越小，该目标特征块对应的重构图像特征与该目标特征块输出的图像特征越相似。
最后，服务器可以以最小化各特征块对应的偏差以及各目标特征块对应的重构偏差为优化目标，对目标识别模型进行训练。
进一步的，服务器可以以最小化各特征块对应的偏差、各等量特征块识别模型对应的损失以及各目标特征块对应的重构偏差为优化目标，对目标识别模型进行训练。
具体的，服务器可以确定第一损失权重、第二损失权重以及第三损失权重。
其次，服务器可以根据第一损失权重以及各特征块对应的偏差，确定第一损失。
而后，服务器可以根据第二损失权重以及各等量特征块识别模型对应的损失，确定第二损失。
接着，服务器可以根据第三损失权重以及各目标特征块对应的重构偏差，确定第三损失。
最后，服务器可以以最小化第一损失、第二损失以及第三损失的和值为优化目标，对目标识别模型进行训练。具体公式如下所示。
Figure SMS_15
在上述公式中，
Figure SMS_16
可以用于表示第一损失权重。/>
Figure SMS_17
可以用于表示第二损失权重。/>
Figure SMS_18
可以用于表示第三损失权重。/>
Figure SMS_19
可以用于表示各特征块对应的偏差。/>
Figure SMS_20
可以用于表示各等量特征块识别模型对应的损失。/>
Figure SMS_21
可以用于表示各目标特征块对应的重构偏差。其中，第一损失权重、第二损失权重以及第三损失权重可以是根据专家经验确定出的，也可以是通过网格搜索，随机搜索，贝叶斯优化等方法确定出的。
图5为本说明书实施例提供的训练目标识别模型的示意图。
在图5中，服务器可以获取图像数据。针对预先训练的各识别模型，对N个识别模型进行恒等变换，得到各等量特征块识别模型。
针对目标识别模型中包含的每个特征块，从各等量特征块识别模型中确定出与该特征块相对应的特征块，作为目标特征块，以在将图像数据输入到各等量特征块识别模型中时，确定每个目标特征块输出的图像特征，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征。
其次，服务器可以将该特征块对应的拼接后图像特征输入到整合特征层，确定该特征块对应的整合后图像特征。并确定该特征块输出的图像特征与该特征块对应的整合后图像特征之间的偏差，作为该特征块对应的偏差。
而后，服务器可以将该特征块对应的整合后图像特征输入到重构特征层，确定各目标特征块对应的重构图像特征。并针对每个目标特征块，确定该目标特征块对应的重构图像特征与该目标特征块输出的图像特征之间的偏差，作为该目标特征块对应的重构偏差。
然后，服务器可以确定图像数据对应的各类别概率，并根据图像数据对应的各类别概率，确定该等量特征块识别模型对应的损失。
最后，服务器可以以最小化各特征块对应的偏差、各等量特征块识别模型对应的损失以及各目标特征块对应的重构偏差为优化目标，对目标识别模型进行训练。
从上述过程中可以看出，本方法可以根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到各等量特征块识别模型。然后，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征，并将该特征块输出的图像特征与该特征块对应的拼接后图像特征之间的偏差，作为该特征块对应的偏差。最后，以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练。本方法可以使得目标识别模型能够同时解决预先训练的各识别模型的任务。例如，预先训练的一个识别模型用于识别植物，另一个识别模型用于识别动物，训练完成后的目标识别模型可以同时识别动物以及植物。
图6为本说明书实施例提供的图像识别的流程示意图，具体包括以下步骤：
S600：获取图像数据，所述图像数据是由若干像素组成的。
S602：将所述图像数据输入到预先训练的目标识别模型中，确定所述图像数据中的目标物的类别。
S604：根据所述目标物的类别，进行业务执行。
在本说明实施例中，服务器可以获取图像数据。这里提到的图像数据是由若干像素组成的。
其次，服务器可以将图像数据输入到预先训练的目标识别模型中，确定图像数据中的目标物的类别。
最后，服务器可以根据目标物的类别，进行业务执行。
以上为本说明书的一个或多个实施例提供的面向多任务知识融合的模型训练方法，基于同样的思路，本说明书还提供了相应的面向多任务知识融合的模型训练装置，如图7所示。
图7为本说明书实施例提供的面向多任务知识融合的模型训练装置的结构示意图，具体包括：
获取模块700，用于获取图像数据，所述图像数据是由若干像素组成的；
变换模块702，用于根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到与所述目标识别模型中的特征块数量相同的各识别模型，作为各等量特征块识别模型，所述特征块由相邻且网络尺寸相同的特征层组成；
输入模块704，用于将所述图像数据输入到所述目标识别模型中，确定所述目标识别模型中的各特征块输出的图像特征；
拼接模块706，用于针对目标识别模型中包含的每个特征块，从各等量特征块识别模型中确定出与该特征块相对应的特征块，作为目标特征块，以在将所述图像数据输入到各等量特征块识别模型中时，确定每个目标特征块输出的图像特征，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征，并将该特征块输出的图像特征与该特征块对应的拼接后图像特征之间的偏差，作为该特征块对应的偏差；
训练模块708，用于以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练。
可选地，所述变换模块702具体用于，针对预先训练的每个识别模型，若确定该识别模型中的特征块数量小于待训练的目标识别模型中的特征块数量，则将该识别模型中的至少一个特征块进行残差连接，构建残差块，得到与所述目标识别模型中的特征块数量相同的该识别模型，作为该识别模型对应的等量特征块识别模型。
可选地，所述变换模块702具体用于，针对预先训练的每个识别模型，若确定该识别模型中的特征块数量小于待训练的目标识别模型中的特征块数量，则将该识别模型中的至少一个特征块进行单位卷积，构建单位卷积块，得到与所述目标识别模型中的特征块数量相同的该识别模型，作为该识别模型对应的等量特征块识别模型。
可选地，所述变换模块702具体用于，针对预先训练的每个识别模型，若确定该识别模型中的特征块数量大于待训练的目标识别模型中的特征块数量，则将该识别模型中的至少两个特征块进行合并，构建合并特征块，得到与所述目标识别模型中的特征块数量相同的该识别模型，作为该识别模型对应的等量特征块识别模型。
可选地，所述拼接模块706具体用于，确定该特征块在所述目标识别模型中所在的位置，作为该特征块对应的位置，从各等量特征块识别模型中确定出与该特征块对应的位置相同的特征块，作为目标特征块。
可选地，所述拼接模块706具体用于，将各目标特征块输出的图像特征输入到自适应层，得到网络尺寸相同的各目标特征块输出的图像特征，并将所述网络尺寸相同的各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征。
可选地，所述拼接模块706具体用于，将该特征块对应的拼接后图像特征输入到整合特征层，确定该特征块对应的整合后图像特征，将该特征块输出的图像特征与该特征块对应的整合后图像特征之间的偏差，作为该特征块对应的偏差。
可选地，所述拼接模块706具体用于，将该特征块对应的整合后图像特征输入到重构特征层，确定各目标特征块对应的重构图像特征，针对每个目标特征块，确定该目标特征块对应的重构图像特征与该目标特征块输出的图像特征之间的偏差，作为该目标特征块对应的重构偏差，以最小化各特征块对应的偏差以及各目标特征块对应的重构偏差为优化目标，对目标识别模型进行训练。
可选地，所述训练模块708具体用于，针对每个等量特征块识别模型，将所述图像数据输入到该等量特征块识别模型中，确定所述图像数据对应的各类别概率，根据所述图像数据对应的各类别概率，确定该等量特征块识别模型对应的损失，以最小化该等量特征块识别模型对应的损失为优化目标，对该等量特征块识别模型进行训练。
可选地，所述训练模块708具体用于，以最小化各特征块对应的偏差、各等量特征块识别模型对应的损失以及各目标特征块对应的重构偏差为优化目标，对目标识别模型进行训练。
可选地，所述训练模块708具体用于，确定第一损失权重、第二损失权重以及第三损失权重，根据所述第一损失权重以及各特征块对应的偏差，确定第一损失，根据所述第二损失权重以及各等量特征块识别模型对应的损失，确定第二损失，根据所述第三损失权重以及各目标特征块对应的重构偏差，确定第三损失，以最小化所述第一损失、所述第二损失以及所述第三损失的和值为优化目标，对目标识别模型进行训练。
以上为本说明书的一个或多个实施例提供的图像识别的方法，基于同样的思路，本说明书还提供了相应的图像识别的装置，如图8所示。
图8为本说明书实施例提供的图像识别的装置的结构示意图，具体包括：
获取模块800，用于获取图像数据，所述图像数据是由若干像素组成的；
输入模块802，用于将所述图像数据输入到预先训练的目标识别模型中，确定所述图像数据中的目标物的类别，所述目标识别模型是通过上述面向多任务知识融合的模型训练方法训练得到的；
执行模块804，用于根据所述目标物的类别，进行业务执行。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的面向多任务知识融合的模型训练方法以及图6提供的图像识别的方法。
本说明书还提供了图9所示的电子设备的结构示意图。如图9所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1提供的面向多任务知识融合的模型训练方法以及图6提供的图像识别的方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (16)

1.一种面向多任务知识融合的模型训练方法，其特征在于，包括：
获取图像数据，所述图像数据是由若干像素组成的；
根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到与所述目标识别模型中的特征块数量相同的各识别模型，作为各等量特征块识别模型，所述特征块由相邻且网络尺寸相同的特征层组成；
将所述图像数据输入到所述目标识别模型中，确定所述目标识别模型中的各特征块输出的图像特征；
针对目标识别模型中包含的每个特征块，从各等量特征块识别模型中确定出与该特征块相对应的特征块，作为目标特征块，以在将所述图像数据输入到各等量特征块识别模型中时，确定每个目标特征块输出的图像特征，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征，并将该特征块输出的图像特征与该特征块对应的拼接后图像特征之间的偏差，作为该特征块对应的偏差；
以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练。
2.如权利要求1所述的方法，其特征在于，根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到与所述特征块数量相同的各识别模型，作为各等量特征块识别模型，具体包括：
针对预先训练的每个识别模型，若确定该识别模型中的特征块数量小于待训练的目标识别模型中的特征块数量，则将该识别模型中的至少一个特征块进行残差连接，构建残差块，得到与所述目标识别模型中的特征块数量相同的该识别模型，作为该识别模型对应的等量特征块识别模型。
3.如权利要求1所述的方法，其特征在于，根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到与所述特征块数量相同的各识别模型，作为各等量特征块识别模型，具体包括：
针对预先训练的每个识别模型，若确定该识别模型中的特征块数量小于待训练的目标识别模型中的特征块数量，则将该识别模型中的至少一个特征块进行单位卷积，构建单位卷积块，得到与所述目标识别模型中的特征块数量相同的该识别模型，作为该识别模型对应的等量特征块识别模型。
4.如权利要求1所述的方法，其特征在于，根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到与所述特征块数量相同的各识别模型，作为各等量特征块识别模型，具体包括：
针对预先训练的每个识别模型，若确定该识别模型中的特征块数量大于待训练的目标识别模型中的特征块数量，则将该识别模型中的至少两个特征块进行合并，构建合并特征块，得到与所述目标识别模型中的特征块数量相同的该识别模型，作为该识别模型对应的等量特征块识别模型。
5.如权利要求1所述的方法，其特征在于，从各等量特征块识别模型中确定出与该特征块相对应的特征块，作为目标特征块，具体包括：
确定该特征块在所述目标识别模型中所在的位置，作为该特征块对应的位置；
从各等量特征块识别模型中确定出与该特征块对应的位置相同的特征块，作为目标特征块。
6.如权利要求1所述的方法，其特征在于，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征，具体包括：
将各目标特征块输出的图像特征输入到自适应层，得到网络尺寸相同的各目标特征块输出的图像特征，并将所述网络尺寸相同的各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征。
7.如权利要求1所述的方法，其特征在于，将该特征块输出的图像特征与该特征块对应的拼接后图像特征之间的偏差，作为该特征块对应的偏差，具体包括：
将该特征块对应的拼接后图像特征输入到整合特征层，确定该特征块对应的整合后图像特征；
将该特征块输出的图像特征与该特征块对应的整合后图像特征之间的偏差，作为该特征块对应的偏差。
8.如权利要求7所述的方法，其特征在于，以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练，具体包括：
将该特征块对应的整合后图像特征输入到重构特征层，确定各目标特征块对应的重构图像特征；
针对每个目标特征块，确定该目标特征块对应的重构图像特征与该目标特征块输出的图像特征之间的偏差，作为该目标特征块对应的重构偏差；
以最小化各特征块对应的偏差以及各目标特征块对应的重构偏差为优化目标，对目标识别模型进行训练。
9.如权利要求8所述的方法，其特征在于，所述方法还包括：
针对每个等量特征块识别模型，将所述图像数据输入到该等量特征块识别模型中，确定所述图像数据对应的各类别概率；
根据所述图像数据对应的各类别概率，确定该等量特征块识别模型对应的损失；
以最小化该等量特征块识别模型对应的损失为优化目标，对该等量特征块识别模型进行训练。
10.如权利要求9所述的方法，其特征在于，以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练，具体包括：
以最小化各特征块对应的偏差、各等量特征块识别模型对应的损失以及各目标特征块对应的重构偏差为优化目标，对目标识别模型进行训练。
11.如权利要求10所述的方法，其特征在于，以最小化各特征块对应的偏差、各等量特征块识别模型对应的损失以及各目标特征块对应的重构偏差为优化目标，对目标识别模型进行训练，具体包括：
确定第一损失权重、第二损失权重以及第三损失权重；
根据所述第一损失权重以及各特征块对应的偏差，确定第一损失；
根据所述第二损失权重以及各等量特征块识别模型对应的损失，确定第二损失；
根据所述第三损失权重以及各目标特征块对应的重构偏差，确定第三损失；
以最小化所述第一损失、所述第二损失以及所述第三损失的和值为优化目标，对目标识别模型进行训练。
12.一种图像识别的方法，其特征在于，包括：
获取图像数据，所述图像数据是由若干像素组成的；
将所述图像数据输入到预先训练的目标识别模型中，确定所述图像数据中的目标物的类别，所述目标识别模型是通过上述权利要求1~11任一项所述的方法训练得到的；
根据所述目标物的类别，进行业务执行。
13.一种面向多任务知识融合的模型训练装置，其特征在于，包括：
获取模块，用于获取图像数据，所述图像数据是由若干像素组成的；
变换模块，用于根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到与所述目标识别模型中的特征块数量相同的各识别模型，作为各等量特征块识别模型，所述特征块由相邻且网络尺寸相同的特征层组成；
输入模块，用于将所述图像数据输入到所述目标识别模型中，确定所述目标识别模型中的各特征块输出的图像特征；
拼接模块，用于针对目标识别模型中包含的每个特征块，从各等量特征块识别模型中确定出与该特征块相对应的特征块，作为目标特征块，以在将所述图像数据输入到各等量特征块识别模型中时，确定每个目标特征块输出的图像特征，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征，并将该特征块输出的图像特征与该特征块对应的拼接后图像特征之间的偏差，作为该特征块对应的偏差；
训练模块，用于以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练。
14.一种图像识别的装置，其特征在于，包括：
获取模块，用于获取图像数据，所述图像数据是由若干像素组成的；
输入模块，用于将所述图像数据输入到预先训练的目标识别模型中，确定所述图像数据中的目标物的类别，所述目标识别模型是通过上述权利要求1~11任一项所述的方法训练得到的；
执行模块，用于根据所述目标物的类别，进行业务执行。
15.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~12任一项所述的方法。
16.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~12任一项所述的方法。
CN202310361997.2A 2023-04-04 2023-04-04 一种面向多任务知识融合的模型训练方法及装置 Active CN116091895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310361997.2A CN116091895B (zh) 2023-04-04 2023-04-04 一种面向多任务知识融合的模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310361997.2A CN116091895B (zh) 2023-04-04 2023-04-04 一种面向多任务知识融合的模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN116091895A CN116091895A (zh) 2023-05-09
CN116091895B true CN116091895B (zh) 2023-07-11

Family

ID=86210494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310361997.2A Active CN116091895B (zh) 2023-04-04 2023-04-04 一种面向多任务知识融合的模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN116091895B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237744B (zh) * 2023-11-10 2024-01-30 之江实验室 一种图像分类模型的训练方法、装置、介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160409A (zh) * 2019-12-11 2020-05-15 浙江大学 一种基于共同特征学习的异构神经网络知识重组方法
CN113887608A (zh) * 2021-09-28 2022-01-04 北京三快在线科技有限公司 一种模型训练的方法、图像检测的方法及装置
CN115423000A (zh) * 2022-08-19 2022-12-02 复旦大学 一种基于多教师知识蒸馏的跨域小样本识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7021499B2 (ja) * 2017-10-24 2022-02-17 日本電気株式会社 統合データベースシステム、統合管理システム、統合管理方法、および統合管理プログラム
CN112508169A (zh) * 2020-11-13 2021-03-16 华为技术有限公司 知识蒸馏方法和系统
CN112418343B (zh) * 2020-12-08 2024-01-05 中山大学 多教师自适应联合的学生模型训练方法
CN113393494A (zh) * 2021-06-10 2021-09-14 上海商汤智能科技有限公司 模型训练及目标跟踪方法、装置、电子设备和存储介质
CN113947196A (zh) * 2021-10-25 2022-01-18 中兴通讯股份有限公司 网络模型训练方法、装置和计算机可读存储介质
CN114266897A (zh) * 2021-12-24 2022-04-01 深圳数联天下智能科技有限公司 痘痘类别的预测方法、装置、电子设备及存储介质
CN114863248B (zh) * 2022-03-02 2024-04-26 武汉大学 一种基于深监督自蒸馏的图像目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160409A (zh) * 2019-12-11 2020-05-15 浙江大学 一种基于共同特征学习的异构神经网络知识重组方法
CN113887608A (zh) * 2021-09-28 2022-01-04 北京三快在线科技有限公司 一种模型训练的方法、图像检测的方法及装置
CN115423000A (zh) * 2022-08-19 2022-12-02 复旦大学 一种基于多教师知识蒸馏的跨域小样本识别方法

Also Published As

Publication number Publication date
CN116091895A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN115981870B (zh) 一种数据处理的方法、装置、存储介质及电子设备
CN116091895B (zh) 一种面向多任务知识融合的模型训练方法及装置
CN115618964B (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN117635822A (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN116402113B (zh) 一种任务执行的方法、装置、存储介质及电子设备
CN116342888B (zh) 一种基于稀疏标注训练分割模型的方法及装置
CN116824331A (zh) 一种模型训练、图像识别方法、装置、设备及存储介质
CN116805393A (zh) 一种基于3DUnet光谱-空间信息融合的高光谱图像分类方法和系统
CN116403097A (zh) 一种目标检测方法、装置、存储介质及电子设备
CN116109008B (zh) 一种业务执行的方法、装置、存储介质及电子设备
CN113590490B (zh) 一种自动化测试方法、装置以及设备
CN117726760B (zh) 一种用于视频的三维人体重建模型的训练方法及装置
CN117173321B (zh) 一种三维重建纹理视图的选择方法及装置
CN115827880B (zh) 一种基于情感分类的业务执行方法及装置
CN116996397B (zh) 一种网络丢包优化的方法、装置、存储介质及电子设备
CN116246774B (zh) 一种基于信息融合的分类方法、装置及设备
CN116501852B (zh) 一种可控对话模型训练方法、装置、存储介质及电子设备
CN116384515B (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN117332282B (zh) 一种基于知识图谱的事件匹配的方法及装置
CN116167431B (zh) 一种基于混合精度模型加速的业务处理方法及装置
CN117592998A (zh) 一种风控的方法、装置、存储介质及电子设备
CN117521011A (zh) 一种基于语言指导采样的指代表达理解方法
CN117520850A (zh) 一种模型训练方法、装置、存储介质及电子设备
CN116663676A (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN117057442A (zh) 一种基于联邦多任务学习的模型训练方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant