CN114821247B - 一种模型的训练方法、装置、存储介质及电子装置 - Google Patents

一种模型的训练方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN114821247B
CN114821247B CN202210754890.XA CN202210754890A CN114821247B CN 114821247 B CN114821247 B CN 114821247B CN 202210754890 A CN202210754890 A CN 202210754890A CN 114821247 B CN114821247 B CN 114821247B
Authority
CN
China
Prior art keywords
network
training
target
data
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210754890.XA
Other languages
English (en)
Other versions
CN114821247A (zh
Inventor
倪华健
杨孝雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shanma Zhiqing Technology Co Ltd
Original Assignee
Hangzhou Shanma Zhiqing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shanma Zhiqing Technology Co Ltd filed Critical Hangzhou Shanma Zhiqing Technology Co Ltd
Priority to CN202210754890.XA priority Critical patent/CN114821247B/zh
Publication of CN114821247A publication Critical patent/CN114821247A/zh
Application granted granted Critical
Publication of CN114821247B publication Critical patent/CN114821247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种模型的训练方法、装置、存储介质及电子装置，其中，该方法包括：利用无标签训练集训练初始网络模型中包括的初始主干网络，得到目标主干网络，其中，无标签训练集中包括第一训练数据；利用目标主干网络提取有标签训练集中包括的每个第二训练数据的数据特征，得到多个数据特征对，其中，有标签训练集中包括第二训练数据以及第二训练数据对应的目标标签，每个数据特征对中包括数据特征以及第二训练数据对应的目标标签；利用多个数据特征对训练初始网络模型中包括的初始分类网络，得到目标分类网络；基于目标主干网络以及目标分类网络确定目标网络模型。通过本发明，解决了相关技术中存在的训练得到的模型泛化能力差的问题。

Description

一种模型的训练方法、装置、存储介质及电子装置
技术领域
本发明实施例涉及计算机领域，具体而言，涉及一种模型的训练方法、装置、存储介质及电子装置。
背景技术
在相关技术中，网络模型往往是采用一批带有标签的图像训练集（一般数十万或数百万量级）进行有监督学习，但限于训练集内容的局限性，很难覆盖实际场景（数千万量级甚至数亿量级）中的所有情况，尤其对于那些模型未曾训过的特殊视角或光照条件下的图像，很难识别的精准；不带标签的数据是很容易抠取的，但是采用有监督学习必须得对这些大量的无标签数据进行人工打标签，而有监督学习的好坏又极度依赖于标签的正确性，因此里面花费的人力成本也是相当巨大的。
由此可知，相关技术中存在训练得到的模型泛化能力差的问题。
针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种模型的训练方法、装置、存储介质及电子装置，以至少解决相关技术中存在的训练得到的模型泛化能力差的问题。
根据本发明的一个实施例，提供了一种模型的训练方法，包括：利用无标签训练集训练初始网络模型中包括的初始主干网络，得到目标主干网络，其中，所述无标签训练集中包括第一训练数据；利用所述目标主干网络提取有标签训练集中包括的每个第二训练数据的数据特征，得到多个数据特征对，其中，所述有标签训练集中包括第二训练数据以及所述第二训练数据对应的目标标签，每个所述数据特征对中包括所述数据特征以及所述第二训练数据对应的目标标签；利用多个所述数据特征对训练所述初始网络模型中包括的初始分类网络，得到目标分类网络；基于所述目标主干网络以及所述目标分类网络确定目标网络模型。
根据本发明的另一个实施例，提供了一种模型的训练装置，包括：第一训练模块，用于利用无标签训练集训练初始网络模型中包括的初始主干网络，得到目标主干网络，其中，所述无标签训练集中包括第一训练数据；第二训练模块，用于利用所述目标主干网络提取有标签训练集中包括的每个第二训练数据的数据特征，得到多个数据特征对，其中，所述有标签训练集中包括第二训练数据以及所述第二训练数据对应的目标标签，每个所述数据特征对中包括所述数据特征以及所述第二训练数据对应的目标标签；第三训练模块，用于利用多个所述数据特征对训练所述初始网络模型中包括的初始分类网络，得到目标分类网络；确定模块，用于基于所述目标主干网络以及所述目标分类网络确定目标网络模型。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，利用无标签训练集训练初始网络模型中包括的初始主干网络，得到目标主干网络，利用目标主干网络提取有标签训练集中包括的每个第二训练数据的数据特征，得到多个数据特征对，利用多个数据特征对训练初始网络模型中包括的初始分类网络，得到目标分类网络，根据目标主干网络以及目标分类网络的模型确定目标网络模型。由于训练初始网络模型得到目标网络模型的过程中，分别使用了无标签训练集和有标签训练集，训练出的模型对未训练过的图像具有很强的泛化识别能力，因此，可以解决相关技术中存在的训练得到的模型泛化能力差的问题，达到提高训练得到的网络模型的泛化能力的效果。
附图说明
图1是本发明实施例的一种模型的训练方法的移动终端的硬件结构框图；
图2是根据本发明实施例的模型的训练方法的流程图；
图3是根据本发明示例性实施例的确定第一特征和第二特征之间的第一损失值流程示意图；
图4是根据本发明示例性实施例的训练初始分类网络流程示意图；
图5是根据本发明示例性实施例的基于目标主干网络以及目标分类网络确定目标网络模型流程示意图；
图6是根据本发明实施例的模型的训练装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
随着深度学习图像识别技术的快速发展，其在智慧交通领域的产品落地获得极大的关注。车型识别是智慧交通领域的一个重要功能，可用于交管部门对当前道路车流情况进行实时分析，并迅速做出控制决策，起着至关重要的作用。该功能主要通过架设在道路上的摄像头，在获取到对应的道路视频后，通过深度学习图像识别技术加以实现，方案绿色环保的同时还维护方便。现阶段车型识别普遍的技术路线是，首先将视频帧送入车辆检测网络模型，获取帧画面里的所有车辆的检测框位置；然后依据检测框位置抠取每一辆车的图像子图，再送入车型识别网络模型进行分类，获取具体的车型类别。车型识别网络模型往往是采用一批带有标签的车辆子图训练集（一般数十万或数百万量级）进行有监督学习，但限于训练集内容的局限性，很难覆盖实际场景（数千万量级甚至数亿量级）中的所有情况，尤其对于那些模型未曾训过的特殊视角或光照条件下的车辆子图，很难识别的精准；不带标签的车辆数据是很容易抠取的，但是采用有监督学习必须得对这些大量的无标签车辆数据进行人工打标签，而有监督学习的好坏又极度依赖于标签的正确性，因此里面花费的人力成本也是相当巨大的。
监督学习主要分为有监督、无监督和半监督，有监督是对带有标签的数据进行学习，无监督是对不带标签的数据进行学习，而半监督则是有监督和无监督的结合体。
然而，上述方式均存在训练得到的模型泛化能力差的问题。
针对上述问题，提出以下实施例。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种模型的训练方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的模型的训练方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种模型的训练方法，图2是根据本发明实施例的模型的训练方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，利用无标签训练集训练初始网络模型中包括的初始主干网络，得到目标主干网络，其中，所述无标签训练集中包括第一训练数据；
步骤S204，利用所述目标主干网络提取有标签训练集中包括的每个第二训练数据的数据特征，得到多个数据特征对，其中，所述有标签训练集中包括第二训练数据以及所述第二训练数据对应的目标标签，每个所述数据特征对中包括所述数据特征以及所述第二训练数据对应的目标标签；
步骤S206，利用多个所述数据特征对训练所述初始网络模型中包括的初始分类网络，得到目标分类网络；
步骤S208，基于所述目标主干网络以及所述目标分类网络确定目标网络模型。
在上述实施例中，目标网络模型可以应用在不同的场景。当目标网络模型应用在智能交通场景时，可以获取交通岗中设备的摄像设备所采集的图像作为训练数据。当目标网络模型应用在对对象的行为有约束条件的场景时，可以获取该场景下的图像作为训练数据。获取得到的训练数据可以一部分进行标签化，得到有标签训练集，一部分不进行标签化，得到无标签训练集。例如，当目标网络模型应用在智能交通场景时，可以获取架设在若干城市、高速、隧道等多种不同场景下道路上的摄像头监控视频流，送入车辆检测网络模型得到帧画面里的所有车辆的检测框位置，并依据检测框位置抠取每一辆车的图像子图，构建一个超大规模（数千万）的无标签车辆训练集Dunlabel，即无标签训练集；同时构建一个较大规模（数十万）的人工打标签的车型训练集Dlabel，即有标签训练集。
在上述实施例中，初始网络模型可以包括初始主干网络和初始分类网络。在训练时，可以利用无。标签训练集训练初始主干网络，得到目标主干网络。在得到目标主干网络之后，可以利用目标主干网络提取有标签训练集中的每个训练数据的数据特征，得到数据特征以及数据特征对应的标签，即数据特征对。再利用数据特征对训练初始分类网络，得到目标分类网络。
在上述实施例中，在得到目标分类网络和目标主干网络之后，可以将包括目标分类网络以及目标主干网络的模型确定为目标网络模型。还可以利用训练数据集再次训练目标分类网络以及目标主干网络，得到目标网络模型。
可选地，上述步骤的执行主体可以是后台处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有数据处理设备的机器，其中，数据处理设备可以包括计算机、手机等终端，但不限于此。
通过本发明，利用无标签训练集训练初始网络模型中包括的初始主干网络，得到目标主干网络，利用目标主干网络提取有标签训练集中包括的每个第二训练数据的数据特征，得到多个数据特征对，利用多个数据特征对训练初始网络模型中包括的初始分类网络，得到目标分类网络，根据目标主干网络以及目标分类网络的模型确定目标网络模型。由于训练初始网络模型得到目标网络模型的过程中，分别使用了无标签训练集和有标签训练集，训练出的模型对未训练过的图像具有很强的泛化识别能力，因此，可以解决相关技术中存在的训练得到的模型泛化能力差的问题，达到提高训练得到的网络模型的泛化能力的效果。
在一个示例性实施例中，利用无标签训练集训练初始网络模型中包括的初始主干网络包括：将所述第一训练数据输入至所述初始主干网络中包括的第一初始子主干网络中，得到第一特征；将所述第一训练数据输入至所述初始主干网络中包括的第二初始子主干网络中，得到第二特征，其中，所述第一初始子主干网络与所述第二初始子主干网络的结构相同；确定所述第一特征以及所述第二特征之间的第一损失值；基于所述第一损失值调整所述第一初始子主干网络以及所述第二初始子主干网络的网络参数。在本实施例中，初始主干网络可以包括第一初始子主干网络和第二初始子主干网络。第一初始子主干网络和第二初始子主干网络的结构相同，但更新网络参数的方式不同。可以将无标签训练集分别输入至第一初始子主干网络和第二初始子主干网络中，得到第一特征以及第二特征。确定第一特征与第二特征之间的第一损失值，根据第一损失值利用不同的方式调整第一初始子主干网络和第二初始子主干网络的网络参数。
在一个示例性实施例中，基于所述第一损失值调整所述第一初始子主干网络以及所述第二初始子主干网络的网络参数包括：基于所述第一损失值迭代更新所述第一初始子主干网络的第一网络参数；确定所述第一网络参数与第一权重的第一乘积；确定所述第二初始子主干网络的当前网络参数与第二权重的第二乘积；确定所述第一乘积与所述第二乘积的和值；将所述第二初始子主干网络的当前网络参数调整为所述和值。在本实施例中，第二初始子主干网络的调整后的网络参数可以表示为є←α*є+(1-α)*θ，其中，α表示第二权重，(1-α)表示第一权重，θ表示第一网络参数。第一权重和第二权重属于[0,1]，第一权重与第二权重的和值为1。
在上述实施例中，初始网络模型可以包括初始主干网络B和初始分类网络C。可以通过自监督学习来获得主干网络B的网络参数θ；自监督学习相比有监督学习，因其无需标签信息的介入，因此可以充分挖掘超大规模无标签车辆训练集Dunlabel里存在的丰富语义信息；自监督学习训练过程中，需要先将主干网络的结构复制为在线网络（即第一初始子主干网络）和目标网络（即第二初始子主干网络）。其中，在线网络的待学习的网络参数为θ，目标网络的待学习网络参数为є；虽然两个网络的结构是一样的，但两者的参数更新方式不同，є的更新是通过使用在线网络θ参数的指数移动平均来进行更新：є←α*є+(1-α)*θ，衰减率 α∈[0,1]；而θ参数的更新则主要通过在线网络和目标网络两者输出特征之间的L2损失函数进行梯度反向传播来进行，输出特征实为2048维的特征向量，在线网络相比目标网络，还后接一个全连接层的预测器，同θ参数一样，预测器的参数也是通过L2损失函数进行梯度反向传播来进行更新。L2损失函数得到的损失值即为第一损失值。
在一个示例性实施例中，将所述第一训练数据输入至所述初始主干网络中包括的第一初始子主干网络中，得到第一特征包括：对所述第一训练数据进行第一增强处理，得到第三训练数据，将所述第三训练数据输入至所述第一初始子主干网络中，得到所述第一特征；将所述第一训练数据输入至所述初始主干网络中包括的第二初始子主干网络中，得到第二特征包括：对所述第一训练数据进行所述第一增强处理，得到所述第三训练数据，对所述第三训练数据进行第二增强处理，得到第四训练数据，将所述第四训练数据输入至所述第二初始子主干网络中，得到所述第二特征。在本实施例中，第一增强处理和第二增强处理可以包括随机裁剪、颜色扰动等。第一增强处理和第二增强处理不同。当目标网络模型应用与智能交通场景时，对于无标签车辆训练集Dunlabel里的每一张车辆图像，训练前均要对自身图像进行两次数据增强（随机裁剪、颜色扰动等），两次增强后图像裁剪位置以及颜色增强上都有所不同，但依旧可以看出是同一辆车。第一次增强后的图作为在线网络的输入，第二次增强后的图作为目标网络的输入，因此在线网络和目标网络的作用是一个自我对抗的方式，会让两种数据增强后的图分别输入对应网络后，依旧在特征上保持相似。在得到第一特征和第二特征后，即可确定第一特征和第二特征之间的第一损失值。其中，确定第一特征和第二特征之间的第一损失值流程示意图可参见附图3。主要通过对自身图像进行两次数据增强（随机裁剪、颜色扰动等），从而设定一种度量损失来判断是否为同一张图像（无需标签信息的介入）；用这种方式来学习网络参数，后续仅需在少量的带标签的下游任务上进行迁移学习微调，即可达到很好的精度，同时训出的模型还对未训过的图像具有很强的泛化识别能力和识别精度。
在一个示例性实施例中，利用多个所述数据特征对训练所述初始网络模型中包括的初始分类网络，得到目标分类网络包括：将每个所述数据特征对中包括的数据特征输入至所述初始分类网络中，得到分类结果；基于所述分类结果以及所述目标标签确定所述初始分类网络的第二损失值；基于所述第二损失值迭代更新所述初始分类网络的网络参数，得到所述目标分类网络。在本实施例中，可以通过学习到的主干网络B，即目标主干网络提取有标签训练集中包括的每个第二训练数据的数据特征，得到数据特征对。其中，数据特征可以是1024维特征、2048维特征等。将每个数据特征对输入至初始分类网络中，得到分类结果。根据分类结果以及目标标签确定初始分类网络的第二损失值。根据第二损失值迭代更新初始分类网络的网络参数。其中，训练初始分类网络流程示意图可参见附图4，其中，虚线箭头表示有监督训练，实线箭头表示自监督训练。
在上述实施例中，当目标网络模型应用在智能交通场景时，可以对真实标签车型训练集Dlabel进行 2048维特征提取，并将提取到的带车型标签的特征作为输入，对分类器网络 C（即初始分类网络）进行有监督学习，可以利用交叉熵损失进行随机梯度下降更新分类器网络参数，以此获得分类器网络C的网络参数ε。
在一个示例性实施例中，基于所述目标主干网络以及所述目标分类网络确定目标网络模型包括：将所述无标签训练集中包括的第一训练数据输入至第一网络模型中，确定每个所述第一训练数据对应的识别标签，其中，所述第一网络模型包括所述目标主干网络以及所述目标分类网络；将每个所述第一训练数据以及所述第一训练数据对应的所述识别标签确定为第一训练集；混合所述第一训练集以及所述有标签训练集，得到第二训练集；基于所述第二训练集训练所述第一网络模型，得到第二网络模型；将所述第二网络模型确定为所述目标网络模型。在本实施例中，可以包括目标主干网络和目标分类网络的模型却确定为第一网络模型，利用第一网络模型识别第一训练数据，得到每个第一训练数据对应的识别标签，将每个第一训练数据和第一训练数据对应的识别标签确定为第一训练集，并将第一训练集与有标签训练集进行混合，得到第二训练集。利用第二训练集训练第一网络模型，得到目标网络模型。
需要说明的是，可以将无标签训练集中包括的所有第一训练数据分别输入至第一网络模型中。还可以随机从第一训练数据中抽取预定数量的训练数据输入至第一网络模型中。
在上述实施例中，当目标网络模型应用在智能交通场景中时，可以从无标签车辆训练集Dunlabel中随机抽取数百万量级的无标签车辆图像输送至第一网络模型中进行类别预测，并给这些图像打上车型伪标签（对应于上述识别标签），得到伪标签车型训练集Dplabel。将伪标签车型训练集Dplabel和真实标签的车型训练集Dlabel进行简单混合，最后对车型识别深度学习网络再次进行小学习率0.0001下的有监督训练，如利用交叉熵损失进行随机梯度下降方式更新目标主干网络和目标分类网络的网络参数。由于是利用了伪标签，所以实为半监督；采用小学习率主要的为了微调参数(θ，ε)，因为原有的(θ，ε)已经在接近最优，微调的作用是进一步挖掘混合训练集里的语义信息，得到最终强泛化且高精度的车型识别模型。其中，基于目标主干网络以及目标分类网络确定目标网络模型流程示意图可参见附图5，其中，虚线箭头表示半监督训练，实线箭头表示预测训练，即确定标识标签的过程。
在一个示例性实施例中，在基于所述目标主干网络以及所述目标分类网络确定目标网络模型之后，所述方法还包括：获取目标数据；将目标数据输入至所述目标网络模型，确定所述目标数据中包括的目标对象的属性信息。在本实施例中，在得到目标网络模型之后，可以利用目标网络模型识别获取到的目标数据，确定目标数据中包括的目标对象的属性信息。其中，当目标网络模型应用在智能交通场景时，目标对象可以包括机动车、非机动车等，属性信息可以为是否系安全带、是否逆行、是否违规停车等，当目标对象为非机动车时，属性信息还可以包括是否载人、是否佩戴安全帽等。
在前述实施例中，当目标网络模型应用在智能交通场景中时，构建一个超大规模的无标签车辆训练集和一个较大规模的真实标签车型训练集；构建车型识别深度学习网络，其由主干网络和分类器网络两个模块构成；在无标签的车辆训练集上，对主干网络进行自监督学习，并获得主干网络的网络参数；通过学习到的主干网络对真实标签车型训练集进行特征提取，将提取到的带标签特征用于分类器网络的有监督训练，并获得分类器网络的网络参数。随机挑选若干无标签车辆训练集图像，并输送至车型识别深度学习网络进行类别预测，并给挑选的每一车辆图像打上车型伪标签。最后将伪标签车型训练集和真实标签的车型训练集进行混合，对车型识别深度学习网络再次进行半监督训练，得到最终强泛化且高精度的车型识别网络模型。由于充分利用了大量未能人工打标的车辆数据，节省大量的人工标注成本，使得车型识别网络模型见过大量的车辆数据，提升了模型的泛化能力；同时还采用了伪标签和真实标签相结合的方式进一步优化了车型识别网络模型的精度；目标网络模型可以对当前道路车流情况进行实时分析，并迅速做出控制决策，及时保证道路上车辆的行驶安全和顺畅通行。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
在本实施例中还提供了一种模型的训练装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明实施例的模型的训练装置的结构框图，如图6所示，该装置包括：
第一训练模块62，用于利用无标签训练集训练初始网络模型中包括的初始主干网络，得到目标主干网络，其中，所述无标签训练集中包括第一训练数据；
第二训练模块64，用于利用所述目标主干网络提取有标签训练集中包括的每个第二训练数据的数据特征，得到多个数据特征对，其中，所述有标签训练集中包括第二训练数据以及所述第二训练数据对应的目标标签，每个所述数据特征对中包括所述数据特征以及所述第二训练数据对应的目标标签；
第三训练模块66，用于利用多个所述数据特征对训练所述初始网络模型中包括的初始分类网络，得到目标分类网络；
确定模块68，用于基于所述目标主干网络以及所述目标分类网络确定目标网络模型。
在一个示例性实施例中，第一训练模块62可以通过如下方式实现利用无标签训练集训练初始网络模型中包括的初始主干网络：将所述第一训练数据输入至所述初始主干网络中包括的第一初始子主干网络中，得到第一特征；将所述第一训练数据输入至所述初始主干网络中包括的第二初始子主干网络中，得到第二特征，其中，所述第一初始子主干网络与所述第二初始子主干网络的结构相同；确定所述第一特征以及所述第二特征之间的第一损失值；基于所述第一损失值调整所述第一初始子主干网络以及所述第二初始子主干网络的网络参数。
在一个示例性实施例中，第一训练模块62可以通过如下方式实现基于所述第一损失值调整所述第一初始子主干网络以及所述第二初始子主干网络的网络参数：基于所述第一损失值迭代更新所述第一初始子主干网络的第一网络参数；确定所述第一网络参数与第一权重的第一乘积；确定所述第二初始子主干网络的当前网络参数与第二权重的第二乘积；确定所述第一乘积与所述第二乘积的和值；将所述第二初始子主干网络的当前网络参数调整为所述和值。
在一个示例性实施例中，第一训练模块62可以通过如下方式实现将所述无标签训练集中包括的第二训练数据输入至所述初始主干网络中包括的第一初始子主干网络中，得到第一特征：对所述第二训练数据进行第一增强处理，得到第三训练数据，将所述第三训练数据输入至所述第一初始子主干网络中，得到所述第一特征；第一训练模块62可以通过如下方式实现将所述无标签训练集中包括的第二训练数据输入至所述初始主干网络中包括的第二初始子主干网络中，得到第二特征：对所述第二训练数据进行所述第一增强处理，得到所述第三训练数据，对所述第三训练数据进行第二增强处理，得到第四训练数据，将所述第四训练数据输入至所述第二初始子主干网络中，得到所述第二特征。
在一个示例性实施例中，第三训练模块66可以通过如下方式实现利用多个所述数据特征对训练所述初始网络模型中包括的初始分类网络，得到目标分类网络：将每个所述数据特征对中包括的数据特征输入至所述初始分类网络中，得到分类结果；基于所述分类结果以及所述目标标签确定所述初始分类网络的第二损失值；基于所述第二损失值迭代更新所述初始分类网络的网络参数，得到所述目标分类网络。
在一个示例性实施例中，确定模块68可以通过如下方式实现基于所述目标主干网络以及所述目标分类网络确定目标网络模型：将所述无标签训练集中包括的第一训练数据输入至第一网络模型中，确定每个所述第一训练数据对应的识别标签，其中，所述第一网络模型包括所述目标主干网络以及所述目标分类网络；将每个所述第一训练数据以及所述第一训练数据对应的所述识别标签确定为第一训练集；混合所述第一训练集以及所述有标签训练集，得到第二训练集；基于所述第二训练集训练所述第一网络模型，得到第二网络模型；将所述第二网络模型确定为所述目标网络模型。
在一个示例性实施例中，所述装置可以用于在基于所述目标主干网络以及所述目标分类网络确定目标网络模型之后：获取目标数据；将目标数据输入至所述目标网络模型，确定所述目标数据中包括的目标对象的属性信息。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种模型的训练方法，其特征在于，应用于智能交通场景，包括：
通过处理器执行以下步骤：
利用无标签训练集训练初始网络模型中包括的初始主干网络，得到目标主干网络，其中，所述无标签训练集中包括第一训练数据；
利用所述目标主干网络提取有标签训练集中包括的每个第二训练数据的数据特征，得到多个数据特征对，其中，所述有标签训练集中包括第二训练数据以及所述第二训练数据对应的目标标签，每个所述数据特征对中包括所述数据特征以及所述第二训练数据对应的目标标签；
利用多个所述数据特征对训练所述初始网络模型中包括的初始分类网络，得到目标分类网络；
基于所述目标主干网络以及所述目标分类网络确定目标网络模型；
在基于所述目标主干网络以及所述目标分类网络确定目标网络模型之后，所述方法还包括：获取目标数据；将目标数据输入至所述目标网络模型，确定所述目标数据中包括的目标对象的属性信息，所述目标数据包括图像；
其中，所述无标签训练集是通过如下方式得到的：获取架设在城市道路、高速道路、隧道上的摄像头采集的监控视频流，将所述监控视频流送入车辆检测网络模型中，得到帧画面里的所有车辆的检测框位置，基于所述检测框位置抠取每一辆车的图像子图，基于抠取的每一辆车的图像子图构建所述无标签训练集；所述有标签训练集是通过如下方式得到的：确定人工对抠取的每一辆车的图像子图打的标签，将抠取的每一辆车的图像子图以及抠取的每一辆车的图像子图对应的标签构成的训练集确定为有标签训练集；所述目标数据包括车辆图像，所述第一训练数据、所述第二训练数据以及所述目标数据为相同类型的数据；
利用无标签训练集训练初始网络模型中包括的初始主干网络包括：将所述第一训练数据输入至所述初始主干网络中包括的第一初始子主干网络中，得到第一特征；将所述第一训练数据输入至所述初始主干网络中包括的第二初始子主干网络中，得到第二特征，其中，所述第一初始子主干网络与所述第二初始子主干网络的结构相同；确定所述第一特征以及所述第二特征之间的第一损失值；基于所述第一损失值调整所述第一初始子主干网络以及所述第二初始子主干网络的网络参数；
利用多个所述数据特征对训练所述初始网络模型中包括的初始分类网络，得到目标分类网络包括：将每个所述数据特征对中包括的数据特征输入至所述初始分类网络中，得到分类结果；基于所述分类结果以及所述目标标签确定所述初始分类网络的第二损失值；基于所述第二损失值迭代更新所述初始分类网络的网络参数，得到所述目标分类网络；
基于所述目标主干网络以及所述目标分类网络确定目标网络模型包括：将所述无标签训练集中包括的第一训练数据输入至第一网络模型中，确定每个所述第一训练数据对应的识别标签，其中，所述第一网络模型包括所述目标主干网络以及所述目标分类网络；将每个所述第一训练数据以及所述第一训练数据对应的所述识别标签确定为第一训练集；混合所述第一训练集以及所述有标签训练集，得到第二训练集；基于所述第二训练集训练所述第一网络模型，得到第二网络模型；将所述第二网络模型确定为所述目标网络模型。
2.根据权利要求1所述的方法，其特征在于，基于所述第一损失值调整所述第一初始子主干网络以及所述第二初始子主干网络的网络参数包括：
基于所述第一损失值迭代更新所述第一初始子主干网络的第一网络参数；
确定所述第一网络参数与第一权重的第一乘积；
确定所述第二初始子主干网络的当前网络参数与第二权重的第二乘积；
确定所述第一乘积与所述第二乘积的和值；
将所述第二初始子主干网络的当前网络参数调整为所述和值。
3.根据权利要求1所述的方法，其特征在于，
将所述无标签训练集中包括的第二训练数据输入至所述初始主干网络中包括的第一初始子主干网络中，得到第一特征包括：对所述第二训练数据进行第一增强处理，得到第三训练数据，将所述第三训练数据输入至所述第一初始子主干网络中，得到所述第一特征；
将所述无标签训练集中包括的第二训练数据输入至所述初始主干网络中包括的第二初始子主干网络中，得到第二特征包括：对所述第二训练数据进行所述第一增强处理，得到所述第三训练数据，对所述第三训练数据进行第二增强处理，得到第四训练数据，将所述第四训练数据输入至所述第二初始子主干网络中，得到所述第二特征。
4.一种模型的训练装置，其特征在于，应用于处理器中，包括：
第一训练模块，用于利用无标签训练集训练初始网络模型中包括的初始主干网络，得到目标主干网络，其中，所述无标签训练集中包括第一训练数据；
第二训练模块，用于利用所述目标主干网络提取有标签训练集中包括的每个第二训练数据的数据特征，得到多个数据特征对，其中，所述有标签训练集中包括第二训练数据以及所述第二训练数据对应的目标标签，每个所述数据特征对中包括所述数据特征以及所述第二训练数据对应的目标标签；
第三训练模块，用于利用多个所述数据特征对训练所述初始网络模型中包括的初始分类网络，得到目标分类网络；
确定模块，用于基于所述目标主干网络以及所述目标分类网络确定目标网络模型；
所述装置还用于在基于所述目标主干网络以及所述目标分类网络确定目标网络模型之后，获取目标数据；将目标数据输入至所述目标网络模型，确定所述目标数据中包括的目标对象的属性信息，所述目标数据包括图像；
所述无标签训练集是通过如下方式得到的：获取架设在城市道路、高速道路、隧道上的摄像头采集的监控视频流，将所述监控视频流送入车辆检测网络模型中，得到帧画面里的所有车辆的检测框位置，基于所述检测框位置抠取每一辆车的图像子图，基于抠取的每一辆车的图像子图构建所述无标签训练集；所述有标签训练集是通过如下方式得到的：确定人工对抠取的每一辆车的图像子图打的标签，将抠取的每一辆车的图像子图以及抠取的每一辆车的图像子图对应的标签构成的训练集确定为有标签训练集；所述目标数据包括车辆图像，所述第一训练数据、所述第二训练数据以及所述目标数据为相同类型的数据；
所述第一训练模块通过如下方式实现利用无标签训练集训练初始网络模型中包括的初始主干网络：将所述第一训练数据输入至所述初始主干网络中包括的第一初始子主干网络中，得到第一特征；将所述第一训练数据输入至所述初始主干网络中包括的第二初始子主干网络中，得到第二特征，其中，所述第一初始子主干网络与所述第二初始子主干网络的结构相同；确定所述第一特征以及所述第二特征之间的第一损失值；基于所述第一损失值调整所述第一初始子主干网络以及所述第二初始子主干网络的网络参数；
所述第三训练模块通过如下方式实现利用多个所述数据特征对训练所述初始网络模型中包括的初始分类网络，得到目标分类网络：将每个所述数据特征对中包括的数据特征输入至所述初始分类网络中，得到分类结果；基于所述分类结果以及所述目标标签确定所述初始分类网络的第二损失值；基于所述第二损失值迭代更新所述初始分类网络的网络参数，得到所述目标分类网络；
所述确定模块通过如下方式实现基于所述目标主干网络以及所述目标分类网络确定目标网络模型：将所述无标签训练集中包括的第一训练数据输入至第一网络模型中，确定每个所述第一训练数据对应的识别标签，其中，所述第一网络模型包括所述目标主干网络以及所述目标分类网络；将每个所述第一训练数据以及所述第一训练数据对应的所述识别标签确定为第一训练集；混合所述第一训练集以及所述有标签训练集，得到第二训练集；基于所述第二训练集训练所述第一网络模型，得到第二网络模型；将所述第二网络模型确定为所述目标网络模型。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至3任一项中所述的方法的步骤。
6.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至3任一项中所述的方法。
CN202210754890.XA 2022-06-30 2022-06-30 一种模型的训练方法、装置、存储介质及电子装置 Active CN114821247B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210754890.XA CN114821247B (zh) 2022-06-30 2022-06-30 一种模型的训练方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210754890.XA CN114821247B (zh) 2022-06-30 2022-06-30 一种模型的训练方法、装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN114821247A CN114821247A (zh) 2022-07-29
CN114821247B true CN114821247B (zh) 2022-11-01

Family

ID=82522402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210754890.XA Active CN114821247B (zh) 2022-06-30 2022-06-30 一种模型的训练方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN114821247B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375978B (zh) * 2022-10-27 2023-02-03 北京闪马智建科技有限公司 行为信息的确定方法、装置、存储介质及电子装置
CN115527087B (zh) * 2022-11-04 2023-07-14 北京闪马智建科技有限公司 行为信息的确定方法、装置、存储介质及电子装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068171B2 (en) * 2015-11-12 2018-09-04 Conduent Business Services, Llc Multi-layer fusion in a convolutional neural network for image classification
CN110188209B (zh) * 2019-05-13 2021-06-04 山东大学 基于层次标签的跨模态哈希模型构建方法、搜索方法及装置
CN112052893A (zh) * 2020-09-01 2020-12-08 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN112819099B (zh) * 2021-02-26 2023-12-22 杭州网易智企科技有限公司 网络模型的训练方法、数据处理方法、装置、介质及设备
CN114511042A (zh) * 2022-04-06 2022-05-17 杭州闪马智擎科技有限公司 一种模型的训练方法、装置、存储介质及电子装置
CN114511083A (zh) * 2022-04-19 2022-05-17 北京闪马智建科技有限公司 一种模型的训练方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN114821247A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN114821247B (zh) 一种模型的训练方法、装置、存储介质及电子装置
CN112784718B (zh) 一种基于边缘计算与深度学习的绝缘子状态识别方法
CN112215171B (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN112215190A (zh) 基于yolov4模型的违章建筑检测方法
CN114157829A (zh) 模型训练优化方法、装置、计算机设备及存储介质
CN112070071B (zh) 视频中的对象标注方法、装置、计算机设备及存储介质
CN114495060B (zh) 一种道路交通标线识别方法及装置
CN113223011B (zh) 基于引导网络和全连接条件随机场的小样本图像分割方法
Ciuntu et al. Real-time traffic sign detection and classification using machine learning and optical character recognition
CN114998570B (zh) 一种对象检测框的确定方法、装置、存储介质及电子装置
CN114120287B (zh) 数据处理方法、装置、计算机设备和存储介质
CN116385856A (zh) 数据传输方法、设备及存储介质
CN116109825A (zh) 语义分割模型训练方法、语义分割方法和装置
CN113470012B (zh) 标线识别方法、装置、存储介质及电子装置
CN116974735A (zh) 模型训练的方法、电子设备和计算机程序产品
CN112883868B (zh) 一种基于关系建模的弱监督视频动作定位模型的训练方法
CN109063732A (zh) 基于特征交互和多任务学习的图像排序方法及系统
CN114238622A (zh) 关键信息的提取方法和装置、存储介质及电子装置
CN116311015A (zh) 道路场景识别方法、装置、服务器、存储介质和程序产品
CN113221982A (zh) 一种车辆识别方法、车辆识别模型创建方法及相关组件
CN115565152B (zh) 融合车载激光点云与全景影像的交通标志牌提取方法
Kirubakaran et al. Driving into the Future: Artificial Intelligence based Traffic Sign Recognition using Learning Assisted OCR Principle
CN118015286B (zh) 通过背景分割进行收费站车道通行状态检测的方法及装置
CN114511794B (zh) 基于配网机巡影像数据的典型缺陷智能识别方法及系统
CN117475143A (zh) 图像的语义分割标注方法及装置、非易失性存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant