CN111639684A - 一种数据处理模型的训练方法及装置 - Google Patents

一种数据处理模型的训练方法及装置 Download PDF

Info

Publication number
CN111639684A
CN111639684A CN202010412990.5A CN202010412990A CN111639684A CN 111639684 A CN111639684 A CN 111639684A CN 202010412990 A CN202010412990 A CN 202010412990A CN 111639684 A CN111639684 A CN 111639684A
Authority
CN
China
Prior art keywords
data
trained
determining
loss
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010412990.5A
Other languages
English (en)
Other versions
CN111639684B (zh
Inventor
刘宇达
申浩
王赛
王子为
鲁继文
周杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Tsinghua University
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Beijing Sankuai Online Technology Co Ltd filed Critical Tsinghua University
Priority to CN202010412990.5A priority Critical patent/CN111639684B/zh
Publication of CN111639684A publication Critical patent/CN111639684A/zh
Application granted granted Critical
Publication of CN111639684B publication Critical patent/CN111639684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本说明书公开了一种数据处理模型的训练方法及装置，在训练的过程中，分别的确定该待训练的数据处理模型的编码端造成的编码损失和解码端造成的解码损失。并且，基于编码损失和解码损失之间的相关性，在训练过程中对待训练的数据处理模型的至少部分参数进行调整时，对编码损失和解码损失进行综合，以综合后的损失的最小化为训练目标。则本说明书中的训练过程能够使得编码端获得良好的编码能力，且使得解码端获得良好的解码能力的同时，平衡编码端和解码端各自对数据处理模型整体的数据处理能力的贡献，进而使该训练后的数据处理模型对输入的数据中无效信息具备良好的压缩能力，并避免在数据处理的过程中对该输入的数据中的有效信息造成负面影响。

Description

一种数据处理模型的训练方法及装置
技术领域
本申请涉及互联网技术领域，尤其涉及一种数据处理模型的训练方法及装置。
背景技术
人工智能技术近来得到广泛的发展和应用，各种神经网络技术的研究和应用成为技术热点。例如，在自动驾驶技术中，神经网络被广泛应用于车辆、行人、交通灯检测等感知计算。
现有的神经网络对数据进行处理的过程，往往伴随着对该输入的数据的压缩。例如，通过神经网络的卷积层对图像数据进行处理，得到图像特征点时，该卷积层在将输入的图像数据进行数据形式的转化的同时，还一定程度的去除了该图像数据中的部分信息，以实现对该图像数据的压缩。然而，该对数据进行处理时进行的压缩，难免会导致数据中的部分有用的信息被去除掉，以及数据中冗余的信息仍然保留在数据处理的结果中的现象。这就使得该数据处理的结果在后续的步骤(例如，以该数据处理的结果为基础，进行的检测过程)中，可供使用的信息的量受到影响，引起该后续的步骤的实施效果；并且该数据处理的结果中存在冗余的信息，导致实施该后续的步骤时将消耗更多的资源。
由此，如何有效的对数据进行处理，以避免该处理的过程对有用的信息造成负面影响，并减少冗余的信息，成为亟待解决的问题。
发明内容
本说明书实施例提供一种数据处理模型的训练方法及装置，以部分的解决现有技术存在的上述问题。
本说明书实施例采用下述技术方案：
本说明书提供的一种数据处理模型的训练方法，所述方法包括：
获取待训练的数据处理模型，所述待训练的数据处理模型包括；待训练的编码端和待训练的解码端；
将预设的样本数据输入所述待训练的编码端，得到所述待训练的编码端输出的数据特征；
将所述数据特征输入所述待训练的解码端，得到所述待训练的解码端输出的处理结果；
根据所述数据特征，确定所述待训练的编码端编码所述样本数据时，对所述样本数据的编码损失；
根据所述解码端的处理结果和所述样本数据预设的标签，确定所述待训练的解码端解码所述数据特征时，对所述数据特征的解码损失；
以所述编码损失最小化，且所述解码损失最小化为训练目标，训练所述待训练的数据处理模型，得到训练后的数据处理模型。
可选地，确定所述待训练的编码端编码所述样本数据时，对所述样本数据的编码损失，具体包括：
根据所述待训练的编码端的参数，确定所述待训练的编码端在生成所述数据特征之前，所述数据特征的先验分布；
根据所述数据特征，确定所述待训练的编码端在根据所述样本数据生成所述数据特征之后，所述数据特征的后验分布；
根据所述数据特征的先验分布和所述数据特征的后验分布之间的差异，确定所述编码损失。
可选地，所述编码端是量化神经网络；
根据所述待训练的编码端的参数，确定所述待训练的编码端在生成所述数据特征之前，所述数据特征的先验分布，具体包括：
确定所述待训练的量化神经网络中，用于量化所述量化神经网络生成的激活值的量化函数；
根据所述量化函数，确定所述待训练的编码端在生成所述数据特征之前，由所述待训练的量化函数生成的各特征值在所述数据特征中出现的概率；
根据所述各特征值在所述数据特征中出现的概率，确定所述数据特征的先验分布；
根据所述数据特征，确定所述待训练的编码端在根据所述样本数据生成所述数据特征之后，所述数据特征的后验分布，具体包括：
在所述待训练的编码端生成所述数据特征之后，对所述数据特征进行采样；
根据对所述数据特征进行采样的结果，确定所述数据特征的后验分布。
可选地，根据所述解码端的处理结果和所述样本数据预设的标签，确定所述待训练的解码端解码所述数据特征时，对所述数据特征的解码损失，具体包括：
根据所述样本数据对应的标签，确定所述待训练的解码端在生成所述处理结果之前，所述处理结果的先验分布；
根据所述数据特征，确定所述待训练的解码端在根据所述数据特征生成所述处理结果之后，所述处理结果的后验分布；
根据所述处理结果的先验分布和所述处理结果的后验分布之间的差异，确定所述解码损失。
可选地，所述样本数据为样本图像；所述解码端包括检测网络；所述检测网络用于根据所述数据特征，检测物体在输入所述编码端的图像中的位置；
根据所述样本数据对应的标签，确定所述待训练的解码端在生成所述处理结果之前，所述处理结果的先验分布，具体包括：
在所述待训练的检测网络生成处理结果之前，根据所述样本图像对应的标签，确定该样本图像中预设标准检测框的分布，作为所述待训练的检测网络处理所述数据特征时得到的中间检测框的先验分布；
根据所述数据特征，确定所述待训练的解码端在根据所述数据特征生成所述处理结果之后，所述处理结果的后验分布，具体包括：
对所述待训练的检测网络处理所述数据特征时，得到的各中间检测框进行采样；
根据对所述中间检测框进行采样的结果，确定所述中间检测框的后验分布。
可选地，所述解码端包括分类网络：所述分类网络用于根据所述数据特征和所述检测网络生成的检测框，确定所述检测框中物体所属的分类，以及所述物体属于所述分类的置信度；
根据所述样本数据对应的标签，确定所述待训练的解码端在生成所述处理结果之前，所述处理结果的先验分布，具体包括：
在所述待训练的分类网络生成处理结果之前，根据所述预设样本图像对应的标签，针对每个中间检测框，确定该中间检测框中物体属于所述分类的标准置信度；
根据各检测框中物体的标准置信度，确定所述标准置信度的分布，作为所述待训练的分类网络处理所述数据特征时得到的中间置信度的先验分布；
根据所述数据特征，确定所述待训练的解码端在根据所述数据特征生成所述处理结果之后，所述处理结果的后验分布，具体包括：
针对每个中间检测框，确定所述待训练的分类网络对该中间检测框中物体，确定该物体属于所述分类的中间置信度；
对各中间置信度进行采样；
根据对各中间置信度进行采样的结果，确定所述中间置信度的后验分布。
可选地，以所述编码损失最小化，且所述解码损失最小化为训练目标，训练所述待训练的数据处理模型之前，所述方法还包括：
根据所述待训练的分类网络对该中间检测框中物体确定的中间置信度，确定置信度损失，所述置信度损失与各中间检测框中物体的中间置信度负相关；
以所述编码损失最小化，且所述解码损失最小化为训练目标，训练所述待训练的数据处理模型，具体包括：
以所述编码损失最小化，所述解码损失最小化，且所述置信度损失最小化为训练目标，训练所述待训练的数据处理模型。
本说明书提供的数据处理模型的训练装置，包括：
获取模块，用于获取待训练的数据处理模型，所述待训练的数据处理模型包括；待训练的编码端和待训练的解码端；
数据特征确定模块，用于将预设的样本数据输入所述待训练的编码端，得到所述待训练的编码端输出的数据特征；
处理结果确定模块，用于将所述数据特征输入所述待训练的解码端，得到所述待训练的解码端输出的处理结果；
编码损失确定模块，用于根据所述数据特征，确定所述待训练的编码端编码所述样本数据时，对所述样本数据的编码损失；
解码损失确定模块，用于根据所述解码端的处理结果和所述样本数据预设的标签，确定所述待训练的解码端解码所述数据特征时，对所述数据特征的解码损失；
训练模块，用于以所述编码损失最小化，且所述解码损失最小化为训练目标，训练所述待训练的数据处理模型，得到训练后的数据处理模型。
本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种数据处理模型的训练方法。
本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述一种数据处理模型的训练方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
本说明书实施例中的一种数据处理模型的训练方法及装置，在对待训练的数据处理模型进行训练时，分别的确定该待训练的数据处理模型的编码端造成的编码损失和解码端造成的解码损失。并且，基于编码损失和解码损失之间的相关性，在训练过程中对待训练的数据处理模型的至少部分参数进行调整时，对编码损失和解码损失进行综合，以综合后的损失的最小化为训练目标。则本说明书中的训练过程能够使得编码端获得良好的编码能力，且使得解码端获得良好的解码能力的同时，平衡编码端和解码端各自对数据处理模型整体的数据处理能力的贡献，进而使该训练后的数据处理模型对输入的数据中无效信息具备良好的压缩能力，并避免在采用该训练后的数据处理模型进行数据处理过程中，对该输入的数据中的有效信息造成负面影响。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书实施例提供的一种数据处理模型的训练过程；
图2a为本说明书实施例提供的一种数据处理模型的训练过程的示意图；
图2b为本说明书实施例提供的另一种数据处理模型的训练过程的示意图；
图3为本说明书实施例提供的一种数据处理模型的训练装置的结构示意图；
图4为本说明书实施例提供的对应于图1的一种电子设备部分结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书实施例提供的一种数据处理模型的训练过程，具体可包括以下步骤：
S100：获取待训练的数据处理模型，所述待训练的数据处理模型包括；待训练的编码端和待训练的解码端。
本说明书中，数据处理模型可以用于对输入其中的数据进行处理，并在此基础之上，输出对该数据的处理结果。
该数据处理模型可以包括级联的编码端和解码端，如图2a所示。在采用该数据处理模型对数据进行处理时，可以将数据输入所述编码端，得到所述编码端输出的数据特征(例如，可以通过向量表征该数据特征)。然后，将该数据特征输入所述解码端，所述解码端根据该数据特征输出数据处理的结果。
可选地，本说明书中的数据处理模型，可以应用于无人驾驶领域。具体地，采用本说明书中的数据处理模型的训练过程得到的数据处理模型，可以在无人驾驶车辆(包括无人车、具有辅助驾驶功能的车辆中的至少一种)、智能道路设施(例如设置于道路环境中的监控设施)中应用。
该输入的数据的类型，以及根据该输入的数据得到的数据特征和处理结果的类型，可以根据实际的使用场景、所述数据处理模型的任务目标中的至少一种确定。其中，任务目标是数据处理模型在进行数据处理时所要实现的目的，若数据处理模型用于规划无人驾驶车辆在沿行驶轨迹行驶时的行驶状态，则该数据处理模型的任务目标是生成行驶状态。
例如，在识别图像中的物体的场景中，该输入的数据可以是图像、视频、点云数据等能够体现图形特征的数据；根据该输入的数据，得到的数据特征可以是特征图；该处理结果可以是从该数据特征中识别出的物体的位置、物体的种类中的至少一种。训练时所采用的样本数据应与数据处理模型实际使用时实际输入的数据相对应，该样本数据对应的标签应与数据处理模型实际使用时要实现的任务目标相对应。若实际使用时输入的数据是图像，则训练时所采用的样本数据也应是图像。
再例如，在根据采集得到的环境的图像，确定无人驾驶车辆的行驶策略的场景中，该处理结果可以是环境中物体的运动状态、为该无人驾驶车辆规划的行驶策略中的至少一种。
S102：将预设的样本数据输入所述待训练的编码端，得到所述待训练的编码端输出的数据特征。
该预设的样本数据可以包括历史上生成的实际的数据。本说明书中的训练过程可以采用有监督的训练，在确定样本数据时，可以根据训练的目标，确定该样本数据的标签。样本数据的数量可以是多个。
在本说明书中，解码端对数据进行处理的过程可以概括为：从数据中提取有效信息，并将该提取的有效信息转化为具有预设格式的数据特征。
其中，有效信息可以是对实现数据处理模型的任务目标有用的各信息；其余的，对实现数据处理模型的任务目标无用的信息，可以作为无效信息。则从数据中提取有效信息的过程，可以等效于去除数据中的无效信息的过程。
在本说明书一个可选的实施例中，可以根据数据处理模型的任务目标、数据处理模型使用的场景中的至少一种，确定输入的数据中的信息是否是有效信息。
仍以前述的识别图像中的物体的场景为例，若此时数据处理模型所要实现的任务目标是“确定出图像中物体的类别”，则确定输入的数据中能够体现物体的类别的数据即为有效信息。具体地，物体的类别(例如，某物体是车辆或人类)与该物体的形状、轮廓较为相关，则确定对应于物体的形状轮廓的信息是有效信息；而物体的类别与该物体的颜色相关度较低，则针对某物体，尽管对应于颜色的信息是该物体的信息的一部分，但该信息对确定类别的任务目标贡献度较小，则确定该对应于颜色的信息可以是无效信息。
可见，在数据处理模型所要实现的任务目标是“确定出图像中物体的类别”时，该有效信息至少可以提高解码端从数据特征中识别出的物体的种类的准确度、精确度中的至少一种。
S104：将所述数据特征输入所述待训练的解码端，得到所述待训练的解码端输出的处理结果。
在本说明书一个可选的实施例中，解码端对数据特征的处理过程可以概括为：根据数据特征中的至少部分信息进行重构，以得到与数据处理模型的任务目标对应的处理结果。
S106：根据所述数据特征，确定所述待训练的编码端编码所述样本数据时，对所述样本数据的编码损失。
由前述内容可知，所述编码损失至少可以用于表征：相较于输入的数据，该由编码端得到的数据特征中保留的有效信息的量和无效信息的量。可选地，该编码损失可以与该数据特征中的有效信息的量负相关，且与该数据特征中的无效信息的量正相关。
可选地，步骤S104和步骤S106的执行次序不分先后。
S108：根据所述解码端的处理结果和所述样本数据预设的标签，确定所述待训练的解码端解码所述数据特征时，对所述数据特征的解码损失。
由解码端得到的处理结果，一方面与数据特征中的有效信息的量和无效信息的量有关，有效信息的量越多，则处理结果的质量越好；较多的无效信息至少会引起解码端的计算资源的浪费。另一方面，该得到的处理结果还与该解码端从数据特征中重构得到与任务目标对应的处理结果的能力有关。例如，即使数据特征中的有效数据较多、无效信息较少，若解码端从数据特征中重构得到与任务目标对应的处理结果的能力有限，也无法得到高质量的处理结果。
在本说明书中，所述解码损失至少可以用于表征：从数据特征中重构得到与任务目标对应的处理结果的能力。解码端从数据特征中重构得到与任务目标对应的处理结果的能力，与解码损失负相关。
可选地，可以根据所述解码端的处理结果和所述样本数据预设的标签之间的差异，确定解码损失。步骤S106和步骤S108的执行次序不分先后。
S110：以所述编码损失最小化，且所述解码损失最小化为训练目标，训练所述待训练的数据处理模型，得到训练后的数据处理模型。
在得到所述待训练的数据处理模型的编码损失和解码损失之后，可以对编码损失和解码损失进行综合，根据该综合得到的结果对数据处理模型至少部分参数进行调整，以使得编码端获得良好的编码能力、解码端获得良好的解码能力的同时，平衡编码端和解码端各自对数据处理模型整体的数据处理能力的贡献，进而使该训练后的数据处理模型对输入的数据中无效信息具备良好的压缩能力，并避免在数据处理过程中对该输入的数据中有效的信息造成负面影响。
下面对本说明书中所述的数据处理的过程进行详细说明。
可见，本说明书中的训练过程，以编码损失和解码损失的综合，作为训练的依据，编码损失和解码损失在训练的过程中均发挥着至关重要的作用。为使本说明书中的训练过程更加清晰，以下针对“确定编码损失”和“确定解码损失”两个过程进行分别的说明。
一、确定编码损失。
在本说明书一个可选的实施例中，如图2a、图2b所示，可以以输入的样本数据X和待训练的编码端输出的数据特征F之间的互信息I(X；F)，一定程度的表征编码端的编码损失。则该编码损失可以根据数据特征的先验分布和该数据特征的后验分布确定。具体地，该确定编码损失的过程可以是：
1)根据所述待训练的编码端的至少部分参数，确定所述待训练的编码端在生成所述数据特征之前，所述数据特征的先验分布。
由前述内容可知，本说明书中的数据特征F可以包括由数字构成的符合预设格式的一组特征值。在该组特征值中，各特征值的数值和特征值之间的排列方式共同构成该数据特征中所包含的信息。
其中，所述数据特征F的先验分布至少用于表征：在所述编码端生成所述数据特征之前，针对数据特征中的各特征值，确定出的该特征值在所述数据特征中出现的概率。在本步骤中确定数据特征的先验分布p(f)时，待训练的编码端尚未生成所述数据特征F(或者，该编码端尚未接收到样本数据X)，则可以通过人工设定的方式确定该数据特征F的先验分布p(f)。
具体地，若该编码端的输出层对应的参数是实值参数，例如，编码端的中间层生成的中间特征值，经与该输出层对应的激活函数处理之后仍然为浮点数，使得由编码端输出的数据特征中的至少部分特征值是浮点数，则可以确定该数据特征的先验分布p(f)是高斯分布。
进一步地，若该编码端是量化神经网络，例如，编码端的中间层生成的中间特征值，经与该编码端的输出层对应的激活函数处理之后，被转化为二值化或三值化的中间特征值，则可以首先确定出所述待训练的量化神经网络中，用于量化所述量化神经网络生成的激活值的量化函数(例如，sign函数)。然后，根据所述量化函数，确定所述待训练的编码端在生成所述数据特征之前，由所述量化函数生成的各特征值在所述数据特征中出现的概率，若量化函数为sign函数，则特征值可以是+1和-1，+1和-1在所述数据特征中出现的概率均为0.5。之后，根据所述各特征值在所述数据特征中出现的概率，确定所述数据特征的先验分布p(f)，若各特征值在所述数据特征中出现的概率均是0.5，则该先验分布p(f)是二项分布。
2)根据所述数据特征，确定所述待训练的编码端在根据所述样本数据生成所述数据特征之后，所述数据特征的后验分布。
所述数据特征F的后验分布p(f|x)至少用于表征：所述编码端在生成特征数据F之后，根据该数据特征，确定出的特征数据F中各特征值在所述数据特征F中出现的概率。
具体地，该确定数据特征F的后验分布p(f|x)的过程可以是：在所述待训练的编码端生成所述数据特征之后，对所述数据特征进行采样；根据对所述数据特征进行采样的结果，确定所述数据特征的后验分布。该采样可选地是随机采样，例如蒙特卡洛(MonteCarlo)采样。
3)根据所述数据特征的先验分布和所述数据特征的后验分布之间的差异，确定所述编码损失。
本说明书以输入的样本数据X和待训练的编码端输出的数据特征F之间的互信息I(X；F)，表征编码端的编码损失。则该编码损失L1的计算公式可以是：
Figure BDA0002493934120000111
可见，该编码损失能够用于衡量数据特征中可用于实现任务目标的有效信息的量，且在训练的过程中尽量减小编码损失，能够有效的去除数据特征中无效信息的量。可选地，可在训练的过程中，通过调整编码端的参数的方式，使得p(f|x)趋近于p(f)。
此外，若在确定编码损失的过程中需要确定样本数据的先验分布，则可以通过对样本进行采样的方式，得到该样本数据的先验分布。
二、确定解码损失。
在本说明书一个可选的实施例中，可以根据待训练的解码端输出的处理结果D和编码端输出的数据特征F之间的互信息I(F；D)，确定解码端的解码损失。则该解码损失可以根据处理结果D的先验分布和该处理结果D的后验分布确定。具体地，该确定解码损失的过程可以是：
1)根据所述样本数据对应的标签，确定所述待训练的解码端在生成所述处理结果之前，所述处理结果的先验分布。
可选地，本说明书中的标签可以包括数字构成的符合预设格式的一组特征值。在该组特征值中，各特征值的数值和特征值之间的排列方式共同构成该标签中所包含的信息。
在本步骤中确定处理结果的先验分布时，待训练的解码端尚未生成所述处理结果D，则可以根据预设的标签，确定出处理结果D的先验分布。
其中，所述处理结果D先验分布至少用于表征：在所述生成所述处理结果D之前，根据预设的标签，针对所述处理结果D中各特征值，确定出的该特征值在所述处理结果D中出现的概率。
①在本说明书一个可选的实施例中，训练所述数据处理模型所采用的样本数据为样本图像，该数据处理模型的任务目标包括检测图像中的物体的位置，如图2b所示，所述解码端包括检测网络，该检测网络用于根据所述数据特征，检测物体在图像中的位置。
其中，物体在图像中的位置可以由检测框在所述图像中的位置，以及检测框在所述图像中圈中的范围表征。也就是说，确定检测框的过程，等效于检测物体在图像中的位置的过程。
则，确定该待训练的检测网络生成的处理结果的先验分布的过程可以包括：在所述待训练的检测网络生成处理结果之前，根据所述样本数据对应的标签，确定该样本数据中预设标准检测框的分布，作为所述待训练的检测网络处理所述数据特征时得到的中间检测框的先验分布。
在本说明书中，样本数据对应的标签至少包括：标准检测框的分布。
其中，所述待训练的检测网络生成的处理结果可以包括：物体相对于所述中间检测框的中心点的偏移量l1、物体相对于所述中间检测框的尺寸缩放比例l2中的至少一种。中间检测框的先验分布可以包括：根据所述标签得到的，物体相对于所述中间检测框的中心点的偏移量l1的先验分布p(l1)、物体相对于所述中间检测框的尺寸缩放比例l2的先验分布p(l2)中的至少一种。
需要说明的是，本说明书对检测网络的具体结构不做限制。也就是说，该检测网络既可以是单阶段网络，例如SSD(Single Shot multibox Detector)网络；也可以是两阶段网络，例如Faster R-CNN。“检测框”由于翻译的差异，可以存在其他的译名。
可选地，可以设定物体相对于所述中间检测框的中心点的偏移量l1的先验分布p(l1)和物体相对于所述中间检测框的尺寸缩放比例l2的先验分布p(l2)均为高斯分布。
②在本说明书另一个可选的实施例中，该数据处理模型的任务目标包括：确定检测框中物体所属的分类，以及根据物体属于所述分类的置信度。所述解码端包括：分类网络，所述分类网络用于根据所述检测框(可选地，该检测框由所述检测网络生成)和所述编码端生成的数据特征，确定检测框中物体所属的分类，以及根据物体属于所述分类的置信度。
则，确定该待训练的分类网络生成的处理结果的先验分布的过程可以包括：在所述待训练的分类网络生成处理结果之前，根据所述预设样本数据对应的标签，针对每个中间检测框，确定该中间检测框中物体的标准置信度；根据各检测框中物体的标准置信度，确定所述标准置信度的分布，作为所述中间置信度的先验分布p(c)。
在本说明书中，样本数据对应的标签至少包括：检测框中物体的标准置信度。可选地，该标准置信度可以是对物体的所属分类的判断结果。例如，若某物体所属的类别被判断为车辆，则可以将标准置信度中对应于车辆的特征值的数值确定为1，将标准置信度中对应于其他分类的特征值的数值确定为0。
可选地，由于分类网络得到的处理结果可以包括涉及不同分类(例如，某物体所属的分类是车辆或人类)的处理结果，则可以采用多项分布(例如Categorical分布)函数，对所述中间置信度的先验分布p(c)进行表征。
则该中间置信度的先验分布p(c)的计算公式可以是：
Figure BDA0002493934120000141
式中，m表示待训练的分类网络生成处理结果时，所根据的第m个中间检测框；CFm是关于m的示性函数，若第m个中间检测框中有物体，则CFm取值为1，若第m个中间检测框中没有物体(该第m个中间检测框中为背景)，则CFm取值为0；n表示待训练的分类网络生成的处理结果中的第n个分类；cat(·)是Categorical分布函数。
可选地，可以确定有物体的检测框对应的中间置信度的先验分布是n+1维的离散均匀分布。可选地，可以针对每一个预设分类确定出该分类的先验分布。
2)根据所述数据特征，确定所述待训练的解码端在根据所述数据特征生成所述处理结果之后，所述处理结果的后验分布。
该处理结果的后验分布至少用于表征：所述解码端在生成处理结果之后，根据该处理结果确定出的处理结果中各特征值在所述处理结果中出现的概率。
具体地，该确定处理结果的后验分布的过程可以是：在所述待训练的解码端生成所述处理结果之后，对所述处理结果进行采样；根据对所述处理结果进行采样的结果，确定所述处理结果的后验分布。
①在本说明书一个可选的实施例中，所述解码端包括检测网络。
则，确定该待训练的检测网络生成的处理结果的后验分布的过程可以包括：在所述待训练的检测网络生成处理结果之后，对由所述待训练的检测网络生成的各中间检测框进行采样；根据对中间检测框进行采样的结果，确定所述中间检测框的后验分布。
中间检测框的后验分布可以包括：由采样得到的，物体相对于所述中间检测框的中心点的偏移量l1的后验分布p(l1|f)、物体相对于所述中间检测框的尺寸缩放比例l2的后验分布p(l2|f)中的至少一种。
②在本说明书另一个可选的实施例中，所述解码端包括：分类网络。
则，确定该待训练的分类网络生成的处理结果的后验分布的过程可以包括：针对每个中间检测框，确定所述待训练的分类网络对该中间检测框中物体预测的中间置信度；对各中间置信度进行采样；根据对各中间置信度进行采样的结果，确定所述中间置信度的后验分布。
可选地，可以针对每一个预设分类，确定出该分类的后验分布。
3)根据所述处理结果的先验分布和所述处理结果的后验分布之间的差异，确定所述解码损失。
由上述内容可知，本说明书根据待训练的解码端输出的处理结果D和编码端输出的数据特征F之间的互信息I(F；D)，确定解码端的解码损失。则该编码损失L2的计算公式可以是：
L2＝-I(F；D)
公式(3)
可见，该解码损失能够用于衡量：针对预设的任务目标，解码端生成的处理结果与数据特征之间的相关性。在训练的过程中尽量减小解码损失，能够有效的提高解码端从数据特征中重构得到与任务目标对应的处理结果的能力。
在本说明书一个可选的实施例中，所述解码端包括：检测网络和分类网络。此时，该编码损失L2可以根据检测网络造成的检测损失L′2和分类网络造成的分类损失L″2确定。可选地，L2＝L′2+L″2。
具体地，该检测损失L′2可以根据待训练的检测网络输出的处理结果L和编码端输出的数据特征F之间的互信息I(F；L)确定。则该检测损失L′2的计算公式可以是：
Figure BDA0002493934120000151
可选地，可在训练的过程中，通过调整解码端的参数的方式，使得p(l1|f)p(l2|f)与p(l1)p(l2)之间的差异趋于增加。
进一步地，该分类损失L″2可以根据待训练的分类网络输出的处理结果C和编码端输出的数据特征F之间的互信息I(F；C)确定。则该分类损失L″2的计算公式可以是：
Figure BDA0002493934120000161
可选地，可在训练的过程中，通过调整解码端的参数的方式，使得p(c|f)与p(c)之间的差异趋于增加。
则，对上述的各损失进行综合，得到所述待训练的数据处理模型处理所述样本数据时的综合损失，可以通过以下公式计算得到：
Figure BDA0002493934120000162
公式(6)中的β可以用于调整I(X；F)和I(F；C,L)(I(F；C,L)即I(F；D))对综合损失
Figure BDA0002493934120000163
的贡献，可以是与任务目标、样本数据中的至少一种相关的经验参数。
在通过如公式(6)所示的损失函数对待训练的数据处理模型进行训练时，为达到综合损失的最小值，可以适当的对编码端的至少部分参数(例如，编码端中的至少部分权重值)以及解码端的至少部分参数(例如，解码端中的至少部分权重值)进行调整，以一定程度的减少I(X；F)并一定程度的增加I(F；C,L)。
由于I(F；C,L)与I(X；F)相关，若无限制的减少I(X；F)，势必会减少数据特征中可供解码端进行重构时所需的信息的量，进而使得I(F；C,L)也具有减小的趋势。而本说明书中的综合损失
Figure BDA0002493934120000164
是I(X；F)和I(F；C,L)的综合，则在对待训练的数据处理模型的至少部分参数进行调整时，能够I(X；F)和I(F；C,L)之间相互制约，以在减小综合损失
Figure BDA0002493934120000165
的同时，避免出现待训练的数据处理模型的数据处理能力走极端的现象。
进一步地，本说明书中的过程在针对量化神经网络的训练过程中效果更佳。以所述数据处理模型是至少部分参数被二值化后得到的二值化神经网络为例。二值化神经网络在对数据进行处理的过程中，产生无效信息的现象更加明显。通过本说明书中的过程，能够较大程度的使得数据处理模型学习到如何避免产生无效信息，并较大程度的保留有效信息。
可选地，本说明书中的数据处理模型的编码端是二值化的卷积神经网络。解码端包括至少部分参数被二值化的检测网络和至少部分参数被二值化的分类网络。
在需要对物体位置进行检测，并对确定物体所属分类的场景中，针对输入的某一图像，检测网络生成的检测框的数量往往不唯一。此外，针对该图像中的某一物体，该检测网络生成的检测框的数量也可能是多个。
由于针对某一物体的各检测框的尺寸、物体相对于各检测框的中心点的偏移量均不尽相同，则使得后续分类网络在根据对应于同一物体的各检测框，确定该物体所属的分类时，通常会得到若干个取值不同的置信度。而各取值不同的置信度中，取值最大的置信度最能够准确的反映出该物体所属的分类。其余的取值较小的置信度对应的检测框，非但无法提高分类网络的处理结果的质量，还占用了检测网络和分类网络的资源。
由此，本说明书中的过程通过在综合损失中增加置信度损失的方式，对取值较小的置信度对应的检测框进行抑制，以使得检测网络能够学习到如何避免生成的置信度取值较小的检测框。
具体地，可以在以所述编码损失最小化，且所述解码损失最小化为训练目标，训练所述待训练的数据处理模型之前，确定该置信度损失。该确定置信度损失的过程可以是：针对每个中间检测框，采用所述待训练的分类网络，确定该中间检测框中物体的中间置信度。根据各中间检测框中物体的中间置信度和中间检测框的数量，确定置信度损失。所述置信度损失与各中间检测框中物体的中间置信度负相关。该置信度损失L3可以通过以下公式计算得到：
Figure BDA0002493934120000181
式中，si是第i个中间检测框中物体属于所述分类的中间置信度。
由公式(7)可以得出，针对某一中间检测框，该中间检测框对应的置信度损失，与该中间检测框对应的中物体属于所述分类的中间置信度负相关。针对各中间检测框，置信度损失还与中间检测框的数量负相关。可见，以减小置信度损失为目标的训练过程，能够使得检测网络一定程度的学习到如何避免生成对应的置信度较低的检测框，和/或能够使得分类网络一定程度的学习到，如何在确定置信度时，拉开针对各检测框生成的置信度的差距。该以减小置信度损失为目标的训练过程，可以是针对检测网络和/或分类网络的至少部分参数进行调整的过程。
在本说明书一个可选的实施例中，还可以设置置信度阈值，将各中间检测框对应的中间置信度与所述置信度阈值进行比较，根据比较的结果，从各中间检测框中，确定出中间置信度小于所述置信度阈值的中间检测框。然后，根据各小于所述置信度阈值的中间置信度、中间置信度小于所述置信度阈值的中间检测框的数量、该输入的样本数据对应的中间检测框的总数量中的至少一种，确定置信度损失。置信度损失与小于所述置信度阈值的中间置信度负相关；置信度损失与中间置信度小于所述置信度阈值的中间检测框的数量正相关；置信度损失与该输入的样本数据对应的中间检测框的总数量正相关。其中，置信度阈值可以是预设的阈值，也可以是根据该输入的样本数据对应的各中间检测框的中间置信度确定的。
则针对待训练的数据处理模型进行训练时，训练的目标可以是：以所述编码损失最小化，所述解码损失最小化，且所述置信度损失最小化为训练目标。
此时，综合损失
Figure BDA0002493934120000183
可以通过以下公式计算得到：
Figure BDA0002493934120000182
通过对公式(8)中的综合损失最小化为训练目标，训练得到的数据处理模型，不仅仅能够使得编码端获得良好的编码能力、解码端获得良好的解码能力，还能够使得该训练后的数据处理模型在生成检测框时避免生成冗余的检测框，以进一步提高数据处理模型的使用性能。
在本说明书一个可选的实施例中，可以在步骤S100之前，对预先确定的数据处理模型进行预训练，将通过所述预训练得到数据处理模型，作为所述待训练的数据处理模型。该预训练的过程所采用的样本数据，可以与前述各步骤中采用的样本数据相同。
具体地，该预训练的过程可以是：将所述预设的样本数据，输入预先确定的数据处理模型，得到预先确定的数据处理模型输出的处理结果。根据所述预先确定的数据处理模型输出的处理结果和所述样本数据的标签，确定所述预先确定的数据处理模型的预训练损失。根据所述预训练损失，对所述预先确定的数据处理模型的至少部分参数(例如权重值)进行调整，直至所述预训练损失小于预设的预训练损失阈值。将得到的预训练后的预先确定的数据处理模型，作为待训练的数据处理模型。
可选地，本说明书中的数据处理模型的编码端包括卷积神经网络。该预训练的步骤可以仅针对该编码端进行训练。进一步地，还可以在该预训练的过程中，根据数据特征的后验分布确定预训练的损失函数。
通过本说明书提供的上述数据处理模型训练过程得到的训练后的数据处理模型，具体可应用于使用无人车进行配送的领域，如，使用于无人车进行快递、外卖等配送的场景中。具体的，在上述的场景中，可使用多个无人车所构成的自动驾驶车队进行配送。
基于同样的思路，本说明书实施例还提供了对应于图1所示过程的数据处理模型的训练装置，该数据处理模型的训练装置如图3所示。
图3为本说明书实施例提供的一种数据处理模型的训练装置的结构示意图，该数据处理模型的训练装置包括：
获取模块300，用于获取待训练的数据处理模型，所述待训练的数据处理模型包括；待训练的编码端和待训练的解码端；
数据特征确定模块302，用于将预设的样本数据输入所述待训练的编码端，得到所述待训练的编码端输出的数据特征；
处理结果确定模块304，用于将所述数据特征输入所述待训练的解码端，得到所述待训练的解码端输出的处理结果；
编码损失确定模块306，用于根据所述数据特征，确定所述待训练的编码端编码所述样本数据时，对所述样本数据的编码损失；
解码损失确定模块308，用于根据所述解码端的处理结果和所述样本数据预设的标签，确定所述待训练的解码端解码所述数据特征时，对所述数据特征的解码损失；
训练模块310，用于以所述编码损失最小化，且所述解码损失最小化为训练目标，训练所述待训练的数据处理模型，得到训练后的数据处理模型。
可选地，所述编码损失确定模块306可以包括：数据特征的先验分布确定子模块、数据特征的后验分布确定子模块和编码损失确定子模块。
数据特征的先验分布确定子模块，用于根据所述待训练的编码端的参数，确定所述待训练的编码端在生成所述数据特征之前，所述数据特征的先验分布。
数据特征的后验分布确定子模块，用于根据所述数据特征，确定所述待训练的编码端在根据所述样本数据生成所述数据特征之后，所述数据特征的后验分布。
编码损失确定子模块，用于根据所述数据特征的先验分布和所述数据特征的后验分布之间的差异，确定所述编码损失。
可选地，所述编码端是量化神经网络；数据特征的先验分布确定子模块可以包括：量化函数确定单元、概率确定单元和数据特征的先验分布确定单元。
量化函数确定单元，用于确定所述待训练的量化神经网络中，用于量化所述量化神经网络生成的激活值的量化函数。
概率确定单元，用于根据所述量化函数，确定所述待训练的编码端在生成所述数据特征之前，由所述待训练的量化函数生成的各特征值在所述数据特征中出现的概率。
数据特征的先验分布确定单元，用于根据所述各特征值在所述数据特征中出现的概率，确定所述数据特征的先验分布。
可选地，数据特征的后验分布确定子模块可以包括：数据特征采样单元和数据特征的后验分布确定单元。
数据特征采样单元，用于在所述待训练的编码端生成所述数据特征之后，对所述数据特征进行采样。
数据特征的后验分布确定单元，用于根据对所述数据特征进行采样的结果，确定所述数据特征的后验分布。
可选地，解码损失确定模块308可以包括：处理结果的先验分布确定子模块、处理结果的后验分布确定子模块和解码损失确定子模块。
处理结果的先验分布确定子模块，用于根据所述样本数据对应的标签，确定所述待训练的解码端在生成所述处理结果之前，所述处理结果的先验分布。
处理结果的后验分布确定子模块，用于根据所述数据特征，确定所述待训练的解码端在根据所述数据特征生成所述处理结果之后，所述处理结果的后验分布。
解码损失确定子模块，用于根据所述处理结果的先验分布和所述处理结果的后验分布之间的差异，确定所述解码损失。
可选地，所述样本数据为样本图像；所述解码端可以包括检测网络；所述检测网络用于根据所述数据特征，检测物体在输入所述编码端的图像中的位置。
处理结果的先验分布确定子模块可以包括：中间检测框的先验分布确定单元。
中间检测框的先验分布确定单元，用于在所述待训练的检测网络生成处理结果之前，根据所述样本图像对应的标签，确定该样本图像中预设标准检测框的分布，作为所述待训练的检测网络处理所述数据特征时得到的中间检测框的先验分布。
可选地，处理结果的后验分布确定子模块可以包括：中间检测框采样单元和中间检测框的后验分布确定单元。
中间检测框采样单元，用于对所述待训练的检测网络处理所述数据特征时，得到的各中间检测框进行采样。
中间检测框的后验分布确定单元，用于根据对所述中间检测框进行采样的结果，确定所述中间检测框的后验分布。
可选地，所述解码端包括分类网络：所述分类网络用于根据所述数据特征和所述检测网络生成的检测框，确定所述检测框中物体所属的分类，以及所述物体属于所述分类的置信度。
处理结果的先验分布确定子模块可以包括：标准置信度确定单元和中间置信度的先验分布确定单元。
标准置信度确定单元，用于在所述待训练的分类网络生成处理结果之前，根据所述预设样本图像对应的标签，针对每个中间检测框，确定该中间检测框中物体属于所述分类的标准置信度。
中间置信度的先验分布确定单元，用于根据各检测框中物体的标准置信度，确定所述标准置信度的分布，作为所述待训练的分类网络处理所述数据特征时得到的中间置信度的先验分布。
可选地，处理结果的后验分布确定子模块可以包括：中间置信度确定单元、中间置信度采样单元和中间置信度的后验分布确定单元。
中间置信度确定单元，用于针对每个中间检测框，确定所述待训练的分类网络对该中间检测框中物体，确定该物体属于所述分类的中间置信度。
中间置信度采样单元，用于对各中间置信度进行采样。
中间置信度的后验分布确定单元，用于根据对各中间置信度进行采样的结果，确定所述中间置信度的后验分布。
可选地，所述数据处理模型的训练装置还可以包括：置信度损失确定模块。
置信度损失确定模块，用于在以所述编码损失最小化，且所述解码损失最小化为训练目标，训练所述待训练的数据处理模型之前，根据所述待训练的分类网络对该中间检测框中物体确定的中间置信度，确定置信度损失，所述置信度损失与各中间检测框中物体的中间置信度负相关。
可选地，所述训练模块310，具体用于以所述编码损失最小化，所述解码损失最小化，且所述置信度损失最小化为训练目标，训练所述待训练的数据处理模型。
本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的数据处理模型的训练过程。
本说明书实施例还提出了图4所示的一种电子设备的示意结构图。如图4，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的数据处理模型的训练过程。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种数据处理模型的训练方法，其特征在于，所述方法包括：
获取待训练的数据处理模型，所述待训练的数据处理模型包括；待训练的编码端和待训练的解码端；
将预设的样本数据输入所述待训练的编码端，得到所述待训练的编码端输出的数据特征；
将所述数据特征输入所述待训练的解码端，得到所述待训练的解码端输出的处理结果；
根据所述数据特征，确定所述待训练的编码端编码所述样本数据时，对所述样本数据的编码损失；
根据所述解码端的处理结果和所述样本数据预设的标签，确定所述待训练的解码端解码所述数据特征时，对所述数据特征的解码损失；
以所述编码损失最小化，且所述解码损失最小化为训练目标，训练所述待训练的数据处理模型，得到训练后的数据处理模型。
2.如权利要求1所述的方法，其特征在于，确定所述待训练的编码端编码所述样本数据时，对所述样本数据的编码损失，具体包括：
根据所述待训练的编码端的参数，确定所述待训练的编码端在生成所述数据特征之前，所述数据特征的先验分布；
根据所述数据特征，确定所述待训练的编码端在根据所述样本数据生成所述数据特征之后，所述数据特征的后验分布；
根据所述数据特征的先验分布和所述数据特征的后验分布之间的差异，确定所述编码损失。
3.如权利要求2所述的方法，其特征在于，所述编码端是量化神经网络；
根据所述待训练的编码端的参数，确定所述待训练的编码端在生成所述数据特征之前，所述数据特征的先验分布，具体包括：
确定所述待训练的量化神经网络中，用于量化所述量化神经网络生成的激活值的量化函数；
根据所述量化函数，确定所述待训练的编码端在生成所述数据特征之前，由所述待训练的量化函数生成的各特征值在所述数据特征中出现的概率；
根据所述各特征值在所述数据特征中出现的概率，确定所述数据特征的先验分布；
根据所述数据特征，确定所述待训练的编码端在根据所述样本数据生成所述数据特征之后，所述数据特征的后验分布，具体包括：
在所述待训练的编码端生成所述数据特征之后，对所述数据特征进行采样；
根据对所述数据特征进行采样的结果，确定所述数据特征的后验分布。
4.如权利要求1-3任一所述的方法，其特征在于，根据所述解码端的处理结果和所述样本数据预设的标签，确定所述待训练的解码端解码所述数据特征时，对所述数据特征的解码损失，具体包括：
根据所述样本数据对应的标签，确定所述待训练的解码端在生成所述处理结果之前，所述处理结果的先验分布；
根据所述数据特征，确定所述待训练的解码端在根据所述数据特征生成所述处理结果之后，所述处理结果的后验分布；
根据所述处理结果的先验分布和所述处理结果的后验分布之间的差异，确定所述解码损失。
5.如权利要求4所述的方法，其特征在于，所述样本数据为样本图像；所述解码端包括检测网络；所述检测网络用于根据所述数据特征，检测物体在输入所述编码端的图像中的位置；
根据所述样本数据对应的标签，确定所述待训练的解码端在生成所述处理结果之前，所述处理结果的先验分布，具体包括：
在所述待训练的检测网络生成处理结果之前，根据所述样本图像对应的标签，确定该样本图像中预设标准检测框的分布，作为所述待训练的检测网络处理所述数据特征时得到的中间检测框的先验分布；
根据所述数据特征，确定所述待训练的解码端在根据所述数据特征生成所述处理结果之后，所述处理结果的后验分布，具体包括：
对所述待训练的检测网络处理所述数据特征时，得到的各中间检测框进行采样；
根据对所述中间检测框进行采样的结果，确定所述中间检测框的后验分布。
6.如权利要求5所述的方法，其特征在于，所述解码端包括分类网络：所述分类网络用于根据所述数据特征和所述检测网络生成的检测框，确定所述检测框中物体所属的分类，以及所述物体属于所述分类的置信度；
根据所述样本数据对应的标签，确定所述待训练的解码端在生成所述处理结果之前，所述处理结果的先验分布，具体包括：
在所述待训练的分类网络生成处理结果之前，根据所述预设样本图像对应的标签，针对每个中间检测框，确定该中间检测框中物体属于所述分类的标准置信度；
根据各检测框中物体的标准置信度，确定所述标准置信度的分布，作为所述待训练的分类网络处理所述数据特征时得到的中间置信度的先验分布；
根据所述数据特征，确定所述待训练的解码端在根据所述数据特征生成所述处理结果之后，所述处理结果的后验分布，具体包括：
针对每个中间检测框，确定所述待训练的分类网络对该中间检测框中物体，确定该物体属于所述分类的中间置信度；
对各中间置信度进行采样；
根据对各中间置信度进行采样的结果，确定所述中间置信度的后验分布。
7.如权利要求6所述的方法，其特征在于，以所述编码损失最小化，且所述解码损失最小化为训练目标，训练所述待训练的数据处理模型之前，所述方法还包括：
根据所述待训练的分类网络对该中间检测框中物体确定的中间置信度，确定置信度损失，所述置信度损失与各中间检测框中物体的中间置信度负相关；
以所述编码损失最小化，且所述解码损失最小化为训练目标，训练所述待训练的数据处理模型，具体包括：
以所述编码损失最小化，所述解码损失最小化，且所述置信度损失最小化为训练目标，训练所述待训练的数据处理模型。
8.一种数据处理模型的训练装置，其特征在于，所述装置包括：
获取模块，用于获取待训练的数据处理模型，所述待训练的数据处理模型包括；待训练的编码端和待训练的解码端；
数据特征确定模块，用于将预设的样本数据输入所述待训练的编码端，得到所述待训练的编码端输出的数据特征；
处理结果确定模块，用于将所述数据特征输入所述待训练的解码端，得到所述待训练的解码端输出的处理结果；
编码损失确定模块，用于根据所述数据特征，确定所述待训练的编码端编码所述样本数据时，对所述样本数据的编码损失；
解码损失确定模块，用于根据所述解码端的处理结果和所述样本数据预设的标签，确定所述待训练的解码端解码所述数据特征时，对所述数据特征的解码损失；
训练模块，用于以所述编码损失最小化，且所述解码损失最小化为训练目标，训练所述待训练的数据处理模型，得到训练后的数据处理模型。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-7任一所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法。
CN202010412990.5A 2020-05-15 2020-05-15 一种数据处理模型的训练方法及装置 Active CN111639684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010412990.5A CN111639684B (zh) 2020-05-15 2020-05-15 一种数据处理模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010412990.5A CN111639684B (zh) 2020-05-15 2020-05-15 一种数据处理模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN111639684A true CN111639684A (zh) 2020-09-08
CN111639684B CN111639684B (zh) 2024-03-01

Family

ID=72330862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010412990.5A Active CN111639684B (zh) 2020-05-15 2020-05-15 一种数据处理模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN111639684B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487762A (zh) * 2021-07-22 2021-10-08 东软睿驰汽车技术（沈阳）有限公司 一种编码模型生成方法、充电数据获取方法及装置
CN113782029A (zh) * 2021-09-22 2021-12-10 广东电网有限责任公司 语音识别模型的训练方法、装置、设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009013A (zh) * 2019-03-21 2019-07-12 腾讯科技（深圳）有限公司 编码器训练及表征信息提取方法和装置
WO2019155065A1 (en) * 2018-02-09 2019-08-15 Deepmind Technologies Limited Neural network systems implementing conditional neural processes for efficient learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155065A1 (en) * 2018-02-09 2019-08-15 Deepmind Technologies Limited Neural network systems implementing conditional neural processes for efficient learning
CN110009013A (zh) * 2019-03-21 2019-07-12 腾讯科技（深圳）有限公司 编码器训练及表征信息提取方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZHOU XIUZHUANG 等: ""Abrupt motion tracking via intensively adaptive Markov-chain Monte Carlo sampling"", 《IEEE》 *
施方迤 等: ""基于半监督密集阶梯网络的工业故障识别"", 《化工学报》, vol. 69, no. 7 *
苏衡 等: ""超分辨率图像重建方法综述"", 《自动化学报》, vol. 39, no. 8 *
蔡小路: ""基于分类器算法的行人检测研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487762A (zh) * 2021-07-22 2021-10-08 东软睿驰汽车技术（沈阳）有限公司 一种编码模型生成方法、充电数据获取方法及装置
CN113782029A (zh) * 2021-09-22 2021-12-10 广东电网有限责任公司 语音识别模型的训练方法、装置、设备以及存储介质
CN113782029B (zh) * 2021-09-22 2023-10-27 广东电网有限责任公司 语音识别模型的训练方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN111639684B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN108334892B (zh) 一种基于卷积神经网络的车型识别方法、装置及设备
CN111639684B (zh) 一种数据处理模型的训练方法及装置
CN111753878A (zh) 一种网络模型部署方法、设备及介质
CN115618964B (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN111797711A (zh) 一种模型训练的方法及装置
CN116343314A (zh) 一种表情识别方法、装置、存储介质及电子设备
CN117197781B (zh) 一种交通标志识别的方法、装置、存储介质及电子设备
CN112966577B (zh) 一种模型训练以及信息提供的方法及装置
CN116342888B (zh) 一种基于稀疏标注训练分割模型的方法及装置
CN117036829A (zh) 一种基于原型学习实现标签增强的叶片细粒度识别方法和系统
CN111639745A (zh) 一种数据处理方法及装置
CN117113174A (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN116805393A (zh) 一种基于3DUnet光谱-空间信息融合的高光谱图像分类方法和系统
CN114913588B (zh) 一种应用于复杂场景下的人脸图像修复及识别方法
EP4235492A1 (en) A computer-implemented method, data processing apparatus and computer program for object detection
CN112949642B (zh) 一种文字生成方法、装置、存储介质及电子设备
CN111967365B (zh) 影像连接点的提取方法和装置
CN114926437A (zh) 一种图像质量评价方法及装置
CN109325127B (zh) 一种风险识别方法和装置
CN116071375B (zh) 图像分割方法和装置、存储介质及电子设备
CN117437684B (zh) 一种基于修正注意力的图像识别方法和装置
CN117808976B (zh) 一种三维模型构建方法、装置、存储介质及电子设备
CN116704178A (zh) 一种图像的实例分割方法、装置、存储介质及电子设备
CN117746193B (zh) 一种标签优化方法、装置、存储介质及电子设备
CN115545938B (zh) 一种执行风险识别业务的方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant