CN114925748A - 模型训练及模态信息的预测方法、相关装置、设备、介质 - Google Patents

模型训练及模态信息的预测方法、相关装置、设备、介质 Download PDF

Info

Publication number
CN114925748A
CN114925748A CN202210419003.3A CN202210419003A CN114925748A CN 114925748 A CN114925748 A CN 114925748A CN 202210419003 A CN202210419003 A CN 202210419003A CN 114925748 A CN114925748 A CN 114925748A
Authority
CN
China
Prior art keywords
information
sample data
prediction model
prediction
parameter value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210419003.3A
Other languages
English (en)
Other versions
CN114925748B (zh
Inventor
颜子轲
查红彬
刘浩敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202210419003.3A priority Critical patent/CN114925748B/zh
Publication of CN114925748A publication Critical patent/CN114925748A/zh
Priority to PCT/CN2023/089228 priority patent/WO2023202620A1/zh
Application granted granted Critical
Publication of CN114925748B publication Critical patent/CN114925748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种模型训练及模态信息的预测方法、相关装置、设备、介质，模型训练方法包括：获取经初始训练得到的预测模型，其中，经初始训练得到的预测模型用于预测得到原始模态的信息；利用预设样本数据对预测模型进行重训练，预设样本数据包括标注有目标模态的信息的第一样本数据，经重训练的预测模型还用于预测得到目标模态的信息；其中，预设样本数据还包括标注有原始模态的信息的第二样本数据，和/或，对预测模型的重训练包括对预测模型的至少部分网络参数的调整进行约束。上述方案，实现了预测模型能够预测的模态信息的拓展。

Description

模型训练及模态信息的预测方法、相关装置、设备、介质
技术领域
本申请涉及深度学习技术领域，特别是涉及一种模型训练及模态信息的预测方法、相关装置、设备、介质。
背景技术
深度学习的快速发展，使得神经网络模型广泛的应用于生活的各个方面。例如是利用神经网络来对空间点进行场景性质的预测，以此实现对空间点的特征信息的扩展。
在神经网络的应用过程中，人们对于神经网络的需求可能会不断增加，此时就需要神经网络能够学习新的模态的信息，以不断满足人们的需求。目前，在利用已经训练好的神经网络模型学习新的模态的信息时，会出现灾难性遗忘的现象，即神经网络在学习新的模态的信息后，对于之前已经学习的模态的信息的预测准确度出现大幅下降。
在此情况下，如何改进训练方法，使得神经网络既能学习新的模态的信息，又能减少对已经学习的模态的信息的影响，具有重要的意义。
发明内容
本申请至少提供一种模型训练及模态信息的预测方法、相关装置、设备、介质。
本申请第一方面提供了一种处理模型训练方法，方法包括：获取经初始训练得到的预测模型，其中，经初始训练得到的预测模型用于预测得到原始模态的信息；利用预设样本数据对预测模型进行重训练，预设样本数据包括标注有目标模态的信息的第一样本数据，经重训练的预测模型还用于预测得到目标模态的信息；其中，预设样本数据还包括标注有原始模态的信息的第二样本数据，和/或，对预测模型的重训练包括对预测模型的至少部分网络参数的调整进行约束。
因此，通过设置设样本数据还包括标注有原始模态的信息的第二样本数据，和/或，对预测模型的至少部分网络参数的调整进行约束，可以使得预测模型不会忘记初始训练中已经学习到的原始模态的信息，而且还使得预测模型能够用于预测得到目标模态信息，以此实现了预测模型能够预测的模态信息的拓展。
其中，上述的预设样本数据包括第一样本数据和第二样本数据，第一样本数据标注有关于目标模态的第一标注信息，第二样本数据标注有关于原始模态的第二标注信息；上述的利用预设样本数据对预测模型进行重训练，包括：利用预测模型分别对第一样本数据、第二样本数据进行预测，对应得到关于目标模态的第一预测结果和关于原始模态的第二预测结果；利用第一预测结果与第一标注信息之间的第一差异、第二预测结果与第二标注信息之间的第二差异，调整预测模型的网络参数。
因此，通过利用预测模型分别对第一样本数据、第二样本数据进行预测，并基于第一预测结果与第一标注信息之间的第一差异和第二预测结果与第二标注信息之间的第二差异来调整预测模型的网络参数，使得预测模型在利用第一样本数据学习目标模态的信息的同时，也能利用第二样本数据使得预测模型不会忘记初始训练中已经学习到的原始模态的信息，以此实现了预测模型能够预测的模态信息的拓展。
其中，上述的第二样本数据包括以下至少一者：采集得到的原始数据和利用生成模型生成的衍生数据。
因此，通过采集得到的原始数据和利用生成模型生成的衍生数据，以此可以利用第二样本数据对预测模型进行重训练，进而使得预测模型能够实现预测的模态信息的拓展。
其中，上述的预测模型的重训练包括对预测模型的至少部分网络参数的调整进行约束；其中，上述的利用预设样本数据对预测模型进行重训练，包括：利用预设样本数据，分别确定不同参数值集合对应的预测模型的预测损失，其中，每个参数值集合包括预测模型中各网络参数对应的一组候选参数值，参数值集合对应的预测模型的各网络参数赋值为参数值集合中对应的候选参数值；将使目标损失满足预设条件的参数值集合，作为目标参数值集合，其中，参数值集合对应的目标损失是利用参数值集合对应的预测损失和正则损失得到，参数值集合对应的正则损失是结合各网络参数的权重以及各网络参数的变化表征得到的，网络参数的权重与网络参数对预测原始模态的信息的影响程度相关，网络参数的变化表征是基于网络参数在参数值集合中对应的候选参数值与参考参数值之间的差异得到的；将预测模型的各网络参数调整为目标参数值集合中对应的候选参数值。
因此，通过利用参数值集合对应的预测损失和正则损失得到目标损失，以此能够在重训练的过程中对预测模型的至少部分网络参数的调整进行约束，使得预测模型不会忘记初始训练中已经学习到的原始模态的信息，而且还使得预测模型能够用于预测得到目标模态信息，以此实现了预测模型能够预测的模态信息的拓展。
其中，上述的利用预设样本数据，分别确定不同参数值集合对应的预测模型的预测损失，包括：对于各参数值集合，利用参数值集合对应的预测模型对第一样本数据进行预测，得到参数值集合对应的第一预测结果；利用参数值集合对应的第一预测结果与第一样本数据的第一标注信息之间的第一差异，得到参数值集合对应的预测损失。
因此，通过利用参数值集合对应的预测模型对第一样本数据进行预测以得到第一预测结果，以此能够基于第一预测结果与第一样本数据的第一标注信息之间的第一差异得到参数值集合对应的预测损失，以此能够实现对参数值集合的准确度的衡量。
其中，在将使目标损失满足预设条件的参数值集合，作为目标参数值集合之前，方法还包括：对于各参数值集合，获取参数值集合的第一子正则损失和第二子正则损失中的至少一者，其中，第一子正则损失是利用各网络参数的权重对参数值集合对应的各网络参数的变化表征进行加权求和得到的，第二正则损失是利用各网络参数的权重对参数值集合对应的各网络参数的变化表征处理值进行加权求和得到的，网络参数的变化表征处理值是利用网络参数的变化表征和初始训练参数变化表征得到的，网络参数的初始训练参数变化表征是利用各网络参数的参考参数值与网络参数的初始参数值的差异得到的；利用参数值集合的第一子正则损失和第二子正则损失的至少一者，得到参数值集合的正则损失；利用参数值集合对应的正则损失与参数值集合对应的预测损失，得到参数值集合对应的目标损失。
因此，通过获取第一子正则损失和第二子正则损失中的至少一者，以此实现了利用各网络参数的权重来进行加权求和以得到参数值集合对应的正则损失，以此可以使得网络参数的权重越大，其对应的正则损失就越大，进而也会使得预测损失越大，以此使得重训练的过程中会尽量降低参数权重较大的网络参数的变化，以减少目标损失的变化来实现重训练，以此实现对参数权重较大的网络参数的约束。
其中，上述的网络参数的参数权重与网络参数对预测原始模态的信息的影响程度存在正相关关系。
因此，通过设置网络参数的参数权重与网络参数对预测原始模态的影响程度存在正相关关系，以此可以使得调整参数权重越大的网络参数，其对正则损失的影响就越大，以此可以使得重训练的过程中，会尽量降低参数权重较大的网络参数的变化以减少目标损失的变化来进行重训练，实现对参数权重较大的网络参数的约束。
其中，上述的参数值集合对应的目标损失与参数值集合对应的正则损失、预测损失均存在正相关关系。
因此，通过设置参数值集合对应的目标损失与参数值集合对应的正则损失、预测损失均存在正相关关系，使得正则损失和预测损失的变化能够通过目标损失直接反映。
其中，上述的参考参数值为预测模型经初始训练后的网络参数的值。
因此，通过将参考参数值为预测模型经初始训练后的网络参数的值，以此可以通过确定正则损失反映出重训练阶段网络参数与经过初始训练后的参数值的偏离程度。
其中，上述的对预测模型的重训练包括对预测模型的至少部分网络参数的调整进行约束；其中，上述的利用预设样本数据对预测模型进行重训练，包括：利用预测模型对第一样本数据进行预测，得到关于目标模态的第一预测结果；基于第一预测结果与第一样本数据关于目标模态的第一标注信息之间的第一差异，调整预测模型中的目标网络参数，其中，目标网络参数包括在初始训练过程中未调整的第一网络参数，预测模型中除目标网络参数以外的网络参数不调整。
因此，通过设置为仅调整目标网络参数，以此可以对预测模型的至少部分网络参数的调整进行约束，使得被约束的网络参数不会发生变化。
其中，上述的目标网络参数还包括预测模型在初始训练过程中已调整的第二网络参数。
因此，通过为预测模型新增至少一个网络参数作为第一网络参数，并在重训练阶段调整第一网络参数，以此使得预测模型在重训练后既能预测原始模态的信息，也能预测目标模态的信息。
其中，上述的第一样本数据和第二样本数据均包括空间点的位置数据；在重训练之前，预测模型用于预测得到关于空间点的原始模态的场景性质信息，在重训练之后，预测模型用于预测得到关于空间点的原始模态和目标模态的预测场景性质信息。
因此，通过设置预测模型在重训练之前能够用于预测得到关于空间点的原始模态的场景性质信息，在重训练之后能够用于预测得到关于空间点的原始模态和目标模态的预测场景性质信息，以此实现了预测模型能够预测的模态信息的拓展。
其中，上述的空间点为物体表面上的点。
因此，通过将空间点设置为物体表面上的点，以此能够利用预测模型预测得到物体表面上的点的原始模态的信息和目标模态的信息。
其中，上述的预测场景性质信息与视角相关，第一样本数据和第二样本数据还均包括空间点的视角信息。
因此，通过设置预测场景性质信息与视角相关，使得预测模型能够预测得到与视角相关的预测场景性质信息。
其中，上述的预测场景性质信息包括颜色、亮度、表面几何、语义和表面材质中的至少一种。
其中，上述的预设样本数据的标注信息为参考图像，参考图像用于表征对应空间点的实际场景性质信息；在得到预测模型对预设样本数据的预测结果之后，方法还包括：基于预测结果生成预测图像，预测图像能够表征空间点的预测场景性质信息；其中，预测图像与参考图像之间的差异作为预测结果与预设样本数据的标注信息之间的差异。
因此，通过将预设样本数据的标注信息确定为参考图像，并基于预测结果生成预测图像，进而将预测图像与参考图像之间的差异作为预测结果与预设样本数据的标注信息之间的差异，以此能够利用参考图像实现对预测模型的训练。
本申请第二方面提供了一种模态信息的预测方法，方法包括：利用上述第一方面的方法训练得到的预测模型；获取目标数据；利用经训练得到的预测模型对目标数据进行预测，得到关于目标数据的至少一种模态的信息。
因此，通过利用上述第一方面描述的模型训练方法来训练预测模型，以此使得预测模型既能预测原始模态的信息，也能预测目标模态的信息。
其中，上述的目标数据包括空间点的位置数据；关于目标数据的至少一种模态的信息包括关于空间点的至少一个模态的场景性质信息。
因此，通过设置目标数据包括空间点的位置数据，目标数据的至少一种模态的信息包括关于空间点的至少一个模态的场景性质信息，以此可以利用预测模型预测空间点的场景性质信息。
本申请第三方面提供了一种模型的训练装置，装置包括：获取模块和重训练模块，获取模块用于获取经初始训练得到预测模型，其中，经初始训练得到的预测模型用于预测得到原始模态的信息；重训练模块用于利用预设样本数据对预测模型进行重训练，预设样本数据包括标注有目标模态的信息的第一样本数据，经重训练的预测模型还用于预测得到目标模态的信息；其中，预设样本数据还包括标注有原始模态的信息的第二样本数据，和/或，对预测模型的重训练包括对预测模型的至少部分网络参数的调整进行约束。
本申请第四方面提供了一种模态信息的预测装置，装置包括：第一获取模块、第二获取模块和预测模块，其中，第一获取模块用于利用上述第一方面描述的方法训练得到的预测模型；第二获取模块用于获取目标数据；预测模块用于利用经训练得到的预测模型对目标数据进行预测，得到关于目标数据的至少一种模态的信息。
本申请第五方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的模型训练方法，或者是第二方面中描述的模态信息的预测方法。
本申请第六方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的模型训练方法，或者是第二方面中描述的模态信息的预测方法。
上述方案，通过设置设样本数据还包括标注有原始模态的信息的第二样本数据，和/或，对预测模型的至少部分网络参数的调整进行约束，可以使得预测模型不会忘记初始训练中已经学习到的原始模态的信息，而且使得预测模型能够用于预测得到目标模态信息，以此实现了预测模型能够预测的模态信息的拓展。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请模型训练方法第一实施例的流程示意图；
图2是本申请模型训练方法第二实施例的流程示意图；
图3是本申请模型训练方法第三实施例的流程示意图；
图4是本申请模型训练方法第四实施例的流程示意图；
图5是本申请模型训练方法第五实施例的流程示意图；
图6是本申请模型训练方法中重训练流程的流程示意图；
图7是本申请模态信息的预测方法实施例的流程示意图；
图8是本申请模型的训练装置实施例的框架示意图；
图9是本申请模态信息的预测装置实施例的框架示意图；
图10是本申请电子设备一实施例的框架示意图；
图11是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1，图1是本申请模型训练方法第一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取经初始训练得到的预测模型。
在本实施例中，经初始训练得到的预测模型用于预测得到原始模态的信息。原始模态可以包括一种模态或两种及以上模态。在一个实施方式中，信息的一种来源或者一种表现形式即可成为一种模态，例如不同模态的信息例如包括语音信息、视频信息、文字信息等。又如，对于一个空间点，该空间点的不同的场景性质的信息，也是不同模态的信息。
对预测模型的初始训练可以是包含原始模态的信息的样本数据对预测模型进行训练，以此使得预测模型能够用于预测得到原始模态的信息。
步骤S12：利用预设样本数据对预测模型进行重训练，预设样本数据包括标注有目标模态的信息的第一样本数据，经重训练的预测模型还用于预测得到目标模态的信息。
在本实施例中，预设样本数据还包括标注有原始模态的信息的第二样本数据，和/或，对预测模型的重训练包括对预测模型的至少部分网络参数的调整进行约束。在一个具体实施方式中，可以在预测模型中新增加一个输出模块，用于输出目标模态的信息。
在一个实施方式中，上述的第一样本数据和第二样本数据均包括空间点的位置数据。空间点的位置数据例如是空间点的三维坐标。空间点例如是通过三维重建、或者是三维建模等方法得到的空间点，本申请不对空间点的获取方式进行限制。
在本实施例中，在预设样本数据还包括标注有原始模态的信息的第二样本数据的情况下，利用预设样本数据对预测模型进行重训练，即是将第一样本数据和第二样本数据输入至预测模型中，由预测模型输出预测结果，预测结果包括原始模态的信息和目标模态的信息。例如，对于点云数据中的空间点的场景性质，可以为空间三维点标注有原始模态的场景性质信息和目标模态的场景性质信息，此时的空间点即是第一样本数据，也是第二样本数据。然后可以将空间点输入至预测模型，进而得到预测模型对空间点进行预测后输出的关于空间点的原始模态的场景性质信息和目标模态的场景性质信息。通过设置设样本数据还包括标注有原始模态的信息的第二样本数据，可以在预测模型利用第一样本数据学习目标模态的信息的同时，利用第二样本数据使得预测模型不会忘记初始训练中已经学习到的原始模态的信息。
在本实施例中，预测模型的重训练包括对预测模型的至少部分网络参数的调整进行约束。对预测模型的至少部分网络参数的调整进行约束，可以认为限制预测模型的至少部分网络参数的调整，限制调整例如是该部分的网络参数不能修改，或者是不能将该部分网络参数进行大幅度地调整，大幅度调整例如可以理解的调整前后的网络参数的差值小于预设阈值等。通过对预测模型的至少部分网络参数的调整进行约束，使得在利用预设样本数据对预测模型进行重训练时，能够减少对已有的网络参数的影响，使得预测模型的网络参数依然能够与原始模态的信息有准确的映射，使得预测模型不会忘记初始训练中已经学习到的原始模态的信息。
因此，通过设置设样本数据还包括标注有原始模态的信息的第二样本数据，和/或，对预测模型的至少部分网络参数的调整进行约束，可以使得预测模型不会忘记初始训练中已经学习到的原始模态的信息，而且还使得预测模型能够用于预测得到目标模态的信息，以此实现了预测模型能够预测的模态信息的拓展。
在一个实施例中，在重训练之前，预测模型用于预测得到关于空间点的原始模态的场景性质信息，在重训练之后，预测模型用于预测得到关于空间点的原始模态和目标模态的预测场景性质信息。空间点的原始模态的场景性质信息例如是颜色和几何信息，空间点的目标模态的场景性质信息例如是物体材质信息、表面反射特性信息等等。在一个具体实施方式中，通过对预测模型进行初始训练，使得预测模型能够预测得到原始模态预测场景性质信息。通过对预测模型进行重训练，使得预测模型能够用于预测得到关于空间点的原始模态和目标模态的预测场景性质信息。因此，通过设置预测模型在重训练之前能够用于预测得到关于空间点的原始模态的场景性质信息，在重训练之后能够用于预测得到关于空间点的原始模态和目标模态的预测场景性质信息，以此实现了预测模型能够预测的模态信息的拓展。
在一个实施例中，预测模型可以基于神经网络隐式场景表示(Implicit NeuralScene Representation)搭建的网络模型，用于预测空间点的场景性质信息。
在一个实施例中，空间点为物体表面上的点。物体可以是通过三维重建得到的现实中的真实物体，或者是通过三维建模得到的虚拟物体。通过将空间点设置为物体表面上的点，以此能够利用预测模型预测得到物体表面上的点的原始模态的信息和目标模态的信息。
在一个实施例中，预测场景性质信息包括颜色、亮度、表面几何、语义和表面材质中的至少一种。在一个实施方式中，上述的预测场景性质信息与视角相关，与视角相关的场景性质信息例如是颜色信息、亮度信息等等。第一样本数据和第二样本数据还均包括空间点的视角信息，即预测模型能够利用第一样本数据和第二样本数据的视角信息进行预测，以此得到与视角相关的预测场景性质信息。视角信息例如是倾斜角θ、偏北角
Figure BDA0003606114160000111
在一个具体实施方式中，可以对视角信息
Figure BDA0003606114160000112
进行特征变换如傅里叶变换，以此使得视角信息能够为预测模型所利用。因此，通过设置预测场景性质信息与视角相关，使得预测模型能够预测得到与视角相关的预测场景性质信息。
在一个实施例中，预设样本数据的标注信息为参考图像，参考图像用于表征对应空间点的实际场景性质信息，即空间点在参考图像上的投影点的图像信息能够空间点的实际场景性质信息。在本实施例中，在得到预测模型对预设样本数据的预测结果之后，还可以继续执行步骤：基于预测结果生成预测图像，预测图像能够表征空间点的预测场景性质信息。具体地，可以利用与参考图像相同的视角信息进行渲染，以此实现基于预测结果生成预测图像，也即，预测图像和参考图像的视角信息相同。此时，预测图像与参考图像之间的差异作为预测结果与预设样本数据的标注信息之间的差异，具体可以体现为预测图像与参考图像之间的图像信息差异，例如是颜色差异、亮度差异等等。因此，通过将预设样本数据的标注信息确定为参考图像，并基于预测结果生成预测图像，进而将预测图像与参考图像之间的差异作为预测结果与预设样本数据的标注信息之间的差异，以此能够利用参考图像实现对预测模型的训练。
请参阅图2，图2是本申请模型训练方法第二实施例的流程示意图。在本实施例中，预设样本数据包括第一样本数据和第二样本数据，第一样本数据标注有关于目标模态的第一标注信息，第二样本数据标注有关于原始模态的第二标注信息。在此情况下，上述提及的步骤“利用预设样本数据对预测模型进行重训练”具体包括步骤S21和步骤S22。
步骤S21：利用预测模型分别对第一样本数据、第二样本数据进行预测，对应得到关于目标模态的第一预测结果和关于原始模态的第二预测结果。
在本实施例中，可以将第一样本数据、第二样本数据分别输入至预测模型中，以利用预测模型对应得到关于目标模态的第一预测结果和关于原始模态的第二预测结果。例如，第一样本数据和第二样本数据为同一张图片，该图片的目标模态的第一标注信息为亮度，该图片的原始模态的第二标注信息为颜色，则预测模型对应得到关于目标模态的第一预测结果为预测的亮度，原始模态的第二预测结果为预测的颜色。又如，第一样本数据和第二样本数据为同一空间点，该空间点的目标模态的第一标注信息为表面材质和几何信息，原始模态的第二标注信息为语义信息，则预测模型对应得到关于目标模态的第一预测结果为空间点的表面材质和几何信息，原始模态的第二预测结果为预测的语义信息。
在一个实施方式中，第二样本数据包括以下至少一者：采集得到的原始数据和利用生成模型生成的衍生数据。采集得到的原始数据例如是通过基于采集的二维图像进行三维重建后得到的空间点。生成模型例如是专门用于生成第二样本数据的神经网络模型，例如，通过将某一空间点输入至生成模型，生成模型可以对应地为该空间点生成对应的第二标注信息。因此，通过采集得到的原始数据和利用生成模型生成的衍生数据，以此可以利用第二样本数据对预测模型进行重训练，进而使得预测模型能够实现预测的模态信息的拓展。
步骤S22：利用第一预测结果与第一标注信息之间的第一差异、第二预测结果与第二标注信息之间的第二差异，调整预测模型的网络参数。
在得到第一预测结果和第二预测结果以后，即可通过比较第一预测结果与第一标注信息得到第一差异，比较第二预测结果与第二标注信息得到第二差异，以此确定预测模型对目标模态的信息和原始模态的信息的预测准确度，并以此来调整预测模型的网络参数，进而实现对预测模型的重训练。
因此，通过利用预测模型分别对第一样本数据、第二样本数据进行预测，并基于第一预测结果与第一标注信息之间的第一差异和第二预测结果与第二标注信息之间的第二差异来调整预测模型的网络参数，使得预测模型在利用第一样本数据学习目标模态的信息的同时，也能利用第二样本数据使得预测模型不会忘记初始训练中已经学习到的原始模态的信息，以此实现了预测模型能够预测的模态信息的拓展。
请参阅图3，图3是本申请模型训练方法第三实施例的流程示意图。在本实施例中，对预测模型的重训练包括对预测模型的至少部分网络参数的调整进行约束。在此情况下，上述提及的步骤“利用预设样本数据对预测模型进行重训练”具体包括步骤S31至步骤S33。
步骤S31：利用预设样本数据，分别确定不同参数值集合对应的预测模型的预测损失。
在本实施例中，每个参数值集合包括预测模型中各网络参数对应的一组候选参数值，参数值集合对应的预测模型的各网络参数赋值为参数值集合中对应的候选参数值。
在一个具体实施方式中，参数值集合可以是在重训练中的不同阶段确定的。例如，可以首先确定第一参数值集合θ1，然后基于第一参数值集合θ1对应的训练情况，来确定第二参数值集合θ2，以此实现迭代训练。
步骤S32：将使目标损失满足预设条件的参数值集合，作为目标参数值集合。
在本实施例中，参数值集合对应的目标损失是利用参数值集合对应的预测损失和正则损失得到。
在一个实施方式中，预测损失可以是基于预测模型的预测结果和标注信息的差异确定的。
在一个实施方式中，上述的步骤“利用预设样本数据，分别确定不同参数值集合对应的预测模型的预测损失”具体包括步骤S311和步骤S312(图未示)。
步骤S311：对于各参数值集合，利用参数值集合对应的预测模型对第一样本数据进行预测，得到参数值集合对应的第一预测结果。
步骤S312：利用参数值集合对应的第一预测结果与第一样本数据的第一标注信息之间的第一差异，得到参数值集合对应的预测损失。
在确定参数值集合并将参数值集合赋值于预测模型以后，可以利用预测模型对第一样本数据进行预测，以此得到参数值集合对应的第一预测结果。
通过参数值集合对应的第一预测结果与第一样本数据的第一标注信息之间的第一差异，可以确定预测模型的预测准确度，以此衡量参数值集合的准确度，进而能够相应确定参数值集合对应的预测损失。
因此，通过利用参数值集合对应的预测模型对第一样本数据进行预测以得到第一预测结果，以此能够基于第一预测结果与第一样本数据的第一标注信息之间的第一差异得到参数值集合对应的预测损失，以此能够实现对参数值集合的准确度的衡量。
在一个实施方式中，参数值集合对应的正则损失是结合各网络参数的权重以及各网络参数的变化表征得到的。示例性地，参数值集合对应的正则损失是利用各网络参数的权重对各网络参数的变化表征进行加权得到的。具体地，网络参数的变化表征是基于网络参数在参数值集合中对应的候选参数值与参考参数值之间的差异得到的。候选参数值与参考参数值之间的差异例如是候选参数值与参考参数值之间的差值，或者是差值的平方等。
参考参数值可以根据需要进行设置。在一个具体实施方式中，可以将参考参数值设置经过初始训练后的参数值。通过将参考参数值为预测模型经初始训练后的网络参数的值，以此可以通过确定正则损失反映出重训练阶段网络参数与经过初始训练后的参数值的偏离程度。在另一个具体实施方式中，可以在重训练过程中的使用过的参数值。在本实施例方式中，网络参数的权重与网络参数对预测原始模态的信息的影响程度相关。例如，某一网络参数的权重越大，则表明该网络参数对预测原始模态的影响程度越大，改变了该网络参数则会导致预测模型预测原始模的信息态的准确度产生越大影响，如使得预测模型预测原始模的信息态的准确度答复下降。因此，通过在重训练时计算正则损失，以此可以对预测模型的至少部分网络参数的调整进行约束。在一个具体实施方式中，可以利用本领域中关于EWC(elastic weight consolidation)相关方法确定，此处不再赘述。
在一个具体实施方式中，在重训练的过程中，可以产生多个参数值集合，以此可以利用多个参考参数值集合对预测模型进行赋值，并相应地确定与每一个参考参数值集合对应的预测损失和正则损失，进而能够确定目标损失。在此基础上便能进行迭代训练，以此能够将使目标损失满足预设条件的参数值集合，并将满足预设条件的参数值集合作为目标参数值集合。
步骤S33：将预测模型的各网络参数调整为目标参数值集合中对应的候选参数值。
通过将预测模型的各网络参数调整为目标参数值集合中对应的候选参数值，以此能够完成对预测模型的重训练。
因此，通过利用参数值集合对应的预测损失和正则损失得到目标损失，以此能够在重训练的过程中对预测模型的至少部分网络参数的调整进行约束，使得预测模型不会忘记初始训练中已经学习到的原始模态的信息，而且还使得预测模型能够用于预测得到目标模态的信息，以此实现了预测模型能够预测的模态信息的拓展。
请参阅图4，图4是本申请模型训练方法第四实施例的流程示意图。在本实施例中，在执行上述的步骤“将使目标损失满足预设条件的参数值集合，作为目标参数值集合”之前，模型训练方法还可以包括步骤S41至步骤S43。
步骤S41：对于各参数值集合，获取参数值集合的第一子正则损失和第二子正则损失中的至少一者。
在本实施例中，第一子正则损失是利用各网络参数的权重对参数值集合对应的各网络参数的变化表征进行加权求和得到的。
在一个具体实施方式中，可以利用以下公式(1)计算参数值集合对应的第一正则损失L1。
Figure BDA0003606114160000161
其中，λ1为超参数，
Figure BDA0003606114160000162
为参考参数值，θi为候选参数值，
Figure BDA0003606114160000163
为网络参数的变化表征，I表示预测模型的所有参数，i表示预测模型的一具体参数，bi表示网络参数i的权重。
在本实施例中，第二正则损失是利用各网络参数的权重对参数值集合对应的各网络参数的变化表征处理值进行加权求和得到的。网络参数的变化表征处理值是利用网络参数的变化表征和初始训练参数变化表征得到的，网络参数的初始训练参数变化表征是利用各网络参数的参考参数值与网络参数的初始参数值的差异得到的。例如，网络参数的初始参数值可以认为是在初始训练时，会对预测模型的各网络参数进行初始化，在初始化后确定的值。又如，网络参数的初始参数值还可以认为是，在第一次进行初始训练之前，各网络参数对应的值。
在一个具体实施方式中，可以利用以下公式(2)计算参数值集合对应的第一正则损失L2。
Figure BDA0003606114160000164
其中，λ2为超参数，Δθi为网络参数的变化表征，
Figure BDA0003606114160000165
为网络参数的初始训练参数变化表征，bi表示网络参数i的权重，其余参数的意义与公式(1)相同。
步骤S42：利用参数值集合的第一子正则损失和第二子正则损失的至少一者，得到参数值集合的正则损失。
在一个具体实施方式中，可以仅将第一子正则损失和第二子正则损失的其中一者，作为参数值集合的正则损失。在另一个具体实施方式中，也可以是利用第一子正则损失和第二子正则损失二者得到参数值集合的正则损失。
在一个具体实施方式中，可以利用以下公式(3)计算参数值集合对应的正则损失L。
L＝L1+L2 (3)
其中，L1为第一子正则损失，L2为第二子正则损失。
在一个具体实施方式中，上述的网络参数的参数权重与网络参数对预测原始模态的影响程度存在正相关关系。对应于公式(1)至公式(3)，则是网络参数i对预测原始模态的信息的影响程度越大，则bi越大。因此，通过设置网络参数的参数权重与网络参数对预测原始模态的影响程度存在正相关关系，以此可以使得调整参数权重越大的网络参数，其对正则损失的影响就越大，以此可以使得重训练的过程中，会尽量降低参数权重较大的网络参数的变化以减少预测损失的变化来进行重训练，实现对参数权重较大的网络参数的约束。
步骤S43：利用参数值集合对应的正则损失与参数值集合对应的预测损失，得到参数值集合对应的目标损失。
在一个具体实施方式中，可以设置参数值集合对应的目标损失与参数值集合对应的正则损失、预测损失均存在正相关关系，以此可以通过正则损失和预测损失的变化能够通过目标损失直接反映。
在一个具体实施方式中，可以利用以下公式(4)计算参数值集合对应的目标损失。
Figure BDA0003606114160000171
其中，L(θi)表示参数值集合θi对应的预测损失，
Figure BDA0003606114160000172
表示参数值集合θi对应的正则损失，L′(θi)表示参数值集合θi对应的预测损失。
因此，通过利用各网络参数的权重对各网络参数的变化表征进行加权求和，以得到参数值集合对应的正则损失，以此可以使得网络参数的权重越大，其对应的正则损失就越大，进而也会使得预测损失越大，以此使得重训练的过程中会尽量降低参数权重较大的网络参数的变化，以减少目标损失的变化来实现重训练，以此实现对参数权重较大的网络参数的约束。
请参阅图5，图5是本申请模型训练方法第五实施例的流程示意图。在本实施例中，对预测模型的重训练包括对预测模型的至少部分网络参数的调整进行约束。在此情况下，上述的“利用预设样本数据对预测模型进行重训练”具体包括步骤S51和步骤S52。
步骤S51：利用预测模型对第一样本数据进行预测，得到关于目标模态的第一预测结果。
关于本步骤的详细描述，请参阅上述实施例的相关描述，此处不再赘述。
步骤S52：基于第一预测结果与第一样本数据关于目标模态的第一标注信息之间的第一差异，调整预测模型中的目标网络参数。
在本实施例中，目标网络参数包括在初始训练过程中未调整的第一网络参数，并且预测模型中除目标网络参数以外的网络参数不调整。在本实施例中，初始训练过程中未调整的第一网络参数可以认为是对预测模型预测原始模态的信息没有影响的网络参数，具体的，第一网络参数可以是在重训练阶段新增加的网络连接的参数，如新增的卷积核的网络参数，也可以是在初始训练阶段就已存在，但是在初始训练阶段未调整的网络参数。通过设置为仅调整目标网络参数，以此可以对预测模型的至少部分网络参数的调整进行约束，使得被约束的网络参数不会发生变化。
在一个实施方式中，上述的目标网络参数还包括预测模型在初始训练过程中已调整的第二网络参数，第二网络参数可以是初始训练过程中已调整的一部分。在本实施方式中，可以将初始训练过程中已调整的一部分网络参数也作为目标网络参数，使得预测模型在不会忘记初始训练中已经学习到的原始模态的信息的情况下，可以更好的预测目标模态的信息。
因此，通过仅调整目标网络参数，可以使得预测模型中与预测原始模态的信息相关的网络参数不会被调整，使得预测模型不会忘记初始训练中已经学习到的原始模态的信息，使得预测模型能够用于预测得到原始模态的信息和目标模态的信息，以此实现了预测模型能够预测的模态信息的拓展。
在一个实施例中，在执行上述的步骤“利用预设样本数据对预测模型进行重训练”之前，本申请的模型训练方法还包括：为预测模型新增至少一个网络参数作为第一网络参数。在本实施例，具体可以是通过新增加网络连接的方式来新增至少一个网络参数作为第一网络参数。具体地，新增加的网络参数可以专门用于预测目标模态的信息，原有的网络参数用于预测原始模态的信息。因此，通过为预测模型新增至少一个网络参数作为第一网络参数，并在重训练阶段调整第一网络参数，以此使得预测模型在重训练后既能预测原始模态的信息，也能预测目标模态的信息。
请参阅图6，图6是本申请模型训练方法中重训练流程的流程示意图。在图6中，输入的样本数据包括空间点的位置信息101和视角信息02。预测模型103包括特征提取层1031和若干模态信息输出模块，包括模态信息输出模块1032、模态信息输出模块1033、模态信息输出模块1034和模态信息输出模块1035。
在本实施例中，模态信息输出模块1032和模态信息输出模块1033用于输出与视角相关的空间点的场景性质信息，模态信息输出模块1034和模态信息输出模块1035用于输出与视角无关的空间点的场景性质信息。因此，可以设置模态信息输出模块1034和模态信息输出模块1035利用前5个特征提取层1031提取的特征信息来进行解码以输出与视角无关的空间点的场景性质信息，设置视角信息102做第6个特征提取层的输入，用于后续模态信息输出模块1032和模态信息输出模块1033用于输出与视角相关的空间点的场景性质信息。另外，还可以在某一中间特征提取层1031再次将空间点的位置信息101作为输入，以提高预测模型的预测准确度。
在一个实施方式中，空间点的位置信息101即为第一样本数据，也是第二样本数据，视角信息102属于第二样本数据。模态信息输出模块1035用于输出目标模态的场景性质信息，模态信息输出模块1032、模态信息输出模块1033和模态信息输出模块1034用于原始模态的场景性质信息。后续便可依据各个模态信息输出模块的输出结果，调整预测模型的网络参数，以此实现预测模型的重训练。
在一个实施方式中，空间点的位置信息101和视角信息102为第一样本数据，模态信息输出模块1032用于输出目标模态的场景性质信息。此时，其他的模态信息输出模块不会输出预测结果。以此，能够相应地根据模态信息输出模块1032输出的目标模态的场景性质信息的预测结果，确定预测损失和正则损失，进而调整预测模型的网络参数，实现预测模型的重训练。
在一个实施方式中，空间点的位置信息101和视角信息102为第一样本数据，模态信息输出模块1032用于输出目标模态的场景性质信息，其他的模态信息输出模块不会输出预测结果。此外，还可以在特征提取层1031中新增加的网络连接，如增加卷积核，激活层等，以利用新增加的网络连接来提取目标模态信息的特征信息。并且，还可以将新增加的网络连接涉及的网络参数确定为目标网络参数。以此，便能够相应地根据模态信息输出模块1032输出的目标模态的场景性质信息的预测结果来确定预测损失，进而调整目标网络参数，实现预测模型的重训练。
请参阅图7，图7是本申请模态信息的预测方法实施例的流程示意图。在本实施例中，模态信息的预测方法包括步骤S61至步骤S63。
步骤S61：训练得到的预测模型。
在本实施例中，可以利用上述的模型训练方法来训练预测模型，以实现对预测模型的训练。
步骤S62：获取目标数据。
目标数据例如是空间点的位置数据、图像中的像素点等。例如可以将三维点云数据作为目标数据，点云数据可以是通过三维重建、三维建模等方法得到的。
步骤S63：利用经训练得到的预测模型对目标数据进行预测，得到关于目标数据的至少一种模态的信息。
本实施例中的至少一种模态的信息可以包括预测模型重训练过程中的原始模态的信息或者是目标模态的信息。例如，可以利用预测模型预测空间点的至少一个模态的场景性质信息，场景性质信息例如是表面材质，表面材质信息可以是原始模态的信息，也可以是目标模态的信息。通过设置目标数据包括空间点的位置数据，目标数据的至少一种模态的信息包括关于空间点的至少一个模态的场景性质信息，以此可以利用预测模型预测空间点的场景性质信息。
因此，通过利用上述的模型训练方法来训练预测模型，以此使得预测模型既能预测原始模态的信息，也能预测目标模态的信息。
请参阅图8，图8是本申请模型的训练装置实施例的框架示意图。模型的训练装置20包括获取模块21和重训练模块22，获取模块21用于获取经初始训练得到的预测模型，其中，经初始训练得到的预测模型用于预测得到原始模态的信息；重训练模块22用于利用预设样本数据对预测模型进行重训练，预设样本数据包括标注有目标模态的信息的第一样本数据，经重训练的预测模型还用于预测得到目标模态的信息；其中，预设样本数据还包括标注有原始模态的信息的第二样本数据，和/或，对预测模型的重训练包括对预测模型的至少部分网络参数的调整进行约束。
其中，上述的预设样本数据包括第一样本数据和第二样本数据，第一样本数据标注有关于目标模态的第一标注信息，第二样本数据标注有关于原始模态的第二标注信息；上述的重训练模块22用于利用预设样本数据对预测模型进行重训练，包括：利用预测模型分别对第一样本数据、第二样本数据进行预测，对应得到关于目标模态的第一预测结果和关于原始模态的第二预测结果；利用第一预测结果与第一标注信息之间的第一差异、第二预测结果与第二标注信息之间的第二差异，调整预测模型的网络参数。
其中，上述的第二样本数据包括以下至少一者：采集得到的原始数据和利用生成模型生成的衍生数据。
其中，上述的对预测模型的重训练包括对预测模型的至少部分网络参数的调整进行约束；其中，上述的重训练模块22用于利用预设样本数据对预测模型进行重训练，包括：利用预设样本数据，分别确定不同参数值集合对应的预测模型的预测损失，其中，每个参数值集合包括预测模型中各网络参数对应的一组候选参数值，参数值集合对应的预测模型的各网络参数赋值为参数值集合中对应的候选参数值；将使目标损失满足预设条件的参数值集合，作为目标参数值集合，其中，参数值集合对应的目标损失是利用参数值集合对应的预测损失和正则损失得到，参数值集合对应的正则损失是结合各网络参数的权重以及各网络参数的变化表征得到的，网络参数的权重与网络参数对预测原始模态的信息的影响程度相关，网络参数的变化表征是基于网络参数在参数值集合中对应的候选参数值与参考参数值之间的差异得到的；将预测模型的各网络参数调整为目标参数值集合中对应的候选参数值。
其中，上述的重训练模块22用于利用预设样本数据，分别确定不同参数值集合对应的预测模型的预测损失，包括：对于各参数值集合，利用参数值集合对应的预测模型对第一样本数据进行预测，得到参数值集合对应的第一预测结果；利用参数值集合对应的第一预测结果与第一样本数据的第一标注信息之间的第一差异，得到参数值集合对应的预测损失；
其中，模型的训练装置20还包括目标损失确定模块，在重训练模块22用于将使目标损失满足预设条件的参数值集合，作为目标参数值集合之前，目标损失确定模块用于对于各参数值集合，获取参数值集合的第一子正则损失和第二子正则损失中的至少一者，其中，第一子正则损失是利用各网络参数的权重对参数值集合对应的各网络参数的变化表征进行加权求和得到的，第二正则损失是利用各网络参数的权重对参数值集合对应的各网络参数的变化表征处理值进行加权求和得到的，网络参数的变化表征处理值是利用网络参数的变化表征和初始训练参数变化表征得到的，网络参数的初始训练参数变化表征是利用各网络参数的参考参数值与网络参数的初始参数值的差异得到的；利用参数值集合的第一子正则损失和第二子正则损失的至少一者，得到参数值集合的正则损失；利用各网络参数的权重对各网络参数的变化表征进行加权求和，以得到参数值集合对应的正则损失；利用参数值集合对应的正则损失与参数值集合对应的预测损失，得到参数值集合对应的目标损失。
其中，上述的网络参数的参数权重与网络参数对预测原始模态的信息的影响程度存在正相关关系；和/或，参数值集合对应的目标损失与参数值集合对应的正则损失、预测损失均存在正相关关系；和/或，参考参数值为预测模型经初始训练后的网络参数的值。
其中，上述的对预测模型的重训练包括对预测模型的至少部分网络参数的调整进行约束；上述的重训练模块22用于利用预设样本数据对预测模型进行重训练，包括：利用预测模型对第一样本数据进行预测，得到关于目标模态的第一预测结果；基于第一预测结果与第一样本数据关于目标模态的第一标注信息之间的第一差异，调整预测模型中的目标网络参数，其中，目标网络参数包括在初始训练过程中未调整的第一网络参数，预测模型中除目标网络参数以外的网络参数不调整。
其中，上述的目标网络参数还包括预测模型在初始训练过程中已调整的第二网络参数。
其中，模型的训练装置20还包括第一网络参数确定模块，在重训练模块22用于利用预设样本数据对预测模型进行重训练之前，第一网络参数确定模块用于为预测模型新增至少一个网络参数作为第一网络参数。
其中，上述的第一样本数据和第二样本数据均包括空间点的位置数据；在重训练之前，预测模型用于预测得到关于空间点的原始模态的场景性质信息，在重训练之后，预测模型用于预测得到关于空间点的原始模态和目标模态的预测场景性质信息。
其中，上述的空间点为物体表面上的点；和/或，预测场景性质信息与视角相关，第一样本数据和第二样本数据还均包括空间点的视角信息；和/或，预测场景性质信息包括颜色、亮度、表面几何、语义和表面材质中的至少一种；和/或，预设样本数据的标注信息为参考图像，参考图像用于表征对应空间点的实际场景性质信息；模型的训练装置20还包括差异比较模块，在重训练模块22用于得到预测模型对预设样本数据的预测结果之后，差异比较模块用于基于预测结果生成预测图像，预测图像能够表征空间点的预测场景性质信息；其中，预测图像与参考图像之间的差异作为预测结果与预设样本数据的标注信息之间的差异。
请参阅图9，图9是本申请模态信息的预测装置实施例的框架示意图。模态信息的预测装置30包括第一获取模块31、第二获取模块32和预测模块33，其中，第一获取模块31用于上述模型的训练方法实施提及的训练方法训练得到预测模型；第二获取模块32用于获取目标数据；预测模块33用于利用经训练得到的预测模型对目标数据进行预测，得到关于目标数据的至少一种模态的信息。
其中，上述的目标数据包括空间点的位置数据；关于目标数据的至少一种模态的信息包括关于空间点的至少一个模态的场景性质信息。
请参阅图10，图10是本申请电子设备一实施例的框架示意图。电子设备40包括相互耦接的存储器41和处理器42，处理器42用于执行存储器41中存储的程序指令，以实现上述任一模型的训练方法实施例中的步骤，或者是模态信息的预测方法实施例中的步骤。在一个具体的实施场景中，电子设备40可以包括但不限于：微型计算机、服务器，此外，电子设备40还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器42用于控制其自身以及存储器41以实现上述任一模型的训练方法实施例中的步骤，或者是模态信息的预测方法实施例中的步骤。处理器42还可以称为CPU(Central Processing Unit，中央处理单元)。处理器42可能是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器42可以由集成电路芯片共同实现。
请参阅图11，图11为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质50存储有能够被处理器运行的程序指令51，程序指令51用于实现上述任一模型的训练方法实施例中的步骤，或者是模态信息的预测方法实施例中的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上述方案，通过设置设样本数据还包括标注有原始模态的信息的第二样本数据，和/或，对预测模型的至少部分网络参数的调整进行约束，可以使得预测模型不会忘记初始训练中已经学习到的原始模态的信息，而且还使得预测模型还能够用于预测得到目标模态信息，以此实现了预测模型能够预测的模态信息的拓展。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (17)

1.一种模型训练方法，其特征在于，包括：
获取经初始训练得到的预测模型，其中，经初始训练得到的所述预测模型用于预测得到原始模态的信息；
利用预设样本数据对所述预测模型进行重训练，所述预设样本数据包括标注有目标模态的信息的第一样本数据，经所述重训练的所述预测模型还用于预测得到所述目标模态的信息；
其中，所述预设样本数据还包括标注有所述原始模态的信息的第二样本数据，和/或，对所述预测模型的重训练包括对所述预测模型的至少部分网络参数的调整进行约束。
2.根据权利要求1所述的方法，其特征在于，所述预设样本数据包括所述第一样本数据和所述第二样本数据，所述第一样本数据标注有关于目标模态的第一标注信息，所述第二样本数据标注有关于所述原始模态的第二标注信息；
所述利用预设样本数据对所述预测模型进行重训练，包括：
利用所述预测模型分别对所述第一样本数据、第二样本数据进行预测，对应得到关于所述目标模态的第一预测结果和关于所述原始模态的第二预测结果；
利用所述第一预测结果与第一标注信息之间的第一差异、所述第二预测结果与第二标注信息之间的第二差异，调整所述预测模型的网络参数。
3.根据权利要求1或2所述的方法，其特征在于，所述第二样本数据包括以下至少一者：采集得到的原始数据和利用生成模型生成的衍生数据。
4.根据权利要求1至3任一项所述的方法，其特征在于，对所述预测模型的重训练包括对所述预测模型的至少部分网络参数的调整进行约束；所述利用预设样本数据对所述预测模型进行重训练，包括：
利用所述预设样本数据，分别确定不同参数值集合对应的预测模型的预测损失，其中，每个所述参数值集合包括预测模型中各网络参数对应的一组候选参数值，所述参数值集合对应的预测模型的各网络参数赋值为所述参数值集合中对应的候选参数值；
将使目标损失满足预设条件的所述参数值集合，作为目标参数值集合，其中，所述参数值集合对应的目标损失是利用所述参数值集合对应的预测损失和正则损失得到，所述参数值集合对应的正则损失是结合各网络参数的权重以及各网络参数的变化表征得到的，所述网络参数的权重与所述网络参数对预测所述原始模态的信息的影响程度相关，所述网络参数的变化表征是基于所述网络参数在所述参数值集合中对应的候选参数值与参考参数值之间的差异得到的；
将所述预测模型的各网络参数调整为所述目标参数值集合中对应的候选参数值。
5.根据权利要求4所述的方法，其特征在于，所述利用所述预设样本数据，分别确定不同参数值集合对应的预测模型的预测损失，包括：
对于各所述参数值集合，利用所述参数值集合对应的预测模型对所述第一样本数据进行预测，得到所述参数值集合对应的第一预测结果；
利用所述参数值集合对应的第一预测结果与所述第一样本数据的第一标注信息之间的第一差异，得到所述参数值集合对应的所述预测损失。
6.根据权利要求4或5所述的方法，其特征在于，在所述将使目标损失满足预设条件的所述参数值集合，作为目标参数值集合之前，所述方法还包括：
对于各所述参数值集合，获取所述参数值集合的第一子正则损失和第二子正则损失中的至少一者，其中，所述第一子正则损失是利用各所述网络参数的权重对所述参数值集合对应的各所述网络参数的变化表征进行加权求和得到的，所述第二正则损失是利用各所述网络参数的权重对所述参数值集合对应的各所述网络参数的变化表征处理值进行加权求和得到的，所述网络参数的变化表征处理值是利用所述网络参数的变化表征和初始训练参数变化表征得到的，所述网络参数的初始训练参数变化表征是利用各所述网络参数的参考参数值与所述网络参数的初始参数值的差异得到的；
利用所述参数值集合的所述第一子正则损失和所述第二子正则损失的至少一者，得到所述参数值集合的正则损失；
利用所述参数值集合对应的正则损失与所述参数值集合对应的预测损失，得到所述参数值集合对应的目标损失。
7.根据权利要求4至6任一项所述的方法，其特征在于，所述网络参数的参数权重与所述网络参数对预测所述原始模态的信息的影响程度存在正相关关系；
和/或，所述参数值集合对应的目标损失与所述参数值集合对应的正则损失、预测损失均存在正相关关系；
和/或，所述参考参数值为所述预测模型经初始训练后的网络参数的值。
8.根据权利要求1至7任一项所述的方法，其特征在于，对所述预测模型的重训练包括对所述预测模型的至少部分网络参数的调整进行约束；所述利用预设样本数据对所述预测模型进行重训练，包括：
利用所述预测模型对所述第一样本数据进行预测，得到关于所述目标模态的第一预测结果；
基于所述第一预测结果与所述第一样本数据关于目标模态的第一标注信息之间的第一差异，调整所述预测模型中的目标网络参数，其中，所述目标网络参数包括在所述初始训练过程中未调整的第一网络参数，所述预测模型中除所述目标网络参数以外的网络参数不调整。
9.根据权利要求8所述的方法，其特征在于，
所述目标网络参数还包括所述预测模型在所述初始训练过程中已调整的第二网络参数；
和/或，所述利用预设样本数据对所述预测模型进行重训练之前，还包括：
为所述预测模型新增至少一个网络参数作为所述第一网络参数。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述第一样本数据和所述第二样本数据均包括空间点的位置数据；在所述重训练之前，所述预测模型用于预测得到关于所述空间点的所述原始模态的场景性质信息，在所述重训练之后，所述预测模型用于预测得到关于所述空间点的所述原始模态和目标模态的预测场景性质信息。
11.根据权利要求10所述的方法，其特征在于，所述空间点为物体表面上的点；
和/或，所述预测场景性质信息与视角相关，所述第一样本数据和所述第二样本数据还均包括所述空间点的视角信息；
和/或，所述预测场景性质信息包括颜色、亮度、表面几何、语义和表面材质中的至少一种；
和/或，所述预设样本数据的标注信息为参考图像，所述参考图像用于表征对应所述空间点的实际场景性质信息；在得到所述预测模型对所述预设样本数据的预测结果之后，所述方法还包括：
基于所述预测结果生成预测图像，所述预测图像能够表征所述空间点的预测场景性质信息；其中，所述预测图像与所述参考图像之间的差异作为所述预测结果与所述预设样本数据的标注信息之间的差异。
12.一种模态信息的预测方法，其特征在于，包括：
利用权利要求1至11任一项所述的方法训练得到预测模型；
获取目标数据；
利用经训练得到的所述预测模型对所述目标数据进行预测，得到关于所述目标数据的至少一种模态的信息。
13.根据权利要求12所述的方法，其特征在于，所述目标数据包括空间点的位置数据；所述关于所述目标数据的至少一种模态的信息包括关于所述空间点的至少一个模态的场景性质信息。
14.一种模型的训练装置，其特征在于，包括：
获取模块，用于获取经初始训练得到的预测模型，其中，经初始训练得到的所述预测模型用于预测得到原始模态的信息；
重训练模块，用于利用预设样本数据对所述预测模型进行重训练，所述预设样本数据包括标注有目标模态的信息的第一样本数据，经所述重训练的所述预测模型还用于预测得到所述目标模态的信息；
其中，所述预设样本数据还包括标注有所述原始模态的信息的第二样本数据，和/或，对所述预测模型的重训练包括对所述预测模型的至少部分网络参数的调整进行约束。
15.一种模态信息的预测装置，其特征在于，包括：
第一获取模块，用于利用权利要求1至11任一项所述的方法训练得到预测模型；
第二获取模块，用于获取目标数据；
预测模块，用于利用经训练得到的所述预测模型对所述目标数据进行预测，得到关于所述目标数据的至少一种模态的信息。
16.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至11任一项所述的模型训练方法，或者实现权利要求12至13所述的模模态信息的预测方法。
17.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至11任一项所述的模型训练方法，或者实现权利要求12至13所述的模态信息的预测方法。
CN202210419003.3A 2022-04-20 2022-04-20 模型训练及模态信息的预测方法、相关装置、设备、介质 Active CN114925748B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210419003.3A CN114925748B (zh) 2022-04-20 2022-04-20 模型训练及模态信息的预测方法、相关装置、设备、介质
PCT/CN2023/089228 WO2023202620A1 (zh) 2022-04-20 2023-04-19 模型训练及模态信息的预测方法及装置、电子设备、存储介质和计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210419003.3A CN114925748B (zh) 2022-04-20 2022-04-20 模型训练及模态信息的预测方法、相关装置、设备、介质

Publications (2)

Publication Number Publication Date
CN114925748A true CN114925748A (zh) 2022-08-19
CN114925748B CN114925748B (zh) 2024-05-24

Family

ID=82807507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210419003.3A Active CN114925748B (zh) 2022-04-20 2022-04-20 模型训练及模态信息的预测方法、相关装置、设备、介质

Country Status (2)

Country Link
CN (1) CN114925748B (zh)
WO (1) WO2023202620A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115952904A (zh) * 2022-12-29 2023-04-11 广东南方财经控股有限公司 基于分步关联权重的预测模型构建方法、预测方法及装置
CN116894192A (zh) * 2023-09-11 2023-10-17 浙江大华技术股份有限公司 大模型训练方法及相关方法、装置、设备、系统和介质
WO2023202620A1 (zh) * 2022-04-20 2023-10-26 上海商汤智能科技有限公司 模型训练及模态信息的预测方法及装置、电子设备、存储介质和计算机程序产品
WO2024051364A1 (zh) * 2022-09-07 2024-03-14 支付宝(杭州)信息技术有限公司 活体检测模型训练方法、装置、存储介质以及终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210024A (zh) * 2020-01-14 2020-05-29 深圳供电局有限公司 模型训练方法、装置、计算机设备和存储介质
CN111783505A (zh) * 2019-05-10 2020-10-16 北京京东尚科信息技术有限公司 伪造人脸的识别方法、装置和计算机可读存储介质
CN112668498A (zh) * 2020-12-30 2021-04-16 西安电子科技大学 空中辐射源个体智能增量识别方法、系统、终端及应用
WO2021098796A1 (zh) * 2019-11-20 2021-05-27 Oppo广东移动通信有限公司 图像处理方法、装置、设备及计算机可读存储介质
US20220027786A1 (en) * 2020-07-24 2022-01-27 Macau University Of Science And Technology Multimodal Self-Paced Learning with a Soft Weighting Scheme for Robust Classification of Multiomics Data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823800B2 (en) * 2018-10-12 2023-11-21 The Medical College Of Wisconsin, Inc. Medical image segmentation using deep learning models trained with random dropout and/or standardized inputs
CN113192639B (zh) * 2021-04-29 2023-07-11 平安科技（深圳）有限公司 信息预测模型的训练方法、装置、设备及存储介质
CN114925748B (zh) * 2022-04-20 2024-05-24 北京市商汤科技开发有限公司 模型训练及模态信息的预测方法、相关装置、设备、介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783505A (zh) * 2019-05-10 2020-10-16 北京京东尚科信息技术有限公司 伪造人脸的识别方法、装置和计算机可读存储介质
WO2021098796A1 (zh) * 2019-11-20 2021-05-27 Oppo广东移动通信有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111210024A (zh) * 2020-01-14 2020-05-29 深圳供电局有限公司 模型训练方法、装置、计算机设备和存储介质
US20220027786A1 (en) * 2020-07-24 2022-01-27 Macau University Of Science And Technology Multimodal Self-Paced Learning with a Soft Weighting Scheme for Robust Classification of Multiomics Data
CN112668498A (zh) * 2020-12-30 2021-04-16 西安电子科技大学 空中辐射源个体智能增量识别方法、系统、终端及应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹纪云;许云峰;: "基于辅助模态监督训练的情绪识别神经网络", 河北科技大学学报, no. 05, 15 October 2020 (2020-10-15), pages 46 - 54 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023202620A1 (zh) * 2022-04-20 2023-10-26 上海商汤智能科技有限公司 模型训练及模态信息的预测方法及装置、电子设备、存储介质和计算机程序产品
WO2024051364A1 (zh) * 2022-09-07 2024-03-14 支付宝(杭州)信息技术有限公司 活体检测模型训练方法、装置、存储介质以及终端
CN115952904A (zh) * 2022-12-29 2023-04-11 广东南方财经控股有限公司 基于分步关联权重的预测模型构建方法、预测方法及装置
CN116894192A (zh) * 2023-09-11 2023-10-17 浙江大华技术股份有限公司 大模型训练方法及相关方法、装置、设备、系统和介质

Also Published As

Publication number Publication date
WO2023202620A1 (zh) 2023-10-26
CN114925748B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN114925748B (zh) 模型训练及模态信息的预测方法、相关装置、设备、介质
US20210090327A1 (en) Neural network processing for multi-object 3d modeling
CN109643383B (zh) 域分离神经网络
CN113039563A (zh) 学习生成用于训练神经网络的合成数据集
CN109934792B (zh) 电子装置及其控制方法
CN112150347B (zh) 从有限的修改后图像集合中学习的图像修改样式
US20230100427A1 (en) Face image processing method, face image processing model training method, apparatus, device, storage medium, and program product
JP2021174556A (ja) 自動運転における機能テスト方法に基づくセマンティックな敵対的生成
CN110956131A (zh) 单目标追踪方法、装置及系统
US20230021551A1 (en) Using training images and scaled training images to train an image segmentation model
US20220301348A1 (en) Face reconstruction using a mesh convolution network
CN117372604A (zh) 一种3d人脸模型生成方法、装置、设备及可读存储介质
CN118071805A (zh) 一种基于深度学习的工业场景点云多模态配准方法及系统
Frantc et al. Machine learning approach for objective inpainting quality assessment
US20240161391A1 (en) Relightable neural radiance field model
CN113469091A (zh) 人脸识别方法、训练方法、电子设备及存储介质
US11893681B2 (en) Method for processing two-dimensional image and device for executing method
CN117315758A (zh) 面部表情的检测方法、装置、电子设备及存储介质
US20230040793A1 (en) Performance of Complex Optimization Tasks with Improved Efficiency Via Neural Meta-Optimization of Experts
US20220383628A1 (en) Conditional Object-Centric Learning with Slot Attention for Video and Other Sequential Data
US20240221362A1 (en) Unsupervised learning of object representations from video sequences using attention over space and time
US20230079478A1 (en) Face mesh deformation with detailed wrinkles
CN117252914A (zh) 深度估计网络的训练方法、装置、电子设备及存储介质
US11900258B2 (en) Learning device, image generating device, learning method, image generating method, and program
Kunert et al. Neural network adaption for depth sensor replication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant