CN117909739A - 模型监控方法、装置、计算机设备和存储介质 - Google Patents

模型监控方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN117909739A
CN117909739A CN202410057057.9A CN202410057057A CN117909739A CN 117909739 A CN117909739 A CN 117909739A CN 202410057057 A CN202410057057 A CN 202410057057A CN 117909739 A CN117909739 A CN 117909739A
Authority
CN
China
Prior art keywords
model
monitored
data
discrete factor
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410057057.9A
Other languages
English (en)
Inventor
李雨晴
刘鹏
齐望东
尤肖虎
黄永明
刘升恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Network Communication and Security Zijinshan Laboratory
Original Assignee
Network Communication and Security Zijinshan Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Network Communication and Security Zijinshan Laboratory filed Critical Network Communication and Security Zijinshan Laboratory
Priority to CN202410057057.9A priority Critical patent/CN117909739A/zh
Publication of CN117909739A publication Critical patent/CN117909739A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种模型监控方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。所述方法包括：获取待监控模型的训练数据集；将所述训练数据集输入基学习器中，获得输出数据，其中，所述基学习器是采用待监控模型的训练数据集进行训练得到的；收集所述待监控模型的实时数据，并将所述实时数据输入所述基学习器，以计算目标误差离散因子；根据所述目标误差离散因子和所述误差离散因子阈值，确定所述待监控模型的模型状态，其中，所述误差离散因子阈值是根据所述输出数据计算得到的。采用本方法在无需获取参考真值的前提下，能够提高模型监控的准确性。

Description

模型监控方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能技术领域，特别是涉及一种模型监控方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
目前，人工智能(Artificial Intelligence，AI)定位技术能够基于真实数据学习，有效解决传统信号处理算法的瓶颈问题，如重多径、非视距、硬件损伤等，具有在复杂场景下提升定位性能的潜力。然而实际部署环境是动态变化的，一次训练无法覆盖所有场景，当环境发生变化引起模型输入分布变化时，会导致模型失效。因此，在模型部署后，有必要对其性能进行评估，以确定其是否有效运行。
相关的模型监控方法包括基于模型输出的方法和基于模型输入的方法。基于模型输出的模型监控法在实际使用中需要额外部署参考终端，且性能受限于参考终端坐标真值的质量和数量，在实际应用中受限。基于模型输入的模型监控法在实际环境中数据分析依据本身具有不稳定性，易受环境、硬件损伤等多种非理想因素的影响，进行影响模型监控的准确性。
因此，在参考真值难以获取的环境下，对已投入使用的模型进行监控，若采用相关方案，则难以兼顾参考真值获取的低成本性和监控结果的准确性。
发明内容
基于此，有必要针对上述技术问题，提供一种在无需获取参考真值的前提下，能够提高模型监控的准确性的模型监控方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种模型监控方法，包括：
获取待监控模型的训练数据集；
将所述训练数据集输入基学习器中，获得输出数据，其中，所述基学习器是采用所述待监控模型先前的训练数据集进行训练得到的；
根据所述输出数据计算误差离散因子阈值；
收集所述待监控模型的实时数据，并将所述实时数据输入所述基学习器，以计算目标误差离散因子；
根据所述目标误差离散因子和所述误差离散因子阈值，确定所述待监控模型的模型状态，其中，所述误差离散因子阈值是根据所述输出数据计算得到的。
在其中一个实施例中，所述训练数据集携带真值标签，所述真值标签用于表征所述训练数据集中数据的真实值；所述将所述训练数据集输入基学习器中，获得输出数据包括：
构建基学习器群，其中，所述基学习器群中包括多个基学习器；
按照所述真值标签，将所述训练数据集中的数据分为多个数据组；
将每个所述数据组分别输入多个所述基学习器中，以获得多个输出值。
在其中一个实施例中，所述方法还包括：
根据同一个所述数据组输入多个所述基学习器得到的所述多个输出值确定一个测试基准值；
根据所述测试基准值和所述多个输出值计算测试误差离散因子；
获取缩放因子；
根据所述缩放因子和所述测试误差离散因子，得到误差离散因子阈值。
在其中一个实施例中，所述根据所述多个输出值确定一个测试基准值包括：
将所述多个输出值的平均值作为测试基准值。
在其中一个实施例中，所述收集所述待监控模型的实时数据，并将所述实时数据输入所述基学习器，以计算目标误差离散因子，包括：
均匀采集所述待监控模型的多组待测试数据；
将多组所述待测试数据分别输入多个所述基学习器中，以获得多个测试输出值；
将所述测试输出值的平均值作为目标基准值；
根据所述目标基准值和多个所述测试输出值，得到目标误差离散因子。
在其中一个实施例中，用于训练所述基学习器的损失函数与用于训练所述待监控模型的损失函数相同。
在其中一个实施例中，所述根据所述目标误差离散因子和所述误差离散因子阈值，确定所述待监控模型的模型状态，包括：
将所述目标误差离散因子和所述误差离散因子阈值进行对比；
在所述目标误差离散因子大于所述误差离散因子阈值的情况下，确定所述待监控模型处于异常状态；
在所述目标误差离散因子小于或等于所述误差离散因子阈值的情况下，确定所述待监控模型处于正常状态。
第二方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待监控模型的训练数据集；
将所述训练数据集输入基学习器中，获得输出数据，其中，所述基学习器是采用所述待监控模型先前的训练数据集进行训练得到的；
收集所述待监控模型的实时数据，并将所述实时数据输入所述基学习器，以计算目标误差离散因子；
根据所述目标误差离散因子和所述误差离散因子阈值，确定所述待监控模型的模型状态，其中，所述误差离散因子阈值是根据所述输出数据计算得到的。
第三方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待监控模型的训练数据集；
将所述训练数据集输入基学习器中，获得输出数据，其中，所述基学习器是采用所述待监控模型先前的训练数据集进行训练得到的；
收集所述待监控模型的实时数据，并将所述实时数据输入所述基学习器，以计算目标误差离散因子；
根据所述目标误差离散因子和所述误差离散因子阈值，确定所述待监控模型的模型状态，其中，所述误差离散因子阈值是根据所述输出数据计算得到的。
第四方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取待监控模型的训练数据集；
将所述训练数据集输入基学习器中，获得输出数据，其中，所述基学习器是采用所述待监控模型先前的训练数据集进行训练得到的；
收集所述待监控模型的实时数据，并将所述实时数据输入所述基学习器，以计算目标误差离散因子；
根据所述目标误差离散因子和所述误差离散因子阈值，确定所述待监控模型的模型状态，其中，所述误差离散因子阈值是根据所述输出数据计算得到的。
上述模型监控方法、装置、计算机设备、存储介质和计算机程序产品，通过获取待监控模型的训练数据集，并将训练数据集输入基学习器中，来获得输出数据，其中，基学习器是采用待监控模型先前的训练数据集进行训练得到的，采用待监控模型的训练数据集训练基学习器，再将训练数据集输入训练好的基学习器中，能够得出待监控模型对应的输出数据，根据输出数据计算误差离散因子阈值。随后，只需要收集待监控模型的实时数据，并将实时数据输入基学习器中，再计算基学习器输出数据的目标误差离散因子，即可通过基学习器的输出数据感知当前环境的输入值变化。最后再根据目标误差离散因子和误差离散因子阈值，确定待监控模型是否有效，以输出数据替代较难获取的真值，以通过输出数据计算出的误差离散因子阈值作为模型监控的标准，能够省去获取真值的步骤，尤其在对定位模型进行监控的过程中，不再需要布设参考终端来获取真实值，这样既能够提高模型监控的准确性，又能够降低模型监控成本。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中一种模型监控方法的应用环境图；
图2为一个实施例中一种模型监控方法的流程示意图；
图3为一个实施例一种模型监控方法中步骤S204的流程示意图；
图4为一个实施例一种模型监控方法中步骤S206的流程示意图；
图5为一个实施例一种模型监控方法中步骤S208的流程示意图；
图6为一个实施例中各点位的伪损失值和误差离散因子的曲线图；
图7为一个实施例中待监控模型输出的RMSE统计曲线图；
图8为一个实施例中一种模型监控装置的结构框图；
图9为一个实施例中计算机设备的内部结构图；
图10为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的模型监控方法，可以应用于如图1所示的应用环境中。其中，终端102用于收集待检测模型的输入数据，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。数据存储系统用于存储输入数据、输出数据、训练好的基学习器相关数据，以及误差离散因子阈值等计算所需数据。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个示例性的实施例中，如图2所示，提供了一种模型监控方法，该方法可以用于AI定位模型，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤S202、步骤S204、步骤S208和步骤S210，可选地，还可以包括步骤S206。其中：
步骤S202，获取待监控模型的训练数据集。
其中，待监控模型是指已经完成训练并投入使用的AI定位模型，在待监控模型使用期间，将使用服务器104对其进行监控，以获得表征其是否有效的状态信息。示例性地，待监控模型可以是AI直接定位模型、到达时间(Time of Arrival，TOA)估计模型、到达角度(Angle ofArrival，AOA)估计模型等多种定位相关的AI模型，模型结构可以为卷积神经网络(Convolutional Neural Network，CNN)模型。
示例性地，训练数据集是用来训练待监控模型的数据，数据集包含了模型在训练阶段使用的样本，每个样本都包括输入特征(features)和对应的目标输出(也叫做真值标签，labels)，真值标签用于表征训练数据集中数据的真实值。其中，输入特征是模型学习的输入数据的各个方面，可以是任何能够描述样本的属性。
示例性地，服务器104可以从数据存储系统中对先前用于训练上述待监控模型的训练数据集进行调取，训练数据集共包含T组含真值标签的数据，记作D＝{(Xt,Tt}/t＝1,2,3…,T}。其中Xt为输入数据集，Tt为相应的真值标签。
步骤S204，将训练数据集输入基学习器中，获得输出数据。
其中，基学习器是采用待监控模型先前的训练数据集进行训练得到的。
示例性地，服务器104可以将训练数据集输入到基学习器中，并采用基学习器输出多组输出数据，也可以使用多个基学习器，每个基学习器均输出一组输出数据，即将训练数据集Xt逐个输入已完成训练的基学习器群中，第t组数据共得到N个输出进一步地，在基学习器的训练过程中，服务器104采用待监控模型的训练数据集对基学习器进行训练，其中，基学习器与待监控模型可以是同构，也可以是异构，并且用于训练基学习器的损失函数与用于训练待监控模型的损失函数可以相同，设置训练终止的损失函数门限为Lth，该值可以与已上线的待监控模型在其训练阶段的损失函数门限一致。
步骤S206，根据输出数据计算误差离散因子阈值。
其中，输出数据为多组。示例性地，服务器104可以根据多组输出数据确定出一个基准值，并根据这一基准值与多组输出数据计算误差离散因子，再根据当前的环境因素和计算出来的误差离散因子确定出误差离散因子阈值。服务器104可以将误差离散因子阈值作为基学习器在训练数据集下的输出特征，以该输出特征作为参照标准，代替实际测量的真值标签，完成后续对模型输入的变化测算。
步骤S208，收集待监控模型的实时数据，并将实时数据输入基学习器，以计算目标误差离散因子。
其中，实时数据是指，在待监控模型工作期间产生或监测到的，用于进行模型监控的实际数据。示例性地，上述实时数据是指待监控模型的有效数据，其中，待监控模型的工作区域内的数据为有效数据，而待监控模型的工作区域外的数据为无效数据。待监控模型工作区域是指，采用待监控模型执行AI定位任务的区域。
示例性地，可以将基学习器部署于终端侧或网络侧，收集待监控模型的实时数据，并将实时数据输入基学习器，能够使得待监控模型与基学习器输入数据的特征相同，因此，能够通过基学习器的输出数据测算出其输入数据的分布变化，也即能够感知待监控模型输入数据的分布变化。接下来，服务器104将根据基学习器在上述实时数据下的输出数据计算目标误差离散因子，以目标误差离散因子表征上述实时数据(也即输入数据)的分布。
步骤S210，根据目标误差离散因子和误差离散因子阈值，确定待监控模型的模型状态。
其中，误差离散因子阈值是根据输出数据计算得到的。
示例性地，服务器104可以将目标误差离散因子和误差离散因子阈值进行对比；在目标误差离散因子大于误差离散因子阈值的情况下，确定待监控模型处于异常状态；在目标误差离散因子小于或等于误差离散因子阈值的情况下，确定待监控模型处于正常状态。
示例性地，由于目标误差离散因子用于表征实时数据的分布，误差离散因子阈值用于表征训练数据集中数据的分布范围，服务器104可以将目标误差离散因子和误差离散因子阈值进行对比，从而得出目标误差离散因子是否大于在误差离散因子阈值，若目标误差离散因子超出了误差离散因子阈值，则可以认为待监控模型的输入数据分布已经发生较大的变化，当前的待监控模型不再适用于当前环境或情景，因此，服务器104可以输出模型失效的信息；反之，若目标误差离散因子没有超出误差离散因子阈值，则可以认为待监控模型的输入数据分布没有发生较大的变化，当前的待监控模型仍然适用于当前环境或情景，因此，服务器104可以输出模型有效的信息。
上述模型监控方法中，通过获取待监控模型的训练数据集，并将训练数据集输入基学习器中，来获得输出数据，其中，基学习器是采用待监控模型的训练数据集进行训练得到的，采用待监控模型的训练数据集训练基学习器，再将训练数据集输入训练好的基学习器中，能够得出待监控模型对应的输出数据，根据输出数据计算误差离散因子阈值。随后，只需要收集待监控模型的实时数据，并将实时数据输入基学习器中，再计算基学习器输出数据的目标误差离散因子，即可通过基学习器的输出数据感知当前环境的输入值变化。最后再根据目标误差离散因子和误差离散因子阈值，确定待监控模型是否有效，以输出数据替代较难获取的真值，以通过输出数据计算出的误差离散因子阈值作为模型监控的标准，能够省去获取真值的步骤，尤其在对定位模型进行监控的过程中，不再需要布设参考终端来获取真实值，这样既能够提高模型监控的准确性，又能够降低模型监控成本。
在一个示例性的实施例中，如图3所示，步骤S204包括步骤S302至步骤S306。其中：
步骤S302，构建基学习器群。
其中，每个基学习器群中包括多个基学习器。
示例性地，服务器104可以采用同样的损失函数训练多个同构或异构的基学习器，从而组成一个包括有多个基学习器的基学习器群。
步骤S304，按照真值标签，将训练数据集中的数据分为多个数据组。
其中，训练数据集携带真值标签，每个真值标签对应了一个或多个数据。
示例性地，服务器104可以按照真值标签将训练数据集进行分组处理，对应于同一个真值标签的数据为一组，形成对应于不同真值标签的多个数据组。
步骤S306，将每个数据组分别输入多个基学习器中，以获得多个输出值。
示例性地，服务器104可以将一个数据组输入到基学习器群中的每一个基学习器中，从而获取到每个基学习器对应的输出值，针对每个数据组均进行以上操作，那么一个真值标签对应的数据组就会得到对应于多个基学习器的多个输出值。
在一个示例性的实施例中，如图4所示，步骤S206包括步骤S402至步骤S408。其中：
步骤S402，根据多个输出值确定一个测试基准值。
示例性地，服务器104可以将多个输出值的平均值作为测试基准值，上述的基学习器输出的第t组数据共得到N个输出计算其均值为/>作为该组数据中的测试基准值。
步骤S404，根据测试基准值和多个输出值计算测试误差离散因子。
示例性地，服务器104可以以上述测试基准值代替真值，将/>和/>代入损失函数中计算出伪损失值为/>并记N个伪损失值的标准差为：
其中，std(·)表示求标准差。计算T个伪损失值标准差的均值作为测试误差离散因子σ：
步骤S406，获取缩放因子。
示例性地，服务器104可以根据当前环境因素设置缩放因子，例如，可以根据预设的环境因素映射表选取不同的缩放因子。
步骤S408，根据缩放因子和测试误差离散因子，得到误差离散因子阈值。
示例性地，服务器104可以根据测试误差离散因子σ计算误差离散因子阈值ρth：
ρth＝c·σ
其中，c是缩放因子，且c>1。
在一个示例性的实施例中，如图5所示，步骤S208包括步骤S502至步骤S508。其中：
步骤S502，均匀采集待监控模型的多组待测试数据。
其中，待监控模型工作区域是指采用待监控模型执行AI定位任务的区域。
示例性地，服务器104可以在待监控模型的工作区域内均匀采集多组待测试数据，在待监控模型执行AI定位任务的区域内划分多个子区域，并在每个子区域内采集相同的点位作为的待测试数据，每一组待测试数据作为一个数据集，其中可以包括一个待测试数据也可以包括多个待测试数据。进一步地，服务器104也可以使用与待监控模型相同的数据采集策略，来模拟待监控模型的输入数据。
步骤S504，将多组待测试数据分别输入多个基学习器中，以获得多个测试输出值。
示例性地，多组待测试数据记为Dmonitor＝{(Xm)|m＝1，2，3...，M}，其中Xm表示第m组待测试数据。服务器104将第m组待测试数据分别输入到每个已完成训练的基学习器中，第m组数据共得到N个测试输出值，记为 M为大于或等于1的正整数，N为大于1的正整数。
步骤S506，将测试输出值的平均值作为目标基准值。
示例性地，服务器104可以，针对每一组待测试数据，计算其对应的多个测试输出值的均值/>从而得到多组待测试数据的目标基准值。
步骤S508，根据目标基准值和多个测试输出值，得到目标误差离散因子。
示例性地，服务器104可以以代替真值，将/>和/>代入损失函数计算出伪损失值为/>再根据/>计算误差离散因子/>
在另一个实施例中，响应于模型监控指令，服务器104基于某sub6G频段的5G定位系统，采用5G探测参考信号作为定位信号。首先向数据存储系统请求获取的待监控模型的训练数据集，并且训练数据集中包括的训练样本数据和真值标签，其中，待监控模型为卷积神经网络(Convolutional Neural Network，CNN)模型。接下来，服务器104将获取到的训练数据集按照真值标签分组，并分别输入到训练完成的基学习器群中，以获得输出数据，基学习器群中包括与待监控模型同构的6个基学习器，是采用待监控模型的训练数据集训练出来的，并且训练的损失函数和门限值相同，所选用损失函数为均方根误差(Root MeanSquared Error,RMSE)，计算公式为：其中x,y分别表示用户x和y轴的坐标真值，/>和/>分别表示模型输出值。
随后，在获得输出数据后，服务器104将多个基学习器输出的输出值进行平均计算，取平均数代替真值，采用损失函数来计算伪损失值，从而计算误差离散因子，再根据环境因素设置缩放因子为1.5，从而得到误差离散因子阈值。
如图6所示，在模型监控过程中，将基学习器部署于终端侧或网络侧，收集待监控模型的实时数据，并将实时数据输入基学习器。在此步骤中，将不含标签的数据X1和X2输入基学习器群，并计算各点位的伪损失值和误差离散因子。这样能够使得待监控模型与基学习器输入数据的特征相同，因此，能够通过基学习器的输出数据测算出其输入数据的分布变化，也即能够感知待监控模型输入数据的分布变化。接下来，服务器104将根据基学习器在上述实时数据下的输出数据计算目标误差离散因子，以目标误差离散因子表征上述实时数据(也即输入数据)的分布。
最后，服务器104将目标误差离散因子和误差离散因子阈值进行对比，从而得出目标误差离散因子是否大于在误差离散因子阈值，若目标误差离散因子超出了误差离散因子阈值，则可以认为待监控模型的输入数据分布已经发生较大的变化，当前的待监控模型不再适用于当前环境或情景，因此，服务器104可以输出模型失效的信息；反之，若目标误差离散因子没有超出误差离散因子阈值，则可以认为待监控模型的输入数据分布没有发生较大的变化，当前的待监控模型仍然适用于当前环境或情景，因此，服务器104可以输出模型有效的信息。根据图6可知，数据X1各点位的伪损失值较大，误差离散因子也大于阈值，数据X2各点位伪损失值较小，相应的误差离散因子也小于阈值。
如图7所示，图7中横坐标为定位误差值，纵坐标为概率值。在待监控模型所在区域数据和附近区域各100个点位分别采集数据及真值坐标，分别记作数据1：和数据2：/> 输入待监控模型，可以看到模型基于数据1的输出位置误差较小，说明模型正常工作，但基于数据2的输出位置误差较大，说明模型异常。由此即可验证的上述的方案的有效性。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的模型监控方法的模型监控装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个模型监控装置实施例中的具体限定可以参见上文中对于模型监控方法的限定，在此不再赘述。
在一个示例性的实施例中，如图8所示，提供了一种模型监控装置，包括：训练集获取模块802、数据获取模块804、误差计算模块806、模型监控模块808和结果输出模块810，其中：
训练集获取模块802，用于获取待监控模型的训练数据集；
数据获取模块804，用于将训练数据集输入基学习器中，获得输出数据，其中，基学习器是采用待监控模型先前的训练数据集进行训练得到的；
模型监控模块808，用于收集待监控模型工作范围内的实时数据，并将实时数据输入基学习器，以计算目标误差离散因子；
结果输出模块810，用于根据目标误差离散因子和误差离散因子阈值，确定待监控模型的模型状态。
在其中一个实施例中，数据获取模块804包括：
构建子模块，用于构建基学习器群，其中，基学习器群中包括多个基学习器；
分组子模块，用于按照真值标签，将训练数据集中的数据分为多个数据组；
数据输入子模块，用于将每个数据组分别输入多个基学习器中，以获得多个输出值。
在其中一个实施例中，装置还包括：
误差计算模块806，用于根据输出数据计算误差离散因子阈值；
误差计算模块806包括：
基准确定子模块，用于根据同一个数据组输入多个基学习器得到的多个输出值确定一个测试基准值；
误差确定子模块，用于根据测试基准值和多个输出值计算测试误差离散因子；
缩放子模块，用于获取缩放因子；
阈值确定子模块，用于根据缩放因子和测试误差离散因子，得到误差离散因子阈值。
在其中一个实施例中，基准确定子模块包括：
基准计算单元，用于将多个输出值的平均值作为测试基准值。
在其中一个实施例中，模型监控模块808包括：
数据采集单元，用于均匀采集待监控模型的多组待测试数据；
数据输入单元，用于将多组待测试数据分别输入多个基学习器中，以获得多个待监控模型的输出值；
基准确定单元，用于将待监控模型的输出值的平均值作为目标基准值；
模型监控单元，用于根据目标基准值和多个待监控模型的输出值，得到目标误差离散因子。
在其中一个实施例中，用于训练基学习器的损失函数与用于训练待监控模型的损失函数相同。
在其中一个实施例中，结果输出模块810还用于将目标误差离散因子和误差离散因子阈值进行对比；在目标误差离散因子大于误差离散因子阈值的情况下，确定待监控模型处于异常状态；在目标误差离散因子小于或等于误差离散因子阈值的情况下，确定待监控模型处于正常状态。
上述模型监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储输入数据、输出数据、训练好的基学习器相关数据，以及误差离散因子阈值等计算所需数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种模型监控方法。
在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种模型监控方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个示例性的实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取待监控模型的训练数据集；将训练数据集输入基学习器中，获得输出数据，其中，基学习器是采用待监控模型先前的训练数据集进行训练得到的；收集待监控模型工作范围内的实时数据，并将实时数据输入基学习器，以计算目标误差离散因子；根据目标误差离散因子和误差离散因子阈值，确定待监控模型的模型状态。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：构建基学习器群，其中，基学习器群中包括多个基学习器；按照真值标签，将训练数据集中的数据分为多个数据组；将每个数据组分别输入多个基学习器中，以获得多个输出值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据同一个数据组输入多个基学习器得到的多个输出值确定一个测试基准值；根据测试基准值和多个输出值计算测试误差离散因子；获取缩放因子；根据缩放因子和测试误差离散因子，得到误差离散因子阈值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将多个输出值的平均值作为测试基准值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：均匀采集待监控模型的多组待测试数据；将多组待测试数据分别输入多个基学习器中，以获得多个待监控模型的输出值；将待监控模型的输出值的平均值作为目标基准值；根据目标基准值和多个待监控模型的输出值，得到目标误差离散因子。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将目标误差离散因子和误差离散因子阈值进行对比；在目标误差离散因子大于误差离散因子阈值的情况下，确定待监控模型处于异常状态；在目标误差离散因子小于或等于误差离散因子阈值的情况下，确定待监控模型处于正常状态。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待监控模型的训练数据集；将训练数据集输入基学习器中，获得输出数据，其中，基学习器是采用待监控模型先前的训练数据集进行训练得到的；收集待监控模型工作范围内的实时数据，并将实时数据输入基学习器，以计算目标误差离散因子；根据目标误差离散因子和误差离散因子阈值，确定待监控模型的模型状态。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：构建基学习器群，其中，基学习器群中包括多个基学习器；按照真值标签，将训练数据集中的数据分为多个数据组；将每个数据组分别输入多个基学习器中，以获得多个输出值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据同一个数据组输入多个基学习器得到的多个输出值确定一个测试基准值；根据测试基准值和多个输出值计算测试误差离散因子；获取缩放因子；根据缩放因子和测试误差离散因子，得到误差离散因子阈值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将多个输出值的平均值作为测试基准值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：均匀采集待监控模型的多组待测试数据；将多组待测试数据分别输入多个基学习器中，以获得多个待监控模型的输出值；将待监控模型的输出值的平均值作为目标基准值；根据目标基准值和多个待监控模型的输出值，得到目标误差离散因子。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将目标误差离散因子和误差离散因子阈值进行对比；在目标误差离散因子大于误差离散因子阈值的情况下，确定待监控模型处于异常状态；在目标误差离散因子小于或等于误差离散因子阈值的情况下，确定待监控模型处于正常状态。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种模型监控方法，其特征在于，所述方法包括：
获取待监控模型的训练数据集；
将所述训练数据集输入基学习器中，获得输出数据，其中，所述基学习器是采用所述待监控模型先前的训练数据集进行训练得到的；
收集所述待监控模型的实时数据，并将所述实时数据输入所述基学习器，以计算目标误差离散因子；
根据所述目标误差离散因子和所述误差离散因子阈值，确定所述待监控模型的模型状态，其中，所述误差离散因子阈值是根据所述输出数据计算得到的。
2.根据权利要求1所述的方法，其特征在于，所述训练数据集携带真值标签，所述真值标签用于表征所述训练数据集中数据的真实值；所述将所述训练数据集输入基学习器中，获得输出数据包括：
构建基学习器群，其中，所述基学习器群中包括多个基学习器；
按照所述真值标签，将所述训练数据集中的数据分为多个数据组；
将每个所述数据组分别输入多个所述基学习器中，以获得多个输出值。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据同一个所述数据组输入多个所述基学习器得到的所述多个输出值确定一个测试基准值；
根据所述测试基准值和所述多个输出值计算测试误差离散因子；
获取缩放因子；
根据所述缩放因子和所述测试误差离散因子，得到误差离散因子阈值。
4.根据权利要求3所述的方法，其特征在于，所述根据所述多个输出值确定一个测试基准值包括：
将所述多个输出值的平均值作为测试基准值。
5.根据权利要求4所述的方法，其特征在于，所述收集所述待监控模型的实时数据，并将所述实时数据输入所述基学习器，以计算目标误差离散因子，包括：
均匀采集所述待监控模型的多组待测试数据；
将多组所述待测试数据分别输入多个所述基学习器中，以获得多个测试输出值；
将所述测试输出值的平均值作为目标基准值；
根据所述目标基准值和多个所述测试输出值，得到目标误差离散因子。
6.根据权利要求1至5任意一项所述的方法，其特征在于，用于训练所述基学习器的损失函数与用于训练所述待监控模型的损失函数相同。
7.根据权利要求1所述的方法，其特征在于，所述根据所述目标误差离散因子和所述误差离散因子阈值，确定所述待监控模型的模型状态，包括：
将所述目标误差离散因子和所述误差离散因子阈值进行对比；
在所述目标误差离散因子大于所述误差离散因子阈值的情况下，确定所述待监控模型处于异常状态；
在所述目标误差离散因子小于或等于所述误差离散因子阈值的情况下，确定所述待监控模型处于正常状态。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202410057057.9A 2024-01-15 2024-01-15 模型监控方法、装置、计算机设备和存储介质 Pending CN117909739A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410057057.9A CN117909739A (zh) 2024-01-15 2024-01-15 模型监控方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410057057.9A CN117909739A (zh) 2024-01-15 2024-01-15 模型监控方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN117909739A true CN117909739A (zh) 2024-04-19

Family

ID=90693927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410057057.9A Pending CN117909739A (zh) 2024-01-15 2024-01-15 模型监控方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN117909739A (zh)

Similar Documents

Publication Publication Date Title
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN116016225A (zh) 信息处理方法、信号定位方法、装置、设备和介质
CN116883563B (zh) 标注点渲染方法、装置、计算机设备、存储介质
CN116799879A (zh) 交直流混联电网状态估计方法、装置及计算机设备
CN117233598A (zh) 电机健康状态预测方法、装置、计算机设备、存储介质
CN117909739A (zh) 模型监控方法、装置、计算机设备和存储介质
CN112862002A (zh) 多尺度目标检测模型的训练方法、目标检测方法和装置
CN116442226B (zh) 位姿正确性判断方法、装置、机器人和存储介质
CN118230072B (zh) 基于二维分类模型的三维点云分类模型训练方法和介质
CN115240401B (zh) 车辆位置确定方法、装置、设备、介质和产品
CN112859874B (zh) 用于移动机器人的动态环境区域运维方法与设备
CN117911723B (zh) 基于亚像素视觉定位的球形永磁体轨迹跟踪方法及系统
CN117953415A (zh) 物品摆放检测方法、装置、计算机设备及存储介质
CN118261981A (zh) 柜式设备内部部件空间估计方法、装置、设备、介质
CN118338337A (zh) 可靠性检测方法、装置、计算机设备和存储介质
CN116309834A (zh) 移动设备的定位方法、装置和移动设备
CN116952243A (zh) 道路病害位置获取方法、装置、设备及可读存储介质
CN117631682A (zh) 电网无人机巡检路线确定方法和系统
CN118096855A (zh) 角度测量方法、装置、计算机设备及计算机可读存储介质
CN117392477A (zh) 目标对象检测模型的训练、装置、计算机设备和存储介质
CN118366083A (zh) 视频行为检测方法、装置、计算机设备、存储介质和产品
CN118465371A (zh) 注入式阻抗测量方法、装置、设备、介质和产品
CN117915272A (zh) 终端移动轨迹展示方法、装置、设备和介质
CN116244918A (zh) 产品的可靠性评估方法、装置和计算机设备
CN116977386A (zh) 房屋点云数据的处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination