CN111915020A

CN111915020A - 检测模型的更新方法、装置及存储介质

Info

Publication number: CN111915020A
Application number: CN202010809100.4A
Authority: CN
Inventors: 张迪
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2020-08-12
Filing date: 2020-08-12
Publication date: 2020-11-10
Anticipated expiration: 2040-08-12
Also published as: CN111915020B

Abstract

本申请实施例公开了一种检测模型的更新方法、装置及存储介质，属于深度学习技术领域。在本申请实施例中，是通过用户针对检测结果的反馈信息，来确定第一训练数据集，所确定的第一训练数据集作为补充素材，与包括对应有准确标签的训练数据，共同优化更新检测模型，也即本方案在自动检测的同时，还能够自动优化更新检测模型，提高检测模型的检测准确率。

Description

检测模型的更新方法、装置及存储介质

技术领域

本申请实施例涉及深度学习技术领域，特别涉及一种检测模型的更新方法、装置及存储介质。

背景技术

目前，基于深度学习技术的检测模型被广泛应用于各种场景中，例如视频监控、音频监控、文字识别、数据走势预测等场景中，其中，所部署的检测模型为根据带有准确标签的训练数据通过监督学习训练得到的。而由于环境、媒体信息等复杂多变，或者其他人为因素，训练数据可能会过时或者不够，如果继续使用之前训练得到的检测模型，检测准确率可能会降低，或者不满足用户期望，因此，需要对部署的检测模型进行不断的更新优化，以保证检测准确率等指标。

发明内容

本申请实施例提供了一种检测模型的更新方法、装置及存储介质，能够提高检测准确率。所述技术方案如下：

一方面，提供了一种检测模型的更新方法，所述方法包括：

根据更新版本前的检测模型，对多个第一待检测数据中的每个第一待检测数据进行处理，得到对应的检测结果；

向用户设备发送每个第一待检测数据对应的检测结果；

确定第一训练数据集，所述第一训练数据集包括对应有弱标签的训练数据和/或对应无标签的训练数据，所述对应有弱标签的训练数据是在接收到所述用户设备发送的关于所述检测结果的用户反馈信息的情况下确定的，所述对应无标签的训练数据是在未接收到所述用户设备发送的关于所述检测结果的用户反馈信息的情况下确定的；

根据所述第一训练数据集和第二训练数据集，确定更新版本后的检测模型，所述第二训练数据集包括多个对应有准确标签的训练数据。

可选地，确定第一训练数据集，包括：

如果接收到所述用户设备发送的关于第一参考检测结果的用户反馈信息，则将第一参考待检测数据作为一个训练数据，将所述第一参考检测结果的用户反馈信息作为所述第一参考待检测数据对应的弱标签，以得到第一训练数据集包括的一个对应有弱标签的训练数据；

如果未接收到所述用户设备发送的关于所述第一参考检测结果的用户反馈信息，则将所述第一参考待检测数据作为所述第一训练数据集包括的一个无标签的训练数据；

其中，所述第一参考待检测数据为所述多个第一待检测数据中的一个，所述第一参考检测结果为所述第一参考待检测数据对应的检测结果。

可选地，所述根据所述第一训练数据集和第二训练数据集，确定更新版本后的检测模型，包括：

根据所述第一训练数据集和存储的半监督学习网络，确定伪标签训练数据集；

根据所述伪标签训练数据集和所述第二训练数据集，对存储的监督学习网络进行训练；

根据训练后的监督学习网络，确定所述更新版本后的检测模型。

可选地，所述根据训练后的监督学习网络，确定所述更新版本后的检测模型，包括：

根据测试数据集，对所述训练后的监督学习网络进行测评，得到测评准确率；

如果所述测评准确率不低于第一参考准确率，则将所述训练后的监督学习网络，作为所述更新版本后的检测模型。

可选地，所述根据所述第一训练数据集和第二训练数据集，确定更新版本后的检测模型之后，还包括：

根据所述更新版本后的检测模型，对多个第二待检测数据中的每个第二待检测数据进行处理，得到对应的检测结果；

向所述用户设备发送每个第二待检测数据对应的检测结果；

接收所述用户设备发送的关于第二参考检测结果的用户反馈信息，所述第二参考检测结果为第二参考待检测数据对应的检测结果，所述第二参考待检测数据为所述多个第二待检测数据中的一个；

根据接收到的关于所述多个第二待检测数据对应的检测结果的用户反馈信息，确定所述更新版本后的检测模型的检测准确率；

如果所述更新版本后的检测模型的检测准确率低于第二参考准确率，则将参考检测模型作为下一个版本的检测模型，所述参考检测模型是指多个历史版本的检测模型中检测准确率最高的检测模型。

第二方面，提供了一种检测模型的更新装置，所述装置包括：

第一检测模块，用于根据更新版本前的检测模型，对多个第一待检测数据中的每个第一待检测数据进行处理，得到对应的检测结果；

第一发送模块，用于向用户设备发送每个第一待检测数据对应的检测结果；

第一确定模块，用于确定第一训练数据集，所述第一训练数据集包括对应有弱标签的训练数据和/或对应无标签的训练数据，所述对应有弱标签的训练数据是在接收到所述用户设备发送的关于所述检测结果的用户反馈信息的情况下确定的，所述对应无标签的训练数据是在未接收到所述用户设备发送的关于所述检测结果的用户反馈信息的情况下确定的；

第二确定模块，用于根据所述第一训练数据集和第二训练数据集，确定更新版本后的检测模型，所述第二训练数据集包括多个对应有准确标签的训练数据。

可选地，所述第一确定模块包括：

第一处理模块，用于如果接收到所述用户设备发送的关于第一参考检测结果的用户反馈信息，则将第一参考待检测数据作为一个训练数据，将所述第一参考检测结果的用户反馈信息作为所述第一参考待检测数据对应的弱标签，以得到第一训练数据集包括的一个对应有弱标签的训练数据；

第二处理模块，用于如果未接收到所述用户设备发送的关于所述第一参考检测结果的用户反馈信息，则将所述第一参考待检测数据作为所述第一训练数据集包括的一个无标签的训练数据；

可选地，所述第二确定模块包括：

第一确定单元，用于根据所述第一训练数据集和存储的半监督学习网络，确定伪标签训练数据集；

训练单元，用于根据所述伪标签训练数据集和所述第二训练数据集，对存储的监督学习网络进行训练；

第二确定单元，用于根据训练后的监督学习网络，确定所述更新版本后的检测模型。

可选地，所述第二确定单元包括：

测评子单元，用于根据测试数据集，对所述训练后的监督学习网络进行测评，得到测评准确率；

第一处理子单元，用于如果所述测评准确率不低于第一参考准确率，则将所述训练后的监督学习网络，作为所述更新版本后的检测模型。

可选地，所述装置还包括：

第二检测模块，用于根据所述更新版本后的检测模型，对多个第二待检测数据中的每个第二待检测数据进行处理，得到对应的检测结果；

第二发送模块，用于向所述用户设备发送每个第二待检测数据对应的检测结果；

接收模块，用于接收所述用户设备发送的关于第二参考检测结果的用户反馈信息，所述第二参考检测结果为第二参考待检测数据对应的检测结果，所述第二参考待检测数据为所述多个第二待检测数据中的一个；

第三确定模块，用于根据接收到的关于所述多个第二待检测数据对应的检测结果的用户反馈信息，确定所述更新版本后的检测模型的检测准确率；

第三处理模块，用于如果所述更新版本后的检测模型的检测准确率低于第二参考准确率，则将参考检测模型作为下一个版本的检测模型，所述参考检测模型是指多个历史版本的检测模型中检测准确率最高的检测模型。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器、通信接口、存储器和通信总线，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的程序，以实现上述所述检测模型的更新方法的步骤。

另一方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述所述检测模型的更新方法的步骤。

另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的检测模型的更新方法的步骤。

本申请实施例提供的技术方案至少可以带来以下有益效果：

在本申请实施例中，是通过用户针对检测结果的反馈信息，来确定第一训练数据集，所确定的第一训练数据集作为补充素材，与包括对应有准确标签的训练数据，共同优化更新检测模型，也即本方案在自动检测的同时，还能够自动优化更新检测模型，提高检测模型的检测准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种检测模型的更新方法所涉及的系统架构图；

图2是本申请实施例提供的一种检测模型的更新方法的流程图；

图3是本申请实施例提供的一种得到训练后的监督学习网络的方法流程图；

图4是本申请实施例提供的一种检测模型的更新装置的结构示意图；

图5是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

目前，基于深度学习技术的检测模型被广泛应用于各种场景中，例如视频监控、音频监控、文字识别、数据走势预测等场景中。其中，所部署的检测模型为根据带有准确标签的训练数据通过监督学习训练得到的，而由于环境、媒体信息等复杂多变，或者其他人为因素，这部分训练数据可能会过时或者不够，如果继续使用之前训练得到的检测模型，检测准确率可能会降低，或者检测准确率不满足用户期望，因此，需要对部署的检测模型进行不断的更新优化，以保证检测准确率等指标。本方案提供的检测模型的更新方法能够不断自动更新优化检测模型，提高检测模型的检测准确率。

例如，在小区的视频监控场景中，使用检测模型来检测前端设备所采集的视频图像中包括的人物、车辆等目标，由于前端设备所处环境的天气、灯光等复杂多变，或者用户期望检测准确率更高一些，因此，检测模型需要不断的优化更新，本方案提供的检测模型的更新方法能够不断自动优化更新检测模型，不断提高检测模型的检测准确率，也即是更加准确的检测视频图像中的人物、车辆等目标。

又如，在家庭的音频监控场景中，家长可以通过音频监控设备来监控家中的小孩是否存在危险，使用检测模型来检测音频监控设备所采集的音频中的指示小孩存在危险的语音，这种情况下，也能根据本申请提供的检测模型的更新方法不断自动优化更新检测模型，以更加准确的检测音频中指示小孩存在危险的语音。

接下来对本申请实施例提供的检测模型的更新方法所涉及的系统架构进行介绍。

图1是本申请实施例提供的一种检测模型的更新方法所涉及的系统架构图。参见图1，该系统架构包括前端采集设备101、服务器102和用户设备103，前端采集设备101与服务器102之间能够通过有线或无线方式连接以进行通信，服务器102与用户设备103之间也能够通过有线或无线方式连接以进行通信。可选地，前端采集设备101与用户设备103之间也能够通过有线或无线方式连接以进行通信。

前端采集设备101用于采集待检测数据，并将待检测数据发送给服务器102。可选地，前端采集设备101也能够将待检测数据发送给用户设备103，例如，待检测数据为视频数据，前端采集设备101能够将视频数据发送给用户设备103，用户能够通过用户设备103查看相应视频。

服务器102用于根据检测模型对待检测数据进行处理，得到检测结果，并将检测结果发送给用户设备103，接收用户设备103发送的关于该检测结果的用户反馈信息，根据用户反馈信息采用本申请提供的检测模型的更新方法，对检测模型进行更新。

用户设备103用于接收服务器102发送的检测结果，并根据用户操作生成关于检测结果的用户反馈信息，将用户反馈信息发送给服务器102。

可选地，在其他一些实施例中，前端采集设备101与用户设备103可以是同一个设备，在另一些实施例中，用户设备103与服务器102可以是同一台设备。

在本申请实施例中，前端采集设备101可以为手机、电脑、监控摄像头、相机、智能家电、智能手环、测速仪等，能够采集视频、音频、文字、走势数据、心率等待检测数据的设备，服务器102可以为一台服务器102，或者为多台服务器102组成的服务器102集群，或者为一个云计算服务中心，用户设备103手机、电脑、智能家电、智能手环等能够与用户交互的设备。

接下来对本申请实施例提供的检测模型的更新方法进行详细的解释说明。

图2是本申请实施例提供的一种检测模型的更新方法的流程图。该方法应用于服务器中，请参考图2，该方法包括如下步骤。

步骤201：根据更新版本前的检测模型，对多个第一待检测数据中的每个第一待检测数据进行处理，得到对应的检测结果。

在本申请实施例中，服务器中部署有检测模型，在下一次更新版本前，服务器能够根据更新版本前的检测模型，对多个第一待检测数据中的每个第一待检测数据进行处理，得到对应的检测结果。

其中，第一待检测数据为任一种需要检测的数据，例如，第一待检测数据为前端采集设备采集的视频图像数据、音频数据、文字、心率、温度、股票走势等数据。

可选地，假设第一待检测数据为前端采集设备实时采集并上报给服务器的数据，服务器能够根据更新版本前的检测模型对第一待检测数据进行实时检测，得到对应的检测结果。该多个第一待检测数据可以是指在上一次更新检测模型的版本之后的第一时间段内采集的数据，或者，指距离上一次更新检测模型的版本之后采集的数据量到达指定阈值，其中，数据量可以指采集的数据所占内存空间或者数据总个数。

示例性地，在视频监控场景中，前端采集设备采集视频图像数据，并上报给服务器，服务器实时地根据更新版本前的检测模型对视频图像数据包括的每帧图像数据进行检测分析，将检测到的图像数据中的人物、车辆等目标的位置、类别等信息进行标注，得到该图像数据对应的检测结果。

可选地，服务器得到的检测结果包括结构化数据。

可选地，服务器也能够在获取多个第一待检测数据之后，再对该多个第一待检测数据进行检测，得到每个第一待检测数据对应的检测结果。例如，前端采集设备实时地将采集的第一待检测数据上报给服务器，服务器先将每个第一待检测数据进行存储，在第一时间段之后，或者在存储的数据量达到指定阈值之后，再对该多个第一待检测数据进行检测。

可选地，检测模型为任一种深度学习网络模型，例如卷积神经网络模型、循环卷积神经网络模型等。

步骤202：向用户设备发送每个第一待检测数据对应的检测结果。

在本申请实施例中，在服务器实时检测每个第一待检测数据，得到对应的检测结果的情况下，服务器每得到一个第一待检测数据对应的检测结果，就可以将这个第一待检测数据对应的检测结果发送给用户设备。

可选地，在服务器实时地检测每个第一待检测数据，得到对应的检测结果的情况下，服务器也能够在每得到一个第一待检测数据对应的检测结果之后，将这个检测结果存储起来，在对该多个第一待检测数据全部检测完之后，向用户设备发送每个第一待检测数据对应的检测结果。

可选地，在服务器获取多个第一待检测数据之后，再对该多个第一待检测数据进行检测的情况下，服务器在得到该多个第一待检测数据中的每个第一待检测数据对应的检测结果之后，能够向用户设备发送每个第一待检测数据对应的检测结果。

步骤203：确定第一训练数据集，第一训练数据集包括对应有弱标签的训练数据和/或对应无标签的训练数据，对应有弱标签的训练数据是在接收到该用户设备发送的关于检测结果的用户反馈信息的情况下确定的，对应无标签的训练数据是在未接收到该用户设备发送的关于检测结果的用户反馈信息的情况下确定的。

在本申请实施例中，服务器能够在向用户设备发送检测结果之后，能够根据有无用户反馈，以及有用户反馈时用户设备发送的用户反馈信息，来确定第一训练数据集。

需要说明的是，在本申请实施例中，第一训练数据集包括对应有弱标签的训练数据和/或对应无标签的训练数据，对应有弱标签的训练数据是在接收到该用户设备发送的关于检测结果的用户反馈信息的情况下确定的，对应无标签的训练数据是在未接收到该用户设备发送的关于检测结果的用户反馈信息的情况下确定的。

在本申请实施例中，用户设备在接收到第一待检测数据对应的检测结果之后，能够将检测结果显示给用户，以指示用户通过用户设备对检测结果进行反馈，也即是，用户设备能够根据用户操作生成用户反馈信息，并将用户反馈信息发送给服务器。

示例性地，在视频监控场景中，假设服务器检测到图像数据中存在目标人物和目标车辆，服务器能够将检测到的目标的位置和类别标注在对应的图像上，并与结构化的标注信息一并作为检测结果，并将检测结果发送给用户设备，以通过用户设备向用户报警。用户设备能够显示检测结果，当用户认为该检测结果存在错误时，可以通过用户设备进行反馈，例如纠正错误的标注、帮助标注服务器未检测到的目标。用户设备能够根据用户操作生成用户反馈信息，用户反馈信息包括纠正后的标注结果、增加的标注结果等，用户设备能够将用户反馈信息发送给服务器。

在本申请实施例中，用户能够通过用户设备对第一参考检测结果进行反馈，第一参考检测结果为第一参考待检测数据对应的检测结果，第一参考待检测数据为多个第一待检测数据中第一个。

可选地，在服务器每得到一个第一待检测数据对应的检测结果之后，就将这个检测结果发送给用户设备的情况下，用户能够通过用户设备实时地对该检测结果进行反馈，或者，用户设备能够将这个检测结果先存储，用户可以随时通过该用户设备对该检测结果进行反馈。

可选地，用户设备能够将用户反馈信息与对应的第一待检测数据一同发送给服务器。

对于服务器所检测的多个第一待检测数据，如果接收到该用户设备发送的关于第一参考检测结果的用户反馈信息，则服务器能够将第一参考待检测数据作为一个训练数据，将第一参考检测结果的用户反馈信息作为第一参考待检测数据对应的弱标签，以得到第一训练数据集包括的一个对应有弱标签的训练数据。也即是，在本申请实施例中，如果用户有反馈，则服务器能够将用户反馈信息和对应的第一待检测数据作为第一训练数据集包括的弱标签素材。

如果未接收到用户设备发送的关于第一参考检测结果的用户反馈信息，则服务器能够将第一参考待检测数据作为第一训练数据集包括的一个无标签的训练数据。也即是，在本申请实施例中，如果用户无反馈，则服务器可以将对应的第一待检测数据作为第一训练数据集包括的无标签素材。

需要说明的是，在本申请实施例中，服务器根据更新版本前的检测模型对该多个第一待检测数据均处理完，并根据这段时间内有无用户反馈的情况，能够积累得到弱标签素材和/或无标签素材，也即积累得到第一训练数据集。

步骤204：根据第一训练数据集和第二训练数据集，确定更新版本后的检测模型，第二训练数据集包括多个对应有准确标签的训练数据。

在本申请实施例中，服务器在得到第一训练数据集之后，还能够获取第二训练数据集，例如，服务器中存储有第二训练数据集，或者服务器能够从其他设备中获取第二训练数据集，其中，第二训练数据集包括多个对应有准确标签的训练数据，也即是，第二训练数据集包括准确标签素材。

服务器能够根据第一训练数据集包括的弱标签素材和/或无标签素材，以及第二训练数据集包括的准确标签素材，对检测模型进行更新优化，得到更新版本后的检测模型。

需要说明的是，在本申请实施例中，服务器能够通过监督学习和半监督学习结合的方式，根据前述获取的弱标签素材和/或无标签素材，以及准确标签素材，来确定更新版本后的检测模型，以提升检测模型的性能。其中，服务器通过监督学习和半监督学习结合的方式提升检测模型的性能的实现方式有多种，接下来介绍其中的一种实现方式。

可选地，服务器能够根据第一训练数据集和存储的半监督学习网络，确定伪标签训练数据集，根据伪标签训练数据集和第二训练数据集，对存储的监督学习网络进行训练，并根据训练后的监督学习网络，确定更新版本后的检测模型。

在本申请实施例中，服务器中存储有监督学习网络以及半监督学习网络，监督学习网络即是本申请中检测模型的模型基础，在监督学习网络的模型基础上，增加一个半监督学习网络来辅助监督学习网络的训练，以最终得到更优的监督学习网络为目标。

其中，半监督学习网络能够根据第一训练数据集包括的弱标签素材和/或无标签素材进行不断地训练调优，再根据调优之后的半监督学习网络对第一训练数据集包括的每个训练数据进行检测，得到对应的预测结果，将对应的预测结果作为相应训练数据对应的伪标签，以得到伪标签训练数据集包括的一个对应有伪标签的训练数据。需要说明的是，伪标签的准确性可能介于弱标签与准确标签之间。

在本申请实施例中，监督学习网络不仅能够根据第二训练数据集包括的准确标签素材进行训练，还能够根据半监督学习网络对第一训练数据集进行处理得到的伪标签训练数据集进行训练。

可选地，监督学习网络可以先根据第二训练数据集进行训练，再根据伪标签训练数据集进一步训练。或者，监督学习网络可以先根据伪标签训练数据集进一步训练，再根据第二训练数据集进行训练。或者，服务器可以将第二训练数据集和伪标签训练数据集合并为一个训练数据集，并将合并之后的训练数据集包括的所有训练数据随机打乱顺序，监督学习网络可以根据打乱顺序之后的训练数据集进行训练。

假设监督学习网络和半监督学习网络均为一种卷积神经网络，也即监督学习网络和半监督学习网络均包括卷积层，可选地，服务器能够获取在根据调优之后的半监督学习网络包括的卷积层对参考训练数据进行处理的过程中得到的特征图，监督学习网络包括的卷积层对该参考训练数据进行处理的过程中同样可以得到对应的特征图，在半监督学习网络得到的特征图与监督学习网络得到的特征图的尺寸相同的情况下，服务器能够通过约束中间特征一致性的方法，根据损失函数调整监督学习网络的网络参数，以尽量使监督学习网络得到的特征图与半监督学习网络得到的特征图一致。其中，参考训练数据为第一训练数据集包括的一个训练数据。

可选地，约束中间特征一致性的方法中采用的损失函数可以根据KL散度(Kullback-Leibler Divergence)公式确定。

可选地，上述半监督学习网络可以采用Cascade-R-CNN这种卷积神经网络实现。另外，本申请实施例中的半监督学习网络也可以采用弱监督学习网络实现。

需要说明的是，在本申请实施例中，存储的监督学习网络和半监督学习网络均为未训练的初始网络，第一训练数据集用于以半监督、弱监督或者无监督的方式优化检测模型，第二训练数据集用于以准确有监督的方式训练得到检测模型，准确有监督的方式能够保证检测模型的检测准确率不会很低。

可选地，如果第一训练数据集的数据量远小于第二训练数据集的数据量，存储的监督学习网络也可以是历史版本中检测准确率最高的检测模型。这样，用少量的第一训练数据集以快速地完成对监督学习网络的优化，也即是，服务器无需每次重新训练初始网络，能够更快地完成检测模型的版本更新。

可选地，服务器能够随时根据用户操作对存储的第二训练数据集中包括的训练数据进行更新，例如增加、删除训练数据。

图3是本申请实施例提供的一种得到训练后的监督学习网络的方法流程图。参见图3，服务器将弱标签素材和/或无标签素材输入半监督学习网络，最终输出预测结果，根据预测结果得到伪标签训练数据集。将伪标签训练数据集和准确标签素材输入监督学习网络，以得到训练后的监督学习网络。

在本申请实施例中，假设服务器将在监督学习网络的基础上增加了半监督学习网络的模型作为第一网络模型，那么上述训练过程也即是根据第一训练数据集和第二训练数据集对第一网络模型训练的过程，例如，调整学习率、网络权重、迭代次数等。在对第一模型训练之后，服务器可以将训练后的半监督学习网络拆掉，保留训练后的监督学习网络作为检测模型必要的结构和参数。

在本申请实施例中，为了保证更新版本的检测模型的检测准确率，服务器在得到训练后的监督学习网络之后，能够先根据测试数据集，对训练后的监督学习网络进行本地测评，如果本地测评通过，再将训练后的监督学习网络，作为更新版本后的检测模型。

可选地，服务器先根据测试数据集，对训练后的监督学习网络进行测评，得到测评准确率，如果测评准确率不低于第一参考准确率，则服务器将训练后的监督学习网络，作为更新版本后的检测模型。

可选地，如果测评准确率低于第一参考准确率，则服务器将参考检测模型作为下一个版本的检测模型，参考检测模型是指多个历史版本的检测模型中检测准确率最高的检测模型。也即是，如果本地测评不通过，则服务器需要将历史版本中最优的检测模型作为更新版本后的检测模型。例如，上一个版本的检测模型为历史版本中最优的检测模型，那么服务器则需要将检测模型回滚到上一个版本。

可选地，第一参考准确率是指设置的指定阈值，或者是指多个历史检测准确率中的最高值，多个历史检测准确率是指多个历史版本的检测模型分别对应的检测准确率。

在本申请实施例中，服务器中存储有测试数据集，测试数据集包括对应有准确标签的测试数据，或者服务器能够从其他设备上获取测试数据集，之后，服务器能够根据测试数据集在本地对训练后的监督学习网络进行测评。

可选地，服务器能够随时根据用户操作对存储的测评数据集中包括的测试数据进行更新，例如增加、删除测试数据。

在本申请实施例中，服务器得到更新版本后的检测模型之后，能够根据版本更新后的检测模型继续执行检测任务，并继续收集用户反馈信息，以继续根据用户反馈信息来优化检测模型。

可选地，服务器能够继续收集一段时间的用户反馈信息，根据用户反馈信息，来判断更新版本后的检测模型是否真正优化。

在本申请实施例中，服务器在根据第一训练数据集和第二训练数据集，确定更新版本后的检测模型之后，能够根据更新版本后的检测模型，对多个第二待检测数据中的每个第二待检测数据进行处理，得到对应的检测结果，并向用户设备发送每个第二待检测数据对应的检测结果。之后，服务器能够接收用户设备发送的关于第二参考检测结果的用户反馈信息，其中，第二参考检测结果为第二参考待检测数据对应的检测结果，第二参考待检测数据为多个第二待检测数据中的一个。之后，服务器能够根据接收到的关于多个第二待检测数据对应的检测结果的用户反馈信息，确定更新版本后的检测模型的检测准确率，如果更新版本后的检测模型的检测准确率低于第二参考准确率，则将参考检测模型作为下一个版本的检测模型，其中，参考检测模型是指多个历史版本的检测模型中检测准确率最高的检测模型。也即是，本方案在更新版本后的检测模型上线应用后，如果用户反馈效果不理想，则服务器可以选择回滚版本。

需要说明的是，第二参考准确率可以由用户在服务器上设置，例如用户根据经验在服务器上设置第二参考准确率。或者，第二参考准确率由服务器根据历史版本的检测模型对应的检测准确率自动设置，例如服务器将历史版本的检测模型对应的检测准确率的均值、中值或者最大值设置为第二参考准确率。

值得注意的是，由于不同时间、不同数据、不同用户、环境变化等因素都会影响检测结果和用户反馈的准确性，在将第二参考准确率设置为一个较小的值，而非设置为历史版本的检测模型对应的检测准确率的最大值的情况下，能够保证在用户反馈更新后的版本效果确实很差时才回滚版本，而在用户反馈更新后的版本效果只比历史最好版本稍差时选择不回滚版本。

可选地，假设服务器每隔第一时间间隔根据第一训练数据集和第二训练数据集，更新一次版本的检测模型，在更新版本后的检测模型上线应用后，收集第一时间段内的用户反馈信息。服务器根据在第一时间段内的用户反馈信息所指示的检测结果正确或者错误，来确定更新版本后的检测模型的检测准确率。如果检测准确率比第二参考准确率低，则表示更新版本后的检测模型并未真正得到优化，或者效果更差，在这种情况下，服务器也需要将历史版本中最优的检测模型作为更新版本后的检测模型。例如，上一个版本的检测模型为历史版本中最优的检测模型，那么服务器则需要将检测模型回滚到上一个版本。

可选地，第一时间段的时长不超过第一时间间隔的时长。

可选地，如果更新版本后的检测模型的检测准确率高于第二参考准确率，则说明本次更新有效，服务器在下一次更新检测模型的版本之前，可以继续采用该更新版本后的检测模型来执行检测任务。

可选地，服务器可以收集来自不同场景中的各个前端采集设备所采集的各路待检测数据，每路待检测数据对应一个基础的检测模型，各个基础的检测模型可以是相同的，服务器可以根据对应的检测模型对相应的待检测数据进行检测，并根据对应的用户反馈信息来训练优化对应的检测模型，这样，通过不断优化对应的检测模型以实现更加专业化和定制化的模型，以逐渐适应对应的前端采集设备所处的场景，得到更好的检测效果。

在本申请实施例中，由于前端采集设备不断采集新的数据，服务器可以根据基础的检测模型以及各路新采集的数据通过自动学习不断衍生出多个优化的检测模型，以适应不同场景。

可选地，服务器中存储有模型池，模型池中包括多个检测模型，该多个检测模型与多路前端采集设备一一映射，服务器可以用各路待检测数据的来源标志来标识对应的检测模型，例如用采集每路待检测数据的前端采集设备的设备标识、IP(Internet Protocol，网际协议)号等标识对应的检测模型，服务器以通过标识来选择对应的检测模型来对这路待检测数据进行检测。

由上述可知，本申请实施例所提供的的检测模型的更新方法可以作为一种中心化的智能系统，该智能系统不仅能够检测数据，还能够不断自动优化升级检测模型。

综上所述，在本申请实施例中，是通过用户针对检测结果的反馈信息，来确定第一训练数据集，所确定的第一训练数据集作为补充素材，与包括对应有准确标签的训练数据，共同优化更新检测模型，也即本方案在自动检测的同时，还能够自动优化更新检测模型，提高检测模型的检测准确率。

图4是本申请实施例提供的一种检测模型的更新装置400的结构示意图，该检测模型的更新装置400可以由软件、硬件或者两者的结合实现成为计算机设备的部分或者全部，该计算机设备可以为前述实施例中的服务器。请参考图4，该装置400包括：第一检测模块401、第一发送模块402、第一确定模块403和第二确定模块404。

第一检测模块401，用于根据更新版本前的检测模型，对多个第一待检测数据中的每个第一待检测数据进行处理，得到对应的检测结果；

第一发送模块402，用于向用户设备发送每个第一待检测数据对应的检测结果；

第一确定模块403，用于确定第一训练数据集，第一训练数据集包括对应有弱标签的训练数据和/或对应无标签的训练数据，对应有弱标签的训练数据是在接收到用户设备发送的关于检测结果的用户反馈信息的情况下确定的，对应无标签的训练数据是在未接收到用户设备发送的关于检测结果的用户反馈信息的情况下确定的；

第二确定模块404，用于根据第一训练数据集和第二训练数据集，确定更新版本后的检测模型，第二训练数据集包括多个对应有准确标签的训练数据。

可选地，第一确定模块包括：

第一处理模块，用于如果接收到用户设备发送的关于第一参考检测结果的用户反馈信息，则将第一参考待检测数据作为一个训练数据，将第一参考检测结果的用户反馈信息作为第一参考待检测数据对应的弱标签，以得到第一训练数据集包括的一个对应有弱标签的训练数据；

第二处理模块，用于如果未接收到用户设备发送的关于第一参考检测结果的用户反馈信息，则将第一参考待检测数据作为第一训练数据集包括的一个无标签的训练数据；

其中，第一参考待检测数据为多个第一待检测数据中的一个，第一参考检测结果为第一参考待检测数据对应的检测结果。

可选地，第二确定模块404包括：

第一确定单元，用于根据第一训练数据集和存储的半监督学习网络，确定伪标签训练数据集；

训练单元，用于根据伪标签训练数据集和第二训练数据集，对存储的监督学习网络进行训练；

第二确定单元，用于根据训练后的监督学习网络，确定更新版本后的检测模型。

可选地，第二确定单元包括：

测评子单元，用于根据测试数据集，对训练后的监督学习网络进行测评，得到测评准确率；

第一处理子单元，用于如果测评准确率不低于第一参考准确率，则将训练后的监督学习网络，作为更新版本后的检测模型。

可选地，该装置400还包括：

第二检测模块，用于根据更新版本后的检测模型，对多个第二待检测数据中的每个第二待检测数据进行处理，得到对应的检测结果；

第二发送模块，用于向用户设备发送每个第二待检测数据对应的检测结果；

接收模块，用于接收用户设备发送的关于第二参考检测结果的用户反馈信息，第二参考检测结果为第二参考待检测数据对应的检测结果，第二参考待检测数据为多个第二待检测数据中的一个；

第三确定模块，用于根据接收到的关于多个第二待检测数据对应的检测结果的用户反馈信息，确定更新版本后的检测模型的检测准确率；

第三处理模块，用于如果更新版本后的检测模型的检测准确率低于第二参考准确率，则将参考检测模型作为下一个版本的检测模型，参考检测模型是指多个历史版本的检测模型中检测准确率最高的检测模型。

需要说明的是：上述实施例提供的检测模型的更新装置在更新检测模型时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的检测模型的更新装置与检测模型的更新方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图5是本申请实施例提供的一种服务器500的结构示意图。该服务器500可以为上述实施例中的服务器。该服务器500包括中央处理单元(CPU)501、包括随机存取存储器(RAM)502和只读存储器(ROM)503的系统存储器504，以及连接系统存储器504和中央处理单元501的系统总线505。服务器500还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)506，和用于存储操作系统513、应用程序514和其他程序模块515的大容量存储设备507。

基本输入/输出系统506包括有用于显示信息的显示器508和用于用户输入信息的诸如鼠标、键盘之类的输入设备509。其中显示器508和输入设备509都通过连接到系统总线505的输入输出控制器510连接到中央处理单元501。基本输入/输出系统506还可以包括输入输出控制器510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器510还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备507通过连接到系统总线505的大容量存储控制器(未示出)连接到中央处理单元501。大容量存储设备507及其相关联的计算机可读介质为服务器500提供非易失性存储。也就是说，大容量存储设备507可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器504和大容量存储设备507可以统称为存储器。

根据本申请的各种实施例，服务器500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器500可以通过连接在系统总线505上的网络接口单元511连接到网络512，或者说，也可以使用网络接口单元511来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。所述一个或者一个以上程序包含用于进行本申请实施例提供的检测模型的更新方法的指令。

在一些实施例中，还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中检测模型的更新方法的步骤。例如，所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

值得注意的是，本申请实施例提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。

应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。

也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的检测模型的更新方法的步骤。

应当理解的是，本文提及的“至少一个”是指一个或多个，“多个”是指两个或两个以上。在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

以上所述为本申请提供的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种检测模型的更新方法，其特征在于，所述方法包括：

向用户设备发送每个第一待检测数据对应的检测结果；

2.根据权利要求1所述的方法，其特征在于，所述确定第一训练数据集，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一训练数据集和第二训练数据集，确定更新版本后的检测模型，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据训练后的监督学习网络，确定所述更新版本后的检测模型，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一训练数据集和第二训练数据集，确定更新版本后的检测模型之后，还包括：

向所述用户设备发送每个第二待检测数据对应的检测结果；

6.一种检测模型的更新装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述第一确定模块包括：

8.根据权利要求6或7所述的装置，其特征在于，所述第二确定模块包括：

9.根据权利要求8所述的装置，其特征在于，所述第二确定单元包括：

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

11.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述方法的步骤。