CN115294505A - 风险物体检测及其模型的训练方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种风险物体检测及其模型的训练方法、装置及电子设备，风险物体检测模型的训练方法包括：获取初始风险物体检测模型；初始风险物体检测模型为基于小样本训练集对预设目标检测模型进行训练得到的；以初始风险物体检测模型作为当前模型，循环执行以下训练步骤直到当前模型满足指定要求：通过当前模型对目标场景视频中抽取的图像帧进行预测，得到每个图像帧对应的个体预测结果及目标场景视频对应的整体预测结果；基于整体预测结果及每个图像帧对应的个体预测结果，获取重标注样本；应用包含重标注样本的训练集对当前模型进行训练；以训练后的模型更新当前模型。本申请通过基于样本重标注的反馈机制不断提高模型的风险物体识别性能。

Description

风险物体检测及其模型的训练方法、装置及电子设备

技术领域

本申请涉及图像技术领域，尤其是涉及一种风险物体检测及其模型的训练方法、装置及电子设备。

背景技术

在银行个人贷款远程视频面签业务场景下，坐席人员需对客户已提交的个人申请贷款信息进行合规性和风险性一一排查，对于有问题或不完善的信息会让客户回答并录入系统。整个视频过程中，需严格排查客户的线上风险情况，人工需在视频中重点识别和判断客户的两点情况：1.是否是客户独立完成面核（是否参考手中材料作答）；2.客户身体状态是否良好（从穿着、环境特殊物体识别判断）。以上的风险问题若漏查错查，可能会造成风险客户贷款的发生，继而变成坏账。面对较多的业务流程，坐席人员很难时刻关注视频情况，且坐席工作素质能力参差不齐，很难做到全检全查。

因此，亟需一种对视频中风险物体，如轮椅、双拐、病号服、纸条、营业执照、卡片等物体的智能检测方法。现有技术中，基于简单的目标检测方法来识别客户风险，准确率较低、实时性无法保证。

发明内容

本申请的目的在于提供一种风险物体检测及其模型的训练方法、装置及电子设备，在基于小样本训练集生成的初始风险物体检测模型的基础上，加入对实际场景视频的预测过程，根据预测结果进行样本重标注和模型再训练，通过这种基于预测结果进行样本重标注的反馈机制不断提高模型的风险物体识别性能。

第一方面，本申请实施例提供一种风险物体检测模型的训练方法，方法包括：获取初始风险物体检测模型；初始风险物体检测模型为基于小样本训练集对预设目标检测模型进行训练得到的； 以初始风险物体检测模型作为当前模型，执行以下训练步骤：通过当前模型对目标场景视频中抽取的图像帧进行预测，得到每个图像帧对应的个体预测结果及目标场景视频对应的整体预测结果；其中，个体预测结果包括预测出的风险物体位置信息和类别信息；整体预测结果包括是否存在风险物体的信息；基于整体预测结果及每个图像帧对应的个体预测结果，获取重标注样本；应用包含重标注样本的训练集对当前模型进行训练；以训练后的模型更新当前模型，继续执行训练步骤，直至当前模型满足指定要求，将当前模型作为目标风险物体检测模型。

在本申请较佳的实施方式中，上述获取初始风险物体检测模型的步骤，包括：获取小样本训练集；小样本训练集中的样本包括：标注有风险物体分别对应的类别和检测框的图像；对小样本训练集中的样本进行预设增强处理；预设增强处理包括：图像裁剪处理和/或增加噪声处理；采用增强处理后的样本对预设目标检测模型进行训练，得到初始风险物体检测模型。

在本申请较佳的实施方式中，上述通过当前模型对目标场景视频中抽取的图像帧进行预测，得到每个图像帧对应的个体预测结果及目标场景视频对应的整体预测结果的步骤，包括：将目标场景视频中抽取的多个图像帧分别输入至初始风险物体检测模型进行预测，得到每个图像帧对应的个体预测结果；根据每个图像帧对应的个体预测结果，判断是否有连续指定个数的图像帧中存在风险物体；如果是，确定目标场景视频对应的整体预测结果为存在风险物体。

在本申请较佳的实施方式中，上述基于整体预测结果及每个图像帧对应的个体预测结果，获取重标注样本的步骤，包括：在标注人员根据整体预测结果，检查目标场景视频后确定整体预测结果为假阳性或假阴性时，响应标注人员针对图像帧的重标注操作，得到重标注样本。

在本申请较佳的实施方式中，上述响应标注人员针对图像帧的重标注操作，得到重标注样本的步骤，包括：如果图像帧对应的个体预测结果中存在类别错误，响应标注人员针对图像帧的类别修改操作，得到重标注样本；类别错误包括：将非风险物体预测为风险物体类别、普通风险物体类别错误；如果图像帧对应的个体预测结果中存在检测框错误，响应标注人员对图像帧的检测框调整操作，得到重标注样本；如果图像帧中存在新风险物体，响应标注人员针对图像帧中新风险物体的类别和检测框的标注操作，得到重标注样本。

在本申请较佳的实施方式中，上述预设目标检测模型包括：YOLOv5算法模型。

在本申请较佳的实施方式中，上述目标场景视频包括个人贷款远程面签业务场景视频。

在本申请较佳的实施方式中，上述风险物体至少包括以下之一：轮椅、拐杖、病号服、纸条、营业执照和卡片。

第二方面，本申请实施例还提供一种风险物体检测方法，方法包括：获取待检测视频；从待检测视频中抽取多个待检测图像帧；将多个待检测图像帧输入至目标风险物体检测模型；目标风险物体检测模型为通过如第一方面所述的方法训练得到的；通过风险物体检测模型输出待检测视频对应的整体预测结果；整体预测结果包括：存在风险物体或不存在风险物体。

第三方面，本申请实施例还提供一种风险物体检测模型的训练装置，装置包括：初始模型获取模块，用于获取初始风险物体检测模型；初始风险物体检测模型为基于小样本训练集对预设目标检测模型进行训练得到的；循环训练模块，用于以初始风险物体检测模型作为当前模型，执行以下训练步骤：通过当前模型对目标场景视频中抽取的图像帧进行预测，得到每个图像帧对应的个体预测结果及目标场景视频对应的整体预测结果；其中，个体预测结果包括预测出的风险物体位置信息和类别信息；整体预测结果包括是否存在风险物体的信息；基于整体预测结果及每个图像帧对应的个体预测结果，获取重标注样本；应用包含重标注样本的训练集对当前模型进行训练；以训练后的模型更新当前模型，继续执行训练步骤，直至当前模型满足指定要求，将当前模型作为目标风险物体检测模型。

第四方面，本申请实施例还提供一种风险物体检测装置，装置包括：视频获取模块，用于获取待检测视频；图像帧抽取模块，用于从待检测视频中抽取多个待检测图像帧；图像帧输入模块，用于将多个待检测图像帧输入至目标风险物体检测模型；目标风险物体检测模型为通过如第一方面所述的方法训练得到的；模型预测模块，用于通过风险物体检测模型输出待检测视频对应的整体预测结果；整体预测结果包括：存在风险物体或不存在风险物体。

第五方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面所述的方法。

第六方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面所述的方法。

本申请实施例提供的风险物体检测及其模型的训练方法、装置及电子设备中，风险物体检测模型的训练方法包括：获取基于小样本训练集对预设目标检测模型进行训练得到的初始风险物体检测模型；以初始风险物体检测模型作为当前模型，执行以下训练步骤：通过当前模型对目标场景视频中抽取的图像帧进行预测，得到每个图像帧对应的个体预测结果及目标场景视频对应的整体预测结果；其中，个体预测结果包括预测出的风险物体位置信息和类别信息；整体预测结果包括是否存在风险物体的信息；基于整体预测结果及每个图像帧对应的个体预测结果，获取重标注样本；应用包含重标注样本的训练集对当前模型进行训练；以训练后的模型更新当前模型，继续执行训练步骤，直至当前模型满足指定要求，将当前模型作为目标风险物体检测模型。本申请实施例中，在基于小样本训练集生成的初始风险物体检测模型的基础上，加入对实际场景视频的预测过程，根据预测结果进行样本重标注和模型再训练，通过这种基于预测结果进行样本重标注的反馈机制不断提高模型的风险物体识别性能。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种风险物体检测模型的训练方法的流程图；

图2为本申请实施例提供的一种风险物体检测模型的训练方法中初始风险物体检测模型的获取方法的流程图；

图3为本申请实施例提供的一种风险物体检测模型的训练过程示意图；

图4为本申请实施例提供的一种标注信息示意图；

图5为本申请实施例提供的一种风险物体检测方法的流程图；

图6为本申请实施例提供的一种风险物体检测模型的训练装置的结构框图；

图7为本申请实施例提供的一种风险物体检测装置的结构框图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有技术中，对于风险物体检测模型的训练，通常是采用某一种神经网络基于大量的图像样本进行训练，再通过验证样本对训练出模型进行验证，达到一定要求后就可以进行线上应用，然而以这种方式训练出的模型对不同场景的适应能力较差，随着场景中风险物体的不断变化，上述模型识别风险物体的准确率较低、实时性无法保证。

基于此，本申请实施例提供一种风险物体检测及其模型的训练方法、装置及电子设备，在基于小样本训练集生成的初始风险物体检测模型的基础上，加入对实际场景视频的预测过程，根据预测结果进行样本重标注和模型再训练，通过这种基于预测结果进行样本重标注的反馈机制不断提高模型的风险物体识别性能。为便于对本实施例进行理解，首先对本申请实施例所公开的一种风险物体检测模型的训练方法进行详细介绍。

图1为本申请实施例提供的一种风险物体检测模型的训练方法的流程图，该方法具体包括以下步骤：

步骤S102，获取初始风险物体检测模型；初始风险物体检测模型为基于小样本训练集对预设目标检测模型进行训练得到的。该预设目标检测模型可以为多种神经网络模型，本实施例中，采用YOLOv5算法模型进行模型训练，YOLOv5算法模型是一种典型的目标检测one-stage模型。

步骤S104，以初始风险物体检测模型作为当前模型，执行以下训练步骤：

步骤S1042，通过当前模型对目标场景视频中抽取的图像帧进行预测，得到每个图像帧对应的个体预测结果及目标场景视频对应的整体预测结果。

其中，个体预测结果包括预测出的风险物体位置信息和类别信息；整体预测结果包括是否存在风险物体的信息；上述风险物体位置信息可以是不同形状的检测框对应的坐标信息，比如，矩形检测框对应的四个顶点的坐标值，或者矩形检测框的四条边相对于同一坐标系的位置坐标。上述目标场景视频可以包括多种需要远程面签的业务场景下采集的客户视频，比如个人贷款远程面签业务场景视频。上述风险物体至少包括以下之一：轮椅、拐杖、病号服、纸条、营业执照和卡片。针对不同的场景，风险物体可以设定为不同的物体。

通过当前模型对目标场景视频中抽取的图像帧进行预测，可以得到每个图像帧对应的个体预测结果，如风险物体位置信息和类别信息，在此基础上，可以进一步确定出该目标场景视频对应的整体预测结果，即是否存在风险物体。

需要说明的是，在每次循环训练过程中，上述目标场景视频均为实时采集当前视频，也就是不断更新的视频。

步骤S1044，基于整体预测结果及每个图像帧对应的个体预测结果，获取重标注样本。

根据整体预测结果，标注人员可以结合目标场景视频进行分析判断，该整体预测结果是假阳性还是假阴性亦或者是正确预测结果。当整体检测结果为存在风险物体，而标注人员查看目标场景视频后发现并不存在风险物体，则确定该整体预测结果为假阳性；同理，当整体检测结果为不存在风险物体，而标注人员查看目标场景视频后发现并视频中存在风险物体，则确定该整体预测结果为假阴性。

在标注人员确定整体预测结果为假阳性或假阴性的情况下，标注人员会进一步审核每个图像帧对应的个体预测结果，分析其中出现的错误，比如，类别错误或检测框错误，类别错误又分为两种，一种是将非风险物体预测为风险物体类别，另一种是普通风险物体类别错误，即将第一风险物体类别标注为第二风险物体类别。

标注人员可以针对不同的错误，进行一些重标注操作，或者在发现新的风险物体后，进行重标注操作，得到重标注样本。

步骤S1046，应用包含重标注样本的训练集对当前模型进行训练。

步骤S1048，以训练后的模型更新当前模型，继续执行训练步骤，直至当前模型满足指定要求，将当前模型作为目标风险物体检测模型。

上述指定要求可以是通过验证样本集对该当前模型进行验证，验证准确率达到一定阈值，或者通过某个场景视频对该当前模型进行验证，验证准确率达到一定阈值等。

本申请实施例提供的风险物体检测模型的训练方法中，首先获取基于小样本训练集对预设目标检测模型进行训练得到的初始风险物体检测模型，然后在初始风险物体检测模型的基础上，加入对实际场景视频的预测过程，根据预测结果进行样本重标注和模型再训练，通过这种基于预测结果进行样本重标注的反馈机制不断提高模型的风险物体识别性能，该模型能够通过源源不断的新场景数据进行自我优化和迭代升级。

本申请实施例还提供一种风险物体检测模型的训练方法，该方法在上述实施例的基础上实现；本实施例重点描述初始风险物体检测模型生成过程、重标注样本获取过程。

参见图2所示，上述获取初始风险物体检测模型，包括以下步骤：

步骤S202，获取小样本训练集；小样本训练集中的样本包括：标注有风险物体分别对应的类别和检测框的图像；

步骤S204，对小样本训练集中的样本进行预设增强处理；预设增强处理包括：图像裁剪处理和/或增加噪声处理；

比如，基于人脸检测定位后针对特定区域（例如根据人脸位置预判可能出现病号服位置）进行图像裁剪、增加噪声等数据增强方法，用于丰富数据场景的多样性。

步骤S206，采用增强处理后的样本对预设目标检测模型进行训练，得到初始风险物体检测模型。

由于相关风险物体不具有较为明显的特征并且相关特征所占像素位置占比较小，本申请实施例中，在初始数据集规模较小的情况下，采用图像裁剪、增加噪声等相关数据增强方案，对少量数据集进行数据场景丰富处理，然后再对预设目标检测模型进行训练，得到初始风险物体检测模型，有利于提升模型的鲁棒性和准确性。

下面结合图3所示的风险物体检测模型的训练过程的示意图，具体阐述样本重标注过程。如图3所示，在上述初始标注集（小样本训练集）上训练得到初始风险物体检测模型后，进行场景视频测试，测试时需要进行抽帧检测，测试后会得到每帧的个体检测结果和视频的整体检测结果，进一步，业务员（即标注人员）在判断整体检测结果为假阳性或假阴性时，进一步对每帧的个体检测结果进行比对检验，将存在错误的标记出来，进一步进行重标注，最后将标注结果加载到模型进行继续训练，训练后的模型再次返回执行场景视频测试过程。

样本重标注过程如下：

（1）将目标场景视频中抽取的多个图像帧分别输入至初始风险物体检测模型进行预测，得到每个图像帧对应的个体预测结果；

（2）根据每个图像帧对应的个体预测结果，判断是否有连续指定个数的图像帧中存在风险物体；

（3）如果是，确定目标场景视频对应的整体预测结果为存在风险物体；如果否，确定目标场景视频对应的整体预测结果为不存在风险物体。

（4）在标注人员根据整体预测结果，检查目标场景视频后确定整体预测结果为假阳性或假阴性时，响应标注人员针对图像帧的重标注操作，得到重标注样本。

具体实施时，当整体检测结果为存在风险物体，而标注人员查看目标场景视频后发现并不存在风险物体，则确定该整体预测结果为假阳性；同理，当整体检测结果为不存在风险物体，而标注人员查看目标场景视频后发现并视频中存在风险物体，则确定该整体预测结果为假阴性。

在确定为假阳性或假阴性时，再进行样本重标注，而在确定整体预测结果正确时，不进行样本重标注，这样可以提高重标注样本的标注效率及样本质量。

上述响应标注人员针对图像帧的重标注操作，得到重标注样本的步骤，包括：

（1）如果图像帧对应的个体预测结果中存在类别错误，响应标注人员针对图像帧的类别修改操作，得到重标注样本；其中，类别错误包括：将非风险物体预测为风险物体类别、普通风险物体类别错误。

比如，风险物体类别包括10种，分别用1、2、3…10进行表示，如果检测到普通风险物体类别错误，比如将类别2预测为3时，标注人员在重标注时，可以将3修改为2。如果检测到的是将非风险物体预测为风险物体类别这种错误，则可以当前类别修改为-1，这样在训练的时候可以将非风险物体作为负样本类别进行训练，并在推理阶段抑制输出。

（2）如果图像帧对应的个体预测结果中存在检测框错误，响应标注人员对图像帧的检测框调整操作，得到重标注样本。

这种情况下，标注人员可以在图像帧中直接移动检测框，以进行检测框坐标值的修改。

（3）如果图像帧中存在新风险物体，响应标注人员针对图像帧中新风险物体的类别和检测框的标注操作，得到重标注样本。这种情况下，可以直接标注检测框和类别。

标注人员通过审查视频来判定模型的输出结果，针对检测错误的视频数据进行帧级别的重标注。需要标注的信息如图4所示，其中“file_name”表示的是视频的帧序号（可理解成抽取的图像帧对应的图像文件名），“infer_”前缀字段表示模型输出字段，“infer_class”表示模型输出类别；“infer_cx、infer_cy、infer_bw、infer_bh”表示模型输出检测框位置信息；“is_error”字段表示是否检测错误，如检测错误赋值1，重新标注并将标注结果分别填充到“anno_”前缀字段中，“anno_class”表示重标注类别，“anno_cx、anno_cy、anno_bw、anno_bh”表示重标注检测框位置信息；本标注策略允许增加全新风险物类别，图中未示意出。

在获取到重标注样本后，可以将重标注样本按照8：2的比例划分到训练集和测试集，通过新构建的训练数据集进行重新训练并基于测试集上的性能检查模型的提升性能。

本申请实施例提供的风险物体检测模型的训练方法，模型训练阶段加入反馈机制来实现自动迭代进化能力，一方面可以针对模型检测的假阳性（FP）和假阴性（FN）进行数据重新标注并将标注结果加入到训练数据集进行重新训练，另一方面可以通过增加新的风险目标物体类别数据来训练模型。通过不断迭代和成长来提升模型的整体性能，使得模型能够在较小的数据集的情况下就能够有效训练和检测，并通过不断迭代逐渐成长，有效提升检测模型对风险物体识别任务的准确性与鲁棒性。

本申请实施例中，能够实时对客户面签视频进行识别并实时告警至业务端。采用图像定位裁剪、增加噪声等相关数据增强，基于YOLOv5算法建模，构建具有反馈机制并能够不断迭代成长的模型，实现在初始小样本情况下训练模型，并且能够不断处理新增数据，达到准确的风险物体的识别。此方法保证了在远程面签全流程过程中对客户两类风险（客户身体异常风险和面核过程中查看资料作答风险）的检测，并输出风险评估报告，对个贷经营过程中的风险把控进一步加强，提升了远程坐席的服务效率和质量。

基于上述方法实施例，本申请实施例还提供一种风险物体检测方法，参见图5所示，该方法包括以下步骤：

步骤S502，获取待检测视频；

步骤S504，从待检测视频中抽取多个待检测图像帧；将多个待检测图像帧输入至目标风险物体检测模型；目标风险物体检测模型为通过如前述实施例所述的方法训练得到的；

步骤S506，通过风险物体检测模型输出待检测视频对应的整体预测结果；整体预测结果包括：存在风险物体或不存在风险物体。

本申请实施例提供的风险物体检测方法中，采用了如前述实施例中所述的风险物体检测模型的训练方法所训练出来的目标风险物体检测模型，通过目标风险物体检测模型进行视频检测，可以准确地识别出视频中可能存在的风险物体的类别及位置信息，并给出视频是否存在风险物体的整体检测结果。

基于上述风险物体检测模型的训练方法的实施例，本申请实施例还提供一种风险物体检测模型的训练装置，参见图6所示，该装置包括：

初始模型获取模块62，用于获取初始风险物体检测模型；初始风险物体检测模型为基于小样本训练集对预设目标检测模型进行训练得到的；循环训练模块64，用于以初始风险物体检测模型作为当前模型，执行以下训练步骤：通过当前模型对目标场景视频中抽取的图像帧进行预测，得到每个图像帧对应的个体预测结果及目标场景视频对应的整体预测结果；其中，个体预测结果包括预测出的风险物体位置信息和类别信息；整体预测结果包括是否存在风险物体的信息；基于整体预测结果及每个图像帧对应的个体预测结果，获取重标注样本；应用包含重标注样本的训练集对当前模型进行训练；以训练后的模型更新当前模型，继续执行训练步骤，直至当前模型满足指定要求，将当前模型作为目标风险物体检测模型。

在本申请较佳的实施方式中，上述初始模型获取模块62，用于获取小样本训练集；小样本训练集中的样本包括：标注有风险物体分别对应的类别和检测框的图像；对小样本训练集中的样本进行预设增强处理；预设增强处理包括：图像裁剪处理和/或增加噪声处理；采用增强处理后的样本对预设目标检测模型进行训练，得到初始风险物体检测模型。

在本申请较佳的实施方式中，上述循环训练模块64，用于将目标场景视频中抽取的多个图像帧分别输入至初始风险物体检测模型进行预测，得到每个图像帧对应的个体预测结果；根据每个图像帧对应的个体预测结果，判断是否有连续指定个数的图像帧中存在风险物体；如果是，确定目标场景视频对应的整体预测结果为存在风险物体。

在本申请较佳的实施方式中，上述循环训练模块64，用于在标注人员根据整体预测结果，检查目标场景视频后确定整体预测结果为假阳性或假阴性时，响应标注人员针对图像帧的重标注操作，得到重标注样本。

在本申请较佳的实施方式中，上述循环训练模块64，用于如果图像帧对应的个体预测结果中存在类别错误，响应标注人员针对图像帧的类别修改操作，得到重标注样本；类别错误包括：将非风险物体预测为风险物体类别、普通风险物体类别错误；如果图像帧对应的个体预测结果中存在检测框错误，响应标注人员对图像帧的检测框调整操作，得到重标注样本；如果图像帧中存在新风险物体，响应标注人员针对图像帧中新风险物体的类别和检测框的标注操作，得到重标注样本。

在本申请较佳的实施方式中，上述预设目标检测模型包括：YOLOv5算法模型。

在本申请较佳的实施方式中，上述目标场景视频包括个人贷款远程面签业务场景视频。

在本申请较佳的实施方式中，上述风险物体至少包括以下之一：轮椅、拐杖、病号服、纸条、营业执照和卡片。

本申请实施例提供的装置，其实现原理及产生的技术效果和前述风险物体检测模型的训练方法实施例相同，为简要描述，装置的实施例部分未提及之处，可参考前述风险物体检测模型的训练方法实施例中相应内容。

基于上述风险物体检测方法实施例，本申请实施例还提供一种风险物体检测装置，参见图7所示，该装置包括：

视频获取模块72，用于获取待检测视频；图像帧抽取模块74，用于从待检测视频中抽取多个待检测图像帧；图像帧输入模块76，用于将多个待检测图像帧输入至目标风险物体检测模型；目标风险物体检测模型为通过如第一方面所述的方法训练得到的；模型预测模块78，用于通过风险物体检测模型输出待检测视频对应的整体预测结果；整体预测结果包括：存在风险物体或不存在风险物体。

本申请实施例提供的装置，其实现原理及产生的技术效果和前述风险物体检测方法实施例相同，为简要描述，装置的实施例部分未提及之处，可参考前述风险物体检测方法实施例中相应内容。

本申请实施例还提供了一种电子设备，如图8所示，为该电子设备的结构示意图，其中，该电子设备包括处理器81和存储器80，该存储器80存储有能够被该处理器81执行的计算机可执行指令，该处理器81执行该计算机可执行指令以实现上述方法。

在图8示出的实施方式中，该电子设备还包括总线82和通信接口83，其中，处理器81、通信接口83和存储器80通过总线82连接。

其中，存储器80可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口83（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线82可以是ISA（IndustryStandard Architecture，工业标准体系结构）总线、PCI（Peripheral ComponentInterconnect，外设部件互连标准）总线或EISA（Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线82可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器81可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器81中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器81可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器81读取存储器中的信息，结合其硬件完成前述实施例的方法的步骤。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述方法，具体实现可参见前述方法实施例，在此不再赘述。

本申请实施例所提供的方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种风险物体检测模型的训练方法，其特征在于，所述方法包括：

获取初始风险物体检测模型；所述初始风险物体检测模型为基于小样本训练集对预设目标检测模型进行训练得到的；

以所述初始风险物体检测模型作为当前模型，执行以下训练步骤：

通过所述当前模型对目标场景视频中抽取的图像帧进行预测，得到每个图像帧对应的个体预测结果及所述目标场景视频对应的整体预测结果；其中，所述个体预测结果包括预测出的风险物体位置信息和类别信息；所述整体预测结果包括是否存在风险物体的信息；

基于所述整体预测结果及每个所述图像帧对应的个体预测结果，获取重标注样本；

应用包含所述重标注样本的训练集对所述当前模型进行训练；

以训练后的模型更新所述当前模型，继续执行所述训练步骤，直至所述当前模型满足指定要求，将所述当前模型作为目标风险物体检测模型。

2.根据权利要求1所述的方法，其特征在于，获取初始风险物体检测模型的步骤，包括：

获取小样本训练集；所述小样本训练集中的样本包括：标注有风险物体分别对应的类别和检测框的图像；

对所述小样本训练集中的样本进行预设增强处理；所述预设增强处理包括：图像裁剪处理和/或增加噪声处理；

采用所述增强处理后的样本对所述预设目标检测模型进行训练，得到初始风险物体检测模型。

3.根据权利要求1所述的方法，其特征在于，通过所述当前模型对目标场景视频中抽取的图像帧进行预测，得到每个图像帧对应的个体预测结果及所述目标场景视频对应的整体预测结果的步骤，包括：

将所述目标场景视频中抽取的多个所述图像帧分别输入至所述初始风险物体检测模型进行预测，得到每个所述图像帧对应的个体预测结果；

根据每个所述图像帧对应的个体预测结果，判断是否有连续指定个数的图像帧中存在风险物体；

如果是，确定所述目标场景视频对应的整体预测结果为存在风险物体。

4.根据权利要求1所述的方法，其特征在于，基于所述整体预测结果及每个所述图像帧对应的个体预测结果，获取重标注样本的步骤，包括：

在标注人员根据所述整体预测结果，检查所述目标场景视频后确定所述整体预测结果为假阳性或假阴性时，响应所述标注人员针对所述图像帧的重标注操作，得到重标注样本。

5.根据权利要求4所述的方法，其特征在于，响应所述标注人员针对所述图像帧的重标注操作，得到重标注样本的步骤，包括：

如果所述图像帧对应的个体预测结果中存在类别错误，响应所述标注人员针对所述图像帧的类别修改操作，得到重标注样本；所述类别错误包括：将非风险物体预测为风险物体类别、普通风险物体类别错误；

如果所述图像帧对应的个体预测结果中存在检测框错误，响应所述标注人员对所述图像帧的检测框调整操作，得到重标注样本；

如果所述图像帧中存在新风险物体，响应所述标注人员针对所述图像帧中所述新风险物体的类别和检测框的标注操作，得到重标注样本。

6.根据权利要求1所述的方法，其特征在于，所述预设目标检测模型包括：YOLOv5算法模型。

7.根据权利要求1所述的方法，其特征在于，所述目标场景视频包括个人贷款远程面签业务场景视频。

8.根据权利要求1所述的方法，其特征在于，所述风险物体至少包括以下之一：轮椅、拐杖、病号服、纸条、营业执照和卡片。

9.一种风险物体检测方法，其特征在于，所述方法包括：

获取待检测视频；

从所述待检测视频中抽取多个待检测图像帧；

将多个所述待检测图像帧输入至目标风险物体检测模型；所述目标风险物体检测模型为通过如权利要求1-8任一项所述的方法训练得到的；

通过所述风险物体检测模型输出所述待检测视频对应的整体预测结果；所述整体预测结果包括：存在风险物体或不存在风险物体。

10.一种风险物体检测模型的训练装置，其特征在于，所述装置包括：

初始模型获取模块，用于获取初始风险物体检测模型；所述初始风险物体检测模型为基于小样本训练集对预设目标检测模型进行训练得到的；

循环训练模块，用于以所述初始风险物体检测模型作为当前模型，执行以下训练步骤：通过所述当前模型对目标场景视频中抽取的图像帧进行预测，得到每个图像帧对应的个体预测结果及所述目标场景视频对应的整体预测结果；其中，所述个体预测结果包括预测出的风险物体位置信息和类别信息；所述整体预测结果包括是否存在风险物体的信息；基于所述整体预测结果及每个所述图像帧对应的个体预测结果，获取重标注样本；应用包含所述重标注样本的训练集对所述当前模型进行训练；以训练后的模型更新所述当前模型，继续执行所述训练步骤，直至所述当前模型满足指定要求，将所述当前模型作为目标风险物体检测模型。

11.一种风险物体检测装置，其特征在于，所述装置包括：

视频获取模块，用于获取待检测视频；

图像帧抽取模块，用于从所述待检测视频中抽取多个待检测图像帧；

图像帧输入模块，用于将多个所述待检测图像帧输入至目标风险物体检测模型；所述目标风险物体检测模型为通过如权利要求1-8任一项所述的方法训练得到的；

模型预测模块，用于通过所述风险物体检测模型输出所述待检测视频对应的整体预测结果；所述整体预测结果包括：存在风险物体或不存在风险物体。

12.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至9任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至9任一项所述的方法。

Images