CN111091098B - 检测模型的训练方法、检测方法及相关装置 - Google Patents

Abstract

本申请公开了一种检测模型的训练方法、检测方法及相关装置，其中，该训练方法包括：从网络或历史记录或现场模拟场景中获取到设定数量的预设违规事件的图像信息；对预设违规事件的图像信息进行标注，以得到第一标注图像信息；通过第一标注图像信息对预设网络模型进行训练，以建立第一模型；通过第一标注图像信息对第二模型进行训练，以得到检测模型，其中，第二模型是通过在第一模型添加检测输出模型结构得到。通过上述方式，本申请通过采用包括有预设违规事件的图像信息对预设网络模型进行训练，以得到相应的检测模型，能够有效地提升对预设违规事件进行检测的精确度，并使得相应的检测方法更隐秘，也更为可靠。

Description

检测模型的训练方法、检测方法及相关装置

技术领域

本申请涉及模型应用技术领域，特别是涉及一种检测模型的训练方法、检测方法、智能终端以及计算机可读存储介质。

背景技术

自北京地铁实现地铁安检之后，地铁安检逐渐成为各大城市地铁交通的标准配置。但却也存在有一种地铁场景，其中的部分人群利用安检人员的视线盲区，传递违规物品，其通常是由站外的人员隔着围栏，向站内乘客传递未经过安检机检查的不明物品，而这不明物品又通常会是违禁物品。这对地铁的安全造成了严重威胁。目前在地铁场景中对违规传递物品进行检测的方法极其有限。其主要是通过安检人员的人工观察，或是在地铁设计建造的初期，对站内和站外的区域实现有效的建筑围栏隔离。

而仅通过人工观察的方式，不免会有疏漏之处，且较为费力；且采用建筑围栏隔离的方式，对已经建造完成的地铁站，又需要较大的人力和物力去整改。因此，需要一种更为有效的基于地铁场景的违规传递物品的检测方法。

其中，在其他具有类似的场景中，常见的检测方法有红外对射探测器。但当红外发射机与红外接收机之间的红外光束被完全遮断或按给定百分比遮断时，会产生报警信号，因而通常用于室外围墙的报警场景中，而不适用于基于地铁场景的违规传递物品的检测方法。

发明内容

本申请主要解决的技术问题是提供一种测模型的训练方法、检测方法、智能终端以及计算机可读存储介质，能够有效的提升对预设违规事件的检测精确度，且能够同时实现对多对目标的检测。

为解决上述技术问题，本申请采用的第一个技术方案是：提供一种检测模型的训练方法，包括：从网络或历史记录或现场模拟场景中，获取到预设违规事件的图像信息；对预设违规事件的图像信息进行标注，以得到第一标注图像信息；通过第一标注图像信息对预设网络模型进行训练，以建立第一模型；通过第一标注图像信息对第二模型进行训练，以得到检测模型，其中，第二模型是通过在第一模型添加检测输出模型结构得到。

为解决上述技术问题，本申请采用的第二个技术方案是：提供一种基于检测模型的检测方法，其中，该检测模型是在经训练好的第一模型上添加检测输出模型结构后进行再训练得到；该检测方法包括：获取到目标区域中的目标对象的视频图像帧，其中，目标对象包括第一目标人体、第二目标人体、目标物品以及围栏；提取视频图像帧中对应的目标图片流，并将目标图片流输入到检测模型中；通过检测模型对目标图片流进行检测，以确定目标图片流中是否包括有预设违规事件的图像信息。

为解决上述技术问题，本申请采用的第三个技术方案是：提供一种智能终端，其中，该智能终端包括相互耦接的处理器和检测模型，该检测模型是在经训练好的第一模型上添加检测输出模型结构后进行再训练得到；处理器用于获取目标区域中的目标对象的视频图像帧，以提取视频图像帧中对应的目标图片流，并将目标图片流输入到检测模型中，其中，目标对象包括第一目标人体、第二目标人体、目标物品以及围栏；检测模型用于对目标图片流进行检测，以确定目标图片流中是否包括有预设违规事件的图像信息。

为解决上述技术问题，本申请采用的第四个技术方案是：提供一种计算机可读存储介质，计算机可读存储介质存储有程序数据，该程序数据能够被执行以实现如上所述的检测模型的训练方法或检测方法。

本申请的有益效果是：区别于现有技术，本申请中检测模型的训练方法包括：从网络或历史记录或现场模拟场景中获取到设定数量的预设违规事件的图像信息；对预设违规事件的图像信息进行标注，以得到第一标注图像信息；通过第一标注图像信息对预设网络模型进行训练，以建立第一模型；通过第一标注图像信息对第二模型进行训练，以得到检测模型，其中，第二模型是通过在第一模型添加检测输出模型结构得到。通过上述方式，本申请通过采用包括有预设违规事件的图像信息对预设网络模型进行训练，以得到相应的检测模型，能够有效地提升对预设违规事件进行检测的精确度，并使得相应的检测方法更隐秘，也更为可靠，且能够同时实现对多对目标的检测，以对预设违规事件的监测进行有效管控。

附图说明

图1是本申请检测模型的训练方法第一实施例的流程示意图；

图2是本申请检测模型的训练方法第二实施例的流程示意图；

图3是本申请检测模型的训练方法第三实施例的流程示意图；

图4是本申请检测模型的训练方法中的第一标注图像信息的结构示意图；

图5是本申请检测模型的训练方法中的第二标注图像信息的结构示意图；

图6是本申请检测方法第一实施例的流程示意图；

图7是本申请检测方法第二实施例的流程示意图；

图8是本申请检测方法第三实施例的流程示意图；

图9是本申请检测方法第四实施例的流程示意图；

图10是本申请检测方法第五实施例的流程示意图；

图11是本申请检测方法第六实施例的流程示意图；

图12是本申请检测方法中的景深检测第一实施例的结构示意图；

图13是本申请检测方法中的景深检测第二实施例的结构示意图；

图14是本申请检测方法第七实施例的流程示意图；

图15是本申请检测设备一实施例的结构示意图

图16是本申请智能终端一实施例的结构示意图；

图17是本申请计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本申请保护的范围。

模型是机器学习中的概念，是指处理多元特征输入值的算法。在监督式机器学习中，模型可以理解为多元函数映射关系，这种模型是基于大量已知的输入输出样本集合，训练得到函数关系的调控系数，最终运用于实际使用场景中进行结果预测。

检测模型是将一组输入特征值如预设违规事件的图像信息输入模型，以建立包括有预设违规事件的图像信息的置信度模型。本实施方式提供的检测模型是适用于后台智能终端系统，能够实现对预设违规事件的检测和识别。

YOLO(Real-time object detection system，实时物体检测系统)是一种目标物体的检测方法的网络模型框架，其是将物体检测任务当做一个分类问题来处理，使用一个神经网络，直接从一整张图像来预测出限位框的坐标，以及边框中包含目标物体的置信度和包含目标物体的概率。而因为YOLO的物体检测流程是在一个神经网络里完成的，因而可以通过端到端的处理来优化对目标物体的检测性能。

如图1所示，图1是本申请检测模型的训练方法第一实施例的的流程示意图。本实施例包括如下步骤：

S110：从网络或历史记录或现场模拟场景中，获取到预设违规事件的图像信息。

在本实施例中，首先需采集针对于相应检测模型的训练数据，其中，该训练数据可以是采集到的实际预设违规事件场景中的监控视频信息，或模拟预设违规事件发生场景的监控视频信息，如地铁场景模拟以及实际地铁场景中违规传递物品的监控视频，也可以是从网络或本地数据库中获取到的设定数量的预设违规事件的视频信息或图像信息，并将其中的视频信息转换为对应的图像信息。

上述设定数量可以尽可能的多，具体根据训练终端的处理器的内存以及处理能力确定。

S120：对预设违规事件的图像信息进行标注，以得到第一标注图像信息。

在本实施例中，在获取到预设违规事件的图像信息后，进一步对该预设违规事件的图像信息中的目标区域进行标注，如该标注可以是在地铁违规传递物品的图像信息中对两个传递者以及所传递物品围成的区域进行的标注，其具体可以是在该预设违规事件的图像信息中生成一红框，并使相应的目标对象均出现在该红框所标注的区域中，以得到包括有预设违规事件且将其中的目标对象标注出的图像信息，从而能够通过对该图像信息进行截图而得到相应的第一标注图像信息。

S130：通过第一标注图像信息对预设网络模型进行训练，以建立第一模型。

在本实施例中，在得到第一标注图像信息后，将该第一标注图像信息输入到预设网络模型，如具有yolov1或yolov2或yolov3网络模型框架的深度学习网络模型中，并对该预设网络模型进行训练，以使得该预设网络模型能够对出现有疑似第一标注图像信息的对应监控目标区域进行截图训练，从而建立起第一模型，则可以理解的是，该第一模型能够对第一标注图像信息进行识别检测，以对获取到的出现并标注有预设违规事件的图像信息进行截图和提取，从而得到出现有预设违规事件的图像信息。

S140：通过第一标注图像信息对第二模型进行训练，以得到检测模型，其中，第二模型是通过在第一模型添加检测输出模型结构得到。

在本实施例中，在建立起第一模型后，在第一模型中添加检测输出模型结构，以建立起第二模型，并将第一标注图像信息输入到该第二模型中，以对第二模型进行再训练，从而得到能够对预设违规事件进行精确检测，并输出包括有预设违规事件图像信息的置信度的检测模型。

区别于现有技术，本申请中的检测模型的训练方法包括：从网络或历史记录或现场模拟场景中获取到设定数量的预设违规事件的图像信息；对预设违规事件的图像信息进行标注，以得到第一标注图像信息；通过第一标注图像信息对预设网络模型进行训练，以建立第一模型；通过第一标注图像信息对第二模型进行训练，以得到检测模型，其中，第二模型是通过在第一模型添加检测输出模型结构得到。通过上述方式，本申请通过采用包括有预设违规事件的图像信息对预设网络模型进行训练，以得到相应的检测模型，能够有效地提升对预设违规事件进行检测的精确度，并使得相应的检测方法更隐秘，也更为可靠，且能够同时实现对多对目标的检测，以对预设违规事件的监测进行有效管控。

请参阅图2，图2是本申请检测模型的训练方法第二实施例的流程示意图。本实施例的检测模型的训练方法是图1中的检测模型的训练方法的一细化实施例的流程示意图，包括如下步骤：

其中，本实施例中的S210、S230以及S240分别与图1中的S110、S130以及S140相同，具体请参阅图1及其相关的文字描述，在此不再赘述。而在S210之后，S230之前，本实施例还包括如下步骤：

S220:对预设违规事件的视频信息中的目标对象围成的区域进行标注，以得到第一标注区域，并对出现在目标区域中的视频图像进行截图，以得到第一标注图像信息，其中，该目标对象包括第一目标人体、第二目标人体以及目标物品，目标区域包括所述第一标注区域。

在本实施例中，在获取到预设违规事件的图像信息后，对出现有预设违规事件的图像信息中的目标对象，如第一目标人体、第二目标人体以及目标物品进行识别，并对该第一目标人体、第二目标人体以及目标物品围成的区域进行标注，以得到第一标注区域，并对出现在相应目标区域中的视频图像进行截图，其中，该目标区域包括第一标注区域，以得到第一标注图像信息。

具体地，请参阅图4，图4是本申请检测模型的训练方法中的第一标注图像信息的结构示意图。在获取到设定数量的预设违规事件的图像信息后，对出现有预设违规事件的视频信息中的目标对象，第一目标人体110、第二目标人体130以及目标物品120进行识别，并将第一目标人体110、第二目标人体130以及目标物品120围成的区域用一红框或其他颜色的限位框标注，以得到第一标注区域20，并对出现在目标区域10中的视频图像进行截图，如图4所示，该目标区域10包括有第一标注区域20，以得到将目标对象围成的区域标注出来的第一标注图像信息。

请参阅图3，图3是本申请检测模型的训练方法第三实施例的流程示意图。本实施例的检测模型的训练方法是图2中的检测模型的训练方法的一细化实施例的流程示意图，包括如下步骤：

其中，本实施例中的S310、S320以及S330分别与图2中的S210、S320以及S330相同，具体请参阅图2及其相关的文字描述，在此不再赘述。而在S330之后，本实施例还包括如下步骤：

S340:将第一标注图像信息输入到第一模型进行处理，以得到第一标注图像信息的输出向量。

在本实施例中，在建立起第一模型后，进一步将第一标注图像信息输入到第一模型中，以通过该第一模型对第一标注图像信息进行处理，并得到该第一标注图像信息的输出向量。

S350:通过输出向量分别对第一标注图像信息中的第一目标人体、第二目标人体以及目标物品进行标注，以得到第二标注区域，并对出现在第一标注区域中的视频图像进行截图，以得到第二标注图像信息。

在本实施例中，在得到第一标注图像信息的输出向量后，第一模型进一步根据该输出向量分别对出现在第一标注图像信息中的第一目标人体、第二目标人体以及目标物品进行标注，以得到第二标注区域。其中，该第二标注区域具体可以是由第一目标人体、第二目标人体以及目标物品分别围成的三个限位框构成的区域，则可理解的是，该第二标注区域包括于第一标注区域中。进一步对出现在第一标注区域中的视频图像进行截图，以得到第二标注图像信息。

具体地，请参阅图5，图5是本申请检测模型的训练方法中的第二标注图像信息的结构示意图。在通过第一标注图像信息对预设网络模型进行训练，并建立起第一模型后，将该第一标注图像信息输入到第一模型进行处理，以得到第一标注图像信息的输出向量，并通过该输出向量分别对出现在第一标注图像信息中的第一目标人体110、第二目标人体130以及目标物品120进行标注，以得到第二标注区域30。其中，该第二标注区域30具体可以是由第一目标人体110、第二目标人体130以及目标物品120分别围成的三个限位框构成的区域，且该第二标注区域30包括于第一标注区域20中，以进一步对出现在第一标注区域20中的视频图像进行截图，从而得到第二标注图像信息。

S360:基于第二标注图像信息对第二模型的模型参数进行调整，以获得新的检测模型。

在本实施例中，在得到第二标注图像信息后，预设网络模型进一步根据该第二标注图像信息对第二模型的内层模型参数进行调整，以能够基于第二标注图像信息对预设违规事件的视频信息进行检测识别，从而获得新的检测模型。

基于总的发明构思，本申请还提供了一种基于检测模型的检测方法，其中，该检测模型是在经训练好的上述的第一模型上添加检测输出模型结构后进行再训练得到，请参阅图6，图6是本申请检测方法第一实施例的流程示意图。本实施例包括如下步骤：

S610:获取到目标区域中的目标对象的视频图像帧，其中，目标对象包括第一目标人体、第二目标人体、目标物品以及围栏。

在本实施例中，首先获取到目标区域中的视频图像帧，并通过检测模型依次对该视频图像帧进行检测识别，以甄别并获取到包括有目标对象，如第一目标人体、第二目标人体、目标物品以及围栏的视频图像帧。其中，该目标区域可以是包括有对应围栏的预设相机的监控区域，该预设相机能够对该目标区域进行实时监控，并将相应的视频图像帧发送给后台智能终端，其中，该智能终端集成有相应的预设网络模型，该预设网络模型构建有经训练过的检测模型，以在接收到预设相机发送的目标区域中的视频图像帧，并识别获取到其中的包括有目标对象的视频图像帧。

S620:提取视频图像帧中的目标图片流，并将目标图片流输入到检测模型中。

在本实施例中，在获取到目标区域中的目标对象的视频图像帧后，对该视频图像帧进行处理，以隔帧获取该视频图像帧，并依次将获取到的视频图像帧截取、转换为图片格式的文件，以得到相应的目标图片流，并将该目标图片流输入到相应的检测模型中。

S630:通过检测模型对目标图片流进行检测，以确定目标图片流中是否包括有预设违规事件的图像信息。

在本实施例中，在将目标图片流输入到检测模型后，该检测模型能够对该目标图片流进行检测识别，以确定该目标图片流中是否包括有预设违规事件的图像信息，其中，在其他实施例中，该检测模型能够对接收到由多个目标区域中提取出的多个对应目标图片流进行处理检测，以分别确定每一目标区域中对应的目标图片流中是否包括有预设违规事件的图像信息，从而实现对多个目标区域可能发生的预设违规事件进行实时监控。

区别于现有技术，本申请中的基于检测模型的检测方法包括：获取到目标区域中的目标对象的视频图像帧，其中，目标对象包括第一目标人体、第二目标人体、目标物品以及围栏；提取视频图像帧中对应的目标图片流，并将目标图片流输入到检测模型中；通过检测模型对目标图片流进行检测，以确定目标图片流中是否包括有预设违规事件的图像信息。通过上述方式，本申请通过经训练好的检测模型对目标区域中的视频图像帧进行实时监测，以对可能发生的预设违规事件进行甄别预警，能够有效地提升对预设违规事件进行检测的精确度，且实现检测方法更隐秘，也更为可靠，不易被反侦察手段规避，且能够同时实现对多个目标区域的检测，从而对预设违规事件的监测进行有效管控。

请参阅图7，图7是本申请检测方法第二实施例的流程示意图。本实施例的检测方法是图6中的检测方法的一细化实施例的流程示意图，包括如下步骤：

其中，本实施例中的S740和S750分别与图6中的S620和S630相同，具体请参阅图6及其相关的文字描述，在此不再赘述。而在S740之前，本实施例还包括如下步骤：

S710:将预设相机监控的目标区域划分为检测区域和非检测区域，并进一步将检测区域划分为网格，且获取到检测区域的坐标位置。

在本实施例中，通过后台智能终端预先将预设相机监控的目标区域划分为检测区域和非检测区域，其具体可以是以围栏为中心划分出的一块长条形的检测区域，并将远离围栏的地方确定为非检测区域，以能够对出现在该检测区域中的视频图像帧进行采集，从而缩小最终获得的检测区域中对应图片面积的大小，以进而提高对获取到的由预设相机监控并发送的视频图像帧进行检测和处理的速度。进一步将该检测区域划分为多个彼此相邻的网格大小的检测区域，并使出现在该网格中的视频图像帧进行的截图，其中截取图片的大小与输入到相应预设网络模型中的预设图片的大小相等，以能够直接传递给相应的检测模型进行处理，并获取到该检测区域的坐标位置，以便于后续的检测区域中的监控视频的获得。

S720:获取到检测区域中每一网格中的视频图像帧。

在本实施例中，在进一步将检测区域划分为网格后，接收预设相机发送给经训练好的检测模型的出现在检测区域中每一网格中的视频图像帧。

S730:对每一网格中的视频图像帧进行检测识别，以获取到目标对象的视频图像帧，其中，目标对象包括第一目标人体、第二目标人体、目标物品以及围栏。

在本实施例中，在获得检测区域中每一网格中的视频图像帧后，通过经训练好的检测模型对每一网格中的视频图像帧进行检测识别，以确定是否存在有疑似目标对象的出现，例如，检测是否存在有一网格中的视频图像帧出现有预设违规事件的图像信息。其中，该目标对象可以包括第一目标人体、第二目标人体、目标物品以及围栏，该预设违规事件可定义为第一目标人体越过围栏向第二目标人体传递目标物体，以在确定有目标对象时，获取相应网格中的目标对象的视频图像帧。

请参阅图8，图8是本申请检测方法第三实施例的流程示意图。本实施例的检测方法是图6中的检测方法的又一细化实施例的流程示意图，包括如下步骤：

其中，本实施例中的S810、S830以及S840分别与图6中的S610、S620以及S630相同，具体请参阅图6及其相关的文字描述，在此不再赘述。而在S810之后，S830之前，本实施例还包括如下步骤：

S820:对目标对象的视频图像帧进行预处理，其中，该预处理包括去噪、对比度调整、图像增强中的一种或多种。

在本实例中，在智能终端获取到目标区域中的目标对象的视频图像帧后，首先对该目标对象的视频图像帧进行预处理，其中，该预处理可具体包括对相应视频图像帧进行去噪、对比度调整以及图像增强等处理方式中的一种或多种，以使最终输入到对应检测模型中的视频图像帧具有更好的视频质量，以便于后续的检测识别。

请参阅图9，图9是本申请检测方法第四实施例的流程示意图。本实施例的检测方法是图6中的检测方法的又一细化实施例的流程示意图，包括如下步骤：

其中，本实施例中的S910、S930以及S940分别与图6中的S610、S620以及S630相同，具体请参阅图6及其相关的文字描述，在此不再赘述。而在S910之后，S930之前，本实施例还包括如下步骤：

S920:对目标对象的视频图像帧中的围栏进行标定，并获取到围栏在目标对象的视频图像帧中的坐标位置。

在本实施例中，在获取到目标区域中的目标对象的视频图像帧后，对出现在该目标对象的视频图像帧中的围栏进行标定。例如，可生成一多边形或五角星的红色标记，以标注于该目标对象的视频图像帧中围栏的位置处，并进一步获取并保存该围栏在相应目标对象的视频图像帧中的坐标位置。

请参阅图10，图10是本申请检测方法第五实施例的流程示意图。本实施例的检测方法是图6中的检测方法的又一细化实施例的流程示意图，包括如下步骤：

其中，本实施例中的S1010和S1020分别与图6中的S610和S620相同，具体请参阅图6及其相关的文字描述，在此不再赘述。而在S1020之后，本实施例还包括如下步骤：

S1030:通过检测模型对目标图片流进行检测，以判断目标图片流中包括有预设违规事件的图像信息的置信度是否超过预设阈值。

在本实施例中，在提取出目标对象的视频图像帧中对应的目标图片流，并将该目标图片流输入到相应检测模型中后，通过该检测模型对目标图片流进行检测，其中，该检测模型能够给出该目标图片流中包括有预设违规事件图像信息的置信度，而该置信度可表征出确定该目标图片流中包括有预设违规事件图像信息是否足以取信。

具体地，可以预先设定当置信度为0时，则表明为当前获取到的目标图片流不存在预设违规事件的图像信息，而置信度为1时，则确定当前获取到的目标图片流确有包括预设违规事件的图像信息，则可理解的是，当置信度为0.3或0.5时，分别表明当前获取到的目标图片流包括有预设违规事件的图像信息的可能性，即发生概率为0.3或0.5。因而可与预先设定一阈值，以用来表征是否需要对疑似预设违规事件的图像信息进行进一步的处理，如通过判断当前获取到的目标图片流中包括有预设违规事件的图像信息的置信度是否超过该预设阈值来确定下一步处理流程。

其中，当预先设定该预设阈值为0.3时，能够保证对更多的疑似包括预设违规事件的目标图片进行处理，从而保证对可能出现的违规事件的检测更全面，不致有可能的遗漏出现，而当设定该预设阈值为0.5时，则可保证相应检测模型更快的检测效率，在其他实施例中，该置信度的预设阈值还可以设置为其他数值，可依据具体应用情况而定，本申请对此不做限定。

其中，如果判定目标图片流中包括有预设违规事件的图像信息的置信度超过了预设阈值时，则执行S1040，如果判定目标图片流中包括有预设违规事件的图像信息的置信度不超过预设阈值时，则执行S1050。

S1040:确定目标图片流中包括有预设违规事件的图像信息。

在本实施例中，当确定当前获取到的目标图片流中包括有预设违规事件的图像信息的置信度超过预设阈值时，则可确定该目标图片流中包括有预设违规事件的图像信息。

S1050:确定目标图片流中不包括预设违规事件的图像信息。

在本实施例中，当确定当前获取到的目标图片流中包括有预设违规事件的图像信息的置信度不超过预设阈值时，则判定该目标图片流中不包括预设违规事件的图像信息，并等待获取下一帧目标区域的视频图像帧，以持续判断相应目标图片流中包括有预设违规事件的图像信息的置信度是否超过预设阈值。

请参阅图11，图11是本申请检测方法第六实施例的流程示意图。本实施例的检测方法是图6中的检测方法的又一细化实施例的流程示意图，包括如下步骤：

其中，本实施例中的S1110、S1120以及S1130分别与图6中的S610、S620以及S630相同，具体请参阅图6及其相关的文字描述，在此不再赘述。而在S1130之后，本实施例还包括如下步骤：

S1140:如果确定目标图片流中包括有预设违规事件的图像信息，对目标图片流中的第一目标人体、第二目标人体以及目标物品进行景深检测，以判断第一目标人体、第二目标人体以及目标物品是否存在有线性关系或近似线性关系。

在本实施例中，在通过检测模型对当前获取到的目标图片流进行检测，并确定该目标图片流中包括有预设违规事件的图像信息时，进一步对出现在该目标图片流中的第一目标人体、第二目标人体以及目标物品进行景深检测，以判断该第一目标人体、第二目标人体以及目标物品的位置距离是否存在有线性关系或近似线性关系。

具体地，当确定当前获取到的目标图片流中包括有预设违规事件的图像信息时，采用一双目相机对目标图片流中的第一目标人体、第二目标人体以及目标物品进行景深检测。其中，该双目相机可以是两个摄像头光轴平行放置的相机，其视场范围基本重合(图像边缘些许不重合)。请参阅图12，其中，图12是本申请检测方法中的景深检测第一实施例的结构示意图，如图12中所示，其左边构成的区域为主摄像头获取的实际视场范围，即输入到后面进行视频图像帧检测的目标区域，其视角一般偏小一点，而右边构成的区域为副摄像头获取的实际视场范围，其主要是采集、获取到相应目标图片，以用来参考计算相应的景深信息，其中副摄像头的视角一般偏大一点。

进一步地，通过利用双目相机判断第一目标人体、第二目标人体、目标物品以及围栏在相应目标图片中的相对位置距离，可辅助判断目标物品是否由第一目标人体越过围栏传递给第二目标人体。具体判断标准如下：

请参阅图13，其中，图13是本申请检测方法中的景深检测第二实施例的结构示意图。如图13所示，当确定疑似目标区域时，会发现图中可能会出现有多个人以及多个物品，并对疑似目标对象构成遮挡。而如果第二目标人体130并不存在，但这张图为疑似目标图片，则此时需要设计逻辑以做舍弃判断。例如，可利用检测模型输出的目标区域的第一目标人体110、第二目标人体130以及目标物品120的坐标信息，并通过双目相机150的特性对第一目标人体110、第二目标人体130以及目标物品120进行景深判断，来甄别出疑似目标图片是否由于遮挡的原因而并非目标图片，即并不属于预设违规事件的图像信息。

而在正常情况下，如果对第一目标人体110、第二目标人体130以及目标物品120进行的景深检测，判断第一目标人体110、第二目标人体130以及目标物品120在同一条直线上，即第一目标人体110、第二目标人体130以及目标物品120距离相应双目相机摄像头的距离相等，或三者距离双目相机的距离呈一个线性关系，如三者的距离由近到远或由远及近呈轻微的线性变化时，则判定第一目标人体110确有向第二目标人体130传递目标物品120。而如果三者的距离远离线性关系，则判断为非传递物品的场景。

其中，如图13中所示第一目标人体110、第二目标人体130以及目标物品120为三者正常的景深关系。而若存在有多人在疑似目标区域内重叠，即存在有第三人体160在目标区域内对第二目标人体130形成部分遮挡，也可以利用双目相机的景深关系筛选出正在传递物品的目标人体以及所传递目标物品，以排除其他人的遮挡干扰，即如图13所示，排除前面景深近的第三人体160，精确定位后面的第一目标人体110、第二目标人体130以及目标物品120，以为后续的人体特征识别以及人体跟踪做准备。此外，通过跟踪算法确定目标物品存在有向地铁站内运动的趋势，则可确定当前发生违规传递物品的事件。

其中，如果判定第一目标人体、第二目标人体以及目标物品存在有线性关系或近似线性关系时，则执行S1150，而当判定第一目标人体、第二目标人体以及目标物品并不存在线性关系或近似线性关系时，则执行S1160。

S1150:提取第一目标人体、第二目标人体、目标物品以及围栏在目标图片流的每一目标图片中的坐标信息，并根据该坐标信息获取目标物品相对围栏运动的坐标轨迹信息。

在本实施例中，当判定第一目标人体、第二目标人体以及目标物品存在有线性关系或近似线性关系时，提取第一目标人体、第二目标人体、目标物品以及围栏在当前获取到的目标图片流的每一目标图片中的坐标信息，并根据该坐标信息依次绘制第一目标人体、第二目标人体、目标物品以及围栏的坐标轨迹变化的结构示意图，以提取出其中的目标物品相对围栏运动的坐标轨迹信息，其可以是由每一张目标图片中的坐标位置点构成的一条坐标轨迹变化线，并将该坐标轨迹信息存储于相应的存储单元中。

S1160:获取目标区域中下一帧的视频图像帧。

在本实施例中，当判定第一目标人体、第二目标人体以及目标物品并不存在有线性关系或近似线性关系时，则确定当前获取到的目标图片流中并不存在预设违规事件的图像信息，并继续获取目标区域中下一帧的视频图像帧，以对目标区域中可能发生的预设违规事件进行持续监测。

S1170:根据目标物品相对围栏运动的坐标轨迹信息判断目标物品是否越过围栏运动。

在本实施例中，在获取到目标物品相对围栏运动的坐标轨迹信息后，根据该坐标轨迹信息进一步判断该目标物品是否有越过该围栏运动，或有越过该围栏运动的趋势。

其中，如果判定目标物品有越过围栏运动时，则执行S1180，而当判定目标物品并未越过围栏运动时，则执行S1190。

S1180:确定当前发生预设违规事件并报警。

在本实施例中，当根据目标物品相对围栏运动的坐标轨迹信息判定目标物品确有越过围栏运动时，则确定当前目标区域中发生预设违规事件，如有人越过围栏违规传递物品，并报警给相应的安保人员，如通过自动语音报警通知安保人员，或在后台智能终端中弹出预设报警视频。

S1190:获取目标区域中下一帧的视频图像帧。

在本实施例中，当根据目标物品相对围栏运动的坐标轨迹信息判定目标物品并未越过围栏运动时，则确定当前目标区域中并未发生预设违规事件，并持续获取目标区域中下一帧的视频图像帧，以对可能出现在目标区域中的预设违规事件进行持续监测。

请参阅图14，图14是本申请检测方法第七实施例的流程示意图。本实施例的检测方法是图11中的检测方法的一细化实施例的流程示意图，包括如下步骤：

其中，本实施例中的S1410、S1420、S1430、S1440、S1450、S1460、S1470、S1480以及S1490分别与图11中的S1110、S1120、S1130、S1140、S1150、S1160、S1170、S1180以及S1190相同，具体请参阅图11及其相关的文字描述，在此不再赘述。而在S1190之后，本实施例还包括如下步骤：

S14100:获取第一目标人体、第二目标人体以及目标物品的特征信息，以通过联动摄像头组对第一目标人体、第二目标人体以及目标物品进行实时跟踪。

在本实施例中，当确定当前目标区域中发生预设违规事件，并发出示警时，获取第一目标人体、第二目标人体以及目标物品的特征信息，例如，第一目标人体和第二目标人体的人脸、穿着、全身等特征信息中的一种，以及所传递目标物品的特征信息，以采用跟踪算法，通过联动摄像头组对第一目标人体、第二目标人体以及目标物品进行实时联动跟踪。

基于总的发明构思，本申请还提供了一种检测设备，请参阅图15，图15是本申请检测设备一实施例的结构示意图。其中，该检测设备150包括获取模块1510、检测模块1520、处理模块1530，而处理模块1530集成有一检测模型，该检测模型是在经训练好的第一模型上添加检测输出模型结构后进行再训练得到。

其中，获取模块1510用于获取目标区域中的目标对象，如第一目标人体、第二目标人体、目标物品以及围栏的视频图像帧。检测模块1520用于将获取到的视频图像帧转换为图片格式的文件，以得到相应的目标图片流，并将该目标图片流输入到处理模块1530中的经训练过的检测模型中。

其中，处理模块1530用于对当前获取到的目标图片流进行检测，以确定该目标图片流中是否包括有预设违规事件的图像信息。

基于总的发明构思，本申请还提供了一种智能终端，请参阅图16，图16是本申请智能终端一实施例的结构示意图。其中，该智能终端160包括相互耦接的处理器1610和检测模型1620，而该检测模型1620是在经训练好的第一模型上添加检测输出模型结构后进行再训练得到。

在本实施例中，处理器1610用于获取目标区域中的目标对象，如第一目标人体、第二目标人体、目标物品以及围栏的视频图像帧，并将获取到的视频图像帧转换为图片格式的文件，以得到相应的目标图片流，并将该目标图片流输入到经训练过的检测模型1620中；

其中，检测模型1620用于对当前获取到的目标图片流进行检测，以确定该目标图片流中是否包括有预设违规事件的图像信息。

基于总的发明构思，本申请还提供了一种计算机可读存储介质，请参阅图17，图17是本申请计算机可读存储介质一实施例的结构示意图。其中，计算机可读存储介质170中存储有程序数据1710，该程序数据能够被执行以实现以上任一所述的训练方法或检测方法。

在一个实施例中，计算机可读存储介质170可以是终端中的存储芯片、硬盘或者是移动硬盘或者优盘、光盘等其他可读写存储的工具，还可以是服务器等。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，处理器或存储器的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个处理器与存储器实现的功能可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或连接可以是通过一些接口，装置或单元的间接耦合或连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

区别于现有技术，本申请中的检测模型的训练方法包括：从网络或历史记录或现场模拟场景中获取到设定数量的预设违规事件的图像信息；对预设违规事件的图像信息进行标注，以得到第一标注图像信息；通过第一标注图像信息对预设网络模型进行训练，以建立第一模型；通过第一标注图像信息对第二模型进行训练，以得到检测模型，其中，第二模型是通过在第一模型添加检测输出模型结构得到。通过上述方式，本申请通过采用包括有预设违规事件的图像信息对预设网络模型进行训练，以得到相应的检测模型，能够有效地提升对预设违规事件进行检测的精确度，并使得相应的检测方法更隐秘，也更为可靠，且能够同时实现对多对目标的检测，以对预设违规事件的监测进行有效管控。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种基于检测模型的检测方法，其特征在于，在经训练好的第一模型上添加检测输出模型结构后进行再训练得到所述检测模型；

所述检测方法包括：

获取到目标区域中的目标对象的视频图像帧，其中，所述目标对象包括第一目标人体、第二目标人体、目标物品以及围栏；

提取所述视频图像帧中的目标图片流，并将所述目标图片流输入到所述检测模型中；

通过所述检测模型对所述目标图片流进行检测，以确定所述目标图片流中是否包括有预设违规事件的图像信息；

如果确定所述目标图片流中包括有所述预设违规事件的图像信息，对所述目标图片流中的所述第一目标人体、所述第二目标人体以及所述目标物品进行景深检测，以判断所述第一目标人体、所述第二目标人体以及所述目标物品是否存在有线性关系或近似线性关系；

如果所述第一目标人体、所述第二目标人体以及所述目标物品存在线性关系或近似线性关系，进一步提取所述第一目标人体、所述第二目标人体、所述目标物品以及所述围栏在所述目标图片流的每一目标图片中的坐标信息，并根据所述坐标信息获取所述目标物品相对所述围栏运动的坐标轨迹信息；

根据所述坐标轨迹信息判断所述目标物品是否越过所述围栏运动；

如果所述目标物品越过所述围栏运动，则确定当前发生所述预设违规事件并报警。

2.根据权利要求1所述的检测方法，其特征在于，所述获取到目标区域中的目标对象的视频图像帧，其中，所述目标对象包括第一目标人体、第二目标人体、目标物品以及围栏的步骤包括：

将预设相机监控的所述目标区域划分为检测区域和非检测区域，将所述检测区域划分为网格；

获取到所述检测区域中每一所述网格中的视频图像帧；

对每一所述网格中的视频图像帧进行检测识别，以获取到目标对象的视频图像帧，其中，所述目标对象包括所述第一目标人体、所述第二目标人体、所述目标物品以及所述围栏。

3.根据权利要求1所述的检测方法，其特征在于，所述获取到目标区域中的目标对象的视频图像帧，其中，所述目标对象包括第一目标人体、第二目标人体、目标物品以及围栏的步骤之后，所述提取所述视频图像帧中对应的目标图片流，并将所述目标图片流输入到所述检测模型中的步骤之前，还包括：

对所述目标对象的视频图像帧进行预处理，其中，所述预处理包括去噪、对比度调整、图像增强中的一种或多种。

4.根据权利要求1所述的检测方法，其特征在于，所述获取到目标区域中的目标对象的视频图像帧，其中，所述目标对象包括第一目标人体、第二目标人体、目标物品以及围栏的步骤之后，所述提取所述视频图像帧中对应的目标图片流，并将所述目标图片流输入到所述检测模型中的步骤之前，还包括：

对所述目标对象的视频图像帧中的所述围栏进行标定，并获取到所述围栏在所述目标对象的视频图像帧中的坐标位置。

5.根据权利要求1所述的检测方法，其特征在于，所述通过所述检测模型对所述目标图片流进行检测，以确定所述目标图片流中是否包括有预设违规事件的图像信息的步骤包括：

通过所述检测模型对所述目标图片流进行检测，以判断所述目标图片流中包括有所述预设违规事件的图像信息的置信度是否超过预设阈值；

若是，则确定所述目标图片流中包括有预设违规事件的图像信息；

若否，则确定所述目标图片流中不包括预设违规事件的图像信息。

6.根据权利要求1所述的检测方法，其特征在于，所述如果所述目标物品越过所述围栏运动，则确定当前发生所述预设违规事件并报警的步骤之后，还包括：

获取所述第一目标人体、所述第二目标人体以及所述目标物品的特征信息，以通过联动摄像头组对所述第一目标人体、所述第二目标人体以及所述目标物品进行实时跟踪。

7.一种检测模型的训练方法，用于训练得到如权利要求1中所述的检测模型，其特征在于，所述训练方法包括：

从网络或历史记录或现场模拟场景中，获取到预设违规事件的图像信息；

对所述预设违规事件的图像信息进行标注，以得到第一标注图像信息；

通过所述第一标注图像信息对预设网络模型进行训练，以建立第一模型；

通过所述第一标注图像信息对第二模型进行训练，以得到所述检测模型，其中，所述第二模型是通过在所述第一模型添加检测输出模型结构得到。

8.根据权利要求7所述的训练方法，其特征在于，所述对所述预设违规事件的图像信息进行标注，以得到第一标注图像信息的步骤包括：

对所述预设违规事件的图像信息中的目标对象围成的区域进行标注，以得到第一标注区域，并对出现在目标区域中的视频图像进行截图，以得到所述第一标注图像信息，其中，所述目标对象包括第一目标人体、第二目标人体以及目标物品，所述目标区域包括所述第一标注区域。

9.根据权利要求8所述的训练方法，其特征在于，所述通过所述第一标注图像信息对第二模型进行训练，以得到所述检测模型，其中，所述第二模型是通过在所述第一模型添加检测输出模型结构得到的步骤包括：

将所述第一标注图像信息输入到所述第一模型进行处理，以得到所述第一标注图像信息的输出向量；

通过所述输出向量分别对所述第一标注图像信息中的所述第一目标人体、所述第二目标人体以及所述目标物品进行标注，以得到第二标注区域，并对出现在所述第一标注区域中的视频图像进行截图，以得到第二标注图像信息；

基于所述第二标注图像信息对所述第二模型的模型参数进行调整，以获得新的检测模型。

10.一种智能终端，其特征在于，所述智能终端包括相互耦接的处理器和检测模型，其中，所述检测模型是在经训练好的第一模型上添加检测输出模型结构后进行再训练得到；

所述处理器用于获取目标区域中的目标对象的视频图像帧，以提取所述视频图像帧中对应的目标图片流，并将所述目标图片流输入到所述检测模型中，其中，所述目标对象包括第一目标人体、第二目标人体、目标物品以及围栏；

所述检测模型用于对所述目标图片流进行检测，以确定所述目标图片流中是否包括有预设违规事件的图像信息，并在确定所述目标图片流中包括有所述预设违规事件的图像信息，对所述目标图片流中的所述第一目标人体、所述第二目标人体以及所述目标物品进行景深检测，以判断所述第一目标人体、所述第二目标人体以及所述目标物品是否存在有线性关系或近似线性关系；如果所述第一目标人体、所述第二目标人体以及所述目标物品存在线性关系或近似线性关系，进一步提取所述第一目标人体、所述第二目标人体、所述目标物品以及所述围栏在所述目标图片流的每一目标图片中的坐标信息，并根据所述坐标信息获取所述目标物品相对所述围栏运动的坐标轨迹信息；根据所述坐标轨迹信息判断所述目标物品是否越过所述围栏运动；如果所述目标物品越过所述围栏运动，则确定当前发生所述预设违规事件并报警。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序数据，所述程序数据能够被执行以实现如权利要求1-9中任一项所述的训练方法或检测方法。