CN113792595A - 目标行为检测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种目标行为检测方法、装置、计算机设备和存储介质。所述方法包括：获取待检测视频段，识别待检测视频段中目标对象的骨骼点位置；分别对待检测视频段、目标对象的骨骼点位置进行特征提取，得到图像特征和骨骼特征；根据图像特征和骨骼特征进行融合处理，得到融合特征；基于融合特征，确定是否存在目标行为。采用本方法能够进行违规拍屏行为的自动识别和检测，提高数据环境的安全性。

Description

目标行为检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种目标行为检测方法、装置、计算机设备和存储介质。

背景技术

安全办公的前提是办公环境的安全，即保证企业数据信息在一个安全可信的环境下运行。因此，除了保证数据信息的存储、传输等方面的安全之外，还要保证外部环境的安全可靠。例如，在银行企业中员工的显示终端上的数据信息，也需要防范通过违规拍屏形式的数据泄露。

目前，对于防止违规拍屏方式的数据泄露，只能通过人工巡视的方式进行检查，尽量避免拍屏行为造成的数据泄露。

然而，违规拍屏属于短时低频事件，人工巡视的方式无法完全视察到违规拍屏行为，从而无法使数据安全得到根本性保障。

发明内容

基于此，有必要针对上述技术问题，提供一种目标行为检测方法、装置、计算机设备和存储介质。

一种目标行为检测方法，所述方法包括：

获取待检测视频段，识别所述待检测视频段中目标对象的骨骼点位置；

分别对所述待检测视频段、所述目标对象的骨骼点位置进行特征提取，得到图像特征和骨骼特征；

根据所述图像特征和所述骨骼特征进行融合处理，得到融合特征；

基于所述融合特征，确定是否存在目标行为。

在其中一个实施例中，所述方法通过特征识别模型实现，所述特征识别模型包括视频特征提取网络、骨骼特征提取网络和目标行为判别层。

在其中一个实施例中，所述分别对所述待检测视频段、所述目标对象的骨骼点位置进行特征提取，得到图像特征和骨骼特征，包括：

根据所述视频特征提取网络，对所述待检测视频段中每一图像帧进行图像特征提取，得到所述待检测视频段的图像特征；

根据所述骨骼特征提取网络以及所述目标对象的骨骼点位置，对所述待检测视频段中每一图像帧进行骨骼特征提取，得到所述待检测视频段的骨骼特征。

在其中一个实施例中，所述根据所述融合特征，确定是否存在目标行为，包括：

通过所述目标行为判别层，对所述融合特征进行特征识别，确定所述目标对象在所述待检测视频段中是否存在目标行为。

在其中一个实施例中，若存在所述目标行为，所述方法还包括：

按照预设采样周期，抽取所述待检测视频段中的目标图像帧；

根据目标检测神经网络，判别每一所述目标图像帧中是否包含目标检测对象；

若不包含所述目标检测对象，则更新目标行为识别结果为不存在目标行为；

若包含所述目标检测对象，则根据所述目标检测对象和所述目标对象间的位置关系，确定是否维持所述目标行为识别结果为存在目标行为。

在其中一个实施例中，所述若包含所述目标检测对象，则根据所述目标检测对象和所述目标对象间的位置关系，确定是否维持所述目标行为识别结果为存在目标行为，包括：

根据所述目标检测对象在所述目标图像帧中的位置信息、所述目标对象的手部骨骼点位置信息，确定所述目标对象与所述目标检测对象间的位置距离关系；

若所述位置距离关系满足预设距离阈值，则维持所述目标行为识别结果为存在目标行为；

若所述位置距离关系不满足所述预设距离阈值，则更新所述目标行为识别结果为不存在目标行为。

一种目标行为检测方法，所述方法包括：

获取待检测视频段，对所述待检测视频段进行特征提取，得到融合特征；所述融合特征由所述待检测视频段中的图像特征和骨骼特征融合得到；

基于所述融合特征，确定所述待检测视频段中目标对象的目标行为识别结果；

若所述目标行为识别结果为存在目标行为，则根据目标检测神经网络，判别所述待检测视频段中是否包含目标检测对象，得到所述目标检测对象的判别结果；

根据所述判别结果，更新所述目标行为识别结果。

在其中一个实施例中，所述方法通过特征识别模型实现，所述特征识别模型包括视频特征提取网络、骨骼特征提取网络和目标行为判别层。

在其中一个实施例中，所述获取待检测视频段，对所述待检测视频段进行特征提取，得到融合特征，包括：

根据所述视频特征提取网络，对所述待检测视频段中每一图像帧进行图像特征提取，得到所述待检测视频段的图像特征；

根据所述骨骼特征提取网络以及所述目标对象的骨骼点位置，对所述待检测视频段中每一图像帧进行骨骼特征提取，得到所述待检测视频段的骨骼特征；

根据所述特征识别模型中的融合模块对所述图像特征和所述骨骼特征进行融合，得到融合特征。

在其中一个实施例中，所述基于所述融合特征，确定所述待检测视频段中目标对象的目标行为识别结果，包括：

通过所述目标行为判别层，对所述融合特征进行特征识别，确定所述目标对象在所述待检测视频段中是否存在目标行为。

在其中一个实施例中，所述根据所述判别结果，更新所述目标行为识别结果，包括：

若不包含所述目标检测对象，则更新目标行为识别结果为不存在目标行为；

若包含所述目标检测对象，则根据所述目标检测对象和所述目标对象间的位置关系，确定是否更新所述目标行为识别结果为存在目标行为。

在其中一个实施例中，若包含所述目标检测对象，则根据所述目标检测对象和所述目标对象间的位置关系，确定是否更新所述目标行为识别结果为存在目标行为，包括：

根据所述目标检测对象在所述待检测视频段每一图像帧中的位置信息、所述目标对象的手部骨骼点位置信息，确定所述目标对象与所述目标检测对象间的位置距离关系；

若所述位置距离关系满足预设距离阈值，则维持所述目标行为识别结果为存在目标行为；

若所述位置距离关系不满足所述预设距离阈值，则更新所述目标行为识别结果为不存在目标行为。

一种目标行为检测装置，所述装置包括：

获取模块，用于获取待检测视频段，识别所述待检测视频段中目标对象的骨骼点位置；

特征提取模块，用于分别对所述待检测视频段、所述目标对象的骨骼点位置进行特征提取，得到图像特征和骨骼特征；

特征融合模块，用于根据所述图像特征和所述骨骼特征进行融合处理，得到融合特征；

判别模块，用于根据所述融合特征，确定是否存在目标行为。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待检测视频段，识别所述待检测视频段中目标对象的骨骼点位置；

分别对所述待检测视频段、所述目标对象的骨骼点位置进行特征提取，得到图像特征和骨骼特征；

根据所述图像特征和所述骨骼特征进行融合处理，得到融合特征；

基于所述融合特征，确定是否存在目标行为。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待检测视频段，识别所述待检测视频段中目标对象的骨骼点位置；

分别对所述待检测视频段、所述目标对象的骨骼点位置进行特征提取，得到图像特征和骨骼特征；

根据所述图像特征和所述骨骼特征进行融合处理，得到融合特征；

基于所述融合特征，确定是否存在目标行为。

上述违规拍屏检测方法、装置、计算机设备和存储介质，计算机设备获取待检测视频段，识别所述待检测视频段中目标对象的骨骼点位置；分别对所述待检测视频段、所述目标对象的骨骼点位置进行特征提取，得到图像特征和骨骼特征；根据所述图像特征和所述骨骼特征进行融合处理，得到融合特征。基于所述融合特征，确定是否存在目标行为。采用上述方法，可以实时获取视频流，对视频流中的目标对象进行目标行为的自动识别和检测，提高数据环境的安全性。

附图说明

图1为一个实施例中目标行为检测方法的流程示意图；

图2为一个实施例中人体骨骼检测提取的骨骼点的示意图；

图3为一个实施例中特征识别模型进行特征提取步骤的流程示意图；

图4为一个实施例中视频特征提取网络的网络结构示意图；

图5为一个实施例中骨骼特征提取网络的网络结构示意图；

图6为一个实施例中目标检测对象检测步骤的流程示意图；

图7为一个实施例中目标检测对象与目标对象位置关系检测步骤的流程图；

图8为一个实施例中目标对象与目标检测对象位置关系目标图像帧示意图；

图9为另一个实施例中目标行为检测方法的流程示意图；

图10为一个实施例中特征识别模型特征提取和融合步骤的流程示意图；

图11为一个实施例中目标检测对象与目标对象位置关系检测步骤流程图；

图12为一个实施例中目标行为检测装置的结构框图；

图13为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种目标行为检测方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。具体的，本实施例中，该方法包括以下步骤：

步骤101，获取待检测视频段，识别待检测视频段中目标对象的骨骼点位置。

在实施中，针对目标行为的检测，需要预先部署有摄像设备，通过摄像设备采集所处工作环境的视频，进而，计算机设备实时获取视频流数据进行对待测视频流中的信息进行识别分析，以实现对目标行为的检测。因此，计算机设备首先根据人体骨骼生成算法，识别待检测视频段中目标对象的骨骼点位置，以进行违规拍屏行为的监控。其中，目标对象的骨骼点可以为人体关节点，本申请实施例不做限定。

具体的，在数据信息安全的应用场景下，为了防范用户以违规拍屏行为窃取数据信息，则计算机设备以违规拍屏行为作为目标行为，对待检测视频段中的违规拍屏行为进行检测识别，则计算机设备根据人体骨骼生成算法，首先识别获取到的待检测视频段中每一图像帧包含的目标对象的骨骼点位置。

可选的，除了在数据信息安全的应用场景下检测违规拍屏行为，也可以在物品保护的应用场景下，为了防范物品被触碰损坏等，将违规触摸行为作为目标行为，应用本实施例中的目标行为检测方法。综上，本实施例中所涉及的目标行为检测方法适用的应用环境只要涉及对于目标行为进行检测识别均可以进行迁移应用，本申请实施例对于目标行为检测方法的应用场景不做限定。

步骤102，分别对待检测视频段、目标对象的骨骼点位置进行特征提取，得到图像特征和骨骼特征。

在实施中，计算机设备根据待检测视频段以及识别到的目标对象的骨骼点位置信息，搭建特征识别模型，通过特征识别模型对目标对象的骨骼点位置进一步进行骨骼特征提取，得到骨骼特征。其中，该骨骼特征包括各个骨骼点位置间的相位位置关系。并且，计算机设备根据特征识别模型对待检测视频段进行图像特征提取，得到图像特征。

步骤103，根据图像特征和骨骼特征进行融合处理，得到融合特征。

在实施中，计算机设备根据特征识别模型中的特征融合层(也称为late-fusion层)，采用late-fusion算法对图像特征和骨骼特征进行特征融合，得到包含图像特征信息和骨骼特征信息的融合特征。

步骤104，基于融合特征，确定是否存在目标行为。

在实施中，计算机设备根据特征识别模型的判别层对融合特征进行分析处理，输出待检测视频段中是否存在目标行为的判别结果。

上述违规拍屏检测方法中，计算机设备获取待检测视频段，识别待检测视频段中目标对象的骨骼点位置。然后，计算机设备分别对待检测视频段、目标对象的骨骼点位置进行特征提取，得到图像特征和骨骼特征。并根据图像特征和骨骼特征进行融合处理，得到融合特征。最后，基于融合特征，确定是否存在目标行为。采用本方法，可以通过计算机设备实时获取视频流(视频段)，对视频流中的目标对象进行目标行为的自动识别和检测，实时监控数据环境中是否出现目标行为，提高数据环境的安全性。

在一个实施例中，步骤101中识别待检测视频段中目标对象的骨骼点位置的具体处理过程为：

根据预训练的人体骨骼点提取模型，对待检测视频段中每一图像帧中的目标对象进行骨骼点提取，得到待检测视频段的基于时序的每一图像帧中包含的目标对象的骨骼点位置。

在实施中，计算机设备根据预先训练的人体骨骼点提取模型，对待检测视频段中每一图像帧中的目标对象进行骨骼点提取，如图2所示，提取每一图像帧中包含的目标对象的各个骨骼点的位置。然后，根据待检测视频段中每一图像帧的时间戳信息，得到对应该待检测视频段的基于时序的每一图像帧中包含的每一骨骼点的骨骼点位置序列。其中，每一骨骼点在一个图像帧中的位置点可以表示成位置参数向量(C，T，V)，其中C表示骨骼点的三维(x，y，z)坐标，T代表图像帧帧数，V代表对应的人体骨骼点。对于同一图像帧中提取到的人体骨骼点，可以将各个骨骼点连线，抽象成人体结构，

可选的，人体骨骼点提取模型为深度学习神经网络模型，该神经网络模型的训练过程为：预先标注图像中的人体骨骼点，并基于标注人体骨骼点的图像以及未标注骨骼点的目标对象的图像构建训练样本，对人体骨骼点提取模型进行有监督的模型训练，并根据人体骨骼点提取模型输出的骨骼点提取结果与标注的骨骼点结果的损失函数，对人体骨骼点提取模型进行模型训练调整，进而经过模型训练，训练后的人体骨骼点提取模型可以识别并提取任一目标对象的人体骨骼点。

在一个实施例中，上述目标行为检测方法通过特征识别模型实现，该特征识别模型包括视频特征提取网络、骨骼特征提取网络和目标行为判别层。

在一个实施例中，如图3所示，步骤102的具体处理过程包括如下步骤：

步骤301，根据视频特征提取网络，对待检测视频段中每一图像帧进行图像特征提取，得到待检测视频段的图像特征。

其中，特征识别模型中的视频特征提取网络为基于3D(Dimensional，维度)卷积核搭建的resnet18网络(残差网络)，该残差网络可以利用卷积膨胀技术，将resnet1上的2D卷积核复制成为3D卷积核，进而得到resnet18-3D神经网络，该resnet18-3D神经网络具体的网络结构，如图4所示，输入层→残差3D卷积层→时间空间全局平均池化层→全连接层。其中，残差3D卷积层依次包括：第一3D残差卷积层→第二3D残差卷积层→第三3D残差卷积层→第四3D残差卷积层。可选的，残差卷积层的层数可以为四层也可以为更多层，根据模型具体应用需求进行确定，本申请实施例不做限定。

以数据信息安全的应用场景为例，进行说明，计算机设备需要识别待检测视频段中是否存在违规拍屏行为，则在完成视频特征提取网络的搭建之后，可以收集包含违规拍屏动作以及其他多种动作特征的视频作为训练样本，并以现场模拟的标准目标对象违规拍屏动作的图像帧作为标注样本，进行有监督的模型训练，基于模型训练过程中的损失函数给出的损失误差对模型训练过程中各层参数进行调整，直至损失函数误差值满足预设的损失函数阈值。

在实施中，计算机设备根据训练完成的视频特征提取网络，对待检测视频段中每一图像帧中进行特征提取，得到待检测视频段包含的图像特征。

步骤302，根据骨骼特征提取网络以及目标对象的骨骼点位置，对待检测视频段中每一图像帧进行骨骼特征提取，得到待检测视频段的骨骼特征。

其中，基于2D卷积核搭建特征识别模型中的骨骼特征提取网络，搭建成的骨骼特征提取网络的网络结构，如图5所示，输入层→第一2D卷积层→骨骼特征时空交换层→第二2D卷积层→第三2D卷积层→第一全连接层→第二全连接层。其中，对于骨骼特征提取网络中网络结构，可以根据具体的模型输出需要进行设置，本申请实施例不做限定。

在实施中，计算机设备根据骨骼特征提取网络以及目标对象的骨骼点位置，对待检测视频段中每一图像帧中包含的骨骼特征进行提取。骨骼特征提取网络中根据每一图像帧中目标对象各个骨骼点的位置信息，得到各个骨骼点的相对位置关系，进而提取出目标对象的骨骼特征。

在一个实施例中，步骤103的具体处理过程包括：通过目标行为判别层，对融合特征进行特征识别，确定目标对象在待检测视频段中是否存在目标行为。

在实施中，对特征识别模型中各特征提取网络提取出的图像特征和骨骼特征，进行特征融合，得到融合特征。进而将该融合特征输入至特征识别模型中的目标行为判别层，经过预先训练的目标行为判别层对融合特征进行识别，确定是否存在目标行为。例如，对违规拍屏行为进行识别时，特征识别模型是由包含违规拍屏动作的视频作为的训练样本进行模型训练得到的。进而，特征识别模型的目标行为判别层也可称为违规拍屏判别层，通过违规拍屏判别层对融合特征的识别和分析，确定是否存在违规拍屏行为。

本实施例中，通过特征提取网络中的视频特征提取网络对待检测视频段中每一图像帧的图像特征进行提取，通过骨骼特征提取网络对同一待检测视频段中每一图像帧的目标对象的骨骼点进行骨骼特征提取，将两种特征进行融合，根据融合后的融合特征进行目标行为识别，提高目标行为检测的准确性。

在一个实施例中，如图6所示，若特征识别模型的目标行为判别层确定待检测视频段中存在目标行为，则该方法还包括：

步骤601，按照预设采样周期，抽取待检测视频段中的目标图像帧。

在实施中，计算机设备在初步确定该待检测视频段存在目标行为之后，按照预设采样周期，抽取待检测视频段中的目标图像帧，例如，可以以1秒的采样周期抽取视频段中的目标图像帧。

步骤602，根据目标检测神经网络，判别每一目标图像帧中是否包含目标检测对象。

在实施中，计算机设备将抽取出的目标图像帧输入预先训练的目标检测神经网络中，根据该目标检测神经网络，判别输入的目标图像帧中是否包含目标检测对象。其中，目标检测对象用于在确定存在目标行为之后，以动作行为所需的工具，辅助判别动作行为结果。具体地，目标检测对象可以为违规拍屏工具，例如，手机、相机等其他可以进行拍屏的设备，本申请实施例不做限定。

可选的，目标检测神经网络可以是基于yolov5目标检测算法搭建成的神经网络模型。该目标检测神经网络模型可以判别出目标图像帧中是否包含目标检测对象。该目标检测神经网络的训练样本由人工标注了目标检测对象的图像以及其他未标注的图像构建成，具体地目标检测神经网络模型的训练过程，与上述特征提取网络的模型训练过程相同，都是基于标注的目标检测对象图像进行有监督的神经网络训练学习，因此，本申请实施例不再赘述。

步骤603，若不包含目标检测对象，则更新目标行为识别结果为不存在目标行为。

在实施中，若在抽取到的目标图像帧中均不包含目标检测对象，则表明在该待检测视频段中并未出现过目标检测对象，而实现目标行为必然需要对应的辅助工具，因此，更新初步判别的目标行为识别结果，将其更新为不存在目标行为。例如，在初步判别存在违规拍屏行为后，进一步判别违规拍屏行为必然需要目标检测对象，即违规拍屏必然需要拍屏工具，例如，手机，若进一步检测结果为在目标图像帧中均未发现违规拍屏工具。因此，将初步违规识别结果的存在违规拍屏行为更新为不存在违规拍屏行为。

步骤604，若包含目标检测对象，则根据目标检测对象和目标对象间的位置关系，确定是否维持目标行为识别结果为存在目标行为。

在实施中，若待检测视频段抽取到的目标图像帧中包含目标检测对象，则在已经确认目标图像帧中存在目标行为的基础上，进一步根据目标对象与目标检测对象间的位置关系，判别是否维持存在目标行为的初始判别结果。

例如，在视频段的目标图像帧中存在违规拍屏动作的特征，且在目标图像帧中包含目标检测对象(即存在可用于违规拍屏的拍屏工具)。则进一步根据目标检测对象和目标对象间的位置关系，确定目标图像帧中是否存在违规拍屏行为，进而确定是否维持违规识别结果为存在违规拍屏行为。

在一个实施例中，图像帧中目标对象的动作特征满足违规拍屏行为特征且该图像帧中也存在用于违规拍屏的拍屏工具，如图7所示，步骤604的具体处理过程如下所示：

步骤701，根据目标检测对象在目标图像帧中的位置信息、目标对象的手部骨骼点位置信息，确定目标对象与目标检测对象间的位置距离关系。

在实施中，计算机设备根据目标检测对象在目标图像帧中的位置信息、目标对象的手部骨骼点位置信息，基于预设的距离公式计算相对距离，确定目标对象与目标检测对象间的位置距离关系。

步骤702，若位置距离关系满足预设距离阈值，则维持目标行为识别结果为存在目标行为。

在实施中，若位置距离关系满足预设距离阈值，则维持初步目标行为识别结果：存在目标行为。例如，在违规拍屏行为的识别中，如图8中的8-a所示，图像帧中目标对象当前动作为违规拍屏动作，且在该图像帧中也包含目标检测对象，同时目标检测对象与目标对象手部的距离小于预设距离阈值，则表明当前目标对象正处于利用违规拍屏工具(目标检测对象)进行违规拍屏行为。因此，维持违规识别结果中存在违规拍屏行为的判断。

步骤703，若位置距离关系不满足预设距离阈值，则更新目标行为识别结果为不存在目标行为。

在实施中，若位置距离关系不满足预设距离阈值，则更新初步的目标相位识别结果，将其更新为不存在目标行为。具体的，例如，如图8所示中的8-b所示，虽然图像帧中的目标对象(目标人员)当前动作与违规拍屏动作相同，且当前图像帧中也存在目标检测对象(即图中的手机)，但是目标对象与目标检测对象间的距离大于距离阈值。由图8-b也可以看出，目标对象并未违规拍屏，因此，对于特征识别模型给出的初步的违规识别结果，将其由违规拍屏结果进行更新为不存在违规拍屏行为。

本实施例中，通过图像帧中包含的目标对象与目标检测对象间的位置距离关系，综合判断是否发生目标行为，若综合判断结果与初步的目标行为识别结果相同，则维持原目标行为识别结果，若综合判断结果与初步的目标行为识别结果不同，则更新初步的目标行为识别结果，进而，提高了目标行为检测的准确性。

在一个实施例中，该方法还包括：若待检测视频段中存在目标图像帧的目标行为识别结果为违规拍屏行为，则截取目标图像帧，并将目标图像帧以及告警提示信息进行输出显示。

在实施中，若确定待检测视频段中存在目标图像帧的违规识别结果为违规拍屏行为(即满足目标对象动作特征为违规拍屏动作，存在目标检测对象且目标对象与目标检测对象的位置关系满足预设位置关系)，则截取目标图像帧，并将目标图像帧以及预先存储的违规拍屏告警提示信息进行输出显示。

可选的，告警提示信息可以为文字告警提示信息，也可以为声音告警提示信息，还可以为文字和声音组合的告警提示信息，本申请实施例不做限定。

本实施例中，通过对待检测视频中检测到的违规拍屏行为截取对应的目标头像帧以及输出告警信息，提示数据安全监控人员发生违规拍屏行为，实现了违规拍屏行为发现的及时性，保证数据环境安全性。

在一个实施例中，如图9所示，提供了一种目标行为检测方法，该方法包括：

步骤901，获取待检测视频段，对待检测视频段进行特征提取，得到融合特征；融合特征由待检测视频段中的图像特征和骨骼特征融合得到。

步骤902，基于融合特征，确定待检测视频段中目标对象的目标行为识别结果。

步骤903，若目标行为识别结果为存在目标行为，则根据目标检测神经网络，判别待检测视频段中是否包含目标检测对象，得到目标检测对象的判别结果。

步骤904，根据判别结果，更新目标行为识别结果。

在一个实施例中，该方法通过特征识别模型实现，特征识别模型包括视频特征提取网络、骨骼特征提取网络和目标行为判别层。

在一个实施例中，如图10所示，步骤901的具体处理过程包括：

步骤1001，根据视频特征提取网络，对待检测视频段中每一图像帧进行图像特征提取，得到待检测视频段的图像特征。

步骤1002，根据骨骼特征提取网络以及目标对象的骨骼点位置，对待检测视频段中每一图像帧进行骨骼特征提取，得到待检测视频段的骨骼特征。

步骤1003，根据特征识别模型中的融合模块对图像特征和骨骼特征进行融合，得到融合特征。

在一个实施例中，步骤902具体为：通过目标行为判别层，对融合特征进行特征识别，确定目标对象在待检测视频段中是否存在目标行为。

在一个实施例中，步骤904中具体包括两种判别结果，针对两种判别结果对应有两种处理方式，具体为：

方式一，若不包含目标检测对象，则更新目标行为识别结果为不存在目标行为。

方式二，若包含目标检测对象，则根据目标检测对象和目标对象间的位置关系，确定是否更新目标行为识别结果为存在目标行为。

在一个实施例中，如图11所示，方式二的具体处理过程包括：

步骤1101，根据目标检测对象在待检测视频段每一图像帧中的位置信息、目标对象的手部骨骼点位置信息，确定目标对象与目标检测对象间的位置距离关系。

步骤1102，若位置距离关系满足预设距离阈值，则维持目标行为识别结果为存在目标行为。

步骤1103，若位置距离关系不满足预设距离阈值，则更新目标行为识别结果为不存在目标行为。

应该理解的是，虽然图1、图3、图6、图7、图9至图11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图3、图6、图7、图9至图11中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图12所示，提供了一种违规拍屏检测装置1200，包括：获取模块1210、特征提取模块1220、融合模块1230和判别模块1240，其中：

获取模块1210，用于获取待检测视频段，识别待检测视频段中目标对象的骨骼点位置；

特征提取模块1220，用于分别对待检测视频段、目标对象的骨骼点位置进行特征提取，得到图像特征和骨骼特征。

融合模块1230，用于根据图像特征和骨骼特征进行融合处理，得到融合特征。

判别模块1240，用于基于融合特征，确定是否存在目标行为。

在一个实施例中，该装置1200通过特征识别模型实现，特征识别模型包括视频特征提取网络、骨骼特征提取网络和目标行为判别层。

在一个实施例中，特征提取模块1220用于根据视频特征提取网络，对待检测视频段中每一图像帧进行图像特征提取，得到待检测视频段的图像特征；

根据骨骼特征提取网络以及目标对象的骨骼点位置，对待检测视频段中每一图像帧进行骨骼特征提取，得到待检测视频段的骨骼特征。

在一个实施例中，判别模块1240，用于通过目标行为判别层，对融合特征进行特征识别，确定目标对象在待检测视频段中是否存在目标行为。

在一个实施例中，若存在目标行为，该装置1200还包括：

抽取模块，用于按照预设采样周期，抽取待检测视频段中的目标图像帧；

判别模块，用于根据目标检测神经网络，判别每一目标图像帧中是否包含目标检测对象；

第一执行模块，用于若不包含目标检测对象，则更新目标行为识别结果为不存在目标行为；

第二执行模块，用于若包含目标检测对象，则根据目标检测对象和目标对象间的位置关系，确定是否维持目标行为识别结果为存在目标行为。

在一个实施例中，第二执行模块，具体用于根据目标检测对象在目标图像帧中的位置信息、目标对象的手部骨骼点位置信息，确定目标对象与目标检测对象间的位置距离关系；

若位置距离关系满足预设距离阈值，则维持目标行为识别结果为存在目标行为；

若位置距离关系不满足预设距离阈值，则更新目标行为识别结果为不存在目标行为。

上述目标行为检测装置1200，可以实时获取视频流，对视频流中的目标对象进行目标行为的自动识别和检测，提高数据环境的安全性。

关于目标行为检测装置的具体限定可以参见上文中对于违规拍屏检测方法的限定，在此不再赘述。上述目标行为检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种违规拍屏检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种目标行为检测方法，其特征在于，所述方法包括：

获取待检测视频段，识别所述待检测视频段中目标对象的骨骼点位置；

分别对所述待检测视频段、所述目标对象的骨骼点位置进行特征提取，得到图像特征和骨骼特征；

根据所述图像特征和所述骨骼特征进行融合处理，得到融合特征；

基于所述融合特征，确定是否存在目标行为。

2.根据权利要求1所述的方法，其特征在于，所述方法通过特征识别模型实现，所述特征识别模型包括视频特征提取网络、骨骼特征提取网络和目标行为判别层。

3.根据权利要求2所述的方法，其特征在于，所述分别对所述待检测视频段、所述目标对象的骨骼点位置进行特征提取，得到图像特征和骨骼特征，包括：

根据所述视频特征提取网络，对所述待检测视频段中每一图像帧进行图像特征提取，得到所述待检测视频段的图像特征；

根据所述骨骼特征提取网络以及所述目标对象的骨骼点位置，对所述待检测视频段中每一图像帧进行骨骼特征提取，得到所述待检测视频段的骨骼特征。

4.根据权利要求2所述的方法，其特征在于，所述根据所述融合特征，确定是否存在目标行为，包括：

通过所述目标行为判别层，对所述融合特征进行特征识别，确定所述目标对象在所述待检测视频段中是否存在目标行为。

5.根据权利要求1所述的方法，其特征在于，若存在所述目标行为，所述方法还包括：

按照预设采样周期，抽取所述待检测视频段中的目标图像帧；

根据目标检测神经网络，判别每一所述目标图像帧中是否包含目标检测对象；

若不包含所述目标检测对象，则更新目标行为识别结果为不存在目标行为；

若包含所述目标检测对象，则根据所述目标检测对象和所述目标对象间的位置关系，确定是否维持所述目标行为识别结果为存在目标行为。

6.根据权利要求5所述的方法，其特征在于，所述若包含所述目标检测对象，则根据所述目标检测对象和所述目标对象间的位置关系，确定是否维持所述目标行为识别结果为存在目标行为，包括：

根据所述目标检测对象在所述目标图像帧中的位置信息、所述目标对象的手部骨骼点位置信息，确定所述目标对象与所述目标检测对象间的位置距离关系；

若所述位置距离关系满足预设距离阈值，则维持所述目标行为识别结果为存在目标行为；

若所述位置距离关系不满足所述预设距离阈值，则更新所述目标行为识别结果为不存在目标行为。

7.一种目标行为检测方法，其特征在于，所述方法包括：

获取待检测视频段，对所述待检测视频段进行特征提取，得到融合特征；所述融合特征由所述待检测视频段中的图像特征和骨骼特征融合得到；

基于所述融合特征，确定所述待检测视频段中目标对象的目标行为识别结果；

若所述目标行为识别结果为存在目标行为，则根据目标检测神经网络，判别所述待检测视频段中是否包含目标检测对象，得到所述目标检测对象的判别结果；

根据所述判别结果，更新所述目标行为识别结果。

8.根据权利要求7所述的方法，其特征在于，所述方法通过特征识别模型实现，所述特征识别模型包括视频特征提取网络、骨骼特征提取网络和目标行为判别层。

9.根据权利要求7所述的方法，其特征在于，所述获取待检测视频段，对所述待检测视频段进行特征提取，得到融合特征，包括：

根据所述视频特征提取网络，对所述待检测视频段中每一图像帧进行图像特征提取，得到所述待检测视频段的图像特征；

根据所述骨骼特征提取网络以及所述目标对象的骨骼点位置，对所述待检测视频段中每一图像帧进行骨骼特征提取，得到所述待检测视频段的骨骼特征；

根据所述特征识别模型中的融合模块对所述图像特征和所述骨骼特征进行融合，得到融合特征。

10.根据权利要求7所述的方法，其特征在于，所述基于所述融合特征，确定所述待检测视频段中目标对象的目标行为识别结果，包括：

通过所述目标行为判别层，对所述融合特征进行特征识别，确定所述目标对象在所述待检测视频段中是否存在目标行为。

11.根据权利要求7所述的方法，其特征在于，所述根据所述判别结果，更新所述目标行为识别结果，包括：

若不包含所述目标检测对象，则更新所述目标行为识别结果为不存在目标行为；

若包含所述目标检测对象，则根据所述目标检测对象和所述目标对象间的位置关系，确定是否更新所述目标行为识别结果为存在目标行为。

12.根据权利要求10所述的方法，其特征在于，若包含所述目标检测对象，则根据所述目标检测对象和所述目标对象间的位置关系，确定是否更新所述目标行为识别结果为存在目标行为，包括：

根据所述目标检测对象在所述待检测视频段每一图像帧中的位置信息、所述目标对象的手部骨骼点位置信息，确定所述目标对象与所述目标检测对象间的位置距离关系；

若所述位置距离关系满足预设距离阈值，则维持所述目标行为识别结果为存在目标行为；

若所述位置距离关系不满足所述预设距离阈值，则更新所述目标行为识别结果为不存在目标行为。

13.一种目标行为检测装置，其特征在于，所述装置包括：

获取模块，用于获取待检测视频段，识别所述待检测视频段中目标对象的骨骼点位置；

特征提取模块，用于分别对所述待检测视频段、所述目标对象的骨骼点位置进行特征提取，得到图像特征和骨骼特征；

特征融合模块，用于根据所述图像特征和所述骨骼特征进行融合处理，得到融合特征；

判别模块，用于根据所述融合特征，确定是否存在目标行为。

14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6或者权利要求7至12中任一项所述的方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6或者权利要求7至12中任一项所述的方法的步骤。

Images