CN111931713B - 一种异常行为检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种异常行为检测方法、装置、电子设备及存储介质，该方法包括：获得待预测视频，待预测视频是针对目标对象的行为进行采集的视频；使用神经网络模型提取待预测视频中的第一行为特征，并对第一行为特征进行预测，获得初次预测结果；将待预测视频按照时间进行逆序反转，获得反转视频，并使用神经网络模型提取反转视频中的第二行为特征；计算第一行为特征与第二行为特征的相似度值；根据初次预测结果和相似度值确定待预测视频的最终预测结果，最终预测结果表征目标对象的行为是否存在异常。

Description

一种异常行为检测方法、装置、电子设备及存储介质

技术领域

本申请涉及深度学习、图像识别和视频处理的技术领域，具体而言，涉及一种异常行为检测方法、装置、电子设备及存储介质。

背景技术

异常行为检测，是指针对目标对象的行为是否存在异常进行检测，具体例如：老人在房间里是躺着或者跌倒；若是跌倒，那么老人的行为就被认为存在异常，此时可以发出预警信息以便及时救治；若是躺着睡觉或者休息，那么老人的行为就被认为不存在异常，则无需预警。

目前，针对异常行为检测的方法大都是基于静态图像信息的方法，然而静态图像信息中包含相似的静态图像片段，例如：老人在房间里的行为是跌倒或者躺着睡觉，躺着时的静态图像和跌倒时的静态图像非常相似，它们都包含着人躺平的动作，因此，现有方法很容易将两者混淆，很难使用静态图像特征来分辨目标对象的行为是否存在异常，也就是说，使用基于静态图像信息的方法对视频图像进行异常行为检测的正确率较低。

发明内容

本申请实施例的目的在于提供一种异常行为检测方法、装置、电子设备及存储介质，用于改善对视频图像进行异常行为检测的正确率较低的问题。

本申请实施例提供了一种异常行为检测方法，包括：获得待预测视频，待预测视频是针对目标对象的行为进行采集的视频；使用神经网络模型提取待预测视频中的第一行为特征，并对第一行为特征进行预测，获得初次预测结果；将待预测视频按照时间进行逆序反转，获得反转视频，并使用神经网络模型提取反转视频中的第二行为特征；计算第一行为特征与第二行为特征的相似度值；根据初次预测结果和相似度值确定待预测视频的最终预测结果，最终预测结果表征目标对象的行为是否存在异常。在上述的实现过程中，由于视频中的异常行为体现在时间顺序提取的第一行为特征和时间逆序提取出的第二行为特征的差异是非常大的，使用训练后的神经网络模型能够提取出体现时序信息的行为特征，再根据体现时序信息的行为特征来分辨目标对象的行为是否存在异常，能够极大地减少模型对静态图像特征的依赖，有效地提高了异常行为检测的正确率。

可选地，在本申请实施例中，神经网络模型包括：特征提取网络；使用神经网络模型提取待预测视频中的第一行为特征，包括：使用特征提取网络对待预测视频进行特征提取，获得第一行为特征；使用神经网络模型提取反转视频中的第二行为特征，包括：使用特征提取网络对反转视频进行特征提取，获得第二行为特征。在上述的实现过程中，通过使用特征提取网络对待预测视频进行特征提取，获得第一行为特征；使用神经网络模型提取反转视频中的第二行为特征，从而能够更好地提取出视频中体现时序信息的行为特征。

可选地，在本申请实施例中，神经网络模型还包括：归一化指数函数层或者全连接层；对第一行为特征进行预测，包括：使用归一化指数函数层或者全连接层对第一行为特征进行预测。在上述的实现过程中，通过使用归一化指数函数层或者全连接层预测行为特征的分类，可以使用归一化指数函数层预测行为特征的分类，也可以使用全连接层预测行为特征的分类，提高了对行为特征进行具体分类的灵活性。

可选地，在本申请实施例中，根据初次预测结果和相似度值确定待预测视频的最终预测结果，包括：判断相似度值是否大于预设阈值；若否，则将初次预测结果确定为最终预测结果；若是，则将目标对象的行为不存在异常确定为最终预测结果。在上述的实现过程中，通过判断相似度值是否大于预设阈值；若否，则将初次预测结果确定为最终预测结果；若是，则将目标对象的行为不存在异常确定为最终预测结果；从而更好地使用正常视频和反转视频中体现时序信息的行为特征之间相似度来确定最终预测结果，从而提高获得最终预测结果的准确率。

可选地，在本申请实施例中，该异常行为检测方法还包括：获得视频数据和视频标签，视频数据是针对目标对象的行为拍摄的视频，视频标签为目标对象的行为是否存在异常的标签；以视频数据为训练数据，以视频标签为训练标签，对神经网络进行训练，获得训练后的神经网络模型。在上述的实现过程中，通过结合视频数据中的多帧信息来对异常行为进行检测，有效地提高了异常行为检测的正确率。

可选地，在本申请实施例中，视频数据包括反转样本视频，训练标签包括负样本标签；获得视频数据和视频标签，包括：从视频数据中获取正样本视频，正样本视频为视频中的目标对象的行为存在异常的视频数据；以预设概率将正样本视频按照时间进行逆序反转，获得反转样本视频；将反转样本视频对应视频标签设置为负样本标签。在上述的实现过程中，通过以离线数据增强的方式获得反转样本视频，离线数据增强是指在模型训练之前，对训练模型需要的训练数据进行增强，从而达到增加训练数据并改善数据不均衡的问题；并将反转样本视频对应视频标签设置为负样本标签；从而减少了神经网络模型对静态图像特征的依赖，提高了异常行为检测的正确率。

可选地，在本申请实施例中，对神经网络进行训练，包括：将视频数据中的正样本视频按照时间进行逆序反转，获得反转样本视频，并将反转样本视频对应视频标签设置为负样本标签；以反转样本视频为训练数据，负样本标签为训练标签，对神经网络进行训练。在上述的实现过程中，通过在线数据增强的方式获得反转样本视频，在线数据增强是指在模型训练时，同时小批量地对训练数据进行增强，从而达到增加训练数据并改善数据不均衡的问题，并将反转样本视频对应视频标签设置为负样本标签；以反转样本视频为训练数据，负样本标签为训练标签，对神经网络进行训练；从而减少了神经网络模型对静态图像特征的依赖，提高了异常行为检测的正确率，同时减少了磁盘的资源占用。

本申请实施例还提供了一种异常行为检测装置，包括：预测视频获得模块，用于获得待预测视频，待预测视频是针对目标对象的行为进行采集的视频；初次结果获得模块，用于使用神经网络模型提取待预测视频中的第一行为特征，并对第一行为特征进行预测，获得初次预测结果；行为特征提取模块，用于将待预测视频按照时间进行逆序反转，获得反转视频，并使用神经网络模型提取反转视频中的第二行为特征；相似度值计算模块，用于计算第一行为特征与第二行为特征的相似度值；最终结果获得模块，用于根据初次预测结果和相似度值确定待预测视频的最终预测结果，最终预测结果表征目标对象的行为是否存在异常。

可选地，在本申请实施例中，神经网络模型包括：特征提取网络；初次结果获得模块，具体用于使用特征提取网络对待预测视频进行特征提取，获得第一行为特征；行为特征提取模块，具体用于使用特征提取网络对反转视频进行特征提取，获得第二行为特征。

可选地，在本申请实施例中，神经网络模型还包括：归一化指数函数层或者全连接层；初次结果获得模块，具体还用于使用归一化指数函数层或者全连接层对第一行为特征进行预测。

可选地，在本申请实施例中，最终结果获得模块，包括：相似度值判断模块，用于判断相似度值是否大于预设阈值；第一结果确定模块，用于若相似度值不大于预设阈值，则将初次预测结果确定为最终预测结果；第二结果确定模块，用于若相似度值大于预设阈值，则将目标对象的行为不存在异常确定为最终预测结果。

可选地，在本申请实施例中，异常行为检测装置，还包括：数据标签获得模块，用于获得视频数据和视频标签，视频数据是针对目标对象的行为拍摄的视频，视频标签为目标对象的行为是否存在异常的标签；网络模型获得模块，用于以视频数据为训练数据，以视频标签为训练标签，对神经网络进行训练，获得训练后的神经网络模型。

可选地，在本申请实施例中，视频数据包括反转样本视频，训练标签包括负样本标签；数据标签获得模块，包括：异常视频获取模块，用于从视频数据中获取正样本视频，正样本视频为视频中的目标对象的行为存在异常的视频数据；反转视频获得模块，用于以预设概率将正样本视频按照时间进行逆序反转，获得反转样本视频；视频标签设置模块，用于将反转样本视频对应视频标签设置为负样本标签。

可选地，在本申请实施例中，网络模型获得模块，包括：视频标签获取模块，用于将视频数据中的正样本视频按照时间进行逆序反转，获得反转样本视频，并将反转样本视频对应视频标签设置为负样本标签；神经网络训练模块，用于以反转样本视频为训练数据，负样本标签为训练标签，对神经网络进行训练。

本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。

本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出的本申请实施例提供的训练神经网络模型的流程示意图；

图2示出的本申请实施例提供的训练数据和训练标签处理过程的示意图；

图3示出的本申请实施例提供的异常行为检测方法的流程示意图；

图4示出的本申请实施例提供的神经网络模型的应用过程的示意图；

图5示出的本申请实施例提供的异常行为检测装置的结构示意图；

图6示出的本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。

在介绍本申请实施例提供的异常行为检测方法之前，先介绍本申请实施例中涉及的一些概念：

神经网络（Neural Network，NN），又被称为人工神经网络（Artificial NeuralNetwork，ANN）或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络（例如：动物的中枢神经系统，可以是大脑）的结构和功能的数学模型或计算模型，人工神经网络用于对函数进行估计或近似；这里的神经网络由大量的人工神经元联结进行计算。

神经网络模型，是指使用预设的训练数据对未经训练的神经网络进行训练后获得的神经网络模型，这里的预设的训练数据可以根据具体实际情况进行设置。

数据增强，又称扩增训练数据集或数据扩增，是指对已经获得的训练数据进行修改操作，以获得更多的训练数据；具体例如：当数据是图像时，数据增强又被称为图像增强，对图像的修改操作包括：改变背景颜色或亮度、旋转图像角度或者裁剪图像大小等等；当数据是视频时，对视频图像的修改操作包括：随机调整颜色、反转、旋转、平移、裁切、对比度调整和噪声添加等。

支持向量机（Support Vector Machine，SVM），是指一种监督式的机器学习算法，即通过将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面，从而实现对样本进行分类或回归分析，那些在间隔区边缘的训练样本点即为支持向量。

相似度，又被称为相似程度，是指表征两个目标对象或者两个样本数据之间相似性的程度，量化相似程度的具体指标可以根据具体情况进行选择。

需要说明的是，本申请实施例提供的异常行为检测方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者上述的服务器，设备终端例如：智能手机、个人电脑（personal computer，PC）、平板电脑、个人数字助理（personaldigital assistant，PDA）、移动上网设备（mobile Internet device，MID）、网络交换机或网络路由器等。

在介绍本申请实施例提供的异常行为检测方法之前，先介绍该异常行为检测方法适用的应用场景，这里的应用场景包括但不限于：对目标对象进行视频监测或者行为识别等相关的应用场景；其中，行为识别在工厂、校园医院等场所均有大量需求，视频监测的一个典型具体应用场景就是为老人智能看护，也就是说，通过摄像头监控老人起居，使用该异常行为检测方法智能判断老人是躺着或者跌倒；若是跌倒，那么老人的行为就被认为存在异常，此时可以发出预警信息以便及时救治；若是躺着，那么老人的行为就被认为不存在异常，则无需预警。

通过神经网络模型对视频进行分类时出现的一些现象可以得知，视频中的异常行为体现在时间顺序提取的第一行为特征和时间逆序提取出的第二行为特征的差异是非常大的，具体例如：跌倒的异常行为和时序信息是高度相关的，如果打乱视频中的帧图像顺序，那么模型对该视频进行分类获得的类别和正常顺序的视频类别是不同的；然而在对“躺着”视频进行检测时，即使将该视频的顺序随机打乱或者逆序反转，该视频的模型分类类别仍然和正常顺序的视频类别是相同的。

本申请实施例提供的异常行为检测方法的主要思路是，由于视频中的异常行为体现在时间顺序提取的第一行为特征和时间逆序提取出的第二行为特征的差异是非常大的，使用训练后的神经网络模型能够提取出体现时序信息的行为特征，再根据体现时序信息的行为特征来分辨目标对象的行为是否存在异常，能够极大地减少模型对静态图像特征的依赖，有效地提高了异常行为检测的正确率。

请参见图1示出的本申请实施例提供的训练神经网络模型的流程示意图；为了便于理解和说明，下面先介绍神经网络模型的训练过程，然后再介绍使用神经网络模型检测视频中是否存在异常行为的应用过程；其中，神经网络模型的训练过程可以包括：

步骤S110：获得视频数据和视频标签，视频数据是针对目标对象的行为拍摄的视频，视频标签为目标对象的行为是否存在异常的标签。

其中，上述的目标对象的行为包括但不限于：人类的行为、动物的行为或者机器人行为等；人类的行为包括但不限于：跌倒、摔倒、行走、奔跑、躺着睡觉或者躺着休息等等行为，判断目标对象的行为是否存在异常需要根据具体场景来确定，具体例如：在智能看护的场景中，若被看护的老人检测出现跌倒行为，那么该跌倒行为就是异常行为，而若被看护的老人检测出现躺着休息行为，那么该躺着行为就是正常行为。

上述步骤S110中的视频数据的获得方式可以包括但不限于如下几种：第一种获得方式，使用摄像机、录像机或彩色照相机等终端设备对目标对象进行拍摄，获得视频数据；然后该终端设备向电子设备发送视频数据，然后电子设备接收终端设备发送的视频数据，电子设备可以将视频数据存储至文件系统、数据库或移动存储设备中；第二种获得方式，可以对已经采集获得的视频数据进行数据增强处理，从而获得更多的视频数据，此处的数据增强包括：改变视频的背景颜色或亮度、旋转视频中的图像角度或者裁剪视频图像大小等操作；第三种获得方式，获取预先存储的视频数据，具体例如：从文件系统中获取视频数据，或者从数据库中获取视频数据，或者从移动存储设备中获取视频数据；第四种获得方式，使用浏览器等软件获取互联网上已经做好的神经网络模型的训练数据集中的视频数据，或者使用其它应用程序访问互联网上该训练数据集中的频数据。

上述步骤S110中的视频标签的获得方式可以包括但不限于如下几种：第一种获得方式，针对上述已经采集获得的视频数据进行人工数据标注，即在人工观察视频数据之后，通过人工将视频数据进行分类标注，打上该视频数据中的行为是否异常的视频标签；第二种获得方式，在已经有足够多的视频数据被标注上视频标签，且还有很多视频数据没有标注的情况下，可以使用神经网络模型对已经有的视频数据和视频标签进行训练，使用训练后的神经网络模型对剩下的视频数据进行自动标注，从而获得剩下视频数据的视频标签。

在步骤S110之后，执行步骤S120：以视频数据为训练数据，以视频标签为训练标签，对神经网络进行训练，获得训练后的神经网络模型。

上述步骤S110至步骤S120的神经网络模型的训练方式包括：

第一种训练方式，使用离线增强视频数据的方式对神经网络模型，上述步骤S110中的获得视频数据和视频标签的过程可以包括：

步骤S111：从视频数据中获取正样本视频。

正样本视频，是指视频中的目标对象的行为存在异常的视频数据，具体例如：有很多在老人监护过程中拍摄的视频数据，这些视频数据包括：跌倒的异常行为视频和躺着的正常行为视频，那么由于神经网络模型的目标就是检测出异常行为，因此，此处的跌倒的异常行为视频是属于正样本视频，正样本视频的视频标签可以被称之为正样本标签，而躺着的正常行为视频是属于负样本视频，负样本视频的视频标签可以被称之为负样本标签。

请参见图2示出的本申请实施例提供的训练数据和训练标签处理过程的示意图；上述步骤S111的实施方式例如：从多个视频数据中筛选出跌倒的异常行为的视频，这些跌倒的异常行为的视频就是正样本视频，当然在具体的实践过程中，还有其他异常行为的视频也是正样本视频，此处的其他异常行为具体例如：逐渐靠近并骑在窗户上或者手拿尖锐利器挥舞等行为。

步骤S112：以预设概率将正样本视频按照时间进行逆序反转，获得反转样本视频。

预设概率，是指人为预先确定的概率，例如可以确定为33%和50%等等。

上述步骤S112的实施方式具体例如：以50%的概率将跌倒的异常行为视频按照时间进行逆序反转，即将视频中的每一帧视频图像倒序存放，从而获得反转样本视频，具体地：假设逆序反转前的视频一共有四帧视频图像，逆序反转前的四帧视频图像对应的动作依次为：站立、跌倒、倒地和倒地，倒地的图像在视频中所占时长通常大于站立和跌倒两个动作，那么将该视频进行逆序反转后，获得的逆序反转后的四帧视频图像对应的动作分别为：倒地、倒地、跌倒和站立，将逆序反转后的四帧视频图像重新构建即可获得反转样本视频。

当然，在具体的实施过程中，也可以是直接将正样本视频中的视频帧的顺序打乱，例如随机设置视频帧的顺序，或者也可以对视频帧进行图像增强，加入数据噪音，从而增加模型的泛化能力；其中，具体的图像增强包括：反转、旋转、平移、裁切、对比度调整、噪声添加、图像缩放等。

步骤S113：将反转样本视频对应视频标签设置为负样本标签。

上述步骤S113的实施方式例如：将反转样本视频对应视频标签修改为正常行为的视频标签，即将反转样本视频对应的视频标注修改为负样本标签。

当然，在具体的实施过程中，由于将反转样本视频对应视频标签设置为负样本标签，也就是说，增加了负样本标签数据的数量，而减少了正样本标签数据的数量，可能会造成样本不均衡问题，导致模型分类的准确率下降。因此，为了避免该问题，可以适当增加正样本标签数据的数量，具体例如：将视频数据中的正样本标签数据的数量按预设比例提高，这里的预设比例可以采用上述预设概率的倒数，当然也可以根据具体情况调整预设比例，例如：40%、50%或60%等；在调整后能够有效地避免样本不均衡的问题。

可以理解的是，经过上述处理后的视频数据包括正样本视频和反转样本视频，正样本视频和反转样本视频的静态图像是相同的，区别仅在于静态图像存放的顺序不同，训练标签包括正样本视频对应的正样本标签、反转样本视频对应的负样本标签和负样本视频对应的负样本标签；也就是说，输入该神经网络模型的训练数据包括：视频静态图像相同且分类标签不同的视频数据。

步骤S114：以反转样本视频为训练数据，以负样本标签为训练标签，对神经网络进行训练，获得训练后的神经网络模型。

上述步骤S114的实施方式例如：使用神经网络对训练数据的分类类别进行预测，获得该训练数据对应的预测标签，其中，该预测标签能够体现该训练数据对应视频中的目标对象的行为是否存在异常的分类类别，即预测标签可以是目标对象的行为存在异常类别，也可以是不存在异常类别；然后使用损失函数计算预测标签和训练标签之间的损失值，并根据该损失值更新神经网络的网络参数，重复上述对神经网络的训练过程，直到神经网络的网络参数收敛时，即可获得训练后的神经网络模型。

在上述的实现过程中，通过以离线数据增强的方式获得反转样本视频；并将反转样本视频对应视频标签设置为负样本标签；从而极大地减少了神经网络模型对静态图像特征的依赖，有效地模型对在线环境的影响，增加了模型的可用性，提高了异常行为检测的正确率。

第二种训练方式，使用在线增强视频数据的方式对神经网络模型，那么在对神经网络进行训练的过程中可以包括：

步骤S121：将视频数据中的正样本视频按照时间进行逆序反转，获得反转样本视频，并将反转样本视频对应视频标签设置为负样本标签。

其中，该步骤S121的实施原理和实施方式与步骤S112至步骤S113的实施原理和实施方式是类似的，区别仅在于，步骤S112至步骤S113的执行时刻是在训练模型之前，而步骤S121的执行时刻是正在训练模型时，对视频数据进行数据增强的；因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S112至步骤S113的描述。

步骤S122：以反转样本视频为训练数据，负样本标签为训练标签，对神经网络进行训练，获得训练后的神经网络模型。

其中，该步骤S122的实施原理和实施方式与步骤S114的实施原理和实施方式是类似的，因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S114的描述。

在上述的实现过程中，由于视频中的异常行为体现在时间顺序提取的第一行为特征和时间逆序提取出的第二行为特征的差异是非常大的，第一行为特征和第二行为特征均是由同一神经网络模型提取获得的，输入该神经网络模型的数据包括：视频静态图像相同且分类标签不同的视频数据，所以该神经网络模型只能学习从视频的时序信息中提取行为特征，并使用体现时序信息的行为特征对视频进行区分；从而极大地减少了神经网络模型对静态图像特征的依赖，有效地提高了异常行为检测的正确率。

请参见图3示出的本申请实施例提供的异常行为检测方法的流程示意图；上面介绍了神经网络模型的训练过程，下面将介绍神经网络模型的应用过程，上述的异常行为检测方法可以包括：

步骤S210：获得待预测视频，待预测视频是针对目标对象的行为进行采集的视频。

上述步骤S210中的待预测视频的获得方式包括：第一种获得方式，使用摄像机、录像机或彩色照相机等采集设备对目标对象的行为进行拍摄，获得待预测视频；然后该采集设备向电子设备发送待预测视频，然后电子设备接收采集设备发送的待预测视频；第二种获得方式，采集设备在采集到目标对象的视频之后向流视频服务器发送待预测视频，然后电子设备再从流视频服务器上获取待预测视频，具体例如：从视频服务器的文件系统中获取待预测视频，或者从视频服务器的数据库中获取待预测视频，或者从视频服务器的移动存储设备中获取待预测视频；第三种获得方式，使用浏览器等软件获取互联网上的待预测视频，或者使用其它应用程序访问互联网上的待预测视频。

在步骤S210之后，执行步骤S220：使用神经网络模型提取待预测视频中的第一行为特征，并对第一行为特征进行预测，获得初次预测结果。

神经网络模型，是指使用预设训练数据对神经网络进行训练获得的神经网络模型，此处的预设训练数据包括：具有负样本标签的反转样本视频，以及具有正样本标签的正序样本视频，其中，反转样本视频和正序样本视频的静态图像相同；该神经网络的网络结构可以包括：特征提取网络、归一化指数函数层或者全连接层等。

步骤S221：使用神经网络模型中的特征提取网络对待预测视频进行特征提取，获得第一行为特征。

请参见图4示出的本申请实施例提供的神经网络模型的应用过程的示意图；上述步骤S221的实施方式例如：使用神经网络模型中的特征提取网络对待预测视频进行特征提取，获得能够体现时序信息的第一行为特征；其中，此处的特征提取网络有很多种选择，特征提取网络的网络结构包括但不限于：LeNet、AlexNet、VGG、GoogLeNet、ResNet、DarkNet或者DenseNet等网络。

步骤S222：使用归一化指数函数层或者全连接层对第一行为特征进行预测，获得初次预测结果。

上述步骤S222的实施方式例如：使用归一化指数函数层、支持向量机（SVM）或者全连接层或者等等分类器对第一行为特征进行预测，获得初次预测结果；这里以归一化指数函数层对第一行为特征进行预测为例，其它的分类器也是类似的分类原理，具体地，使用归一化指数函数层对第一行为特征进行分类计算，获得多个类别概率，将多个类别概率中类别概率最高的分类类别确定为初次预测结果。在上述的实现过程中，通过使用特征提取网络对待预测视频进行特征提取，获得第一行为特征；使用神经网络模型提取反转视频中的第二行为特征，从而能够更好地提取出视频中体现时序信息的行为特征。

在步骤S220之后，执行步骤S230：将待预测视频按照时间进行逆序反转，获得反转视频，并使用神经网络模型提取反转视频中的第二行为特征。

步骤S231：将待预测视频按照时间进行逆序反转，获得反转视频。

其中，该步骤S231的实施原理和实施方式与步骤S112的实施原理和实施方式是类似的，区别仅在于，步骤S112是以预设概率对正样本视频进行逆序反转的，而步骤S231是对待预测视频进行逆序反转的；因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S112的描述。

步骤S232：使用神经网络模型中的特征提取网络对反转视频进行特征提取，获得第二行为特征。

其中，该步骤S232的实施原理和实施方式与步骤S221的实施原理和实施方式是类似的，区别仅在于步骤S221是对待预测视频进行特征提取，而步骤S232是对待预测视频进行特征提取；因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S221的描述。

在步骤S230之后，执行步骤S240：计算第一行为特征与第二行为特征的相似度值。

上述步骤S240的实施方式例如：根据量化相似度指标来计算第一行为特征与第二行为特征的相似度值，当然，相似度值在具体的实施过程中有很多指标可以量化，具体可以选择的量化相似度指标包括但不限于：余弦距离、汉明距离或欧氏距离等；当然，在实践过程中，也可以选择多种组合加权参数等复杂模式来计算相似度。

在步骤S240之后，执行步骤S250：根据初次预测结果和相似度值确定待预测视频的最终预测结果。

其中，最终预测结果是指目标对象的行为是否存在异常的分类结果，具体的最终预测结果需要根据初次预测结果和相似度值来确定。

步骤S251：判断相似度值是否大于预设阈值。

步骤S252：若相似度值不大于预设阈值，则将初次预测结果确定为最终预测结果。

步骤S253：若相似度值大于预设阈值，则将目标对象的行为不存在异常确定为最终预测结果。

上述步骤S251至步骤S253的实施方式例如：假设预设阈值为90，若相似度值为80，那么相似度值80不大于预设阈值90，则应当将初次预测结果确定为最终预测结果；若相似度值为95，那么相似度值95大于预设阈值，则应当将目标对象的行为不存在异常确定为最终预测结果，即最终预测结果为目标对象的行为不存在异常，在具体的智能看护的场景中，最终预测结果是老人的行为是正常行为，例如躺着睡觉或者躺着休息是正常的行为。上述过程也可以理解为，如果神经网络模型在两次预测过程中提取的特征是相似的，则说明待预测视频是不依赖于时序信息的，所以不是正样本视频，即视频中的目标行为是正常行为。通过判断相似度值是否大于预设阈值；若否，则将初次预测结果确定为最终预测结果；若是，则将目标对象的行为不存在异常确定为最终预测结果；从而更好地使用正常视频和反转视频中体现时序信息的行为特征之间相似度来确定最终预测结果，从而提高获得最终预测结果的准确率。

在上述的实现过程中，由于视频中的异常行为体现在时间顺序提取的第一行为特征和时间逆序提取出的第二行为特征的差异是非常大的，基于这个现象的观察，可以在对该神经网络模型进行训练时，将静态视频图像相同的正常视频和反转视频的分类标签修改为不同的视频标签，并将修改后的视频静态图像相同且分类标签不同的视频数据作为训练数据集，该训练数据集用于对神经网络模型进行训练，所以该神经网络模型只能学习从视频的时序信息中提取行为特征，并使用体现时序信息的行为特征对视频进行区分；因此，可以使用训练后的神经网络模型能够提取出体现时序信息的行为特征，再根据体现时序信息的行为特征来分辨目标对象的行为是否存在异常，能够极大地减少模型对静态图像特征的依赖，有效地提高了异常行为检测的正确率。

请参见图5示出的本申请实施例提供的异常行为检测装置的结构示意图；本申请实施例提供了一种异常行为检测装置300，包括：

预测视频获得模块310，用于获得待预测视频，待预测视频是针对目标对象的行为进行采集的视频。

初次结果获得模块320，用于使用神经网络模型提取待预测视频中的第一行为特征，并对第一行为特征进行预测，获得初次预测结果。

行为特征提取模块330，用于将待预测视频按照时间进行逆序反转，获得反转视频，并使用神经网络模型提取反转视频中的第二行为特征。

相似度值计算模块340，用于计算第一行为特征与第二行为特征的相似度值。

最终结果获得模块350，用于根据初次预测结果和相似度值确定待预测视频的最终预测结果，最终预测结果表征目标对象的行为是否存在异常。

可选地，在本申请实施例中，神经网络模型包括：特征提取网络。

初次结果获得模块，具体用于使用特征提取网络对待预测视频进行特征提取，获得第一行为特征。

行为特征提取模块，具体用于使用特征提取网络对反转视频进行特征提取，获得第二行为特征。

可选地，在本申请实施例中，神经网络模型还包括：归一化指数函数层或者全连接层。

初次结果获得模块，具体还用于使用归一化指数函数层或者全连接层对第一行为特征进行预测。

可选地，在本申请实施例中，最终结果获得模块，包括：

相似度值判断模块，用于判断相似度值是否大于预设阈值。

第一结果确定模块，用于若相似度值不大于预设阈值，则将初次预测结果确定为最终预测结果。

第二结果确定模块，用于若相似度值大于预设阈值，则将目标对象的行为不存在异常确定为最终预测结果。

可选地，在本申请实施例中，异常行为检测装置，还包括：

数据标签获得模块，用于获得视频数据和视频标签，视频数据是针对目标对象的行为拍摄的视频，视频标签为目标对象的行为是否存在异常的标签。

网络模型获得模块，用于以视频数据为训练数据，以视频标签为训练标签，对神经网络进行训练，获得训练后的神经网络模型。

可选地，在本申请实施例中，视频数据包括反转样本视频，训练标签包括负样本标签；数据标签获得模块，包括：

异常视频获取模块，用于从视频数据中获取正样本视频，正样本视频为视频中的目标对象的行为存在异常的视频数据。

反转视频获得模块，用于以预设概率将正样本视频按照时间进行逆序反转，获得反转样本视频。

视频标签设置模块，用于将反转样本视频对应视频标签设置为负样本标签。

可选地，在本申请实施例中，网络模型获得模块，包括：

视频标签获取模块，用于将视频数据中的正样本视频按照时间进行逆序反转，获得反转样本视频，并将反转样本视频对应视频标签设置为负样本标签。

神经网络训练模块，用于以反转样本视频为训练数据，负样本标签为训练标签，对神经网络进行训练。

应理解的是，该装置与上述的异常行为检测方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件（firmware）的形式存储于存储器中或固化在装置的操作系统（operating system，OS）中的软件功能模块。

请参见图6示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备400，包括：处理器410和存储器420，存储器420存储有处理器410可执行的机器可读指令，机器可读指令被处理器410执行时执行如上的方法。

本申请实施例还提供了一种存储介质430，该存储介质430上存储有计算机程序，该计算机程序被处理器410运行时执行如上的方法。

其中，存储介质430可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。

本申请实施例提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以和附图中所标注的发生顺序不同。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这主要根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以使用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请实施例中的各个实施例的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (7)

1.一种异常行为检测方法，其特征在于，包括：

获得待预测视频，所述待预测视频是针对目标对象的行为进行采集的视频；

使用神经网络模型提取所述待预测视频中的第一行为特征，并对所述第一行为特征进行预测，获得初次预测结果；

将所述待预测视频按照时间进行逆序反转，获得反转视频，并使用所述神经网络模型提取所述反转视频中的第二行为特征；

计算所述第一行为特征与所述第二行为特征的相似度值；

根据所述初次预测结果和所述相似度值确定所述待预测视频的最终预测结果，所述最终预测结果表征所述目标对象的行为是否存在异常；

其中，所述根据所述初次预测结果和所述相似度值确定所述待预测视频的最终预测结果，包括：判断所述相似度值是否大于预设阈值；若否，则将所述初次预测结果确定为所述最终预测结果；若是，则将所述目标对象的行为不存在异常确定为所述最终预测结果；

在所述使用神经网络模型提取所述待预测视频中的第一行为特征之前，还包括：获得视频数据和视频标签，所述视频数据是针对目标对象的行为拍摄的视频，所述视频标签为所述目标对象的行为是否存在异常的标签；以所述视频数据为训练数据，以所述视频标签为训练标签，对神经网络进行训练，获得训练后的所述神经网络模型；其中，所述神经网络为LeNet、AlexNet、VGG、GoogLeNet、ResNet、DarkNet或者DenseNet，所述对神经网络进行训练，包括：将所述视频数据中的正样本视频按照时间进行逆序反转，获得反转样本视频，并将所述反转样本视频对应视频标签设置为负样本标签；以所述反转样本视频为训练数据，所述负样本标签为训练标签，对神经网络进行训练。

2.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括：特征提取网络；所述使用神经网络模型提取所述待预测视频中的第一行为特征，包括：

使用所述特征提取网络对所述待预测视频进行特征提取，获得第一行为特征；

所述使用所述神经网络模型提取所述反转视频中的第二行为特征，包括：

使用所述特征提取网络对所述反转视频进行特征提取，获得第二行为特征。

3.根据权利要求2所述的方法，其特征在于，所述神经网络模型还包括：归一化指数函数层或者全连接层；所述对所述第一行为特征进行预测，包括：

使用所述全连接层或者所述归一化指数函数层对所述第一行为特征进行预测。

4.根据权利要求1所述的方法，其特征在于，所述视频数据包括反转样本视频，所述训练标签包括负样本标签；所述获得视频数据和视频标签，包括：

从所述视频数据中获取正样本视频，所述正样本视频为视频中的目标对象的行为存在异常的视频数据；

以预设概率将所述正样本视频按照时间进行逆序反转，获得所述反转样本视频；

将所述反转样本视频对应视频标签设置为所述负样本标签。

5.一种异常行为检测装置，其特征在于，包括：

预测视频获得模块，用于获得待预测视频，所述待预测视频是针对目标对象的行为进行采集的视频；

初次结果获得模块，用于使用神经网络模型提取所述待预测视频中的第一行为特征，并对所述第一行为特征进行预测，获得初次预测结果；

行为特征提取模块，用于将所述待预测视频按照时间进行逆序反转，获得反转视频，并使用所述神经网络模型提取所述反转视频中的第二行为特征；

相似度值计算模块，用于计算所述第一行为特征与所述第二行为特征的相似度值；

最终结果获得模块，用于根据所述初次预测结果和所述相似度值确定所述待预测视频的最终预测结果，所述最终预测结果表征所述目标对象的行为是否存在异常；

其中，所述根据所述初次预测结果和所述相似度值确定所述待预测视频的最终预测结果，包括：判断所述相似度值是否大于预设阈值；若否，则将所述初次预测结果确定为所述最终预测结果；若是，则将所述目标对象的行为不存在异常确定为所述最终预测结果；

在所述使用神经网络模型提取所述待预测视频中的第一行为特征之前，还包括：获得视频数据和视频标签，所述视频数据是针对目标对象的行为拍摄的视频，所述视频标签为所述目标对象的行为是否存在异常的标签；以所述视频数据为训练数据，以所述视频标签为训练标签，对神经网络进行训练，获得训练后的所述神经网络模型；其中，所述神经网络为LeNet、AlexNet、VGG、GoogLeNet、ResNet、DarkNet或者DenseNet，所述对神经网络进行训练，包括：将所述视频数据中的正样本视频按照时间进行逆序反转，获得反转样本视频，并将所述反转样本视频对应视频标签设置为负样本标签；以所述反转样本视频为训练数据，所述负样本标签为训练标签，对神经网络进行训练。

6.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至4任一所述的方法。

7.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至4任一所述的方法。

Images