CN111325144A - 行为检测方法、装置、计算机设备和计算机可读存储介质 - Google Patents

行为检测方法、装置、计算机设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111325144A
CN111325144A CN202010101597.4A CN202010101597A CN111325144A CN 111325144 A CN111325144 A CN 111325144A CN 202010101597 A CN202010101597 A CN 202010101597A CN 111325144 A CN111325144 A CN 111325144A
Authority
CN
China
Prior art keywords
picture
human body
detected
model
portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010101597.4A
Other languages
English (en)
Inventor
周康明
牛寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202010101597.4A priority Critical patent/CN111325144A/zh
Publication of CN111325144A publication Critical patent/CN111325144A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

本申请涉及一种行为检测方法、装置、计算机设备和计算机可读存储介质。所述行为检测方法包括：从目标区域的监控视频中抽取待检测图片；根据所述待检测图片和特征提取模型，获取所述待检测图片对应的人体动作特征信息；所述特征提取模型是基于公开数据集预训练、并基于从所述目标区域的样本监控视频中抽取的样本图片进行模型参数调整后得到的；将所述人体动作特征信息输入至分类模型中，获取分类结果；所述分类模型用于根据所述人体动作特征信息识别正常行为信息；根据所述分类结果确定所述待检测图片的异常行为检测结果。采用本方法能够提升监控视频中异常行为的检测准确度。

Description

行为检测方法、装置、计算机设备和计算机可读存储介质
技术领域
本发明涉及行为检测技术领域，特别是涉及一种行为检测方法、装置、计算机设备和计算机可读存储介质。
背景技术
随着人工智能技术的快速发展，在视频监控领域，通过机器学习模型对监控视频进行智能分析，可以实现对运动目标的行为检测。例如，在金融行业中，通过分析监控视频可以检测银行营业大厅内的打架斗殴、抢劫等情况。
传统技术中，普遍使用公开数据集、或者从实际应用场景中采集的训练数据来训练机器学习模型，根据训练的机器学习模型对监控视频中的图像进行分析，检测该图像中是否包括异常行为。
然而，在实际应用中，采用上述方法对监控视频中的异常行为信息进行检测时，存在异常行为信息识别准确度低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升监控视频中异常行为的检测准确度的行为检测方法、装置、计算机设备和计算机可读存储介质。
第一方面，本申请实施例提供了一种行为检测方法，所述行为检测方法包括：
从目标区域的监控视频中抽取待检测图片；
根据所述待检测图片和特征提取模型，获取所述待检测图片对应的人体动作特征信息；所述特征提取模型是基于公开数据集预训练、并基于从所述目标区域的样本监控视频中抽取的样本图片进行模型参数调整后得到的；
将所述人体动作特征信息输入至分类模型中，获取分类结果；所述分类模型用于根据所述人体动作特征信息识别正常行为信息；
根据所述分类结果确定所述待检测图片的异常行为检测结果。
在其中一个实施例中，所述待检测图片包括至少一个人像；所述根据所述待检测图片和特征提取模型，获取所述待检测图片对应的人体动作特征信息，包括：
获取所述待检测图片中各所述人像的人体姿态点；
根据所述人体姿态点，从所述待检测图片中获取各所述人像的人体图像；
根据各所述人像的人体姿态点和对应的人体图像，生成各所述人像的人体姿态灰度图；
根据各所述人像的人体图像和人体姿态灰度图，获取所述待检测图片对应的人体动作特征信息。
在其中一个实施例中，所述根据所述人体姿态点，从所述待检测图片中获取各所述人像的人体图像，包括：
根据各所述人像的人体姿态点，获取各所述人像分别对应的位置框；
从所述待检测图片中截取与各所述位置框分别对应的图像区域，作为各所述人像的所述人体图像。
在其中一个实施例中，所述根据各所述人像的人体姿态点，获取各所述人像分别对应的位置框，包括：
根据各所述人像的人体姿态点，获取各所述人像分别对应的初始位置框；
采用预设的修正系数对各所述初始位置框进行修正，得到各所述人像分别对应的位置框。
在其中一个实施例中，所述分类结果包括正常行为的预测概率值；所述根据所述分类结果确定所述待检测图片的异常行为检测结果，包括：
若所述预测概率值大于预设阈值，则确定所述异常行为检测结果为所述待检测图片不包括异常行为信息；
若所述预测概率值不大于预设阈值，则确定所述异常行为检测结果为所述待检测图片包括异常行为信息。
在其中一个实施例中，所述特征提取模型的训练过程包括：
采用公开数据集训练初始特征提取模型，得到预训练模型；
获取所述目标区域的第一样本监控视频，并从所述第一样本监控视频中抽取多帧样本图片；
根据所述多帧样本图片，对所述预训练模型的模型参数进行调整，得到所述特征提取模型。
在其中一个实施例中，所述分类模型的训练过程包括：
获取所述目标区域的第二样本监控视频，并从所述第二样本监控视频中抽取多帧正样本图片；所述正样本图片包括正常行为信息；
根据所述多帧正样本图片训练初始分类模型，得到所述分类模型。
第二方面，本申请实施例提供一种行为检测装置，所述装置包括：
抽取模块，用于从目标区域的监控视频中抽取待检测图片；
特征提取模块，用于根据所述待检测图片和特征提取模型，获取所述待检测图片对应的人体动作特征信息；所述特征提取模型是基于公开数据集预训练、并基于从所述目标区域的样本监控视频中抽取的样本图片进行模型参数调整后得到的；
分类模块，用于将所述人体动作特征信息输入至分类模型中，获取分类结果；所述分类模型用于根据所述人体动作特征信息识别正常行为信息；
确定模块，用于根据所述分类结果确定所述待检测图片的异常行为检测结果。
第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法的步骤。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过从目标区域的监控视频中抽取待检测图片；根据所述待检测图片和特征提取模型，获取所述待检测图片对应的人体动作特征信息；所述特征提取模型是基于公开数据集预训练、并基于从所述目标区域的样本监控视频中抽取的样本图片进行模型参数调整后得到的；将所述人体动作特征信息输入至分类模型中，获取分类结果；所述分类模型用于根据所述人体动作特征信息识别正常行为信息；根据所述分类结果确定所述待检测图片的异常行为检测结果；由此，本申请特征提取模型是基于公开数据集预训练、并基于从实际应用场景中采集的训练数据进行模型参数调整得到的，避免了传统技术中，仅采用公开数据集训练特征提取模型，由于公开数据集中的训练数据与实际应用场景中的待检测图片在角度、光照等方面均存在较大差异，导致训练的特征提取模型在实际场景中无法使用的问题；本申请分类模型根据人体动作特征信息识别正常行为信息，避免了传统技术中，从实际应用场景中采集训练数据来训练分类模型，由于采集的训练数据中异常行为的样本非常少，导致分类模型在训练过程中无法学习到异常行为信息的问题；本申请分类模型对待检测图片中的正常行为信息进行检测分类，根据正常行为的分类结果确定待检测图片的异常行为检测结果，提升了待检测图片的异常行为检测的准确度。
附图说明
图1为一个实施例提供的行为检测方法的流程示意图；
图2为一个实施例提供的行为检测方法中步骤S200的细化步骤示意图；
图3为一组人体姿态点的点位示意图；
图4为一个实施例提供的行为检测方法中步骤S220的细化步骤示意图；
图5为一个实施例提供的行为检测方法中步骤S221的细化步骤示意图；
图6为一个实施例提供的行为检测方法的流程示意图；
图7为一个实施例提供的特征提取模型的训练过程示意图；
图8为一个实施例提供的分类模型的训练过程示意图；
图9为一个实施例提供的行为检测方法的流程示意图；
图10为一个实施例提供的行为检测装置的结构框图；
图11为一个实施例提供的计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的行为检测方法、装置、计算机设备和计算机可读存储介质，旨在解决传统技术中，使用公开数据集、或者从实际应用场景中采集训练数据训练的机器学习模型，对目标区域的监控图像中的异常行为检测准确度低的技术问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体地实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
需要说明的是，本申请实施例提供的行为检测方法，其执行主体可以是行为检测装置，该行为检测装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例中，均以执行主体是计算机设备为例来进行说明，计算机设备可以是服务器；可以理解的是，下述方法实施例提供的行为检测方法，也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。
请参考图1，其示出了本申请实施例提供的一种行为检测方法的流程示意图。本实施例涉及的是对监控视频中的待检测图片进行异常行为检测的具体实现过程。如图1所示，本实施例行为检测方法可以包括以下步骤：
步骤S100，从目标区域的监控视频中抽取待检测图片。
其中，目标区域可以是银行的营业大厅、自动取款机区域或流动人员密集的公共区域等需要行为监控的区域。以银行的营业大厅为例，正常情况下，用户的行为通常是在座位等待、走动取号或者在柜台接受服务，但是，对于营业大厅内的打斗、斗殴、抢劫等异常行为，需要通过监控视频及时发现，并采取相应的安保措施。
监控视频是采用监控设备对目标区域拍摄得到的视频数据，计算机设备从监控视频中抽取待检测图片，具体可以是根据预设的采样间隔，从监控视频中抽取单帧待检测图片。该采样间隔在实施时可以根据实际需求自行设定，例如，采样间隔可以设定为40毫秒或80毫秒，等等，本实施例在此不做具体限制。
步骤S200，根据待检测图片和特征提取模型，获取待检测图片对应的人体动作特征信息。
其中，特征提取模型是基于公开数据集预训练、并基于从目标区域的样本监控视频中抽取的样本图片进行模型参数调整后得到的。
继续以银行的营业大厅为例，正常情况下，用户的多种行为虽然各有不同，但是会有比较类似的特征，如运动幅度较小；但是打架、斗殴等异常行为的运动幅度则较大。因此，计算机设备根据训练的特征提取模型对待检测图片进行特征提取，得到待检测图片对应的人体动作特征信息，以便于计算机设备根据该人体动作特征信息进一步获取待检测图片的异常行为检测结果。
作为一种实施方式，计算机设备首先按照预设尺寸对待检测图片进行裁剪，并对裁剪后的待检测图片进行归一化处理，再将归一化处理后的待检测图片输入至特征提取模型中，得到待检测图片对应的人体动作特征信息。
本实施例中，人体动作特征信息具体为人体动作特征向量，该人体动作特征向量的维度，在实际实施时可以通过设置特征提取模型参数的方式自行设置，例如，人体动作特征向量的维度为128。
传统技术中，采用公开数据集训练得到特征提取模型，但是，公开数据集中的训练数据与实际应用场景中的待检测图片在角度、光照等方面均存在较大差异，例如，公开数据集中的训练图片，视角一般都是正常平视角度，但是实际应用场景中，监控设备一般安装在用户的上方位置，这就导致训练的特征提取模型在实际应用场景中无法使用。
本实施例中，特征提取模型的模型框架可以是残差网络ResNet-50或BN-Inception，等等，在此不做具体限制。ResNet-50及BN-Inception均为基于卷积神经网络的特征提取模型框架。计算机设备首先采用公开数据集对初始特征提取模型进行预训练至模型收敛或即将收敛，再根据从实际应用场景中采集的样本图片对预训练后的特征提取模型的模型参数进行微调，由此，避免了采用公开数据集训练的特征提取模型在实际应用场景中无法使用的问题。
步骤S300，将人体动作特征信息输入至分类模型中，获取分类结果。
分类模型用于根据人体动作特征信息识别正常行为信息。
本实施例中，分类模型是根据从实际应用场景中采集的正样本图片训练得到的。正样本图片包括用户的正常行为信息，由于实际应用场景中正样本图片数量充足，分类模型在训练过程中可以充分学习到用户正常行为的特征。
计算机设备获取到待检测图片对应的人体动作特征信息后，将该人体动作特征信息输入至训练的分类模型中，通过分类模型对人体动作特征信息进行识别，得到分类结果。本实施例中，分类结果可以是正常行为的预测概率值，在其它实施例中，分类结果也可以是“1”或者“0”，等等，在此不做具体限制。
本实施例中，作为一种实施方式，分类模型可以是单类支持向量机，在其它实施例中，分类模型也可以是其它的分类模型网络框架，在此不做具体限制。
步骤S400，根据分类结果确定待检测图片的异常行为检测结果。
计算机设备将人体动作特征信息输入至分类模型中，得到分类结果后，根据分类结果确定待检测图片的异常行为检测结果。
本实施例中，分类结果可以为正常行为的预测概率值，计算机设备检测该预测概率值是否大于预设阈值，例如，预测概率值为0.3，预设阈值为0.5，预测概率值小于预设阈值，计算机设备则确定待检测图片包括的不是正常行为信息，则进一步确定待检测图片的异常行为检测结果为待检测图片中包括异常行为信息。预设阈值在实际实施时可以自行设置。
在其它实施例中，分类结果也可以是“1”或者“0”。例如，分类结果为“1”，计算机设备则确定待检测图片包括的是正常行为信息，则进一步确定待检测图片的异常行为检测结果为待检测图片中不包括异常行为信息；或者，分类结果也可以为“0”，计算机设备则确定待检测图片包括的不是正常行为信息，则进一步确定待检测图片的异常行为检测结果为待检测图片中包括异常行为信息。
本实施例通过从目标区域的监控视频中抽取待检测图片；根据待检测图片和特征提取模型，获取待检测图片对应的人体动作特征信息；特征提取模型是基于公开数据集预训练、并基于从目标区域的样本监控视频中抽取的样本图片进行模型参数调整后得到的；将人体动作特征信息输入至分类模型中，获取分类结果；分类模型用于根据人体动作特征信息识别正常行为信息；根据分类结果确定待检测图片的异常行为检测结果；由此，本实施例特征提取模型是基于公开数据集预训练、并基于从实际应用场景中采集的训练数据进行模型参数调整得到的，避免了传统技术中，仅采用公开数据集训练特征提取模型，由于公开数据集中的训练数据与实际应用场景中的待检测图片在角度、光照等方面均存在较大差异，导致训练的特征提取模型在实际场景中无法使用的问题；本实施例分类模型根据人体动作特征信息识别正常行为信息，避免了传统技术中，从实际应用场景中采集训练数据来训练分类模型，由于采集的训练数据中异常行为的样本非常少，导致分类模型在训练过程中无法学习到异常行为信息的问题；本实施例分类模型对待检测图片中的正常行为信息进行检测分类，根据正常行为的分类结果确定待检测图片的异常行为检测结果，提升了待检测图片的异常行为检测的准确度。
在上述图1所示实施例的基础上，参见图2，图2为另一个实施例提供的行为检测方法中步骤S200的细化步骤示意图。如图2所示，本实施例步骤S200包括步骤S210、步骤S220、步骤S230和步骤S240，具体地：
步骤S210，获取待检测图片中各人像的人体姿态点。
其中，待检测图片包括至少一个人像。计算机设备获取待检测图片中各人像的人体姿态点，具体可以是将待检测图片输入至人体姿态估计模型中，得到待检测图片中每个人像的分别对应的一组人体姿态点。
本实施例中，人体姿态估计模型可以是Open Pose模型，计算机设备将待检测图片输入至Open Pose模型，得到的输出结果为bpts＝{bpt1,bpt2,…,bptN},其中，bpts表示待检测图片中所有人像的人体姿态点；N表示待检测图片中人像的个数；bpt1,bpt2,…,bptN分别为每个人像对应的一组人体姿态点，即bpt1表示待检测图片中第一个人像的一组人体姿态点，bpt2表示待检测图片中第二个人像的一组人体姿态点，等等。
本实施例中，每个人像对应的一组人体姿态点均包括人体骨架的25个主要关节点。参见图3，图3为一组人体姿态点的示意图。如图3所示，一个人像的25个人体姿态点分别为：0-鼻子,1-脖子,2-右肩膀,3-右手肘,4-右手腕,5-左肩膀,6-左手肘,7-左手腕,8-骶骨,9-右胯骨,10-右膝盖,11-右脚踝,12-左胯骨,13-左膝盖,14-左脚踝,15-右眼,16-左眼,17-右耳,18-左耳,19-左脚趾1,20-左脚趾2,21-左脚跟,22-右脚趾1,23-右脚趾2,24-右脚跟。
步骤S220，根据人体姿态点，从待检测图片中获取各人像的人体图像。
计算机设备根据待检测图片中，每个人像对应的一组人体姿态点，获取每个人像的人体图像。
作为一种实施方式，计算机设备可以根据一个人像对应的一组人体姿态点得到一个位置框，再从待检测图片中截取与该位置框对应的图像区域作为该人像的人体图像。由此，计算机设备根据待检测图片中各人像分别对应的一组人体姿态点，则可以得到待检测图片中获取各人像的人体图像。
步骤S230，根据各人像的人体姿态点和对应的人体图像，生成各人像的人体姿态灰度图。
计算机设备获取到待检测图片中每个人像的一组人体姿态点和一张人体图像后，根据一个人像对应的一组人体姿态点和一张人体图像可以生成该人像的人体姿态灰度图，得到人体姿态灰度图集合P＝{p1,p2,…,pN}，其中，p1,p2,…,pN分别代表待检测图片中各人像的人体姿态灰度图。
本实施例中，计算机设备可以根据以下公式1，获取目标人像的人体姿态灰度图，人体姿态灰度图为单通道灰度图，目标人像为待检测图片包括的多个人像中的任一个。
Figure BDA0002387033720000101
其中，pi(x,y)为目标人像中第i个像素点的像素值，(xj,yj)为目标人像25个人体姿态点中第j个人体姿态点的坐标，σ在实际实施时可以自行设置。
本实施例中，pi(x,y)∈[0,1]，即计算机设备获取的人体姿态灰度图为归一化后的灰度图，便于计算机设备根据获取的人体姿态灰度图进行特征提取操作。
步骤S240，根据各人像的人体图像和人体姿态灰度图，获取待检测图片对应的人体动作特征信息。
计算机设备获取到待检测图片中所有人像对应的人体图像和人体姿态灰度图后，将所有人像的人体图像和人体姿态灰度图同时输入至特征提取模型，得到待检测图片对应的人体动作特征信息。特征提取模型可以是基于公开数据集预训练、并基于从目标区域的样本监控视频中抽取的样本图片进行模型参数调整后得到的ResNet-50。
本实施例通过获取待检测图片中各人像的人体姿态点；根据人体姿态点，从待检测图片中获取各人像的人体图像；根据各人像的人体姿态点和对应的人体图像，生成各人像的人体姿态灰度图；根据各人像的人体图像和人体姿态灰度图，获取待检测图片对应的人体动作特征信息；由此，同时使用人体图像和人体姿态灰度图进行特征提取,提取的特征信息更丰富,生成高区分度的人体动作特征信息，本实施例结合人体姿态估计技术进行待检测图片的特征提取，提升了待检测图片的特征区分度，进而提升了基于人体动作特征信息的异常行为检测结果的准确度。
在上述图2所示实施例的基础上，参见图4，图4为另一个实施例提供的行为检测方法中步骤S220的细化步骤示意图。如图4所示，本实施例步骤S220包括步骤S221和步骤S222，具体地：
步骤S221，根据各人像的人体姿态点，获取各人像分别对应的位置框。
本实施例中，继续采用bpt1,bpt2,…,bptN表示待检测图片中N个人像分别对应的一组人体姿态点。计算机设备根据bpt1得到第一个人像对应的位置框rect1，根据bpt2得到第二个人像对应的位置框rect2,…,根据bptN得到第N个人像对应的位置框rectN。
具体地，采用bpti表示bpt1，bpt2，…，bptN中任一组人体姿态点，bpti＝{(x0,y0),(x1,y1),…,(x24,y24)}，其中，(x0,y0)，(x1,y1),…,(x24,y24)分别为bpti包括的25个人体姿态点的点坐标。
采用recti表示基于bpti得到的矩形位置框，recti＝{x1,y1,x2,y2},其中，(x1,y1)为该位置框recti的左下角坐标，(x2,y2)为该位置框recti的右上角坐标，本实施例中，计算机设备根据下述公式2-公式5分别得到x1，y1，x2，y2的值：
x1＝min(xi),0≤i≤24 公式2
y1＝min(yi),0≤i≤24 公式3
x2＝max(xi),0≤i≤24 公式4
y2＝max(yi),0≤i≤24 公式5
由此，得到待检测图片中各人像分别对应的一个位置框。
步骤S22，从待检测图片中截取与各位置框分别对应的图像区域，作为各人像的人体图像。
计算机设备从待检测图片中截取与各位置框分别对应的图像区域，作为各人像的人体图像。
本实施例根据各人像的人体姿态点，获取各人像分别对应的位置框；从待检测图片中截取与各位置框分别对应的图像区域，作为各人像的人体图像；由此，基于各人像的人体姿态点的坐标，从待检测图片中截取各人像的人体图像，提升了人体图像的截取准确度和特征丰富性，进而提升了人体姿态灰度图和人体动作特征信息的特征丰富性。
在上述图4所示实施例的基础上，参见图5，图5为另一个实施例提供的行为检测方法中步骤S221的细化步骤示意图。如图5所示，本实施例步骤S221包括步骤S221a和步骤S221b，具体地：
步骤S221a，根据各人像的人体姿态点，获取各人像分别对应的初始位置框。
本实施例中，计算机设备首先通过图4所示实施例中的实施方式，根据待检测图片中N个人像分别对应的一组人体姿态点bpt1,bpt2,…,bptN，得到各人像分别对应的初始位置框rect1,rect2,…,rectN，N个初始位置框中的任一个初始位置框recti＝{x1,y1,x2,y2}。
步骤S221b，采用预设的修正系数对各初始位置框进行修正，得到各人像分别对应的位置框。
本实施例中，为了进一步提升位置框的位置准确度，计算机设备采用预设的修正系数对各初始位置框进行修正，得到各人像分别对应的位置框。
初始位置框recti对应的修正后的位置框rectRi＝{xR1,yR1,xR2,yR2}，其中，(xR1,yR1)为位置框rectRi的左下角坐标，(xR2,yR2)为位置框rectRi的右上角坐标。
本实施例中，计算机设备根据下述公式6-公式9分别得到xR1，yR1，xR2，yR2的值：
xR1＝x1*k1 公式6
yR1＝y1*k1 公式7
xR2＝x2*k2 公式8
yR2＝y2*k2 公式9
其中，k1、k2的取值可根据实际实施情况进行调整,例如k1＝0.9，k2＝1.1，等等。
本实施例通过根据各人像的人体姿态点，获取各人像分别对应的初始位置框；采用预设的修正系数对各初始位置框进行修正，得到各人像分别对应的位置框；由此，进一步提升了位置框的位置准确度，提升了人体图像的截取准确度和特征丰富性，进而提升了人体姿态灰度图和人体动作特征信息的特征丰富性。
图6为另一个实施例提供的行为检测方法的流程示意图。在上述图1所示实施例的基础上，如图6所示，本实施例中，步骤S400包括步骤S410和步骤S420，具体地：
步骤S410，若预测概率值大于预设阈值，则确定异常行为检测结果为待检测图片不包括异常行为信息。
本实施例中，分类结果具体包括正常行为的预测概率值。计算机设备根据分类结果确定待检测图片的异常行为检测结果，具体是通过比较预测概率值和预设阈值之间的大小来确定的。
本实施例中，分类模型用于根据人体动作特征信息识别正常行为信息，得到的分类结果包括正常行为的预测概率值，若预测概率值大于预设阈值，则确定待检测图片包括的是正常行为信息，即待检测图片的异常行为检测结果为待检测图片不包括异常行为信息。
步骤S420，若预测概率值不大于预设阈值，则确定异常行为检测结果为待检测图片包括异常行为信息。
计算机设备若检测到预测概率值不大于预设阈值，则确定待检测图片包括的不是正常行为信息，即待检测图片的异常行为检测结果为待检测图片包括异常行为信息。
本实施例通过比较预测概率值与预设阈值之间的关系，若预测概率值大于预设阈值，则确定异常行为检测结果为待检测图片不包括异常行为信息；若预测概率值不大于预设阈值，则确定异常行为检测结果为待检测图片包括异常行为信息；由此，通过分类模型对正常行为信息预测，间接得到待检测图片的异常行为检测结果；避免了传统技术中，异常行为检测准确度低的问题，本实施例提升了监控视频中异常行为检测的准确度。
图7为另一个实施例提供的特征提取模型的训练过程示意图。在上述图1所示实施例的基础上，如图7所示，本实施例特征提取模型的训练过程包括：
步骤S510，采用公开数据集训练初始特征提取模型，得到预训练模型。
本实施例中，初始特征提取模型可以是参数初始化的ResNet-50或BN-Inception，等等。
计算机设备采用公开数据集训练初始特征提取模型至模型收敛或即将收敛，得到预训练模型。
步骤S520，获取目标区域的第一样本监控视频，并从第一样本监控视频中抽取多帧样本图片。
计算机设备获取目标区域的第一样本监控视频，并从第一样本监控视频中抽取多帧样本图片。
第一样本监控视频可以是目标区域的历史监控视频，计算机设备获取到第一样本监控视频后，从第一样本监控视频中采样，得到多帧样本图片。
步骤S530，根据多帧样本图片，对预训练模型的模型参数进行调整，得到特征提取模型。
计算机设备将多帧样本图片输入至预训练模型中继续训练该模型，以对预训练模型的模型参数进行调整，最终得到特征提取模型。
本实施例通过采用公开数据集训练初始特征提取模型，得到预训练模型；获取目标区域的第一样本监控视频，并从第一样本监控视频中抽取多帧样本图片；根据多帧样本图片，对预训练模型的模型参数进行调整，得到特征提取模型；避免了传统技术中，仅采用公开数据集训练特征提取模型，由于公开数据集中的训练数据与实际应用场景中的待检测图片在角度、光照等方面均存在较大差异，导致训练的特征提取模型在实际场景中无法使用的问题。本实施例提升了特征提取模型在实际应用场景中的模型可用性。
图8为另一个实施例提供的分类模型的训练过程示意图。在上述图1所示实施例的基础上，如图8所示，本实施例分类模型的训练过程包括：
步骤S610，获取目标区域的第二样本监控视频，并从第二样本监控视频中抽取多帧正样本图片。
其中，正样本图片包括正常行为信息，本实施例中，计算机设备获取目标区域的第二样本监控视频，第二样本监控视频为目标区域的历史监控视频，计算机设备从第二样本监控视频中采样，得到多帧包括正常行为信息的正样本图片。
继续以目标区域为银行的营业大厅为例，正样本图片中用户的行为是走动取号、在座位等待或者在柜台接受服务等正常行为，负样本图片中用户的行为是打架、斗殴等异常行为，可以理解的是，目标区域的历史监控视频中，正样本图片要远远高于负样本图片的数量。
步骤S620，根据多帧正样本图片训练初始分类模型，得到分类模型。
计算机设备根据多帧正样本图片训练初始分类模型，得到分类模型，本实施例中，初始分类模型为参数初始化的单类支持向量机。
具体地，计算机设备采用Open Pose模型获取正样本图片中各人像的人体姿态点，根据人体姿态点得到每个人像的位置框后，从正样本图片中截取各人像的人体图像，再根据各人像的人体姿态点和对应的人体图像，生成各人像的人体姿态灰度图。计算机设备将各人像的人体图像和人体姿态灰度图输入至训练的特征提取模型中，得到正样本图片对应的人体动作特征信息，再将每个正样本图片的人体动作特征信息输入至参数初始化的单类支持向量机中，选择合适的核函数,如线性核函数进行模型训练，训练完成后得到本实施例分类模型。在训练过程中，可以尝试使用不同的核函数,再依据训练效果确定最终的核函数。
本实施例通过获取目标区域的第二样本监控视频，并从第二样本监控视频中抽取多帧正样本图片；根据多帧正样本图片训练初始分类模型，得到分类模型。由此，避免了传统技术中，从实际应用场景中采集训练数据来训练分类模型，由于采集的训练数据中异常行为的样本非常少，导致分类模型在训练过程中无法学习到异常行为信息的问题；本实施例训练得到的分类模型对待检测图片中的正常行为信息进行检测分类，根据正常行为的分类结果确定待检测图片的异常行为检测结果，提升了待检测图片的异常行为检测的准确度。
图9为另一个实施例提供的行为检测方法的流程示意图。在上述图1-图8所示实施例的基础上，如图9所示，本实施例中行为检测方法包括：
步骤S100，从目标区域的监控视频中抽取待检测图片。
本实施例中，目标区域以银行的营业大厅为例，正常情况下，用户的行为通常是在座位等待、走动取号或者在柜台接受服务，但是，对于营业大厅内的打斗、斗殴、抢劫等异常行为，需要通过监控视频及时发现，并采取相应的安保措施。
监控视频是采用监控设备对目标区域拍摄得到的视频数据，计算机设备从监控视频中抽取待检测图片，具体可以是根据预设的采样间隔，从监控视频中抽取单帧待检测图片。该采样间隔在实施时可以根据实际需求自行设定，本实施例中，采样间隔可以设定为40毫秒或80毫秒，等等，在此不做具体限制。
步骤S210，获取待检测图片中各人像的人体姿态点。
其中，待检测图片包括至少一个人像。计算机设备可以将待检测图片输入至人体姿态估计模型Open Pose模型中，得到待检测图片中每个人像的分别对应的一组人体姿态点。
具体地，计算机设备将待检测图片输入至Open Pose模型，得到的输出结果为bpts＝{bpt1,bpt2,…,bptN},其中，bpts表示待检测图片中所有人像的人体姿态点；N表示待检测图片中人像的个数；bpt1,bpt2,…,bptN分别为每个人像对应的一组人体姿态点，即bpt1表示待检测图片中第一个人像的一组人体姿态点，bpt2表示待检测图片中第二个人像的一组人体姿态点，等等。
步骤S221a，根据各人像的人体姿态点，获取各人像分别对应的初始位置框。
计算机设备根据bpt1得到第一个人像对应的位置框rect1，根据bpt2得到第二个人像对应的位置框rect2,…,根据bptN得到第N个人像对应的位置框rectN。
具体地，采用bpti表示bpt1，bpt2，…，bptN中的任一组人体姿态点：
bpti＝{(x0,y0),(x1,y1),…,(x24,y24)}；
其中，(x0,y0)，(x1,y1),…,(x24,y24)分别为bpti包括的25个人体姿态点的点坐标。
采用recti表示基于bpti得到的矩形初始位置框，recti＝{x1,y1,x2,y2},其中,(x1,y1)为该初始位置框recti的左下角坐标,(x2,y2)为该初始位置框recti的右上角坐标，本实施例中，计算机设备根据下述公式2-公式5分别得到x1，y1，x2，y2的值：
x1＝min(xi),0≤i≤24 公式2
y1＝min(yi),0≤i≤24 公式3
x2＝max(xi),0≤i≤24 公式4
y2＝max(yi),0≤i≤24 公式5
由此，得到待检测图片中各人像分别对应的一个初始位置框。
步骤S221b，采用预设的修正系数对各初始位置框进行修正，得到各人像分别对应的位置框。
为了进一步提升位置框的位置准确度，计算机设备采用预设的修正系数对各初始位置框进行修正，得到各人像分别对应的位置框。
初始位置框recti对应的修正后的位置框rectRi＝{xR1,yR1,xR2,yR2}，其中，(xR1,yR1)为位置框rectRi的左下角坐标，(xR2,yR2)为位置框rectRi的右上角坐标。
计算机设备根据下述公式6-公式9分别得到xR1，yR1，xR2，yR2的值：
xR1＝x1*k1 公式6
yR1＝y1*k1 公式7
xR2＝x2*k2 公式8
yR2＝y2*k2 公式9
其中，k1、k2的取值可根据实际实施情况进行调整,例如k1＝0.9，k2＝1.1，等等。
步骤S22，从待检测图片中截取与各位置框分别对应的图像区域，作为各人像的人体图像。
计算机设备从待检测图片中截取与各位置框分别对应的图像区域，作为各人像的人体图像。
步骤S230，根据各人像的人体姿态点和对应的人体图像，生成各人像的人体姿态灰度图。
计算机设备获取到待检测图片中每个人像的一组人体姿态点和一张人体图像后，根据一个人像对应的一组人体姿态点和一张人体图像可以生成该人像的人体姿态灰度图，得到人体姿态灰度图集合P＝{p1,p2,…,pN}，其中，p1,p2,…,pN分别代表待检测图片中各人像的人体姿态灰度图。
本实施例中，计算机设备可以根据以下公式1，获取目标人像的人体姿态灰度图，人体姿态灰度图为单通道灰度图，目标人像为待检测图片包括的多个人像中的任一个。
Figure BDA0002387033720000191
其中，pi(x,y)为目标人像中第i个像素点的像素值，(xj,yj)为目标人像25个人体姿态点中第j个人体姿态点的坐标，σ在实际实施时可以自行设置。
本实施例中，pi(x,y)∈[0,1]，即计算机设备获取的人体姿态灰度图为归一化后的灰度图，便于计算机设备根据获取的人体姿态灰度图进行特征提取操作。
步骤S240，根据各人像的人体图像和人体姿态灰度图，获取待检测图片对应的人体动作特征信息。
计算机设备获取到待检测图片中所有人像对应的人体图像和人体姿态灰度图后，将所有人像的人体图像和人体姿态灰度图同时输入至特征提取模型，得到待检测图片对应的人体动作特征信息。特征提取模型可以是基于公开数据集预训练、并基于从目标区域的样本监控视频中抽取的样本图片进行模型参数调整后得到的ResNet-50。
步骤S300，将人体动作特征信息输入至分类模型中，获取分类结果。
分类模型用于根据人体动作特征信息识别正常行为信息。
本实施例中，分类模型是根据从实际应用场景中采集的正样本图片训练得到的。正样本图片包括用户的正常行为信息，由于实际应用场景中正样本图片数量充足，分类模型在训练过程中可以充分学习到用户正常行为的特征。
计算机设备获取到待检测图片对应的人体动作特征信息后，将该人体动作特征信息输入至训练的分类模型中，通过分类模型对人体动作特征信息进行识别，得到分类结果。本实施例中，分类结果可以是正常行为的预测概率值，在其它实施例中，分类结果也可以是“1”或者“0”，等等，在此不做具体限制。
本实施例中，作为一种实施方式，分类模型可以是单类支持向量机。
步骤S410，若预测概率值大于预设阈值，则确定异常行为检测结果为待检测图片不包括异常行为信息。
本实施例中，分类结果具体包括正常行为的预测概率值。计算机设备根据分类结果确定待检测图片的异常行为检测结果，具体是通过比较预测概率值和预设阈值之间的大小来确定的。
本实施例中，分类模型用于根据人体动作特征信息识别正常行为信息，得到的分类结果包括正常行为的预测概率值，若预测概率值大于预设阈值，则确定待检测图片包括的是正常行为信息，即待检测图片的异常行为检测结果为待检测图片不包括异常行为信息。
步骤S420，若预测概率值不大于预设阈值，则确定异常行为检测结果为待检测图片包括异常行为信息。
计算机设备若检测到预测概率值不大于预设阈值，则确定待检测图片包括的不是正常行为信息，即待检测图片的异常行为检测结果为待检测图片包括异常行为信息。
由此，本实施例结合人体姿态估计技术进行待检测图片的特征提取，同时使用人体图像和人体姿态灰度图进行特征提取,提取的特征信息更丰富,生成高区分度的人体动作特征信息。本实施例分类模型根据人体动作特征信息识别正常行为信息，避免了传统技术中，从实际应用场景中采集训练数据来训练分类模型，由于采集的训练数据中异常行为的样本非常少，导致分类模型在训练过程中无法学习到异常行为信息的问题；本实施例分类模型对待检测图片中的正常行为信息进行检测分类，根据正常行为的分类结果确定待检测图片的异常行为检测结果，提升了待检测图片的异常行为检测的准确度。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种行为检测装置，包括：
抽取模块10，用于从目标区域的监控视频中抽取待检测图片；
特征提取模块20，用于根据所述待检测图片和特征提取模型，获取所述待检测图片对应的人体动作特征信息；所述特征提取模型是基于公开数据集预训练、并基于从所述目标区域的样本监控视频中抽取的样本图片进行模型参数调整后得到的；
分类模块30，用于将所述人体动作特征信息输入至分类模型中，获取分类结果；所述分类模型用于根据所述人体动作特征信息识别正常行为信息；
确定模块40，用于根据所述分类结果确定所述待检测图片的异常行为检测结果。
可选地，所述待检测图片包括至少一个人像；所述特征提取模块20包括：
第一获取子模块，用于获取所述待检测图片中各所述人像的人体姿态点；
第二获取子模块，用于根据所述人体姿态点，从所述待检测图片中获取各所述人像的人体图像；
生成子模块，用于根据各所述人像的人体姿态点和对应的人体图像，生成各所述人像的人体姿态灰度图；
提取子模块，用于根据各所述人像的人体图像和人体姿态灰度图，获取所述待检测图片对应的人体动作特征信息。
可选地，所述第二获取子模块，包括：
获取单元，用于根据各所述人像的人体姿态点，获取各所述人像分别对应的位置框；
截取单元，用于从所述待检测图片中截取与各所述位置框分别对应的图像区域，作为各所述人像的所述人体图像。
可选地，获取单元，包括：
获取子单元，用于根据各所述人像的人体姿态点，获取各所述人像分别对应的初始位置框；
修改子单元，用于采用预设的修正系数对各所述初始位置框进行修正，得到各所述人像分别对应的位置框。
可选地，所述分类结果包括正常行为的预测概率值；所述确定模块40包括：
第一确定子模块，用于若所述预测概率值大于预设阈值，则确定所述异常行为检测结果为所述待检测图片不包括异常行为信息；
第二确定子模块，用于若所述预测概率值不大于预设阈值，则确定所述异常行为检测结果为所述待检测图片包括异常行为信息。
可选地，所述装置还包括：
预训练模块，用于采用公开数据集训练初始特征提取模型，得到预训练模型；
第一采样模块，用于获取所述目标区域的第一样本监控视频，并从所述第一样本监控视频中抽取多帧样本图片；
第一训练模块，用于根据所述多帧样本图片，对所述预训练模型的模型参数进行调整，得到所述特征提取模型。
可选地，所述装置还包括：
第二采样模块，用于获取所述目标区域的第二样本监控视频，并从所述第二样本监控视频中抽取多帧正样本图片；所述正样本图片包括正常行为信息；
第二训练模块，用于根据所述多帧正样本图片训练初始分类模型，得到所述分类模型。
本实施例提供的行为检测装置，可以执行上述行为检测方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于行为检测装置的具体限定可以参见上文中对于行为检测方法的限定，在此不再赘述。上述行为检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，还提供了一种如图11所示的计算机设备，该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储行为检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种行为检测方法。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体地计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
从目标区域的监控视频中抽取待检测图片；根据所述待检测图片和特征提取模型，获取所述待检测图片对应的人体动作特征信息；所述特征提取模型是基于公开数据集预训练、并基于从所述目标区域的样本监控视频中抽取的样本图片进行模型参数调整后得到的；将所述人体动作特征信息输入至分类模型中，获取分类结果；所述分类模型用于根据所述人体动作特征信息识别正常行为信息；根据所述分类结果确定所述待检测图片的异常行为检测结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Ramb微秒)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
从目标区域的监控视频中抽取待检测图片；根据所述待检测图片和特征提取模型，获取所述待检测图片对应的人体动作特征信息；所述特征提取模型是基于公开数据集预训练、并基于从所述目标区域的样本监控视频中抽取的样本图片进行模型参数调整后得到的；将所述人体动作特征信息输入至分类模型中，获取分类结果；所述分类模型用于根据所述人体动作特征信息识别正常行为信息；根据所述分类结果确定所述待检测图片的异常行为检测结果。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种行为检测方法，其特征在于，所述方法包括：
从目标区域的监控视频中抽取待检测图片；
根据所述待检测图片和特征提取模型，获取所述待检测图片对应的人体动作特征信息；所述特征提取模型是基于公开数据集预训练、并基于从所述目标区域的样本监控视频中抽取的样本图片进行模型参数调整后得到的；
将所述人体动作特征信息输入至分类模型中，获取分类结果；所述分类模型用于根据所述人体动作特征信息识别正常行为信息；
根据所述分类结果确定所述待检测图片的异常行为检测结果。
2.根据权利要求1所述的方法，其特征在于，所述待检测图片包括至少一个人像；所述根据所述待检测图片和特征提取模型，获取所述待检测图片对应的人体动作特征信息，包括：
获取所述待检测图片中各所述人像的人体姿态点；
根据所述人体姿态点，从所述待检测图片中获取各所述人像的人体图像；
根据各所述人像的人体姿态点和对应的人体图像，生成各所述人像的人体姿态灰度图；
根据各所述人像的人体图像和人体姿态灰度图，获取所述待检测图片对应的人体动作特征信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述人体姿态点，从所述待检测图片中获取各所述人像的人体图像，包括：
根据各所述人像的人体姿态点，获取各所述人像分别对应的位置框；
从所述待检测图片中截取与各所述位置框分别对应的图像区域，作为各所述人像的所述人体图像。
4.根据权利要求3所述的方法，其特征在于，所述根据各所述人像的人体姿态点，获取各所述人像分别对应的位置框，包括：
根据各所述人像的人体姿态点，获取各所述人像分别对应的初始位置框；
采用预设的修正系数对各所述初始位置框进行修正，得到各所述人像分别对应的位置框。
5.根据权利要求1所述的方法，其特征在于，所述分类结果包括正常行为的预测概率值；所述根据所述分类结果确定所述待检测图片的异常行为检测结果，包括：
若所述预测概率值大于预设阈值，则确定所述异常行为检测结果为所述待检测图片不包括异常行为信息；
若所述预测概率值不大于预设阈值，则确定所述异常行为检测结果为所述待检测图片包括异常行为信息。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述特征提取模型的训练过程包括：
采用公开数据集训练初始特征提取模型，得到预训练模型；
获取所述目标区域的第一样本监控视频，并从所述第一样本监控视频中抽取多帧样本图片；
根据所述多帧样本图片，对所述预训练模型的模型参数进行调整，得到所述特征提取模型。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述分类模型的训练过程包括：
获取所述目标区域的第二样本监控视频，并从所述第二样本监控视频中抽取多帧正样本图片；所述正样本图片包括正常行为信息；
根据所述多帧正样本图片训练初始分类模型，得到所述分类模型。
8.一种行为检测装置，其特征在于，所述装置包括：
抽取模块，用于从目标区域的监控视频中抽取待检测图片；
特征提取模块，用于根据所述待检测图片和特征提取模型，获取所述待检测图片对应的人体动作特征信息；所述特征提取模型是基于公开数据集预训练、并基于从所述目标区域的样本监控视频中抽取的样本图片进行模型参数调整后得到的；
分类模块，用于将所述人体动作特征信息输入至分类模型中，获取分类结果；所述分类模型用于根据所述人体动作特征信息识别正常行为信息；
确定模块，用于根据所述分类结果确定所述待检测图片的异常行为检测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010101597.4A 2020-02-19 2020-02-19 行为检测方法、装置、计算机设备和计算机可读存储介质 Pending CN111325144A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010101597.4A CN111325144A (zh) 2020-02-19 2020-02-19 行为检测方法、装置、计算机设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010101597.4A CN111325144A (zh) 2020-02-19 2020-02-19 行为检测方法、装置、计算机设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111325144A true CN111325144A (zh) 2020-06-23

Family

ID=71167081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010101597.4A Pending CN111325144A (zh) 2020-02-19 2020-02-19 行为检测方法、装置、计算机设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111325144A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985413A (zh) * 2020-08-22 2020-11-24 深圳市信诺兴技术有限公司 一种智能楼宇监控终端、监控系统及监控方法
CN112149546A (zh) * 2020-09-16 2020-12-29 珠海格力电器股份有限公司 一种信息处理方法、装置、电子设备及存储介质
CN112257545A (zh) * 2020-10-19 2021-01-22 安徽领云物联科技有限公司 一种违规行为实时监控分析方法、装置及存储介质
CN112800947A (zh) * 2021-01-27 2021-05-14 上海电气集团股份有限公司 视频监控方法、系统、电子设备及存储介质
CN112861696A (zh) * 2021-02-01 2021-05-28 电子科技大学中山学院 一种异常行为识别方法、装置、电子设备及存储介质
CN113348463A (zh) * 2021-04-26 2021-09-03 华为技术有限公司 一种信息处理方法及装置
CN113378004A (zh) * 2021-06-03 2021-09-10 中国农业大学 基于FANet的农民劳作行为识别方法和装置、设备及介质
CN112149546B (zh) * 2020-09-16 2024-05-03 珠海格力电器股份有限公司 一种信息处理方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719216A (zh) * 2009-12-21 2010-06-02 西安电子科技大学 基于模板匹配的运动人体异常行为识别方法
US20190080177A1 (en) * 2016-06-22 2019-03-14 Tencent Technology (Shenzhen) Company Limited Video detection method, server and storage medium
WO2019072243A1 (zh) * 2017-10-13 2019-04-18 华为技术有限公司 动作识别、姿势估计的方法及装置
CN110490109A (zh) * 2019-08-09 2019-11-22 郑州大学 一种基于单目视觉的在线人体康复动作识别方法
CN110705520A (zh) * 2019-10-22 2020-01-17 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和计算机可读存储介质
CN110717476A (zh) * 2019-10-22 2020-01-21 上海眼控科技股份有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN110728209A (zh) * 2019-09-24 2020-01-24 腾讯科技（深圳）有限公司 一种姿态识别方法、装置、电子设备及存储介质
CN110807361A (zh) * 2019-09-19 2020-02-18 腾讯科技（深圳）有限公司 人体识别方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719216A (zh) * 2009-12-21 2010-06-02 西安电子科技大学 基于模板匹配的运动人体异常行为识别方法
US20190080177A1 (en) * 2016-06-22 2019-03-14 Tencent Technology (Shenzhen) Company Limited Video detection method, server and storage medium
WO2019072243A1 (zh) * 2017-10-13 2019-04-18 华为技术有限公司 动作识别、姿势估计的方法及装置
CN110490109A (zh) * 2019-08-09 2019-11-22 郑州大学 一种基于单目视觉的在线人体康复动作识别方法
CN110807361A (zh) * 2019-09-19 2020-02-18 腾讯科技（深圳）有限公司 人体识别方法、装置、计算机设备及存储介质
CN110728209A (zh) * 2019-09-24 2020-01-24 腾讯科技（深圳）有限公司 一种姿态识别方法、装置、电子设备及存储介质
CN110705520A (zh) * 2019-10-22 2020-01-17 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和计算机可读存储介质
CN110717476A (zh) * 2019-10-22 2020-01-21 上海眼控科技股份有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴心筱 等: "《视频中人的动作分析与识别》", 30 September 2019, 北京理工大学出版社, pages: 10 - 15 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985413A (zh) * 2020-08-22 2020-11-24 深圳市信诺兴技术有限公司 一种智能楼宇监控终端、监控系统及监控方法
CN112149546A (zh) * 2020-09-16 2020-12-29 珠海格力电器股份有限公司 一种信息处理方法、装置、电子设备及存储介质
CN112149546B (zh) * 2020-09-16 2024-05-03 珠海格力电器股份有限公司 一种信息处理方法、装置、电子设备及存储介质
CN112257545A (zh) * 2020-10-19 2021-01-22 安徽领云物联科技有限公司 一种违规行为实时监控分析方法、装置及存储介质
CN112800947A (zh) * 2021-01-27 2021-05-14 上海电气集团股份有限公司 视频监控方法、系统、电子设备及存储介质
CN112861696A (zh) * 2021-02-01 2021-05-28 电子科技大学中山学院 一种异常行为识别方法、装置、电子设备及存储介质
CN112861696B (zh) * 2021-02-01 2023-08-18 电子科技大学中山学院 一种异常行为识别方法、装置、电子设备及存储介质
CN113348463A (zh) * 2021-04-26 2021-09-03 华为技术有限公司 一种信息处理方法及装置
CN113348463B (zh) * 2021-04-26 2022-05-10 华为技术有限公司 一种信息处理方法及装置
WO2022226723A1 (zh) * 2021-04-26 2022-11-03 华为技术有限公司 一种信息处理方法及装置
CN113378004A (zh) * 2021-06-03 2021-09-10 中国农业大学 基于FANet的农民劳作行为识别方法和装置、设备及介质

Similar Documents

Publication Publication Date Title
CN111325144A (zh) 行为检测方法、装置、计算机设备和计算机可读存储介质
US20210082136A1 (en) Extracting information from images
US9852327B2 (en) Head-pose invariant recognition of facial attributes
CN108829900B (zh) 一种基于深度学习的人脸图像检索方法、装置及终端
CN111062239A (zh) 人体目标检测方法、装置、计算机设备及存储介质
US11941918B2 (en) Extracting information from images
US20160275339A1 (en) System and Method for Detecting and Tracking Facial Features In Images
US20150023603A1 (en) Head-pose invariant recognition of facial expressions
CN111191532A (zh) 基于施工区域的人脸识别方法、装置、计算机设备
CN110598638A (zh) 模型训练方法、人脸性别预测方法、设备及存储介质
CN112446302A (zh) 一种人体姿态检测方法、系统、电子设备和存储介质
CN114783024A (zh) 基于YOLOv5的公共场所戴口罩的人脸识别系统
CN110705520A (zh) 目标检测方法、装置、计算机设备和计算机可读存储介质
WO2022252642A1 (zh) 基于视频图像的行为姿态检测方法、装置、设备及介质
JP2007048172A (ja) 情報分類装置
CN110717476A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN111985340A (zh) 基于神经网络模型的人脸识别方法、装置和计算机设备
CN114092515A (zh) 用于障碍遮挡的目标跟踪检测方法、装置、设备及介质
US9659210B1 (en) System and method for detecting and tracking facial features in images
CN115601834A (zh) 基于WiFi信道状态信息的跌倒检测方法
CN115471863A (zh) 三维姿态的获取方法、模型训练方法和相关设备
CN112836682A (zh) 视频中对象的识别方法、装置、计算机设备和存储介质
CN113963202A (zh) 一种骨骼点动作识别方法、装置、电子设备及存储介质
CN113807229A (zh) 智慧教室非接触式考勤装置、方法、设备及存储介质
CN110956102A (zh) 银行柜台监控方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination