CN110532988A - 行为监控方法、装置、计算机设备和可读存储介质 - Google Patents

Abstract

本申请涉及一种行为监控方法、装置、计算机设备和可读存储介质。所述行为监控方法包括：从获取到的监控视频中抽取第一目标帧对应的第一图片；若所述第一图片包括第一目标人像及第二目标人像，则在所述第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，所述第一目标人像是否存在目标行为；所述第一目标帧及所述第二目标帧是基于同一判定周期内的时间帧；若在所述预设时间段内，所述第二图片中的所述第一目标人像存在所述目标行为，则确定所述第一目标人像的行为合规。采用本方法在根据监控视频对服务人员的服务质量进行监管时，能够提升监管效率。

Description

行为监控方法、装置、计算机设备和可读存储介质

技术领域

本发明涉及网络监控技术领域，特别是涉及一种行为监控方法、装置、计算机设备和可读存储介质。

背景技术

随着客户服务意识的提升，服务机构关于客户服务的标准也越来越高，因此，需要对服务人员的服务质量进行监控。

例如，在金融行业的服务规范中，银行柜员在接待客户之前向客户举手示意属于一项服务监管要求；目前，判断银行柜员在接待客户之前是否有向客户举手示意的行为，是由监管人员人工浏览监控视频进行判断的。

然后，上述的人工监控方式存在监管效率低下的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够在对服务人员的服务质量进行监控时，提升监管效率的行为监控方法、装置、计算机设备和可读存储介质。

第一方面，本申请实施例提供了一种行为监控方法，所述行为监控方法包括：

从获取到的监控视频中抽取第一目标帧对应的第一图片；

若所述第一图片包括第一目标人像及第二目标人像，则在所述第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，所述第一目标人像是否存在目标行为；所述第一目标帧及所述第二目标帧是基于同一判定周期内的时间帧；

若在所述预设时间段内，所述第二图片中的所述第一目标人像存在所述目标行为，则确定所述第一目标人像的行为合规。

在其中一个实施例中，所述第一图片包括第一区域和第二区域；所述从获取到的监控视频中抽取第一目标帧对应的第一图片的步骤之后，还包括：

获取所述第一区域中的第一关节点、所述第二区域中的第二关节点；

根据所述第一关节点的数量检测所述第一区域是否包括人像，若所述第一区域包括人像，则将所述第一区域中所述第一关节点的数量最多的人像作为所述第一目标人像；

根据所述第二关节点的数量检测所述第二区域是否包括人像，若所述第二区域包括人像，则将所述第二区域中所述第二关节点的数量最多的人像作为所述第二目标人像。

在其中一个实施例中，所述在所述第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，所述第一目标人像是否存在目标行为，包括：

获取所述第一目标帧对应的目标状态向量；所述目标状态向量包括所述预设时间段内的图片帧标识以及各所述图片帧标识对应的第二图片中人像的行为状态；

根据所述目标状态向量，确定所述第二图片中的所述第一目标人像是否存在所述目标行为。

在其中一个实施例中，所述方法还包括：

从所述监控视频中抽取所述第二目标帧对应的所述第二图片；

获取所述第二图片中人像的多个关键点；

若所述第二图片包括所述第一目标人像，且不包括所述第二目标人像，则获取所述图片帧标识，并提取所述第一目标人像的多个关键点；

根据所述多个关键点，确定所述第一目标人像的行为状态；

根据所述图片帧标识和所述第一目标人像的行为状态，生成所述目标状态向量；

其中，所述关键点包括骨架关节点和手部关节点。

在其中一个实施例中，所述根据所述多个关键点，确定所述第一目标人像的行为状态，包括：

判断所述多个关键点之间是否满足预设的关联关系；所述关联关系用于表征目标行为状态下各关键点之间的联系；

若所述多个关键点之间满足所述关联关系，则确定所述第二图片中的所述第一目标人像存在所述目标行为。

在其中一个实施例中，所述方法还包括：

若所述图片帧标识的值大于预设阈值，则将所述目标状态向量置为初始状态；所述目标状态向量置为初始状态下，所述图片帧标识的值为零，且所述第一目标人像的行为状态为非目标行为。

在其中一个实施例中，所述在所述第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，所述第一目标人像是否存在目标行为的步骤之后，还包括：

若在所述预设时间段内，所述第二图片中的所述第一目标人像不存在所述目标行为，则确定所述第一目标人像的行为不合规。

第二方面，本申请实施例提供一种行为监控装置，所述装置包括：

第一获取模块，用于从获取到的监控视频中抽取第一目标帧对应的第一图片；

第一检测模块，用于若所述第一图片包括第一目标人像及第二目标人像，则在所述第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，所述第一目标人像是否存在目标行为；所述第一目标帧及所述第二目标帧是基于同一判定周期内的时间帧；

第一确定模块，用于若在所述预设时间段内，所述第二图片中的所述第一目标人像存在所述目标行为，则确定所述第一目标人像的行为合规。

第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法的步骤。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过从获取到的监控视频中抽取第一目标帧对应的第一图片；若所述第一图片包括第一目标人像及第二目标人像，则在所述第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，所述第一目标人像是否存在目标行为；所述第一目标帧及所述第二目标帧是基于同一判定周期内的时间帧；若在所述预设时间段内，所述第二图片中的所述第一目标人像存在所述目标行为，则确定所述第一目标人像的行为合规；由此，计算机设备在获取到第一图片后，若第一图片包括第一目标人像及第二目标人像，则在第一目标帧之前的预设时间段内，检测第一目标人像是否存在目标行为，若存在，则确定第一目标人像的行为合规；避免了传统技术中，需要监管人员人工浏览监控视频来判断第一目标人像的行为是否合规所造成的监管效率低下的问题。本申请在根据监控视频对服务人员的服务质量进行监管时，能够提升监管效率。

附图说明

图1为一个实施例提供的行为监控方法的应用环境图；

图2为一个实施例提供的行为监控方法的流程示意图；

图3为一个实施例提供的行为监控方法的流程示意图；

图4为一个实施例提供的行为监控方法的流程示意图；

图5为一个实施例提供的行为监控方法的流程示意图；

图6为图5中步骤S540的细化步骤示意图；

图7为一个实施例提供的行为监控方法的流程示意图；

图8为一个实施例提供的行为监控装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的行为监控方法，可以应用于如图1所示的计算机设备，该计算机设备可以是服务器，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存行为监控方法的数据。

本申请实施例提供的行为监控方法、装置、计算机设备和可读存储介质，旨在解决传统技术中，由监管人员人工浏览监控视频来判断服务人员的行为是否合规，造成的监管效率低下的技术问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

需要说明的是，本申请实施例提供的行为监控方法，其执行主体可以是行为监控装置，该行为监控装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例中，均以执行主体是计算机设备为例来进行说明。

请参考图2，其示出了本申请实施例提供的一种行为监控方法的流程图，如图2所示，本实施例行为监控方法可以包括以下步骤：

步骤S100，从获取到的监控视频中抽取第一目标帧对应的第一图片。

监控视频是采用监控设备对监控区域进行视频拍摄得到的，从获取到的监控视频中抽取第一目标帧对应的第一图片，具体地，根据第一目标帧指示的时间帧，从监控视频流中抽取一帧图片，即获取到第一图片。

步骤S200，若第一图片包括第一目标人像及第二目标人像，则在第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，第一目标人像是否存在目标行为。

其中，第一目标帧及第二目标帧是基于同一判定周期内的时间帧。若检测到第一图片包括第一目标人像及第二目标人像，则在第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，第一目标人像是否存在目标行为；本实施例中，第一目标人像可以是服务机构的服务人员，例如，第一目标人像可以是银行中为客户办理业务的柜员；第二目标人像可以是服务机构中被服务的对象，例如，第二目标人像可以是在银行网点办理业务的客户。判定周期可以是针对一个客户的完整服务时间区间。

在本实施例中，作为一种实施方式，可以将监控画面划分为服务人员区域及被服务人员区域，检测第一图片是否包括第一目标人像及第二目标人像具体可以是将第一图片输入至Open Pose(人体姿态识别)模型中，得到服务人员区域及被服务人员区域是否包括人像的检测结果，进一步从检测到的人像中确定出第一目标人像及第二目标人像；在其他实施例中，检测第一图片是否包括第一目标人像及第二目标人像还可以是将第一图片输入至预设的人像分类模型中，得到针对第一目标人像及第二目标人像的分类结果。

若第一图片包括第一目标人像及第二目标人像，则在第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，第一目标人像是否存在目标行为；本实施例中，预设时间段可以是当前判定周期开始时刻至第一目标帧之间的时间段，第一目标帧及第二目标帧均是基于该当前判定周期内的时间帧，在该预设时间段内，检测第二目标帧对应的第二图片中，第一目标人像是否存在目标行为，例如，检测第一目标人像是否存在举手示意的行为。

步骤S300，若在预设时间段内，第二图片中的第一目标人像存在目标行为，则确定第一目标人像的行为合规。

若在当前判定周期开始时刻至第一目标帧之间的时间段内，从第二图片中检测到第一目标人像存在目标行为，则确定该第一目标人像的行为合规；例如，继续以服务机构为银行为例，在第一图片包括柜员和客户时，则在当前判定周期开始时刻至第一目标帧之间的时间段内，从第二图片中检测该柜员是否存在向客户举手示意的行为，若柜员存在该举手示意的行为，则确定在该判定周期内，柜员的举手示意行为合规，避免了需要监管人员人工浏览监控视频来判断柜员是否存在举手示意行为所造成的监管效率低下的弊端。

进一步地，在其它实施例中，步骤S200之后，若检测到在预设时间段内，第二图片中的第一目标人像不存在目标行为，则确定第一目标人像的行为不合规；例如，在当前判定周期开始时刻至第一目标帧之间的时间段内，从第二图片中检测该柜员不存在向客户举手示意的行为，则确定在该判定周期内，柜员的举手示意行为不合规，由此，避免了需要监管人员人工浏览监控视频来判断柜员是否存在举手示意行为所造成的监管效率低下的问题。

本实施例通过从获取到的监控视频中抽取第一目标帧对应的第一图片；若第一图片包括第一目标人像及第二目标人像，则在第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，第一目标人像是否存在目标行为；第一目标帧及第二目标帧是基于同一判定周期内的时间帧；若在预设时间段内，第二图片中的第一目标人像存在目标行为，则确定第一目标人像的行为合规；由此，计算机设备在获取到第一图片后，若第一图片包括第一目标人像及第二目标人像，则在第一目标帧之前的预设时间段内，检测第一目标人像是否存在目标行为，若存在，则确定第一目标人像的行为合规；避免了传统技术中，需要监管人员人工浏览监控视频来判断第一目标人像的行为是否合规所造成的监管效率低下的问题。本实施例在根据监控视频对服务人员的服务质量进行监管时，可提升监管效率。

图3为另一个实施例提供的行为监控方法的流程示意图。在上述图2所示实施例的基础上，第一图片包括第一区域和第二区域，本实施例行为监控方法中，步骤S100之后，还包括：

步骤S410，获取第一区域中的第一关节点、第二区域中的第二关节点。

在本实施例中，具体地，将监控画面划分为服务人员区域及被服务人员区域，第一图片中对应服务人员区域即为该第一区域，第一图片中对应被服务人员区域即为该第二区域。

计算机设备从监控视频中抽取到第一图片后，对第一图片进行预处理,包括将第一图片缩放至固定输入尺寸、对第一图片进行归一化处理，将预处理后的第一图片输入到Open Pose中,获取第一图片中第一区域中的第一关节点、第二区域中的第二关节点。

步骤S420，根据第一关节点的数量检测第一区域是否包括人像，若第一区域包括人像，则将第一区域中第一关节点的数量最多的人像作为第一目标人像。

根据第一关节点的数量检测第一区域是否包括人像，第一关节点包括第一区域中所有人像的骨架关节点和手部关节点，一个完整人像的骨架关节点包括人体骨架的25个主要关节点：鼻子、脖子、右肩膀、右手肘、右手腕、左肩膀、左手肘、左手腕、骶骨、右胯骨、右膝盖、脚踝、左胯骨、左膝盖、左脚踝、右眼、左眼、右耳、左耳、左脚趾1、左脚趾2、左脚跟、右脚趾1、右脚趾2、右脚跟；完整的手部关节点包括人体双手的42个主要关节点，左右手各21个点,以右手为例,包括：掌根、掌腹、拇指根、拇指中、拇指尖、食指根、食指近、食指中、食指尖、中指根、中指近、中指中、中指尖、无名指根、无名指近、无名指中、无名指尖、小拇指根、小拇指近、小拇指中、小拇指尖；本实施例中，若第一关节点包括的骨架关节点大于门限值，例如，门限值为8，即若第一关节点包括的骨架关节点超过8个，则认为第一区域中包括人像，可以理解的是，门限值在实际实施时可以按照需求自行设定；确定第一区域中包括人像后，进一步地，将第一区域中包括骨架关节点的数量及手部关节点的数量最多的人像作为第一目标人像。

步骤S430，根据第二关节点的数量检测第二区域是否包括人像，若第二区域包括人像，则将第二区域中第二关节点的数量最多的人像作为第二目标人像。

根据第二关节点的数量检测第二区域是否包括人像，第二关节点包括第二区域中所有人像的骨架关节点和手部关节点，本实施例中，若第二关节点包括的骨架关节点大于门限值，例如，门限值同样设为8，即若第二关节点包括的骨架关节点超过8个，则认为第二区域中包括人像，确定第二区域包括人像后，进一步地，将第二区域中包括骨架关节点的数量及手部关节点的数量最多的人像作为第二目标人像。

本实施例根据第一区域中第一关节点的数量检测第一区域是否包括人像，若第一区域包括人像，则将第一区域中第一关节点的数量最多的人像作为第一目标人像；根据第二区域中第二关节点的数量检测第二区域是否包括人像，若第二区域包括人像，则将第二区域中第二关节点的数量最多的人像作为第二目标人像；通过采用人体姿态识别模型对从监控视频中抽取到的图片进行人体检测，提升了人体检测的效率，进一步提升了根据监控视频判断第一目标人像的行为是否合规的判断效率，进而提升了监管工作的效率。

图4为另一个实施例提供的行为监控方法的流程示意图。在上述图3所示实施例的基础上，步骤S200，包括：

步骤S210，获取第一目标帧对应的目标状态向量。

目标状态向量包括预设时间段内的图片帧标识以及各图片帧标识对应的第二图片中人像的行为状态；具体地，在当前判定周期开始时刻至第一目标帧之间的时间段内，抽取若干帧第二图片，分别检测抽取到的若干第二图片中第一目标人像的行为状态，该行为状态包括存在目标行为或不存在目标行为，并将每帧第二图片中第一目标人像的行为状态对应于帧数记录，即每帧的帧标识与该帧对应的第二图片中第一目标人像的行为状态一一对应记录。

步骤S220，根据目标状态向量，确定第二图片中的第一目标人像是否存在目标行为。

获取目标状态向量后，查询目标状态向量中图片帧标识对应的第二图片中人像的行为状态，若目标状态向量中，若干第二图片中不包括第二目标人像且第一目标人像至少存在一次目标行为，则确定第二图片中的第一目标人像存在目标行为；若目标状态向量中，若干第二图片中第一目标人像均不存在目标行为，则确定第二图片中的第一目标人像不存在目标行为。

在其他实施例中，作为一种实施方式，目标状态向量还可以是包括在当前判定周期开始时刻至第一目标帧之间的时间段内，抽取的若干帧第二图片的帧数总和，以及若干第二图片中第一目标人像的行为状态累计值，若干第二图片中不包括第二目标人像且第一目标人像至少存在一次目标行为，则该累计值为一；若干第二图片中第一目标人像均不存在目标行为，则该累计值为零；获取第一目标帧对应的目标状态向量后，查询目标状态向量中的行为状态累计值，若行为状态累计值为一，则确定第二图片中的第一目标人像存在目标行为，若行为状态累计值为零，则确定第二图片中的第一目标人像不存在目标行为。

本实施例计算结设备通过获取第一目标帧对应的目标状态向量，根据目标状态向量，确定第二图片中的第一目标人像是否存在目标行为，进一步确定第一目标人像的行为是否合规，由此提升了根据监控视频判断第一目标人像的行为是否合规的判断效率，进而提升了监管工作的效率，避免了由人工阅读监控视频内容进行第一目标人像的行为合规判定造成的监管线效率低的问题。

图5为另一个实施例提供的行为监控方法的流程示意图。在上述图4所示实施例的基础上，步骤S210之前，还包括：

步骤S510，从监控视频中抽取第二目标帧对应的第二图片。

第二目标帧为当前判定周期开始时刻至第一目标帧之间的时间段内的时间帧，需要说明的是，第二目标帧可以是多个时间帧，从监控视频中抽取第二目标帧对应的第二图片。

步骤S520，获取第二图片中人像的多个关键点。

在本实施例中，获取第二图片中人像的多个关键点，具体地，关键点包括骨架关节点和手部关节点，将第二图片输入Open Pose中，得到所有人像的骨架关节点和手部关节点。

步骤S530，若第二图片包括第一目标人像，且不包括第二目标人像，则获取图片帧标识，并提取第一目标人像的多个关键点。

若第二图片对应的服务人员区域中的骨架关节点超过设定值，且第二图片中对应的被服务人员区域中的骨架关节点未超过设定值，则确定第二图片包括第一目标人像且不包括第二目标人像，则获取该第二图片的图片帧标识，并提取第一目标人像的多个关键点。

步骤S540,根据多个关键点，确定第一目标人像的行为状态。

关键点包括骨架关节点和手部关节点，根据手部关节点之间的位置关系，以及手部关节点与骨架关节点之间的位置关系，确定第一目标人像的行为状态，该行为状态包括第一目标人像存在目标动作及第一目标人像不存在目标动作。

步骤S550，根据图片帧标识和第一目标人像的行为状态，生成目标状态向量。

获取每个时间帧的帧标识，以及对应的第二图片中第一目标人像的行为状态，将每个时间帧的帧标识及对应的第二图片中第一目标人像的行为状态对应记录，生成目标状态向量。

计算机设备从监控视频中抽取第二目标帧对应的第二图片；获取第二图片中人像的多个关键点；若第二图片包括第一目标人像，且不包括第二目标人像，则获取图片帧标识，并提取第一目标人像的多个关键点；根据多个关键点，确定第一目标人像的行为状态；根据图片帧标识和第一目标人像的行为状态，生成目标状态向量；获取第一目标帧对应的目标状态向量，根据目标状态向量，确定第二图片中的第一目标人像是否存在目标行为；若在预设时间段内，第二图片中的第一目标人像存在目标行为，则确定第一目标人像的行为合规；由此，计算机设备根据目标状态向量，即可快速判断第一目标人像的行为是否合规，提升了监管效率。

在另一实施例中，参考图6，图6为图5中步骤S540的细化步骤示意图，该实施例步骤S540具体包括：

步骤S541，判断多个关键点之间是否满足预设的关联关系；关联关系用于表征目标行为状态下各关键点之间的联系。

在该实施例中，预设有用于表征目标行为状态下各关键点之间的联系的关联关系。以目标行为是第一目标人像向第二目标人像举手示意为例，提取到的第一目标人像的关键点包括：脖子、右手肘、右手腕、右食指根、右食指尖、右中指根、右中指尖、右无名指根、右无名指尖；预设的关联关系包括：右手腕高于右手肘、右食指尖高于右食指根、右中指尖高于右中指根、右无名指尖高于右无名指根、右食指尖,右中指尖,右无名指尖均高于脖子。

步骤S542，若多个关键点之间满足关联关系，则确定第二图片中的第一目标人像存在目标行为。

提取到第一目标人像的关键点后，根据上述预设的关联关系对第一目标人像的行为状态进行判断；若第一目标人像的关键点(脖子、右手肘、右手腕、右食指根、右食指尖、右中指根、右中指尖、右无名指根、右无名指尖)依次满足上述右手腕高于右手肘、右食指尖高于右食指根、右中指尖高于右中指根、右无名指尖高于右无名指根、右食指尖,右中指尖,右无名指尖均高于脖子的关联关系，则确定第一目标人像存在举手示意的目标行为，否则，则确定第一目标人像不存在举手示意的目标行为；进一步记录关于该目标动作的检测状态及其对应的图像帧号。可以理解的是，根据不同的目标动作，可以提取不同的关键点及设置不同的关联关系，在此不做具体限制。

该实施例计算机设备根据第一目标人像的关键点及预置的关联关系，快速判断第二图片中第一目标人像是否存在目标行为，提升了根据监控视频判断第一目标人像是否存在目标行为的判断速度、判断准确性及鲁棒性，进一步提升了对第一目标人像监管的工作效率。

图7为另一个实施例提供的行为监控方法的流程示意图。在上述图4所示实施例的基础上，步骤S300之后，还包括：

步骤S600，若图片帧标识的值大于预设阈值，则将目标状态向量置为初始状态。

目标状态向量置为初始状态下，图片帧标识的值为零，且在当前第一目标人像的行为状态为非目标行为；即在当前判定周期内抽取的时间帧数大于阈值后，则将目标状态向量置为初始状态，当前判定周期内第一目标人像的行为判定结束，进步下一判定周期，重新生成目标状态向量来判断第一目标人像的行为是否合规。

应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种行为监控装置，包括：

第一获取模块10，用于从获取到的监控视频中抽取第一目标帧对应的第一图片；

第一检测模块20，用于若第一图片包括第一目标人像及第二目标人像，则在第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，第一目标人像是否存在目标行为；第一目标帧及第二目标帧是基于同一判定周期内的时间帧；

第一确定模块30，用于若在预设时间段内，第二图片中的第一目标人像存在目标行为，则确定第一目标人像的行为合规。

可选地，第一图片包括第一区域和第二区域；装置还包括：

第二获取模块，用于获取第一区域中的第一关节点、第二区域中的第二关节点；

第二检测模块，用于根据第一关节点的数量检测第一区域是否包括人像，若第一区域包括人像，则将第一区域中第一关节点的数量最多的人像作为第一目标人像；

第三检测模块，用于根据第二关节点的数量检测第二区域是否包括人像，若第二区域包括人像，则将第二区域中第二关节点的数量最多的人像作为第二目标人像。

可选地，第一检测模块20包括：

获取单元，用于若第一图片包括第一目标人像及第二目标人像，则获取第一目标帧对应的目标状态向量；目标状态向量包括预设时间段内的图片帧标识以及各图片帧标识对应的第二图片中人像的行为状态；

第一确定单元，用于根据目标状态向量，确定第二图片中的第一目标人像是否存在目标行为。

可选地，装置还包括：

抽取模块，用于从监控视频中抽取第二目标帧对应的第二图片；

第三获取模块，用于获取第二图片中人像的多个关键点；

提取模块，用于若第二图片包括第一目标人像，且不包括第二目标人像，则获取图片帧标识，并提取第一目标人像的多个关键点；

第二确定模块，用于根据多个关键点，确定第一目标人像的行为状态；

生成模块，用于根据图片帧标识和第一目标人像的行为状态，生成目标状态向量；

其中，关键点包括骨架关节点和手部关节点。

可选地，第二确定模块包括：

判断单元，用于判断多个关键点之间是否满足预设的关联关系；关联关系用于表征目标行为状态下各关键点之间的联系；

第二确定单元，用于若多个关键点之间满足关联关系，则确定第二图片中的第一目标人像存在目标行为。

可选地，装置还包括：

重置模块，用于若图片帧标识的值大于预设阈值，则将目标状态向量置为初始状态；目标状态向量置为初始状态下，图片帧标识的值为零，且第一目标人像的行为状态为非目标行为。

本实施例提供的行为监控装置，可以执行上述行为监控方法实施例，其实现原理和技术效果类似，在此不再赘述。

关于行为监控装置的具体限定可以参见上文中对于行为监控方法的限定，在此不再赘述。上述行为监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，还提供了一种如图1所示的计算机设备，该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储行为监控数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种行为监控方法。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

从获取到的监控视频中抽取第一目标帧对应的第一图片；

若第一图片包括第一目标人像及第二目标人像，则在第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，第一目标人像是否存在目标行为；第一目标帧及第二目标帧是基于同一判定周期内的时间帧；

若在预设时间段内，第二图片中的第一目标人像存在目标行为，则确定第一目标人像的行为合规。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Ramb微秒)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

从获取到的监控视频中抽取第一目标帧对应的第一图片；

若第一图片包括第一目标人像及第二目标人像，则在第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，第一目标人像是否存在目标行为；第一目标帧及第二目标帧是基于同一判定周期内的时间帧；

若在预设时间段内，第二图片中的第一目标人像存在目标行为，则确定第一目标人像的行为合规。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种行为监控方法，其特征在于，所述方法包括：

从获取到的监控视频中抽取第一目标帧对应的第一图片；

若所述第一图片包括第一目标人像及第二目标人像，则在所述第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，所述第一目标人像是否存在目标行为；所述第一目标帧及所述第二目标帧是基于同一判定周期内的时间帧；

若在所述预设时间段内，所述第二图片中的所述第一目标人像存在所述目标行为，则确定所述第一目标人像的行为合规。

2.根据权利要求1所述的方法，其特征在于，所述第一图片包括第一区域和第二区域；所述从获取到的监控视频中抽取第一目标帧对应的第一图片的步骤之后，还包括：

获取所述第一区域中的第一关节点、所述第二区域中的第二关节点；

根据所述第一关节点的数量检测所述第一区域是否包括人像，若所述第一区域包括人像，则将所述第一区域中所述第一关节点的数量最多的人像作为所述第一目标人像；

根据所述第二关节点的数量检测所述第二区域是否包括人像，若所述第二区域包括人像，则将所述第二区域中所述第二关节点的数量最多的人像作为所述第二目标人像。

3.根据权利要求1或2所述的方法，其特征在于，所述在所述第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，所述第一目标人像是否存在目标行为，包括：

获取所述第一目标帧对应的目标状态向量；所述目标状态向量包括所述预设时间段内的图片帧标识以及各所述图片帧标识对应的第二图片中人像的行为状态；

根据所述目标状态向量，确定所述第二图片中的所述第一目标人像是否存在所述目标行为。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

从所述监控视频中抽取所述第二目标帧对应的所述第二图片；

获取所述第二图片中人像的多个关键点；

若所述第二图片包括所述第一目标人像，且不包括所述第二目标人像，则获取所述图片帧标识，并提取所述第一目标人像的多个关键点；

根据所述多个关键点，确定所述第一目标人像的行为状态；

根据所述图片帧标识和所述第一目标人像的行为状态，生成所述目标状态向量；

其中，所述关键点包括骨架关节点和手部关节点。

5.根据权利要求4所述的方法，其特征在于，所述根据所述多个关键点，确定所述第一目标人像的行为状态，包括：

判断所述多个关键点之间是否满足预设的关联关系；所述关联关系用于表征目标行为状态下各关键点之间的联系；

若所述多个关键点之间满足所述关联关系，则确定所述第二图片中的所述第一目标人像存在所述目标行为。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述图片帧标识的值大于预设阈值，则将所述目标状态向量置为初始状态；所述目标状态向量置为初始状态下，所述图片帧标识的值为零，且所述第一目标人像的行为状态为非目标行为。

7.根据权利要求1所述的方法，其特征在于，所述在所述第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，所述第一目标人像是否存在目标行为的步骤之后，还包括：

若在所述预设时间段内，所述第二图片中的所述第一目标人像不存在所述目标行为，则确定所述第一目标人像的行为不合规。

8.一种行为监控装置，其特征在于，所述装置包括：

第一获取模块，用于从获取到的监控视频中抽取第一目标帧对应的第一图片；

第一检测模块，用于若所述第一图片包括第一目标人像及第二目标人像，则在所述第一目标帧之前的预设时间段内，检测第二目标帧对应的第二图片中，所述第一目标人像是否存在目标行为；所述第一目标帧及所述第二目标帧是基于同一判定周期内的时间帧；

第一确定模块，用于若在所述预设时间段内，所述第二图片中的所述第一目标人像存在所述目标行为，则确定所述第一目标人像的行为合规。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。