CN110532994A - 行为检测方法、装置、计算机设备和可读存储介质 - Google Patents

行为检测方法、装置、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN110532994A
CN110532994A CN201910833636.7A CN201910833636A CN110532994A CN 110532994 A CN110532994 A CN 110532994A CN 201910833636 A CN201910833636 A CN 201910833636A CN 110532994 A CN110532994 A CN 110532994A
Authority
CN
China
Prior art keywords
picture
portrait
result
feature point
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910833636.7A
Other languages
English (en)
Inventor
周康明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN201910833636.7A priority Critical patent/CN110532994A/zh
Publication of CN110532994A publication Critical patent/CN110532994A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Technology Law (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种行为检测方法、装置、计算机设备和可读存储介质。所述行为检测方法包括：从获取到的监控视频中抽取第一图片及第二图片；若所述第一图片及所述第二图片均包括第一目标人像及第二目标人像，则根据所述第一图片和所述第二图片获取所述第二目标人像的手部运动结果；基于所述手部运动结果，检测所述第一目标人像与所述第二目标人像之间是否存在目标物；若所述第一目标人像与所述第二目标人像之间存在所述目标物，则根据所述第一图片和所述第二图片获取所述第一目标人像的双手运动结果，并根据所述双手运动结果检测所述第一目标人像的行为是否合规。本申请在根据监控视频对服务人员的服务质量进行监管时，能够提升监管效率。

Description

行为检测方法、装置、计算机设备和可读存储介质
技术领域
本发明涉及网络监控技术领域，特别是涉及一种行为检测方法、装置、计算机设备和可读存储介质。
背景技术
随着各个行业客户服务意识的不断提升，服务机构关于客户服务的标准也越来越高，因此，需要对服务人员的服务质量进行监控。
例如，在金融行业的服务规范中，银行柜员在接待客户为其办理业务时，双手接递客户手中的物品属于一项服务监管要求；目前，判断银行柜员在为客户办理业务时接递客户手中物品的动作是否存在违规，例如，单手接递客户手中物品的违规动作，是由监管人员人工浏览监控视频进行判断的。
然后，上述的人工监控方式存在监管工作效率低下的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种在根据监控视频对服务人员的服务行为进行监管时，能够提升监管效率的行为检测方法、装置、计算机设备和可读存储介质。
第一方面，本申请实施例提供了一种行为检测方法，所述行为检测方法包括：
从获取到的监控视频中抽取第一图片及第二图片；所述第一图片及所述第二图片为连续的两帧图片；
若所述第一图片及所述第二图片均包括第一目标人像及第二目标人像，则根据所述第一图片和所述第二图片获取所述第二目标人像的手部运动结果；
基于所述手部运动结果，检测所述第一目标人像与所述第二目标人像之间是否存在目标物；
若所述第一目标人像与所述第二目标人像之间存在所述目标物，则根据所述第一图片和所述第二图片获取所述第一目标人像的双手运动结果，并根据所述双手运动结果检测所述第一目标人像的行为是否合规。
在其中一个实施例中，所述根据所述第一图片和所述第二图片获取所述第二目标人像的手部运动结果，包括：
从所述第一图片及所述第二图片中提取所述第二目标人像的特征点；
根据所述第二目标人像的特征点，计算所述第二目标人像的手部运动结果。
在其中一个实施例中，所述根据所述第一图片和所述第二图片获取所述第一目标人像的双手运动结果，包括：
从所述第一图片及所述第二图片中提取所述第一目标人像的特征点；
根据所述第一目标人像的特征点及所述第二目标人像的特征点，计算所述第一目标人像的双手运动结果。
在其中一个实施例中，所述第二目标人像的特征点包括从所述第一图片中提取的第一特征点及从所述第二图片中提取的第二特征点；所述根据所述第二目标人像的特征点，计算所述第二目标人像的手部运动结果，包括：
根据所述第一特征点及所述第二特征点，计算所述第二目标人像的手部位移；
若检测到所述手部位移处于预设区间内，则所述手部运动结果为运动状态。
在其中一个实施例中，所述第一目标人像的特征点包括从所述第一图片中提取的第三特征点及从所述第二图片中提取的第四特征点；所述根据所述第一目标人像的特征点及所述第二目标人像的特征点，计算所述第一目标人像的双手运动结果，包括：
基于所述第一特征点、所述第二特征点、所述第三特征点及所述第四特征点，计算所述第一目标人像的双手运动结果。
在其中一个实施例中，所述基于所述第一特征点、所述第二特征点、所述第三特征点及所述第四特征点，计算所述第一目标人像的双手运动结果，包括：
根据所述第三特征点及所述第四特征点，计算所述第一目标人像的左手位移量及右手位移量；
根据所述左手位移量、所述右手位移量以及预设的阈值范围，对所述第三特征点及所述第四特征点进行筛选，得到筛选后的第三特征点及筛选后的第四特征点；
基于所述第一特征点、所述第二特征点、所述筛选后的第三特征点及所述筛选后的第四特征点，计算所述第一目标人像的双手运动结果。
在其中一个实施例中，所述基于所述第一特征点、所述第二特征点、所述筛选后的第三特征点及所述筛选后的第四特征点，计算所述第一目标人像的双手运动结果，包括:
基于所述第一特征点、所述第二特征点、所述筛选后的第三特征点及所述筛选后的第四特征点，分别计算所述第一目标人像的左手运动方向向量及右手运动方向向量、所述第二目标人像与所述第一目标人像之间的朝向夹角；
根据所述左手运动方向向量及所述朝向夹角，计算所述第一目标人像的左手相对于所述第二目标人像的左手运动结果；
根据所述右手运动方向向量及所述朝向夹角，计算所述第一目标人像的右手相对于所述第二目标人像的右手运动结果；
所述根据所述双手运动结果检测所述第一目标人像的行为是否合规，包括：
根据所述左手运动结果及所述右手运动结果，检测所述第一目标人像的行为是否合规。
在其中一个实施例中，所述根据所述左手运动结果及所述右手运动结果，检测所述第一目标人像的行为是否合规，包括：
对所述左手运动结果及所述右手运动结果进行异或运算，得到运算结果；
若所述运算结果等于一，则所述第一目标人像的行为不合规。
在其中一个实施例中，所述基于所述手部运动结果，检测所述第一目标人像与所述第二目标人像之间是否存在目标物，包括：
若所述手部运动结果为运动状态，则根据所述第一目标人像的特征点及所述第二目标人像的特征点，确定所述目标物的识别区域；
根据所述识别区域，在所述第一图片或所述第二图片中截取与所述识别区域对应的目标区域图片；
将所述目标区域图片输入预设的分类模型中，得到分类结果；所述分类结果用于指示所述第一目标人像与所述第二目标人像之间是否存在所述目标物。
在其中一个实施例中，所述从获取到的监控视频中抽取第一图片及第二图片之后，包括：
根据预设的图片尺寸对所述第一图片及所述第二图片进行预处理，得到预处理后的第一图片及预处理后的第二图片；
将所述预处理后的第一图片及所述预处理后的第二图片输入至预设的姿态估计模型中，得到所述第一图片的第一关节点、所述第二图片的第二关节点；
若所述第一关节点及所述第二关节点均大于预设阈值，则确定所述第一图片及所述第二图片均包括人像；并基于所述第一关节点及所述第二关节点，从所述人像中确定所述第一目标人像及所述第二目标人像。
第二方面，本申请实施例提供一种行为检测装置，所述行为检测装置包括：
抽取模块，用于从获取到的监控视频中抽取第一图片及第二图片；所述第一图片及所述第二图片为连续的两帧图片；
获取模块，用于若所述第一图片及所述第二图片均包括第一目标人像及第二目标人像，则根据所述第一图片和所述第二图片获取所述第二目标人像的手部运动结果；
第一检测模块，用于基于所述手部运动结果，检测所述第一目标人像与所述第二目标人像之间是否存在目标物；
第二检测模块，用于若所述第一目标人像与所述第二目标人像之间存在所述目标物，则根据所述第一图片和所述第二图片获取所述第一目标人像的双手运动结果，并根据所述双手运动结果检测所述第一目标人像的行为是否合规。
第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法的步骤。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过从获取到的监控视频中抽取第一图片及第二图片；所述第一图片及所述第二图片为连续的两帧图片；若所述第一图片及所述第二图片均包括第一目标人像及第二目标人像，则根据所述第一图片和所述第二图片获取所述第二目标人像的手部运动结果；基于所述手部运动结果，检测所述第一目标人像与所述第二目标人像之间是否存在目标物；若所述第一目标人像与所述第二目标人像之间存在所述目标物，则根据所述第一图片和所述第二图片获取所述第一目标人像的双手运动结果，并根据所述双手运动结果检测所述第一目标人像的行为是否合规；由此，计算机设备从监控视频中抽取连续的两帧图片，基于该两帧图片获取第一目标人像的双手运动结果，根据双手运动结果检测得到第一目标人像的行为是否合规；避免了传统技术中，需要监管人员人工浏览监控视频对服务人员的服务行为进行监管，所造成的监管效率低下的问题。本申请在根据监控视频对服务人员的服务质量进行监管时，能够提升监管效率。
附图说明
图1为一个实施例提供的行为检测方法的应用环境图；
图2为一个实施例提供的行为检测方法的流程示意图；
图3为一个实施例提供的行为检测方法的流程示意图；
图4为一个实施例提供的行为检测方法的流程示意图；
图5为一个实施例提供的行为检测方法的流程示意图；
图6为一个实施例提供的行为检测方法的流程示意图；
图7为一个实施例提供的行为检测方法的流程示意图；
图8为一个实施例提供的行为检测方法的流程示意图；
图9为一个实施例提供的行为检测方法的流程示意图；
图10为一个实施例提供的行为检测装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的行为检测方法，可以应用于如图1所示的计算机设备，该计算机设备可以是服务器，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存行为检测方法的数据。
本申请实施例提供的行为检测方法、装置、计算机设备和可读存储介质，旨在解决传统技术中，需要监管人员人工浏览监控视频对服务人员的服务行为进行监管，所造成的监管效率低下的技术问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
需要说明的是，本申请实施例提供的行为检测方法，其执行主体可以是行为检测装置，该行为检测装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例中，均以执行主体是计算机设备为例来进行说明。
请参考图2，其示出了本申请实施例提供的一种行为检测方法的流程图，如图2所示，本实施例行为检测方法可以包括以下步骤：
步骤S100，从获取到的监控视频中抽取第一图片及第二图片。
其中，第一图片及第二图片为连续的两帧图片；监控视频是采用监控设备对监控区域进行视频拍摄得到的。传统技术中，是由监管人员人工浏览该监控视频对监控区域内的服务人员的服务行为进行监管的，例如，监管人员人工浏览监控视频，查看服务人员是否双手接递客户手中的物品，这就导致监管效率低下；本实施例中，计算机设备从监控视频中抽取连续的两帧图片：第一图片和第二图片。
步骤S200，若第一图片及第二图片均包括第一目标人像及第二目标人像，则根据第一图片和第二图片获取第二目标人像的手部运动结果。
本实施例中，若第一图片及第二图片均包括第一目标人像及第二目标人像，则根据第一图片和第二图片获取第二目标人像的手部运动结果；其中，第一目标人像可以是服务机构中的服务人员，例如，第一目标人像可以是金融服务机构中为客户办理业务的柜员；第二目标人像可以是服务机构中的被服务人员，例如，第二目标人像可以是前往金融服务机构中办理金融业务的客户；第一图片及第二图片是监控视频中连续的两帧图片，作为一种实施方式，可以根据第二目标人像从第一图片至第二图片中第二目标人像手部发生的位移获知第二目标人像的手部运动结果，该手部运动结果为运动状态或非运动状态。例如，可以检测第二人像的手部轮框在第一图片中的位置和第二图片中的位置，根据该手部轮廓的在两幅图片中的位置变化确定手部运动结果，或者，也可以是获取第二人像的手部关节点在两幅图片中的位置变化确定手部运动结果。
步骤S300，基于手部运动结果，检测第一目标人像与第二目标人像之间是否存在目标物。
基于手部运动结果，检测第一目标人像与第二目标人像之间是否存在目标物；具体地，若从第一图片及第二图片中检测到第二目标人像的手部为运动状态，则检测第一目标人像与第二目标人像之间是否存在目标物，其中，检测第一目标人像与第二目标人像之间是否存在目标物的过程具体可以是采用分类器对第一目标人像与第二目标人像之间的识别区域进行分类，得到识别区域包括背景或者包括目标物的分类结果；在其它实施例中，检测第一目标人像与第二目标人像之间是否存在目标物的过程，还可以是从第一图片或第二图片中截取第一目标人像与第二目标人像之间的待检测区域图片，选取与待检测区域图片对应的参考图片，参考图片是在监控画面不包括人像时抽取到的背景图片，将待检测区域图片与参考区域图片进行比对，根据比对结果确定待检测区域图片包括背景或者包括目标物。
步骤S400，若第一目标人像与第二目标人像之间存在目标物，则根据第一图片和第二图片获取第一目标人像的双手运动结果，并根据双手运动结果检测第一目标人像的行为是否合规。
本实施例中，若第一目标人像与第二目标人像之间存在目标物，则根据第一图片和第二图片获取第一目标人像的双手运动结果，并根据双手运动结果检测第一目标人像的行为是否合规；本实施例中，以监管服务人员是否双手接递客户手中的物品的场景为例，即需要检测第一目标人像是否双手接收第二目标人像递过来的目标物、第一目标人像是否双手归还目标物给第二目标人像；若第一目标人像双手接递第二目标人像手中的物品，则确定第一目标人像的行为合规。在本实施例中，第一目标人像的双手运动结果包括第一目标人像的左手是否朝向第二目标人像运动、第一目标人像的左手是否远离第二目标人像运动、第一目标人像的右手是否朝向第二目标人像运动、第一目标人像的右手是否远离第二目标人像运动，等等。
若从第一图片和第二图片获取到第一目标人像的双手运动结果为第一目标人像的左手存在朝向第二目标人像运动的运动结果、第一目标人像的左手存在远离第二目标人像运动的运动结果、第一目标人像的右手存在朝向第二目标人像运动的运动结果且第一目标人像的右手存在远离第二目标人像运动的运动结果，则确定第一目标人像的行为合规。
本实施例通过从获取到的监控视频中抽取第一图片及第二图片；第一图片及第二图片为连续的两帧图片；若第一图片及第二图片均包括第一目标人像及第二目标人像，则根据第一图片和第二图片获取第二目标人像的手部运动结果；基于手部运动结果，检测第一目标人像与第二目标人像之间是否存在目标物；若第一目标人像与第二目标人像之间存在目标物，则根据第一图片和第二图片获取第一目标人像的双手运动结果，并根据双手运动结果检测第一目标人像的行为是否合规；由此，计算机设备从监控视频中抽取连续的两帧图片，基于该两帧图片获取第一目标人像的双手运动结果，根据双手运动结果检测得到第一目标人像的行为是否合规；避免了传统技术中，需要监管人员人工浏览监控视频对服务人员的服务行为进行监管，所造成的监管效率低下的问题。本实施例在根据监控视频对服务人员的服务质量进行监管时，能够提升监管效率。
图3为另一个实施例提供的行为检测方法的流程示意图。在上述图2所示实施例的基础上，本实施例行为检测方法中，步骤S200包括步骤S210及步骤S220：
步骤S210，若第一图片及第二图片均包括第一目标人像及第二目标人像，则从第一图片及第二图片中提取第二目标人像的特征点。
若第一图片及第二图片均包括第一目标人像及第二目标人像，则从该第一图片及第二图片中提取第二目标人像的特征点；具体地，从第一图片中提取第二目标人像的第一特征点、从第二图片中提取第二目标人像的第二特征点，即第二目标人像的特征点包括从第一图片中提取的第一特征点及从第二图片中提取的第二特征点。
在本实施例中，继续以第一目标人像是金融服务机构中为客户办理业务的柜员，第二目标人像是前往金融服务机构中办理金融业务的客户为例，第二目标人像的特征点向量用{cbdy}表示，cbdy包括{neck,rwrist,lwrist},即cbdy＝{脖子,右手腕,左手腕}，即第一特征点包括从第一图片中提取到的第二目标人像的脖子,右手腕,左手腕三个特征点、第二特征点包括从第二图片中提取到的第二目标人像的脖子,右手腕,左手腕三个特征点。第一特征点及第二特征点可以将第一图片及第二图片分别输入至Open Pose(人体姿态估计模型)中输出得到的。
步骤S220，根据第二目标人像的特征点，计算第二目标人像的手部运动结果。
作为一种实施方式，第二目标人像的特征点包括从第一图片中提取的第一特征点及从第二图片中提取的第二特征点，参考图4，图4为步骤S220的细化步骤示意图，步骤S220包括：
步骤S221，根据第一特征点及第二特征点，计算第二目标人像的手部位移。
具体地，第二目标人像的手部位移包括第二目标人像的左手腕位移及第二目标人像的右手腕位移，第二目标人像的左手腕位移根据公式1计算得到：
distLW＝||cbdy.lwrist1-cbdy.lwrist0||2 公式1
在公式1中，distLW为第二目标人像的左手腕位移，cbdy.lwrist1为第二特征点中的左手腕特征点，cbdy.lwrist0为第一特征点中的左手腕特征点。
第二目标人像的右手腕位移根据公式2计算得到：
distRW＝||cbdy.rwrist1-cbdy.rwrist0||2 公式2
在公式2中，distRW为第二目标人像的右手腕位移，cbdy.rwrist1为第二特征点中的右手腕特征点，cbdy.rwrist0为第一特征点中的右手腕特征点。
由此，计算得到第二目标人像的左手腕位移及第二目标人像的右手腕位移。
步骤S222，若检测到手部位移处于预设区间内，则手部运动结果为运动状态。
若第二目标人像的左手腕位移处于预设区间范围内，和/或第二目标人像的右手腕位移处于该预设区间范围内，则确定第二目标人像手部运动结果为运动状态；在实际实施过程中，预设区间可以根据实际的需求自行设置，例如，可以根据第一图片及第二图片两帧之间的时间差，确定第二目标人像的手腕位移的上限及下限，将该手腕位移的上限及下限作为该预设区间的两个端点值。
进一步地，作为一种实施方式，参见图5，本实施例步骤S400中根据第一图片和第二图片获取第一目标人像的双手运动结果的过程包括步骤S410至步骤S420：
步骤S410，从第一图片及第二图片中提取第一目标人像的特征点。
从第一图片中提取第一目标人像的第三特征点、从第二图片中提取第一目标人像的第四特征点，即第一目标人像的特征点包括从第一图片中提取的第三特征点及从第二图片中提取的第四特征点。
步骤S420，根据第一目标人像的特征点及第二目标人像的特征点，计算第一目标人像的双手运动结果。
第一目标人像的特征点包括从第一图片中提取的第三特征点及从第二图片中提取的第四特征点、第二目标人像的特征点包括从第一图片中提取的第一特征点及从第二图片中提取的第二特征点；根据第一目标人像的特征点及第二目标人像的特征点，计算第一目标人像的双手运动结果具体是基于第一特征点、第二特征点、第三特征点及第四特征点，计算第一目标人像的双手运动结果。
在本实施例中，第一目标人像的双手运动结果包括第一目标人像的左手是否朝向第二目标人像运动、第一目标人像的左手是否远离第二目标人像运动、第一目标人像的右手是否朝向第二目标人像运动、第一目标人像的右手是否远离第二目标人像运动；根据第一特征点、第二特征点、第三特征点及第四特征点得到第一目标人像的左右手相对于第二目标人像的上述运动结果，进一步根据第一目标人像的双手运动结果检测第一目标人像的行为是否合规，得到检测结果。
在其它实施例中，步骤S300包括：
步骤a,若手部运动结果为运动状态，则根据第一目标人像的特征点及第二目标人像的特征点，确定目标物的识别区域。
在该实施例中，设第一目标人像左手腕的特征点为pt_sLW,第一目标人像右手腕的特征点为pt_sRW,第二目标人像的左手腕的特征点为pt_cLW,第二目标人像的右手腕的特征点为pt_cRW,则目标物识别区域bnx＝{x0,x1,y0,y1},其中：
x0＝min(pt_sLW.x,pt_sRW.x,pt_cLW.x,pt_cRW.x)；
y0＝min(pt_sLW.y,pt_sRW.y,pt_cLW.y,pt_cRW.y)；
x1＝max(pt_sLW.x,pt_sRW.x,pt_cLW.x,pt_cRW.x)；
y1＝max(pt_sLW.y,pt_sRW.y,pt_cLW.y,pt_cRW.y)；
其中，(pt_sLW.x,pt_sLW.y)为第一目标人像的左手腕的特征点在第一图片中的坐标，(pt_sRW.x,pt_sRW.y)为第一目标人像的右手腕的特征点在第一图片中的坐标；(pt_cLW.x,pt_cLW.y)为第二目标人像的左手腕的特征点在第一图片中的坐标，(pt_cRW.x,pt_cRW.y)为第二目标人像的右手腕的特征点在第一图片中的坐标。需要说明的是，pt_sLW,pt_sRW,pt_cLW,pt_cRW中至少需有两个点能被计算机设备检测到。
步骤b,根据识别区域，在第一图片或第二图片中截取与识别区域对应的目标区域图片。
根据目标物识别区域bnx的坐标，在第一图片或第二图片中截取与目标物识别区域bnx的坐标对应的目标区域图片，可以理解的是，截取到的目标区域图片可能包括物品类，也可能只包括背景类。
步骤c,将目标区域图片输入预设的分类模型中，得到分类结果；分类结果用于指示第一目标人像与第二目标人像之间是否存在目标物。
将目标区域图片输入预设的二分类(物品类和背景类)模型中进行分类，得到分类结果，以服务机构为银行为例，其中，银行业务办理涉及的物品(如证件,纸质文件等)统一归为物品类，除此之外的均归为背景类；由此得到第一目标人像与第二目标人像之间是否存在目标物的检测结果。
本实施例计算机设备根据据第二目标人像的特征点，计算第二目标人像的手部运动结果，基于该手部运动结果，若第一目标人像及第二目标人像之间存在目标物，则进一步根据第一目标人像的双手运动结果，检测第一目标人像的行为是否合规；避免了传统技术中，由监管人员人工浏览监控视频对第一目标人像的行为进行监管所造成的监管效率低下的问题，本实施例提升了监管工作的效率。
在上述图3-图5所示实施例的基础上，参考图6，图6为另一实施例中步骤S420的细化步骤示意图，本实施例步骤S420包括：
步骤S421，根据第三特征点及第四特征点，计算第一目标人像的左手位移量及右手位移量。
在本实施例中，继续以第一目标人像是金融服务机构中为客户办理业务的柜员、第二目标人像是客户为例，第一目标人像的特征点向量用{sbdy}表示，sbdy包括{neck,rwrist,lwrist,sLhand,sRhand},即sbdy＝{脖子,右手腕,左手腕，左手21个关节点，右手21个关节点}；则第三特征点包括从第一图片中提取到的第一目标人像的脖子,右手腕,左手腕，左手21个关节点及右手21个关节点共45个特征点、第四特征点包括从第二图片中提取到的第一目标人像的脖子,右手腕,左手腕，左手21个关节点及右手21个关节点共45个特征点。第三特征点及第四特征点可以将第一图片及第二图片分别输入至Open Pose(人体姿态估计模型)中输出得到的。
根据第三特征点包括的45个特征点及第四特征点包括的45个特征点，计算第一目标人像的左手位移量及右手位移量；具体地，第一目标人像的左手位移量distL＝{distL1,distL2,...,distL21}，其中,distL1,distL2,...,distL21分别表示第一目标人像左手21个关节点从第一图片至第二图片中的位移量，distLi的计算公式如公式3所示：
distLi＝||sLhand1i-sLhand0i||2 公式3
在公式3中，distLi为第一目标人像的左手第i个关节点的位移量，sLhand1i为第四特征点中第一目标人像左手第i个关节点向量，sLhand0i为第三特征点中第一目标人像左手第i个关节点向量。
进一步地，第一目标人像的右手位移量distR＝{distR1,distR2,...,distR21}；
其中,distR1,distR2,...,distR21分别表示第一目标人像右手21个关节点从第一图片至第二图片中的位移量，distRi的计算公式如公式4所示：
distRi＝||sRhand1i-sRhand0i||2 公式4
在公式4中，distRi为第一目标人像的右手第i个关节点的位移量，sRhand1i为第四特征点中第一目标人像右手第i个关节点向量，sRhand0i为第三特征点中第一目标人像右手第i个关节点向量。
由此，计算得到第一目标人像的左手位移量distL及右手位移量distR。
步骤S422，根据左手位移量、右手位移量以及预设的阈值范围，对第三特征点及第四特征点进行筛选，得到筛选后的第三特征点及筛选后的第四特征点。
设置阈值范围，从distL和distR中筛选出distLi及distRi在阈值范围内的特征点并保留,将distLi及distRi在阈值范围外的特征点从第三特征点及第四特征点中剔除，由此，剔除噪声点及运动不明显的手部关节点，得到筛选后的第三特征点及筛选后的第四特征点。
步骤S423，基于第一特征点、第二特征点、筛选后的第三特征点及筛选后的第四特征点，计算第一目标人像的双手运动结果。
根据第二目标人像从第一图片中提取的第一特征点、从第二图片中提取的第二特征点、上述筛选后的第三特征点及筛选后的第四特征点，计算第一目标人像的双手运动结果，进一步根据第一目标人像的双手运动结果检测第一目标人像的行为是否合规。
本实施例对第一目标人像的第三特征点及第四特征点进行筛选，剔除噪声点及运动不明显的手部关节点，根据剔除后的特征点计算第一目标人像的双手运动结果，提升了第一目标人像双手运动结果的计算准确性，进一步提升了计算机设备根据监控视频对第一目标人像进行监管时的行为识别精度，提升了监管工作的可靠性。
在上述图6所示实施例的基础上，参考图7，图7为另一实施例中步骤S423的细化步骤示意图，本实施例步骤S423包括：
步骤S4231，基于第一特征点、第二特征点、筛选后的第三特征点及筛选后的第四特征点，分别计算第一目标人像的左手运动方向向量及右手运动方向向量、第二目标人像与第一目标人像之间的朝向夹角。
根据第一特征点、第二特征点、筛选后的第三特征点及筛选后的第四特征点，分别计算第一目标人像的左手运动方向向量及右手运动方向向量。
第一目标人像的左手运动方向向量thetaL＝{thetaL1,thetaL2,...,thetaLn}，其中，thetaL1,thetaL2,...,thetaLn分别表示第一目标人像筛选后的n(n<21)个左手关节点的运动方向角度，thetaLi的计算公式如公式5所示：
在公式5中，thetaLi为第一目标人像筛选后的n个左手关节点中，第i个关节点的运动方向角度；(sLhand1.x,sLhand1.y)为筛选后的第四特征点中，第一目标人像左手第i个关节点在第二图片中的坐标，(sLhand0.x,sLhand0.y)为筛选后的第三特征点中，第一目标人像左手第i个关节点在第一图片中的坐标。
第一目标人像的右手运动方向向量thetaR＝{thetaR1,thetaR2,...,thetaRn}，其中，thetaR1,thetaR2,...,thetaRn分别表示第一目标人像筛选后的n(n<21)个右手关节点的运动方向角度，thetaRi的计算公式如公式6所示：
在公式6中，thetaRi为第一目标人像筛选后的n个右手关节点中，第i个关节点的运动方向角度；(sRhand1.x,sRhand1.y)为筛选后的第四特征点中，第一目标人像右手第i个关节点在第二图片中的坐标，(sRhand0.x,sRhand0.y)为筛选后的第三特征点中，第一目标人像右手第i个关节点在第一图片中的坐标。
由此，计算得到第一目标人像的左手运动方向向量及右手运动方向向量；进一步地，计算第二目标人像与第一目标人像之间的朝向夹角，第二目标人像与第一目标人像之间的朝向夹角thetaB的计算公式如公式7所示：
在公式7中，(cbdy.neck.x,cbdy.neck.y)为第二目标人像的脖子特征点在第一图片中的坐标，(sbdy.neck.x,sbdy.neck.y)为第一目标人像的脖子特征点在第一图片中的坐标。在其他实施例中，(cbdy.neck.x,cbdy.neck.y)为第二目标人像的脖子特征点在第二图片中的坐标且(sbdy.neck.x,sbdy.neck.y)为第一目标人像的脖子特征点在第二图片中的坐标。
步骤S4232，根据左手运动方向向量及朝向夹角，计算第一目标人像的左手相对于第二目标人像的左手运动结果。
根据第一目标人像的左手运动方向向量thetaL，统计得到thetaLi出现在(thetaB±22.5°)范围内的左手关节点的个数FcntL，若FcntL>阈值K，则确定第一目标人像的左手在朝向第二目标人像运动。
根据第一目标人像的左手运动方向向量thetaL，统计得到thetaLi出现在(thetaB+180°±22.5°)范围内的左手关节点的个数BcntL，若BcntL>阈值K，则确定第一目标人像的左手在远离第二目标人像运动，阈值K的设定在实际实施时可以根据实际需求自行设置。
步骤S4233，根据右手运动方向向量及朝向夹角，计算第一目标人像的右手相对于第二目标人像的右手运动结果。
根据第一目标人像的右手运动方向向量thetaR，统计得到thetaRi出现在(thetaB±22.5°)范围内的右手关节点的个数FcntR，若FcntR>阈值K，则确定第一目标人像的右手在朝向第二目标人像运动。
根据第一目标人像的右手运动方向向量thetaR，统计得到thetaRi出现在(thetaB+180°±22.5°)范围内的右手关节点的个数BcntR，若BcntR>阈值K，则确定第一目标人像的右手在远离第二目标人像运动。
本实施例步骤S400中，根据双手运动结果检测第一目标人像的行为是否合规，具体是根据左手运动结果及右手运动结果，检测第一目标人像的行为是否合规。进一步地，参见图8，图8为本实施例中步骤S400的细化完整步骤示意图，若第一目标人像与第二目标人像之间存在目标物，本实施例步骤S400中根据左手运动结果及右手运动结果，检测第一目标人像的行为是否合规的过程包括：
步骤S431，对左手运动结果及右手运动结果进行异或运算，得到运算结果。
本实施例中，运算结果state＝LDelivery异或RDelivery；LDelivery为第一目标人像的左手运动结果，RDelivery为第一目标人像的右手运动结果；其中，LDelivery＝LF&LB，RDelivery＝RF&RB，且LF,LB,RF,RB,LDelivery,RDelivery均为布尔变量。
根据计算得到的第一目标人像的左手运动结果及右手运动结果设定：
若第一目标人像的左手在朝向第二目标人像运动,则LF＝true；
若第一目标人像的左手在远离第二目标人像运动,则LB＝true；
若第一目标人像的右手在朝向第二目标人像运动,则RF＝true；
若第一目标人像的右手在远离第二目标人像运动,则RB＝true。
步骤S432，若运算结果等于一，则第一目标人像的行为不合规。
若state＝LDelivery异或RDelivery＝1，则确定第一目标人像存在单手接递第二目标人像手中物品的行为，进而确定第一目标人像的行为不合规。本实施例计算机设备根据第一目标人像的左手运动方向向量及朝向夹角，计算第一目标人像的左手相对于第二目标人像的左手运动结果；根据第一目标人像的右手运动方向向量及朝向夹角，计算第一目标人像的右手相对于第二目标人像的右手运动结果；并基于左手运动结果及右手运动结果对第一目标人像的行为进行检测，检测第一目标人像是否存在违规行为，提升了第一目标人像的行为识别准确度，提升了监管工作的效率。
图9为另一个实施例提供的行为检测方法的流程示意图。在上述图2所示实施例的基础上，步骤S100之后，本实施例行为检测方法还包括：
步骤S510，根据预设的图片尺寸对第一图片及第二图片进行预处理，得到预处理后的第一图片及预处理后的第二图片。
从监控视频中抽取得到第一图片和第二图片后，对第一图片和第二图片进行预处理，具体是将第一图片和第二图片缩放至预设的图片尺寸，并对第一图片和第二图片做归一化处理，得到预处理后的第一图片及预处理后的第二图片。
步骤S520，将预处理后的第一图片及预处理后的第二图片输入至预设的姿态估计模型中，得到第一图片的第一关节点、第二图片的第二关节点。
将预处理后的第一图片及预处理后的第二图片输入至预设的姿态估计模型中，得到第一图片的第一关节点、第二图片的第二关节点；本实施例中，对监控画面进行区域划分，将监控画面划分为服务人员区域及被服务人员区域，第一图片的第一关节点包括姿态估计模型识别到的第一图片中服务人员区域的关节点及被服务人员区域的关节点；第二图片的第二关节点包括姿态估计模型识别到的第二图片中服务人员区域的关节点及被服务人员区域的关节点，本实施例姿态估计模型具体可以是Open Pose(人体姿态识别模型)。
本实施例关节点包括骨架关节点及手部关节点，其中，骨架关节点包括人体骨架的25个主要关节点：0-鼻子,1-脖子,2-右肩膀,3-右手肘,4-右手腕,5-左肩膀,6-左手肘,7-左手腕,8-骶骨,9-右胯骨,10-右膝盖,11-脚踝,12-左胯骨,13-左膝盖,14-左脚踝,15-右眼,16-左眼,17-右耳,18-左耳,19-左脚趾1,20-左脚趾2,21-左脚跟,22-右脚趾1,23-右脚趾2,24-右脚跟。手部关节点包括人体双手的42个主要关节点,左右手各21个点,以右手为例,包括:0-掌根,1-掌腹,2-拇指根,3-拇指中,4-拇指尖,5-食指根,6-食指近,7-食指中,8-食指尖,9-中指根,10-中指近,11-中指中,12-中指尖,13-无名指根,14-无名指近,15-无名指中,16-无名指尖,17-小拇指根,18-小拇指近,19-小拇指中,20-小拇指尖；将第一图片及第二图片输入是姿态估计模型后，姿态估计模型识别第一图片及第二图片中是否包括上述骨架关节点及手部关节点，得到第一图片的第一关节点、第二图片的第二关节点。
步骤S530，若第一关节点及第二关节点均大于预设阈值，则确定第一图片及第二图片均包括人像；并基于第一关节点及第二关节点，从人像中确定第一目标人像及第二目标人像。
若第一图片中服务人员区域的关节点及被服务人员区域的关节点均大于预设的关节点阈值，则确定第一图片包括第一目标人像及第二目标人像，并将第一图片中服务人员区域的关节点数量最多的人像作为第一目标人像、将第一图片中被服务人员区域的关节点数量最多的人像作为第二目标人像。
若第二图片中服务人员区域的关节点及被服务人员区域的关节点均大于预设的关节点阈值，则确定第二图片包括第一目标人像及第二目标人像，并将第二图片中服务人员区域的关节点数量最多的人像作为第一目标人像、将第二图片中被服务人员区域的关节点数量最多的人像作为第二目标人像。本实施例根据姿态估计模型对第一图片及第二图片中的人像进行检测，检测结果精度高，检测速度快，进而提升了计算机设备根据监控视频对第一目标人像的行为检测速度，提升了监管工作的监管效率。
应该理解的是，虽然图2-9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种行为检测装置，包括：
抽取模块10，用于从获取到的监控视频中抽取第一图片及第二图片；第一图片及第二图片为连续的两帧图片；
获取模块20，用于若第一图片及第二图片均包括第一目标人像及第二目标人像，则根据第一图片和第二图片获取第二目标人像的手部运动结果；
第一检测模块30，用于基于手部运动结果，检测第一目标人像与第二目标人像之间是否存在目标物；
第二检测模块40，用于若第一目标人像与第二目标人像之间存在目标物，则根据第一图片和第二图片获取第一目标人像的双手运动结果，并根据双手运动结果检测第一目标人像的行为是否合规。
可选地，获取模块20包括：
第一提取单元，用于从第一图片及第二图片中提取第二目标人像的特征点；
第一计算单元，用于根据第二目标人像的特征点，计算第二目标人像的手部运动结果。
可选地，第二检测模块40包括：
第二提取单元，用于从第一图片及第二图片中提取第一目标人像的特征点；
第二计算单元，用于根据第一目标人像的特征点及第二目标人像的特征点，计算第一目标人像的双手运动结果。
可选地，第二目标人像的特征点包括从第一图片中提取的第一特征点及从第二图片中提取的第二特征点；第二计算单元包括：
第一计算子单元，用于根据第一特征点及第二特征点，计算第二目标人像的手部位移；
检测子单元，用于若检测到手部位移处于预设区间内，则手部运动结果为运动状态。
可选地，第一目标人像的特征点包括从第一图片中提取的第三特征点及从第二图片中提取的第四特征点；第二计算单元包括：
第二计算子单元，用于基于第一特征点、第二特征点、第三特征点及第四特征点，计算第一目标人像的双手运动结果。
可选地，第二计算子单元包括：
第一计算部，用于根据第三特征点及第四特征点，计算第一目标人像的左手位移量及右手位移量；
筛选部，用于根据左手位移量、右手位移量以及预设的阈值范围，对第三特征点及第四特征点进行筛选，得到筛选后的第三特征点及筛选后的第四特征点；
第二计算部，用于基于第一特征点、第二特征点、筛选后的第三特征点及筛选后的第四特征点，计算第一目标人像的双手运动结果。
可选地，第二计算部包括:
运动方向向量及夹角计算部，用于基于第一特征点、第二特征点、筛选后的第三特征点及筛选后的第四特征点，分别计算第一目标人像的左手运动方向向量及右手运动方向向量、第二目标人像与第一目标人像之间的朝向夹角；
第一运动结果计算部，用于根据左手运动方向向量及朝向夹角，计算第一目标人像的左手相对于第二目标人像的左手运动结果；
第二运动结果计算部，用于根据右手运动方向向量及朝向夹角，计算第一目标人像的右手相对于第二目标人像的右手运动结果。
第二检测模块40还包括：
合规检测单元，用于根据左手运动结果及右手运动结果，检测第一目标人像的行为是否合规。
可选地，合规检测单元包括：
异或运动子单元，用于对左手运动结果及右手运动结果进行异或运算，得到运算结果；
判定子单元，用于若运算结果等于一，则第一目标人像的行为不合规。
可选地，第一检测模块30包括：
识别区域确定单元，用于若手部运动结果为运动状态，则根据第一目标人像的特征点及第二目标人像的特征点，确定目标物的识别区域；
截取单元，用于根据识别区域，在第一图片或第二图片中截取与识别区域对应的目标区域图片；
分类单元，用于将目标区域图片输入预设的分类模型中，得到分类结果；分类结果用于指示第一目标人像与第二目标人像之间是否存在目标物。
可选地，装置还包括：
预处理模块，用于根据预设的图片尺寸对第一图片及第二图片进行预处理，得到预处理后的第一图片及预处理后的第二图片；
输入模块，用于将预处理后的第一图片及预处理后的第二图片输入至预设的姿态估计模型中，得到第一图片的第一关节点、第二图片的第二关节点；
确定模块，用于若第一关节点及第二关节点均大于预设阈值，则确定第一图片及第二图片均包括人像；并基于第一关节点及第二关节点，从人像中确定第一目标人像及第二目标人像。
本实施例提供的行为检测装置，可以执行上述行为检测方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于行为检测装置的具体限定可以参见上文中对于行为检测方法的限定，在此不再赘述。上述行为检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，还提供了一种如图1所示的计算机设备，该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储行为检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种行为检测方法。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
从获取到的监控视频中抽取第一图片及第二图片；第一图片及第二图片为连续的两帧图片；若第一图片及第二图片均包括第一目标人像及第二目标人像，则根据第一图片和第二图片获取第二目标人像的手部运动结果；基于手部运动结果，检测第一目标人像与第二目标人像之间是否存在目标物；若第一目标人像与第二目标人像之间存在目标物，则根据第一图片和第二图片获取第一目标人像的双手运动结果，并根据双手运动结果检测第一目标人像的行为是否合规。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Ramb微秒)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
从获取到的监控视频中抽取第一图片及第二图片；第一图片及第二图片为连续的两帧图片；若第一图片及第二图片均包括第一目标人像及第二目标人像，则根据第一图片和第二图片获取第二目标人像的手部运动结果；基于手部运动结果，检测第一目标人像与第二目标人像之间是否存在目标物；若第一目标人像与第二目标人像之间存在目标物，则根据第一图片和第二图片获取第一目标人像的双手运动结果，并根据双手运动结果检测第一目标人像的行为是否合规。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种行为检测方法，其特征在于，所述方法包括：
从获取到的监控视频中抽取第一图片及第二图片；所述第一图片及所述第二图片为连续的两帧图片；
若所述第一图片及所述第二图片均包括第一目标人像及第二目标人像，则根据所述第一图片和所述第二图片获取所述第二目标人像的手部运动结果；
基于所述手部运动结果，检测所述第一目标人像与所述第二目标人像之间是否存在目标物；
若所述第一目标人像与所述第二目标人像之间存在所述目标物，则根据所述第一图片和所述第二图片获取所述第一目标人像的双手运动结果，并根据所述双手运动结果检测所述第一目标人像的行为是否合规。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图片和所述第二图片获取所述第二目标人像的手部运动结果，包括：
从所述第一图片及所述第二图片中提取所述第二目标人像的特征点；
根据所述第二目标人像的特征点，计算所述第二目标人像的手部运动结果。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一图片和所述第二图片获取所述第一目标人像的双手运动结果，包括：
从所述第一图片及所述第二图片中提取所述第一目标人像的特征点；
根据所述第一目标人像的特征点及所述第二目标人像的特征点，计算所述第一目标人像的双手运动结果。
4.根据权利要求3所述的方法，其特征在于，所述第二目标人像的特征点包括从所述第一图片中提取的第一特征点及从所述第二图片中提取的第二特征点；所述根据所述第二目标人像的特征点，计算所述第二目标人像的手部运动结果，包括：
根据所述第一特征点及所述第二特征点，计算所述第二目标人像的手部位移；
若检测到所述手部位移处于预设区间内，则所述手部运动结果为运动状态。
5.根据权利要求4所述的方法，其特征在于，所述第一目标人像的特征点包括从所述第一图片中提取的第三特征点及从所述第二图片中提取的第四特征点；所述根据所述第一目标人像的特征点及所述第二目标人像的特征点，计算所述第一目标人像的双手运动结果，包括：
基于所述第一特征点、所述第二特征点、所述第三特征点及所述第四特征点，计算所述第一目标人像的双手运动结果。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一特征点、所述第二特征点、所述第三特征点及所述第四特征点，计算所述第一目标人像的双手运动结果，包括：
根据所述第三特征点及所述第四特征点，计算所述第一目标人像的左手位移量及右手位移量；
根据所述左手位移量、所述右手位移量以及预设的阈值范围，对所述第三特征点及所述第四特征点进行筛选，得到筛选后的第三特征点及筛选后的第四特征点；
基于所述第一特征点、所述第二特征点、所述筛选后的第三特征点及所述筛选后的第四特征点，计算所述第一目标人像的双手运动结果。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一特征点、所述第二特征点、所述筛选后的第三特征点及所述筛选后的第四特征点，计算所述第一目标人像的双手运动结果，包括:
基于所述第一特征点、所述第二特征点、所述筛选后的第三特征点及所述筛选后的第四特征点，分别计算所述第一目标人像的左手运动方向向量及右手运动方向向量、所述第二目标人像与所述第一目标人像之间的朝向夹角；
根据所述左手运动方向向量及所述朝向夹角，计算所述第一目标人像的左手相对于所述第二目标人像的左手运动结果；
根据所述右手运动方向向量及所述朝向夹角，计算所述第一目标人像的右手相对于所述第二目标人像的右手运动结果；
所述根据所述双手运动结果检测所述第一目标人像的行为是否合规，包括：
根据所述左手运动结果及所述右手运动结果，检测所述第一目标人像的行为是否合规。
8.根据权利要求7所述的方法，其特征在于，所述根据所述左手运动结果及所述右手运动结果，检测所述第一目标人像的行为是否合规，包括：
对所述左手运动结果及所述右手运动结果进行异或运算，得到运算结果；
若所述运算结果等于一，则所述第一目标人像的行为不合规。
9.根据权利要求3所述的方法，其特征在于，所述基于所述手部运动结果，检测所述第一目标人像与所述第二目标人像之间是否存在目标物，包括：
若所述手部运动结果为运动状态，则根据所述第一目标人像的特征点及所述第二目标人像的特征点，确定所述目标物的识别区域；
根据所述识别区域，在所述第一图片或所述第二图片中截取与所述识别区域对应的目标区域图片；
将所述目标区域图片输入预设的分类模型中，得到分类结果；所述分类结果用于指示所述第一目标人像与所述第二目标人像之间是否存在所述目标物。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述从获取到的监控视频中抽取第一图片及第二图片之后，包括：
根据预设的图片尺寸对所述第一图片及所述第二图片进行预处理，得到预处理后的第一图片及预处理后的第二图片；
将所述预处理后的第一图片及所述预处理后的第二图片输入至预设的姿态估计模型中，得到所述第一图片的第一关节点、所述第二图片的第二关节点；
若所述第一关节点及所述第二关节点均大于预设阈值，则确定所述第一图片及所述第二图片均包括人像；并基于所述第一关节点及所述第二关节点，从所述人像中确定所述第一目标人像及所述第二目标人像。
11.一种行为检测装置，其特征在于，所述装置包括：
抽取模块，用于从获取到的监控视频中抽取第一图片及第二图片；所述第一图片及所述第二图片为连续的两帧图片；
获取模块，用于若所述第一图片及所述第二图片均包括第一目标人像及第二目标人像，则根据所述第一图片和所述第二图片获取所述第二目标人像的手部运动结果；
第一检测模块，用于基于所述手部运动结果，检测所述第一目标人像与所述第二目标人像之间是否存在目标物；
第二检测模块，用于若所述第一目标人像与所述第二目标人像之间存在所述目标物，则根据所述第一图片和所述第二图片获取所述第一目标人像的双手运动结果，并根据所述双手运动结果检测所述第一目标人像的行为是否合规。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
CN201910833636.7A 2019-09-04 2019-09-04 行为检测方法、装置、计算机设备和可读存储介质 Pending CN110532994A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910833636.7A CN110532994A (zh) 2019-09-04 2019-09-04 行为检测方法、装置、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910833636.7A CN110532994A (zh) 2019-09-04 2019-09-04 行为检测方法、装置、计算机设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN110532994A true CN110532994A (zh) 2019-12-03

Family

ID=68666864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910833636.7A Pending CN110532994A (zh) 2019-09-04 2019-09-04 行为检测方法、装置、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN110532994A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060098846A1 (en) * 2004-11-05 2006-05-11 Fuji Xerox Co., Ltd. Movement analysis apparatus
CN105915857A (zh) * 2016-06-13 2016-08-31 南京亿猫信息技术有限公司 超市购物车监控系统及其监控方法
CN107491717A (zh) * 2016-06-13 2017-12-19 科大讯飞股份有限公司 考试作弊检测方法和装置
US20180130074A1 (en) * 2015-05-12 2018-05-10 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for calculating customer traffic volume
CN108154096A (zh) * 2017-12-19 2018-06-12 科大讯飞股份有限公司 一种审讯资料的审查方法及装置
CN109034074A (zh) * 2018-07-31 2018-12-18 安徽皖新金智教育科技有限公司 校园考试反馈系统及反馈方法
CN110032992A (zh) * 2019-04-25 2019-07-19 沈阳航空航天大学 一种基于姿态的考试作弊检测方法
CN110188695A (zh) * 2019-05-30 2019-08-30 北京百度网讯科技有限公司 购物动作决策方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060098846A1 (en) * 2004-11-05 2006-05-11 Fuji Xerox Co., Ltd. Movement analysis apparatus
US20180130074A1 (en) * 2015-05-12 2018-05-10 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for calculating customer traffic volume
CN105915857A (zh) * 2016-06-13 2016-08-31 南京亿猫信息技术有限公司 超市购物车监控系统及其监控方法
CN107491717A (zh) * 2016-06-13 2017-12-19 科大讯飞股份有限公司 考试作弊检测方法和装置
CN108154096A (zh) * 2017-12-19 2018-06-12 科大讯飞股份有限公司 一种审讯资料的审查方法及装置
CN109034074A (zh) * 2018-07-31 2018-12-18 安徽皖新金智教育科技有限公司 校园考试反馈系统及反馈方法
CN110032992A (zh) * 2019-04-25 2019-07-19 沈阳航空航天大学 一种基于姿态的考试作弊检测方法
CN110188695A (zh) * 2019-05-30 2019-08-30 北京百度网讯科技有限公司 购物动作决策方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ASHUTOSH GUPTA: "Banking security system using hand gesture recognition", 《2015 INTERNATIONAL CONFERENCE ON RECENT DEVELOPMENTS IN CONTROL, AUTOMATION AND POWER ENGINEERING (RDCAPE)》 *
PENG WANG: "Fast and Robust Object Detection Using Asymmetric Totally corrective Boosting", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 *
刘鸾: "基于图像分析的考场视频监视系统分析与研究", 《中国优秀硕士学位论文全文数据库 (基础科学辑)》 *

Similar Documents

Publication Publication Date Title
An et al. Improving gait recognition with 3d pose estimation
CN105069472B (zh) 一种基于卷积神经网络自适应的车辆检测方法
WO2021093329A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN109522790A (zh) 人体属性识别方法、装置、存储介质及电子设备
CN107316029B (zh) 一种活体验证方法及设备
CN111062239A (zh) 人体目标检测方法、装置、计算机设备及存储介质
Zeng et al. Model-based human gait recognition via deterministic learning
CN108229330A (zh) 人脸融合识别方法及装置、电子设备和存储介质
GB2560387A (en) Action identification using neural networks
Patruno et al. People re-identification using skeleton standard posture and color descriptors from RGB-D data
CN110223272A (zh) 身体成像
Do et al. Real-time and robust multiple-view gender classification using gait features in video surveillance
CN109086711A (zh) 人脸特征分析方法、装置、计算机设备和存储介质
CN108932456A (zh) 人脸识别方法、装置和系统及存储介质
Tian et al. Densely connected attentional pyramid residual network for human pose estimation
CN107633206B (zh) 眼球动作捕捉方法、装置及存储介质
CN108875533A (zh) 人脸识别的方法、装置、系统及计算机存储介质
CN109754009A (zh) 物品识别方法、装置、售货系统和存储介质
Núñez et al. Multiview 3D human pose estimation using improved least-squares and LSTM networks
Ahmad et al. An integrated approach for eye centre localization using deep networks and rectangular-intensity-gradient technique
CN106157281A (zh) 一种图像主体识别方法及装置
CN108875500A (zh) 行人再识别方法、装置、系统及存储介质
RU2750419C1 (ru) Система и способ идентификации экипировки на человеке
Jaiswal et al. Learning to combine local models for facial action unit detection
US11030540B2 (en) User activity recognition through work surfaces using radio-frequency sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220802