CN113869127A - 人体行为的检测方法、监控设备、电子设备以及介质 - Google Patents

人体行为的检测方法、监控设备、电子设备以及介质 Download PDF

Info

Publication number
CN113869127A
CN113869127A CN202111006397.1A CN202111006397A CN113869127A CN 113869127 A CN113869127 A CN 113869127A CN 202111006397 A CN202111006397 A CN 202111006397A CN 113869127 A CN113869127 A CN 113869127A
Authority
CN
China
Prior art keywords
behavior
human body
processed
image
distribution information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111006397.1A
Other languages
English (en)
Inventor
蔡宁
赵雷
潘华东
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111006397.1A priority Critical patent/CN113869127A/zh
Publication of CN113869127A publication Critical patent/CN113869127A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人体行为的检测方法、监控设备、电子设备以及介质，其中检测方法包括：获取包含目标人体的待处理图像序列；确定待处理图像序列中，各个待处理图像对应的关键点分布信息；关键点分布信息是基于对应的待处理图像中目标人体的多个关键点的位置关系确定的；基于各个待处理图像对应的关键点分布信息，确定行为特征，得到人体行为；将人体行为与标准行为进行比对，确定人体行为是否是标准行为。通过上述方式，本申请能够通过采集的图像序列中提取多个关键点分布，从而确定行为特征，进而确定人体行为对应的行为类型。

Description

人体行为的检测方法、监控设备、电子设备以及介质
技术领域
本申请涉及监控技术领域，特别是涉及一种人体行为的检测方法、监控设备、电子设备以及介质。
背景技术
视频行为识别一直广受计算机视觉领域研究者的关注，主要包括个体行为识别与群体行为识别。
目前，在一些公共区域，为便于监控人员的管理，通常有监控设备进行监控，然而在公共区域，尤其是较大片的空地处，往往有很多人霸占用于跳广场舞或体操，这对于周边的居民造成困扰。
发明内容
为解决上述技术问题，本申请第一方面采用的技术方案是提供一种人体行为的检测方法，该检测方法包括：获取包含目标人体的待处理图像序列；确定待处理图像序列中，各个待处理图像对应的关键点分布信息；关键点分布信息是基于对应的待处理图像中目标人体的多个关键点的位置关系确定的；基于各个待处理图像对应的关键点分布信息，确定行为特征，得到人体行为；将人体行为与标准行为进行比对，确定人体行为是否是标准行为。
为解决上述技术问题，本申请第二方面采用的技术方案是提供一种监控设备，包括：
获取模块，用于获取包含目标人体的待处理图像序列；
确定模块，用于确定待处理图像序列中，各个待处理图像对应的关键点分布信息；关键点分布信息是基于对应的待处理图像中目标人体的多个关键点的位置关系确定的；
确定模块，还用于基于各个待处理图像对应的关键点分布信息，确定行为特征，得到人体行为；
确定模块，还用于将人体行为与标准行为进行比对，确定人体行为是否是标准行为。
为解决上述技术问题，本申请第三方面采用的技术方案是提供一种电子设备，该电子设备包括：处理器和存储器，存储器中存储有计算机程序，处理器用于执行计算机程序以实现如本申请第一方面的方法。
为解决上述技术问题，本申请第四方面采用的技术方案是提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序能够被处理器执行时实现本申请第一方面的方法。
本申请的有益效果是：本申请通过对采集到的待处理图像序列进行处理，获取到各个待处理图像对应的关键点分布信息，确定行为特征，得到人体行为，将人体行为与标准行为进行比对，确定人体行为是否是标准行为，以对人体行为进行识别，从而便于对群体行为进行有效识别，进而对违规占用公共区域等一些“广场舞”等群体行为进行有效管控。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请人体行为的检测方法第一实施例流程示意图；
图2是图1中步骤S12的一具体实施流程示意图；
图3是本申请的人体18个关键点的位置分布示意图，
图4是本申请的人体主要关键点的位置分布示意图；
图5是图1中步骤S13的一具体实施流程示意图；
图6是图4中步骤S13的另一具体实施流程示意图；
图7是本申请人体行为检测框架流程示意图；
图8是图1中步骤S14的一具体实施流程示意图；
图9是图1中步骤S14之后的一具体实施流程示意图；
图10是本申请监控设备实施例的结构示意框图；
图11是本申请电子设备实施例的结构示意框图；
图12是本申请计算机可读存储介质实施例的电路示意框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了说明本申请的技术方案，下面通过具体实施例来进行说明本申请提供一种体操行为的检测方法，请参阅图1，图1是本申请人体行为的检测方法第一实施例流程示意图，该人体行为的检测方法具体包括以下步骤：
S11：获取包含目标人体的待处理图像序列；
在一些公共区域，为便于监控人员的管理，通常有监控设备进行监控，监控设备通过采集设备拍摄或录制对公共区域的人或动物，以采集图像和视频，比如摄像头拍摄或录制对公共区域的人或动物，以采集图像和视频，便于后续对拍摄的图像或录制的视频数据进行处理。
本申请为了获取图像或视频数据中的目标人体的所在的图像区域，通常需要对拍摄的图像或录制的视频数据进行预处理。具体地，例如通常可以对输入的视频数据进行图像去噪，图像增强，图像分割等预处理工作，从而获取图像或视频数据中的包含目标人体的待处理图像序列。
S12：确定待处理图像序列中，各个待处理图像对应的关键点分布信息；
目标人体有自身的骨架，其骨架可以用骨架关键点来进行表征，进而用骨架关键点进行建模，从而得到人体特征，对人体行为进行分类，以便于后续对人体行为进行识别。
具体地，通过待预处理图像序列，首先可以获取目标人体所在的图像区域，再通过各个待处理图像对应对目标人体所在的图像区域进行查找，可以获取各个待处理图像对应的多个骨架关键点，根据多个骨架关键点，则可以获取各个待处理图像对应的关键点分布信息。
其中，待处理图像序列由各个待处理图像组成。
S13：基于各个待处理图像对应的关键点分布信息，确定行为特征，得到人体行为；
人体行为包括空间上的人体外观信息以及时间上的运动信息。空间上的人体外观信息对应于多个骨架关键点分布信息的空间特征，而时间上的运动信息对应于多个骨架关键点分布信息的时序特征。
通常，若行为特征只包括空间特征，则表示人体行为是一种静态的行为；若行为特征包括空间特征和时序特征，则表示人体行为是一种动态的行为。一般，通过提取多个骨架关键点分布信息的空间特征和时序特征，则可以识别得到个体体操行为，比如扩胸运动、跑步或广场舞等行为。
S14：将人体行为与标准行为进行比对，确定人体行为是否是标准行为。
通常，系统中预设有标准行为，用于对人体行为进行对比和匹配，从而确定人体行为是否是标准行为，进而对人体行为进行分类识别，将人体行为确定为标准行为。
识别到人体行为，然后再判断是否有其他的个体进行相同的人体行为，若有，则对群体行为进行有效识别，从而对公共区域进行一些列有效的管控。
因此，本申请通过对采集到的待处理序列进行处理，获取各个待处理图像对应的关键点分布信息，确定行为特征，得到人体行为，将人体行为与标准行为进行比对，确定人体行为是标准行为，以对人体行为进行识别，从而对群体行为进行有效识别，进而对违规占用公共区域等一些“广场舞”等群体行为进行有效管控。
更进一步地，从确定待处理图像序列中，各个待处理图像对应的关键点分布信息，请参阅图2，图2是图1中步骤S12的一具体实施流程示意图；包括：
S21：对各个待处理图像检测目标人体，得到目标人体所在的图像区域；
通常，在待处理图像或照片中，目标人体通常会占据一定的图像区域，用于区分于周围的景象，本申请主要针对的目标是人，当然本领域相关技术人员还可以是针对动物进行拍摄或录制，当然还可以针对植物，此处不做限定。
针对人体的拍摄或录制，通常预处理后的图像可以清晰地显示目标人体，通过对各个待处理图像进行目标检测，可以得到目标人体所在的图像区域，便于后续对人体的骨架关键点进行标定和提取。
具体地，目标人体的检测可以根据人体的形状、纹理、色彩等特征(比如HOG，HOF等)，或者利用YOLO等深度神经网络模型，对目标人体进行检测，获取目标人体所在区域。
S22：对图像区域提取目标人体的多个关键点；
通过确定目标人体所在的图像区域，可以更为方便地找出人体的多个骨架关键点，一般可以先对图像区域进行骨架关键点标定，从而确定人体的整体骨架。
此外，再通过对多个骨架关键点进行提取，一方面可以得到多个骨架关键点，另一方面对连续的多个骨架关键点进行提取还可以组成不同的骨骼链。
S23：基于多个关键点的位置关系，得到各个待处理图像对应的关键点分布信息。
从步骤S22可知，对连续的多个骨架关键点进行提取，可以组成不同的骨骼链，通过对不同的骨骼链进行分类，比如手臂的多种姿态行为，腿部的多种姿态行为，可以确定出不同的行为类型。
通常，一般可以采用对多个骨架关键点进行建模，从而得到多个骨架关键点分布信息，比如头部关键点分布信息，躯干关键点分布信息，首部关键点分布信息以及腿部关键点分布信息等等。
具体地，人体骨架可由18个关键点表征，本申请利用人体关键点信息对动作行为进行建模，关于人体关键点的分布，请参阅图3，图3是本申请的人体18个关键点的位置分布示意图，其中，自底向上依次为踝关节(节点10和13)、膝关节(节点9和12)、髋关节(节点8和11)、腕关节(节点4和7)、肘关节(节点3和6)、肩关节(节点2和5)，节点0为鼻子所在位置，节点1为脖颈与肩部连接处所在位置，剩下的4个节点14、15、16以及17则表示眼睛和耳朵所在位置。
更进一步地，考虑到实际场景中眼睛和耳朵目标过小容易误检，同时降低特征的冗余度，请参阅图4，图4是人体主要关键点的位置分布示意图，选择前14个关节点作为人体行为的底层特征数据，对已切割的行为的动态过程建模来提取人体的14关节点，实现群体行为的识别，具体地，比如实现群体做操行为的识别。
其中，人体行为至少包括静止类行为和连续性行为；请参阅图5，图5是图1中步骤S13的一具体实施流程示意图；基于各个待处理图像对应的关键点分布信息，确定行为特征，得到人体行为，得到人体行为的步骤具体包括以下步骤：
S31：基于各个待处理图像对应的关键点分布信息，确定空间特征；
从上文知道，人体行为包括空间上的人体外观信息，而空间上的人体外观信息对应于多个骨架关键点分布信息的空间特征。
具体地，提取多个骨架关键点分布信息的空间特征，通常利用卷积神经网络(CNN)提取多个骨架关键点分布信息的空间特征，以得到第一类型为，比如静止类体操行为，静止类体操行为通常是指固定动作对应的体操行为，比如固定的比心体操行为，是属于图像序列中帧内的动作。
S32：基于空间特征，得到第一类行为。
如上，另外，根据人体目标检测的结果，可以得到连续的图像序列，每一个图像就是一帧。
人体行为还包括时间上的运动信息，而时间上的运动信息对应于多个骨架关键点分布信息的时序特征，而时序特征对应帧与帧之间，比如打人这种连续动作需要帧内和帧间相结合才能得以确认。
更进一步地，基于各个待处理图像对应的关键点分布信息，确定行为特征，得到人体行为，请参阅图6，图6是图4中步骤S13的另一具体实施流程示意图；包括：
S41：基于各个待处理图像对应的关键点分布信息，确定空间特征和时序特征；
通常，连续的图像序列则对应连续帧，基于各个待处理图像对应的关键点分布信息，将待处理图像序列中连续帧的目标人体进行关联跟踪，则可以确定空间特征和时序特征。
S42：基于空间特征和时序特征，得到第二类行为。
具体地，基于空间特征和时序特征，得到第二类行为，第二类行为也称连续性行为，比如连续性体操行为，更进一步地，请参阅图7，图7是本申请人体行为检测框架流程示意图。为了有效地提取人体行为的时空特征，采用CNN-LSTM联合建模的方式，步骤S51：将人体骨架关键点图输入卷积神经网络模型中，进行多个骨架关键点的提取，得到如图所示的X1、X2、X3、……Xn多个骨架关键点；步骤S52：利用卷积神经网络(CNN)提取人体骨架关键点图的空间特征，再进入步骤S53：利用长短时记忆网络(LSTM)来更好地提取时序特征，最后进入步骤S54：将LSTM的输出Y1、Y2、Y3、Yt作为CNN-LSTM的最终输出结果，得到各个人体行为。
更进一步地，将人体行为与标准行为进行比对，确定人体行为是否是标准行为，请参阅图8，图8是图1中步骤S14的一具体实施流程示意图，具体包括以下步骤：
S61：获取人体行为与标准行为之间的误差值；
通常，数据库中有不断更新的样本集，样本集中存储有标准行为，具体地，比如在样本集中存储标准的做操行为，
S62：判断误差值是否在预设范围内；
为对误差值进行判断，一般情况下，系统预设有误差范围，用与判断人体行为与标准行为之间的误差范围。
具体地，系统预设有误差范围比如为10％，各个人体关键点图对应一帧，在帧内的骨架关键点与标准的关节点相比，小于10％则确定是相同的做操行为。
例如，若在预设范围内，则进入步骤S63，也即确定人体行为是标准行为，标准体操行为对应有行为类型。若不在预设范围内，则进入步骤S64，也即确定人体行为不是标准行为，代表可以舍弃该体操行为。当然，误差范围值不一定为10％，还可以5％或15％等等，具体可以根据需要进行选择，此处不做限定。
其中，请参阅图9，图9是图1中步骤S14之后的一具体实施流程示意图；该检测方法还包括以下具体步骤：
S71：从预处理图像序列中获取各个行为特征，确定各个人体行为；
通常，数据库中有不断更新的样本集，样本集中存储有标准行为，从预处理图像序列中可以获取各个行为特征，而人体特征通过与标准行为对应的行为特征进行对比和匹配，确定各个人体行为，可以得到多个人体行为是标准行为。
S72：将各个人体行为与标准行为进行对比，得到各个误差值；
针对群体行为的检测，群体行为发生时，做操的个体会形成一定的队列，也即各个目标人体形成一定的队列。通过检测发生人体行为的个体是否能形成一定队列来判断是否是群体行为。
做操个体形成队列的判断方法具体可以采用：根据目标人体检测和跟踪的结果，通过最小二乘拟合的方法，可以判断发生人体行为的个体质心是否处于一定队列中。
另外，还可以根据各个人体行为，将各个人体行为与标准行为进行对比，得到各个误差值来进行判别，另外还可以通过每个个体与样本集中的标准动作比对，寻获取每个个体之间的位置。具体地，可以从跟踪得到的人体关键点的图里，寻找到个体的位置之间的关联来判断是否处于队列中。
S73：确定各个误差值在预设范围内的人体行为为群体行为。
具体地，若各个误差值在预设范围内，则确定各个误差值在预设范围内人体行为为群体行为。
另外，通常目标人体与目标人体之间通常设置有预设距离，通过对预设距离的判断，可以得到目标人体与目标人体之间的位置关联程度，基于位置的关联程度，可以确定各个人体行为群体行为。
因此，通过对人体行为进行识别，从而对群体行为进行有效识别，进而对违规占用公共区域等一些“广场舞”等群体行为进行有效管控。当然，该检测方法不限于单一的场景，还可以包含广场、操场、体育馆等室内室外场景。当检测到在不当时间和不当地点发生群体做操行为，还可以进行报警等处理。
为了说明本申请的技术方案，本申请还提供一种监控设备，请参阅图10，图10是本申请监控设备实施例的结构示意框图，该监控设备8包括：获取模块81以及确定模块82。
其中，获取模块81，用于获取包含目标人体的待处理图像序列；
确定模块82，用于确定待处理图像序列中，各个待处理图像对应的关键点分布信息；其中，关键点分布信息是基于对应的待处理图像中目标人体的多个关键点的位置关系确定的；
确定模块82，还用于基于各个待处理图像对应的关键点分布信息，确定行为特征，得到人体行为；
确定模块82，还用于将人体行为与标准行为进行比对，确定人体行为是否是标准行为。
因此，本申请通过采集模块81对采集到的待处理图像序列进行处理，获取到各个待处理图像对应的关键点分布信息，确定模块82确定行为特征，得到人体行为，并将人体行为与标准行为进行比对，确定人体行为是否是标准行为，以对人体行为进行识别，从而对群体行为进行有效识别，进而对违规占用公共区域等一些“广场舞”等群体行为进行有效管控。
为了说明本申请的技术方案，本申请还提供一种电子设备，请参阅图11，图11是本申请电子设备实施例的结构示意框图，该电子设备9包括：处理器91和存储器92，存储器92中存储有计算机程序921，处理器91用于执行计算机程序921以实现如本申请实施例第一方面的方法，在此不再赘述。
此外，本申请还提供一种计算机可读存储介质，请参阅图12，图12是本申请计算机可读存储介质实施例的电路示意框图，该计算机可读存储介质100存储有计算机程序101，计算机程序101能够被处理器执行时实现如本申请实施例第一方面的方法，在此不再赘述。
如果以软件功能单元的形式实现并作为独立的产品销售或使用时，还可以存储在具有存储功能的装置中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储装置中，包括若干指令(程序数据)用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种介质以及具有上述存储介质的电脑、手机、笔记本电脑、平板电脑、相机等电子设备。
关于具有存储功能的装置中的程序数据的执行过程的阐述可以参照上述本申请体操行为的检测方法实施例中阐述，在此不再赘述。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种人体行为的检测方法，其特征在于，包括：
获取包含目标人体的待处理图像序列；
确定所述待处理图像序列中，各个待处理图像对应的关键点分布信息；所述关键点分布信息是基于对应的待处理图像中所述目标人体的多个关键点的位置关系确定的；
基于所述各个待处理图像对应的关键点分布信息，确定行为特征，得到人体行为；
将所述人体行为与标准行为进行比对，确定所述人体行为是否是所述标准行为。
2.根据权利要求1所述的检测方法，其特征在于，
所述行为特征包括空间特征，所述基于所述各个待处理图像对应的关键点分布信息，确定行为特征，得到人体行为的步骤包括：
基于所述各个待处理图像对应的关键点分布信息，确定所述空间特征；
基于所述空间特征，得到第一类行为。
3.根据权利要求1所述的检测方法，其特征在于，所述行为特征包括空间特征和时序特征，所述基于所述各个待处理图像对应的关键点分布信息，确定行为特征，得到人体行为的步骤包括：
基于所述各个待处理图像对应的关键点分布信息，确定所述空间特征和所述时序特征；
基于所述空间特征和所述时序特征，得到第二类行为。
4.根据权利要求1所述的检测方法，其特征在于，
所述将所述人体行为与标准行为进行比对，确定所述人体行为是否是所述标准行为的步骤包括：
获取所述人体行为与所述述标准行为之间的误差值，判断所述误差值是否在预设范围内；
若判断到所述误差值在所述预设范围内，则确定所述人体行为是所述标准行为。
5.根据权利要求1-4任一项所述的检测方法，其特征在于，所述确定所述待处理图像序列中，各个待处理图像对应的关键点分布信息的步骤包括：
对所述各个待处理图像检测所述目标人体，得到所述目标人体所在的图像区域；
对所述图像区域提取所述目标人体的多个关键点；
基于所述多个关键点的位置关系，得到所述各个待处理图像对应的关键点分布信息。
6.根据权利要求2所述的检测方法，其特征在于，所述基于所述各个待处理图像对应的关键点分布信息，确定所述空间特征的步骤包括：
利用卷积神经网络从所述各个待处理图像对应的关键点分布信息提取所述空间特征。
7.根据权利要求3所述的检测方法，其特征在于，所述基于所述各个待处理图像对应的关键点分布信息，确定所述空间特征和所述时序特征的步骤包括：
利用卷积神经网络从所述各个待处理图像对应的关键点分布信息提取所述空间特征；
基于短时记忆网络和所述空间特征，得到所述时序特征。
8.一种监控设备，其特征在于，
获取模块，用于获取包含目标人体的待处理图像序列；
确定模块，用于确定所述待处理图像序列中，各个待处理图像对应的关键点分布信息；所述关键点分布信息是基于对应的待处理图像中所述目标人体的多个关键点的位置关系确定的；
确定模块，还用于基于所述各个待处理图像对应的关键点分布信息，确定行为特征，得到人体行为；
确定模块，还用于将所述人体行为与标准行为进行比对，确定所述人体行为是否是所述标准行为。
9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-7任一项所述的检测方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储有计算机程序，计算机程序能够被处理器执行时实现如权利要求1-7任一项所述的检测方法。
CN202111006397.1A 2021-08-30 2021-08-30 人体行为的检测方法、监控设备、电子设备以及介质 Pending CN113869127A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111006397.1A CN113869127A (zh) 2021-08-30 2021-08-30 人体行为的检测方法、监控设备、电子设备以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111006397.1A CN113869127A (zh) 2021-08-30 2021-08-30 人体行为的检测方法、监控设备、电子设备以及介质

Publications (1)

Publication Number Publication Date
CN113869127A true CN113869127A (zh) 2021-12-31

Family

ID=78988951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111006397.1A Pending CN113869127A (zh) 2021-08-30 2021-08-30 人体行为的检测方法、监控设备、电子设备以及介质

Country Status (1)

Country Link
CN (1) CN113869127A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067442A (zh) * 2022-01-18 2022-02-18 深圳市海清视讯科技有限公司 洗手动作检测方法、模型训练方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067442A (zh) * 2022-01-18 2022-02-18 深圳市海清视讯科技有限公司 洗手动作检测方法、模型训练方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN108241849A (zh) 基于视频的人体交互动作识别方法
CN110705390A (zh) 基于lstm的形体姿态识别方法、装置及存储介质
CN111062429A (zh) 基于深度学习的厨师帽和口罩佩戴的检测方法
Xu et al. Two-stream dictionary learning architecture for action recognition
Avgerinakis et al. Recognition of activities of daily living for smart home environments
CN110781733B (zh) 图像去重方法、存储介质、网络设备和智能监控系统
JP7292492B2 (ja) オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及系统
CN106355154B (zh) 一种监控视频中检测频繁过人的方法
Pan et al. Robust basketball sports recognition by leveraging motion block estimation
CN112149602A (zh) 动作计数方法、装置、电子设备及存储介质
Pobar et al. Detection of the leading player in handball scenes using Mask R-CNN and STIPS
CN113869127A (zh) 人体行为的检测方法、监控设备、电子设备以及介质
Kishore et al. Spatial Joint features for 3D human skeletal action recognition system using spatial graph kernels
Deotale et al. Optimized hybrid RNN model for human activity recognition in untrimmed video
CN110751034B (zh) 行人行为识别方法及终端设备
CN113837066A (zh) 行为识别方法、装置、电子设备及计算机存储介质
Ramanathan et al. Improving human body part detection using deep learning and motion consistency
CN111898471A (zh) 一种行人跟踪方法和装置
Costache et al. Target audience response analysis in out-of-home advertising using computer vision
Zaidi et al. Mae Mai Muay Thai Layered Classification Using CNN and LSTM Models
ShanShan et al. Fall detection method based on semi-contour distances
CN112001280B (zh) 一种实时、可在线优化的人脸识别系统和方法
He et al. Research on long jump posture in school physical education teaching based on video analysis
Candra et al. Design and Development of Student Attention System using Face Recognition Based on MTCNN and FaceNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination