CN113673318B - 一种动作检测方法、装置、计算机设备和存储介质 - Google Patents
一种动作检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113673318B CN113673318B CN202110783646.1A CN202110783646A CN113673318B CN 113673318 B CN113673318 B CN 113673318B CN 202110783646 A CN202110783646 A CN 202110783646A CN 113673318 B CN113673318 B CN 113673318B
- Authority
- CN
- China
- Prior art keywords
- gesture
- detected
- action
- processed
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 230000009471 action Effects 0.000 claims abstract description 159
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000036544 posture Effects 0.000 claims description 72
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 238000004140 cleaning Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000001788 irregular Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种动作检测方法、装置、计算机设备和存储介质，方法包括：将所关注动作的类型区分为第二时序关系动作和第一时序关系动作；对所关注动作进行分解得到关键姿态，并生成参考姿态序列；当目标动作的类型为第二时序关系动作时，则获取所有关键姿态，生成关键姿态序列，当关键姿态序列与获取待检测对象的连续的多个待处理姿态，及目标动作所对应的参考姿态序列；目标动作的类型为第一时序关系动作时，确定多个待处理姿态中与参考姿态序列中的参考姿态匹配的待处理姿态；以及确定与同一参考姿态匹配的待处理姿态的数量；基于确定的待处理姿态和所述数量，确定待检测对象是否执行所述目标动作。本方法能够实现第一时序关系动作的准确判断。
Description
技术领域
本申请涉及图像分析技术领域，特别是涉及一种动作检测方法、装置、计算机设备和存储介质。
背景技术
动作检测指的是通过算法检测视频中待检测对象的动作，该技术例如被应用在监护老年人、患者等需要看护的被看护人员的动作的动作检测系统中。目前动作检测方法通常是将视频分解为多个单帧图像，分别获取姿态信息并进行排序得到姿态序列，在姿态序列满足预设顺序的情况下，确定所述待检测对象发生目标动作。
现有的动作检测方法对在设定时间内可重复发生至少一次的交替动作进行检测时，准确度不高。例如仰卧起坐，其参考姿态序列是“躺地、坐地、躺地、坐地…”，但是从多个单帧图像中获取姿态信息并进行排序得到关键姿态序列有可能是“坐地、躺地、坐地…”，这种情况下，会存在待检测对象的动作为目标动作，却无法与参考姿态序列相匹配的结果，从而无法检测出该动作。
发明内容
基于此，有必要针对上述技术问题，提供一种动作检测方法、装置、计算机设备和存储介质。
第一方面，本发明实施例提出一种动作检测方法，所述方法包括：
获取待检测对象的连续的多个待处理姿态，及目标动作所对应的参考姿态序列；其中，参考姿态序列根据目标动作所包括的多个参考姿态生成；
所述目标动作的类型为第一时序关系动作时，确定所述多个待处理姿态中与所述参考姿态序列中的参考姿态匹配的待处理姿态；以及确定与同一参考姿态匹配的待处理姿态的数量；所述第一时序关系动作包括对象在第一连续时间内执行交替的至少两个姿态的动作；
基于确定的待处理姿态和所述数量，确定所述待检测对象是否执行所述目标动作。
在一实施例中，所述获取待检测对象的连续的多个待处理姿态包括：
获取包含所述待检测对象的连续的多帧图像；
将所述多帧图像输入训练得到的第一检测模型，得到所述多帧图像中各帧图像包含的待检测对象的姿态；
基于所述各帧图像包含的待检测对象的姿态，确定所述待检测对象的连续的多个待处理姿态。
在一实施例中，所述获取待检测对象的连续的多个待处理姿态包括：
获取包含所述待检测对象的连续的多帧图像；
将所述多帧图像输入第二检测模型，得到所述待检测对象的关键点检测结果和姿态检测结果；所述第二检测模型是基于样本图像中所包含的对象的关键点和姿态训练得到的；
基于所述待检测对象的关键点检测结果、姿态检测结果以及所述多个参考姿态，确定所述多帧图像中各帧图像包含的待检测对象的姿态；
基于所述各帧图像中包含的待检测对象的姿态，确定所述待检测对象的连续的多个待处理姿态。
在一实施例中，所述基于所述待检测对象的关键点检测结果、姿态检测结果以及所述多个参考姿态，确定所述多帧图像中各帧图像包含的待检测对象的姿态，包括：
分别对所述多帧图像中各帧图像进行如下姿态确定操作，确定所述各帧图像包含的待检测对象的姿态；其中，所述姿态确定操作包括：
基于所述多帧图像中的一帧图像对应的关键点检测结果中，所述待检测对象的不同关键点的位置关系，确定所述待检测对象的第一姿态；
基于所述一帧图像对应的姿态检测结果，确定所述待检测对象对应的第二姿态；
基于所述第一姿态、所述第二姿态以及所述多个姿态，确定所述一帧图像包含的待检测对象的姿态。
在一实施例中，所述基于所述各帧图像包含的待检测对象的姿态，确定所述待检测对象的连续的多个待处理姿态之前，还包括：
对所述各帧图像包含的待检测对象的姿态进行数据清洗；
基于数据清洗后的各个姿态，确定所述待处理对象的连续的多个待处理姿态。在一实施例中，所述目标动作的类型还包括第二时序关系，所述第二时序关系动作包括对象在第二连续时间内执行非交替的至少两个姿态的动作；还包括：
基于所述多个待处理姿态生成待处理姿态序列；
若所述待处理姿态序列中目标序位的待处理姿态，与所述参考姿态序中所述目标序位的参考姿态匹配，则确定所述待检测对象执行目标动作；。
在一实施例中，还包括：
当待检测对象执行所述目标动作时，执行目标动作对应的控制指令。
第二方面，本发明实施例提出一种动作检测装置，所述装置包括：
获取模块，用于获取待检测对象的连续的多个待处理姿态，及目标动作所对应的参考姿态序列；其中，参考姿态序列根据目标动作所包括的多个参考姿态生成；
第一确定模块，用于所述目标动作的类型为第一时序关系动作时，确定所述多个待处理姿态中与所述参考姿态序列中的参考姿态匹配的待处理姿态；以及确定与同一参考姿态匹配的待处理姿态的数量；所述第一时序关系动作包括对象在第一连续时间内执行交替的至少两个姿态的动作；
第二确定模块，用于基于确定的待处理姿态和所述数量，确定所述待检测对象是否执行所述目标动作。
第三方面，本发明实施例提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待检测对象的连续的多个待处理姿态，及目标动作所对应的参考姿态序列；其中，参考姿态序列根据目标动作所包括的多个参考姿态生成；
所述目标动作的类型为第一时序关系动作时，确定所述多个待处理姿态中与所述参考姿态序列中的参考姿态匹配的待处理姿态；以及确定与同一参考姿态匹配的待处理姿态的数量；所述第一时序关系动作包括对象在第一连续时间内执行交替的至少两个姿态的动作；
基于确定的待处理姿态和所述数量，确定所述待检测对象是否执行所述目标动作。
第四方面，本发明实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待检测对象的连续的多个待处理姿态，及目标动作所对应的参考姿态序列；其中，参考姿态序列根据目标动作所包括的多个参考姿态生成；
所述目标动作的类型为第一时序关系动作时，确定所述多个待处理姿态中与所述参考姿态序列中的参考姿态匹配的待处理姿态；以及确定与同一参考姿态匹配的待处理姿态的数量；所述第一时序关系动作包括对象在第一连续时间内执行交替的至少两个姿态的动作；
基于确定的待处理姿态和所述数量，确定所述待检测对象是否执行所述目标动作。
上述动作方法、装置、计算机设备和存储介质，通过获取待检测对象的连续的多个待处理姿态，及目标动作所对应的参考姿态序列，所述目标动作的类型为第一时序关系动作时，确定所述多个待处理姿态中与所述参考姿态序列中的参考姿态匹配的待处理姿态，以及确定与同一参考姿态匹配的待处理姿态的数量，基于确定的待处理姿态和所述数量，确定所述待检测对象是否执行所述目标动作。本发明无需考虑第一时序关系动作的序列，避免了待检测对象的动作为目标动作却因序列不匹配而无法检测出该动作的情况，可以实现第一时序关系动作的准确判断。
附图说明
图1为一个实施例中动作检测方法的应用环境图；
图2为一个实施例中动作检测方法的流程示意图；
图3为一个实施例中确定待处理姿态方法的流程示意图；
图4为另一个实施例中确定待处理姿态方法的流程示意图；
图5为一个实施例中确定待检测对象的姿态方法的流程示意图；
图6为一个实施例中数据清洗方法的流程示意图；
图7为另一个实施例中动作检测方法的流程示意图；
图8为一个实施例中执行控制指令方法的流程示意图；
图9为一个实施例中动作检测装置的结构示意图；
图10为一个实施例中一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的动作检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102首先获取待检测对象的连续的多个待处理姿态，及目标动作所对应的参考姿态序列，所述目标动作的类型为第一时序关系动作时，确定所述多个待处理姿态中与所述参考姿态序列中的参考姿态匹配的待处理姿态，以及确定与同一参考姿态匹配的待处理姿态的数量，基于确定的待处理姿态和所述数量，确定所述待检测对象是否执行所述目标动作。，终端102再将动作检测结果发送到服务器104。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种动作检测方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S202：获取待检测对象的连续的多个待处理姿态，及目标动作所对应的参考姿态序列。
本实施例中的待检测对象为人体，可以理解的是，待检测对象也可以是动物、执行动作的机械设备等，本实施例并不对其进行限定。
可以理解的是，待检测对象的连续的多个待处理姿态可以是待检测对象在一段时间内的所有连续的待处理姿态，也可以是待检测对象在一段时间内的部分连续的待处理姿态。
待处理姿态通常为常见的姿态，例如“直立”、“弯腰”、“躺地”、“直立”、“蹲下”、“坐地”等。
在一些特殊情况下，目标动作为非常规动作时，也可以将非常规姿态定义为待处理姿态，从而实现非常规动作的检测。例如目标动作为举手下蹲，就可以将“举双手”定义为待处理姿态，从而实现“举手下蹲”的检测。
在本实施例中，目标动作为判断待检测对象是否执行的动作。例如，目标动作为摔倒时，则判断待检测对象是否执行摔倒动作。
在本实施例中，参考姿态序列根据目标动作所包括的多个参考姿态生成。首先对目标动作进行分解得到对应的参考姿态，再将参考姿态按照时序排列得到参考姿态序列。比如养老院或者医院关注跌倒动作，将目标动作分解得到的参考姿态为“直立”、“弯腰”、“躺地”，而“直立、弯腰、躺地”就可以作为参考姿态序列；学校关注学生做仰卧起坐，可以将目标动作分解得到的参考姿态为“躺地”、“坐地”，而“躺地、坐地”就可以作为参考姿态序列。再如公共安全场所关注举手下蹲，可以将举手下蹲这类有安全隐患的动作分解得到的关键姿态为“举双手”、“蹲下”，而“举双手、蹲下”就可以作为参考姿态序列。在本实施例中，根据目标动作可以配置对应的参考姿态序列，从而可以实现对任何目标动作进行检测，因此可以在任何需要目标动作检测的场景中都能应用。
S204：所述目标动作的类型为第一时序关系动作时，确定所述多个待处理姿态中与所述参考姿态序列中的参考姿态匹配的待处理姿态；以及确定与同一参考姿态匹配的待处理姿态的数量。
在本实施例中，第一时序关系动作包括对象在第一连续时间内执行交替的至少两个姿态的动作，由于第一时序关系动作没有固定的时序关系，因此也可以称为弱时序关系动作。例如仰卧起坐属于第一时序关系动作，因为其关键姿态的序列可以是“躺地、坐地”，也可以是“坐地、躺地”。
为了解决现有技术中存在第一时序关系动作为目标动作，却无法与参考姿态序列相匹配的结果，从而无法检测出该动作的技术问题，在本实施例中，针对第一时序关系动作，采用特定的判断方法，对是否发生第一时序关系动作做出准确的判断。
可以理解的是，相同动作肯定对应相同的姿态，因此将确定所述多个待处理姿态中与所述参考姿态序列中的参考姿态匹配的待处理姿态作为判断待检测对象是否执行所述目标动作的其中一个判断条件。
基于第一时序关系动作存在交替循环的特征，因此确定与同一参考姿态匹配的待处理姿态的数量，作为判断待检测对象是否执行所述目标动作的其中另外一个判断条件。
S206：基于确定的待处理姿态和所述数量，确定所述待检测对象是否执行所述目标动作。
若待检测对象的连续的多个待处理姿态与参考姿态序列中的参考姿态能够全部匹配且与同一参考姿态匹配的待处理姿态的数量大于设定数值，则判断所述待检测对象是否执行所述目标动作。
可以理解的是，当目标动作的类型为第一时序关系动作时，同一待处理姿态的数量肯定会大于或等于2，其中用于判断的设定数值可以根据实际需求设定，一般设定为2。
在本实施例中，综合上述两个判断条件就可以实现第一时序关系动作的准确判断，不需要判断待检测对象的连续多个待处理姿态的序列与目标动作所对应参考姿态序列是否完全一致，避免了待检测对象的动作为目标动作而无法检测出该动作的情况。
在一个实施例中，如图3所示，获取待检测对象的连续的多个待处理姿态包括以下步骤：
S302：获取包含所述待检测对象的连续的多帧图像。
首先获取包含待检测对象的视频，将视频进行分帧处理获得若干帧图像，去除其中不含待检测对象的帧图像，并从其余的连续的帧图像中选择部分或者全部作为用于检测的多帧图像。
以单帧图像作为样本更容易训练，且训练得到的模型对于动作识别精度更高。
S304：将所述多帧图像输入训练得到的第一检测模型，得到所述多帧图像中各帧图像包含的待检测对象的姿态。
本实施例中的第一检测模型通过多幅单帧图像训练得到，相比于通过记载待检测对象的视频对模型进行训练，样本素材更容易采集，且训练难度更低，因此训练时间更短。
S306：基于所述各帧图像包含的待检测对象的姿态，确定所述待检测对象的连续的多个待处理姿态。
在获取待检测对象的所有姿态之后，对每个姿态按照时序分别赋予唯一的ID，根据每个姿态的ID对姿态按照时序进行排序。通过对每个姿态赋予唯一的ID，避免了姿态在时序上的混乱。
在获得待检测对象的姿态之后需要删除相邻时序相同的姿态，因为这些姿态被重复检测。例如获取的待检测对象的姿态为“直立、直立、直立、弯腰、弯腰、弯腰、坐地、坐地、躺地、躺地……”，删除相邻时序相同的姿态得到待处理姿态，最后得到待处理姿态为“直立、弯腰、坐地、躺地……”。
在另一个实施例中，如图4所示，获取待检测对象的连续的多个待处理姿态包括以下步骤：
S402：获取包含所述待检测对象的连续的多帧图像。
采集记载各种姿态的图像，在图像上标注姿态和关键点，构建姿态数据集。
S404：将所述多帧图像输入第二检测模型，得到所述待检测对象的关键点检测结果和姿态检测结果。
首先采集记载对象各种姿态的图像，在图像上标注姿态和关键点，构建样本数据集。然后训练以关键点和姿态作为输出的多任务模型，得到第二检测模型。
在本实施例中，训练多任务模型，即在一个backbone后采用姿态分类head和关键点分类head，使一个模型能同时输出姿态检测结果和关键点检测结果，而无需训练2个或更多模型。
为了尽可能减少模型训练的样本，本实施例中采用姿态检测结果和关键点检测结果相结合的方式得到待检测对象的姿态。对于四肢或者头部位置关系可分析的姿态，例如叉腰、抱头等，根据关键点来确定被检测姿态。对于关键点无法简单获取的姿势，例如躺等，则直接训练对应的姿势。相对而言，针对关键点的训练只需要更少的样本数据，因此能够大大减少模型训练的样本。
S406：基于所述待检测对象的关键点检测结果、姿态检测结果以及所述多个参考姿态，确定所述多帧图像中各帧图像包含的待检测对象的姿态。
具体的，分别对所述多帧图像中各帧图像进行如下姿态确定操作，确定所述各帧图像包含的待检测对象的姿态；其中，如图5所示，所述姿态确定操作包括以下步骤：
S502：基于所述多帧图像中的一帧图像对应的关键点检测结果中，所述待检测对象的不同关键点的位置关系，确定所述待检测对象的第一姿态；
S504：基于所述一帧图像对应的姿态检测结果，确定所述待检测对象对应的第二姿态；
S506：基于所述第一姿态、所述第二姿态以及所述多个姿态，确定所述一帧图像包含的待检测对象的姿态。
在本实施例中，以一帧图像所包含的对象的姿态所对应的关键点作为匹配模板，将一帧图像所包含的待检测对象所对应的关键点检测结果中的关键点与与匹配模板进行匹配，若两者相匹配，则说明两者为相同的姿态。
可以理解的是，一帧图像包含的待检测对象可能有两个姿态，例如站立的同时双手抱头，所以根据关键点检测结果确定的姿态时双手抱头，而根据姿态检测结果确定的姿态是站立，因此需要根据参考姿态序列所包含的多个参考姿态，选取多个参考姿态所包含的姿态作为待处理姿态，而另外一个姿态则作为无关姿态。
可以理解的是，当一帧图像包含的待检测对象可能有两个以上姿态时，其姿态确定方法相同，因此不再赘述。
可以理解的是，当一帧图像包含的待检测对象只有姿态时，则将关键点检测结果和姿态检测所确定的姿态作为待处理姿态。
S408：基于所述各帧图像中包含的待检测对象的姿态，确定所述待检测对象的连续的多个待处理姿态。
步骤S408所实现的具体方法已经在上述实施例中描述，因此不再赘述。
在一实施例中，如图6所示，在基于所述各帧图像包含的待检测对象的姿态，确定所述待检测对象的连续的多个待处理姿态之前，还包括以下步骤：
S602：对所述各帧图像包含的待检测对象的姿态进行数据清洗。
基于数据清洗后的各个姿态，确定所述待处理对象的连续的多个待处理姿态。
对各帧图像包含的待检测对象的姿态做数据清洗。因为模型学习分类得到的中间过程的姿态未必全部准确，需要去除掉一些离异姿态。例如跌倒动作的姿态是“直立、直立、直立、弯腰、弯腰、蹲下、弯腰、坐地、坐地、躺地、躺地……”，通过滤波处理可以将“蹲下”这个离异姿态去掉，从而提到姿态检测的准确度。
在一个实施例中，目标动作的类型还包括第二时序关系，第二时序关系动作包括对象在第二连续时间内执行非交替的至少两个姿态的动作。如图7所示，本发明还包括以下步骤：
S208：基于所述多个待处理姿态生成待处理姿态序列；
将多个待处理姿态按照时序排列得到待处理姿态序列。
S210：若所述待处理姿态序列中目标序位的待处理姿态，与所述参考姿态序中所述目标序位的参考姿态匹配，则确定所述待检测对象执行目标动作。
在本实施例中，将待检测对象在设定时间内发生的非交替动作定义为第二时序关系动作。与第一时序关系动作相反，第二时序关系动作有固定的时序关系，因此也可以称为强时序关系动作，例如跌倒动作属于第二时序关系动作。
由于第二时序关系动作有固定的时序关系，因此在确定是否是第二时序关系动作时需要待处理姿态序列的时序关系。当所述待处理姿态序列中目标序位的待处理姿态，与所述参考姿态序中所述目标序位的参考姿态匹配，则确定所述待检测对象执行目标动作，其中目标序位包括序列中的全部或部分序位。
在一个实施例中，如图8所示，本发明还包括以下步骤：
S2012：当待检测对象执行所述目标动作时，执行目标动作对应的控制指令。
当目标动作为存在安全隐患的动作时，例如跌倒动作或者举手下蹲等，当判断待检测对象执行该类目标动作时，执行控制指令实现告警。
当目标动作为常规动作时，例如仰卧起坐等，当判断待检测对象执行目标动作时，执行控制指令实现计数。
在判断待检测对象执行目标动作后，执行对应的控制指令可以实现不同的功能，在本实施例中不再限定。
应该理解的是，虽然图1-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，本发明提供了一种动作检测装置，包括：
获取模块702，用于获取待检测对象的连续的多个待处理姿态，及目标动作所对应的参考姿态序列；其中，参考姿态序列根据目标动作所包括的多个参考姿态生成；
第一确定模块704，用于所述目标动作的类型为第一时序关系动作时，确定所述多个待处理姿态中与所述参考姿态序列中的参考姿态匹配的待处理姿态；以及确定与同一参考姿态匹配的待处理姿态的数量；所述第一时序关系动作包括对象在第一连续时间内执行交替的至少两个姿态的动作；
第二确定模块706，用于基于确定的待处理姿态和所述数量，确定所述待检测对象是否执行所述目标动作。
在一实施例中，获取模块包括：
第一图像获取模块，用于获取包含所述待检测对象的连续的多帧图像；
第一姿态检测模块，用于将所述多帧图像输入训练得到的第一检测模型，得到所述多帧图像中各帧图像包含的待检测对象的姿态；
第一姿态确定模块，用于基于所述各帧图像包含的待检测对象的姿态，确定所述待检测对象的连续的多个待处理姿态。
在一实施例中，获取模块包括：
第二图像获取模块，用于获取包含所述待检测对象的连续的多帧图像；
第二姿态检测模块，用于将所述多帧图像输入第二检测模型，得到所述待检测对象的关键点检测结果和姿态检测结果；所述第二检测模型是基于样本图像中所包含的对象的关键点和姿态训练得到的；
第二姿态确定模块，用于基于所述待检测对象的关键点检测结果、姿态检测结果以及所述多个参考姿态，确定所述多帧图像中各帧图像包含的待检测对象的姿态；
第三姿态确定模块，用于基于所述各帧图像中包含的待检测对象的姿态，确定所述待检测对象的连续的多个待处理姿态。
在一实施例中，第三姿态确定模块具体用于：
分别对所述多帧图像中各帧图像进行如下姿态确定操作，确定所述各帧图像包含的待检测对象的姿态；其中，所述姿态确定操作包括：
基于所述多帧图像中的一帧图像对应的关键点检测结果中，所述待检测对象的不同关键点的位置关系，确定所述待检测对象的第一姿态；
基于所述一帧图像对应的姿态检测结果，确定所述待检测对象对应的第二姿态；
基于所述第一姿态、所述第二姿态以及所述多个姿态，确定所述一帧图像包含的待检测对象的姿态。
在一实施例中，获取模块还包括：
数据处理模块，用于对所述各帧图像包含的待检测对象的姿态进行数据清洗。
基于数据清洗后的各个姿态，确定所述待处理对象的连续的多个待处理姿态。
在一实施例中，目标动作的类型还包括第二时序关系，所述第二时序关系动作包括对象在第二连续时间内执行非交替的至少两个姿态的动作，本装置还包括：
序列生成模块，用于基于所述多个待处理姿态生成待处理姿态序列；
第三确定模块，用于若所述待处理姿态序列中目标序位的待处理姿态，与所述参考姿态序中所述目标序位的参考姿态匹配，则确定所述待检测对象执行目标动作。
在一实施例中，本装置还包括：
执行模块，用于当待检测对象执行所述目标动作时，执行目标动作对应的控制指令。
关于动作检测装置的具体限定可以参见上文中对于动作检测方法的限定，在此不再赘述。上述动作检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储动作检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任一项动作检测方法实施例中的步骤。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任一项动作检测方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项动作检测方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种动作检测方法，其特征在于，所述方法包括：
获取待检测对象的连续的多个待处理姿态，及目标动作所对应的参考姿态序列；其中，参考姿态序列根据目标动作所包括的多个参考姿态生成；
所述目标动作的类型为第一时序关系动作时，确定所述多个待处理姿态中与所述参考姿态序列中的参考姿态匹配的待处理姿态；以及确定与同一参考姿态匹配的待处理姿态的数量；所述第一时序关系动作包括对象在第一连续时间内执行交替的至少两个姿态的动作；
基于确定的待处理姿态和所述数量，确定所述待检测对象是否执行所述目标动作。
2.如权利要求1所述的方法，其特征在于，所述获取待检测对象的连续的多个待处理姿态包括：
获取包含所述待检测对象的连续的多帧图像；
将所述多帧图像输入训练得到的第一检测模型，得到所述多帧图像中各帧图像包含的待检测对象的姿态；
基于所述各帧图像包含的待检测对象的姿态，确定所述待检测对象的连续的多个待处理姿态。
3.如权利要求1所述的方法，其特征在于，所述获取待检测对象的连续的多个待处理姿态包括：
获取包含所述待检测对象的连续的多帧图像；
将所述多帧图像输入第二检测模型，得到所述待检测对象的关键点检测结果和姿态检测结果；所述第二检测模型是基于样本图像中所包含的对象的关键点和姿态训练得到的；
基于所述待检测对象的关键点检测结果、姿态检测结果以及所述多个参考姿态，确定所述多帧图像中各帧图像包含的待检测对象的姿态；
基于所述各帧图像中包含的待检测对象的姿态，确定所述待检测对象的连续的多个待处理姿态。
4.如权利要求3所述的方法，其特征在于，所述基于所述待检测对象的关键点检测结果、姿态检测结果以及所述多个参考姿态，确定所述多帧图像中各帧图像包含的待检测对象的姿态，包括：
分别对所述多帧图像中各帧图像进行如下姿态确定操作，确定所述各帧图像包含的待检测对象的姿态；其中，所述姿态确定操作包括：
基于所述多帧图像中的一帧图像对应的关键点检测结果中，所述待检测对象的不同关键点的位置关系，确定所述待检测对象的第一姿态；
基于所述一帧图像对应的姿态检测结果，确定所述待检测对象对应的第二姿态；
基于所述第一姿态、所述第二姿态以及所述多个参考姿态，确定所述一帧图像包含的待检测对象的姿态。
5.如权利要求2或3所述的方法，其特征在于，所述基于所述各帧图像包含的待检测对象的姿态，确定所述待检测对象的连续的多个待处理姿态之前，还包括：
对所述各帧图像包含的待检测对象的姿态进行数据清洗；
基于数据清洗后的各个姿态，确定所述待检测对象的连续的多个待处理姿态。
6.如权利要求1所述的方法，其特征在于，所述目标动作的类型还包括第二时序关系动作，所述第二时序关系动作包括对象在第二连续时间内执行非交替的至少两个姿态的动作；还包括：
基于所述多个待处理姿态生成待处理姿态序列；
若所述待处理姿态序列中目标序位的待处理姿态，与所述参考姿态序中所述目标序位的参考姿态匹配，则确定所述待检测对象执行目标动作。
7.如权利要求1所述的方法，其特征在于，还包括：
当待检测对象执行所述目标动作时，执行目标动作对应的控制指令。
8.一种动作检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测对象的连续的多个待处理姿态，及目标动作所对应的参考姿态序列；其中，参考姿态序列根据目标动作所包括的多个参考姿态生成；
第一确定模块，用于所述目标动作的类型为第一时序关系动作时，确定所述多个待处理姿态中与所述参考姿态序列中的参考姿态匹配的待处理姿态；以及确定与同一参考姿态匹配的待处理姿态的数量；所述第一时序关系动作包括对象在第一连续时间内执行交替的至少两个姿态的动作；
第二确定模块，用于基于确定的待处理姿态和所述数量，确定所述待检测对象是否执行所述目标动作。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110783646.1A CN113673318B (zh) | 2021-07-12 | 2021-07-12 | 一种动作检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110783646.1A CN113673318B (zh) | 2021-07-12 | 2021-07-12 | 一种动作检测方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113673318A CN113673318A (zh) | 2021-11-19 |
| CN113673318B true CN113673318B (zh) | 2024-05-03 |
Family
ID=78538877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110783646.1A Active CN113673318B (zh) | 2021-07-12 | 2021-07-12 | 一种动作检测方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113673318B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115017962B (zh) * | 2022-08-08 | 2022-10-21 | 北京阿帕科蓝科技有限公司 | 骑行人数检测方法、目标特征序列确定方法及装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122798A (zh) * | 2017-04-17 | 2017-09-01 | 深圳市淘米科技有限公司 | 基于深度卷积网络的引体向上计数检测方法及装置 |
| CN107480591A (zh) * | 2017-07-10 | 2017-12-15 | 北京航空航天大学 | 飞鸟检测方法和装置 |
| CN108921032A (zh) * | 2018-06-04 | 2018-11-30 | 四川创意信息技术股份有限公司 | 一种新的基于深度学习模型的视频语义提取方法 |
| CN110163038A (zh) * | 2018-03-15 | 2019-08-23 | 南京硅基智能科技有限公司 | 一种基于深度卷积神经网络的人体运动计数方法 |
| CN110620905A (zh) * | 2019-09-06 | 2019-12-27 | 平安医疗健康管理股份有限公司 | 视频监控方法、装置、计算机设备和存储介质 |
| CN111832386A (zh) * | 2020-05-22 | 2020-10-27 | 大连锐动科技有限公司 | 一种估计人体姿态的方法、装置及计算机可读介质 |
| CN112016413A (zh) * | 2020-08-13 | 2020-12-01 | 南京领行科技股份有限公司 | 对象间异常行为的检测方法及装置 |
| CN112287730A (zh) * | 2019-07-24 | 2021-01-29 | 鲁班嫡系机器人（深圳）有限公司 | 姿态识别方法、装置、系统、存储介质及设备 |
| CN112395978A (zh) * | 2020-11-17 | 2021-02-23 | 平安科技（深圳）有限公司 | 行为检测方法、装置及计算机可读存储介质 |
| WO2021051579A1 (zh) * | 2019-09-17 | 2021-03-25 | 平安科技（深圳）有限公司 | 形体姿态识别方法、系统、装置及存储介质 |
| WO2021097750A1 (zh) * | 2019-11-21 | 2021-05-27 | 深圳市欢太科技有限公司 | 人体姿态的识别方法、装置、存储介质及电子设备 |
| CN112887792A (zh) * | 2021-01-22 | 2021-06-01 | 维沃移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN112966574A (zh) * | 2021-02-22 | 2021-06-15 | 厦门艾地运动科技有限公司 | 人体三维关键点预测方法、装置及电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8577154B2 (en) * | 2008-06-16 | 2013-11-05 | University Of Southern California | Automated single viewpoint human action recognition by matching linked sequences of key poses |
| US9117113B2 (en) * | 2011-05-13 | 2015-08-25 | Liberovision Ag | Silhouette-based pose estimation |
| US10110858B2 (en) * | 2015-02-06 | 2018-10-23 | Conduent Business Services, Llc | Computer-vision based process recognition of activity workflow of human performer |
| US11488320B2 (en) * | 2019-07-31 | 2022-11-01 | Samsung Electronics Co., Ltd. | Pose estimation method, pose estimation apparatus, and training method for pose estimation |
-
2021
- 2021-07-12 CN CN202110783646.1A patent/CN113673318B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122798A (zh) * | 2017-04-17 | 2017-09-01 | 深圳市淘米科技有限公司 | 基于深度卷积网络的引体向上计数检测方法及装置 |
| CN107480591A (zh) * | 2017-07-10 | 2017-12-15 | 北京航空航天大学 | 飞鸟检测方法和装置 |
| CN110163038A (zh) * | 2018-03-15 | 2019-08-23 | 南京硅基智能科技有限公司 | 一种基于深度卷积神经网络的人体运动计数方法 |
| CN108921032A (zh) * | 2018-06-04 | 2018-11-30 | 四川创意信息技术股份有限公司 | 一种新的基于深度学习模型的视频语义提取方法 |
| CN112287730A (zh) * | 2019-07-24 | 2021-01-29 | 鲁班嫡系机器人（深圳）有限公司 | 姿态识别方法、装置、系统、存储介质及设备 |
| CN110620905A (zh) * | 2019-09-06 | 2019-12-27 | 平安医疗健康管理股份有限公司 | 视频监控方法、装置、计算机设备和存储介质 |
| WO2021051579A1 (zh) * | 2019-09-17 | 2021-03-25 | 平安科技（深圳）有限公司 | 形体姿态识别方法、系统、装置及存储介质 |
| WO2021097750A1 (zh) * | 2019-11-21 | 2021-05-27 | 深圳市欢太科技有限公司 | 人体姿态的识别方法、装置、存储介质及电子设备 |
| CN111832386A (zh) * | 2020-05-22 | 2020-10-27 | 大连锐动科技有限公司 | 一种估计人体姿态的方法、装置及计算机可读介质 |
| CN112016413A (zh) * | 2020-08-13 | 2020-12-01 | 南京领行科技股份有限公司 | 对象间异常行为的检测方法及装置 |
| CN112395978A (zh) * | 2020-11-17 | 2021-02-23 | 平安科技（深圳）有限公司 | 行为检测方法、装置及计算机可读存储介质 |
| CN112887792A (zh) * | 2021-01-22 | 2021-06-01 | 维沃移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN112966574A (zh) * | 2021-02-22 | 2021-06-15 | 厦门艾地运动科技有限公司 | 人体三维关键点预测方法、装置及电子设备 |
Non-Patent Citations (7)
| Title |
|---|
| Human Activity Recognition for Video Surveillance using Sequences of Postures;K. K. Htike 等;The Third International Conference on e-Technologies and Networks for Development (ICeND2014);20141218;全文 * |
| 基于三维人体语义骨架点的姿态匹配;王大鹏;黎琳;韩丽;张美超;王露晨;;计算机应用与软件;20170115(第01期);全文 * |
| 基于关键帧及原语的人体动作识别研究;应锐;中国优秀硕士学位论文全文数据库 (信息科技辑);20160115(第01期);全文 * |
| 基于动作轮廓特征的人体动作识别;李枫;兰州工业学院学报;20140615;第21卷(第3期);全文 * |
| 基于动态路径优化的人体姿态识别;陈芙蓉;唐棣;王露晨;王玉龙;韩丽;;计算机工程与设计;20161016(第10期);全文 * |
| 基于模板匹配的人体日常行为识别;赵海勇;刘志镜;张浩;;湖南大学学报(自然科学版);20110225(第02期);全文 * |
| 基于顺序验证提取关键帧的行为识别;张舟;吴克伟;高扬;;智能计算机与应用;20200301(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113673318A (zh) | 2021-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108922622B (zh) | 一种动物健康监测方法、装置及计算机可读存储介质 | |
| WO2020107847A1 (zh) | 基于骨骼点的跌倒检测方法及其跌倒检测装置 | |
| WO2019085329A1 (zh) | 基于循环神经网络的人物性格分析方法、装置及存储介质 | |
| Yang et al. | Activity graph based convolutional neural network for human activity recognition using acceleration and gyroscope data | |
| JPWO2020194497A1 (ja) | 情報処理装置、個人識別装置、情報処理方法及び記憶媒体 | |
| CN112149602A (zh) | 动作计数方法、装置、电子设备及存储介质 | |
| RU2559712C2 (ru) | Обратная связь по релевантности для извлечения изображения на основе контента | |
| CN113673318B (zh) | 一种动作检测方法、装置、计算机设备和存储介质 | |
| CN112102235A (zh) | 人体部位识别方法、计算机设备和存储介质 | |
| CN111597921A (zh) | 场景识别方法、装置、计算机设备和存储介质 | |
| CN113850160A (zh) | 重复动作的计数方法及装置 | |
| CN113160199A (zh) | 影像识别方法、装置、计算机设备和存储介质 | |
| CN110728172B (zh) | 基于点云的人脸关键点检测方法、装置、系统及存储介质 | |
| CN110148234B (zh) | 校园刷脸接送交互方法、存储介质及系统 | |
| CN117671553A (zh) | 一种目标识别方法、系统及相关装置 | |
| CN109409322B (zh) | 活体检测方法、装置及人脸识别方法和人脸检测系统 | |
| CN108875814B (zh) | 图片检索方法、装置及电子设备 | |
| JP7070665B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
| CN116484881A (zh) | 对话生成模型的训练方法、装置、存储介质及计算机设备 | |
| CN108875498B (zh) | 用于行人重识别的方法、装置及计算机存储介质 | |
| CN116052225A (zh) | 掌纹识别方法、电子设备、存储介质及计算机程序产品 | |
| CN114612979A (zh) | 一种活体检测方法及装置、电子设备、存储介质 | |
| CN114332990A (zh) | 一种情绪识别方法、装置、设备及介质 | |
| CN110503150A (zh) | 样本数据采集方法、装置及存储介质 | |
| Halim et al. | A deep learning approach for basic human activity recognition with yolov4-tiny |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |