CN112784658A - 基于原子姿势的动作识别方法及其系统与电脑可读取记录媒体 - Google Patents

基于原子姿势的动作识别方法及其系统与电脑可读取记录媒体 Download PDF

Info

Publication number
CN112784658A
CN112784658A CN201911248194.6A CN201911248194A CN112784658A CN 112784658 A CN112784658 A CN 112784658A CN 201911248194 A CN201911248194 A CN 201911248194A CN 112784658 A CN112784658 A CN 112784658A
Authority
CN
China
Prior art keywords
atomic
standard
hash key
pose
hash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911248194.6A
Other languages
English (en)
Inventor
黄奕禧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN112784658A publication Critical patent/CN112784658A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种基于原子姿势的动作识别方法及其系统与电脑可读取记录媒体。获取包括活体的视频图帧。分析视频图帧中的活体而产生原子姿势特征值。依据原子姿势特征值执行杂凑函数而产生原子姿势杂凑键值。通过比对原子姿势杂凑键值，识别人体执行特定动作。

Description

基于原子姿势的动作识别方法及其系统与电脑可读取记录 媒体
技术领域
本发明涉及一种人体动作识别，且特别涉及一种基于原子姿势的动作识别方法及其系统与电脑可读取记录媒体。
背景技术
人体动作识别于学术与产业界一直是很热门的研究与应用目标，其可应用至虚拟现实、游戏、运动训练、健康照护、居家安全、人性化人机界面与教育等等不同的领域。目前人体动作识别技术可分为两类，其分别为基于电脑视觉的人体动作识别系统以及基于穿戴式感测器的人体动作识别系统。基于穿戴式感测器的人体动作识别系统必须于人体身上设置感测器才有办法进行动作识别，对于没有穿戴感测器的人体无法进行动作识别。
基于电脑视觉的人体动作识别系统可通过分析影像来进行动作识别，无须于人体上设置任何感测器。目前来说，基于电脑视觉的人体动作识别系统可使用基于模版比对的方法或基于机器学习的方法来进行动作识别。基于机器学习的方法需耗费庞大的运算资源，且机器学习模型的建立相当耗时。此外，基于模版比对的方法一般使用动态时间扭曲(dynamic time warping，DTW)处理来进行动作识别。然而，动态时间扭曲处理的时间复杂度(Time Complexity)与空间复杂度(Space Complexity)相当高，因而难以适用于运算资源受限的嵌入式平台。
发明内容
有鉴于此，本发明提出一种基于原子姿势的动作识别方法及其系统与电脑可读取记录媒体，其可有效降低运算复杂度。
本发明实施例提供一种基于原子姿势的动作识别方法，所述方法包括下列步骤。获取包括活体的视频图帧。分析视频图帧中的活体而产生原子姿势特征值。依据原子姿势特征值执行杂凑函数而产生原子姿势杂凑键值。通过比对原子姿势杂凑键值，以识别人体执行特定动作。
本发明实施例提供一种动作识别系统，其包括存储装置与处理器，处理器耦接存储装置。处理器经配置以执行下列步骤。获取包括活体的视频图帧。分析视频图帧中的活体而产生原子姿势特征值。依据原子姿势特征值执行杂凑函数而产生原子姿势杂凑键值。通过比对原子姿势杂凑键值，以识别人体执行特定动作。
本发明实施例提供一种电脑可读取记录媒体，上述电脑可读取记录媒体记录电脑程序，其经由上述动作识别系统的处理器载入以执行上述动作识别方法的步骤。
基于上述，于本发明的实施例中，动作识别系统可获取视频图帧中人体所呈现的原子姿势特征值，并依据原子姿势特征值与杂凑函数产生各张视频图帧中原子姿势杂凑键值。于是，通过比对各张视频图帧中原子姿势杂凑键值与关联于特定动作的杂凑表，可判断人体是否执行动态的特定姿势。借此，可大幅降低运算复杂度而使人体动作识别的应用范围更广泛。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是依照本发明一实施例的动作识别系统的示意图。
图2是依照本发明一实施例的动作识别方法的流程图。
图3是依照本发明一实施例的动作识别方法的示意图。
图4是依照本发明一实施例的建立杂凑表的流程图。
图5是依照本发明一实施例的动作识别方法的流程图。
图6是依照本发明一实施例的计算关节夹角的示意图。
图7是依照本发明一实施例的调整关节夹角的流程图。
图8是依照本发明一实施例的动作识别方法的示意图。
附图标记说明：
10：动作识别系统
110：存储装置
120：处理器
130：摄像装置
obj1：人物
VS1：视频串流
F1、F81～F84：视频图帧
SAP_1～SAP_8：标准原子动作
AP_1～AP_6：原子动作
J1～J19：关节点
V1～V11：肢体向量
θ1～θ6：关节夹角
T1：杂凑表
S201～S204、S401～S403、S501～S512、S701～S703：步骤
具体实施方式
本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未公开所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的方法、系统与电脑可读取记录媒体的范例。
图1是依照本发明一实施例的动作识别系统的示意图，但此仅是为了方便说明，并不用以限制本发明。首先图1先介绍动作识别系统中的所有构件以及配置关系，详细功能与操作将配合图2与图3一并公开。
请参照图1，动作识别系统10包括存储装置110、处理器120，以及摄像装置130，其中处理器120耦接至摄像装置130以及存储装置110。在一实施例中，动作识别系统10可包括具有存储装置110与处理器120的电脑系统，以及外接于上述电脑系统的影像获取装置130。例如，动作识别系统10可以是由笔记本电脑或台式电脑与外接摄影机而构成，本发明不在此设限。在另一实施例中，动作识别系统10可以是将摄像装置130、存储装置110，以及处理器120整合为单一电子装置。例如，动作识别系统10可以是智能手机、平板电脑等具有影像获取功能的电子装置，本发明不在此设限。
摄像装置130用以朝一空间获取影像而产生包括连续视频图帧的视频串流，并且包括具有透镜以及感光元件的摄像镜头。感光元件用以感测进入透镜的光线强度，进而产生影像。感光元件可以例如是电荷耦合元件(charge coupled device，CCD)、互补性氧化金属半导体(complementary metal-oxide semiconductor，CMOS)元件或其他元件，本发明不在此设限。具体而言，摄像装置120可以是深度摄影机(depth camera)、立体摄影机或红绿蓝(RGB)摄影机，本发明对此不限制。
存储装置110用以存储影像、程序码、软件元件等等数据，其可以例如是任意形式的固定式或可移动式随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘或其他类似装置、集成电路及其组合。
处理器120用以控制动作识别系统10的构件之间的作动，其例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)、图形处理器(Graphics Processing Unit，GPU或其他类似装置或这些装置的组合。处理器120可执行记录于存储装置110中的程序码、软件模块、指令等等，以实现本发明实施例的动作识别方法。
图2是依照本发明一实施例的动作识别方法的流程图。请参照图2，本实施例的方法适用于图1中的动作识别系统10，以下即搭配动作识别系统10中的各项元件说明本实施例方法的详细流程。动作识别系统10可用以识别一活体所执行的动态特定动作，上述活体可以人体或其他动物，本发明对此不限制。然而，为了方便说明，以下将以活体是一人体为例进行说明。
首先，于步骤S201，处理器120获取包括活体的视频图帧。具体而言，摄像装置130朝一空间持续进行拍摄而产生视频串流，而至少一人物Obj1位于此空间内。视频串流包括分别对应至不同拍摄时间点的多张视频图框，因而这些视频图框分别包括有对应于人物Obj1的人体。摄像装置130将视频串流提供给由处理器120与存储装置110组成的电脑系统。通过由处理器120分析视频串流里的视频图帧，空间里的人物Obj1的动态动作可以被识别的。
于步骤S202，处理器120分析视频图帧中的活体而产生原子姿势特征值。于此，用语“原子姿势”代表单一视频图帧中人体所呈现的姿势。详细而言，处理器120可执行姿势检测软件套件而获取视频图帧中人体所呈现的原子姿势的原子姿势特征值。原子姿势特征值可包括肢体角度信息，而肢体角度信息例如是人体的骨架信息或基于骨架信息而产生的延伸信息。姿势检测软件套件例如是Nuitra SDK、MS Kinect、Orbbec Astra SDK、OpenPose或PoseNet等等，本发明对此不限制。
于步骤S203，处理器120依据原子姿势特征值执行杂凑函数而产生原子姿势杂凑键值。杂凑函数是可将原子姿势特征值转换为由字母和数字组成的字串(即杂凑键值)的一种数据单向转换操作，杂凑函数可以是MD5、RIPEMD-160、SHA1、SHA386、SHA512或其他适合的函数，本发明对此不限制。换言之，在处理器120分析出视频图帧中原子姿势的原子姿势特征值之后，处理器120可依据杂凑函数获取对应的原子姿势杂凑键值。此外，于一实施例中，处理器120还可将视频图帧的时间标签与原子姿势的肢体角度信息一并输入至杂凑函数获来产生对应的原子姿势杂凑键值。
于步骤S204，处理器120通过比对原子姿势杂凑键值，识别人体执行特定动作。于一实施例中，处理器120可基于依据原子姿势杂凑键值判定视频图帧中的原子姿势符合特定动作的多个标准原子姿势其中之一，而识别人体执行特定动作。具体而言，处理器120可依据当前检测到的原子姿势杂凑键值搜索一杂凑表，依据此杂凑表是否记录有相同的杂凑键值而判断此原子姿势是否符合特定动作的多个标准原子姿势其中之一。更详细而言，图3是依照本发明一实施例的动作识别方法的示意图。请参照图3，动态的特定动作(例如挥手)可基于这些标准原子姿势SAP_1、SAP_2、SAP_3、SAP_4而定义，存储于存储装置110中的杂凑表记录有这些标准原子姿势SAP_1、SAP_2、SAP_3、SAP_4各自对应的杂凑键值Hash2、Hash4、Hash1、Hash3。当处理器120分析视频图帧F1时，处理器120可获取原子姿势AP_1的原子姿势杂凑键值Hash1。处理器120可依据原子姿势AP_1的原子姿势杂凑键值Hash1搜索杂凑表，并判定原子姿势AP_1的原子姿势杂凑键值Hash1相同于标准原子姿势SAP_3的杂凑键值Hash1。因此，通过持续判断视频串流VS1中连续视频图帧内的多个原子姿势是否符合特定动作的多个标准原子姿势SAP_1、SAP_2、SAP_3、SAP_4，处理器120可识别人体是否执行特定动作而达到动作识别的目的。此外，处理器120是通过比对原子姿势的原子姿势杂凑键值与事前建立的杂凑表来判断原子姿势是否符合特定动作的标准原子姿势，因而相较于DTW处理可有效降低运算复杂度。
由此可知，于一实施例中，于实际进行动作识别之前，处理器120需建立特定动作的杂凑表。图4是依照本发明一实施例的建立杂凑表的流程图。请参照图4，本实施例的方法适用于图1中的动作识别系统10，以下即搭配动作识别系统10中的各项元件说明本实施例方法的详细流程。
于步骤S401，处理器120依据特定动作定义特定动作的多个标准原子姿势的标准肢体角度信息。详细而言，依据特定动作的种类与动作特征，处理器120可定义多个标准原子姿势的标准肢体角度信息。举例而言，假设特定动作为行走则双脚将轮流抬起且双手自然摆动，因此这些标准原子姿势可分别定义为“右脚微抬”、“右脚上抬”、“左脚微抬”与“左脚上抬”。对应的，处理器120可针对这些标准原子姿势分别产生标准肢体角度信息，例如双脚的膝关节角度与双手的轴关节角度等等。然而，标准原子姿势与其标准肢体角度信息的定义可视实际应用而设计之，本发明对此并不限制。此外，对应至同一特定动作的标准原子姿势的数量同样可视实际应用而设计之，本发明对此并不限制。说明的是，步骤S401中产生标准肢体角度信息的方式相同于步骤S202中产生肢体角度信息的方式。
接着，于步骤S402，处理器120依据标准原子姿势的标准肢体角度信息执行杂凑函数而产生标准原子姿势的杂凑键值。于步骤S403，处理器120依据标准原子姿势的杂凑键值建立特定动作的杂凑表。也就是说，不同的特定动作各自具有对应的杂凑表，而这些杂凑表可记录于存储装置110中。之后，处理器120可依据这些杂凑表来判断视频串流中的人体所执行的特定动作。
然而，本发明的实现方式不限于上述说明，可以对于实际的需求而酌予变更或延伸上述实施例的内容。为了更清楚说明，以下即搭配图1的动作识别系统10的各元件列举实施例，以说明动作识别系统10执行其动作识别方法的详细步骤。图5是依照本发明一实施例的动作识别方法的流程图。请同时参照图1与图5。
于步骤S501，处理器120设置取样计时器。于一实施例中，处理器120是依据视频取样时段内的多张视频图帧判断活体是否执行特定动作。换言之，处理器120每隔一视频取样时段重新识别活体动作。此视频取样时段的长度可以是预设，例如2秒，本发明对此不限制。处理器220通过取样计时器测量此视频取样时段。所述计时器可以是软件计数器。举例而言，以摄像装置130每秒可获取60帧视频图帧为例，若视频取样时段为2秒，处理器120可通过计数视频图帧的帧数来判断取样计时器是否期满。当计时器计数到120帧时，代表取样计时器期满。或者，处理器120可依据各张视频图帧所对应的时间戳记判断取样计时器是否期满。
于步骤S502，处理器120获取视频串流中包括活体的视频图帧。于本实施例中，活体的肢体角度信息可包多个关节夹角。于是，于步骤S503，处理器120分析活体而获取包括多个关节点的骨架信息。本发明对于关节点的数目并不限制，可视实际应用而设置。具体而言，活体的骨架信息是由多个关节点(或称关键点)组成，这些关节点分别具有对应的坐标位置，此坐标位置可以是二维坐标或三维坐标。于一实施例中，当摄像装置130为深度摄影机(depth camera)或立体摄影机，处理器120可依据深度摄影机(depth camera)或立体摄影机所获取影像与姿势检测软件套件Nuitra SDK、MS Kinect或Orbbec Astra SDK来获取这些关节点的三维坐标。
于步骤S504，处理器120依据特定动作与关节点的坐标位置取得多个肢体向量。具体而言，处理器120可依据两个关节点的坐标位置计算出一肢体向量。举例而言，当活体为一人体，处理器120可计算肩膀关节点至手轴关节点的一肢体向量。于步骤S505，处理器120依据特定动作与肢体向量计算关节夹角。处理器120可计算两肢体向量之间的夹角。详细而言，处理器120可计算第一肢体向量与第二肢体向量之间的关节夹角，其中第一肢体向量的终点为第二肢体向量的起点。需说明的是，处理器120可依据特定动作的种类来计算相对应的肢体向量与相对应的关节夹角。亦即，处理器120应该取哪些肢体向量与哪些关节夹角需是特定动作的种类而定。举例而言，假设活体为一人体且特定动作为走路，处理器120需取双脚的膝关节夹角与双手的手轴关节夹角，因此处理器120需要取用以计算膝关节夹角与手轴关节夹角的肢体向量。
图6是依照本发明一实施例的计算关节夹角的示意图。请参照图6，以活体为人体为例，对于一视频图帧内的原子姿势AP_6，处理器120可取得包括关节点J1～J16的骨架信息。假设处理器120欲判断原子姿势AP_6是否双手向两侧平举的T姿势，则处理器120将计算手轴关节夹角θ1、手轴关节夹角θ4、肩关节夹角θ2、肩关节夹角θ3、膝关节夹角θ5、膝关节夹角θ6。
详细而言，处理器120将依据关节点J8、J9计算肢体向量V7，以及依据关节点J9、J10计算肢体向量V8。接着，处理器120可计算肢体向量V7与肢体向量V8之间的夹角而获取左脚的膝关节夹角θ5。更具体而言，假设关节点J8、J9、J10分别为(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)，则肢体向量V7为(x2-x1,y2-y1,z2-z1)且肢体向量V8为(x3-x2,y3-y2,z3-z2)。同理，处理器120将依据关节点J8、J9计算肢体向量V7，以及依据关节点J9、J10计算肢体向量V8。接着，处理器120可计算肢体向量V7与肢体向量V8之间的夹角而获取左脚的膝关节夹角θ5。
此外，处理器120将依据关节点J1、J2计算肢体向量V1，以及依据关节点J3、J2计算肢体向量V2。接着，处理器120可计算肢体向量V1与肢体向量V2之间的夹角而获取右手的手轴关节夹角θ1。处理器120可依据关节点J3、J4计算肢体向量V3，以及依据关节点J4、J15计算肢体向量V11。接着，处理器120可计算肢体向量V3与肢体向量V11之间的夹角而获取右边的肩轴关节夹角θ2。同理，处理器120将依据关节点J6、J7计算肢体向量V6，以及依据关节点J5、J6计算肢体向量V5。接着，处理器120可计算肢体向量V5与肢体向量V6之间的夹角而获取左手的手轴关节夹角θ4。处理器120可依据关节点J5、J4计算肢体向量V4，以及依据关节点J4、J15计算肢体向量V11。接着，处理器120可计算肢体向量V4与肢体向量V11之间的夹角而获取左边的肩轴关节夹角θ3。因此，于一实施例中，手轴关节夹角θ1、手轴关节夹角θ4、肩关节夹角θ2、肩关节夹角θ3、膝关节夹角θ5、膝关节夹角θ6后续可用以产生原子姿势AP_6的原子姿势杂凑键值。
回到图5的流程，于步骤S506，处理器120将依据容忍值调整关节夹角。上述容忍值例如是5度或10度，本发明对此不限制。具体而言，若当下检测到的关节夹角与标准原子姿势的标准关节夹角之间差距小于容忍值，则可直接将当下检测到的关节夹角调整至相同于标准关节夹角，亦即将当下检测到的关节夹角直接视为标准关节夹角而进行后续流程。
图7是依照本发明一实施例的调整关节夹角的流程图。请参照图，于步骤S701，处理器120判断关节夹角中的第一关节夹角与多个标准关节夹角中的第一标准关节夹角之间的差距是否小于容忍值。若步骤S701判断为是，于步骤S702，反应于关节夹角中的第一关节夹角与标准关节夹角中的第一标准关节夹角之间的差距小于容忍值，处理器120将第一关节夹角修改为相同于第一标准关节夹角。相反地，若步骤S701判断为否，于步骤S703，处理器120不修改第一关节夹角。举例而言，以活体为人体为例，假设容忍值是5度且处理器120依据骨架信息取得膝关节夹角为178度，则处理器120可将此膝关节夹角调整为标准关节角度180度。相反之，假设容忍值是5度且处理器120依据骨架信息取得膝关节夹角为170度，则处理器120可不调整膝关节夹角使其维持为170度。
回到图5的流程，于步骤S507，处理器120将原子姿势的关节夹角输入至杂凑函数而产生原子姿势杂凑键值。具体而言，处理器120可串接这些关节夹角而产生一数字串列，并将此数字串列输入至杂凑函数而产生原子姿势杂凑键值。然而，本发明并不限制于此，处理器120亦可对这些关节夹角执行其他预处理而产生一输入数据，并将此输入数据输入至杂凑函数而产生原子姿势杂凑键值。
于步骤S508，处理器120依据原子姿势杂凑键值搜索一杂凑表以判定原子姿势是否符合特定动作的标准原子姿势其中之一。详细而言，处理器120依据原子姿势杂凑键值搜索杂凑表，而判断原子姿势杂凑键值是否相同于杂凑表中分别对应至多个标准原子姿势的杂凑键值其中之一。反应于原子姿势杂凑键值相同于杂凑表中分别对应至标准原子姿势的杂凑键值其中之一，处理器120可判定原子姿势符合特定动作的这些标准原子姿势其中之一。
于步骤S509，处理器120判断所有的标准原子姿势是否分别相符于视频图帧的原子姿势与其他视频图帧内的其他原子姿势。具体而言，特定动作是依据多个标准原子姿势来定义，因此，于一实施例中，处理器120于一视频取样时段内判断是否检测到与所有标准原子姿势相符的原子姿势，从而判断活体是否执行特定动作。
于是，若步骤S509判断为是，于步骤S510，反应于所有的标准原子姿势分别相符于视频图帧的原子姿势与其他视频图帧内的其他原子姿势，处理器120可判定活体执行特定动作。若步骤S509判断为否，于步骤S511，处理器120判断取样计时器的视频取样时段是否期满。若步骤S511判断为否，回到步骤S502，处理器120将继续判断下一张视频图帧的原子姿势是否相符于特定动作的标准原子姿势。若步骤S511判断为是，于步骤S512，反应于取样计时器的视频取样时段期满，处理器120判定活体未执行特定动作。
举例而言，图8是依照本发明一实施例的动作识别方法的示意图。请参照图8，以活体为人体为例，图8是以特定动作为行走且特定动作由4个标准原子动作定义为例进行说明，但本发明并不限制于此。于此范例中，处理器120先建立特定动作“行走”的杂凑表T1。处理器120可先定义各标准原子姿势SAP_5～SAP_8的标准肢体角度信息，于此范例中标准肢体角度信息为标准关节夹角。处理器120可定义标准原子姿势SAP_5～SAP_8(分别为“右脚微抬”、“右脚上抬”、“左脚微抬”与“左脚上抬”)各自的标准关节夹角。像是，标准原子姿势SAP_5“右脚微抬”的标准关节夹角包括：左边的膝关节夹角180度；右边的膝关节夹角120度；右边的肩关节夹角10度；左边的肩关节夹角10度；以及右边的髋关节120度。
之后，处理器120可依据各标准原子姿势SAP_5～SAP_8的标准关节夹角产生对应的杂凑键值，并将其记录为杂凑表T1。如图8所示，杂凑表T1记录有对应至标准原子姿势SAP_5的杂凑键值“ASED1234”；对应至标准原子姿势SAP_6的杂凑键值“21A58DFA”；对应至标准原子姿势SAP_7的杂凑键值“5A58D0DD”；以及对应至标准原子姿势SAP_8的杂凑键值“TTYL2A1B”。
于实际进行动作识别时，处理器120可产生对应至第一时间的视频图帧F81上的原子姿势AP_2的原子姿势杂凑键值。反应于原子姿势AP_2的原子姿势杂凑键值相同于杂凑表T1中的杂凑键值“ASED1234”，处理器120可判定原子姿势AP_2与标准原子姿势SAP_5相符合。接着，处理器120可产生对应至第二时间的视频图帧F82上的原子姿势AP_3的原子姿势杂凑键值。反应于原子姿势AP_3的原子姿势杂凑键值相同于杂凑表T1中的杂凑键值“21A58DFA”，处理器120可判定原子姿势AP_3与标准原子姿势SAP_6相符合。
接着，处理器120可产生对应至第三时间的视频图帧F83上的原子姿势AP_4的原子姿势杂凑键值。反应于原子姿势AP_4的原子姿势杂凑键值相同于杂凑表T1中的杂凑键值“5A58D0DD”，处理器120可判定原子姿势AP_4与标准原子姿势SAP_7相符合。处理器120可产生对应至第四时间的视频图帧F84上的原子姿势AP_5的原子姿势杂凑键值。反应于原子姿势AP_5的原子姿势杂凑键值相同于杂凑表T1中的杂凑键值“TTYL2A1B”，处理器120可判定原子姿势AP_5与标准原子姿势SAP_8相符合。于是，反应于特定动作所有的标准原子姿势SAP_5～SAP_8分别相符于原子姿势AP_2～AP_5，处理器120可判定人体执行特定动作“行走”，从而达到人体动作识别的目的。
本发明实施例另提供一种非暂态的电脑可读取媒体，此电脑可读取媒体可存储多数个程序码片段，并且这些程序码片段在载入动作识别系统10的处理器120中并执行之后，即可完成上述动作识别方法的各步骤。
综上所述，于本发明实施例中，通过比对各张视频图帧中原子姿势杂凑键值与关联于特定动作的杂凑表，可判断活体是否执行动态的特定姿势。借此，可大幅降低运算复杂度而使活体动作识别的应用范围更广泛。此外，相比存储大量的影像模板信息进行姿势模板比对而完成动作识别，本发明实施例仅需要存储杂凑表而可有效地节省存储空间。亦即，本发明实施例可提供一种运算复杂度低且节省存储空间的动作识别方案，因而可适用于计算与硬件资源受限的嵌入式平台上。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的构思和范围内，当可作些许的变动与润饰，故本发明的保护范围当视权利要求所界定者为准。

Claims (19)

1.一种基于原子姿势的动作识别方法，所述方法包括：
获取包括一活体的一视频图帧；
分析该视频图帧中的该活体而产生一原子姿势特征值；
依据该原子姿势特征值执行杂凑函数而产生一原子姿势杂凑键值；以及
通过比对该原子姿势杂凑键值，识别该活体执行一特定动作。
2.如权利要求1所述的动作识别方法，其中分析该视频图帧中的该活体而产生该原子姿势特征值的步骤包括：
分析该视频图帧中的该活体而产生一原子姿势的肢体角度信息，
其中通过比对该原子姿势杂凑键值，识别该活体执行该特定动作的步骤包括：
基于依据该原子姿势杂凑键值判定该原子姿势符合该特定动作的多个标准原子姿势其中之一，识别该活体执行该特定动作。
3.如权利要求2所述的动作识别方法，其中分析该视频图帧中的该活体而产生该原子姿势的该肢体角度信息的步骤包括：
分析该活体而获取包括多个关节点的骨架信息；
依据该特定动作与该些关节点的坐标位置取得多个肢体向量；以及
依据该特定动作与该些肢体向量计算多个关节夹角。
4.如权利要求3所述的动作识别方法，其中依据该肢体角度信息执行杂凑函数而产生该原子姿势的杂凑键值的步骤包括：
依据一容忍值调整该些关节夹角；以及
将该原子姿势的该些关节夹角输入至该杂凑函数而产生该原子姿势杂凑键值。
5.如权利要求4所述的动作识别方法，其中依据该容忍值调整该些关节夹角的步骤包括：
反应于该些关节夹角中的第一关节夹角与多个标准关节夹角中的第一标准关节夹角之间的差距小于容忍值，将该第一关节夹角修改为相同于该第一标准关节夹角。
6.如权利要求2所述的动作识别方法，所述方法还包括：
依据该特定动作定义该特定动作的该些标准原子姿势的标准肢体角度信息；
依据该些标准原子姿势的该标准肢体角度信息执行该杂凑函数而产生该些标准原子姿势的杂凑键值；以及
依据该些标准原子姿势的杂凑键值建立该特定动作的一杂凑表。
7.如权利要求6所述的动作识别方法，其中基于依据该原子姿势杂凑键值判定该原子姿势符合该特定动作的该些标准原子姿势其中之一，识别该活体执行该特定动作的步骤包括：
依据该原子姿势杂凑键值搜索该杂凑表，而判断该原子姿势杂凑键值是否相同于该杂凑表中分别对应至该些标准原子姿势的杂凑键值其中之一；以及
反应于该原子姿势杂凑键值相同于该杂凑表中分别对应至该些标准原子姿势的杂凑键值其中之一，判定该原子姿势符合该特定动作的该些标准原子姿势其中之一。
8.如权利要求2所述的动作识别方法，其中基于依据该原子姿势杂凑键值判定该原子姿势符合该特定动作的该些标准原子姿势其中之一，识别该活体执行该特定动作的步骤包括：
反应于所有的该些标准原子姿势分别相符于该视频图帧的该原子姿势与其他视频图帧内的其他原子姿势，判定该活体执行该特定动作，其中视频串流还包括该视频图帧与其他视频图帧。
9.如权利要求8所述的动作识别方法，所述方法还包括：
设置一取样计时器；以及
反应于该取样计时器的一视频取样时段期满，判定该活体未执行该特定动作。
10.一种基于原子姿势的动作识别系统，包括：
存储装置；以及
处理器，耦接该存储装置，经配置以执行该存储装置中的指令以：
获取包括一活体的一视频图帧；
分析该视频图帧中的该活体而产生一原子姿势特征值；
依据该原子姿势特征值执行杂凑函数而产生一原子姿势杂凑键值；以及
通过比对该原子姿势杂凑键值，识别该活体执行一特定动作。
11.如权利要求10所述的动作识别系统，其中该处理器经配置以：
分析该视频图帧中的该活体而产生一原子姿势的肢体角度信息；以及
基于依据该原子姿势杂凑键值判定该原子姿势符合该特定动作的多个标准原子姿势其中之一，识别该活体执行该特定动作。
12.如权利要求11所述的动作识别系统，其中该处理器经配置以：
分析该活体而获取包括多个关节点的骨架信息；
依据该特定动作与该些关节点的坐标位置取得多个肢体向量；以及
依据该特定动作与该些肢体向量计算多个关节夹角。
13.如权利要求12所述的动作识别系统，其中该处理器经配置以：
依据一容忍值调整该些关节夹角；以及
将该原子姿势的该些关节夹角输入至该杂凑函数而产生该原子姿势杂凑键值。
14.如权利要求13所述的动作识别系统，其中该处理器经配置以：
反应于该些关节夹角中的第一关节夹角与多个标准关节夹角中的第一标准关节夹角之间的差距小于容忍值，将该第一关节夹角修改为相同于该第一标准关节夹角。
15.如权利要求11所述的动作识别系统，其中该处理器经配置以：
依据该特定动作定义该特定动作的该些标准原子姿势的多个标准关节夹角；
依据该些标准关节夹角执行该杂凑函数而产生该些标准原子姿势的杂凑键值；以及
依据该些标准原子姿势的杂凑键值建立该特定动作的一杂凑表。
16.如权利要求15所述的动作识别系统，其中该处理器经配置以：
依据该原子姿势的杂凑键值搜索该杂凑表，而判断该原子姿势的杂凑键值是否相同于该杂凑表中分别对应至该些标准原子姿势的杂凑键值其中之一；以及
反应于该原子姿势的杂凑键值相同于该杂凑表中分别对应至该些标准原子姿势的杂凑键值其中之一，判定该原子姿势符合该特定动作的该些标准原子姿势其中之一。
17.如权利要求11所述的动作识别系统，其中该处理器经配置以：
反应于所有的该些标准原子姿势分别相符于该视频图帧的该原子姿势与其他视频图帧内的其他原子姿势，判定该活体执行该特定动作，其中视频串流还包括该视频图帧与其他视频图帧。
18.如权利要求17所述的动作识别系统，其中该处理器经配置以：
设置一取样计时器；以及
反应于该取样计时器的一视频取样时段期满，判定该活体未执行该特定动作。
19.一种电脑可读取记录媒体，记录电脑程序，经由动作识别系统的处理器载入以执行下列步骤：
获取包括一活体的一视频图帧；
分析该视频图帧中的该活体而产生一原子姿势特征值；
依据该原子姿势特征值执行杂凑函数而产生一原子姿势杂凑键值；以及
通过比对该原子姿势杂凑键值，识别该活体执行一特定动作。
CN201911248194.6A 2019-11-01 2019-12-09 基于原子姿势的动作识别方法及其系统与电脑可读取记录媒体 Pending CN112784658A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108139686 2019-11-01
TW108139686A TWI710972B (zh) 2019-11-01 2019-11-01 基於原子姿勢的動作辨識方法及其系統與電腦可讀取記錄媒體

Publications (1)

Publication Number Publication Date
CN112784658A true CN112784658A (zh) 2021-05-11

Family

ID=74202448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911248194.6A Pending CN112784658A (zh) 2019-11-01 2019-12-09 基于原子姿势的动作识别方法及其系统与电脑可读取记录媒体

Country Status (3)

Country Link
US (1) US11386564B2 (zh)
CN (1) CN112784658A (zh)
TW (1) TWI710972B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444895B (zh) * 2020-05-08 2024-04-19 商汤集团有限公司 视频处理方法、装置、电子设备及存储介质
CN111694429B (zh) * 2020-06-08 2023-06-02 北京百度网讯科技有限公司 虚拟对象驱动方法、装置、电子设备及可读存储
FR3137203A1 (fr) * 2022-06-22 2023-12-29 Ai Bright Systeme et methode d’assistance a la realisation de mouvements physiques

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012048362A (ja) * 2010-08-25 2012-03-08 Kddi Corp 人体姿勢推定装置、人体姿勢推定方法およびコンピュータプログラム
US20150206003A1 (en) * 2009-05-11 2015-07-23 Universitat Zu Lubeck Method for the Real-Time-Capable, Computer-Assisted Analysis of an Image Sequence Containing a Variable Pose
CN106022251A (zh) * 2016-05-17 2016-10-12 沈阳航空航天大学 基于视觉共生矩阵序列的异常双人交互行为识别方法
CN106599762A (zh) * 2015-10-15 2017-04-26 阿里巴巴集团控股有限公司 动作信息识别方法和系统
US20170209795A1 (en) * 2016-01-27 2017-07-27 Electronic Arts Inc. Systems and methods for capturing participant likeness for a video game character
CN108108699A (zh) * 2017-12-25 2018-06-01 重庆邮电大学 融合深度神经网络模型和二进制哈希的人体动作识别方法
CN109492589A (zh) * 2018-11-13 2019-03-19 重庆工程职业技术学院 通过二进制特征与联合层叠结构融合的人脸识别工作方法以及智能芯片
CN110008795A (zh) * 2018-01-04 2019-07-12 纬创资通股份有限公司 图像目标追踪方法及其系统与计算机可读取存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US9117113B2 (en) * 2011-05-13 2015-08-25 Liberovision Ag Silhouette-based pose estimation
US8929600B2 (en) * 2012-12-19 2015-01-06 Microsoft Corporation Action recognition based on depth maps
WO2014200437A1 (en) * 2013-06-12 2014-12-18 Agency For Science, Technology And Research Method and system for human motion recognition
CN105320944B (zh) * 2015-10-24 2019-09-27 西安电子科技大学 一种基于人体骨架运动信息的人体行为预测方法
EP3724813A1 (en) * 2017-12-13 2020-10-21 Humanising Autonomy Limited Systems and methods for predicting pedestrian intent

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150206003A1 (en) * 2009-05-11 2015-07-23 Universitat Zu Lubeck Method for the Real-Time-Capable, Computer-Assisted Analysis of an Image Sequence Containing a Variable Pose
JP2012048362A (ja) * 2010-08-25 2012-03-08 Kddi Corp 人体姿勢推定装置、人体姿勢推定方法およびコンピュータプログラム
CN106599762A (zh) * 2015-10-15 2017-04-26 阿里巴巴集团控股有限公司 动作信息识别方法和系统
US20170209795A1 (en) * 2016-01-27 2017-07-27 Electronic Arts Inc. Systems and methods for capturing participant likeness for a video game character
CN106022251A (zh) * 2016-05-17 2016-10-12 沈阳航空航天大学 基于视觉共生矩阵序列的异常双人交互行为识别方法
CN108108699A (zh) * 2017-12-25 2018-06-01 重庆邮电大学 融合深度神经网络模型和二进制哈希的人体动作识别方法
CN110008795A (zh) * 2018-01-04 2019-07-12 纬创资通股份有限公司 图像目标追踪方法及其系统与计算机可读取存储介质
CN109492589A (zh) * 2018-11-13 2019-03-19 重庆工程职业技术学院 通过二进制特征与联合层叠结构融合的人脸识别工作方法以及智能芯片

Also Published As

Publication number Publication date
TW202119277A (zh) 2021-05-16
TWI710972B (zh) 2020-11-21
US20210133985A1 (en) 2021-05-06
US11386564B2 (en) 2022-07-12

Similar Documents

Publication Publication Date Title
US20130335318A1 (en) Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
CN112784658A (zh) 基于原子姿势的动作识别方法及其系统与电脑可读取记录媒体
KR102433931B1 (ko) 움직임 인식 방법 및 움직임 인식 장치
Voronin et al. Action recognition for the robotics and manufacturing automation using 3-D binary micro-block difference
CN108778123B (zh) 步态分析装置、步态分析方法和计算机可读记录介质
JP2021064367A (ja) 動作認識方法、動作認識装置及び電子機器
WO2022174523A1 (zh) 一种提取行人的步态特征的方法、步态识别方法及系统
Weiyao et al. Human action recognition using multilevel depth motion maps
Perimal et al. Hand-gesture recognition-algorithm based on finger counting
Raheja et al. Hand gesture pointing location detection
Jaemin et al. A robust gesture recognition based on depth data
Shin et al. Sequential image-based attention network for inferring force estimation without haptic sensor
CN110910426A (zh) 动作过程和动作趋势识别方法、存储介质和电子装置
KR101706864B1 (ko) 모션 센싱 입력기기를 이용한 실시간 손가락 및 손동작 인식
KR20230080938A (ko) 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법 및 장치
KR20230051704A (ko) 가상 키보드에 기초한 텍스트 입력 방법 및 장치
Bakar et al. Real-time rotation invariant hand tracking using 3D data
Mantecón et al. Enhanced gesture-based human-computer interaction through a Compressive Sensing reduction scheme of very large and efficient depth feature descriptors
CN116246343A (zh) 轻量化的人体行为识别方法及装置
KR101085536B1 (ko) 제스처 인식을 이용한 인터페이스 구성방법
Satybaldina et al. Application development for hand gestures recognition with using a depth camera
WO2022137450A1 (ja) 情報処理装置、情報処理方法およびプログラム
Jian et al. A micro-gesture recognition on the mobile web client
KR102107182B1 (ko) 손 제스처 인식 시스템 및 방법
Cruceat et al. Extracting human features to enhance the user experience on a training station for manual operations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination