CN116469159A - 一种获取人体运动数据的方法及电子设备 - Google Patents
一种获取人体运动数据的方法及电子设备 Download PDFInfo
- Publication number
- CN116469159A CN116469159A CN202310268926.8A CN202310268926A CN116469159A CN 116469159 A CN116469159 A CN 116469159A CN 202310268926 A CN202310268926 A CN 202310268926A CN 116469159 A CN116469159 A CN 116469159A
- Authority
- CN
- China
- Prior art keywords
- gesture
- action
- motion
- motion data
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 230
- 241000282414 Homo sapiens Species 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000009471 action Effects 0.000 claims abstract description 93
- 230000006399 behavior Effects 0.000 claims description 31
- 230000000875 corresponding effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 230000000737 periodic effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 13
- 238000011160 research Methods 0.000 description 14
- 230000036544 posture Effects 0.000 description 6
- 238000013075 data extraction Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种获取人体运动数据的方法及电子设备。一种获取人体运动数据的方法包括:获取第一格式运动数据;从所述第一格式运动数据提取关键帧序列,作为关键姿态序列;将所述关键姿态序列划分为至少一个动作;将所述关键姿态序列分别转换为姿态编码;根据每个动作包括的关键姿态的姿态编码确定所述动作的动作编码;获取所述动作的附加信息,将所述动作编码与所述附加信息作为所述动作的规范化运动数据;存储所述动作的规范化运动数据及关联的所述第一格式运动数据。根据实施例的方法能够实现海量运动数据的收集,并可减少后续处理的存储消耗。
Description
技术领域
本申请涉及数据处理技术领域,特别涉及一种获取人体运动数据的方法及电子设备。
背景技术
对运动进行研究能够帮助人们制定合适的运动计划,提高人体免疫力,促进身体健康等,是近年来的研究热点。当前人体运动研究一直处于无规律、无标准的状态下,与其他研究对象相比,运动相关研究具有以下挑战:(1) 如何对任意一个运动进行定义和描述的问题还尚待解决。理论上人体运动有无限种,而当前被语义定义与描述的运动占总量的少部分,导致运动相关研究的对象局限在已被定义的运动上,丧失了大量未被定义描述的运动信息。(2) 人体运动数据在时间与空间维度上都缺乏结构性信息,运动数据在数据库中如何被识别与检索等问题还尚待解决。(3) 人体运动之间关系复杂,如篮球运动是由跑步、跳跃等多个子运动构成的,而跑步与跳跃运动又可以重组得到跨栏、跳高等运动,记录这些运动的父子关系与邻接关系能够有效推动运动领域的研究,而目前这些运动关系还尚待建模与定义。
这些挑战导致各个运动研究机构前期需要花费大量时间进行数据收集工作。
在所述背景技术部分公开的上述信息仅用于加强对本申请的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请提供一种获取人体运动数据的方法及电子设备,能够实现海量运动数据的收集,并可减少后续处理的存储消耗,有利于开展人体运动的研究和理解工作。
一方面,本申请提供一种获取人体运动数据的方法,其特征在于,包括:
获取第一格式运动数据;
从所述第一格式运动数据提取关键帧序列,作为关键姿态序列;
将所述关键姿态序列划分为至少一个动作;
将所述关键姿态序列分别转换为姿态编码;
根据每个动作包括的关键姿态的姿态编码确定所述动作的动作编码;
获取所述动作的附加信息,将所述动作编码与所述附加信息作为所述动作的规范化运动数据;
存储所述动作的规范化运动数据及关联的所述第一格式运动数据。
根据一些实施例,所述姿态编码包括:编码标识符及顺序固定的姿态基的取值。
根据一些实施例,前述方法还包括:构建姿态编码完备集或其子集。
根据一些实施例,将所述关键姿态序列分别转换为姿态编码,包括:
获取各关键姿态中姿态基的位置旋转状态;
通过各姿态基的位置旋转状态查询所述姿态编码完备集或其子集,获得所述姿态编码。
根据一些实施例,根据每个动作包括的关键姿态的姿态编码确定所述动作的动作编码,包括:
确定各关键姿态在相应动作中出现的帧序数;
将所述动作编码确定为各关键姿态的帧序数和相应姿态编码的组合。
根据一些实施例,前述方法还包括预先构建分层运动模型:
将人体运动的连续非确定周期过程划分为姿态、动作、行为和习惯四个有序层级,上一层运动由多个下一层运动的序列构成;
将姿态限定为按照顺序固定的姿态基的取值进行编码;
将动作限定为按照关键姿态的时间戳和相应的姿态编码进行组合编码
将行为限定为按照预定义语义进行统一编码;
将习惯限定为按照累加自然数方式的进行紧凑编码。
根据一些实施例,前述方法还包括:将第二格式运动数据或视频文件转换为所述第一格式运动数据。
根据一些实施例,前述方法还包括:将多个动作归属于一行为,将所述行为按照预定义语义进行统一编码。
根据一些实施例,前述方法还包括:将多个行为归属于一习惯,将所述习惯按照累加自然数方式的进行紧凑编码。
另一方面,本申请还提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述的任一种方法。
另一方面,本申请还提供了一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述的任一种方法。
另一方面,本申请还提供了一种计算机程序产品,包括存储在非暂态计算机可读存储介质上的计算程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使该计算机执行前述的任一种方法。
有益效果
本申请提出一种获取人体运动数据的方法,通过第一格式文件提取运动数据,根据运动数据的建模模式进行数据抽取和姿态及动作编码,使得每一类运动都有唯一的标识符来进行指代。这样,一方面实现海量运动数据的收集,另一方面可减少后续处理的存储消耗并提升后续处理速度,有利于开展人体运动的研究和理解工作。
附图说明
图1示出根据本申请实施例构建的分层运动模型。
图2示出根据示例实施例的一个运动编码示例。
图3示出根据示例实施例的获取人体运动数据的方法流程图。
实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本发明将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下,不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本发明的各方面。
附图中所示的方框图不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的步骤。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
近年来,随着计算机技术的提升以及硬件成本的降低,动作捕捉系统不断地普及,这些动捕技术能够较好地保存运动的细节并真实地记录人体运动轨迹,具有精度高、质量好的特点,成为人体运动数据获取的主要手段,为医疗科学、体育训练、智能媒体等领域提供数据支持。人体动作能够从动捕数据中拆分出来,可为人体数据平台组织数据打下基础。此外,人体运动三维数据也可通过对视频流进行三维重建等方式来生成。各个领域的研究人员陆续将其采集的人体运动数据进行了公开。对这些不同领域的人体运动数据进行收集、分析与标准化有利于推动人体运动相关研究的发展,避免重复的数据采集工作。
然而,人体动作复杂多样,从日常生活到各类运动项目中包含着无数类型的动作,很难做到全面统一的规范化定义和详尽分类。通常的做法是,聚焦于某一场景或运动项目,通过专家制定规则,进行数据获取。但是这种方式的运动项目的动作捕捉数据量有限,不能达到运动研究和处理所需的数据规模。而且,由于这些数据集往往是为了某个研究目的在短时间内快速收集的,其首要任务仅仅是完成对运动提取得到的数据进行分类存储,因此在设计之初并未考虑其扩展性,数据缺乏严谨的结构和组织。此外,人体三维运动数据由于精度高、帧数多的特点,导致运动数据文件占用的内存大,影响存储和处理效率。
为此,本申请提出一种获取人体运动数据的方法,通过第一格式文件提取运动数据,根据运动数据的建模模式进行数据抽取和姿态及动作编码,一方面实现海量运动数据的收集,另一方面可减少后续处理的存储消耗并提升后续处理速度,有利于开展人体运动的研究和理解工作。
下面结合附图,具体说明本申请的示例实施方式。
图1示出根据本申请实施例构建的分层运动模型。
人体运动之间可通过运动编码进行彼此区分,编码的基础是对人体运动进行分类。
人体运动是一个连续的非确定周期的过程,有一定的不可测性。根据本申请实施例的分层运动模型定性地描述人体运动,将人体运动的连续非确定周期过程划分为姿态(P:Pose)、动作(A:Action)、行为(M:Moiton)和习惯(S:Style)四个有序层级,上一层运动由多个下一层运动的序列构成。姿态(P:Pose)表示某一时刻人体所有肢体在三维空间中相对静止的状态序列,例如定格在直立的这一瞬间就是一个姿态,主要体现人体姿态的物理性质。动作(A:Action)是具有实际意义的一段姿态,描述了肢体空间位置状态的变化,即从某一姿态经过运动再回到某一姿态的连续姿态,例如向上跳、单步行走、跳跃等,就是一个动作,体现运动的时空特性,时间跨度可以秒为单位。行为(M:Moiton)描述了肢体空间位置状态由某一过程变换到另一过程,即从某一动作开始,经过若干动作后结束的一系列动作的组合,体现运动的生物性,可持续较长时间,时间跨度以分钟或者小时为单位,如步行上班、马拉松比赛等。习惯(S:Style)是一个较长时间段内行为的总体表现,往往与风俗、习俗、传统或经验有关,同时也可以一部分表示人类的思维与情感特点,体现运动的社会性与心理学特性,时间跨度以天、月或者年为单位。
根据分层运动模型,姿态层运动有相对确定的、精准的描述,使用人体关键关节pu1到pun的位置和角度组合()精确描述一个姿态P(t),如式(1)所示。动作层运动是由多个姿态序列组成的呈周期性变化的一个单周期过程,可以使用姿态的组合描述一个动作A(t),表示由某一姿态开始,经过若干姿态后结束的姿态序列的集合,如式(2)所示。行为层运动是由多个动作生成的呈非周期性确定时间长度的随机过程,可以使用动作的组合描述一个行为M(t),表示由某一动作开始,经过若干动作后结束的动作序列集合,其是若干动作的排列组合,如式(3)所示。习惯层运动是由多个行为生成的呈非周期性的不确定时间长度的随机过程,可以使用行为的组合描述一个习惯S(t),表示在一个较长时间内生成的一个具有一定特征的行为序列集合,如式(4)所示。
分层运动模型描述了人体行为从毫秒时间尺度的姿态到秒时间尺度的动作,到分钟时间尺度的行为事件,直至到无限时间尺度的习惯。随着层次递进,人体行为也就从确定有限的系统,跨到了不确定无限的系统。
人体运动三维数据本质上是人体关键关节三维空间位置在时间上的一段连续序列的组合,仅仅依靠三维数据无法直观地体现运动特征,导致以往对于依赖骨骼特征索引的运动数据检索都需要执行大量的集合运算,检索速度慢效率低。本申请提出一种新的基于运动分层模型的编码体系,在这种编码体系下,每一类运动都有唯一的标识符来进行指代,从而为最终建立运动数据-运动编码-运动语义三者的对应关系提供基础和支持,并可进行运动的入库、查询,支撑人体运动数据平台的建设与运动种类的标准化建设,提高人体三维运动数据的重用性和可解释性。
根据本申请的技术构思,将姿态限定为按照顺序固定的姿态基的取值进行编码,将动作限定为按照关键姿态的时间戳和相应的姿态编码进行组合编码,将行为限定为按照预定义语义进行统一编码,将习惯限定为按照累加自然数方式的进行紧凑编码。
根据示例实施例,姿态主要采用穷举法进行编码。为此,引入姿态基(PU, poseunit)的概念,人体骨骼架构中两相邻关节所组成的肢体相对其根关节点的不同位置与旋转状态为人体姿态基。例如,可遵循标准人体骨骼的父子关系,根据人体姿态的运动特点选取九个对人体姿态影响较大的姿态基来进行姿态的编码,它们分别为腰椎、左上臂、右上臂/>、左大腿/>、右大腿/>、左下臂/>、右下臂/>、左小腿/>、右小腿。使用9位数字作为人体姿态的数字编码部分,将姿态基在编码中出现的顺序固定,不同姿态基的位置旋转状态对应不同的姿态基取值,如式(5)所示。
不同姿态基取值范围不相同,如式(6)与式(7)所示。具体取值可依照姿态基的位置旋转状态进行决定。以左上臂姿态基为例,其根关节属于球状关节,在运动过程中具有中立、前屈、后伸、旋内、旋外、内收和外展这7种位置旋转状态,这些状态分别对应/>的0到6的七种取值。在数字编码前加上字母“P”用以标识姿态层运动编码,就得到了姿态的完整编码。
根据上述定义的编码方式,人体姿态可以按照各个姿态基的状态进行分类。在这种分类方式下,人体姿态的理论数量为个,需要的字节数为9,003,750×4=36,015,000 Byte,需要至少35MB的空间保存。
根据示例实施例,使用动作若干个关键姿态序列与其对应的时间间隔对动作进行编码与描述。式(8)定义了动作的关键姿态序列。动作的编码由关键姿态的时间戳与姿态编码构成,如式(9)所示。
其中,表示第k个关键姿态在动作过程中出现的时间,单位为帧;/>表示第k个关键姿态的数字编码部分。另外,在数字编码前加上标识符“A”来表示动作层的运动编码。
不同于姿态与动作,对于行为的分类已相对齐全,被语义定义的行为相对较多。所以运动编码可以按照运动的层次进行统一编码,如式(10)所示。
其中,表示运动类型,/>表示运动场景,/>表示运动功率,/>表示运动道具,/>表示编码后缀。
运动类型MT主要分为体育运动、日常运动、极限运动与文艺运动这四类:体育运动指的是用于增强身体素质的各种运动;日常运动指人类日常生活中常常做出的运动;极限运动指难度较高,且挑战性较大的运动;文艺运动指的是舞蹈、武术、弹奏乐器等具有观赏性表演性的运动。运动场景MS主要分为陆地运动、水上运动、冰雪运动和其他。运动功率ME主要按照运动的功率分为四档:0-150W为第一层、 150-300W为第二层、300W-450W为第三层、>450W为第四层。运动道具MP表示运动过程中使用的辅助物体,比如篮球、自行车、杠铃等。运动道具MP使用两位十进制数进行编码,最多能够包含99种运动道具,当运动无道具时编码为00。随着运动种类的增加可以随时对运动道具的编码表进行拓展。运动后缀N的作用是当运动的运动类型、运动场景、运动消耗与运动道具编码都相同时,用以区分两种运动的编码,若前置编码都相同,则运动后缀依次使用由0开始的自然数累加的方式进行区别。最终行为的数字编码部分为四个层级编码的组合。在数字编码前加上运动层的标识符M作为行为的运动编码。
将习惯限定为按照累加自然数方式的进行紧凑编码。
习惯主要体现运动的社会性与心理学性,对习惯S进行编码有利于推动人体社会性习惯的分析与统一标准的制定。
习惯S由于时间跨度过长,构成单个习惯S的行为序列较长包含动作较多,其整体特征不甚明细,而习惯S作为研究对象出现频率较多的种类比较少,所以对习惯S的编码使用简单的累加自然数方式进行紧凑编码,如式(11)所示,表示已存在的习惯S的数量。
运动编码可带来几个方面的优点。首先,运动编码能赋予每一类运动一个标识(ID),运动数据之间得以区分。其次,可使用运动编码作为索引来组织与存储运动数据,从而能够节省存储消耗。另外,可通过运动编码来检索运动数据,从而大大提升检索速度。
姿态、动作、行为和习惯是人体运动在不同时间尺度和数据特征下的分类,分层运动模型中运动之间存在父子关系、兄弟关系。父运动由多个子运动序列组成,多个子运动构成一个父运动,在同一个层级中构成同一个父运动的子运动互为兄弟运动。
图2示出根据示例实施例的一个运动编码示例。
参见图2,示出的是上篮动作组的关键姿态示意,主要包含五个关键姿态与三个周期为一的动作,分别是双手交替运球/>、单步跑/>、与跳起投篮动作/>。这些动作与其他篮球动作共同构成了篮球运动/>。
上述的运动编码机制,能够赋予每一类运动唯一的编码用于标识。不同的运动层级的编码原理是不同的,将多个编码组合可以得到新的运动的编码,这提供了极大的灵活性,能够满足广泛的需求。下面将使用篮球运动中的上篮动作组来演示P、A、M的编码机制。
上篮动作组如图3所示,其中提取出五个关键姿态帧,与3个周期为一的动作。首先对这五个姿态进行编码,参照P编码框架,将人体姿态的九个姿态基分别进行取值可以组合得到姿态对应的编码结果,如表1所示。
表1:编码与说明。
提取姿态编码后,将关键姿态的编码进行组合可以得到动作的编码。上篮动作组中共包含三个周期为一的动作,分别是运球动作双手交替运球、单步跑/>、与跳起投篮动作/>。使用动作编码体系对这三个动作进行编码。
的编码原理如式(9)所示,该动作由/>两个关键姿态构成,/>在/>中出现的时间为第0帧,/>在/>中出现的时间为第3帧,所以由式12得出该动作编码为A02101111103221111011。同样地,依照式13与式14的计算结果可知,动作/>的编码为A022111101140112111106311111111,动作/>的编码为A03111111112011000000。
三个动作与其他动作共同组成了篮球运动/>。篮球运动/>的编码可以用式(10)得出。篮球运动的运动类型为体育运动,/>;篮球运动的运动场景为陆地运动,/>;篮球运动的运动功率为700W,/>;篮球运动的运动道具/>;篮球运动的编码后缀为/>。所以最终篮球运动/>的编码为M003291。
图3示出根据示例实施例的获取人体运动数据的方法流程图。
根据实施例,对第一格式运动数据根据运动数据的建模模式进行数据抽取和姿态及动作编码,可实现海量运动数据的收集。
参见图3,在S301,获取第一格式运动数据。
根据一些实施例,第一格式运动数据可为BVH格式数据。BVH是一种人体动作捕捉文件格式,这种格式的文件以关节点为核心要素,记录人体骨架在连续数帧内的运动情况。
根据一些实施例,还可将第二格式运动数据或视频文件转换为所述第一格式运动数据,从而针对第一格式运动数据进行处理即可,简化处理流程,节约处理资源。
在S303,从所述第一格式运动数据提取关键帧序列,作为关键姿态序列。
根据一些实施例,可采用曲线简化法提取关键帧。该方法能递归地筛选出运动数据高维空间曲线上的极值点,提取出动作中的关键姿态序列。关键姿态序列的帧数量可以设置为定值或者是不定值,本申请不限制动作的关键姿态帧数量。依照动作的复杂程度,姿态关键帧数量可呈一定范围内的变化。
在S305,将所述关键姿态序列划分为至少一个动作。
根据一些实施例,可采用人工交互方式或自动方式进行动作划分,从而将所述关键帧序列划分为至少一个动作。
在S307,将所述关键姿态序列分别转换为姿态编码。
如前面所讨论的,所述姿态编码可包括编码标识符及顺序固定的姿态基的取值。
根据一些实施例,可预先构建姿态编码完备集或其子集。在获取各关键姿态中姿态基的位置旋转状态后,通过各姿态基的位置旋转状态查询所述姿态编码完备集或其子集,从而可获得所述姿态编码。
在S309,根据每个动作包括的关键姿态的姿态编码确定所述动作的动作编码。
根据一些实施例,在确定各关键姿态在相应动作中出现的帧序数之后,将所述动作编码确定为各关键姿态的帧序数和相应姿态编码的组合。
根据一些实施例,还可将多个动作归属于一行为,并将所述行为按照预定义语义进行统一编码,如前面所讨论的。
根据一些实施例,还可将多个行为归属于一习惯,将所述习惯按照累加自然数方式的进行紧凑编码,如前面所讨论的。
基于运动编码能够对运动作出相似性判定。由于大部分运动处于未被定义与描述的状态,如何确定两个运动是否为相同运动、相似运动还是有待解决的问题。根据实施例,本申请提出的姿态层运动编码、动作层运动编码与行为层运动编码是基于运动特征的,通过运动编码能够判断两个相同层级运动之间的相似程度。假设有两个相同层级的运动X与Y,这两个同层级的运动编码如下:
若X与Y都是姿态层运动,则式(15)与(16)定义可以参照式(5)。若都是动作层运动,则式(15)与(16)定义可以参照式(9)。若构成两个动作的关键帧数量不一致,则数量帧少的动作编码后面可添加0来补足位数以使式(15)与(16)的长度相同。若都是行为层运动则式(15)与(16)的定义可以参照式(10)。则X运动与Y运动的相似性为两个编码向量之间的欧氏距离:
在式(17)中,s越小说明两个运动越相似,为0表示两个运动为相同运动。基于这种编码体系,可使用运动编码对运动数据进行检索。相关运动之间的编码值相似。根据这种性质,用户可以进行关联搜索。
在S311,获取所述动作的附加信息,将所述动作编码与所述附加信息作为所述动作的规范化运动数据。
附加信息可包括动作名称信息及其他描述信息,从而满足语义需求。
在S313,存储所述动作的规范化运动数据及关联的所述第一格式运动数据。
根据示例实施例,可在数据库中存储包括动作编码和附加信息的规范化运动数据及关联的第一格式运动数据,从而为动作检索和数据查询提供支持。根据一些实施例,可在相同或不同的数据库中存储规范化运动数据及关联的第一格式运动数据。
这样,根据示例实施例,通过对作为中间文件的第一格式文件根据分层运动模型进行数据抽取和运动编码,一方面可实现海量运动数据的收集,另一方面可减少后续处理的存储消耗并提升后续处理速度,有利于开展人体运动的研究和理解工作。根据示例实施例,对运动数据进行了建模与关系提取,能够节省大量运动数据存储的开销。例如,一些实施例将运动数据中的关键姿态与姿态关系提取出来,通过这些关系将姿态进行重组可以得到动作,将动作按照关系进行重组可以得到时间更长的运动。通过这种方式,在不丧失有效运动信息的前提下将运动存储消耗下降了28.7%。
描述于本公开实施例中所涉及到的方案可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称并不构成对该单元本身的限定。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种获取人体运动数据的方法,其特征在于,包括:
获取第一格式运动数据;
从所述第一格式运动数据提取关键帧序列,作为关键姿态序列;
将所述关键姿态序列划分为至少一个动作;
将所述关键姿态序列分别转换为姿态编码;
根据每个动作包括的关键姿态的姿态编码确定所述动作的动作编码;
获取所述动作的附加信息,将所述动作编码与所述附加信息作为所述动作的规范化运动数据;
存储所述动作的规范化运动数据及关联的所述第一格式运动数据。
2.根据权利要求1所述的方法,其特征在于,所述姿态编码包括:编码标识符及顺序固定的姿态基的取值。
3.根据权利要求2所述的方法,其特征在于,还包括:构建姿态编码完备集或其子集。
4.根据权利要求3所述的方法,其特征在于,将所述关键姿态序列分别转换为姿态编码,包括:
获取各关键姿态中姿态基的位置旋转状态;
通过各姿态基的位置旋转状态查询所述姿态编码完备集或其子集,获得所述姿态编码。
5.根据权利要求1所述的方法,其特征在于,根据每个动作包括的关键姿态的姿态编码确定所述动作的动作编码,包括:
确定各关键姿态在相应动作中出现的帧序数;
将所述动作编码确定为各关键姿态的帧序数和相应姿态编码的组合。
6.根据权利要求1所述的方法,其特征在于,还包括预先构建分层运动模型:
将人体运动的连续非确定周期过程划分为姿态、动作、行为和习惯四个有序层级,上一层运动由多个下一层运动的序列构成;
将姿态限定为按照顺序固定的姿态基的取值进行编码;
将动作限定为按照关键姿态的时间戳和相应的姿态编码进行组合编码
将行为限定为按照预定义语义进行统一编码;
将习惯限定为按照累加自然数方式的进行紧凑编码。
7.根据权利要求1所述的方法,其特征在于,还包括:将第二格式运动数据或视频文件转换为所述第一格式运动数据。
8.根据权利要求1所述的方法,其特征在于,还包括:
将多个动作归属于一行为,将所述行为按照预定义语义进行统一编码。
9.根据权利要求8所述的方法,其特征在于,还包括:将多个行为归属于一习惯,将所述习惯按照累加自然数方式的进行紧凑编码。
10.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执根据权利要求1-9任一所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211438502 | 2022-11-16 | ||
CN2022114385023 | 2022-11-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116469159A true CN116469159A (zh) | 2023-07-21 |
CN116469159B CN116469159B (zh) | 2023-11-14 |
Family
ID=86448902
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310269065.5A Active CN116189309B (zh) | 2022-11-16 | 2023-03-20 | 一种处理人体运动数据的方法及电子设备 |
CN202310268926.8A Active CN116469159B (zh) | 2022-11-16 | 2023-03-20 | 一种获取人体运动数据的方法及电子设备 |
CN202310269086.7A Active CN116189310B (zh) | 2022-11-16 | 2023-03-20 | 一种提供人体运动数据集的方法及电子设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310269065.5A Active CN116189309B (zh) | 2022-11-16 | 2023-03-20 | 一种处理人体运动数据的方法及电子设备 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310269086.7A Active CN116189310B (zh) | 2022-11-16 | 2023-03-20 | 一种提供人体运动数据集的方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (3) | CN116189309B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116189309B (zh) * | 2022-11-16 | 2024-01-30 | 北京理工大学 | 一种处理人体运动数据的方法及电子设备 |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105320944A (zh) * | 2015-10-24 | 2016-02-10 | 西安电子科技大学 | 一种基于人体骨架运动信息的人体行为预测方法 |
US20160255354A1 (en) * | 2013-10-08 | 2016-09-01 | Sharp Kabushiki Kaisha | Image decoder, image encoder, and encoded data converter |
US20180043245A1 (en) * | 2016-08-10 | 2018-02-15 | Yuanfeng Zhu | Simulation System for Balance Control in Interactive Motion |
CN108805080A (zh) * | 2018-06-12 | 2018-11-13 | 上海交通大学 | 基于上下文的多层次深度递归网络群体行为识别方法 |
US20190102511A1 (en) * | 2017-10-02 | 2019-04-04 | Blackthorn Therapeutics, Inc. | Methods and tools for detecting, diagnosing, predicting, prognosticating, or treating a neurobehavioral phenotype in a subject |
CN110502564A (zh) * | 2019-08-28 | 2019-11-26 | 北京理工大学 | 基于姿态基的运动特征数据库生成方法、检索方法及终端 |
US20210089040A1 (en) * | 2016-02-29 | 2021-03-25 | AI Incorporated | Obstacle recognition method for autonomous robots |
CN112906520A (zh) * | 2021-02-04 | 2021-06-04 | 中国科学院软件研究所 | 一种基于姿态编码的动作识别方法及装置 |
CN113143257A (zh) * | 2021-02-09 | 2021-07-23 | 国体智慧体育技术创新中心(北京)有限公司 | 基于个体运动行为层次模型的泛化应用系统及方法 |
WO2021156647A1 (en) * | 2020-02-06 | 2021-08-12 | Mark Oleynik | Robotic kitchen hub systems and methods for minimanipulation library |
CN113583980A (zh) * | 2021-08-26 | 2021-11-02 | 中国农业大学 | 一种猪繁殖与呼吸综合征突变病毒及其构建方法与应用 |
CN113989943A (zh) * | 2021-12-27 | 2022-01-28 | 北京理工大学 | 一种基于蒸馏损失的人体动作增量识别方法及装置 |
CN113987285A (zh) * | 2021-12-27 | 2022-01-28 | 北京理工大学 | 基于隐藏状态的运动特征数据库生成方法、检索方法 |
WO2022069790A1 (en) * | 2020-09-30 | 2022-04-07 | Nokia Technologies Oy | A method, an apparatus and a computer program product for video encoding/decoding |
CN114398499A (zh) * | 2022-01-25 | 2022-04-26 | 北京理工大学 | 一种人体运动知识图谱构建方法及系统 |
CN114819598A (zh) * | 2022-04-20 | 2022-07-29 | 首都医科大学附属北京天坛医院 | 腰椎穿刺术考核评估方法、装置及存储介质 |
CN114943987A (zh) * | 2022-06-07 | 2022-08-26 | 首都体育学院 | 一种采用pams运动编码的运动行为知识图谱构建方法 |
CN115294228A (zh) * | 2022-07-29 | 2022-11-04 | 北京邮电大学 | 基于模态引导的多图人体姿态生成方法及装置 |
CN116189309A (zh) * | 2022-11-16 | 2023-05-30 | 北京理工大学 | 一种处理人体运动数据的方法及电子设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006109117A1 (en) * | 2005-04-13 | 2006-10-19 | Nokia Corporation | Method, device and system for effectively coding and decoding of video data |
US20140337373A1 (en) * | 2013-05-07 | 2014-11-13 | Magnet Systems, Inc. | System for managing graph queries on relationships among entities using graph index |
CN107169117B (zh) * | 2017-05-25 | 2020-11-10 | 西安工业大学 | 一种基于自动编码器和dtw的手绘图人体运动检索方法 |
CN111339313A (zh) * | 2020-02-18 | 2020-06-26 | 北京航空航天大学 | 一种基于多模态融合的知识库构建方法 |
CN114912005A (zh) * | 2021-02-08 | 2022-08-16 | 京东方科技集团股份有限公司 | 运动推荐方法、装置、设备及介质 |
FR3121831A1 (fr) * | 2021-04-14 | 2022-10-21 | Zhor Tech | Procédé d’encodage de données de capteur de mouvement, dispositif et système associés |
CN114676260A (zh) * | 2021-12-15 | 2022-06-28 | 清华大学 | 基于知识图谱的人体骨骼运动康复模型构建方法 |
-
2023
- 2023-03-20 CN CN202310269065.5A patent/CN116189309B/zh active Active
- 2023-03-20 CN CN202310268926.8A patent/CN116469159B/zh active Active
- 2023-03-20 CN CN202310269086.7A patent/CN116189310B/zh active Active
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160255354A1 (en) * | 2013-10-08 | 2016-09-01 | Sharp Kabushiki Kaisha | Image decoder, image encoder, and encoded data converter |
CN105320944A (zh) * | 2015-10-24 | 2016-02-10 | 西安电子科技大学 | 一种基于人体骨架运动信息的人体行为预测方法 |
US20210089040A1 (en) * | 2016-02-29 | 2021-03-25 | AI Incorporated | Obstacle recognition method for autonomous robots |
US20180043245A1 (en) * | 2016-08-10 | 2018-02-15 | Yuanfeng Zhu | Simulation System for Balance Control in Interactive Motion |
US20190102511A1 (en) * | 2017-10-02 | 2019-04-04 | Blackthorn Therapeutics, Inc. | Methods and tools for detecting, diagnosing, predicting, prognosticating, or treating a neurobehavioral phenotype in a subject |
CN108805080A (zh) * | 2018-06-12 | 2018-11-13 | 上海交通大学 | 基于上下文的多层次深度递归网络群体行为识别方法 |
CN110502564A (zh) * | 2019-08-28 | 2019-11-26 | 北京理工大学 | 基于姿态基的运动特征数据库生成方法、检索方法及终端 |
WO2021156647A1 (en) * | 2020-02-06 | 2021-08-12 | Mark Oleynik | Robotic kitchen hub systems and methods for minimanipulation library |
WO2022069790A1 (en) * | 2020-09-30 | 2022-04-07 | Nokia Technologies Oy | A method, an apparatus and a computer program product for video encoding/decoding |
CN112906520A (zh) * | 2021-02-04 | 2021-06-04 | 中国科学院软件研究所 | 一种基于姿态编码的动作识别方法及装置 |
CN113143257A (zh) * | 2021-02-09 | 2021-07-23 | 国体智慧体育技术创新中心(北京)有限公司 | 基于个体运动行为层次模型的泛化应用系统及方法 |
CN113583980A (zh) * | 2021-08-26 | 2021-11-02 | 中国农业大学 | 一种猪繁殖与呼吸综合征突变病毒及其构建方法与应用 |
CN113987285A (zh) * | 2021-12-27 | 2022-01-28 | 北京理工大学 | 基于隐藏状态的运动特征数据库生成方法、检索方法 |
CN113989943A (zh) * | 2021-12-27 | 2022-01-28 | 北京理工大学 | 一种基于蒸馏损失的人体动作增量识别方法及装置 |
CN114398499A (zh) * | 2022-01-25 | 2022-04-26 | 北京理工大学 | 一种人体运动知识图谱构建方法及系统 |
CN114819598A (zh) * | 2022-04-20 | 2022-07-29 | 首都医科大学附属北京天坛医院 | 腰椎穿刺术考核评估方法、装置及存储介质 |
CN114943987A (zh) * | 2022-06-07 | 2022-08-26 | 首都体育学院 | 一种采用pams运动编码的运动行为知识图谱构建方法 |
CN115294228A (zh) * | 2022-07-29 | 2022-11-04 | 北京邮电大学 | 基于模态引导的多图人体姿态生成方法及装置 |
CN116189309A (zh) * | 2022-11-16 | 2023-05-30 | 北京理工大学 | 一种处理人体运动数据的方法及电子设备 |
CN116189310A (zh) * | 2022-11-16 | 2023-05-30 | 北京理工大学 | 一种提供人体运动数据集的方法及电子设备 |
Non-Patent Citations (7)
Title |
---|
DA XIAO等: "A Lightweight Human Action Classification Method for Green IoT Sport Applications", JOURNAL OF SENSORS, pages 1 - 5 * |
GUIXIONG TIAN 等: "PRM: Pose Recalibration Module for Action Recognition", THE INTERNATIONAL CONFERENCE ON IMAGE, VISION AND INTELLIGENT SYSTEMS, pages 757 * |
V. CHOUTAS 等: "PoTion: Pose MoTion Representation for Action Recognition", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, pages 7024 - 7033 * |
崔丽君 等: "基于少量惯性传感器的姿态重建与仿真", 系统仿真学报, vol. 29, no. 10, pages 2261 - 2267 * |
赵海勇: "基于视频流的运动人体行为识别研究", 中国博士学位论文全文数据库 (基础科学辑), no. 2011, pages 138 - 45 * |
韩震博: "基于关键帧提取的人体行为识别研究", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 2022, pages 138 - 750 * |
黄天羽 等: "一种基于判别随机场模型的联机行为识别方法", 计算机学报, vol. 32, no. 02, pages 275 - 281 * |
Also Published As
Publication number | Publication date |
---|---|
CN116189310B (zh) | 2024-01-23 |
CN116189309B (zh) | 2024-01-30 |
CN116189310A (zh) | 2023-05-30 |
CN116469159B (zh) | 2023-11-14 |
CN116189309A (zh) | 2023-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kapadia et al. | Efficient motion retrieval in large motion databases | |
CN102521843B (zh) | 一种基于流形学习的三维人体运动分析与合成方法 | |
Krüger et al. | Fast local and global similarity searches in large motion capture databases. | |
CN116469159B (zh) | 一种获取人体运动数据的方法及电子设备 | |
Chiu et al. | Content-based retrieval for human motion data | |
JP4465534B2 (ja) | 画像検索方法、装置及びプログラムを記録した記録媒体 | |
US8117204B2 (en) | Video browser for navigating linear video on small display devices using a similarity-based navigation hierarchy of temporally ordered video keyframes with short navigation paths | |
CN104268285B (zh) | 一种基于动态弯曲算法的运动捕捉数据库检索方法 | |
Fan et al. | Sensor fusion basketball shooting posture recognition system based on CNN | |
Zhang | Application of human motion recognition utilizing deep learning and smart wearable device in sports | |
Wu et al. | Indexing and retrieval of human motion data by a hierarchical tree | |
CN102542066A (zh) | 视频聚类方法、排序方法和视频搜索方法以及相应装置 | |
CN110516112B (zh) | 一种基于层次模型的人体动作检索方法及设备 | |
CN101308500A (zh) | 基于示范表演的直观高效的三维人体运动数据检索方法 | |
CN112733796B (zh) | 一种体育运动质量的评估方法、装置、设备,存储介质 | |
CN110502564A (zh) | 基于姿态基的运动特征数据库生成方法、检索方法及终端 | |
CN109411053A (zh) | 一种老年人动作康复训练管理数据模型构建方法 | |
CN108647295A (zh) | 一种基于深度协同哈希的图片标注方法 | |
CN116311523A (zh) | 一种基于图像识别的花式跳绳识别算法 | |
CN110196635A (zh) | 一种基于可穿戴设备的手势输入方法 | |
CN114398499A (zh) | 一种人体运动知识图谱构建方法及系统 | |
CN109993818A (zh) | 三维人体模型运动合成的方法、装置、设备及介质 | |
Tang et al. | PAMS-DP: Building a Unified Open PAMS Human Movement Data Platform | |
CN110364265A (zh) | 一种基于健康数据银行的数据价值生成与实现方法 | |
Naik et al. | Spatio-temporal querying recurrent multimedia databases using a semantic sequence state graph |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |