CN116189310B - 一种提供人体运动数据集的方法及电子设备 - Google Patents
一种提供人体运动数据集的方法及电子设备 Download PDFInfo
- Publication number
- CN116189310B CN116189310B CN202310269086.7A CN202310269086A CN116189310B CN 116189310 B CN116189310 B CN 116189310B CN 202310269086 A CN202310269086 A CN 202310269086A CN 116189310 B CN116189310 B CN 116189310B
- Authority
- CN
- China
- Prior art keywords
- motion
- data
- gesture
- relationship
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 407
- 241000282414 Homo sapiens Species 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000000203 mixture Substances 0.000 claims abstract description 11
- 230000009471 action Effects 0.000 claims description 97
- 230000006399 behavior Effects 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 10
- 239000000470 constituent Substances 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 2
- 238000009412 basement excavation Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000011160 research Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000008520 organization Effects 0.000 description 10
- 230000036544 posture Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000000737 periodic effect Effects 0.000 description 5
- 238000005065 mining Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种提供人体运动数据集的方法及电子设备。该方法包括：接收创建多个运动实体，所述多个运动实体与至少一个第一格式运动数据关联；建立多个运动实体之间的关联关系，所述关联关系包括有向的构成关系、邻接关系和拥有关系；将所述多个运动实体和所述关联关系存储于图数据库，将所述第一格式运动数据存储于关系型数据库；基于所述图数据库和所述关系型数据库提供统一的人体运动数据集。本申请的方案能够支撑潜在运动关系的挖掘，并保障数据的完整性与一致性。
Description
技术领域
本申请涉及数据处理技术领域，特别涉及一种提供人体运动数据集的方法及电子设备。
背景技术
对运动进行研究能够帮助人们制定合适的运动计划，提高人体免疫力，促进身体健康等，是近年来的研究热点。当前人体运动研究一直处于无规律、无标准的状态下，与其他研究对象相比，运动相关研究具有以下挑战：(1) 如何对任意一个运动进行定义和描述的问题还尚待解决。理论上人体运动有无限种，而当前被语义定义与描述的运动占总量的少部分，导致运动相关研究的对象局限在已被定义的运动上，丧失了大量未被定义描述的运动信息。(2) 人体运动数据在时间与空间维度上都缺乏结构性信息，运动数据在数据库中如何被识别与检索等问题还尚待解决。(3) 人体运动之间关系复杂，如篮球运动是由跑步、跳跃等多个子运动构成的，而跑步与跳跃运动又可以重组得到跨栏、跳高等运动，记录这些运动的父子关系与邻接关系能够有效推动运动领域的研究，而目前这些运动关系还尚待建模与定义。
由于人体运动的复杂性与多样性，目前缺少统一的、标准化的人体运动数据库，成为当前人体运动研究领域的一大瓶颈。建立一个底层逻辑强大的数据平台，接纳各种类型运动数据并将其有规模成体系的组织起来是提供数据服务的基础。
对于开放的人体运动数据平台，人体运动三维数据主要来源为用户的主动上传，数据平台的组织者也可以通过主动收集网络上主要的人体运动数据集对数据平台进行扩充，将这些数据进行建模与编码。因此，数据规模将不断扩大。建立一套适合运动数据存储与管理的数据组织模式能够加快检索效率，减轻存储压力。
在所述背景技术部分公开的上述信息仅用于加强对本申请的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请涉及一种提供人体运动数据集的方法及电子设备，能够支撑潜在运动关系的挖掘，并保障数据的完整性与一致性。
一方面，本申请提供一种提供人体运动数据集的方法，包括：
创建多个运动实体，所述多个运动实体与至少一个第一格式运动数据关联；
建立多个运动实体之间的关联关系，所述关联关系包括有向的构成关系、邻接关系和拥有关系；
将所述多个运动实体和所述关联关系存储于图数据库，将所述第一格式运动数据存储于关系型数据库；
基于所述图数据库和所述关系型数据库提供统一的人体运动数据。
根据一些实施例，所述创建多个运动实体包括：
利用分层运动模型对第一格式运动数据中的人体运动进行分类和建模，所述分层运动模型中，上一层运动由多个下一层运动的序列构成；
根据分类和建模的结果获取规范化运动数据，所述规范化运动数据包括分层类别、运动编码和附加信息；
创建与所述规范化运动数据对应的运动实体。
根据一些实施例，所述利用分层运动模型对第一格式运动数据中的人体运动进行分类和建模，包括如下处理中的至少一种：
从第一格式运动数据提取关键帧序列，作为关键姿态序列；
将所述关键姿态序列划分为至少一个动作；
将多个动作归属于一行为；
将多个行为归属于一习惯。
根据一些实施例，所述根据分类和建模的结果获取规范化运动数据，包括如下处理中的至少一种：
将所述关键姿态序列分别转换为姿态编码；
根据每个动作包括的关键姿态的姿态编码确定所述动作的动作编码并获取所述动作的附加信息；
获取所述行为的附加信息并将所述行为按照预定义语义进行统一编码；
获取所述习惯的附加信息并将所述习惯按照累加自然数方式的进行紧凑编码。
根据一些实施例，所述创建与所述规范化运动数据对应的运动实体，包括：
基于所述分层运动模型预定义与各层对应的本体，所述本体具有编码属性、名称属性及描述属性；
利用所述规范化运动数据将与所述分层类别对应的本体实例化为运动实体，所述本体的编码属性取值为所述运动编码，所述本体的名称属性和描述属性根据所述附加信息赋值。
根据一些实施例，所述运动实体存储为所述图数据库中的节点，所述节点的类别对应于所述运动实体的分层类别，所述节点的属性包括所述编码属性、名称属性及描述属性，所述节点之间的关系与所述运动实体之间的关联关系对应。
根据一些实施例，所述运动实体之间的构成关系具有第一构成关系属性，所述第一构成关系属性表示构成父运动的子运动为子运动序列中的第一个子运动、最后一个子运动或中间子运动。所述运动实体之间的邻接关系具有第一邻接关系属性，所述第一邻接关系属性表示两个邻接的子运动的至少一个共同父运动的运动编号或运动编号的拼接。所述节点之间的关系属性包括所述第一构成关系属性或所述第一邻接关系属性。
根据一些实施例，所述图数据库与所述关系型数据库通过所述运动编码进行匹配。
根据一些实施例，所述关系型数据库存储所述动作编码、所述第一格式运动数据的地址、所述动作的起始帧和结束帧。
另一方面，本申请还提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述的任一种方法。
另一方面，本申请还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述的任一种方法。
另一方面，本申请还提供了一种计算机程序产品，包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述的任一种方法。
有益效果
本申请提出的提供人体运动数据集的方法，对运动数据进行实体化处理，运动实体能够以特定的树状/网状结构进行彼此关联，同时使用图数据库与关系型数据库共同存储运动数据，图数据库与关系型数据库通过运动编码来协同服务。将运动实体及其关系和属性存储在图数据库中，图数据库支持图论算法，能够支撑潜在运动关系的挖掘。将人体运动三维数据存储到关系型数据库中，以保障数据的完整性与一致性。
附图说明
图1示出根据本申请实施例构建的分层运动模型。
图2示出根据示例实施例的一个运动编码示例。
图3示出根据示例实施例的获取人体运动数据的方法流程图。
图4示出根据示例实施例提供人体运动数据集的方法流程图。
图5示出运动实体之间的关联关系示意图。
图6示出运动实体之间关系的一个示例。
图7示出运动实体之间关系的另一个示例。
图8示出根据示例实施例的运动数据检索的平均响应时间与检索结果所包含的运动实体数量之间的关系。
实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本发明的各方面。
附图中所示的方框图不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
运动数据不同于其他的数据，其在时间与空间维度上都缺乏结构性信息，运动之间的关系复杂。在运动数据进行组织结构的设计能够揭示人体运动规律，提高运动数据平台的拓展性与鲁棒性。现有一些公共数据集往往是为了某个研究目的在短时间内快速收集的，其首要任务仅仅是完成对运动提取得到的数据进行分类存储，因此在设计之初并未考虑其扩展性，数据缺乏严谨的结构和组织。这些人体运动数据平台都存在集成度低、基础服务被重复开发、数据格式得不到统一利用等问题。此外，运动数据维度较大、运动关系较复杂，建立一套适合运动数据存储与管理的数据组织模式能够加快检索效率，减轻存储压力，利于提供数据服务。
为此，本申请提出一种提供人体运动数据集的方法，对运动数据进行实体化处理，运动实体能够以特定的树状/网状结构进行彼此关联，同时使用图数据库与关系型数据库共同存储运动数据，图数据库与关系型数据库通过运动编码来协同服务。将运动实体及其关系和属性存储在图数据库中，图数据库支持图论算法，能够支撑潜在运动关系的挖掘。将人体运动三维数据存储到关系型数据库中，以保障数据的完整性与一致性。这种将运动关系与运动数据文件分离的存储方式能够有效提高运动数据的存储效率与查询速度，同时支持更全面的算法实施。根据实施例，各个运动的特征被提取并存储下来，运动通过编码进行标识与索引，运动数据的检索速度有了很大的提升。
下面结合附图，具体说明本申请的示例实施方式。
图1示出根据本申请实施例构建的分层运动模型及运动编码方式。
人体运动之间可通过运动编码进行彼此区分，编码的基础是对人体运动进行分类建模，从而定义与描述各种人体运动。
人体运动是一个连续的非确定周期的过程，有一定的不可测性。根据本申请实施例的分层运动模型定性地描述人体运动，将人体运动的连续非确定周期过程划分为姿态（P：Pose）、动作（A：Action）、行为（M：Moiton）和习惯（S：Style）四个有序层级，上一层运动由多个下一层运动的序列构成。姿态（P：Pose）表示某一时刻人体所有肢体在三维空间中相对静止的状态序列，例如定格在直立的这一瞬间就是一个姿态，主要体现人体姿态的物理性质。动作（A：Action）是具有实际意义的一段姿态，描述了肢体空间位置状态的变化，即从某一姿态经过运动再回到某一姿态的连续姿态，例如向上跳、单步行走、跳跃等，就是一个动作，体现运动的时空特性，时间跨度可以秒为单位。行为（M：Moiton）描述了肢体空间位置状态由某一过程变换到另一过程，即从某一动作开始，经过若干动作后结束的一系列动作的组合，体现运动的生物性，可持续较长时间，时间跨度以分钟或者小时为单位，如步行上班、马拉松比赛等。习惯（S：Style）是一个较长时间段内行为的总体表现，往往与风俗、习俗、传统或经验有关，同时也可以一部分表示人类的思维与情感特点，体现运动的社会性与心理学特性，时间跨度以天、月或者年为单位。
根据分层运动模型，姿态层运动有相对确定的、精准的描述，使用人体关键关节pu1到pun的位置和角度组合精确描述一个姿态P（t），如式（1）所示。动作层运动是由多个姿态序列组成的呈周期性变化的一个单周期过程，可以使用姿态的组合描述一个动作A（t），表示由某一姿态开始，经过若干姿态后结束的姿态序列的集合，如式（2）所示。行为层运动是由多个动作生成的呈非周期性确定时间长度的随机过程，可以使用动作的组合描述一个行为M（t），表示由某一动作开始，经过若干动作后结束的动作序列集合，其是若干动作的排列组合，如式（3）所示。习惯层运动是由多个行为生成的呈非周期性的不确定时间长度的随机过程，可以使用行为的组合描述一个习惯S（t），表示在一个较长时间内生成的一个具有一定特征的行为序列集合，如式（4）所示。
分层运动模型描述了人体行为从毫秒时间尺度的姿态到秒时间尺度的动作，到分钟时间尺度的行为事件，直至到无限时间尺度的习惯。随着层次递进，人体行为也就从确定有限的系统，跨到了不确定无限的系统。
人体运动三维数据本质上是人体关键关节三维空间位置在时间上的一段连续序列的组合，仅仅依靠三维数据无法直观地体现运动特征，导致以往对于依赖骨骼特征索引的运动数据检索都需要执行大量的集合运算，检索速度慢效率低。
运动编码能够对运动进行标识与编码，是数据检索与组织的基础。本申请提出一种新的基于运动分层模型的编码体系。在这种编码体系下，每一类运动都有唯一的标识符来进行指代，从而为最终建立运动数据-运动编码-运动语义三者的对应关系提供基础和支持，并可进行运动的入库、查询，支撑人体运动数据平台的建设与运动种类的标准化建设，提高人体三维运动数据的重用性和可解释性。
根据本申请的技术构思，将姿态限定为按照顺序固定的姿态基的取值进行编码，将动作限定为按照关键姿态的时间戳和相应的姿态编码进行组合编码，将行为限定为按照预定义语义进行统一编码，将习惯限定为按照累加自然数方式的进行紧凑编码。
根据示例实施例，姿态主要采用穷举法进行编码。为此，引入姿态基(PU, poseunit)的概念，人体骨骼架构中两相邻关节所组成的肢体相对其根关节点的不同位置与旋转状态为人体姿态基。例如，可遵循标准人体骨骼的父子关系，根据人体姿态的运动特点选取九个对人体姿态影响较大的姿态基来进行姿态的编码，它们分别为腰椎、左上臂、右上臂/>、左大腿/>、右大腿/>、左下臂/>、右下臂/>、左小腿/>、右小腿/>。使用9位数字作为人体姿态的数字编码部分，将姿态基在编码中出现的顺序固定，不同姿态基的位置旋转状态对应不同的姿态基取值，如式（5）所示。
不同姿态基取值范围不相同，如式（6）与式（7）所示。具体取值可依照姿态基的位置旋转状态进行决定。以左上臂姿态基为例，其根关节属于球状关节，在运动过程中具有中立、前屈、后伸、旋内、旋外、内收和外展这7种位置旋转状态，这些状态分别对应的0到6的七种取值。在数字编码前加上字母“P”用以标识姿态层运动编码，就得到了姿态的完整编码。
根据上述定义的编码方式，人体姿态可以按照各个姿态基的状态进行分类。在这种分类方式下，人体姿态的理论数量为个，需要的字节数为9,003,750×4=36,015,000 Byte，需要至少35MB的空间保存。
根据示例实施例，使用动作若干个关键姿态序列与其对应的时间间隔对动作进行编码与描述。式（8）定义了动作的关键姿态序列。动作的编码由关键姿态的时间戳与姿态编码构成，如式（9）所示。
其中，表示第k个关键姿态在动作过程中出现的时间，单位为帧；/>表示第k个关键姿态的数字编码部分。另外，在数字编码前加上标识符“A”来表示动作层的运动编码。
不同于姿态与动作，对于行为的分类已相对齐全，被语义定义的行为相对较多。所以运动编码可以按照运动的层次进行统一编码，如式（10）所示。
其中，表示运动类型，/>表示运动场景，/>表示运动功率，/>表示运动道具，/>表示编码后缀。
运动类型MT主要分为体育运动、日常运动、极限运动与文艺运动这四类：体育运动指的是用于增强身体素质的各种运动；日常运动指人类日常生活中常常做出的运动；极限运动指难度较高，且挑战性较大的运动；文艺运动指的是舞蹈、武术、弹奏乐器等具有观赏性表演性的运动。运动场景MS主要分为陆地运动、水上运动、冰雪运动和其他。运动功率ME主要按照运动的功率分为四档：0-150W为第一层、 150-300W为第二层、300W-450W为第三层、>450W为第四层。运动道具MP表示运动过程中使用的辅助物体，比如篮球、自行车、杠铃等。运动道具MP使用两位十进制数进行编码，最多能够包含99种运动道具，当运动无道具时编码为00。随着运动种类的增加可以随时对运动道具的编码表进行拓展。运动后缀N的作用是当运动的运动类型、运动场景、运动消耗与运动道具编码都相同时，用以区分两种运动的编码，若前置编码都相同，则运动后缀依次使用由0开始的自然数累加的方式进行区别。最终行为的数字编码部分为四个层级编码的组合。在数字编码前加上运动层的标识符M作为行为的运动编码。
将习惯限定为按照累加自然数方式的进行紧凑编码。
习惯主要体现运动的社会性与心理学性，对习惯S进行编码有利于推动人体社会性习惯的分析与统一标准的制定。
习惯S由于时间跨度过长，构成单个习惯S的行为序列较长包含动作较多，其整体特征不甚明细，而习惯S作为研究对象出现频率较多的种类比较少，所以对习惯S的编码使用简单的累加自然数方式进行紧凑编码，如式（11）所示，表示已存在的习惯S的数量。
运动编码可带来几个方面的优点。首先，运动编码能赋予每一类运动一个标识（ID），运动数据之间得以区分。其次，可使用运动编码作为索引来组织与存储运动数据，从而能够节省存储消耗。另外，可通过运动编码来检索运动数据，从而大大提升检索速度。
姿态、动作、行为和习惯是人体运动在不同时间尺度和数据特征下的分类，分层运动模型中运动之间存在父子关系、兄弟关系。父运动由多个子运动序列组成，多个子运动构成一个父运动，在同一个层级中构成同一个父运动的子运动互为兄弟运动。
图2示出根据示例实施例的一个运动编码示例。
参见图2，示出的是上篮动作组的关键姿态示意，主要包含五个关键姿态与三个周期为一的动作，分别是双手交替运球/>、单步跑/>、与跳起投篮动作/>。这些动作与其他篮球动作共同构成了篮球运动/>。
上述的运动编码机制，能够赋予每一类运动唯一的编码用于标识。不同的运动层级的编码原理是不同的，将多个编码组合可以得到新的运动的编码，这提供了极大的灵活性，能够满足广泛的需求。下面将使用篮球运动中的上篮动作组来演示P、A、M的编码机制。
上篮动作组如图3所示，其中提取出五个关键姿态帧，与3个周期为一的动作。首先对这五个姿态进行编码，参照P编码框架，将人体姿态的九个姿态基分别进行取值可以组合得到姿态对应的编码结果，如表1所示。
表1：编码与说明。
提取姿态编码后，将关键姿态的编码进行组合可以得到动作的编码。上篮动作组中共包含三个周期为一的动作，分别是运球动作双手交替运球、单步跑/>、与跳起投篮动作/>。使用动作编码体系对这三个动作进行编码。
的编码原理如式（9）所示，该动作由/>两个关键姿态构成，/>在/>中出现的时间为第0帧，/>在/>中出现的时间为第3帧，所以由式12得出该动作编码为A02101111103221111011。同样地，依照式13与式14的计算结果可知，动作/>的编码为A022111101140112111106311111111，动作/>的编码为A03111111112011000000。
三个动作与其他动作共同组成了篮球运动/>。篮球运动/>的编码可以用式（10）得出。篮球运动的运动类型为体育运动，/>；篮球运动的运动场景为陆地运动，/>；篮球运动的运动功率为700W，/>；篮球运动的运动道具；篮球运动的编码后缀为/>。所以最终篮球运动/>的编码为M003291。
图3示出根据示例实施例的人体运动数据的获取方法流程图。
根据实施例，对第一格式运动数据根据运动数据的建模模式进行数据抽取和姿态及动作编码，可实现海量标准数据的收集。
参见图3，在S301，获取第一格式运动数据。
根据一些实施例，第一格式运动数据可为BVH格式数据。BVH是一种人体动作捕捉文件格式，这种格式的文件以关节点为核心要素，记录人体骨架在连续数帧内的运动情况。
根据一些实施例，还可将第二格式运动数据或视频文件转换为所述第一格式运动数据，从而针对第一格式运动数据进行处理即可，简化处理流程，节约处理资源。
在S303，从所述第一格式运动数据提取关键帧序列，作为关键姿态序列。
根据一些实施例，可采用曲线简化法提取关键帧。该方法能递归地筛选出运动数据高维空间曲线上的极值点，提取出动作中的关键姿态序列。关键姿态序列的帧数量可以设置为定值或者是不定值，本申请不限制动作的关键姿态帧数量。依照动作的复杂程度，姿态关键帧数量可呈一定范围内的变化。
在S305，将所述关键姿态序列划分为至少一个动作。
根据一些实施例，可采用人工交互方式或自动方式进行动作划分，从而将所述关键帧序列划分为至少一个动作。
在S307，将所述关键姿态序列分别转换为姿态编码。
如前面所讨论的，所述姿态编码可包括编码标识符及顺序固定的姿态基的取值。
根据一些实施例，可预先构建姿态编码完备集或其子集。在获取各关键姿态中姿态基的位置旋转状态后，通过各姿态基的位置旋转状态查询所述姿态编码完备集或其子集，从而可获得所述姿态编码。
在S309，根据每个动作包括的关键姿态的姿态编码确定所述动作的动作编码。
根据一些实施例，在确定各关键姿态在相应动作中出现的帧序数之后，将所述动作编码确定为各关键姿态的帧序数和相应姿态编码的组合。
根据一些实施例，还可将多个动作归属于一行为，并将所述行为按照预定义语义进行统一编码，如前面所讨论的。
根据一些实施例，还可将多个行为归属于一习惯，将所述习惯按照累加自然数方式的进行紧凑编码，如前面所讨论的。
基于运动编码能够对运动作出相似性判定。由于大部分运动处于未被定义与描述的状态，如何确定两个运动是否为相同运动、相似运动还是有待解决的问题。根据实施例，本申请提出的姿态层运动编码、动作层运动编码与行为层运动编码是基于运动特征的，通过运动编码能够判断两个相同层级运动之间的相似程度。假设有两个相同层级的运动X与Y，这两个同层级的运动编码如下：
若X与Y都是姿态层运动，则(15)与(16)定义可以参照式(5)。若都是动作层运动，则(15)与(16)定义可以参照式(9)。若构成两个动作的关键帧数量不一致，则数量帧少的动作编码后面可添加0来补足位数以使(15)与(16)的长度相同。若都是行为层运动则(15)与(16)的定义可以参照(10)。则X运动与Y运动的相似性为两个编码向量之间的欧氏距离：
在(17)中，s越小说明两个运动越相似，为0表示两个运动为相同运动。基于这种编码体系，可使用运动编码对运动数据进行检索。相关运动之间的编码值相似。根据这种性质，用户可以进行关联搜索。
在S311，获取所述动作的附加信息，将所述动作编码与所述附加信息作为所述动作的规范化运动数据。
附加信息可包括动作名称信息及其他描述信息，从而满足语义需求。
在S313，存储所述动作的规范化运动数据及关联的所述第一格式运动数据。
根据示例实施例，可在数据库中存储包括动作编码和附加信息的规范化运动数据及关联的第一格式运动数据，从而为动作检索和数据查询提供支持。根据一些实施例，可在相同或不同的数据库中存储规范化运动数据及关联的第一格式运动数据。
这样，根据示例实施例，通过对作为中间文件的第一格式文件根据分层运动模型进行数据抽取和运动编码，一方面可实现海量标准数据的收集，另一方面可减少后续处理的存储消耗并提升后续处理速度，有利于开展人体运动的研究和理解工作。
图4示出根据示例实施例提供人体运动数据集的方法流程图。
运动数据不同于其他的数据，其在时间与空间维度上都缺乏结构性信息，运动之间的关系复杂。此外，运动数据具有维度多、精度高、存储消耗大的特点。对运动数据及存储进行合理的设计能够节省存储消耗，加快运动数据的检索速度。根据本申请单的实施例使用图数据库与关系型数据库共同存储运动数据。
参见图4，在S401，创建多个运动实体，所述多个运动实体与至少一个第一格式运动数据关联。
根据一些实施例，利用分层运动模型对至少一个第一格式运动数据中的人体运动进行分类和建模。例如，第一格式运动数据可为BVH格式数据。BVH是一种人体动作捕捉文件格式，这种格式的文件以关节点为核心要素，记录人体骨架在连续数帧内的运动情况。根据实施例，还可将第二格式运动数据或视频文件转换为所述第一格式运动数据，从而针对作为标准中间文件的第一格式运动数据进行处理即可，简化处理流程，节约处理资源。
分层运动模型中，上一层运动由多个下一层运动的序列构成。根据分类和建模的结果，获取规范化运动数据，所述规范化运动数据包括分层类别、运动编码和附加信息。然后，创建与所述规范化运动数据对应的运动实体。
根据实施例，如前面所讨论的，构建分层运动模型可包括将人体运动的连续非确定周期过程划分为姿态、动作、行为和习惯四个有序层级，将姿态限定为按照顺序固定的姿态基的取值进行编码，将动作限定为按照关键姿态的时间戳和相应的姿态编码进行组合编码，将行为限定为按照预定义语义进行统一编码，将习惯限定为按照累加自然数方式的进行紧凑编码。
根据实施例，可基于所述分层运动模型定义与各层对应的本体，所述本体具有编码属性、名称属性及描述属性。本体是对运动数据所拥有的分类与含义进行的规范描述，体现数据内外在的关系。人体运动的本体定义基于分层运动模型，是严格规范化的、无歧义的，并且能够被普遍认同并接受。本体包括姿态基本体以及与所述分层运动模型的各层对应的姿态本体、动作本体、行为本体、习惯本体。姿态P、动作A、行为M与习惯S四个本体能够概括划分所有的运动。同时，PU表示人体肢体在运动过程中的位置与旋转，将姿态基本体化能够有助于运动本质的表达。
本体具有编码属性、名称属性及描述属性。编码属性为本体的主键，用来唯一地标识一个本体。名称属性为该本体在现实世界中的名称，标识本体的具体含义，可以为空值。描述属性为本体补充额外的信息，可以为空值。有的本体根据其本身性质有特有的属性，如周期长度与代谢当量等等。
根据示例实施例，基于分层运动模型分类和建模的结果，可从第一格式运动数据提取关键帧序列，作为关键姿态序列。可将所述关键姿态序列划分为至少一个动作，可将多个动作归属于一行为，可将多个行为归属于一习惯。然后，可将所述关键姿态序列分别转换为姿态编码。可根据每个动作包括的关键姿态的姿态编码确定所述动作的动作编码并获取所述动作的附加信息，可获取所述行为的附加信息并将所述行为按照预定义语义进行统一编码，可获取所述习惯的附加信息并将所述习惯按照累加自然数方式的进行紧凑编码。前述附加信息包括名称信息和描述信息。
根据一些实施例，在进行姿态编码时，获取各关键姿态中姿态基的位置旋转状态，然后通过各姿态基的位置旋转状态查询所述姿态编码完备集或其子集，获得所述姿态编码。
根据一些实施例，在进行动作编码时，确定各关键姿态在相应动作中出现的帧序数，然后可将所述动作编码确定为各关键姿态的帧序数和相应姿态编码的组合。
根据一些实施例，规范化运动数据还可由外部导入。
根据实施例，利用所述规范化运动数据将与所述分层类别对应的本体实例化为运动实体。例如，所述本体的编码属性取值为所述运动编码，所述本体的名称属性和描述属性根据所述附加信息赋值。
人体运动的本体还不足以全面地表示人体运动数据所包含的所有信息，使用本体属性来为运动补充更多信息，具体如图4所示。在本体P、本体A、本体M与本体S的属性中除了各个编码不能为空值外，其他的属性都可以为空值。本体PU0-PU8的两个属性都不能为空值，姿态基名称表示该姿态基代表的骨骼名称，姿态基取值表示该骨骼在三维空间中的位置旋转信息。
本体类别与本体属性具体的取值共同构成一个实体，实体是数据平台存储与管理的对象，是实例化的本体，相同本体的不同实体属性值是不同的。比如“跑”是行为本体的一个实例，行为本体的相关属性“跑”实体都拥有，并且在录入数据平台时赋予属性具体的取值。“跑”以及“跑”的相关属性共同构成行为本体下的一个实体。
在S403，建立多个运动实体之间的关联关系，所述关联关系包括有向的构成关系、邻接关系和拥有关系（参见图5）。
根据实施例，构成关系具有第一构成关系属性，表示构成父运动的子运动为子运动序列中的第一个子运动、最后一个子运动或中间子运动。
根据实施例，邻接关系具有第一邻接关系属性，表示两个邻接的子运动的至少一个共同父运动的运动编号或运动编号的拼接。
根据实施例，拥有关系表示姿态运动实体与姿态基实体之间的关系。
在S405，将所述多个运动实体和所述关联关系存储于图数据库，将所述第一格式运动数据存储于关系型数据库。
根据示例实施例，所述运动实体存储为所述图数据库中的节点，所述节点的类别对应于所述运动实体的分层类别，所述节点的属性包括所述编码属性、名称属性及描述属性，所述节点之间的关系与所述运动实体之间的关联关系对应。
根据示例实施例，所述运动实体之间的构成关系具有第一构成关系属性，所述第一构成关系属性表示构成父运动的子运动为子运动序列中的第一个子运动、最后一个子运动或中间子运动。所述运动实体之间的邻接关系具有第一邻接关系属性，所述第一邻接关系属性表示两个邻接的子运动的至少一个共同父运动的运动编号或运动编号的拼接。相应地，所述节点之间的关系属性包括所述第一构成关系属性或所述第一邻接关系属性。
根据一些实施例，所述图数据库与所述关系型数据库通过所述运动编码进行匹配，所述关系型数据库存储所述动作编码、所述第一格式运动数据的地址、所述动作的起始帧和结束帧。
根据一些实施例，可采用Neo4j图形数据库，其采用原生图存储，可利用图论相关算法进行查询和计算。
在S407，基于所述图数据库和所述关系型数据库提供统一的人体运动数据集。
根据示例实施例，图数据库可支持百亿数量级实体与关系的存储，同时在大基数实体下，检索速度仍然保持在较高水平。包括图数据库和关系型数据库的系统可对外提供运动实体查询、关系查询、运动文件下载、与相关运动推荐等服务。
运动数据在图数据库中以图的形式存在，能够支持多种图论算法对隐藏关系的挖掘与对运动本质的探索。
关系型数据库能够保障数据的完整性、一致性与持久性，因此将运动数据文件存储在关系型数据库中能够在保障数据准确的基础上提供文件的高效下载与检索。
这种将运动关系与运动数据文件分离的存储方式能够有效提高运动数据的存储效率与查询速度，同时支持更全面的算法实施。
根据实施例，各个运动的特征被提取并存储下来，运动通过编码进行标识与索引，运动数据的检索速度有了很大的提升。根据示例实施例，如图8所示，运动数据检索的平均响应时间与检索结果所包含的运动实体数量呈正相关。实点为实验所测的真实数据，虚线为回归曲线。由回归结果可知，平均检索一个运动实体的响应时间为2.5ms。
此外，对运动数据进行了建模与关系提取，能够节省大量运动数据存储的开销。例如，一些实施例将运动数据中的关键姿态与姿态关系提取出来，通过这些关系将姿态进行重组可以得到动作，将动作按照关系进行重组可以得到时间更长的运动。通过这种方式，在不丧失有效运动信息的前提下将运动存储消耗下降了28.7%。
根据一些实施例，基于本申请的方法，用户可以进行运动数据的上传。对于上传的运动数据，可基于分层运动模型进行分析，判断该运动所属的运动类别，得到构成该运动的子运动序列。接着可使用运动编码方法对该运动数据包含的各个运动进行编码，编码作为运动的唯一标识与运动的其他各个特征（如运动属性、运动之间的关联关系等）一起构成一个运动实体，成为数据组织的一部分。然后，可将这些运动实体存储到相应的数据库中，并基于存储的运动数据对外提供数据服务，以支撑各个研究领域的工作。
根据示例实施例，通过获取规范化运动数据并进行实体化处理，运动实体能够以特定的树状/网状结构进行彼此关联，同时对运动实体的各项属性与数据结构进行定义，从而能够最大程度体现运动之间的潜在关系与特征。根据实施例，使用图数据库与关系型数据库共同存储运动数据，将运动实体及其关系和属性存储在图数据库中，图数据库支持图论算法，能够支撑潜在运动关系的挖掘。将人体运动三维数据存储到关系型数据库中，以保障数据的完整性与一致性。图数据库与关系型数据库通过运动编码来协同服务。
图6示出运动实体之间关系的一个示例，图7示出运动实体之间关系的另一个示例。
参见图6，其中示出行为本体下的实体“100米跨栏”与动作本体下的实体“起跑”、“单步跑”、“跨越栏杆”的关系与关系属性。“100米跨栏”运动是由动作序列“起跑动作”-“单步跑”-“跨栏动作”构成的。“100米跨栏”与“起跑动作”为单向的构成关系、“100米跨栏”与“单步跑”为单向的构成关系、“100米跨栏”与“跨栏动作”为单向的构成关系。“100米跨栏”与“起跑”之间关系的属性值“状态Status”取值为“0”，表示“起跑”是“100米跨栏”子动作序列的第一个动作。类似地，“100米跨栏”与“单步跑”之间关系的属性值“状态Status”取值为“2”，表示“单步跑”是构成“100米跨栏”子动作序列中的最后一个动作。其余的关系的属性值“状态Status”取值为“1”。子动作序列“起跑”-“单步跑”-“跨栏动作”之间依照动作之间的先后顺序，有着“起跑动作”邻接“单步跑”、“单步跑”邻接“单步跑”、“单步跑”邻接“跨栏动作”、“跨栏动作”邻接“单步跑”这些关系。这些动作的父运动“100米跨栏”的运动编号为“M003000”，所以它们的关系属性“父运动标识pmID”取值为“M003000”。
若在图6的基础上，向数据平台中添加“800米赛跑”这一运动的信息，则实体关系转会变成图7所示状态。“800米赛跑”是由动作序列“起跑”-“单步跑”组成的，以“起跑”开头，以“单步跑”动作结尾。对应地，添加两个构成关系，关系属性“状态Status”分别取值“0”和“2”。而“起跑”邻接“单步跑”所构成的动作序列也能够组成“800米赛跑”这一运动，而“800米赛跑”的编码为“M002001”，所以“起跑”邻接“单步跑”这一关系的关系属性“父运动标识pmID”取值拓展为“M003000M002001”。同样地，“单步跑”邻接“单步跑”的关系属性“父运动标识pmID”取值也拓展为“M003000M002001”。
根据实施例，运动数据处理为运动本体、实体与属性、运动关系等数据组织模式。这是一种专为运动数据的组织方式，能够很好地挖掘出运动所包含的特征与运动之间的关系。这种以运动实体网络为主体的数据组织方式能支持多种算法的实施，例如使用图论算法能够分析出更深层次的运动关系，使用聚类算法能够提取含有各种不同特征的运动数据子集等，以满足运动相关领域研究对于底层运动数据全方位的需求。
描述于本公开实施例中所涉及到的方案可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称并不构成对该单元本身的限定。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (5)
1.一种提供人体运动数据集的方法，其特征在于，包括：
创建多个运动实体，所述多个运动实体与至少一个第一格式运动数据关联，所述创建多个运动实体包括：
利用分层运动模型对第一格式运动数据中的人体运动进行分类和建模，所述分层运动模型中，上一层运动由多个下一层运动的序列构成；
根据分类和建模的结果获取规范化运动数据，所述规范化运动数据包括分层类别、运动编码和附加信息；
创建与所述规范化运动数据对应的运动实体；
建立多个运动实体之间的关联关系，所述关联关系包括有向的构成关系、邻接关系和拥有关系；
将所述多个运动实体和所述关联关系存储于图数据库，将所述第一格式运动数据存储于关系型数据库；
基于所述图数据库和所述关系型数据库提供统一的人体运动数据集，
其中，
所述图数据库与所述关系型数据库通过所述运动编码进行匹配，
通过所述运动编码的编码向量之间的欧氏距离判断两个相同层级运动之间的相似性，
所述利用分层运动模型对第一格式运动数据中的人体运动进行分类和建模，包括：
从第一格式运动数据提取关键帧序列，作为关键姿态序列；
将所述关键姿态序列划分为至少一个动作；
将多个动作归属于一行为；
将多个行为归属于一习惯，
所述根据分类和建模的结果获取规范化运动数据，包括：
将所述关键姿态序列分别转换为姿态编码，其中将姿态按照顺序固定的姿态基的取值进行编码；
根据每个动作包括的关键姿态的姿态编码确定所述动作的动作编码并获取所述动作的附加信息，其中将动作按照关键姿态的时间戳和相应的姿态编码进行组合编码：
A(t)={p1，p2，…，pk}，
Code(A(t)):=t1p1，t2p2，…，tkpk，
其中，A（t）表示动作，pk表示第k个关键姿态的数字编码部分，tk表示第k个关键姿态在动作过程中出现的时间，单位为帧；
获取所述行为的附加信息并将所述行为按照预定义语义进行统一编码；
获取所述习惯的附加信息并将所述习惯按照累加自然数方式的进行紧凑编码，
所述关系型数据库存储所述动作的编码、所述第一格式运动数据的地址、所述动作的起始帧和结束帧。
2.根据权利要求1所述的方法，其特征在于，所述创建与所述规范化运动数据对应的运动实体，包括：
基于所述分层运动模型预定义与各层对应的本体，所述本体具有编码属性、名称属性及描述属性；
利用所述规范化运动数据将与所述分层类别对应的本体实例化为运动实体，所述本体的编码属性取值为所述运动编码，所述本体的名称属性和描述属性根据所述附加信息赋值。
3.根据权利要求2所述的方法，其特征在于，所述运动实体存储为所述图数据库中的节点，所述节点的类别对应于所述运动实体的分层类别，所述节点的属性包括所述编码属性、名称属性及描述属性，所述节点之间的关系与所述运动实体之间的关联关系对应。
4.根据权利要求3所述的方法，其特征在于，
所述运动实体之间的构成关系具有第一构成关系属性，所述第一构成关系属性表示构成父运动的子运动为子运动序列中的第一个子运动、最后一个子运动或中间子运动；
所述运动实体之间的邻接关系具有第一邻接关系属性，所述第一邻接关系属性表示两个邻接的子运动的至少一个共同父运动的运动编号或运动编号的拼接；
所述节点之间的关系属性包括所述第一构成关系属性或所述第一邻接关系属性。
5.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据权利要求1-4任一所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211438502 | 2022-11-16 | ||
| CN2022114385023 | 2022-11-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116189310A CN116189310A (zh) | 2023-05-30 |
| CN116189310B true CN116189310B (zh) | 2024-01-23 |
Family
ID=86448902
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310269086.7A Active CN116189310B (zh) | 2022-11-16 | 2023-03-20 | 一种提供人体运动数据集的方法及电子设备 |
| CN202310268926.8A Active CN116469159B (zh) | 2022-11-16 | 2023-03-20 | 一种获取人体运动数据的方法及电子设备 |
| CN202310269065.5A Active CN116189309B (zh) | 2022-11-16 | 2023-03-20 | 一种处理人体运动数据的方法及电子设备 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310268926.8A Active CN116469159B (zh) | 2022-11-16 | 2023-03-20 | 一种获取人体运动数据的方法及电子设备 |
| CN202310269065.5A Active CN116189309B (zh) | 2022-11-16 | 2023-03-20 | 一种处理人体运动数据的方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (3) | CN116189310B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116189310B (zh) * | 2022-11-16 | 2024-01-23 | 北京理工大学 | 一种提供人体运动数据集的方法及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169117A (zh) * | 2017-05-25 | 2017-09-15 | 西安工业大学 | 一种基于自动编码器和dtw的手绘图人体运动检索方法 |
| CN110502564A (zh) * | 2019-08-28 | 2019-11-26 | 北京理工大学 | 基于姿态基的运动特征数据库生成方法、检索方法及终端 |
| CN113987285A (zh) * | 2021-12-27 | 2022-01-28 | 北京理工大学 | 基于隐藏状态的运动特征数据库生成方法、检索方法 |
| CN114398499A (zh) * | 2022-01-25 | 2022-04-26 | 北京理工大学 | 一种人体运动知识图谱构建方法及系统 |
| CN114676260A (zh) * | 2021-12-15 | 2022-06-28 | 清华大学 | 基于知识图谱的人体骨骼运动康复模型构建方法 |
| CN114912005A (zh) * | 2021-02-08 | 2022-08-16 | 京东方科技集团股份有限公司 | 运动推荐方法、装置、设备及介质 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101180883B (zh) * | 2005-04-13 | 2016-02-03 | 诺基亚公司 | 用于有效地编码和解码视频数据的方法、设备和系统 |
| US20140337373A1 (en) * | 2013-05-07 | 2014-11-13 | Magnet Systems, Inc. | System for managing graph queries on relationships among entities using graph index |
| JP6363088B2 (ja) * | 2013-10-08 | 2018-07-25 | シャープ株式会社 | 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法 |
| CN105320944B (zh) * | 2015-10-24 | 2019-09-27 | 西安电子科技大学 | 一种基于人体骨架运动信息的人体行为预测方法 |
| US11449061B2 (en) * | 2016-02-29 | 2022-09-20 | AI Incorporated | Obstacle recognition method for autonomous robots |
| US20180043245A1 (en) * | 2016-08-10 | 2018-02-15 | Yuanfeng Zhu | Simulation System for Balance Control in Interactive Motion |
| EP3692547B1 (en) * | 2017-10-02 | 2024-01-03 | Neumora Therapeutics, Inc. | Methods and tools for detecting a neurobehavioral phenotype in a subject |
| CN108805080A (zh) * | 2018-06-12 | 2018-11-13 | 上海交通大学 | 基于上下文的多层次深度递归网络群体行为识别方法 |
| WO2021156647A1 (en) * | 2020-02-06 | 2021-08-12 | Mark Oleynik | Robotic kitchen hub systems and methods for minimanipulation library |
| CN111339313A (zh) * | 2020-02-18 | 2020-06-26 | 北京航空航天大学 | 一种基于多模态融合的知识库构建方法 |
| EP4222977A1 (en) * | 2020-09-30 | 2023-08-09 | Nokia Technologies Oy | A method, an apparatus and a computer program product for video encoding/decoding |
| CN112906520A (zh) * | 2021-02-04 | 2021-06-04 | 中国科学院软件研究所 | 一种基于姿态编码的动作识别方法及装置 |
| CN113143257B (zh) * | 2021-02-09 | 2023-01-17 | 国体智慧体育技术创新中心(北京)有限公司 | 基于个体运动行为层次模型的泛化应用系统及方法 |
| FR3121831A1 (fr) * | 2021-04-14 | 2022-10-21 | Zhor Tech | Procédé d’encodage de données de capteur de mouvement, dispositif et système associés |
| CN113583980B (zh) * | 2021-08-26 | 2023-12-12 | 中国农业大学 | 一种猪繁殖与呼吸综合征突变病毒及其构建方法与应用 |
| CN113989943B (zh) * | 2021-12-27 | 2022-03-11 | 北京理工大学 | 一种基于蒸馏损失的人体动作增量识别方法及装置 |
| CN114819598A (zh) * | 2022-04-20 | 2022-07-29 | 首都医科大学附属北京天坛医院 | 腰椎穿刺术考核评估方法、装置及存储介质 |
| CN114943987A (zh) * | 2022-06-07 | 2022-08-26 | 首都体育学院 | 一种采用pams运动编码的运动行为知识图谱构建方法 |
| CN115294228B (zh) * | 2022-07-29 | 2023-07-11 | 北京邮电大学 | 基于模态引导的多图人体姿态生成方法及装置 |
| CN116189310B (zh) * | 2022-11-16 | 2024-01-23 | 北京理工大学 | 一种提供人体运动数据集的方法及电子设备 |
-
2023
- 2023-03-20 CN CN202310269086.7A patent/CN116189310B/zh active Active
- 2023-03-20 CN CN202310268926.8A patent/CN116469159B/zh active Active
- 2023-03-20 CN CN202310269065.5A patent/CN116189309B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169117A (zh) * | 2017-05-25 | 2017-09-15 | 西安工业大学 | 一种基于自动编码器和dtw的手绘图人体运动检索方法 |
| CN110502564A (zh) * | 2019-08-28 | 2019-11-26 | 北京理工大学 | 基于姿态基的运动特征数据库生成方法、检索方法及终端 |
| CN114912005A (zh) * | 2021-02-08 | 2022-08-16 | 京东方科技集团股份有限公司 | 运动推荐方法、装置、设备及介质 |
| CN114676260A (zh) * | 2021-12-15 | 2022-06-28 | 清华大学 | 基于知识图谱的人体骨骼运动康复模型构建方法 |
| CN113987285A (zh) * | 2021-12-27 | 2022-01-28 | 北京理工大学 | 基于隐藏状态的运动特征数据库生成方法、检索方法 |
| CN114398499A (zh) * | 2022-01-25 | 2022-04-26 | 北京理工大学 | 一种人体运动知识图谱构建方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 岳晓宁.《数据统计与分析》.机械工业出版社,2021,第191-192页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116469159B (zh) | 2023-11-14 |
| CN116189309A (zh) | 2023-05-30 |
| CN116189310A (zh) | 2023-05-30 |
| CN116469159A (zh) | 2023-07-21 |
| CN116189309B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kapadia et al. | Efficient motion retrieval in large motion databases | |
| CN116189310B (zh) | 一种提供人体运动数据集的方法及电子设备 | |
| CN107193967A (zh) | 一种多源异构行业领域大数据处理全链路解决方案 | |
| CN110275959A (zh) | 一种面向大规模知识库的快速学习方法 | |
| CN102521843B (zh) | 一种基于流形学习的三维人体运动分析与合成方法 | |
| CN110059206A (zh) | 一种基于深度表征学习的大规模哈希图像检索方法 | |
| CN110309289A (zh) | 一种句子生成方法、句子生成装置及智能设备 | |
| CN102760151A (zh) | 开源软件获取与搜索系统的实现方法 | |
| CN103778227A (zh) | 从检索图像中筛选有用图像的方法 | |
| CN105849720A (zh) | 视觉语义复合网络以及用于形成该网络的方法 | |
| JP7432801B2 (ja) | デプスマップマッチングに基づく医療データエレメント自動化分類方法及びシステム | |
| CN106777946B (zh) | 基于层级模型的个性化健康服务推荐方法 | |
| CN109065173B (zh) | 知识路径的获取方法 | |
| CN109634594A (zh) | 一种考虑代码语句顺序信息的代码片段推荐方法 | |
| Hoseini et al. | A new algorithm for mining frequent patterns in can tree | |
| CN105608118B (zh) | 基于用户交互信息的结果推送方法 | |
| CN110516112B (zh) | 一种基于层次模型的人体动作检索方法及设备 | |
| CN103294791A (zh) | 一种可扩展标记语言模式匹配方法 | |
| CN107169051A (zh) | 基于本体间语义相关的三维模型检索方法及系统 | |
| CN114398499A (zh) | 一种人体运动知识图谱构建方法及系统 | |
| Tang et al. | PAMS-DP: Building a Unified Open PAMS Human Movement Data Platform | |
| Proper | Interactive query formulation using point to point queries | |
| CN110364265A (zh) | 一种基于健康数据银行的数据价值生成与实现方法 | |
| Gao et al. | Content-based human motion retrieval with automatic transition | |
| Kovács | Parallel multi-tree indexing for evaluating large descriptor sets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |