CN115293299B - 人体姿态特征实时检测方法、装置、设备及介质 - Google Patents

人体姿态特征实时检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN115293299B
CN115293299B CN202211220110.XA CN202211220110A CN115293299B CN 115293299 B CN115293299 B CN 115293299B CN 202211220110 A CN202211220110 A CN 202211220110A CN 115293299 B CN115293299 B CN 115293299B
Authority
CN
China
Prior art keywords
stroke
target
preset
posture
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211220110.XA
Other languages
English (en)
Other versions
CN115293299A (zh
Inventor
张磊
何宇泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Wuqi (Nanjing) Technology Co.,Ltd.
Original Assignee
Jeejio Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jeejio Beijing Technology Co ltd filed Critical Jeejio Beijing Technology Co ltd
Priority to CN202211220110.XA priority Critical patent/CN115293299B/zh
Publication of CN115293299A publication Critical patent/CN115293299A/zh
Application granted granted Critical
Publication of CN115293299B publication Critical patent/CN115293299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请公开了人体姿态特征实时检测方法、装置、设备及介质，涉及计算机技术领域。该方法包括：获取IMU采集到的目标人体头颈的当前姿态对应的目标运动数据；将所述目标运动数据输入至训练后的预设融合算法模型中进行姿态估计，以得到所述目标人体头颈的当前姿态对应的目标四元数；基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征；将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并确定所述预设笔画特征数据库中与所述运动笔画特征匹配的目标笔画特征，然后根据所述目标笔画特征确定所述目标人体头颈的当前姿态。通过上述方案能够在不约束传感器位置的情况下进行姿态特征实时检测。

Description

人体姿态特征实时检测方法、装置、设备及介质
技术领域
本发明涉及计算机技术领域，特别涉及人体姿态特征实时检测方法、装置、设备及介质。
背景技术
随着体感游戏、头颈健康监测等智能应用的发展，其中的人机交互技术也面临着越来越多的挑战。目前，基于多传感器融合的惯导算法可以获得非常高精度的运动轨迹估计，然而该方案除了IMU（即Inertial Measurement Unit，惯性测量单元）以外还需要配置摄像头、无线定位系统等传感器，多传感器算法融合需要较高的计算和存储需求，导致硬件成本高，而且对于产品的每个单独设备都需要精确标定多传感器的外参，部署难度高；也可以通过深度神经网络、LSTM算法在高维空间上对运动进行近似逼近，虽然可以达到较高精度，但由于在开发时需要提取大量数据集以做训练，部署时需要较高的算力和存储资源，实时性和效率低下，导致其成本过于高昂；另一方面，这些算法对传感器的位置有一定约束，难以适应随机任意的部署位置。综上，如何能够在不约束传感器位置的情况下进行人体姿态特征实时检测并避免成本过高的问题有待进一步解决。
发明内容
有鉴于此，本发明的目的在于提供一种人体姿态特征实时检测方法、装置、设备及介质，能够在不约束传感器位置的情况下进行人体姿态特征实时检测并避免成本过高。其具体方案如下：
第一方面，本申请公开了一种人体姿态特征实时检测方法，包括：
获取IMU采集到的目标人体头颈的当前姿态对应的目标运动数据；
将所述目标运动数据输入至训练后的预设融合算法模型中进行姿态估计，以得到所述目标人体头颈的当前姿态对应的目标四元数；
基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征；
将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并确定所述预设笔画特征数据库中与所述运动笔画特征匹配的目标笔画特征，然后根据所述目标笔画特征确定所述目标人体头颈的当前姿态。
可选的，所述获取IMU采集到的目标人体头颈的当前姿态对应的目标运动数据之前，还包括：
对IMU进行校准并获取所述IMU对应的陀螺仪零点偏移量与加速度计零点偏移量；
将所述IMU对应的陀螺仪零点偏移量与加速度计零点偏移量保存至预设传感器参数数据库中。
可选的，所述基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征之前，还包括：
基于所述目标四元数与上一笔画的末端姿态对应的四元数确定所述当前姿态与上一笔画的末端姿态的距离进行笔锋检测。
可选的，所述基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征，包括：
若检测到对应的笔锋，则基于所述目标四元数与上一笔画的末端姿态对应的四元数确定当前笔画的旋转向量；
确定所述当前笔画的旋转向量与重力向量的第一夹角，并确定所述当前笔画的旋转向量与所述上一笔画的旋转向量的第二夹角；
基于所述第一夹角与所述第二夹角确定所述目标人体头颈的当前姿态对应的运动笔画特征。
可选的，所述将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并确定所述预设笔画特征数据库中与所述运动笔画特征匹配的目标笔画特征，包括：
将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并判断是否达到预设字符识别要求；
如果满足所述预设字符识别要求，则启用所述预设最长公共子序列算法回溯确定匹配与所述运动笔画特征匹配的目标笔画特征并统计所述目标笔画特征的个数。
可选的，所述将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并判断是否达到预设字符识别要求，包括：
将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中，并判断是否达到预设动作队列阈值或匹配到所述预设笔画特征数据库中的结尾动作笔画；
相应的，所述如果满足所述预设字符识别要求，则启用所述预设最长公共子序列算法回溯确定匹配与所述运动笔画特征匹配的目标笔画特征并统计所述目标笔画特征的个数；
如果达到预设动作队列阈值或匹配到所述预设笔画特征数据库中的结尾动作笔画，则启用所述预设最长公共子序列算法回溯确定匹配与所述运动笔画特征匹配的目标笔画特征并统计所述目标笔画特征的个数。
可选的，所述根据所述目标笔画特征确定所述目标人体头颈的当前姿态，包括：
若所述目标笔画特征的个数大于预设笔画阈值，则通过所述预设最长公共子序列算法确定所述目标笔画特征在所述预设笔画特征数据库中匹配的目标字符；
根据所述目标字符对应的姿态确定所述目标人体头颈的当前姿态。
第二方面，本申请公开了一种人体姿态特征实时检测装置，包括：
运动数据获取模块，用于获取IMU采集到的目标人体头颈的当前姿态对应的目标运动数据；
四元数确定模块，用于将所述目标运动数据输入至训练后的预设融合算法模型中进行姿态估计，以得到所述目标人体头颈的当前姿态对应的目标四元数；
笔画特征确定模块，用于基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征；
姿态确定模块，用于将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并确定所述预设笔画特征数据库中与所述运动笔画特征匹配的目标笔画特征，然后根据所述目标笔画特征确定所述目标人体头颈的当前姿态。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的所述的人体姿态特征实时检测方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的所述的人体姿态特征实时检测方法的步骤。
本申请在进行人体姿态特征实时检测时，获取IMU采集到的目标人体头颈的当前姿态对应的目标运动数据，并将所述目标运动数据输入至训练后的预设融合算法模型中进行姿态估计，以得到所述目标人体头颈的当前姿态对应的目标四元数，然后基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征，将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并确定所述预设笔画特征数据库中与所述运动笔画特征匹配的目标笔画特征，然后根据所述目标笔画特征确定所述目标人体头颈的当前姿态。可见，本申请在进行人体姿态特征实时检测时，首先通过IMU采集当前姿态对应的目标运动数据，并通过训练后的预设融合算法模型获取当前姿态对应的目标四元数，然后通过所述目标四元数进行笔画特征提取以得到当前姿态对应的运动笔画特征并将运动笔画特征与预设笔画特征数据库进行匹配，从而确定目标人体头颈的当前姿态。由此，本申请在进行人体姿态特征实时检测时，将由传感器获取到的目标运动数据进行姿态识别并将当前姿态转换为对应的笔画特征，通过提取与旋转平移无关的姿态特征用于表征头颈运动的笔画并与预设笔画特征数据库进行匹配，一方面其识别精度较高，鲁棒性和实时性强；另一方面其资源需求少，不需要更多的传感器配置，不对硬件部署位置做约束，灵活性高，为面向消费者的体感游戏、头颈健康检测提供了低成本、可快速部署的解决方案。综上，本申请能够在不约束传感器位置的情况下进行人体姿态特征实时检测并避免成本过高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种人体姿态特征实时检测方法流程图；
图2为本申请提供的一种具体的人体姿态特征实时检测方法流程图；
图3为本申请提供的姿态估计与笔画特征提取步骤示意图；
图4为本申请提供的预设最长公共子序列算法进行笔画检测示意图；
图5为本申请提供的一种人体姿态特征实时检测装置结构示意图；
图6为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，基于多传感器融合的惯导算法可以获得非常高精度的运动轨迹估计，然而该方案除了IMU（即Inertial Measurement Unit，惯性测量单元）以外还需要配置摄像头、无线定位系统等传感器，多传感器算法融合需要较高的计算和存储需求，导致硬件成本高，而且对于产品的每个单独设备都需要精确标定多传感器的外参，部署难度高；也可以通过深度神经网络、LSTM算法在高维空间上对运动进行近似逼近，虽然可以达到较高精度，但由于在开发时需要提取大量数据集以做训练，部署时需要较高的算力和存储资源，实时性和效率低下，导致其成本过于高昂；另一方面，这些算法对传感器的位置有一定约束，难以适应随机任意的部署位置。为此，本申请提供了一种人体姿态特征实时检测方法能够在不约束传感器位置的情况下进行人体姿态特征实时检测并避免成本过高。
本发明实施例公开了一种人体姿态特征实时检测方法，参见图1所示，该方法包括：
步骤S11：获取IMU采集到的目标人体头颈的当前姿态对应的目标运动数据。
在本实施例中，所述IMU为预先在人体姿态特征实时检测检测设备上部署的相关传感器，以获取所述目标人体头颈的实时姿态对应的目标运动数据。其中，所述目标运动数据为包括三轴角速度与三轴加速度的六轴数据。在进行人体姿态特征实时检测之前，需先对相应设备进行校准，包括：对IMU进行校准并获取所述IMU对应的陀螺仪零点偏移量与加速度计零点偏移量；将所述IMU对应的陀螺仪零点偏移量与加速度计零点偏移量保存至预设传感器参数数据库中。在一种具体实施方式中，可选用基础的均值校准法，即通过将IMU水平静止放置一段时间，取该时段内的角速度读数做平均得到陀螺仪零点偏移量bw，取该时段的加速度读数平均减去重力向量得到加速度计零点偏移量ba。需要指出的是，可选用的参数校准方法包括但不限于均值校准法与椭球校准算法。
在本实施例中，预设IMU中包括IMU驱动系统，IMU驱动系统用于进行外设驱动和数据格式转换。其中，外设驱动模块用以驱动外置IMU传感器接口，可选用的外置IMU传感器接口包括I2C、SPI等外设接口；数据格式转换模块用于结合传感器数据以及IMU预设传感器参数数据库种存储的参数，输出三维角速度w和三维加速度a。需要指出的是，商用低成本MEMSIMU传感器以>200Hz频率输出三轴角速度和三轴加速度数据，具有一定的噪声和偏置，而佩戴于头部的设备出于考虑重量、成本等方面的因素，其传感器资源和算力资源严重受限，故需要一种高效且相对鲁棒的实时特征提取和字符识别算法，用以在现实IMU传感器数据流中检测头颈的运动。通过上述技术方案，通过预设IMU获取目标人体头颈的当前姿态对应的六轴数据，以便于后续通过对所述六轴数据进行分析以得到目标人体头颈的当前姿态。
步骤S12：将所述目标运动数据输入至训练后的预设融合算法模型中进行姿态估计，以得到所述目标人体头颈的当前姿态对应的目标四元数。
在本实施例中，所述预设融合算法模型为通用融合算法，包括但不限于Mahony以及卡尔曼滤波器。通过所述训练后的预设融合算法模型由角速度和加速度得到具有偏航不确定性的姿态信息。即，通过将获取到的目标运动数据输入至训练后的预设融合算法模型中，以获取当前姿态对应的目标四元数。通过上述技术方案，以得到表征当前姿态的姿态信息即目标四元数，以便于后续通过所述目标四元数获取当前姿态对应的笔画特征，从而进行目标人体头颈的姿态检测。
步骤S13：基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征。
在本实施例中，通过预设融合算法模型获取到的目标人体头颈的当前姿态对应的目标四元数进行笔画特征提取。即提取头颈运动笔画信息，这些特征为旋转平移不变量，从而使得系统对其实际部署位置不做任何约束。包括旋转向量与重力方向的夹角，以及前后两个动作的旋转向量的夹角，通过这些数据分类得到横、竖、左斜、右斜等运动特征，并获取对应的运动笔画特征。通过上述技术方案，将目标人体头颈的当前姿态转换为对应的运动笔画特征，以便于后续将所述运动笔画特征与预设笔画特征数据库中的笔画特征进行匹配，从而进行姿态检测。
步骤S14：将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并确定所述预设笔画特征数据库中与所述运动笔画特征匹配的目标笔画特征，然后根据所述目标笔画特征确定所述目标人体头颈的当前姿态。
在本实施例中，所述预设最长公共子序列算法改进自常用于DNA检测的最长公共子序列（即LCS）算法，该算法基于动态规划的思想，其中LCS比较函数重载为：判断动作检测输出的笔画特征是否在预设笔画特征数据库中特定动作的特征集合之中。使用该算法既能够容许笔画之间的多余动作，也能容许少量缺漏笔画，有利于提高笔画的检测效果。进一步的，所述预设笔画特征数据库用于表征汉字笔画顺序，笔画的方向和前后笔画的夹角，除了汉字本身的笔画之外还可以编码笔画的初始动作和结尾动作以及两个笔画之间的运动；上述动作元素分别编码包含多个候选动作的特征集合，从而提高识别的召回率。将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并确定所述预设笔画特征数据库中与所述运动笔画特征匹配的目标笔画特征，即通过在笔画特征数据库中匹配动作检测输出的预设笔画特征数据库中目标笔画特征以达到目标笔画特征识别的目的。通过上述技术方案，通过预设最长公共子序列算法进行笔画识别与笔画匹配以获取目标人体头颈姿态，从而完成人体姿态特征实时检测，其识别精度较高，鲁棒性和实时性强且资源需求少，从而具有较高的灵活性。
可见，本实施例在进行人体姿态特征实时检测时，首先通过IMU采集当前姿态对应的目标运动数据，并通过训练后的预设融合算法模型获取当前姿态对应的目标四元数，然后通过所述目标四元数进行笔画特征提取以得到当前姿态对应的运动笔画特征并将运动笔画特征与预设笔画特征数据库进行匹配，从而确定目标人体头颈的当前姿态。由此，本申请在进行人体姿态特征实时检测时，将由传感器获取到的目标运动数据进行姿态识别并将当前姿态转换为对应的笔画特征，通过提取与旋转平移无关的姿态特征用于表征头颈运动的笔画并与预设笔画特征数据库进行匹配，一方面其识别精度较高，鲁棒性和实时性强；另一方面其资源需求少，不需要更多的传感器配置，不对硬件部署位置做约束，灵活性高，为面向消费者的体感游戏、头颈健康检测提供了低成本、可快速部署的解决方案。综上，本申请能够在不约束传感器位置的情况下进行人体姿态特征实时检测并避免成本过高。
参见图2所示，本发明实施例公开了一种具体的文件写入方法，相对于上一实施例，本实施例对技术方案作了进一步说明和优化。
步骤S21：获取IMU采集到的目标人体头颈的当前姿态对应的目标运动数据。
步骤S22：将所述目标运动数据输入至训练后的预设融合算法模型中进行姿态估计，以得到所述目标人体头颈的当前姿态对应的目标四元数。
步骤S23：基于所述目标四元数与上一笔画的末端姿态对应的四元数确定所述当前姿态与上一笔画的末端姿态的距离进行笔锋检测。
在本实施例中，基于当前姿态对应的目标四元数
Figure 373242DEST_PATH_IMAGE001
与上一笔画的末端姿态对应的四元数
Figure 821540DEST_PATH_IMAGE002
确定所述当前姿态与上一笔画的末端姿态的距离，当前距离为
Figure 132436DEST_PATH_IMAGE003
，相应的上一时刻距离为
Figure 58804DEST_PATH_IMAGE004
，其中
Figure 404334DEST_PATH_IMAGE004
的计算方式与
Figure 23535DEST_PATH_IMAGE005
的计算方式相同。进一步的，若
Figure 821726DEST_PATH_IMAGE005
小于预设阈值th0或
Figure 755047DEST_PATH_IMAGE005
大于
Figure 220664DEST_PATH_IMAGE004
，则表明未检测到对应的笔锋；反之，若
Figure 745186DEST_PATH_IMAGE005
大于等于预设阈值th0且
Figure 233936DEST_PATH_IMAGE005
大于
Figure 502106DEST_PATH_IMAGE004
，则判断为检测到一个笔锋，并继续进行后续处理。通过上述技术方案，基于所述目标四元数进行笔锋检测，以判断当前姿态是否对应为一个笔锋，以便于当检测到对应笔锋时即进行后续的笔画特征提取与笔画特征匹配等相应操作。
步骤S24：若检测到对应的笔锋，基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征。
在本实施例中，若检测到对应的笔锋，基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征，包括：若检测到对应的笔锋，则基于所述目标四元数与上一笔画的末端姿态对应的四元数确定当前笔画的旋转向量；确定所述当前笔画的旋转向量与重力向量的第一夹角，并确定所述当前笔画的旋转向量与所述上一笔画的旋转向量的第二夹角；基于所述第一夹角与所述第二夹角确定所述目标人体头颈的当前姿态对应的运动笔画特征。具体地，姿态估计与笔画特征提取步骤示意图如图3所示，计算当前姿态对应的目标四元数
Figure 822229DEST_PATH_IMAGE001
与上一笔画的末端姿态对应的四元数
Figure 783232DEST_PATH_IMAGE002
的位姿之差：
Figure 759278DEST_PATH_IMAGE006
；
其中，
Figure 565560DEST_PATH_IMAGE007
表示当前姿态对应的目标四元数
Figure 5769DEST_PATH_IMAGE001
与上一笔画的末端姿态对应的四元数
Figure 872094DEST_PATH_IMAGE002
的位姿之差；
Figure 663332DEST_PATH_IMAGE008
表示
Figure 601201DEST_PATH_IMAGE002
的共轭；取
Figure 630337DEST_PATH_IMAGE007
的三维虚部为当前笔画的旋转向量并将其归一化，将当前笔画的旋转向量记作
Figure 729880DEST_PATH_IMAGE009
。进一步的，计算当前笔画的旋转向量
Figure 211677DEST_PATH_IMAGE009
与上一笔画的旋转向量
Figure 625341DEST_PATH_IMAGE010
的内积：
Figure 508983DEST_PATH_IMAGE011
；
其中，
Figure 982690DEST_PATH_IMAGE012
表示当前笔画的旋转向量
Figure 8241DEST_PATH_IMAGE009
与上一笔画的旋转向量
Figure 694437DEST_PATH_IMAGE010
的内积。若
Figure 229323DEST_PATH_IMAGE012
大于预设阈值th1，则代表该笔画与上一笔画几乎共线，可与上一笔画合并，则结束；反之，若
Figure 405090DEST_PATH_IMAGE012
小于或等于预设阈值th1，则作为新笔画进行后续处理。计算
Figure 658217DEST_PATH_IMAGE009
与重力向量的第一夹角为
Figure 413683DEST_PATH_IMAGE013
，
Figure 6338DEST_PATH_IMAGE009
与
Figure 821848DEST_PATH_IMAGE010
的第二夹角为
Figure 296691DEST_PATH_IMAGE014
，通过量化方式得到笔画特征：
Figure 855849DEST_PATH_IMAGE015
；
Figure 568590DEST_PATH_IMAGE016
；
其中，
Figure 289421DEST_PATH_IMAGE017
、
Figure 720402DEST_PATH_IMAGE018
表示当前姿态对应的运动笔画特征；
Figure 817671DEST_PATH_IMAGE019
表示向下取整。由此，基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征
Figure 853760DEST_PATH_IMAGE020
。通过上述技术方案，以得到目标人体头颈的当前姿态对应的运动笔画特征，以便于后续通过所述运动笔画特征进行匹配从而完成人体姿态特征实时检测。
步骤S25：将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并确定所述预设笔画特征数据库中与所述运动笔画特征匹配的目标笔画特征。
在本实施例中，将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并确定所述预设笔画特征数据库中与所述运动笔画特征匹配的目标笔画特征包括：将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并判断是否达到预设字符识别要求；如果满足所述预设字符识别要求，则启用所述预设最长公共子序列算法回溯确定匹配与所述运动笔画特征匹配的目标笔画特征并统计所述目标笔画特征的个数。在一种具体实施方式中，预设最长公共子序列算法进行笔画检测示意图如图4所示，将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中，并判断是否达到预设动作队列阈值或匹配到所述预设笔画特征数据库中的结尾动作笔画；如果达到预设动作队列阈值或匹配到所述预设笔画特征数据库中的结尾动作笔画，则启用所述预设最长公共子序列算法回溯确定匹配与所述运动笔画特征匹配的目标笔画特征并统计所述目标笔画特征的个数。
步骤S26：根据所述目标笔画特征确定所述目标人体头颈的当前姿态。
在本实施例中，若所述目标笔画特征的个数大于预设笔画阈值th2，则通过所述预设最长公共子序列算法确定所述目标笔画特征在所述预设笔画特征数据库中匹配的目标字符；根据所述目标字符对应的姿态确定所述目标人体头颈的当前姿态。
可见，在本实施例中，基于所述目标四元数与上一笔画的末端姿态对应的四元数确定所述当前姿态与上一笔画的末端姿态的距离进行笔锋检测，若检测到对应的笔锋，基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征。通过上述技术方案，提高了人体姿态特征实时检测的识别精度并降低了部署成本。
参见图5所示本申请实施例公开了一种人体姿态特征实时检测装置，包括：
运动数据获取模块11，用于获取IMU采集到的目标人体头颈的当前姿态对应的目标运动数据；
四元数确定模块12，用于将所述目标运动数据输入至训练后的预设融合算法模型中进行姿态估计，以得到所述目标人体头颈的当前姿态对应的目标四元数；
笔画特征确定模块13，用于基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征；
姿态确定模块14，用于将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并确定所述预设笔画特征数据库中与所述运动笔画特征匹配的目标笔画特征，然后根据所述目标笔画特征确定所述目标人体头颈的当前姿态。
可见，本实施例在进行人体姿态特征实时检测时，首先通过IMU采集当前姿态对应的目标运动数据，并通过训练后的预设融合算法模型获取当前姿态对应的目标四元数，然后通过所述目标四元数进行笔画特征提取以得到当前姿态对应的运动笔画特征并将运动笔画特征与预设笔画特征数据库进行匹配，从而确定目标人体头颈的当前姿态。由此，本申请在进行人体姿态特征实时检测时，将由传感器获取到的目标运动数据进行姿态识别并将当前姿态转换为对应的笔画特征，通过提取与旋转平移无关的姿态特征用于表征头颈运动的笔画并与预设笔画特征数据库进行匹配，一方面其识别精度较高，鲁棒性和实时性强；另一方面其资源需求少，不需要更多的传感器配置，不对硬件部署位置做约束，灵活性高，为面向消费者的体感游戏、头颈健康检测提供了低成本、可快速部署的解决方案。综上，本申请能够在不约束传感器位置的情况下进行人体姿态特征实时检测并避免成本过高。
在一些具体实施例中，所述人体姿态特征实时检测装置还包括：
校准模块，用于对IMU进行校准并获取所述IMU对应的陀螺仪零点偏移量与加速度计零点偏移量；
参数存储模块，用于将所述IMU对应的陀螺仪零点偏移量与加速度计零点偏移量保存至预设传感器参数数据库中。
在一些具体实施例中，所述人体姿态特征实时检测装置还包括：
笔锋检测模块，用于基于所述目标四元数与上一笔画的末端姿态对应的四元数确定所述当前姿态与上一笔画的末端姿态的距离进行笔锋检测。
在一些具体实施例中，所述笔画特征确定模块13，具体包括：
旋转向量确定单元，用于若检测到对应的笔锋，则基于所述目标四元数与上一笔画的末端姿态对应的四元数确定当前笔画的旋转向量；
夹角确定单元，用于确定所述当前笔画的旋转向量与重力向量的第一夹角，并确定所述当前笔画的旋转向量与所述上一笔画的旋转向量的第二夹角；
笔画特征确定单元，用于基于所述第一夹角与所述第二夹角确定所述目标人体头颈的当前姿态对应的运动笔画特征。
在一些具体实施例中，所述姿态确定模块14，具体包括：
要求判断单元，用于将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并判断是否达到预设字符识别要求；
字符匹配单元，用于如果满足所述预设字符识别要求，则启用所述预设最长公共子序列算法回溯确定匹配与所述运动笔画特征匹配的目标笔画特征并统计所述目标笔画特征的个数。
在一些具体实施例中，所述要求判断单元，具体用于：将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中，并判断是否达到预设动作队列阈值或匹配到所述预设笔画特征数据库中的结尾动作笔画；
相应的，所述字符匹配单元，具体用于：如果达到预设动作队列阈值或匹配到所述预设笔画特征数据库中的结尾动作笔画，则启用所述预设最长公共子序列算法回溯确定匹配与所述运动笔画特征匹配的目标笔画特征并统计所述目标笔画特征的个数。
在一些具体实施例中，所述姿态确定模块14，具体包括：
字符匹配单元，用于若所述目标笔画特征的个数大于预设笔画阈值，则通过所述预设最长公共子序列算法确定所述目标笔画特征在所述预设笔画特征数据库中匹配的目标字符；
姿态匹配单元根据所述目标字符对应的姿态确定所述目标人体头颈的当前姿态。
图6所示为本申请实施例提供的一种电子设备20。该电子设备20，具体还可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的人体姿态特征实时检测方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源储存的载体，可以是片上只读存储器、片上闪存、片外闪存等，其上所存储的资源可以包括操作系统221，计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222其可以是uCOS、FreeRTOS、RT-Thread、Contiki等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的人体姿态特征实时检测方法的计算机程序外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的人体姿态特征实时检测方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的人体姿态特征实时检测方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种人体姿态特征实时检测方法，其特征在于，包括：
获取IMU采集到的目标人体头颈的当前姿态对应的目标运动数据；
将所述目标运动数据输入至训练后的预设融合算法模型中进行姿态估计，以得到所述目标人体头颈的当前姿态对应的目标四元数；
基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征；
将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并确定所述预设笔画特征数据库中与所述运动笔画特征匹配的目标笔画特征，然后根据所述目标笔画特征确定所述目标人体头颈的当前姿态；
其中，所述基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征之前，还包括：
基于所述目标四元数与上一笔画的末端姿态对应的四元数确定所述当前姿态与上一笔画的末端姿态的距离进行笔锋检测；
其中，所述基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征，包括：
若检测到对应的笔锋，则基于所述目标四元数与上一笔画的末端姿态对应的四元数确定当前笔画的旋转向量；
确定所述当前笔画的旋转向量与重力向量的第一夹角，并确定所述当前笔画的旋转向量与所述上一笔画的旋转向量的第二夹角；
基于所述第一夹角与所述第二夹角确定所述目标人体头颈的当前姿态对应的运动笔画特征。
2.根据权利要求1所述的人体姿态特征实时检测方法，其特征在于，所述获取IMU采集到的目标人体头颈的当前姿态对应的目标运动数据之前，还包括：
对IMU进行校准并获取所述IMU对应的陀螺仪零点偏移量与加速度计零点偏移量；
将所述IMU对应的陀螺仪零点偏移量与加速度计零点偏移量保存至预设传感器参数数据库中。
3.根据权利要求1和2任一项所述的人体姿态特征实时检测方法，其特征在于，所述将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并确定所述预设笔画特征数据库中与所述运动笔画特征匹配的目标笔画特征，包括：
将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并判断是否达到预设字符识别要求；
如果满足所述预设字符识别要求，则启用所述预设最长公共子序列算法回溯确定匹配与所述运动笔画特征匹配的目标笔画特征并统计所述目标笔画特征的个数。
4.根据权利要求3所述的人体姿态特征实时检测方法，其特征在于，所述将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并判断是否达到预设字符识别要求，包括：
将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中，并判断是否达到预设动作队列阈值或匹配到所述预设笔画特征数据库中的结尾动作笔画；
相应的，所述如果满足所述预设字符识别要求，则启用所述预设最长公共子序列算法回溯确定匹配与所述运动笔画特征匹配的目标笔画特征并统计所述目标笔画特征的个数；
如果达到预设动作队列阈值或匹配到所述预设笔画特征数据库中的结尾动作笔画，则启用所述预设最长公共子序列算法回溯确定匹配与所述运动笔画特征匹配的目标笔画特征并统计所述目标笔画特征的个数。
5.根据权利要求3所述的人体姿态特征实时检测方法，其特征在于，所述根据所述目标笔画特征确定所述目标人体头颈的当前姿态，包括：
若所述目标笔画特征的个数大于预设笔画阈值，则通过所述预设最长公共子序列算法确定所述目标笔画特征在所述预设笔画特征数据库中匹配的目标字符；
根据所述目标字符对应的姿态确定所述目标人体头颈的当前姿态。
6.一种人体姿态特征实时检测装置，其特征在于，包括：
运动数据获取模块，用于获取IMU采集到的目标人体头颈的当前姿态对应的目标运动数据；
四元数确定模块，用于将所述目标运动数据输入至训练后的预设融合算法模型中进行姿态估计，以得到所述目标人体头颈的当前姿态对应的目标四元数；
笔画特征确定模块，用于基于所述目标四元数进行笔画特征提取以得到所述目标人体头颈的当前姿态对应的运动笔画特征；
姿态确定模块，用于将所述运动笔画特征与预设笔画特征数据库输入至预设最长公共子序列算法中并确定所述预设笔画特征数据库中与所述运动笔画特征匹配的目标笔画特征，然后根据所述目标笔画特征确定所述目标人体头颈的当前姿态；
其中，所述人体姿态特征实时检测装置，还包括：
笔锋检测模块，用于基于所述目标四元数与上一笔画的末端姿态对应的四元数确定所述当前姿态与上一笔画的末端姿态的距离进行笔锋检测；
其中，所述笔画特征确定模块，包括：
旋转向量确定单元，用于若检测到对应的笔锋，则基于所述目标四元数与上一笔画的末端姿态对应的四元数确定当前笔画的旋转向量；
夹角确定单元，用于确定所述当前笔画的旋转向量与重力向量的第一夹角，并确定所述当前笔画的旋转向量与所述上一笔画的旋转向量的第二夹角；
笔画特征确定单元，基于所述第一夹角与所述第二夹角确定所述目标人体头颈的当前姿态对应的运动笔画特征。
7.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至5任一项所述的人体姿态特征实时检测方法的步骤。
8.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的人体姿态特征实时检测方法的步骤。
CN202211220110.XA 2022-10-08 2022-10-08 人体姿态特征实时检测方法、装置、设备及介质 Active CN115293299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211220110.XA CN115293299B (zh) 2022-10-08 2022-10-08 人体姿态特征实时检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211220110.XA CN115293299B (zh) 2022-10-08 2022-10-08 人体姿态特征实时检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115293299A CN115293299A (zh) 2022-11-04
CN115293299B true CN115293299B (zh) 2023-01-24

Family

ID=83834768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211220110.XA Active CN115293299B (zh) 2022-10-08 2022-10-08 人体姿态特征实时检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115293299B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118357920B (zh) * 2024-05-16 2024-10-11 江苏科技大学 一种柔性体整体空间位姿检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833788A (zh) * 2010-05-18 2010-09-15 南京大学 一种采用手绘草图的三维人体建模方法
CN102831638A (zh) * 2012-07-06 2012-12-19 南京大学 一种采用手绘草图的三维人体多姿态建模方法
WO2018184467A1 (zh) * 2017-04-06 2018-10-11 亿航智能设备（广州）有限公司 一种云台姿态检测方法及装置
CN109344803A (zh) * 2018-10-29 2019-02-15 广东工业大学 一种姿态特征提取方法及相关装置
CN112446302A (zh) * 2020-11-05 2021-03-05 杭州易现先进科技有限公司 一种人体姿态检测方法、系统、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112971983B (zh) * 2021-02-03 2022-09-09 广州导远电子科技有限公司 姿态数据的测量方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833788A (zh) * 2010-05-18 2010-09-15 南京大学 一种采用手绘草图的三维人体建模方法
CN102831638A (zh) * 2012-07-06 2012-12-19 南京大学 一种采用手绘草图的三维人体多姿态建模方法
WO2018184467A1 (zh) * 2017-04-06 2018-10-11 亿航智能设备（广州）有限公司 一种云台姿态检测方法及装置
CN109344803A (zh) * 2018-10-29 2019-02-15 广东工业大学 一种姿态特征提取方法及相关装置
CN112446302A (zh) * 2020-11-05 2021-03-05 杭州易现先进科技有限公司 一种人体姿态检测方法、系统、电子设备和存储介质

Also Published As

Publication number Publication date
CN115293299A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
Paul et al. An effective approach for human activity recognition on smartphone
CN106780608B (zh) 位姿信息估计方法、装置和可移动设备
US10432842B2 (en) Fusion of inertial and depth sensors for movement measurements and recognition
KR101939683B1 (ko) 사용자 행동 실시간 인식장치 및 방법
US8775128B2 (en) Selecting feature types to extract based on pre-classification of sensor measurements
US20190065872A1 (en) Behavior recognition apparatus, learning apparatus, and method and program therefor
CN116051640A (zh) 用于同时定位和映射的系统和方法
CN107636420B (zh) 用于行人航位推算的技术
CN108986801A (zh) 一种人机交互方法、装置及人机交互终端
Thiemjarus et al. A study on instance-based learning with reduced training prototypes for device-context-independent activity recognition on a mobile phone
US11312430B2 (en) Method and system for lean angle estimation of motorcycles
CN115293299B (zh) 人体姿态特征实时检测方法、装置、设备及介质
CN106774889B (zh) 可穿戴装置的手势识别方法及装置
WO2022188259A1 (zh) 一种动态手势识别方法、手势交互方法及交互系统
CN113439275A (zh) 一种平面语义类别的识别方法以及图像数据处理装置
CN113029153B (zh) 基于智能手机多传感器融合和svm分类的多场景pdr定位方法
Iyer et al. Generalized hand gesture recognition for wearable devices in IoT: Application and implementation challenges
US10551195B2 (en) Portable device with improved sensor position change detection
WO2018014432A1 (zh) 语音应用触发控制方法、装置及终端
TWI812053B (zh) 定位方法、電子設備及電腦可讀儲存媒體
CN111126294B (zh) 一种基于移动终端数据识别终端用户步态的方法和服务器
KR101870542B1 (ko) 모션 인식 방법 및 장치
US10678337B2 (en) Context aware movement recognition system
Teng et al. ARPDR: An accurate and robust pedestrian dead reckoning system for indoor localization on handheld smartphones
KR101987308B1 (ko) 노이즈를 고려한 동작 인식 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Building 613A, Building 5, Qilin Artificial Intelligence Industrial Park, No. 266 Chuangyan Road, Qilin Technology Innovation Park, Nanjing City, Jiangsu Province, 211135

Patentee after: Zhongke Wuqi (Nanjing) Technology Co.,Ltd.

Address before: Room 310, Jingyi Science and Technology Building, No. 9, Dazhongsi East Road, Haidian District, Beijing 100086

Patentee before: JEEJIO (BEIJING) TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address