CN111723624B - 一种头部运动跟踪方法和系统 - Google Patents

一种头部运动跟踪方法和系统 Download PDF

Info

Publication number
CN111723624B
CN111723624B CN201910222446.1A CN201910222446A CN111723624B CN 111723624 B CN111723624 B CN 111723624B CN 201910222446 A CN201910222446 A CN 201910222446A CN 111723624 B CN111723624 B CN 111723624B
Authority
CN
China
Prior art keywords
head
information
position information
posture
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910222446.1A
Other languages
English (en)
Other versions
CN111723624A (zh
Inventor
董泽华
陈丽莉
楚明磊
张�浩
孙建康
薛鸿臻
马福强
刘小磊
王云奇
闫桂新
崔利阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910222446.1A priority Critical patent/CN111723624B/zh
Priority to PCT/CN2020/076379 priority patent/WO2020192326A1/zh
Publication of CN111723624A publication Critical patent/CN111723624A/zh
Application granted granted Critical
Publication of CN111723624B publication Critical patent/CN111723624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

本发明提供一种头部运动跟踪方法和系统。该方法包括采集头部运动的实测角速度和加速度信息；检测脸部信息，并根据脸部信息获得头部实测姿态和位置信息；将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合，以获得优化的头部姿态和位置信息。该方法能够实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正，从而获得优化的头部姿态和位置信息，相对于头部的实测姿态和位置信息，优化的姿态和位置信息能够获得较高帧率，且其中滤掉了实测姿态和位置信息固有的高频噪声，进而避免发生头部运动跟踪的场景滞后和跳动等现象，提高了头部运动跟踪的准确性和稳定性。

Description

一种头部运动跟踪方法和系统
技术领域
本发明涉及头部运动检测技术领域，具体地，涉及一种头部运动跟踪方法和系统。
背景技术
人脸检测技术是通过检测人脸特征点，计算获得头部位姿的一种有效方法，广泛应用在人机交互等多个领域。人脸检测技术由于复杂的计算过程等因素的影响，频率较低。而且，人脸检测的精度提升困难，对设备要求较高，得到的头部位姿存在高频噪声。不借助任何外部设备辅助，位姿预测值往往偏离头部实际位姿较多，造成场景滞后、跳动等现象，使头部位姿检测不够准确和稳定。
IMU(Inertial measurement unit，惯性测量单元)通常包含角速度计、加速度计，可以测量得到头部实时的角速度、加速度信息。IMU得到的信息频率高，而且根据角速度和加速度信息能在短时间内获得相对比较准确的头部姿态和位置信息。但IMU的长时间积分漂移会影响头部姿态和位置检测的准确性和稳定性。
发明内容
本发明针对现有技术中存在的上述技术问题，提供一种头部运动跟踪方法和系统。该头部运动跟踪方法，能够实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正，从而获得优化的头部姿态和位置信息，相对于头部的实测姿态和位置信息，优化的姿态和位置信息能够获得较高帧率，且其中滤掉了实测姿态和位置信息固有的高频噪声，进而避免发生头部运动跟踪的场景滞后和跳动等现象，提高了头部运动跟踪的准确性和稳定性。
本发明提供一种头部运动跟踪方法，包括：
采集头部运动的实测角速度和加速度信息；
检测脸部信息，并根据脸部信息获得头部实测姿态和位置信息；还包括：
将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合，以获得优化的头部姿态和位置信息。
优选地，通过构建扩展卡尔曼滤波融合框架，将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合，以获得优化的头部姿态和位置信息，该步骤包括：
步骤S120：根据实测角速度和加速度信息对实测姿态信息和位置信息进行状态更新，以获得头部姿态信息和位置信息的预测数据；
步骤S121：计算头部姿态信息和位置信息的预测数据的不准确程度；
步骤S122：根据所述不准确程度计算卡尔曼增益；
步骤S123：根据所述卡尔曼增益估计头部姿态信息和位置信息的最优值。
优选地，所述通过构建扩展卡尔曼滤波融合框架，将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合，以获得优化的头部姿态和位置信息在所述步骤S123之后还包括：
步骤S124：根据所述卡尔曼增益计算最优值的不准确程度。
优选地，所述步骤S120包括：
构建以头部实测姿态信息和位置信息为状态量的状态更新方程；
通过头部运动实测加速度信息对头部实测位置信息进行更新，以获得头部位置信息的预测数据；
通过头部运动实测角速度信息对头部实测姿态信息进行更新，以获得头部姿态信息的预测数据。
优选地，所述通过头部运动实测加速度信息对头部实测位置信息进行更新，以获得头部位置信息的预测数据包括：
通过头部运动实测加速度信息对头部运动速度信息进行更新，更新公式为：
通过头部运动速度信息对头部实测位置信息进行更新，更新公式为：
其中，为当前时刻T头部运动速度；/>为上一时刻T-1头部运动速度；/>为当前时刻T头部运动实测加速度；ΔT为当前时刻T与上一时刻T-1之间的时间间隔；/>为当前时刻T的头部位置预测值；/>为上一时刻T-1的头部位置实测值。
优选地，通过头部运动实测角速度信息对头部实测姿态信息进行更新的公式为：
其中，为当前时刻T的头部姿态预测值；/>为上一时刻T-1的头部姿态实测值；wx、wy、wz分别为当前时刻T头部运动实测角速度沿空间坐标系中x轴、y轴、z轴方向的角速度向量；ΔT为当前时刻T与上一时刻T-1之间的时间间隔。
优选地，头部姿态信息和位置信息的预测数据的不准确程度的计算公式为：
其中，为当前时刻T头部姿态信息和位置信息的预测数据的不准确程度；为上一时刻T-1头部姿态信息和位置信息的最优值的不准确程度；A为当前时刻头部姿态信息和位置信息的预测数据，且该预测数据为合并矩阵；AT为矩阵A的转置；C为扩展卡尔曼滤波融合系统本身的噪声。
优选地，根据所述不准确程度计算卡尔曼增益的计算公式为：
其中，Kg为卡尔曼增益；H为对头部实测姿态信息和位置信息的变化过程函数求雅各比矩阵得到的状态转移矩阵；HT为H矩阵的转置；D为扩展卡尔曼滤波融合系统的测量噪声矩阵。
优选地，根据所述卡尔曼增益估计头部姿态信息和位置信息的最优值的计算公式为：
其中，为头部姿态信息和位置信息的最优值；/>为当前时刻头部姿态信息和位置信息的预测数据；ZT为头部实测姿态和位置信息，/>h为头部实测姿态信息和位置信息的变化过程函数。
优选地，根据所述卡尔曼增益计算最优值的不准确程度的计算公式为：
其中，为最优值的不准确程度；/>为当前时刻T头部姿态信息和位置信息的预测数据的不准确程度；Kg为卡尔曼增益；H为对头部实测姿态信息和位置信息的变化过程函数求雅各比矩阵得到的状态转移矩阵。
优选地，实测角速度和加速度信息的采集频率大于或等于实测姿态和位置信息的检测频率；
当前时刻，若同时获得头部运动的实测角速度和加速度信息以及头部实测姿态和位置信息，则实测姿态信息和位置信息为当前时刻实测获得的姿态信息和位置信息；
当前时刻，若只获得头部运动的实测角速度和加速度信息，则实测姿态信息和位置信息为上一时刻的头部姿态信息和位置信息的预测数据。
本发明还提供一种头部运动跟踪系统，包括：
采集模块，用于采集头部运动的实测角速度和加速度信息；
检测获取模块，用于检测脸部信息，并根据脸部信息获得头部实测姿态和位置信息；还包括：
数据融合模块，用于将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合，以获得优化的头部姿态和位置信息。
优选地，所述数据融合模块包括：
融合框架构建单元，用于构建扩展卡尔曼滤波融合框架；
数据预测单元，用于根据实测角速度和加速度信息对实测姿态信息和位置信息进行状态更新，以获得头部姿态信息和位置信息的预测数据；
第一计算单元，用于计算头部姿态信息和位置信息的预测数据的不准确程度；
第二计算单元，用于根据所述不准确程度计算卡尔曼增益；
最优值估计单元，用于根据所述卡尔曼增益估计头部姿态信息和位置信息的最优值。
优选地，所述数据融合模块还包括：
第三计算单元，用于根据所述卡尔曼增益计算所述最优值的不准确程度。
本发明的有益效果：本发明所提供的头部运动跟踪方法，通过将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合，能够实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正，从而获得优化的头部姿态和位置信息，相对于头部的实测姿态和位置信息，优化的姿态和位置信息能够获得较高帧率，且其中滤掉了实测姿态和位置信息固有的高频噪声，进而避免发生头部运动跟踪的场景滞后和跳动等现象，提高了头部运动跟踪的准确性和稳定性。
本发明所提供的头部运动跟踪系统，通过设置数据融合模块，能实现将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合，从而实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正，进而获得优化的头部姿态和位置信息，相对于头部的实测姿态和位置信息，优化的姿态和位置信息能够获得较高帧率，且其中滤掉了实测姿态和位置信息固有的高频噪声，进而避免发生头部运动跟踪的场景滞后和跳动等现象，提高了头部运动跟踪的准确性和稳定性。
附图说明
图1为本发明实施例1中头部运动跟踪方法的流程图；
图2为本发明实施例2中头部运动跟踪方法的步骤S12的具体流程图；
图3为实测角速度和加速度信息的采集频率与实测姿态和位置信息的检测频率相等的示意图；
图4为实测角速度和加速度信息的采集频率大于实测姿态和位置信息的检测频率的示意图；
图5为优化后的头部姿态曲线与单独通过脸部信息检测获得的头部姿态曲线的对比示意图；
图6为优化后的头部位置曲线与单独通过脸部信息检测获得的头部位置曲线的对比示意图；
图7为优化后的头部姿态曲线与单独采用角速度和加速度信息获得的头部姿态曲线的对比示意图；
图8为优化后的头部位置曲线与单独采用角速度和加速度信息获得的头部位置曲线的对比示意图；
图9为本发明实施例3中头部运动跟踪系统的原理框图。
其中的附图标记说明：
1.采集模块；2.检测获取模块；3.数据融合模块；30.融合框架构建单元；31.数据预测单元；32.第一计算单元；33.第二计算单元；34.最优值估计单元；35.第三计算单元。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种头部运动跟踪方法和系统作进一步详细描述。
为了解决人脸检测的头部运动位姿不够准确和稳定的技术问题，本发明实施例1提供一种头部运动跟踪方法，如图1所示，包括：
步骤S10：采集头部运动的实测角速度和加速度信息。
步骤S11：检测脸部信息，并根据脸部信息获得头部实测姿态和位置信息。还包括：
步骤S12：将实测角速度和加速度信息与实测姿态和位置信息进行融合，以获得优化的头部姿态和位置信息。
该头部运动跟踪方法通常应用于人机交互等领域。人机交互时需要对人头部的运动进行准确、稳定的跟踪，即人机交互时需要获得人头部运动的准确和稳定的姿态和位置信息。
本实施例中的头部运动跟踪方法，通过将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合，能够实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正，从而获得优化的头部姿态和位置信息，相对于头部的实测姿态和位置信息，优化的姿态和位置信息能够获得较高帧率，且其中滤掉了实测姿态和位置信息固有的高频噪声，进而避免发生头部运动跟踪的场景滞后和跳动等现象，提高了头部运动跟踪的准确性和稳定性。
本发明实施例2提供一种头部运动跟踪方法，包括：
步骤S10：采集头部运动的实测角速度和加速度信息。
该步骤中，通过IMU单元(惯性测量单元)采集头部运动的实测角速度和加速度信息。
步骤S11：检测脸部信息，并根据脸部信息获得头部实测姿态和位置信息。
该步骤中，通过相机等脸部信息检测设备，检测脸部信息，并将脸部信息传输至计算机等数据处理设备，经过对脸部信息进行运算处理后得到头部运动的实测姿态和位置信息。
其中，根据脸部信息检测获得头部实测姿态和位置信息的方法有很多，均为比较成熟的技术，下面简述其中一种：
①利用双目摄像头实时获取人脸图片，在同一时刻，两个摄像头各获取一张图片，分别记为图片A、图片B；
②提取两张图片中人脸的特征点，并完成匹配，获得多组匹配成功的特征点对；
③根据多组特征点对，利用对极几何原理，获得此时人脸相对于摄像头的位置，以及人脸的姿态，即获得上述实测姿态和位置信息。其中，实测姿态信息为旋转矩阵，实测位置信息为平移矩阵。
头部运动跟踪方法还包括：
步骤S12：将实测角速度和加速度信息与实测姿态和位置信息进行融合，以获得优化的头部姿态和位置信息。
该步骤通过构建扩展卡尔曼滤波融合框架，将实测角速度和加速度信息与实测姿态和位置信息进行融合，具体包括：如图2所示，
步骤S120：根据实测角速度和加速度信息对实测姿态信息和位置信息进行状态更新，以获得头部姿态信息和位置信息的预测数据。
该步骤具体包括：
步骤S1201：构建以头部实测姿态信息和位置信息为状态量的状态更新方程。
其中，实测姿态信息通过姿态四元数表征。实测位置信息通过位置矩阵表征。
步骤S1202：通过头部运动实测加速度信息对头部实测位置信息进行更新，以获得头部位置信息的预测数据。
该步骤包括：
通过头部运动实测加速度信息对头部运动速度信息进行更新，更新公式为：
通过头部运动速度信息对头部实测位置信息进行更新，更新公式为：
其中，为当前时刻T头部运动速度；/>为上一时刻T-1头部运动速度；/>为当前时刻T头部运动实测加速度；ΔT为当前时刻T与上一时刻T-1之间的时间间隔；/>为当前时刻T的头部位置预测值；/>为上一时刻T-1的头部位置实测值。
当前时刻T的头部位置预测值通过位置矩阵表征。
步骤S1203：通过头部运动实测角速度信息对头部实测姿态信息进行更新，以获得头部姿态信息的预测数据。
其中，通过头部运动实测角速度信息对头部实测姿态信息进行更新的公式为：
其中，为当前时刻T的头部姿态预测值；/>为上一时刻T-1的头部姿态实测值；wx、wy、wz分别为当前时刻T头部运动实测角速度沿空间坐标系中x轴、y轴、z轴方向的角速度向量；ΔT为当前时刻T与上一时刻T-1之间的时间间隔。
当前时刻T的头部姿态预测值通过姿态四元数表征。
步骤S121：计算头部姿态信息和位置信息的预测数据的不准确程度。
其中，头部姿态信息和位置信息的预测数据的不准确程度的计算公式为：
其中，为当前时刻T头部姿态信息和位置信息的预测数据的不准确程度；为上一时刻T-1头部姿态信息和位置信息的最优值的不准确程度；A为当前时刻头部姿态信息和位置信息的预测数据，且该预测数据为合并矩阵；AT为矩阵A的转置；C为扩展卡尔曼滤波融合系统本身的噪声。
步骤S122：根据不准确程度计算卡尔曼增益。
其中，根据不准确程度计算卡尔曼增益的计算公式为：
其中，Kg为卡尔曼增益；H为对头部实测姿态信息和位置信息的变化过程函数求雅各比矩阵得到的状态转移矩阵；HT为H矩阵的转置；D为扩展卡尔曼滤波融合系统的测量噪声矩阵。
步骤S123：根据卡尔曼增益估计头部姿态信息和位置信息的最优值。
其中，根据卡尔曼增益估计头部姿态信息和位置信息的最优值的计算公式为：
其中，为头部姿态信息和位置信息的最优值；/>为当前时刻头部姿态信息和位置信息的预测数据；ZT为头部实测姿态和位置信息，/>h为头部实测姿态信息和位置信息的变化过程函数。
步骤S124：根据卡尔曼增益计算最优值的不准确程度。
其中，根据卡尔曼增益计算最优值的不准确程度的计算公式为：
其中，为最优值的不准确程度；/>为当前时刻T头部姿态信息和位置信息的预测数据的不准确程度；Kg为卡尔曼增益；H为对头部实测姿态信息和位置信息的变化过程函数求雅各比矩阵得到的状态转移矩阵。
本实施例中，实测角速度和加速度信息的采集频率等于实测姿态和位置信息的检测频率(如图3所示)，即每个时刻均是将实测角速度和加速度信息与实测姿态和位置信息进行数据融合，获得头部姿态和位置信息的最优值。需要说明的是，在这种情况下，当前时刻的实测姿态信息和位置信息为当前时刻实测获得的姿态信息和位置信息。
另外需要说明的是，实际中，实测角速度和加速度信息的采集频率往往大于实测姿态和位置信息的检测频率(如图4所示)，即在某些时刻，只采集获得实测角速度和加速度信息，而没有获得实测姿态和位置信息，在此种情况下，实测姿态信息和位置信息为上一时刻的头部姿态信息和位置信息的预测数据。
通过在各个不同时刻都循环执行步骤S120-步骤S124，能够获得不同时刻的头部姿态信息和位置信息的最优值，从而使由各个不同时刻构成的连续的头部运动跟踪更加准确和稳定。
步骤S120-步骤S124通过构建扩展卡尔曼滤波融合框架，将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合，能够实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正，相对未校正前获得较高帧率的头部姿态和位置信息，滤除掉实测姿态和位置信息固有的高频噪声，使优化后的头部姿态和位置信息相对单独通过脸部信息检测获得的头部姿态和位置信息更加准确和稳定(如图5和图6所示)；同时，将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合，还能校正实测角速度和加速度信息的长时间积分漂移，使优化后的头部姿态和位置信息相对单独采用角速度和加速度信息获得的头部姿态和位置信息更加准确和稳定(如图7和图8所示)，从而避免发生头部运动跟踪的场景滞后和跳动等现象，提高了头部运动跟踪的准确性和稳定性。
实施例1-2的有益效果：实施例1-2中所提供的头部运动跟踪方法，通过将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合，能够实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正，从而获得优化的头部姿态和位置信息，相对于头部的实测姿态和位置信息，优化的姿态和位置信息能够获得较高帧率，且其中滤掉了实测姿态和位置信息固有的高频噪声，进而避免发生头部运动跟踪的场景滞后和跳动等现象，提高了头部运动跟踪的准确性和稳定性。
基于实施例2中所提供的头部运动跟踪方法，本发明实施例3提供一种头部运动跟踪系统，如图9所示，包括：采集模块1，用于采集头部运动的实测角速度和加速度信息。检测获取模块2，用于检测脸部信息，并根据脸部信息获得头部实测姿态和位置信息。还包括：数据融合模块3，用于将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合，以获得优化的头部姿态和位置信息。
通过设置数据融合模块3，能实现将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合，从而实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正，进而获得优化的头部姿态和位置信息，相对于头部的实测姿态和位置信息，优化的姿态和位置信息能够获得较高帧率，且其中滤掉了实测姿态和位置信息固有的高频噪声，进而避免发生头部运动跟踪的场景滞后和跳动等现象，提高了头部运动跟踪的准确性和稳定性。
其中，采集模块1采用IMU单元(即惯性测量单元)。检测获取模块2包括脸部信息检测设备和数据处理设备，脸部信息检测设备如相机，数据处理设备如计算机。如相机利用双目摄像头实时获取人脸图片，在同一时刻，两个摄像头各获取一张图片，分别记为图片A、图片B；将图片输入到计算机中，计算机处理单元提取两张图片中人脸的特征点，并完成匹配，获得多组匹配成功的特征点对；然后根据多组特征点对，利用对极几何原理，获得此时人脸相对于摄像头的位置，以及人脸的姿态，即获得上述实测姿态和位置信息。
本实施例中，数据融合模块3包括：融合框架构建单元30，用于构建扩展卡尔曼滤波融合框架。数据预测单元31，用于根据实测角速度和加速度信息对实测姿态信息和位置信息进行状态更新，以获得头部姿态信息和位置信息的预测数据。第一计算单元32，用于计算头部姿态信息和位置信息的预测数据的不准确程度。第二计算单元33，用于根据不准确程度计算卡尔曼增益。最优值估计单元34，用于根据卡尔曼增益估计头部姿态信息和位置信息的最优值。还包括第三计算单元35，用于根据卡尔曼增益计算最优值的不准确程度。
数据融合模块3通过构建扩展卡尔曼滤波融合框架，对头部的实测角速度和加速度信息与实测姿态和位置信息进行融合计算的具体过程在实施例2中已详细阐述，此处不再赘述。
数据融合模块3通过设置融合框架构建单元30、数据预测单元31、第一计算单元32、第二计算单元33、最优值估计单元34和第三计算单元35，能够通过扩展卡尔曼滤波融合框架，将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合，实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正，相对未校正前获得较高帧率的头部姿态和位置信息，滤除掉实测姿态和位置信息固有的高频噪声，使优化后的头部姿态和位置信息相对单独通过脸部信息检测获得的头部姿态和位置信息更加准确和稳定；同时，将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合，还能校正实测角速度和加速度信息的长时间积分漂移，使优化后的头部姿态和位置信息相对单独采用角速度和加速度信息获得的头部姿态和位置信息更加准确和稳定，从而避免发生头部运动跟踪的场景滞后和跳动等现象，提高了头部运动跟踪的准确性和稳定性。
实施例3的有益效果：实施例3中所提供的头部运动跟踪系统，通过设置数据融合模块，能实现通过构建扩展卡尔曼滤波融合框架，将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合，从而实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正，进而获得优化的头部姿态和位置信息，相对于头部的实测姿态和位置信息，优化的姿态和位置信息能够获得较高帧率，且其中滤掉了实测姿态和位置信息固有的高频噪声，进而避免发生头部运动跟踪的场景滞后和跳动等现象，提高了头部运动跟踪的准确性和稳定性。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (12)

1.一种头部运动跟踪方法，包括：
采集头部运动的实测角速度和加速度信息；
检测脸部信息，并根据脸部信息获得头部实测姿态和位置信息；其特征在于，还包括：
将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合，以获得优化的头部姿态和位置信息；
通过构建扩展卡尔曼滤波融合框架，将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合，以获得优化的头部姿态和位置信息，该步骤包括：
步骤S120：根据实测角速度和加速度信息对实测姿态信息和位置信息进行状态更新，以获得头部姿态信息和位置信息的预测数据；
步骤S121：计算头部姿态信息和位置信息的预测数据的不准确程度；
步骤S122：根据所述不准确程度计算卡尔曼增益；
步骤S123：根据所述卡尔曼增益估计头部姿态信息和位置信息的最优值。
2.根据权利要求1所述的头部运动跟踪方法，其特征在于，所述通过构建扩展卡尔曼滤波融合框架，将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合，以获得优化的头部姿态和位置信息在所述步骤S123之后还包括：
步骤S124：根据所述卡尔曼增益计算最优值的不准确程度。
3.根据权利要求2所述的头部运动跟踪方法，其特征在于，所述步骤S120包括：
构建以头部实测姿态信息和位置信息为状态量的状态更新方程；
通过头部运动实测加速度信息对头部实测位置信息进行更新，以获得头部位置信息的预测数据；
通过头部运动实测角速度信息对头部实测姿态信息进行更新，以获得头部姿态信息的预测数据。
4.根据权利要求3所述的头部运动跟踪方法，其特征在于，所述通过头部运动实测加速度信息对头部实测位置信息进行更新，以获得头部位置信息的预测数据包括：
通过头部运动实测加速度信息对头部运动速度信息进行更新，更新公式为：
通过头部运动速度信息对头部实测位置信息进行更新，更新公式为：
其中，为当前时刻T头部运动速度；/>为上一时刻T-1头部运动速度；/>为当前时刻T头部运动实测加速度；ΔT为当前时刻T与上一时刻T-1之间的时间间隔；/>为当前时刻T的头部位置预测值；/>为上一时刻T-1的头部位置实测值。
5.根据权利要求4所述的头部运动跟踪方法，其特征在于，通过头部运动实测角速度信息对头部实测姿态信息进行更新的公式为：
其中，为当前时刻T的头部姿态预测值；/>为上一时刻T-1的头部姿态实测值；wx、wy、wz分别为当前时刻T头部运动实测角速度沿空间坐标系中x轴、y轴、z轴方向的角速度向量；ΔT为当前时刻T与上一时刻T-1之间的时间间隔。
6.根据权利要求5所述的头部运动跟踪方法，其特征在于，头部姿态信息和位置信息的预测数据的不准确程度的计算公式为：
其中，为当前时刻T头部姿态信息和位置信息的预测数据的不准确程度；/>为上一时刻T-1头部姿态信息和位置信息的最优值的不准确程度；A为当前时刻头部姿态信息和位置信息的预测数据，且该预测数据为合并矩阵；AT为矩阵A的转置；C为扩展卡尔曼滤波融合系统本身的噪声。
7.根据权利要求6所述的头部运动跟踪方法，其特征在于，根据所述不准确程度计算卡尔曼增益的计算公式为：
其中，Kg为卡尔曼增益；H为对头部实测姿态信息和位置信息的变化过程函数求雅各比矩阵得到的状态转移矩阵；HT为H矩阵的转置；D为扩展卡尔曼滤波融合系统的测量噪声矩阵。
8.根据权利要求7所述的头部运动跟踪方法，其特征在于，根据所述卡尔曼增益估计当前时刻头部姿态信息和位置信息的最优值的计算公式为：
其中，为当前时刻头部姿态信息和位置信息的最优值；/>为当前时刻头部姿态信息和位置信息的预测数据；ZT为当前时刻头部实测姿态和位置信息，h为头部实测姿态信息和位置信息的变化过程函数。
9.根据权利要求8所述的头部运动跟踪方法，其特征在于，根据所述卡尔曼增益计算当前时刻最优值的不准确程度的计算公式为：
其中，为当前时刻最优值的不准确程度；/>为当前时刻T头部姿态信息和位置信息的预测数据的不准确程度；Kg为卡尔曼增益；H为对头部实测姿态信息和位置信息的变化过程函数求雅各比矩阵得到的状态转移矩阵。
10.根据权利要求9所述的头部运动跟踪方法，其特征在于，实测角速度和加速度信息的采集频率大于或等于实测姿态和位置信息的检测频率；
当前时刻，若同时获得头部运动的实测角速度和加速度信息以及头部实测姿态和位置信息，则实测姿态信息和位置信息为当前时刻实测获得的姿态信息和位置信息；
当前时刻，若只获得头部运动的实测角速度和加速度信息，则实测姿态信息和位置信息为上一时刻的头部姿态信息和位置信息的预测数据。
11.一种头部运动跟踪系统，包括：
采集模块，用于采集头部运动的实测角速度和加速度信息；
检测获取模块，用于检测脸部信息，并根据脸部信息获得头部实测姿态和位置信息；其特征在于，还包括：
数据融合模块，用于将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合，以获得优化的头部姿态和位置信息；
所述数据融合模块包括：
融合框架构建单元，用于构建扩展卡尔曼滤波融合框架；
数据预测单元，用于根据实测角速度和加速度信息对实测姿态信息和位置信息进行状态更新，以获得头部姿态信息和位置信息的预测数据；
第一计算单元，用于计算头部姿态信息和位置信息的预测数据的不准确程度；
第二计算单元，用于根据所述不准确程度计算卡尔曼增益；
最优值估计单元，用于根据所述卡尔曼增益估计头部姿态信息和位置信息的最优值。
12.根据权利要求11所述的头部运动跟踪系统，其特征在于，所述数据融合模块还包括：
第三计算单元，用于根据所述卡尔曼增益计算所述最优值的不准确程度。
CN201910222446.1A 2019-03-22 2019-03-22 一种头部运动跟踪方法和系统 Active CN111723624B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910222446.1A CN111723624B (zh) 2019-03-22 2019-03-22 一种头部运动跟踪方法和系统
PCT/CN2020/076379 WO2020192326A1 (zh) 2019-03-22 2020-02-24 一种头部运动跟踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910222446.1A CN111723624B (zh) 2019-03-22 2019-03-22 一种头部运动跟踪方法和系统

Publications (2)

Publication Number Publication Date
CN111723624A CN111723624A (zh) 2020-09-29
CN111723624B true CN111723624B (zh) 2023-12-05

Family

ID=72562800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910222446.1A Active CN111723624B (zh) 2019-03-22 2019-03-22 一种头部运动跟踪方法和系统

Country Status (2)

Country Link
CN (1) CN111723624B (zh)
WO (1) WO2020192326A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147164A (zh) * 2019-05-22 2019-08-20 京东方科技集团股份有限公司 头部运动跟踪方法、设备、系统及存储介质
CN113031660B (zh) * 2021-04-02 2023-03-17 中北大学 一种飞行器定向天线跟踪定位装置
CN113536900A (zh) * 2021-05-31 2021-10-22 浙江大华技术股份有限公司 人脸图像的质量评价方法、装置以及计算机可读存储介质
CN117008711A (zh) * 2022-04-29 2023-11-07 华为技术有限公司 确定头部姿态的方法以及装置
CN116578910B (zh) * 2023-07-13 2023-09-15 成都航空职业技术学院 一种训练动作识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015217053A (ja) * 2014-05-15 2015-12-07 国立大学法人東北大学 運動測定装置ならびに運動測定方法
CN106017463A (zh) * 2016-05-26 2016-10-12 浙江大学 一种基于定位传感装置的飞行器定位方法
JP2017023436A (ja) * 2015-07-23 2017-02-02 国立大学法人北海道大学 歩行解析方法および歩行解析システム
CN109376785A (zh) * 2018-10-31 2019-02-22 东南大学 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799934A (zh) * 2010-04-02 2010-08-11 北京大学软件与微电子学院无锡产学研合作教育基地 一种基于微机电惯性传感网络的实时人体运动捕捉系统
JP6540691B2 (ja) * 2014-04-22 2019-07-10 ソニー株式会社 頭部位置検出装置及び頭部位置検出方法、画像処理装置及び画像処理方法、表示装置、並びにコンピューター・プログラム
CN109328094B (zh) * 2016-08-09 2021-06-01 株式会社比弗雷斯 运动识别方法及装置
CN106767790B (zh) * 2017-01-12 2019-11-08 厦门大学 人体下肢运动模型与卡尔曼滤波融合估计行人移动跟踪的方法
CN109011506B (zh) * 2018-07-12 2020-09-15 深圳市虚数科技有限公司 一种训练动作识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015217053A (ja) * 2014-05-15 2015-12-07 国立大学法人東北大学 運動測定装置ならびに運動測定方法
JP2017023436A (ja) * 2015-07-23 2017-02-02 国立大学法人北海道大学 歩行解析方法および歩行解析システム
CN106017463A (zh) * 2016-05-26 2016-10-12 浙江大学 一种基于定位传感装置的飞行器定位方法
CN109376785A (zh) * 2018-10-31 2019-02-22 东南大学 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法

Also Published As

Publication number Publication date
WO2020192326A1 (zh) 2020-10-01
CN111723624A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN111723624B (zh) 一种头部运动跟踪方法和系统
CN109376785B (zh) 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法
CN108225308B (zh) 一种基于四元数的扩展卡尔曼滤波算法的姿态解算方法
CN104501814B (zh) 一种基于视觉和惯性信息的姿态与位置估计方法
KR101950359B1 (ko) 하이브리드 모션캡쳐 시스템의 위치 추정 방법
CN110702107A (zh) 一种单目视觉惯性组合的定位导航方法
CN108090921A (zh) 单目视觉和imu融合的自适应室内定位方法
CN105931275A (zh) 基于移动端单目和imu融合的稳定运动跟踪方法和装置
CN110231028B (zh) 飞行器导航方法、装置和系统
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
CN110553648A (zh) 一种用于室内导航的方法和系统
CN112683269B (zh) 一种附有运动加速度补偿的marg姿态计算方法
CN110207693B (zh) 一种鲁棒立体视觉惯性预积分slam方法
US11042984B2 (en) Systems and methods for providing image depth information
CN109724602A (zh) 一种基于硬件fpu的姿态解算系统及其解算方法
CN112815939A (zh) 移动机器人的位姿估计方法及计算机可读存储介质
CN109764870B (zh) 基于变换估计量建模方案的载体初始航向估算方法
JP7182020B2 (ja) 情報処理方法、装置、電子機器、記憶媒体およびプログラム
CN112985450A (zh) 一种具有同步时间误差估计的双目视觉惯性里程计方法
CN112284381A (zh) 视觉惯性实时初始化对准方法及系统
CN109674480B (zh) 一种基于改进互补滤波的人体运动姿态解算方法
CN115235455B (zh) 一种基于智能手机pdr与视觉修正的行人定位方法
CN115727871A (zh) 一种轨迹质量检测方法、装置、电子设备和存储介质
CN114440877B (zh) 一种异步多相机视觉惯性里程计定位方法
CN106441282B (zh) 一种星敏感器星跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant