CN116263341A - 基于深度视频技术的imu数据矫正方法及系统 - Google Patents

Abstract

本发明公开了基于深度视频技术的IMU数据矫正方法，包括：通过配置于健身镜的深度摄像头采集带有深度信息的图像信息，并通过配置于用户的IMU传感器采集IMU数据；IMU数据和图像信息沿时间轴对齐；通过图像信息生成预设点位的空间坐标，并通过空间坐标修正预设点位对应的IMU数据。本发明还公开了基于深度视频技术的IMU数据矫正系统。本发明基于深度视频技术的IMU数据矫正方法及系统，通过采集到的具有深度信息的图像信息对IMU数据进行修正，实现了对健身过程中采集到用户的IMU数据的实时修正，提高了IMU数据检测用户姿态的准确性，具有有效的实时性，提升了用户体验感。

Description

基于深度视频技术的IMU数据矫正方法及系统

技术领域

本发明涉及IMU数据处理技术，具体涉及基于深度视频技术的IMU数据矫正方法及系统。

背景技术

现有技术中，通过IMU数据进行姿态采集的方式已经开始广泛应用于无人机姿态信息和运动信息数据采集中，在采用imu数据计算位姿时，我们基于对假设是在采样周期时间间隔内对运动为匀变速运动，这一假设在一个小的采样周期内(如10ms)的误差虽然很小，但是顺着时间的推移会有累积误差，同时imu数据本身的零偏也会导致累积误差。目前对于无人机的IMU数据修正一般是基于GPS数据进行信息修正的，然而GPS数据的精度无法满足运动信息数据中的修正条件。

发明内容

本发明所要解决的技术问题是现有技术无法满足运动信息数据中的修正条件，目的在于提供基于深度视频技术的IMU数据矫正方法及系统，解决上述问题。

本发明通过下述技术方案实现：

基于深度视频技术的IMU数据矫正方法，包括：

通过配置于健身镜的深度摄像头采集带有深度信息的图像信息，并通过配置于用户的IMU传感器采集IMU数据；所述IMU数据和所述图像信息沿时间轴对齐；

通过所述图像信息生成预设点位的空间坐标，并通过所述空间坐标修正所述预设点位对应的IMU数据。

现有技术中，通过ekf技术进行多种数据与IMU数据的融合已经开始出现，尤其是通过GPS数据与IMU数据的融合，已经广泛应用到无人机的姿态检测数据调整当中。但是发明人发现对于人体的运动数据采集时，GPS数据的误差甚至会远大于IMU数据的误差，特别是进行健身活动的环境下，GPS信号也会很差，所以是难以通过现有技术对这些IMU数据进行融合修正的。

本实施例实施时，采用了图像信息进行IMU数据的融合修正，其中图像信息是具有深度信息的，即可以获取图像中某一位置到深度摄像头的位置作为该位置的深度信息。其中为了保证IMU数据修正的准确度，需要将IMU数据和图像信息沿时间轴对齐，对齐的方式可以采用IMU数据的头部和图像信息的头部进行对齐，也可以采用对不同的IMU数据及图像信息帧进行编码对齐的方式。应当理解的是，无论采用何种对齐方式，都应当被认定为在本申请的保护范围之内。

在本实施例中，通过图像信息生成预设点位的空间坐标的方式，可以对IMU数据进行修正。示例的，作为一种IMU数据修正方式，采用ekf技术对IMU数据的加速度矩阵进行融合修正；在这个过程中，可以通过对IMU数据进行二次积分生成位移矩阵，并将多次IMU数据的位移矩阵累加后形成所述预设点位的坐标数据，通过所述空间坐标和坐标数据进行比对，完成最终的数据修正。

应当理解的是，对于数据处理过程而言，图像信息的采集、识别和处理过程所需要消耗的计算资源是远远大于IMU数据的采集和处理的，所以在本实施例中，是通过图像信息数据对IMU数据进行修正，而不是采用图像信息数据直接生成可以用于展示的姿态信息的，这样可以有效的降低健身镜使用时的计算资源消耗，提高了健身镜对用户运动姿态识别的相应速度。

作为另一种实现方式，还可以采集至少一次的空间坐标和坐标数据的差异，然后通过该差异直接周期性的对IMU数据进行修正，这样进一步降低图像信息采集的频率，甚至停止图像信息的采集，有效的节省健身镜计算资源的消耗。本实施例通过采集到的具有深度信息的图像信息对IMU数据进行修正，实现了对健身过程中采集到用户的IMU数据的实时修正，提高了IMU数据检测用户姿态的准确性，具有有效的实时性，提升了用户体验感。

进一步的，所述IMU数据的采样频率是所述图像信息的采样频率整数倍。

进一步的，通过所述图像信息生成预设点位的空间坐标包括：

将所述健身镜的显示屏网格化形成平面坐标系；

根据所述深度摄像头的广角情况将所述平面坐标系修正为空间坐标系；

通过所述图像信息中的平面信息和所述深度信息在所述空间坐标系中生成预设点位的空间坐标。

进一步的，通过所述空间坐标修正所述预设点位对应的IMU数据包括：

获取所述预设点位的IMU数据，并将所述IMU数据处理为坐标数据形成待修正空间坐标数据；

获取所述预设点位在同一时刻的空间坐标；

根据空间坐标和所述修正空间坐标数据形成IMU误差数据，并根据所述IMU误差数据对所述IMU数据进行修正。

进一步的，通过所述空间坐标修正所述预设点位对应的IMU数据还包括：

当完成至少一次对所述IMU数据的修正时，降低所述图像信息的采样频率或者停止所述图像信息的采样；

如果停止所述图像信息的采样，则根据停止采样前的所述误差数据对停止采样后的所述IMU数据进行持续修正。

基于深度视频技术的IMU数据矫正系统，包括：

深度摄像头，被配置于健身镜，并采集带有深度信息的图像信息；

IMU传感器，被配置于用户，并采集IMU数据；所述IMU数据和所述图像信息沿时间轴对齐；

处理器，被配置为通过所述图像信息生成预设点位的空间坐标，并通过所述空间坐标修正所述预设点位对应的IMU数据。

进一步的，所述IMU数据的采样频率是所述图像信息的采样频率整数倍。

进一步的，所述处理器还被配置为：

将所述健身镜的显示屏网格化形成平面坐标系；

根据所述深度摄像头的广角情况将所述平面坐标系修正为空间坐标系；

通过所述图像信息中的平面信息和所述深度信息在所述空间坐标系中生成预设点位的空间坐标。

进一步的，所述处理器还被配置为：

获取所述预设点位的IMU数据，并将所述IMU数据处理为坐标数据形成待修正空间坐标数据；

获取所述预设点位在同一时刻的空间坐标；

根据空间坐标和所述修正空间坐标数据形成IMU误差数据，并根据所述IMU误差数据对所述IMU数据进行修正。

进一步的，所述处理器还被配置为：

当完成至少一次对所述IMU数据的修正时，降低所述图像信息的采样频率或者停止所述图像信息的采样；

如果停止所述图像信息的采样，则根据停止采样前的所述误差数据对停止采样后的所述IMU数据进行持续修正。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明基于深度视频技术的IMU数据矫正方法及系统，通过采集到的具有深度信息的图像信息对IMU数据进行修正，实现了对健身过程中采集到用户的IMU数据的实时修正，提高了IMU数据检测用户姿态的准确性，具有有效的实时性，提升了用户体验感。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明实施例方法步骤示意图；

图2为本发明实施例系统架构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

在上述基础上，请结合参阅图1，为本发明实施例所提供的基于深度视频技术的IMU数据矫正方法的流程示意图，所述基于深度视频技术的IMU数据矫正方法可以应用于图2中的基于深度视频技术的IMU数据矫正系统，进一步地，所述基于深度视频技术的IMU数据矫正方法具体可以包括以下步骤S1-步骤S2所描述的内容。

S1：通过配置于健身镜的深度摄像头采集带有深度信息的图像信息，并通过配置于用户的IMU传感器采集IMU数据；所述IMU数据和所述图像信息沿时间轴对齐；

S2：通过所述图像信息生成预设点位的空间坐标，并通过所述空间坐标修正所述预设点位对应的IMU数据。

现有技术中，通过ekf技术进行多种数据与IMU数据的融合已经开始出现，尤其是通过GPS数据与IMU数据的融合，已经广泛应用到无人机的姿态检测数据调整当中。但是发明人发现对于人体的运动数据采集时，GPS数据的误差甚至会远大于IMU数据的误差，特别是进行健身活动的环境下，GPS信号也会很差，所以是难以通过现有技术对这些IMU数据进行融合修正的。

本实施例实施时，采用了图像信息进行IMU数据的融合修正，其中图像信息是具有深度信息的，即可以获取图像中某一位置到深度摄像头的位置作为该位置的深度信息。其中为了保证IMU数据修正的准确度，需要将IMU数据和图像信息沿时间轴对齐，对齐的方式可以采用IMU数据的头部和图像信息的头部进行对齐，也可以采用对不同的IMU数据及图像信息帧进行编码对齐的方式。应当理解的是，无论采用何种对齐方式，都应当被认定为在本申请的保护范围之内。

在本实施例中，通过图像信息生成预设点位的空间坐标的方式，可以对IMU数据进行修正。示例的，作为一种IMU数据修正方式，采用ekf技术对IMU数据的加速度矩阵进行融合修正；在这个过程中，可以通过对IMU数据进行二次积分生成位移矩阵，并将多次IMU数据的位移矩阵累加后形成所述预设点位的坐标数据，通过所述空间坐标和坐标数据进行比对，完成最终的数据修正。

应当理解的是，对于数据处理过程而言，图像信息的采集、识别和处理过程所需要消耗的计算资源是远远大于IMU数据的采集和处理的，所以在本实施例中，是通过图像信息数据对IMU数据进行修正，而不是采用图像信息数据直接生成可以用于展示的姿态信息的，这样可以有效的降低健身镜使用时的计算资源消耗，提高了健身镜对用户运动姿态识别的相应速度。

作为另一种实现方式，还可以采集至少一次的空间坐标和坐标数据的差异，然后通过该差异直接周期性的对IMU数据进行修正，这样进一步降低图像信息采集的频率，甚至停止图像信息的采集，有效的节省健身镜计算资源的消耗。本实施例通过采集到的具有深度信息的图像信息对IMU数据进行修正，实现了对健身过程中采集到用户的IMU数据的实时修正，提高了IMU数据检测用户姿态的准确性，具有有效的实时性，提升了用户体验感。

在一个实施例中，所述IMU数据的采样频率是所述图像信息的采样频率整数倍。

本实施例实施时，为了进一步的节省图像信息采集处理带来的计算资源消耗，对图像信息采集的频率降低，降低的方式需要满足IMU数据的采样频率是图像信息的采样频率整数倍，这样只需要图像信息本身和IMU数据是对齐的，那么总会周期性的存在一些时刻同时具有IMU数据和图像信息中的视频帧，这就可以采用视频帧对同一时刻的IMU数据进行修正。

示例的，因为在采用imu数据计算位姿时，我们基于对假设是在采样周期时间间隔内对运动为匀变速运动，这一假设在一个小的采样周期内(如10ms)的误差虽然很小，但是顺着时间的推移会有累积误差，同时imu数据本身的零偏也会导致累积误差。此时的采样周期10ms对应的采样频率为100Hz。一般来说视频的采样频率为25Hz，那么对视频的采样频率降低后，可以采用10Hz、5Hz等采用频率进行视频采样。

在一个实施例中，通过所述图像信息生成预设点位的空间坐标包括：

将所述健身镜的显示屏网格化形成平面坐标系；

根据所述深度摄像头的广角情况将所述平面坐标系修正为空间坐标系；

通过所述图像信息中的平面信息和所述深度信息在所述空间坐标系中生成预设点位的空间坐标。

本实施例实施时，由于IMU数据采集本身采集的是加速度数据，在现有的ekf处理技术中，是通过IMU数据计算初始欧拉角，再通过四元数微分方程求解姿态转移方程，由于需要用ekf技术，所以需要转换到离散域进行求解，最终通过计算测量方程完成数据融合和误差修正。其计算过程较为复杂，明显不利于家用健身器材的计算。所以发明人采用了将具有深度信息的图像信息直接转换到空间坐标系的方式进行IMU数据的修正。示例的，在所述平面坐标系中，由于对图像进行了网格化，所以可以获取每个网格在平面坐标系中的平面坐标位置作为平面信息。同时，深度摄像头一般通过广角情况进行图像金字塔计算，进而获取深度数据，所以在本申请中采用广角情况将平面坐标系修正为空间坐标系后，可以利用深度信息将平面信息增加一个维度成为空间坐标。

示例的，在进行坐标构建时，将健身镜的屏幕网格化，优选为网格化成10*10的像素块作为一个小格，这个网格就是基础坐标，而通过深度摄像头能捕捉物体到健身镜到距离信息，因此采用图像金字塔的方式可以计算出距离魔镜任意距离处的空间坐标，此处图像金字塔就是根据摄像头的广角情况进行等比例缩放的技术方案。

在一个实施例中，通过所述空间坐标修正所述预设点位对应的IMU数据包括：

获取所述预设点位的IMU数据，并将所述IMU数据处理为坐标数据形成待修正空间坐标数据；

获取所述预设点位在同一时刻的空间坐标；

根据空间坐标和所述修正空间坐标数据形成IMU误差数据，并根据所述IMU误差数据对所述IMU数据进行修正。

本实施例实施时，将IMU数据处理以后形成待修正空间坐标数据，其过程一般采用对IMU数据的加速度数据进行二次积分形成位移数据，将所有的位移数据累加后即为修正空间坐标数据，或者根据IMU数据进行运动角分析，最终得到修正空间坐标数据。应当理解的是只需要可以形成修正空间坐标数据的计算方式都应当在本实施例的范围内。在本实施例中，进行修正时，将空间坐标和修正空间坐标数据进行比对可以形成IMU误差数据，一般的修正过程可以采用将修正空间坐标数据修正为空间坐标的方式，也可以采用修正空间坐标数据剔除IMU误差数据；其中前一种方式的方式较为简单，形成的IMU误差数据可以用于误差评估，而后一种方式可以便于后续IMU误差数据比对等功能。

示例的，以imu采样周期为10ms，视频采样周期为100ms为例，根据构建的坐标，我们能知道物体在t1时的位置，然后根据imu数据可以计算出t2～t10时的位置，同时在t10时可以通过视频数据得到物体的观测位置，因此通过观察位置与imu计算出来的位置的差值得到imu的误差，从而可以矫正imu数据。

在一个实施例中，通过所述空间坐标修正所述预设点位对应的IMU数据还包括：

当完成至少一次对所述IMU数据的修正时，降低所述图像信息的采样频率或者停止所述图像信息的采样；

如果停止所述图像信息的采样，则根据停止采样前的所述误差数据对停止采样后的所述IMU数据进行持续修正。

本实施例实施时，当完成至少一次对所述IMU数据的修正时，即认为了获取了相应的修正数据，那么可以根据这个修正数据进行后续的IMU数据修正，从而降低甚至停止图像信息采样，节约计算资源。

本实施例中，当停止图像信息的采样时，可以综合停止采样前的所述误差数据对后续的IMU数据进行持续修正。

示例的，上述持续修正过程包括：

获取连续两次生成所述误差数据的时间差作为第一时间差，并根据所述误差数据和所述第一时间差形成误差梯度；

当对IMU数据修正时，获取上一次修正到本次修正的时间差作为第二时间差，根据所述第二时间差和所述误差梯度生成对当前IMU数据修正的拟合修正值；

根据所述拟合修正值对当前IMU数据进行修正。

在本实施例中，发明人发现一般IMU数据误差的主要来源在于每次数据获取时误差的积累和IMU数据零偏所产生，而这些误差沿时间轴方向看是大致线性分布的，所以在本实施例中采用误差梯度方式进行修正，有效降低了计算资源的使用，避免了后续的图像信息的采集。

基于同样的发明构思，请参阅图2，还提供了基于深度视频技术的IMU数据矫正系统，所述系统包括深度摄像头、IMU传感器和处理器，所述深度摄像头和IMU传感器均通信连接于处理器，其中：

深度摄像头，被配置于健身镜，并采集带有深度信息的图像信息；

IMU传感器，被配置于用户，并采集IMU数据；所述IMU数据和所述图像信息沿时间轴对齐；

处理器，被配置为通过所述图像信息生成预设点位的空间坐标，并通过所述空间坐标修正所述预设点位对应的IMU数据。

在一个实施例中，所述IMU数据的采样频率是所述图像信息的采样频率整数倍。

在一个实施例中，所述处理器还被配置为：

将所述健身镜的显示屏网格化形成平面坐标系；

根据所述深度摄像头的广角情况将所述平面坐标系修正为空间坐标系；

通过所述图像信息中的平面信息和所述深度信息在所述空间坐标系中生成预设点位的空间坐标。

在一个实施例中，所述处理器还被配置为：

获取所述预设点位的IMU数据，并将所述IMU数据处理为坐标数据形成待修正空间坐标数据；

获取所述预设点位在同一时刻的空间坐标；

根据空间坐标和所述修正空间坐标数据形成IMU误差数据，并根据所述IMU误差数据对所述IMU数据进行修正。

在一个实施例中，所述处理器还被配置为：

当完成至少一次对所述IMU数据的修正时，降低所述图像信息的采样频率或者停止所述图像信息的采样；

如果停止所述图像信息的采样，则根据停止采样前的所述误差数据对停止采样后的所述IMU数据进行持续修正。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显然本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网格设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于深度视频技术的IMU数据矫正方法，其特征在于，包括：

通过配置于健身镜的深度摄像头采集带有深度信息的图像信息，并通过配置于用户的IMU传感器采集IMU数据；所述IMU数据和所述图像信息沿时间轴对齐；

通过所述图像信息生成预设点位的空间坐标，并通过所述空间坐标修正所述预设点位对应的IMU数据。

2.根据权利要求1所述的基于深度视频技术的IMU数据矫正方法，其特征在于，所述IMU数据的采样频率是所述图像信息的采样频率整数倍。

3.根据权利要求1所述的基于深度视频技术的IMU数据矫正方法，其特征在于，通过所述图像信息生成预设点位的空间坐标包括：

将所述健身镜的显示屏网格化形成平面坐标系；

根据所述深度摄像头的广角情况将所述平面坐标系修正为空间坐标系；

通过所述图像信息中的平面信息和所述深度信息在所述空间坐标系中生成预设点位的空间坐标。

4.根据权利要求1所述的基于深度视频技术的IMU数据矫正方法，其特征在于，通过所述空间坐标修正所述预设点位对应的IMU数据包括：

获取所述预设点位的IMU数据，并将所述IMU数据处理为坐标数据形成待修正空间坐标数据；

获取所述预设点位在同一时刻的空间坐标；

根据空间坐标和所述修正空间坐标数据形成IMU误差数据，并根据所述IMU误差数据对所述IMU数据进行修正。

5.根据权利要求4所述的基于深度视频技术的IMU数据矫正方法，其特征在于，通过所述空间坐标修正所述预设点位对应的IMU数据还包括：

当完成至少一次对所述IMU数据的修正时，降低所述图像信息的采样频率或者停止所述图像信息的采样；

如果停止所述图像信息的采样，则根据停止采样前的所述误差数据对停止采样后的所述IMU数据进行持续修正。

6.基于深度视频技术的IMU数据矫正系统，其特征在于，包括：

深度摄像头，被配置于健身镜，并采集带有深度信息的图像信息；

IMU传感器，被配置于用户，并采集IMU数据；所述IMU数据和所述图像信息沿时间轴对齐；

处理器，被配置为通过所述图像信息生成预设点位的空间坐标，并通过所述空间坐标修正所述预设点位对应的IMU数据。

7.根据权利要求6所述的基于深度视频技术的IMU数据矫正系统，其特征在于，所述IMU数据的采样频率是所述图像信息的采样频率整数倍。

8.根据权利要求6所述的基于深度视频技术的IMU数据矫正系统，其特征在于，所述处理器还被配置为：

将所述健身镜的显示屏网格化形成平面坐标系；

根据所述深度摄像头的广角情况将所述平面坐标系修正为空间坐标系；

通过所述图像信息中的平面信息和所述深度信息在所述空间坐标系中生成预设点位的空间坐标。

9.根据权利要求6所述的基于深度视频技术的IMU数据矫正系统，其特征在于，所述处理器还被配置为：

获取所述预设点位的IMU数据，并将所述IMU数据处理为坐标数据形成待修正空间坐标数据；

获取所述预设点位在同一时刻的空间坐标；

根据空间坐标和所述修正空间坐标数据形成IMU误差数据，并根据所述IMU误差数据对所述IMU数据进行修正。

10.根据权利要求9所述的基于深度视频技术的IMU数据矫正系统，其特征在于，所述处理器还被配置为：

当完成至少一次对所述IMU数据的修正时，降低所述图像信息的采样频率或者停止所述图像信息的采样；

如果停止所述图像信息的采样，则根据停止采样前的所述误差数据对停止采样后的所述IMU数据进行持续修正。

Images