CN114322946B - 一种具有高保真度的从光学数据到惯性数据的转化方法 - Google Patents
一种具有高保真度的从光学数据到惯性数据的转化方法 Download PDFInfo
- Publication number
- CN114322946B CN114322946B CN202111682644.XA CN202111682644A CN114322946B CN 114322946 B CN114322946 B CN 114322946B CN 202111682644 A CN202111682644 A CN 202111682644A CN 114322946 B CN114322946 B CN 114322946B
- Authority
- CN
- China
- Prior art keywords
- optical
- data
- optical signal
- motion field
- inertial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000033001 locomotion Effects 0.000 claims abstract description 62
- 241000282414 Homo sapiens Species 0.000 claims abstract description 32
- 230000000694 effects Effects 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 230000007787 long-term memory Effects 0.000 claims abstract description 7
- 230000006403 short-term memory Effects 0.000 claims abstract description 4
- 230000009471 action Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及计算机可穿戴计算领域，旨在提供一种具有高保真度的从光学数据到惯性数据的转化方法。包括：使用相机传感器采集人体日常活动的形成的光信号数据；对光信号数据进行处理，获得光学运动场数据；将光信号数据转换为惯性数据，结合追踪区域的信息以及光线投影的人体运动学约束信息，使用长短期记忆网络来重建惯性数据。本发明基于人体表面光反射的光度效应，实现了具有高保真度的光信号到惯性数据的转化，所得到的惯性数据与人体运动学知识具有高度相关性；可以生成更多的惯性数据供研究人员分析工作场景下的工人的体姿，提高职业安全保护；可以应用在不易部署可穿戴设备的情况下，为使用者提供现场人体运动数据分析。
Description
技术领域
本发明涉及计算机可穿戴计算领域，尤其涉及一种基于光度效应和人体运动模型的光学惯性数据的转化方法。
背景技术
人类日常的生活活动(Activities of Daily Living，ADL)是用来评估个体健康状况的关键指标，ADL数据目前已被广泛应用于智慧建筑、智慧健康和人机交互等领域。尤其是对于人体健康检测，如心脏病预测，中风康复跟踪等需要对大量的ADL数据进行分析。然而，ADL数据的收集通常需要构建传感器系统、招募参与者等，所需的成本很高，因此目前仍然存在ADL数据缺乏的情况。
现有的ADL数据集使用多个惯性传感器(Inertial Measurement Unit，IMU)来覆盖ADL监测常用的身体区域进行数据采集。但对于不断出现的ADL应用程序来说，数据量仍然不能令人满意。目前也存在一些使用生成对抗网络来生产IMU数据的方法，但是这些方法不包含任何人体运动学知识，因此生成的数据通常具有偏差。ADL数据的缺乏成为了目前亟待解决的难题。
本发明提供了一种利用光度效应从视频中生成ADL数据(惯性数据)的方法，目前尚未有公开文献记载此类技术的研究成果。
发明内容
本发明要解决的技术问题是，克服现有技术中的不足，提供一种具有高保真度的从光学数据到惯性数据的转化方法。
为解决技术问题，本发明的解决方案是：
提供一种具有高保真度的从光学数据到惯性数据的转化方法，包括以下步骤：
(1)使用相机传感器采集人体日常活动的形成的光信号数据；
(2)光信号数据的处理：
使用各向同性的拉普拉斯滤波对光信号的梯度强度进行捕获增强；利用光流算法将光信号强度变化与人体动作所导致的光的运动之间建立联系，通过解决光学能量最小化问题来推断光学运动场；再使用遮挡检测算法消除环境遮挡对于光学运动场估计的影响，获得光学运动场数据；
(3)光信号数据转换为惯性数据：
使用时间卷积模块对光学运动场中不同人体区域进行追踪，通过非局部计算来检查每个身体区域的信息；结合追踪区域的信息以及光线投影的人体运动学约束信息，使用长短期记忆网络来重建惯性数据。
本发明进一步提供了从光学数据到惯性数据的转化系统，包括：
相机传感器模块，用于采集人体日常活动的形成的光信号数据；
光信号处理模块，用于实现所述将光信号处理为光学运动场数据的操作；
基于光度效应和人体运动模型的光学惯性转化模块，用于实现所述将光学运动场数据转换为惯性数据的操作。
与现有技术相比，本发明的有益效果是：
1、本发明基于人体表面光反射的光度效应，实现了具有高保真度的光信号到惯性数据的转化；相对于使用生成对抗网络来生产IMU数据的方法而言，所得到的惯性数据与人体运动学知识具有高度相关性。
2、由于本发明基于相机传感器采集，而不是依赖数量过少的惯性传感器，因此可以生成海量的惯性数据。基于本发明的应用，可以生成更多的惯性数据供研究人员分析工作场景下的工人的体姿，提高职业安全保护。
3、本发明可以应用在不易部署可穿戴设备的情况下(如体育比赛期间)，为使用者提供现场人体运动数据分析。
附图说明
图1是本发明的实现原理结构框图。
图2是本发明实现过程的流程图。
图3是本发明基于光度效应和人体运动模型的光学惯性转化模块的设计示例图。
具体实施方式
首先需要说明的是，本发明涉及数据处理技术，是计算机技术在图像识别技术领域的一种应用。在本发明的实现过程中，会涉及到多个软件功能模块的应用。申请人认为，如在仔细阅读申请文件、准确理解本发明的实现原理和发明目的以后，在结合现有公知技术的情况下，本领域技术人员完全可以运用其掌握的软件编程技能实现本发明。前述软件功能模块包括但不限于：非局部计算、长短期记忆网络等，凡本发明申请文件提及的均属此范畴，申请人不再一一列举。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统的一部分及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合附图对本发明的实现方式进行详细说明。
本发明提出了适用于可穿戴计算的无功耗的从光信号惯性数据转化方法，可以利用从公共视频中获取的光强数据重建ADL数据。通过设计了两步光学运动估计器，从时变光强推导出高质量的光学运动场。利用光线投影中的人体运动学约束，在基于卷积的过程中恢复时序的惯性数据。
如图1所示，具有高保真度的从光学数据到惯性数据的转化系统，包括：相机传感器模块，采集人体日常活动的形成的光信号数据；相机传感器模块可选地包括SD存储卡。光信号处理模块，用于实现光信号数据处理的操作；基于光度效应和人体运动模型的光学惯性转化模块，用于实现光信号数据转换为惯性数据的操作。
如图2所示，本发明提供的具有高保真度的从光学数据到惯性数据的转化方法，包括以下步骤：
(1)使用相机传感器采集人体日常活动的形成的光信号数据；相机传感器模块中可选地包括SD存储卡。
(2)光信号数据的处理：
使用各向同性的拉普拉斯滤波对光信号的梯度强度进行捕获增强；利用光流算法将光信号强度变化与人体动作所导致的光的运动之间建立联系，通过解决光学能量最小化问题来推断光学运动场；再使用遮挡检测算法消除环境遮挡对于光学运动场估计的影响，获得光学运动场数据；
光强在传播过程中面临衰减问题，这将损害光学数据的完整性和强度模式的质量，强度模式是每个时间点的空间强度变化。本发明通过使用3×3的增强各向同性拉普拉斯滤波器对采集到的光信号进行处理以增强光度效应，得到一个六层金字塔式的光信号强度模式I；采用光流算法将光信号的强度变化与光的运动进行关联，通过求解能量最小化问题来推断光学运动场，该能量最小化的约束包括强度恒定约束(当像素从一帧流向另一帧时，强度保持不变)和平滑约束(光学运动场在空间中平滑变化)；在每一层中都估计光学运动场，在获得了某一层的光学运动场后将其传播到下一层，与通过尺度不变特征变换提取的光学运动场共同成为候选项；然后使用遮挡检测算法来，通过检查在两帧之间是否存在多个像素映射到同一位置来识别遮挡像素，采用遮挡置信度来减小环境遮挡对于光学运动场估计的影响；最后将得到的光学运动场，使用Hue-Saduration-Value色彩模型表示为RGB帧。
采用光流算法将光信号的强度变化与光的运动进行关联时，具体包括以下步骤：
(2.1)通过强度恒定特性ED(w)和平滑特性ES(w)对关联进行约束，有
其中，w为光运动场，m代表光信号强度模式中的像素，ΓI和代表光信号强度变化及其梯度，η(m)为二值权重，/>为离散梯度近似；
(2.2)通过检查在两帧之间是否存在多个像素映射到同一位置来识别遮挡像素，采用遮挡置信度ζ(m)来减小环境遮挡对于光学运动场估计的影响，具体为：
其中h(m)是前一帧中对应于后一帧中同一位置的像素点数量，θ设置为0.05；
(2.3)通过对光信号强度模式I的每一层光信号强度模式求解能量最小化问题，来推断其光学运动场；具体如下：
E(w)＝ζ(m)ED(w)+λES(w)
其中，λ表示平滑特性约束项ES(w)的权重；
在获得了某一层的光学运动场后将其传播到下一层，与通过尺度不变特征变换提取的光学运动场合并，选择并得到最优光学运动场；然后使用Hue-Saduration-Value色彩模型，将其表示为RGB帧。
(3)光信号数据转换为惯性数据：
使用时间卷积模块对光学运动场中不同人体区域进行追踪，通过非局部计算来检查每个身体区域的信息；结合追踪区域的信息以及光线投影的人体运动学约束信息，使用长短期记忆网络来重建惯性数据。其中，长短期记忆网络的dropout rate设置为50％，损失函数采用均方误差，优化器采用随机梯度下降，Batch Size设置为64。
如图3所示，基于光度效应和人体运动模型的光学惯性转化模块设计方案示例：首先将通过光信号处理模块获得的光学运动场作为输入，经过四个卷积层模块处理，其中每个卷积层的操作均为卷积、归一化、dropout、最大池化。通过这种多卷积设计增加了特征图的数量，有利于提取细粒度的时变运动信息，第二层卷积模块对空间下采样的特征图进行卷积，即大比例尺卷积，实现了对不同区域的多尺度捕获。卷积操作是局部的，因此接下来使用非局部计算来检查每个身体区域的信息。最后结合追踪区域的信息以及光线投影的人体运动学约束信息使用长短期记忆网络来重建惯性数据。
Claims (5)
1.一种具有高保真度的从光学数据到惯性数据的转化方法，其特征在于，包括以下步骤：
(1)使用相机传感器采集人体日常活动的形成的光信号数据；
(2)光信号数据的处理：
使用各向同性的拉普拉斯滤波对光信号的梯度强度进行捕获增强；利用光流算法将光信号强度变化与人体动作所导致的光的运动之间建立联系，通过解决光学能量最小化问题来推断光学运动场；再使用遮挡检测算法消除环境遮挡对于光学运动场估计的影响，获得光学运动场数据；
其中，获得光学运动场的具体过程包括：
使用3×3的增强各向同性拉普拉斯滤波器对采集到的光信号进行处理以增强光度效应，得到六层金字塔式的光信号强度模式I；
采用光流算法将光信号的强度变化与光的运动进行关联，包括以下步骤：
(2.1)通过强度恒定特性ED(w)和平滑特性ES(w)对关联进行约束，有
其中，w为光运动场，m代表光信号强度模式中的像素，ΓI和代表光信号强度变化及其梯度，η(m)为二值权重，/>为离散梯度近似；
(2.2)通过检查在两帧之间是否存在多个像素映射到同一位置来识别遮挡像素，采用遮挡置信度ζ(m)来减小环境遮挡对于光学运动场估计的影响，具体为：
其中h(m)是前一帧中对应于后一帧中同一位置的像素点数量，θ设置为0.05；
(2.3)通过对光信号强度模式I的每一层光信号强度模式求解能量最小化问题，来推断其光学运动场；具体如下：
E(w)＝ζ(m)Ed(w)+λEs(w)
其中，λ表示平滑特性约束项ES(w)的权重；
在获得了某一层的光学运动场后将其传播到下一层，与通过尺度不变特征变换提取的光学运动场合并，选择并得到最优光学运动场；然后使用Hue-Saduration-Value色彩模型，将其表示为RGB帧；
(3)光信号数据转换为惯性数据：
使用时间卷积模块对光学运动场中不同人体区域进行追踪，通过非局部计算来检查每个身体区域的信息；结合追踪区域的信息以及光线投影的人体运动学约束信息，使用长短期记忆网络来重建惯性数据。
2.根据权利要求1所述的方法，其特征在于，在步骤(3)中：将步骤(2)中获得的光学运动场作为输入，经过四个卷积层模块处理；其中每个卷积层的操作均为卷积、归一化、dropout、最大池化，通过多卷积设计增加特征图的数量以提取细粒度的时变运动信息。
3.根据权利要求1所述的方法，其特征在于，在步骤(3)中：将长短期记忆网络的dropout rate设置为50％，损失函数采用均方误差，优化器采用随机梯度下降，Batch Size设置为64。
4.一种具有高保真度的从光学数据到惯性数据的转化系统，其特征在于，包括：
相机传感器模块，用于采集人体日常活动的形成的光信号数据；
光信号处理模块，用于实现权利要求1中步骤(2)所述将光信号处理为光学运动场数据的操作；
基于光度效应和人体运动模型的光学惯性转化模块，用于实现权利要求1中步骤(3)所述光学运动场数据转换为惯性数据的操作。
5.根据权利要求4所述的系统，其特征在于，所述相机传感器模块中包括SD存储卡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111682644.XA CN114322946B (zh) | 2021-12-30 | 2021-12-30 | 一种具有高保真度的从光学数据到惯性数据的转化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111682644.XA CN114322946B (zh) | 2021-12-30 | 2021-12-30 | 一种具有高保真度的从光学数据到惯性数据的转化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114322946A CN114322946A (zh) | 2022-04-12 |
| CN114322946B true CN114322946B (zh) | 2024-01-09 |
Family
ID=81023810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111682644.XA Active CN114322946B (zh) | 2021-12-30 | 2021-12-30 | 一种具有高保真度的从光学数据到惯性数据的转化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114322946B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4272194A (en) * | 1978-09-05 | 1981-06-09 | Christa L. Gievers | Rotation sensitive ring laser system |
| CN101672649A (zh) * | 2009-10-20 | 2010-03-17 | 哈尔滨工程大学 | 一种基于数字低通滤波的船用光纤捷联系统系泊对准方法 |
| WO2011112113A2 (en) * | 2009-10-26 | 2011-09-15 | Softwin S.R.L. | Systems and methods for assessing the authenticity of dynamic handwritten signature |
| CN106897697A (zh) * | 2017-02-24 | 2017-06-27 | 深圳市唯特视科技有限公司 | 一种基于可视化编译器的人物和姿势检测方法 |
| CN107101616A (zh) * | 2017-05-23 | 2017-08-29 | 北京小鸟看看科技有限公司 | 一种定位物体的身份识别方法、装置和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9303999B2 (en) * | 2013-12-30 | 2016-04-05 | Google Technology Holdings LLC | Methods and systems for determining estimation of motion of a device |
-
2021
- 2021-12-30 CN CN202111682644.XA patent/CN114322946B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4272194A (en) * | 1978-09-05 | 1981-06-09 | Christa L. Gievers | Rotation sensitive ring laser system |
| CN101672649A (zh) * | 2009-10-20 | 2010-03-17 | 哈尔滨工程大学 | 一种基于数字低通滤波的船用光纤捷联系统系泊对准方法 |
| WO2011112113A2 (en) * | 2009-10-26 | 2011-09-15 | Softwin S.R.L. | Systems and methods for assessing the authenticity of dynamic handwritten signature |
| CN106897697A (zh) * | 2017-02-24 | 2017-06-27 | 深圳市唯特视科技有限公司 | 一种基于可视化编译器的人物和姿势检测方法 |
| CN107101616A (zh) * | 2017-05-23 | 2017-08-29 | 北京小鸟看看科技有限公司 | 一种定位物体的身份识别方法、装置和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于基站的大范围光学跟踪技术研究;杨奕;硕士电子期刊;1-56页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114322946A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108447078B (zh) | 基于视觉显著性的干扰感知跟踪算法 | |
| CN112381011B (zh) | 基于人脸图像的非接触式心率测量方法、系统及装置 | |
| Zhou et al. | Activity analysis, summarization, and visualization for indoor human activity monitoring | |
| US9665777B2 (en) | System and method for object and event identification using multiple cameras | |
| Jia et al. | A two-step approach to see-through bad weather for surveillance video quality enhancement | |
| CN101630364A (zh) | 基于融合特征的步态信息处理与身份识别方法 | |
| Cho et al. | Semantic segmentation with low light images by modified CycleGAN-based image enhancement | |
| CN114973097A (zh) | 电力机房内异常行为识别方法、装置、设备及存储介质 | |
| CN114332911A (zh) | 一种头部姿态检测方法、装置及计算机设备 | |
| CN115188066A (zh) | 基于协同注意力和多尺度融合的运动目标检测系统及方法 | |
| CN106056078A (zh) | 一种基于多特征回归式集成学习的人群密度估计方法 | |
| CN113516232B (zh) | 一种基于自注意力机制的穿墙雷达人体姿态重构方法 | |
| CN102510437B (zh) | 基于rgb分量分布的视频图像背景检测方法 | |
| CN113920354A (zh) | 一种基于事件相机的动作识别方法 | |
| Peng et al. | Emerging techniques in vision-based human posture detection: Machine learning methods and applications | |
| CN114322946B (zh) | 一种具有高保真度的从光学数据到惯性数据的转化方法 | |
| Mohana et al. | Human action Recognition using STIP Techniques | |
| Verma et al. | Intensifying security with smart video surveillance | |
| Li et al. | Application of thermal infrared imagery in human action recognition | |
| Shu et al. | The research and implementation of human posture recognition algorithm via OpenPose | |
| Panagiotakis et al. | Shape-based individual/group detection for sport videos categorization | |
| CN117576784B (zh) | 一种融合事件和rgb数据潜水员手势识别方法及其系统 | |
| CN117974722B (zh) | 基于注意力机制和改进的Transformer的单目标跟踪系统及方法 | |
| Chen | Application of matlab in moving object detecting algorithm | |
| CN118038561A (zh) | 一种基于时空循环架构的3d人体姿态估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |