CN113064491A - 一种基于三维uwb技术的教学交互系统及其方法 - Google Patents

Abstract

本发明公开了一种基于UWB三维定位的教学交互系统及其方法，该系统包括：数据采集模块、数据处理模块和互动教学平台；数据采集模块包括：若干个定位主基站、一个定位次基站、若干个定位标签；数据处理模块包括：数据运算加速单元、上位机连接接口；互动教学平台包括：PC上位机、建模单元、互动单元。本发明能够实现速度更快、精度更高的定位方法，从而提供更加实时的交互效果，能够有效提升交互式教学的效率和便捷性。

Description

一种基于三维UWB技术的教学交互系统及其方法

技术领域

本发明涉及三维UWB定位技术领域，具体地说是一种基于三维UWB技术的虚拟现实教学交互装置及其方法。

背景技术

现有的行为建模与动作识别研究多采用基于图像处理的方法。这种方法利用图像提供的信息来提取底层特征，以此来识别人的动作，并建立人的动作模式。随着电子与通信技术的发展，传感器开始融入人类生活的各个方面，利用多种传感器进行行为识别的方法进入了大众的视野，而传感器所具有的感知实时性、体积小易部署及抗干扰能力强的特点，基于传感器的行为识别技术逐渐成为行为识别研究的热点。在短距离无线通信与定位领域，UWB无线技术具有巨大的潜力，而基于图像处理与基于传感器的行为识别技术均趋于成熟，但依然存在如下缺陷：

由于在图像处理过程中，需要提取的特征过多且计算量大，对用户安全与隐私的问题考虑不足，新的行为识别方法亟待探索。

随着无线通信技术不断发展，针对所提供各种功能用户对其需求尤其是对测距、定位方面功能的需求也相应提高。受到传感器及定位范围的限制，检测精度和适用区域难以保证。

发明内容

本发明是为了克服现有技术存在的不足之处，提供一种基于三维UWB技术的教学交互系统及其方法，以期能够克服传统定位方法传感器及定位范围的限制，实现速度更快、精度更高的定位方法，从而实现实时的交互效果，能够有效提升交互式教学的效率和便捷性。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于UWB三维定位的教学交互系统的特点包括：数据采集模块、数据处理模块和互动教学平台；

所述数据采集模块包括：若干个定位主基站、一个定位次基站、若干个定位标签；

所述数据处理模块包括：数据运算加速单元、上位机连接接口；

所述互动教学平台包括：PC上位机、建模单元、互动单元；

所述定位次基站佩戴在用户的中心胸骨处，并在用户的四肢上放置有所述定位标签；

所述定位主基站与所述数据处理模块相连，所述人体行为识别模块与所述PC上位机相连；

每个定位标签利用TDOA算法实时测得与所述定位次基站的距离，并进行打包处理后将实时数据包发送至所述定位次基站；所述实时数据包包括：距离信息及其对应的时间信息；

所述定位次基站对每个定位标签发送的实时数据包进行解码，得到各个定位标签的距离信息及其对应的时间信息；

所述定位次基站将各个定位标签的实时数据包内时间信息进行匹配，若匹配成功，则表示所接收的实时数据包处于同一时刻，并将实时数据包中的时间信息作为有效时间信息后，发送反馈匹配成功信息至所述定位标签，否则视为数据错误并丢弃，再接收下一个实时数据包；

所述定位次基站将所述有效时间信息与所述定位次基站和各个定位标签之间的距离信息一起进行打包处理，得到带有时间信息的数据总包；

所述定位主基站利用TDOA算法测得所述定位次基站的三维坐标；并对所述带有时间信息的数据总包进行时间优先级的标识，得到数据排程表；

所述数据运算加速单元对所述数据排程表进行数据总包的解码运算，得到所述定位次基站及各个定位标签之间的距离信息，并结合所述定位次基站的三维坐标，得到用户骨骼点坐标信息即所述定位次基站和各个定位标签的三维坐标；

所述数据运算加速单元通过所述上位机连接接口将所述用户骨骼点坐标信息发送至所述 PC上位机；

所述PC上位机接收所述用户骨骼点坐标信息并发送给所述建模单元；

所述建模单元结合所建立的预处理模型对所述用户骨骼点坐标信息进行骨骼驱动点的匹配，得到与用户骨骼点三维坐标变化同步的人体行为姿态；所述预处理模型为骨骼点待匹配运动的人体模型；

所述互动单元根据所述人体行为姿态和所设定的场景进行触发和响应的互动教学。

本发明一种基于UWB三维定位的教学交互方法的特点是按如下步骤进行：

步骤1、用户在中心胸骨处佩戴定位次基站，并在四肢处佩戴各个定位标签；

步骤2、每个定位标签利用TDOA算法实时测得与所述定位次基站的距离，并进行打包处理后将实时数据包发送至所述定位次基站；所述实时数据包包括：距离信息及其对应的时间信息；

步骤3、所述定位次基站对每个定位标签发送的实时数据包进行解码，得到各个定位标签的距离信息及其对应的时间信息；

步骤4、所述定位次基站将各个定位标签的实时数据包内时间信息进行匹配，若匹配成功，则表示所接收的实时数据包处于同一时刻，并将实时数据包中的时间信息作为有效时间信息后，发送反馈匹配成功信息至所述定位标签，否则视为数据错误并丢弃，再接收下一个实时数据包；

步骤5、所述定位次基站将所述有效时间信息与所述定位次基站和各个定位标签之间的距离信息一起进行打包处理，得到带有时间信息的数据总包；

步骤6、所述定位主基站利用TDOA算法测得与所述定位次基站的三维坐标；并对所述带有时间信息的数据总包进行时间优先级的标识，得到数据排程表；

步骤7、FPGA硬件加速器对所述数据排程表进行数据总包的解码运算，得到所述定位次基站及各个定位标签之间的距离信息，并结合所述定位次基站的三维坐标，从而得到用户骨骼点坐标信息即所述定位次基站和各个定位标签的三维坐标，并通过上位机连接接口发送至 PC上位机；

步骤8、所述PC上位机接收所述用户骨骼点坐标信息，并结合所建立的预处理模型对所述用户骨骼点坐标信息进行骨骼驱动点的匹配，得到与用户骨骼点三维坐标变化同步的人体行为姿态；所述预处理模型为骨骼点待匹配运动的人体模型；

步骤9、根据所述人体行为姿态和所设定的场景进行触发和响应的互动教学。

与现有技术相比，本发明有益效果体现在：

1、本发明建立的基于三维UWB定位技术的教学交互系统，用UWB定位系统代替传统的传感器获取数据，具有低功耗、强抗干扰能力、不对同一环境下的其他设备产生干扰、穿透性较强且具有很高的准确度和精度等优点。

2、本发明建立的基于三维UWB定位技术的教学交互系统，通过定位标签向基站发射数据，使其摆脱传感器的限制，系统可以捕捉室内任意地方用户的动作信息，在室内没有传感器及接收区域的限制，从而提高了交互式教学的便捷性。

3、本发明建立的基于三维UWB定位技术的教学交互系统，不同于传统的图像处理过程需要提取大量的数据特征，只需要获得相应标签的三维坐标数据，减少了计算量，从而缩短了计算时间，有利于提升交互式教学的实时性。

4、本发明建立的基于三维UWB定位技术的教学交互系统，利用FPGA硬件加速器来替代软件算法以充分利用硬件所固有的快速特性，该过程采用FPGA本身内嵌的并行高密度乘法器和双端口RAM，以及流水线的工作方式，使整个系统的处理速度得以很大提高，较好地解决了资源和速度之间地相互制约问题。极大地增加了算法执行速度，有效地缩短了运行时间，为实现实时交互提供了可能。

5、本发明建立的基于三维UWB定位技术的教学交互系统，利用3D建模软件进行虚拟现实交互识别，分析动作表达并表征在3D系统内部。利用计算机生产模拟环境，让用户投入到虚拟环境中，实现了和环境的自然交互，以提高教学过程中的浸入式体验。

附图说明

图1为本发明系统结构示意图；

图2为本发明数据采集模块示意图；

图3为本发明数据处理模块示意图。

具体实施方式

本实施例中，一种基于三维UWB定位技术的教学交互系统，其系统架构图如图1所示，包括：数据采集模块，数据处理模块和互动教学平台；

数据采集模块是指获取时间及距离信息的UWB定位装置，主要用于各个定位标签与定位次基站、定位次基站与定位主基站间的距离测量，然后将带有时间信息的数据总包进行时间优先级的标识得到数据排程表，并发送至数据处理模块。如图2所示，数据采集模块包括：定位主基站、定位次基站、定位标签；

数据处理模块是基于FPGA开发板的硬件加速器，主要用于对数据排程表解码并进行距离运算，得到定位次基站及每个定位标签的三维坐标；通过上位机连接接口将用户骨骼点坐标发送至PC上位机。如图3所示，数据处理模块包括：数据运算加速单元、上位机连接接口；

互动教学平台模块配置在PC端的软件平台，主要用于接收用户骨骼点三维坐标，并导入建模单元，建模单元内进行骨骼驱动点匹配，得到与骨骼点三维坐标匹配的人体行为姿态，互动单元根据人体行为姿态和所设定的场景进行触发和响应。互动教学平台包括：PC上位机、建模单元、互动单元。

定位主基站数据处理模块相连，人体行为识别模块与PC上位机相连；

数据采集模块根据TDOA算法进行每个定位标签与定位次基站的距离测量及若干个定位主基站对定位次基站的三维坐标测量；定位次基站先与四肢处定位标签进行通信，经过测量、计算获取相对距离后，将各个定位标签的实时数据包内时间信息进行匹配。具体过程如下：

1)数据包为32位数组，[31:29]为开始传输信号，[28:26]为时间信息，[25:3]为距离信息[2:0] 为传输结束信号；装置开启后，开始传输使能，时间信息初始化；

2)每个定位标签发送数据包至定位次基站进行匹配；

3)定位次基站对数据包进行解码，若时间信息匹配成功，转到4)；否则，将该时刻接收到的各数据包视为无效并删除，重复2)；

4)匹配成功的数据包视为同一时刻内定位次基站与各个定位标签的有效距离，定位次基站将时间信息与有效距离打包处理得带有时间信息的数据总包；

5)定位主基站接收数据总包，停止；

定位主基利用TDOA算法测得定位次基站的三维坐标；并对带有时间信息的数据总包进行时间优先级的标识，得到数据排程表；

FPGA硬件加速器对数据排程表进行数据总包的解码运算；得到定位次基站及各个定位标签之间的距离信息，并结合定位次基站的三维坐标，从而得到用户骨骼点坐标信息即定位次基站和各个定位标签的三维坐标；

数据运算加速单元通过位机连接接口将用户骨骼点坐标信息发送至PC上位机；

PC上位机接收用户骨骼点坐标信息并发送给建模单元；

建模单元结合所建立的预处理模型对用户骨骼点坐标信息进行骨骼驱动点的匹配，得到与用户骨骼点三维坐标变化同步的人体行为姿态；

预处理模型为骨骼点待匹配运动的人体模型；人体行为姿态选用训练好的人体骨骼姿态进行参考与动作矫正；

互动单元根据人体行为姿态和所设定的场景进行触发和响应的互动教学。

训练模型的建立充分的考虑到不同年龄段、不同身高的个体之间的差异；对其进行分类的模型的区分，从而实现区分同一个行为在不同的用户身上表现出一定的差异性，训练过程对于数据集采取不同加权的方式来对模型参数进行训练。采取历史动作的记录的形式，从而实现对研究对象行为动作的更加准确的连续识别与分析，其次，为了实现系统所设定的目标行为姿态的要求，需对识别出来的历史姿态进行记录，从而实现对一点时间内的人的行为的分析，实际情况中加入对前后姿态动作的分析来提高判断行为的准确性。例如：一个目标当前的姿势状态处于下蹲，若前一个状态处于站立，推断得出该目标此时的行为属于捡拾物体；对于站立动作，若目标多个历史状态处于鼓掌，那么可以推断用户正在鼓掌，属于嘉奖行为；，类似于此实现对于行为的分析与研判，使得目标姿态识别更准确。

本实例中，一种基于三维UWB技术的教学交互方法，是应用于由UWB定位系统、FPGA开发板和交互模块所组成的系统中，其中，UWB定位系统用于获取数据并导入FPGA开发板中，在FPGA开发板上实现的硬件化算法加速数据处理并将处理好的数据传输至PC上位机。由PC上位机、音箱、平板电视组成的交互模块负责给予用户反馈，以达到教学互动效果，具体的说是按照如下步骤进行：

步骤1、用户在中心胸骨处佩戴定位次基站，并在四肢处佩戴各个定位标签；

步骤2、每个定位标签利用TDOA算法实时测得与定位次基站的距离，分别进行打包处理后将实时数据包发送至定位次基站；实时数据包包括：距离信息及其对应的时间信息；

步骤3、定位次基站对每个定位标签发送的实时数据包进行解码，得到各个定位标签的距离信息及其对应的时间信息；

步骤4、定位次基站将各个定位标签的实时数据包内时间信息进行匹配，若匹配成功，则表示所接收的实时数据包处于同一时刻，并将实时数据包中的时间信息作为有效时间信息后，发送反馈匹配成功信息至定位标签，否则视为数据错误并丢弃，再接收下一个实时数据包；

步骤5、定位次基站将有效时间信息与定位次基站和各个定位标签之间的距离信息一起进行打包处理，得到带有时间信息的数据总包；

步骤6、定位主基站利用TDOA算法测得与定位次基站的三维坐标；并对带有时间信息的数据总包进行时间优先级的标识，得到数据排程表；

步骤7、FPGA硬件加速器对数据排程表进行数据总包的解码运算；得到定位次基站及各个定位标签之间的距离信息，并结合定位次基站的三维坐标，从而得到用户骨骼点坐标信息即定位次基站和各个定位标签的三维坐标，数据包解码和坐标运算皆算法硬件化烧录至 FPGA开发板中，并通过上位机连接接口发送至PC上位机；

步骤8、PC上位机接收用户骨骼点坐标信息，并结合所建立的预处理模型对用户骨骼点坐标信息进行骨骼驱动点的匹配，得到与用户骨骼点三维坐标变化同步的人体行为姿态；预处理模型为骨骼点待匹配运动的人体模型；人体行为姿态选用训练好的人体骨骼姿态进行参考与动作矫正；训练模型时，选用OpenPose作为信息获取来源，选用body_25模型识别人体骨骼关键点，根据设定的不同姿态，选取骨骼间的距离作为提取特征进行分类及训练；

步骤9、根据人体行为姿态和所设定的场景进行触发和响应的互动教学。

Claims (2)

1.一种基于UWB三维定位的教学交互系统，其特征包括：数据采集模块、数据处理模块和互动教学平台；

所述数据采集模块包括：若干个定位主基站、一个定位次基站、若干个定位标签；

所述数据处理模块包括：数据运算加速单元、上位机连接接口；

所述互动教学平台包括：PC上位机、建模单元、互动单元；

所述定位次基站佩戴在用户的中心胸骨处，并在用户的四肢上放置有所述定位标签；

所述定位主基站与所述数据处理模块相连，所述人体行为识别模块与所述PC上位机相连；

每个定位标签利用TDOA算法实时测得与所述定位次基站的距离，并进行打包处理后将实时数据包发送至所述定位次基站；所述实时数据包包括：距离信息及其对应的时间信息；

所述定位次基站对每个定位标签发送的实时数据包进行解码，得到各个定位标签的距离信息及其对应的时间信息；

所述定位次基站将各个定位标签的实时数据包内时间信息进行匹配，若匹配成功，则表示所接收的实时数据包处于同一时刻，并将实时数据包中的时间信息作为有效时间信息后，发送反馈匹配成功信息至所述定位标签，否则视为数据错误并丢弃，再接收下一个实时数据包；

所述定位次基站将所述有效时间信息与所述定位次基站和各个定位标签之间的距离信息一起进行打包处理，得到带有时间信息的数据总包；

所述定位主基站利用TDOA算法测得所述定位次基站的三维坐标；并对所述带有时间信息的数据总包进行时间优先级的标识，得到数据排程表；

所述数据运算加速单元对所述数据排程表进行数据总包的解码运算，得到所述定位次基站及各个定位标签之间的距离信息，并结合所述定位次基站的三维坐标，得到用户骨骼点坐标信息即所述定位次基站和各个定位标签的三维坐标；

所述数据运算加速单元通过所述上位机连接接口将所述用户骨骼点坐标信息发送至所述PC上位机；

所述PC上位机接收所述用户骨骼点坐标信息并发送给所述建模单元；

所述建模单元结合所建立的预处理模型对所述用户骨骼点坐标信息进行骨骼驱动点的匹配，得到与用户骨骼点三维坐标变化同步的人体行为姿态；所述预处理模型为骨骼点待匹配运动的人体模型；

所述互动单元根据所述人体行为姿态和所设定的场景进行触发和响应的互动教学。

2.一种基于UWB三维定位的教学交互方法，其特征是按如下步骤进行：

步骤1、用户在中心胸骨处佩戴定位次基站，并在四肢处佩戴各个定位标签；

步骤2、每个定位标签利用TDOA算法实时测得与所述定位次基站的距离，并进行打包处理后将实时数据包发送至所述定位次基站；所述实时数据包包括：距离信息及其对应的时间信息；

步骤3、所述定位次基站对每个定位标签发送的实时数据包进行解码，得到各个定位标签的距离信息及其对应的时间信息；

步骤4、所述定位次基站将各个定位标签的实时数据包内时间信息进行匹配，若匹配成功，则表示所接收的实时数据包处于同一时刻，并将实时数据包中的时间信息作为有效时间信息后，发送反馈匹配成功信息至所述定位标签，否则视为数据错误并丢弃，再接收下一个实时数据包；

步骤5、所述定位次基站将所述有效时间信息与所述定位次基站和各个定位标签之间的距离信息一起进行打包处理，得到带有时间信息的数据总包；

步骤6、所述定位主基站利用TDOA算法测得与所述定位次基站的三维坐标；并对所述带有时间信息的数据总包进行时间优先级的标识，得到数据排程表；

步骤7、FPGA硬件加速器对所述数据排程表进行数据总包的解码运算，得到所述定位次基站及各个定位标签之间的距离信息，并结合所述定位次基站的三维坐标，从而得到用户骨骼点坐标信息即所述定位次基站和各个定位标签的三维坐标，并通过上位机连接接口发送至PC上位机；

步骤8、所述PC上位机接收所述用户骨骼点坐标信息，并结合所建立的预处理模型对所述用户骨骼点坐标信息进行骨骼驱动点的匹配，得到与用户骨骼点三维坐标变化同步的人体行为姿态；所述预处理模型为骨骼点待匹配运动的人体模型；

步骤9、根据所述人体行为姿态和所设定的场景进行触发和响应的互动教学。

Images