CN117218911A - 基于虚拟现实的仿生学堂助学系统 - Google Patents
基于虚拟现实的仿生学堂助学系统 Download PDFInfo
- Publication number
- CN117218911A CN117218911A CN202311002983.8A CN202311002983A CN117218911A CN 117218911 A CN117218911 A CN 117218911A CN 202311002983 A CN202311002983 A CN 202311002983A CN 117218911 A CN117218911 A CN 117218911A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- bionic
- arm
- virtual
- virtual reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 239000011664 nicotinic acid Substances 0.000 title claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000010276 construction Methods 0.000 claims abstract description 27
- 238000005516 engineering process Methods 0.000 claims abstract description 21
- 230000003993 interaction Effects 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 230000004044 response Effects 0.000 claims abstract description 9
- 230000005540 biological transmission Effects 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 230000001360 synchronised effect Effects 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- 239000013589 supplement Substances 0.000 claims description 8
- 230000005236 sound signal Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000008676 import Effects 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
基于虚拟现实的仿生学堂助学系统，所述助学系统包括：虚拟教室构建模块，采用RGB‑D相机基于SLAM算法对教室进行建模；仿生臂构建模块，采用FK算法与I K算法构建仿生臂来模拟教师的手臂并映射到虚拟教室中；3D声音构建模块，采用线性卷积的FFT算法根据HRTF数据的个数对单声道音频进行分段处理；语音互动模块，下载选定的WebRTC，并导入Un ity所构建的虚拟教室中，实现用户之间的消息传递和处理；搭建转换模块，搭建系统云平台，将VR项目转换成WebXR应用程序，基于多线程技术，同时处理多个请求，提高服务器的吞吐量和响应速度；运算优化模块，基于B/S框架进行设计，通过M/M/3排队模型计算稳态指标，对系统性能指标进行分析优化，以使同步用户之间能够共享和交换数据。
Description
技术领域：
本发明涉及基于虚拟现实的仿生学堂助学系统。
背景技术：
辅助教学系统主要是通过压缩教师教学现场的视频、音频流结合同步浏览课件命令，形成教学资源流，利用网络实时传送到远端学生的电脑上，学生可以及时通过举手提问、共享教师端程序、文字交流等方式实现远程互动助学教学系统。
辅助教学系统可以通过各种现代远程教育教学的交互手段保证现代远程教育得以方便顺利实施，采用统一、完整的界面，使教师和学生都在同一个登录界面下以不同的身份登录，教师能够教师界面下完成其教学所需的一切操作，学生也能够通过学生界面完成学习所需的一切操作，支持多教室、多科目的同时教学。
现有互动助学教学系统主要是基于计算机技术和虚拟现实技术来进行生成和操作的，通常需要昂贵的硬件设备和专业人员的支持，会增加项目的成本和复杂性，对于非技术人员或者初学者来说，可能需要投入大量时间和精力进行学习和适应；同时虚拟现实技术也依赖于特定的硬件设备，难以进行普及和推广，由于虚拟现实技术对用户感官和视觉系统的刺激较强，某些用户可能会出现不适应、晕眩等不良反应，尤其对于肢体残疾人群来说，极大的限制了技术可接受范围和用户群体；虚拟现实技术还涉及了用户的个人数据和隐私，在使用时必须采用适当的安全措施来保护用户的数据和隐私，缺乏统一的标准和规范，也增加了技术集成和开发的难度。
发明内容：
本发明实施例提供了基于虚拟现实的仿生学堂助学系统，结构设计合理，针对肢体残疾人群的教育问题，结合VR终端设备，建立虚拟教室场景，使所有使用系统的肢体残疾用户都可以在一个共同的虚拟空间中进行交流共享，基于实例分析和仿真实验预测了系统的市场效益和用户反馈，为统筹算法提供数据基础，能够生成一种交互式的三维动态视景，通过头戴式立体眼镜、动作捕捉芯片、数据手套等辅助式交互设备，让用户通过听觉、视觉等器官,观测到物理世界与虚拟世界交互的三维界面，体验三维空间内的变化,获得一种临场真实感，既能实现教学实时系统的实现，也保证了完整的虚拟现实教室体系的建设，满足肢体残疾人用户的求学需求，使肢体残疾人用户能够更好的得到学习体验，能够在优化整合和虚拟现实的基础上减少了成本的投入，提高了教学形式的多元化、创新化，为产品生态带来更多的创新力与智造力，解决了现有技术中存在的问题。
本发明为解决上述技术问题所采用的技术方案是：
基于虚拟现实的仿生学堂助学系统，所述助学系统包括：
虚拟教室构建模块，所述虚拟教室构建模块用于采用RGB-D相机基于SLAM算法对教室进行建模；
仿生臂构建模块，所述仿生臂构建模块用于采用FK算法与IK算法构建仿生臂来模拟教师的手臂并映射到虚拟教室中，实现教育的远程协作；
3D声音构建模块，所述3D声音构建模块用于采用线性卷积的FFT算法根据HRTF数据的个数对单声道音频进行分段处理，实现对原始信号的分块，将各个分段的单声道音频组合为立体声文件并使用傅里叶变换将时间域音频信号转换为频域信号，构建得到3D声音；
语音互动模块，所述语音互动模块用于下载选定的WebRTC，并导入Unity所构建的虚拟教室中，实现用户之间的消息传递和处理；
搭建转换模块，所述搭建转换模块用于搭建系统云平台，将VR项目转换成WebXR应用程序，基于多线程技术，同时处理多个请求，提高服务器的吞吐量和响应速度；
运算优化模块，所述运算优化模块基于B/S框架进行设计，通过M/M/3排队模型计算稳态指标，对系统性能指标进行分析优化，以使同步用户之间能够共享和交换数据。
所述虚拟教室构建模块包括：
采集单元，所述采集单元用于进行彩色信息和深度信息的收集，将深度信息与彩色图像进行柔和，生成三维点云数据；
滤波单元，所述滤波单元用于对三维点云数据进行滤波处理；
处理单元，所述处理单元用于采用SLAM算法进行前端处理、后端处理以及回环检测，将得到的稠密点云数据生成三维网络模型进行地图建立，并导入到Unity中实现对虚拟教室的构建。
所述仿生臂构建模块包括：
惯性测量单元，所述惯性测量单元用于测量加速度参数、角速度参数和磁场参数，并采用无线通讯的方式将测量参数传输到计算机上；
预处理单元，所述预处理单元用于对得到的测量参数进行噪声去除和滤波预处理，以提高数据的质量和准确性；
运算单元，所述运算单元用于将FK算法和IK算法相结合建立一个完整的机械臂模型，使用传感器收集到的数据作为FK算法的输入，运行IK算法得到关节的旋转角度以控制机械臂完成各种复杂的动作。
所述仿生臂在进行笔迹重现时，使用收集到的手写数据集来构建LSTM模型来预测每一帧图像的笔画轨迹；使用CNN模型来提取图像的特征；使用分类器对这些特征进行分类，以确定笔的颜色信息和压力信息。
基于LSTM模型和CNN模型得到的笔迹预测模型能够引入到Unity，适用Unity的虚拟现实功能呈现出手臂和笔迹，以创造出一个立体沉浸式的绘图环境。
所述线性卷积的FFT算法的归纳方法为：
延长序列a(n)的长度N2至L，并补充L-N2个零；
延长序列b(n)的长度N1至L，并补充L-N1个零；
其中L＝N1+N2-1；
若L≥N1+N2-1，则圆周卷积等效为线性卷积，此时，则可使用FFT运算进行线性卷积，方法归纳如下：
(1)求A(k)＝FFT[a(n)]；
(2)求B(k)＝FFT[b(n)]；
(3)求Y(k)＝H(k)Y(k)k＝0～L-1；
(4)求y(n)＝IFFT[Y(k)]n＝0～L-1。
在3D声音构建模块内创建卷积滤波器，所述卷积滤波器用于模拟混响效果，可使用过Impulse Response来创建卷积滤波器；在Unity使用DSPGraph和Block节点来实现卷积运算，以产生具有空间感的3D声音效，将处理后的音频数据分配给AudioSource组件的AudioClip属性，以能够播放虚拟声音。
本发明采用上述结构，通过虚拟教室构建模块采用RGB-D相机基于SLAM算法对教室进行建模；通过仿生臂构建模块采用FK算法与IK算法构建仿生臂来模拟教师的手臂并映射到虚拟教室中；通过3D声音构建模块采用线性卷积的FFT算法根据HRTF数据的个数对单声道音频进行分段处理；通过语音互动模块下载选定的WebRTC，并导入Unity所构建的虚拟教室中，实现用户之间的消息传递和处理；通过搭建转换模块搭建系统云平台，将VR项目转换成WebXR应用程序；通过运算优化模块基于B/S框架进行设计，通过M/M/3排队模型计算稳态指标，对系统性能指标进行分析优化，以使同步用户之间能够共享和交换数据；通过分析各大企业的虚拟现实技术应用与相关科技助学的文献内容，深入探讨了构造虚拟现实与特殊教育结合的实用性与必要性，以及该系统相对于其他系统平台的创新点与优势，通过实例分析和仿真实验预测了该系统的市场效益以及对象反馈，给统筹算法以实操基础，既可以实现残疾人士的求学需求，又保证了完整的云服务体系建设，具有安全实用、简便高效的优点。
附图说明：
图1为本发明的结构示意图。
图2为本发明的虚拟教室构建模块的结构示意图。
图3为本发明的仿生臂构建模块的结构示意图。
具体实施方式：
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。
如图1-3中所示，基于虚拟现实的仿生学堂助学系统，所述助学系统包括：
虚拟教室构建模块，所述虚拟教室构建模块用于采用RGB-D相机基于SLAM算法对教室进行建模；
仿生臂构建模块，所述仿生臂构建模块用于采用FK算法与IK算法构建仿生臂来模拟教师的手臂并映射到虚拟教室中，实现教育的远程协作；
3D声音构建模块，所述3D声音构建模块用于采用线性卷积的FFT算法根据HRTF数据的个数对单声道音频进行分段处理，实现对原始信号的分块，将各个分段的单声道音频组合为立体声文件并使用傅里叶变换将时间域音频信号转换为频域信号，构建得到3D声音；
语音互动模块，所述语音互动模块用于下载选定的WebRTC，并导入Unity所构建的虚拟教室中，实现用户之间的消息传递和处理；
搭建转换模块，所述搭建转换模块用于搭建系统云平台，将VR项目转换成WebXR应用程序，基于多线程技术，同时处理多个请求，提高服务器的吞吐量和响应速度；
运算优化模块，所述运算优化模块基于B/S框架进行设计，通过M/M/3排队模型计算稳态指标，对系统性能指标进行分析优化，以使同步用户之间能够共享和交换数据。
所述虚拟教室构建模块包括：
采集单元，所述采集单元用于进行彩色信息和深度信息的收集，将深度信息与彩色图像进行柔和，生成三维点云数据；
滤波单元，所述滤波单元用于对三维点云数据进行滤波处理；
处理单元，所述处理单元用于采用SLAM算法进行前端处理、后端处理以及回环检测，将得到的稠密点云数据生成三维网络模型进行地图建立，并导入到Unity中实现对虚拟教室的构建。
所述仿生臂构建模块包括：
惯性测量单元，所述惯性测量单元用于测量加速度参数、角速度参数和磁场参数，并采用无线通讯的方式将测量参数传输到计算机上；
预处理单元，所述预处理单元用于对得到的测量参数进行噪声去除和滤波预处理，以提高数据的质量和准确性；
运算单元，所述运算单元用于将FK算法和IK算法相结合建立一个完整的机械臂模型，使用传感器收集到的数据作为FK算法的输入，运行IK算法得到关节的旋转角度以控制机械臂完成各种复杂的动作。
所述仿生臂在进行笔迹重现时，使用收集到的手写数据集来构建LSTM模型来预测每一帧图像的笔画轨迹；使用CNN模型来提取图像的特征；使用分类器对这些特征进行分类，以确定笔的颜色信息和压力信息。
基于LSTM模型和CNN模型得到的笔迹预测模型能够引入到Unity，适用Unity的虚拟现实功能呈现出手臂和笔迹，以创造出一个立体沉浸式的绘图环境。
所述线性卷积的FFT算法的归纳方法为：
延长序列a(n)的长度N2至L，并补充L-N2个零；
延长序列b(n)的长度N1至L，并补充L-N1个零；
其中L＝N1+N2-1；
若L≥N1+N2-1，则圆周卷积等效为线性卷积，此时，则可使用FFT运算进行线性卷积，方法归纳如下：
(1)求A(k)＝FFT[a(n)]；
(2)求B(k)＝FFT[b(n)]；
(3)求Y(k)＝H(k)Y(k)k＝0～L-1；
(4)求y(n)＝IFFT[Y(k)]n＝0～L-1。
在3D声音构建模块内创建卷积滤波器，所述卷积滤波器用于模拟混响效果，可使用过Impulse Response来创建卷积滤波器；在Unity使用DSPGraph和Block节点来实现卷积运算，以产生具有空间感的3D声音效，将处理后的音频数据分配给AudioSource组件的AudioClip属性，以能够播放虚拟声音。
本发明实施例中的基于虚拟现实的仿生学堂助学系统的工作原理为：结合VR终端设备，建立虚拟教室场景，使所有使用系统的肢体残疾用户都可以在一个共同的虚拟空间中进行交流共享，基于实例分析和仿真实验预测了系统的市场效益和用户反馈，为统筹算法提供数据基础，能够生成一种交互式的三维动态视景，通过头戴式立体眼镜、动作捕捉芯片、数据手套等辅助式交互设备，让用户通过听觉、视觉等器官,观测到物理世界与虚拟世界交互的三维界面，体验三维空间内的变化,获得一种临场真实感，既能实现教学实时系统的实现，也保证了完整的虚拟现实教室体系的建设，满足肢体残疾人用户的求学需求，使肢体残疾人用户能够更好的得到学习体验，能够在优化整合和虚拟现实的基础上减少了成本的投入，提高了教学形式的多元化、创新化，为产品生态带来更多的创新力与智造力。
在助学系统搭建过程中，首先应用RGB-D相机基于SLAM算法对教室进行建模，结合应用于虚拟现实的仿生臂技术对教师的手臂进行模拟，使之更好的进行教学互动，进而通过对教师动作特征提取进行虚拟形象的建立，可以实现教师在讲台上的实时授课，基于SDK使用户在进行听课学习的同时也可以和老师进行实时互动，基于卷积的FFT算法可以对3D声音进行构建。
进一步的，本申请需要在云服务器上安装虚拟化技术，以便在虚拟机中运行VR项目；在云服务器上创建虚拟机，并在虚拟机中安装支持VR的操作系统和VR软件，从而将VR资源文件上传到云存储空间，并设置相应的访问权限，以便用户可以远程访问和使用VR资源。
使用VR软件可以构建一个供用户远程访问的VR服务，以得到基于WebVR技术构建的VR网站；将构建好的VR服务部署到云服务器上，并配置相应的网络安全策略，以保障服务的稳定和安全；最后用户可以通过互联网连接到该VR应用程序，远程访问和使用VR资源，享受沉浸式的虚拟现实体验。
本申请可以使学生在家中享受到同等的教育资源，解决了肢体残疾的学生在学校中生活不便的问题。既可以实现残疾人士的求学需求，又保证了完整的云服务体系建设。
本申请采用计算机生成一种交互式的三维动态视景,通过头戴式立体眼镜、动作捕捉芯片、数据手套等辅助式交互设备，让用户通过听觉、视觉等器官，观测到物理世界与虚拟世界交互的三维界面，体验三维空间内的变化，获得一种临场真实感；通过实例分析和仿真实验预测了该系统的市场效益以及对象反馈，给统筹算法以实操基础，既能实现教学实时系统的实现，也保证了完整的虚拟现实教室体系的建设，属于一个较为完善的虚拟现实“仿生学堂”系统，搭载该服务体系的特定群体能够更好的得到学习体验以及内心治愈。
搭载该服务体系的单位以及个体能够在优化整合和虚拟现实的基础上减少了成本的投入，提高了教学形式的多元化、创新化，通过前期RGB-D相机对地图建模、Unity 3D统筹算法优化和数学建模规划预测，得以使用虚拟现实技术对特殊人群教育体系加以完善和升级。
具体的，助学系统包括：虚拟教室构建模块，用于采用RGB-D相机基于SLAM算法对教室进行建模；仿生臂构建模块，用于采用FK算法与IK算法构建仿生臂来模拟教师的手臂并映射到虚拟教室中，实现教育的远程协作；3D声音构建模块，用于采用线性卷积的FFT算法根据HRTF数据的个数对单声道音频进行分段处理，实现对原始信号的分块，将各个分段的单声道音频组合为立体声文件并使用傅里叶变换将时间域音频信号转换为频域信号，构建得到3D声音；语音互动模块，用于下载选定的WebRTC，并导入Unity所构建的虚拟教室中，实现用户之间的消息传递和处理；搭建转换模块，用于搭建系统云平台，将VR项目转换成WebXR应用程序，基于多线程技术，同时处理多个请求，提高服务器的吞吐量和响应速度；运算优化模块，基于B/S框架进行设计，通过M/M/3排队模型计算稳态指标，对系统性能指标进行分析优化，以使同步用户之间能够共享和交换数据。
对于虚拟教室构建模块，首先通过RGB-D相机对教室场景图像进行彩色和深度信息的收集，将深度信息与彩色图像进行融合，生成三维点云数据；对于采集到的点云数据进行滤波处理，最终基于SLAM算法进行前端处理、后端处理以及回环检测，将得到的稠密点云数据生成三维网络模型进行地图建立，并导入到Unity中实现对虚拟教室的构建。
为能够实现教育的远程协作，在仿生臂构建模块的作用下，将教师的手臂转化为基于FK与IK算法的仿生臂，并映射到虚拟教室中，同时能够根据教师手中笔的运动路线划出笔迹。
首先在教师的手臂和手持物体上安装惯性测量单元，惯性测量单元能够测量加速度、角速度和磁场等信息；然后将所收集到的数据通过无线的方式将数据传输到计算机上，对传感器采集到的数据进行噪声去除、滤波等预处理，进而提高数据的质量和准确性。
再将FK算法与IK算法结合，建立一个完整的机械臂模型，使用传感器收集到的数据作为FK算法的输入，然后运行IK算法得到关节的旋转角度，控制机械臂完成各种复杂的动作。
而对于笔迹的重现，首先收集手写的数据集，并对其进行预处理；使用收集到的手写数据集，可以构建LSTM模型来预测每一帧图像的笔画轨迹；在模型训练时，需要将所有帧的笔画序列作为输入，并输出下一个笔画的序列信息；模型训练完成后，就可以实现预测任意长度的笔画序列。
为了识别笔的颜色、压力等信息，可以使用CNN模型来提取图像的特征。在模型训练时，需要先将手写数据集中的图像转换为数字表示，然后将其送入CNN网络中，提取出其中的特征；最后，使用分类器来对这些特征进行分类，以确定笔的颜色、压力等信息。
特别说明的是，在训练过程中，可以调整模型的超参数、优化模型结构、增加正则化等操作对模型进行优化，以获得更好的预测和识别效果；训练完成后，可以通过测试集的准确性、精度、召回率等指标对模型进行评估，以确定其预测和识别效果；如果模型表现不佳，可以进一步调整模型并重新训练。
进一步的，可以将基于LSTM算法和CNN算法做出的笔迹预测的模型引入Unity；将模型转换为Unity所支持的格式，本申请选择TensorFlow Lite，可以将训练好的模型转换为适用于移动设备或虚拟环境的格式。
在Unity中创建一个场景，并添加一个人物模型和一个可供用户绘制笔迹的画板，将模型导入到Unity场景中。通过将模型文件复制到Unity项目中的Assets文件夹下来完成。
在用户在画板上绘制笔迹时，应将笔迹数据传递给模型进行预测，并将结果用作手臂或其他人体部位的运动指令；在Unity场景中创建一个脚本来控制人物模型的动作；根据模型预测的结果，可以编写出代码以实现手臂或其他身体部位相应地移动；将脚本与画板上的笔迹输入相连接，以便将用户的绘图数据传递到模型进行预测。最后，使用Unity的虚拟现实功能呈现出手臂和笔迹，从而创造出一个立体的、沉浸式的绘图环境。
对于3D声音的构建，选择将一个单声道音频信号和HRTF数据进行卷积的方式；由于HRTF数据常常以离散时间信号的形式储存，所以在对二者进行卷积之前，需根据HRTF数据的个数对单声道音频进行分段处理。
分段处理的方法包括重叠保留法以及重叠相加法，通过分段处理，可以实现对原始信号的分块，并在每一块上应用窗函数以实现平滑过渡。
线性卷积将每个分段信号与对应的HRTF数据进行卷积，从而生成一种具有方向感的立体声效果；具体的，线性卷积使用圆周卷积来计算，归纳方法如下：
延长序列a(n)的长度N2至L，并补充L-N2个零；
延长序列b(n)的长度N1至L，并补充L-N1个零；
其中L＝N1+N2-1。
若L≥N1+N2-1，则圆周卷积等效为线性卷积，此时，则可使用FFT运算进行线性卷积，方法归纳如下：
(1)求A(k)＝FFT[a(n)]；
(2)求B(k)＝FFT[b(n)]；
(3)求Y(k)＝H(k)Y(k)k＝0～L-1；
(4)求y(n)＝IFFT[Y(k)]n＝0～L-1；
因为FFT算法可将时间域上的卷积运算转换为频域上的乘法运算，所以利用FFT运算可以大大提高计算的效率。
将各段数据组合为立体声文件时使用傅里叶变换将时间域音频信号转换为频域信号，这样可以获得音频信号在不同频率下的能量值。
在Unity中，可以使用DSPGraph实现FFT变换，并将结果存储在AudioBuffer中，然后创建卷积滤波器，卷积滤波器是一个用于模拟混响效果的数字滤波器。可以使用ImpulseResponse来创建卷积滤波器，IR是信号在系统输入时的输出响应，通过将白噪声作为输入，记录反射和吸收后的信号，可以生成IR；使用IR进行卷积运算，可以模拟出现场录音的混响效果。
在unity中，使用DSPGraph和Block节点来实现卷积运算。以产生具有空间感的3D声音效。然后将处理后的音频数据分配给AudioSource组件的AudioClip属性，以便它能够播放虚拟声音。在需要添加3D虚拟声音的位置上放置3D音频源。
在Unity中，可以使用AudioSource组件来创建3D音频源。调整每个音频源的属性，以使其产生逼真的3D声音效果。最后进行测试和优化声音效果。
本申请可以载选定的WebRTC，并将其导入到Unity所构建的虚拟教室中；确保SDK版本与Unity版本兼容，并且已经正确设置了相关的API密钥和配置参数；根据SDK提供的文档和示例代码，在Unity项目中集成并初始化SDK，这通常涉及创建一个音频引擎实例、设置音频参数、注册回调函数等操作。
根据SDK提供的API，在Unity项目中实现用户之间的连接建立和断开功能，通过SDK提供的API，实现用户之间的消息传递和处理功能。
特别说明的是，本申请可以适用A-Frame和Babylon.js WebXR框架来实现VR项目和WebXR应用程序的转换，基于多线程技术，同时处理多个请求，提高服务器的吞吐量和响应速度。
本申请基于B/S框架进行设计，在用户与服务器之间进行交互访问时，站点会产生较多的数据信息；为了提高资源调取和信息获取能力，我们结合通信交流模块对网络服务进行优化整合；在本申请中，用户请求资源时，通过M/M/3排队模型计算稳态指标，进而对系统性能指标进行分析并优化；之后，再通过P2P技术，使得不同用户之间能够共享和交换数据，从而达到提高传输效果、降低运营成本、增强系统稳定性、加速计算处理的效果。
综上所述，本发明实施例中的基于虚拟现实的仿生学堂助学系统结合VR终端设备，建立虚拟教室场景，使所有使用系统的肢体残疾用户都可以在一个共同的虚拟空间中进行交流共享，基于实例分析和仿真实验预测了系统的市场效益和用户反馈，为统筹算法提供数据基础，能够生成一种交互式的三维动态视景，通过头戴式立体眼镜、动作捕捉芯片、数据手套等辅助式交互设备，让用户通过听觉、视觉等器官,观测到物理世界与虚拟世界交互的三维界面，体验三维空间内的变化,获得一种临场真实感，既能实现教学实时系统的实现，也保证了完整的虚拟现实教室体系的建设，满足肢体残疾人用户的求学需求，使肢体残疾人用户能够更好的得到学习体验，能够在优化整合和虚拟现实的基础上减少了成本的投入，提高了教学形式的多元化、创新化，为产品生态带来更多的创新力与智造力。
上述具体实施方式不能作为对本发明保护范围的限制，对于本技术领域的技术人员来说，对本发明实施方式所做出的任何替代改进或变换均落在本发明的保护范围内。
本发明未详述之处，均为本技术领域技术人员的公知技术。
Claims (7)
1.基于虚拟现实的仿生学堂助学系统，其特征在于，所述助学系统包括：
虚拟教室构建模块，所述虚拟教室构建模块用于采用RGB-D相机基于SLAM算法对教室进行建模；
仿生臂构建模块，所述仿生臂构建模块用于采用FK算法与IK算法构建仿生臂来模拟教师的手臂并映射到虚拟教室中，实现教育的远程协作；
3D声音构建模块，所述3D声音构建模块用于采用线性卷积的FFT算法根据HRTF数据的个数对单声道音频进行分段处理，实现对原始信号的分块，将各个分段的单声道音频组合为立体声文件并使用傅里叶变换将时间域音频信号转换为频域信号，构建得到3D声音；
语音互动模块，所述语音互动模块用于下载选定的WebRTC，并导入Unity所构建的虚拟教室中，实现用户之间的消息传递和处理；
搭建转换模块，所述搭建转换模块用于搭建系统云平台，将VR项目转换成WebXR应用程序，基于多线程技术，同时处理多个请求，提高服务器的吞吐量和响应速度；
运算优化模块，所述运算优化模块基于B/S框架进行设计，通过M/M/3排队模型计算稳态指标，对系统性能指标进行分析优化，以使同步用户之间能够共享和交换数据。
2.根据权利要求1所述的基于虚拟现实的仿生学堂助学系统，其特征在于，所述虚拟教室构建模块包括：
采集单元，所述采集单元用于进行彩色信息和深度信息的收集，将深度信息与彩色图像进行柔和，生成三维点云数据；
滤波单元，所述滤波单元用于对三维点云数据进行滤波处理；
处理单元，所述处理单元用于采用SLAM算法进行前端处理、后端处理以及回环检测，将得到的稠密点云数据生成三维网络模型进行地图建立，并导入到Unity中实现对虚拟教室的构建。
3.根据权利要求1所述的基于虚拟现实的仿生学堂助学系统，其特征在于，所述仿生臂构建模块包括：
惯性测量单元，所述惯性测量单元用于测量加速度参数、角速度参数和磁场参数，并采用无线通讯的方式将测量参数传输到计算机上；
预处理单元，所述预处理单元用于对得到的测量参数进行噪声去除和滤波预处理，以提高数据的质量和准确性；
运算单元，所述运算单元用于将FK算法和IK算法相结合建立一个完整的机械臂模型，使用传感器收集到的数据作为FK算法的输入，运行IK算法得到关节的旋转角度以控制机械臂完成各种复杂的动作。
4.根据权利要求3所述的基于虚拟现实的仿生学堂助学系统，其特征在于：所述仿生臂在进行笔迹重现时，使用收集到的手写数据集来构建LSTM模型来预测每一帧图像的笔画轨迹；使用CNN模型来提取图像的特征；使用分类器对这些特征进行分类，以确定笔的颜色信息和压力信息。
5.根据权利要求4所述的基于虚拟现实的仿生学堂助学系统，其特征在于：基于LSTM模型和CNN模型得到的笔迹预测模型能够引入到Unity，适用Unity的虚拟现实功能呈现出手臂和笔迹，以创造出一个立体沉浸式的绘图环境。
6.根据权利要求1所述的基于虚拟现实的仿生学堂助学系统，其特征在于，所述线性卷积的FFT算法的归纳方法为：
延长序列a(n)的长度N2至L，并补充L-N2个零；
延长序列b(n)的长度N1至L，并补充L-N1个零；
其中L＝N1+N2-1；
若L≥N1+N2-1，则圆周卷积等效为线性卷积，此时，则可使用FFT运算进行线性卷积，方法归纳如下：
(1)求A(k)＝FFT[a(n)]；
(2)求B(k)＝FFT[b(n)]；
(3)求Y(k)＝H(k)Y(k)k＝0～L-1；
(4)求y(n)＝IFFT[Y(k)]n＝0～L-1。
7.根据权利要求1所述的基于虚拟现实的仿生学堂助学系统，其特征在于：在3D声音构建模块内创建卷积滤波器，所述卷积滤波器用于模拟混响效果，可使用过ImpulseResponse来创建卷积滤波器；在Unity使用DSPGraph和Block节点来实现卷积运算，以产生具有空间感的3D声音效，将处理后的音频数据分配给AudioSource组件的AudioClip属性，以能够播放虚拟声音。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311002983.8A CN117218911A (zh) | 2023-08-10 | 2023-08-10 | 基于虚拟现实的仿生学堂助学系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311002983.8A CN117218911A (zh) | 2023-08-10 | 2023-08-10 | 基于虚拟现实的仿生学堂助学系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117218911A true CN117218911A (zh) | 2023-12-12 |
Family
ID=89048637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311002983.8A Withdrawn CN117218911A (zh) | 2023-08-10 | 2023-08-10 | 基于虚拟现实的仿生学堂助学系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218911A (zh) |
-
2023
- 2023-08-10 CN CN202311002983.8A patent/CN117218911A/zh not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113593351B (zh) | 一种立体综合教学场系统的工作方法 | |
| CN111274910B (zh) | 场景互动方法、装置及电子设备 | |
| CN111223358B (zh) | 虚实结合远程实验教学信息处理系统及方法、智能终端 | |
| Mizuchi et al. | Cloud-based multimodal human-robot interaction simulator utilizing ros and unity frameworks | |
| Liang | RETRACTED ARTICLE: Scene art design based on human-computer interaction and multimedia information system: an interactive perspective | |
| JP2023545642A (ja) | 目標対象の動作駆動方法、装置、機器及びコンピュータプログラム | |
| CN107340869B (zh) | 基于虚幻4引擎技术的虚拟现实交互系统 | |
| CN111638791B (zh) | 虚拟角色的生成方法、装置、电子设备及存储介质 | |
| US20200027364A1 (en) | Utilizing machine learning models to automatically provide connected learning support and services | |
| Zhang | Application of AI-based real-time gesture recognition and embedded system in the design of English major teaching | |
| US20210319802A1 (en) | Method for processing speech signal, electronic device and storage medium | |
| CN110516749A (zh) | 模型训练方法、视频处理方法、装置、介质和计算设备 | |
| Yin | Research and analysis of intelligent English learning system based on improved neural network | |
| CN115064020A (zh) | 基于数字孪生技术的智慧教学方法、系统及存储介质 | |
| CN112070865A (zh) | 课堂互动方法、装置、存储介质及电子设备 | |
| CN114783459B (zh) | 一种语音分离方法、装置、电子设备和存储介质 | |
| Chen | Research on the design of intelligent music teaching system based on virtual reality technology | |
| Xu et al. | Mobile edge generation-enabled digital twin: Architecture design and research opportunities | |
| CN117218911A (zh) | 基于虚拟现实的仿生学堂助学系统 | |
| CN208433026U (zh) | 一种智慧教育系统 | |
| CN116229788A (zh) | 虚拟服务器组装仿真培训系统设计方法、系统及应用方法 | |
| CN205068849U (zh) | 一种跆拳道交互式在线教学系统 | |
| CN213518340U (zh) | 核电厂全运行值操作与培训系统 | |
| Chen | Construction of English resource database based on virtual reality technology | |
| Zhou | Mobile Information System for English Teaching Based on Edge Computing and VR |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20231212 |
|
| WW01 | Invention patent application withdrawn after publication |