CN109859309A - 一种实现仿真教学的物联网教学信息处理系统及方法 - Google Patents

Abstract

本发明属于仿真教学技术领域，公开了一种实现仿真教学的物联网教学信息处理系统及方法，所述实现仿真教学的物联网教学信息处理系统包括：扫描模块、中央控制模块、网络通信模块、三维建模模块、视频编辑模块、视频处理模块、存储模块、VR显示模块。本发明通过三维建模模块极大的降低了构建三维场景模型的计算量；同时，通过视频处理模块可以利用GPU根据三幅已填充纹理图片中记录的每一像素点的图像信息，得到目标教学视频帧图像对应的RGBA格式的视频数据，而不是利用CPU直接对目标教学视频帧进行转换，可以提高数据计算速率，降低VR设备的CPU的负载，进而使得VR设备可支持较高分辨率的视频资源，提高用户体验。

Description

一种实现仿真教学的物联网教学信息处理系统及方法

技术领域

本发明属于仿真教学技术领域，尤其涉及一种实现仿真教学的物联网教学信息处理系统及方法。

背景技术

仿真教学也称为模拟教学，就是用计算机来模拟真实自然现象或社会现象，学生模拟扮演某一角色进行技能训练的一种教学方法。仿真教学能在很大程度上弥补客观条件的不足，为学生提供近似真实的训练环境，提高学生职业技能。常见的仿真教学方法包括：生产实习，认识实习，课堂演示，课程设计，过程控制，安全教育，以及计算机辅助教学等。其中计算机辅助教学可以设置各种真实系统中无法实现的参数、工艺、以及事故发生等，并且具有成本低廉的特点，因此越来越受到国内外高校、公司及工厂的重视，得到了迅猛的发展。然而，现有仿真教学采集教学场景时，对同一时刻各台深度相机对应的点云进行融合时，需要对每台深度相机采集到的每个像素点进行融合，计算量非常大；同时，现有仿真教学视频资源处理过程中，当视频资源的分辨率达到720P以上时，CPU的数据计算量较大，可能会导致CPU占有率较高，使得VR设备在播放该视频资源时会出现卡顿现象。

综上所述，现有技术存在的问题是：现有仿真教学采集教学场景时，对同一时刻各台深度相机对应的点云进行融合时，需要对每台深度相机采集到的每个像素点进行融合，计算量非常大；同时，现有仿真教学视频资源处理过程中，当视频资源的分辨率达到720P以上时，CPU的数据计算量较大，可能会导致CPU占有率较高，使得VR设备在播放该视频资源时会出现卡顿现象。受偶然误差和系统误差的影响，三维激光扫描器采集的点云数据中不可避免的掺杂着一些噪声数据，这些噪声数据如果不及时进行去除，不但会增加数据量，而且影响后期建模的精度以及数据处理效率。

发明内容

针对现有技术存在的问题，本发明提供了一种实现仿真教学的物联网教学信息处理系统及方法。

本发明是这样实现的，一种实现仿真教学的物联网教学信息处理方法，所述实现仿真教学的物联网教学信息处理方法包括：

第一步，利用基于双相标准差滤波法进行数据去噪的三维激光扫描器扫描教学场景三维数据；利用网卡连接物联网进行网络通信；

第二步，利用建模软件根据采集的场景三维数据构建教学场景三维模型；

第三步，利用视频编辑软件根据三维场景模型编辑教学视频数据；

第四步，利用视频格式转换软件将教学视频数据转换为虚拟现实VR设备显示的视频数据；利用存储器存储采集的教学场景三维数据、模型、视频；

第五步，利用基于IACPSO算法进行校正的虚拟现实VR设备显示的教学视频数据。

进一步，所述第一步中双相标准差滤波法包括：

(1)以标准差来度量行、列每个数据点值偏离对应行、列的程度，将偏离程度超过阈值的数据点认为是噪声点，并用对应行、列的均值替代该噪声点，

实现方法如下：

(a)逐行取教学场景三维数据矩阵O的数据，如第i行：

利用以下两式求出第i行数据R_i的算术平均值和标准差S_i:

(b)依次取该行中的每个数据z_ij，如果满足条件式：

则用算术平均值代替该点数据值z_ij，k为行滤波系数，取3～8；

(c)逐行消除图像噪声点后，用同样的方法逐列处理，再次消除噪声点，对所有行处理完毕，得到三维图像数据矩阵O′；

(2)采用沿水平夹角45°方向、11×11的结构元素模板S₁对三维图像数据矩阵O′作开运算，消除细小的尖刺，也就是去掉孤立的数据点，沿水平夹角45°方向、3×3的结构元素模板下表所示：

0	0	1
			0	1	0
1	0	0

(3)采用5×5的球结构元素模板S₂对数据矩阵作膨胀运算，填充边缘，消除数据中的零值点，去噪之后的三维图像数据矩阵O″为：

式中：O″为去噪后的教学场景三维数据。

进一步，所述第五步中VR设备的IACPSO校正算法包括：

1)将VR设备显示的教学视频数据初始化为粒子群，对粒子的速度、位置和个体极值、全局极值进行初始化，然后将种群分成两组，即种群一和种群二；

2)计算种群中各粒子的适应度值；目标函数的相反数作为适应度函数；

3)更新粒子的速度和位置；种群一采用惯性权重值为0.793，种群二惯性权重按下式进行自动调整：

其中：和分别表示粒子i和粒子群体在第k次迭代时在第d维的适应度函数值；

然后将这两个种群按照下式进行迭代：

其中，m是一个变化的值，粒子在搜索进化过程中，向适应度值比自己好的邻域粒子学习；

4)不断更新粒子的个体极值及全局极值；

5)取这两个种群进化过程中发现的最优粒子输出，即在迭代过程中领域粒子中不存在比自己适应度值好的粒子时，此粒子为最优粒子。

本发明的另一目的在于提供一种实现所述实现仿真教学的物联网教学信息处理方法的实现仿真教学的物联网教学信息处理系统，所述实现仿真教学的物联网教学信息处理系统包括：

扫描模块，与中央控制模块连接，用于通过三维激光扫描器扫描教学场景三维数据；

中央控制模块，与扫描模块、网络通信模块、三维建模模块、视频编辑模块、视频处理模块、存储模块、VR显示模块连接，用于通过单片机控制各个模块正常工作；

网络通信模块，与中央控制模块连接，用于通过网卡连接物联网进行网络通信；

三维建模模块，与中央控制模块连接，用于通过建模软件根据采集的场景三维数据构建教学场景三维模型；

视频编辑模块，与中央控制模块连接，用于通过视频编辑软件根据三维场景模型编辑教学视频数据；

视频处理模块，与中央控制模块连接，用于通过视频格式转换软件将教学视频数据转换为虚拟现实VR设备显示的视频数据；

存储模块，与中央控制模块连接，用于通过存储器存储采集的教学场景三维数据、模型、视频；

VR显示模块，与中央控制模块连接，用于通过虚拟现实VR设备显示的教学视频数据。

本发明的另一目的在于提供一种应用所述实现仿真教学的物联网教学信息处理方法的仿真教学平台。

本发明的优点及积极效果为：本发明通过三维建模模块极大的降低了构建三维场景模型的计算量；同时，通过视频处理模块可以利用GPU根据三幅已填充纹理图片中记录的每一像素点的图像信息，得到目标教学视频帧图像对应的RGBA格式的视频数据，而不是利用CPU直接对目标教学视频帧进行转换，可以提高数据计算速率，降低VR设备的CPU的负载，进而使得VR设备可支持较高分辨率的视频资源，提高用户体验；选取双相标准差滤波与形态学滤波相结合的去噪处理算法，先对采集到的三维数据进行双相标准差滤波处理，再对其进行形态学滤波处理，不仅消除了数据中的孤立噪声点，而且保留教学场景数据的三维形态特征，取得了较好的去噪效果。

附图说明

图1是本发明实施例提供的实现仿真教学的物联网教学信息处理方法流程图；

图2是本发明实施例提供的实现仿真教学的物联网教学信息处理系统结构框图；

图中：1、扫描模块；2、中央控制模块；3、网络通信模块；4、三维建模模块；5、视频编辑模块；6、视频处理模块；7、存储模块；8、VR显示模块。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。

下面结合附图对本发明的结构作详细的描述。

如图1所示，本发明实施例提供的实现仿真教学的物联网教学信息处理方法包括：

S101：利用基于双相标准差滤波法进行数据去噪的三维激光扫描器扫描教学场景三维数据；利用网卡连接物联网进行网络通信；

S102：利用建模软件根据采集的场景三维数据构建教学场景三维模型；

S103：利用视频编辑软件根据三维场景模型编辑教学视频数据；

S104：利用视频格式转换软件将教学视频数据转换为虚拟现实VR设备显示的视频数据；利用存储器存储采集的教学场景三维数据、模型、视频；

S105：利用基于IACPSO算法进行校正的虚拟现实VR设备显示的教学视频数据。

步骤S101中，本发明实施例提供的双相标准差滤波法包括：

(1)以标准差来度量行、列每个数据点值偏离对应行、列的程度，将偏离程度超过阈值的数据点认为是噪声点，并用对应行、列的均值替代该噪声点，

实现方法如下：

(a)逐行取教学场景三维数据矩阵O的数据，如第i行：

利用以下两式求出第i行数据R_i的算术平均值和标准差S_i:

(b)依次取该行中的每个数据z_ij，如果满足条件式：

则用算术平均值代替该点数据值z_ij，k为行滤波系数，取3～8；

(c)逐行消除图像噪声点后，用同样的方法逐列处理，再次消除噪声点，对所有行处理完毕，得到三维图像数据矩阵O′；

(2)采用沿水平夹角45°方向、11×11的结构元素模板S₁对三维图像数据矩阵O′作开运算，消除细小的尖刺，也就是去掉孤立的数据点，沿水平夹角45°方向、3×3的结构元素模板下表所示：

0	0	1
			0	1	0
1	0	0

(3)采用5×5的球结构元素模板S₂对数据矩阵作膨胀运算，填充边缘，消除数据中的零值点，去噪之后的三维图像数据矩阵O″为：

式中：O″为去噪后的教学场景三维数据。

步骤S105中，本发明实施例提供的VR设备的IACPSO校正算法包括：

1)将VR设备显示的教学视频数据初始化为粒子群，对粒子的速度、位置和个体极值、全局极值进行初始化，然后将种群分成两组，即种群一和种群二；

2)计算种群中各粒子的适应度值；目标函数的相反数作为适应度函数；

3)更新粒子的速度和位置；种群一采用惯性权重值为0.793，种群二惯性权重按下式进行自动调整：

其中：和分别表示粒子i和粒子群体在第k次迭代时在第d维的适应度函数值；

然后将这两个种群按照下式进行迭代：

其中，m是一个变化的值，粒子在搜索进化过程中，向适应度值比自己好的邻域粒子学习；

4)不断更新粒子的个体极值及全局极值；

5)取这两个种群进化过程中发现的最优粒子输出，即在迭代过程中领域粒子中不存在比自己适应度值好的粒子时，此粒子为最优粒子。

如图2所示，本发明提供的实现仿真教学的物联网教学信息处理系统包括：扫描模块1、中央控制模块2、网络通信模块3、三维建模模块4、视频编辑模块5、视频处理模块6、存储模块7、VR显示模块8。

扫描模块1，与中央控制模块2连接，用于通过三维激光扫描器扫描教学场景三维数据；

中央控制模块2，与扫描模块1、网络通信模块3、三维建模模块4、视频编辑模块5、视频处理模块6、存储模块7、VR显示模块8连接，用于通过单片机控制各个模块正常工作；

网络通信模块3，与中央控制模块2连接，用于通过网卡连接物联网进行网络通信；

三维建模模块4，与中央控制模块2连接，用于通过建模软件根据采集的场景三维数据构建教学场景三维模型；

视频编辑模块5，与中央控制模块2连接，用于通过视频编辑软件根据三维场景模型编辑教学视频数据；

视频处理模块6，与中央控制模块2连接，用于通过视频格式转换软件将教学视频数据转换为虚拟现实VR设备显示的视频数据；

存储模块7，与中央控制模块2连接，用于通过存储器存储采集的教学场景三维数据、模型、视频；

VR显示模块8，与中央控制模块2连接，用于通过虚拟现实VR设备显示的教学视频数据。

本发明实施例提供的三维建模模块3建模方法包括：

(1)将三维激光扫描器扫描到的教学场景三维数据导入到三维软件中；

(2)接收多个采集设备针对当前目标教学场景采集的当前帧图像，将当前帧图像转化为对应的多个第一点云；

(3)将第一点云所在帧之前的预设数量各帧对应的点云与第一点云进行对比，根据对比结果，在所述第一点云中确定出动态目标对应的第一部分点云；或将第一点云与静态目标的模型特征或者动态目标的模型特征进行匹配，根据匹配结果，确定动态目标对应的第一部分点云；

(4)根据预先确定的每个第一点云所在的坐标系之间的第一变换关系，将所确定的每个第一部分点云变换至同一个坐标系，得到所述动态目标对应的一个多方位点云；根据所述多方位点云构建前景三维模型；

(5)接收第二采集设备针对目标教学场景中的静态目标采集的扫描数据，将扫描数据转化为第二点云；根据第二点云构建所述背景三维模型；

(6)将构建的前景三维模型与背景三维模型进行叠加，得到当前三维场景模型。

本发明实施例提供的视频处理模块6处理方法如下：

1)根据构建的仿真三维教学场景模型，制作目标教学视频；

2)获取YUV格式的目标教学视频帧图像；

3)格式转换器根据不同图像格式创建目标教学视频帧图像对应的纹理图片；

4)根据纹理图片中各像素点的坐标，确定纹理图片中的冗余像素点；删除纹理图片中的冗余像素点，得到待填充纹理图片；将图像解码器输出的目标教学视频帧图像的解码数据，填充至所述待填充纹理图片中，得到三幅已填充纹理图片分别为目标教学视频帧图像的Y通道、U通道和V通道的图像信息；

5)通过GPU，根据三幅已填充纹理图片中记录的每一像素点的图像信息，计算对应的RGBA格式的视频数据，得到目标教学视频帧图像对应的RGBA格式的视频数据。

步骤3)至步骤4)中，本发明实施例提供的根据不同图像格式创建对应的纹理图片包括：

当目标教学视频帧图像的格式为I420格式时，创建三幅格式为Alpha 8的纹理图片，将图像解码器输出的目标教学视频帧图像的Y通道、U通道和V通道的解码数据，分别填充至每一格式为Alpha 8的纹理图片中，得到三幅已填充纹理图片；

当目标教学视频帧图像的格式为NV12格式时，创建一幅格式为Alpha8的纹理图片和一幅格式为RGBA4444的纹理图片，将图像解码器输出的目标教学视频帧图像的Y通道的解码数据填充至格式为Alpha8的纹理图片中，并将图像解码器输出的目标教学视频帧图像的UV通道的解码数据填充至格式为RGBA4444的纹理图片中并拆分为两幅等大小的纹理图片；将拆分得到的纹理图片和已填充目标教学视频帧图像的Y通道的解码数据的格式为Alpha 8的纹理图片，确定为三幅已填充纹理图片。

本发明工作时，首先，通过扫描模块1利用三维激光扫描器扫描教学场景三维数据；其次，中央控制模块2通过网络通信模块3利用网卡连接物联网进行网络通信；通过三维建模模块4利用建模软件根据采集的场景三维数据构建教学场景三维模型；通过视频编辑模块5利用视频编辑软件根据三维场景模型编辑教学视频数据；通过视频处理模块6利用视频格式转换软件将教学视频数据转换为虚拟现实VR设备显示的视频数据；然后，通过存储模块7利用存储器存储采集的教学场景三维数据、模型、视频；最后，通过VR显示模块8利用虚拟现实VR设备显示的教学视频数据。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (5)

1.一种实现仿真教学的物联网教学信息处理方法，其特征在于，所述实现仿真教学的物联网教学信息处理方法包括：

第一步，利用基于双相标准差滤波法进行数据去噪的三维激光扫描器扫描教学场景三维数据；利用网卡连接物联网进行网络通信；

第二步，利用建模软件根据采集的场景三维数据构建教学场景三维模型；

第三步，利用视频编辑软件根据三维场景模型编辑教学视频数据；

第四步，利用视频格式转换软件将教学视频数据转换为虚拟现实VR设备显示的视频数据；利用存储器存储采集的教学场景三维数据、模型、视频；

第五步，利用基于IACPSO算法进行校正的虚拟现实VR设备显示的教学视频数据。

2.如权利要求1所述的实现仿真教学的物联网教学信息处理方法，其特征在于，所述第一步中双相标准差滤波法包括：

(1)以标准差来度量行、列每个数据点值偏离对应行、列的程度，将偏离程度超过阈值的数据点认为是噪声点，并用对应行、列的均值替代该噪声点，

实现方法如下：

(a)逐行取教学场景三维数据矩阵O的数据，如第i行：

R_t＝(z_i1，z_i2，…，z_in)，i＝1，2，…，m

利用以下两式求出第i行数据R_i的算术平均值和标准差S_i:

(b)依次取该行中的每个数据z_ij，如果满足条件式：

则用算术平均值代替该点数据值z_ij，k为行滤波系数，取3～8；

(c)逐行消除图像噪声点后，用同样的方法逐列处理，再次消除噪声点，对所有行处理完毕，得到三维图像数据矩阵O′；

(2)采用沿水平夹角45°方向、11×11的结构元素模板S₁对三维图像数据矩阵O′作开运算，消除细小的尖刺，也就是去掉孤立的数据点，沿水平夹角45°方向、3×3的结构元素模板下表所示：

0 0 1 0 1 0 1 0 0

(3)采用5×5的球结构元素模板S₂对数据矩阵作膨胀运算，填充边缘，消除数据中的零值点，去噪之后的三维图像数据矩阵O″为：

式中：O″为去噪后的教学场景三维数据。

3.如权利要求1所述的实现仿真教学的物联网教学信息处理方法，其特征在于，所述第五步中VR设备的IACPSO校正算法包括：

1)将VR设备显示的教学视频数据初始化为粒子群，对粒子的速度、位置和个体极值、全局极值进行初始化，然后将种群分成两组，即种群一和种群二；

2)计算种群中各粒子的适应度值；目标函数的相反数作为适应度函数；

3)更新粒子的速度和位置；种群一采用惯性权重值为0.793，种群二惯性权重按下式进行自动调整：

其中：和分别表示粒子i和粒子群体在第k次迭代时在第d维的适应度函数值；

然后将这两个种群按照下式进行迭代：

其中，m是一个变化的值，粒子在搜索进化过程中，向适应度值比自己好的邻域粒子学习；

4)不断更新粒子的个体极值及全局极值；

5)取这两个种群进化过程中发现的最优粒子输出，即在迭代过程中领域粒子中不存在比自己适应度值好的粒子时，此粒子为最优粒子。

4.一种实现权利要求1所述实现仿真教学的物联网教学信息处理方法的实现仿真教学的物联网教学信息处理系统，其特征在于，所述实现仿真教学的物联网教学信息处理系统包括：

扫描模块，与中央控制模块连接，用于通过三维激光扫描器扫描教学场景三维数据；

中央控制模块，与扫描模块、网络通信模块、三维建模模块、视频编辑模块、视频处理模块、存储模块、VR显示模块连接，用于通过单片机控制各个模块正常工作；

网络通信模块，与中央控制模块连接，用于通过网卡连接物联网进行网络通信；

三维建模模块，与中央控制模块连接，用于通过建模软件根据采集的场景三维数据构建教学场景三维模型；

视频编辑模块，与中央控制模块连接，用于通过视频编辑软件根据三维场景模型编辑教学视频数据；

视频处理模块，与中央控制模块连接，用于通过视频格式转换软件将教学视频数据转换为虚拟现实VR设备显示的视频数据；

存储模块，与中央控制模块连接，用于通过存储器存储采集的教学场景三维数据、模型、视频；

VR显示模块，与中央控制模块连接，用于通过虚拟现实VR设备显示的教学视频数据。

5.一种应用权利要求1～3任意一项所述实现仿真教学的物联网教学信息处理方法的仿真教学平台。