CN114779942A - 一种虚拟现实沉浸式互动系统、设备及方法 - Google Patents

一种虚拟现实沉浸式互动系统、设备及方法 Download PDF

Info

Publication number
CN114779942A
CN114779942A CN202210559609.7A CN202210559609A CN114779942A CN 114779942 A CN114779942 A CN 114779942A CN 202210559609 A CN202210559609 A CN 202210559609A CN 114779942 A CN114779942 A CN 114779942A
Authority
CN
China
Prior art keywords
scene
virtual
virtual reality
virtual teaching
teaching scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210559609.7A
Other languages
English (en)
Other versions
CN114779942B (zh
Inventor
李婷妹
王新亮
王敏军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yunhui Digital Software Co ltd
Original Assignee
Guangzhou Yunhui Digital Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yunhui Digital Software Co ltd filed Critical Guangzhou Yunhui Digital Software Co ltd
Priority to CN202210559609.7A priority Critical patent/CN114779942B/zh
Publication of CN114779942A publication Critical patent/CN114779942A/zh
Application granted granted Critical
Publication of CN114779942B publication Critical patent/CN114779942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种虚拟现实沉浸式互动系统，所述系统包括：虚拟现实仿真模块，用于进行虚拟教学场景建模，所述虚拟教学场景为无人机加工制造全场景；虚拟教学场景选择模块，用于对所述无人机加工制造全场景的各个子场景进行选择；识别定位模块，通过多个传感器采集处于虚拟教学场景中人物的特征信息，利用特征信息进行位姿识别；所述位姿包括手、脚、头部的位姿中的至少一项；显示模块，用于展示人工交互后的虚拟教学场景的画面显示。

Description

一种虚拟现实沉浸式互动系统、设备及方法
技术领域
本发明涉及教育行业以及虚拟现实领域，尤其涉及一种虚拟现实沉浸式互动系统、设备及方法。
背景技术
传统职业或本科教学长期存在五个现象：看不见、听不懂、说不清、摸不到、学不会。主要表现在知识不可视、理论太抽象、教学没场景、情境不具象，学生知识迁移能力不足、学习意识不强，知识转化率低、转化效果不好，老师不好教，学生不乐学。传统教学方法是老师讲、学生听；传统教学内容太抽象，多采用的死记、硬背、冥想的方式，过去的教学媒体是黑板、粉笔、投影的方式。虚拟现实技术的发展，将给教育行业带来颠覆性的影响，未来的教学方法是学生做、教师评，具体将是采用听懂、看见、摸到的方式，具体的将触控、感知、刺激的方式引入到教学实践中。借助虚拟仿真可以提供全景式实景式教学，利用智能感知可体验式深度学习，利用人机交互可提供沉浸式交互课堂。借助虚拟现实技术，可让学生不出校园一样可以“深入企业”。
现有教育体系中实践类项目较少，而且企业参观实时虽然较好，但是好企业难找。
本申请通过建立企业实境仿真教学平台，以企业全场景为原型进行3D数字化建模，结合虚拟现实技术，打造3D实境化企业仿真教学系统。学生可自由跨越时间与空间的界限，通过模拟企业岗位角色，不进可以“身入”到企业实境开展顶岗实习、实训活动，还可以“深入”到管理业务中进行经营实践。学生沉浸在一种接近真实的动态场景中，参与企业岗位任务，激活学生创新创业精神。通过摄像传感器，捕捉学生在虚拟场景下的各种位姿，通过深度学习方法完成对虚拟场景中人物位姿的识别，并通过虚拟教学场景选择模块完成虚拟子场景的选择，通过显示模块展示人工交互后的虚拟教学场景的画面。
主要创新点：
1.本申请对处于虚拟场景中的人物实现了三维位姿识别，克服了仅进行二维位姿识别带来的不准确问题。
2.本申请为了提高在虚拟现实中的沉浸感，提出了独特的三维位姿识别模型，在一些实施例中，可使得场景中的人物可以通过与现实中几乎完全一样的位姿，完成显示单元中场景或场景中对象的变化，例如实现对象的旋转、平移等，避免了使用额外的物理硬件带来的不便。
3.本申请的三维位姿识别模型完全不同于一些二维的位姿识别模型，常规的二维位姿识别模型往往是通过获取的关键图像中人物的位姿进行识别，而本申请引入了位置传感器、角度传感器等，将虚拟场景中人物的相对位置、相对角度作为特征向量的一部分，进行三维位姿识别，借助与所提出的的激励函数及损失函数，大大提高了位姿识别模型的准确度。
发明内容
为解决上述问题，本发明提出了一种虚拟现实沉浸式互动系统，所述系统包括：
虚拟现实仿真模块，用于进行虚拟教学场景建模，所述虚拟教学场景为无人机加工制造全场景；
虚拟教学场景选择模块，用于对所述无人机加工制造全场景的各个子场景进行选择；识别定位模块，通过多个传感器采集处于虚拟教学场景中人物的特征信息，利用特征信息进行位姿识别；所述位姿包括手、脚、头部的位姿中的至少一项；
显示模块，用于展示人工交互后的虚拟教学场景的画面显示。
可选的，所述显示模块采用CAVE显示系统，允许多人同时融入同一虚拟教学子场景。
可选的，所述虚拟现实仿真模块采用文件导入的方式获得虚拟教学场景。
可选的，所述虚拟现实仿真模块利用Vega Prime、Unity3D、Converse3D中的一项或多项直接进行虚拟教学场景自定义建模。
可选的，所述虚拟教学场景选择模块通过语音输入、手势识别、触摸点击以及遥控中的任意一种或多种方式的组合进行子场景选择；所述识别定位模块采用深度神经网络完成位姿识别。
可选的，所述显示模块采用多台投影机正投融合的方式投射在270度的锥面屏幕，幕高 3m，上边沿半径3.5m，底部半径3.1m，锥面倾度5.5度，屏幕下沿的图像包裹用户的垂直视域，所述锥面屏幕由一整块屏幕构成，在水平方向与垂直方向没有接缝，以获得更好的沉浸感与画面质量。
对应的，本申请还提出了一种虚拟现实沉浸式互动方法，所述方法包括以下特征：利用虚拟现实仿真模块进行虚拟教学场景建模，所述虚拟教学场景为无人机加工制造全场景；利用虚拟教学场景选择模块对所述无人机加工制造全场景的各个子场景进行选择；
利用识别定位模块中的多个传感器采集处于虚拟教学场景中人物的特征信息，利用特征信息进行位姿识别；所述位姿包括手、脚、头部的位姿中的至少一项；
利用显示模块展示人工交互后的虚拟教学场景的画面。
可选的，所述显示模块采用CAVE显示系统，允许多人同时融入同一虚拟教学子场景。
可选的，所述虚拟现实仿真模块采用文件导入的方式获得虚拟教学场景。
可选的，所述虚拟现实仿真模块利用Vega Prime、Unity3D、Converse3D中的一项或多项直接进行虚拟教学场景自定义建模。
可选的，所述虚拟教学场景选择模块通过语音输入、手势识别、触摸点击以及遥控中的任意一种或多种方式的组合进行子场景选择；所述识别定位模块采用深度神经网络完成位姿识别。
可选的，所述显示模块采用多台投影机正投融合的方式投射在270度的锥面屏幕，幕高 3m，上边沿半径3.5m，底部半径3.1m，锥面倾度5.5度，屏幕下沿的图像包裹用户的垂直视域，所述锥面屏幕由一整块屏幕构成，在水平方向与垂直方向没有接缝，以获得更好的沉浸感与画面质量。
相应的，本发明还提出了一种虚拟现实沉浸式互动设备，所述虚拟现实沉浸式互动设备包含处理器以及存储器，存储器中存储有程序指令，所述程序指令运行上述任一项所述的解码方法。
本申请还提出了一种计算机存储介质，所述存储介质存储有计算机程序指令，所述程序指令用于运行所述任一项所述的方法。
附图说明
图1是本发明的主要结构图。
具体实施方式
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同。例如，卷积神经网络(Convolutional neural networks，简称CNNs)就是一种深度的监督学习下的机器学习模型，而深度置信网(Deep Belief Nets，简称DBNs)就是一种无监督学习下的机器学习模型。
卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning) 的代表算法之一。
深度卷积神经网络DCNN,则是具有多个CNN层的网络结构。
深度神经网络中经常采用的激励函数如下：sigmoid函数，tanh函数，ReLU函数。
sigmoid函数，该函数是将取值为(-∞,+∞)的数映射到(0,1)之间。sigmoid函数的公式如下：
Figure BDA0003655991570000041
sigmoid函数作为非线性激活函数，但是其并不被经常使用，它具有以下几个缺点：当 z值非常大或者非常小时，sigmoid函数的导数g′(z)将接近0。这会导致权重W的梯度将接近0，使得梯度更新十分缓慢，即梯度消失。
tanh函数，tanh函数相较于sigmoid函数要常见一些，该函数是将取值为(-∞,+∞) 的数映射到(-1,1)之间，其公式为：
Figure BDA0003655991570000042
tanh函数在0附近很短一段区域内可看做线性的。由于tanh函数均值为0，因此弥补了sigmoid函数均值为0.5的缺点。
ReLU函数，ReLU函数又称为修正线性单元(Rectified Linear Unit)，是一种分段线性函数，其弥补了sigmoid函数以及tanh函数的梯度消失问题。ReLU函数的公式如下：
Figure BDA0003655991570000043
ReLU函数的优点：
(1)在输入为正数的时候(对于大多数输入z空间来说)，不存在梯度消失问题。
(2)计算速度要快很多。ReLU函数只有线性关系，不管是前向传播还是反向传播，都比sigmod和tanh要快很多。
ReLU函数的缺点：
(1)当输入为负时，梯度为0，会产生梯度消失问题。
在本领域技术人员能够理解上述基本概念及常规操作方式的基础上，如图1所述，为解决上述问题，提出一种为解决上述问题，本发明提出了一种虚拟现实沉浸式互动系统，所述系统包括：
虚拟现实仿真模块，用于进行虚拟教学场景建模，所述虚拟教学场景为无人机加工制造全场景；
虚拟教学场景选择模块，用于对所述无人机加工制造全场景的各个子场景进行选择；
识别定位模块，通过多个传感器采集处于虚拟教学场景中人物的特征信息，利用特征信息进行位姿识别；所述位姿包括手、脚、头部的位姿中的至少一项；
显示模块，用于展示人工交互后的虚拟教学场景的画面显示。
可选的，所述显示模块采用CAVE显示系统，允许多人同时融入同一虚拟教学子场景。
可选的，所述虚拟现实仿真模块采用文件导入的方式获得虚拟教学场景。
可选的，所述虚拟现实仿真模块利用Vega Prime、Unity3D、Converse3D中的一项或多项直接进行虚拟教学场景自定义建模。
可选的，所述虚拟现实仿真模块用VRML语言进行三维建模及渲染，按照无人机加工制造全场景中的每一个具体对象(或主要对象)作为节点进行造型，实现颜色、纹理等渲染，通过系统对虚拟场景中人物位姿的识别触发事件，实现虚拟子场景的路由。
可选的，所述虚拟教学场景选择模块通过语音输入、手势识别、触摸点击以及遥控中的任意一种或多种方式的组合进行子场景选择；所述识别定位模块采用深度神经网络完成位姿识别。
所述虚拟教学场景中人物可以为学生或老师或其他使用系统的人物。
可选的，虚拟现实场景中的人物例如发出：“机身制造子场景”、“机身组装子场景”、“软件测试子场景”、“整机测试子场景”等指令时，系统通过语音识别的方式实现虚拟教学子场景的切换。
可选的，通过显示模块对虚拟教学子场景进行文字目录呈现，例如：所述目录文字可以为：“机身制造子场景”、“机身组装子场景”、“软件测试子场景”、“整机测试子场景”等。虚拟教学场景中人物可以利用触摸板的点击、触摸滑动等操作实现上述各虚拟子场景的选择。
可选的，通过显示模块对虚拟教学子场景进行文字目录呈现，通过遥控器实现文字目录的选择，从而确定所要进入的虚拟教学子场景。
可选的，显示模块先显示默认的第一虚拟子场景，例如为“机身制造子场景”，如果虚拟教学场景的人物将右手在空中向左移动，则系统根据识别到的手势，将显示模块呈现的内容切换为“机身组装子场景”，如果虚拟教学场景的人物的右手在空中继续向左移动，则系统根据识别到的手势，将显示模块呈现的内容切换为“软件测试子场景”，如果虚拟教学场景的人物的右手在空中继续向右移动，则系统根据识别到的手势，将显示模块呈现的内容重新切换为“机身组装子场景”。
获取各个人物的位姿标准图像，所述标准图像包括向左转头、向右转头、向左转身、向右转身、抬脚、左手左指、右手右指等；并对每个标准图像进行标注。根据人体位姿标准图像获取人体三维位姿特征以及对应的标注信息，结合传感器获得的人物相对位置向量及旋转角度向量，建立三维位姿识别网络模型。
可选的，所述传感器可包括距离传感器及角度传感器，可选的距离传感器可以为RF传感器或激光传感器。可选的，所述传感器可以佩戴于虚拟场景中的人物身上，例如，腰部位置或手腕位置、脚踝位置等。可将上述信息作为训练样本的一部分特征进行三维位姿网络模型的训练。
三维位姿识别网络模型整体分为三层，输入层、嵌入层以及输出层，可分为以下过程：
1.特征提取阶段：使用13个卷积层和4个最大池化层，提取高维特征；
2.嵌入阶段：将第一阶段生成的高维特征映射嵌入到低维，然后，三维位姿识别网络模型执行位姿估计的三个不同任务，即语义标记、3D平移估计和3D旋转估计。
3D平移估计：
3D平移T＝(Tx，Ty，Tz)是相机坐标系中对象原点的坐标。假设T在图像上的投影是c＝(cx，cy)，根据假设针孔相机的以下投影方程来恢复Tx和Ty：
Figure BDA0003655991570000061
为了从像素级语义标注结果和中心回归结果中找到二维目标中心，采用Hough投票层并将其集成到网络中。
3D旋转估计：
使用Hough投票层预测的对象边界框，利用两个RoI池层来“裁剪和汇集”网络第一阶段生成的视觉特征，用于3D旋转估计。合并的特征映射被添加到一起，并输入到三个完全连接的(FC)层中。前两个FC层的维数为2086，最后一个FC层的维数为4×n，n为对象类的个数。对于每个类，最后一个FC层输出表示3D旋转估计值。
可选的，三维位姿识别网络模型池化层方法不选择常规的最大池化层方法，而是如下池化方法如下：
xe＝f(ue)
Figure BDA0003655991570000062
其中，xe表示当前层的输出，we表示当前层的权重，φ表示损失函数，xe-1表示下一层的输出，be表示偏置，δ表示一预设常数；
Figure BDA0003655991570000071
N表示所述样本数据集的大小，i取值1～N；Qyi表示样本xi在其标签yi处的权重，Myi表示样本xi在其标签yi处的偏差，Mj表示输出节点j处的偏差；θj,i为样本xi与其对应标签yi的向量夹角。
激励函数RL为：
Figure BDA0003655991570000072
N表示所述样本数据集的大小；Wyi表示样本特征向量xi在其标签yi处的权重。
可选的，三维位姿识别网络模型不选择常规交叉熵损失函数，所采用的损失函数为：
Figure BDA0003655991570000073
ψ(θj,i)＝(-1)kcos(mθj,i)-2k，m为预设参数， 1≤m≤4；
k＝abs(sign(cosθj,i))-(abs(sign(cos2θj,i))-sign(cosθj,i))/2。
对上述三维位姿识别网络模型不断进行训练，直到满足预定的条件为止,得到训练后的三维位姿识别网络模型模型。
对于处于虚拟教学场景中的人物，可选的，可佩戴距离传感器或角度传感器进行运动操作，以实现虚拟教学场景的变换。
对于处于虚拟教学场景中的人物，可选的，可移除佩戴距离传感器或角度传感器进行运动操作，实现虚拟教学场景的变换。
可选的，所述显示模块采用多台投影机正投融合的方式投射在270度的锥面屏幕，幕高 3m，上边沿半径3.5m，底部半径3.1m，锥面倾度5.5度，屏幕下沿的图像包裹用户的垂直视域，所述锥面屏幕由一整块屏幕构成，在水平方向与垂直方向没有接缝，以获得更好的沉浸感与画面质量。
对应的，本申请还提出了一种虚拟现实沉浸式互动方法，所述方法包括以下特征：
利用虚拟现实仿真模块进行虚拟教学场景建模，所述虚拟教学场景为无人机加工制造全场景；
利用虚拟教学场景选择模块对所述无人机加工制造全场景的各个子场景进行选择；
利用识别定位模块中的多个传感器采集处于虚拟教学场景中人物的特征信息，利用特征信息进行位姿识别；所述位姿包括手、脚、头部的位姿中的至少一项；
利用显示模块展示人工交互后的虚拟教学场景的画面。
可选的，所述显示模块采用CAVE显示系统，允许多人同时融入同一虚拟教学子场景。
可选的，所述虚拟现实仿真模块采用文件导入的方式获得虚拟教学场景。
可选的，所述虚拟现实仿真模块利用Vega Prime、Unity3D、Converse3D中的一项或多项直接进行虚拟教学场景自定义建模。
可选的，所述虚拟现实仿真模块用VRML语言进行三维建模及渲染，按照无人机加工制造全场景中的每一个具体对象(或主要对象)作为节点进行造型，实现颜色、纹理等渲染，通过系统对虚拟场景中人物位姿的识别触发事件，实现虚拟子场景的路由。可选的，所述虚拟教学场景选择模块通过语音输入、手势识别、触摸点击以及遥控中的任意一种或多种方式的组合进行子场景选择；所述识别定位模块采用深度神经网络完成位姿识别。
所述虚拟教学场景中人物可以为学生或老师或其他使用系统的人物。
可选的，虚拟现实场景中的人物例如发出：“机身制造子场景”、“机身组装子场景”、“软件测试子场景”、“整机测试子场景”等指令时，系统通过语音识别的方式实现虚拟教学子场景的切换。
可选的，通过显示模块对虚拟教学子场景进行文字目录呈现，例如：所述目录文字可以为：“机身制造子场景”、“机身组装子场景”、“软件测试子场景”、“整机测试子场景”等。虚拟教学场景中人物可以利用触摸板的点击、触摸滑动等操作实现上述各虚拟子场景的选择。
可选的，通过显示模块对虚拟教学子场景进行文字目录呈现，通过遥控器实现文字目录的选择，从而确定所要进入的虚拟教学子场景。
可选的，显示模块先显示默认的第一虚拟子场景，例如为“机身制造子场景”，如果虚拟教学场景的人物将右手在空中向左移动，则系统根据识别到的手势，将显示模块呈现的内容切换为“机身组装子场景”，如果虚拟教学场景的人物的右手在空中继续向左移动，则系统根据识别到的手势，将显示模块呈现的内容切换为“软件测试子场景”，如果虚拟教学场景的人物的右手在空中继续向右移动，则系统根据识别到的手势，将显示模块呈现的内容重新切换为“机身组装子场景”。
获取各个人物的位姿标准图像，所述标准图像包括向左转头、向右转头、向左转身、向右转身、抬脚、左手左指、右手右指等；并对每个标准图像进行标注。根据人体位姿标准图像获取人体三维位姿特征以及对应的标注信息，结合传感器获得的人物相对位置向量及旋转角度向量，建立三维位姿识别网络模型。
可选的，所述传感器可包括距离传感器及角度传感器，可选的距离传感器可以为RF传感器或激光传感器。可选的，所述传感器可以佩戴于虚拟场景中的人物身上，例如，腰部位置或手腕位置、脚踝位置等。可将上述信息作为训练样本进行三维位姿网络模型的训练。
三维位姿识别网络模型整体分为三层，输入层、嵌入层以及输出层，可分为以下过程：
1.特征提取阶段：使用13个卷积层和4个最大池化层，提取高维特征；
2.嵌入阶段：将第一阶段生成的高维特征映射嵌入到低维，然后，三维位姿识别网络模型执行位姿估计的三个不同任务，即语义标记、3D平移估计和3D旋转估计。
3D平移估计：
3D平移T＝(Tx，Ty，Tz)是相机坐标系中对象原点的坐标。假设T在图像上的投影是c＝(cx，cy)，根据假设针孔相机的以下投影方程来恢复Tx和Ty：
Figure BDA0003655991570000091
为了从像素级语义标注结果和中心回归结果中找到二维目标中心，采用Hough投票层并将其集成到网络中。
3D旋转估计：
使用Hough投票层预测的对象边界框，利用两个RoI池层来“裁剪和汇集”网络第一阶段生成的视觉特征，用于3D旋转估计。合并的特征映射被添加到一起，并输入到三个完全连接的(FC)层中。前两个FC层的维数为2086，最后一个FC层的维数为4×n，n为对象类的个数。对于每个类，最后一个FC层输出表示3D旋转估计值。
可选的，三维位姿识别网络模型池化层方法不选择常规的最大池化层方法，而是如下池化方法如下：
xe＝f(ue)
Figure BDA0003655991570000092
其中，xe表示当前层的输出，we表示当前层的权重，φ表示损失函数，xe-1表示下一层的输出，be表示偏置，δ表示一预设常数；
Figure BDA0003655991570000101
N表示所述样本数据集的大小，i取值1～N；Qyi表示样本xi在其标签yi处的权重，Myi表示样本xi在其标签yi处的偏差，Mj表示输出节点j处的偏差；θj,i为样本xi与其对应标签yi的向量夹角。
激励函数RL为：
Figure BDA0003655991570000102
N表示所述样本数据集的大小；Wyi表示样本特征向量xi在其标签yi处的权重。
可选的，三维位姿识别网络模型不选择常规交叉熵损失函数，所采用的损失函数为：
Figure BDA0003655991570000103
式中，ψ(θj,i)＝(-1)kcos(mθj,i)-2k，m为预设参数， 1≤m≤4；
k＝abs(sign(cosθj,i))-(abs(sign(cos2θj,i))-sign(cosθj,i))/2。
对上述三维位姿识别网络模型不断进行训练，直到满足预定的条件为止,得到训练后的三维位姿识别网络模型模型。
对于处于虚拟教学场景中的人物，可选的，可佩戴距离传感器或角度传感器进行运动操作，以实现虚拟教学场景的变换。
对于处于虚拟教学场景中的人物，可选的，可移除佩戴距离传感器或角度传感器进行运动操作，实现虚拟教学场景的变换。
可选的，所述显示模块采用多台投影机正投融合的方式投射在270度的锥面屏幕，幕高 3m，上边沿半径3.5m，底部半径3.1m，锥面倾度5.5度，屏幕下沿的图像包裹用户的垂直视域，所述锥面屏幕由一整块屏幕构成，在水平方向与垂直方向没有接缝，以获得更好的沉浸感与画面质量。
相应的，本发明还提出了一种虚拟现实沉浸式互动设备，所述虚拟现实沉浸式互动设备包含处理器以及存储器，存储器中存储有程序指令，所述程序指令运行上述任一项所述的解码方法。
本申请还提出了一种计算机存储介质，所述存储介质存储有计算机程序指令，所述程序指令用于运行所述任一项所述的方法。
本申请实施例中提到的具体实施例在不产生矛盾冲突的情况下均可以进行自由组合，各种组合方案都属于本发明公开的范围。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子 (非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等) 或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括： U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
一种包含上述各实施例的基于物联网的运输数据采集方法的计算机可执行指令的存储介质，所述存储介质上存储有能实现上述方法的程序指令。上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种虚拟现实沉浸式互动系统，所述系统包括：
虚拟现实仿真模块，用于进行虚拟教学场景建模，所述虚拟教学场景为无人机加工制造全场景；
虚拟教学场景选择模块，用于对所述无人机加工制造全场景的各个子场景进行选择；
识别定位模块，通过多个传感器采集处于虚拟教学场景中人物的特征信息，利用特征信息进行位姿识别；所述位姿包括手、脚、头部的位姿中的至少一项；
显示模块，用于展示人工交互后的虚拟教学场景的画面显示。
2.根据权利要求1所述的一种虚拟现实沉浸式互动系统，所述虚拟现实仿真模块采用文件导入的方式获得虚拟教学场景。
3.根据权利要求1所述的一种虚拟现实沉浸式互动系统，所述虚拟现实仿真模块利用Vega Prime、Unity3D、Converse3D中的一项或多项直接进行虚拟教学场景自定义建模。
4.根据权利要求1所述的一种虚拟现实沉浸式互动系统，所述虚拟教学场景选择模块通过语音输入、手势识别、触摸点击以一种或多种方式的组合进行子场景选择；所述识别定位模块采用深度神经网络完成位姿识别。
5.根据权利要求1所述的一种虚拟现实沉浸式互动系统，所述显示模块采用多台投影机正投融合的方式投射在270度的锥面屏幕，幕高3m，上边沿半径3.5m，底部半径3.1m，锥面倾度5.5度，屏幕下沿的图像包裹用户的垂直视域，所述锥面屏幕由一整块屏幕构成，在水平方向与垂直方向没有接缝，以获得更好的沉浸感与画面质量。
6.一种虚拟现实沉浸式互动方法，所述方法包括以下特征：
利用虚拟现实仿真模块进行虚拟教学场景建模，所述虚拟教学场景为无人机加工制造全场景；
利用虚拟教学场景选择模块对所述无人机加工制造全场景的各个子场景进行选择；
利用识别定位模块中的多个传感器采集处于虚拟教学场景中人物的特征信息，利用特征信息进行位姿识别；所述位姿包括手、脚、头部的位姿中的至少一项；
利用显示模块展示人工交互后的虚拟教学场景的画面。
7.根据权利要求6所述的一种虚拟现实沉浸式互动方法，所述虚拟现实仿真模块采用文件导入的方式获得虚拟教学场景。
8.根据权利要求7所述的一种虚拟现实沉浸式互动方法，所述虚拟现实仿真模块利用Vega Prime、Unity3D、Converse3D中的一项或多项直接进行虚拟教学场景自定义建模。
9.根据权利要求1所述的一种虚拟现实沉浸式互动系统，所述虚拟教学场景选择模块通过语音输入、手势识别、触摸点击以及遥控中的任意一种或多种方式的组合进行子场景选择，所述识别定位模块采用深度神经网络完成位姿识别；所述显示模块采用多台投影机正投融合的方式投射在270度的锥面屏幕，幕高3m，上边沿半径3.5m，底部半径3.1m，锥面倾度5.5度，当使用者走近屏幕时，屏幕下沿的图像包裹用户的垂直视域，所述锥面屏幕由一整块屏幕构成，在水平方向与垂直方向没有接缝，以获得更好的沉浸感与画面质量。
10.一种虚拟现实沉浸式互动设备，所述互动设备包含处理器以及存储器，存储器中存储有程序指令，所述程序指令运行如权利要求6-9任一项所述的方法。
CN202210559609.7A 2022-05-23 2022-05-23 一种虚拟现实沉浸式互动系统、设备及方法 Active CN114779942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210559609.7A CN114779942B (zh) 2022-05-23 2022-05-23 一种虚拟现实沉浸式互动系统、设备及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210559609.7A CN114779942B (zh) 2022-05-23 2022-05-23 一种虚拟现实沉浸式互动系统、设备及方法

Publications (2)

Publication Number Publication Date
CN114779942A true CN114779942A (zh) 2022-07-22
CN114779942B CN114779942B (zh) 2023-07-21

Family

ID=82409140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210559609.7A Active CN114779942B (zh) 2022-05-23 2022-05-23 一种虚拟现实沉浸式互动系统、设备及方法

Country Status (1)

Country Link
CN (1) CN114779942B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116384661A (zh) * 2023-03-10 2023-07-04 深圳职业技术学院 基于沉浸式xr智慧课堂的教学方法、系统及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204964983U (zh) * 2015-08-20 2016-01-13 北京航宇荣康科技发展有限公司 大视场实像视景显示系统
WO2018098720A1 (zh) * 2016-11-30 2018-06-07 深圳益强信息科技有限公司 一种基于虚拟现实的数据处理方法及系统
CN109341763A (zh) * 2018-10-10 2019-02-15 广东长盈科技股份有限公司 一种基于物联网的运输数据采集系统及方法
CN109460974A (zh) * 2018-10-29 2019-03-12 广州皓云原智信息科技有限公司 一种基于姿态识别的考勤系统
CN109493847A (zh) * 2018-12-14 2019-03-19 广州玛网络科技有限公司 声音识别系统以及声音识别装置
CN110298227A (zh) * 2019-04-17 2019-10-01 南京航空航天大学 一种基于深度学习的无人机航拍图像中的车辆检测方法
CN110458128A (zh) * 2019-08-16 2019-11-15 广东工业大学 一种姿态特征获取方法、装置、设备及存储介质
CN111862201A (zh) * 2020-07-17 2020-10-30 北京航空航天大学 一种基于深度学习的空间非合作目标相对位姿估计方法
CN112783320A (zh) * 2020-10-21 2021-05-11 中山大学 一种沉浸式虚拟现实的案例教学展示方法及系统
CN114035682A (zh) * 2021-10-29 2022-02-11 王朋 一种裸眼3d可交互沉浸式虚拟现实cave系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204964983U (zh) * 2015-08-20 2016-01-13 北京航宇荣康科技发展有限公司 大视场实像视景显示系统
WO2018098720A1 (zh) * 2016-11-30 2018-06-07 深圳益强信息科技有限公司 一种基于虚拟现实的数据处理方法及系统
CN109341763A (zh) * 2018-10-10 2019-02-15 广东长盈科技股份有限公司 一种基于物联网的运输数据采集系统及方法
CN109460974A (zh) * 2018-10-29 2019-03-12 广州皓云原智信息科技有限公司 一种基于姿态识别的考勤系统
CN109493847A (zh) * 2018-12-14 2019-03-19 广州玛网络科技有限公司 声音识别系统以及声音识别装置
CN110298227A (zh) * 2019-04-17 2019-10-01 南京航空航天大学 一种基于深度学习的无人机航拍图像中的车辆检测方法
CN110458128A (zh) * 2019-08-16 2019-11-15 广东工业大学 一种姿态特征获取方法、装置、设备及存储介质
CN111862201A (zh) * 2020-07-17 2020-10-30 北京航空航天大学 一种基于深度学习的空间非合作目标相对位姿估计方法
CN112783320A (zh) * 2020-10-21 2021-05-11 中山大学 一种沉浸式虚拟现实的案例教学展示方法及系统
CN114035682A (zh) * 2021-10-29 2022-02-11 王朋 一种裸眼3d可交互沉浸式虚拟现实cave系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116384661A (zh) * 2023-03-10 2023-07-04 深圳职业技术学院 基于沉浸式xr智慧课堂的教学方法、系统及介质

Also Published As

Publication number Publication date
CN114779942B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
US11748934B2 (en) Three-dimensional expression base generation method and apparatus, speech interaction method and apparatus, and medium
WO2020082566A1 (zh) 基于生物识别的远程教学方法、装置、设备及存储介质
Rouanet et al. The impact of human–robot interfaces on the learning of visual objects
CN108389249B (zh) 一种多兼容性的vr/ar空间教室及其构建方法
Chopra Introduction to google sketchup
CN107624061A (zh) 具有维度数据缩减的机器视觉
CN113779289A (zh) 基于人工智能的绘画步骤还原系统
US20190045270A1 (en) Intelligent Chatting on Digital Communication Network
CN113506377A (zh) 一种基于虚拟漫游技术的教学培训方法
RU2671990C1 (ru) Способ отображения трехмерного лица объекта и устройство для него
CN115933868A (zh) 翻转讲台的立体综合教学场系统及其工作方法
Wang et al. Wuju opera cultural creative products and research on visual image under VR technology
CN114779942B (zh) 一种虚拟现实沉浸式互动系统、设备及方法
Fadzli et al. VoxAR: 3D modelling editor using real hands gesture for augmented reality
Prabhudesai et al. Embodied language grounding with implicit 3d visual feature representations
CN114120443A (zh) 基于3d人体姿态估计的课堂教学手势识别方法及系统
CN113781271A (zh) 化妆教学方法及装置、电子设备、存储介质
CN113673567A (zh) 基于多角度子区域自适应的全景图情感识别方法及系统
Ahmad et al. Towards a low-cost teacher orchestration using ubiquitous computing devices for detecting student’s engagement
Kumar et al. Interaction through Computer Vision Air Canvas
Ohmoto et al. Design of Immersive Environment for Social Interaction Based on Socio-Spatial Information and the Applications.
Zhang et al. Virtual Museum Scene Design Based on VRAR Realistic Interaction under PMC Artificial Intelligence Model
Patz et al. Bodily design processes in immersive virtual environments
CN113296604B (zh) 一种基于卷积神经网络的真3d手势交互方法
Gallozzi et al. The MuseBot Project: Robotics, Informatic, and Economics Strategies for Museums

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant