CN104780180B - 一种基于移动终端的虚拟现实平台 - Google Patents

Abstract

本发明的基于移动终端的虚拟现实平台包括多个分布式移动终端以及云端服务器，所述移动终端上安装有虚拟机，所述虚拟机包括实景获得单元、标准点确定单元、信息打包传输单元、实时图像帧解码解调单元、实时虚拟图像绘图单元，通过本发明的设计，解决了虚实转换中的冲突及不可靠性问题，提高了用户体验。

Description

一种基于移动终端的虚拟现实平台

技术领域

本发明涉及虚拟现实技术，尤其涉及一种基于移动终端的虚拟现实平台。

背景技术

虚拟现实技术起源于20世纪80年代，本质上，它是一种先进的运算机用户接口技术，通过给用户同时提供诸如视、听、说、触等各种直观而又自然的实时感知交互手段，最大限度地方便用户的操作，从而减轻用户的负担，提高整个系统的工作效率。传统意义上的虚拟现实技术包括三个特点：沉浸感、交互性、自主性,强调在完全虚拟化环境中的沉浸体验，并强调人能以自然方式与虚拟现实中的对象进行交互操作。

但是，在虚拟现实构建单元中一幅虚拟场景可能包含百万千万级的面片，还可能包含有大量的物理模型、矢量线画，或其他虚拟现实内容如光照、波浪、天空等，完成这些庞大数据的运算和绘图已远远超出移动终端的运算和绘图能力，而且如何存储这些海量数据也面临挑战。

DCS是分布式控制系统的英文缩写，其含义是利用单片机或微型运算机技术对生产过程进行集中管理和分散控制，是一种由过程控制级和过程监控级组成的以通信网络为纽带的多级运算机系统，综合了运算机、通讯、显示和控制等4C技术，其基本思想是分散控制、集中操作、分级管理、配置灵活、组态方便。DCS技术的上述优点给虚拟现实技术的发展带来新的解决方案。

但是目前采用分布式处理技术的虚拟现实系统依然存在配置不合理，效率低，现实与虚拟转换存在冲突，以及对转换结果可靠性不能合理预测，这导致虚拟现实转换的实时性以及用户体验变差。

发明内容

本发明的目的是通过以下技术方案实现的。

根据本发明的实施方式，提出一种基于移动终端的虚拟现实平台，所述系统包括多个分布式移动终端以及云端服务器，所述移动终端上安装有虚拟机，所述移动终端和所述云端服务器通过WLAN无线网络连接；其中，

所述虚拟机包括第一WLAN无线收发单元、响应接口、指令解调单元、实景获得单元、标准点确定单元、信息打包传输单元、实时图像帧解码解调单元、实时虚拟图像绘图单元；所述第一WLAN无线收发单元输入端连接第二WLAN无线收发单元，输出端分别连接第二WLAN无线收发单元、响应接口以及实时图像帧解码解调单元，所述响应接口的输出端依次连接指令解调单元、实景获得单元、标准点确定单元、信息打包传输单元，所述信息打包传输单元的输出端连接第一WLAN无线收发单元，所述实时图像帧解码解调单元的输出端连接实时虚拟图像绘图单元。

根据本发明的实施方式，所述第一WLAN无线收发单元用于实现与云端服务器和其他移动终端收发操作；

所述响应接口，用于接收云端服务器的操作请求指令或其他移动终端的协作请求消息。

根据本发明的实施方式，所述指令解调单元，用于将云端服务器的操作请求指令或其他移动终端的协作请求消息解调为虚拟机的执行指令。

根据本发明的实施方式，实景获得单元用于根据指令解调单元解调出的图像获取执行指令，获得要进行虚实转换的现场真实图像。

根据本发明的实施方式，所述标准点确定单元用于根据所述实景的图像获取位置及取景方向，获取预定范围内的标准点以及对应的标准点信息，所述标准点信息包括对应标准点的位置信息。

根据本发明的实施方式，所述信息打包传输单元，用于将实景单元获取的现场真实图像以及标准点确定单元确定的标准点和对应的标准点信息进行打包，并通过第一WLAN无线收发单元发送至云端服务器。

根据本发明的实施方式，所述实时图像帧解码解调单元，用于对接收的云端服务器发送的精确虚拟图像数据进行解码和解调；

所述实时虚拟图像绘图单元，用于对解码解调后的数据绘图并显示互动虚拟场景。

本发明的基于移动终端的虚拟现实平台包括多个分布式移动终端以及云端服务器，所述移动终端上安装有虚拟机，所述虚拟机包括实景获得单元、标准点确定单元、信息打包传输单元、实时图像帧解码解调单元、实时虚拟图像绘图单元；所述云端服务器包括虚实转换建立单元、组合单元、虚拟现实构建单元、虚拟现实冲突检测单元、虚拟现实可靠性判断单元、虚实更新调节单元、以及实时图像帧编码调制单元，通过本发明的设计，解决了虚实转换中的冲突及不可靠性问题，提高了用户体验。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

附图1示出了根据本发明实施方式的基于移动终端的虚拟现实平台的结构示意图；

附图2示出了根据本发明实施方式的分布式移动终端的结构示意图；

附图3示出了根据本发明实施方式的云端服务器的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

根据本发明的实施方式，提出一种基于移动终端的虚拟现实平台，如附图1所示，所述系统包括多个分布式移动终端以及云端服务器，所述移动终端上安装有虚拟机，所述移动终端和所述云端服务器通过WLAN无线网络连接；其中，

如附图2所示，所述虚拟机包括第一WLAN无线收发单元、响应接口、指令解调单元、实景获得单元、标准点确定单元、信息打包传输单元、实时图像帧解码解调单元、实时虚拟图像绘图单元；

如附图3所示，所述云端服务器包括第二WLAN无线收发单元、数据包解调单元、虚实转换建立单元、组合单元、虚拟现实构建单元、虚拟现实冲突检测单元、虚拟现实可靠性判断单元、虚实更新调节单元、以及实时图像帧编码调制单元；

所述第一WLAN无线收发单元输入端连接第二WLAN无线收发单元，输出端分别连接第二WLAN无线收发单元、响应接口以及实时图像帧解码解调单元，所述响应接口的输出端依次连接指令解调单元、实景获得单元、标准点确定单元、信息打包传输单元，所述信息打包传输单元的输出端连接第一WLAN无线收发单元，所述实时图像帧解码解调单元的输出端连接实时虚拟图像绘图单元；

所述第二WLAN无线收发单元的输出端依次连接数据包解调单元、虚实转换建立单元、组合单元、虚拟现实构建单元，虚拟现实构建单元的输出端分别连接虚拟现实冲突检测单元、虚拟现实可靠性判断单元以及虚实更新调节单元，所述虚拟现实冲突检测单元和虚拟现实可靠性判断单元得输出端分别连接虚实更新调节单元，所述虚实更新调节单元的输出端连接实时图像帧编码调制单元，所述实时图像帧编码调制单元的输出端连接第二WLAN无线收发单元。

根据本发明的实施方式，所述第一WLAN无线收发单元用于实现与云端服务器和其他移动终端收发操作；

所述响应接口，用于接收云端服务器的操作请求指令或其他移动终端的协作请求消息；

所述指令解调单元，用于将云端服务器的操作请求指令或其他移动终端的协作请求消息解调为虚拟机的执行指令；

实景获得单元用于根据指令解调单元解调出的图像获取执行指令，获得要进行虚实转换的现场真实图像；

标准点确定单元用于根据所述实景的图像获取位置及取景方向，获取预定范围内的标准点以及对应的标准点信息，所述标准点信息包括对应标准点的位置信息；

所述信息打包传输单元，用于将实景单元获取的现场真实图像以及标准点确定单元确定的标准点和对应的标准点信息进行打包，并通过第一WLAN无线收发单元发送至云端服务器；

所述实时图像帧解码解调单元，用于对接收的云端服务器发送的精确虚拟图像数据进行解码和解调；

所述实时虚拟图像绘图单元，用于对解码解调后的数据绘图并显示互动虚拟场景。

根据本发明的实施方式，所述第二WLAN无线收发单元用于实现与分布式移动终端的无线通信；

所述数据包解调单元，用于对接收的打包数据包进行存储与解调，并将解调出的真实图像信息和标准点信息发送给所述虚实转换建立单元；

所述虚实转换建立单元用于建立虚实映射图，将所获取的标准点按照标准点之间的相互位置关系映射于所述虚实映射图上，并在映射有标准点的位置添加对应的标准点信息识别标记；

所述组合单元用于将添加有标准点信息识别标记的虚实映射图与所述实景图像组合，以形成增益组合图像；

所述虚拟现实构建单元，用于根据预设的构建方案和所述增益组合图像，执行相应的运算和虚拟绘图，并将虚拟绘图发送给虚实更新调节单元、虚拟现实冲突检测单元、以及虚拟现实可靠性判断单元；所述虚拟现实构建单元包括一由图像处理单元群组组成的联合虚拟绘图单元；当任务所有虚拟现实转换完成之后，所述联合虚拟绘图单元进行3D虚拟绘图，并将3D虚拟绘图发送至虚实更新调节单元、虚拟现实冲突检测单元、以及虚拟现实可靠性判断单元；

所述虚拟现实冲突检测单元用于根据虚拟现实构建单元的虚拟绘图执行虚拟现实冲突检测，并将检测结果输出至虚实更新调节单元；

所述虚拟现实可靠性判断单元用于根据虚拟现实构建单元的虚拟绘图执行对获取的虚拟图像可靠性的检测，并将检测结果输出至虚实更新调节单元；

所述虚实更新调节单元用于根据所述虚拟现实构建单元生成的虚拟绘图以及虚拟现实冲突检测单元和虚拟现实可靠性判断单元的检测结果对虚拟绘图进行更新调节，以生成精确虚拟图像；

所述实时图像帧编码调制单元，用于对生成的精确虚拟图像进行编码调制，并将其发送给所述移动终端的实时图像帧解码解调单元。

根据本发明的实施方式，所述虚实转换建立单元具体包括：

区域化单元，用于建立所述虚实映射图，并将所述虚实映射图划分为多个均匀的区域；

标准点映射单元，用于将所获取的标准点按照标准点之间的相互位置关系通过采样变换分别映射于所述虚实映射图的对应区域中；

识别标记添加单元，用于在映射有标准点的区域上添加对应的标准点信息识别标记。

根据本发明的实施方式，所述虚实转换建立单元进一步还可以包括：区域参数设置单元，用于设置所述区域的参数，所述参数包括展示所述虚拟图像时显示所述区域或者隐藏所述区域。

根据本发明的实施方式，所述组合单元具体包括：

标靶图像建立单元，用于选取一副实景的图像作为标靶图像；

基础角建立单元，用于计算所述虚实映射图在视觉上平行于所述标靶图像中的平面时，所述虚实映射图与实际平面之间的夹角，设定该夹角为基础角；

方向角矩阵运算单元，用于运算所述实景图像与所述标靶图像之间的方向角矩阵；

复合单元，用于根据所述方向角矩阵以及所述基础角，将添加有标准点信息识别标记的虚实映射图复合于所述实景图像中。

根据本发明的实施方式，所述虚拟现实冲突检测单元根据虚拟现实构建单元的虚拟绘图执行虚拟现实冲突检测具体包括：

A1、标靶帧的标定点提取，从虚拟绘图图像中提取标靶帧图像，在图像中进行图像分割，获得显示坐标系中标定点的坐标(X₁、X₂、X₃、X₄)；

A2、实际场景中景物姿态及运动估计，通过运算现实坐标系到显示坐标系的转换矩阵，获得对应现实坐标系下的坐标(Y₁、Y₂、Y₃、Y₄)；在获得标定点后，计算获得冲突平面的法向量；随后计算出冲突平面的质量点C；并通过质量点的运动求得特定时刻的实际景物的运动向量；

A3、建立虚拟景物的空间几何体，将虚拟景物视为球体，使用球作为空间几何体，对虚拟景物建立空间几何体树；

A4、基于云计算对虚实冲突进行检测，具体包括：

A41、根据虚实冲突检测节点的数量，对虚拟景物空间几何体树进行分组；将每个空间几何体的识别号记为ID，将其质量点G与半径r记为Gr，得到原始数据<ID，Gr>；

A42、将各组原始数据<ID，Gr>送入虚实冲突检测节点进行虚实冲突检测；

将虚拟景物近似为一个球体，虚拟景物与实际景物冲突看作是球与平面的冲突；

虚拟景物球的质量点G到冲突平面的距离即是向量Y₁G在法向量上的投影d；此时冲突检测的前提条件是：d≤τr，其中r为球的半径，τ为G到冲突平面的距离占r的比例；

如不满足条件即不产生虚实冲突。当满足此条件，则运算出质量点G在冲突平面的投影G’；并且判断是否G’在有标定点所围成的冲突区域内部，如果满足此条件则发生了冲突；将质量点G在冲突平面的投影G’记入Gr中，得到新的数据<ID，Gr’>；

A43、将<ID，Gr’>送入虚实冲突响应节点，判断Gr’中是否包含冲突点的信息，即是否发生了虚实冲突，如果未发生虚实冲突，则下一帧虚拟景物的运动向量与此帧虚拟景物的运动向量相同；如发生了虚实冲突，则发送冲突检测结果至虚实更新调节单元。

根据本发明的实施方式，所述虚拟现实可靠性判断单元根据虚拟现实构建单元的虚拟绘图执行对获取的虚拟图像可靠性的检测具体包括：

C1、以虚拟现实构建单元的虚拟绘图作为主参照集，实景图像作为辅参照集，构建虚拟现实场景迭代数据分组；并利用虚拟对象与真实图像的光学成像差别，选取虚实分组特征；所述选取的虚实分组特征包括局部统计、图像平面梯度或第二基本形式等，在图像的每一个像素点处都可以提取得到该点对应的上述虚实分组特征；

C2、在迭代数据分组上，利用虚实分组特征，分别提取虚拟现实场景与实景的区域本体特征，构建分辨率级虚实分组器；所述构建分辨率级分组器时，在迭代数据分组上，对虚拟现实场景图像，只选取虚拟对象区域作为主参照集区域；而对实景图像，只选取与主参照集中虚拟对象相近似的区域作为辅参照集区域；对于给定的图像区域，运算出区域内每一点的虚实分组特征；利用惯距压缩方法对给定正辅参照集区域的虚实分组特征进行压缩，得到该区域对应的区域本体特征；将正辅参照集的区域本体特征集合输入支持向量机分组进行训练，得到分辨率级虚实分组器；

C3、在迭代数据分组上，利用虚实分组特征，分别提取虚拟现实场景与实景的区域对比特征，构建区域级虚实分组器；所述构建区域级虚实分组器时，在迭代数据分组上，对于正辅参照集区域，将其本身视为待判定的对象区域；而将区域空间几何体之外的等面积矩形区域视为对象所处的背景区域；分别提取对象区域与背景区域内每一点的虚实分组特征；统计对象区域与背景区域内所有点对应的虚实分组特征，分别构成对象区域特征的联合分布直方图与背景区域特征的联合分布直方图；运算两个直方图之间的正态平方距离，将其视为衡量对象与其所处背景之间差别的特征，称为区域对比特征；将提取的正辅参照集的区域对比特征集合输入支持向量机分组进行训练，得到区域级虚实分组器；

C4、给定测试虚拟现实场景，利用分辨率级虚实分组器和小口径检测包络进行检测，得到反映每个像素虚实分组结果的虚拟评价图；所述虚拟评价图构建步骤包括：对于输入的虚拟现实场景图像，利用小口径检测包络以较小的步幅扫描整幅图像；运算每个小口径检测包络内的小图像块的区域本体特征；将所有小图像块的区域本体特征输入到分辨率级虚实分组器中，得到每个小图像块的区域本体特征评价，评价高表示分辨率级分组器将该图像块分组为虚拟区域的确定度高；由于检测包络的尺寸相对整幅图像很小且分布密集，因此可以将每个小图像块的区域本体特征评价映射到该图像块的中心像素，并将其作为该中心像素点的虚拟评价；由此构成了整个虚拟现实场景图像的虚拟评价图；

C5、定义虚拟可靠性图，并在虚拟评价图的基础之上，利用图像分割得到测试虚拟现实场景的虚拟可靠性图；所述虚拟可靠性图构建包括：对于虚拟现实场景图像的虚拟评价图进行图像分割处理，记录所有虚拟评价为正的点；设置一个固定的百分比N％，记录所有虚拟评价为正的点的前N％以及这些点在原图像上所处的位置，这些点称为高虚拟标定点；设置一个固定且相对较小的常数M，记录所有虚拟评价为正的点的前M个点以及这些点在原图像上所处的位置，这些点称为最高虚拟标定点；通过参数设置可以保证，最高虚拟标定点同时也包含于高虚拟标定点所在的集合，即最高虚拟标定点是高虚拟标定点中虚拟评价值最高的一部分；综合高虚拟标定点、最高虚拟标定点及其所在原图像上的位置信息，构成虚拟可靠性图；

C6、基于虚拟可靠性图，进行虚拟对象模糊定位，得到虚拟对象空间几何体的模糊形状和位置；所述得到虚拟对象空间几何体的模糊形状和位置具体为：对得到的虚拟可靠性图将其分为多个子图，分别求得每个子图中的高虚拟标定点的分布中心；将子图中心视为候选的虚拟对象中心点，从各个中心点分别向外扩展搜索，得到高虚拟标定点分布密集的区域；对于高虚拟标定点分布密集的区域，分别近似推算出该区域内的候选对象形状，结合该区域的位置信息，构成虚拟对象初步候选区域；在虚拟对象初步候选区域中，根据其各自包含的高虚拟标定点与最高虚拟标定点的数目，选择出加权数目最多的一个，将其作为虚拟对象候选区域，该区域即包含了虚拟对象空间几何体模糊形状与位置信息；

C7、在虚拟对象模糊定位的基础之上，在测试虚拟现实场景图像中利用区域级虚实分组器和大口径检测包络进行检测，得到虚拟对象的最终检测结果；所述虚拟对象检测方法具体为：在测试虚拟现实场景中的虚拟对象候选区域周围密集采样，构造多个相互重叠的检测包络，并使用区域级虚实分组器进行分组，选取评价最好的检测包络作为虚拟对象的最终检测结果。

根据本发明的实施方式，所述虚实更新调节单元根据所述虚拟现实构建单元生成的虚拟绘图以及虚拟现实冲突检测单元、和虚拟现实可靠性判断单元的检测结果对虚拟绘图进行更新调节，以生成精确虚拟图像具体包括：当虚实冲突检测结果为虚实冲突或者虚拟现实可靠性判断结果为不可靠时，选择丢弃当前生成的虚拟图像帧，并估算下一帧虚拟景物的运动位置，重新获取实景图像并生成新的虚拟图像。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (5)

1.一种基于移动终端的虚拟现实平台，所述平台包括多个分布式移动终端以及云端服务器，所述移动终端上安装有虚拟机，所述移动终端和所述云端服务器通过WLAN无线网络连接；其中，

所述虚拟机包括第一WLAN无线收发单元、响应接口、指令解调单元、实景获得单元、标准点确定单元、信息打包传输单元、实时图像帧解码解调单元、实时虚拟图像绘图单元；所述第一WLAN无线收发单元输入端连接第二WLAN无线收发单元，输出端分别连接第二WLAN无线收发单元、响应接口以及实时图像帧解码解调单元，所述响应接口的输出端依次连接指令解调单元、实景获得单元、标准点确定单元、信息打包传输单元，所述信息打包传输单元的输出端连接第一WLAN无线收发单元，所述实时图像帧解码解调单元的输出端连接实时虚拟图像绘图单元；

所述云端服务器包括第二WLAN无线收发单元、数据包解调单元、虚实转换建立单元、组合单元、虚拟现实构建单元、虚拟现实冲突检测单元、虚拟现实可靠性判断单元、虚实更新调节单元、以及实时图像帧编码调制单元；

所述第一WLAN无线收发单元输入端连接第二WLAN无线收发单元，输出端分别连接第二WLAN无线收发单元、响应接口以及实时图像帧解码解调单元，所述响应接口的输出端依次连接指令解调单元、实景获得单元、标准点确定单元、信息打包传输单元，所述信息打包传输单元的输出端连接第一WLAN无线收发单元，所述实时图像帧解码解调单元的输出端连接实时虚拟图像绘图单元；

所述第二WLAN无线收发单元的输出端依次连接数据包解调单元、虚实转换建立单元、组合单元、虚拟现实构建单元，虚拟现实构建单元的输出端分别连接虚拟现实冲突检测单元、虚拟现实可靠性判断单元以及虚实更新调节单元，所述虚拟现实冲突检测单元和虚拟现实可靠性判断单元得输出端分别连接虚实更新调节单元，所述虚实更新调节单元的输出端连接实时图像帧编码调制单元，所述实时图像帧编码调制单元的输出端连接第二WLAN无线收发单元；

所述第一WLAN无线收发单元用于实现与云端服务器和其他移动终端收发操作；

所述响应接口，用于接收云端服务器的操作请求指令或其他移动终端的协作请求消息；

所述指令解调单元，用于将云端服务器的操作请求指令或其他移动终端的协作请求消息解调为虚拟机的执行指令；

所述虚实转换建立单元具体包括：

区域化单元，用于建立所述虚实映射图，并将所述虚实映射图划分为多个均匀的区域；

标准点映射单元，用于将所获取的标准点按照标准点之间的相互位置关系通过采样变换分别映射于所述虚实映射图的对应区域中；

识别标记添加单元，用于在映射有标准点的区域上添加对应的标准点信息识别标记；

区域参数设置单元，用于设置所述区域的参数，所述参数包括展示所述虚拟图像时显示所述区域或者隐藏所述区域；

所述组合单元具体包括：

标靶图像建立单元，用于选取一副实景的图像作为标靶图像；

基础角建立单元，用于计算所述虚实映射图在视觉上平行于所述标靶图像中的平面时，所述虚实映射图与实际平面之间的夹角，设定该夹角为基础角；

方向角矩阵运算单元，用于运算所述实景图像与所述标靶图像之间的方向角矩阵；

复合单元，用于根据所述方向角矩阵以及所述基础角，将添加有标准点信息识别标记的虚实映射图复合于所述实景图像中。

2.一种如权利要求1所述的平台，实景获得单元用于根据指令解调单元解调出的图像获取执行指令，获得要进行虚实转换的现场真实图像。

3.一种如权利要求2所述的平台，所述标准点确定单元用于根据所述实景的图像获取位置及取景方向，获取预定范围内的标准点以及对应的标准点信息，所述标准点信息包括对应标准点的位置信息。

4.一种如权利要求3所述的平台，所述信息打包传输单元，用于将实景单元获取的现场真实图像以及标准点确定单元确定的标准点和对应的标准点信息进行打包，并通过第一WLAN无线收发单元发送至云端服务器。

5.一种如权利要求4所述的平台，所述实时图像帧解码解调单元，用于对接收的云端服务器发送的精确虚拟图像数据进行解码和解调；

所述实时虚拟图像绘图单元，用于对解码解调后的数据绘图并显示互动虚拟场景。