CN110488981A - 基于云渲染的手机端vr场景交互式显示方法 - Google Patents

基于云渲染的手机端vr场景交互式显示方法 Download PDF

Info

Publication number
CN110488981A
CN110488981A CN201910788578.0A CN201910788578A CN110488981A CN 110488981 A CN110488981 A CN 110488981A CN 201910788578 A CN201910788578 A CN 201910788578A CN 110488981 A CN110488981 A CN 110488981A
Authority
CN
China
Prior art keywords
mobile phone
left eye
right eye
picture image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910788578.0A
Other languages
English (en)
Other versions
CN110488981B (zh
Inventor
陈纯毅
杨华民
蒋振刚
胡小娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN201910788578.0A priority Critical patent/CN110488981B/zh
Publication of CN110488981A publication Critical patent/CN110488981A/zh
Application granted granted Critical
Publication of CN110488981B publication Critical patent/CN110488981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/385—Image reproducers alternating rapidly the location of the left-right image components on the display screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • Telephone Function (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开一种基于云渲染的手机端VR场景交互式显示方法，结合VR手机眼镜实现在手机上观看VR场景。本方法使用手机的传感器测量观看者头部转动角度，并把测量结果传给渲染云端以便调整左眼虚拟相机和右眼虚拟相机的向前观察方向与向上方向，从而在手机上交互式地观看VR场景。本方法利用双目抑制理论原理，在绘制左右眼画面时使用不同的图像分辨率，可以减少立体画面绘制时间和图像网络传输数据量。使用本方法只需手机浏览器，无需安装其他插件或者单独手机APP就可以观看VR场景。

Description

基于云渲染的手机端VR场景交互式显示方法
技术领域
本发明属于虚拟现实和多媒体网页开发技术领域，涉及一种基于云渲染的手机端VR场景交互式显示方法。
背景技术
最近几年，虚拟现实(VR)技术得到快速发展。使用VR手机眼镜可以把智能手机改造成简易的头戴式虚拟现实显示设备。2014年由谷歌工程师提出的CARDBOARD是最早的VR手机眼镜，目前的VR手机眼镜产品大多是根据CARDBOARD的工作原理改进得到的。VR手机眼镜结合智能手机形成的头戴式虚拟现实显示设备具有移动方便、价格低廉的优势，受到消费者的广泛欢迎。绘制真实感VR场景画面的计算开销很大。智能手机的计算能力有限，通常难以直接在手机上绘制出逼真的VR场景画面。解决这一问题的可行途径是，利用云渲染技术在云端绘制VR场景画面，并把画面传送到手机上显示。
使用头戴式虚拟现实显示设备的VR应用多数都能显示VR场景的立体画面。VR场景的立体画面包括左眼画面图像和右眼画面图像共两幅图像。左眼画面图像显示在头戴式虚拟现实显示设备的左眼显示屏区域中，右眼画面图像显示在头戴式虚拟现实显示设备的右眼显示屏区域中。三维场景立体画面绘制技术在许多文献中都有介绍，例如发表在《计算机辅助设计与图形学学报》2017年29卷7期上的论文“面向三维立体动画制作的视差可视化调节方法设计与实现”就介绍过绘制立体画面使用的各种虚拟立体相机模型。虚拟立体相机包含左眼虚拟相机和右眼虚拟相机。图1所示为平行模型虚拟立体相机。虚拟相机包括视点、向前观察方向、向上方向、水平视场角、垂直视场角等参数，参见J.F.Hughes等撰写的由Addison-Wesley公司于2014年出版的《Computer Graphics:Principles and Practice,3rd Edition》的图13.2，其中的“Location”表示视点，“Up direction”表示向上方向，“Look direction”表示向前观察方向，“θw”表示水平视场角，“θh”表示垂直视场角。对虚拟相机进行初始化设置时就需要设置视点、向前观察方向、向上方向、水平视场角、垂直视场角等参数的值。三维场景立体画面绘制技术根据虚拟立体相机的左眼虚拟相机和右眼虚拟相机的参数绘制出左眼画面图像和右眼画面图像。
使用VR手机眼镜结合智能手机形成的头戴式虚拟现实显示设备，在显示VR场景画面时需要不断获取因观看者头部转动导致手机屏幕旋转的角度，据此修改左眼虚拟相机和右眼虚拟相机的向前观察方向和向上方向，并重新绘制VR场景画面，以便更新用户看到的画面内容。2016年华中科技大学的陈康撰写的硕士论文《基于移动终端的全景图技术研究与实现》和2017年N.Mohssen等人发表在《Geoinformatica》上的论文“Humaine:aubiquitous smartphone-based user heading estimation for mobile computingsystems”对Android智能手机旋转时涉及的坐标系变换做了详细介绍，手机设备坐标系如图2所示，物理世界坐标系如《基于移动终端的全景图技术研究与实现》的图5-2所示，这些文献介绍了手机设备坐标系和物理世界坐标系的关系。在VR手机眼镜结合智能手机形成的头戴式虚拟现实显示设备中，左眼画面图像显示区域和右眼画面图像显示区域如图2所示。使用HTML5的DeviceOrientation接口可以获取手机屏幕旋转偏航角、俯仰角和翻滚角，根据这三个角可以计算从手机设备坐标系到物理世界坐标系的变换矩阵。《ComputerGraphics:Principles and Practice,3rd Edition》的11.2节对基于偏航角、俯仰角和翻滚角的旋转变换做了介绍，相关方法可以用到坐标系之间的变换中。描述VR场景模型的坐标系可以称为VR场景虚拟世界坐标系，VR场景虚拟世界坐标系不必和物理世界坐标系完全对齐，它们之间的关系可以根据三维坐标变换原理用一个变换矩阵来描述。
2010年A.Bulbul等人发表在《Computers&Graphics》的论文“A perceptualapproach for stereoscopic rendering optimization”介绍了基于双目抑制理论(Binocular Suppression Theory)的立体画面绘制优化方法，研究结果表明适当降低左右眼立体画面对中的一幅画面的分辨率不会对观看者的立体视觉感知质量造成明显影响。本方法将利用双目抑制理论原理，通过降低右眼画面图像的分辨率来减小图像网络传输数据量。
发明内容
本发明的目的在于，提供一种基于云渲染的手机端VR场景交互式显示方法，实现在手机上交互式地观看VR场景立体画面。
本发明的技术方案是这样实现的：使用HTML5编写网页页面VRPAGE，在页面VRPAGE中仅放置图像标记L和图像标记R，图像标记L和图像标记R分别用于显示VR场景的左眼画面图像IML和右眼画面图像IMR；如图3所示，图像标记L和图像标记R并排放置；把页面VRPAGE发布到网页服务器WWWSEVER上；在手机MOBPHONE上通过浏览器访问网页服务器WWWSEVER上的页面VRPAGE，使用WebSocket技术建立用于显示页面VRPAGE的浏览器客户端与渲染云端之间的TCP传输连接A001；在渲染云端加载VR场景模型，使用三维场景立体画面绘制技术生成VR场景的左眼画面图像IML和右眼画面图像IMR，渲染云端通过TCP传输连接A001把左眼画面图像IML和右眼画面图像IMR传送给手机MOBPHONE的浏览器客户端，把左眼画面图像IML和右眼画面图像IMR分别显示在手机MOBPHONE的浏览器中的页面VRPAGE的图像标记L和图像标记R中；把手机MOBPHONE和VR手机眼镜组合在一起形成头戴式虚拟现实显示设备A002；调节VR手机眼镜和手机MOBPHONE使虚拟现实显示设备A002正常工作，保证观看者戴上虚拟现实显示设备A002后能正常看到VR场景的立体画面，左眼画面图像IML是观看者通过VR手机眼镜的左眼通道能看到的全部画面，右眼画面图像IML是观看者通过VR手机眼镜的右眼通道能看到的全部画面；在手机MOBPHONE的浏览器中，使用HTML5的DeviceOrientation接口获取手机屏幕旋转方向测量数据ROTATION，把测量数据ROTATION通过TCP传输连接A001传送给渲染云端；渲染云端根据接收到的测量数据ROTATION来改变绘制左眼画面图像IML和右眼画面图像IMR时使用的虚拟相机的向前观察方向和向上方向，重新生成左眼画面图像IML和右眼画面图像IMR，并通过TCP传输连接A001把新的左眼画面图像IML和右眼画面图像IMR传送给在手机MOBPHONE的浏览器中显示的页面VRPAGE，页面VRPAGE收到新的左眼画面图像IML和右眼画面图像IMR后立即分别显示到图像标记L和图像标记R中。本方法的具体实现步骤如下：
1)本方法的第一部分编写页面VRPAGE并发布到网页服务器WWWSEVER上，具体实现步骤如下：
步骤Step101：使用HTML5编写网页页面VRPAGE，在页面VRPAGE中仅放置图像标记L和图像标记R，图像标记L和图像标记R分别用于显示VR场景的左眼画面图像IML和右眼画面图像IMR；如图3所示，图像标记L和图像标记R并排放置；
步骤Step102：把页面VRPAGE发布到网页服务器WWWSEVER上，使得通过网络可以用手机浏览器访问页面VRPAGE。
2)本方法的第二部分在渲染云端绘制VR场景的立体画面并把立体画面传送到手机MOBPHONE上显示，具体实现步骤如下：
步骤Step201：在手机MOBPHONE上通过浏览器访问网页服务器WWWSEVER上的页面VRPAGE，把页面VRPAGE显示在手机MOBPHONE的屏幕上；图3的图像标记L对应的图像显示在图2的左眼画面图像显示区域，图3的图像标记R对应的图像显示在图2的右眼画面图像显示区域；
步骤Step202：使用WebSocket技术建立访问页面VRPAGE的浏览器客户端与渲染云端之间的TCP传输连接A001；
步骤Step203：在渲染云端加载VR场景模型，计算从物理世界坐标系到VR场景虚拟世界坐标系的变换矩阵Mp2v；根据变换矩阵Mp2v，计算物理世界坐标系的X轴方向在VR场景虚拟世界坐标系中对应的单位向量U0，计算物理世界坐标系的Z轴负方向在VR场景虚拟世界坐标系中对应的单位向量W0；对绘制立体画面时使用的左眼虚拟相机和右眼虚拟相机进行初始化设置，其中左眼虚拟相机的向前观察方向初始化为W0，左眼虚拟相机的向上方向初始化为U0，左眼虚拟相机的视点位置El初始化为Em-δ(W0×U0)/||W0×U0||，右眼虚拟相机的向前观察方向初始化为W0，右眼虚拟相机的向上方向初始化为U0，右眼虚拟相机的视点位置Er初始化为Em+δ(W0×U0)/||W0×U0||，Em为图1所示的左眼虚拟相机和右眼虚拟相机的视点连线的中点，δ为左眼虚拟相机和右眼虚拟相机的视点间距的二分之一；使用三维场景立体画面绘制技术生成VR场景的左眼画面图像IML和右眼画面图像IMR，左眼画面图像IML的分辨率为Mr×Nc，右眼画面图像IMR的分辨率为表示对x向下取整，ms和ns为正整数；
步骤Step204：渲染云端通过TCP传输连接A001把压缩后的左眼画面图像IML和右眼画面图像IMR传送给手机MOBPHONE的浏览器客户端，手机MOBPHONE的浏览器客户端把解压后的左眼画面图像IML和右眼画面图像IMR分别显示在手机MOBPHONE的浏览器中的页面VRPAGE的图像标记L和图像标记R中。
3)本方法的第三部分实现在手机MOBPHONE上的VR场景交互式显示，具体实现步骤如下：
步骤Step301：把手机MOBPHONE和VR手机眼镜组合在一起形成头戴式虚拟现实显示设备A002，戴在观看者的头上；调节VR手机眼镜和手机MOBPHONE使虚拟现实显示设备A002正常工作，保证观看者戴上虚拟现实显示设备A002后能正常看到VR场景的立体画面，左眼画面图像IML是观看者通过VR手机眼镜的左眼通道能看到的全部画面，右眼画面图像IML是观看者通过VR手机眼镜的右眼通道能看到的全部画面；
步骤Step302：在手机MOBPHONE的浏览器中，使用HTML5的DeviceOrientation接口获取当前的手机屏幕旋转方向测量数据ROTATION，实现对因观看者头部转动导致手机屏幕旋转的角度测量；测量数据ROTATION包含偏航角、俯仰角和翻滚角三个角度，把当前的测量数据ROTATION通过TCP传输连接A001传送给渲染云端；
步骤Step303：渲染云端把收到的当前的测量数据ROTATION保存在变量TEMROTATION中；渲染云端根据保存在变量TEMROTATION中的当前的测量数据ROTATION的偏航角、俯仰角和翻滚角，计算从当前的手机设备坐标系到物理世界坐标系的变换矩阵Md2w；根据变换矩阵Md2w，计算当前的手机设备坐标系的X轴方向在物理世界坐标系中对应的单位向量U1，计算当前的手机设备坐标系的Z轴负方向在物理世界坐标系中对应的单位向量W1；根据变换矩阵Mp2v，计算单位向量U1在VR场景虚拟世界坐标系中对应的单位向量U2，计算单位向量W1在VR场景虚拟世界坐标系中对应的单位向量W2；把左眼虚拟相机的向前观察方向更新为W2，把左眼虚拟相机的向上方向更新为U2，把左眼虚拟相机的视点位置El更新为Em-δ(W2×U2)/||W2×U2||，把右眼虚拟相机的向前观察方向更新为W2，把右眼虚拟相机的向上方向更新为U2，把右眼虚拟相机的视点位置Er更新为Em+δ(W2×U2)/||W2×U2||；使用三维场景立体画面绘制技术生成VR场景的左眼画面图像IML和右眼画面图像IMR，左眼画面图像IML的分辨率为Mr×Nc，右眼画面图像IMR的分辨率为
步骤Step304：渲染云端通过TCP传输连接A001把压缩后的左眼画面图像IML和右眼画面图像IMR传送给手机MOBPHONE的浏览器客户端，手机MOBPHONE的浏览器客户端把解压后的左眼画面图像IML和右眼画面图像IMR分别显示在手机MOBPHONE的浏览器中的页面VRPAGE的图像标记L和图像标记R中，实现显示画面更新；
步骤Step305：渲染云端判断是否到达结束交互式显示的条件，如果到达，则转步骤Step306，否则转步骤Step302；
步骤Step306：结束VR场景交互式显示。
本发明的积极效果是：根据观看者头部的转动，本方法可以自动调整左眼虚拟相机和右眼虚拟相机的向前观察方向与向上方向，从而在手机上交互式地显示VR场景的立体画面。本方法利用双目抑制理论原理，在绘制左右眼画面时使用不同的图像分辨率，从而既减少了绘制立体画面的时间，又减小了在网络上传输的图像数据量。本方法使用手机网页浏览器显示VR场景的立体画面，无需安装其他插件或者单独的手机APP就可以观看VR场景。
附图说明
图1为平行模型虚拟立体相机示意图。
图2为手机设备坐标系示意图。
图3为页面VRPAGE的图像标记L和图像标记R空间位置关系示意图。
具体实施方式
为了使本方法的特征和优点更加清楚明白，下面结合具体实施例对本方法作进一步的描述。在本实施例中，虚拟立体相机使用图1所示的平行模型虚拟立体相机。手机使用安装安卓系统的智能手机。VR场景为一个虚拟房间场景，在房间中放着一张桌子和一把椅子，在房间的一面墙上挂着一面镜子。
本发明的技术方案是这样实现的：使用HTML5编写网页页面VRPAGE，在页面VRPAGE中仅放置图像标记L和图像标记R，图像标记L和图像标记R分别用于显示VR场景的左眼画面图像IML和右眼画面图像IMR；如图3所示，图像标记L和图像标记R并排放置；把页面VRPAGE发布到网页服务器WWWSEVER上；在手机MOBPHONE上通过浏览器访问网页服务器WWWSEVER上的页面VRPAGE，使用WebSocket技术建立用于显示页面VRPAGE的浏览器客户端与渲染云端之间的TCP传输连接A001；在渲染云端加载VR场景模型，使用三维场景立体画面绘制技术生成VR场景的左眼画面图像IML和右眼画面图像IMR，渲染云端通过TCP传输连接A001把左眼画面图像IML和右眼画面图像IMR传送给手机MOBPHONE的浏览器客户端，把左眼画面图像IML和右眼画面图像IMR分别显示在手机MOBPHONE的浏览器中的页面VRPAGE的图像标记L和图像标记R中；把手机MOBPHONE和VR手机眼镜组合在一起形成头戴式虚拟现实显示设备A002；调节VR手机眼镜和手机MOBPHONE使虚拟现实显示设备A002正常工作，保证观看者戴上虚拟现实显示设备A002后能正常看到VR场景的立体画面，左眼画面图像IML是观看者通过VR手机眼镜的左眼通道能看到的全部画面，右眼画面图像IML是观看者通过VR手机眼镜的右眼通道能看到的全部画面；在手机MOBPHONE的浏览器中，使用HTML5的DeviceOrientation接口获取手机屏幕旋转方向测量数据ROTATION，把测量数据ROTATION通过TCP传输连接A001传送给渲染云端；渲染云端根据接收到的测量数据ROTATION来改变绘制左眼画面图像IML和右眼画面图像IMR时使用的虚拟相机的向前观察方向和向上方向，重新生成左眼画面图像IML和右眼画面图像IMR，并通过TCP传输连接A001把新的左眼画面图像IML和右眼画面图像IMR传送给在手机MOBPHONE的浏览器中显示的页面VRPAGE，页面VRPAGE收到新的左眼画面图像IML和右眼画面图像IMR后立即分别显示到图像标记L和图像标记R中。本方法的具体实现步骤如下：
1)本方法的第一部分编写页面VRPAGE并发布到网页服务器WWWSEVER上，具体实现步骤如下：
步骤Step101：使用HTML5编写网页页面VRPAGE，在页面VRPAGE中仅放置图像标记L和图像标记R，图像标记L和图像标记R分别用于显示VR场景的左眼画面图像IML和右眼画面图像IMR；如图3所示，图像标记L和图像标记R并排放置；
步骤Step102：把页面VRPAGE发布到网页服务器WWWSEVER上，使得通过网络可以用手机浏览器访问页面VRPAGE。
2)本方法的第二部分在渲染云端绘制VR场景的立体画面并把立体画面传送到手机MOBPHONE上显示，具体实现步骤如下：
步骤Step201：在手机MOBPHONE上通过浏览器访问网页服务器WWWSEVER上的页面VRPAGE，把页面VRPAGE显示在手机MOBPHONE的屏幕上；图3的图像标记L对应的图像显示在图2的左眼画面图像显示区域，图3的图像标记R对应的图像显示在图2的右眼画面图像显示区域；
步骤Step202：使用WebSocket技术建立访问页面VRPAGE的浏览器客户端与渲染云端之间的TCP传输连接A001；
步骤Step203：在渲染云端加载VR场景模型，计算从物理世界坐标系到VR场景虚拟世界坐标系的变换矩阵Mp2v；根据变换矩阵Mp2v，计算物理世界坐标系的X轴方向在VR场景虚拟世界坐标系中对应的单位向量U0，计算物理世界坐标系的Z轴负方向在VR场景虚拟世界坐标系中对应的单位向量W0；对绘制立体画面时使用的左眼虚拟相机和右眼虚拟相机进行初始化设置，其中左眼虚拟相机的向前观察方向初始化为W0，左眼虚拟相机的向上方向初始化为U0，左眼虚拟相机的视点位置El初始化为Em-δ(W0×U0)/||W0×U0||，右眼虚拟相机的向前观察方向初始化为W0，右眼虚拟相机的向上方向初始化为U0，右眼虚拟相机的视点位置Er初始化为Em+δ(W0×U0)/||W0×U0||，Em为图1所示的左眼虚拟相机和右眼虚拟相机的视点连线的中点，δ为左眼虚拟相机和右眼虚拟相机的视点间距的二分之一；使用三维场景立体画面绘制技术生成VR场景的左眼画面图像IML和右眼画面图像IMR，左眼画面图像IML的分辨率为Mr×Nc，右眼画面图像IMR的分辨率为表示对x向下取整，ms和ns为正整数；
步骤Step204：渲染云端通过TCP传输连接A001把压缩后的左眼画面图像IML和右眼画面图像IMR传送给手机MOBPHONE的浏览器客户端，手机MOBPHONE的浏览器客户端把解压后的左眼画面图像IML和右眼画面图像IMR分别显示在手机MOBPHONE的浏览器中的页面VRPAGE的图像标记L和图像标记R中。
3)本方法的第三部分实现在手机MOBPHONE上的VR场景交互式显示，具体实现步骤如下：
步骤Step301：把手机MOBPHONE和VR手机眼镜组合在一起形成头戴式虚拟现实显示设备A002，戴在观看者的头上；调节VR手机眼镜和手机MOBPHONE使虚拟现实显示设备A002正常工作，保证观看者戴上虚拟现实显示设备A002后能正常看到VR场景的立体画面，左眼画面图像IML是观看者通过VR手机眼镜的左眼通道能看到的全部画面，右眼画面图像IML是观看者通过VR手机眼镜的右眼通道能看到的全部画面；
步骤Step302：在手机MOBPHONE的浏览器中，使用HTML5的DeviceOrientation接口获取当前的手机屏幕旋转方向测量数据ROTATION，实现对因观看者头部转动导致手机屏幕旋转的角度测量；测量数据ROTATION包含偏航角、俯仰角和翻滚角三个角度，把当前的测量数据ROTATION通过TCP传输连接A001传送给渲染云端；
步骤Step303：渲染云端把收到的当前的测量数据ROTATION保存在变量TEMROTATION中；渲染云端根据保存在变量TEMROTATION中的当前的测量数据ROTATION的偏航角、俯仰角和翻滚角，计算从当前的手机设备坐标系到物理世界坐标系的变换矩阵Md2w；根据变换矩阵Md2w，计算当前的手机设备坐标系的X轴方向在物理世界坐标系中对应的单位向量U1，计算当前的手机设备坐标系的Z轴负方向在物理世界坐标系中对应的单位向量W1；根据变换矩阵Mp2v，计算单位向量U1在VR场景虚拟世界坐标系中对应的单位向量U2，计算单位向量W1在VR场景虚拟世界坐标系中对应的单位向量W2；把左眼虚拟相机的向前观察方向更新为W2，把左眼虚拟相机的向上方向更新为U2，把左眼虚拟相机的视点位置El更新为Em-δ(W2×U2)/||W2×U2||，把右眼虚拟相机的向前观察方向更新为W2，把右眼虚拟相机的向上方向更新为U2，把右眼虚拟相机的视点位置Er更新为Em+δ(W2×U2)/||W2×U2||；使用三维场景立体画面绘制技术生成VR场景的左眼画面图像IML和右眼画面图像IMR，左眼画面图像IML的分辨率为Mr×Nc，右眼画面图像IMR的分辨率为
步骤Step304：渲染云端通过TCP传输连接A001把压缩后的左眼画面图像IML和右眼画面图像IMR传送给手机MOBPHONE的浏览器客户端，手机MOBPHONE的浏览器客户端把解压后的左眼画面图像IML和右眼画面图像IMR分别显示在手机MOBPHONE的浏览器中的页面VRPAGE的图像标记L和图像标记R中，实现显示画面更新；
步骤Step305：渲染云端判断是否到达结束交互式显示的条件，如果到达，则转步骤Step306，否则转步骤Step302；
步骤Step306：结束VR场景交互式显示。
在本实施例中，Mr＝1024，Nc＝768，ms＝2，ns＝2，Em＝[1,0.5,3]T，δ＝0.35，左眼虚拟相机和右眼虚拟相机的水平视场角都初始化为110°，左眼虚拟相机和右眼虚拟相机的垂直视场角都初始化为82°。在重新绘制VR场景画面时，图1的点Em不变，但需要根据手机屏幕旋转角度更新左眼虚拟相机的视点位置和右眼虚拟相机的视点位置。

Claims (1)

1.一种基于云渲染的手机端VR场景交互式显示方法，其特征在于：使用HTML5编写网页页面VRPAGE，在页面VRPAGE中仅放置图像标记L和图像标记R，图像标记L和图像标记R分别用于显示VR场景的左眼画面图像IML和右眼画面图像IMR；图像标记L和图像标记R并排放置；把页面VRPAGE发布到网页服务器WWWSEVER上；在手机MOBPHONE上通过浏览器访问网页服务器WWWSEVER上的页面VRPAGE，使用WebSocket技术建立用于显示页面VRPAGE的浏览器客户端与渲染云端之间的TCP传输连接A001；在渲染云端加载VR场景模型，使用三维场景立体画面绘制技术生成VR场景的左眼画面图像IML和右眼画面图像IMR，渲染云端通过TCP传输连接A001把左眼画面图像IML和右眼画面图像IMR传送给手机MOBPHONE的浏览器客户端，把左眼画面图像IML和右眼画面图像IMR分别显示在手机MOBPHONE的浏览器中的页面VRPAGE的图像标记L和图像标记R中；把手机MOBPHONE和VR手机眼镜组合在一起形成头戴式虚拟现实显示设备A002；调节VR手机眼镜和手机MOBPHONE使虚拟现实显示设备A002正常工作，保证观看者戴上虚拟现实显示设备A002后能正常看到VR场景的立体画面，左眼画面图像IML是观看者通过VR手机眼镜的左眼通道能看到的全部画面，右眼画面图像IML是观看者通过VR手机眼镜的右眼通道能看到的全部画面；在手机MOBPHONE的浏览器中，使用HTML5的DeviceOrientation接口获取手机屏幕旋转方向测量数据ROTATION，把测量数据ROTATION通过TCP传输连接A001传送给渲染云端；渲染云端根据接收到的测量数据ROTATION来改变绘制左眼画面图像IML和右眼画面图像IMR时使用的虚拟相机的向前观察方向和向上方向，重新生成左眼画面图像IML和右眼画面图像IMR，并通过TCP传输连接A001把新的左眼画面图像IML和右眼画面图像IMR传送给在手机MOBPHONE的浏览器中显示的页面VRPAGE，页面VRPAGE收到新的左眼画面图像IML和右眼画面图像IMR后立即分别显示到图像标记L和图像标记R中；本方法的具体实现步骤如下：
1)本方法的第一部分编写页面VRPAGE并发布到网页服务器WWWSEVER上，具体实现步骤如下：
步骤Step101：使用HTML5编写网页页面VRPAGE，在页面VRPAGE中仅放置图像标记L和图像标记R，图像标记L和图像标记R分别用于显示VR场景的左眼画面图像IML和右眼画面图像IMR；图像标记L和图像标记R并排放置；
步骤Step102：把页面VRPAGE发布到网页服务器WWWSEVER上，使得通过网络可以用手机浏览器访问页面VRPAGE；
2)本方法的第二部分在渲染云端绘制VR场景的立体画面并把立体画面传送到手机MOBPHONE上显示，具体实现步骤如下：
步骤Step201：在手机MOBPHONE上通过浏览器访问网页服务器WWWSEVER上的页面VRPAGE，把页面VRPAGE显示在手机MOBPHONE的屏幕上；
步骤Step202：使用WebSocket技术建立访问页面VRPAGE的浏览器客户端与渲染云端之间的TCP传输连接A001；
步骤Step203：在渲染云端加载VR场景模型，计算从物理世界坐标系到VR场景虚拟世界坐标系的变换矩阵Mp2v；根据变换矩阵Mp2v，计算物理世界坐标系的X轴方向在VR场景虚拟世界坐标系中对应的单位向量U0，计算物理世界坐标系的Z轴负方向在VR场景虚拟世界坐标系中对应的单位向量W0；对绘制立体画面时使用的左眼虚拟相机和右眼虚拟相机进行初始化设置，其中左眼虚拟相机的向前观察方向初始化为W0，左眼虚拟相机的向上方向初始化为U0，左眼虚拟相机的视点位置El初始化为Em-δ(W0×U0)/||W0×U0||，右眼虚拟相机的向前观察方向初始化为W0，右眼虚拟相机的向上方向初始化为U0，右眼虚拟相机的视点位置Er初始化为Em+δ(W0×U0)/||W0×U0||，Em为左眼虚拟相机和右眼虚拟相机的视点连线的中点，δ为左眼虚拟相机和右眼虚拟相机的视点间距的二分之一；使用三维场景立体画面绘制技术生成VR场景的左眼画面图像IML和右眼画面图像IMR，左眼画面图像IML的分辨率为Mr×Nc，右眼画面图像IMR的分辨率为 表示对x向下取整，ms和ns为正整数；
步骤Step204：渲染云端通过TCP传输连接A001把压缩后的左眼画面图像IML和右眼画面图像IMR传送给手机MOBPHONE的浏览器客户端，手机MOBPHONE的浏览器客户端把解压后的左眼画面图像IML和右眼画面图像IMR分别显示在手机MOBPHONE的浏览器中的页面VRPAGE的图像标记L和图像标记R中；
3)本方法的第三部分实现在手机MOBPHONE上的VR场景交互式显示，具体实现步骤如下：
步骤Step301：把手机MOBPHONE和VR手机眼镜组合在一起形成头戴式虚拟现实显示设备A002，戴在观看者的头上；调节VR手机眼镜和手机MOBPHONE使虚拟现实显示设备A002正常工作，保证观看者戴上虚拟现实显示设备A002后能正常看到VR场景的立体画面，左眼画面图像IML是观看者通过VR手机眼镜的左眼通道能看到的全部画面，右眼画面图像IML是观看者通过VR手机眼镜的右眼通道能看到的全部画面；
步骤Step302：在手机MOBPHONE的浏览器中，使用HTML5的DeviceOrientation接口获取当前的手机屏幕旋转方向测量数据ROTATION，实现对因观看者头部转动导致手机屏幕旋转的角度测量；测量数据ROTATION包含偏航角、俯仰角和翻滚角三个角度，把当前的测量数据ROTATION通过TCP传输连接A001传送给渲染云端；
步骤Step303：渲染云端把收到的当前的测量数据ROTATION保存在变量TEMROTATION中；渲染云端根据保存在变量TEMROTATION中的当前的测量数据ROTATION的偏航角、俯仰角和翻滚角，计算从当前的手机设备坐标系到物理世界坐标系的变换矩阵Md2w；根据变换矩阵Md2w，计算当前的手机设备坐标系的X轴方向在物理世界坐标系中对应的单位向量U1，计算当前的手机设备坐标系的Z轴负方向在物理世界坐标系中对应的单位向量W1；根据变换矩阵Mp2v，计算单位向量U1在VR场景虚拟世界坐标系中对应的单位向量U2，计算单位向量W1在VR场景虚拟世界坐标系中对应的单位向量W2；把左眼虚拟相机的向前观察方向更新为W2，把左眼虚拟相机的向上方向更新为U2，把左眼虚拟相机的视点位置El更新为Em-δ(W2×U2)/||W2×U2||，把右眼虚拟相机的向前观察方向更新为W2，把右眼虚拟相机的向上方向更新为U2，把右眼虚拟相机的视点位置Er更新为Em+δ(W2×U2)/||W2×U2||；使用三维场景立体画面绘制技术生成VR场景的左眼画面图像IML和右眼画面图像IMR，左眼画面图像IML的分辨率为Mr×Nc，右眼画面图像IMR的分辨率为
步骤Step304：渲染云端通过TCP传输连接A001把压缩后的左眼画面图像IML和右眼画面图像IMR传送给手机MOBPHONE的浏览器客户端，手机MOBPHONE的浏览器客户端把解压后的左眼画面图像IML和右眼画面图像IMR分别显示在手机MOBPHONE的浏览器中的页面VRPAGE的图像标记L和图像标记R中，实现显示画面更新；
步骤Step305：渲染云端判断是否到达结束交互式显示的条件，如果到达，则转步骤Step306，否则转步骤Step302；
步骤Step306：结束VR场景交互式显示。
CN201910788578.0A 2019-08-28 2019-08-28 基于云渲染的手机端vr场景交互式显示方法 Active CN110488981B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910788578.0A CN110488981B (zh) 2019-08-28 2019-08-28 基于云渲染的手机端vr场景交互式显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910788578.0A CN110488981B (zh) 2019-08-28 2019-08-28 基于云渲染的手机端vr场景交互式显示方法

Publications (2)

Publication Number Publication Date
CN110488981A true CN110488981A (zh) 2019-11-22
CN110488981B CN110488981B (zh) 2022-08-23

Family

ID=68553860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910788578.0A Active CN110488981B (zh) 2019-08-28 2019-08-28 基于云渲染的手机端vr场景交互式显示方法

Country Status (1)

Country Link
CN (1) CN110488981B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111290124A (zh) * 2020-03-31 2020-06-16 北京塞傲时代信息技术有限公司 基于5g云渲染的vr眼镜
CN112306240A (zh) * 2020-10-29 2021-02-02 中国移动通信集团黑龙江有限公司 虚拟现实数据处理方法、装置、设备及存储介质
CN112637182A (zh) * 2020-12-18 2021-04-09 上海影创信息科技有限公司 左右眼图像互换识别辅助方法和系统及其vr眼镜
CN113064809A (zh) * 2020-01-02 2021-07-02 北京沃东天骏信息技术有限公司 一种跨设备页面调试方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106200974A (zh) * 2016-07-18 2016-12-07 上海卫高网络科技有限公司 一种基于移动设备浏览器的虚拟现实的实现方法
CN106600703A (zh) * 2016-11-22 2017-04-26 宇龙计算机通信科技(深圳)有限公司 基于虚拟现实设备的图像处理方法及装置
US9841814B1 (en) * 2017-01-27 2017-12-12 Emergent AR Platforms Corp. Intentional user experience
US20180152522A1 (en) * 2016-11-29 2018-05-31 NCR Corporation, Law Dept. Omni-channel virtual reality (vr) collaboration
CN108304000A (zh) * 2017-10-25 2018-07-20 河北工业大学 云台实时vr系统
US20190028691A1 (en) * 2009-07-14 2019-01-24 Cable Television Laboratories, Inc Systems and methods for network-based media processing
CN109861948A (zh) * 2017-11-30 2019-06-07 腾讯科技(成都)有限公司 虚拟现实数据处理方法、装置、存储介质和计算机设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190028691A1 (en) * 2009-07-14 2019-01-24 Cable Television Laboratories, Inc Systems and methods for network-based media processing
CN106200974A (zh) * 2016-07-18 2016-12-07 上海卫高网络科技有限公司 一种基于移动设备浏览器的虚拟现实的实现方法
CN106600703A (zh) * 2016-11-22 2017-04-26 宇龙计算机通信科技(深圳)有限公司 基于虚拟现实设备的图像处理方法及装置
US20180152522A1 (en) * 2016-11-29 2018-05-31 NCR Corporation, Law Dept. Omni-channel virtual reality (vr) collaboration
US9841814B1 (en) * 2017-01-27 2017-12-12 Emergent AR Platforms Corp. Intentional user experience
CN108304000A (zh) * 2017-10-25 2018-07-20 河北工业大学 云台实时vr系统
CN109861948A (zh) * 2017-11-30 2019-06-07 腾讯科技(成都)有限公司 虚拟现实数据处理方法、装置、存储介质和计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QUAN YE ET. AL.: "《 Implementation of WebVR-based Laboratory for Control Engineering Education based on NCSLab Framework》", 《中国自动化学会控制理论专业委员会会议论文集》 *
YONECHEN: "《WebVR开发教程——标准入门》", 《HTTPS://BLOG.CSDN.NET》 *
董莹莹: "《基于HTML5 Canvas的双目立体网页的生成研究》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064809A (zh) * 2020-01-02 2021-07-02 北京沃东天骏信息技术有限公司 一种跨设备页面调试方法和装置
CN111290124A (zh) * 2020-03-31 2020-06-16 北京塞傲时代信息技术有限公司 基于5g云渲染的vr眼镜
CN112306240A (zh) * 2020-10-29 2021-02-02 中国移动通信集团黑龙江有限公司 虚拟现实数据处理方法、装置、设备及存储介质
CN112637182A (zh) * 2020-12-18 2021-04-09 上海影创信息科技有限公司 左右眼图像互换识别辅助方法和系统及其vr眼镜

Also Published As

Publication number Publication date
CN110488981B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN110488981A (zh) 基于云渲染的手机端vr场景交互式显示方法
CN103402106B (zh) 三维图像显示方法及装置
US10210662B2 (en) Live augmented reality using tracking
CN106464854B (zh) 图像编码和显示
CN113099204B (zh) 一种基于vr头戴显示设备的远程实景增强现实方法
US20180357749A1 (en) Temporal Supersampling for Foveated Rendering Systems
CN112533002A (zh) 一种用于vr全景直播的动态图像融合方法及系统
CN103440677A (zh) 一种基于Kinect体感设备的多视点自由立体交互系统
US12100106B2 (en) Stereoscopic rendering of virtual 3D objects
US10080956B2 (en) Detecting the changing position of a face to move and rotate a game object in a virtual environment
CN104021585A (zh) 基于真实场景的三维展示方法
CN103279942A (zh) 一种基于环境感受器的2d屏幕上虚拟3d展示的控制方法
CN107181939A (zh) 基于摄像头的裸眼三维成像方法及系统
CN104216533B (zh) 一种基于DirectX9的头戴式虚拟现实显示器
US11187895B2 (en) Content generation apparatus and method
US6559844B1 (en) Method and apparatus for generating multiple views using a graphics engine
CN106101683A (zh) 远程全景图像全方位实时传输和显示方法
TW202029779A (zh) 虛擬實境影像播放方法及使用其之程式
CN106547557A (zh) 一种基于虚拟现实和裸眼3d的多屏互动交互方法
CN115841539A (zh) 一种基于可视外壳的三维光场生成方法和装置
CN112667137B (zh) 户型图和房屋三维模型的切换显示方法及装置
CN115756153A (zh) 一种基于元宇宙虚拟现实vr交互系统及方法
WO2022180630A1 (en) Camera capture and communications system
CN113992996A (zh) 传输数据的方法和装置
CN106170082A (zh) 远程全景图像实时全方位传输和显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant