CN104216533B - 一种基于DirectX9的头戴式虚拟现实显示器 - Google Patents

一种基于DirectX9的头戴式虚拟现实显示器 Download PDF

Info

Publication number
CN104216533B
CN104216533B CN201410431511.9A CN201410431511A CN104216533B CN 104216533 B CN104216533 B CN 104216533B CN 201410431511 A CN201410431511 A CN 201410431511A CN 104216533 B CN104216533 B CN 104216533B
Authority
CN
China
Prior art keywords
computer
texture
image
display screen
directx9
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410431511.9A
Other languages
English (en)
Other versions
CN104216533A (zh
Inventor
龙恺
赵鹏
郑华科
曹伟东
沈冰
龚涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201410431511.9A priority Critical patent/CN104216533B/zh
Publication of CN104216533A publication Critical patent/CN104216533A/zh
Application granted granted Critical
Publication of CN104216533B publication Critical patent/CN104216533B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于DirectX9的头戴式虚拟现实显示器，包括显示屏和计算机，所述显示屏通过计算机显示图像，所述计算机还连接有运动传感器，所述运动传感器将头部转角运动的数据交由计算机处理；所述计算机经过DirectX9纹理化、变形和回帖处理后形成符合双眼视差标准的画面传输至显示屏显示。本发明具备全景式3D效果，并可以根据头部转角显示相应方向上的画面。

Description

一种基于DirectX9的头戴式虚拟现实显示器
技术领域
本发明涉及虚拟现实显示技术领域，特别是涉及一种基于DirectX9的头戴式虚拟现实显示器。
背景技术
目前，虚拟现实头戴式显示器作为下一代游戏，虚拟现实交互的重要器材，未来是医疗，军事训练，影音娱乐领域必不可少的电子设备。但此类器材尚处在发展阶段，国内尚未有成熟的产品。
发明内容
本发明所要解决的技术问题是提供一种基于DirectX9的头戴式虚拟现实显示器，具备全景式3D效果，并可以根据头部转角显示相应方向上的画面。
本发明解决其技术问题所采用的技术方案是：提供一种基于DirectX9的头戴式虚拟现实显示器，包括显示屏和计算机，所述显示屏通过计算机显示图像，所述计算机还连接有运动传感器，所述运动传感器将头部转角运动的数据交由计算机处理；所述计算机经过DirectX9纹理化、变形和回帖处理后形成符合双眼视差标准的画面传输至显示屏显示。
所述运动传感器将三轴方向上的航姿角度值传输至计算机，所述计算机控制虚拟场景中的摄像机角度在三轴方向分别加上运动传感器在三轴方向上对应的航姿角度值；摄像机获取到第一图像后对第一图像的纹理进行保存，计算机利用着色器对第一图像的纹理进行反畸变得到畸变后的纹理，将畸变后的纹理贴到显示屏的左半边，调整虚拟场景中摄像机位置和角度，使其符合双眼视差所需满足的眉间距离，再次叠加上三轴方向的航姿角度值后获取第二图像，并保存第二图像的纹理，计算机利用着色器对第二图像的纹理进行反畸变得到畸变后的纹理，将畸变后的纹理贴到显示屏的右半边。
所述着色器根据位移公式将纹理上的每个像素点做位移变化，位移公式为：(r,θ)→(f(r)r,θ)，其中，r为当前像素点到屏幕中点的距离，θ为弧度，f(r)＝k0+k1r2+k2r4+k3r6，k0,k1,k2,k3是根据透镜的畸变系数得来的。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明实现了双眼视觉，全景式3D效果，仿佛置身于虚拟世界中。画面可以根据头部运动显示相应画面，跟踪延时低，画面跟随性良好。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于DirectX9的头戴式虚拟现实显示器，包括显示屏和计算机，所述显示屏通过计算机显示图像，所述计算机还连接有运动传感器，所述运动传感器将头部转角运动的数据交由计算机处理；所述计算机经过DirectX9纹理化、变形和回帖处理后形成符合双眼视差标准的画面传输至显示屏显示。
本发明可在电脑上将制作虚拟场景，利用DirectX9这款场景开发软件，经过纹理化，变形，回帖这一系列图像处理过程，形成符合双眼视差标准的画面，之后通过视频传输线把画面显示到戴在头上的头盔内显示屏幕上。同时，头部显示器内放置一块运动传感器和处理其原始数据的单片机。单片机通过USB与电脑通信，将运动传感器测得的头部运动情况转化成电脑可识别的数据格式和内容，回传给电脑。电脑根据得到的头部运动角度，生成新一帧画面，将此画面再次传输给头部的显示器。以此循环，来实现所需要的全景式3D显示效果，如图1所示。
具体DirectX9的处理过程如下：
步骤一：读取头部运动传感器回传的三轴方向上的航姿角度值_x,_y,_z。
步骤二：当前虚拟场景中的摄像机角度在三轴方向分别加上_x，_y，_z，即x,y,z正交坐标系上相对三轴各自的偏量。设置好视窗大小，视角大小后绘制图像。
步骤三：将此图像保存成纹理1，利用著色器对此纹理进行反畸变，得到畸变后的纹理1’。畸变通过着色器实现，着色器根据位移公式将原纹理1上的每个像素点做位移变化。位移公式为：(r,θ)→(f(r)r,θ)，其中，r为当前像素点到屏幕中点的距离，θ为弧度，f(r)＝k0+k1r2+k2r4+k3r6。其中k0,k1,k2,k3是根据透镜的畸变系数得来的。
步骤四：将畸变过的纹理1’贴到显示窗口的左半边。具体方法是在矩形显示窗口中绘制左右平分整个显示窗口的两个新矩形，在左半屏幕的左矩形上贴上纹理1’。
步骤五：调整虚拟场景中摄像机位置和角度，使其符合双眼视差所需满足的眉间距离，再次叠加上_x,_y,_z，三轴方向的角度后绘制图像。
步骤六：将此图像保存成纹理2，利用著色器对此纹理进行反畸变，得到畸变的纹理2’。畸变公式同步骤三。
步骤七：将畸变过的纹理2’贴到显示窗口的右半边的右矩形上。
步骤八：显示整个画面并将画面通过视频传输线传输至显示头盔内的屏幕上。
步骤一中，头部运动跟踪功能靠两块置于头盔内部的传感器芯片实现。两块芯片分别为陀螺仪与加速器传感器mpu6050和地磁传感器hmc5883。两块运动传感器芯片组合成九轴运动传感器，将原始的运动数据传到同样置于头部内的单片机，单片机通过运算得到头部运动在三维空间正交坐标系上的角度量，即三轴方向上的航姿角度值_x,_y,_z。之后单片机通过USB把航姿角度值传输到负责处理图像输出的电脑上，具体采用的是USB HID(人机交互设备)协议，使显示画面可以跟随头部运动而变化。

Claims (2)

1.一种基于DirectX9的头戴式虚拟现实显示器，包括显示屏和计算机，所述显示屏通过计算机显示图像，其特征在于，所述计算机还连接有运动传感器，所述运动传感器将头部转角运动的数据交由计算机处理；所述计算机经过DirectX9纹理化、变形和回贴处理后形成符合双眼视差标准的画面传输至显示屏显示；所述运动传感器将三轴方向上的航姿角度值传输至计算机，所述计算机控制虚拟场景中的摄像机角度在三轴方向分别加上运动传感器在三轴方向上对应的航姿角度值；摄像机获取到第一图像后对第一图像的纹理进行保存，计算机利用着色器对第一图像的纹理进行反畸变得到畸变后的纹理，将畸变后的纹理贴到显示屏的左半边，调整虚拟场景中摄像机位置和角度，使其符合双眼视差所需满足的眉间距离，再次叠加上三轴方向的航姿角度值后获取第二图像，并保存第二图像的纹理，计算机利用着色器对第二图像的纹理进行反畸变得到畸变后的纹理，将畸变后的纹理贴到显示屏的右半边。
2.根据权利要求1所述的基于DirectX9的头戴式虚拟现实显示器，其特征在于，所述着色器根据位移公式将纹理上的每个像素点做位移变化，位移公式为：(r,θ)→(f(r)r,θ)，其中，r为当前像素点到屏幕中点的距离，θ为弧度，f(r)＝k0+k1r2+k2r4+k3r6，k0,k1,k2,k3是根据透镜的畸变系数得来的。
CN201410431511.9A 2014-08-28 2014-08-28 一种基于DirectX9的头戴式虚拟现实显示器 Expired - Fee Related CN104216533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410431511.9A CN104216533B (zh) 2014-08-28 2014-08-28 一种基于DirectX9的头戴式虚拟现实显示器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410431511.9A CN104216533B (zh) 2014-08-28 2014-08-28 一种基于DirectX9的头戴式虚拟现实显示器

Publications (2)

Publication Number Publication Date
CN104216533A CN104216533A (zh) 2014-12-17
CN104216533B true CN104216533B (zh) 2017-06-06

Family

ID=52098113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410431511.9A Expired - Fee Related CN104216533B (zh) 2014-08-28 2014-08-28 一种基于DirectX9的头戴式虚拟现实显示器

Country Status (1)

Country Link
CN (1) CN104216533B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105056500B (zh) * 2015-07-22 2017-08-29 陈飞 一种情境模拟训练/游戏系统
CN105892643A (zh) * 2015-12-31 2016-08-24 乐视致新电子科技（天津）有限公司 基于虚拟现实的多界面统一显示系统及方法
CN106997234B (zh) * 2016-01-22 2020-08-11 阿里巴巴集团控股有限公司 虚拟现实模式处理方法、设备和系统
JP6389208B2 (ja) * 2016-06-07 2018-09-12 株式会社カプコン ゲームプログラム及びゲーム装置
CN106162203B (zh) * 2016-07-05 2019-10-25 实野信息科技（上海）有限公司 全景视频播放方法、播放器与头戴式虚拟现实设备
CN107274469A (zh) * 2017-06-06 2017-10-20 清华大学 面向虚拟现实的协同渲染方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232577A (zh) * 2006-05-22 2008-07-30 佳能株式会社 能摄像的显示设备、图像处理设备和方法、图像显示系统
CN103608716A (zh) * 2011-06-17 2014-02-26 微软公司 体视频呈现
CN103910353A (zh) * 2013-01-08 2014-07-09 海洋王照明科技股份有限公司 石墨烯纳米带的制备方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013173728A1 (en) * 2012-05-17 2013-11-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232577A (zh) * 2006-05-22 2008-07-30 佳能株式会社 能摄像的显示设备、图像处理设备和方法、图像显示系统
CN103608716A (zh) * 2011-06-17 2014-02-26 微软公司 体视频呈现
CN103910353A (zh) * 2013-01-08 2014-07-09 海洋王照明科技股份有限公司 石墨烯纳米带的制备方法

Also Published As

Publication number Publication date
CN104216533A (zh) 2014-12-17

Similar Documents

Publication Publication Date Title
CN104216533B (zh) 一种基于DirectX9的头戴式虚拟现实显示器
US11632537B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
US20160267720A1 (en) Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US11577159B2 (en) Realistic virtual/augmented/mixed reality viewing and interactions
US10043305B2 (en) Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component
EP3051525B1 (en) Display
US9595127B2 (en) Three-dimensional collaboration
TWI659335B (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
US9881421B2 (en) Image processing
CN102968809B (zh) 在增强现实领域实现虚拟信息标注及绘制标注线的方法
CN105704478B (zh) 用于虚拟和现实场景的立体显示方法、装置及电子设备
CN108227916A (zh) 用于确定沉浸式内容中的兴趣点的方法和设备
US8780178B2 (en) Device and method for displaying three-dimensional images using head tracking
US9467685B2 (en) Enhancing the coupled zone of a stereoscopic display
KR20200138349A (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
JP2022550644A (ja) パススルー視覚化
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
CN104240281A (zh) 一种基于Unity3D引擎的虚拟现实头戴式设备
CN102521876A (zh) 一种实现3d用户界面立体效果的方法及系统
US20170300121A1 (en) Input/output device, input/output program, and input/output method
CN107592520A (zh) Ar设备的成像装置及成像方法
CN116301379A (zh) 3d场景影像全息显示方法、装置、系统、设备及存储介质
TWM630947U (zh) 立體影像播放裝置
CN114049418A (zh) 一种基于虚拟主播的直播方法与系统
CN110197524B (zh) 立体显示方法、设备、装置和计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170606

Termination date: 20200828

CF01 Termination of patent right due to non-payment of annual fee