CN107065197B - 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统 - Google Patents

面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统 Download PDF

Info

Publication number
CN107065197B
CN107065197B CN201710468584.9A CN201710468584A CN107065197B CN 107065197 B CN107065197 B CN 107065197B CN 201710468584 A CN201710468584 A CN 201710468584A CN 107065197 B CN107065197 B CN 107065197B
Authority
CN
China
Prior art keywords
human eye
glasses
data
eye tracking
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710468584.9A
Other languages
English (en)
Other versions
CN107065197A (zh
Inventor
路强
陆亦扬
肖铭杰
刘号
邹彬
余烨
罗珣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201710468584.9A priority Critical patent/CN107065197B/zh
Publication of CN107065197A publication Critical patent/CN107065197A/zh
Application granted granted Critical
Publication of CN107065197B publication Critical patent/CN107065197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)

Abstract

本发明公开了一种面向VR眼镜的人眼跟踪远程渲染实时显示方法及系统，包括有眼球追踪感应器、VR眼镜、压缩数据传输系统、无线传输网络；眼球追踪感应器采集使用者当前人眼聚焦点二维坐标A(x,y)，并发送给远程的服务器端；服务器端依据所述人眼聚焦点二维坐标A(x,y)，按照人眼跟踪数据压缩传输方法，压缩在服务器端渲染的图像，并将压缩之后的图像数据发送给VR眼镜；VR眼镜显示设备接收图像数据，之后按照人眼跟踪数据压缩传输方法解析图像数据并显示。本发明利用人眼的视力衰减规律，对待传输数据进行压缩处理，减少网络传输带宽，提高了数据的传输效率。

Description

面向VR眼镜的人眼跟踪远程渲染实时显示方法及系统
技术领域
本发明涉及图像显示领域，具体涉及一种面向VR眼镜的人眼跟踪远程渲染实时显示方法及系统。
背景技术
视网膜是接近黑的深红色，反光很弱，其上面布满感光细胞。正对眼球中心有一个直径约2mm的黄色区域（折合6度视角），称为黄斑。黄斑中心有一小凹，称为中央凹，面积约1平方毫米。通常我们所说的人眼的视力，是指在明亮环境下，注视点的视力，也叫中心视力。注视点对应人眼的黄斑，是人眼视觉细胞最密集的地方，因此也是视力最好的地方。偏离中心2度的角度，则视力下降为1/2，偏离中心10度，则下降为1/10。这是因为，对于明亮物体，主要是视锥细胞在起作用，而视锥细胞主要集中在大约半径为3度的黄斑里面，外边分布比较稀少，因此分辨本领不佳，在偏离中心20度的角度时，视力还不到0.1。
VR眼镜，即虚拟现实头戴显示器设备，是利用仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术集合的产品，是借助计算机及最新传感器技术创造的一种崭新的人机交互手段。通常VR眼镜的原理为交错显示、画面交换和视觉融合，以此达到显示立体3D图像的目的。一般来说VR眼镜可分为三类：外接式头显设备、一体式头显设备、移动端头显设备。外接式头显设备，用户体验较好，具备独立屏幕，产品结构复杂，技术含量较高，不过受着数据线的束缚，自己无法自由活动；一体式头显设备，产品偏少，也叫VR一体机，无需借助任何输入输出设备就可以在虚拟的世界里尽情感受3D立体感带来的视觉冲击；移动端头显设备，结构简单、价格低廉，只要放入手机即可观看，使用方便。其中一体式头显设备由于其轻便性将会成为主流的VR眼镜，但受限于目前内置显示芯片等核心技术，其显示渲染性能还不尽人意，因此远程渲染的技术将大大提高VR眼镜的可用性。
传输数据的速率对于远程渲染的VR眼镜具有重大意义。但是实际的使用环境由于带宽限制，图像数据的直接传输变得相对困难，可能导致帧率下降，出现延迟，流畅性不够等负面影响，最终导致VR眼镜佩戴者使用体验不佳甚至出现头晕目眩等症状。
发明内容
本发明是为避免上述VR眼镜数据传输技术所存在的不足之处，提供一种面向VR眼镜的人眼跟踪远程渲染实时显示方法及其系统。
本发明解决技术问题采用如下技术方案：
面向VR眼镜的人眼跟踪远程渲染实时显示系统，其特征在于包括有：
眼球追踪感应器，实时追踪人眼聚焦点，并保存聚焦点二维坐标A(x,y)；
VR眼镜，实时显示图形界面；
压缩数据传输系统，根据眼球追踪感应器捕捉的人眼聚焦点二维坐标A(x,y)，通过计算人眼视野范围，压缩视野范围之外的显示数据，并传输到VR眼镜，完成人眼跟踪远程渲染实时显示。
所述的面向VR眼镜的人眼跟踪远程渲染实时显示系统，其特征在于：所述VR眼镜与压缩数据传输系统之间通过无线传输网络互相传输数据。
面向VR眼镜的人眼跟踪远程渲染实时显示方法，其特征在于包括以下步骤：
（1）眼球追踪感应器采集使用者当前人眼聚焦点二维坐标A(x,y)，并发送给压缩数据传输系统的远程服务器端；
（2）服务器端依据所述人眼聚焦点二维坐标A(x,y)，按照人眼跟踪数据压缩传输方法，压缩在服务器端渲染的图像，并将压缩之后的图像数据发送给VR眼镜；
（3）VR眼镜接收图像数据，之后按照人眼跟踪数据压缩传输方法解析图像数据并显示；
（4）在下一帧的处理中，重复上述步骤。
所述的面向VR眼镜的人眼跟踪远程渲染实时显示方法，其特征在于所述人眼跟踪数据压缩传输方法是：
（1）由于偏离人眼聚焦点中心2度的角度，视力下降为1/2，偏离中心10度，则下降为1/10，依照人眼视力下降规律，将图像划分成若干层，其中第一层为人眼聚焦点至视力下降为1/4的区域，第二层为视力下降为1/4至1/9的区域，第三层为视力下降为1/9至1/16的区域，以此类推；
（2）第一层的图像数据不做压缩处理，第二层的图像每4个像素压缩为1个像素，第三层的图像每9个像素压缩为1个像素，以此类推；上述压缩方式符合人眼视力下降规律，对人眼观感基本不会产生影响；
（3）传输数据时首先传输聚焦点坐标A的横纵坐标x，y，然后按层数由低到高顺序依次传输当前层像素信息，其中每层图像信息按行顺序依次传输，直至整帧图像传输完毕。
通过压缩数据的方式提高显示性能，降低在数据传输过程中对网络带宽的依赖。
与已有技术相比，本发明有益效果体现在：
1、本发明利用人眼的视力衰减规律，对待传输数据进行压缩处理，减少网络传输带宽，提高了数据的传输效率；
2、本发明在VR眼镜中，解析压缩数据得到的图像与原始图像的人眼视觉效果基本相同，保证视觉体验；
3、本发明眼球追踪感应器与服务器交互数据只有人眼焦点坐标，数据量较小，占用网络传输带宽极低。
附图说明
图1为本发明系统构成示意图。
图中标号：1压缩数据传输系统、2眼球追踪感应器、3 VR眼镜、4无线传输网络。
具体实施方式
以下通过实施例结合附图对本发明作进一步说明。
实施例
参见图1，面向VR眼镜的人眼跟踪远程渲染实时显示系统，包括有：
眼球追踪感应器2，实时追踪人眼聚焦点，并保存聚焦点二维坐标A(x,y)；
VR眼镜3，实时显示图形界面；
压缩数据传输系统1，根据眼球追踪感应器捕捉的人眼聚焦点二维坐标A(x,y)，通过计算人眼视野范围，压缩视野范围之外的显示数据，并传输到VR眼镜，完成人眼跟踪远程渲染实时显示。
VR眼镜3与压缩数据传输系统1之间通过无线传输网络4互相传输数据。
面向VR眼镜的人眼跟踪远程渲染实时显示方法，包括以下步骤：
（1）眼球追踪感应器2采集使用者当前人眼聚焦点二维坐标A(x,y)，并发送给压缩数据传输系统1的远程服务器端；
（2）服务器端依据所述人眼聚焦点二维坐标A(x,y)，按照人眼跟踪数据压缩传输方法，压缩在服务器端渲染的图像，并将压缩之后的图像数据发送给类VR眼镜3；
（3）VR眼镜3接收图像数据，之后按照人眼跟踪数据压缩传输方法解析图像数据并显示；
（4）在下一帧的处理中，重复上述步骤。
人眼跟踪数据压缩传输方法是：
（1）由于偏离人眼聚焦点中心2度的角度，视力下降为1/2，偏离中心10度，则下降为1/10，依照人眼视力下降规律，将图像划分成若干层，其中第一层为人眼聚焦点至视力下降为1/4的区域，第二层为视力下降为1/4至1/9的区域，第三层为视力下降为1/9至1/16的区域，以此类推；
（2）第一层的图像数据不做压缩处理，第二层的图像每4个像素压缩为1个像素，第三层的图像每9个像素压缩为1个像素，以此类推；上述压缩方式符合人眼视力下降规律，对人眼观感基本不会产生影响；
（3）传输数据时首先传输聚焦点坐标A的横纵坐标x，y，然后按层数由低到高顺序依次传输当前层像素信息，其中每层图像信息按行顺序依次传输，直至整帧图像传输完毕。
通过压缩数据的方式提高显示性能，降低在数据传输过程中对网络带宽的依赖。
工作过程：
1、眼球追踪感应器2采集使用者当前人眼聚焦点二维坐标A(x,y)；
2、眼球追踪感应器2发送给压缩数据传输系统1的远程的服务器端；
3、服务器端依据所述人眼聚焦点坐标A(x,y)，按照人眼跟踪数据压缩传输方法，压缩在服务器端渲染的图像；
4、服务器端将处理后的图像数据发送给VR眼镜3；
5、VR眼镜3接收图像数据后按照人眼跟踪数据压缩传输方法解析图像数据并显示。

Claims (1)

1.一种面向VR眼镜的人眼跟踪远程渲染实时显示系统的显示方法，其特征在于，所述面向VR眼镜的人眼跟踪远程渲染实时显示系统，包括有：
眼球追踪感应器，实时追踪人眼聚焦点，并保存聚焦点二维坐标A(x,y)；
VR眼镜，实时显示图形界面；
压缩数据传输系统，根据眼球追踪感应器捕捉的人眼聚焦点二维坐标A(x,y)，通过计算人眼视野范围，压缩视野范围之外的显示数据，并传输到VR眼镜，完成人眼跟踪远程渲染实时显示；所述VR眼镜与压缩数据传输系统之间通过无线传输网络互相传输数据；
所述面向VR眼镜的人眼跟踪远程渲染实时显示系统的显示方法，包括以下步骤：
（1）眼球追踪感应器采集使用者当前人眼聚焦点二维坐标A(x,y)，并发送给压缩数据传输系统的远程服务器端；
（2）服务器端依据所述人眼聚焦点二维坐标A(x,y)，按照人眼跟踪数据压缩传输方法，压缩在服务器端渲染的图像，并将压缩之后的图像数据发送给VR眼镜；
（3）VR眼镜接收图像数据，之后按照人眼跟踪数据压缩传输方法解析图像数据并显示；
（4）在下一帧的处理中，重复上述步骤；
所述人眼跟踪数据压缩传输方法是：
1）由于偏离人眼聚焦点中心2度的角度，视力下降为1/2，偏离中心10度，则下降为1/10，依照人眼视力下降规律，将图像划分成若干层，其中第一层为人眼聚焦点至视力下降为1/4的区域，第二层为视力下降为1/4至1/9的区域，第三层为视力下降为1/9至1/16的区域，以此类推；
2）第一层的图像数据不做压缩处理，第二层的图像每4个像素压缩为1个像素，第三层的图像每9个像素压缩为1个像素，以此类推；上述压缩方式符合人眼视力下降规律，对人眼观感基本不会产生影响；
3）传输数据时首先传输聚焦点坐标A的横纵坐标x，y，然后按层数由低到高顺序依次传输当前层像素信息，其中每层图像信息按行顺序依次传输，直至整帧图像传输完毕。
CN201710468584.9A 2017-06-20 2017-06-20 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统 Active CN107065197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710468584.9A CN107065197B (zh) 2017-06-20 2017-06-20 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710468584.9A CN107065197B (zh) 2017-06-20 2017-06-20 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统

Publications (2)

Publication Number Publication Date
CN107065197A CN107065197A (zh) 2017-08-18
CN107065197B true CN107065197B (zh) 2020-02-18

Family

ID=59594840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710468584.9A Active CN107065197B (zh) 2017-06-20 2017-06-20 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统

Country Status (1)

Country Link
CN (1) CN107065197B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742512B (zh) * 2017-11-07 2020-09-01 北京京东方光电科技有限公司 一种显示驱动电路、其驱动方法及显示装置
CN108665521B (zh) 2018-05-16 2020-06-02 京东方科技集团股份有限公司 图像渲染方法、装置、系统、计算机可读存储介质及设备
CN109041012A (zh) * 2018-08-21 2018-12-18 上海交通大学 基于综合通信与计算能力的基站选择方法和系统
CN109413152B (zh) * 2018-09-25 2021-02-26 上海瑾盛通信科技有限公司 图像处理方法、装置、存储介质及电子设备
CN112015273B (zh) * 2020-08-26 2024-05-24 京东方科技集团股份有限公司 虚拟现实系统的数据传输方法及相关装置
CN115604528A (zh) * 2021-07-09 2023-01-13 影石创新科技股份有限公司（Cn） 鱼眼图像压缩、鱼眼视频流压缩以及全景视频生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065951A (zh) * 2013-12-26 2014-09-24 北京金山网络科技有限公司 视频拍摄方法、视频播放方法及智能眼镜
CN106774950A (zh) * 2017-03-10 2017-05-31 中国地质大学（武汉） 基于眼球追踪的空间数据沉浸式交互方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
CN102905136B (zh) * 2012-10-29 2016-08-24 安科智慧城市技术（中国）有限公司 一种视频编解码方法、系统
GB201310360D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems
CN103995356B (zh) * 2014-05-30 2016-01-20 北京理工大学 一种真实立体感的光场头盔显示装置
CN104125405B (zh) * 2014-08-12 2018-08-17 罗天明 基于眼球追踪和自动对焦系统的图像感兴趣区域提取方法
CN105072436A (zh) * 2015-08-28 2015-11-18 胡东海 虚拟现实及增强现实成像景深自动调节方法以及调节装置
CN106406509B (zh) * 2016-05-16 2023-08-01 上海青研科技有限公司 一种头戴式眼控虚拟现实设备
CN106648049B (zh) * 2016-09-19 2019-12-10 上海青研科技有限公司 一种基于眼球追踪及眼动点预测的立体渲染方法
CN106774862B (zh) * 2016-12-03 2020-07-31 学能通(山东)智能设备有限公司 基于视线的vr显示方法及vr设备
CN106897426A (zh) * 2017-02-27 2017-06-27 上海禹放信息科技有限公司 基于眼球追踪技术的特定数据生成系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065951A (zh) * 2013-12-26 2014-09-24 北京金山网络科技有限公司 视频拍摄方法、视频播放方法及智能眼镜
CN106774950A (zh) * 2017-03-10 2017-05-31 中国地质大学（武汉） 基于眼球追踪的空间数据沉浸式交互方法

Also Published As

Publication number Publication date
CN107065197A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
CN107065197B (zh) 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统
KR102239686B1 (ko) 단일 깊이 추적 순응-수렴 솔루션
US9967555B2 (en) Simulation device
CN109996055B (zh) 位置零时延
CN105869215B (zh) 一种虚拟现实成像系统
US9911214B2 (en) Display control method and display control apparatus
CN106484116B (zh) 媒体文件的处理方法和装置
CN114223195A (zh) 用于使用虚拟相机进行视频通信的系统和方法
US20240296626A1 (en) Method, apparatus, electronic device and storage medium for reconstructing 3d images
CN201638151U (zh) 实现虚拟显示和虚拟交互操作的装置
CN108431872A (zh) 一种共享虚拟现实数据的方法和设备
CN101180653A (zh) 用于三维呈现的方法和设备
CN111710050A (zh) 一种用于虚拟现实设备的图像处理方法及装置
CN102186067A (zh) 一种图像帧的传输方法和装置、显示方法和系统
CN107742512A (zh) 一种显示驱动电路、其驱动方法及显示装置
CN107562185B (zh) 一种基于头戴vr设备的光场显示系统及实现方法
CN104866261A (zh) 一种信息处理方法和装置
CN110537208A (zh) 头戴式显示器和方法
CN205005198U (zh) 头戴式显示器
CN115131529A (zh) 多人高空电力协同作业的智能ar眼动交互方法和系统
CN107087153A (zh) 3d图像生成方法、装置及vr设备
CN114866757A (zh) 一种立体显示系统及方法
CN113068003A (zh) 数据显示方法、装置、智能眼镜、电子设备和存储介质
JP2022113550A5 (zh)
US10083675B2 (en) Display control method and display control apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant