CN107770561A - 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法 - Google Patents
一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法 Download PDFInfo
- Publication number
- CN107770561A CN107770561A CN201711052053.8A CN201711052053A CN107770561A CN 107770561 A CN107770561 A CN 107770561A CN 201711052053 A CN201711052053 A CN 201711052053A CN 107770561 A CN107770561 A CN 107770561A
- Authority
- CN
- China
- Prior art keywords
- virtual reality
- screen content
- eye
- region
- tracking data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000004424 eye movement Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000003247 decreasing effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法，包括如下步骤：(1)使用虚拟现实头戴式设备的眼动跟踪数据预测未来的视点，采用自回归滑动平均方法进行视点预测；(2)基于预测的视点信息，对屏幕内容的区域进行划分，分配相应的重要性等级，为重要等级高的区域分配较多的编码资源，为重要等级低的区域分配较少的编码资源；(3)对分辨率调节后的屏幕内容视频进行编码生成码流，经网络发送给虚拟现实用户，经解码后显示在虚拟现实头戴式设备上。本发明对用户视点范围内的屏幕内容采用高分辨率编码，对其余部分采用较低分辨率编码，这样能大幅减少码率，使得在有限的码率下用户视觉体验更好。
Description
技术领域
本发明涉及屏幕内容视频通信领域，尤其是一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法。
背景技术
在虚拟现实领域中，由于价格及便利性的优势，面向普通消费者的主要是头戴式虚拟设备。用户可以通过头戴式显示器透过光学镜片在距离很近的屏幕上观看虚拟场景。随着虚拟现实用户的不断增加，虚拟现实应用内容也在逐渐丰富，设备之间进行屏幕内容分享的需求也在急剧增加，分享通常需要以屏幕内容视频的形式在虚拟现实设备之间进行实时地传输，因此对于传输的时延有很高的要求。
与相机拍摄视频相比，屏幕内容视频通常含有大量静止或活动的由计算机生成的图形、文字，可能包含较大的、与自然界不同的运动(比如演示文档中物体的渐进、渐出)、等特性。屏幕内容视频编码是屏幕内容视频通信中决定系统性能的核心技术之一。
目前，已有的屏幕内容编码方法主要专注于提高压缩性能、降低编码复杂度等方面，并已经在这些方面取得了很大进展。然而，上述屏幕内容编码方法在针对虚拟现实头戴式设备的屏幕内容视频编码方面仍存在如下缺点：
已有的屏幕内容编码方案未考虑到用户的视觉特性。人类视力的敏锐度随着偏离视网膜中心的距离增大而急剧下降。在通过虚拟现实头戴式设备观看虚拟场景时，用户的视力在同一时刻不可能对屏幕上所有区域保持高敏锐度，因此对屏幕范围内的所有内容都采用高分辨率编码不是最经济的编码方式。如果能对凝视点进行估计并据人类视觉系统特性进行屏幕内容编码将能进一步提高屏幕内容编码的编码效率。
发明内容
本发明所要解决的技术问题在于，提供一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法，能够提高虚拟现实头戴式显示设备的屏幕内容视频的编码效率。
为解决上述技术问题，本发明提供一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法，包括如下步骤：
(1)使用虚拟现实头戴式设备的眼动跟踪数据预测未来的视点，采用自回归滑动平均方法进行视点预测；
(2)基于预测的视点信息，对屏幕内容的区域进行划分，分配相应的重要性等级，为重要等级高的区域分配较多的编码资源，为重要等级低的区域分配较少的编码资源；
(3)对分辨率调节后的屏幕内容视频进行编码生成码流，经网络发送给虚拟现实用户，经解码后显示在虚拟现实头戴式设备上。
优选的，步骤(1)中，自回归滑动平均方法进行视点预测具体为：如果将在时刻t的视点位置和眼球运动速度分别记为pt和vt，那么时刻t的眼球运动速度可预测为：
vt＝αvt-1+(1-α)(pt-pt-1)
其中α为0≤α≤1的常数，那么未来在t+f时刻的视点位置可用下列公式进行预测：
pt+f＝pt+fvt。
优选的，步骤(2)中，对屏幕内容的区域进行划分，划分的片均匀或不均匀分布，片的重要等级依据距离未来视点的距离而定。
优选的，步骤(2)中，含有未来视点的片划分为最重要的区域，视点可能移动的几个方向为次重要的区域，其他区域为较为不重要的区域。
本发明的有益效果为：本发明对用户视点范围内的屏幕内容采用高分辨率编码，对其余部分采用较低分辨率编码，这样能大幅减少码率，使得在有限的码率下用户视觉体验更好。
附图说明
图1为本发明的方法流程示意图。
图2(a)为本发明的基于均匀分布的片的区域划分示意图。
图2(b)为本发明的基于不均匀分布的片的区域划分示意图。
具体实施方式
如图1所示，一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法，包括如下步骤：
(1)使用虚拟现实头戴式设备的眼动跟踪数据预测未来的视点，采用自回归滑动平均方法进行视点预测；
(2)基于预测的视点信息，对屏幕内容的区域进行划分，分配相应的重要性等级，为重要等级高的区域分配较多的编码资源，为重要等级低的区域分配较少的编码资源；
(3)对分辨率调节后的屏幕内容视频进行编码生成码流，经网络发送给虚拟现实用户，经解码后显示在虚拟现实头戴式设备上。
使用虚拟现实头戴式设备的眼动跟踪数据预测未来的视点有多种方案，本发明采用自回归滑动平均方法进行视点预测。如果将在时刻t的视点位置和眼球运动速度分别记为pt和vt。那么时刻t的眼球运动速度可预测为：
vt＝αvt-1+(1-α)(pt-pt-1)，
其中α为0≤α≤1的常数。那么未来在t+f时刻的视点位置可用下列公式进行预测：
pt+f＝pt+fvt。
基于预测的视点信息，可对屏幕内容的区域进行划分，分配相应的重要性等级。实现将图像帧划分为可对立解码的多个区域可使用多种编码工具，例如条带(slices)、片(tiles)等。由于片的区域呈矩形能更好匹配重要区域，本方案使用片对区域进行划分。
如图2(a)和图2(b)所示，划分的片可均匀分布，也可不均匀分布。片的重要等级拟依据距离未来视点的距离而定。含有未来视点的片会被划分为最为重要的区域，标记为C1。为了保证视点移动时用户的视觉体验，视点可能移动的几个方向(如C1的相邻区域)也被赋予较高的等级，标记为C2。对于其他区域可进行重要性的进一步划分，或者统一标记为较低的等级C3。
多分辨率编码方案将依据为重要等级高的区域分配较多的编码资源、重要等级低的区域分配较少的编码资源这样的准则进行。本方案对最重要的C1区域维持原来的高分辨率，对于次重要的C2区域进行子采样降低该区域的分辨率；将C3区域调整到较低的基本分辨率。经过分辨率调节后，所有片将进行屏幕内容编码生成码流，然后码流经网络传输至用户端、经解码后显示在虚拟现实头戴式设备上。
与现有的屏幕内容视频编码方案相比，本发明对用户视点范围内的屏幕内容采用高分辨率编码，对其余部分采用较低分辨率编码，这样能大幅减少码率，使得在有限的码率下用户视觉体验更好。
尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。
Claims (4)
1.一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法，其特征在于，包括如下步骤：
(1)使用虚拟现实头戴式设备的眼动跟踪数据预测未来的视点，采用自回归滑动平均方法进行视点预测；
(2)基于预测的视点信息，对屏幕内容的区域进行划分，分配相应的重要性等级，为重要等级高的区域分配较多的编码资源，为重要等级低的区域分配较少的编码资源；
(3)对分辨率调节后的屏幕内容视频进行编码生成码流，经网络发送给虚拟现实用户，经解码后显示在虚拟现实头戴式设备上。
2.如权利要求1所述的利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法，其特征在于，步骤(1)中，自回归滑动平均方法进行视点预测具体为：如果将在时刻t的视点位置和眼球运动速度分别记为pt和vt，那么时刻t的眼球运动速度可预测为：
vt＝αvt-1+(1-α)(pt-pt-1)
其中α为0≤α≤1的常数，那么未来在t+f时刻的视点位置可用下列公式进行预测：
pt+f＝pt+fvt。
3.如权利要求1所述的利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法，其特征在于，步骤(2)中，对屏幕内容的区域进行划分，划分的片均匀或不均匀分布，片的重要等级依据距离未来视点的距离而定。
4.如权利要求3所述的利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法，其特征在于，步骤(2)中，含有未来视点的片划分为最重要的区域，视点可能移动的几个方向为次重要的区域，其他区域为较为不重要的区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711052053.8A CN107770561A (zh) | 2017-10-30 | 2017-10-30 | 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711052053.8A CN107770561A (zh) | 2017-10-30 | 2017-10-30 | 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107770561A true CN107770561A (zh) | 2018-03-06 |
Family
ID=61270944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711052053.8A Pending CN107770561A (zh) | 2017-10-30 | 2017-10-30 | 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107770561A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108833880A (zh) * | 2018-04-26 | 2018-11-16 | 北京大学 | 利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置 |
| CN109189357A (zh) * | 2018-08-30 | 2019-01-11 | Oppo广东移动通信有限公司 | 信息显示方法、装置、智能眼镜及存储介质 |
| CN109257584A (zh) * | 2018-08-06 | 2019-01-22 | 上海交通大学 | 360度视频传输的用户观看视点序列预测方法 |
| CN109472464A (zh) * | 2018-10-22 | 2019-03-15 | 佛山市顺德区中山大学研究院 | 一种基于眼动追踪的在线课程质量的评估方法 |
| CN109587516A (zh) * | 2018-11-01 | 2019-04-05 | 深圳威尔视觉传媒有限公司 | 视频处理方法、装置及存储介质 |
| CN111538410A (zh) * | 2020-04-16 | 2020-08-14 | 上海唯二网络科技有限公司 | 一种vr场景中确定目标算法的方法及装置、计算设备 |
| CN111580665A (zh) * | 2020-05-11 | 2020-08-25 | Oppo广东移动通信有限公司 | 注视点预测方法、装置、移动终端及存储介质 |
| CN113473216A (zh) * | 2020-03-30 | 2021-10-01 | 华为技术有限公司 | 数据传输方法、芯片系统及相关装置 |
| CN113645500A (zh) * | 2021-10-15 | 2021-11-12 | 北京蔚领时代科技有限公司 | 虚拟现实视频流数据处理系统 |
| WO2021249562A1 (zh) * | 2020-06-12 | 2021-12-16 | 华为技术有限公司 | 一种信息传输方法、相关设备及系统 |
| CN117687552A (zh) * | 2024-02-04 | 2024-03-12 | 深圳市创义信光电科技有限公司 | 显示屏分区显示方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366381A (zh) * | 2013-08-06 | 2013-10-23 | 山东大学 | 基于空间位置的视线跟踪校正方法 |
| CN103995580A (zh) * | 2013-02-15 | 2014-08-20 | 索尼公司 | 信息处理设备和存储介质 |
| CN104408158A (zh) * | 2014-12-05 | 2015-03-11 | 合肥工业大学 | 一种基于几何重构和语义融合的视点追踪方法 |
| CN104751467A (zh) * | 2015-04-01 | 2015-07-01 | 电子科技大学 | 一种基于动态交比的凝视点估计方法及其系统 |
| US20150244636A1 (en) * | 2012-09-28 | 2015-08-27 | Peking University | Method and system for rate adaption of http stream media |
| CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
| CN106372568A (zh) * | 2015-07-22 | 2017-02-01 | 罗伯特·博世有限公司 | 用于对车辆乘客的视线进行预测的方法和装置 |
| CN107105333A (zh) * | 2017-04-26 | 2017-08-29 | 电子科技大学 | 一种基于视线追踪技术的vr视频直播交互方法与装置 |
-
2017
- 2017-10-30 CN CN201711052053.8A patent/CN107770561A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150244636A1 (en) * | 2012-09-28 | 2015-08-27 | Peking University | Method and system for rate adaption of http stream media |
| CN103995580A (zh) * | 2013-02-15 | 2014-08-20 | 索尼公司 | 信息处理设备和存储介质 |
| CN103366381A (zh) * | 2013-08-06 | 2013-10-23 | 山东大学 | 基于空间位置的视线跟踪校正方法 |
| CN104408158A (zh) * | 2014-12-05 | 2015-03-11 | 合肥工业大学 | 一种基于几何重构和语义融合的视点追踪方法 |
| CN104751467A (zh) * | 2015-04-01 | 2015-07-01 | 电子科技大学 | 一种基于动态交比的凝视点估计方法及其系统 |
| CN106372568A (zh) * | 2015-07-22 | 2017-02-01 | 罗伯特·博世有限公司 | 用于对车辆乘客的视线进行预测的方法和装置 |
| CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
| CN107105333A (zh) * | 2017-04-26 | 2017-08-29 | 电子科技大学 | 一种基于视线追踪技术的vr视频直播交互方法与装置 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108833880A (zh) * | 2018-04-26 | 2018-11-16 | 北京大学 | 利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置 |
| CN109257584A (zh) * | 2018-08-06 | 2019-01-22 | 上海交通大学 | 360度视频传输的用户观看视点序列预测方法 |
| CN109257584B (zh) * | 2018-08-06 | 2020-03-10 | 上海交通大学 | 360度视频传输的用户观看视点序列预测方法 |
| CN109189357A (zh) * | 2018-08-30 | 2019-01-11 | Oppo广东移动通信有限公司 | 信息显示方法、装置、智能眼镜及存储介质 |
| CN109472464A (zh) * | 2018-10-22 | 2019-03-15 | 佛山市顺德区中山大学研究院 | 一种基于眼动追踪的在线课程质量的评估方法 |
| CN109587516A (zh) * | 2018-11-01 | 2019-04-05 | 深圳威尔视觉传媒有限公司 | 视频处理方法、装置及存储介质 |
| CN113473216A (zh) * | 2020-03-30 | 2021-10-01 | 华为技术有限公司 | 数据传输方法、芯片系统及相关装置 |
| CN111538410A (zh) * | 2020-04-16 | 2020-08-14 | 上海唯二网络科技有限公司 | 一种vr场景中确定目标算法的方法及装置、计算设备 |
| WO2021208170A1 (zh) * | 2020-04-16 | 2021-10-21 | 上海唯二网络科技有限公司 | 一种vr场景中确定目标算法的方法及装置、计算设备 |
| CN111580665A (zh) * | 2020-05-11 | 2020-08-25 | Oppo广东移动通信有限公司 | 注视点预测方法、装置、移动终端及存储介质 |
| CN111580665B (zh) * | 2020-05-11 | 2023-01-10 | Oppo广东移动通信有限公司 | 注视点预测方法、装置、移动终端及存储介质 |
| WO2021249562A1 (zh) * | 2020-06-12 | 2021-12-16 | 华为技术有限公司 | 一种信息传输方法、相关设备及系统 |
| CN113810696A (zh) * | 2020-06-12 | 2021-12-17 | 华为技术有限公司 | 一种信息传输方法、相关设备及系统 |
| CN113645500A (zh) * | 2021-10-15 | 2021-11-12 | 北京蔚领时代科技有限公司 | 虚拟现实视频流数据处理系统 |
| CN113645500B (zh) * | 2021-10-15 | 2022-01-07 | 北京蔚领时代科技有限公司 | 虚拟现实视频流数据处理系统 |
| CN117687552A (zh) * | 2024-02-04 | 2024-03-12 | 深圳市创义信光电科技有限公司 | 显示屏分区显示方法、装置、设备及存储介质 |
| CN117687552B (zh) * | 2024-02-04 | 2024-04-23 | 深圳市创义信光电科技有限公司 | 显示屏分区显示方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107770561A (zh) | 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法 | |
| JP7029562B2 (ja) | コンテンツを提供及び表示するための装置及び方法 | |
| US11290699B2 (en) | View direction based multilevel low bandwidth techniques to support individual user experiences of omnidirectional video | |
| US10943359B2 (en) | Single depth tracked accommodation-vergence solutions | |
| CN105979224A (zh) | 一种头戴显示器、视频输出设备和视频处理方法、系统 | |
| CN112655210A (zh) | 使用多区段重采样的快速目标区域编码 | |
| CN107396081A (zh) | 针对全景视频的优化编码方法及装置 | |
| US10769754B2 (en) | Virtual reality cinema-immersive movie watching for headmounted displays | |
| US11567567B2 (en) | Encoders, methods and display apparatuses incorporating gaze-directed compression ratios | |
| CN112468806B (zh) | 一种用于云vr平台的全景视频传输优化方法 | |
| CN103458238B (zh) | 一种结合视觉感知的可伸缩视频码率控制方法、装置 | |
| US20220232269A1 (en) | Foviation and hdr | |
| US11106039B2 (en) | Single-stream foveal display transport | |
| JP7443325B2 (ja) | フォービエイションおよびｈｄｒ | |
| CN107396082A (zh) | 一种图像数据的处理方法和装置 | |
| CN107087145A (zh) | 多路视频进行360度全景视频显示的方法及装置 | |
| CN110545430A (zh) | 视频传输方法和装置 | |
| JP2014176017A (ja) | 映像再生装置、映像配信装置、映像再生方法及び映像配信方法 | |
| CN205812229U (zh) | 一种头戴显示器、视频输出设备和视频处理系统 | |
| CN111654660B (zh) | 一种基于图像分割的视频会议系统编码传输方法 | |
| WO2018004936A1 (en) | Apparatus and method for providing and displaying content | |
| US20210183115A1 (en) | Processing visual information for display on a screen | |
| Xu et al. | A flexible viewport-adaptive processing mechanism for real-time VR video transmission | |
| Daly et al. | Visual eccentricity models in face-based video compression | |
| Shao et al. | JND-based asymmetric coding of stereoscopic video for mobile 3DTV applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180306 |
|
| RJ01 | Rejection of invention patent application after publication |