CN107659804B - 一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法 - Google Patents

一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法 Download PDF

Info

Publication number
CN107659804B
CN107659804B CN201711042343.4A CN201711042343A CN107659804B CN 107659804 B CN107659804 B CN 107659804B CN 201711042343 A CN201711042343 A CN 201711042343A CN 107659804 B CN107659804 B CN 107659804B
Authority
CN
China
Prior art keywords
screen content
virtual reality
screen
view
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711042343.4A
Other languages
English (en)
Other versions
CN107659804A (zh
Inventor
徐媛媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201711042343.4A priority Critical patent/CN107659804B/zh
Publication of CN107659804A publication Critical patent/CN107659804A/zh
Application granted granted Critical
Publication of CN107659804B publication Critical patent/CN107659804B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法，包括如下步骤：将屏幕内容区域一分为二，只对其中一个区域进行有效性区域划分，然后镜像映射到另外一个区域中去，对于屏幕内容采用基于阈值的图像分割法；利用有效区域的统计相关性对无效区域的像素值进行改变，让其像素值与有效的屏幕区域内容更为相关；采用双视图屏幕内容编码对处理过的屏幕内容进行编码，左眼视图作为基本视图，在对某一帧的其中一个视图进行编码时，利用时域相关性进行传统的时域帧间预测，或利用同一帧左、右视图间的相关性进行视点间预测，最终生成一个比特流。本发明提高了虚拟现实头戴式显示设备的屏幕内容视频的编码效率。

Description

一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法
技术领域
本发明涉及屏幕内容视频通信领域，尤其是一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法。
背景技术
由于价格及便利性的优势，面向普通消费者的虚拟现实设备主要是头戴式虚拟设备。用户可通过头戴式显示器透过光学镜片在距离很近的屏幕上观看虚拟场景。随着虚拟现实用户的不断增加，虚拟现实应用内容也在逐渐丰富。同时，伴随云技术的兴起，虚拟现实设备之间进行屏幕内容分享的需求也在急剧增加，并相应的产生了如云游戏、无线屏幕显示、镜像屏幕、以及屏幕虚拟化等应用。在这些应用中，屏幕分享通常需要以屏幕内容视频的形式在虚拟现实设备之间进行实时地传输，因此对于传输的时延有很高的要求。
与相机拍摄视频相比，屏幕内容视频通常含有大量静止或活动的由计算机生成的图形、文字，可能包含较大的运动(比如向下滚动页面)、与自然界不同的运动(比如演示文档中物体的渐进、渐出)、不连续的色调、饱和的色彩、有限的颜色种类、无传感器噪声、大块均匀平滑的区域、重复出现的图案等特性。屏幕内容视频编码是屏幕内容视频通信中决定系统性能的核心技术之一。
目前，已有的屏幕内容编码方法主要专注于提高压缩性能、降低编码复杂度等方面，并已经在这些方面取得了很大进展。然而，上述屏幕内容编码方法在针对虚拟现实头戴式设备的屏幕内容视频编码方面仍存在如下缺点：(1)已有的屏幕内容编码方案未考虑到虚拟现实头戴式设备的双视点特性。普通屏幕内容视频通常是单视图的，而头戴式设备屏幕内容视频中有左、右眼视图。为了得到立体感，虚拟现实头戴式设备会为左、右眼提供同一场景不同视角的两幅图像。这两副存在着微小的差别，大脑将融合这两个图像获得深度感知，得到一个立体的图像。如若不考虑头戴式设备的双视点特性，会导致编码效率的严重下降；(2)已有的屏幕内容编码方案未考虑到虚拟现实头戴式设备的存在无效区域的特性。虚拟现实头戴式设备的屏幕有效区域呈桶型，存在着无效区域，而普通屏幕内容视频通常不存在无效区域。对于头戴式设备来说，必需借助光学镜片来放大屏幕让眼睛聚焦到距离很近的显示屏上，向双眼提供尽可能宽的视野。光学镜片引入了枕型失真，视场越大、观测范围越大，枕型失真越严重。为了纠正枕型失真，头戴式设备视图预先进行了桶型失真的处理，这样透过镜片看到的视频能近乎正常。虚拟现实头戴式设备矩形屏幕除去桶型有效区域的剩余部分则为无效区域。已有屏幕内容编码方案对编码区域不加以区分，造成了编码比特的浪费。
发明内容
本发明所要解决的技术问题在于，提供一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法，能够提高虚拟现实头戴式显示设备的屏幕内容视频的编码效率。
为解决上述技术问题，本发明提供一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法，包括如下步骤：
(1)根据屏幕内容中左右眼视图对称的特性，将屏幕内容区域一分为二，只对其中一个区域进行有效性区域划分，然后镜像映射到另外一个区域中去，对于屏幕内容采用基于阈值的图像分割法；
(2)利用有效区域的统计相关性对无效区域的像素值进行改变，让其像素值与有效的屏幕区域内容更为相关；
(3)采用双视图屏幕内容编码对处理过的屏幕内容进行编码，左眼视图作为基本视图，在对某一帧的其中一个视图进行编码时，利用时域相关性进行传统的时域帧间预测，或利用同一帧左、右视图间的相关性进行视点间预测，最终生成一个比特流。
优选的，步骤(1)中，基于阈值的图像分割法具体为：将有效区域和无效区域分别记为C和C’，那么基于阈值pt的图像分割法如下所示：
其中(x,y)为位于图像(x,y)位置的一个像素，p(x,y)为该像素的像素值。
优选的，步骤(2)中，改变无效区域像素值具体为：对于无效区域C’中的一个像素(x’,y’)，其像素值改变为：p(x',y')＝p(x*,y*)；其中(x*,y*)为C中与(x',y')距离最近的点。
本发明的有益效果为：本发明针对虚拟现实头戴式现实设备的屏幕内容视频有着左右双视图、存在无效区域、及有效区域不规则的特点设计了屏幕内容视频编码方案，提高了虚拟现实头戴式显示设备的屏幕内容视频的编码效率。
附图说明
图1为本发明所要编码的虚拟现实头戴式显示设备屏幕内容示意图。
图2为本发明虚拟现实头戴式显示设备的双视点屏幕内容视频的编码框架示意图。
具体实施方式
如图1所示，一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法，包括如下步骤：
(1)根据屏幕内容中左右眼视图对称的特性，将屏幕内容区域一分为二，只对其中一个区域进行有效性区域划分，然后镜像映射到另外一个区域中去，对于屏幕内容采用基于阈值的图像分割法；
(2)利用有效区域的统计相关性对无效区域的像素值进行改变，让其像素值与有效的屏幕区域内容更为相关；
(3)采用双视图屏幕内容编码对处理过的屏幕内容进行编码，左眼视图作为基本视图，在对某一帧的其中一个视图进行编码时，利用时域相关性进行传统的时域帧间预测，或利用同一帧左、右视图间的相关性进行视点间预测，最终生成一个比特流。
如图1所示，根据屏幕内容中左右眼视图对称的特性，先将屏幕内容区域一分为二，只对其中一个区域进行有效性区域划分，然后镜像映射到另外一个区域中去。虚拟现实头戴式设备为了纠正光学镜片的枕型失真将有效区域预先处理为桶型。视场越大、观测范围越大，有效区域的桶型失真越严重。本发明采用基于阈值的图像分割法。将有效区域和无效区域分别记为C和C’，那么基于阈值pt的图像分割法如下所示：
其中(x,y)为位于图像(x,y)位置的一个像素，p(x,y)为该像素的像素值。
改变无效区域的样本值的方案来提高非均匀块的编码效率。如果编码单元内部的相关性较大，说明该编码单元具备了高效压缩的可能，从而编码比特率也就越低。因此拟利用有效区域的统计相关性对无效区域的像素值进行改变，让其像素值与有效的屏幕区域内容更为相关来提高编码效率。本发明改变无效区域像素值的具体方案如下，对于无域内容更为相关来提高编码效率。本发明改变无效区域像素值的具体方案如下，对于无效区域C’中的一个像素(x’,y’)，其像素值改变为：
其中(x*,y*)为C中与(x',y')距离最近的点。
虚拟现实头戴式设备的双视点屏幕内容视频的编码框架如图2所示。此框架中以左眼视图作为基本视图。在对某一帧的其中一个视图进行编码时，不但可以利用时域相关性进行传统的时域帧间预测，也可利用同一帧左、右视图间的相关性进行视点间预测。此外，预测过程亦可在不同帧不同视图间进行，例如第n+1帧的右眼视图可使用第n帧的左眼视图进行预测。此编码框架的其余部分以高性能视频编码(HEVC)标准中的屏幕内容编码(HEVC-SCC)标准的编码结构和编码工具为基础，使用例如帧内块复制、调色板模式等编码工具。
与现有的屏幕内容视频编码方案相比，本发明针对虚拟现实头戴式现实设备的屏幕内容视频有着左右双视图、存在无效区域、及有效区域不规则的特点设计了屏幕内容视频编码方案，提高了虚拟现实头戴式显示设备的屏幕内容视频的编码效率。
尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。

Claims (2)

1.一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法，其特征在于，包括如下步骤：
(1)根据屏幕内容中左右眼视图对称的特性，将屏幕内容区域一分为二，只对其中一个区域进行有效性区域划分，然后镜像映射到另外一个区域中去，对于屏幕内容采用基于阈值的图像分割法；
(2)利用有效区域的统计相关性对无效区域的像素值进行改变，让其像素值与有效的屏幕区域内容更为相关；改变无效区域像素值具体为：对于无效区域C’中的一个像素(x’,y’)，其像素值改变为：p(x',y')＝p(x*,y*)；其中(x*,y*)为C中与(x',y')距离最近的点；
(3)采用双视图屏幕内容编码对处理过的屏幕内容进行编码，左眼视图作为基本视图，在对某一帧的其中一个视图进行编码时，利用时域相关性进行传统的时域帧间预测，或利用同一帧左、右视图间的相关性进行视点间预测，最终生成一个比特流。
2.如权利要求1所述的针对虚拟现实头戴式显示设备的屏幕内容视频编码算法，其特征在于，步骤(1)中，基于阈值的图像分割法具体为：将有效区域和无效区域分别记为C和C’，那么基于阈值pt的图像分割法如下所示：
其中(x,y)为位于图像(x,y)位置的一个像素，p(x,y)为该像素的像素值。
CN201711042343.4A 2017-10-30 2017-10-30 一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法 Expired - Fee Related CN107659804B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711042343.4A CN107659804B (zh) 2017-10-30 2017-10-30 一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711042343.4A CN107659804B (zh) 2017-10-30 2017-10-30 一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法

Publications (2)

Publication Number Publication Date
CN107659804A CN107659804A (zh) 2018-02-02
CN107659804B true CN107659804B (zh) 2019-03-12

Family

ID=61096888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711042343.4A Expired - Fee Related CN107659804B (zh) 2017-10-30 2017-10-30 一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法

Country Status (1)

Country Link
CN (1) CN107659804B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105120278A (zh) * 2010-07-20 2015-12-02 株式会社Ntt都科摩 图像预测编码装置及方法、图像预测解码装置及方法
CN107197285A (zh) * 2017-06-06 2017-09-22 清华大学 一种基于位置的虚拟现实压缩方法
CN107211081A (zh) * 2015-01-22 2017-09-26 哈德利公司 基于独立编码的背景更新的视频传输

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170091323A (ko) * 2016-02-01 2017-08-09 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105120278A (zh) * 2010-07-20 2015-12-02 株式会社Ntt都科摩 图像预测编码装置及方法、图像预测解码装置及方法
CN107211081A (zh) * 2015-01-22 2017-09-26 哈德利公司 基于独立编码的背景更新的视频传输
CN107197285A (zh) * 2017-06-06 2017-09-22 清华大学 一种基于位置的虚拟现实压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视频编码的技术基础及发展方向;周建同等;《电信科学》;20170831(第8期);全文

Also Published As

Publication number Publication date
CN107659804A (zh) 2018-02-02

Similar Documents

Publication Publication Date Title
US9035939B2 (en) 3D video control system to adjust 3D video rendering based on user preferences
JP5575778B2 (ja) 信号に含まれる視差情報を処理する方法
US9380284B2 (en) Image processing method, image processing device and recording medium
US20110134227A1 (en) Methods and apparatuses for encoding, decoding, and displaying a stereoscopic 3d image
EP2713614A2 (en) Apparatus and method for stereoscopic video with motion sensors
JP2014500674A (ja) 適応的な両眼差をもつ３ｄディスプレイのための方法およびシステム
KR101994322B1 (ko) 디스패리티 설정 방법 및 대응하는 디바이스
KR20110134327A (ko) 영상 처리 방법 및 그에 따른 영상 표시 장치
CN102710949B (zh) 一种基于视觉感知的立体视频编码方法
JP2014176017A (ja) 映像再生装置、映像配信装置、映像再生方法及び映像配信方法
CN102325254B (zh) 一种立体视频的编、解码方法及装置
CN101291441B (zh) 一种手机及图像信息的处理方法
CN107659804B (zh) 一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法
Mangiat et al. Disparity remapping for handheld 3D video communications
CN103748872A (zh) 立体图像的接收器侧调整
WO2022230253A1 (ja) 情報処理装置及び情報処理方法
WO2013042392A1 (ja) 立体画像評価装置
CN102780894B (zh) 一种3d图像的编解码方法
CN105898267A (zh) 一种无镜立体视频处理方法
Shao et al. JND-based asymmetric coding of stereoscopic video for mobile 3DTV applications
KR101567710B1 (ko) 특수 안경을 착용한 관찰자만 정보를 볼 수 있는 디스플레이 시스템
CN204989630U (zh) 一种可分屏虚拟现实眼镜
CN104702934A (zh) 2d转3d方法及应用该方法呈现3d效果的电子设备
CN104238130A (zh) 具有图像校正功能的电子设备3d观看头盔
US20120162397A1 (en) Image processing apparatus and display controlling method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190312