CN111918063A - 一种云渲染动态编码方法 - Google Patents

一种云渲染动态编码方法 Download PDF

Info

Publication number
CN111918063A
CN111918063A CN202010639439.4A CN202010639439A CN111918063A CN 111918063 A CN111918063 A CN 111918063A CN 202010639439 A CN202010639439 A CN 202010639439A CN 111918063 A CN111918063 A CN 111918063A
Authority
CN
China
Prior art keywords
fov
rotation
rendering
data
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010639439.4A
Other languages
English (en)
Inventor
孙文博
许增华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lanting Digital Technology Co ltd
Original Assignee
Beijing Lanting Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lanting Digital Technology Co ltd filed Critical Beijing Lanting Digital Technology Co ltd
Priority to CN202010639439.4A priority Critical patent/CN111918063A/zh
Publication of CN111918063A publication Critical patent/CN111918063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种云渲染动态编码方法，具体涉及VR领域，包括下列操作步骤：S1、获取Sensor的FOV和Rotation：在HMD驱动层都可以获取到FOV和Rotation；S2、根据Rotation变化调整FOV；S3、发送给Server：通过UDP将调整后的FOV和Rotation数据发送给Server；S4、根据FOV和Rotation数据对图像进行渲染：Server接收数据后将FOV和Rotation数据传送给应用程序，CUDA会根据当前的FOV和Rotation调整Camera进行渲染。本发明通过采用该技术渲染终端用户在转头的时候画面黑边会减低，刷新效率更快，降低了眩晕感，能够更好的体验VR内容；为解决在VR云渲染游戏体验中，用户在运动和禁止两种状态需要调整画面显示分辨率和码率提高编码效率从而达到更好的显示效果。

Description

一种云渲染动态编码方法
技术领域
本发明涉及VR技术领域，更具体地说，本发明涉及一种云渲染动态编码方法。
背景技术
动态编码包括CBR编码和VBR编码。
在流式播放方案中使用CBR编码最为有效，使用CBR编码时，比特率在流的进行过程中基本保持恒定并且接近目标比特率，始终处于由缓冲区大小确定的时间窗内，CBR编码的缺点在于编码内容的质量不稳定，因为内容的某些片段要比其他片段更难压缩，所以CBR流的某些部分质量就比其他部分差，此外，CBR编码会导致相邻流的质量不同，通常在较低比特率下，质量的变化会更加明显；当计划提供内容供用户下载、将内容在本地播放或者在读取速度有限的设备(如CD或DVD播放机)上播放时，请使用VBR编码，(计划流式播放内容时也可以采用峰值VBR编码模式)当编码内容中混有简单数据和复杂数据(例如，在快动作和慢动作间切换的视频)时，VBR编码是很有优势的，使用VBR编码时，系统将自动为内容的简单部分分配较少的比特，从而留出足量的比特用于生成高质量的复杂部分。
因此无论是CBR还是VBR都是对视频码率的控制,无法对视频分辨率进行控制。
发明内容
为了克服现有技术的上述缺陷，本发明的实施例提供一种云渲染动态编码方法，通过采用该技术渲染终端用户在转头的时候画面黑边会减低，刷新效率更快，降低了眩晕感，能够更好的体验VR内容，以解决上述背景技术中提出的问题，
为实现上述目的，本发明提供如下技术方案：一种云渲染动态编码方法，包括下列操作步骤：
S1、获取Sensor的FOV和Rotation：在HMD驱动层都可以获取到FOV和Rotation；
S2、根据Rotation变化调整FOV；
S3、发送给Server：通过UDP将调整后的FOV和Rotation数据发送给Server；
S4、根据FOV和Rotation数据对图像进行渲染：Server接收数据后将FOV和Rotation数据传送给应用程序，CUDA会根据当前的FOV和Rotation调整Camera进行渲染；
S5、根据FOV大小调整编码：FOV根据图像分辨率进行调整码率编码。
在一个优选地实施方式中，所述HMD驱动层为头戴式显示器显示驱动模块。
在一个优选地实施方式中，所述S1中采用不同HMD的FOV大小不相同。
在一个优选地实施方式中，所述S4中的FOV大的时候获取到的图像分辨率也会变大，码率也相应增加，FOV小的时候获取到的分辨率也会减低，码率也减小。
在一个优选地实施方式中，所述S2中在禁止状态下扩大渲染的FOV，在转头过程中减小FOV。
本发明的技术效果和优点：
1、本发明通过采用该技术渲染终端用户在转头的时候画面黑边会减低，刷新效率更快，降低了眩晕感，能够更好的体验VR内容。
2、本发明为解决在VR云渲染游戏体验中，用户在运动和禁止两种状态需要调整画面显示分辨率和码率提高编码效率从而达到更好的显示效果。
附图说明
图1为本发明方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围，
如附图1所示的一种云渲染动态编码方法，包括下列操作步骤：
S1、获取Sensor的FOV和Rotation：在HMD驱动层都可以获取到FOV和Rotation；
S2、根据Rotation变化调整FOV；
S3、发送给Server：通过UDP将调整后的FOV和Rotation数据发送给Server；
S4、根据FOV和Rotation数据对图像进行渲染：Server接收数据后将FOV和Rotation数据传送给应用程序，CUDA会根据当前的FOV和Rotation调整Camera进行渲染；
S5、根据FOV大小调整编码：FOV根据图像分辨率进行调整码率编码。
所述HMD驱动层为头戴式显示器显示驱动模块，所述S1中采用不同HMD的FOV大小不相同，所述S4中的FOV大的时候获取到的图像分辨率也会变大，码率也相应增加，FOV小的时候获取到的分辨率也会减低，码率也减小，。以此来提高编码效率，所述S2中在禁止状态下扩大渲染的FOV，在转头过程中减小FOV。
具体实施方式为：通过采用该技术渲染终端用户在转头的时候画面黑边会减低，刷新效率更快，降低了眩晕感，能够更好的体验VR内容；为解决在VR云渲染游戏体验中，用户在运动和禁止两种状态需要调整画面显示分辨率和码率提高编码效率从而达到更好的显示效果。
最后应说明的几点是：首先，在本申请的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；
其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种云渲染动态编码方法，其特征在于：包括下列操作步骤：
S1、获取Sensor的FOV和Rotation：在HMD驱动层都可以获取到FOV和Rotation；
S2、根据Rotation变化调整FOV；
S3、发送给Server：通过UDP将调整后的FOV和Rotation数据发送给Server；
S4、根据FOV和Rotation数据对图像进行渲染：Server接收数据后将FOV和Rotation数据传送给应用程序，CUDA会根据当前的FOV和Rotation调整Camera进行渲染；
S5、根据FOV大小调整编码：FOV根据图像分辨率进行调整码率编码。
2.根据权利要求1所述的一种云渲染动态编码方法，其特征在于：所述HMD驱动层为头戴式显示器显示驱动模块。
3.根据权利要求1所述的一种云渲染动态编码方法，其特征在于：所述S1中采用不同HMD的FOV大小不相同。
4.根据权利要求1所述的一种云渲染动态编码方法，其特征在于：所述S4中的FOV大的时候获取到的图像分辨率也会变大，码率也相应增加，FOV小的时候获取到的分辨率也会减低，码率也减小。
5.根据权利要求1所述的一种云渲染动态编码方法，其特征在于：所述S2中在禁止状态下扩大渲染的FOV，在转头过程中减小FOV。
CN202010639439.4A 2020-07-08 2020-07-08 一种云渲染动态编码方法 Pending CN111918063A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010639439.4A CN111918063A (zh) 2020-07-08 2020-07-08 一种云渲染动态编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010639439.4A CN111918063A (zh) 2020-07-08 2020-07-08 一种云渲染动态编码方法

Publications (1)

Publication Number Publication Date
CN111918063A true CN111918063A (zh) 2020-11-10

Family

ID=73227384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010639439.4A Pending CN111918063A (zh) 2020-07-08 2020-07-08 一种云渲染动态编码方法

Country Status (1)

Country Link
CN (1) CN111918063A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791440A (zh) * 2016-09-30 2019-05-21 索尼互动娱乐股份有限公司 头戴式显示器中的虚拟现实(vr)内容的视场(fov)限制
US20190266802A1 (en) * 2016-10-14 2019-08-29 Nokia Technologies Oy Display of Visual Data with a Virtual Reality Headset
US20190356894A1 (en) * 2017-01-20 2019-11-21 Pcms Holdings, Inc. Field-of-view prediction method based on contextual information for 360-degree vr video
CN110930307A (zh) * 2019-10-31 2020-03-27 北京视博云科技有限公司 图像处理方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791440A (zh) * 2016-09-30 2019-05-21 索尼互动娱乐股份有限公司 头戴式显示器中的虚拟现实(vr)内容的视场(fov)限制
US20190266802A1 (en) * 2016-10-14 2019-08-29 Nokia Technologies Oy Display of Visual Data with a Virtual Reality Headset
US20190356894A1 (en) * 2017-01-20 2019-11-21 Pcms Holdings, Inc. Field-of-view prediction method based on contextual information for 360-degree vr video
CN110930307A (zh) * 2019-10-31 2020-03-27 北京视博云科技有限公司 图像处理方法和装置

Similar Documents

Publication Publication Date Title
JP7029562B2 (ja) コンテンツを提供及び表示するための装置及び方法
CN111355954B (zh) 为视频播放器装置处理视频数据
JP6501904B2 (ja) 球面ビデオのストリーミング
EP3606082B1 (en) Panoramic video playback method and client terminal
KR101885979B1 (ko) 스테레오 뷰잉
US7667707B1 (en) Computer system for supporting multiple remote displays
EP3557534A1 (en) Information processing method and apparatus
JP2019516297A (ja) ビューを意識した３６０度ビデオストリーミング
CN111479165B (zh) 软硬件解码分辨率无缝切换方法、装置及存储介质
TW201501761A (zh) 以遊戲者之注意區域爲基礎改善視訊串流的速率控制位元分配
KR20170015938A (ko) 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
CN109300183B (zh) 用于提供输出面的数据处理系统和方法
WO2018214698A1 (zh) 一种视频信息的呈现方法和装置
CN111479164A (zh) 硬件解码动态分辨率无缝切换方法、装置及存储介质
US10554953B2 (en) Distortion of video for seek in 360 degree video
JP2022504778A (ja) コンテンツ適応量子化強度及びビットレートモデリング
CN111918063A (zh) 一种云渲染动态编码方法
US20240114176A1 (en) Method, Apparatus and Computer Program Product Providing for Extended Margins Around a Viewport for Immersive Content
US20230099405A1 (en) Image data transfer apparatus, image display system, and image data transfer method
JP7144452B2 (ja) 画像処理装置およびシステム
CN115668953A (zh) 使用边缘计算服务的图像内容传输方法和设备
CN112565729A (zh) 柔性显示设备及方法、存储介质
KR102499900B1 (ko) 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법
WO2021199128A1 (ja) 画像データ転送装置、画像生成方法およびコンピュータプログラム
KR102493258B1 (ko) 어지럼증이 개선된 pc 게임 확장 vr 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201110