CN107680047A - 一种虚拟现实场景渲染方法、图像处理器和头戴显示设备 - Google Patents

一种虚拟现实场景渲染方法、图像处理器和头戴显示设备 Download PDF

Info

Publication number
CN107680047A
CN107680047A CN201710791336.8A CN201710791336A CN107680047A CN 107680047 A CN107680047 A CN 107680047A CN 201710791336 A CN201710791336 A CN 201710791336A CN 107680047 A CN107680047 A CN 107680047A
Authority
CN
China
Prior art keywords
distortion
data
image processor
rendered
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710791336.8A
Other languages
English (en)
Inventor
尚爱丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Pico Technology Co Ltd
Original Assignee
Beijing Pico Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Pico Technology Co Ltd filed Critical Beijing Pico Technology Co Ltd
Priority to CN201710791336.8A priority Critical patent/CN107680047A/zh
Publication of CN107680047A publication Critical patent/CN107680047A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • G06T3/608Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种虚拟现实场景渲染方法、图像处理器和头戴显示设备。所述方法包括:图像处理器接收畸变数据,并将所述畸变数据保存在图像处理器的寄存器中;所述图像处理器在将待渲染的虚拟现实场景转换为二维图像的过程中,根据所述畸变数据对所述待渲染的虚拟现实场景进行畸变处理,将畸变处理后的二维图像渲染到屏幕上。与现有技术中需要将三维场景在硬件层渲染成二维图像后再在软件层对二维图像进行畸变处理后投屏相比,本发明省略了软件层的操作,减少了软硬件的交互,降低了延迟时间,提升用户体验。

Description

一种虚拟现实场景渲染方法、图像处理器和头戴显示设备
技术领域
本发明涉及虚拟现实技术领域,具体涉及一种虚拟现实场景渲染方法、图像处理器和头戴显示设备。
背景技术
在虚拟现实(Virtual Reality,VR)设备为用户呈现三维场景或者物体时,主要是将三维场景或者物体在硬件底层渲染成二维图像,再将二维图像上传至软件层,在软件层对二维图像进行畸变处理后,最终将畸变处理后的二维图像投屏,整个过程需要软件硬件之间的交互,在软硬件交互过程中需要一定的时间,导致延迟较长,用户体验较低。
发明内容
本发明提供了一种虚拟现实场景渲染方法、图像处理器和头戴显示设备,以解决现有虚拟现实设备渲染过程需要软硬件交互导致延迟较长、用户体验较低的问题。
根据本发明的一个方面,提供了一种虚拟现实场景渲染方法,所述方法包括:
图像处理器接收畸变数据,并将所述畸变数据保存在图像处理器的寄存器中;
所述图像处理器在将待渲染的虚拟现实场景转换为二维图像的过程中,根据所述畸变数据对所述待渲染的虚拟现实场景进行畸变处理,将畸变处理后的二维图像渲染到屏幕上。
根据本发明的一个方面,提供了另一种图像处理器,所述图像处理器包括:
接收单元,用于接收畸变数据,并将所述畸变数据保存在图像处理器的寄存器中;
渲染单元,用于在将待渲染的虚拟现实场景转换为二维图像的过程中,根据所述畸变数据对所述待渲染的虚拟现实场景进行畸变处理,将畸变处理后的二维图像渲染到屏幕上。
根据本发明的另一个方面,提供了一种图像处理器,所述装置包括存储器和处理器,所述存储器存储有能够被所述处理器执行的计算机程序,所述计算机程序被所述处理器执行时能够实现上述的方法步骤。
根据本发明的又一个方面,提供了一种头戴显示设备,所述头戴显示设备包括如上述的图像处理器。
本发明的有益效果是:本发明的技术方案通过将畸变数据保存在图像处理器的寄存器中,在图像处理器将待渲染的虚拟现实场景转换为二维图像的过程中,根据畸变数据对待渲染的虚拟现实场景进行畸变处理,进而直接从图像处理器渲染出畸变处理后的二维图像到屏幕上,实现在硬件层直接输出带畸变的二维图像,从而与现有技术中需要将三维场景在硬件层渲染成二维图像后再在软件层对二维图像进行畸变处理后投屏相比,省略了软件层的操作,进而减少了软硬件的交互,降低了延迟时间,提升了用户体验。
附图说明
图1是本发明一个实施例的一种虚拟现实场景渲染方法的流程图;
图2是本发明一个实施例的现有畸变处理技术与流水线畸变处理技术的对比示意图;
图3是本发明一个实施例的一种图像处理器的结果示意图;
图4是本发明一个实施例的另一种图像处理器的结果示意图;
图5是本发明一个实施例的一种头戴显示设备的结构示意图。
具体实施方式
本发明的设计构思是:针对现有技术需要通过软硬件交互才能将三维场景渲染成二维图像导致延迟较长的问题,发明人想到,将畸变数据写入图像处理器的寄存器中,在图像处理器将待渲染的虚拟现实场景转换为二维图像的过程中,利用畸变数据对待渲染的虚拟现实场景进行畸变处理,将畸变处理后的二维图像渲染到屏幕上,实现在硬件层直接输出带畸变的二维图像,省略软件层的操作,进而减少软硬件的交互,降低延迟时间,提升用户体验。
实施例一
图1是本发明一个实施例的一种虚拟现实场景渲染方法的流程图,如图1所示,
在步骤S110中,图像处理器接收畸变数据,并将所述畸变数据保存在图像处理器的寄存器中;
在步骤S120中,所述图像处理器在将待渲染的虚拟现实场景转换为二维图像的过程中,根据所述畸变数据对所述待渲染的虚拟现实场景进行畸变处理,将畸变处理后的二维图像渲染到屏幕上。
通过图1所示的方法可知,本发明的技术方案通过将畸变数据保存在图像处理器的寄存器中,在图像处理器将待渲染的虚拟现实场景转换为二维图像的过程中,根据畸变数据对待渲染的虚拟现实场景进行畸变处理,进而直接从图像处理器渲染出畸变处理后的二维图像到屏幕上,实现在硬件层直接输出带畸变的二维图像,从而与现有技术中需要将三维场景在硬件层渲染成二维图像后再在软件层对二维图像进行畸变处理后投屏相比,省略了软件层的操作,进而减少了软硬件的交互,降低了延迟时间,提升了用户体验。
在本发明的一个实施例中,步骤S120包括:
S120_1,所述图像处理器通过转换矩阵对待渲染的虚拟现实场景进行转换处理获取第一数据;
需要说明的是,转换矩阵主要通过两步实现:第一步是基础变换矩阵(需要说明的是,基础变换矩阵包括平移、缩放和旋转),第二步是空间变换矩阵(需要说明的是,空间变换矩阵包括模型变换矩阵和观察变换矩阵)。
S120_2,所述图像处理器根据所述畸变数据对所述第一数据进行畸变处理获取第二数据;
在本发明的一个实施例中,所述图像处理器根据所述畸变数据对第一数据进行流水线畸变处理,获取第二数据。
需要说明的是,在流水线畸变处理的过程中,将第一数据分成N个数据流,对每个数据流进行畸变处理(例如,畸变处理包括数据预处理、畸变处理和色差矫正。),如图2(右图)所示。需要说明的是,本发明中的流水畸变处理是在图像处理器(硬件层)中进行,并且是在虚拟现实场景渲染过程中完成。现有的畸变处理是在软件层进行,并且无法实现流水线畸变处理,如图2(左图)所示。通过分析图2(图2中的左图和右图)可知,流水线处理会在相同时间处理更多流程,提高畸变处理的处理效率,减少延迟时间,增加每秒中填充图像的帧数(Frames Per Second,FPS),使得画面显示地更加流畅,进而提升用户体验。
S120_3,所述图像处理器根据投影矩阵将所述第二数据渲染到屏幕上。
在本发明的一个实施例中,本发明采用的是透视投影技术。
在本发明的一个实施例中,所述畸变数据包括与光学镜片相匹配的桶形畸变算法公式、畸变公式参数、色彩矫正算法公式和色彩矫正公式参数。
实施例二
图3是本发明一个实施例的一种图像处理器的结果示意图,如图3所示,
所述图像处理器200包括:
接收单元210,用于接收畸变数据,并将所述畸变数据保存在图像处理器的寄存器中;
渲染单元220,用于在将待渲染的虚拟现实场景转换为二维图像的过程中,根据所述畸变数据对所述待渲染的虚拟现实场景进行畸变处理,将畸变处理后的二维图像渲染到屏幕上。
在本发明的一个实施例中,所述渲染单元220包括:
转换模块221,用于通过转换矩阵对待渲染的虚拟现实场景进行转换处理获取第一数据;
畸变模块222,用于根据所述畸变数据对所述第一数据进行畸变处理获取第二数据;
投影模块223,用于根据投影矩阵将所述第二数据渲染到屏幕上。
在本发明的一个实施例中,所述畸变模块222,具体用于根据所述畸变数据对第一数据进行流水线畸变处理,获取第二数据。
在本发明的一个实施例中,所述畸变数据包括与光学镜片相匹配的桶形畸变算法公式、畸变公式参数、色彩矫正算法公式和色彩矫正公式参数。
需要说明的是,本实施例请求保护的图像处理器的工作过程与图1所示的虚拟现实场景渲染方法的实施步骤对应相同,相同部分不再赘述。
实施例三
图4是本发明一个实施例的另一种图像处理器的结果示意图,如图4所示,所述装置300包括存储器320和处理器310,所述存储器320存储有能够被所述处理器310执行的计算机程序,所述计算机程序被所述处理器310执行时能够实现如图1所示的虚拟现实场景渲染的方法步骤。存储器320和处理器310之间通过内部总线330通讯连接,在本发明的一个实施例中,存储器320存储的是虚拟现实场景渲染的计算机程序321。
在不同的实施例中,存储器320可以是内存或者非易失性存储器。其中非易失性存储器可以是:存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等),或者类似的存储介质,或者它们的组合。内存可以是:RAM(RadomAccess Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存。进一步,非易失性存储器和内存作为机器可读存储介质,其上可存储由处理器310执行的虚拟现实场景渲染的计算机程序321。
需要说明的是,本实施例中请求保护的图像处理器300的工作过程与图1所示的方法的各实施例的实现步骤对应相同,相同的部分不再赘述。
实施例四
图5是本发明一个实施例的一种头戴显示设备的结构示意图,如图5所示,所述头戴显示设备400包括图3所述的图像处理器200或者如图4所示的图像处理器300。
需要说明的是,本实施例中请求保护的图像处理器200或者图像处理器300的工作过程与图1所示的方法的各实施例的实现步骤对应相同,相同的部分不再赘述。
综上所述,本发明的技术方案通过将畸变数据保存在图像处理器的寄存器中,在图像处理器将待渲染的虚拟现实场景转换为二维图像的过程中,根据畸变数据对待渲染的虚拟现实场景进行畸变处理,进而直接从图像处理器渲染出畸变处理后的二维图像到屏幕上,实现在硬件层直接输出带畸变的二维图像,从而与现有技术中需要将三维场景在硬件层渲染成二维图像后再在软件层对二维图像进行畸变处理后投屏相比,省略了软件层的操作,进而减少了软硬件的交互,降低了延迟时间,提升了用户体验。
以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种虚拟现实场景渲染方法,其特征在于,所述方法包括:
图像处理器接收畸变数据,并将所述畸变数据保存在图像处理器的寄存器中;
所述图像处理器在将待渲染的虚拟现实场景转换为二维图像的过程中,根据所述畸变数据对所述待渲染的虚拟现实场景进行畸变处理,将畸变处理后的二维图像渲染到屏幕上。
2.如权利要求1所述的方法,其特征在于,所述图像处理器在将待渲染的虚拟现实场景转换为二维图像的过程中,根据所述畸变数据对所述待渲染的虚拟现实场景进行畸变处理,将畸变处理后的二维图像渲染到屏幕上包括:
所述图像处理器通过转换矩阵对待渲染的虚拟现实场景进行转换处理获取第一数据;
所述图像处理器根据所述畸变数据对所述第一数据进行畸变处理获取第二数据;
所述图像处理器根据投影矩阵将所述第二数据渲染到屏幕上。
3.如权利要求2所述的方法,其特征在于,所述图像处理器根据所述畸变数据对所述第一数据进行畸变处理获取第二数据包括:
所述图像处理器根据所述畸变数据对第一数据进行流水线畸变处理,获取第二数据。
4.如权利要求1-3所述的方法,其特征在于,所述畸变数据包括与光学镜片相匹配的桶形畸变算法公式、畸变公式参数、色彩矫正算法公式和色彩矫正公式参数。
5.一种图像处理器,其特征在于,所述图像处理器包括:
接收单元,用于接收畸变数据,并将所述畸变数据保存在图像处理器的寄存器中;
渲染单元,用于在将待渲染的虚拟现实场景转换为二维图像的过程中,根据所述畸变数据对所述待渲染的虚拟现实场景进行畸变处理,将畸变处理后的二维图像渲染到屏幕上。
6.如权利要求5所述的装置,其特征在于,所述渲染单元包括:
转换模块,用于通过转换矩阵对待渲染的虚拟现实场景进行转换处理获取第一数据;
畸变模块,用于根据所述畸变数据对所述第一数据进行畸变处理获取第二数据;
投影模块,用于根据投影矩阵将所述第二数据渲染到屏幕上。
7.如权利要求6所述的装置,其特征在于,所述畸变模块,具体用于根据所述畸变数据对第一数据进行流水线畸变处理,获取第二数据。
8.如权利要求5-7任意一项所述的装置,其特征在于,所述畸变数据包括与光学镜片相匹配的桶形畸变算法公式、畸变公式参数、色彩矫正算法公式和色彩矫正公式参数。
9.一种图像处理器,其特征在于,所述装置包括存储器和处理器,所述存储器存储有能够被所述处理器执行的计算机程序,所述计算机程序被所述处理器执行时能够实现权利要求1-4任意一项所述的方法步骤。
10.一种头戴显示设备,其特征在于,所述头戴显示设备包括如权利要求5-8任一项所述的图像处理器或者如权利要求9所述的图像处理器。
CN201710791336.8A 2017-09-05 2017-09-05 一种虚拟现实场景渲染方法、图像处理器和头戴显示设备 Pending CN107680047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710791336.8A CN107680047A (zh) 2017-09-05 2017-09-05 一种虚拟现实场景渲染方法、图像处理器和头戴显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710791336.8A CN107680047A (zh) 2017-09-05 2017-09-05 一种虚拟现实场景渲染方法、图像处理器和头戴显示设备

Publications (1)

Publication Number Publication Date
CN107680047A true CN107680047A (zh) 2018-02-09

Family

ID=61134713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710791336.8A Pending CN107680047A (zh) 2017-09-05 2017-09-05 一种虚拟现实场景渲染方法、图像处理器和头戴显示设备

Country Status (1)

Country Link
CN (1) CN107680047A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109725730A (zh) * 2019-01-02 2019-05-07 京东方科技集团股份有限公司 头戴显示设备及其驱动方法、显示系统及其驱动方法
CN110211543A (zh) * 2019-07-10 2019-09-06 京东方科技集团股份有限公司 局部背光调节方法和装置、虚拟现实系统
CN110335200A (zh) * 2018-03-29 2019-10-15 腾讯科技(深圳)有限公司 一种虚拟现实反畸变方法、装置以及相关设备
CN111294580A (zh) * 2020-03-12 2020-06-16 佳都新太科技股份有限公司 基于gpu的摄像头视频投影方法、装置、设备及存储介质
CN112785530A (zh) * 2021-02-05 2021-05-11 广东九联科技股份有限公司 用于虚拟现实的图像渲染方法、装置、设备及vr设备
CN113544568A (zh) * 2019-03-08 2021-10-22 脸谱科技有限责任公司 人工现实的延迟减少

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105739099A (zh) * 2016-04-27 2016-07-06 努比亚技术有限公司 虚拟现实设备、显示设备及图像调整方法
CN106204704A (zh) * 2016-06-29 2016-12-07 乐视控股(北京)有限公司 虚拟现实中三维场景的渲染方法和装置
US20170124928A1 (en) * 2015-11-04 2017-05-04 Magic Leap, Inc. Dynamic display calibration based on eye-tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124928A1 (en) * 2015-11-04 2017-05-04 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
CN105739099A (zh) * 2016-04-27 2016-07-06 努比亚技术有限公司 虚拟现实设备、显示设备及图像调整方法
CN106204704A (zh) * 2016-06-29 2016-12-07 乐视控股(北京)有限公司 虚拟现实中三维场景的渲染方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
易思蓉等著: "《铁路线路BIM与数字化选线技术》", 30 June 2014 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335200A (zh) * 2018-03-29 2019-10-15 腾讯科技(深圳)有限公司 一种虚拟现实反畸变方法、装置以及相关设备
CN109725730A (zh) * 2019-01-02 2019-05-07 京东方科技集团股份有限公司 头戴显示设备及其驱动方法、显示系统及其驱动方法
US11275248B2 (en) 2019-01-02 2022-03-15 Beijing Boe Optoelectronics Technology Co., Ltd. Head mounted display apparatus, virtual reality display system and driving method thereof
CN113544568A (zh) * 2019-03-08 2021-10-22 脸谱科技有限责任公司 人工现实的延迟减少
CN113544568B (zh) * 2019-03-08 2023-04-25 元平台技术有限公司 人工现实的延迟减少
CN110211543A (zh) * 2019-07-10 2019-09-06 京东方科技集团股份有限公司 局部背光调节方法和装置、虚拟现实系统
CN111294580A (zh) * 2020-03-12 2020-06-16 佳都新太科技股份有限公司 基于gpu的摄像头视频投影方法、装置、设备及存储介质
CN112785530A (zh) * 2021-02-05 2021-05-11 广东九联科技股份有限公司 用于虚拟现实的图像渲染方法、装置、设备及vr设备
CN112785530B (zh) * 2021-02-05 2024-05-24 广东九联科技股份有限公司 用于虚拟现实的图像渲染方法、装置、设备及vr设备

Similar Documents

Publication Publication Date Title
CN107680047A (zh) 一种虚拟现实场景渲染方法、图像处理器和头戴显示设备
US10878612B2 (en) Facial image replacement using 3-dimensional modelling techniques
US9466142B2 (en) Facial movement based avatar animation
CN1222911C (zh) 图像处理装置和方法
CN109147017A (zh) 动态图像生成方法、装置、设备及存储介质
US8054316B2 (en) Picture processing using a hybrid system configuration
US20140104450A1 (en) System and method for optimizing image quality in a digital camera
US20190073819A1 (en) Stereoscopic rendering using vertix shader instancing
CN106575433A (zh) 对抗色差的畸变网格
US20110205236A1 (en) Image processing apparatus and storage medium having stored therein an image processing program
CN108463823A (zh) 一种用户头发模型的重建方法、装置及终端
CN106600521A (zh) 一种图像处理方法及终端设备
EP3619677A1 (en) Methods and systems for multistage post-rendering image transformation
WO2008155523A2 (en) Method and apparatus for compressing and decompressing data
Peng et al. Bokehme: When neural rendering meets classical rendering
CN110211069A (zh) 一种图像去噪模型及训练方法、系统、设备、计算机介质
CN102595023B (zh) 移动终端及其图像处理方法
JP2019531553A (ja) Ihc画像解析用の自動化された核の面積/数の推定
CN107213638A (zh) 一种3d游戏骨骼处理系统及其处理方法
CN107657654A (zh) 一种虚拟现实场景渲染方法、装置和头戴显示设备
CN102572219B (zh) 移动终端及其图像处理方法
CN115797176A (zh) 一种图像超分辨率重建方法
CN108629750A (zh) 一种夜间去雾方法、终端设备及存储介质
CN103685858A (zh) 视频实时处理的方法及设备
CN106204455A (zh) 一种带有多重滤镜效果的图像处理方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination