CN108665521B - 图像渲染方法、装置、系统、计算机可读存储介质及设备 - Google Patents
图像渲染方法、装置、系统、计算机可读存储介质及设备 Download PDFInfo
- Publication number
- CN108665521B CN108665521B CN201810466112.4A CN201810466112A CN108665521B CN 108665521 B CN108665521 B CN 108665521B CN 201810466112 A CN201810466112 A CN 201810466112A CN 108665521 B CN108665521 B CN 108665521B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution sampling
- compression
- resolution
- sampling area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000005070 sampling Methods 0.000 claims abstract description 210
- 238000007906 compression Methods 0.000 claims abstract description 71
- 230000006835 compression Effects 0.000 claims abstract description 71
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 abstract description 20
- 238000004364 calculation method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013144 data compression Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4092—Image resolution transcoding, e.g. client/server architecture
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Abstract
本发明公开一种图像渲染方法、装置、系统、计算机可读存储介质及设备。该方法的一具体实施方式包括:根据人眼在虚拟现实设备的显示屏上的注视点位置,得到注视点对应在待显示在显示屏上的图像上的位置;加载渲染模型;根据注视点对应在待显示在显示屏上的图像上的位置,调整渲染模型中原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数;根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样;将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接,得到待传输至虚拟现实设备的图像。该实现方式可节约图像传输过程中的传输带宽。
Description
技术领域
本发明涉及显示技术领域。更具体地,涉及一种面向虚拟现实的图像渲染方法、装置、系统、计算机可读存储介质及设备。
背景技术
目前,对于显示清晰度,尤其是对于虚拟现实(VR)/增强现实(AR)的显示清晰度要求越来越高,计算机设备向显示设备输出图像的信息量也越来越大。一个高清分辨率渲染的场景,对软件计算速度、计算资源的消耗、图像数据传输数据量都有很大的要求。对于人眼而言,由于负责观察色彩和细节的视网膜上的视锥细胞浓度不同,只能接纳注视点中心的细节,任何超出人眼注视区5°以上的东西都会逐渐降低清晰度,所以计算人眼对应的高清区域大小并用高分辨率渲染该部分区域,对于其它区域进行低分辨率渲染,就可以节省较大的工作量。
公开号为CN107065197A的中国专利文献公开了一种面向VR眼镜的人眼跟踪远程渲染实时显示方法及系统,包括步骤:(1)人眼追踪感应器采集使用者当前人眼聚焦点二维坐标A(x,y),并发送给压缩数据传输系统的远程服务器端;(2)服务器端依据人眼聚焦点二维坐标A(x,y),按照人眼跟踪数据压缩传输方法,压缩在服务器端渲染的图像,并将压缩之后的图像数据发送给VR眼镜;(3)VR眼镜接收图像数据,之后按照人眼跟踪数据压缩传输方法解析图像数据并显示;(4)在下一帧的处理中,重复上述步骤。
随着显示技术的发展,上述通过对图像进行基于算法的压缩处理的方式由于实时性差、计算资源消耗大已不能够满足需求。在节约图像传输过程中的传输带宽时,如何提高图像压缩传输的实时性及计算效率成为一个亟待解决的问题。
因此,需要提供一种基于多分辨率渲染模型的面向虚拟现实的图像渲染方法、装置、系统、计算机可读存储介质及设备。
发明内容
本发明的目的在于提供一种基于多分辨率渲染模型的面向虚拟现实的图像渲染方法、装置、系统、计算机可读存储介质及设备。
为达到上述目的,本发明采用下述技术方案:
本发明第一方面提供了一种面向虚拟现实的图像渲染方法,包括:
根据人眼在虚拟现实设备的显示屏上的注视点位置,得到所述注视点对应在待显示在所述显示屏上的图像上的位置;
加载渲染模型,其中,所述渲染模型预设有原分辨率采样区域和压缩分辨率采样区域以及所述压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数;
根据所述注视点对应在待显示在所述显示屏上的图像上的位置,调整原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数;
根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样;
将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接,得到待传输至所述虚拟现实设备的图像。
本发明第一方面提供的面向虚拟现实的图像渲染方法通过调整渲染引擎中的渲染模型即可实现在渲染引擎中压缩图像,可节约图像传输过程中的传输带宽。且与现有的图通过对图像进行基于算法的压缩处理的方式相比,本发明第一方面提供的图像渲染方法实时性高、计算速度快、计算资源消耗小、计算效率高。
优选地,所述压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数根据压缩分辨率采样区域与原分辨率采样区域的位置关系预设及调整。其中,原分辨率采样区域即对应注视点对应在图像上的位置的区域,将其他的用户未关注区域设为压缩分辨率采样区域。为了保证虚拟相机对图像的原分辨率采样区域进行原分辨率采样,在预设及调整各压缩分辨率采样区域的横向和纵向的分辨率压缩倍数时,需要考虑各压缩分辨率采样区域与原分辨率采样区域的位置关系,以实现正常的局部图像分辨率压缩,并保证压缩后的整体图像的形状与原图像相同(例如原图像为矩形图像,压缩后的图像也为矩形图像)。
优选地,所述原分辨率采样区域和所述压缩分辨率采样区域构成九宫格结构。其中,进一步优选的是原分辨率采样区域位于中间格。这样的规则便于调整原分辨率采样区域的中心点位置,及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数。另外,原分辨率采样区域与注视点的对应较精确。
优选地,调整原分辨率采样区域的中心点位置进一步包括:
判断所述原分辨率采样区域的中心点为注视点对应在图像上的位置时原分辨率采样区域是否超出图像边界:
若否,则调整所述原分辨率采样区域的中心点为注视点对应在图像上的位置;
若是,则调整所述原分辨率采样区域的中心点为在原分辨率采样区域不超出图像边界的情况下最接近注视点对应在图像上的位置的位置。
优选地,在所述根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样之前,该方法还包括:对所述待显示在所述显示屏上的图像进行反畸变处理得到反畸变图像;并且
所述根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样包括:根据调整后的渲染模型对反畸变图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样。
在应用于虚拟现实设备,特别是虚拟现实头戴显示设备时,由于虚拟现实设备的显示屏通常设有透镜,为了正常显示,需要对图像进行反畸变。通过在本发明第一方面提供的图像渲染方法中加入上述步骤,实现了将本发明第一方面提供的图像渲染方法应用于计算机装置向虚拟现实设备的图像传输。
优选地,该方法还包括:对所述虚拟现实设备接收的图像进行拉伸后在所述显示屏上显示。
本发明第二方面提供了一种面向虚拟现实的图像渲染装置,包括:注视点投影模块、调整模块、渲染引擎和拼接模块;
所述注视点投影模块,人眼在虚拟现实设备的显示屏上的注视点位置,得到所述注视点对应在待显示在所述显示屏上的图像上的位置;
所述渲染引擎,加载渲染模型,其中,所述渲染模型预设有原分辨率采样区域和压缩分辨率采样区域以及所述压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数;
所述调整模块,根据所述注视点对应在待显示在所述显示屏上的图像上的位置,调整原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数;
所述渲染引擎,根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样;
所述拼接模块,将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接,得到待传输至所述虚拟现实设备的图像。
本发明第三方面提供了一种面向虚拟现实的图像渲染系统,包括:虚拟现实设备和图像渲染装置;
图像渲染装置,包括:注视点投影模块、调整模块、渲染引擎和拼接模块;
所述注视点投影模块,人眼在虚拟现实设备的显示屏上的注视点位置,得到所述注视点对应在待显示在所述显示屏上的图像上的位置;
所述渲染引擎,加载渲染模型,其中,所述渲染模型预设有原分辨率采样区域和压缩分辨率采样区域以及所述压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数;
所述调整模块,根据所述注视点对应在待显示在所述显示屏上的图像上的位置,调整原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数;
所述渲染引擎,根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样;
所述拼接模块,将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接,得到待传输至所述虚拟现实设备的图像;
所述头戴显示设备,获取人眼在虚拟现实设备的显示屏上的注视点位置并接收所述图像渲染装置传输的图像。
本发明第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明第一方面提供的面向虚拟现实的图像渲染方法。
本发明第五方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现本发明第一方面提供的面向虚拟现实的图像渲染方法。
本发明的有益效果如下:
本发明所述技术方案可节约图像传输过程中的传输带宽。且与现有的图通过对图像进行基于算法的压缩处理的方式相比,实时性高、计算速度快、计算资源消耗小、计算效率高。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明;
图1示出本发明实施例提供的面向虚拟现实的图像渲染方法的流程图。
图2示出渲染过程的实现原理图。
图3示出执行本发明实施例提供的面向虚拟现实的图像渲染方法的过程中图像的变化图。
图4示出渲染模型的区域划分规则的示意图。
图5示出注视点位置不同时对应的对图像采样的示意图。
图6示出本发明实施例提供的面向虚拟现实的图像渲染装置的结构示意图。
图7示出本发明实施例提供的面向虚拟现实的图像渲染系统的示意图。
图8示出本发明实施例提供的计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本发明,下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解,下面所具体描述的内容是说明性的而非限制性的,不应以此限制本发明的保护范围。
如图1所示,本发明的一个实施例提供了一种面向虚拟现实的图像渲染方法,包括:
根据人眼在虚拟现实设备的显示屏上的注视点位置,得到注视点对应在待显示在显示屏上的图像上的位置;其中,获取注视点在显示屏上的位置可由显示屏所属虚拟现实设备通过相应的硬件或软件基于视线追踪技术实现;
加载渲染模型,其中,渲染模型预设有原分辨率采样区域和压缩分辨率采样区域以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数;
根据注视点对应在待显示在显示屏上的图像上的位置,调整原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数;
根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样;
将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接,得到待传输至虚拟现实设备的图像。
本实施例提供的面向虚拟现实的图像渲染方法通过调整渲染引擎中的渲染模型即可实现在渲染引擎中压缩图像,可节约图像传输过程中的传输带宽。且与现有的图通过对图像进行基于算法的压缩处理的方式相比,本发明第一方面提供的图像渲染方法实时性高、计算速度快、计算资源消耗小、计算效率高。
在本实施例的一些可选的实现方式中,压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数根据压缩分辨率采样区域与原分辨率采样区域的位置关系预设及调整。其中,原分辨率采样区域即对应注视点对应在图像上的位置的区域,将其他的用户未关注区域设为压缩分辨率采样区域。为了保证虚拟相机对图像的原分辨率采样区域进行原分辨率采样,在预设及调整各压缩分辨率采样区域的横向和纵向的分辨率压缩倍数时,需要考虑各压缩分辨率采样区域与原分辨率采样区域的位置关系,以实现正常的局部图像分辨率压缩,并保证压缩后的整体图像的形状与原图像相同(例如原图像为矩形图像,压缩后的图像也为矩形图像)。
在本实施例的一些可选的实现方式中,原分辨率采样区域和压缩分辨率采样区域构成九宫格结构。其中,进一步优选的是原分辨率采样区域位于中间格。这样的规则便于调整原分辨率采样区域的中心点位置,及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数。另外,原分辨率采样区域与注视点的对应较精确。
在本实施例的一些可选的实现方式中,调整原分辨率采样区域的中心点位置进一步包括:
判断原分辨率采样区域的中心点为注视点对应在图像上的位置时原分辨率采样区域是否超出图像边界:
若否,则调整原分辨率采样区域的中心点为注视点对应在图像上的位置;
若是,则调整原分辨率采样区域的中心点为在原分辨率采样区域不超出图像边界的情况下最接近注视点对应在图像上的位置的位置。
需要说明的是,在渲染模型的预设中,原分辨率采样区域的中心点位置对应于整体图像的中心点位置。当原分辨率采样区域的中心点位置随着注视点被调整偏离整体图像的中心点位置时,压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数会被随之调整。
在本实施例的一些可选的实现方式中,在根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样之前,本实施例提供的本实施例提供的面向虚拟现实的图像渲染方法还包括:对待显示在显示屏上的图像进行反畸变处理得到反畸变图像;并且
根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样包括:根据调整后的渲染模型对反畸变图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样。
在应用于虚拟现实设备,特别是虚拟现实头戴显示设备时,由于虚拟现实设备的显示屏通常设有透镜,为了正常显示,需要对图像进行反畸变。通过在本实施例提供的面向虚拟现实的图像渲染方法中加入上述步骤,实现了将该方法应用于计算机装置向虚拟现实设备的图像传输。
在本实施例的一些可选的实现方式中,本实施例提供的面向虚拟现实的图像渲染方法还包括:对虚拟现实设备接收的图像进行拉伸后在显示屏上显示。具体可为,利用虚拟现实设备通过集成电路(IC)接收的图像进行拉伸,之后在显示屏上显示。
下面代入一个具体的场景对本实施例提供的面向虚拟现实的图像渲染方法作进一步地说明。
在场景中,显示屏为VR/AR头戴显示设备的显示屏,图像传输过程在计算机设备与VR/AR头戴显示设备之间发生。
由于传输带宽的限制,计算机设备直接向VR/AR头戴显示设备传输4K的图像对于硬件的压力太大,无法完成高分辨率高刷新率的实时显示。根据人眼观察的清晰程度和人眼追踪技术的实现,可以实现对4K的图像进行非高清区域画质压缩实现传输带宽的节省。
如图2所示,对于一个高分辨的原图(左图),将其按照九宫格的形式分为九个区域,其中区域5为注视点对应的原分辨率采样区域(高清区域)。对其他八个区域分别进行处理:区域1、3、7、9横向和纵向分辨率同时压缩4倍;区域2、8横向分辨率不变,纵向压缩4倍;区域4、6纵向分辨率不变,横向压缩4倍。原图像分辨率大小为4320*4800,压缩后的图像分辨率大小为2160*2400,相比于原图,压缩后的图像横向及纵向分辨率都是原始分辨率的50%,这样再传输的过程中可以节省75%的带宽。当注视点位置发生改变的时候,对原分辨率采样区域的范围及其他八个区域的范围和大小(此处的大小对应的是分辨率)进行相应的调整,就可以完成正确的压缩输出结果。
如图3所示,执行本发明实施例提供的面向虚拟现实的图像渲染方法的过程中:Step1为对图像进行整体采样,此时图像分辨率为4320*4800。Step2为对上一步获得的图像进行反畸变处理,图像分辨率同样为4320*4800。Step3为对反畸变结果进行重采样,Step3中上图为对高清区域进行原分辨率(高清分辨率)采样,采样后的分辨率为1440*1600,Step3中下图为对整个图像进行压缩分辨率(低分辨率)采样,采样后的分辨率为1080*1200,需要说明的是,此处对整个图像进行压缩分辨率(低分辨率)采样而不是对压缩分辨率采样区域进行采样的原因是便于实现和说明,实际上仅对对压缩分辨率采样区域进行采样即可。Step4为进行高清区域及非高清区域拼接后的图像,图像分辨率为2160*2400。Step5为VR/AR头戴显示设备进行硬件拉伸后的理想效果,图像分辨率为4320*4800。
如图4所示,用建模软件创建的(多分辨率)渲染模型,按照注视点在中心的情况建立模型,然后调整每个区域的中心位置(为了方便模型形状的变化),需要说明的是,此处的每个区域的中心位置为压缩式位置不变的点。区域1的中心位置修改为区域1的左上角,当模型开始变化的,区域1仅修改模型的大小,而不需要修改其中心位置。区域3、7和9也做类似的处理,将中心位置分别修改为其区域的右上角、左下角和右下角。区域2、8分别将中心位置置于区域的正上、下方边缘,模型变化的时候只有横坐标需要进行修改而纵坐标表示不变。区域4、6分别将中心点置于区域的正左、右方边缘,模型变化的时候修改纵坐标而横坐标保持不变。区域5中心位置仍在区域正中心,模型变化的时候区域5大小不变,仅修改横纵坐标。
如图5所示,将注视点可以落到的位置投影到(-1,-1)到(1,1)的二维坐标系中,该图中的四个情况所对应的注视点位置分别为(0,0)、(0.5,0.5)、(1,1)(区域1、2、3、6、9为空)、(1,0)(区域3、6、9为空)。当注视点位置发生改变的时候,区域1、3、7、9根据注视点位置修改其区域大小和对应的范围,无须修改其中心位置;区域2、8根据注视点位置修改其中心点的横坐标,纵方向的区域大小和对应的范围;区域4、6根据注视点位置修改其中心点的纵坐标,横方向的区域大小和对应的范围;区域5根据注视点位置修改其中心点的横纵坐标,同时调整虚拟相机的位置,从而获得高清区的反畸变图像。其中区域1的计算结果如下:
设注视点位置坐标为(x,y)(x∈[-1,1],y∈[-1,1]),
则区域大小为localScale=(x+1,1-y,1),
其它区域也通过相似的方式计算出区域大小、中心位置以及范围。当注视点位置发生改变的时候,x,y值发生改变,对应模型发生改变,从而生成匹配当前注视点位置的画面。
如图6所示,本发明的另一个实施例提供了一种面向虚拟现实的图像渲染装置,包括:注视点投影模块、调整模块、渲染引擎和拼接模块;
注视点投影模块,人眼在虚拟现实设备的显示屏上的注视点位置,得到注视点对应在待显示在显示屏上的图像上的位置;
渲染引擎,加载渲染模型,其中,渲染模型预设有原分辨率采样区域和压缩分辨率采样区域以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数;
调整模块,根据注视点对应在待显示在显示屏上的图像上的位置,调整原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数;
渲染引擎,根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样;
拼接模块,将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接,得到待传输至虚拟现实设备的图像。
需要说明的是,本实施例提供的面向虚拟现实的图像渲染装置的原理及工作流程与上述面向虚拟现实的图像渲染方法相似,相关之处可以参照上述说明,在此不再赘述。
如图7所示,本发明的另一个实施例提供了一种面向虚拟现实的图像渲染系统,包括:头戴显示设备和图像渲染装置;
图像渲染装置,包括:注视点投影模块、调整模块、渲染引擎和拼接模块;
注视点投影模块,人眼在虚拟现实设备的显示屏上的注视点位置,得到注视点对应在待显示在显示屏上的图像上的位置;
渲染引擎,加载渲染模型,其中,渲染模型预设有原分辨率采样区域和压缩分辨率采样区域以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数;
调整模块,根据注视点对应在待显示在显示屏上的图像上的位置,调整原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数;
渲染引擎,根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样;
拼接模块,将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接,得到待传输至虚拟现实设备的图像;
头戴显示设备,获取人眼在虚拟现实设备的显示屏上的注视点位置并接收图像渲染装置传输的图像。
需要说明的是,本实施例提供的面向虚拟现实的图像渲染系统的原理及工作流程与上述面向虚拟现实的图像渲染方法相似,相关之处可以参照上述说明,在此不再赘述。
本发明的另一个实施例提供了一种计算机设备。如图8所示,适于用来实现本实施例提供的计算机设备,包括中央处理单元(CPU),其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中,还存储有计算机系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线被此相连。输入/输入(I/O)接口也连接至总线。
以下部件连接至I/O接口:包括键盘、鼠标等的输入部分;包括诸如液晶显示器(LCD)等以及扬声器等的输出部分;包括硬盘等的存储部分;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器上,以便于从其上读出的计算机程序根据需要被安装入存储部分。
特别地,根据本实施例,上文流程图描述的过程可以被实现为计算机软件程序。例如,本实施例包括一种计算机程序产品,其包括有形地包含在计算机可读介质上的计算机程序,上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。
附图中的流程图和示意图,图示了本实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或示意图中的每个方框可以代表一个模块、程序段或代码的一部分,上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,示意图和/或流程图中的每个方框、以及示意和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包注视点投影模块、调整模块、渲染引擎和拼接模块。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。例如,注视点投影模块还可以被描述为“图像注视点获取模块”。
作为另一方面,本实施例还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质,也可以是单独存在,未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序,当上述一个或者多个程序被一个设备执行时,使得上述设备:
根据人眼在虚拟现实设备的显示屏上的注视点位置,得到注视点对应在待显示在显示屏上的图像上的位置;其中,获取注视点在显示屏上的位置可由显示屏所属虚拟现实设备通过相应的硬件或软件基于视线追踪技术实现;
加载渲染模型,其中,渲染模型预设有原分辨率采样区域和压缩分辨率采样区域以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数;
根据注视点对应在待显示在显示屏上的图像上的位置,调整原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数;
根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样;
将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接,得到待传输至虚拟现实设备的图像。
在本发明的描述中,需要说明的是,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
还需要说明的是,在本发明的描述中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定,对于本领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (9)
1.一种面向虚拟现实的图像渲染方法,其特征在于,包括:
根据人眼在虚拟现实设备的显示屏上的注视点位置,得到所述注视点对应在待显示在所述显示屏上的图像上的位置;
加载渲染模型,其中,所述渲染模型预设有原分辨率采样区域和多个压缩分辨率采样区域以及所述多个压缩分辨率采样区域各自的横向和/或纵向的分辨率压缩倍数,其中,各压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数根据各压缩分辨率采样区域与原分辨率采样区域的位置关系预设;
根据所述注视点对应在待显示在所述显示屏上的图像上的位置,调整原分辨率采样区域的中心点位置以及各压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数,其中,各压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数根据各压缩分辨率采样区域与原分辨率采样区域的位置关系调整;
根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对各压缩分辨率采样区域进行压缩分辨率采样;
将采样后的原分辨率采样区域和各压缩分辨率采样区域进行拼接,得到待传输至所述虚拟现实设备的图像。
2.根据权利要求1所述的方法,其特征在于,所述原分辨率采样区域和所述多个压缩分辨率采样区域构成九宫格结构。
3.根据权利要求1所述的方法,其特征在于,调整原分辨率采样区域的中心点位置进一步包括:
判断所述原分辨率采样区域的中心点为注视点对应在图像上的位置时原分辨率采样区域是否超出图像边界:
若否,则调整所述原分辨率采样区域的中心点为注视点对应在图像上的位置;
若是,则调整所述原分辨率采样区域的中心点为在原分辨率采样区域不超出图像边界的情况下最接近注视点对应在图像上的位置的位置。
4.根据权利要求1所述的方法,其特征在于,
在所述根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样之前,该方法还包括:对所述待显示在所述显示屏上的图像进行反畸变处理得到反畸变图像;并且
所述根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样包括:根据调整后的渲染模型对反畸变图像的原分辨率采样区域进行原分辨率采样并对各压缩分辨率采样区域进行压缩分辨率采样。
5.根据权利要求1所述的方法,其特征在于,该方法还包括:对所述虚拟现实设备接收的图像进行拉伸后在所述显示屏上显示。
6.一种面向虚拟现实的图像渲染装置,其特征在于,包括:注视点投影模块、调整模块、渲染引擎和拼接模块;
所述注视点投影模块,人眼在虚拟现实设备的显示屏上的注视点位置,得到所述注视点对应在待显示在所述显示屏上的图像上的位置;
所述渲染引擎,加载渲染模型,其中,所述渲染模型预设有原分辨率采样区域和多个压缩分辨率采样区域以及所述多个压缩分辨率采样区域各自的横向和/或纵向的分辨率压缩倍数,各压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数根据各压缩分辨率采样区域与原分辨率采样区域的位置关系预设;
所述调整模块,根据所述注视点对应在待显示在所述显示屏上的图像上的位置,调整原分辨率采样区域的中心点位置以及各压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数,其中,各压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数根据各压缩分辨率采样区域与原分辨率采样区域的位置关系调整;
所述渲染引擎,根据调整后的渲染模型,对图像的原分辨率采样区域进行原分辨率采样并对各压缩分辨率采样区域进行压缩分辨率采样;
所述拼接模块,将采样后的原分辨率采样区域和各压缩分辨率采样区域进行拼接,得到待传输至所述虚拟现实设备的图像。
7.一种面向虚拟现实的图像渲染系统,其特征在于,包括:虚拟现实设备和如权利要求6所述的图像渲染装置;
头戴显示设备,获取人眼在虚拟现实设备的显示屏上的注视点位置并接收所述图像渲染装置传输的图像。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5中任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810466112.4A CN108665521B (zh) | 2018-05-16 | 2018-05-16 | 图像渲染方法、装置、系统、计算机可读存储介质及设备 |
PCT/CN2019/080728 WO2019218783A1 (zh) | 2018-05-16 | 2019-04-01 | 图像渲染方法、装置、系统、存储介质、图像显示方法、计算机设备 |
US16/607,224 US11392197B2 (en) | 2018-05-16 | 2019-04-01 | Image rendering method, device, system, storage medium, image display method and computer device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810466112.4A CN108665521B (zh) | 2018-05-16 | 2018-05-16 | 图像渲染方法、装置、系统、计算机可读存储介质及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108665521A CN108665521A (zh) | 2018-10-16 |
CN108665521B true CN108665521B (zh) | 2020-06-02 |
Family
ID=63779748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810466112.4A Active CN108665521B (zh) | 2018-05-16 | 2018-05-16 | 图像渲染方法、装置、系统、计算机可读存储介质及设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11392197B2 (zh) |
CN (1) | CN108665521B (zh) |
WO (1) | WO2019218783A1 (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108665521B (zh) | 2018-05-16 | 2020-06-02 | 京东方科技集团股份有限公司 | 图像渲染方法、装置、系统、计算机可读存储介质及设备 |
CN109256042A (zh) * | 2018-11-22 | 2019-01-22 | 京东方科技集团股份有限公司 | 显示面板、电子设备及人眼追踪方法 |
CN109509150A (zh) * | 2018-11-23 | 2019-03-22 | 京东方科技集团股份有限公司 | 图像处理方法和装置、显示装置、虚拟现实显示系统 |
CN109727316B (zh) * | 2019-01-04 | 2024-02-02 | 京东方科技集团股份有限公司 | 虚拟现实图像的处理方法及其系统 |
CN109741289B (zh) * | 2019-01-25 | 2021-12-21 | 京东方科技集团股份有限公司 | 一种图像融合方法和vr设备 |
CN109886876A (zh) * | 2019-02-25 | 2019-06-14 | 昀光微电子(上海)有限公司 | 一种基于人眼视觉特征的近眼显示方法 |
CN110097622B (zh) * | 2019-04-23 | 2022-02-25 | 北京字节跳动网络技术有限公司 | 渲染图像的方法、装置、电子设备和计算机可读存储介质 |
CN111131805A (zh) * | 2019-12-31 | 2020-05-08 | 歌尔股份有限公司 | 图像处理方法、装置和可读存储介质 |
CN111258467A (zh) * | 2020-01-07 | 2020-06-09 | 腾讯科技(深圳)有限公司 | 界面显示方法、装置、计算机设备及存储介质 |
CN111290581B (zh) * | 2020-02-21 | 2024-04-16 | 京东方科技集团股份有限公司 | 虚拟现实显示方法、显示装置及计算机可读介质 |
CN111553972B (zh) * | 2020-04-27 | 2023-06-30 | 北京百度网讯科技有限公司 | 用于渲染增强现实数据的方法、装置、设备及存储介质 |
CN111556305B (zh) | 2020-05-20 | 2022-04-15 | 京东方科技集团股份有限公司 | 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质 |
GB2595872B (en) * | 2020-06-09 | 2023-09-20 | Sony Interactive Entertainment Inc | Gaze tracking apparatus and systems |
CN114071150B (zh) * | 2020-07-31 | 2023-06-16 | 京东方科技集团股份有限公司 | 图像压缩方法及装置、图像显示方法及装置和介质 |
CN111930233B (zh) * | 2020-08-05 | 2023-07-21 | 聚好看科技股份有限公司 | 一种全景视频图像显示方法及显示设备 |
CN112085828B (zh) * | 2020-09-18 | 2024-04-26 | 深圳市欢太科技有限公司 | 图像处理方法及装置、云真机系统、存储介质和电子设备 |
CN112272294B (zh) * | 2020-09-21 | 2023-01-06 | 苏州唐古光电科技有限公司 | 一种显示图像压缩方法、装置、设备及计算机存储介质 |
CN112433607B (zh) * | 2020-11-17 | 2022-09-23 | 歌尔光学科技有限公司 | 一种图像显示方法、装置、电子设备及存储介质 |
CN112578564B (zh) * | 2020-12-15 | 2023-04-11 | 京东方科技集团股份有限公司 | 一种虚拟现实显示设备及显示方法 |
CN112804504B (zh) * | 2020-12-31 | 2022-10-04 | 成都极米科技股份有限公司 | 画质调整方法、装置、投影仪及计算机可读存储介质 |
CN112887646B (zh) * | 2021-01-22 | 2023-05-26 | 京东方科技集团股份有限公司 | 图像处理方法及装置、扩展现实系统、计算机设备及介质 |
CN115604528A (zh) * | 2021-07-09 | 2023-01-13 | 影石创新科技股份有限公司(Cn) | 鱼眼图像压缩、鱼眼视频流压缩以及全景视频生成方法 |
CN116847106A (zh) * | 2022-03-25 | 2023-10-03 | 北京字跳网络技术有限公司 | 图像压缩传输方法、装置、电子设备及存储介质 |
CN114972608B (zh) * | 2022-07-29 | 2022-11-08 | 成都航空职业技术学院 | 一种渲染动漫人物的方法 |
CN117078868B (zh) * | 2023-10-17 | 2023-12-15 | 北京太极信息系统技术有限公司 | 基于信创软硬件的虚拟现实引擎及其建模和渲染方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107317987A (zh) * | 2017-08-14 | 2017-11-03 | 歌尔股份有限公司 | 虚拟现实的显示数据压缩方法和设备、系统 |
CN107516335A (zh) * | 2017-08-14 | 2017-12-26 | 歌尔股份有限公司 | 虚拟现实的图形渲染方法和装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8493390B2 (en) * | 2010-12-08 | 2013-07-23 | Sony Computer Entertainment America, Inc. | Adaptive displays using gaze tracking |
US11010956B2 (en) * | 2015-12-09 | 2021-05-18 | Imagination Technologies Limited | Foveated rendering |
US9965899B2 (en) * | 2016-04-28 | 2018-05-08 | Verizon Patent And Licensing Inc. | Methods and systems for minimizing pixel data transmission in a network-based virtual reality media delivery configuration |
US11551602B2 (en) * | 2016-09-01 | 2023-01-10 | Innovega Inc. | Non-uniform resolution, large field-of-view headworn display |
CN107065197B (zh) | 2017-06-20 | 2020-02-18 | 合肥工业大学 | 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统 |
CN108076384B (zh) * | 2018-01-02 | 2019-12-06 | 京东方科技集团股份有限公司 | 一种基于虚拟现实的图像处理方法、装置、设备和介质 |
CN108665521B (zh) * | 2018-05-16 | 2020-06-02 | 京东方科技集团股份有限公司 | 图像渲染方法、装置、系统、计算机可读存储介质及设备 |
-
2018
- 2018-05-16 CN CN201810466112.4A patent/CN108665521B/zh active Active
-
2019
- 2019-04-01 US US16/607,224 patent/US11392197B2/en active Active
- 2019-04-01 WO PCT/CN2019/080728 patent/WO2019218783A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107317987A (zh) * | 2017-08-14 | 2017-11-03 | 歌尔股份有限公司 | 虚拟现实的显示数据压缩方法和设备、系统 |
CN107516335A (zh) * | 2017-08-14 | 2017-12-26 | 歌尔股份有限公司 | 虚拟现实的图形渲染方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108665521A (zh) | 2018-10-16 |
WO2019218783A1 (zh) | 2019-11-21 |
US20210333870A1 (en) | 2021-10-28 |
US11392197B2 (en) | 2022-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108665521B (zh) | 图像渲染方法、装置、系统、计算机可读存储介质及设备 | |
CN102741879B (zh) | 由单眼图像产生深度图的方法及其系统 | |
CN108287678B (zh) | 一种基于虚拟现实的图像处理方法、装置、设备和介质 | |
US11373337B2 (en) | Image processing method of virtual reality and apparatus thereof | |
CN109741289B (zh) | 一种图像融合方法和vr设备 | |
CN102186067B (zh) | 一种图像帧的传输方法和装置、显示方法和系统 | |
US20200143516A1 (en) | Data processing systems | |
CN109817170B (zh) | 像素补偿方法、装置和终端设备 | |
CN105850114A (zh) | 用于图像的逆色调映射的方法 | |
CN111290581B (zh) | 虚拟现实显示方法、显示装置及计算机可读介质 | |
CN109345490B (zh) | 一种移动播放端实时视频画质增强方法及系统 | |
US11127126B2 (en) | Image processing method, image processing device, image processing system and medium | |
CN111757090A (zh) | 基于注视点信息的实时vr图像过滤方法、系统和存储介质 | |
US20220351701A1 (en) | Method and device for adjusting image quality, and readable storage medium | |
US8295647B2 (en) | Compressibility-aware media retargeting with structure preserving | |
EP4178216A1 (en) | Video image display method and apparatus, and multimedia device and storage medium | |
CN109166178B (zh) | 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统 | |
DE60004323T2 (de) | Verfahren und vorrichtung zum streck-blocktransfer (stretch blitting) mit einem 3d pipeline prozessor | |
CN112272294B (zh) | 一种显示图像压缩方法、装置、设备及计算机存储介质 | |
CN111696034B (zh) | 图像处理方法、装置及电子设备 | |
US11917167B2 (en) | Image compression method and apparatus, image display method and apparatus, and medium | |
US10152818B2 (en) | Techniques for stereo three dimensional image mapping | |
CN112468756B (zh) | 一种视频信号无失帧显示方法及显示设备 | |
CN113192169B (zh) | 动态调整LOD Scale的图像显示优化方法及装置 | |
Yan et al. | P‐4.3: An Adaptive Foveal Image Transmission Algorithm Based on Human Eye Gaze Point |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |