CN109242943B - 一种图像渲染方法、装置及图像处理设备、存储介质 - Google Patents

一种图像渲染方法、装置及图像处理设备、存储介质 Download PDF

Info

Publication number
CN109242943B
CN109242943B CN201810954469.7A CN201810954469A CN109242943B CN 109242943 B CN109242943 B CN 109242943B CN 201810954469 A CN201810954469 A CN 201810954469A CN 109242943 B CN109242943 B CN 109242943B
Authority
CN
China
Prior art keywords
image
rendering
target
sub
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810954469.7A
Other languages
English (en)
Other versions
CN109242943A (zh
Inventor
趙瑞祥
李懐哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810954469.7A priority Critical patent/CN109242943B/zh
Publication of CN109242943A publication Critical patent/CN109242943A/zh
Priority to EP19850930.9A priority patent/EP3757944A4/en
Priority to PCT/CN2019/101802 priority patent/WO2020038407A1/zh
Priority to US17/066,707 priority patent/US11295528B2/en
Application granted granted Critical
Publication of CN109242943B publication Critical patent/CN109242943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Abstract

本发明实施例公开了一种图像渲染方法、装置及图像处理设备、存储介质。其中方法包括：获取到当前场景内的初始图像之后，确定初始图像上的第一区域和第二区域，进一步的，基于第一渲染规则对第一区域的图像数据进行渲染得到第一子图像，并基于第二渲染规则对第二区域的图像数据进行渲染得到第二子图像，最后根据第一子图像和第二子图像生成目标展示图像。采用本发明实施例，可分区域进行针对性的图像渲染。

Description

一种图像渲染方法、装置及图像处理设备、存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像渲染方法、装置及图像处理设备、存储介质。
背景技术
在当今的信息时代，随着电子技术和计算机技术的快速发展，虚拟现实(VirtualReality，VR)作为视觉仿真与计算机图像等多种技术的集合被应用在越来越多的行业中，比如VR游戏行业，医疗行业以及教育行业等。
目前对VR影像的渲染过程中，为了保证用户不产生眩晕不舒服的感觉，必须保持渲染过程中影像刷新率，例如在一些场景中需要不低于90fps甚至更高的刷新率，如此一来导致VR视觉成像的质量受到运算效率的限制而减低，降低用户体验。因此，在VR领域，急需一种渲染方法以解决影像质量受到运算效率影响的问题。
发明内容
本发明实施例提供一种图像渲染方法、装置及图像处理设备、存储介质，可分区域进行针对性的图像渲染。
一方面，本发明实施例提供了一种图像渲染方法，包括：
获取当前场景的初始图像，并确定所述初始图像上的第一区域和第二区域；
基于第一渲染规则对所述初始图像中所述第一区域的图像数据进行渲染，得到第一子图像；
基于第二渲染规则对所述初始图像中所述第二区域的图像数据进行渲染，得到第二子图像；
根据所述第一子图像和所述第二子图像生成目标展示图像；
其中，所述第一渲染规则和所述第二渲染规则不相同。
另一方面，本发明实施例还提供了一种图像渲染装置，包括：
获取单元，用于获取当前场景的初始图像；
确定单元，用于确定所述初始图像上的第一区域和第二区域；
渲染单元，用于基于第一渲染规则对所述初始图像中所述第一区域的图像数据进行渲染，得到第一子图像；
所述渲染单元，还用于基于第二渲染规则对所述初始图像中所述第二区域的图像数据进行渲染，得到第二子图像；
生成单元，用于根据所述第一子图像和所述第二子图像生成目标展示图像；
其中，所述第一渲染规则和所述第二渲染规则不相同。
再一方面，本发明实施例提供了一种图像处理设备，包括：包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行第一方面所述的图像渲染方法。相应地，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中存储有计算机程序指令，该计算机程序指令被处理器执行时，用于执行上述第一方面的图像渲染方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像渲染方法的应用场景图；
图2是本发明实施例提供的一种图像渲染流程的架构图；
图3是本发明实施例提供的一种图像渲染方法的流程图；
图4是本发明实施例提供的一种视场角与图像渲染范围关系的示意图；
图5是本发明实施例提供的一种目标展示图像；
图6a是本发明实施例提供的一种目标展示图像生成方法示意图；
图6b是本发明实施例提供的一种注视区域上像素点的颜色值计算方法示意图；
图7a是本发明实施例提供的一种第一区域的示意图；
图7b是本发明实施例提供的一种确定混合区域的方法示意图；
图8是本发明实施例提供的另一种确定混合区域的方法示意图；
图9是本发明实施例提供的一种对第一区域的图像数据渲染方法流程图；
图10是本发明实施例提供的一种视觉景深渲染方法的流程图；
图11是本发明实施例提供的一种根据目标焦距和参考焦距对彩色图像进行视觉景深渲染的流程图；
图12a是本发明实施例提供的一种根据目标图层确定目标像素的颜色值的方法流程图；
图12b是本发明实施例提供的另一种根据目标图层确定目标像素的颜色值的方法流程图；
图13是本发明实施例提供的一种图像渲染装置的结构示意图；
图14是本发明实施例提供的一种图像处理设备的结构示意图。
具体实施方式
在研究用户对头戴式显示装置中图像的观感体验时发现，对头戴式显示装置内当前场景的图像进行渲染的流程包括：将渲染当前场景内的图像所需要的三角形、材质贴图等图像数据素材通过CPU(Central Processing Unit，中央处理器)搬移至GPU(GraphicsProcessing Unit，图形处理器)，GPU通过渲染管线对图像数据素材进行渲染，得到初始图像，然后运用图像渲染后处理技术对初始图像进行着色等渲染，最后得到能够展示给用户的当前VR场景下的图像。在渲染过程中，针对用户左右眼的视差效果需求，在渲染时需要按照左右眼不同的参数经过渲染管线进行两次渲染，进而产出符合头戴式显示装置视差立体效果的图像。
在对初始图像的后处理过程中，经过研究发现，透过人眼水晶体的变焦处理会产生在聚焦点处的图像非常清晰，但在非聚焦点处的图像比较模糊的景深效果。因此，本发明实施例引入了基于注视点的渲染技术，将头戴式显示装置中当前场景内的初始图像拆分为解析质量比较高的第一区域(Inset)，(可以理解为注视区域，也即人眼关注的聚焦点部分，如图1中以注视点为中心的阴影部分)和解析质量相对较低的第二区域(Outset)(如图1非阴影部分)。其中，在第一区域的图像数据的渲染过程中，可以按照较高的分辨率进行渲染并叠加视觉景深效果，而在第二区域的图像数据的渲染过程中，按照较低分辨率且基于能够降低效能使用率的影像质量参数进行渲染。由此可实现在第一区域产生清晰的并且叠加了视觉景深效果的图像，在第二区域产生模糊的图像。在一个实施例中，可以预设能够降低效能使用率的图像质量参数。
完成第一区域的图像渲染和第二区域的图像渲染后，再将对两个区域渲染得到的两个子图像融合为一个图像显示给用户，这样能够有效的提升人眼的景深观感，同时也不会明显提高图像渲染所消耗的软硬件资源，能兼顾到头戴式显示装置显示的图像渲染所需的效能问题，达到更高质量及更沉浸的头戴式显示装置体验。
请参见图2，为本发明实施例提供的图像渲染流程的架构图。在图2所示的图像渲染流程架构图中，获取到当前场景的初始图像之后，可以得到第一区域，该第一区域的确定过程可以包括：确定初始图像上的注视点，然后根据注视点和目标FOV(Field Of View，视场角)确定出投影矩阵，进而得到影像呈现范围，将此影像呈现范围确定为初始图像上的第一区域。
进一步地，根据初始图像和初始图像上的第一区域可确定出初始图像上的第二区域。对于第一区域，基于第一渲染规则对第一区域的图像数据进行渲染，得到具有视觉景深效果的第一子图像。对于第二区域，基于第二渲染规则对第二区域的图像数据进行渲染，得到第二子图像。最后将第一子图像和第二子图像进行融合得到目标展示图像。
再请参见图3，是本发明实施例的一种图像渲染方法的流程示意图，本发明实施例的图像渲染方法可以应用在VR场景中，具体可以由VR主机来实现，由VR主机将渲染处理后得到的图像发送给VR眼镜显示。当然，也可以由自带图像渲染功能的VR眼镜来执行并显示最终渲染得到的图像。在其他实施例中，本发明实施例的图像渲染方法还可应用在其他的需要进行图像渲染的应用场景中。本发明实施例中将VR主机、VR眼镜、或者其他能够进行相应的图像渲染处理的设备称为图像处理设备。
在利用图3所示的图像渲染方法进行图像渲染时，图像处理设备首先需要获取当前场景内的初始图像。在一个实施例中，初始图像的获取方式可以为：获取渲染当前场景内的图像所需的三角形与材质贴图等素材，再通过GPU将所述素材基于渲染管线进行渲染，得到初始图像。或者初始图像的获取方式还可以是通过其他渲染方式对当前场景内的图像进行渲染得到的，本发明实施例中不做具体限定。
在获取到初始图像后，图像处理设备执行S301获取当前场景内的初始图像，并确定初始图像上的第一区域和第二区域。其中，第一区域可指人眼聚焦的部分，也即图像最清晰的部分，第二区域可指在初始图像上包含第一区域的一部分区域，或者可指在初始图像上包含第一区域的整个初始图像区域，或者第二区域也可指在初始图像上除去第一区域的剩余区域。由于人眼聚焦的部分比较狭小，第一区域只占当前场景的一小部分，所以在初始图像中的第一区域可以明显小于第二区域。
在一个实施例中，图像处理设备确定初始图像上的第一区域可以包括：利用人眼追踪策略对目标用户进行人眼跟踪处理，确定初始图像上的注视点；根据注视点和目标FOV确定在初始图像上的第一区域。可以理解的，利用人眼追踪策略可以确定目标用户正注视着的当前场景中的具体位置，根据该位置即可确定出初始图像上的注视点；基于FOV与投影矩阵的关系，可预设一个用来确定第一区域的目标FOV，进而根据该目标FOV来确定目标投影矩阵，再确定图像呈现范围，该图像呈现范围对应的区域即为第一区域。因此，上述根据注视点和目标FOV确定初始图像上的第一区域可以理解为：将以注视点为中心的图像呈现范围确定为第一区域。
再一个实施例中，图像处理设备在根据注视点和目标FOV确定了图像呈现范围之后，还可以将图像呈现范围扩大一定尺寸后得到第一区域，比如10％，此时第一区域便包括了图像呈现范围所表示的区域(也称为核心区域)和基于图像呈现范围的扩大部分表示的区域(也称为边缘区域)两部分。如此以便于后续根据第一子图像和第二子图像生成目标展示图像时，对第一子图像和第二子图像进行融合处理，达到自然融合的效果。在一个实施例中，第一区域的形状可以是以注视点为中心的圆形，或者第一区域的形状也可以是以注视点为中心的正方形、长方形或者其他形状，在本发明实施例中对第一区域的具体形状不做限定。
在其他实施例中，第一区域也可以基于图像处理设备的性能和初始图像上注视点的位置来确定，图像处理设备的性能越高，选取的目标FOV可以越大，得到的第一区域也越大。也就是说，图像处理设备的性能参数与FOV、第一区域成正比。可选的，在实际使用过程中，以保证刷新率为90fps或其他刷新率为前提，建立图像处理设备的性能参数(例如GPU的显存速率、和/或处理频率等参数)与FOV的映射关系。后续在图像处理设备运行后，首先确定初始图像上的注视点，并检测图像处理设备的性能参数，根据检测到的性能参数和所述映射关系选取FOV，将选取的FOV作为目标FOV，进而根据注视点和目标FOV确定在初始图像上的第一区域。
在一个实施例中，改变目标FOV的大小可以产生不同的投影矩阵，进而生成不同的图像呈现范围，也可以称作图像渲染范围，从而便可以确定出不同的第一区域(如图4所示)。由图4可知，比较小的FOV生成的投影矩阵在渲染时会产生比较小的视野效果，比较大的FOV生成的投影矩阵在渲染时会有比较大的视野效果，比如在图4中，FOV为58°对应的图像呈现范围所限定的第一区域401小于FOV为90°对应的图像呈现范围所限定的第一区域402。
上述提及的根据注视点和目标FOV确定在初始图像上的第一区域可理解为：确定了注视点之后，调节FOV等于所述目标FOV，得到目标FOV的投影矩阵，即：可以根据目标FOV调节投影矩阵。在得到目标FOV的投影矩阵后，即可在初始图像上确定出图像呈现范围，初始图像上该图像呈现范围内的区域即为第一区域。
确定了当前场景的初始图像上的第一区域和第二区域之后，分别对第一区域和第二区域的图像数据进行渲染，图像处理设备在S302中基于第一渲染规则对初始图像中第一区域的图像数据进行渲染，得到第一子图像。在一个实施例中，基于第一渲染规则对初始图像中第一区域的图像数据进行渲染可以是基于该第一区域的彩色图像数据和为该第一区域生成的深度图像数据来进行渲染。其中，深度图像是指：包含了到初始图像中所包含的场景对象表面的距离相关信息的图像，简单理解，深度图像中的像素值反映场景对象到人眼之间的距离信息。
在一个实施例中，所述S302可以包括：从初始图像中获取第一区域的彩色图像数据，并获取第一区域的深度图像数据；基于深度图像数据和第一渲染规则，对彩色图像数据进行渲染，得到具有视觉景深效果的渲染图像；将得到的渲染图像作为第一子图像。视觉景深效果可指在焦距距离处的图像清晰，在焦距距离之外或之内的图像模糊的视觉效果。换句话说，S302的实现方式可以是：根据第一区域的彩色图像数据和深度图像数据，结合第一渲染规则得到具有视觉景深效果的渲染图像，此渲染图像也即第一子图像。
在一个实施例中，初始渲染得到的初始图像本身即为一个彩色图像，从初始图像中截取第一区域内的图像数据即可得到第一区域的彩色图像数据。在一个实施例中，从初始图像中获取第一区域的深度图像数据的方式可为利用GPU渲染程序中的着色器shader搭配Z缓存Buffer的信息将虚拟摄像机可视范围内的3D物件与摄像机之间的深度信息渲染出来而成一个深度图像数据。可以理解的，Z Buffer也可称作深度缓存，其中存储了对渲染物件所需的图元进行光栅化得到的图像上每个像素到摄像机之间的距离，也就是深度信息，GPU渲染程序中的shader可以处理所有像素的饱和度、明暗等，并还可以产生模糊、高光等效果。在绘制深度图像数据时，利用shader结合Z Buffer中存储的深度值便可产生深度图像数据。
在一个实施例中，确定了当前场景的初始图像上的第一区域和第二区域之后，对第二区域的图像数据进行渲染时，所述图像处理设备可在S303中基于第二渲染规则对初始图像中第二区域的图像数据进行渲染，得到第二子图像。在一个实施例中，基于第二渲染规则对初始图像中第二区域的图像数据进行渲染可以是基于能够降低效能使用率的渲染方式对第二区域的图像数据进行渲染。比如，在对第二区域的图像数据进行渲染之前，可先获取对第二区域的图像数据进行渲染所需的目标素材；然后可判断素材库中是否存在与所述目标素材的类型相同但较低质量的参考素材，所述参考素材的材质质量低于所述目标素材的材质质量。若存在，则使用较低质量的参考素材完成所述第二区域的图像数据的渲染。
在一个实施例中，所述S303可包括：基于第二渲染规则所指示的分辨率和影像质量参数对第二区域的图像数据进行渲染，得到第二子图像。在一个实施例中，第二渲染规则所指示的分辨率低于在第一区域的渲染阶段对第一区域图像数据进行渲染的分辨率，第二渲染规则所指示的影像质量参数设置为可以降低效能使用率的影像质量参数。在一个实施例中，影像质量参数可指渲染分辨率和/或渲染素材质量，第二渲染规则所指示的降低效能使用率的影像质量参数可以为较低的渲染分辨率和较低质量的渲染素材。可以设置一个标准分辨率，在正常处理情况下，基于标准分辨率对初始图像进行渲染，如果检测到需要分区域进行渲染，例如检测到开启了分区域渲染功能，则以等于或者高于所述标准分辨率的分辨率来对第一区域进行渲染，以低于所述标准分辨率的分辨率来对第二区域进行渲染。
可以理解的，在第二区域的渲染阶段利用第二渲染规则所指示的分辨率和影像质量参数进行渲染，可以通过节省第二区域渲染阶段的效能，来弥补第一区域渲染阶段的部分效能损失，从而产出一个既可以顾及到景深影像质量提升，又能够避免额外消耗过多运算效能的高质量图像效果。也就是说，需要分区域渲染时，对第一区域进行的渲染对图像处理设备的软硬件资源的消耗增加，但对第二区域进行的渲染对图像处理设备的软硬件资源的消耗减小，这样一来对图像处理设备的资源消耗并不会明显增加，甚至根据第一渲染规则和第二渲染规则中的分辨率(例如第一区域的分辨率为上述提及的标准分辨率)和影像质量参数等需求，使得在分区域渲染时，对图像处理设备的资源消耗变少，从而进一步确保刷新率。
在图3所示的图像渲染方法中，分别对第一区域和第二区域进行渲染，得到了第一子图像和第二子图像之后，图像处理设备可以在S304中根据第一子图像和第二子图像生成目标展示图像，并可以将目标展示图像展示在头戴式显示装置的当前场景内。得到的目标展示图像由两部分组成，目标用户的眼睛注视部分的图像是具有视觉景深效果的清晰图像(如图5中A区域所示)，该清晰图像区域是基于第一区域子图像和第二区域子图像叠加得到，非注视部分的图像是非视觉景深效果的模糊图像(如图5中B区域所示)，该模糊图像区域基于第二子图像得出，如此可以在保证图像渲染的运算效率的同时，有效的提升了最终展示的VR图像的景深效果，可实现更沉浸的体验。在一个简单的实施例中，可以根据第一子图像对应的第一区域在初始图像上的区域位置，直接将第一子图像叠加到第二子图像上，覆盖第二子图像上的相应区域位置的图像内容，得到目标展示图像。
在一个实施例中，为了产生如图5所示的目标展示图像，图像处理设备在对第一区域渲染时需要使用比第二区域渲染时更高的渲染分辨率。对第一区域渲染时使用的渲染分辨率和对第二区域渲染时使用的渲染分辨率的变化值可以依据图像处理设备的性能决定。若图像处理设备性能较好，可设置两个渲染分辨率使得两个渲染分辨率之间的变化值较小，也就是说，第一区域渲染所使用的分辨率和第二区域渲染所使用的分辨率都相对较高；若图像处理设备性能一般，可设置两个渲染分辨率使得两个渲染分辨率之间的变化值较大，也就是说，第二区域渲染所使用的分辨率相对较低。
由于对第一区域和第二区域渲染时的渲染分辨率不同，所以渲染得到的第一子图像和第二子图像的图像分辨率也不相同，因此，S304在根据第一子图像和第二子图像生成目标展示图像时，为了避免因两个子图像的分辨率不同造成融合时第一子图像边缘的剧烈视觉化落差现象，引入了遮罩图层，根据遮罩图层、第一子图像和第二子图像生成目标展示图像。
在一个实施例中，所述S304的实现方式可以为：生成遮罩图层；根据第一子图像在初始图像中的位置，将第一子图像、第二子图像以及遮罩图层进行图层叠加处理，生成目标展示图像，目标展示图像包括注视区域和非注视区域；其中，注视区域为图层叠加处理的重叠区域，注视区域中的像素点的颜色值是基于第一子图像、第二子图像以及遮罩图层中与重叠区域内对应的部分区域中的像素点的颜色值计算得到的；非注视区域中的像素点的颜色值是根据第二子图像的像素点颜色值确定的。
可以理解的，在图像融合时引入遮罩图层，在本发明实施例中，遮罩图层的作用在于，使得在最终得到的目标展示图像上，越接近于目标展示图像中注视点的位置，像素点的颜色值越接近第一子图像的颜色值，越远离目标展示图像中注视点的位置，像素点的颜色值越接近于第二子图像的颜色值，从而产生一个平滑过渡的效果。
在一个实施例中，遮罩图层的尺寸可以依据第一子图像的尺寸确定，为了达到第一子图像和第二子图像自然结合的效果，遮罩图层的尺寸应该等于或者大于第一子图像的尺寸。在一个实施例中，遮罩图层的形状可以与第一子图像的形状相同，比如第一子图像为圆形，遮罩图层也可以为圆形；第一子图像为正方形，遮罩图层也可以为正方形。再一个实施例中，遮罩图层的形状也可以与第一子图像的形状不同，图像处理设备可根据当前场景的需要选择合适的遮罩图层的尺寸和形状。
在确定了遮罩图层的尺寸和形状之后，生成遮罩图层，再计算遮罩图层中各个像素点的遮罩数值。在一个实施例中，计算遮罩图层中目标像素点的遮罩数值的方法可以是：在遮罩图层内确定一个圆形区域，获取该圆形区域的半径值，记作R；确定目标像素点和圆形区域的圆心之间的距离，记作r；利用公式M＝1-(r/R)计算目标像素点的遮罩数值，其中，M表示遮罩图层中目标像素点的遮罩数值。可以理解的，利用与目标像素点的遮罩数值相同的计算方法可以计算得到遮罩图层中非目标像素点的遮罩数值。
生成遮罩图层之后，图像处理设备根据第一子图像在初始图像中的位置，将第一子图像、第二子图像以及遮罩图层进行图层叠加处理，生成目标展示图像，所述目标展示图像由注视区域和非注视区域两部分组成，注视区域对应于第一子图像、第二子图像以及遮罩图层重叠的区域，非注视区域指第二子图像上除去重叠区域的剩余区域。换句话说，目标展示图像是由第一子图像、第二子图像和遮罩图层三者叠加融合得到的。
在一个实施例中，由于第二子图像的大小和初始图像大小相同，第一子图像在初始图像中的位置也可以理解为第一子图像在第二子图像中的的叠加位置，因此根据第一子图像在初始图像中的位置将第一子图像、第二子图像以及遮罩图层进行图层叠加处理，生成目标展示图像的实现方式可以为：确定第一子图像在第二子图像中的叠加区域；在第二子图像的叠加区域上叠加第一子图像和遮罩图层，形成重叠区域，也即目标展示图像的注视区域；计算目标展示图像的注视区域上各个像素点的颜色值；将第二子图像中除去注视区域的剩余区域确定为目标展示图像的非注视区域；计算非注视区域中各个像素点的颜色值；按照注视区域中各个像素点的颜色值和非注视区域中各个像素点的颜色值对目标展示图像的两个区域进行渲染，即可得到目标展示图像。
例如，图6a为一种目标展示图像生成方法的示意图，如图6a所示，601表示遮罩图层，602表示第一子图像，603表示第二子图像，604表示目标展示图像。假设确定第一子图像602在第二子图像603中重叠区域为603a虚线框部分，则将603a作为目标展示图像上的注视区域；第二子图像603中阴影部分603b即作为目标展示图像的非注视部分，再通过计算注视区域和非注视区域中各个像素点的颜色值，得到目标展示图像。
在一个实施例中，计算目标展示图像的注视区域上各个像素点的颜色值的方式可为：利用公式B＝I*M+O*(1-M)来计算目标展示图像的注视区域中的像素点的颜色值。其中，B表示注视区域中的目标像素点的颜色值，I表示所述第一子图像上与所述目标像素点的图像位置相同处的像素点的颜色值，O表示所述第二子图像上与所述目标像素点的图像位置相同处的像素点的颜色值，M表示所述遮罩图层上与所述目标像素点的图像位置相同处的像素点的遮罩数值。
例如，基于图6a中目标展示图像的生成方法，图6b为一种注视区域中像素点的颜色值计算方法的示意图，假设B为目标展示图像中注视区域上的目标像素点，若想要确定目标像素点B的颜色值，首先分别在遮罩图层601、第一子图像602以及第二子图像603上找到与目标像素点的图像位置相同处的像素点，分别为6011、6021和6031；再获取6011、6021和6031的颜色值，分别记作M、I和O；最后将M、I和O代入公式B＝I*M+O*(1-M)便可得到注视区域中目标像素点B的颜色值。
在一个实施例中，目标展示图像的非注视区域是指第二子图像上除去重叠区域的剩余区域，即目标展示图像的非注视区域是属于第二子图像上的一部分区域，因此计算非注视区域中各个像素点的颜色值的的方式可以是：将落入非注视区域中的第二子图像上各个像素点的颜色值作为各个像素点在非注视区域中的颜色值。
在一个实施例中，S304根据第一子图像和第二子图像生成目标展示图像的方式还可以为：将第一子图像叠加到第二子图像中对应位置，也即用第一子图像覆盖第二子图像中与第一区域对应位置处的图像，从而展示给用户的目标图像即为在人眼聚焦部分是清晰的具有视觉景深效果的图像，在非聚焦部分是模糊的非视觉景深效果的图像。在一个实施例中，所述S304可包括：根据第二子图像和第一子图像确定混合区域；根据混合区域中各个像素点距图像中心的距离，确定混合区域中各个像素点的颜色值；基于混合区域中各个像素点的颜色值、所述第二区域中各个像素点的颜色值和所述第一区域中各个像素点的颜色值生成目标展示图像。
在一个实施例中，第一子图像包括边缘区域和核心区域，其中，核心区域是根据注视点和目标FOV确定的，边缘区域可以理解为将核心区域扩大一定尺寸比如10％得到的，该尺寸可以根据不用的应用场景设置为不同值，如图7a所示的第一区域，阴影部分为边缘区域，非阴影部分为核心区域。可以理解的，图7a只是第一区域中边缘区域和核心区域的示意图，实际上边缘区域远小于核心区域。
在一个实施例中，基于上述第一子图像包括边缘区域和核心区域，所述根据第二子图像和第一子图像确定混合区域，包括：在所述第二子图像中确定参考区域，所述参考区域覆盖所述第一子图像在所述第二子图像中的对应区域；将所述参考区域中除去所述核心区域的部分确定为所述混合区域。也即，在确定混合区域时，首先确定第一子图像叠加在第二子图像中的位置；然后在第二子图像中确定一个参考区域，该参考区域能覆盖上述第一子图像在第二子图像中的位置；再从参考区域中除去第一子图像中的核心区域，将剩下的第一子图像与参考区域重叠的部分确定为混合区域。
在一个实施例中，参考区域的大小可以大于第一子图像，此时参考区域在覆盖了第一子图像在所述第二子图像中的对应区域外，还覆盖一部分第二子图像。例如，图7b为确定混合区域的一种方法，区域701表示第一子图像，区域702表示第二子图像，区域703表示第一子图像中的核心区域，区域704表示参考区域，阴影区域705混合区域。
再一个实施例中，参考区域的大小可以等于第一子图像的大小，此时参考区域刚好可以覆盖第一子图像在所述第二子图像中的对应区域。例如，图8为确定混合区域的另一种方法，区域801既表示第一子图像，又表示参考区域，区域802表示第一子图像中的核心区域，区域803表示第二区域子图像，阴影区域804表示混合区域。
确定了混合区域之后，图像处理设备再确定混合区域中各个像素点的颜色值。作为一种可行的实施方式，图像处理设备可以根据混合区域中各个像素点距离图像中心的距离，确定各个像素点的颜色值，具体的方式可以为：根据参考区域的半径和混合区域中目标像素点距图像中心的距离，确定目标像素点的参考颜色值；获取第一子图像中与混合区域中所述目标像素点的图像位置相同的像素点的颜色值，并获取第二子图像中与混合区域中所述目标像素点的图像位置相同的像素点的颜色值；将上述的各个颜色值代入预设公式进行计算，得到的计算结果即为混合区域中目标像素点的颜色值。
同理的，对于混合区域中除目标像素点外的其他各个像素点，按照与确定目标像素点颜色值相同的方法确定混合区域中除目标像素之外的其他各个像素点的颜色值。
在一个实施例中，所述基于混合区域中各个像素点的颜色值、所述第二区域中各个像素点的颜色值和所述第一区域中各个像素点的颜色值生成目标展示图像，具体的实施方式可以为：按照混合区域中各个像素点的颜色值对混合区域进行渲染，按照核心区域中各个像素点在第一子图像中的颜色值对核心区域进行渲染，对于第二子图像中除去核心区域和混合区域的剩余部分，按照剩余部分中各个像素点在第二子图像中的颜色值进行渲染，最终得到目标展示图像。
综上所述，本申请实施例针对S304根据第一子图像和第二子图像生成目标展示图像，提供了上述两种实现方式，第一种：引入遮罩层，计算遮罩层、第一子图像和第二子图像的中重叠区域和非重叠区域的的中各个像素点的颜色值，从而得到目标展示图像；第二种：引入混合区域，根据混合区域、第一子图像和第二子图像中各个像素的颜色值，生成目标展示图像。
在根据第一子图像和第二子图像生成目标展示图像时，可依据第一子图像的分辨率和第二子图像的分辨率从上述两种方式中选择合适的目标展示图像生成方法。在一个实施例中，如果对第一子图像和第二子图像进行渲染时使用的两个分辨率的差值大于或等于预设值，则可选用第一种方法生成目标展示图像，比如渲染第二子图像的分辨率为200ppi(Pixels Per Inch，像素每英寸)，渲染第二子图像的分辨率为160ppi，预设差值为20，则可选用第一种方法生成目标展示图像；如果对第一子图像和第二子图像进行渲染时使用的两个分辨率的差值小于预设值，则可选用第二种方法生成目标展示图像。
参见图9，是本发明实施例的对第一区域的图像渲染方法的流程示意图，本发明实施例的所述方法可以对应于上述的S302。同样本发明实施例的所述方法也可以由VR主机、VR眼镜等图像处理设备来执行。
在一个实施例中，图像处理设备在S901中从初始图像中获取第一区域的彩色图像数据，并获取第一区域的深度图像数据。图像处理设备可根据彩色图像数据生成参考图层集合，参考图层集合包括多个参考图层，参考图层具有相同的图像尺寸，参考图层之间的分辨率不相同且小于所述彩色图像数据所对应的图像分辨率。在一个实施例中，参考图层可以是将彩色图像数据按照预设规则进行降分辨率处理后，再按照所述彩色图像数据的图像尺寸进行尺寸处理后得到，例如单纯的尺寸放大处理。
可以理解的，如果对彩色图像数据按照预设规则进行降分辨率处理后，得到的各个参考图层的尺寸等于彩色图像数据的图像尺寸，则可不对参考图层的尺寸进行处理；如果对彩色图像数据按照预设规则进行降分辨率处理后，得到的各个参考图层的尺寸小于彩色图像数据的图像尺寸，则可对各个参考图层进行尺寸放大处理，以使得各个参考图层的尺寸与彩色图像数据的图像尺寸相同。也就是说，各个参考图层可以理解为与第一区域的彩色图像数据具有相同尺寸，但不同分辨率的图像。举例来说，假设第一区域的彩色图像数据的分辨率为600x600，可按照预设规则生成分辨率为300x300、150x150、75x75以及30x30等多个模糊程度不一但图像尺寸相同的参考图层。
在一个实施例中，获取到第一区域的彩色图像数据和深度图像数据之后，在S902中基于深度图像数据和第一渲染规则，对彩色图像数据进行渲染，得到具有视觉景深效果的渲染图像，其中，在图10所对应的实施例中描述了视觉景深渲染的处理过程。图像处理设备在S903中将得到的渲染图像作为第一子图像。在一个实施例中，在S902中可以是基于深度图像数据反映的深度信息和第一渲染规则对彩色图像数据进行渲染。在一个实施例中，基于深度图像数据反映的深度信息和第一渲染规则对彩色图像数据进行渲染具体可指：根据深度图像数据反映的深度信息，为彩色图像数据中各个像素点从参考图层中选择目标图层，以确定需要生成的第一子图像上的各个像素点的颜色值，完成对各个像素点的渲染，从而也就完成了对彩色图像数据的渲染。其中，参考图层是根据彩色图像数据生成的，各个参考图层具有相同的图像尺寸，参考图层之间的分辨率不相同且小于所述彩色图像数据所对应的图像分辨率。
在一个实施例中，所述S902包括：从彩色图像数据中确定出注视点像素；根据深度图像数据确定注视点像素的深度信息，并依据注视点像素的深度信息确定关于目标用户的目标焦距；根据目标焦距和深度图像数据确定彩色图像数据中非注视点像素的参考焦距；根据目标焦距和参考焦距对彩色图像数据进行视觉景深渲染，得到具有视觉景深效果的渲染图像。
深度图像数据上的像素值反映了当前场景内图像上各个像素点所对应的场景对象表面点到目标用户人眼的距离，也即深度信息。因此，注视点像素的深度信息即可作为目标用户的目标焦距。同理，彩色图像数据中非注视点像素的参考焦距则可以对应为：各个非注视点像素在深度图像数据中的像素值。
在一个实施例中，参考图11为根据目标焦距和参考焦距对彩色图像进行视觉渲染的流程示意图，如图11所示，图像处理设备在S1101中确定非注视点像素中的目标像素的参考焦距与目标焦距之间的差异信息；图像处理设备在S1102中根据差异信息确定目标像素的映射值，并基于目标像素的映射值从参考图层集合中查找目标图层；图像处理设备在S1103中根据目标图层上与目标像素的图像位置相同的像素的颜色值，确定目标像素的颜色值。在一个实施例中，映射值可以指CoC值，映射值可以为一个0到1之间的任意数，映射值的大小可反映非注视点像素中的目标像素与注视点像素之间的距离，映射值越大表示目标像素与注视点像素之间的距离越远，目标像素与注视点像素之间的距离越远则说明目标像素的图像越模糊。因此，映射值越大，目标像素的清晰度越低。
在一个实施例中，图像处理设备在执行S1102基于目标像素的映射值从参考图层集合中查找目标图层时可以包括：预先设置至少一组参考图层与映射值的对应关系，然后根据目标像素的映射值从预先设置的对应关系中查找到与目标像素的映射值对应的目标图层。假设第一区域的彩色图像数据的分辨率为600x600，按照预设规则生成分辨率为300x300、150x150以及75x75等多个参考图层，假设分辨率为300x300的参考图层对应的映射值可以为0.2；分辨率150x150的参考图层对应的映射值可以为0.5；分辨率为75x75的参考图层对应的映射值可以为0.8。基于上述假设的参考图层与映射值的对应关系，如果目标像素的映射值为0.5，则选择分辨率为150x150的参考图层作为目标图层。需要说明的是，参考图层与映射值的对应关系的设置要遵循映射值越大，参考图层的分辨率越低的对应规则。
在一个实施例中，步骤S1102中目标像素可以为非注视点像素中的任一个像素，差异信息中可包括目标像素的参考焦距与目标焦距的焦距差，比如目标焦距为f，目标像素的参考焦距为f0，该目标像素的参考焦距与目标焦距的焦距差为f0-f。在一个实施例中，步骤S1102根据差异信息确定目标像素的映射值的方式可以为：根据差异信息中的焦距差确定目标像素的映射值，具体的方式可以为：预先确定至少一组焦距差与映射值的对应关系，在获取到目标像素的参考焦距与目标焦距之间的焦距差之后，在上述的对应的关系中查找与该焦距差对应的映射值作为目标像素的映射值。
在其他实施例中，在所述S1102中差异信息中还可以包括映射值差值，该映射值差值可指目标像素的参考焦距对应的映射值与目标焦距对应的映射值之间的差值。可选的，预先设置一组焦距(包括目标焦距和参考焦距)与映射值的对应关系；当确定了注视点像素的目标焦距之后，根据上述的预设关系查找到目标焦距对应的映射值；当确定了目标像素的参考焦距之后，根据上述的预设关系查找到该参考焦距对应的映射值；进一步的，根据目标焦距对应的映射值和目标像素的参考焦距对应的映射值确定映射值差值。在一实施例中，步骤S802根据差异信息确定目标像素的映射值的方式可以为根据差异信息中的映射值差值确定目标像素的映射值，具体的方式可以为将差异信息中的映射值差值作为目标像素的映射值。
在一个实施例中，步骤S1102中所提及的参考图层集合的生成过程可以为：对第一区域的彩色图像数据按照预设规则生成多个不同分辨率但相同尺寸的参考图层，然后将多个参考图像组成参考图层集合。其中，参考图层中各个参考图层的分辨率不相同，且均不大于彩色图像数据的分辨率，各个参考图层的尺寸均相同，且均等于彩色图像数据的尺寸。
在一个实施例中，当步骤S1102中所提及的目标图层的数量为一个时，图像处理设备在执行S1103时具体可以包括：将目标图层上与目标像素的图像位置相同的像素的颜色值作为目标像素的颜色值。在另一个实施例中，当步骤S1102中所提及的目标图层的数量为至少两个时，图像处理设备在执行S1103时具体可以包括：分别获取至少两个目标图层中与目标像素的图像位置相同的像素的颜色值，得到至少两个颜色值；按照预设运算规则对至少两个颜色值进行计算，将计算得到的数值作为目标像素的颜色值。可选的，预设运算规则可以为平均值计算、或者加权平均运算，或者也可以为其他的运算，本发明实施例中不做具体限定。
也就是说，在执行S1103之前，可先确定在S1102中基于目标像素的映射值从参考图层集合中查找到的目标图层的数量，然后基于目标图层的数量并根据目标图层上与目标像素的图像位置相同的像素的颜色值确定目标像素的颜色值。
在一个实施例中，如果目标图层的数量为一个时，将该目标图层上与目标像素的图像位置相同的像素的颜色值确定为目标像素的颜色值。参考图12a，为目标图层为一个时确定目标像素的颜色值的方法流程图，在图12a中可假设区域A表示第一区域，F表示第一区域中的注视点像素，B表示第一区域中非注视点像素中的目标像素。假设获取到的第一区域的彩色图像数据为分辨率为600x600的图像，并假设根据目标像素的参考焦距与目标焦距之间的差异信息确定的目标像素B的映射值表示为CoCB(CoCB为0-1之间的任意的数)。进一步的，假设对600x600的图像按照预设规则生成了4个分辨率不同的参考图层，其分辨率可分别为300x300、150x150、75x75、50x50，并根据预先设置的参考图层与映射值的对应关系查找到CoCB对应的目标图层为参考图层集合中分辨率为75x75的图层。那么基于CoCB可以找到目标图层上与目标像素B的图像位置相同的像素，即B'；将获取到的B'处的颜色值作为目标像素B的颜色值。
作为另一种可行的实施方式，如果目标图层的数量为两个或两个以上时，可分别获取至少两个目标图层中与目标像素的图像位置相同的像素的颜色值，根据预设的运算规则对两个颜色值进行计算，将计算得到的数值作为目标像素的颜色值。假设基于图12a所做的假设，如果根据预先设置的参考图层与映射值的对应关系查找到CoCB对应的目标图层为参考图层集合中分辨率为75x75的参考图层和分辨率为50x50的参考图层，如图12b所示，则分别找到75x75的图层上与目标像素的图像位置相同的像素B'和50x50的图层上与目标像素的图像位置相同的像素B”；获取B'和B”的颜色值，并对两个颜色值进行加权平均运算，将运算得到的数值作为目标像素B的颜色值。
综上所述，在图9所示的渲染方法中，基于深度图像数据和第一渲染规则对彩色图像数据进行渲染，得到具有视觉景深效果的渲染图像，首先要确定出目标用户的眼睛注视点位置，此注视点位置是眼睛聚焦的部分也是渲染得到的图像中最清晰的部分，透过预先产出的第一区域的深度图像数据可查询注视点的深度信息进而推算出目标焦距。对于第一区域中非注视点像素的颜色值就可以透过各个非注视点像素的深度信息与目标焦距的差异而推算出各个非注视点像素的映射值，紧接着利用各个非注视点像素的映射值作为参考依据，查询各个非注视点像素对应的参考图层，进而确定各个非注视点像素的颜色值。比如针对非注视点像素中的目标像素，如果目标像素的映射值越大，则查询预先产出的分辨率越低的参考图层，并将参考图层上与目标像素的图像位置相同的像素的颜色值作为目标像素的颜色值。透过上述过程即可得到具有视觉景深效果的渲染图像。
基于上述方法实施例的描述，在一个实施例中，本发明实施例还提供了一种如图13所示的图像渲染装置的结构示意性框图。如图13所示，本发明实施例中的图像渲染装置，包括获取单元1301、确定单元1302、渲染单元1303以及生成单元1304，在本发明实施例中，所述图像渲染装置还可以设置在需要对图像数据进行渲染的设备中。
在一个实施例中，获取单元1301用于获取当前场景的初始图像；确定单元1302用于确定初始图像上的第一区域和第二区域；渲染单元1303用于基于第一渲染规则对初始图像中第一区域的图像数据进行渲染，得到第一子图像；所述渲染单元1303还用于基于第二渲染规则对初始图像数据中第二区域的图像数据进行渲染，得到第二子图像；生成单元1304用于根据第一子图像和第二子图像生成目标展示图像。
在一个实施例中，所述确定单元1302用于确定初始图像上的第一区域的实施方式可以为：利用人眼追踪策略对目标用户进行人眼跟踪处理，确定初始图像上的注视点；根据注视点和目标视场角FOV确定在初始图像上的第一区域。
在一个实施例中，第一渲染规则和第二渲染规则不相同，渲染单元1303在用于基于第一渲染规则对初始图像中第一区域的图像数据进行渲染，得到第一子图像时，实施方式可以为：从所述初始图像中获取所述第一区域的彩色图像数据，并获取所述第一区域的深度图像数据；基于所述深度图像数据和所述第一渲染规则，对所述彩色图像数据进行渲染，得到具有视觉景深效果的渲染图像；将得到的渲染图像作为第一子图像。
在一个实施例中，基于所述深度图像数据和所述第一渲染规则，对所述彩色图像数据进行渲染，得到具有视觉景深效果的渲染图像的实施方式可以为：从所述彩色图像数据中确定出注视点像素；根据所述深度图像数据确定所述注视点像素的深度信息，并依据所述注视点像素的深度信息确定关于所述目标用户的目标焦距；根据所述目标焦距和所述深度图像数据确定所述彩色图像数据中非注视点像素的参考焦距；根据所述目标焦距和所述参考焦距对所述彩色图像数据进行视觉景深渲染，得到具有视觉景深效果的渲染图像。
在一个实施例中，参考图层集合包括多个参考图层；参考图层具有相同的图像尺寸，参考图层之间的分辨率不相同且小于彩色图像数据所所对应的图像分辨率。在一个实施例中，根据所述目标焦距和所述参考焦距对所述彩色图像数据进行视觉景深渲染，得到具有视觉景深效果的渲染图像的实施方式可以为：确定所述非注视点像素中的目标像素的参考焦距与所述目标焦距之间的差异信息；根据所述差异信息确定所述目标像素的映射值，并基于所述目标像素的映射值从参考图层集合中查找目标图层；根据所述目标图层上与目标像素的图像位置相同的像素的颜色值，确定所述目标像素的颜色值。
在一个实施例中，所述目标图层的数量为一个，根据所述目标图层上与目标像素的图像位置相同的像素的颜色值，确定所述目标像素的颜色值的实施方式可以为：将所述目标图层上与目标像素的图像位置相同的像素的颜色值作为所述目标像素的颜色值。再一个实施例中，所述目标图层的数量为至少两个，根据所述目标图层上与目标像素的图像位置相同的像素的颜色值，确定所述目标像素的颜色值的实施方式可以为：分别获取至少两个目标图层中与目标像素的图像位置相同的像素的颜色值，得到至少两个颜色值；按照预设运算规则对所述至少两个颜色值进行计算，将计算得到的数值作为所述目标像素的颜色值。
在一个实施例中，渲染单元1303在用于基于第二渲染规则对所述初始图像中所述第二区域的图像数据进行渲染，得到第二子图像的实施方式可以为：基于所述第二渲染规则所指示的分辨率和影像质量参数对所述第二区域的图像数据进行渲染，得到第二子图像。
在一个实施例中，所述生成单元1304在用于根据所述第一子图像和所述第二子图像生成目标展示图像的具体方式为：生成遮罩图层；根据第一子图像在初始图像中的位置，将所述第一子图像、所述第二子图像以及所述遮罩图层进行图层叠加处理，生成目标展示图像，所述目标展示图像包括注视区域和非注视区域；其中，所述注视区域为图层叠加处理的重叠区域，所述注视区域中的像素点的颜色值是基于所述第一子图像、所述第二子图像以及遮罩图层中与重叠区域内对应的部分区域中的像素点的颜色值计算得到的；所述非注视区域中的像素点的颜色值是根据所述第二子图像的像素点颜色值确定的。
在一个实施例中，在图层重叠处理时，是利用公式B＝I*M+O*(1-M)计算得到所述注视区域中的像素点的颜色值；其中，B表示所述注视区域中的目标像素点的颜色值，I表示所述第一子图像上与所述目标像素点的图像位置相同处的像素点的颜色值，O表示所述第二子图像上与所述目标像素点的图像位置相同处的像素点的颜色值，M表示所述遮罩图层上与所述目标像素点的图像位置相同处的像素点的遮罩数值。
在本发明实施例中，在获取单元1301获取到当前场景的初始图像之后，确定单元1302确定出所述初始图像上的第一区域和第二区域，进一步的，渲染单元1303分别基于第一渲染规则和第二渲染规则对第一区域的图像数据和第二区域的图像数据进行渲染，得到第一子图像和第二子图像，从而生成单元1304根据第一子图像和第二子图像生成目标展示图像，实现了分区域进行针对性的图像渲染。
请参见图14，是本发明实施例提供的一种图像处理设备的结构示意性框图，如图14所示的图像处理设备可包括：一个或多个处理器1401和一个或多个存储器1402。上述处理器1401和存储器1402通过总线1403连接。存储器1402用于存储计算机程序，所述计算机程序包括程序指令，处理器1401用于执行所述存储器1402存储的程序指令。
所述存储器1402可以包括易失性存储器(volatile memory)，如随机存取存储器(random-access memory，RAM)；存储器1402也可以包括非易失性存储器(non-volatilememory)，如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储器1402还可以包括上述种类的存储器的组合。
所述处理器1401可以是中央处理器CPU。所述处理器1401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。该PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic arraylogic，GAL)等。所述处理器1401也可以为上述结构的组合。
本发明实施例中，所述存储器1402用于存储计算机程序，所述计算机程序包括程序指令，处理器1401用于执行存储器1402存储的程序指令，用来实现上述实施例中的相应方法的步骤。
在一个实施例中，所述处理器1401被配置调用所述程序指令用于：获取当前场景的初始图像；确定初始图像上的第一区域和第二区域；基于第一渲染规则对初始图像中第一区域的图像数据进行渲染，得到第一子图像；基于第二渲染规则对初始图像数据中第二区域的图像数据进行渲染，得到第二子图像；根据第一子图像和第二子图像生成目标展示图像。
在一个实施例中，所述处理器1401在用于确定初始图像上的第一区域的实施方式可以为：利用人眼追踪策略对目标用户进行人眼跟踪处理，确定初始图像上的注视点；根据注视点和目标视场角FOV确定在初始图像上的第一区域。
在一个实施例中，第一渲染规则和第二渲染规则不相同，所述处理器1401在用于基于第一渲染规则对初始图像中第一区域的图像数据进行渲染，得到第一子图像时，实施方式可以为：从所述初始图像中获取所述第一区域的彩色图像数据，并获取所述第一区域的深度图像数据；基于所述深度图像数据和所述第一渲染规则，对所述彩色图像数据进行渲染，得到具有视觉景深效果的渲染图像；将得到的渲染图像作为第一子图像。
在一个实施例中，处理器1401在用于基于所述深度图像数据和所述第一渲染规则，对所述彩色图像数据进行渲染，得到具有视觉景深效果的渲染图像的实施方式可以为：从所述彩色图像数据中确定出注视点像素；根据所述深度图像数据确定所述注视点像素的深度信息，并依据所述注视点像素的深度信息确定关于所述目标用户的目标焦距；根据所述目标焦距和所述深度图像数据确定所述彩色图像数据中非注视点像素的参考焦距；根据所述目标焦距和所述参考焦距对所述彩色图像数据进行视觉景深渲染，得到具有视觉景深效果的渲染图像。
在一个实施例中，参考图层集合包括多个参考图层；参考图层具有相同的图像尺寸，参考图层之间的分辨率不相同且小于彩色图像数据所所对应的图像分辨率。在一个实施例中，处理器1401在用于根据所述目标焦距和所述参考焦距对所述彩色图像数据进行视觉景深渲染，得到具有视觉景深效果的渲染图像的实施方式可以为：确定所述非注视点像素中的目标像素的参考焦距与所述目标焦距之间的差异信息；根据所述差异信息确定所述目标像素的映射值，并基于所述目标像素的映射值从参考图层集合中查找目标图层；根据所述目标图层上与目标像素的图像位置相同的像素的颜色值，确定所述目标像素的颜色值。
在一个实施例中，所述目标图层的数量为一个，所述处理器1401在用于根据所述目标图层上与目标像素的图像位置相同的像素的颜色值，确定所述目标像素的颜色值的实施方式可以为：将所述目标图层上与目标像素的图像位置相同的像素的颜色值作为所述目标像素的颜色值。再一个实施例中，所述目标图层的数量为至少两个，所述处理器1401在用于根据所述目标图层上与目标像素的图像位置相同的像素的颜色值，确定所述目标像素的颜色值的实施方式可以为：分别获取至少两个目标图层中与目标像素的图像位置相同的像素的颜色值，得到至少两个颜色值；按照预设运算规则对所述至少两个颜色值进行计算，将计算得到的数值作为所述目标像素的颜色值。
在一个实施例中，所述处理器1401在用于基于第二渲染规则对所述初始图像中所述第二区域的图像数据进行渲染，得到第二子图像的实施方式可以为：基于所述第二渲染规则所指示的分辨率和影像质量参数对所述第二区域的图像数据进行渲染，得到第二子图像。
在一个实施例中，所述处理器140在用于根据所述第一子图像和所述第二子图像生成目标展示图像的具体方式为：生成遮罩图层；根据第一子图像在初始图像中的位置，将所述第一子图像、所述第二子图像以及所述遮罩图层进行图层叠加处理，生成目标展示图像，所述目标展示图像包括注视区域和非注视区域；其中，所述注视区域为图层叠加处理的重叠区域，所述注视区域中的像素点的颜色值是基于所述第一子图像、所述第二子图像以及遮罩图层中与重叠区域内对应的部分区域中的像素点的颜色值计算得到的；所述非注视区域中的像素点的颜色值是根据所述第二子图像的像素点颜色值确定的。
在一个实施例中，在图层重叠处理时，是利用公式B＝I*M+O*(1-M)计算得到所述注视区域中的像素点的颜色值；其中，B表示所述注视区域中的目标像素点的颜色值，I表示所述第一子图像上与所述目标像素点的图像位置相同处的像素点的颜色值，O表示所述第二子图像上与所述目标像素点的图像位置相同处的像素点的颜色值，M表示所述遮罩图层上与所述目标像素点的图像位置相同处的像素点的遮罩数值。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (14)

1.一种图像渲染方法，其特征在于，包括：
获取当前场景的初始图像，并确定所述初始图像上的第一区域和第二区域；
基于第一渲染规则对所述初始图像中所述第一区域的图像数据进行渲染，得到第一子图像；
基于第二渲染规则对所述初始图像中所述第二区域的图像数据进行渲染，得到第二子图像；
根据所述第一子图像和所述第二子图像生成目标展示图像；所述第一渲染规则和所述第二渲染规则不相同；
其中，对所述初始图像中所述第一区域的图像数据进行渲染包括：从所述初始图像中获取所述第一区域的彩色图像数据，并获取所述第一区域的深度图像数据，所述深度图像数据指示关于所述初始图像中的场景对象与目标用户的眼睛之间的距离的信息，以及对所述彩色图像数据进行视觉景深渲染，其中，该进行的视觉景深渲染包括：根据所述第一区域的非注视点像素中目标像素的参考焦距与注视点像素的目标焦距之间的差来确定所述非注视点像素中的所述目标像素的颜色值。
2.如权利要求1所述的方法，其特征在于，所述确定所述初始图像上的第一区域，包括：
利用人眼追踪策略对目标用户进行人眼跟踪处理，确定所述初始图像上的注视点；
根据所述注视点和目标视场角FOV，确定所述初始图像上的第一区域。
3.如权利要求1所述的方法，其特征在于，所述对所述彩色图像数据进行视觉景深渲染，包括：
基于所述深度图像数据和所述第一渲染规则，对所述彩色图像数据进行渲染，得到具有视觉景深效果的渲染图像；
所述得到的所述渲染图像为第一子图像。
4.如权利要求3所述的方法，其特征在于，所述基于所述深度图像数据和所述第一渲染规则对所述彩色图像数据进行渲染，得到具有视觉景深效果的渲染图像，包括；
从所述彩色图像数据中确定出注视点像素；
根据所述深度图像数据确定所述注视点像素的深度信息，并依据所述注视点像素的深度信息确定关于所述目标用户的目标焦距；
根据所述目标焦距和所述深度图像数据确定所述彩色图像数据中非注视点像素的参考焦距；
根据所述目标焦距和所述参考焦距对所述彩色图像数据进行视觉景深渲染，得到具有视觉景深效果的渲染图像。
5.如权利要求4所述的方法，其特征在于，所述根据所述目标焦距和所述参考焦距对所述彩色图像数据进行视觉景深渲染，得到具有视觉景深效果的渲染图像，包括：
确定所述非注视点像素中的目标像素的参考焦距与所述目标焦距之间的差异信息；
根据所述差异信息确定所述目标像素的映射值，并基于所述目标像素的映射值从参考图层集合中查找目标图层；
根据所述目标图层上与所述目标像素的图像位置相同的像素的颜色值，确定所述目标像素的颜色值。
6.如权利要求5所述的方法，其特征在于，所述参考图层集合包括：多个参考图层；参考图层具有相同的图像尺寸，参考图层之间的分辨率不相同且小于所述彩色图像数据所对应的图像分辨率。
7.如权利要求5所述的方法，其特征在于，所述目标图层的数量为一个，所述根据所述目标图层上与所述目标像素的图像位置相同的像素的颜色值确定所述目标像素的颜色值，包括：将所述目标图层上与所述目标像素的图像位置相同的像素的颜色值作为所述目标像素的颜色值。
8.如权利要求5所述的方法，其特征在于，所述目标图层的数量为至少两个，所述根据所述目标图层上与所述目标像素的图像位置相同的像素的颜色值确定所述目标像素的颜色值，包括：
分别获取至少两个目标图层中与所述目标像素的图像位置相同的像素的颜色值，得到至少两个颜色值；
按照预设运算规则对所述至少两个颜色值进行计算，将计算得到的数值作为所述目标像素的颜色值。
9.如权利要求1所述的方法，其特征在于，所述基于第二渲染规则对所述初始图像中所述第二区域的图像数据进行渲染，得到第二子图像，包括：
基于所述第二渲染规则所指示的分辨率和影像质量参数对所述第二区域的图像数据进行渲染，得到第二子图像。
10.如权利要求1所述的方法，其特征在于，所述根据所述第一子图像和所述第二子图像生成目标展示图像，包括：
生成遮罩图层；
根据所述第一子图像在所述初始图像中的位置，将所述第一子图像、所述第二子图像以及所述遮罩图层进行图层叠加处理，生成目标展示图像，所述目标展示图像包括注视区域和非注视区域；
其中，所述注视区域为图层叠加处理的重叠区域，所述注视区域中的像素点的颜色值是基于所述第一子图像、所述第二子图像以及所述遮罩图层中与所述重叠区域内对应的部分区域中的像素点的颜色值计算得到的；
所述非注视区域中的像素点的颜色值是根据所述第二子图像的像素点颜色值确定的。
11.如权利要求10所述的方法，其特征在于，所述方法还包括：
在图层重叠处理时，是利用公式B＝I*M+O*(1-M)计算得到所述注视区域中的像素点的颜色值；
其中，B表示所述注视区域中的目标像素点的颜色值，I表示所述第一子图像上与所述目标像素点的图像位置相同处的像素点的颜色值，O表示所述第二子图像上与所述目标像素点的图像位置相同处的像素点的颜色值，M表示所述遮罩图层上与所述目标像素点的图像位置相同处的像素点的遮罩数值。
12.一种图像渲染装置，其特征在于，包括：
获取单元，用于获取当前场景的初始图像；
确定单元，用于确定所述初始图像上的第一区域和第二区域；
渲染单元，用于基于第一渲染规则对所述初始图像中所述第一区域的图像数据进行渲染，得到第一子图像；
所述渲染单元，还用于基于第二渲染规则对所述初始图像中所述第二区域的图像数据进行渲染，得到第二子图像；
生成单元，用于根据所述第一子图像和所述第二子图像生成目标展示图像；所述第一渲染规则和所述第二渲染规则不相同；
其中，对所述初始图像中所述第一区域的图像数据进行渲染包括：从所述初始图像中获取所述第一区域的彩色图像数据，并获取所述第一区域的深度图像数据，所述深度图像数据指示关于所述初始图像中的场景对象与目标用户的眼睛之间的距离的信息，以及对所述彩色图像数据进行视觉景深渲染，其中，该进行的视觉景深渲染包括：根据所述第一区域的非注视点像素中目标像素的参考焦距与注视点像素的目标焦距之间的差来确定所述非注视点像素中的所述目标像素的颜色值。
13.一种图像处理设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-11任一项所述的方法。
14.一种计算机存储介质，其特征在于，该计算机存储介质中存储有计算机程序指令，该计算机程序指令被处理器执行时，用于执行如权利要求1-11任一项所述的方法。
CN201810954469.7A 2018-08-21 2018-08-21 一种图像渲染方法、装置及图像处理设备、存储介质 Active CN109242943B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810954469.7A CN109242943B (zh) 2018-08-21 2018-08-21 一种图像渲染方法、装置及图像处理设备、存储介质
EP19850930.9A EP3757944A4 (en) 2018-08-21 2019-08-21 IMAGE PLAYBACK METHOD AND DEVICE, IMAGE PROCESSING DEVICE AND STORAGE MEDIUM
PCT/CN2019/101802 WO2020038407A1 (zh) 2018-08-21 2019-08-21 一种图像渲染方法、装置及图像处理设备、存储介质
US17/066,707 US11295528B2 (en) 2018-08-21 2020-10-09 Image rendering method and apparatus, image processing device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810954469.7A CN109242943B (zh) 2018-08-21 2018-08-21 一种图像渲染方法、装置及图像处理设备、存储介质

Publications (2)

Publication Number Publication Date
CN109242943A CN109242943A (zh) 2019-01-18
CN109242943B true CN109242943B (zh) 2023-03-21

Family

ID=65071016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810954469.7A Active CN109242943B (zh) 2018-08-21 2018-08-21 一种图像渲染方法、装置及图像处理设备、存储介质

Country Status (4)

Country Link
US (1) US11295528B2 (zh)
EP (1) EP3757944A4 (zh)
CN (1) CN109242943B (zh)
WO (1) WO2020038407A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324601A (zh) * 2018-03-27 2019-10-11 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
CN109242943B (zh) 2018-08-21 2023-03-21 腾讯科技（深圳）有限公司 一种图像渲染方法、装置及图像处理设备、存储介质
CN109741463B (zh) * 2019-01-02 2022-07-19 京东方科技集团股份有限公司 虚拟现实场景的渲染方法、装置及设备
CN109933268A (zh) * 2019-02-25 2019-06-25 昀光微电子（上海）有限公司 一种基于人眼视觉特征的近眼显示装置
CN109886876A (zh) * 2019-02-25 2019-06-14 昀光微电子（上海）有限公司 一种基于人眼视觉特征的近眼显示方法
WO2020173414A1 (zh) 2019-02-25 2020-09-03 昀光微电子（上海）有限公司 一种基于人眼视觉特征的近眼显示方法和装置
CN110321865A (zh) * 2019-07-09 2019-10-11 北京字节跳动网络技术有限公司 头部特效处理方法及装置、存储介质
CN110378914A (zh) * 2019-07-22 2019-10-25 北京七鑫易维信息技术有限公司 基于注视点信息的渲染方法及装置、系统、显示设备
CN112541512B (zh) * 2019-09-20 2023-06-02 杭州海康威视数字技术股份有限公司 一种图像集生成方法及装置
CN110706322B (zh) * 2019-10-17 2023-08-11 网易（杭州）网络有限公司 图像显示的方法、装置、电子设备及可读存储介质
CN110910509A (zh) * 2019-11-21 2020-03-24 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN113129417A (zh) 2019-12-27 2021-07-16 华为技术有限公司 一种全景应用中图像渲染的方法及终端设备
CN111275803B (zh) * 2020-02-25 2023-06-02 北京百度网讯科技有限公司 3d模型渲染方法、装置、设备和存储介质
CN111583147B (zh) * 2020-05-06 2023-06-06 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111768352A (zh) * 2020-06-30 2020-10-13 Oppo广东移动通信有限公司 图像处理方法及装置
CN114071150B (zh) * 2020-07-31 2023-06-16 京东方科技集团股份有限公司 图像压缩方法及装置、图像显示方法及装置和介质
CN112308767B (zh) * 2020-10-19 2023-11-24 武汉中科通达高新技术股份有限公司 一种数据展示方法、装置、存储介质以及电子设备
CN112465939B (zh) * 2020-11-25 2023-01-24 上海哔哩哔哩科技有限公司 全景视频渲染方法及系统
CN112634426B (zh) * 2020-12-17 2023-09-29 深圳万兴软件有限公司 多媒体数据显示的方法、电子设备及计算机存储介质
CN112767518B (zh) * 2020-12-22 2023-06-06 北京淳中科技股份有限公司 虚拟动画特效制作方法、装置及电子设备
CN114064039A (zh) * 2020-12-22 2022-02-18 完美世界(北京)软件科技发展有限公司 一种渲染管线的创建方法、装置、存储介质及计算设备
CN112822397B (zh) * 2020-12-31 2022-07-05 上海米哈游天命科技有限公司 游戏画面的拍摄方法、装置、设备及存储介质
CN112686939B (zh) * 2021-01-06 2024-02-02 腾讯科技（深圳）有限公司 景深图像的渲染方法、装置、设备及计算机可读存储介质
WO2023070387A1 (zh) * 2021-10-27 2023-05-04 深圳市大疆创新科技有限公司 一种图像处理方法、装置、拍摄设备及可移动平台
CN114661263B (zh) * 2022-02-25 2023-06-20 荣耀终端有限公司 一种显示方法、电子设备及存储介质
CN114900731B (zh) * 2022-03-31 2024-04-09 咪咕文化科技有限公司 视频清晰度切换方法及装置
CN114782612A (zh) * 2022-04-29 2022-07-22 北京字跳网络技术有限公司 图像渲染方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017123340A1 (en) * 2016-01-12 2017-07-20 Qualcomm Incorporated Systems and methods for rendering multiple levels of detail
CN107194890A (zh) * 2017-05-18 2017-09-22 上海兆芯集成电路有限公司 使用多分辨率改善图像质量的方法及装置
WO2018100377A1 (en) * 2016-11-30 2018-06-07 Cambridge Enterprise Limited Multi-dimensional display

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8497865B2 (en) * 2006-12-31 2013-07-30 Lucid Information Technology, Ltd. Parallel graphics system employing multiple graphics processing pipelines with multiple graphics processing units (GPUS) and supporting an object division mode of parallel graphics processing using programmable pixel or vertex processing resources provided with the GPUS
US10025060B2 (en) * 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset
US20170337728A1 (en) * 2016-05-17 2017-11-23 Intel Corporation Triangle Rendering Mechanism
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
US10255714B2 (en) * 2016-08-24 2019-04-09 Disney Enterprises, Inc. System and method of gaze predictive rendering of a focal area of an animation
CN109901710B (zh) * 2016-10-19 2020-12-01 腾讯科技（深圳）有限公司 媒体文件的处理方法和装置、存储介质及终端
CN106780642B (zh) * 2016-11-15 2020-07-10 网易（杭州）网络有限公司 迷雾遮罩贴图的生成方法及装置
US10410349B2 (en) * 2017-03-27 2019-09-10 Microsoft Technology Licensing, Llc Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
CN107203270A (zh) * 2017-06-06 2017-09-26 歌尔科技有限公司 Vr图像处理方法及装置
CN107392986B (zh) * 2017-07-31 2021-03-16 杭州电子科技大学 一种基于高斯金字塔和各向异性滤波的图像景深渲染方法
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN107633497A (zh) * 2017-08-31 2018-01-26 成都通甲优博科技有限责任公司 一种图像景深渲染方法、系统及终端
US10621784B2 (en) * 2017-09-29 2020-04-14 Sony Interactive Entertainment America Llc Venue mapping for virtual reality spectating of live events
US10553016B2 (en) * 2017-11-15 2020-02-04 Google Llc Phase aligned foveated rendering
CN109242943B (zh) * 2018-08-21 2023-03-21 腾讯科技（深圳）有限公司 一种图像渲染方法、装置及图像处理设备、存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017123340A1 (en) * 2016-01-12 2017-07-20 Qualcomm Incorporated Systems and methods for rendering multiple levels of detail
WO2018100377A1 (en) * 2016-11-30 2018-06-07 Cambridge Enterprise Limited Multi-dimensional display
CN107194890A (zh) * 2017-05-18 2017-09-22 上海兆芯集成电路有限公司 使用多分辨率改善图像质量的方法及装置

Also Published As

Publication number Publication date
EP3757944A4 (en) 2021-09-01
EP3757944A1 (en) 2020-12-30
US20210027541A1 (en) 2021-01-28
CN109242943A (zh) 2019-01-18
WO2020038407A1 (zh) 2020-02-27
US11295528B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
CN109242943B (zh) 一种图像渲染方法、装置及图像处理设备、存储介质
KR102096730B1 (ko) 이미지 디스플레이 방법, 곡면을 가지는 불규칙 스크린을 제조하기 위한 방법 및 헤드-장착 디스플레이 장치
WO2017113681A1 (zh) 一种基于虚拟现实技术的视频图像处理方法及装置
US9105117B2 (en) Methods and apparatus for coherent manipulation and stylization of stereoscopic images
US20020118217A1 (en) Apparatus, method, program code, and storage medium for image processing
JP2020533710A (ja) 画像ステッチング方法および装置、記憶媒体
KR20190138896A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
KR20050004124A (ko) 흐림 생성 방법
JP2005252459A (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
CN109660783A (zh) 虚拟现实视差校正
US9734551B1 (en) Providing depth-of-field renderings
US10957063B2 (en) Dynamically modifying virtual and augmented reality content to reduce depth conflict between user interface elements and video content
US10885651B2 (en) Information processing method, wearable electronic device, and processing apparatus and system
JP7392105B2 (ja) 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体
TW200820128A (en) Re-render acceleration of frame with lighting change
CN111295693B (zh) 影像处理方法及装置
GB2546720A (en) Method of and apparatus for graphics processing
US11288774B2 (en) Image processing method and apparatus, storage medium, and electronic apparatus
KR102091860B1 (ko) 영상 부호화 방법 및 장치
JP6947939B2 (ja) 画像生成装置、画像生成方法及びプログラム
Liu et al. Stereo-based bokeh effects for photography
KR101991401B1 (ko) 증강 현실 표시 방법 및 장치
CN109104627B (zh) 安卓电视的焦点背景生成方法、存储介质、设备及系统
TW202240547A (zh) 採用傾斜多視像影像匯聚平面的多視像顯示系統和方法
CN114637391A (zh) 基于光场的vr内容处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant