CN116450002A - Vr图像处理方法、装置、电子设备及可读存储介质 - Google Patents

Vr图像处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN116450002A
CN116450002A CN202310361599.0A CN202310361599A CN116450002A CN 116450002 A CN116450002 A CN 116450002A CN 202310361599 A CN202310361599 A CN 202310361599A CN 116450002 A CN116450002 A CN 116450002A
Authority
CN
China
Prior art keywords
image
rendered
view
rendering
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310361599.0A
Other languages
English (en)
Inventor
柯巾晶
余系东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202310361599.0A priority Critical patent/CN116450002A/zh
Publication of CN116450002A publication Critical patent/CN116450002A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种VR图像处理方法、装置、电子设备及可读存储介质，属于图像处理领域。该方法包括：获取目标区域的图像，基于该图像的深度信息确定待渲染对象的渲染权重系数，按照上述渲染权重系数，将上述待渲染对象融合到VR虚拟视图中进行渲染显示；其中，上述目标区域的图像包括第一视角下的第一视图和第二视角下的第二视图；上述VR虚拟视图包括第一视角下的第一虚拟视图和第二视角下的第二虚拟视图。该方法能提升彩色透视的空间效果，同时减小全彩透视色彩渲染对生成画面延迟的影响。

Description

VR图像处理方法、装置、电子设备及可读存储介质
技术领域
本申请属于图像处理领域，具体涉及一种VR图像处理方法、装置、电子设备及可读存储介质。
背景技术
随着虚拟现实(virtual reality，VR)行业的发展，透视技术逐渐被应用在VR头显中，因其是VR设备在AR功能上的探索，也是打开虚实融合的入口，该技术持续受到业界较高的关注。透视功能目前主要的应用场景是在用户接近虚拟空间安全边界时透过头显显示周围真实的世界，以便用户能够及时感知身处的物理环境，保障用户的安全性。
目前，市面上的VR设备厂商主要采用视频透视技术。然而受限于硬件端如摄像头和软件端如算法算力，VR厂商目前主要采用黑白透视。黑白透视对于用户的整体观感和体验较差，全彩透视是对黑白透视的一个大的改进，指将真实世界和虚拟世界合成后，显示富有丰富色彩的画面。然而，在全彩透视中，在对全彩透视画面进行渲染时，得到的全彩透视画面会存在较大的延迟，导致全彩透视画面的显示效果较差，因此，如何改善全彩透视画面的延迟成为待解决的问题。
发明内容
本申请实施例的目的是提供一种VR图像处理方法、装置、电子设备及可读存储介质，能够解决在对全彩透视画面进行渲染时，得到的全彩透视画面会存在较大的延迟的问题。
第一方面，本申请实施例提供了一种VR图像处理方法，该方法包括：获取目标区域的图像，基于该图像的深度信息确定待渲染对象的渲染权重系数，按照上述渲染权重系数，将上述待渲染对象融合到VR虚拟视图中进行渲染显示；其中，上述目标区域的图像包括第一视角下的第一视图和第二视角下的第二视图；上述VR虚拟视图包括第一视角下的第一虚拟视图和第二视角下的第二虚拟视图。
第二方面，本申请实施例提供了一种图像处理装置，该装置包括：获取模块、确定模块和处理模块，其中：上述获取模块，用于获取目标区域的图像；上述确定模块，用于基于上述获取模块获取的图像的深度信息确定待渲染对象的渲染权重系数；上述处理模块，用于按照确定模块确定的渲染权重系数，将待渲染对象融合到VR虚拟视图中进行渲染显示；其中，上述目标区域的图像包括第一视角下的第一视图和第二视角下的第二视图；上述VR虚拟视图包括第一视角下的第一虚拟视图和第二视角下的第二虚拟视图。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，VR图像处理装置获取目标区域的图像，并基于该图像的深度信息确定待渲染对象的渲染权重系数，然后基于该渲染权重系数，将待渲染对象融合到VR虚拟视图中进行渲染显示，其中，上述目标区域的图像包括第一视角下的第一视图和第二视角下的第二视图，上述VR虚拟视图包括第一视角下的第一虚拟视图和第二视角下的第二虚拟视图。通过该方法，VR图像处理装置可以基于不同视角下的获取的真实环境的图像的深度信息，确定待渲染对象的渲染权重系数，并根据待渲染对象的渲染权重系数，将不同视角下的真实环境的图像融合到对应的虚拟图像中进行渲染显示，如此，能够按照图像中的不同待渲染对象的渲染权重系数，分别对不同待渲染对象进行渲染显示，相比于常规的渲染方式，能够降低图像数据渲染成虚拟对象对算力的要求，改善用户视觉上产生的画面延迟，从而能够一定程度上减少虚实融合的画面延迟。
附图说明
图1为本申请实施例提供的VR图像处理方法的示意图之一；
图2为本申请实施例提供的VR图像处理方法的示意图之二；
图3为本申请实施例提供的VR图像处理方法的示意图之三；
图4为本申请实施例提供的VR图像处理方法的示意图之四；
图5为本申请实施例提供的VR图像处理方法的示意图之五；
图6为本申请实施例提供的VR图像处理方法的示意图之六；
图7为本申请实施例提供的图像融合处理过程的示意图之一；
图8为本申请实施例提供的图像融合处理过程的示意图之二；
图9为本申请实施例提供的图像融合处理过程的示意图之三；
图10为本申请实施例提供的渲染权重系数确定过程的示意图；
图11为本申请实施例提供的VR图像处理装置的示意图；
图12为本申请实施例提供的电子设备的结构示意图；
图13为本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的VR图像处理方法进行详细地说明。
随着VR行业的发展，透视技术逐渐被应用在VR头显中，因其是VR设备在AR功能上的探索，也是打开虚实融合的入口，该技术持续受到业界较高的关注。透视功能目前主要的应用场景是在用户接近虚拟空间安全边界时透过头显显示周围真实的世界，以便用户能够及时感知身处的物理环境，保障用户的安全性。透视功能分为光学透视和视频透视，光学透视(Optical See-Through，OST)指通过特殊的透镜设计将画面投射到半透明的显示装置；视频透视(Video See-Through，VST)指通过相机捕捉周围环境的实时画面，与虚拟世界画面融合处理之后呈现在不透明的显示器上。由于光学透视的光路设计复杂、光学零部件成本造价较高、透视效果受制于光线等原因，市面上的VR设备厂商主要采用视频透视技术。然而受限于硬件端如摄像头和软件端如算法算力，VR厂商目前主要采用黑白透视。黑白透视对于用户的整体观感和体验较差，全彩透视是对黑白透视的一个大的改进，指将真实世界和虚拟世界合成后，显示富有丰富色彩的画面。
然而全彩透视在硬件方面需要摄像头的升级，如使用RGB摄像头，以及配备TOF(Time of Flight，飞行时间)深度传感器；在软件方面需要算法提升和算力提高。具体来说，全彩透视在硬件上的技术难点有怎么进行相机布署解决人眼跟相机拍摄角度的视角差异,因为摄像头一般布署在用户眼睛的左右上下侧；以及减少相机获取图像数据的延时。全彩透视在软件上的难点如通过渲染技术改善全彩透视画面的延迟、提高虚拟世界物体与现实环境物体的配准性等。
为了提升彩色透视的空间效果，同时减小全彩透视色彩渲染对生成画面延迟的影响，本申请提供的VR图像处理方法中，图像处理装置根据图像深度信息和梯度信息来计算渲染对象的权重，对获取的图像数据需要渲染的对象和因素进行权重排序，选取权重较高的对象和因素进行优先和高分辨率渲染，权重较低因素进行靠后和低分辨率渲染。由于人眼在真实环境下对颜色的感知受到空间纵深的影响，例如对近处物体感知颜色丰富而饱和，纹理感知细腻，然而对远处的物体的色彩感知和纹理感知较为模糊。因此可以根据深度摄像头捕捉到的深度信息对彩色图像数据进行渲染对象权重计算和分级。本发明在降低渲染负荷的同时，通过渲染分级加强了VR设备使用者对物理环境空间感的感知。
图1为本申请实施例提供的VR图像处理方法的流程图。如图1所示，该VR图像处理方法可以包括以下步骤S201至步骤S203：
步骤S201：获取目标区域的图像。
其中，上述目标区域的图像可以包括第一视角下的第一视图和第二视角下的第二视图。
可选地，上述第一视角可以为左视角，第一视图可以为左目图像，上述第二视角可以为右视角，第二视图可以为右目图像；或者，上述第一视角可以为右视角，第一视图可以为右目图像，上述第二视角可以为左视角，第二视图可以为左目图像。
需要说明的是，左目图像也可以称为左视角图像，右目图像也可以称为右视角图像。基于左目图像和右目图像，可以得到具有3D立体效果的图像画面，从而能够带给用户身临其境的视觉感受。
可选地，在本申请实施例中，可以通过双目摄像头对目标区域进行拍摄得到的目标区域的左视图和右视图，或者通过普通摄像头分别采集左视图和右视图，然后对左视图和右视图和对应视角的下的深度图进行图像融合，得到上述第一视图和第二视图。
示例性地，上述普通摄像头可以为单目摄像头。
可以理解，上述第一视图和第二视图包含颜色信息和深度信息。
步骤S202：基于图像的深度信息确定待渲染对象的渲染权重系数。
可选地，在本申请实施例中，上述待渲染对象可以包括第一视图中的对象和第二视图中的对象。示例性地，上述待渲染对象可以为第一视图或第二视图中的人物图像、建筑图像、风景图像等，需要说明的是，上述待渲染对象可以为第一视图或第二视图中任意需要在显示屏进行渲染显示的对象，本申请实施例对此不作限定。
可选地，在本申请实施例中，上述待渲染对象可以包括一个或者多个待渲染对象。
可选地，在本申请实施例中，图像处理装置可以根据图像的深度信息来分配待渲染对象的渲染权重系数。
可选地，深度信息可以分成三个等级，即，深度信息大于或等于第一阈值、深度信息小于第一阈值且大于或等于第二阈值、深度信息小于第二阈值。
可以理解，图像的深度信息包含与视点的场景对象的表面的距离有关的信息，可以反映景深的远近。例如，第一视图的深度信息可以用于表征采集第一视图的摄像头到场景中各点的距离，换言之，第一视图的深度信息可以用于表征成像平面到场景中各点的景深。
为了便于描述，深度信息的三个等级可以记为距离靠远、距离靠中和距离靠近。
可选地，在本申请实施例中，上述待渲染对象的渲染权重系数可以表征在渲染过程中，对该待渲染对象渲染进行渲染的渲染权重或优先级。
可选地，在本申请实施例中，图像处理装置可以基于该第一视图中各个像素点的像素值获取第一视图的深度信息；或者，图像处理装置可以利用单目深度网络模型对第一视图进行深度预测，得到该第一视图的深度信息。可选地，上述单目深度网络模型可以为MiDas(Mixed Data Sampling，混合数据抽样)网络，或者为其他网络，本申请实施例对此不作限定。
步骤S203：按照渲染权重系数，将待渲染对象融合到VR虚拟视图中进行渲染显示。
其中，上述VR虚拟视图包括第一视角下的第一虚拟视图和第二视角下的第二虚拟视图。
可选地，在本申请实施例中，上述第一虚拟视图和第二虚拟视图可以为虚拟现实场景的虚拟图像。
需要说明的是，上述第一视角和第二视角的描述可以参见上文，此处不再赘述。
可选地，在本申请实施例中，VR图像处理装置可以采用3D投影、视图融合以及插值技术将将待渲染对象融合到VR虚拟视图中。示例性地，先确定待渲染对象对应的像素点，再将该像素点映射到虚拟图像中，然后在使用双线性插值填充其内部像素点，生成待渲染对象和VR虚拟视图的组合图像并保证映射后的图像的连续性。
需要说明的是，上述待渲染对象和VR虚拟视图的组合图像可以理解为包含待渲染对象和虚拟环境的组合场景。
可选地，在本申请实施例中，VR图像处理装置在生成真实世界中的待渲染对象和VR虚拟视图的组合图像的情况下，可以根据待渲染对象的渲染权重系数对该待渲染对象和VR虚拟视图的组合图像进行渲染显示，得到虚拟现实场景画面，从而允许用户与包含在虚拟环境中的真实世界对象交互。也就是说，VR图像处理装置可以根据真实世界对象的渲染权重系数，渲染包含真实世界对象的虚拟场景，如此，能够将真实对象和虚拟画面进行合成，显示富有丰富色彩的画面，使得在用户接近虚拟空间安全边界时透过头显显示周围真实的世界，以便用户能够及时感知身处的物理环境，保障用户的安全性。
进一步可选地，在将多个待渲染对象融合到VR虚拟视图中进行渲染显示时，VR图像处理装置可以获取该多个待渲染对象的渲染权重系数，优先对渲染权重较大的待渲染对象进行渲染，并对渲染权重较大的待渲染对象采用高分辨率渲染，然后再渲染权重较小的待渲染对象，并对权重较小的待渲染对象采用低分辨率渲染，从而根据待渲染对象的渲染权重合理分配渲染算力，提高图像渲染效果。如此，根据不同真实世界对象的渲染权重系数对真实世界对象分别有针对性地进行渲染显示，能够有效降低用户视觉上的画面延迟，从而提高用户体验。
可选地，在本申请实施例中，VR图像处理装置可以将第一视图对应的待渲染对象融合到对应的VR虚拟视图，得到第一组合图像，并将第二视图对应的待渲染对象融合到对应的VR虚拟视图，得到第二组合图像，然后对上述第一组合图像和第二组合图像进行图像配准，确定第一组合图像和第二组合图像视差图，并基于该视差图分别对第一组合图像和第二组合图像渲染显示，来完成两个视角的视图合成，从而在渲染后呈现出三维立体图像。如此，通过呈现包含真实对象和虚拟画面的三维立体画面，提高用户对物理环境空间感的感知和反应，从而提高用户体验。
本申请实施例提供的VR图像处理方法，VR图像处理装置获取目标区域的图像，并基于该图像的深度信息确定待渲染对象的渲染权重系数，然后基于该渲染权重系数，将待渲染对象融合到VR虚拟视图中进行渲染显示，其中，上述目标区域的图像包括第一视角下的第一视图和第二视角下的第二视图，上述VR虚拟视图包括第一视角下的第一虚拟视图和第二视角下的第二虚拟视图。通过该方法，VR图像处理装置可以基于不同视角下的获取的真实环境的图像的深度信息，确定待渲染对象的渲染权重系数，并根据待渲染对象的渲染权重系数，将不同视角下的真实环境的图像融合到对应的虚拟图像中进行渲染显示，如此，能够按照图像中的不同待渲染对象的渲染权重系数，分别对不同待渲染对象进行渲染显示，相比于常规的渲染方式，能够降低图像数据渲染成虚拟对象对算力的要求，改善用户视觉上产生的画面延迟，从而能够一定程度上减少虚实融合的画面延迟。
图2为本申请实施例提供的另一种VR图像处理方法的示意图，结合上述图1，如图2所示，上述步骤S202中基于图像的深度信息确定待渲染对象的渲染权重系数可以包括以下步骤S202a1和步骤S202a2：
步骤S202a1：根据深度信息确定待渲染对象的距离信息。
步骤S202a2：基于距离信息和待渲染对象所在图像区域的梯度值，确定待渲染对象的渲染权重系数。
可选地，上述距离信息可以为景深距离，用于表征待渲染对象与成像平面之间的距离，换言之，其可以用于表征用户视觉上感知到的该待渲染对象的远近。
在一些实施例中，VR图像处理装置可以基于目标区域图像的深度信息确定待渲染对象的深度信息，根据待渲染对象的深度信息确定待渲染对象的景深距离，即距离信息。
示例性地，VR图像处理装置获取待渲染对象所在图像区域的上各个像素点i的深度信息pi(x，y)，根据各个像素点i的深度信息pi(x，y)计算出该待渲染对象的深度信息的均值作为上述景深距离。
可选地，待渲染对象所在图像区域的梯度值可以表征待渲染对象所在图像区域的变化速度。
需要说明的是，图像的梯度值的大小可以反映图像的变化大小，一个像素点对应一个梯度值，梯度值大的图像区域的变化较大。
可选地，VR图像处理装置可以获取图像的每个像素点处的梯度值，并基于每个像素点处的梯度值确定待渲染对象所在的图像区域的梯度值。可选地，在待渲染对象所在图像区域像素点对应的梯度值整体较大时，对该待渲染对象进行优先渲染。
可选地，可以将梯度信息分成两个等级，即梯度值大于或者等于第一阈值，梯度值小于第一阈值。
为了便于描述，梯度信息的两个等级可以记为梯度较大和梯度较小。
在一些实施例中，在根据距离信息和梯度值为待渲染对象分配渲染权重系数时，深度信息可以优先于梯度值。示例性地，可将检测到的渲染范围分为六个等级分配最高到最低的渲染权重，渲染权重由高至低依次为：距离靠前及梯度值大的物体、距离靠前及梯度值小的物体、距离靠中及梯度值大的物体、距离靠中及梯度值小的物体、距离靠后及梯度值大的物体、距离靠后及梯度值小的物体。例如，先渲染图像中距离摄像头较近且像素灰度值变化较大的对象。
如此，VR图像处理装置可以基于待渲染对象的图像深度和梯度值确定待渲染对象的渲染权重系数，从而能够基于多个待渲染对象的景深距离和变化快慢，分别对每个待渲染对象进行针对性地渲染，从而有效降低画面渲染延迟。
可选地，在本申请实施例中，上述待渲染对象包括至少两个待渲染对象。
图3为本申请实施例提供的另一种VR图像处理方法的示意图，结合上述图1，如图3所示，上述步骤S203可以包括以下步骤S203a1和步骤S203a2：
步骤S203a1：对上述至少两个待渲染对象按照渲染权重系数的高低进行排序。
其中，一个渲染权重系数对应至少一个待渲染对象。
步骤S203a2：按照渲染权重系数从高到低的顺序，依次将上述至少两个待渲染对象中的目标待渲染对象融合到VR虚拟视图中进行渲染显示。
在一些实施例中，VR图像处理装置可以根据渲染权重从大到小的顺序，依次渲染至少一个待渲染对象。也就是说，优先渲染权重较大的待渲染对象，再对渲染权重次大的待渲染对象进行渲染，最后对渲染权重最小的待渲染对象进行渲染。
进一步地，VR图像处理装置可以在对渲染权重靠前的待渲染对象整体渲染完成或者部分渲染完成的情况下，对渲染权重靠后的待渲染对象进行渲染。
示例性地，以第一视图中的至少一个待渲染对象包括人物、房屋和天空为例，由于人物、房屋和天空与摄像头在视觉上的距离为由近到远，上述至少一个待渲染对象的渲染权重从大到小依次可以为：人物、房屋和天空，图像处理装置在将该第一视图中的待渲染对象渲染至显示屏显示时，可以先渲染第一视图中距离较近的人物，在将人物渲染完成后，再渲染距离较远的房屋，最后再渲染距离最远的天空。
可以理解，人物、房屋和天空等待渲染对象与摄像头在视觉上的距离也可以理解为与观看该待渲染对象的人眼在视觉上的距离。
如此，VR图像处理装置可以优先渲染图像中距离靠前的物体，将距离较远的物体靠后渲染，由于人眼在真实环境下对颜色的感知受到空间纵深的影响，例如对近处物体感知颜色丰富而饱和，纹理感知细腻，然而对远处的物体的色彩感知和纹理感知较为模糊。因此可以根据深度摄像头捕捉到的深度信息对彩色图像数据进行渲染对象权重计算和分级，并按照待渲染对象的渲染权重的大小，按照一定的顺序对多个待渲染对象进行渲染，从而有效减小画面延迟。
可选地，在本申请实施例中，上述待渲染对象包括至少两个待渲染对象。
图4为本申请实施例提供的另一种VR图像处理方法的示意图，结合上述图1，如图4所示，上述步骤S203可以包括以下步骤S203b1和步骤S203b2：
步骤S203b1：根据至少两个待渲染对象的渲染权重系数，确定上述至少两个待渲染对象的渲染分辨率。
步骤S203b2：按照上述至少两个待渲染对象的渲染分辨率，将至少两个待渲染对象融合到VR虚拟视图中进行渲染显示。
其中，渲染权重系数高的待渲染对象采用高分辨率渲染，渲染权重系数低的待渲染对象采用低分辨率渲染。
示例性地，VR图像处理装置可以根据渲染权重从大到小的顺序，采用由大到小的渲染分辨率对至少一个待渲染对象进行渲染。也就是说，对渲染权重较大的待渲染对象采用较大的渲染分辨率，对渲染权重较小的待渲染对象采用较小的渲染分辨率。
示例性地，在进行图像渲染时，可以对渲染权重大于或等于第一阈值的待渲染对象采用第一分辨率进行渲染，对渲染权重小于所述第一阈值的待渲染对象采用第二分辨率进行渲染，且第一分辨率大于第二分辨率。示例性地，第一分辨率可以为高分辨率，第二分辨率可以为低分辨率。
示例性地，以第一视图中的至少一个待渲染对象包括人物、溪流和森林为例，上述至少一个待渲染对象的渲染权重从大到小依次可以为：人物、溪流和森林，图像处理装置在将该第一视图中的待渲染对象渲染至显示屏显示时，可以先渲染第一视图中的人物，在将人物渲染完成后，再渲染溪流，并对人物和溪流采用高分辨率进行渲染，最后再渲染森林，并对森林采用低分辨率进行渲染。
如此，VR图像处理装置可以获取的图像数据需要渲染的对象进行权重排序，根据权重高低分配渲染算力，选取权重较高的对象和因素进行优先和高分辨率渲染，权重较低因素进行靠后和低分辨率渲染，从而降低图像数据渲染成虚拟现实场景对算力的要求，能一定程度上减少虚实融合的画面延迟。
图5为本申请实施例提供的另一种VR图像处理方法的示意图，结合上述图1，如图5所示，上述步骤S201可以包括以下步骤S201a1和步骤S201a2：
步骤S201a1：通过彩色摄像头采集目标区域在第一视角下的彩色图像和目标区域在第二视角下的彩色图像，并通过深度摄像头采集目标区域第一视角下与第二视角下的深度图像。
步骤S201a2：对第一视角下的彩色图像和对应的深度图像进行融合处理，得到第一视图，并对第二视角下的彩色图像和对应的深度图像进行融合处理，得到第二视图。
需要说明的是，对第一视角和第二视角的解释说明可以参见上文，此处不再赘述。
可选地，上述彩色摄像头可以为双目摄像头，通过该双目摄像头的一个镜头采集第一视角下的彩色图像，通过该双目摄像头的另一个镜头采集第二视角下的彩色图像；或者，上述彩色摄像头为单目摄像头，该彩色摄像头包括第一彩色摄像头和第二彩色摄像头，其中，通过第一彩色摄像头采集第一视角下的彩色图像，通过第二彩色摄像头采集第二视角下的彩色图像。
可以理解，可以通过双目摄像头的两个镜头或者两个普通摄像头分别获取目标区域在左右视角下的图像，从而在后续得到具有双目效应的图像。
示例性地，上述第一视角下的彩色图像可以为左目图像，上述第二视角下的彩色图像可以为右目图像。
可选地，上述深度摄像头可以为TOF摄像头。
示例性地，通过两个RGB摄像头获取图像两个视角下每个像素点的颜色信息，通过深度相机得到包括所有像素点对应的距离信息，并基于距离信息构成三维的灰度图，该灰度图中包括像素位置与该像素距离摄像头的距离。
需要说明的是，上述灰度图可以为深度图。
需要说明的是，本申请实施例通过不同摄像头分别获取图像视角、颜色、深度信息，从而能够获取到更全面的图像信息以便后续进行处理。
可选地，VR图像处理装置可以对第一视角下的彩色图像和对应的深度图进行深度信息融合，得到融合后的图像，即上述第一视图。具体地，图像处理装置可以根据深度图中各个像素点的图像深度信息，对彩色图像中对应的像素点进行深度信息补偿，得到包含图像深度的彩色图像。
需要说明的是，生成第二视图的过程可以参照上述生成第一视图的过程，此处不再赘述。
进一步地，在对彩色图像进行深度信息补偿时，对于彩色图像部分深度信息缺失的问题，可以对彩色图像对应坐标下进行深度信息的领域插值补偿。例如，在彩色图像中的部分像素点的在深度图中没有对应的像素点时，可以对彩色图像对应坐标下进行深度信息的领域插值补偿。具体地，可以使用KNN算法对深度数据进行领域填补，先根据欧式距离或相关分析来确定距离具有缺失数据样本最近的K个样本，然后通过这K个样本训练模型预测该点的深度缺失值。
需要说明的是，深度图和彩色图像中对应的像素点指的是空间中的同一点。TOF相机具有响应速度快，深度信息精度高，识别距离范围大，不易受环境光线干扰等优点。但是深度相机获取的深度图分辨率低，RGB相机获取的彩色图具有高分辨率。
如此，通过将两种图像信息进行像素级配准及融合处理，得到具备色彩信息和深度信息的图像，便于后续根据图像信息确定待渲染对象的渲染权重系数，从而便于针对性地对待渲染对象进行渲染显示。
图6为本申请实施例提供的另一种VR图像处理方法的示意图，结合上述图5，如图6所示，上述步骤S201a1之前，本申请实施例提供的VR图像处理方法还包括以下步骤S204至步骤S206：
步骤S204：对彩色摄像头和深度摄像头进行参数标定。
步骤S205：根据标定的参数，确定彩色摄像头与深度摄像头的相对变换关系。
步骤S206：根据上述相对变换关系，对彩色摄像头和深度摄像头进行视角融合。
以下以彩色摄像头为彩色相机的摄像头，上述深度摄像头为深度相机的摄像头对上述过程进行示例性说明。
首先，进行彩色相机和深度相机的内参标定工作，示例性地，采用圆形标定板，根据张正友标定法获取彩色相机内参Kr；同样采用张正友标定法获取深度相机内参Kd。两种相机的内参直接影响相机之间的对齐，即不同坐标系的相互转换。Pr和Pd分别为参照彩色相机坐标和深度相机坐标系的同一点的空间坐标，点Pr和Pd从相机坐标转换到像素坐标的内参矩阵如式1和式2所示：
Pcr＝KrPr (1)
Pcd＝KdPd (2)
根据同一场景的圆盘标定得到再分别得到彩色相机的外参矩阵与深度相机的外参矩阵。其中，彩色相机的外参矩阵可以包括旋转矩阵Rr与平移向量Tr，深度相机的外参矩阵可以包括旋转矩阵Rd与平移向量Td。点Pr与Pd从世界坐标(Pw)转换到相机坐标点的外参矩阵关系如式3和式4：
Pr＝RrPw+Tr (3)
Pd＝RdPw+Td (4)
其次，对深度相机和彩色相机进行配准对齐。根据标定的参数，计算彩色相机与深度相机的坐标变换关系矩阵，确定相对变换关系，如式5，R为深度相机坐标到彩色相机坐标系的旋转矩阵，T为平移向量：
Pr＝RPd+T (5)
根据上述式4，可得到以下式(6)，
Pw＝Rd -1Pd-Rd -1Td (6)
将上述式(6)代入式(3)可以得到以下式(7)，
Pr＝RrRd -1Pd-RrRd -1Td+Tr (7)
结合式5可以得到以下式8和式9，
R＝RrRd -1 (8)
T＝Tr-RTd (9)
在根据上述公式确定彩色相机的坐标系和深度相机的坐标系的相对变换关系的情况下，可以根据坐标系之间的相对变换关系，对彩色相机得到的彩色图像和深度相机进行视角融合，以在后续采集得到同一视角下像素点具有对应关系的彩色图像和深度图。
可以理解，同一点的空间坐标，在不同坐标系下的坐标可能不同，因此，对同一拍摄对象采集的彩色图像和深度图中，空间中同一点的像素坐标不同。
需要说明的是，内参关系到坐标系，外参关系到图像的旋转量和平移量，内参标定的目的包括确定两张图像的坐标系的转换关系，也就是说，根据采集图像的相机的参数，确定两张图像在不同坐标系的转换关系，来确定空间中同一点在不同图像中的坐标的关系。
如此，通过将彩色摄像头和深度摄像头进行视角融合，使得后续可以拍摄得到同一视角下像素点具有对应关系的彩色图和深度图，从而能够便于生成具有彩色信息和深度信息的RGBD图像。
图7为本申请实施例提供的图像融合处理过程的示意图，如图7所示，上述图像融合过程可以包括以下步骤S201b1和步骤S201b2：
步骤S201b1：对第一视角下的彩色图像和对应的深度图像进行图像配准处理。
步骤S201b2：基于配准后的彩色图像和对应的深度图像中像素点的对应关系，对彩色图像和所述对应的深度图像进行图像融合，得到第一视图。
需要说明的是，上述步骤S201a2中对第一视角下的彩色图像和对应的深度图像进行融合处理，得到第一视图的过程可以通过上述步骤S201b1和步骤S201b2实现。
图8为本申请实施例提供的另一种图像融合处理过程的示意图，如图8所示，上述图像融合过程可以包括以下步骤S201b1和步骤S201b2：
步骤S201c1：对第二视角下的彩色图像和对应的深度图像进行图像配准处理。
步骤S201c2：基于配准后的彩色图像和对应的深度图像中像素点的对应关系，对彩色图像和对应的深度图像进行图像融合，得到第二视图。
需要说明的是，上述步骤S201a2中对第二视角下的彩色图像和对应的深度图像进行融合处理，得到第二视图的过程可以通过上述步骤S201c1和步骤S202c2实现。
示例性地，VR图像处理装置可以根据彩色图像和深度图中的各个像素点的像素值，确定彩色图和深度图中对应的像素点，对彩色相机得到的彩色图像和深度相机得到的深度图进行图像配准对齐，以进行后续彩色图像和深度图的融合处理。
可以理解，同一点的空间坐标，在不同坐标系下的坐标可能不同，因此，对同一拍摄对象采集的彩色图像和深度图中，空间中同一点的像素坐标可能不同，因此需要对图像进行配准对齐。
示例性地，VR图像处理装置可以根据深度图中各个像素点的深度信息，对彩色图像中对应的像素点进行深度信息补偿，得到具有深度信息的彩色图像。
如此，通过将不同相机采集的彩色图像和深度图进行图像融合，得到RGBD图像，并根据图像的深度信息来计算图像中待渲染对象的渲染权重，从而降低图像数据渲染成虚拟对象对算力的要求，一定程度上减少虚实融合的画面延迟。
图9为本申请实施例提供的另一种图像融合处理过程的示意图，如图9所示，图像融合的过程可以包括以下步骤A1至步骤A3：
步骤A1：计算彩色图像和深度图的相对变换关系。
步骤A2：对彩色图像和深度图进行特征点配准对齐。
示例性地，VR图像处理装置可以基于彩色图像和深度图的相对变换关系对彩色图像和深度图进行特征点配准对齐。
步骤A3：对彩色图像进行深度邻域插值补偿。
示例性地，VR图像处理装置可以对彩色图像对应坐标下进行深度信息的领域插值补偿，得到具有深度信息的彩色图像。
需要说明的是，上述步骤S201a1和步骤S201a2中的图像融合过程可以通过上述步骤A1至步骤A3实现。
需要说明的是，上述图像融合过程的具体实施方式可以参见上文，此处不再赘述。
图10为本申请实施例提供的渲染权重系数确定过程的示意图，如图10所示，上述渲染权重系数确定过程可以包括以下步骤B1至步骤B3：
步骤B1：通过卷积算法计算图像梯度。
步骤B2：设置深度信息的等级和梯度的等级。
示例性地，深度信息可以包括三个等级，梯度信息可以包括两个等级。
步骤B3：结合深度信息和梯度分配对象的渲染权重系数。
示例性地，结合上述深度信息的三个等级和梯度信息的两个等级，并设置深度信息优先于梯度，可分为六个等级分配最高到最低的渲染权重，依次是：距离靠前及梯度值大的物体、距离靠前及梯度值小的物体、距离靠中及梯度值大的物体、距离靠中及梯度值小的物体、距离靠后及梯度值大的物体、距离靠后及梯度值小的物体。
需要说明的是，上述步骤S202的确定渲染权重系数的过程可以通过上述步骤B1至步骤B3实现。
需要说明的是，上述渲染权重系数确定过程的具体实施方式可以参见上文，此处不再赘述。
本申请实施例提供的图像渲染方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像渲染方法为例，说明本申请实施例提供的图像处理装置。
图11为本申请实施例提供的VR图像处理装置的结构示意图，如图9所示，图像处理装置900可以包括获取模块901、确定模块902和处理模块903，其中：
上述获取模块901，用于获取目标区域的图像；上述确定模块902，用于基于获取模块获取的图像的深度信息确定待渲染对象的渲染权重系数；上述处理模块903，用于按照上述确定模块确定的渲染权重系数，将待渲染对象融合到VR虚拟视图中进行渲染显示；其中，上述目标区域的图像包括第一视角下的第一视图和第二视角下的第二视图；上述VR虚拟视图包括第一视角下的第一虚拟视图和第二视角下的第二虚拟视图。
可选地，在本申请实施例中，上述确定模块，具体用于根据上述深度信息确定待渲染对象的距离信息；上述确定模块，具体用于基于上述距离信息和上述待渲染对象所在图像区域的梯度值，确定上述待渲染对象的渲染权重系数。
可选地，在本申请实施例中，上述待渲染对象包括至少两个待渲染对象；上述处理模块，具体用于对上述至少两个待渲染对象按照渲染权重系数的高低进行排序，一个渲染权重系数对应至少一个待渲染对象；上述处理模块，具体用于按照渲染权重系数从高到低的顺序，依次将上述至少两个待渲染对象中的目标待渲染对象融合到VR虚拟视图中进行渲染显示。
可选地，在本申请实施例中，上述待渲染对象包括至少两个待渲染对象；上述处理模块，具体用于根据上述至少两个待渲染对象的渲染权重系数，确定上述至少两个待渲染对象的渲染分辨率；上述处理模块，具体用于按照上述至少两个待渲染对象的渲染分辨率，将上述至少两个待渲染对象融合到VR虚拟视图中进行渲染显示；其中，渲染权重系数高的待渲染对象采用高分辨率渲染，渲染权重系数低的待渲染对象采用低分辨率渲染。
可选地，在本申请实施例中，上述获取模块，具体用于通过彩色摄像头采集上述目标区域在第一视角下的彩色图像和上述目标区域在第二视角下的彩色图像，并通过深度摄像头采集上述目标区域第一视角下与第二视角下的深度图像；上述处理模块，具体用于对上述第一视角下的彩色图像和对应的上述深度图像进行融合处理，得到上述第一视图，并对上述第二视角下的彩色图像和对应的上述深度图像进行融合处理，得到上述第二视图。
可选地，在本申请实施例中，上述处理模块，还用于对上述彩色摄像头和上述深度摄像头进行参数标定；上述确定模块，还用于根据标定的参数，确定上述彩色摄像头与上述深度摄像头的相对变换关系；上述处理模块，还用于根据上述确定模块确定的上述相对变换关系，对上述彩色摄像头和上述深度摄像头进行视角融合。
可选地，在本申请实施例中，上述处理模块，具体用于对上述第一视角下的彩色图像和对应的深度图像进行图像配准处理；上述处理模块，具体用于基于配准后的上述彩色图像和上述对应的深度图像中像素点的对应关系，对上述彩色图像和上述对应的深度图像进行图像融合，得到上述第一视图；上述处理模块，具体用于对上述第二视角下的彩色图像和对应的深度图像进行图像配准处理；上述处理模块，具体用于基于配准后的上述彩色图像和上述对应的深度图像中像素点的对应关系，对上述彩色图像和上述对应的深度图像进行图像融合，得到上述第二视图。
本申请实施例提供的VR图像处理装置，VR图像处理装置获取目标区域的图像，并基于该图像的深度信息确定待渲染对象的渲染权重系数，然后基于该渲染权重系数，将待渲染对象融合到VR虚拟视图中进行渲染显示，其中，上述目标区域的图像包括第一视角下的第一视图和第二视角下的第二视图，上述VR虚拟视图包括第一视角下的第一虚拟视图和第二视角下的第二虚拟视图。通过该方法，VR图像处理装置可以基于不同视角下的获取的真实环境的图像的深度信息，确定待渲染对象的渲染权重系数，并根据待渲染对象的渲染权重系数，将不同视角下的真实环境的图像融合到对应的虚拟图像中进行渲染显示，如此，能够按照图像中的不同待渲染对象的渲染权重系数，分别对不同待渲染对象进行渲染显示，相比于常规的渲染方式，能够降低图像数据渲染成虚拟对象对算力的要求，改善用户视觉上产生的画面延迟，从而能够一定程度上减少虚实融合的画面延迟。
本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1至图10的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图12所示，本申请实施例还提供一种电子设备1000，包括处理器1001和存储器1002，存储器1002上存储有可在所述处理器1001上运行的程序或指令，该程序或指令被处理器1001执行时实现上述VR图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图13为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。
本领域技术人员可以理解，电子设备100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图13中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，上述处理器110，用于获取目标区域的图像；上述处理器110，用于基于处理器110获取的图像的深度信息确定待渲染对象的渲染权重系数；上述处理器110，用于按照上述处理器110确定的渲染权重系数，将待渲染对象融合到VR虚拟视图中进行渲染显示；其中，上述目标区域的图像包括第一视角下的第一视图和第二视角下的第二视图；上述VR虚拟视图包括第一视角下的第一虚拟视图和第二视角下的第二虚拟视图。
可选地，在本申请实施例中，上述处理器110，具体用于根据上述深度信息确定待渲染对象的距离信息；上述处理器110，具体用于基于上述距离信息和上述待渲染对象所在图像区域的梯度值，确定上述待渲染对象的渲染权重系数。
可选地，在本申请实施例中，上述待渲染对象包括至少两个待渲染对象；上述处理器110，具体用于对上述至少两个待渲染对象按照渲染权重系数的高低进行排序，一个渲染权重系数对应至少一个待渲染对象；上述处理器110，具体用于按照渲染权重系数从高到低的顺序，依次将上述至少两个待渲染对象中的目标待渲染对象融合到VR虚拟视图中进行渲染显示。
可选地，在本申请实施例中，上述待渲染对象包括至少两个待渲染对象；上述处理器110，具体用于根据上述至少两个待渲染对象的渲染权重系数，确定上述至少两个待渲染对象的渲染分辨率；上述处理器110，具体用于按照上述至少两个待渲染对象的渲染分辨率，将上述至少两个待渲染对象融合到VR虚拟视图中进行渲染显示；其中，渲染权重系数高的待渲染对象采用高分辨率渲染，渲染权重系数低的待渲染对象采用低分辨率渲染。
可选地，在本申请实施例中，上述处理器110，具体用于通过彩色摄像头采集上述目标区域在第一视角下的彩色图像和上述目标区域在第二视角下的彩色图像，并通过深度摄像头采集上述目标区域第一视角下与第二视角下的深度图像；上述处理器110，具体用于对上述第一视角下的彩色图像和对应的上述深度图像进行融合处理，得到上述第一视图，并对上述第二视角下的彩色图像和对应的上述深度图像进行融合处理，得到上述第二视图。
可选地，在本申请实施例中，上述处理器110，还用于对上述彩色摄像头和上述深度摄像头进行参数标定；上述处理器110，还用于根据标定的参数，确定上述彩色摄像头与上述深度摄像头的相对变换关系；上述处理器110，还用于根据上述处理器110确定的上述相对变换关系，对上述彩色摄像头和上述深度摄像头进行视角融合。
可选地，在本申请实施例中，上述处理器110，具体用于对上述第一视角下的彩色图像和对应的深度图像进行图像配准处理；上述处理器110，具体用于基于配准后的上述彩色图像和上述对应的深度图像中像素点的对应关系，对上述彩色图像和上述对应的深度图像进行图像融合，得到上述第一视图；上述处理器110，具体用于对上述第二视角下的彩色图像和对应的深度图像进行图像配准处理；上述处理器110，具体用于基于配准后的上述彩色图像和上述对应的深度图像中像素点的对应关系，对上述彩色图像和上述对应的深度图像进行图像融合，得到上述第二视图。
本申请实施例提供的电子设备，电子设备获取目标区域的图像，并基于该图像的深度信息确定待渲染对象的渲染权重系数，然后基于该渲染权重系数，将待渲染对象融合到VR虚拟视图中进行渲染显示，其中，上述目标区域的图像包括第一视角下的第一视图和第二视角下的第二视图，上述VR虚拟视图包括第一视角下的第一虚拟视图和第二视角下的第二虚拟视图。通过该方法，电子设备可以基于不同视角下的获取的真实环境的图像的深度信息，确定待渲染对象的渲染权重系数，并根据待渲染对象的渲染权重系数，将不同视角下的真实环境的图像融合到对应的虚拟图像中进行渲染显示，如此，能够按照图像中的不同待渲染对象的渲染权重系数，分别对不同待渲染对象进行渲染显示，相比于常规的渲染方式，能够降低图像数据渲染成虚拟对象对算力的要求，改善用户视觉上产生的画面延迟，从而能够一定程度上减少虚实融合的画面延迟。
应理解的是，本申请实施例中，输入单元104可以包括图形处理器(GraphicsProcessing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072中的至少一种。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器109可以包括易失性存储器或非易失性存储器，或者，存储器109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器109包括但不限于这些和任意其它适合类型的存储器。
处理器110可包括一个或多个处理单元；可选的，处理器110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像渲染方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述VR图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述VR图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种虚拟现实VR图像处理方法，其特征在于，所述方法包括：
获取目标区域的图像；
基于所述图像的深度信息确定待渲染对象的渲染权重系数；
按照所述渲染权重系数，将所述待渲染对象融合到VR虚拟视图中进行渲染显示；
其中，所述目标区域的图像包括第一视角下的第一视图和第二视角下的第二视图；所述VR虚拟视图包括所述第一视角下的第一虚拟视图和所述第二视角下的第二虚拟视图。
2.根据权利要求1所述的方法，其特征在于，所述基于所述深度信息确定待渲染对象的渲染权重系数，包括：
根据所述深度信息确定待渲染对象的距离信息；
基于所述距离信息和所述待渲染对象所在图像区域的梯度值，确定所述待渲染对象的渲染权重系数。
3.根据权利要求1或2所述的方法，其特征在于，所述待渲染对象包括至少两个待渲染对象；所述按照所述渲染权重系数，将所述待渲染对象融合到VR虚拟视图中进行渲染显示，包括：
对所述至少两个待渲染对象按照渲染权重系数的高低进行排序，一个渲染权重系数对应至少一个待渲染对象；
按照渲染权重系数从高到低的顺序，依次将所述至少两个待渲染对象中的目标待渲染对象融合到VR虚拟视图中进行渲染显示。
4.根据权利要求1或2所述的方法，其特征在于，所述待渲染对象包括至少两个待渲染对象；所述按照所述渲染权重系数，将所述待渲染对象融合到VR虚拟视图中进行渲染显示，包括：
根据所述至少两个待渲染对象的渲染权重系数，确定所述至少两个待渲染对象的渲染分辨率；
按照所述至少两个待渲染对象的渲染分辨率，将所述至少两个待渲染对象融合到VR虚拟视图中进行渲染显示；
其中，渲染权重系数高的待渲染对象采用高分辨率渲染，渲染权重系数低的待渲染对象采用低分辨率渲染。
5.根据权利要求1所述的方法，其特征在于，所述获取目标区域的图像，包括：
通过彩色摄像头采集所述目标区域在第一视角下的彩色图像和所述目标区域在第二视角下的彩色图像，并通过深度摄像头采集所述目标区域第一视角下与第二视角下的深度图像；
对所述第一视角下的彩色图像和对应的所述深度图像进行融合处理，得到所述第一视图，并对所述第二视角下的彩色图像和对应的所述深度图像进行融合处理，得到所述第二视图。
6.根据权利要求5所述的方法，其特征在于，所述通过彩色摄像头采集所述目标区域在第一视角下的彩色图像和所述目标区域在第二视角下的彩色图像，并通过深度摄像头采集所述目标区域第一视角下与第二视角下的深度图像之前，还包括：
对所述彩色摄像头和所述深度摄像头进行参数标定；
根据标定的参数，确定所述彩色摄像头与所述深度摄像头的相对变换关系；
根据所述相对变换关系，对所述彩色摄像头和所述深度摄像头进行视角融合。
7.根据权利要求5所述的方法，其特征在于，所述对所述第一视角下的彩色图像和对应的所述深度图像进行融合处理，得到所述第一视图，包括：
对所述第一视角下的彩色图像和对应的深度图像进行图像配准处理；
基于配准后的所述彩色图像和所述对应的深度图像中像素点的对应关系，对所述彩色图像和所述对应的深度图像进行图像融合，得到所述第一视图；
所述对所述第二视角下的彩色图像和对应的深度图像进行图像融合处理，得到所述第二视图，包括：
对所述第二视角下的彩色图像和对应的深度图像进行图像配准处理；
基于配准后的所述彩色图像和所述对应的深度图像中像素点的对应关系，对所述彩色图像和所述对应的深度图像进行图像融合，得到所述第二视图。
8.一种VR图像处理装置，其特征在于，所述装置包括：获取模块、确定模块和处理模块，其中：
所述获取模块，用于获取目标区域的图像；
所述确定模块，用于基于所述获取模块获取的所述图像的深度信息确定待渲染对象的渲染权重系数；
所述处理模块，用于按照所述确定模块确定的所述渲染权重系数，将所述待渲染对象融合到VR虚拟视图中进行渲染显示；
其中，所述目标区域的图像包括第一视角下的第一视图和第二视角下的第二视图；所述VR虚拟视图包括所述第一视角下的第一虚拟视图和所述第二视角下的第二虚拟视图。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所述的VR图像处理方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7任一项所述的VR图像处理方法的步骤。
CN202310361599.0A 2023-04-04 2023-04-04 Vr图像处理方法、装置、电子设备及可读存储介质 Pending CN116450002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310361599.0A CN116450002A (zh) 2023-04-04 2023-04-04 Vr图像处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310361599.0A CN116450002A (zh) 2023-04-04 2023-04-04 Vr图像处理方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN116450002A true CN116450002A (zh) 2023-07-18

Family

ID=87123156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310361599.0A Pending CN116450002A (zh) 2023-04-04 2023-04-04 Vr图像处理方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116450002A (zh)

Similar Documents

Publication Publication Date Title
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
CN107564089B (zh) 三维图像处理方法、装置、存储介质和计算机设备
US11893701B2 (en) Method for simulating natural perception in virtual and augmented reality scenes
TWI701941B (zh) 圖像處理方法及裝置、電子設備及儲存介質
CN108885342A (zh) 用于低延迟渲染的宽基线立体
US20180219975A1 (en) Sharing Mediated Reality Content
CN108833877B (zh) 图像处理方法及装置、计算机装置及可读存储介质
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
US20100302234A1 (en) Method of establishing dof data of 3d image and system thereof
EP3571670B1 (en) Mixed reality object rendering
CN115529835A (zh) 用于新颖视图合成的神经混合
KR101631514B1 (ko) 전자기기에서 3차원 컨텐츠 생성 방법 및 장치
CN114241168A (zh) 显示方法、显示设备及计算机可读存储介质
CN114881841A (zh) 图像生成方法及其装置
JP6608311B2 (ja) 画像評価装置及び画像評価プログラム
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
US11521297B2 (en) Method and device for presenting AR information based on video communication technology
CN116450002A (zh) Vr图像处理方法、装置、电子设备及可读存储介质
WO2021149509A1 (ja) 撮像装置、撮像方法、及び、プログラム
CN112532964B (zh) 图像处理方法、设备、装置及可读存储介质
CN114020150A (zh) 图像显示方法、装置、电子设备及介质
CN110196638B (zh) 基于目标检测和空间投影的移动端增强现实方法和系统
CN114066715A (zh) 图像风格迁移方法、装置、电子设备以及存储介质
WO2023162504A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN117915058A (zh) 图像透视方法、装置、存储介质、电子设备和xr设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination