CN110267025A - 虚拟3d显示的渲染方法、装置以及其显示方法、系统 - Google Patents

虚拟3d显示的渲染方法、装置以及其显示方法、系统 Download PDF

Info

Publication number
CN110267025A
CN110267025A CN201910595565.1A CN201910595565A CN110267025A CN 110267025 A CN110267025 A CN 110267025A CN 201910595565 A CN201910595565 A CN 201910595565A CN 110267025 A CN110267025 A CN 110267025A
Authority
CN
China
Prior art keywords
image
attentively
user
watch
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910595565.1A
Other languages
English (en)
Other versions
CN110267025B (zh
Inventor
孙玉坤
苗京花
范清文
陈丽莉
张�浩
张硕
何惠东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910595565.1A priority Critical patent/CN110267025B/zh
Publication of CN110267025A publication Critical patent/CN110267025A/zh
Application granted granted Critical
Publication of CN110267025B publication Critical patent/CN110267025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种虚拟3D显示的渲染方法、装置以及其显示方法、系统,属于显示技术领域,其可解决现有的虚拟场景中的同一物体的2D图像的不同部分的显示清晰度不同的问题。本发明虚拟3D显示方法,包括:确定待显示的虚拟场景中的注视物体和非注视物体,注视物体为用户当前注视的物体,非注视物体为用户当前未注视的物体;以第一分辨率对注视物体进行渲染,获得第一图像,以第二分辨率对非注视物体进行渲染,获得第二图像;其中,第一分辨率大于第二分辨率;将第一图像和第二图像合成为目标图像。

Description

虚拟3D显示的渲染方法、装置以及其显示方法、系统
技术领域
本发明涉及显示技术领域,具体地,涉及一种虚拟3D显示的渲染方法、装置以及其显示方法、系统。
背景技术
虚拟现实(virtual reality,VR)技术是近年来备受市场青睐的技术。VR技术能够构建一个三维(3D)环境(即虚拟场景),并随着用户的移动和虚拟场景的变化,改变显示给用户的内容,使用户感觉自身处于该虚拟场景中,为用户提供沉浸感。
在虚拟现实技术中,实际是通过分别给用户的左右眼显示2D图像让用户获得3D感觉的,而具体显示的2D图像的内容则要根据用户在虚拟场景中的当前状态确定,而得出以上2D图像的过程即为“渲染”。
为了提升用户的沉浸感,现有渲染方式包括:将虚拟场景划分为用户关注区域和用户非关注区域,并有针对性地对用户关注区域以高分辨率渲染,用户未关注的区域以低分辨率渲染,从而使用户关注区域的画面细腻程度高,周围画面相对细腻程度较低,符合人眼的观看习惯,方便人眼聚焦。
上述虚拟场景的渲染方式,一旦虚拟场景中同一物体的部分位于用户关注区域,另一部分位于用户非关注区域,那么同一物体上部分被以高分辨率渲染、另一部分被以低分辨率渲染,从而渲染得到的同一物体的2D图像上部分为高清图像,另一部分为低清图像。然而,人眼的观看习惯是对某一个物体进行详细观看,通常希望该物体是高清晰的,而此时被详细观看的物体部分清晰部分不清晰,显然不符合人眼观看习惯。可见,相关技术中虚拟场景的渲染方式不能很好的满足人眼地观看要求。
发明内容
本发明至少部分解决现有的虚拟场景中的同一物体的2D图像的不同部分的显示清晰度不同的问题,提供了一种在避免高清图像的传输压力的前提下,比较符合人眼观看特性的虚拟3D显示的渲染方法、显示方法、装置、系统。
解决本发明技术问题所采用的技术方案是一种虚拟3D显示的渲染方法,包括:
确定待显示的虚拟场景中的注视物体和非注视物体,所述注视物体为用户注视当前注视的物体,所述非注视物体为所述用户当前未注视的物体;
以第一分辨率对所述注视物体进行渲染,获得第一图像,以第二分辨率对所述非注视物体进行渲染,获得第二图像;其中,所述第一分辨率大于所述第二分辨率;
将所述第一图像和所述第二图像合成为目标图像。
可选地,所述确定虚拟场景中的注视物体和非注视物体,包括:
采集用户在虚拟场景中的当前状况,以确定所述虚拟场景中的各物体的注视参数;
基于预设的分类学习模型,使用每个所述物体的注视参数,确定该物体为注视物体或非注视物体。
可选地,任意所述物体的注视参数包括:
用户视角转动信息;
该物体的视觉深度信息,所述视觉深度信息包括该物体距离用户眼睛的距离;
该物体的视觉偏差信息,所述视觉偏差信息包括该物体距离用户视场角的中心线的距离。
可选地,所述用户视角转动信息包括:用户视角分别绕三个相互垂直的轴线的角速度vx、vy、vz
任意所述物体的视觉深度信息包括:该物体的可见部分与注视面之间的最大距离l1和最小距离l2,其中,所述注视面为垂直于用户视场角的中心线,且过用户眼睛的面;
任意所述物体的视觉偏差信息包括:该物体的可见部分与用户视场角的中心线的最大距离m1和最小距离m2
可选地,所述基于预设的分类学习模型,使用每个所述物体的注视参数,确定该物体为注视物体或非注视物体,包括:
根据注视概率公式,使用每个所述物体的所述注视参数,计算该物体的注视概率,将该注视概率与预设的阈值比较,若该注视概率不小于所述预设阈值,则与该注视概率对应的物体为注视物体,若该注视概率小于所述预设阈值,则与该注视概率对应的物体为非注视物体;
其中,所述注视概率公式的表达式为:
式中,w0、w1、w2、w3、w4、w5、w6、w7为预设的参数。
可选地,所述第一图像中,除所述注视物体外的部分的视觉深度为远截面深度;所述第二图像中,除所述非注视物体外的部分的视觉深度为远截面深度;
所述将所述第一图像和所述第二图像合成为目标图像,包括:
通过拉伸所述第二图像,使所述第二图像具有与所述第一图像相同的分辨率;
比较所述第一图像上的每个第一像素的视觉深度是否小于所述第二图像上对应该第一像素位置处的第二像素的视觉深度,
若小于,则以所述第一像素为所述目标图像上对应该第一像素位置处的图像;
若不小于,则以所述第二像素为所述目标图像上对应该第一像素位置处的图像。
解决本发明技术问题所采用的技术方案是一种虚拟3D显示方法,包括:
根据上述的虚拟3D显示的渲染方法,得到目标图像;
显示所述目标图像。
解决本发明技术问题所采用的技术方案是一种虚拟3D显示装置,包括:
注视物体确定单元,用于确定待显示的虚拟场景中的注视物体和非注视物体,所述注视物体为用户注视当前注视的物体,所述非注视物体为用户当前未注视的物体;
第一渲染单元,用于以第一分辨率对所述注视物体进行渲染,获得第一图像;
第二渲染单元,用于以第二分辨率对所述非注视物体进行渲染,获得第二图像;其中,所述第一分辨率大于所述第二分辨率;
图像合成单元,用于将所述第一图像和所述第二图像合成为目标图像。
解决本发明技术问题所采用的技术方案是一种虚拟3D显示系统,包括:
渲染装置,其包括上述的虚拟3D显示的渲染装置;
显示装置,用于显示所述目标图像。
可选地,所述显示装置为VR眼镜或AR眼镜。
附图说明
图1为本发明的实施例的虚拟3D显示的渲染方法的一种流程图;
图2为本发明的实施例的虚拟3D显示的渲染方法的一种对虚拟场景的观看示意图;
图3为本发明的实施例的虚拟3D显示的渲染方法的另一种流程图;
图4为本发明的实施例的虚拟3D显示的渲染方法的再一种流程图;
图5为本发明的实施例的虚拟3D显示的渲染方法的一种注视概率的函数图;
图6a为本发明的实施例的虚拟3D显示的渲染方法的一种第一图像的示意图;
图6b为本发明的实施例的虚拟3D显示的渲染方法的一种第二图像的示意图;
图6c为本发明的实施例的虚拟3D显示的渲染方法的一种目标图像的示意图;
其中的附图标记说明:10、人眼;100、注视射线;101、第一视场线;102、第二视场线;01、第一物体;02、第二物体;03、第三物体;04、第四物体;A11、第一图像的第一像素点;A21、第一图像的第二像素点;B11、第二图像的第一像素点;B21、第二图像的第二像素点;C11、目标图像的第一像素点;C21、目标图像的第二像素点;01a、第一物体的渲染图像;03a、第三物体的渲染图像;04a、第四物体的渲染图像。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明作进一步详细描述。
实施例1:
参见图1至图6c,本实施例提供一种虚拟3D显示的渲染方法,包括:
步骤11、确定待显示的虚拟场景中的注视物体和非注视物体,注视物体为用户注视当前注视的物体,非注视物体为用户当前未注视的物体。
特别说明,在本发明的虚拟3D显示的渲染方法中,虚拟场景中包括多个虚拟物体(简称“物体”),即注视物体和非注视物体组成了一个虚拟场景,“物体”可以是例如,虚拟人物、虚拟房屋、虚拟天空等多个物体,每个物体通常是由多个模型面构成的,其中,模型面可以是弧形模型面,也可以三角形的模型面,也可以是四边形的模型面,等等。
该步骤中,对虚拟场景中的注视物体和非注视物体的确定方式可以是利用分类模型判断虚拟场景中的物体是注视物体或非注视物体,该分类模型可以是基于机器学习算法(如分类算法)建立的分类模型,具体的机器学习算法可以是如:逻辑回归算法、邻近算法(KNN)、决策树等。
步骤12、以第一分辨率对注视物体进行渲染,获得第一图像,以第二分辨率对非注视物体进行渲染,获得第二图像;其中,第一分辨率大于第二分辨率。
该步骤中,同一物体以同一分辨率进行渲染,同时第一图像上仅存在注视物体的可见部分的像素(图像),第二物体02上仅存在非注视物体的可见部分的像素(图像)。
步骤13、将第一图像和第二图像合成为目标图像。
该步骤中,根据物体在虚拟场景中的具有一定的空间位置关系,故用户以某一注视方向观看虚拟场景时,虚拟场景中的某些物体的部分或全部会被其他遮挡住,故理论上被遮挡部分用户是无法看到的,然而,渲染得到的第一图像或第二图像上可能会包括物体被遮挡部分的图像,因此,将第一图像和第二图像合成为目标图像实质上是根据第一图像和第二图像得到某一注视方向观看虚拟场景时,处于用户视线范围内的图像。例如,参见图2,用户以图中的注视方向注视虚拟场景时,在用户的视线范围内的物体是第一物体01、第三物体03、第四物体04上的部分,但是第三物体03上部分被第一物体01遮挡住了,因此,此时目标图像上的内容为第一物体01、部分第三物体03、部分第四物体04。
上述方案中,通过对注视物体以高分辨率渲染,非注视物体以低分辨率渲染的方式,即仅对虚拟场景中的部分物体进行高分辨率渲染,相较于对虚拟场景中的全部物体进行高清渲染的方式,本发明的渲染方法减轻了高清图像的传输压力。
同时,同一物体采用了同一分辨率进行渲染,故渲染得到的2D图像(第一图像、第二图像)上同一物体的图像的各部分的清晰度是相同,从而,目标图像上同一物体的图像的各部分的清晰度相同,相较于,2D图像上同一物体的图像的各部分的具有不同的清晰度,本发明的渲染方法更符合人眼的观看特性,从而,很好的满足了人眼的需求,提升了用户体验。
可选地,参见图3,步骤11,包括:
步骤11a、采集用户在虚拟场景中的当前状况,以确定虚拟场景中的各物体的注视参数。
其中,用户当前的状况可以是如用户的位置信息、用户的注视方向等,用户当前的状况决定了虚拟场景中的物体那些是注视物体,那些是非注视物体,故在该步骤中根据用户在虚拟场景中的当前状况确定虚拟场景中的各物体的注视参数。
步骤11b、基于预设的分类学习模型,使用每个物体的注视参数,确定该物体为注视物体或非注视物体。
该步骤中,分类学习模型是预先经过数据训练的模型,只需将步骤11a中确定的注视参数输入至分类学习模型中即可得确定虚拟场景中的物体是注视物体或非注视物体。
当确定了虚拟场景中的注视物体则虚拟场景中剩余物体自然就是非注视物体,同理,当确定了虚拟场景中的非注视物体则虚拟场景中剩余物体自然就是注视物体,因此,分类学习模型可以仅判断出虚拟场景中的物体是注视物体和非注视物体中的一类即可。
可选地,任意物体的注视参数包括:
其一、用户视角转动信息;
其中,用户视角转动信息本质上是用户注视方向的转动信息,从某种意义上来说,用户视角转动信息也反应了用户对虚拟场景中的物体的注视时间的长短(或者说用户视角转变的速度)。一般情况下,用户对某一物体注视的时间长(或者说视角转变的速度慢),该物体是注视物体的概率高。
其二、该物体的视觉深度信息,视觉深度信息包括该物体距离用户眼睛的距离。
其中,根据人眼的观看习惯可知,人眼聚焦时,是聚焦在一定视觉深度上的,故物体的视觉深度也是判断该物体是否为注视物体的一项重要注视参数。
其三、该物体的视觉偏差信息,视觉偏差信息包括该物体距离用户视场角的中心线的距离。
参见图2,视场角即为人眼所能看到的范围,图2中,人眼10在竖直方向上的视场角为α,该视场角由第一视场线101和第二视场线102表示,第一视场线101和第二视场线102限定了人眼10所能看到的虚拟场景中的竖直方向上的最高和最低处。当然,如果用户是借助于VR眼镜或者AR(增强现实)眼镜等显示工具来看虚拟场景中的物体时,那么视场角就是人眼通过显示工具看得到的范围。
一般情况下,注视物体位于用户视场角的中心位置处,故物体距离用户视场角的中心线的距离也是判断该物体是否为注视物体的一项重要注视参数。
当然,物体的注视参数不限于上述的注视参数,也可以在上述注视参数的基础上增加或减少。
可选地,用户视角转动信息包括:用户视角分别绕三个相互垂直的轴线的角速度。
用户视角转动信息可以采用不同的方式获得,举例说明:例1,用户的视角转动信息可以通过用户的头部的转动信息得到,可以使用户头部戴上可穿戴设备(如VR眼镜或AR眼镜),该可穿戴设备具有空间陀螺仪传感器,通过采集该空间陀螺仪传感器在空间三个相互垂直的轴向上的角速度即可得到用户头部的转动信息,从而可以根据用户的头部转动信息得到用户视角转动信息。例2,采用眼动追踪技术得到用户视角转动信息,即通过采集人眼的人眼图像,来分析出人眼的眼球运动信息,并基于该眼球运动信息确定用户视角转动信息。当然,“用户视角转动信息”的确定方式不限于上述举例的方式。
任意物体的视觉深度信息包括:该物体的可见部分与注视面之间的最大距离和最小距离,其中,注视面为垂直于用户视场角的中心线,且过用户眼睛的面。
其中,物体的视觉深度信息的采集方法可以包括:获取用户的注视方向,根据用户的注视方向发射注视射线,该注视射线与虚拟场景中的物体进行碰撞监测,碰撞监测后会返回碰撞的物体信息,进而得到物体距离用户的相对位置,可以求得被碰撞物体的视觉深度信息,从而可以根据视场角、被碰撞物体的视觉深度信息,求得其他物体的视觉深度信息。在这里可以利用VR眼镜或AR眼镜发射注视射线。
任意物体的视觉偏差信息包括:该物体的可见部分与用户视场角的中心线的最大距离和最小距离。
可选地,基于预设的分类学习模型,使用每个物体的注视参数,确定该物体为注视物体或非注视物体,包括:
根据注视概率公式,使用每个物体的注视参数,计算该物体的注视概率,将该注视概率与预设的阈值比较,若该注视概率不小于预设阈值,则与该注视概率对应的物体为注视物体,若该注视概率小于预设阈值,则与该注视概率对应的物体为非注视物体;
其中,注视概率公式的表达式为:
式中,w0、w1、w2、w3、w4、w5、w6、w7为预设的参数;
vx、vy和vz分别为用户视角分别绕三个相互垂直的轴线的角速度;
l1和l2分别为物体的可见部分与注视面之间的最大距离和最小距离;
m1和m2分别为物体的可见部分与用户视场角的中心线的最大距离和最小距离。
该方案中,预设的分类学习模型是基于逻辑回归算法建立的分类学习模型。
注视概率公式中预设的参数w0、w1、w2、w3、w4、w5、w6、w7均是经过数据训练得到,其中,w0表示分类学习模型的训练方式采用有截距的训练方式,此方式更为准确。w1、w2分别为物体的可见部分与注视面之间的最大距离的权重和最小距离的权重,w6、w7分别为物体的可见部分与用户视场角的中心线的最大距离的权重和最小距离的权重,w3、w4、w5分别为用户视角分别绕三个相互垂直的轴线的角速度的权重,e为自然常数,得的f为概率在0~1之间,在这里预设的阈值为0.5,超过0.5的标注为1,低于0.5的样本标注为0,注视概率的函数图参见图5,图中纵坐标代表注视概率f的值,横坐标代表z,z=w0+w1l1+w2l2+w3vx+w4vy+w5vz+w6m1+w7m2,图中的一类别为注视物体,图中的二类别为未注视物体。当然,预设的阈值还可以是0.5以外的其他数值。
可选地,第一图像中,除注视物体外的部分的视觉深度为远截面深度;第二图像中,除非注视物体外的部分的视觉深度为远截面深度;
可选地,参见图4,步骤13包括:
步骤13a、通过拉伸第二图像,使第二图像具有与第一图像相同的分辨率。
步骤13b、比较第一图像上的每个第一像素的视觉深度是否小于第二图像上对应该第一像素位置处的第二像素的视觉深度。
参见图6a、6b、6c,第一图像、第二图像、目标图像上的位置相互对应的像素点即为各图像上的像素点在其图像上的位置是相同的,例如,第一图像的第一像素点A11、第二图像的第一像素点B11、目标图像的第一像素点C11,这三个像素即为位置相互对应的像素点,同样,第一图像的第二像素点A21、第二图像的第二像素点B21、目标图像的第二像素点C21,这三个像素即为位置相互对应的像素点。
步骤13c、若不小于,则以所述第二像素为所述目标图像上对应该第一像素位置处的图像。
步骤13d、若小于,则以所述第一像素为所述目标图像上对应该第一像素位置处的图像。
该方案中,第一图像包括第一颜色图(即第一图像上各像素的颜色)和第一深度图(第一该图像上各像素的视觉深度),第二图像包括第二颜色图(即第二图像上各像素的颜色)和第二深度图(第二该图像上各像素的视觉深度)。
第一图像上注视物体上有像素,其余地方由于渲染时没有物体,第一颜色图包括注视物体的颜色,其余地方颜色为画板颜色,第一深度图包括注视物体的视觉深度,其余地方的视觉深度为远截面深度(相当于无限远),同理,第二图像上非注视物体上有像素,因此第二颜色图包括非注视物体的颜色,其余地方颜色为画板颜色,第二深度图包括非注视物体的视觉深度,其余地方的视觉深度为远截面深度(相当于无限远)。
比较第一图像上的每个第一像素的视觉深度是否小于第二图像上对应该第一像素位置处的第二像素的视觉深度,实质上是将第一深度图和第二深度图上任意相对应位置处的像素进行比较,当虚拟场景中的注意物体和非注意物体在空间位置没有重叠时,那么第二图像上对应注意物体部分的视觉深度是无限远,故第一图像的上注意力物体的图像即为目标图像的一部分,同理,第一图像上对应非注意物体部分的视觉深度是无限远,故第二图像的上非注意力物体的图像即为目标图像的一部分;当虚拟场景中的注意物体和非注意物体在空间位置有重叠时,那么距离用户更近(视觉深度更小)的物体的图形能被人眼观看到,从而通过选择第一图像和第二图像中在虚拟场景中视觉深度较小的像素为目标图像的像素,从而能够得到比较准确的目标图像。
具体举例,参见图2、图6a、6b、6c,图6a为由图2的虚拟场景渲染形成的第一图像,图6b为由图2的虚拟场景渲染形成的第二图像,图6c为由第一图像和第二图像合成的目标图像。根据图2可见,第二物体02在视场角以外,故第一图像和第二图像中都没有第二物体02;第一物体01为注视物体,故在第一图像上有第一物体的渲染图像01a;第三物体03和第四物体04为非注视物体,故在第二图像上有第三物体的渲染图像03a和第四物体的渲染图像04a。
同时,第一物体01没有被任何其他物体遮挡,故目标图像中第一物体01的图像内容是第一图像上第一物体的渲染图像01a。第三物体03的部分被第一物体01遮挡,故目标图像中第三物体03的图像内容是第二图像上第三物体的渲染图像03a的一部分,而不是全部,第四物体04没有被遮挡,故目标图像中第四物体04的图像内容是第二图像上第四物体的渲染图像04a。
实施例2:
本实施例提供一种虚拟3D显示方法,包括:
根据上述实施例1记载的虚拟3D显示的渲染方法,得到目标图像;
显示目标图像。
该方案中,仅对虚拟场景中的部分物体进行了高分辨率的渲染,故渲染效果高,同时,同一物体对应的2D图像的各部分具有相同的清晰度,故符合人眼的观看特性,即用户体验好。
特别说明,该方案中,单独的一帧目标图像是一帧2D图像,若使用户看到3D的立体图像,可以采用左、右眼图像分时输出2D图像的方式实现,例如,分时分别输出连续的两帧目标图像,连续的两帧目标图像中一帧是左眼图像,另一帧是右眼图像。当然,其他实现3D显示的方式也可以。
实施例3:
本实施例提供一种虚拟3D显示的渲染装置,包括:
注视物体确定单元,用于确定待显示的虚拟场景中的注视物体和非注视物体,注视物体为用户注视当前注视的物体,非注视物体为用户当前未注视的物体;
第一渲染单元,用于以第一分辨率对注视物体进行渲染,获得第一图像;
第二渲染单元,用于以第二分辨率对非注视物体进行渲染,获得第二图像;其中,第一分辨率大于第二分辨率;
图像合成单元,用于将第一图像和第二图像合成为目标图像。
该方案中,注视物体确定单元可以是基于分类算法训练好的模型,例如逻辑回归算法,分类算法的准确度高,即注视物体的识别的准确度高。
第一渲染单元和第二渲染单元可以是不同的渲染管线,各自获取渲染参数(如分辨率、视场角等),第一渲染单元和第二渲染单元可单独进行物体的渲染,互补影响,可以并行运行,因此提高了显示装置的渲染效率,降低了图像显示的时延。
实施例4:
本实施例提供一种虚拟3D显示系统,包括:
渲染装置,包括上述实施例3中记载的虚拟3D显示的渲染装置;
显示装置,用于显示目标图像。
可选地,显示装置为VR眼镜或AR眼镜。
该方案中,通过对注视物体以高分辨率渲染,非注视物体以低分辨率渲染的方式,有效降低了目标图像传输至VR眼镜或AR眼镜的时延,从而避免了用户由于图像显示时延而造成的头晕等生理不适。
应当说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其它变体意在涵盖非排它性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
依照本发明的实施例如上文所述,这些实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施例。显然,根据以上描述,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种虚拟3D显示的渲染方法,其特征在于,包括:
确定待显示的虚拟场景中的注视物体和非注视物体,所述注视物体为用户注视当前注视的物体,所述非注视物体为所述用户当前未注视的物体;
以第一分辨率对所述注视物体进行渲染,获得第一图像,以第二分辨率对所述非注视物体进行渲染,获得第二图像;其中,所述第一分辨率大于所述第二分辨率;
将所述第一图像和所述第二图像合成为目标图像。
2.根据权利要求1所述的虚拟3D显示的渲染方法,其特征在于,所述确定虚拟场景中的注视物体和非注视物体,包括:
采集用户在虚拟场景中的当前状况,以确定所述虚拟场景中的各物体的注视参数;
基于预设的分类学习模型,使用每个所述物体的注视参数,确定该物体为注视物体或非注视物体。
3.根据权利要求2所述的虚拟3D显示的渲染方法,其特征在于,任意所述物体的注视参数包括:
用户视角转动信息;
该物体的视觉深度信息,所述视觉深度信息包括该物体距离用户眼睛的距离;
该物体的视觉偏差信息,所述视觉偏差信息包括该物体距离用户视场角的中心线的距离。
4.根据权利要求3所述的虚拟3D显示的渲染方法,其特征在于,
所述用户视角转动信息包括:用户视角分别绕三个相互垂直的轴线的角速度vx、vy、vz
任意所述物体的视觉深度信息包括:该物体的可见部分与注视面之间的最大距离l1和最小距离l2,其中,所述注视面为垂直于用户视场角的中心线,且过用户眼睛的面;
任意所述物体的视觉偏差信息包括:该物体的可见部分与用户视场角的中心线的最大距离m1和最小距离m2
5.根据权利要求4所述的虚拟3D显示的渲染方法,其特征在于,所述基于预设的分类学习模型,使用每个所述物体的注视参数,确定该物体为注视物体或非注视物体,包括:
根据注视概率公式,使用每个所述物体的所述注视参数,计算该物体的注视概率,将该注视概率与预设的阈值比较,若该注视概率不小于所述预设阈值,则与该注视概率对应的物体为注视物体,若该注视概率小于所述预设阈值,则与该注视概率对应的物体为非注视物体;
其中,所述注视概率公式的表达式为:
式中,w0、w1、w2、w3、w4、w5、w6、w7为预设的参数。
6.根据权利要求1所述的虚拟3D显示的渲染方法,其特征在于,所述第一图像中,除所述注视物体外的部分的视觉深度为远截面深度;所述第二图像中,除所述非注视物体外的部分的视觉深度为远截面深度;
所述将所述第一图像和所述第二图像合成为目标图像,包括:
通过拉伸所述第二图像,使所述第二图像具有与所述第一图像相同的分辨率;
比较所述第一图像上的每个第一像素的视觉深度是否小于所述第二图像上对应该第一像素位置处的第二像素的视觉深度;
若小于,则以所述第一像素为所述目标图像上对应该第一像素位置处的图像;
若不小于,则以所述第二像素为所述目标图像上对应该第一像素位置处的图像。
7.一种虚拟3D显示方法,其特征在于,包括:
根据权利要求1至6任意一项所述的虚拟3D显示的渲染方法,得到目标图像;
显示所述目标图像。
8.一种虚拟3D显示的渲染装置,其特征在于,包括:
注视物体确定单元,用于确定待显示的虚拟场景中的注视物体和非注视物体,所述注视物体为用户注视当前注视的物体,所述非注视物体为用户当前未注视的物体;
第一渲染单元,用于以第一分辨率对所述注视物体进行渲染,获得第一图像;
第二渲染单元,用于以第二分辨率对所述非注视物体进行渲染,获得第二图像;其中,所述第一分辨率大于所述第二分辨率;
图像合成单元,用于将所述第一图像和所述第二图像合成为目标图像。
9.一种虚拟3D显示系统,其特征在于,包括:
渲染装置,其包括权利要求8所述的虚拟3D显示的渲染装置;
显示装置,用于显示所述目标图像。
10.根据权利要求9所述的虚拟3D显示系统,其特征在于,所述显示装置为VR眼镜或AR眼镜。
CN201910595565.1A 2019-07-03 2019-07-03 虚拟3d显示的渲染方法、装置以及其显示方法、系统 Active CN110267025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910595565.1A CN110267025B (zh) 2019-07-03 2019-07-03 虚拟3d显示的渲染方法、装置以及其显示方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910595565.1A CN110267025B (zh) 2019-07-03 2019-07-03 虚拟3d显示的渲染方法、装置以及其显示方法、系统

Publications (2)

Publication Number Publication Date
CN110267025A true CN110267025A (zh) 2019-09-20
CN110267025B CN110267025B (zh) 2021-04-13

Family

ID=67924137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910595565.1A Active CN110267025B (zh) 2019-07-03 2019-07-03 虚拟3d显示的渲染方法、装置以及其显示方法、系统

Country Status (1)

Country Link
CN (1) CN110267025B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706323A (zh) * 2019-10-10 2020-01-17 南京可居网络科技有限公司 一种基于四倍高清技术的ar虚拟软装合成方法
CN110910509A (zh) * 2019-11-21 2020-03-24 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN114520905A (zh) * 2020-11-19 2022-05-20 京东方科技集团股份有限公司 图像处理方法、图像显示方法及图像显示系统
WO2023185476A1 (zh) * 2022-03-29 2023-10-05 北京字跳网络技术有限公司 对象渲染方法、装置、电子设备、存储介质及程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013066634A1 (en) * 2011-11-02 2013-05-10 Google Inc. Eye gaze detection to determine speed of image movement
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
WO2017079342A1 (en) * 2015-11-02 2017-05-11 Focure, Inc. Continuous autofocusing eyewear
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
WO2018026730A1 (en) * 2016-08-01 2018-02-08 Facebook, Inc. Adaptive parameters in image regions based on eye tracking information
CN109816013A (zh) * 2019-01-17 2019-05-28 陆宇佳 基于眼动追踪进行图像样本快速获取装置及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013066634A1 (en) * 2011-11-02 2013-05-10 Google Inc. Eye gaze detection to determine speed of image movement
WO2017079342A1 (en) * 2015-11-02 2017-05-11 Focure, Inc. Continuous autofocusing eyewear
WO2018026730A1 (en) * 2016-08-01 2018-02-08 Facebook, Inc. Adaptive parameters in image regions based on eye tracking information
CN109791605A (zh) * 2016-08-01 2019-05-21 脸谱科技有限责任公司 基于眼睛跟踪信息的图像区域中的自适应参数
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN109816013A (zh) * 2019-01-17 2019-05-28 陆宇佳 基于眼动追踪进行图像样本快速获取装置及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706323A (zh) * 2019-10-10 2020-01-17 南京可居网络科技有限公司 一种基于四倍高清技术的ar虚拟软装合成方法
CN110910509A (zh) * 2019-11-21 2020-03-24 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN114520905A (zh) * 2020-11-19 2022-05-20 京东方科技集团股份有限公司 图像处理方法、图像显示方法及图像显示系统
US11800079B2 (en) 2020-11-19 2023-10-24 Beijing Boe Optoelectronics Technology Co., Ltd. Image processing method, image display method and image display system
CN114520905B (zh) * 2020-11-19 2024-04-19 京东方科技集团股份有限公司 图像处理方法、图像显示方法及图像显示系统
WO2023185476A1 (zh) * 2022-03-29 2023-10-05 北京字跳网络技术有限公司 对象渲染方法、装置、电子设备、存储介质及程序产品

Also Published As

Publication number Publication date
CN110267025B (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN110267025A (zh) 虚拟3d显示的渲染方法、装置以及其显示方法、系统
US10154244B2 (en) 3D system including a marker mode
TWI439120B (zh) 顯示裝置
EP3348054B1 (en) Stereo rendering system
JP5515301B2 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
TWI508519B (zh) An image processing apparatus, a program, an image processing method, a recording method, and a recording medium
CN110460831B (zh) 显示方法、装置、设备及计算机可读存储介质
CN108292489A (zh) 信息处理装置和图像生成方法
CN109495734A (zh) 用于自动立体三维显示器的图像处理方法和设备
WO2011148449A1 (ja) 映像処理装置、映像処理方法、および映像通信システム
WO2019159617A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN109074681A (zh) 信息处理装置、信息处理方法和程序
JPWO2011033673A1 (ja) 画像処理装置
KR20130116075A (ko) 영상 표시 장치
KR100345591B1 (ko) 깊이정보처리를위한영상처리시스템
CN115359093A (zh) 一种基于单目的注视点估计视线追踪方法
TWI669703B (zh) 適於多人觀看的資訊顯示方法及資訊顯示裝置
US20220060680A1 (en) Head mounted display apparatus
CN107483915B (zh) 三维图像的控制方法及装置
CN111711811B (zh) Vr图像处理方法、装置、系统、vr设备及存储介质
CN111164542A (zh) 修改计算设备上的图像的方法
CN112887646A (zh) 图像处理方法及装置、扩展现实系统、计算机设备及介质
CN110012284A (zh) 一种基于头戴设备的视频播放方法及装置
KR101947372B1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
CN102780900B (zh) 一种多人多视角立体显示器影像显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant