CN116866540A - 图像渲染方法、系统、装置及存储介质 - Google Patents
图像渲染方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN116866540A CN116866540A CN202310907137.4A CN202310907137A CN116866540A CN 116866540 A CN116866540 A CN 116866540A CN 202310907137 A CN202310907137 A CN 202310907137A CN 116866540 A CN116866540 A CN 116866540A
- Authority
- CN
- China
- Prior art keywords
- field
- depth
- area
- scene
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 29
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 35
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种图像渲染方法、系统、装置及存储介质,根据3D场景内物体与摄像点的距离设置景深分割线;根据场景的立体大屏的边界,确定位于摄像点观看3D场景的主视野区域以及次视野区域;通过景深分割线所在的平面将主视野区域以及次视野区域划分成两部分;剔除次视野区域内的景深后部分的物体后,投射次视野区域和主视野区域的物体并渲染。本申请结合深度信息更大程度突出了近景的呈现,形成明显的3D视频内容出框效果和逼真的3D体验感;同时通过区分场景渲染,也降低了云端资源占用,提高渲染效率,并解决了在VR场景下,双眼立体大屏仅有画面区域时其立体感呈现不足的问题。
Description
技术领域
本申请属于数据处理技术领域,具体涉及一种图像渲染方法、系统、装置及存储介质。
背景技术
由于科技的进步,虚拟现实系统在生活、工作中越来越普遍,如电脑游戏、健康和培训、VR视频。虚拟现实系统正在被越来越多的整合到人们生活的各个行业和领域中。其中,在制作用户观看的动画或图像时,关于比较重要的渲染技术,是根据电脑中存储的数据制作图像的过程,一般来说,渲染的原理与摄影或电影非常相似,它们均是利用光与影最终生成图像的艺术。
其中,3D渲染面对某些具体场景如果不加区分的统一进行渲染,会造成渲染资源的浪费,降低渲染的效率;在VR场景下,双眼立体大屏仅有画面区域时其立体感还呈现不足的问题。
发明内容
本发明提出的图像渲染方法、系统、装置及存储介质,针对具有立体大屏的虚拟场景的渲染时,通过剔除部分区域内投影物体、并改变对应投影图像的α通道参数,从而形成不同景深及视觉差,来实现逼真的3D效果及视频内容出框效果,减少了渲染处理数据,同时提高了渲染效率。
进而,本申请结合深度信息更大程度突出了近景的呈现,形成明显的3D视频内容出框效果和逼真的3D体验感;同时通过区分场景渲染,也降低了云端资源占用,提高渲染效率。解决了在VR场景下,双眼立体大屏仅有画面区域时其立体感呈现不足的问题。
根据本申请实施例的第一个方面,提供了一种图像渲染方法,包括:根据场景内物体与摄像点的距离,设置景深分割线,景深分割线设置于物体与摄像点之间;根据场景的立体大屏的边界,确定位于摄像点观看场景的主视野区域以及次视野区域;通过景深分割线所在的平面,将主视野区域以及次视野区域均分别划分成两部分,两部分包括靠近摄像点的景深前部分以及远离摄像点的景深后部分;剔除次视野区域内的景深后部分的物体后,投射次视野区域和主视野区域并渲染。
在本申请一些实施方式中,根据场景内物体与摄像点的距离,设置景深分割线,包括:根据场景内各个物体所在平面与摄像点所在平面的距离,确定景深分割距离;根据景深分割距离确定景深分割线以及景深分割平面;景深分割平面将至少一个物体进行分割。
在本申请一些实施方式中,根据场景的立体大屏的边界,确定位于摄像点观看场景的主视野区域以及次视野区域,包括:
位于摄像点观看场景时,确认场景视野;立体大屏的边界位于场景视野边界内;
场景视野位于立体大屏的边界内的区域为主视野区域,场景视野位于立体大屏的边界外的区域为次视野区域。
在本申请一些实施方式中,剔除次视野区域内的景深后部分的物体后,投射次视野区域和主视野区域,包括:
剔除次视野区域内的景深后部分的物体后,投射次视野区域,得到次投影图像;
投射主视野区域,得到主投影图像;
通过叠加主投影图像和次投影图像,确定位于摄像点观看场景的投影图像。
在本申请一些实施方式中,方法还包括:
显示位于摄像点观看场景的投影图像时,将次视野区域内的景深后部分的投影部分的α通道参数设置为透明。
在本申请一些实施方式中,方法还包括:
显示位于摄像点观看场景的投影图像时,靠近次视野区域内的景深后部分的投影部分的区域,逐渐改变α通道参数以增加透明度。
根据本申请实施例的第二个方面,提供了一种VR投影方法,包括:
获取应用以上任一项的图像渲染方法分别获取VR双眼的投影图像;将双眼的投影图像在VR双眼位置屏幕进行显示。
根据本申请实施例的第三个方面,提供了一种图像渲染系统,包括:
景深分割线模块:用于根据场景内物体与摄像点的距离,设置景深分割线,景深分割线设置于物体与摄像点之间;
立体大屏划分模块:用于根据场景的立体大屏的边界,确定位于摄像点观看场景的主视野区域以及次视野区域;
视野划分模块:用于通过景深分割线所在的平面,将主视野区域以及次视野区域均分别划分成两部分,两部分包括靠近摄像点的景深前部分以及远离摄像点的景深后部分;
渲染模块:用于剔除次视野区域内的景深后部分的物体后,投射次视野区域和主视野区域并渲染。
根据本申请实施例的第四个方面,提供了一种图像渲染设备,包括:存储器,用于存储可执行指令;以及处理器,用于与存储器连接以执行可执行指令从而完成图像渲染方法。
根据本申请实施例的第五个方面,提供了一种计算机可读存储介质,其上存储有计算机程序;计算机程序被处理器执行以实现图像渲染方法。
采用本申请的图像渲染方法、系统、装置及存储介质,通过根据场景内物体与摄像点的距离,设置景深分割线,景深分割线设置于物体与摄像点之间;根据场景的立体大屏的边界,确定位于摄像点观看场景的主视野区域以及次视野区域;通过景深分割线所在的平面,将主视野区域以及次视野区域均分别划分成两部分,两部分包括靠近摄像点的景深前部分以及远离摄像点的景深后部分;剔除次视野区域内的景深后部分的物体后,投射次视野区域和主视野区域的物体并渲染。本申请针对具有立体大屏的虚拟场景的渲染时,通过剔除部分区域内投影物体、并改变对应投影图像的α通道参数,从而形成不同景深及视觉差,来实现逼真的3D效果及视频内容出框效果,减少了渲染处理数据,同时提高了渲染效率。解决了在VR场景下,双眼立体大屏仅有画面区域时其立体感呈现不足的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1中示出了根据本申请实施例的图像渲染方法的步骤示意图;
图2中示出了根据本申请实施例的设置景深分割线的步骤示意图;
图3中示出了根据本申请实施例的场景视野的平面示意图;
图4中示出了根据本申请实施例的场景视野的立体示意图;
图5中示出了根据本申请实施例的单眼场景视野的俯视图示意图;
图6中示出了根据本申请实施例的双眼场景视野的俯视图示意图;
图7中示出了根据本申请实施例的观看效果出框示意图;
图8中示出了根据本申请另一实施例的图像渲染方法的步骤示意图;
图9中示出了根据本申请实施例的图像渲染系统的结构示意图;
图10中示出了根据本申请实施例的图像渲染设备的结构示意图。
具体实施方式
关于本申请,随着VR虚拟现实系统在生活、工作中越来越普遍,使用者对其使用体验和要求越来越多。在VR实现时其中比较重要的投影渲染技术,在制作用户观看的动画或图像时,根据存储的数据制作图像的过程。但在3D渲染时面对某些具体场景如果不加区分的统一进行渲染,会造成渲染分配资源的浪费,降低渲染的效率。
本申请人面对包含立体大屏的VR虚拟场景下,大屏的内容为3D效果,通过云串流获得场景数据,其中也可以拓展到2D场景数据,通过视觉差形成出框效果,进而达到逼真的3D效果。
具体应用时,在VR头显内的3D场景并不是实际的电影院,实际只能在屏幕上看到立体内容,达到立体屏幕、立体影院的效果,这个场景是个虚拟场景,可以看到屏幕外或者屏幕后的内容,此时VR内的立体大屏可以是空间内的一个透明层,很容易播放α通道的透明数据。
另外,在视频和图像的数据存储中,除了RGB(红绿蓝)色彩度外,还可以通过α字段标记当前位置的透明程度;而α阿尔法通道(α Channel或AlphaChannel)是指一张图片的透明和半透明度。例如:一个使用每个像素16比特存储的位图,对于图形中的每一个像素而言,可能以5个比特表示红色,5个比特表示绿色,5个比特表示蓝色,最后一个比特是阿尔法。在这种情况下,它要么表示透明要么不是,因为阿尔法比特只有0或1两种不同表示的可能性。又如一个使用32个比特存储的位图,每8个比特表示红绿蓝,和阿尔法通道。在这种情况下,就不光可以表示透明还是不透明,阿尔法通道还可以表示256级的半透明度,因为阿尔法通道有8个比特可以有256种不同的数据表示可能性。
为此,申请人针对具有立体大屏的虚拟场景的渲染,通过剔除部分区域内投影物体、并改变对应投影图像的α通道参数,从而形成不同景深及视觉差,来实现逼真的3D效果,减少了渲染处理数据,同时提高了渲染效率。
其中,本申请应用的图像渲染方法、系统,或者VR投影方法、VR系统等,优选的,包括多个VR应用设备端、VR云端,其中,VR应用设备端包括VR头盔、VR眼睛、VR显示设备等等,VR应用设备一般内置VR应用程序、数据采集装置、视频解码单元、数据显示单元、显示屏幕等;VR云端一般包括VR服务端程序、视频编码单元、数据处理、图像渲染模块、数据存储模块。
VR应用程序可以用于在用户端接收图像渲染数据,并进行解码和渲染,通过VR应用设备为使用者提供虚拟现实体验。VR服务端程序可以在服务器上渲染VR画面和计算逻辑。视频编码器:用于在图像渲染过程中进行编码。
VR应用设备端、VR云端之间采用的传输协议,用于在网络中传输图像渲染数据,可选用TCP、UDP等协议。
本申请的图像渲染方法、系统、装置及存储介质,可以应用于VR应用设备的VR应用程序,也可以应用于VR云端的VR服务端程序,本申请以应用于VR云端的VR服务端程序为例,可以进一步提升串流的效率和快速控制调节能力。
具体的,采用图像渲染方法、系统、装置及存储介质,通过根据场景内物体与摄像点的距离,设置景深分割线,所述景深分割线设置于所述物体与摄像点之间;根据场景的立体大屏的边界,确定位于摄像点观看场景的主视野区域以及次视野区域;通过所述景深分割线所在的平面,将所述主视野区域以及次视野区域均分别划分成两部分,两部分包括靠近摄像点的景深前部分以及远离摄像点的景深后部分;剔除所述次视野区域内的景深后部分的物体后,投射所述次视野区域和主视野区域的物体并渲染。
本申请针对具有立体大屏的虚拟场景的渲染时,通过剔除部分区域内投影物体、并改变对应投影图像的α通道参数,从而形成不同景深及视觉差,来实现逼真的3D效果,减少了渲染处理数据,同时提高了渲染效率。解决了目前图像渲染不区分场景统一化渲染造成的渲染资源不合理、渲染效率低的问题。
为了使本申请实施例中的技术方案及优点更加清楚明白,以下结合附图对本申请的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本申请的一部分实施例,而不是所有实施例的穷举。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
实施例1
图1中示出了根据本申请实施例的图像渲染方法的步骤示意图。
如图1所示,本申请实施例的图像渲染方法,包括以下步骤:
S1:根据场景内物体与摄像点的距离,设置景深分割线,景深分割线设置于物体与摄像点之间。
图2中示出了根据本申请实施例的图像渲染方法的步骤示意图。
如图2所示,其中,具体实施中,包括S11:首先,根据场景内各个物体所在平面与摄像点所在平面的距离,确定景深分割距离。
S12:其次,根据景深分割距离确定景深分割线以及景深分割平面;景深分割平面将至少一个物体进行分割。
景深分割线在物体之间,将场景内的至少一个物体进行分割,以达到3D出框效果。其中,根据场景内各个物体所在平面与摄像点所在平面的距离计算平均距离,作为景深分割距离,进一步提高了景深分割时两侧的物体分配均匀,提高了立体出框效果。
S2:根据场景的立体大屏的边界,确定位于摄像点观看场景的主视野区域以及次视野区域。
具体的,位于摄像点观看场景时,确认场景视野,此时的场景视野从摄像点看为一个观看平面,但在3D场景数据中场景视野为立体的。
图3中示出了根据本申请实施例的场景视野的平面示意图。
如图3所示,立体大屏1的边界位于场景视野边界2内;场景视野位于立体大屏的边界内的区域为主视野区域A,场景视野位于立体大屏的边界外的区域为次视野区域B。主视野区域A与次视野区域B加起来为全视野区域。
图4中示出了根据本申请实施例的场景视野的立体示意图。
如图4所示,在3D场景数据中,位于摄像点观看场景时,场景视野为立体的,那么景视野位于立体大屏的边界内的区域为主视野区域A,以及场景视野位于立体大屏的边界外的区域为次视野区域B也是立体的。
那么,主视野区域A在空间内是以摄像点(观看点)为顶点,以立体大屏的边界为侧面的锥形区域;次视野区域B在空间内是以摄像点(观看点)为顶点,以场景视野的边界为侧面的锥形区域。
S3:通过景深分割线L所在的平面,将主视野区域以及次视野区域均分别划分成两部分,两部分包括靠近摄像点的景深前部分以及远离摄像点的景深后部分。
如图4所示,例如景深分割线L将主视野区域分成靠近摄像点的景深前部分A1以及远离摄像点的景深后部分A2;景深分割线L将次视野区域分成靠近摄像点的景深前部分B1以及远离摄像点的景深后部分B2。
S4:剔除次视野区域内的景深后部分的物体后,投射次视野区域和主视野区域并渲染。
具体实施时,剔除次视野区域内的景深后部分的物体后,如图3和图4所示,剔除物体B的左部分。然后投射次视野区域,得到次投影图像;同时投射主视野区域,得到主投影图像;最后,通过叠加主投影图像和次投影图像,确定位于摄像点观看3D场景的投影图像。
本申请针对具有立体大屏的虚拟场景的渲染时,通过剔除部分区域内投影物体,形成不同景深及视觉差,来实现逼真的3D效果,减少了渲染处理数据,同时提高了渲染效率。解决了目前图像渲染不区分场景统一化渲染造成的渲染资源不合理、渲染效率低的问题。
优选实施的,本实施例的渲染方法还包括:显示位于摄像点观看3D场景的投影图像时,将次视野区域内的景深后部分的投影部分的α通道参数设置为透明。从而通过剔除部分区域内投影物体、并改变对应投影图像的α通道参数,从而形成不同景深及视觉差,来实现逼真的3D效果。
在本申请一些实施方式中,方法还包括:显示位于摄像点观看3D场景的投影图像时,靠近次视野区域内的景深后部分的投影部分的区域,逐渐改变α通道参数以增加透明度。提高了透明过度视觉,增加了3D效果。
图5中示出了根据本申请实施例的单眼场景视野的俯视图示意图。
以下进一步展开描述本实施例的渲染方法。
本申请实施例的渲染场景可以是游戏内容或者影视内容,以游戏内容为例进行渲染时,如图5所示,首先,根据场景内物体与摄像点(观众眼睛的位置)之间的距离,设置一个景深分割线L,并配合立体屏幕的边界,确定多个视野范围。如图5所示,区域①②为主视野区域;区域③④⑤⑥为次视野区域。
根据3D场景内的景深信息,在次视野区域③④⑤⑥内,且在分割线L之后远离摄像点的B物体部分,不进行物体的投射,如果没有物体投射,则显示时α通道参数为透明。
最后,在显示或传输图像画面时,将主视野区域以及次视野区域投射叠加得到的画面进行传输显示,得到如图4示意的画面效果;另外,在物体边缘、透明物体或离摄像机过近的物品,采用用增加透明度的方式过度。
图6中示出了根据本申请实施例的双眼场景视野的俯视图示意图。
如图6所示,VR双眼采集显示时,用相同的方法分别采集双眼图像;因为内容是3D内容,双眼的实现其实就是在虚拟空间提供两个摄像机,获取到的画面则为左右两个眼镜的内容,处理原理与单眼投影原理一样,处理结果分别给到左右两个眼睛显示器上即可。
图7中示出了根据本申请实施例的观看效果出框示意图。
为了进一步展示立体效果,如图7所示,区域B为观看内容的虚拟屏范围;区域A为实际可播放内容范围,实现通过区域B外A环形区域无内容(透明)来实现观众感知为屏外区域;进而实现区域B物体延展到环形区域A来实现出框效果,达到立体3D视觉。
综上,采用本申请的图像渲染方法,通过根据3D场景内物体与摄像点的距离,设置景深分割线,景深分割线设置于物体与摄像点之间;根据场景的立体大屏的边界,确定位于摄像点观看3D场景的主视野区域以及次视野区域;通过景深分割线所在的平面,将主视野区域以及次视野区域均分别划分成两部分,两部分包括靠近摄像点的景深前部分以及远离摄像点的景深后部分;剔除次视野区域内的景深后部分的物体后,投射次视野区域和主视野区域的物体。可以针对具有立体大屏的虚拟场景的渲染时,通过剔除部分区域内投影物体、并改变对应投影图像的α通道参数,从而形成不同景深及视觉差,来实现逼真的3D效果及视频内容出框效果,减少了渲染处理数据,同时提高了渲染效率。
进而,本申请结合深度信息更大程度突出了近景的呈现,形成明显的3D视频内容出框效果和逼真的3D体验感;同时通过区分场景渲染,也降低了云端资源占用,提高渲染效率。解决了在VR场景下,双眼立体大屏仅有画面区域时其立体感呈现不足的问题。
实施例2
本实施例提供了另一种图像渲染方法,对于本实施例的图像渲染方法中未披露的细节,请参照实施例1中的图像渲染方法的具体实施内容。
图8中示出了根据本申请另一实施例的图像渲染方法的步骤示意图。
如图8所示,一种VR投影方法包括:
S10:应用实施例1的图像渲染方法分别获取VR双眼的投影图像。S20:将双眼的投影图像在VR双眼位置屏幕进行显示。
本申请实施例VR投影方法用于VR双眼投影显示时,用实施例1的图像渲染方法分别采集双眼的投影图像;然后通过VR设备进行图像显示,达到3D效果。
综上,采用本申请的VR投影方法,或者应用方法的VR系统、装置及存储介质,可以针对具有立体大屏的虚拟场景的渲染时,通过剔除部分区域内投影物体、并改变对应投影图像的α通道参数,从而形成不同景深及视觉差,来实现逼真的3D效果及画面出框效果,减少了渲染处理数据,同时提高了渲染效率。进一步提高了投影效果以及投影效率。
实施例3
本实施例提供了一种图像渲染系统,对于本实施例的图像渲染系统中未披露的细节,请参照其它实施例中的图像渲染方法的具体实施内容。
图9中示出了根据本申请实施例的图像渲染系统的结构示意图。
如图9所示,本申请实施例的图像渲染系统,具体包括景深分割线模块10、立体大屏划分模块20、视野划分模块30以及渲染模块40。
具体的,
景深分割线模块10:用于根据3D场景内物体与摄像点的距离,设置景深分割线,景深分割线设置于物体与摄像点之间。
立体大屏划分模块20:用于根据场景的立体大屏的边界,确定位于摄像点观看3D场景的主视野区域以及次视野区域。
视野划分模块30:用于通过景深分割线所在的平面,将主视野区域以及次视野区域均分别划分成两部分,两部分包括靠近摄像点的景深前部分以及远离摄像点的景深后部分。
渲染模块40:用于剔除次视野区域内的景深后部分的物体后,投射次视野区域和主视野区域。
采用本申请的图像渲染系统,通过景深分割线模块10根据3D场景内物体与摄像点的距离,设置景深分割线,景深分割线设置于物体与摄像点之间;立体大屏划分模块20根据场景的立体大屏的边界,确定位于摄像点观看3D场景的主视野区域以及次视野区域;视野划分模块30通过景深分割线所在的平面,将主视野区域以及次视野区域均分别划分成两部分,两部分包括靠近摄像点的景深前部分以及远离摄像点的景深后部分;渲染模块40剔除次视野区域内的景深后部分的物体后,投射次视野区域和主视野区域的物体并渲染。本申请针对具有立体大屏的虚拟场景的渲染时,通过剔除部分区域内投影物体、并改变对应投影图像的α通道参数,从而形成不同景深及视觉差,来实现逼真的3D效果及视频内容出框效果,减少了渲染处理数据,同时提高了渲染效率。
进而,本申请结合深度信息更大程度突出了近景的呈现,形成明显的3D视频内容出框效果和逼真的3D体验感;同时通过区分场景渲染,也降低了云端资源占用,提高渲染效率。解决了在VR场景下,双眼立体大屏仅有画面区域时其立体感呈现不足的问题。
实施例4
本实施例提供了一种图像渲染设备,对于本实施例的图像渲染设备中未披露的细节,请参照其它实施例中的图像渲染方法或系统具体的实施内容。
图10中示出了根据本申请实施例的图像渲染设备400或图像识别设备的结构示意图。
如图10所示,图像渲染设备400或图像识别设备,包括:
存储器402:用于存储可执行指令;以及
处理器401:用于与存储器402连接以执行可执行指令从而完成图像渲染方法或者图像识别方法。
本领域技术人员可以理解,示意图10仅仅是图像渲染设备400或图像识别设备的示例,并不构成对图像渲染设备400或图像识别设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如图像渲染设备400还可以包括输入输出设备、网络接入设备、总线等。
所称处理器401(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器401也可以是任何常规的处理器等,处理器401是图像渲染设备400的控制中心,利用各种接口和线路连接整个图像渲染设备400的各个部分。
存储器402可用于存储计算机可读指令,处理器401通过运行或执行存储在存储器402内的计算机可读指令或模块,以及调用存储在存储器402内的数据,实现图像渲染设备400的各种功能。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据图像渲染设备400使用所创建的数据等。此外,存储器402可以包括硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(RandomAccess Memory,RAM)或其他非易失性/易失性存储器件。
图像渲染设备400集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机可读指令来指令相关的硬件来完成,的计算机可读指令可存储于一计算机可读存储介质中,该计算机可读指令在被处理器执行时,可实现上述各个方法实施例的步骤。
实施例5
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序;计算机程序被处理器执行以实现其他实施例中的图像渲染方法。
本申请实施例的图像渲染设备及存储介质,通过根据3D场景内物体与摄像点的距离,设置景深分割线,景深分割线设置于物体与摄像点之间;根据场景的立体大屏的边界,确定位于摄像点观看3D场景的主视野区域以及次视野区域;通过景深分割线所在的平面,将主视野区域以及次视野区域均分别划分成两部分,两部分包括靠近摄像点的景深前部分以及远离摄像点的景深后部分;剔除次视野区域内的景深后部分的物体后,投射次视野区域和主视野区域的物体。可以针对具有立体大屏的虚拟场景的渲染时,通过剔除部分区域内投影物体、并改变对应投影图像的α通道参数,从而形成不同景深及视觉差,来实现逼真的3D效果及视频内容出框效果,减少了渲染处理数据,同时提高了渲染效率。
进而,本申请结合深度信息更大程度突出了近景的呈现,形成明显的3D视频内容出框效果和逼真的3D体验感;同时通过区分场景渲染,也降低了云端资源占用,提高渲染效率。解决了在VR场景下,双眼立体大屏仅有画面区域时其立体感呈现不足的问题。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种图像渲染方法,其特征在于,包括:
根据场景内物体与摄像点的距离,设置景深分割线,所述景深分割线设置于所述物体与摄像点之间;
根据场景内立体大屏的边界,确定位于摄像点观看场景时的主视野区域以及次视野区域;
通过所述景深分割线所在的平面,将所述主视野区域以及次视野区域均分别划分成两部分,所述两部分包括靠近摄像点的景深前部分以及远离摄像点的景深后部分;
剔除所述次视野区域内的景深后部分的物体后,投射所述次视野区域和主视野区域的物体并渲染。
2.根据权利要求1所述的图像渲染方法,其特征在于,所述根据场景内物体与摄像点的距离,设置景深分割线,包括:
根据场景内各个物体所在平面与摄像点所在平面的距离,确定景深分割距离;
根据所述景深分割距离确定景深分割线以及景深分割平面;所述景深分割平面将至少一个物体进行分割。
3.根据权利要求1所述的图像渲染方法,其特征在于,所述根据场景的立体大屏的边界,确定位于摄像点观看场景时的主视野区域以及次视野区域,包括:
位于摄像点观看场景时,确认场景视野;所述立体大屏的边界位于场景视野边界内;
所述场景视野位于所述立体大屏的边界内的区域为主视野区域,所述场景视野位于所述立体大屏的边界外的区域为次视野区域。
4.根据权利要求1所述的图像渲染方法,其特征在于,所述剔除所述次视野区域内的景深后部分的物体后,投射所述次视野区域和主视野区域的物体,包括:
剔除所述次视野区域内的景深后部分的物体后,投射所述次视野区域的物体,得到次投影图像;
投射所述主视野区域的物体,得到主投影图像;
通过叠加所述主投影图像和所述次投影图像,确定位于摄像点观看场景的投影图像。
5.根据权利要求1-4任一项所述的图像渲染方法,其特征在于,所述方法还包括:
显示位于摄像点观看场景的投影图像时,将所述次视野区域内的景深后部分的投影部分的α通道参数设置为透明。
6.根据权利要求5所述的图像渲染方法,其特征在于,所述方法还包括:
显示位于摄像点观看场景的投影图像时,靠近所述次视野区域内的景深后部分的投影部分的区域,逐渐改变α通道参数以逐渐增加透明度。
7.一种VR投影方法,包括:
获取应用权利要求1-6任一项所述的图像渲染方法分别获取VR双眼的投影图像;将双眼的投影图像在VR双眼位置的屏幕进行显示。
8.一种图像渲染系统,其特征在于,包括:
景深分割线模块:用于根据场景内物体与摄像点的距离,设置景深分割线,所述景深分割线设置于所述物体与摄像点之间;
立体大屏划分模块:用于根据场景的立体大屏的边界,确定位于摄像点观看场景的主视野区域以及次视野区域;
视野划分模块:用于通过所述景深分割线所在的平面,将所述主视野区域以及次视野区域均分别划分成两部分,两部分包括靠近摄像点的景深前部分以及远离摄像点的景深后部分;
渲染模块:用于剔除所述次视野区域内的景深后部分的物体后,投射所述次视野区域和主视野区域并渲染。
9. 一种图像渲染设备,其特征在于,包括:
存储器,用于存储可执行指令;以及
处理器,用于与存储器连接以执行可执行指令从而完成如权利要求1-6任一项所述的图像渲染方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序;计算机程序被处理器执行以实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310907137.4A CN116866540A (zh) | 2023-07-24 | 2023-07-24 | 图像渲染方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310907137.4A CN116866540A (zh) | 2023-07-24 | 2023-07-24 | 图像渲染方法、系统、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116866540A true CN116866540A (zh) | 2023-10-10 |
Family
ID=88232055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310907137.4A Pending CN116866540A (zh) | 2023-07-24 | 2023-07-24 | 图像渲染方法、系统、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116866540A (zh) |
-
2023
- 2023-07-24 CN CN202310907137.4A patent/CN116866540A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11076142B2 (en) | Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene | |
US7054478B2 (en) | Image conversion and encoding techniques | |
US9595128B2 (en) | Depth dependent filtering of image signal | |
US8471898B2 (en) | Medial axis decomposition of 2D objects to synthesize binocular depth | |
JP5734867B2 (ja) | 画像ベースの3dビデオフォーマット | |
US8711204B2 (en) | Stereoscopic editing for video production, post-production and display adaptation | |
US20130057644A1 (en) | Synthesizing views based on image domain warping | |
CN109510975B (zh) | 一种视频图像的提取方法、设备及系统 | |
CN108833877B (zh) | 图像处理方法及装置、计算机装置及可读存储介质 | |
TWI531212B (zh) | 呈現立體影像之系統及方法 | |
US9196080B2 (en) | Medial axis decomposition of 2D objects to synthesize binocular depth | |
US20170294052A1 (en) | System, Method and Software for Producing Virtual Three Dimensional Images that Appear to Project Forward of or Above an Electronic Display | |
CN112446939A (zh) | 三维模型动态渲染方法、装置、电子设备及存储介质 | |
EP3057316B1 (en) | Generation of three-dimensional imagery to supplement existing content | |
CN111327886B (zh) | 3d光场渲染方法及装置 | |
WO2024022086A1 (zh) | 基于三维显示的视频通信方法及系统 | |
CN116866540A (zh) | 图像渲染方法、系统、装置及存储介质 | |
CN115665461B (zh) | 一种视频录制方法及虚拟现实设备 | |
JP7360366B2 (ja) | 仮想視点映像レンダリング装置、方法およびプログラム | |
AU738692B2 (en) | Improved image conversion and encoding techniques | |
US10475233B2 (en) | System, method and software for converting images captured by a light field camera into three-dimensional images that appear to extend vertically above or in front of a display medium | |
US20130038693A1 (en) | Method and apparatus for reducing frame repetition in stereoscopic 3d imaging | |
CN116993642A (zh) | 一种建筑工程临建工程全景视频融合方法、系统及介质 | |
Zinger et al. | iglance: Interactive free viewpoint for 3d tv |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |