CN108765542A - 图像渲染方法、电子设备和计算机可读存储介质 - Google Patents

图像渲染方法、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN108765542A
CN108765542A CN201810551073.8A CN201810551073A CN108765542A CN 108765542 A CN108765542 A CN 108765542A CN 201810551073 A CN201810551073 A CN 201810551073A CN 108765542 A CN108765542 A CN 108765542A
Authority
CN
China
Prior art keywords
light source
dimensional
selection
image
virtual light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810551073.8A
Other languages
English (en)
Other versions
CN108765542B (zh
Inventor
黄海东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810551073.8A priority Critical patent/CN108765542B/zh
Publication of CN108765542A publication Critical patent/CN108765542A/zh
Application granted granted Critical
Publication of CN108765542B publication Critical patent/CN108765542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种图像渲染方法、电子设备和计算机可读存储介质。其中所述方法包括:获取被摄目标对象的彩色图像和深度图像;根据彩色图像和深度图像获取被摄目标对象的三维立体图;按照拍摄需求生成虚拟光源,并根据虚拟光源和三维立体图生成三维渲染结果图;根据三维渲染结果图生成对应的照射效果图,并将对应的照射效果图显示在拍摄预览界面上。该方法可以有效地解决了光线遮挡的问题,使得渲染后的图像能够达到真实光照所呈现的光与影的效果,提升了用户的使用体验。

Description

图像渲染方法、电子设备和计算机可读存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像渲染方法、电子设备以及一种计算机可读存储介质。
背景技术
在人像摄影过程中,有效的打光会大大提高人像的立体感和层次感。相关技术中,常用的打光方案分为两种:一种是利用闪光灯、补光灯等物理手段直接投射光线,形成光影效果;另一种是通过图像处理的方式对图像的部分区域进行亮度、对比度的调节。
但是,在上述两种技术方案中,使用闪光灯等补光措施局限性较大,用户只能获取正面、白色、固定亮度的光照效果;而使用传统的图像处理方式,除了进行全局处理,只能用特征提取的方法对特定区域进行亮度、对比度的调节,这种方案无法解决光线遮挡的问题,所以在实际应用中并不能达到真实光照所呈现的光与影的效果。
发明内容
本申请的目的旨在至少在一定程度上解决上述的技术问题之一。
为此,本申请的第一个目的在于提出一种图像渲染方法。该方法可以有效地解决了光线遮挡的问题,使得渲染后的图像能够达到真实光照所呈现的光与影的效果,提升了用户的使用体验。
本申请的第二个目的在于提出一种电子设备。
本申请的第三个目的在于提出另一种电子设备。
本申请的第四个目的在于提出一种计算机可读存储介质。
为达到上述目的,本申请第一方面实施例提出的图像渲染方法,包括:获取被摄目标对象的彩色图像和深度图像;根据所述彩色图像和深度图像获取所述被摄目标对象的三维立体图;按照拍摄需求生成虚拟光源,并根据所述虚拟光源和所述三维立体图生成三维渲染结果图;根据所述三维渲染结果图生成对应的照射效果图,并将所述对应的照射效果图显示在拍摄预览界面上。
本申请第二方面实施例提出的电子设备,包括:彩色摄像头,所述彩色摄像头用于获取被摄目标对象的彩色图像;结构光模组,所述结构光模组用于获取所述被摄目标对象的深度图像;分别与所述彩色摄像头和所述结构光模组相连的处理器,所述处理器用于:处理所述彩色图像和深度图像以获取所述被摄目标对象的三维立体图;按照拍摄需求生成虚拟光源,并根据所述虚拟光源和所述三维立体图生成三维渲染结果图;根据所述三维渲染结果图生成对应的照射效果图,并将所述对应的照射效果图显示在拍摄预览界面上。
本申请第三方面实施例提出的电子设备,包括:一个或多个处理器;存储器;和一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行本申请第一方面实施例所述的图像渲染方法的指令。
本申请第四方面实施例提出的计算机可读存储介质,包括与能够摄像的电子装置结合使用的计算机程序,所述计算机程序可被处理器执行以完成本申请第一方面实施例所述的图像渲染方法的指令。
根据本申请实施例的图像渲染方法、电子设备和计算机可读存储介质,可获取被摄目标对象的彩色图像和深度图像,并根据彩色图像和深度图像获取被摄目标对象的三维立体图,并按照拍摄需求生成虚拟光源,并根据虚拟光源和三维立体图生成三维渲染结果图,以及根据三维渲染结果图生成对应的照射效果图,并将对应的照射效果图显示在拍摄预览界面上。即在获得被摄目标对象的三维立体图后,可在该被摄目标对象的三维空间中虚拟一个光源,根据被摄目标对象的轮廓表面起伏模拟入射光线在被摄目标对象的轮廓表面的传播效果,最终生成独特的可以媲美真实光效的渲染图,这样,在图像渲染时,通过结合深度信息,有效地解决了光线遮挡的问题,使得渲染后的图像能够达到真实光照所呈现的光与影的效果,提升了用户的使用体验。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中,
图1是根据本申请一个实施例的图像渲染方法的流程图;
图2是根据本申请一个具体实施例的图像渲染方法的流程图;
图3(a)和(b)是根据本申请实施例的图像渲染过程的示例图;
图4是根据本申请一个实施例的电子设备的结构示意图;
图5是根据本申请另一个实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述根据本申请实施例的图像渲染方法、电子设备和计算机可读存储介质。
图1是根据本申请一个实施例的图像渲染方法的流程图。需要说明的是,本申请实施例的图像渲染方法可应用于本申请实施例的电子设备。其中,该电子设备具有摄像功能,例如,该电子设备可以是移动终端(如手机、平板电脑、个人数字助理等具有各种操作系统的硬件设备),或者,该电子设备还可以是数码相机等。
如图1所示,该图像渲染方法可以包括:
S110,获取被摄目标对象的彩色图像和深度图像。
作为一种示例,本申请的电子设备具有结构光模组和彩色摄像头模组。在本示例中,可通过所述彩色摄像头模组获取该被摄目标对象的彩色图像,并通过所述结构光模组获取被摄目标对象的深度图像。其中,结构光的模式可以是激光条纹、格雷码、正弦条纹、非均匀散斑等。
其中,在本申请的实施例中,所述结构光模组可包括结构光投射器和结构光摄像头。结构光投射器可用于向被摄目标对象投射结构光;结构光摄像头可用于拍摄经该被摄目标对象调制的结构光图像,并解调该结构光图像的各个像素对应的相位信息以得到所述深度图像。
作为一种示例,所述结构光摄像头解调该结构光图像的各个像素对应的相位信息以得到所述深度图像的具体实现过程可如下:解调所述结构光图像中各个像素对应的相位信息,并将所述相位信息转化为深度信息,以及根据所述深度信息生成所述深度图像。
具体地,与未经调制的结构光相比,调制后的结构光的相位信息发生了变化,在结构光图像中呈现出的结构光是产生了畸变之后的结构光,其中,变化的相位信息即可表征物体的深度信息。因此,结构光摄像头首先解调出结构光图像中各个像素对应的相位信息,再根据相位信息计算出深度信息,从而得到最终的深度图像。
S120,根据彩色图像和深度图像获取被摄目标对象的三维立体图。
可选地,提取所述彩色图像中的纹理信息,并将提取的纹理信息贴合到所述深度图像上,得到所述被摄目标对象的三维立体图。例如,从所述被摄目标对象的彩色图像中提取出纹理特征,并将提取的纹理特征对应的填充到所述深度图像上,以得到所述被摄目标对象的三维立体图。
S130,按照拍摄需求生成虚拟光源,并根据虚拟光源和三维立体图生成三维渲染结果图。
可选地,按照拍摄需求可模拟一个虚拟光源,并将该虚拟光源放置在拍摄预览界面上的被摄目标对象所在的三维空间中,使得该虚拟光源在该三维空间中投射光线,这样,根据被摄目标对象的轮廓表面起伏模拟入射光线在被摄目标对象的轮廓表面的传播效果,得到模拟后的三维渲染结果图。
需要说明的是,在按照拍摄需求生成虚拟光源之前,可先获取所述拍摄需求,在本申请的实施例中,所述拍摄需求的获取方式可以是有多种,例如:该拍摄需求可以是预先设定的,这样,在线上应用时,可获取该预先设定的拍摄需求,并按照该预先设定的拍摄需求生成所述虚拟光源;又如,本申请的电子设备可以按照实际应用为用户提供相应的选择界面,这样,可以根据用户在选择界面所选择的信息生成相应的虚拟光源。
作为一种示例,可通过以下方式获取所述拍摄需求:提供光效模式选择界面,其中,所述选择界面上具有针对至少一种光效的选择控件,并接收用户针对所述选择控件的触发指令,之后,根据所述触发指令,确定所述用户选择的光效种类,以及根据所述用户选择的光效种类,确定所述拍摄需求。
例如,可在相机拍摄界面上提供光效模式设置控件,当用户触发该光效模式设置控件时,可为用户提供光效模式选择界面,该选择界面上可具有针对至少一种光效的选择控件,比如,流光光效、烟花光效、烟雾光效、鬼脸光效等,这样,用户可通过选择控件选择自己喜欢或需求的光效,当接收到用户针对所述选择控件的触发指令之后,根据所述触发指令,确定用户选择了哪种光效,并根据用户所选择的光效确定所述拍摄需求,即确定需要拍摄哪种打光效果。
作为另一种示例,可通过以下方式获取所述拍摄需求:提供光效参数选择设置界面,其中,所述选择设置界面上具有针对多个光效参数的选择设置控件,所述多个光效参数包括光源的亮度、大小和颜色参数;根据用户通过所述选择设置控件选择的光效参数,确定所述拍摄需求。
例如,可在相机拍摄界面上提供光效参数设置控件,当用户触发该光效参数设置控件时,可为用户提供光效参数选择设置界面,该选择设置界面上可具有针对多个光效参数的选择设置控件,其中,该多个光效参数可包括但不限于光源的亮度、大小和颜色参数等。这样,用户在拍摄时,可通过所述选择设置控件选择自己需求的光效参数,当接收到用户针对所述选择设置控件的触发指令之后,可根据用户所选择的光效参数,来确定所述拍摄需求。
在本申请的实施例中,在确定所述拍摄需求之后,可根据所述拍摄需求,确定所需光源的亮度、大小和颜色信息,并根据所需光源的亮度、大小和颜色信息,生成所述虚拟光源。
也就是说,可根据所述拍摄需求来确定待生成的虚拟光源的亮度、大小和颜色,并根据该亮度、大小和颜色来生成对应的虚拟光源。
S140,根据三维渲染结果图生成对应的照射效果图,并将对应的照射效果图显示在拍摄预览界面上。
作为一种示例,可提取三维渲染结果图中的各像素的渲染参数,并将提取的所述各像素的渲染参数(如光线强度、光线反射角度等),渲染到所述彩色图像中对应的像素上,得到所述照射效果图。也就是说,在得到三维渲染结果图之后,可从该三维渲染结果图中提取出各个像素所对应的渲染参数,并将提取的各个像素的渲染参数,应用到所述彩色图像中对应的像素上,最终得到渲染后的照射效果图,之后,可将得到的照射效果图显示在拍摄预览界面上。这样,当用户满意当前光效渲染结果时,用户会使用当前光效渲染模式进行拍摄,最终可以使得拍摄出的图像更有层次感和立体感。
举例而言,当用户在进行自拍时,可先获取该用户的彩色图像和深度图像,并根据彩色图像和深度图像获取该用户的三维立体图,并按照拍摄需求生成虚拟光源,并根据所述虚拟光源和所述三维立体图生成三维渲染结果图,之后,可根据所述三维渲染结果图生成对应的照射效果图,并将所述对应的照射效果图显示在拍摄预览界面上。当用户满意当前光效渲染结果时,用户会使用当前光效渲染模式进行自拍,这样可以使得用户的自拍图像更有层次感和立体感,可以将鼻子、眼窝等部位更好的呈现出来,得到与众不同的大片效果。
根据本申请实施例的图像渲染方法,可获取被摄目标对象的彩色图像和深度图像,并根据彩色图像和深度图像获取被摄目标对象的三维立体图,并按照拍摄需求生成虚拟光源,并根据虚拟光源和三维立体图生成三维渲染结果图,以及根据三维渲染结果图生成对应的照射效果图,并将对应的照射效果图显示在拍摄预览界面上。即在获得被摄目标对象的三维立体图后,可在该被摄目标对象的三维空间中虚拟一个光源,根据被摄目标对象的轮廓表面起伏模拟入射光线在被摄目标对象的轮廓表面的传播效果,最终生成独特的可以媲美真实光效的渲染图,这样,在图像渲染时,通过结合深度信息,有效地解决了光线遮挡的问题,使得渲染后的图像能够达到真实光照所呈现的光与影的效果,提升了用户的使用体验。
图2是根据本申请一个具体实施例的图像渲染方法的流程图。
为了进一步提升用户体验,可以有效地,生成独特的可以媲美真实光效的渲染图,在本申请的实施例中,可建立针对被摄目标对象的三维空间坐标系,并将所述虚拟光源放置在三维空间坐标系中,根据所述虚拟光源和所述被摄目标对象的空间关系,生成所述三维渲染结果图。具体地,如图2所示,该图像渲染方法可以包括:
S210,获取被摄目标对象的彩色图像和深度图像。
S220,根据彩色图像和深度图像获取被摄目标对象的三维立体图。
S230,按照拍摄需求生成虚拟光源。
需要说明的是,在按照拍摄需求生成虚拟光源之前,可先获取所述拍摄需求,在本申请的实施例中,所述拍摄需求的获取方式可以是有多种,例如:该拍摄需求可以是预先设定的,这样,在线上应用时,可获取该预先设定的拍摄需求,并按照该预先设定的拍摄需求生成所述虚拟光源;又如,本申请的电子设备可以按照实际应用为用户提供相应的选择界面,这样,可以根据用户在选择界面所选择的信息生成相应的虚拟光源。
作为一种示例,可通过以下方式获取所述拍摄需求:提供光效模式选择界面,其中,所述选择界面上具有针对至少一种光效的选择控件;接收用户针对所述选择控件的触发指令;根据所述触发指令,确定所述用户选择的光效种类;根据所述用户选择的光效种类,确定所述拍摄需求。
作为另一种示例,可通过以下方式获取所述拍摄需求:提供光效参数选择设置界面,其中,所述选择设置界面上具有针对多个光效参数的选择设置控件,所述多个光效参数包括光源的亮度、大小和颜色参数;根据用户通过所述选择设置控件选择的光效参数,确定所述拍摄需求。
在本申请的实施例中,可根据所述拍摄需求,确定所需光源的亮度、大小和颜色信息,并根据所需光源的亮度、大小和颜色信息,生成所述虚拟光源。也就是说,可根据所述拍摄需求来确定待生成的虚拟光源的亮度、大小和颜色,并根据该亮度、大小和颜色来生成对应的虚拟光源。
S240,建立三维空间坐标系,并将虚拟光源放置在三维空间坐标系中。
可选地,在得到被摄目标对象的三维立体图之后,可建立针对该被摄目标对象的三维空间坐标系,在该三维空间坐标系中放置所述虚拟光源。作为一种示例,所述三维空间坐标系可以是以所述三维立体图中的被摄目标对象的中心位置作为原点建立的坐标系;或者,所述三维空间坐标系是以结构光模组中的摄像头的中心为原点建立的坐标系。
作为一种示例,在建立三维空间坐标系之后,可按照预设位置,将所述虚拟光源放置在所述三维空间坐标系中;或者,获取用户针对所述虚拟光源的位置的选择指令,并根据所述用户选择的所述虚拟光源的位置,将所述虚拟光源放置在所述三维空间坐标系中。
举例而言,用户可以在拍摄预览界面上通过点击的方式选择所述虚拟光源的放置位置,假设用户点击了拍摄预览界面的右上方以选择所述虚拟光源放置在该位置,则可根据用户选择的位置,将所述虚拟光源对应的放置在所述三维空间坐标系中,例如,对应的放置在所述三维空间坐标系的右上方。由此,通过用户选择所述虚拟光源的放置位置,增加了用户与产品的交互操作,提高了产品的趣味性。
为了进一步提高产品的趣味性,提升用户的使用体验,可选地,在本申请的一个实施例中,在将所述虚拟光源放置在所述三维空间坐标系中时,还可接收用户针对所述虚拟光源的光线投射角度的选择指令,并根据所述用户选择的光线投射角度,调整所述三维空间坐标系中的所述虚拟光源的光线投射角度范围。也就是说,在将所述虚拟光源放置在所述三维空间坐标系中时,用户可通过对所述虚拟光源的光线投射角度进行调整,这样,可根据用户选择的光线投射角度,调整所述三维空间坐标系中的所述虚拟光源的光线投射角度范围,从而根据目标轮廓表面起伏模拟不同角度入射光线在被摄目标表面的传播效果,最终可以生成独特的可以媲美真实光效的渲染图。
S250,根据虚拟光源和被摄目标对象的空间关系,生成三维渲染结果图。
可选地,确定所述虚拟光源的投射光线与所述被摄目标对象的三维轮廓表面之间的相对角度,并根据所述相对角度,获取所述投射光线投射到所述被摄目标对象的三维轮廓表面的强度,并获取所述投射光线经所述被摄目标对象的三维轮廓表面反射的反射系数,之后,根据所述强度和所述反射系数,生成对应的三维渲染结果图。
S260,根据三维渲染结果图生成对应的照射效果图,并将对应的照射效果图显示在拍摄预览界面上。
作为一种示例,可提取三维渲染结果图中的各像素的渲染参数,并将提取的所述各像素的渲染参数,渲染到所述彩色图像中对应的像素上,得到所述照射效果图。
举例而言,以被摄目标对象为白色的圆球为例,当用户启动电子设备的拍摄功能时,可选择进入光效模式,在光效参数选择设置界面上选择所需的光效参数,如光源的亮度、大小、颜色(本示例中所述颜色为白色)。如图3(a)所示,通过结构光模组可获取该白色的圆球的深度图像,并建立三维空间坐标系,并通过彩色摄像头获取该白色的圆球的彩色图像,并将该彩色图像中的纹理信息贴合到所述深度图像上,得到该白色的圆球的三维立体图。在三维空间坐标系中设置一个虚拟光源,该光源的亮度、大小、颜色根据上述用户在光效参数选择设置界面中所选择的光效参数来设定。之后,根据虚拟光源和目标的空间关系,生成三维渲染结果图,渲染效果如图3(b)所示。然后,可将三维渲染结果图中的各个像素的渲染参数应用于所述彩色图像的对应像素上,得到渲染后的照射效果图,并将该照射效果图显示在拍摄预览界面上。
根据本申请实施例的图像渲染方法,可建立针对被摄目标对象的三维空间坐标系,并将所述虚拟光源放置在三维空间坐标系中,根据所述虚拟光源和所述被摄目标对象的空间关系,生成所述三维渲染结果图,可以有效地,生成独特的可以媲美真实光效的渲染图,进一步提升了用户体验。
图4是根据本申请一个实施例的电子设备的结构示意图。如图4所示,该电子设备400可以包括:彩色摄像头410、结构光模组420和处理器430。其中,处理器430可分别与彩色摄像头410、结构光模组420相连。
具体地,彩色摄像头410用于获取被摄目标对象的彩色图像。
结构光模组420用于获取被摄目标对象的深度图像。作为一种示例,结构光模组420可包括结构光投射器和结构光摄像头。其中,结构光投射器用于向所述被摄目标对象投射结构光;结构光摄像头用于:拍摄经所述被摄目标对象的结构光图像,并解调所述结构光图像的各个像素对应的相位信息以得到所述深度图像。
处理器430用于:处理彩色图像和深度图像以获取被摄目标对象的三维立体图;按照拍摄需求生成虚拟光源,并根据虚拟光源和三维立体图生成三维渲染结果图;根据三维渲染结果图生成对应的照射效果图,并将对应的照射效果图显示在拍摄预览界面上。
需要说明的是,处理器430在按照拍摄需求生成虚拟光源之前,可先获取所述拍摄需求,在本申请的实施例中,所述拍摄需求的获取方式可以是有多种,例如:该拍摄需求可以是预先设定的,这样,在线上应用时,可获取该预先设定的拍摄需求,并按照该预先设定的拍摄需求生成所述虚拟光源;又如,本申请的电子设备可以按照实际应用为用户提供相应的选择界面,这样,可以根据用户在选择界面所选择的信息生成相应的虚拟光源。
可选地,在本申请的一个实施例中,处理器430还可用于:提供光效模式选择界面,其中,所述选择界面上具有针对至少一种光效的选择控件;接收用户针对所述选择控件的触发指令;根据所述触发指令,确定所述用户选择的光效种类;根据所述用户选择的光效种类,确定所述拍摄需求。
可选地,在本申请的另一个实施例中,处理器430还可用于:提供光效参数选择设置界面,其中,所述选择设置界面上具有针对多个光效参数的选择设置控件,所述多个光效参数包括光源的亮度、大小和颜色参数;根据用户通过所述选择设置控件选择的光效参数,确定所述拍摄需求。
在本申请的实施例中,处理器430按照拍摄需求生成虚拟光源的具体实现方式可如下:根据所述拍摄需求,确定所需光源的亮度、大小和颜色信息,并根据所述所需光源的亮度、大小和颜色信息,生成所述虚拟光源。
在本申请的一个实施例中,处理器430根据虚拟光源和三维立体图生成三维渲染结果图的具体实现方式可如下:建立三维空间坐标系,并将所述虚拟光源放置在所述三维空间坐标系中;根据所述虚拟光源和所述被摄目标对象的空间关系,生成所述三维渲染结果图。
作为一种示例,处理器430将所述虚拟光源放置在所述三维空间坐标系中的具体实现方式可如下:按照预设位置,将所述虚拟光源放置在所述三维空间坐标系中;或者,获取用户针对所述虚拟光源的位置的选择指令,并根据所述用户选择的所述虚拟光源的位置,将所述虚拟光源放置在所述三维空间坐标系中。
为了进一步提高产品的趣味性,提升用户的使用体验,可选地,在本申请的一个实施例中,处理器430还用于:在将所述虚拟光源放置在所述三维空间坐标系中时,接收用户针对所述虚拟光源的光线投射角度的选择指令;根据所述用户选择的光线投射角度,调整所述三维空间坐标系中的所述虚拟光源的光线投射角度范围。
在本申请的一个实施例中,处理器430根据所述虚拟光源和所述被摄目标对象的空间关系,生成所述三维渲染结果图的具体实现过程可如下:确定所述虚拟光源的投射光线与所述被摄目标对象的三维轮廓表面之间的相对角度;根据所述相对角度,获取所述投射光线投射到所述被摄目标对象的三维轮廓表面的强度,并获取所述投射光线经所述被摄目标对象的三维轮廓表面反射的反射系数;根据所述强度和所述反射系数,生成对应的三维渲染结果图。
在本申请的一个实施例中,处理器430根据三维渲染结果图生成对应的照射效果图的具体实现过程可如下:提取三维渲染结果图中的各像素的渲染参数;将提取的所述各像素的渲染参数,渲染到所述彩色图像中对应的像素上,得到所述照射效果图。
根据本申请实施例的电子设备,可获取被摄目标对象的彩色图像和深度图像,并根据彩色图像和深度图像获取被摄目标对象的三维立体图,并按照拍摄需求生成虚拟光源,并根据虚拟光源和三维立体图生成三维渲染结果图,以及根据三维渲染结果图生成对应的照射效果图,并将对应的照射效果图显示在拍摄预览界面上。即在获得被摄目标对象的三维立体图后,可在该被摄目标对象的三维空间中虚拟一个光源,根据被摄目标对象的轮廓表面起伏模拟入射光线在被摄目标对象的轮廓表面的传播效果,最终生成独特的可以媲美真实光效的渲染图,这样,在图像渲染时,通过结合深度信息,有效地解决了光线遮挡的问题,使得渲染后的图像能够达到真实光照所呈现的光与影的效果,提升了用户的使用体验。
为了实现上述实施例,本申请还提出了另一种电子设备。
图5是根据本申请另一个实施例的电子设备的结构示意图。如图5所示,该电子设备500可以包括:一个或多个处理器510、存储器520和一个或多个程序530。其中,一个或多个程序530被存储在所述存储器520中,并且被配置成由所述一个或多个处理器510执行,所述程序530包括用于执行本申请上述任一个实施例所述的图像渲染方法的指令。
为了实现上述实施例,本申请还提出了一种非临时性计算机可读存储介质,包括与能够摄像的电子装置结合使用的计算机程序,所述计算机程序可被处理器执行以完成本申请上述任一个实施例所述的图像渲染方法。
在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (20)

1.一种图像渲染方法,其特征在于,包括以下步骤:
获取被摄目标对象的彩色图像和深度图像;
根据所述彩色图像和深度图像获取所述被摄目标对象的三维立体图;
按照拍摄需求生成虚拟光源,并根据所述虚拟光源和所述三维立体图生成三维渲染结果图;
根据所述三维渲染结果图生成对应的照射效果图,并将所述对应的照射效果图显示在拍摄预览界面上。
2.如权利要求1所述的图像渲染方法,其特征在于,通过以下方式获取所述拍摄需求:
提供光效模式选择界面,其中,所述选择界面上具有针对至少一种光效的选择控件;
接收用户针对所述选择控件的触发指令;
根据所述触发指令,确定所述用户选择的光效种类;
根据所述用户选择的光效种类,确定所述拍摄需求。
3.如权利要求1所述的图像渲染方法,其特征在于,通过以下方式获取所述拍摄需求:
提供光效参数选择设置界面,其中,所述选择设置界面上具有针对多个光效参数的选择设置控件,所述多个光效参数包括光源的亮度、大小和颜色参数;
根据用户通过所述选择设置控件选择的光效参数,确定所述拍摄需求。
4.如权利要求2或3所述的图像渲染方法,其特征在于,所述按照拍摄需求生成虚拟光源,包括:
根据所述拍摄需求,确定所需光源的亮度、大小和颜色信息;
根据所述所需光源的亮度、大小和颜色信息,生成所述虚拟光源。
5.如权利要求1所述的图像渲染方法,其特征在于,所述根据所述虚拟光源和所述三维立体图生成三维渲染结果图,包括:
建立三维空间坐标系,并将所述虚拟光源放置在所述三维空间坐标系中;
根据所述虚拟光源和所述被摄目标对象的空间关系,生成所述三维渲染结果图。
6.如权利要求5所述的图像渲染方法,其特征在于,将所述虚拟光源放置在所述三维空间坐标系中,包括:
按照预设位置,将所述虚拟光源放置在所述三维空间坐标系中;或者,
获取用户针对所述虚拟光源的位置的选择指令;
根据所述用户选择的所述虚拟光源的位置,将所述虚拟光源放置在所述三维空间坐标系中。
7.如权利要求5所述的图像渲染方法,其特征在于,在将所述虚拟光源放置在所述三维空间坐标系中时,所述方法还包括:
接收用户针对所述虚拟光源的光线投射角度的选择指令;
根据所述用户选择的光线投射角度,调整所述三维空间坐标系中的所述虚拟光源的光线投射角度范围。
8.如权利要求5所述的图像渲染方法,其特征在于,所述根据所述虚拟光源和所述被摄目标对象的空间关系,生成三维渲染结果图,包括:
确定所述虚拟光源的投射光线与所述被摄目标对象的三维轮廓表面之间的相对角度;
根据所述相对角度,获取所述投射光线投射到所述被摄目标对象的三维轮廓表面的强度,并获取所述投射光线经所述被摄目标对象的三维轮廓表面反射的反射系数;
根据所述强度和所述反射系数,生成对应的三维渲染结果图。
9.如权利要求1所述的图像渲染方法,其特征在于,所述根据所述三维渲染结果图生成对应的照射效果图,包括:
提取三维渲染结果图中的各像素的渲染参数;
将提取的所述各像素的渲染参数,渲染到所述彩色图像中对应的像素上,得到所述照射效果图。
10.一种电子设备,其特征在于,包括:
彩色摄像头,所述彩色摄像头用于获取被摄目标对象的彩色图像;
结构光模组,所述结构光模组用于获取所述被摄目标对象的深度图像;
分别与所述彩色摄像头和所述结构光模组相连的处理器,所述处理器用于:
处理所述彩色图像和深度图像以获取所述被摄目标对象的三维立体图;
按照拍摄需求生成虚拟光源,并根据所述虚拟光源和所述三维立体图生成三维渲染结果图;
根据所述三维渲染结果图生成对应的照射效果图,并将所述对应的照射效果图显示在拍摄预览界面上。
11.如权利要求10所述的电子设备,其特征在于,所述处理器还用于:
提供光效模式选择界面,其中,所述选择界面上具有针对至少一种光效的选择控件;
接收用户针对所述选择控件的触发指令;
根据所述触发指令,确定所述用户选择的光效种类;
根据所述用户选择的光效种类,确定所述拍摄需求。
12.如权利要求10所述的电子设备,其特征在于,所述处理器还用于:
提供光效参数选择设置界面,其中,所述选择设置界面上具有针对多个光效参数的选择设置控件,所述多个光效参数包括光源的亮度、大小和颜色参数;
根据用户通过所述选择设置控件选择的光效参数,确定所述拍摄需求。
13.如权利要求11或12所述的电子设备,其特征在于,所述处理器具体用于:根据所述拍摄需求,确定所需光源的亮度、大小和颜色信息,并根据所述所需光源的亮度、大小和颜色信息,生成所述虚拟光源。
14.如权利要求10所述的电子设备,其特征在于,所述处理器具体用于:
建立三维空间坐标系,并将所述虚拟光源放置在所述三维空间坐标系中;
根据所述虚拟光源和所述被摄目标对象的空间关系,生成所述三维渲染结果图。
15.如权利要求14所述的电子设备,其特征在于,所述处理器具体用于:
按照预设位置,将所述虚拟光源放置在所述三维空间坐标系中;或者,
获取用户针对所述虚拟光源的位置的选择指令;
根据所述用户选择的所述虚拟光源的位置,将所述虚拟光源放置在所述三维空间坐标系中。
16.如权利要求14所述的电子设备,其特征在于,所述处理器还用于:
在将所述虚拟光源放置在所述三维空间坐标系中时,接收用户针对所述虚拟光源的光线投射角度的选择指令;
根据所述用户选择的光线投射角度,调整所述三维空间坐标系中的所述虚拟光源的光线投射角度范围。
17.如权利要求14所述的电子设备,其特征在于,所述处理器具体用于:
确定所述虚拟光源的投射光线与所述被摄目标对象的三维轮廓表面之间的相对角度;
根据所述相对角度,获取所述投射光线投射到所述被摄目标对象的三维轮廓表面的强度,并获取所述投射光线经所述被摄目标对象的三维轮廓表面反射的反射系数;
根据所述强度和所述反射系数,生成对应的三维渲染结果图。
18.如权利要求10所述的电子设备,其特征在于,所述处理器具体用于:
提取三维渲染结果图中的各像素的渲染参数;
将提取的所述各像素的渲染参数,渲染到所述彩色图像中对应的像素上,得到所述照射效果图。
19.一种电子设备,包括
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行权利要求1至9任意一项所述的图像渲染方法的指令。
20.一种非临时性计算机可读存储介质,其特征在于,包括与能够摄像的电子装置结合使用的计算机程序,所述计算机程序可被处理器执行以完成权利要求1至9任意一项所述的图像渲染方法。
CN201810551073.8A 2018-05-31 2018-05-31 图像渲染方法、电子设备和计算机可读存储介质 Active CN108765542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810551073.8A CN108765542B (zh) 2018-05-31 2018-05-31 图像渲染方法、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810551073.8A CN108765542B (zh) 2018-05-31 2018-05-31 图像渲染方法、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108765542A true CN108765542A (zh) 2018-11-06
CN108765542B CN108765542B (zh) 2022-09-09

Family

ID=64001248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810551073.8A Active CN108765542B (zh) 2018-05-31 2018-05-31 图像渲染方法、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108765542B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009720A (zh) * 2019-04-02 2019-07-12 百度在线网络技术(北京)有限公司 Ar场景中的图像处理方法、装置、电子设备及存储介质
CN110084154A (zh) * 2019-04-12 2019-08-02 北京字节跳动网络技术有限公司 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN110365887A (zh) * 2019-07-30 2019-10-22 歌尔股份有限公司 成像方法、装置、设备及计算机可读存储介质
CN111080798A (zh) * 2019-12-02 2020-04-28 网易(杭州)网络有限公司 虚拟场景的可见性数据处理方法及虚拟场景的渲染方法
CN111210486A (zh) * 2020-01-07 2020-05-29 北京赤金智娱科技有限公司 一种用于实现流光效果的方法和装置
CN111402385A (zh) * 2020-03-26 2020-07-10 网易(杭州)网络有限公司 一种模型处理的方法及装置、电子设备、存储介质
CN111696187A (zh) * 2020-04-26 2020-09-22 杭州群核信息技术有限公司 一种基于效果图的光照设计系统
CN112270759A (zh) * 2020-10-30 2021-01-26 北京字跳网络技术有限公司 基于图像的光效处理方法、装置、设备及存储介质
CN112422945A (zh) * 2020-09-01 2021-02-26 华为技术有限公司 图像处理方法、移动终端及存储介质
CN112532872A (zh) * 2020-11-16 2021-03-19 北京五一视界数字孪生科技股份有限公司 调整摄像头参数的方法、装置、存储介质及电子设备
CN112802170A (zh) * 2021-02-07 2021-05-14 北京字节跳动网络技术有限公司 光照图像生成方法、装置、设备和介质
CN113240692A (zh) * 2021-06-30 2021-08-10 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备以及存储介质
CN113436325A (zh) * 2021-07-30 2021-09-24 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN114612607A (zh) * 2022-02-11 2022-06-10 广东时谛智能科技有限公司 一种基于三维模型的鞋体设计方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426695A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种单幅图像场景的虚实光照融合方法
CN105678308A (zh) * 2016-01-12 2016-06-15 中国科学院自动化研究所 一种基于光照方向不一致性的图像拼接检测方法
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
US20170061691A1 (en) * 2015-08-31 2017-03-02 Jason Bradley Scott Displaying image data behind surfaces
CN107995434A (zh) * 2017-11-30 2018-05-04 广东欧珀移动通信有限公司 图像获取方法、电子装置和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426695A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种单幅图像场景的虚实光照融合方法
US20170061691A1 (en) * 2015-08-31 2017-03-02 Jason Bradley Scott Displaying image data behind surfaces
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN105678308A (zh) * 2016-01-12 2016-06-15 中国科学院自动化研究所 一种基于光照方向不一致性的图像拼接检测方法
CN107995434A (zh) * 2017-11-30 2018-05-04 广东欧珀移动通信有限公司 图像获取方法、电子装置和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XUAN YU 等: "Real-time Depth of Field Rendering via Dynamic Light Field Generation and Filtering", 《COMPUTER GRAPHICS FORUM》 *
叶凤华: "3D动画场景光照渲染算法的效果优化", 《科技通报》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009720A (zh) * 2019-04-02 2019-07-12 百度在线网络技术(北京)有限公司 Ar场景中的图像处理方法、装置、电子设备及存储介质
CN110009720B (zh) * 2019-04-02 2023-04-07 阿波罗智联(北京)科技有限公司 Ar场景中的图像处理方法、装置、电子设备及存储介质
CN110084154A (zh) * 2019-04-12 2019-08-02 北京字节跳动网络技术有限公司 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN110365887B (zh) * 2019-07-30 2021-10-26 歌尔光学科技有限公司 成像方法、装置、设备及计算机可读存储介质
CN110365887A (zh) * 2019-07-30 2019-10-22 歌尔股份有限公司 成像方法、装置、设备及计算机可读存储介质
CN111080798A (zh) * 2019-12-02 2020-04-28 网易(杭州)网络有限公司 虚拟场景的可见性数据处理方法及虚拟场景的渲染方法
CN111080798B (zh) * 2019-12-02 2024-02-23 网易(杭州)网络有限公司 虚拟场景的可见性数据处理方法及虚拟场景的渲染方法
CN111210486A (zh) * 2020-01-07 2020-05-29 北京赤金智娱科技有限公司 一种用于实现流光效果的方法和装置
CN111210486B (zh) * 2020-01-07 2024-01-05 北京完美赤金科技有限公司 一种用于实现流光效果的方法和装置
CN111402385A (zh) * 2020-03-26 2020-07-10 网易(杭州)网络有限公司 一种模型处理的方法及装置、电子设备、存储介质
CN111402385B (zh) * 2020-03-26 2023-11-17 网易(杭州)网络有限公司 一种模型处理的方法及装置、电子设备、存储介质
CN111696187A (zh) * 2020-04-26 2020-09-22 杭州群核信息技术有限公司 一种基于效果图的光照设计系统
CN111696187B (zh) * 2020-04-26 2023-10-03 杭州群核信息技术有限公司 一种基于效果图的光照设计系统
CN112422945A (zh) * 2020-09-01 2021-02-26 华为技术有限公司 图像处理方法、移动终端及存储介质
WO2022088927A1 (zh) * 2020-10-30 2022-05-05 北京字跳网络技术有限公司 基于图像的光效处理方法、装置、设备及存储介质
CN112270759B (zh) * 2020-10-30 2022-06-24 北京字跳网络技术有限公司 基于图像的光效处理方法、装置、设备及存储介质
CN112270759A (zh) * 2020-10-30 2021-01-26 北京字跳网络技术有限公司 基于图像的光效处理方法、装置、设备及存储介质
CN112532872B (zh) * 2020-11-16 2022-03-29 北京五一视界数字孪生科技股份有限公司 调整摄像头参数的方法、装置、存储介质及电子设备
CN112532872A (zh) * 2020-11-16 2021-03-19 北京五一视界数字孪生科技股份有限公司 调整摄像头参数的方法、装置、存储介质及电子设备
CN112802170A (zh) * 2021-02-07 2021-05-14 北京字节跳动网络技术有限公司 光照图像生成方法、装置、设备和介质
CN112802170B (zh) * 2021-02-07 2023-05-16 抖音视界有限公司 光照图像生成方法、装置、设备和介质
CN113240692B (zh) * 2021-06-30 2024-01-02 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备以及存储介质
CN113240692A (zh) * 2021-06-30 2021-08-10 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备以及存储介质
CN113436325A (zh) * 2021-07-30 2021-09-24 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113436325B (zh) * 2021-07-30 2023-07-28 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN114612607A (zh) * 2022-02-11 2022-06-10 广东时谛智能科技有限公司 一种基于三维模型的鞋体设计方法及装置

Also Published As

Publication number Publication date
CN108765542B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN108765542A (zh) 图像渲染方法、电子设备和计算机可读存储介质
US11115633B2 (en) Method and system for projector calibration
Siegl et al. Real-time pixel luminance optimization for dynamic multi-projection mapping
CN106600686A (zh) 一种基于多幅未标定图像的三维点云重建方法
CN107483845B (zh) 拍照方法及其装置
CN109785423A (zh) 图像补光方法、装置及计算机设备
CN107493411B (zh) 图像处理系统及方法
US10110792B2 (en) Background replacement system and methods involving multiple captured images
US11398007B2 (en) Video generation device, video generation method, program, and data structure
CN106940897A (zh) 一种在ar场景中介入现实光影的方法
CN107493427A (zh) 移动终端的对焦方法、装置和移动终端
CN113810612A (zh) 一种模拟化实景拍摄方法及系统
CN109618089A (zh) 智能化的拍摄控制器、管理控制器及拍摄方法
CN107493412B (zh) 图像处理系统及方法
CN105072429A (zh) 一种投影方法及装置
Zhou et al. Light field projection for lighting reproduction
KR20230022153A (ko) 소프트 레이어링 및 깊이 인식 복원을 사용한 단일 이미지 3d 사진
Wu et al. Interactive relighting in single low-dynamic range images
MacDonald Visual realism in digital heritage
Siegl Dynamic Multi-Projection Mapping
RU2778288C1 (ru) Способ и устройство для определения освещенности изображения лица, устройство и носитель данных
CN114792357B (zh) 全景图资源生成方法、装置、电子设备及存储介质
US11983886B2 (en) System for background and floor replacement in full-length subject images
US20220114734A1 (en) System for background and floor replacement in full-length subject images
Takeuchi et al. Projection Mapping under Environmental Lighting by Replacing Room Lights with Heterogeneous Projectors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant