CN112446939A - 三维模型动态渲染方法、装置、电子设备及存储介质 - Google Patents
三维模型动态渲染方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112446939A CN112446939A CN202011304727.0A CN202011304727A CN112446939A CN 112446939 A CN112446939 A CN 112446939A CN 202011304727 A CN202011304727 A CN 202011304727A CN 112446939 A CN112446939 A CN 112446939A
- Authority
- CN
- China
- Prior art keywords
- dimensional model
- rendered
- image
- rendering
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 12
- 230000015654 memory Effects 0.000 claims description 18
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种三维模型动态渲染方法、装置、电子设备及存储介质,属于虚拟现实技术领域,其中三维模型动态渲染方法包括:获取待渲染三维模型对应的空间坐标,根据所述空间坐标得到所述待渲染三维模型的三维模型渲染图像;根据所述三维模型渲染图像采集并输出所述待渲染三维模型的操作视频流图像;对所述操作视频流图像进行抠图运算,得到所述待渲染三维模型对应的三维模型实物区域;获取三维背景场景;将所述三维模型实物区域与所述三维背景场景进行合成,得到所述待渲染三维模型的渲染结果。上述三维模型动态渲染方法,能够实现稳定抠图和实时渲染,便于布置、调试及维护,适用于各种环境,节省成本。
Description
技术领域
本发明涉及虚拟现实技术领域,尤其是涉及一种三维模型的动态渲染方法、装置、电子设备及存储介质。
背景技术
虚拟现实技术可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中。虚拟现实是多种技术的综合,其中通过抠图技术可以将实拍主体单独提取出实拍画面,然后将实拍画面与虚拟场景进行合成,将合成后的三维动态视景进行互动显示,使表现形式更为灵活和丰富。
现在抠像技术主要为使用蓝幕或绿幕作为背景图像的抠像,该方法需要为体验者单独搭建一个特殊的三维空间,然后将待抠取的物体置于蓝色或者绿色背景并进行抠图,因此具有很大的空间局限性。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明实施例提出一种三维模型动态渲染方法,能够实现稳定抠图和实时渲染,便于布置、调试及维护,适用于各种环境,节省成本。
本发明实施例还提出一种三维模型动态渲染装置。
本发明实施例还提出一种电子设备。
本发明还提出一种计算机可读存储介质。
根据本发明的第一方面实施例的三维模型动态渲染方法,包括:
获取待渲染三维模型对应的空间坐标,根据所述空间坐标得到所述待渲染三维模型的三维模型渲染图像;
根据所述三维模型渲染图像采集并输出所述待渲染三维模型的操作视频流图像;
对所述操作视频流图像进行抠图运算,得到所述待渲染三维模型对应的三维模型实物区域;
获取三维背景场景;
将所述三维模型实物区域与所述三维背景场景进行合成,得到所述待渲染三维模型的渲染结果。
根据本发明第一方面实施例的三维模型动态渲染方法,至少具有如下有益效果:首先通过待渲染三维模型的空间坐标得到待渲染三维模型的三维模型渲染图像,其次根据三维模型渲染图像采集并输出待渲染三维模型的操作视频流图像,然后对操作视频流图像进行抠图运算,得到待渲染三维模型对应的三维模型实物区域,最后将三维模型实物区域与三维背景场景进行叠加,得到待渲染三维模型的渲染结果,能够实现稳定抠图和实时渲染,便于布置、调试及维护,适用于各种环境,节省成本。
根据本发明的一些实施例,所述根据所述空间坐标得到所述待渲染三维模型的三维模型渲染图像,包括:根据所述空间坐标提取预设采集坐标;根据所述预设采集坐标对所述待渲染三维模型进行图像采集,得到多张待渲染图片;对所述多张待渲染图片进行渲染,得到所述三维模型渲染图像。
根据本发明的一些实施例,所述对所述多张待渲染图片进行渲染,得到所述三维模型渲染图像,包括:将所述多张待渲染图片中待渲染三维模型之外的图像部分设置为透明色,对所述多张待渲染图片中待渲染三维模型的图像部分进行渲染,得到所述三维模型渲染图像。
根据本发明的一些实施例,所述根据所述三维模型渲染图像实时采集并输出所述待渲染三维模型的操作视频流图像,包括:获取对所述待渲染三维模型进行操作所得的操作视频流;获取所述三维模型渲染图像对应的图像分辨率;根据所述图像分辨率对所述操作视频流进行编码输出,得到所述操作视频流图像。
根据本发明的一些实施例,在所述获取待渲染三维模型对应的空间坐标之前,还包括:获取半实物操作台,获取预设建模比例;将所述半实物操作台按照所述预设建模比例生成所述待渲染三维模型。
根据本发明的一些实施例,所述获取所述待渲染三维模型对应的空间坐标,包括:获取所述半实物操作台相对于预设定位器的相对坐标;基于所述相对坐标获取所述待渲染三维模型对应的空间坐标。
根据本发明的一些实施例,在所述将所述三维模型实物区域与所述三维背景场景进行合成,得到所述待渲染三维模型的渲染结果之后,还包括:将所述渲染结果进行输出显示。
根据本发明的第二方面实施例的三维模型动态渲染装置,包括:
第一获取模块,用于获取待渲染三维模型对应的空间坐标,根据所述空间坐标得到所述待渲染三维模型的三维模型渲染图像;
采集模块,用于根据所述三维模型渲染图像实时采集并输出所述待渲染三维模型的操作视频流图像;
计算模块,用于对所述操作视频流图像进行抠图运算,得到所述待渲染三维模型对应的三维模型实物区域;
第二获取模块,用于获取三维背景场景;
合成模块,用于将所述三维模型实物区域与所述三维背景场景进行合成,得到所述待渲染三维模型的渲染结果。
根据本发明第二方面实施例的三维模型动态渲染装置,至少具有如下有益效果:通过执行本发明第一方面实施例的三维模型动态渲染方法,能够实现稳定抠图和实时渲染,便于布置、调试及维护,适用于各种环境,节省成本。
根据本发明第三方面实施例的电子设备,包括:至少一个处理器,以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行所述指令时实现第一方面所述的三维模型动态渲染方法。
根据本发明实施例的电子设备,至少具有如下有益效果:通过执行本发明第一方面实施例的三维模型动态渲染方法,能够实现稳定抠图和实时渲染,便于布置、调试及维护,适用于各种环境,节省成本。
根据本发明第四方面实施例的计算机可读存储介质,所述存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行第一方面所述的三维模型动态渲染方法。
根据本发明第四方面实施例的交互显示存储介质,至少具有如下有益效果:通过执行本发明第一方面实施例的三维模型动态渲染方法,能够实现稳定抠图和实时渲染,便于布置、调试及维护,适用于各种环境,节省成本。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例的三维模型动态渲染方法的流程示意图;
图2为本发明实施例的待渲染图片的结构示意图;
图3为本发明实施例的三维模型动态渲染装置的结构示意图;
图4为本发明实施例的电子设备的功能模块图。
附图标记:
待渲染三维模型的图像部分210、待渲染三维模型之外的图像部分220、第一获取模块300、采集模块310、计算模块320、第二获取模块330、合成模块 340、处理器400、存储器410、数据传输模块420、摄像头430、显示屏440。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
虚拟现实技术可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中。虚拟现实是多种技术的综合,其中通过抠图技术可以将实拍主体单独提取出实拍画面,然后将实拍画面与虚拟场景进行合成,将合成后的三维动态视景进行互动显示,使表现形式更为灵活和丰富。
现在抠像技术主要为使用蓝幕或绿幕作为背景图像的抠像,该方法需要为体验者单独搭建一个特殊的三维空间,然后将待抠取的物体置于蓝色或者绿色背景并进行抠图,因此具有很大的空间局限性。
基于此,本发明实施例提供了一种三维模型动态渲染方法、装置、电子设备及存储介质,能够实现稳定抠图和实时渲染,便于布置、调试及维护,适用于各种环境,节省成本。
参照图1,根据本发明第一方面实施例的三维模型动态渲染方法,包括:
步骤S100,获取待渲染三维模型对应的空间坐标,根据空间坐标得到待渲染三维模型的三维模型渲染图像。
其中,三维模型可以是物体的多边形表示,三维模型显示的物体可以是现实世界的实体,也可以是虚构的物体;待渲染三维模型可以是需要进行渲染的三维模型;空间坐标可以是待渲染三维模型对应的三维空间坐标信息;三维模型渲染图像可以是将从不同角度对待渲染三维模型进行拍照并渲染所得的数字图像,三维模型渲染图像可以是多张。可选的,假设待渲染三维模型对应的实物可以是半实物驾驶台,可以通过三维渲染引擎(即将现实中各种物质以各类曲线或多边形的形式抽象出来,再通过计算机输出最终图像的算法实现的集合)对该半实物驾驶台按照预先设置的比例进行构建得到待渲染三维模型,即得到虚拟驾驶台;然后可以使用VR定位器(VR定位器,即虚拟现实定位器,用于确定体验馆中的参与者在场馆中的绝对空间位置,并反馈到所有参与VR体验的玩家和VR服务器上,进而执行VR体验所必需的各种操控逻辑)得到该半实物操作台在现实空间中的位置信息,例如可以根据该半实物驾驶台建立坐标系,得到该半实物驾驶台在现实空间中的位置,从而可以分析得到半实物驾驶台对应的虚拟驾驶台在虚拟空间中的空间坐标。可以根据该空间坐标利用VR头显(虚拟现实头戴式显示设备,简称VR头显,是一种利用头戴式显示设备将人的对外界的视觉、听觉封闭,引导用户产生一种身在虚拟环境中的感觉。VR头显的显示原理是左右眼屏幕分别显示左右眼的图像,人眼获取这种带有差异的信息后在脑海中产生立体感)上的摄像头从不同视角观察待渲染三维模型的变化,从而可以采集多张待渲染三维模型的图片并对这些图片进行渲染得到多张三维模型渲染图像。
步骤S110,根据三维模型渲染图像采集并输出待渲染三维模型的操作视频流图像。
其中,操作视频流图像可以是录制对待渲染三维模型进行相应操作的视频图片。可选的,可以使用加装在VR头显上的高清摄像头,实时采集用户对半实物驾驶台的操作,例如采集用户对半实物驾驶台的驾驶操作,并将采集得到的驾驶操作记录同步至虚拟空间中的待渲染三维模型,即可得到用户对待渲染三维模型进行驾驶操作的视频,最后编码输出该视频,得到操作视频流图像,例如输出与三维模型渲染图像相同分辨率的图像,则得到与三维模型渲染图像具备相同分辨率的操作视频流图像。
步骤S120,对操作视频流图像进行抠图运算,得到待渲染三维模型对应的三维模型实物区域。
其中,抠图运算可以是把操作视频流图像的某一部分从操作视频流图像中分离出来成为单独的图层的运算过程;三维模型实务区域可以是操作视频流图像中包含待渲染三维模型的图像部分。由于操作视频流图像中可以包括待渲染三维模型的图像和背景图像,所以可以将操作视频流图像进行抠图运算,从而可以得到仅包括待渲染三维模型区域的图像。可选的,可以以三维模型渲染图像为参考,并将三维模型渲染图像和操作视频流图像分别对应于待渲染三维模型的空间坐标,逐帧对操作视频流图像进行逐像素抠图运算,保留待渲染三维模型对应的图像部分,从而可以得到待渲染三维模型对应的三维模型实物区域。
在一些具体的实施例中,可以通过下列步骤实现对操作视频流图像的抠图运算:(1)对于操作视频流图像的某一像素点,计算当前像素点RGB值(RGB 色彩模式是工业界的一种颜色标准,RGB即是代表红、绿、蓝三个通道的颜色, RGB的值是指其亮度,取值范围为0~250)对应的HSV值(HSV即Hue,Saturation, Value,是根据颜色的直观特性的一种颜色空间,也称六角锥体模型,这个模型中颜色的参数分别是:色调(H),饱和度(S),明度(V)),即得到HSV三个分量;(2)设定HSV三个分量的权重,根据所得权重计算当前像素点的HSV 值到给定背景色的HSV值的欧式距离;(3)将计算得到的欧式距离用smoothstep (smoothstep函数,用于求解两个值之间的样条插值)做平滑计算,将结果为0.5 以下的当前像素点过滤掉;(4)将操作视频流图像和三维模型渲染图像用平滑值混合。通过上述步骤可以得到待渲染三维模型对饮的三维模型实物区域。
步骤S130,获取三维背景场景。
其中,三维背景场景可以是虚拟的待渲染三维模型对应的背景场景,三维背景场景可以根据用户需求设置。当得到待渲染三维模型对应的三维模型实物区域后,可以获取该三维模型实物区域对应的三维背景场景,例如,三维背景场景可以是游戏背景、虚拟图像、虚拟动画、三维虚拟空间等场景。可选的,假设待渲染三维模型为虚拟驾驶台,则其对应的三维背景场景可以为驾驶道路场景,由此可以得到待渲染三维模型对应的三维背景场景。
步骤S140,将三维模型实物区域与三维背景场景进行合成,得到待渲染三维模型的渲染结果。
可选的,可以将仅包含待渲染三维模型的图像(即三维模型实物区域)与其对应的背景场景(即三维背景场景)进行叠加合成,从而可以得到待渲染三维模型完整的渲染成果,即得到同时包含三维模型实物区域和三维背景场景的完整的渲染图像,从而可以完成相关的待渲染三维模型的实时沉浸式虚拟现实交互。
上述三维模型动态渲染方法,首先通过待渲染三维模型的空间坐标得到待渲染三维模型的三维模型渲染图像,其次根据三维模型渲染图像采集并输出待渲染三维模型的操作视频流图像,然后对操作视频流图像进行抠图运算,得到待渲染三维模型对应的三维模型实物区域,最后将三维模型实物区域与三维背景场景进行叠加,得到待渲染三维模型的渲染结果,能够实现稳定抠图和实时渲染,便于布置、调试及维护,适用于各种环境,节省成本。
在本发明的一些实施例中,根据空间坐标得到待渲染三维模型的三维模型渲染图像,包括:
根据空间坐标提取预设采集坐标。其中,预设采集坐标可以是预先设置的用于采集三维模型渲染图像的坐标点,预设采集坐标可以根据需求设置。可选的,可以在待渲染三维模型对应的空间坐标系中,选取多个坐标点,以实现从多个角度观察并拍摄得到待渲染三维模型对应的三维模型渲染图像,具体的,可以使用 VR头显上的摄像头采集三维模型渲染图像,例如,根据用户在不同视角观察待渲染三维模型的变化,分别在待渲染三维模型所在的空间坐标系中设置多个拍摄点,从而可以得到多个预设采集坐标。
根据预设采集坐标对待渲染三维模型进行图像采集,得到多张待渲染图片。其中,待渲染图片可以是对待渲染三维模型进行拍照后所得的需要进行渲染的图像,待渲染图片可以是多张。可选的,可以从多个预设采集坐标对待渲染三维模型进行拍照,从而得到多张需要进行渲染的图像,即得到多张待渲染图片。
对多张待渲染图片进行渲染,得到三维模型渲染图像。可选的,可以对多张待渲染图片进行渲染,例如渲染出不同角度的、背景为透明属性的待渲染三维模型的图像,即得到仅包含待渲染三维模型的三维模型渲染图像。通过预设采集坐标采集并渲染出不同角度的背景透明的三维模型渲染图像,可以直接将待渲染三维模型的背景进行抠除,节约搭建背景幕布的硬件成本。
在本发明的一些实施例中,对多张待渲染图片进行渲染,得到三维模型渲染图像,包括:
将多张待渲染图片中待渲染三维模型之外的图像部分设置为透明色,对多张待渲染图片中待渲染三维模型的图像部分进行渲染,得到三维模型渲染图像。参照图2,图2为某张待渲染图片的示意图,待渲染图片可以包括待渲染三维模型的图像部分210和待渲染三维模型之外的图像部分220,待渲染三维模型的图像部分210可以位于待渲染图片的中下方,则待渲染三维模型之外的图像部分220 可以是将图2中待渲染三维模型的图像部分210抠除之后所剩余的空白部分,即背景图像部分。可选的,可以将每张待渲染图片中待渲染三维模型之外的图像部分220设置为透明色,对每张待渲染图片中待渲染三维模型的图像部分210进行渲染,即将每张待渲染图片的背景均设置为透明,仅保留待渲染三维模型的图像部分210,从而可以得到多张三维模型渲染图像。通过将待渲染三维模型的图像部分进行抠除、将待渲染三维模型之外的图像部分设置为透明色,将实拍的待渲染三维模型部分通过相应的技术单独提取出来,无需搭建蓝/绿背景幕布,解决了蓝/绿背景幕布遮挡观众的视线、导致观众无法实时看到演示者的操作的问题,增强用户观看体验感,安装简单,环境光线要求低。
在本发明的一些实施例中,根据三维模型渲染图像实时采集并输出待渲染三维模型的操作视频流图像,包括:
获取对待渲染三维模型进行操作所得的操作视频流。其中,操作视频流可以是实时拍摄对待渲染三维模型进行相应操作所得的视频数据。可选的,对待渲染三维模型进行的操作可以是用户对待渲染三维模型进行的人机交互动作,例如,假设待渲染三维模型为虚拟驾驶台,则用户对待渲染三维模型进行的人机交互动作可以是用户对该虚拟驾驶台进行的驾驶操作,可以通过加装在VR头显上的高清摄像头实时获取用户对虚拟驾驶台进行的驾驶操作,以得到相应的操作视频流。
获取三维模型渲染图像对应的图像分辨率。其中,图像分辨率可以是三维模型渲染图像在单位英寸中所包含的像素点数。可选的,可以获取三维模型渲染图像的水平像素数和垂直像素数,进而可以计算水平像素数×垂直像素数得到三维模型渲染图像的分辨率。三维模型渲染图像对应的图像分辨率可以根据需求设置,以确保用户的观看体验感。
根据图像分辨率对操作视频流进行编码输出,得到操作视频流图像。可选的,可以以图像分辨率为标准,通过编码器对操作视频流进行编码输出,得到与三维模型渲染图像相同分辨率的操作视频流图像。通过将操作视频流视频按照三维模型渲染图像对应的图像分辨率进行编码输出,可以保证所得操作视频流图像与三维模型渲染图像的分辨率相同,从而可以根据三维模型渲染图像对操作视频流图像进行抠图运算,实现稳定抠图。
在本发明的一些实施例中,在获取待渲染三维模型对应的空间坐标之前,还包括:
获取半实物操作台,获取预设建模比例。其中,半实物操作台可以是一半使用的是虚拟对象、另一半使用的是实物对象的控制装置,即用户直接控制的操作工具,例如半实物驾驶控制台,即半实物驾驶台;预设建模比例可以是预先设置的半实物操作台与待渲染三维模型之间的比例。可选的,假设半实物操作台为半实物驾驶台,假设预设建模比例为1:1,则可以分别得到该半实物驾驶台和预设建模比例。
将半实物操作台按照预设建模比例生成待渲染三维模型。可选的,可以在三维渲染引擎中,根据预设建模比例建立半实物操作台对应的待渲染三维模型,具体的,假设半实物操作台为半实物驾驶台,假设预设建模比例为1:1,则可以在三维渲染引擎中进行建模,得到与半实物驾驶台形成1:1比例的虚拟驾驶台,即得到待渲染三维模型。
通过对半实物操作台按照预设建模比例进行建模,得到半实物操作台对应的待渲染三维模型,可以实现待渲染三维模型与半实物操作台的1:1精确空间叠加,从而可以得到更真实的待渲染三维模型,增强用户的使用体验感。
在本发明的一些实施例中,获取待渲染三维模型对应的空间坐标,包括:
获取半实物操作台相对于预设定位器的相对坐标。其中,预设定位器可以是预先设置的用于定位半实物操作台的空间位置的仪器,例如VR定位器;相对坐标可以是半实物操作台相对于预设定位器的坐标信息。可选的,假设预设定位器为VR定位器,可以将VR定位器固定在半实物操作台上,然后使用VR定位器,对半实物操作台进行1:1三维空间定位,从而得到半实物操作台相对于预设定位器的真实空间坐标,即得到相对坐标。
基于相对坐标获取待渲染三维模型对应的空间坐标。由于待渲染三维模型与半实物操作台的比例关系为1:1比例,因此半实物操作台的空间坐标即对应于待渲染三维模型的空间坐标,所以可以根据半实物操作台的空间位置直接得到待渲染三维模型对应的空间坐标,即根据相对坐标获取待渲染三维模型的对应的空间坐标。通过待渲染三维模型与半实物操作台的1:1精确空间叠加,可以直接通过半实物操作台的真实空间坐标得到待渲染三维模型的空间坐标,可以增强待渲染三维模型的真实性。
在本发明的一些实施例中,在将三维模型实物区域与三维背景场景进行合成,得到待渲染三维模型的渲染结果之后,还包括:
将渲染结果进行输出显示。可选的,可以将待渲染三维模型的最终渲染结果发送至VR头显进行显示,使得用户可以通过配戴VR头显观看待渲染三维模型的混合现实渲染成果,使得用户通过VR头显观看到的渲染画面稳定可靠,展示性更佳。
参照图3,根据本发明第二方面实施例的三维模型动态渲染装置,包括:
第一获取模块300,用于获取待渲染三维模型对应的空间坐标,根据所述空间坐标得到所述待渲染三维模型的三维模型渲染图像;
采集模块310,用于根据所述三维模型渲染图像实时采集并输出所述待渲染三维模型的操作视频流图像;
计算模块320,用于对所述操作视频流图像进行抠图运算,得到所述待渲染三维模型对应的三维模型实物区域;
第二获取模块330,用于获取三维背景场景;
合成模块340,用于将所述三维模型实物区域与所述三维背景场景进行合成,得到所述待渲染三维模型的渲染结果。
上述三维模型动态渲染装置,通过执行本发明第一方面实施例的三维模型动态渲染方法,能够实现稳定抠图和实时渲染,便于布置、调试及维护,适用于各种环境,节省成本。
参照图4,本发明第三方面实施例还提供了一种电子设备内部结构图,包括:至少一个处理器400,以及与至少一个处理器400通信连接的存储器410;还可以包括数据传输模块420、摄像头430、显示屏440。
其中,处理器400通过调用存储器410中存储的计算机程序,用于执行第一方面实施例中的三维模型动态渲染方法。
存储器作为一种非暂态存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序,如本发明第一方面实施例中的三维模型动态渲染方法。处理器通过运行存储在存储器中的非暂态软件程序以及指令,从而实现上述第一方面实施例中的三维模型动态渲染方法。
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储执行上述第一方面实施例中的三维模型动态渲染方法。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述第一方面实施例中的三维模型动态渲染方法所需的非暂态软件程序以及指令存储在存储器中,当被一个或者多个处理器执行时,执行上述第一方面实施例中的三维模型动态渲染方法。
本发明第四方面实施例还提供了计算机可读存储介质,存储有计算机可执行指令,该计算机可执行指令用于:执行第一方面实施例中的三维模型动态渲染方法。
在一些实施例中,该存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个控制处理器执行,例如,被第三方面实施例的电子设备中的一个处理器执行,可使得上述一个或多个处理器执行上述第一方面实施例中的三维模型动态渲染方法。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所属技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
Claims (10)
1.三维模型动态渲染方法,其特征在于,包括:
获取待渲染三维模型对应的空间坐标,根据所述空间坐标得到所述待渲染三维模型的三维模型渲染图像;
根据所述三维模型渲染图像采集并输出所述待渲染三维模型的操作视频流图像;
对所述操作视频流图像进行抠图运算,得到所述待渲染三维模型对应的三维模型实物区域;
获取三维背景场景;
将所述三维模型实物区域与所述三维背景场景进行合成,得到所述待渲染三维模型的渲染结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述空间坐标得到所述待渲染三维模型的三维模型渲染图像,包括:
根据所述空间坐标提取预设采集坐标;
根据所述预设采集坐标对所述待渲染三维模型进行图像采集,得到多张待渲染图片;
对所述多张待渲染图片进行渲染,得到所述三维模型渲染图像。
3.根据权利要求2所述的方法,其特征在于,所述对所述多张待渲染图片进行渲染,得到所述三维模型渲染图像,包括:
将所述多张待渲染图片中待渲染三维模型之外的图像部分设置为透明色,对所述多张待渲染图片中待渲染三维模型的图像部分进行渲染,得到所述三维模型渲染图像。
4.根据权利要求1所述的方法,其特征在于,所述根据所述三维模型渲染图像实时采集并输出所述待渲染三维模型的操作视频流图像,包括:
获取对所述待渲染三维模型进行操作所得的操作视频流;
获取所述三维模型渲染图像对应的图像分辨率;
根据所述图像分辨率对所述操作视频流进行编码输出,得到所述操作视频流图像。
5.根据权利要求1所述的方法,其特征在于,在所述获取待渲染三维模型对应的空间坐标之前,还包括:
获取半实物操作台,获取预设建模比例;
将所述半实物操作台按照所述预设建模比例生成所述待渲染三维模型。
6.根据权利要求5所述的方法,其特征在于,所述获取所述待渲染三维模型对应的空间坐标,包括:
获取所述半实物操作台相对于预设定位器的相对坐标;
基于所述相对坐标获取所述待渲染三维模型对应的空间坐标。
7.根据权利要求1所述的方法,其特征在于,在所述将所述三维模型实物区域与所述三维背景场景进行合成,得到所述待渲染三维模型的渲染结果之后,还包括:
将所述渲染结果进行输出显示。
8.三维模型动态渲染装置,其特征在于,包括:
第一获取模块,用于获取待渲染三维模型对应的空间坐标,根据所述空间坐标得到所述待渲染三维模型的三维模型渲染图像;
采集模块,用于根据所述三维模型渲染图像实时采集并输出所述待渲染三维模型的操作视频流图像;
计算模块,用于对所述操作视频流图像进行抠图运算,得到所述待渲染三维模型对应的三维模型实物区域;
第二获取模块,用于获取三维背景场景;
合成模块,用于将所述三维模型实物区域与所述三维背景场景进行合成,得到所述待渲染三维模型的渲染结果。
9.电子设备,其特征在于,包括:
至少一个处理器,以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行所述指令时实现如权利要求1至7任一项所述的三维模型动态渲染方法。
10.计算机可读存储介质,其特征在于,所述存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的三维模型动态渲染方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011304727.0A CN112446939A (zh) | 2020-11-19 | 2020-11-19 | 三维模型动态渲染方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011304727.0A CN112446939A (zh) | 2020-11-19 | 2020-11-19 | 三维模型动态渲染方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112446939A true CN112446939A (zh) | 2021-03-05 |
Family
ID=74738623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011304727.0A Pending CN112446939A (zh) | 2020-11-19 | 2020-11-19 | 三维模型动态渲染方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112446939A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113160241A (zh) * | 2021-03-18 | 2021-07-23 | 苏州云图健康科技有限公司 | 医学影像的容积渲染显示方法以及装置、存储介质、电子装置 |
CN113206971A (zh) * | 2021-04-13 | 2021-08-03 | 聚好看科技股份有限公司 | 一种图像处理方法及显示设备 |
CN113515193A (zh) * | 2021-05-17 | 2021-10-19 | 聚好看科技股份有限公司 | 一种模型数据传输方法及装置 |
CN113691796A (zh) * | 2021-08-16 | 2021-11-23 | 福建凯米网络科技有限公司 | 通过二维模拟的三维场景互动方法及计算机可读存储介质 |
CN114723870A (zh) * | 2022-06-07 | 2022-07-08 | 深圳市中视典数字科技有限公司 | 一种三维模型渲染方法及系统 |
WO2023236815A1 (zh) * | 2022-06-08 | 2023-12-14 | 中兴通讯股份有限公司 | 三维模型传输方法及其装置、存储介质、程序产品 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108762508A (zh) * | 2018-05-31 | 2018-11-06 | 北京小马当红文化传媒有限公司 | 一种基于vr体验舱的人体与虚拟人合成系统及方法 |
WO2019088273A1 (ja) * | 2017-11-04 | 2019-05-09 | ナーブ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN111371966A (zh) * | 2020-03-24 | 2020-07-03 | 深圳市励得数码科技有限公司 | 一种在虚拟演播室中合成前景人物阴影的方法、装置及存储介质 |
CN111862348A (zh) * | 2020-07-30 | 2020-10-30 | 腾讯科技(深圳)有限公司 | 视频显示方法、视频生成方法、装置、设备及存储介质 |
US20200358996A1 (en) * | 2017-09-04 | 2020-11-12 | Ideapool Culture & Technology Co., Ltd. | Real-time aliasing rendering method for 3d vr video and virtual three-dimensional scene |
-
2020
- 2020-11-19 CN CN202011304727.0A patent/CN112446939A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200358996A1 (en) * | 2017-09-04 | 2020-11-12 | Ideapool Culture & Technology Co., Ltd. | Real-time aliasing rendering method for 3d vr video and virtual three-dimensional scene |
WO2019088273A1 (ja) * | 2017-11-04 | 2019-05-09 | ナーブ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN108762508A (zh) * | 2018-05-31 | 2018-11-06 | 北京小马当红文化传媒有限公司 | 一种基于vr体验舱的人体与虚拟人合成系统及方法 |
CN111371966A (zh) * | 2020-03-24 | 2020-07-03 | 深圳市励得数码科技有限公司 | 一种在虚拟演播室中合成前景人物阴影的方法、装置及存储介质 |
CN111862348A (zh) * | 2020-07-30 | 2020-10-30 | 腾讯科技(深圳)有限公司 | 视频显示方法、视频生成方法、装置、设备及存储介质 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113160241A (zh) * | 2021-03-18 | 2021-07-23 | 苏州云图健康科技有限公司 | 医学影像的容积渲染显示方法以及装置、存储介质、电子装置 |
CN113160241B (zh) * | 2021-03-18 | 2024-05-10 | 苏州云图健康科技有限公司 | 医学影像的容积渲染显示方法以及装置、存储介质、电子装置 |
CN113206971A (zh) * | 2021-04-13 | 2021-08-03 | 聚好看科技股份有限公司 | 一种图像处理方法及显示设备 |
CN113206971B (zh) * | 2021-04-13 | 2023-10-24 | 聚好看科技股份有限公司 | 一种图像处理方法及显示设备 |
CN113515193A (zh) * | 2021-05-17 | 2021-10-19 | 聚好看科技股份有限公司 | 一种模型数据传输方法及装置 |
CN113515193B (zh) * | 2021-05-17 | 2023-10-27 | 聚好看科技股份有限公司 | 一种模型数据传输方法及装置 |
CN113691796A (zh) * | 2021-08-16 | 2021-11-23 | 福建凯米网络科技有限公司 | 通过二维模拟的三维场景互动方法及计算机可读存储介质 |
CN113691796B (zh) * | 2021-08-16 | 2023-06-02 | 福建凯米网络科技有限公司 | 通过二维模拟的三维场景互动方法及计算机可读存储介质 |
CN114723870A (zh) * | 2022-06-07 | 2022-07-08 | 深圳市中视典数字科技有限公司 | 一种三维模型渲染方法及系统 |
CN114723870B (zh) * | 2022-06-07 | 2022-09-13 | 深圳市中视典数字科技有限公司 | 一种三维模型渲染方法及系统 |
WO2023236815A1 (zh) * | 2022-06-08 | 2023-12-14 | 中兴通讯股份有限公司 | 三维模型传输方法及其装置、存储介质、程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11076142B2 (en) | Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene | |
CN112446939A (zh) | 三维模型动态渲染方法、装置、电子设备及存储介质 | |
US20070296721A1 (en) | Apparatus and Method for Producting Multi-View Contents | |
US11055900B1 (en) | Computer-generated image processing including volumetric scene reconstruction to replace a designated region | |
WO2023207452A1 (zh) | 基于虚拟现实的视频生成方法、装置、设备及介质 | |
US11689815B2 (en) | Image modification of motion captured scene for reconstruction of obscured views using uncoordinated cameras | |
US20220076437A1 (en) | Method for Emulating Defocus of Sharp Rendered Images | |
DE102017203721A1 (de) | Vorrichtung und Verfahren zur Darstellung eines Raumbilds von einem Objekt in einer virtuellen Umgebung | |
EP3057316B1 (en) | Generation of three-dimensional imagery to supplement existing content | |
RU2606875C2 (ru) | Способ и система отображения масштабных сцен в режиме реального времени | |
CN109658488A (zh) | 一种虚实融合系统中通过可编程gpu加速解码摄像头视频流的方法 | |
US11308586B2 (en) | Method for applying a vignette effect to rendered images | |
JP4214528B2 (ja) | 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム | |
KR100893855B1 (ko) | 3차원 포그라운드와 2차원 백그라운드 결합 방법 및 3차원어플리케이션 엔진 | |
JPWO2020066008A1 (ja) | 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法 | |
CA3141781C (en) | Reconstruction of obscured views of captured imagery using arbitrary captured inputs | |
US11605171B1 (en) | Method and apparatus for processing reference inputs for video compositing with replacement | |
JP2022103836A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN116993642A (zh) | 一种建筑工程临建工程全景视频融合方法、系统及介质 | |
CN117135332A (zh) | 一种基于合成影像与视频融合的实时拼接系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |