CN117615115A - 视频图像的渲染方法、渲染装置、电子设备及介质 - Google Patents
视频图像的渲染方法、渲染装置、电子设备及介质 Download PDFInfo
- Publication number
- CN117615115A CN117615115A CN202311653585.2A CN202311653585A CN117615115A CN 117615115 A CN117615115 A CN 117615115A CN 202311653585 A CN202311653585 A CN 202311653585A CN 117615115 A CN117615115 A CN 117615115A
- Authority
- CN
- China
- Prior art keywords
- target object
- image
- dimensional model
- rendering
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013507 mapping Methods 0.000 claims abstract description 47
- 238000004590 computer program Methods 0.000 claims description 15
- 230000001960 triggered effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- TVMXDCGIABBOFY-UHFFFAOYSA-N octane Chemical compound CCCCCCCC TVMXDCGIABBOFY-UHFFFAOYSA-N 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请适用于图像渲染技术领域,提供了一种视频图像的渲染方法、渲染装置、电子设备及介质。其中,一种视频图像的渲染方法,利用待渲染图像中目标对象对应的三维模型数据,描述三维模型中第一关键点与目标对象第二关键点之间的映射关系,在获取到包含目标对象的待渲染视频图像时,按照上述映射关系对目标对象进行渲染,进而显示目标对象对应的三维图像。由于目标对象对应的三维模型,能够等比例还原真实世界中目标对象的形状或形态,因此利用该三维模型数据描述三维模型中的关键点与目标对象中的关键点映射关系,能够真实且全面地还原目标对象在三维空间或者立体空间中的形状或形态,使得渲染得到的三维图像呈现效果更好。
Description
技术领域
本申请属于图像渲染技术领域,尤其涉及一种视频图像的渲染方法、视频图像的渲染装置、电子设备及计算机可读存储介质。
背景技术
目前,许多道路或者公共场所均可以利用图像采集单元如摄像机,设置在不同位置对某一监控区域进行视频图像采集,得到多路二维视频图像。
然而,为了丰富视频图像的呈现方式以及呈现效果,目前已有的优化方案是将二维视频图像加工成三维视频图像。具体是将视频图像中的部分元素进行简单的空间平面映射,不能将视频图像中的某个对象进行完整的三维化渲染,使得呈现的效果较差。
发明内容
有鉴于此,本申请实施例提供了一种视频图像的渲染方法、视频图像的渲染装置、电子设备及计算机可读存储介质,以解决现有的视频图像的渲染方案存在效果较差的问题。
本申请实施例的第一方面提供了一种视频图像的渲染方法,包括:
获取图像采集单元采集到的待渲染视频图像,待渲染视频图像包括目标对象;
获取目标对象对应的三维模型数据,三维模型数据用于描述三维模型中的第一关键点与目标对象的第二关键点之间的映射关系;
按照映射关系对目标对象进行渲染,显示目标对象对应的三维图像。
在上述方案中,按照映射关系,对目标对象进行渲染,显示目标对象对应的三维图像,包括:
通过渲染引擎,按照映射关系对目标对象进行渲染,显示目标对象对应的三维图像。
在上述方案中,三维模型数据包括目标对象对应的三维模型中各表面的索引信息,索引信息包括与第一关键点唯一对应的索引字段。
在上述方案中,在获取目标对象对应的三维模型数据的步骤之后,还包括:
根据三维模型数据中的索引信息确定三维模型的表面;
根据表面的索引信息,确定每个表面的第一关键点;
按照映射关系对目标对象进行渲染,显示目标对象对应的三维图像,包括:
按照每个表面的第一关键点,与目标对象的第二关键点之间的映射关系,对目标对象进行渲染,显示目标对象对应的三维图像。
在上述方案中,视频图像的渲染方法还包括:
获取图像采集单元采集到的样本图像;
响应于用户对样本图像触发的选取操作,确定目标对象;
基于目标对象生成三维模型数据。
在上述方案中,响应于用户对样本图像触发的选取操作,确定目标对象,包括:
响应于用户对样本图像触发的选取操作,显示与选取操作对应的第二关键点,并且在样本图像中生成由第二关键点标定的目标范围;目标范围用于指示目标对象。
在上述方案中,基于目标对象生成三维模型数据,包括:
基于选取操作对应的第二关键点进行三角化处理,得到初始三维模型;
响应于用户对初始三维模型的表面优化操作,生成目标对象对应的三维模型。
本申请实施例的第二方面提供了一种视频图像的渲染装置,包括:
第一获取单元,用于获取图像采集单元采集到的待渲染视频图像,待渲染视频图像包括目标对象;
第二获取单元,用于获取目标对象对应的三维模型数据,三维模型数据用于描述三维模型中的第一关键点与目标对象的第二关键点之间的映射关系;
渲染单元,用于按照映射关系对目标对象进行渲染,显示目标对象对应的三维图像。
本申请实施例的第三方面提供了一种电子设备,所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述电子设备上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面提供的视频图像的渲染方法的各步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现第一方面提供的视频图像的渲染方法的各步骤。
实施本申请实施例提供的一种视频图像的渲染方法、视频图像的渲染装置、电子设备及计算机可读存储介质具有以下有益效果:
本申请实施例提供的一种视频图像的渲染方法,在进行视频图像渲染时,通过获取包括目标对象的待渲染视频图像,作为三维图像的待渲染内容。由于该待渲染视频图像为图像采集单元采集到的视频图像,并且该待渲染视频图像包括目标对象,因此通过获取目标对象对应的三维模型数据,以该三维模型数据描述三维模型中的第一关键点与目标对象的第二关键点之间的映射关系,可以按照该映射关系对目标对象进行渲染,进而显示该目标对象对应的三维图像。也即,按照该三维模型数据描述的映射关系,实现将待渲染视频图像中目标对象融合至三维模型中。上述方案,提供了一种利用二维视频图像渲染出三维立体图像的方案,利用待渲染图像中目标对象对应的三维模型数据,描述三维模型中第一关键点与目标对象第二关键点之间的映射关系,在获取到包含目标对象的待渲染视频图像时,按照上述映射关系对目标对象进行渲染,进而显示目标对象对应的三维图像。由于目标对象对应的三维模型,能够等比例还原真实世界中目标对象的形状或形态,因此利用该三维模型数据描述三维模型中的关键点与目标对象中的关键点映射关系,能够真实且全面地还原目标对象在三维空间或者立体空间中的形状或形态,使得渲染得到的三维图像呈现效果更好。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种视频图像的渲染方法的实现流程图;
图2是本申请另一实施例提供的一种视频图像的渲染方法的实现流程图;
图3是本申请实施例中从样本图像中确定目标对象的示意图;
图4是本申请实施例中初始三维模型的示意图;
图5是本申请实施例提供的一种视频图像的渲染装置的结构框图;
图6是本申请实施例提供的一种电子设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本实施例提供的一种视频图像的渲染方法,执行主体为电子设备,具体可以是能够对获取到图像采集单元采集到的待渲染视频图像,并且对该待渲染视频图像进行渲染后显示的电子设备。电子设备可以通过有线或者无线等方式获取图像采集单元采集到的待渲染视频图像。
在实际应用中,为了满足将待渲染视频图像渲染为三维图像的需求,通常将视频图像中的部分元素进行提取,并在简单的空间平面中进行图像映射,不能将视频图像中的某个对象进行完整的三维化渲染,使得呈现的效果较差。
基于上述问题,本实施例提供的一种视频图像的渲染方法,在进行视频图像渲染时,通过获取包括目标对象的待渲染视频图像,作为三维图像的待渲染内容。由于该待渲染视频图像为图像采集单元采集到的视频图像,并且该待渲染视频图像包括目标对象,因此通过获取目标对象对应的三维模型数据,以该三维模型数据描述三维模型中的第一关键点与目标对象的第二关键点之间的映射关系,可以按照该映射关系对目标对象进行渲染,进而显示该目标对象对应的三维图像。也即,按照该三维模型数据描述的映射关系,实现将待渲染视频图像中目标对象融合至三维模型中。上述方案,提供了一种利用二维视频图像渲染出三维立体图像的方案,利用待渲染图像中目标对象对应的三维模型数据,描述三维模型中第一关键点与目标对象第二关键点之间的映射关系,在获取到包含目标对象的待渲染视频图像时,按照上述映射关系对目标对象进行渲染,进而显示目标对象对应的三维图像。由于目标对象对应的三维模型,能够等比例还原真实世界中目标对象的形状或形态,因此利用该三维模型数据描述三维模型中的关键点与目标对象中的关键点映射关系,能够真实且全面地还原目标对象在三维空间或者立体空间中的形状或形态,使得渲染得到的三维图像呈现效果更好。
以下通过具体实现方式对本实施例提供的一种视频图像的渲染方法进行详细说明。
图1示出了本申请实施例提供的一种视频图像的渲染方法的实现流程图。
如图1所示,视频图像的渲染方法包括以下步骤:
110:获取图像采集单元采集到的待渲染视频图像,待渲染视频图像包括目标对象。
在110中,电子设备可以与图像采集单元进行通信,进而可以获取到图像采集单元采集到的实时视频图像,也可以获取到图像采集单元中存储的已有视频图像。也即,待渲染视频图像可以是图像采集单元实时采集到的视频图像,也可以是历史视频图像等,此处不作限制。
在本申请的所有实施例中,带渲染视频图像为二维图像,也即在待渲染图像中的目标对象也为二维图像中的图像内容或者图像元素。这里,目标对象泛指视频图像中的固有图像内容或者图像元素,也是将被渲染为三维图像的图像内容或者图像元素。
在具体实现时,图像采集单元可以就某一被监控区域进行视频图像采集,基于采集到的视频图像,可以从中选取或者标记相应的图像内容或者图像元素作为目标对象,进而在每次对待渲染图像进行渲染时,将该目标对象进行三维图像渲染操作。
示例性地,在具体实现时,基于采集到的视频图像,可以从中选取或者标记相应的图像内容或者图像元素作为目标对象,具体可以是用户在采集到的视频图像中设置标记点,由标记点构成标记区域或者标记范围,进而将该范围内的图像内容或者图像元素作为目标对象。
作为另一个示例,还可以是基于采集到的视频图像,利用特征提取与特征识别等方法,从中识别出相应的图像内容或者图像元素作为目标对象。也即,利用特征提取与特征识别等工具,对采集到的视频图像进行目标对象识别,例如,从视频图像中识别出某个固有的建筑物或者景物作为目标对象。
容易理解的是,由于目标对象泛指视频图像中的固有图像内容或者图像元素,也是将被渲染为三维图像的图像内容或者图像元素,因此在确定了视频图像中的哪些内容或者哪些元素为目标对象之后,电子设备后续获取到的图像采集单元采集到的待渲染视频图像中可以包含该目标对象。
120:获取目标对象对应的三维模型数据,三维模型数据用于描述三维模型中的第一关键点与目标对象的第二关键点之间的映射关系。
在步骤120中,三维模型数据是目标对象的三维模型的数据内容,且该三维模型数据描述了三维模型中的第一关键点与目标对象的第二关键点之间的映射关系。这里,目标对象来源于待渲染视频图像,利用该三维模型数据描述目标对象与三维模型之间的关键映射关系,相当于将目标对象的二维图像中的特征点,映射至三维图像中的特征点。
需要说明的是,在待渲染的视频图像中可以包括多个目标对象,对于不同的目标对象配置有相应的三维模型数据。
在具体实现时,可以预先根据目标对象构建相应的三维模型,用于表征目标对象在三维空间中的形状或者形状。这里,三维模型也可以理解为目标对象在视觉上的三维空间架构,也即目标对象的视觉立体架构。由于目标对象对应的三维模型,能够等比例还原真实世界中目标对象的形状或形态,因此在三维模型中的第一关键点与目标对象中的第二关键点之间可以一一对应,也即三维模型数据可以用于描述第一关键单与第二关键点之间的映射关系。
在具体实现时,可以预先对目标对象进行三维模型构建,并将相应的三维模型数据存储在电子设备的数据库中。在每次获取到待渲染视频图像后,通过识别该待渲染视频图像中的目标对象,从电子设备的本地数据库中获取与该目标对象对应的三维模型数据。这里,当待渲染视频图像中包含多个目标对象时,可以通过对不同类型的目标对象进行编号,且以该编号作为索引,从电子设备的本地数据库中获取与该索引对应的三维模型数据。
容易理解的是,在具有多个图像采集单元的应用场景中,每个图像采集单元监控的位置或者角度不变的情况下,采集到视频图像中目标对象的内容也可以不变。在此基础上,也可以针对不同位置的图像采集单元配置相应的标识,以该标识区分三维模型数据。例如,当获取到图像采集单元A采集到的待渲染视频图像,则可以根据该图像采集单元的标识A获取目标对象对应的三维模型数据。这里,该图像采集单元的标识A具体可以是图像采集单元的IP地址、MAC地址、序列号等唯一标识。
130:按照映射关系对目标对象进行渲染,显示目标对象对应的三维图像。
在130中,目标对象对应的三维图像指的是目标对象在三维立体空间内的成像。映射关系指的是,待渲染视频图像中的目标对象与三维图像之间关键点的对应关系。
在本实施例中,按照映射关系对目标对象进行渲染,具体是将待渲染视频图像中的目标对象渲染成三维图像。在具体实现时,可以利用已有渲染器、渲染插件按照该映射关系,以图像采集单元采集到的待渲染视频图像作为输入,对目标对象进行三维图像渲染,进而显示该目标对象对应的三维图像。
作为一个实施例,上述步骤130具体可以包括:
通过渲染引擎,按照映射关系对目标对象进行渲染,显示目标对象对应的三维图像。
需要说明的是,渲染引擎(Rendering engine)指的是负责将三维图像渲染到电子设备显示模组的模块。在实际应用中,可以根据不同的需求选择不同的引擎。例如Unity、Unreal engine、Cryengine、Ogre、Godot、V-Ray、Redshift、Octane Render、FStrorm以及Corona Renderer。
在本实施例中,因为三维场景有很多复杂的细节和效果,例如准确的阴影、反射和折射效果、粒子效果等,因此正确的渲染到电子设备显示模组上是一个艰巨而复杂的任务。故需要通过渲染引擎的主要将三维场景中三维图像尽可能逼真地渲染并显示在二维显示模组上。
容易理解的是,通常情况下通过渲染引擎想渲染时,需要渲染引擎通过计算三维物体上的信息来决定如何向屏幕投射三维成像内容。然而在本实施例中,由于三维模型数据能够用于描述三维模型中的第一关键点与目标对象的第二关键点之间的映射关系,在获取到图像采集单元采集到的待渲染视频图像后,即可按照上述映射关系将待渲染视频图像中的目标对象,渲染至三维模型中,相较于已有的渲染方式来说,不需要渲染引擎另外计算目标对象在投影信息或者投影参数,可以进一步提高对待渲染视频图像中目标对象的渲染效率。
另外,如果图像采集单元采集到的待渲染视频图像为实时图像,则可以对实时的视频图像中的目标对象进行三维图像渲染,进而可以更直观的展示真实世界的信息,也方便应对突发事件或者紧急事件,便于监控人员快速地响应。
请参阅图2,图2是本申请另一实施例提供的一种视频图像的渲染方法的实现流程图。与图1对应的实施例相比,图2示出的视频图像的渲染方法在步骤110之前,还包括步骤210至230。如图2所示,具体地:
210:获取图像采集单元采集到的样本图像。
220:响应于用户对样本图像触发的选取操作,确定目标对象。
230:基于目标对象生成三维模型数据。
在本实施例中,样本图像指的是待渲染视频图像的样本,用于供用户从中选择或者确定目标对象。这里,电子设备可以从图像采集单元获取采集到的样本图像并对其进行显示,用户可以在电子设备显示样本图像的界面中对样本图像中的对象进行选取操作,进而确定目标对象。
作为一种可能实现的方式,在电子设备显示样本对象的界面中,可以利用对象识别工具,如对象特征识别模型,对样本图像中的图像内容或者图像元素进行特征提取,基于提取到的特征将样本图像中的元素识别为相应的候选对象。用户可以对样本图像中的候选对象进行选取操作,进而确定目标对象。
示例性地,假设样本图像中包括若干建筑物与街道,利用特征识别模型,对样本图像中的图像内容或者图像元素进行特征提取与识别后,可以将样本图像中处于不同位置的建筑物A、建筑物B、建筑物C以及街道D确定为候选对象。用户通过对样本图像中的候选对象触发选取操作,进而可以确定目标对象。
作为一个实施例,步骤220具体可以包括:
响应于用户对样本图像触发的选取操作,显示与选取操作对应的第二关键点,并且在样本图像中生成由第二关键点标定的目标范围;目标范围用于指示目标对象。
在本实施例中,第二关键点泛指用户在样本图像中选择的关键点。这里,在电子设备获取到样本图像后,可以通过显示该样本图像供用户对其进行第二关键点选取操作。可以理解的是,第二关键点可以包括多个,第二关键点标定的目标范围,指的是基于第二关键点在样本图像中连线确定的最大面积范围。也即,在样本图像中,被第二关键点围绕的图像内容即为目标对象。
在具体实现时,可以基于样本图像建立平面坐标轴,在用户从样本图像中选取第二关键点时,可以根据第二关键点的坐标信息确定由第二关键点标定的目标范围。
图3示出了本实施例中从样本图像中确定目标对象的示意图。如图3所示,可以构建与样本图像对应平面坐标轴,当用户在样本图像中选取的多个第二关键点(0、1、2、…7)后,可以根据每个第二关键点在平面坐标轴中的坐标,即可在样本图像中生成由第二关键点标定的目标范围。也即,通过将第二关键点进行连线进而能够从样本图像中标定出目标对象。
在确定出目标对象之后,可以通过对目标对象所在的目标范围进行网格化处理,生成目标对象对应的三维模型。或者,基于第二关键点进行三角化处理进而构建目标对象对应的三维模型。
作为一个实施例,步骤230具体可以包括:
基于选取操作对应的第二关键点进行三角化处理,得到初始三维模型;响应于用户对初始三维模型的表面优化操作,生成目标对象对应的三维模型。
在本实施例中,三角化处理指的是基于选取操作对应的第二关键点,以相邻或者相近的每3个第二关键点确定一个平面。也即,基于选取的第二关键点构建三维空间的形状。
需要说明的是,由于样本图像是由图像采集单元采集得到,并且在用户从样本图像中选取第二关键点之后,可以基于样本图像中各个像素点的景深数据,确定每个第二关键点在景深场中的景深信息。基于此,在基于选取操作对应的第二关键点进行三角化处理时,可以将每个第二关键点的景深信息考虑在内。这里,由于每个第二关键点处理携带有坐标信息之外,还携带有景深信息,也即每个第二关键点的坐标为三维坐标,因此基于选取操作对应的第二关键点进行三角化处理可以得到三维空间的形状架构,也即得到初始三维模型。又因为在初始三维模型中,可能出现与目标对象形状不对应的表面结构,因此需要由用户对初始三维模型的表面进行优化操作。
图4示出了本实施例中初始三维模型的示意图。在图4中,实线为图3中选取了第二关键点之后的连线。为了便于理解三角化处理之后得到的初始三维模型,在图4中增加了虚线作为三角化处理后的补线。也即,每3个第二关键点可以组成一个平面。可以利用第二关键点的编号组合作为平面的索引,例如,第二关键点0、第二关键点1以及第二关键点2三角化处理可以得到平面012,第二关键点0、第二关键点2以及第二关键点7三角化处理可以得到平面027,以此类推,在图4中可以构建得到8个平面,每个平面作为初始三维模型的表面结构。
在具体实现时,响应于用户对初始三维模型的表面优化操作,具体可以是将用户选择的表面从初始三维模型中剔除。例如,在图4中,由于第二关键点1、第二关键点2以及第二关键点3三角化处理得到的平面123,不在目标对象的目标范围内,因此用户可以通过手动对该表面123进行剔除。同理,第二关键点4、第二关键点5以及第二关键点6三角化处理可以得到平面456,也不在目标对象的目标范围内,因此用户可以通过手动对该表面456进行剔除。
容易理解的是,在其他实施例中,还可以利用其他方式对初始三维模型进行优化操作。以图4中的构建得到的8个平面为例,可以对构建平面添加的补线进行点采样,进而判断该补线是否在第二关键点标定的目标范围内。例如,第二关键点1与第二关键点3之间的补线,以及第二关键点4与第二关键点6之间的补线,通过点采样可以确定点P1与点P2不在目标范围内,也即两条补线均不在目标范围内。因此可以判断由该两条补线分别确定的平面123与平面456,属于被优化的平面。故可以将平面123与平面456进行剔除,得到最终的三维模型。
容易理解的是,由于该三维模型中每个第二关键点的三维坐标信息,均是基于样本图像中的目标对象得出,因此每个第二关键点也与样本图像中目标对象的关键点对应。故,三维模型中每个第二关键点的坐标数据,既可以表征三维模型中的第二关键点,同时也能够表征目标对象的第一关键点。
在本实施例中,通过获取图像采集单元采集到的样本图像,供用户对其进行选取操作,进而确定出用户关注的目标对象,最后基于该目标对象生成三维模型数据。当需要对图像采集单元采集到的待渲染视频图像进行渲染时,即可执行步骤110获取待渲染视频图像,以及执行步骤120获取目标对象对应的三维模型数据。
作为一个实施例,三维模型数据包括目标对象对应的三维模型中各表面的索引信息,索引信息包括与所述第一关键点唯一对应的索引字段。在步骤120之后还包括如下步骤。
步骤一:根据三维模型数据中的索引信息确定三维模型的表面。
步骤二:根据表面的索引信息,确定每个表面的第一关键点。
在本实施例中,三维模型数据中的索引信息用于从目标对象对应的三维模型中确定相应的表面。根据该表面的索引信息为构成该表面的第一关键点的索引信息组合,因此可以根据该表面的索引信息确定第一关键点。
容易理解的是,因为第一关键点的坐标信息为三维坐标信息,索引信息可以为第一关键点编号,所以相较于第一关键点的坐标信息,索引信息指示表面时,内容上更简洁。
以上述实施例为基础,作为一个实施例,上述步骤130具体可以包括:
按照每个表面的第一关键点,与目标对象的第二关键点之间的映射关系,对目标对象进行渲染,显示目标对象对应的三维图像。
在本实施例中,按照每个表面的第一关键点,与目标对象的第二关键点之间的映射关系,可以从待渲染视频图像中确定需要对每个面进行渲染的内容,基于此对目标对象进行渲染,可以使得渲染得到的三维图像形状更加贴合目标对象的实际形状,呈现的效果更好。
请参阅图5,图5是本申请实施例提供的一种视频图像的渲染装置的结构框图。本实施例中该视频图像的渲染装置包括的各单元用于执行图1至图2对应的实施例中的各步骤。具体请参阅图1至图2,以及图1至图2所对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图6,视频图像的渲染装置,包括:第一获取单元301、第二获取单元302以及渲染单元303。
第一获取单元301,用于获取图像采集单元采集到的待渲染视频图像,待渲染视频图像包括目标对象。
第二获取单元302,用于获取目标对象对应的三维模型数据,三维模型数据用于描述三维模型中的第一关键点与目标对象的第二关键点之间的映射关系。
渲染单元303,用于按照映射关系对目标对象进行渲染,显示目标对象对应的三维图像。
作为一个实施例,视频图像的渲染装置,还包括:
第三获取单元,用于获取图像采集单元采集到的样本图像。
确定单元,用于响应于用户对样本图像触发的选取操作,确定目标对象。
模型生成单元,用于基于目标对象生成三维模型数据。
应当理解的是,本实施例提供的视频图像的渲染装置,各单元用于执行图1至图2对应的实施例中的各步骤,而对于图1至图2对应的实施例中的各步骤已在上述实施例中进行详细解释,具体请参阅图1至图2,以及图1至图2所对应的实施例中的相关描述,此处不再赘述。
图6是本申请实施例提供的一种电子设备的结构框图。如图6所示,该实施例的电子设备5包括:处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52,例如视频图像的渲染方法的程序。处理器50执行所述计算机程序52时实现上述各个视频图像的渲染方法各实施例中的步骤,例如图1至图2所示的各步骤。或者,所述处理器50执行所述计算机程序52时实现上述图5对应的实施例中各单元的功能。具体请参阅图5对应的实施例中的相关描述,此处不赘述。
示例性的,所述计算机程序52可以被分割成一个或多个单元,所述一个或者多个单元被存储在所述存储器51中,并由所述处理器50执行,以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序52在所述电子设备5中的执行过程。例如,所述计算机程序52可以被分割成第一获取单元、第二获取单元以及渲染单元,各单元具体功能如上所述。
所述电子设备可包括,但不仅限于,处理器50、存储器51。本领域技术人员可以理解,图6仅仅是电子设备5的示例,并不构成对电子设备5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是电子设备5的内部存储单元,例如电子设备5的硬盘或内存。所述存储器51也可以是电子设备5的外部存储设备,例如所述电子设备5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括电子设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种视频图像的渲染方法,其特征在于,包括:
获取图像采集单元采集到的待渲染视频图像,所述待渲染视频图像包括目标对象;
获取所述目标对象对应的三维模型数据,所述三维模型数据用于描述三维模型中的第一关键点与所述目标对象的第二关键点之间的映射关系;
按照所述映射关系,对所述目标对象进行渲染,显示所述目标对象对应的三维图像。
2.根据权利要求1所述的方法,其特征在于,所述按照所述映射关系,对所述目标对象进行渲染,显示所述目标对象对应的三维图像,包括:
通过渲染引擎,按照所述映射关系对所述目标对象进行渲染,显示所述目标对象对应的三维图像。
3.根据权利要求1所述的方法,其特征在于,所述三维模型数据包括所述目标对象对应的三维模型中各表面的索引信息,所述索引信息包括与所述第一关键点唯一对应的索引字段。
4.根据权利要求3所述的方法,其特征在于,在所述获取所述目标对象对应的三维模型数据的步骤之后,还包括:
根据所述三维模型数据中的索引信息确定所述三维模型的表面;
根据所述表面的索引信息,确定每个所述表面的第一关键点;
所述按照所述映射关系对所述目标对象进行渲染,显示所述目标对象对应的三维图像,包括:
按照每个所述表面的第一关键点,与所述目标对象的第二关键点之间的映射关系,对所述目标对象进行渲染,显示所述目标对象对应的三维图像。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述图像采集单元采集到的样本图像;
响应于用户对所述样本图像触发的选取操作,确定目标对象;
基于所述目标对象生成三维模型数据。
6.根据权利要求5所述的方法,其特征在于,所述响应于用户对所述样本图像触发的选取操作,确定目标对象,包括:
响应于用户对所述样本图像触发的选取操作,显示与所述选取操作对应的第二关键点,并且在所述样本图像中生成由所述第二关键点标定的目标范围;所述目标范围用于指示所述目标对象。
7.根据权利要求6所述的方法,其特征在于,所述基于所述目标对象生成三维模型数据,包括:
基于所述选取操作对应的第二关键点进行三角化处理,得到初始三维模型;
响应于用户对所述初始三维模型的表面优化操作,生成所述目标对象对应的三维模型。
8.一种视频图像的渲染装置,其特征在于,包括:
第一获取单元,用于获取图像采集单元采集到的待渲染视频图像,所述待渲染视频图像包括目标对象;
第二获取单元,用于获取所述目标对象对应的三维模型数据,所述三维模型数据用于描述三维模型中的第一关键点与所述目标对象的第二关键点之间的映射关系;
渲染单元,用于按照所述映射关系对所述目标对象进行渲染,显示所述目标对象对应的三维图像。
9.一种电子设备,其特征在于,所述电子设备包括:存储器、处理器以及存储在所述存储器中并可在所述电子设备上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述视频图像的渲染方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述视频图像的渲染方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311653585.2A CN117615115A (zh) | 2023-12-04 | 2023-12-04 | 视频图像的渲染方法、渲染装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311653585.2A CN117615115A (zh) | 2023-12-04 | 2023-12-04 | 视频图像的渲染方法、渲染装置、电子设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117615115A true CN117615115A (zh) | 2024-02-27 |
Family
ID=89951375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311653585.2A Pending CN117615115A (zh) | 2023-12-04 | 2023-12-04 | 视频图像的渲染方法、渲染装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117615115A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1395222A (zh) * | 2001-06-29 | 2003-02-05 | 三星电子株式会社 | 映射和渲染三维目标和活动的三维目标的基于图像的方法 |
CN108668108A (zh) * | 2017-03-31 | 2018-10-16 | 杭州海康威视数字技术股份有限公司 | 一种视频监控的方法、装置及电子设备 |
CN110009561A (zh) * | 2019-04-10 | 2019-07-12 | 南京财经大学 | 一种监控视频目标映射到三维地理场景模型的方法及系统 |
CN112150602A (zh) * | 2020-09-24 | 2020-12-29 | 苏州幻塔网络科技有限公司 | 模型图像的渲染方法和装置、存储介质和电子设备 |
US20220036651A1 (en) * | 2020-07-31 | 2022-02-03 | John Davidson | System and method for transforming graphical images |
CN116402966A (zh) * | 2023-04-13 | 2023-07-07 | 西安空天仿真科技有限公司 | 一种三维地形可视化仿真建模方法 |
CN116824016A (zh) * | 2022-03-18 | 2023-09-29 | 华为技术有限公司 | 渲染模型训练、视频的渲染方法、装置、设备和存储介质 |
-
2023
- 2023-12-04 CN CN202311653585.2A patent/CN117615115A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1395222A (zh) * | 2001-06-29 | 2003-02-05 | 三星电子株式会社 | 映射和渲染三维目标和活动的三维目标的基于图像的方法 |
CN108668108A (zh) * | 2017-03-31 | 2018-10-16 | 杭州海康威视数字技术股份有限公司 | 一种视频监控的方法、装置及电子设备 |
CN110009561A (zh) * | 2019-04-10 | 2019-07-12 | 南京财经大学 | 一种监控视频目标映射到三维地理场景模型的方法及系统 |
US20220036651A1 (en) * | 2020-07-31 | 2022-02-03 | John Davidson | System and method for transforming graphical images |
CN112150602A (zh) * | 2020-09-24 | 2020-12-29 | 苏州幻塔网络科技有限公司 | 模型图像的渲染方法和装置、存储介质和电子设备 |
CN116824016A (zh) * | 2022-03-18 | 2023-09-29 | 华为技术有限公司 | 渲染模型训练、视频的渲染方法、装置、设备和存储介质 |
CN116402966A (zh) * | 2023-04-13 | 2023-07-07 | 西安空天仿真科技有限公司 | 一种三维地形可视化仿真建模方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
CN105096382B (zh) | 一种在视频监控图像中关联真实物体信息的方法及装置 | |
CN107223269B (zh) | 三维场景定位方法和装置 | |
JP6310149B2 (ja) | 画像生成装置、画像生成システム及び画像生成方法 | |
CN110866977A (zh) | 增强现实处理方法及装置、系统、存储介质和电子设备 | |
CN103914876A (zh) | 用于在3d地图上显示视频的方法和设备 | |
CN115526892B (zh) | 基于三维重建的图像缺陷去重检测方法和装置 | |
CN109934873B (zh) | 标注图像获取方法、装置及设备 | |
CN113436338A (zh) | 火灾现场的三维重建方法、装置、服务器及可读存储介质 | |
JPWO2017163384A1 (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
US20180020203A1 (en) | Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium | |
Gupta et al. | Augmented reality system using lidar point cloud data for displaying dimensional information of objects on mobile phones | |
CN114663324A (zh) | 一种bim模型与gis信息的融合显示方法及相关组件 | |
CN111753112B (zh) | 一种信息生成的方法、装置和存储介质 | |
JP2013109624A (ja) | 画像処理装置、画像処理方法 | |
JP2023168262A (ja) | データ分割装置及び方法 | |
CN110827340B (zh) | 地图的更新方法、装置及存储介质 | |
CN112652056B (zh) | 一种3d信息展示方法及装置 | |
CN115982824A (zh) | 施工现场工人空间管理方法、装置、电子设备及存储介质 | |
CN116503474A (zh) | 位姿获取方法、装置、电子设备、存储介质及程序产品 | |
CN112634439B (zh) | 一种3d信息展示方法及装置 | |
CN115830073A (zh) | 地图要素重建方法、装置、计算机设备和存储介质 | |
CN117615115A (zh) | 视频图像的渲染方法、渲染装置、电子设备及介质 | |
CN113177975B (zh) | 基于球幕相机及激光雷达的深度计算方法及三维建模方法 | |
KR101850134B1 (ko) | 3차원 동작 모델 생성 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |