CN115797535A - 一种三维模型纹理贴图方法及相关装置 - Google Patents

一种三维模型纹理贴图方法及相关装置 Download PDF

Info

Publication number
CN115797535A
CN115797535A CN202310011996.5A CN202310011996A CN115797535A CN 115797535 A CN115797535 A CN 115797535A CN 202310011996 A CN202310011996 A CN 202310011996A CN 115797535 A CN115797535 A CN 115797535A
Authority
CN
China
Prior art keywords
target
dimensional
grid
dimensional model
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310011996.5A
Other languages
English (en)
Other versions
CN115797535B (zh
Inventor
杨光
蒋念娟
欧清扬
沈小勇
吕江波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Smartmore Technology Co Ltd
Original Assignee
Shenzhen Smartmore Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Smartmore Technology Co Ltd filed Critical Shenzhen Smartmore Technology Co Ltd
Priority to CN202310011996.5A priority Critical patent/CN115797535B/zh
Publication of CN115797535A publication Critical patent/CN115797535A/zh
Application granted granted Critical
Publication of CN115797535B publication Critical patent/CN115797535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本申请公开了一种三维模型纹理贴图方法及相关装置,该方法包括:获取目标对象对应的多个多视角原始彩图和目标三维模型网格,目标三维模型网格用于表示目标对象的几何结构;基于目标三维模型网格和多个多视角原始彩图,生成目标对象对应的初始目标二维全景图;对多个多视角原始彩图在初始目标二维全景图中的重叠部分进行纹理优化处理,得到目标二维全景图;基于第一映射关系,将目标二维全景图映射至目标三维模型网格,得到目标三维模型,其中,第一映射关系用于表示目标三维模型网格的坐标系与目标二维全景图的坐标系之间的映射关系。通过上述方案,能够得到具有高贴图质量的目标三维模型。

Description

一种三维模型纹理贴图方法及相关装置
技术领域
本申请涉及纹理贴图技术领域,特别是涉及一种三维模型纹理贴图方法及相关装置。
背景技术
随着计算机技术和互联网的快速发展,静态平面图片的多媒体展示方式已经不能满足客户的需求。静态平面图片只能从某个角度对目标对象进行展示,不能全面的展示目标对象,鉴于此,相关技术中通过三维模型来对目标对象进行全面的展示。
为了得到能全面展示目标对象的三维模型,需要先获取针对目标对象的多个不同视角的原始图像,再利用上述多个不同视角的原始图像来生成对应的三维模型。
在相关技术中,主要通过对相机进行标定来获得精确的几何结构,进而获得高质量的纹理贴图,然而在实际应用中,难以实现相机的完全固定,通常为了实现对目标对象的信息的全面获取,多视角位姿会具有一定的不确定性,这会导致三维模型的几何结构错误,进而导致贴图质量显著降低,鉴于此,如何得到具有高贴图质量的三维模型是目前亟需解决的问题。
发明内容
为了解决上述技术问题,本申请提供了一种三维模型纹理贴图方法及相关装置,能够得到具有高贴图质量的三维模型。
本申请实施例公开了如下技术方案:
第一方面,提供了一种三维模型纹理贴图方法,方法包括:
获取目标对象对应的多个多视角原始彩图和目标三维模型网格,目标三维模型网格用于表示目标对象的几何结构;
基于目标三维模型网格和多个多视角原始彩图,生成目标对象对应的初始目标二维全景图;
对多个多视角原始彩图在初始目标二维全景图中的重叠部分进行纹理优化处理,得到目标二维全景图;
基于第一映射关系,将目标二维全景图映射至目标三维模型网格,得到目标三维模型,第一映射关系用于表示目标三维模型网格的坐标系与目标二维全景图的坐标系之间的映射关系。
第二方面,提供了一种三维模型纹理贴图装置,装置包括:
获取单元,用于获取目标对象对应的多个多视角原始彩图和目标三维模型网格,目标三维模型网格用于表示目标对象的几何结构;
生成单元,用于基于目标三维模型网格和多个多视角原始彩图,生成目标对象对应的初始目标二维全景图;
处理单元,用于对多个多视角原始彩图在初始目标二维全景图中的重叠部分进行纹理优化处理,得到目标二维全景图;
映射单元,用于基于第一映射关系,将目标二维全景图映射至目标三维模型网格,得到目标三维模型,第一映射关系用于表示目标三维模型网格的坐标系与目标二维全景图的坐标系之间的映射关系。
第三方面,提供了一种计算机设备,包括处理器以及存储器:
存储器存储有计算机程序代码;
处理器执行计算机程序时实现上述三维模型纹理贴图方法中的步骤。
第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述三维模型纹理贴图方法中的步骤。
由上述技术方案可以看出,获取目标对象对应的多个多视角原始彩图和目标三维模型网格,目标三维模型网格用于表示目标对象的几何结构;基于目标三维模型网格和多个多视角原始彩图,生成目标对象对应的初始目标二维全景图;对多个多视角原始彩图在初始目标二维全景图中的重叠部分进行纹理优化处理,得到目标二维全景图;基于第一映射关系,将目标二维全景图映射至目标三维模型网格,得到目标三维模型,其中,第一映射关系用于表示目标三维模型网格的坐标系与目标二维全景图的坐标系之间的映射关系。通过上述方案,能够实现三维模型的降维,得到对应的初始目标二维全景图,通过对初始目标二维全景图进行纹理优化处理,能够得到具有高贴图质量的目标二维全景图,进而得到具有高贴图质量的目标三维模型。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种三维模型纹理贴图方法的流程图;
图2为本申请实施例提供的三角形的重心坐标示意图;
图3为本申请实施例提供的第一球坐标系示意图;
图4为本申请实施例提供的一种三维模型纹理贴图装置的示意图;
图5为本申请实施例提供的一种终端设备的结构图;
图6为本申请实施例提供的一种服务器的结构图;
图7为本申请实施例提供的一种计算机可读存储介质的结构图。
具体实施方式
下面结合附图,对本申请的实施例进行描述。
由于三维模型能够实现对目标对象的全面展示,故在多媒体展示领域得到了广泛应用。通过针对目标对象的多个不同视角的原始图像,能够生成对应的三维模型。在相关技术中,主要通过对相机进行标定来获得精确的几何结构,进而获得高质量的纹理贴图,然而在实际使用中,难以实现相机的完全固定,纹理贴图的质量会随着多视角位姿不确定性的提高而显著降低。
鉴于此,本申请提供了一种三维模型纹理贴图方法及相关装置,能够得到具有高贴图质量的三维模型。
下面通过方法实施例对本申请提供的一种三维模型纹理贴图方法进行说明,如图1所示,图1为本申请实施例提供的一种三维模型纹理贴图方法的流程图,该方法包括如下步骤:
S101、计算机设备获取目标对象对应的多个多视角原始彩图和目标三维模型网格,目标三维模型网格用于表示目标对象的几何结构。
多视角原始彩图是指针对目标对象的多个不同视角的原始彩图,可以由相机或者无人机等摄像设备直接获取,目标对象对应的多个多视角原始彩图可以作为后续纹理贴图的原始图像数据,以便后续步骤中用于对目标三维模型网络进行纹理贴图。
三维模型是对待展示对象的多边形展示,三维模型由三维模型网格和三维模型纹理构成,三维模型网格能够反映对象几何结构,通常由三角形、四边形或者其他的简单凸多边形组成;三维模型纹理包括对象表面的纹理和对象的表面上的彩色图案,通过把三维模型纹理映射到三维模型网格上可以让三维模型看上去更为真实。
目标三维模型网络是针对目标对象的三维模型网络,能够反映目标对象的几何结构,也就是说,在确定目标三维模型的过程中,先不考虑目标三维模型的贴图质量,先生成能反映目标对象几何结构的目标三维模型网格。
S102、计算机设备基于目标三维模型网格和多个多视角原始彩图,生成目标对象对应的初始目标二维全景图。
为了保证三维模型上的贴图质量,需要对三维模型的进行纹理优化,在相关技术中,纹理优化过程通常是直接在三维模型网格上直接进行。虽然在三维模型上能够直接对纹理进行扭曲、隐藏等操作,但是由于三维模型上冗余反映了几何结构和贴图质量的关系,即生成的三维模型既需要考虑几何结构的准确性,又需要考虑贴图质量,这不利于得到高质量的三维模型。并且在三维模型上直接对纹理进行优化的过程难以可视化,例如,反映在多视角的贴图效果上,视角相互交界的部分就难以直观反映。
鉴于此,本申请通过目标三维模型网格和多个多视角原始彩图,得到目标对象对应的初始目标二维全景图,二维全景图是指能够将目标对象的多个多视角原始彩图在二维平面上进行全面展示的图像,能够实现对三维信息的降维,具体来说,通过得到能反映贴图质量的初始目标二维全景图,能够实现三维模型的几何结构和贴图质量的分离,实现对三维信息的降维,从而使得纹理优化操作可在二维图片层面完成。
在一些实施例中,在基于目标三维模型网格和多个多视角原始彩图,生成目标对象对应的初始目标二维全景图方面,该方法包括:
确定目标三维模型网格的网格顶点对应的顶点空间坐标;
基于顶点空间坐标和第一映射关系,将目标三维模型网格的网格顶点和对应的像素值映射至初始目标二维全景图,初始目标二维全景图中包括目标二维网格,目标二维网格用于表示目标三维模型网格在初始目标二维全景图中对应的二维网格;
确定初始目标二维全景图中目标二维网格内的像素点在目标三维模型网格的坐标系中对应的像素空间坐标;
基于像素空间坐标和第二映射关系,将目标二维网格内的像素点在多个多视角原始彩图的像素值确定为目标二维网格内的像素点在初始目标二维全景图的像素值,第二映射关系用于表示目标三维模型网格的坐标系与多个原视角原始彩图的坐标系之间的映射关系。
目标三维模型网络能够反映目标对象在三维空间中的几何结构,先确定目标模型网络的网格顶点在目标模型网络的坐标系中的顶点空间坐标,再基于顶点空间坐标和第一映射关系,能够将目标三维模型网络的网格顶点和对应的像素值映射至初始目标二维全景图,此时初始目标二维全景图中包括有目标二维网格,目标二维网格是指目标三维网格映射至初始目标二维全景图后得到的二维网格,需要说明的是,将三维模型网格由三维层面映射至二维层面,可以得到对应的二维网格。由于此时初始目标二维全景图中只显示有目标二维网格的网格顶点的像素值,对于目标二维网格内的像素点的像素值需要索引多个多视角原始彩图来确定,故可以先确定初始目标二维全景图中目标二维网格内的像素点在目标三维模型网格的坐标系中对应的像素空间坐标,再基于像素空间坐标和第二映射关系,索引像素点在多个多视角原始彩图的像素值,并将该像素值确定为该像素点在初始目标二维全景图的像素值,其中,目标二维网格内的像素点可能会在多个多视角原始彩图中有多个对应的像素值,此时,应该将该多个对应的像素值均确定为该像素点在初始目标二维全景图的像素值,初始目标二维全景图中具有多个对应的像素值的像素点会组成多个多视角原始彩图在初始目标二维全景图的重叠部分,在后续的纹理优化处理步骤可以再对初始目标二维全景图中的重叠部分进行优化。
通过上述步骤,能够根据多个多视角原始彩图准确确定初始目标二维全景图中的像素点的像素值,得到多个多视角原始彩图在二维层面的全景图。在一些实施例中,在确定初始目标二维全景图中目标二维网格内的像素点在目标三维模型网格的坐标系中对应的像素空间坐标方面,该方法包括:
确定目标二维网格内的像素点在初始目标二维全景图的坐标系中的重心坐标,重心坐标用于表示目标二维网格内的像素点与对应的目标二维网格的网格顶点之间的位置关系;
基于重心坐标和顶点空间坐标,确定目标二维网格内的像素点在目标三维模型网格的坐标系中对应的像素空间坐标。
重心坐标可以用于表示多边形内的点与顶点之间的位置关系,例如,当多边形为三角形时,如图2所示,三角形中某一点P的重心坐标(α,β,γ)可以按照下述公式计算得到:
Figure 816220DEST_PATH_IMAGE001
其中,P点的重心坐标为(α,β,γ),AA表示P点与三角形顶点B和三角形顶点C构成的三角形的面积,AB表示P点与三角形顶点A和三角形顶点C构成的三角形的面积,Ac表示P点与三角形顶点A和三角形顶点B构成的三角形的面积。
通过目标二维网格内的像素点的重心坐标能够准确反映该像素点与对应的目标二维网格的网格顶点之间的位置关系,由于目标二维网格是由目标三维模型网格映射得到,故目标二维网格的网格顶点在目标三维模型网格的坐标系中的顶点坐标与对应的目标三维模型网格的网格顶点的顶点空间坐标一一对应,进而可以通过目标二维网格内的像素点的重心坐标和对应的顶点空间坐标准确得到目标二维网格内的像素点在目标三维模型网格的坐标系中对应的像素空间坐标。
在一些实施例中,为了获取满足分辨率需求的初始目标二维全景图,,可以获取初始目标二维全景图的分辨率;
基于分辨率,确定初始目标二维全景图中目标二维网格内的像素点的分布数据。
初始目标二维全景图的分辨率与初始目标二维全景图的贴图质量密切相关,分辨率越高,贴图质量越高,但是相应的数据处理量也会较高,贴图效率也会较慢,故可以根据对输出的贴图质量的实际需求确定初始目标二维全景图的分辨率。
为了得到满足分辨率需求的初始目标二维全景图,需要确定初始目标二维全景图的像素点的分布情况,对于具有不同分辨率的图像,其像素点的分布情况自然不同,通常来说,图像的分辨率越高,像素点越密集,图像的分辨率越低,像素点越分散,故为了得到满足分辨率需求的初始目标二维全景图,可以先获取初始目标二维全景图的分辨率,再根据初始目标二维全景图的分辨率来确定初始目标二维全景图中目标二维网格的像素点的分布数据,以便根据像素点的分布数据来得到满足分辨率需求的初始目标二维全景图,例如,当初始目标二维全景图的分辨率为长360像素x宽180像素时,对应的像素点的分布情况为方位角和天顶角分辨率为每像素1°,当初始目标二维全景图的分辨率为长3600像素x宽1800像素时,对应的像素点的分布情况为方位角和天顶角分辨率为每像素0.1°。
通过初始目标二维全景图的分辨率能够准确确定初始目标二维全景图的像素点的分布情况,以便得到满足分辨率需求的初始目标二维全景图。
在一些实施例中,在确定目标三维模型网格的网格顶点对应的顶点空间坐标方面,该方法包括:
将目标对象的质心确定为目标三维模型对应的第一球坐标系的原点;
基于第一球坐标系的原点,确定目标三维模型网格的网格顶点在第一球坐标系的顶点球空间坐标。
与传统的笛卡尔世界坐标系相比,球坐标系能够对目标三维模型进行更清楚的标识,故可以采用球坐标系作为目标三维模型的坐标系。
目标对象的质心,也就是目标对象的质量中心,是指目标对象系统上被认为质量集中于此的一个假想点,如果目标对象是质量均匀的物体的话,质心即是目标对象的几何中心。将目标对象的质心确定为目标三维模型对应的第一球坐标系的原点,可以让目标三维模型网格映射后对应的目标二维网格均匀地分布在初始目标二维全景图中。
在确定第一球坐标系的原点之后,如图3所示,可以根据下述公式确定目标三维模型网格的网格顶点对应的顶点球空间坐标。
Figure 61256DEST_PATH_IMAGE002
其中,(r,θ,φ)是目标三维模型网格的网格顶点的顶点球空间坐标,(x,y,z)是对应的目标三维模型网格的网格顶点的笛卡尔系世界坐标。
将目标对象的质心作为目标三维模型的第一球坐标系的零点,并确定网格顶点的顶点球空间坐标,可以使得目标三维模型网格能够更均匀的分布在初始目标二维全景图中。
在一些实施例中,由于目标对象的质心可能位于物体之外,此时为了对目标三维模型网格进行清楚的标识。可以将第一球坐标系的原点设置为光心;
基于光心对目标三维模型网格进行光线追踪,得到目标三维模型网格的光线追踪顺序;
基于光线追踪顺序,确定目标三维模型网格的外部三维网格,外部三维网格用于表示目标三维模型网格最外层的三维网格;
在基于顶点空间坐标和第一映射关系,将目标三维模型网格的网格顶点和对应的像素值映射至初始目标二维全景图方面,该方法包括:
基于顶点空间坐标和第一映射关系,将外部三维网格的网格顶点和对应的像素值映射至初始目标二维全景图。
在三维模型纹理映射的实际使用过程中,目标对象的形状可能是多种多样的,除了规则的球形、方形等,还有如“9”字型等其他形状类型的目标对象,即目标对象的质心很可能在目标对象之外。因为相机等图像获取设备只能获取目标对象最外层的图像信息,也就是说最终生成的目标三维模型也只能展示目标对象最外层的图像信息,所以在将目标三维图像网格映射至初始目标二维全景图的过程中,为了减少映射的数据处理量,只需要将目标三维图像网格的最外层三维网格映射至初始目标二维全景图中。
鉴于此,可以采用光线追踪技术来确定目标三维模型网格的外部三维网格,外部三维网格用于表示目标三维模型网格最外层的三维网格。
具体来说,可以先将第一球坐标系的原点,也就是将目标对象的质心设置为光心,由于目标对象的质心可能位于目标对象之外,以光心为虚拟视角,同一条光线可能多次碰撞目标三维模型网格,故可以记录目标三维模型网格的光线追踪顺序,光线追踪顺序用于表示光线追踪的先后顺序。基于该光线追踪顺序,可以确定目标三维模型网格的外部三维网格,在后续将目标三维模型网格的网格顶点映射至初始目标二维全景图的过程中,为了减少工作量,可以只将外部三维网格的网格顶点映射至初始目标二维全景图中。
此外,由于目标二维全景图难以直观展示目标对象内部的图像信息,在存在几何遮挡的情况下,还可以在初始目标二维全景图中记录光线追踪顺序,从而保留尽可能全的三维信息。
根据上述方法,可以在处理质心位于外部的目标对象时,准确的只将目标三维模型网格的外部三维网格映射至目标二维全景图的同时保留较为完整的三维信息。
需要说明的是,在采用光线追踪技术确定目标三维模型网格的光线追踪顺序的过程中,还可以得到目标三维模型网格的网格顶点至光心的顶点光心距离,根据顶点光心距离和目标二维网格内的像素点的重心坐标,也可以得到目标二维网格内的像素点与光心之间的位置关系,根据该位置关系,也可以向多视角原始图像索引对应的像素值。
S103、计算机设备对多个多视角原始彩图在初始目标二维全景图中的重叠部分进行纹理优化处理,得到目标二维全景图。
在S102中对三维信息实现了降维,得到了初始目标二维全景图,初始目标二维全景图能够在二维图片层面对目标对象进行全面展示。由于多个多视角原始彩图在初始目标二维全景图中会出现重叠部分,初始目标二维全景图中的重叠部分对应于不同的多个多视角原始彩图,重叠部分的图像重叠会导致重叠部分的贴图质量较低,极大的影响三维模型的贴图质量,故可以在初始目标二维全景图中对重叠部分直接进行纹理优化处理,例如,对重叠部分进行调整、融合等操作,来得到具有较高贴图质量的目标二维全景图。
在一些实施例中,在对多个多视角原始彩图在初始目标二维全景图中的重叠部分进行纹理优化处理,得到目标二维全景图方面,该方法包括:
获取重叠部分在初始目标二维全景图的周边二维网格的周边纹理数据;
基于周边纹理数据,采用马尔科夫模型在重叠部分对应的多个多视角原始彩图中确定目标多视角原始彩图;
将重叠部分在目标多视角原始彩图的纹理数据确定为重叠部分在初始目标二维全景图的纹理数据,得到目标二维全景图。
在把多个多视角原始彩图映射至初始目标二维全景图之后,多个多视角原始彩图在初始目标二维全景图之中会有重叠部分,可以对其进行取舍选择当前像素合适的目标多视角原始彩图。
具体来说,可以采用马尔科夫模型的纹理挑选策略来确定目标多视角原始彩图,先获取重叠部分在初始目标二维全景图的周边二维网格的周边纹理数据,为了保证纹理连续性,将周边纹理数据作为马尔科夫模型的约束,可以在重叠部分对应的多个多视角原始彩图中确定目标多视角原始彩图,目标多视角原始彩图为根据马尔科夫模型确定的可以保证纹理连续性的最合适的多视角原始彩图,再将重叠部分在目标多视角原始彩图的纹理数据确定为重叠部分在初始目标二维全景图的纹理数据,得到纹理连续的目标二维全景图。通过上述方法,可以采用马尔科夫模型确定初始目标二维全景图中重叠部分的纹理数据,得到纹理连续的目标二维全景图。
在一些实施例中,根据马尔科夫模型确定重叠部分的纹理数据之后,为了保证纹理块的完整性,避免目标二维全景图中存在图像缺失空白的部分,可以采用面块匹配搜索来保证特征纹理块的完整性。
在一些实施例中,为了提高目标二维全景图的观赏性,还可以对目标二维全景图进行匀光统一色调等操作。
S104、计算机设备基于第一映射关系,将目标二维全景图映射至目标三维模型网格,得到目标三维模型,第一映射关系用于表示目标三维模型网格的坐标系与目标二维全景图的坐标系之间的映射关系。
在S103中得到高贴图质量的目标二维全景图之后,可以根据第一映射关系将目标二维全景图映射至目标三维模型网络,直接得到具有较高贴图质量的目标三维模型。
综上所述,可以获取目标对象对应的多个多视角原始彩图和目标三维模型网格,目标三维模型网格用于表示目标对象的几何结构;基于目标三维模型网格和多个多视角原始彩图,生成目标对象对应的初始目标二维全景图;对多个多视角原始彩图在初始目标二维全景图中的重叠部分进行纹理优化处理,得到目标二维全景图;基于第一映射关系,将目标二维全景图映射至所述目标三维模型网格,得到目标三维模型,其中,第一映射关系用于表示目标三维模型网格的坐标系与目标二维全景图的坐标系之间的映射关系。通过上述方案,能够实现三维模型的降维,得到对应的初始目标二维全景图,通过对初始目标二维全景图进行纹理优化处理,能够得到具有高贴图质量的目标二维全景图,进而得到具有高贴图质量的目标三维模型。
下面通过装置实施例对本申请提供的三维模型纹理贴图装置进行说明,如图4所示,图4为本申请实施例提供的一种三维模型纹理贴图装置的示意图,该装置包括:
获取单元401,用于获取目标对象对应的多个多视角原始彩图和目标三维模型网格,目标三维模型网格用于表示目标对象的几何结构;
生成单元402,用于基于目标三维模型网格和多个多视角原始彩图,生成目标对象对应的初始目标二维全景图;
处理单元403,用于对多个多视角原始彩图在初始目标二维全景图中的重叠部分进行纹理优化处理,得到目标二维全景图;
映射单元404,用于基于第一映射关系,将目标二维全景图映射至目标三维模型网格,得到目标三维模型,第一映射关系用于表示目标三维模型网格的坐标系与目标二维全景图的坐标系之间的映射关系。
在一些实施例中,在基于所述目标三维模型网格和所述多个多视角原始彩图,生成所述目标对象对应的初始目标二维全景图方面,生成单元402具体用于:
确定目标三维模型网格的网格顶点对应的顶点空间坐标;
基于顶点空间坐标和第一映射关系,将目标三维模型网格的网格顶点和对应的像素值映射至初始目标二维全景图,初始目标二维全景图中包括目标二维网格,目标二维网格用于表示目标三维模型网格在初始目标二维全景图中对应的二维网格;
确定初始目标二维全景图中目标二维网格内的像素点在目标三维模型网格的坐标系中对应的像素空间坐标;
基于像素空间坐标和第二映射关系,将目标二维网格内的像素点在多个多视角原始彩图的像素值确定为目标二维网格内的像素点在初始目标二维全景图的像素值,第二映射关系用于表示目标三维模型网格的坐标系与多个原视角原始彩图的坐标系之间的映射关系。
在一些实施例中,在确定初始目标二维全景图中目标二维网格内的像素点在目标三维模型网格的坐标系中对应的像素空间坐标方面,生成单元402具体用于:
确定目标二维网格内的像素点在初始目标二维全景图的坐标系中的重心坐标,重心坐标用于表示目标二维网格内的像素点与对应的目标二维网格的网格顶点之间的位置关系;
基于重心坐标和顶点空间坐标,确定目标二维网格内的像素点在目标三维模型网格的坐标系中对应的像素空间坐标。
在一些实施例中,三维模型纹理映射装置还包括第一确定单元,用于:
获取初始目标二维全景图的分辨率;
基于分辨率,确定初始目标二维全景图中目标二维网格内的像素点的分布数据。
在一些实施例中,在确定目标三维模型网格的网格顶点对应的顶点空间坐标方面,生成单元402具体用于:
将目标对象的质心确定为目标三维模型对应的第一球坐标系的原点;
基于第一球坐标系的原点,确定目标三维模型网格的网格顶点在第一球坐标系的顶点球空间坐标。
在一些实施例中,三维模型纹理映射装置还包括第二确定单元,用于:
将第一球坐标系的原点设置为光心;
基于光心对目标三维模型网格进行光线追踪,得到目标三维模型网格的光线追踪顺序;
基于光线追踪顺序,确定目标三维模型网格的外部三维网格,外部三维网格用于表示目标三维模型网格中最外层的三维网格;
在基于顶点空间坐标和第一映射关系,将目标三维模型网格的网格顶点和对应的像素值映射至初始目标二维全景图,生成单元402具体用于:
基于顶点空间坐标和第一映射关系,将外部三维网格的网格顶点和对应的像素值映射至初始目标二维全景图。
在一些实施例中,在对多个多视角原始彩图在初始目标二维全景图中的重叠部分进行纹理优化处理,得到目标二维全景图,处理单元403具体用于:
获取重叠部分在初始目标二维全景图的周边二维网格的周边纹理数据;
基于周边纹理数据,采用马尔科夫模型在重叠部分对应的多个多视角原始彩图中确定目标多视角原始彩图;
将重叠部分在目标多视角原始彩图的纹理数据确定为重叠部分在初始目标二维全景图的纹理数据,得到目标二维全景图。
本申请实施例所提供的三维模型纹理贴图方法可以通过计算机设备实施,该计算机设备可以是终端设备或服务器,其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
本申请实施例还提供了一种计算机设备,该计算机设备为前述介绍的计算机设备,可以包括终端设备或服务器,下面结合附图对该计算机设备进行介绍。
若该计算机设备为终端设备,请参见图5所示,本申请实施例提供了一种终端设备,以终端设备为手机为例:
图5示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图5,手机包括:射频(Radio Frequency,简称RF)电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真(简称WiFi)模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解,图5中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图5对手机的各个构成部件进行具体的介绍:
RF电路1410可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1480处理;另外,将设计上行的数据发送给基站。
存储器1420可用于存储软件程序以及模块,处理器1480通过运行存储在存储器1420的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1430可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1430可包括触控面板1431以及其他输入设备1432。
显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1440可包括显示面板1441。
手机还可包括至少一种传感器1450,比如光传感器、运动传感器以及其他传感器。
音频电路1460、扬声器1461,传声器1462可提供用户与手机之间的音频接口。
WiFi属于短距离无线传输技术,手机通过WiFi模块1470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。
处理器1480是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1420内的软件程序和/或模块,以及调用存储在存储器1420内的数据,执行手机的各种功能和处理数据。
手机还包括给各个部件供电的电源1490(比如电池)。
在本实施例中,该终端设备所包括的处理器1480还具有以下功能:
获取目标对象对应的多个多视角原始彩图和目标三维模型网格,目标三维模型网格用于表示目标对象的几何结构;
基于目标三维模型网格和多个多视角原始彩图,生成目标对象对应的初始目标二维全景图;
对多个多视角原始彩图在初始目标二维全景图中的重叠部分进行纹理优化处理,得到目标二维全景图;
基于第一映射关系,将目标二维全景图映射至目标三维模型网格,得到目标三维模型,第一映射关系用于表示目标三维模型网格的坐标系与目标二维全景图的坐标系之间的映射关系。
若计算机设备为服务器,本申请实施例还提供一种服务器,请参见图6所示,图6为本申请实施例提供的服务器1500的结构图,服务器1500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,简称CPU)1522(例如,一个或一个以上处理器)和存储器1532,一个或一个以上存储应用程序1542或数据1544的存储介质1530(例如一个或一个以上海量存储设备)。其中,存储器1532和存储介质1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1522可以设置为与存储介质1530通信,在服务器1500上执行存储介质1530中的一系列指令操作。
服务器1500还可以包括一个或一个以上电源1526,一个或一个以上有线或无线网络接口1550,一个或一个以上输入输出接口1558,和/或,一个或一个以上操作系统1541,例如Windows ServerTM,Mac OS XTM,UnixTM, LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于图6所示的服务器结构。
本申请实施例还提供了一种计算机可读存储介质,如图7所示,图7为本申请实施例提供的一种计算机可读存储介质的结构图,在计算机可读存储介质900中存储有计算机程序920,计算机程序被处理器执行时实现上述实施例提供的方法中的步骤。
本申请实施例还提供了一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序被处理器执行时实现上述实施例提供的方法中的步骤。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质可以是下述介质中的至少一种:只读存储器(英文:Read-only Memory,缩写:ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备及系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本申请的一种具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。而且本申请在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种三维模型纹理贴图方法,其特征在于,所述方法包括:
获取目标对象对应的多个多视角原始彩图和目标三维模型网格,所述目标三维模型网格用于表示所述目标对象的几何结构;
基于所述目标三维模型网格和所述多个多视角原始彩图,生成所述目标对象对应的初始目标二维全景图;
对所述多个多视角原始彩图在所述初始目标二维全景图中的重叠部分进行纹理优化处理,得到目标二维全景图;
基于第一映射关系,将所述目标二维全景图映射至所述目标三维模型网格,得到目标三维模型,所述第一映射关系用于表示所述目标三维模型网格的坐标系与所述目标二维全景图的坐标系之间的映射关系。
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标三维模型网格和所述多个多视角原始彩图,生成所述目标对象对应的初始目标二维全景图,包括:
确定所述目标三维模型网格的网格顶点对应的顶点空间坐标;
基于所述顶点空间坐标和所述第一映射关系,将所述目标三维模型网格的网格顶点和对应的像素值映射至所述初始目标二维全景图,所述初始目标二维全景图中包括目标二维网格,所述目标二维网格用于表示所述目标三维模型网格在所述初始目标二维全景图中对应的二维网格;
确定所述初始目标二维全景图中目标二维网格内的像素点在所述目标三维模型网格的坐标系中对应的像素空间坐标;
基于所述像素空间坐标和第二映射关系,将所述目标二维网格内的像素点在所述多个多视角原始彩图的像素值确定为所述目标二维网格内的像素点在所述初始目标二维全景图的像素值,所述第二映射关系用于表示所述目标三维模型网格的坐标系与所述多个原视角原始彩图的坐标系之间的映射关系。
3.根据权利要求2所述的方法,其特征在于,所述确定所述初始目标二维全景图中目标二维网格内的像素点在所述目标三维模型网格的坐标系中对应的像素空间坐标,包括:
确定所述目标二维网格内的像素点在所述初始目标二维全景图的坐标系中的重心坐标,所述重心坐标用于表示所述目标二维网格内的像素点与对应的目标二维网格的网格顶点之间的位置关系;
基于所述重心坐标和所述顶点空间坐标,确定所述目标二维网格内的像素点在目标三维模型网格的坐标系中对应的像素空间坐标。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取所述初始目标二维全景图的分辨率;
基于所述分辨率,确定所述初始目标二维全景图中目标二维网格内的像素点的分布数据。
5.根据权利要求2所述的方法,其特征在于,所述确定所述目标三维模型网格的网格顶点对应的顶点空间坐标,包括:
将所述目标对象的质心确定为所述目标三维模型对应的第一球坐标系的原点;
基于所述第一球坐标系的原点,确定所述目标三维模型网格的网格顶点在所述第一球坐标系的顶点球空间坐标。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
将所述第一球坐标系的原点设置为光心;
基于所述光心对所述目标三维模型网格进行光线追踪,得到所述目标三维模型网格的光线追踪顺序;
基于所述光线追踪顺序,确定所述目标三维模型网格的外部三维网格,所述外部三维网格用于表示所述目标三维模型网格中最外层的三维网格;
所述基于所述顶点空间坐标和所述第一映射关系,将所述目标三维模型网格的网格顶点和对应的像素值映射至所述初始目标二维全景图,包括:
基于所述顶点空间坐标和所述第一映射关系,将所述外部三维网格的网格顶点和对应的像素值映射至所述初始目标二维全景图。
7.根据权利要求1所述的方法,其特征在于,所述对所述多个多视角原始彩图在所述初始目标二维全景图中的重叠部分进行纹理优化处理,得到目标二维全景图,包括:
获取所述重叠部分在所述初始目标二维全景图的周边二维网格的周边纹理数据;
基于所述周边纹理数据,采用马尔科夫模型在所述重叠部分对应的多个多视角原始彩图中确定目标多视角原始彩图;
将所述重叠部分在所述目标多视角原始彩图的纹理数据确定为所述重叠部分在所述初始目标二维全景图的纹理数据,得到所述目标二维全景图。
8.一种三维模型纹理贴图装置,其特征在于,所述装置包括:
获取单元,用于获取目标对象对应的多个多视角原始彩图和目标三维模型网格,所述目标三维模型网格用于表示所述目标对象的几何结构;
生成单元,用于基于所述目标三维模型网格和所述多个多视角原始彩图,生成所述目标对象对应的初始目标二维全景图;
处理单元,用于对所述多个多视角原始彩图在所述初始目标二维全景图中的重叠部分进行纹理优化处理,得到目标二维全景图;
映射单元,用于基于第一映射关系,将所述目标二维全景图映射至所述目标三维模型网格,得到目标三维模型,所述第一映射关系用于表示所述目标三维模型网格的坐标系与所述目标二维全景图的坐标系之间的映射关系。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器以及存储器,
所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-7中任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的方法。
CN202310011996.5A 2023-01-05 2023-01-05 一种三维模型纹理贴图方法及相关装置 Active CN115797535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310011996.5A CN115797535B (zh) 2023-01-05 2023-01-05 一种三维模型纹理贴图方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310011996.5A CN115797535B (zh) 2023-01-05 2023-01-05 一种三维模型纹理贴图方法及相关装置

Publications (2)

Publication Number Publication Date
CN115797535A true CN115797535A (zh) 2023-03-14
CN115797535B CN115797535B (zh) 2023-06-02

Family

ID=85428603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310011996.5A Active CN115797535B (zh) 2023-01-05 2023-01-05 一种三维模型纹理贴图方法及相关装置

Country Status (1)

Country Link
CN (1) CN115797535B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116431095A (zh) * 2023-03-23 2023-07-14 北京凯视达科技股份有限公司 全景显示方法、装置、电子设备和存储介质
CN117152733A (zh) * 2023-07-10 2023-12-01 中国地质大学(武汉) 一种地质材料材质识别方法、系统及可读存储介质
CN116431095B (zh) * 2023-03-23 2024-04-30 北京凯视达科技股份有限公司 全景显示方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005063041A (ja) * 2003-08-08 2005-03-10 Olympus Corp 3次元モデリング装置、方法、及びプログラム
CN102945565A (zh) * 2012-10-18 2013-02-27 深圳大学 一种物体的三维真实感重建方法、系统及电子设备
US20130249901A1 (en) * 2012-03-22 2013-09-26 Christopher Richard Sweet Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
CN103646428A (zh) * 2013-11-29 2014-03-19 华东师范大学 一种3d流体场景的合成方法
WO2018076437A1 (zh) * 2016-10-25 2018-05-03 宇龙计算机通信科技(深圳)有限公司 一种人脸贴图方法及装置
CN113112581A (zh) * 2021-05-13 2021-07-13 广东三维家信息科技有限公司 三维模型的纹理贴图生成方法、装置、设备及存储介质
CN113345074A (zh) * 2021-06-07 2021-09-03 苏州易航远智智能科技有限公司 一种车载3d环视影像显示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005063041A (ja) * 2003-08-08 2005-03-10 Olympus Corp 3次元モデリング装置、方法、及びプログラム
US20130249901A1 (en) * 2012-03-22 2013-09-26 Christopher Richard Sweet Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
CN102945565A (zh) * 2012-10-18 2013-02-27 深圳大学 一种物体的三维真实感重建方法、系统及电子设备
CN103646428A (zh) * 2013-11-29 2014-03-19 华东师范大学 一种3d流体场景的合成方法
WO2018076437A1 (zh) * 2016-10-25 2018-05-03 宇龙计算机通信科技(深圳)有限公司 一种人脸贴图方法及装置
CN113112581A (zh) * 2021-05-13 2021-07-13 广东三维家信息科技有限公司 三维模型的纹理贴图生成方法、装置、设备及存储介质
CN113345074A (zh) * 2021-06-07 2021-09-03 苏州易航远智智能科技有限公司 一种车载3d环视影像显示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG, JASON 等: "NeRS: neural reflectance surfaces for sparse-view 3D reconstruction in the wild" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116431095A (zh) * 2023-03-23 2023-07-14 北京凯视达科技股份有限公司 全景显示方法、装置、电子设备和存储介质
CN116431095B (zh) * 2023-03-23 2024-04-30 北京凯视达科技股份有限公司 全景显示方法、装置、电子设备和存储介质
CN117152733A (zh) * 2023-07-10 2023-12-01 中国地质大学(武汉) 一种地质材料材质识别方法、系统及可读存储介质

Also Published As

Publication number Publication date
CN115797535B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
US20170154468A1 (en) Method and electronic apparatus for constructing virtual reality scene model
US20170186219A1 (en) Method for 360-degree panoramic display, display module and mobile terminal
CN114223195A (zh) 用于使用虚拟相机进行视频通信的系统和方法
CN111311757B (zh) 一种场景合成方法、装置、存储介质及移动终端
CN113077548B (zh) 针对物体的碰撞检测方法、装置、设备和存储介质
CN111833243B (zh) 一种数据展示方法、移动终端和存储介质
WO2023207963A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN115797535B (zh) 一种三维模型纹理贴图方法及相关装置
CN112017133B (zh) 一种图像展示方法、装置及电子设备
EP4290464A1 (en) Image rendering method and apparatus, and electronic device and storage medium
CN111294580B (zh) 基于gpu的摄像头视频投影方法、装置、设备及存储介质
US20240037856A1 (en) Walkthrough view generation method, apparatus and device, and storage medium
CN115170740A (zh) 特效处理方法、装置、电子设备及存储介质
WO2022121653A1 (zh) 确定透明度的方法、装置、电子设备和存储介质
CN113436348B (zh) 三维模型处理方法、装置、电子设备及存储介质
JP2021192244A (ja) 位置情報の生成方法、関連装置及びコンピュータプログラム製品
CN111862240B (zh) 全景相机及其标定方法、全景图像的拼接方法及存储介质
CN112308766B (zh) 一种图像数据展示方法、装置、电子设备及存储介质
CN112308767B (zh) 一种数据展示方法、装置、存储介质以及电子设备
CN112181230A (zh) 一种数据展示方法、装置以及电子设备
US8755819B1 (en) Device location determination using images
CN112306344B (zh) 一种数据处理方法及移动终端
CN112465692A (zh) 图像处理方法、装置、设备及存储介质
CN113312440B (zh) 地图构建方法、装置、电子设备、计算机可读存储介质
WO2023221683A1 (zh) 图像渲染方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant