CN116958377A - 三维模型纹理映射方法、装置和计算机设备 - Google Patents

三维模型纹理映射方法、装置和计算机设备 Download PDF

Info

Publication number
CN116958377A
CN116958377A CN202211564280.XA CN202211564280A CN116958377A CN 116958377 A CN116958377 A CN 116958377A CN 202211564280 A CN202211564280 A CN 202211564280A CN 116958377 A CN116958377 A CN 116958377A
Authority
CN
China
Prior art keywords
target
dimensional model
frame
vertex coordinates
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211564280.XA
Other languages
English (en)
Inventor
包巍
张涛
龙志翔
林金华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Jiangxi Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Jiangxi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Jiangxi Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202211564280.XA priority Critical patent/CN116958377A/zh
Publication of CN116958377A publication Critical patent/CN116958377A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种三维模型纹理映射方法、装置和计算机设备。该方法包括:根据目标检测算法对纹理图像进行标注,生成目标物体对应的目标框和目标框的顶点坐标;根据目标物体对应的目标框、目标框的顶点坐标和生成的霍夫变换结果确定出纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标;根据电子设备的拍摄位姿从候选三角面片中选取出纹理图像对应的目标三角面片;根据三维模型的空间布局线框和空间布局线框的顶点坐标生成目标三维模型结构;基于目标三维模型结构,根据纹理图像对目标三角面片进行纹理映射,生成目标三维模型。计算机设备生成的目标三维模型的纹理精确度较高,提高了三维场景表达的真实性,提升了用户体验。

Description

三维模型纹理映射方法、装置和计算机设备
【技术领域】
本发明实施例涉及现实增强技术领域,尤其涉及一种三维模型纹理映射方法、装置和计算机设备。
【背景技术】
精确的三维建模和逼真的纹理图案是三维模型真实感呈现的两大核心内容,纹理相关的技术一直是计算机视觉领域和计算机图形学领域十分重要且富有挑战性的研究内容。当获取场景的三维模型后,纹理的质量将成为三维重建视觉效果的关键。然而纹理映射工作往往发生在三维重建过程中,对建模后室内环境的变更无法很好的应对,难以实现纹理的实时和动态更新,使得室内三维模型纹理缺乏现势性。而模型纹理又是用户视觉体验最为关键的部分,重复单一、陈旧和错误的纹理在很大程度上削弱了室内空间信息的传递,导致用户体验较差。
在三维模型信息准确且具有统一标准,相机内外参数完全正确,纹理数据精确的理想情况下,产生的纹理贴图是无缝的。然而在实践过程中发现,现有技术中室内三维重建的方法繁多,但三维模型并没有统一的标准。虽然开放地理信息协会(Open GeospatialConsortium,简称OGC)先后发布了面向数字城市建模的城市地理标记语言(CityGeography Markup Language,简称City GML)和面向室内导航的室内地理标记语言(Indoor Geography Markup Language,简称Indoor GML)数据标准;国际协同联盟(International Alliance for Interoperability,简称IAI)发布的工业基础类库(Industry Foundation Classes,简称IFC)为三维模型的几何表达、可视化和属性构成提供了必要的数据结构标准,然而大多方法并没有遵循统一的数据标准,甚至有些建模方法本身难以达到数据标准的要求,这种三维模型结构的不确定性不仅阻碍了应用的共享和互操作,也影响了最终产品的准确性和相关应用的效率。由于三维建模误差、相机参数误差或者光照等环境因素的不同,可能导致纹理错误,纹理准确性较低,导致用户体验较差,且现有技术中纹理数据的获取手段较为复杂,工作量较大。
【发明内容】
有鉴于此,本发明实施例提供了一种三维模型纹理映射方法、装置和计算机设备,用以解决三维模型纹理准确性较低,用户体验较差的问题。
第一方面,本发明实施例提供了一种三维模型纹理映射方法,所述方法包括:
根据目标检测算法对纹理图像进行标注,生成目标物体对应的目标框和所述目标框的顶点坐标;
根据所述目标物体对应的目标框、所述目标框的顶点坐标和生成的霍夫变换结果确定出所述纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标;
根据电子设备的拍摄位姿从候选三角面片中选取出所述纹理图像对应的目标三角面片;
根据三维模型的空间布局线框和空间布局线框的顶点坐标生成目标三维模型结构;
基于所述目标三维模型结构,根据所述纹理图像对所述目标三角面片进行纹理映射,生成目标三维模型。
在一种可能的实现方式中,所述根据电子设备的拍摄位姿从候选三角面片中选取出所述纹理图像对应的目标三角面片之前,还包括:
根据所述空间布局线框的顶点坐标生成旋转角和平移矩阵;
根据所述平移矩阵确定出电子设备的原始位置坐标;
基于所述旋转角对电子设备的原始位置坐标进行旋转,确定出根据电子设备的真实位置坐标;
根据电子设备的真实位置坐标和所述旋转角确定出电子设备的拍摄位姿。
在一种可能的实现方式中,所述根据电子设备的拍摄位姿从候选三角面片中选取出所述纹理图像对应的目标三角面片,包括:
根据法向量公式对候选三角面片的顶点坐标进行计算,生成候选三角面片的法向量;
根据电子设备的拍摄位姿构建拍摄方向向量;
根据夹角公式计算出所述拍摄方向向量与所述法向量之间的夹角;
判断所述拍摄方向向量与所述法向量之间的夹角是否处于预设角度范围内;
若判断出所述拍摄方向向量与所述法向量之间的夹角处于所述预设角度范围内,则确定出所述候选三角面片是目标三角面片;
若判断出所述拍摄方向向量与所述法向量之间的夹角不处于所述预设角度范围内,则确定出所述候选三角面片不是目标三角面片。
在一种可能的实现方式中,根据所述目标物体对应的目标框、所述目标框的顶点坐标和生成的霍夫变换结果确定出所述纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标,包括:
根据直线检测算法对随机选择的所述纹理图像的前景点进行霍夫变换,生成霍夫变换结果;
判断所述霍夫变换结果中交点的票数是否大于或等于设定阈值;
若判断出所述霍夫变换结果中交点的票数大于或等于设定阈值,则搜索所述交点对应的直线上的前景点,连接所述交点与所述交点对应的直线上的前景点,生成连接线段以及连接线段的线段参数;
根据所述目标物体对应的目标框、所述目标框的顶点坐标、所述连接线段和所述线段参数确定出所述纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标。
在一种可能的实现方式中,所述搜索所述交点对应的直线上的前景点,连接所述交点与所述交点对应的直线上的前景点,生成连接线段以及连接线段的线段参数之后,还包括:
记录所述连接线段以及所述连接线段的线段参数;
删除所述连接线段上的所有像素点。
在一种可能的实现方式中,所述根据目标检测算法对纹理图像进行标注,生成目标物体对应的目标框和所述目标框的顶点坐标之前,还包括:
判断电子设备采集并发送的特征图像是否为全景图像;
若判断出所述特征图像为全景图像,则根据坐标分割法或曲率分割法对所述特征图像进行分割,生成分割图像,将所述分割图像确定为纹理图像;
若判断出所述特征图像不是全景图像,则将所述特征图像确定为纹理图像。
在一种可能的实现方式中,所述旋转角包括方向角、俯仰角和横滚角。
第二方面,本发明实施例提供了一种三维模型纹理映射装置,所述装置包括:
第一生成模块,用于根据目标检测算法对纹理图像进行标注,生成目标物体对应的目标框和所述目标框的顶点坐标;
第一确定模块,用于根据所述目标物体对应的目标框、所述目标框的顶点坐标和生成的霍夫变换结果确定出所述纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标;
选取模块,用于根据电子设备的拍摄位姿从候选三角面片中选取出所述纹理图像对应的目标三角面片;
第二生成模块,用于根据三维模型的空间布局线框和空间布局线框的顶点坐标生成目标三维模型结构;
第三生成模块,用于基于所述目标三维模型结构,根据所述纹理图像对所述目标三角面片进行纹理映射,生成目标三维模型。
第三方面,本发明实施例提供了一种计算机设备,包括:一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述设备执行时,使得所述设备执行第一方面或第一方面任一可能的实现方式中的三维模型纹理映射方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行第一方面或第一方面任一可能的实现方式中的三维模型纹理映射方法。
本发明实施例提供的技术方案中,计算机设备根据目标检测算法对纹理图像进行标注,生成目标物体对应的目标框和所述目标框的顶点坐标;根据所述目标物体对应的目标框、所述目标框的顶点坐标和生成的霍夫变换结果确定出所述纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标;根据电子设备的拍摄位姿从候选三角面片中选取出所述纹理图像对应的目标三角面片;根据三维模型的空间布局线框和空间布局线框的顶点坐标生成目标三维模型结构;基于所述目标三维模型结构,根据所述纹理图像对所述目标三角面片进行纹理映射,生成目标三维模型。本发明实施例提供的技术方案中,计算机设备通过对目标三角面片进行纹理映射,实现了纹理图像到三维模型的自动纹理映射,且生成的目标三维模型的纹理精确度较高,提高了三维场景表达的真实性,提升了用户体验。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种三维模型纹理映射方法的流程图;
图2为本发明实施例提供的一种目标检测结果的示意图;
图3为本发明实施例提供的一种拍摄位姿确定方法的流程图;
图4为本发明实施例提供的一种三角面片选取方法的流程图;
图5为本发明实施例提供的一种空间布局确定方法的流程图;
图6为本发明实施例提供的空间布局的示意图;
图7为本发明实施例提供的一种图像分割方法的流程图;
图8a为本发明实施例提供的一种图像分割结果的示意图;
图8b为本发明实施例提供的另一种图像分割结果的示意图;
图9为本发明实施例提供的一种三维模型纹理映射装置的结构示意图;
图10为本发明实施例提供的一种电子设备的示意图。
【具体实施方式】
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,甲和/或乙,可以表示:单独存在甲,同时存在甲和乙,单独存在乙这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
图1为本发明实施例提供的一种三维模型纹理映射方法的流程图,如图1所示,该方法包括:
步骤102、根据目标检测算法对纹理图像进行标注,生成目标物体对应的目标框和所述目标框的顶点坐标。
本发明实施例的各个步骤可以由计算机设备执行。
本步骤中,目标检测算法包括TOLO算法。由于计算机设备通过传统的YOLOv5算法得到的目标检测结果中只能标注目标物体对应的目标框和目标框的中心点坐标,无法准确地对空间布局进行标注,且计算机设备只能获取到目标框的中心点坐标,无法获取到目标框的四个顶点坐标,因此传统的YOLOv5算法的标注结果无法满足我们对于提取纹理图像对应的三维模型的空间布局的需求。基于以上问题,本发明实施例对传统的YOLOv5算法进行了优化改造,将传统的YOLOv5算法的目标检测结果中显示中心点坐标优化为显示四个顶点坐标,从而实现了对传统的YOLOv5算法的优化改造。本发明实施例中,将基于传统的YOLOv5算法进行优化改造后的算法称为TOLO算法。计算机设备根据TOLO算法建立目标检测模型,并根据采集的样本图像对目标检测模型进行训练,生成训练后的目标检测模型。其中,80%的样本图像用于训练目标检测模型,20%的样本图像用于验证训练后的目标检测模型输出结果的准确性。计算机设备通过训练后的目标检测模型对纹理图像进行标注,输出目标物体对应的目标框和目标框的顶点坐标。
图2为本发明实施例提供的一种目标检测结果的示意图,如图2所示,目标物体包括门、灯具和绿植,计算机设备对门、灯具和绿植进行标注,生成门对应的目标框、灯具对应的目标框和绿植对应的目标框,以及门对应的目标框的顶点坐标、灯具对应的目标框的顶点坐标和绿植对应的目标框的顶点坐标。例如,绿植对应的目标框的左上坐标为(0.767,0,598,0.124),右上坐标为(0.945,0.599,0.125),左下坐标为(0.769,0.186,0.123),右下坐标为(0.948,0.598,0.124)。
步骤104、根据目标物体对应的目标框、目标框的顶点坐标和生成的霍夫变换结果确定出纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标。
步骤106、根据电子设备的拍摄位姿从候选三角面片中选取出纹理图像对应的目标三角面片。
步骤108、根据三维模型的空间布局线框和空间布局线框的顶点坐标生成目标三维模型结构。
本步骤中,计算机设备根据生成的旋转角对摄像机坐标系进行旋转,生成相对世界坐标系,相对世界坐标系与世界坐标系W完全平行。假设待求点P在摄像机坐标系中的坐标为Pc,为了抵消旋转对待求点P点的影响,保证摄像机坐标系C旋转后P点依然保持在世界坐标系W原本的位置,需要对Pc进行三次反向旋转,旋转后得到点Pc在摄像机坐标系C中新的坐标值记为Pc',那么Pc'的坐标值+Oc的世界坐标值=P点的世界坐标值Pw。待求点包括空间布局线框的顶点坐标。计算机设备基于生成的世界坐标对三维模型的空间布局线框进行调整,确定出目标三维模型结构。
步骤110、基于目标三维模型结构,根据纹理图像对目标三角面片进行纹理映射,生成目标三维模型。
本步骤中,目标三维模型结构为目标三维模型搭建了完整准确的框架结构。计算机设备将纹理图像上的像素点映射至对应的目标三角面片上,生成目标三维模型。本发明实施例提供的技术方案中,计算机设备根据目标检测算法对纹理图像进行标注,生成目标物体对应的目标框和所述目标框的顶点坐标;根据所述目标物体对应的目标框、所述目标框的顶点坐标和生成的霍夫变换结果确定出所述纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标;根据电子设备的拍摄位姿从候选三角面片中选取出所述纹理图像对应的目标三角面片;根据三维模型的空间布局线框和空间布局线框的顶点坐标生成目标三维模型结构;基于所述目标三维模型结构,根据所述纹理图像对所述目标三角面片进行纹理映射,生成目标三维模型。本发明实施例提供的技术方案中,计算机设备通过对目标三角面片进行纹理映射,实现了纹理图像到三维模型的自动纹理映射,且生成的目标三维模型的纹理精确度较高,提高了三维场景表达的真实性,提升了用户体验。
图3为本发明实施例提供的一种拍摄位姿确定方法的流程图,如图3所示,步骤106之前,还包括:
步骤1051、根据空间布局线框的顶点坐标生成旋转角和平移矩阵。
本步骤中,旋转角包括方向角、俯仰角和横滚角。计算机设备调用OpenCV的库函数solvePnP函数,根据空间布局线框的顶点坐标生成旋转角和平移矩阵。计算机设备调用solvePnP函数时,函数输入为特征点的世界坐标、特征点的纹理坐标、电子设备的内参数矩阵和电子设备的畸变参数矩阵,函数输出为输出矩阵和平移矩阵。其中,特征点包括空间布局线框的顶点,电子设备的内参数矩阵为3×3的矩阵,电子设备的畸变参数矩阵为1×5的矩阵,输出矩阵中包括旋转矩阵。计算机设备还可以通过设置solvePnP函数中的参数对函数输出进行优化。
例如,旋转矩阵则方位角θz=atan2(r21,r11),俯仰角横滚角θx=atan2(r32,r33)。其中,方位角表示绕z轴旋转的角度,俯仰角表示绕y轴旋转的角度,横滚角表示绕x轴旋转的角度。
步骤1052、根据平移矩阵确定出电子设备的原始位置坐标。
步骤1053、基于旋转角对电子设备的原始位置坐标进行旋转,确定出根据电子设备的真实位置坐标。
本步骤中,假设P点为世界坐标系原点Ow在摄像机坐标系中的坐标,P点坐标为(x0,y0,z0)。当摄像机坐标系按照z轴、y轴、x轴的顺序旋转以上旋转角后生成相对世界坐标系,相对世界坐标系与世界坐标系完全平行。假设摄像机坐标系原点为Oc。显然,摄像机坐标系经历了三次旋转后,点P跟随摄像机坐标系进行了三次旋转,那么向量OcP不再指向Ow。为了抵消旋转的作用,对坐标轴进行旋转后,我们需要对点P进行三次反向旋转。三次反向旋转具体包括:第一次将摄像机坐标系C绕z轴旋转θz得到C1坐标系,此时P=P0=(x0,y0,z0),那么将P点绕z轴旋转-θz,得到P1=(x1,y1,z1),P1为C1系中Ow的坐标。第二次将C1坐标系绕y轴旋转θy得到C2坐标系,此时P1=(x1,y1,z1),那么将P1点绕y轴旋转-θy,得到P2=(x2,y2,z2),P2为C2系中Ow的坐标。第三次旋转将C2坐标系绕x轴旋转θx得到C3坐标系,此时P2=(x2,y2,z2),那么将P2点绕x轴旋转-θx,得到P3=(x3,y3,z3),P3为C3系中Ow的坐标。在世界坐标系中,电子设备的真实位置坐标为(-x3,-y3,-z3)。
步骤1054、根据电子设备的真实位置坐标和旋转角确定出电子设备的拍摄位姿。
本发明实施例中,根据电子设备的真实位置坐标和旋转角确定出电子设备的拍摄位姿,通过准确的拍摄位姿可以确定出准确的目标三角面片,从而提高了目标三维模型的精确度。
图4为本发明实施例提供的一种三角面片选取方法的流程图,如图4所示,步骤106具体可包括:
步骤1061、根据法向量公式对候选三角面片的顶点坐标进行计算,生成候选三角面片的法向量。
本步骤中,计算机设备通过平面方程Ax+By+Cz+D=0表示候选三角面片,候选三角面片的三个顶点坐标分别为M1、M2和M3。其中,M1的三维坐标表示为(x1,y1,z1),M2的三维坐标表示为(x2,y2,z2),M3的三维坐标表示为(x3,y3,z3),则候选三角面片的法向量公式包括:
其中,表示候选三角面片的法向量,A为平面方程中参数x的系数,B为平面方程中参数y的系数,C为平面方程中参数z的系数。
步骤1062、根据电子设备的拍摄位姿构建拍摄方向向量。
本步骤中,计算机设备以电子设备的真实位置坐标为起点构建拍摄方向向量。
步骤1063、根据夹角公式计算出拍摄方向向量与法向量之间的夹角。
本步骤中,夹角公式包括:
其中,表示拍摄方向向量与候选三角面片的法向量之间的夹角,arc cos表示反余弦函数,/>表示候选三角面片的法向量,/>表示拍摄方向向量,/>表示候选三角面片的法向量的模,/>表示拍摄方向向量的模。
步骤1064、判断拍摄方向向量与法向量之间的夹角是否处于预设角度范围内,若判断出拍摄方向向量与法向量之间的夹角处于预设角度范围内,则执行步骤1065;若判断出拍摄方向向量与法向量之间的夹角不处于预设角度范围内,则执行步骤1066。
本步骤中,为了避免拍摄方向向量的误差导致目标三角面片选取错误,本发明实施例中设置了预设角度范围。因为拍摄方向向量与法向量之间的夹角过小时,可能导致电子设备拍摄不到特征图像,所以本发明实施例中,将预设角度范围设置为155°-180°之间的角度范围。计算机设备可以根据获取的电子设备的方向数据的准确性以及环境误差适当调整预设角度范围。
步骤1065、确定出候选三角面片是目标三角面片。
步骤1066、确定出候选三角面片不是目标三角面片。
本发明实施例中,计算机设备根据预设角度范围选取出目标三角面片,提高了目标三角面片的准确性,从而提高了三维模型的准确性,提升了用户体验。
图5为本发明实施例提供的一种空间布局确定方法的流程图,如图5所示,步骤104具体可包括:
步骤1041、根据直线检测算法对随机选择的纹理图像的前景点进行霍夫变换,生成霍夫变换结果。
本步骤中,直线检测算法包括概率霍夫变换算法,与霍夫变换算法相比,概率霍夫变换算法定义了两个额外的参数,一个是连接线段的最小线段长度(min Line Length),另一个是允许组成连续线段的最大像素间隔(max Line Gap)。虽然额外的参数设置增加了算法的复杂度,但由于参与投票的交点数量有所减少,因此进行额外的参数设置可以得到一些补偿。概率霍夫变换算法的主要思想是一条直线在以x轴为横坐标轴,以y轴为纵坐标轴的图像平面坐标系中可以表示为y=ax+b。对于直线上确定的一点P(x0,y0),点P的横坐标x0和纵坐标y0符合等式y0-ax0=b,等式y0-ax0=b可以表示以a轴为横坐标轴,以b轴为纵坐标轴的参数平面坐标系中的一条直线。因此,图像平面坐标系中的一个点对应于参数平面坐标系中的一条直线,图像平面坐标系中的一条直线对应于参数平面坐标系中的一个点。本发明实施例中,计算机设备无需系统地逐行扫描纹理图像,而是随机选择纹理图像的前景点,对前景点进行霍夫变换,生成霍夫变换结果。霍夫变换结果包括随机选择的图像平面坐标系中的前景点对应的参数平面坐标系中的至少一条直线。计算机设备通过概率霍夫变换算法检测直线时,由于图像平面坐标系中的一条直线上的不同点在参数平面坐标系中表示为经过同一个点的多条直线,因此参数平面坐标系中直线相交最多的点对应的图像平面坐标系中的直线即为计算机设备检测出的直线。计算机设备对多条直线的至少一个交点进行票数累计,选取出票数大于最小投票数的交点,该交点对应的直线即为计算机设备检测出的直线。
步骤1042、判断霍夫变换结果中交点的票数是否大于或等于设定阈值,若判断出霍夫变换结果中交点的票数大于或等于设定阈值,则执行步骤1043;若判断出霍夫变换结果中交点的票数小于设定阈值,则继续执行步骤1044。
本步骤中,设定阈值包括设置的交点票数的最小值。
步骤1043、搜索交点对应的直线上的前景点,连接交点与交点对应的直线上的前景点,生成连接线段以及连接线段的线段参数。
本步骤中,连接线段的线段参数包括连接线段起点坐标和连接线段终点坐标。
步骤1043之后,还可以包括:记录连接线段以及连接线段的线段参数;删除连接线段上的所有像素点。
本步骤中,由于计算机设备生成三维模型的空间布局时无需参考连接线段上的像素点,因此计算机设备删除连接线段上的所有像素点,以排除连接线段上的像素点对计算机设备确定出三维模型的空间布局造成的干扰,使得计算机设备可以生成较为清晰准确的三维模型的空间布局。
步骤1044、根据目标物体对应的目标框、目标框的顶点坐标、连接线段和线段参数确定出纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标。
本步骤中,计算机设备从目标物体对应的目标框、目标框的顶点坐标、连接线段和线段参数中选取出更准确的线段或坐标对纹理图像进行标注,生成纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标。
图6为本发明实施例提供的一种空间布局的示意图,如图6所示,所述空间布局包括空间布局线框和空间布局线框的顶点坐标。空间布局线框包括但不限于矩形框、不规则四边形框。
本发明实施例中,计算机设备将目标检测算法与概率霍夫变换算法相结合,确定出纹理图像对应的三维模型的空间布局,提高了纹理图像对应的三维模型的空间布局的准确性。
图7为本发明实施例提供的一种图像分割方法的流程图,如图7所示,在步骤102之前,还包括:
步骤1011、判断电子设备采集并发送的特征图像是否为全景图像,若判断出特征图像为全景图像,则执行步骤1012;若判断出特征图像不是全景图像,则执行步骤1013。
本步骤中,特征图像包括二维图像。
步骤1012、根据坐标分割法或曲率分割法对特征图像进行分割,生成分割图像,将分割图像作为纹理图像。
本步骤中,由于全景图像中部分连接处的曲率较大,不利于全景图像的处理,因此需要对全景图像进行分割,以提高计算机设备的图像处理效率。
作为一种可选方案,计算机设备通过坐标分割法对特征图像进行分割。图8a为本发明实施例提供的一种图像分割结果的示意图,如图8a所示,计算机设备根据获取的三角面片的顶点坐标,选取出顶点坐标中的y轴坐标值的差值小于预设差值的两个顶点,并连接两个顶点,根据两点的连接线对全景图像进行分割,得到多张分割图像。
作为另一种可选方案,计算机设备通过曲率分割法对全景图像进行分割。图8b为本发明实施例提供的另一种图像分割结果的示意图,如图8b所示,计算机设备获取全景图像中各连接处的曲率,判断各连接处的曲率是否大于或等于预设曲率,在连接处的曲率大于或等于预设曲率时,将该连接处设置为分割点。计算机设备根据分割点生成竖直方向上的分割线,根据分割线对全景图像进行分割,得到多张分割图像。计算机设备对每张分割图像中的曲线进行直线处理,具体地,计算机设备获取每张分割图像中每条曲线的端点,将每条曲线的端点以线段连接,以线段代替分割图像中的曲线。
步骤1013、将特征图像作为纹理图像。
作为一种可选方案,三维模型包括室内三维模型时,计算机设备可以根据“实体-连通域-空间对象”方法对室内三维模型进行分割。“实体-连通域-空间对象”方法包括按照室内三维模型的结构将室内三维模型分割为至少一个分割模型的方法,分割模型包括实体模型、连通域模型、空间对象模型中至少一个。其中,实体模型包括三维模型中的独立单体模型,例如,实体模型包括桌子模型、椅子模型、电脑模型等;连通域模型包括室内空间之间的连通空间模型,例如,连通域模型包括门模型、窗模型等;空间对象模型包括室内的功能区域模型,例如,空间对象模型包括楼层模型、房间模型、大厅模型等。空间对象模型中可以包括实体模型和/或连通域模型。计算机设备对室内三维模型进行划分,使得室内三维模型更加规范,在很大程度上扩展了该室内三维模型的适用性,同时为目标三角面片的检索提供了帮助,提高了目标三角面片的检索效率和检索精度。
本发明实施例中,当特征图像为全景图像时,计算机设备对特征图像进行分割,生成多张分割图像,从而提高了计算机设备的图像处理效率。
图9为本发明实施例提供的一种三维模型纹理映射装置的结构示意图,如图9所示,该装置包括第一生成模块11、第一确定模块12、选取模块13、第二生成模块14和第三生成模块15。第一生成模块11与第一确定模块12连接,第一确定模块12与第二生成模块14连接,选取模块13与第三生成模块15连接,第二生成模块14与第三生成模块15连接。第一生成模块11用于根据目标检测算法对纹理图像进行标注,生成目标物体对应的目标框和目标框的顶点坐标。第一确定模块12用于根据目标物体对应的目标框、目标框的顶点坐标和生成的霍夫变换结果确定出纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标。选取模块13用于根据电子设备的拍摄位姿从候选三角面片中选取出纹理图像对应的目标三角面片。第二生成模块14用于根据三维模型的空间布局线框和空间布局线框的顶点坐标生成目标三维模型结构。第三生成模块15用于基于目标三维模型结构,根据纹理图像对目标三角面片进行纹理映射,生成目标三维模型。
本发明实施例中,该装置还包括第四生成模块16、第二确定模块17、第三确定模块18和第四确定模块19。第四生成模块16与选取模块13和第二确定模块17连接,第二确定模块17与第三确定模块18连接,第四确定模块19与第四生成模块16和第三确定模块18连接。第四生成模块16用于根据空间布局线框的顶点坐标生成旋转角和平移矩阵。第二确定模块17用于根据平移矩阵确定出电子设备的原始位置坐标。第三确定模块18用于基于旋转角对电子设备的原始位置坐标进行旋转,确定出根据电子设备的真实位置坐标。第四确定模块19根据电子设备的真实位置坐标和旋转角确定出电子设备的拍摄位姿。
本发明实施例中,选取模块13具体用于根据法向量公式对候选三角面片的顶点坐标进行计算,生成候选三角面片的法向量;根据电子设备的拍摄位姿构建拍摄方向向量;根据夹角公式计算出拍摄方向向量与法向量之间的夹角;判断拍摄方向向量与法向量之间的夹角是否处于预设角度范围内;若判断出拍摄方向向量与法向量之间的夹角处于预设角度范围内,则确定出候选三角面片是目标三角面片;若判断出拍摄方向向量与法向量之间的夹角不处于预设角度范围内,则确定出候选三角面片不是目标三角面片。
本发明实施例中,第一确定模块12具体用于根据直线检测算法对随机选择的纹理图像的前景点进行霍夫变换,生成霍夫变换结果;判断霍夫变换结果中交点的票数是否大于或等于设定阈值;若判断出霍夫变换结果中交点的票数大于或等于设定阈值,则搜索交点对应的直线上的前景点,连接交点与交点对应的直线上的前景点,生成连接线段以及连接线段的线段参数;根据目标物体对应的目标框、目标框的顶点坐标、连接线段和线段参数确定出纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标。
本发明实施例中,第一确定模块12具体用于记录连接线段以及连接线段的线段参数;删除连接线段上的所有像素点。
本发明实施例中,该装置还包括判断模块20、第五确定模块21和第六确定模块22。判断模块20与第一生成模块11、第五确定模块21和第六确定模块22连接。判断模块20用于判断电子设备采集并发送的特征图像是否为全景图像。第五确定模块21用于若判断模块20判断出特征图像为全景图像,则根据坐标分割法或曲率分割法对特征图像进行分割,生成分割图像,将分割图像确定为纹理图像。第六确定模块22用于若判断模块20判断出特征图像不是全景图像,则将特征图像确定为纹理图像。
本发明实施例提供的技术方案中,计算机设备根据目标检测算法对纹理图像进行标注,生成目标物体对应的目标框和所述目标框的顶点坐标;根据所述目标物体对应的目标框、所述目标框的顶点坐标和生成的霍夫变换结果确定出所述纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标;根据电子设备的拍摄位姿从候选三角面片中选取出所述纹理图像对应的目标三角面片;根据三维模型的空间布局线框和空间布局线框的顶点坐标生成目标三维模型结构;基于所述目标三维模型结构,根据所述纹理图像对所述目标三角面片进行纹理映射,生成目标三维模型。本发明实施例提供的技术方案中,计算机设备通过对目标三角面片进行纹理映射,实现了纹理图像到三维模型的自动纹理映射,且生成的目标三维模型的纹理精确度较高,提高了三维场景表达的真实性,提升了用户体验。
本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行上述三维模型纹理映射方法的实施例。
图10为本发明实施例提供的一种电子设备的示意图,包括:该实施例的电子设备3包括:处理器31、存储器32以及存储在存储器32中并可在处理器31上运行的计算机程序33,该计算机程序33被处理器31执行时实现实施例中的三维模型纹理映射方法,为避免重复,此处不一一赘述。
电子设备3包括,但不仅限于,处理器31、存储器32。本领域技术人员可以理解,图10仅仅是电子设备3的示例,并不构成对电子设备3的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如网络设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器31可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器32可以是电子设备3的内部存储单元,例如电子设备3的硬盘或内存。存储器32也可以是电子设备3的外部存储设备,例如电子设备3上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器32还可以既包括电子设备3的内部存储单元也包括外部存储设备。存储器32用于存储计算机程序以及网络设备所需的其他程序和数据。存储器32还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (10)

1.一种三维模型纹理映射方法,其特征在于,所述方法包括:
根据目标检测算法对纹理图像进行标注,生成目标物体对应的目标框和所述目标框的顶点坐标;
根据所述目标物体对应的目标框、所述目标框的顶点坐标和生成的霍夫变换结果确定出所述纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标;
根据电子设备的拍摄位姿从候选三角面片中选取出所述纹理图像对应的目标三角面片;
根据三维模型的空间布局线框和空间布局线框的顶点坐标生成目标三维模型结构;
基于所述目标三维模型结构,根据所述纹理图像对所述目标三角面片进行纹理映射,生成目标三维模型。
2.根据权利要求1所述的方法,其特征在于,所述根据电子设备的拍摄位姿从候选三角面片中选取出所述纹理图像对应的目标三角面片之前,还包括:
根据所述空间布局线框的顶点坐标生成旋转角和平移矩阵;
根据所述平移矩阵确定出电子设备的原始位置坐标;
基于所述旋转角对电子设备的原始位置坐标进行旋转,确定出根据电子设备的真实位置坐标;
根据电子设备的真实位置坐标和所述旋转角确定出电子设备的拍摄位姿。
3.根据权利要求1所述的方法,其特征在于,所述根据电子设备的拍摄位姿从候选三角面片中选取出所述纹理图像对应的目标三角面片,包括:
根据法向量公式对候选三角面片的顶点坐标进行计算,生成候选三角面片的法向量;
根据电子设备的拍摄位姿构建拍摄方向向量;
根据夹角公式计算出所述拍摄方向向量与所述法向量之间的夹角;
判断所述拍摄方向向量与所述法向量之间的夹角是否处于预设角度范围内;
若判断出所述拍摄方向向量与所述法向量之间的夹角处于所述预设角度范围内,则确定出所述候选三角面片是目标三角面片;
若判断出所述拍摄方向向量与所述法向量之间的夹角不处于所述预设角度范围内,则确定出所述候选三角面片不是目标三角面片。
4.根据权利要求1所述的方法,其特征在于,所述根据所述目标物体对应的目标框、所述目标框的顶点坐标和生成的霍夫变换结果确定出所述纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标,包括:
根据直线检测算法对随机选择的所述纹理图像的前景点进行霍夫变换,生成霍夫变换结果;
判断所述霍夫变换结果中交点的票数是否大于或等于设定阈值;
若判断出所述霍夫变换结果中交点的票数大于或等于设定阈值,则搜索所述交点对应的直线上的前景点,连接所述交点与所述交点对应的直线上的前景点,生成连接线段以及连接线段的线段参数;
根据所述目标物体对应的目标框、所述目标框的顶点坐标、所述连接线段和所述线段参数确定出所述纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标。
5.根据权利要求4所述的方法,其特征在于,所述搜索所述交点对应的直线上的前景点,连接所述交点与所述交点对应的直线上的前景点,生成连接线段以及连接线段的线段参数之后,还包括:
记录所述连接线段以及所述连接线段的线段参数;
删除所述连接线段上的所有像素点。
6.根据权利要求1所述的方法,其特征在于,所述根据目标检测算法对纹理图像进行标注,生成目标物体对应的目标框和所述目标框的顶点坐标之前,还包括:
判断电子设备采集并发送的特征图像是否为全景图像;
若判断出所述特征图像为全景图像,则根据坐标分割法或曲率分割法对所述特征图像进行分割,生成分割图像,将所述分割图像确定为纹理图像;
若判断出所述特征图像不是全景图像,则将所述特征图像确定为纹理图像。
7.根据权利要求2所述的方法,其特征在于,所述旋转角包括方向角、俯仰角和横滚角。
8.一种三维模型纹理映射装置,其特征在于,所述装置包括:
第一生成模块,用于根据目标检测算法对纹理图像进行标注,生成目标物体对应的目标框和所述目标框的顶点坐标;
第一确定模块,用于根据所述目标物体对应的目标框、所述目标框的顶点坐标和生成的霍夫变换结果确定出所述纹理图像对应的三维模型的空间布局线框和空间布局线框的顶点坐标;
选取模块,用于根据电子设备的拍摄位姿从候选三角面片中选取出所述纹理图像对应的目标三角面片;
第二生成模块,用于根据三维模型的空间布局线框和空间布局线框的顶点坐标生成目标三维模型结构;
第三生成模块,用于基于所述目标三维模型结构,根据所述纹理图像对所述目标三角面片进行纹理映射,生成目标三维模型。
9.一种计算机设备,其特征在于,包括:一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述设备执行时,使得所述设备执行权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执DD214599I
行权利要求1至7中任一项所述的方法。
CN202211564280.XA 2022-12-07 2022-12-07 三维模型纹理映射方法、装置和计算机设备 Pending CN116958377A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211564280.XA CN116958377A (zh) 2022-12-07 2022-12-07 三维模型纹理映射方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211564280.XA CN116958377A (zh) 2022-12-07 2022-12-07 三维模型纹理映射方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN116958377A true CN116958377A (zh) 2023-10-27

Family

ID=88459164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211564280.XA Pending CN116958377A (zh) 2022-12-07 2022-12-07 三维模型纹理映射方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN116958377A (zh)

Similar Documents

Publication Publication Date Title
CN108648269B (zh) 三维建筑物模型的单体化方法和系统
CN108564527B (zh) 基于神经网络的全景图内容补全和修复的方法及装置
US20230053462A1 (en) Image rendering method and apparatus, device, medium, and computer program product
US7110000B2 (en) Synthesis of progressively-variant textures and application to arbitrary surfaces
CN113298936B (zh) 一种基于深度学习的多rgb-d全脸材质恢复方法
CN110163831B (zh) 三维虚拟沙盘的物体动态展示方法、装置及终端设备
CN105678683A (zh) 一种三维模型的二维存储方法
CN111951384B (zh) 一种基于单张人脸图片的三维人脸重建方法和系统
CN110503718B (zh) 三维工程模型轻量化显示方法
CN111724481A (zh) 对二维图像进行三维重构的方法、装置、设备及存储介质
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
JP2003115042A (ja) 3次元形状モデルの評価方法および生成方法並びに装置
CN113112581A (zh) 三维模型的纹理贴图生成方法、装置、设备及存储介质
CN108711356B (zh) 矢量地理pdf地图制作中地理目标与符号图形配准方法
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
CN116363290A (zh) 一种用于大规模场景三维重建的纹理贴图生成方法
CN111932448B (zh) 一种数据处理方法、装置、存储介质及设备
CN116977532A (zh) 立方体纹理生成方法、装置、设备、存储介质和程序产品
CN115063485B (zh) 三维重建方法、装置及计算机可读存储介质
CN113808243B (zh) 一种可形变雪地网格的绘制方法和装置
CN116958377A (zh) 三维模型纹理映射方法、装置和计算机设备
US11423618B2 (en) Image generation system and method
CN112002019B (zh) 一种基于mr混合现实的模拟人物阴影的方法
US9734579B1 (en) Three-dimensional models visual differential
CN111127588B (zh) 基于DirectX的大数据量参数曲线回放方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination