CN118247413A - 一种三维模型的纹理映射方法和计算机可读存储介质 - Google Patents

一种三维模型的纹理映射方法和计算机可读存储介质 Download PDF

Info

Publication number
CN118247413A
CN118247413A CN202311866308.XA CN202311866308A CN118247413A CN 118247413 A CN118247413 A CN 118247413A CN 202311866308 A CN202311866308 A CN 202311866308A CN 118247413 A CN118247413 A CN 118247413A
Authority
CN
China
Prior art keywords
image
dimensional model
texture mapping
model according
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311866308.XA
Other languages
English (en)
Inventor
胡音
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Kesong Exhibition Co ltd
Original Assignee
Suzhou Kesong Exhibition Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Kesong Exhibition Co ltd filed Critical Suzhou Kesong Exhibition Co ltd
Priority to CN202311866308.XA priority Critical patent/CN118247413A/zh
Publication of CN118247413A publication Critical patent/CN118247413A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种三维模型的纹理映射方法，包括：获取三维模型中的特征信息，将目标物件的至少两个端点标注为像控点；获取内方位参数和外方位参数，建立真实物体和图像的坐标对应关系；判断是否产生遮挡，如果是则裁剪出物体真实边缘；如果否则进行下一步骤；对拍摄的图像进行正投影图像校正，并基于校正后的图像对三维模型进行纹理映射。本申请将图像和三维模型结合记录施工状态以提高工程验收的效率。

Description

一种三维模型的纹理映射方法和计算机可读存储介质
技术领域
本发明涉及建筑领域，尤其涉及一种三维模型的纹理映射方法和计算机可读存储介质。
背景技术
建筑施工验收环节中，验收人员通常需要自行准备多项辅助工具，诸如卷尺、图纸及相机等等，质检人员需要凭借自身的经验与专业判断施工结果是否符合要求。对于验收合格的部分拍照存证，对于施工有误而需修改或返工的部分，则除了拍照以外还要绘制图纸记录。现有技术中，即使质检人员拥有足够的专业与经验找出施工瑕疵，对建筑元件尺寸的测量或与图纸比对过程仍然耗时耗力。并且，在发现问题的同时，质检人员除了拍照以外也仅能先作简单的文字记录记下重点，直到返回办公室的时候才能进行详尽地整理，因此将导致信息传递无法及时，容易导致某些信息缺失造成不准确。虽然针对三维模型可以备注图像数据，但是当图像数据记录的对应部件细节较多时，图片过多则会导致数据非常庞大造成分享不便。因此如何将图像和三维模型结合记录施工状态以提高工程验收的效率是本领域亟需解决的技术问题。
发明内容
为了实现上述目的，本申请实施例提供的技术方案如下：
本发明提供一种三维模型的纹理映射方法，包括：
获取三维模型中的特征信息，将目标物件的至少两个端点标注为像控点；
获取内方位参数和外方位参数，建立真实物体和图像的坐标对应关系；
判断是否产生遮挡，如果是则裁剪出物体真实边缘；如果否则进行下一步骤；
对拍摄的图像进行正投影图像校正，并基于校正后的图像对三维模型进行纹理映射。
根据本发明的一个方面，所述端点为长方体物件的端点。
根据本发明的一个方面，所述内方位参数为表达相机本体的相关参数，通过相机的校准程序求得；所述内方位参数包括像主距、像主点偏移量及透镜畸变参数其中至少之一。
根据本发明的一个方面，所述外方位参数为描述物像的几何空间关系的参数，包括相机的三轴姿态参数及图像透视投影中心。
根据本发明的一个方面，所述建立真实物体和图像的坐标对应关系的步骤进一步包括：物像关系可基于透视投影中心、像点及物点坐标的共线关系所导出。
根据本发明的一个方面，所述像控点为至少三个。
根据本发明的一个方面，所述判断是否产生遮挡步骤中进一步包括：以每个平面的边缘线条为基础，通过已计算出来的外方位参数将其投影到图像平面上；选取两个平面互相重叠区域的重心投影至重叠的两个平面之上并且计算其距离，通过比较两个距离判断是否产生遮挡。
根据本发明的一个方面，所述基于校正后的图像对三维模型进行纹理映射的步骤中进一步包括：将三维物点坐标正射投影到观察者所在的二维平面的步骤。
根据本发明的一个方面，所述基于校正后的图像对三维模型进行纹理映射的步骤中进一步包括：在像素重新定位的过程中，设定材质图像的分辨率为1mm/像素，以最临近法重新取样来填入像素的DN值。
根据本发明的一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现上述方法的步骤。
与现有技术相比，本发明具有如下有益效果：本申请的一种三维模型的纹理映射方法，能够将特定时间节点施工状态的当前状况记录在三维模型上。将图像和三维模型结合记录施工状态以提高工程验收的效率。
附图纸明
图1为本发明的像控点示意图；
图2为本发明的影像的像元实际对应的物点坐标计算示意图；
图3为本发明的遮挡示意图；
图4a-4c为本发明的遮挡计算方法示意图；
图5为本发明的图像处理示意图；
图6为本发明的图像纹理映射结果；
图7为本发明的三维模型的纹理映射方法的流程图。
具体实施方式
下面结合附图和具体实施方式，对本发明的技术方案做详细描述。本领域技术人员应当理解，尽管本发明已经在以上结合特定实施例和示例进行了描述，在提及特定材料的程度上，其只是出于说明性的目的，而不旨在限制本发明。本领域技术人员可开发等效装置或成分，而无需付出创造性劳动且不背离本发明的范围。
如图1所示为本发明的示意图，
本申请利用数字孪生技术，将图像数据和三维模型建立对应关系。在施工验收中，可以更加有效率地比较工地现场的施工尺寸及位置，以及相关设施是否符合设计要求。
根据本申请的一个优选实施例，本申请提供了一种三维模型的纹理映射方法，包括以下步骤：
步骤a，获取三维模型中的特征信息，将目标物件的至少两个端点标注为像控点；
步骤b，获取内方位参数和外方位参数，建立真实物体和图像的坐标对应关系；
步骤c，判断是否产生遮挡，如果是则裁剪出物体真实边缘；如果否则进行下一步骤；
步骤d，对拍摄的图像进行正投影图像校正，并基于校正后的图像对三维模型进行纹理映射。
以下对于上述步骤进行详细说明。但本领域技术人员能够理解，上述步骤顺序并不构成对执行顺序的严格限制，在负荷执行逻辑的条件下可以对上述顺序进行调整。
步骤a，获取三维模型中的特征信息，将目标物件的至少两个端点标注为像控点。
由于本申请以模型物件的平面作为基本单位，其中必要的特征信息为模型元件编号、构成元件的小平面(Facet)编号、小平面法向量。而构成元件的小平面由于多半来自梁、柱、墙等长方体元件，因此其构成小平面为矩形，可以用对角线的两个点(起始点与结束点)来表征，即起始点三维坐标(X1，Y1，Z1)及结束点三维坐标(X2，Y2，Z2)。即图1当中以三角形标示的位置。由于非长方体物件在三维模型当中的几何表现方式常常是运用一个形状规则的边界框来包含形状不规则的元件，而长方体物件则会和其边界框完全重合的，这将导致使用者通过API应用程序里通用的方法所能选取的往往仅是边界框的边角点，而不会是不规则元件上实际的边角点。
在这个阶段生成的三维模型在后续步骤可以输入移动终端用于建立AR场景。当操作者通过移动终端拍摄工地的照片时，必须能够拖拽及旋转移动终端里的三维模型，使得模型呈现与镜头一样的视角，如此才能选取每个物件上的角落端点作为候选的像控点，并利用其坐标来进行后续的物像对应分析。且在此阶段所拍摄的照片与增强现实的模型图像会分别独立存储。
步骤b，获取内方位参数和外方位参数，建立真实物体和图像的坐标对应关系。
物像对应分析建立的是三维模型与相机所拍摄图像之间的关联。在此需要先通过反投影制造出模型图像，重现观察者在相机所在位置能够观察到的图像原貌。图像的方位描述相关参数可以分为内方位参数与外方位参数，在确定了图像的内方位参数及外方位参数后才能将上述的图像原貌加以重现。本申请利用移动终端的陀螺仪传感器参数配合图像校准程序，即可求得该相机的内方位参数。而外方位参数则需要配合图像数据及传感器参数，再通过下面的公式(1)计算来求得。
前述提到的内方位参数主要用以表达相机本体的相关参数，诸如像主距、像主点偏移量及透镜畸变参数等等，这些参数可以通过相机的校准程序求得。而外方位参数则用以描述物像的几何空间关系，包含相机的三轴姿态参数(ω，ρ，κ)及图像透视投影中心(XL，YL，ZL)。物像关系可基于透视投影中心、像点及物点坐标的共线关系所导出，上述参数满足的共线方程如公式(1)所示：
其中，(x，y)为图像上的像点坐标(Δx，Δy)为像主点偏移量f为像主距(X，Y，Z)为物空间中的物点坐标(XL，YL，ZL)为图像透视投影中心(m11，m12，…，m33)为姿态参数(ω，ρ，κ)所构成的旋转矩阵元素。由于上述共线方程(1)并非线性方程，因此需要先设定初始的外方位参考值，再经由迭代计算来求解。本申请则以拍摄图像时所记录的惯性元件数据求出外方位参数，用于后续的计算步骤。
当模型上的某个已知点位在上一步骤中被选为控制点，并且找到其在照片上所对应的图像坐标，就成为了一组像控点。为了获得物像关系，每张照片里至少需要三个以上的像控点。像控点的“物”为在模型上的三维坐标，“像”为在图像上的二维坐标，并配合移动终端所获取的传感器参数作为外方位参数的初值，即可导入共线方程(公式(1))来迭代求得外方位参数。然而在实际操作中，像控点要均匀分布在图像上才会有良好的计算结果。而本申请利用三维模型现成的物件角落端点来作为候选的像控点，因此优选地取到六组以上的像控点才能更好地实现“像控点均匀分布在图像上”的要求。
步骤c，判断是否产生遮挡，如果是则裁剪出物体真实边缘；如果否则进行下一步骤。
针对每一张图像取得了较为精确的外方位参数之后，便可以将每个建筑元件(梁、柱、墙、楼板等等)上的小平面作为基本单位来重新生成模型图像。此步骤需以每个平面的边缘线条为基础，通过已计算出来的外方位参数将其投影到图像平面上，而这些边缘线不但反映了建筑元件的边界，还可以当成裁剪图像的依据。裁剪出来的图像再经过遮挡判断与正投影校正以后，就能够成为最后映射在三维模型每个面上的材质。
本申请的该步骤的计算方法是利用已知的物件平面与相机的几何位置来计算图像的像素在该空间平面上实际对应的物点坐标，如图2及公式(2)及公式(3)所示：
公式(2)：
aX+bY+cZ＝1
公式(3)：
其中：(X1，Y1，Z1)为图像透视投影中心(m11，m12，…，m33)为姿态参数(ω，ρ，κ)所构成的旋转矩阵元素。
其中(a，b，c)为物点所在的已知平面的法向量，如公式(2)中(x0，y0，0)为拍摄中心的坐标。公式(3)所代表的意义即是当图像的像素、相机几何位置与外方位参数及物点所在的平面的方程(法向量)已知的情况下，物点的实际坐标可以被计算出来，于是像点到物点的实际距离也可以被计算出来。此距离将被用作遮挡判断的重要参考，如图3所示。由于拍摄时所采取的视角原因，物件之间产生部分遮挡是难以避免的情形。如图4所示，若在物件存在互相遮挡的情形的下，仍依照原先的物件边界来裁切图像的话，就会发生映射错误，因此在被遮挡的图像上必须裁去其他物件遮挡它的部分。如果在图像上可以找到两个平面互相重叠的区域，则只需要判断哪个被哪个所遮挡，便可判断重叠的平面当中哪一个需要进行裁剪。在图3当中，本申请选取重叠区的重心投影至重叠的两个平面之上并且依公式(2)计算其距离，只要比较两个距离，即图3当中的距离1及距离2便可知道哪一个平面是遭到遮挡并且需要裁剪的一方。在图4a当中，可见平面A，B与C三个平面。实际上A平面被B与C遮挡，而B与C没有重叠。本申请经由三维模型所提供的构成平面与端点坐标还原出平面A的完整外形，如图4b所示，因而可以计算得出平面A与平面B，C皆发生重叠，而平面B与C则没有重叠。再经由公式(3)与图3的原理来判断知道平面A的图像位于B与C的后方，需要裁掉A与B及A与C的重叠部分，就可得到图4c的边界。在上一个步骤当中，图像材质已经排除了被遮挡的部分，因此就能够进一步依据每一个元件表面(如图4里的A，B，C等位于平面上的多边形表面)的边缘来裁剪图像，并且得到对应的图像材质。并且也能通过公式(3)得到特定像点在三维空间里所对应的物点坐标，便可以用这些坐标来进行下一步骤的正投影图像校正。
步骤d，对拍摄的图像进行正投影图像校正，并基于校正后的图像对三维模型进行纹理映射。
本申请采用向量的线性组合概念来取得正射图像坐标。从公式(3)已经可以求得图像上任一个像点所对应的三维物点w的坐标(xw，yw，zw)。而本申请以建筑元件上的小平面(“观察者平面”)为生成正射图像的基本单位，三维模型所输出的数据里包括观察者平面的法向量。将图像正投影可以视为将三维坐标投影在观察者平面上。假设观察者平面的横轴与纵轴的单位向量为(u，v)，前述物点w可以写成(u，v)的线性组合如公式(4)所示：
由于观察者平面本身即为建筑元件上的其中一个平面，因此其法向量已经能从三维模型当中直接取得，或者也可以由u与v的外积求得，因此单位向量u与v在(x，y，z)平面上的各轴分量也能够表达出来，如公式(5)所示：
因此，已知的某一物点w在(x，y，z)空间中的三维坐标可以表达为u与v的线性组合如公式(6)所示：
而从公式(6)可以解出a与b，即是物点w在(u，v)平面上的两个分量，如此便完成了将三维物点正射投影到二维平面(u，v)上。在三条联立方程中解两个未知数，可以利用最小二乘法解出。在进行图像几何校正中需要设定像素大小以取得期待的图像尺寸，在像素重新定位的过程中，还需要以内插的方式重新取样来填入像素的DN(Digital Number)值。根据本申请实施例的方案，所述像素的DN为像素亮度值。本申请设定材质图像的分辨率为1mm/像素，并以最邻近法实现图像内插。本申请得到正射图像的流程示意图如图5所示。
最后的图像纹理映射结果示例如图6所示。需注意与原始图像相较，图6里的图像已经过裁剪与正射图像校正，如同壁纸一般地分别映射在三维模型的每个元件表面的上，也就是说随着模型的旋转角度不同，将可以看出这些映射材质产生对应的透视效果。在拍摄范围能够充分覆盖整栋建筑物的前提下，它不限制使用者在浏览建筑物时所选择的路径或视角，与三维模型紧密连结。
将三维模型与实际场景叠合的方法不仅可以应用在本申请的图像映射当中来建立物像对应分析。在应用到一般的施工验收中时可以将模型发送至移动终端的增强现实app中。如此可以更加有效率地比较工地现场的施工尺寸及位置，以及相关设施是否符合设计要求。虽然此种应用方式的前提是质检人员必须亲临工地现场拍照，但若能再进一步导入图像自动映射的功能，即使仍然不能免去现场必须有人员协助拍照的需求，但是因工地的完整勘验照片记录可以保存在三维模型物件的表面，质检人员也可能通过在三维模型中漫游的方式来检查施工结果，而负责现场拍照的人员并不需要高度的建造专业知识，因而能够提高验收效率。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围的内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种三维模型的纹理映射方法，其特征在于，包括：
获取三维模型中的特征信息，将目标物件的至少两个端点标注为像控点；
获取内方位参数和外方位参数，建立真实物体和图像的坐标对应关系；
判断是否产生遮挡，如果是则裁剪出物体真实边缘；如果否则进行下一步骤；
对拍摄的图像进行正投影图像校正，并基于校正后的图像对三维模型进行纹理映射。
2.根据权利要求1所述的一种三维模型的纹理映射方法，其特征在于：所述端点为长方体物件的端点。
3.根据权利要求1所述的一种三维模型的纹理映射方法，其特征在于：所述内方位参数为表达相机本体的相关参数，通过相机的校准程序求得；所述内方位参数包括像主距、像主点偏移量及透镜畸变参数其中至少之一。
4.根据权利要求1所述的一种三维模型的纹理映射方法，其特征在于：所述外方位参数为描述物像的几何空间关系的参数，包括相机的三轴姿态参数及图像透视投影中心。
5.根据权利要求1所述的一种三维模型的纹理映射方法，其特征在于：所述建立真实物体和图像的坐标对应关系的步骤进一步包括：物像关系可基于透视投影中心、像点及物点坐标的共线关系所导出。
6.根据权利要求1所述的一种三维模型的纹理映射方法，其特征在于：所述像控点为至少三个。
7.根据权利要求1所述的一种三维模型的纹理映射方法，其特征在于：所述判断是否产生遮挡步骤中进一步包括：以每个平面的边缘线条为基础，通过已计算出来的外方位参数将其投影到图像平面上；选取两个平面互相重叠区域的重心投影至重叠的两个平面之上并且计算其距离，通过比较两个距离判断是否产生遮挡。
8.根据权利要求1所述的一种三维模型的纹理映射方法，其特征在于：所述基于校正后的图像对三维模型进行纹理映射的步骤中进一步包括：将三维物点坐标正射投影到观察者所在的二维平面的步骤。
9.根据权利要求1所述的一种三维模型的纹理映射方法，其特征在于：所述基于校正后的图像对三维模型进行纹理映射的步骤中进一步包括：在像素重新定位的过程中，设定材质图像的分辨率为1mm/像素，以最临近法重新取样来填入像素的DN值。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至9任一项所述方法的步骤。
CN202311866308.XA 2023-12-30 2023-12-30 一种三维模型的纹理映射方法和计算机可读存储介质 Pending CN118247413A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311866308.XA CN118247413A (zh) 2023-12-30 2023-12-30 一种三维模型的纹理映射方法和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311866308.XA CN118247413A (zh) 2023-12-30 2023-12-30 一种三维模型的纹理映射方法和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN118247413A true CN118247413A (zh) 2024-06-25

Family

ID=91563232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311866308.XA Pending CN118247413A (zh) 2023-12-30 2023-12-30 一种三维模型的纹理映射方法和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN118247413A (zh)

Similar Documents

Publication Publication Date Title
US11875537B2 (en) Multi view camera registration
US6529626B1 (en) 3D model conversion apparatus and method
El-Hakim et al. A multi-sensor approach to creating accurate virtual environments
JP4435145B2 (ja) 幾何情報を校正してパノラマ映像を提供する方法および装置
WO2021031781A1 (zh) 投影图像校准方法、装置及投影设备
EP2202686A1 (en) Video camera calibration method and device thereof
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
JP2009017480A (ja) カメラキャリブレーション装置およびそのプログラム
US7016527B2 (en) Method for processing image data and modeling device
JP2000011172A (ja) 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
CN114895796B (zh) 一种基于全景图的空间交互方法、装置及应用
US20020094134A1 (en) Method and system for placing three-dimensional models
JP7076097B2 (ja) 画像水平調整装置及びそのプログラム、並びに、図面生成システム
US10154241B2 (en) Depth map based perspective correction in digital photos
JP4112077B2 (ja) 画像計測処理方法並びに装置及び画像計測処理プログラムを記録した記録媒体
JP4149732B2 (ja) ステレオマッチング方法、３次元計測方法及び３次元計測装置並びにステレオマッチング方法のプログラム及び３次元計測のプログラム
JP2004212142A (ja) 画像寸法の測定方法
El-Hakim et al. An approach to creating virtual environments using range and texture
CN118247413A (zh) 一种三维模型的纹理映射方法和计算机可读存储介质
CN113674356B (zh) 相机筛选方法及相关装置
TW201929207A (zh) 三維影像攝取方法及系統
CN117422650B (zh) 全景影像畸变校正方法、装置、电子设备及介质
JP7520301B2 (ja) 検査システム
JP3761458B2 (ja) 物体長算出方法および物体長算出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination