CN115358979B - 一种倾斜实景三维模型质量检查方法及装置 - Google Patents

一种倾斜实景三维模型质量检查方法及装置 Download PDF

Info

Publication number
CN115358979B
CN115358979B CN202210972604.7A CN202210972604A CN115358979B CN 115358979 B CN115358979 B CN 115358979B CN 202210972604 A CN202210972604 A CN 202210972604A CN 115358979 B CN115358979 B CN 115358979B
Authority
CN
China
Prior art keywords
texture
coordinates
boundary
hole
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210972604.7A
Other languages
English (en)
Other versions
CN115358979A (zh
Inventor
艾明耀
孙思涵
胡庆武
段龙梅
常远
刘伟
郭春阳
赵先洋
赵鹏程
李加元
毛庆洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210972604.7A priority Critical patent/CN115358979B/zh
Publication of CN115358979A publication Critical patent/CN115358979A/zh
Application granted granted Critical
Publication of CN115358979B publication Critical patent/CN115358979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种倾斜实景三维模型质量检查方法及装置,其方法包括:获取倾斜实景三维模型以及倾斜实景三维模型的纹理图片;读取倾斜实景三维模型,获得数据结构为半边数据结构的模型数据,模型数据包括多个具有三个顶点的三角面片以及各所述顶点的几何坐标;读取纹理图片,获得各顶点的纹理坐标;根据模型数据确定倾斜实景三维模型的模型边界和孔洞边界,并根据模型边界和孔洞边界确定倾斜实景三维模型的孔洞及孔洞面积指数;根据几何坐标和纹理坐标确定三角面片中各像素的纹理颜色值,并根据纹理颜色值确定多个三角面片中的多个纹理清晰面片和多个纹理模糊面片。本发明提高了对倾斜实景三维模型质量检查的检查效率和检查准确率。

Description

一种倾斜实景三维模型质量检查方法及装置
技术领域
本发明涉及倾斜摄影测量处理技术领域,具体涉及一种倾斜实景三维模型质量检查方法及装置。
背景技术
伴随着我国城市智慧化建设的推动,倾斜摄影实景三维模型成果需求和应用也不断上升,实景三维模型的质量问题也越来越值得关注。相较于传统的三维建模,倾斜摄影能够较为完整的表达城市空间信息,但在模型的局部细节中存在以下几个方面的质量问题:1)模型缝隙和孔洞。在城市空间中,高层建筑林立,地物之间互相遮掩现象尤为常见,近地面部分模型由于遮挡严重,存在粘连、孔洞的问题,影响了场景的完整性。2)纹理模糊。在倾斜摄影过程中,航摄影像的质量对模型的纹理贴图的质量影响较大,而航高的设置、设备分辨率、拍摄的角度、影像重叠度的大小等因素都是影响影像质量的重要因素,此外,拍摄的时间、天气条件也会对影像质量有一定影响。因此在使用倾斜三维重建软件构建模型后,模型的纹理会出现模糊、拉花、失真等问题。因此,对构建的倾斜实景三维模型质量进行检查后续对倾斜实景三维模型进行修复和重建的重要参考依据。
现有技术中对构建的倾斜实景三维模型质量进行检查的方式为人工交互,即:通过人工查看倾斜实景三维模型以实现对其质量的检查,但由于倾斜实景三维模型的模型量大,通过人工交互方式会导致对倾斜实景三维模型质量进行检查的检查效率较低及检查准确率较低的技术问题。
因此,急需提出一种倾斜实景三维模型质量检查方法及装置,提高对倾斜实景三维模型质量检查的检查效率和检查准确率。
发明内容
有鉴于此,有必要提供一种倾斜实景三维模型质量检查方法及装置,用以解决现有技术中存在的通过人工交互方式导致对倾斜实景三维模型质量进行检查的检查效率较低及检查准确率较低的技术问题。
一方面,本发明提供了一种倾斜实景三维模型质量检查方法,包括:
获取倾斜实景三维模型以及所述倾斜实景三维模型的纹理图片;
读取所述倾斜实景三维模型,获得数据结构为半边数据结构的模型数据,所述模型数据包括多个具有三个顶点的三角面片以及各所述顶点的几何坐标;
读取所述纹理图片,获得各所述顶点的纹理坐标;
根据所述模型数据确定所述倾斜实景三维模型的模型边界和孔洞边界,并根据所述模型边界和所述孔洞边界确定所述倾斜实景三维模型的孔洞及孔洞面积指数;
根据所述几何坐标和所述纹理坐标确定所述三角面片中各像素的纹理颜色值,并根据所述纹理颜色值确定多个所述三角面片中的多个纹理清晰面片和多个纹理模糊面片。
在一些可能的实现方式中,所述根据所述模型数据确定所述倾斜实景三维模型的模型边界和孔洞边界,包括:
遍历所述模型数据,提取所述模型数据中的多个边界点以及所述多个边界点的提取顺序,并根据所述多个边界点以及所述多个边界点的提取数据构建多个边界线;
根据所述多个边界线确定多个边界多边形,并确定各所述边界多边形的形心和最小二乘平面;
将所述多个边界点投影至与所述边界多边形对应的所述最小二乘平面获得多个投影点,根据所述形心和所述多个投影点的位置关系确定所述模型边界和孔洞边界。
在一些可能的实现方式中,所述根据所述模型边界和所述孔洞边界确定所述倾斜实景三维模型的孔洞及孔洞面积指数,包括:
确定所述多个三角面片中各三角面片的面片面积,并根据所述面片面积确定所述倾斜实景三维模型的表面积;
根据所述孔洞边界确定多个孔洞以及各孔洞的多个孔洞边界点,并确定所述多个孔洞边界点在所述最小二乘平面上的多个孔洞投影点;
根据所述多个孔洞投影点确定各孔洞的孔洞面积,根据各孔洞的孔洞面积确定所述多个孔洞的孔洞总面积;
根据所述孔洞总面积和所述表面积确定所述孔洞面积指数。
在一些可能的实现方式中,所述孔洞面积指数为:
Figure BDA0003796142560000031
Figure BDA0003796142560000032
Figure BDA0003796142560000033
Figure BDA0003796142560000034
Figure BDA0003796142560000035
Figure BDA0003796142560000036
式中,indexarea为孔洞面积指数;holearea为孔洞总面积;modelarea为表面积;holei为第i个孔洞的孔洞面积;m为孔洞的总个数;At(t=1,2,3,…,n)为第i个孔洞的第t个顶点;xt,yt,zt为第t个顶点的三维坐标值;||为预设运算规则符号。
在一些可能的实现方式中,所述几何坐标为所述三角面片的各顶点在世界坐标系下的坐标;所述根据所述几何坐标和所述纹理坐标确定所述三角面片中各像素的纹理颜色值,包括:
将所述几何坐标由所述世界坐标系变换至相机坐标系,获得顶点在所述相机坐标系下的相机坐标;
将所述相机坐标由所述相机坐标系变换至投影坐标系,获得各顶点在所述投影坐标系下的投影坐标;
将所述投影坐标由所述投影坐标系变换至屏幕坐标系,获得各顶点在所述屏幕坐标系下的屏幕坐标;
根据所述屏幕坐标对所述三角面片进行像素栅格化,获得多个边界像素和多个内部像素;
根据所述纹理坐标对所述多个边界像素进行双线性插值处理,获得各所述边界像素的边界纹理坐标,并根据所述边界纹理坐标获得所述多个内部像素的内部纹理坐标;
根据所述纹理图片的尺寸,分别将所述边界纹理坐标和所述内部纹理坐标还原至纹理图像坐标,并根据所述纹理图像坐标确定各所述像素的纹理颜色值。
在一些可能的实现方式中,所述屏幕坐标为:
(xw,yw,zw)=(x0,y0,z0)·Mwc,vc·ML·Mnorm,screen
Figure BDA0003796142560000041
Figure BDA0003796142560000051
式中,xw,yw,zw为屏幕坐标;x0,y0,z0为几何坐标;Mwc,vc为世界坐标系与相机坐标系之间的平移变换矩阵;ML为相机坐标系与投影坐标系之间的投影变换矩阵;Mnorm,screen为投影坐标系与屏幕坐标系之间的归一化变换矩阵;V0为世界坐标系的原点到相机坐标系的原点的平移向量;u,v,n为相机坐标系三个坐标轴的旋转向量;ux,uy,uz为世界坐标系中的坐标值相对于相机坐标系中u坐标轴的旋转分量;vx,vy,vz为世界坐标系中的坐标值相对于相机坐标系中v坐标轴的旋转分量;nx,ny,nz为世界坐标系中的坐标值相对于相机坐标系中n坐标轴的旋转分量;xdmin,ydmin,0为屏幕左下角坐标;xdmax,ydmax,0为屏幕右上角坐标。
在一些可能的实现方式中,所述根据所述纹理颜色值确定多个所述三角面片中的多个纹理清晰面片和多个纹理模糊面片,包括:
将所述纹理颜色值转换为灰度值,并根据所述灰度值确定各所述三角面片中所有像素的梯度值;
根据所述三角面片中所有像素的梯度值确定所述三角面片的整体梯度值;
根据所述整体梯度值和预设的梯度阈值确定多个所述三角面片中的多个纹理清晰面片和多个纹理模糊面片。
在一些可能的实现方式中,所述整体梯度值为:
Figure BDA0003796142560000052
Figure BDA0003796142560000061
式中,D(f)为整体梯度值;G(x,y)为各像素的梯度值;x,y为像素坐标;p为三角面片中的像素数量;abs()为绝对值运算符号;gx为水平梯度算子;gy为垂直梯度算子;f(x,y)为梯度函数;
Figure BDA0003796142560000062
为卷积运算符号。
在一些可能的实现方式中,所述倾斜实景三维模型质量检测方法还包括:
加载所述倾斜实景三维模型,所述倾斜实景三维模型包括模型实体和孔洞,所述模型实体包括多个纹理清晰面片和多个纹理模糊面片;
将所述孔洞以第一颜色显示,将所述多个纹理清晰面片以第二颜色显示,将所述多个纹理模糊面片以第三颜色显示。
另一方面,本发明还提供了一种倾斜实景三维模型质量检查装置,包括:
模型获取单元,用于获取倾斜实景三维模型以及所述倾斜实景三维模型的纹理图片;
模型读取单元,用于读取所述倾斜实景三维模型,获得数据结构为半边数据结构的模型数据,所述模型数据包括多个具有三个顶点的三角面片以及各所述顶点的几何坐标;
纹理图片读取单元,用于读取所述纹理图片,获得各所述顶点的纹理坐标;
孔洞检查单元,用于根据所述模型数据确定所述倾斜实景三维模型的模型边界和孔洞边界,并根据所述模型边界和所述孔洞边界确定所述倾斜实景三维模型的孔洞及孔洞面积指数;
纹理模糊检查单元,用于根据所述几何坐标和所述纹理坐标确定所述三角面片中各像素的纹理颜色值,并根据所述纹理颜色值确定多个所述三角面片中的多个纹理清晰面片和多个纹理模糊面片。
采用上述实施例的有益效果是:本发明提供的倾斜实景三维模型质量检查方法,根据模型数据确定倾斜实景三维模型的模型边界和孔洞边界,并根据模型边界和孔洞边界确定倾斜实景三维模型孔洞及孔洞面积指数;可通过孔洞面积指数实现定量化评价倾斜实景三维模型的孔洞的目的,实现对孔洞的自动化检查。进一步地,本发明根据几何坐标和纹理坐标确定三角面片中各像素的纹理颜色值,并根据纹理颜色值确定多个三角面片中的多个纹理清晰面片和多个纹理模糊面片,可实现对纹理模糊的自动化检查,并可使用户获知三角面片中的纹理清晰面片和纹理模糊面片,实现对纹理模糊的定量化检查。综上所述,本发明可实现对孔洞和纹理模糊的自动化检查,并可提高检查效率和检查准确率,为后续模型的修复和纹理重建提供一定的参考。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的倾斜实景三维模型质量检查方法的一个实施例流程示意图;
图2为本发明图1中S104中确定模型边界和孔洞边界的一个实施例流程示意图;
图3为本发明图1中S104中确定孔洞及孔洞面积指数的一个实施例流程示意图;
图4为本发明图1中S105中确定三角面片中各像素的纹理颜色值的一个实施例流程示意图;
图5为本发明图1中S105中确定多个纹理清晰面片和多个纹理模糊面片的一个实施例流程示意图;
图6为本发明提供的对孔洞、纹理清晰面片和纹理模糊面片进行可视化展示的一个实施例结构示意图;
图7为本发明提供的倾斜实景三维模型质量检查装置的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,示意性的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应当理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本发明内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明实施例提供了一种倾斜实景三维模型质量检查方法及装置,以下分别进行说明。
图1为本发明提供的倾斜实景三维模型质量检查方法的一个实施例流程示意图,如图1所示,倾斜实景三维模型质量检查方法包括:
S101、获取倾斜实景三维模型以及倾斜实景三维模型的纹理图片;
S102、读取倾斜实景三维模型,获得数据结构为半边数据结构的模型数据,模型数据包括多个具有三个顶点的三角面片以及各顶点的几何坐标;
S103、读取纹理图片,获得各顶点的纹理坐标;
S104、根据模型数据确定倾斜实景三维模型的模型边界和孔洞边界,并根据模型边界和孔洞边界确定倾斜实景三维模型的孔洞及孔洞面积指数;
S105、根据几何坐标和纹理坐标确定三角面片中各像素的纹理颜色值,并根据纹理颜色值确定多个三角面片中的多个纹理清晰面片和多个纹理模糊面片。
与现有技术相比,本发明实施例提供的倾斜实景三维模型质量检查方法,根据模型数据确定倾斜实景三维模型的模型边界和孔洞边界,并根据模型边界和孔洞边界确定倾斜实景三维模型孔洞及孔洞面积指数;可通过孔洞面积指数实现定量化评价倾斜实景三维模型的孔洞的目的,实现对孔洞的自动化检查。进一步地,本发明实施例根据几何坐标和纹理坐标确定三角面片中各像素的纹理颜色值,并根据纹理颜色值确定多个三角面片中的多个纹理清晰面片和多个纹理模糊面片,可实现对纹理模糊的自动化检查,并可使用户获知三角面片中的纹理清晰面片和纹理模糊面片,实现对纹理模糊的定量化检查。综上所述,本发明实施例可实现对孔洞和纹理模糊的自动化检查,并可提高检查效率和检查准确率,为后续模型的修复和纹理重建提供一定的参考。
在本发明的具体实施例中,步骤S102具体为:使用openmesh库,读取模型格式为OBJ的倾斜实景三维模型。步骤S103具体为:使用opencv库,读取纹理图片。
其中,半边数据结构具体为:每个边分为两个半边,每个半边都有一个相边,方向相反,如果一个边被两个面片共用(正则边),则每个面片都能各自拥有一个半边。如果一个边仅被一个面片占有(边界边),则这个面片仅拥有该边的其中一个半边,另一个半边为闲置状态。半边数据结构包括顶点、半边和面片。
在本发明的一些实施例中,如图2所示,步骤S104中的确定模型边界和孔洞边界包括:
S201、遍历模型数据,提取模型数据中的多个边界点以及多个边界点的提取顺序,并根据多个边界点以及多个边界点的提取数据构建多个边界线;
S202、根据多个边界线确定多个边界多边形,并确定各边界多边形的形心和最小二乘平面;
S203、将多个边界点投影至与边界多边形对应的最小二乘平面获得多个投影点,根据形心和多个投影点的位置关系确定模型边界和孔洞边界。
其中,步骤S201具体为:由于在半边数据结构中,位于边界的半边不被任何三角面片共用,并且边界边指向的下一条半边也是边界边,根据这两个特点可识别出边界边,且边界边的起始点和终点为边界点,同时引用点标记和边标记,点标记用于区分提取的边界点,边标记用于标记半边是否被遍历过。
其中,步骤S203具体为:若形心和边界点位于某一边界边的同一侧,则此边界边为模型边界,若形心和边界点位于某一边界边的不同侧,则此边界边为孔洞边界。
应当理解的是:根据孔洞边界即可确定孔洞。
在本发明的一些实施例中,如图3所示,步骤S401中的确定孔洞及孔洞面积指数,包括:
S301、确定多个三角面片中各三角面片的面片面积,并根据面片面积确定倾斜实景三维模型的表面积;
S302、根据孔洞边界确定多个孔洞以及各孔洞的多个孔洞边界点,并确定多个孔洞边界点在最小二乘平面上的多个孔洞投影点;
S303、根据多个孔洞投影点确定各孔洞的孔洞面积,根据各孔洞的孔洞面积确定多个孔洞的孔洞总面积;
S304、根据孔洞总面积和表面积确定孔洞面积指数。
本发明实施例通过根据孔洞总面积和表面积确定孔洞面积指数,可定量的判断孔洞总面积占表面积的百分比,从而可对孔洞进行评价,例如:当孔洞面积指数大于或等于预设指数时,表明孔洞占比较大,应对模型进行重建,而当孔洞面积指数小于预设指数时,表明孔洞占比较小,应对模型进行修复,无需进行重建,倾斜三维实景模型的后续处理步骤提供参考和指导。
应当理解的是:步骤S301中确定多个三角面片中各三角面片的面片面积可为:根据海伦公式计算模型确定多个三角面片中各三角面片的面片面积。
在本发明的具体实施例中:孔洞面积指数为:
Figure BDA0003796142560000111
Figure BDA0003796142560000112
Figure BDA0003796142560000113
Figure BDA0003796142560000114
Figure BDA0003796142560000115
Figure BDA0003796142560000116
式中,indexarea为孔洞面积指数;holearea为孔洞总面积;modelarea为表面积;holei为第i个孔洞的孔洞面积;m为孔洞的总个数;At(t=1,2,3,…,n)为第i个孔洞的第t个顶点;xt,yt,zt为第t个顶点的三维坐标值;||为预设运算规则符号。
需要说明的是:预设运算规则符号代表的运算规则为:左上×右下-右上×左下。例如:
Figure BDA0003796142560000121
在本发明的一些实施例中,如图4所示,步骤S105中确定三角面片中各像素的纹理颜色值,包括:
S401、将几何坐标由世界坐标系变换至相机坐标系,获得顶点在相机坐标系下的相机坐标;
S402、将相机坐标由相机坐标系变换至投影坐标系,获得各顶点在投影坐标系下的投影坐标;
S403、将投影坐标由投影坐标系变换至屏幕坐标系,获得各顶点在屏幕坐标系下的屏幕坐标;
S404、根据屏幕坐标对三角面片进行像素栅格化,获得多个边界像素和多个内部像素;
S405、根据纹理坐标对多个边界像素进行双线性插值处理,获得各边界像素的边界纹理坐标,并根据边界纹理坐标获得多个内部像素的内部纹理坐标;
S406、根据纹理图片的尺寸,分别将边界纹理坐标和内部纹理坐标还原至纹理图像坐标,并根据纹理图像坐标确定各像素的纹理颜色值。
其中,步骤S404具体为:将三角面片顶点的屏幕坐标按照y坐标大小重新排序,从屏幕坐标系纵坐标最小值的顶点出发,沿垂直方向步进到下一个顶点,步长为一个像素单位,根据Bresenham算法计算误差项,根据误差项的正负判断下一个绘制的像素,重复这个步骤,完成三角面片的边界线像素栅格化,获得多个边界像素。从屏幕坐标系纵坐标最小值的顶点开始,到屏幕坐标系纵坐标最大值的顶点结束,从下至上、从左至右扫描,每次计算扫描线与三角面片边界线的两个交点,填充两个交点之间的像素,完成三角形内部像素栅格化,获得多个内部像素。
在本发明的具体实施例中,步骤S406具体为:将每个像素周围四个最邻近像素的颜色值按照距离加权平均得到该像素的纹理颜色值。
在本发明的一些实施例中,屏幕坐标为:
(xw,yw,zw)=(x0,y0,z0)·Mwc,vc·ML·Mnorm,screen
Figure BDA0003796142560000131
Figure BDA0003796142560000132
式中,xw,yw,zw为屏幕坐标;x0,y0,z0为几何坐标;Mwc,vc为世界坐标系与相机坐标系之间的平移变换矩阵;ML为相机坐标系与投影坐标系之间的投影变换矩阵;Mnorm,screen为投影坐标系与屏幕坐标系之间的归一化变换矩阵;V0为世界坐标系的原点到相机坐标系的原点的平移向量;u,v,n为相机坐标系三个坐标轴的旋转向量;ux,uy,uz为世界坐标系中的坐标值相对于相机坐标系中u坐标轴的旋转分量;vx,vy,vz为世界坐标系中的坐标值相对于相机坐标系中v坐标轴的旋转分量;nx,ny,nz为世界坐标系中的坐标值相对于相机坐标系中n坐标轴的旋转分量;xdmin,ydmin,0为屏幕左下角坐标;xdmax,ydmax,0为屏幕右上角坐标。
在本发明的一些实施例中,如图5所示,步骤S105中的确定多个纹理清晰面片和多个纹理模糊面片,包括:
S501、将纹理颜色值转换为灰度值,并根据灰度值确定各三角面片中所有像素的梯度值;
S502、根据三角面片中所有像素的梯度值确定三角面片的整体梯度值;
S503、根据整体梯度值和预设的梯度阈值确定多个三角面片中的多个纹理清晰面片和多个纹理模糊面片。
本发明实施例通过确定出多个纹理清晰面片和多个模糊纹理面片,可确定模糊纹理面片在所有三角面片中的占比,并可根据占比值评价倾斜实景三维模型的纹理质量。例如:当占比值大于或等于预设占比值时,表示倾斜实景三维模型的纹理质量较差,需要对倾斜实景三维模型进行重建,而当占比值小于预设占比值时,表示倾斜实景三维模型的纹理质量较好,无需对倾斜实景三维模型进行重建,但需对倾斜实景三维模型进行修补,为倾斜实景三维模型的后续处理流程提供参考。
在本发明的具体实施例中,整体梯度值为:
Figure BDA0003796142560000141
Figure BDA0003796142560000142
式中,D(f)为整体梯度值;G(x,y)为各像素的梯度值;x,y为像素坐标;p为三角面片中的像素数量;abs()为绝对值运算符号;gx为水平梯度算子;gy为垂直梯度算子;f(x,y)为梯度函数;
Figure BDA0003796142560000143
为卷积运算符号。
为了供用户更直观的获知倾斜实景三维模型的质量,在本发明的一些实施例中,如图6所示,倾斜实景三维模型质量检测方法还包括:
S601、加载倾斜实景三维模型,倾斜实景三维模型包括模型实体和孔洞,模型实体包括多个纹理清晰面片和多个纹理模糊面片;
S602、将孔洞以第一颜色显示,将多个纹理清晰面片以第二颜色显示,将多个纹理模糊面片以第三颜色显示。
本发明通过设置用不同的颜色在加载的倾斜实景三维模型中对孔洞、纹理清晰面片和纹理模糊面片进行显示,可实现孔洞、纹理清晰面片和纹理模糊面片的可视化展示,供用户更直观的获知倾斜实景三维模型的质量。
为了更好实施本发明实施例中的倾斜实景三维模型质量检查方法,在倾斜实景三维模型质量检查方法基础之上,对应的,本发明实施例还提供了一种倾斜实景三维模型质量检查装置,如图7所示,倾斜实景三维模型质量检查装置700包括:
模型获取单元701,用于获取倾斜实景三维模型以及倾斜实景三维模型的纹理图片;
模型读取单元702,用于读取倾斜实景三维模型,获得数据结构为半边数据结构的模型数据,模型数据包括多个具有三个顶点的三角面片以及各顶点的几何坐标;
纹理图片读取单元703,用于读取纹理图片,获得各顶点的纹理坐标;
孔洞检查单元704,用于根据模型数据确定倾斜实景三维模型的模型边界和孔洞边界,并根据模型边界和孔洞边界确定倾斜实景三维模型的孔洞及孔洞面积指数;
纹理模糊检查单元705,用于根据几何坐标和纹理坐标确定三角面片中各像素的纹理颜色值,并根据纹理颜色值确定多个三角面片中的多个纹理清晰面片和多个纹理模糊面片。
上述实施例提供的倾斜实景三维模型质量检查装置700可实现上述倾斜实景三维模型质量检查方法实施例中描述的技术方案,上述各模块或单元具体实现的原理可参见上述倾斜实景三维模型质量检查方法实施例中的相应内容,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件(如处理器,控制器等)来完成,计算机程序可存储于计算机可读存储介质中。其中,计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上对本发明所提供的倾斜实景三维模型质量检查方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种倾斜实景三维模型质量检查方法,其特征在于,包括:
获取倾斜实景三维模型以及所述倾斜实景三维模型的纹理图片;
读取所述倾斜实景三维模型,获得数据结构为半边数据结构的模型数据,所述模型数据包括多个具有三个顶点的三角面片以及各所述顶点的几何坐标;
读取所述纹理图片,获得各所述顶点的纹理坐标;
根据所述模型数据确定所述倾斜实景三维模型的模型边界和孔洞边界,并根据所述模型边界和所述孔洞边界确定所述倾斜实景三维模型的孔洞及孔洞面积指数;
根据所述几何坐标和所述纹理坐标确定所述三角面片中各像素的纹理颜色值,并根据所述纹理颜色值确定多个所述三角面片中的多个纹理清晰面片和多个纹理模糊面片;
所述孔洞面积指数为:
Figure QLYQS_1
Figure QLYQS_2
Figure QLYQS_3
Figure QLYQS_4
Figure QLYQS_5
Figure QLYQS_6
Figure QLYQS_7
式中,
Figure QLYQS_8
为孔洞面积指数;/>
Figure QLYQS_9
为孔洞总面积;/>
Figure QLYQS_10
为表面积;/>
Figure QLYQS_11
为第i个孔洞的孔洞面积;m为孔洞的总个数;At(t=1,2,3,…,n)为第i个孔洞的第t个顶点;xt,yt,zt为第t个顶点的三维坐标值;| |为预设运算规则符号;
所述几何坐标为所述三角面片的各顶点在世界坐标系下的坐标;所述根据所述几何坐标和所述纹理坐标确定所述三角面片中各像素的纹理颜色值,包括:
将所述几何坐标由所述世界坐标系变换至相机坐标系,获得顶点在所述相机坐标系下的相机坐标;
将所述相机坐标由所述相机坐标系变换至投影坐标系,获得各顶点在所述投影坐标系下的投影坐标;
将所述投影坐标由所述投影坐标系变换至屏幕坐标系,获得各顶点在所述屏幕坐标系下的屏幕坐标;
根据所述屏幕坐标对所述三角面片进行像素栅格化,获得多个边界像素和多个内部像素;
根据所述纹理坐标对所述多个边界像素进行双线性插值处理,获得各所述边界像素的边界纹理坐标,并根据所述边界纹理坐标获得所述多个内部像素的内部纹理坐标;
根据所述纹理图片的尺寸,分别将所述边界纹理坐标和所述内部纹理坐标还原至纹理图像坐标,并根据所述纹理图像坐标确定各所述像素的纹理颜色值;
所述根据所述纹理颜色值确定多个所述三角面片中的多个纹理清晰面片和多个纹理模糊面片,包括:
将所述纹理颜色值转换为灰度值,并根据所述灰度值确定各所述三角面片中所有像素的梯度值;
根据所述三角面片中所有像素的梯度值确定所述三角面片的整体梯度值;
根据所述整体梯度值和预设的梯度阈值确定多个所述三角面片中的多个纹理清晰面片和多个纹理模糊面片。
2.根据权利要求1所述的倾斜实景三维模型质量检查方法,其特征在于,所述根据所述模型数据确定所述倾斜实景三维模型的模型边界和孔洞边界,包括:
遍历所述模型数据,提取所述模型数据中的多个边界点以及所述多个边界点的提取顺序,并根据所述多个边界点以及所述多个边界点的提取数据构建多个边界线;
根据所述多个边界线确定多个边界多边形,并确定各所述边界多边形的形心和最小二乘平面;
将所述多个边界点投影至与所述边界多边形对应的所述最小二乘平面获得多个投影点,根据所述形心和所述多个投影点的位置关系确定所述模型边界和孔洞边界。
3.根据权利要求2所述的倾斜实景三维模型质量检查方法,其特征在于, 所述根据所述模型边界和所述孔洞边界确定所述倾斜实景三维模型的孔洞及孔洞面积指数,包括:
确定所述多个三角面片中各三角面片的面片面积,并根据所述面片面积确定所述倾斜实景三维模型的表面积;
根据所述孔洞边界确定多个孔洞以及各孔洞的多个孔洞边界点,并确定所述多个孔洞边界点在所述最小二乘平面上的多个孔洞投影点;
根据所述多个孔洞投影点确定各孔洞的孔洞面积,根据各孔洞的孔洞面积确定所述多个孔洞的孔洞总面积;
根据所述孔洞总面积和所述表面积确定所述孔洞面积指数。
4.根据权利要求1所述的倾斜实景三维模型质量检查方法,其特征在于, 所述屏幕坐标为:
Figure QLYQS_12
Figure QLYQS_13
Figure QLYQS_14
式中,
Figure QLYQS_17
为屏幕坐标;/>
Figure QLYQS_20
为几何坐标;/>
Figure QLYQS_23
为世界坐标系与相机坐标系之间的平移变换矩阵;/>
Figure QLYQS_16
为相机坐标系与投影坐标系之间的投影变换矩阵;/>
Figure QLYQS_19
为投影坐标系与屏幕坐标系之间的归一化变换矩阵;V0为世界坐标系的原点到相机坐标系的原点的平移向量;/>
Figure QLYQS_21
为相机坐标系三个坐标轴的旋转向量;/>
Figure QLYQS_25
为世界坐标系中的坐标值相对于相机坐标系中u坐标轴的旋转分量;/>
Figure QLYQS_15
为世界坐标系中的坐标值相对于相机坐标系中v坐标轴的旋转分量;/>
Figure QLYQS_18
为世界坐标系中的坐标值相对于相机坐标系中n坐标轴的旋转分量;/>
Figure QLYQS_22
为屏幕左下角坐标;/>
Figure QLYQS_24
为屏幕右上角坐标。
5.根据权利要求1所述的倾斜实景三维模型质量检查方法,其特征在于, 所述整体梯度值为:
Figure QLYQS_26
Figure QLYQS_27
式中,
Figure QLYQS_30
为整体梯度值;/>
Figure QLYQS_32
为各像素的梯度值;x,y为像素坐标;/>
Figure QLYQS_34
为三角面片中的像素数量;/>
Figure QLYQS_29
为绝对值运算符号;/>
Figure QLYQS_31
为水平梯度算子;/>
Figure QLYQS_33
为垂直梯度算子;
Figure QLYQS_35
为梯度函数;/>
Figure QLYQS_28
为卷积运算符号。
6.根据权利要求1所述的倾斜实景三维模型质量检查方法,其特征在于, 所述倾斜实景三维模型质量检测方法还包括:
加载所述倾斜实景三维模型,所述倾斜实景三维模型包括模型实体和孔洞,所述模型实体包括多个纹理清晰面片和多个纹理模糊面片;
将所述孔洞以第一颜色显示,将所述多个纹理清晰面片以第二颜色显示,将所述多个纹理模糊面片以第三颜色显示。
7.一种倾斜实景三维模型质量检查装置,其特征在于,包括:
模型获取单元,用于获取倾斜实景三维模型以及所述倾斜实景三维模型的纹理图片;
模型读取单元,用于读取所述倾斜实景三维模型,获得数据结构为半边数据结构的模型数据,所述模型数据包括多个具有三个顶点的三角面片以及各所述顶点的几何坐标;
纹理图片读取单元,用于读取所述纹理图片,获得各所述顶点纹理坐标;
孔洞检查单元,用于根据所述模型数据确定所述倾斜实景三维模型的模型边界和孔洞边界,并根据所述模型边界和所述孔洞边界确定所述倾斜实景三维模型的孔洞及孔洞面积指数;
纹理模糊检查单元,用于根据所述几何坐标和所述纹理坐标确定所述三角面片中各像素的纹理颜色值,并根据所述纹理颜色值确定多个所述三角面片中的多个纹理清晰面片和多个纹理模糊面片;
所述孔洞面积指数为:
Figure QLYQS_36
Figure QLYQS_37
Figure QLYQS_38
Figure QLYQS_39
Figure QLYQS_40
Figure QLYQS_41
Figure QLYQS_42
式中,
Figure QLYQS_43
为孔洞面积指数;/>
Figure QLYQS_44
为孔洞总面积;/>
Figure QLYQS_45
为表面积;/>
Figure QLYQS_46
为第i个孔洞的孔洞面积;m为孔洞的总个数;At(t=1,2,3,…,n)为第i个孔洞的第t个顶点;xt,yt,zt为第t个顶点的三维坐标值;| |为预设运算规则符号;
所述几何坐标为所述三角面片的各顶点在世界坐标系下的坐标;所述根据所述几何坐标和所述纹理坐标确定所述三角面片中各像素的纹理颜色值,包括:
将所述几何坐标由所述世界坐标系变换至相机坐标系,获得顶点在所述相机坐标系下的相机坐标;
将所述相机坐标由所述相机坐标系变换至投影坐标系,获得各顶点在所述投影坐标系下的投影坐标;
将所述投影坐标由所述投影坐标系变换至屏幕坐标系,获得各顶点在所述屏幕坐标系下的屏幕坐标;
根据所述屏幕坐标对所述三角面片进行像素栅格化,获得多个边界像素和多个内部像素;
根据所述纹理坐标对所述多个边界像素进行双线性插值处理,获得各所述边界像素的边界纹理坐标,并根据所述边界纹理坐标获得所述多个内部像素的内部纹理坐标;
根据所述纹理图片的尺寸,分别将所述边界纹理坐标和所述内部纹理坐标还原至纹理图像坐标,并根据所述纹理图像坐标确定各所述像素的纹理颜色值;
所述根据所述纹理颜色值确定多个所述三角面片中的多个纹理清晰面片和多个纹理模糊面片,包括:
将所述纹理颜色值转换为灰度值,并根据所述灰度值确定各所述三角面片中所有像素的梯度值;
根据所述三角面片中所有像素的梯度值确定所述三角面片的整体梯度值;
根据所述整体梯度值和预设的梯度阈值确定多个所述三角面片中的多个纹理清晰面片和多个纹理模糊面片。
CN202210972604.7A 2022-08-12 2022-08-12 一种倾斜实景三维模型质量检查方法及装置 Active CN115358979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210972604.7A CN115358979B (zh) 2022-08-12 2022-08-12 一种倾斜实景三维模型质量检查方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210972604.7A CN115358979B (zh) 2022-08-12 2022-08-12 一种倾斜实景三维模型质量检查方法及装置

Publications (2)

Publication Number Publication Date
CN115358979A CN115358979A (zh) 2022-11-18
CN115358979B true CN115358979B (zh) 2023-06-16

Family

ID=84033617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210972604.7A Active CN115358979B (zh) 2022-08-12 2022-08-12 一种倾斜实景三维模型质量检查方法及装置

Country Status (1)

Country Link
CN (1) CN115358979B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464286A (zh) * 2017-06-30 2017-12-12 百度在线网络技术(北京)有限公司 三维城市模型中的孔洞修复方法及装置、设备及可读介质
CN109064542A (zh) * 2018-06-06 2018-12-21 链家网(北京)科技有限公司 三维模型表面空洞填补方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6744442B1 (en) * 2000-08-29 2004-06-01 Harris Corporation Texture mapping system used for creating three-dimensional urban models
JP4173897B2 (ja) * 2006-04-04 2008-10-29 日本電信電話株式会社 画像補正装置および画像補正方法
CN102222220B (zh) * 2011-06-21 2014-01-29 哈尔滨工程大学 手背静脉模式纹理提取方法
CN103049896B (zh) * 2012-12-27 2015-09-16 浙江大学 三维模型的几何数据和纹理数据自动配准算法
US10354433B2 (en) * 2017-07-11 2019-07-16 Here Global B.V. Method and apparatus for generating an abstract texture for a building facade or model
CN108335352B (zh) * 2018-01-22 2020-05-19 华中科技大学 一种面向多视图大规模三维重建场景的纹理映射方法
CN111583409B (zh) * 2020-03-25 2023-06-27 沈大勇 针对实景三维模型的无网格边界孔洞修补方法和装置
CN111768353B (zh) * 2020-06-30 2023-11-03 北京华捷艾米科技有限公司 一种三维模型的孔洞填补方法及装置
CN113781621A (zh) * 2020-11-05 2021-12-10 北京沃东天骏信息技术有限公司 三维重建处理的方法、装置、设备及存储介质
CN113593011A (zh) * 2021-07-12 2021-11-02 杭州思锐迪科技有限公司 孔洞修补方法、电子装置和存储介质
CN114092397B (zh) * 2021-10-14 2023-08-22 西安交通大学 一种基于图像处理的腐蚀铝箔孔洞面积和直径统计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464286A (zh) * 2017-06-30 2017-12-12 百度在线网络技术(北京)有限公司 三维城市模型中的孔洞修复方法及装置、设备及可读介质
CN109064542A (zh) * 2018-06-06 2018-12-21 链家网(北京)科技有限公司 三维模型表面空洞填补方法和装置

Also Published As

Publication number Publication date
CN115358979A (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CA3103844C (en) Method for reconstructing three-dimensional space scene based on photographing
CN110490916B (zh) 三维对象建模方法与设备、图像处理装置及介质
El-Hakim et al. A multi-sensor approach to creating accurate virtual environments
CN112348815A (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
Niem Automatic reconstruction of 3D objects using a mobile camera
US20080279447A1 (en) Computational Solution Of A Building Of Three Dimensional Virtual Models From Aerial Photographs
US20150156415A1 (en) Multiplane Panoramas of Long Scenes
CN111273877B (zh) 一种实景三维数据与二维栅格图片的联动展示平台及其联动方法
CN112351266B (zh) 三维视景处理方法、装置、设备、显示系统及介质
CN113781621A (zh) 三维重建处理的方法、装置、设备及存储介质
CN111524230B (zh) 一种三维模型与展开全景图联动浏览方法及计算机系统
Boulanger et al. ATIP: A Tool for 3D Navigation inside a Single Image with Automatic Camera Calibration.
CN115527016A (zh) 一种三维gis视频融合注册方法、系统、介质、设备及终端
CN115619623A (zh) 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法
CN115409957A (zh) 基于虚幻引擎的地图构建方法、电子设备和存储介质
CN115358979B (zh) 一种倾斜实景三维模型质量检查方法及装置
CN117456076A (zh) 一种材质贴图生成方法及相关设备
Ortin et al. Occlusion-free image generation for realistic texture mapping
Rau et al. Lod generation for 3d polyhedral building model
CN111915488A (zh) 大数据下的高性能图像瓦块图生成方法
CN111563929B (zh) 一种基于浏览器的2.5d网页开发方法
CN114693820A (zh) 对象提取方法、装置、电子设备及存储介质
CN115409962A (zh) 虚幻引擎内构建坐标系统的方法、电子设备和存储介质
CN110889889A (zh) 应用在沉浸式显示设备中倾斜摄影建模数据生成方法
Guan et al. Distortion correction for immersive navigation in spherical image environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant