CN107146286B - 基于影像边缘特征的三维模型自动调整方法 - Google Patents

基于影像边缘特征的三维模型自动调整方法 Download PDF

Info

Publication number
CN107146286B
CN107146286B CN201710267788.6A CN201710267788A CN107146286B CN 107146286 B CN107146286 B CN 107146286B CN 201710267788 A CN201710267788 A CN 201710267788A CN 107146286 B CN107146286 B CN 107146286B
Authority
CN
China
Prior art keywords
image
model
line
plane
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710267788.6A
Other languages
English (en)
Other versions
CN107146286A (zh
Inventor
崔君宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Alpha Software Information Technology Co ltd
Original Assignee
Guangzhou Alpha Software Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Alpha Software Information Technology Co ltd filed Critical Guangzhou Alpha Software Information Technology Co ltd
Priority to CN201710267788.6A priority Critical patent/CN107146286B/zh
Publication of CN107146286A publication Critical patent/CN107146286A/zh
Application granted granted Critical
Publication of CN107146286B publication Critical patent/CN107146286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/21Indexing scheme for image data processing or generation, in general involving computational photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/04Architectural design, interior design

Abstract

本发明涉及一种基于影像边缘特征的三维模型自动调整方法。首先通过模型边线与倾斜影像之间的空间关系,对倾斜影像进行筛选,获得包含有线条信息的影像。然后对模型边线在倾斜影像中映射得到的线条根据影像大小进行外扩,得到对应矩形。在矩形区域内进行直线检测获取多个线条后,利用线条与三角网数据的映射关系,对模型边线进行拟合,以修正模型各边线的位置。在遍历并调整了模型所有边线后,根据模型原有结构,对边线进行二次拟合,获得最终的模型成果。本发明可以在已有模型的基础上根据影像边缘特征信息自动对模型各边线进行修正以提升模型精度,避免了人工干预。

Description

基于影像边缘特征的三维模型自动调整方法
技术领域
本发明属于倾斜摄影建模领域,特别是涉及模型基于倾斜影像边缘特征自动调整的方法。
背景技术
建筑物的三维重建是一种获取建筑物三维结构详细信息的重要手段,在城市规划与管理、多规合一、房地一体、应急指挥等领域得到广泛的运用。迄今为止,它一直是摄影测量、遥感、计算机视觉、模式识别以及测绘等领域长期研究的重中之重。
目前,市场主流的建模方式主要有纯人工建模、全自动建模、半自动建模等。
纯人工建模方法需要外业人员到实地对各个建筑进行多角度的拍摄后,内业人员根据外业人员拍摄得到的相片以及规划图在三维建模软件中进行人工建模。在这种建模方式下,由于外业人员无法获得建筑的位置与尺寸,内业人员在进行建模时只能估算建筑的尺寸和位置,因此无法保证模型的精确性。建模完成后,还需要人工对模型进行纹理贴附:内业人员从外业人员采集的相片中抠取出建筑对应的纹理内容后对其进行修正和美化,这个过程需要耗费工作人员大量的时间和精力。
全自动建模方法基于倾斜摄影技术,可根据影像空三数据实现全自动建模,它可以有效地提高建模效率、保证模型的坐标精度。但是,全自动建模的模型成果为三角网模型,存在着数据量太大、建筑非单体化、建筑细节无法体现等问题。
半自动建模方法是在全自动建模技术的基础上,利用倾斜影像、倾斜影像空三数据、三角网数据模拟航拍倾斜影像时摄像机的位置与姿态,以此来进行半自动建模与全自动纹理映射。相对于纯手工建模,此方法可以大幅提高建模效率,省去外业实地拍摄、内业纹理贴附的工序;相对于全自动建模,此方法可以大幅减少数据量、使模型可以实现单体化,并体现模型的细节。但是由于半自动建模是基于单张倾斜影像进行建模,所以相对于全自动建模成果精度会有一定差距。
发明内容
本发明针对半自动单体建模方法现有技术的不足,提供一种自动从多张影像中提取建筑边缘特征,并根据边缘特征信息自动调整模型来提高模型精度的方法,包括以下步骤:
步骤1,获取倾斜影像的摄影机投影矩阵,具体是通过空三文件中影像的内方位元素,即摄影中心S到像片的垂距f,和像主点在像框标坐标系中的坐标px,py。计算出摄像机标定矩阵K。
Figure BDA0001276523430000021
通过空三文件中的外方位元素,姿态用R矩阵表示,摄影中心的空间坐标值用
Figure BDA0001276523430000022
表示,计算出摄像机坐标系与世界坐标系的转换矩阵。
Figure BDA0001276523430000023
结合摄像机定标矩阵,可得出通过物点坐标计算像点坐标的公式如下:
Figure BDA0001276523430000024
即获得了倾斜影像的投影矩阵
Figure BDA0001276523430000025
步骤2,获取待调整三维模型的某一条边线,得到该边线的端点坐标P1(X_1,Y_1,Z_1),P2(X_2,Y_2,Z_2)。结合倾斜影像的内外方元素,算出端点在所有倾斜影像中的像点坐标。然后根据判断像点坐标是否超出了影像范围来对倾斜影像进行筛选,具体是针对某一幅倾斜影像,通过公式x=PX,计算出边线两端点P1、P2对应的像点坐标,如果像点坐标均在影像范围内,也就是像点坐标x、y大于0小于像平面长宽,则判定该条边线投影在影像内范围内,影像通过了筛选。
步骤3,计算各个倾斜影像在对应的视角下,边线是否被模型其他面遮挡,以此来对倾斜影像进行再次筛选。
步骤4,将模型边线映射到通过筛选的倾斜影像中,获得对应的像平面线段。将线段放大至一个矩形。对矩形区域内的影像进行二值化处理。
步骤5,在影像二值化的基础上进行霍夫变换直线检测,图像中,直线在极坐标中用(r,θ)表示,r=cos(θ)*x+sin(θ)*y。通过θ从0到180度旋转,可以用(r,θ)表示经过(x0,y0)点的所有直线。
步骤6,将检测到的所有线段投射到三角网模型上,根据投射获得到线段计算出修正后的模型边线的表达式。
步骤7,根据表达式,对边线进行修正。并依照以上步骤,对模型的每一条边线都进行修改。
步骤8,修正后的边线破坏了模型的各个面结构。根据模型之前各个面的位置与姿态,再对模型各边线进行共面拟合。
在上述的基于影像边缘特征的三维模型自动调整方法的方法,所述步骤3中,具体方法是通过空三文件,获取到倾斜影像摄影中心的空间坐标值
Figure BDA0001276523430000031
进而获取到一个由摄影中心、边线两端点组成的空间三角形。假设由摄影中心、边线组成的三角形的平面表达式为A1X+B1Y+C1Z+D1=0。
选择模型的某一个面,将该面竖直投影到三角形平面上,即不改变面上各个顶点的x、y坐标值,根据三角形平面坐标方程式,计算出对应的z坐标值。如果通过投影后,面上各个顶点的z坐标值都变大,说明模型面在三角形平面的下方,该面不会对边线有遮挡。如果面上某些顶点的z坐标值变小,则判断该面是否对边线有遮挡,具体包括:
步骤3.1、选择投影面的某一条边线。
步骤3.2、判断边线是否有顶点在三角形内,如果有顶点落在三角形,说明面对边线有遮挡。
步骤3.3、如果边线的顶点都在三角形外,则需要判断三角形的三条线段是否与边线有交点。如果有交点说明面对边线有遮挡。
步骤3.4、遍历投影面上的每一条边线重复以上步骤,如果投影面上所有边线的顶点都在三角形外,并且所有边线与三角形的三条线段之间均无交点,说面模型的这个面没有遮挡边线。
在上述的基于影像边缘特征的三维模型自动调整方法的方法,所述步骤4中,通过筛选获得符合条件的倾斜影像后,利用倾斜影像对应的投影矩阵P计算出模型边线在像平面上的投影。将投影得到的线段向垂直方向各向外扩充5像素,在像平面上得到一个矩形框。
对于矩形内的图像I(x,y),前景(即目标)和背景的分割阈值记作T,属于前景的像素点数占整幅图像的比例记为ω0,其平均灰度μ0;背景像素点数占整幅图像的比例为ω1,其平均灰度为μ1。图像的总平均灰度记为μ,类间方差记为g。
定义图像的背景较暗,并且图像的大小为M×N,如图1所示,图像中像素的灰度值小于阈值T的像素个数记作N0,像素灰度大于阈值T的像素个数记作N1,则有:
Figure BDA0001276523430000041
Figure BDA0001276523430000042
N0+N1=M×N (3)
ω01=1 (4)
μ=ω0×μ01×μ1 (5)
g=ω0×(μ0-μ)21×(μ1-μ)2 (6)
根据上述方程式,采用遍历的方法得到使类间方差最大的阈值T,即为所求。最后通过阈值为依据,将影像二值化。
在上述的基于影像边缘特征的三维模型自动调整方法的方法,所述步骤6中,由筛选后的某一条线段的其中一个端点与摄影中心组成一条直线,然后求得直线与三角网模型的交点,同此方法获得线段另一个端点对应的交点。
以此类推,获得所有通过筛选的倾斜影像中所有通过筛选的线段投射到三角网上的点集。通过空间中离散点进行线性拟合,获得拟合线段的表达式。
空间直线方程可以简化为:
Figure BDA0001276523430000043
用矩阵形式表达为:
Figure BDA0001276523430000044
当有n个点时第i个点的方程为:
Figure BDA0001276523430000045
并联n个方程得到:
Figure BDA0001276523430000046
最小二乘拟合:
Figure BDA0001276523430000047
化简为:
Figure BDA0001276523430000051
求矩阵即可得到m,n,X0,Y0,修正后的直线方程即为所得。
在上述的基于影像边缘特征的三维模型自动调整方法的方法,所述步骤7中,定义直线方程为
Figure BDA0001276523430000052
边线的顶点坐标分别为(Xa,Ya,Za)、(Xb,Yb,Zb)。通过顶点做直线的垂面,则两个顶点对应的垂面方程为
Figure BDA0001276523430000053
两个垂面与直线的交点分别为:
Figure BDA0001276523430000054
Figure BDA0001276523430000055
以上求得的坐标,即为边线两顶点,修正后的坐标值。最后,依照以上步骤,对模型的每一条边线都进行修改。
在上述的基于影像边缘特征的三维模型自动调整方法的方法,所述步骤8中,修正基于以下约束条件:
约束条件一、模型原来各个面的顶点在同一个平面上;
约束条件二、模型各个面的姿态与原始姿态相同;
具体方法是:根据原来面上的各个顶点的修正值,拟合出新的平面。平面方程一般表达式为:
Ax+By+Cz+D=0
方程推导为:
Figure BDA0001276523430000056
Figure BDA0001276523430000057
则:z=a0x+a1y+a2。由于平面的姿态是不变的,所以a0,a1为确定值,只有a2为未知值。
对于一系列的n个离散点(n≥3)拟合计算平面方程时,则使:
Figure BDA0001276523430000061
最小。
要使S最小,应满足:
Figure BDA0001276523430000062
即:
Figure BDA0001276523430000063
通过解上述线性方程,得到a2的值。即获得了修正后的平面方程。
获得平面方程后,将各个顶点垂直投影至修正后的平面上。
将平面方程以Ax+By+Cz+D=0形式表达,各个顶点坐标值为(Xi,Yi,Zi)。那么投影到平面上的坐标为:
Figure BDA0001276523430000064
即得到了平面内各个顶点最终的修正值。
本发明与现有半自动建模方式相比,具有以下显著效果:1、本发明可以使模型根据倾斜影像边缘特征进行自动调节,减少人工干预,提高了建模效率;2、相对于人工参照单张倾斜影像调节模型的方式,本发明可以使模型同时参照多张倾斜影像进行调整,进而提升模型精度。
附图说明
图1为本发明实施例中影像二值化处理示意图
图2为本发明实施例中霍夫变换直线检测用极坐标表示直线示意图。
图3为本发明实施例中基于影像边缘特征的三维模型自动调整方法方法流程图。
具体实施方式
本发明是基于自动提取多张倾斜影像边缘特征对模型进行自动调整的方法。首先通过模型边线与倾斜影像之间的空间关系,对倾斜影像进行筛选,获得包含有线条信息的影像。然后对模型边线在倾斜影像中映射得到的线条根据影像大小进行外扩,得到对应矩形。接着在矩形区域内进行直线检测获取多个线条,并利用线条与三角网数据的映射关系对模型边线进行拟合,以修正模型各边线的位置。最后在遍历并调整了模型所有边线后,根据模型原有结构对边线进行二次拟合,获得最终的模型成果。
下面结合附图和实施例对本发明的技术方案作进一步说明。
如图3所示,本发明实施例的流程包包括有以下步骤。
步骤1,获取倾斜影像的摄影机投影矩阵。
通过空三文件中影像的内方位元素,即摄影中心S到像片的垂距(主距)f,和像主点在像框标坐标系中的坐标px,py。计算出摄像机标定矩阵K。
Figure BDA0001276523430000071
通过空三文件中的外方位元素(用于描述摄影中心的空间坐标值和姿态的参数),姿态用R矩阵表示,摄影中心的空间坐标值用
Figure BDA0001276523430000072
表示,计算出摄像机坐标系与世界坐标系的转换矩阵。
Figure BDA0001276523430000073
结合摄像机定标矩阵,可得出通过物点坐标计算像点坐标的公式如下:
Figure BDA0001276523430000074
即获得了倾斜影像的投影矩阵
Figure BDA0001276523430000075
步骤2,获取模型的某一条边线,得到该边线的端点坐标P1(X1,Y1,Z1),P2(X2,Y2,Z2)。结合倾斜影像的内外方元素,算出端点在所有倾斜影像中的像点坐标。然后根据判断像点坐标是否超出了影像范围来对倾斜影像进行筛选。
针对某一幅倾斜影像,通过公式x=PX,可以计算出边线两端点P1、P2对应的像点坐标,如果像点坐标均在影像范围内(像点坐标x、y大于0小于像平面长宽),则说明该条边线投影在影像内范围内,影像通过了筛选。
步骤3,计算各个倾斜影像在对应的视角下,边线是否被模型其他面遮挡,以此来对倾斜影像进行再次筛选。
通过空三文件,获取到倾斜影像摄影中心的空间坐标值
Figure BDA0001276523430000076
进而获取到一个由摄影中心、边线两端点组成的空间三角形。假设由摄影中心、边线组成的三角形的平面表达式为A1X+B1Y+C1Z+D1=0。
选择模型的某一个面,将该面竖直投影到三角形平面上,即不改变面上各个顶点的x、y坐标值,根据三角形平面坐标方程式,计算出对应的z坐标值。如果通过投影后,面上各个顶点的z坐标值都变大,说明模型面在三角形平面的下方,该面不会对边线有遮挡。如果面上某些顶点的z坐标值变小,则需要进行下面的步骤来判断该面是否对边线有遮挡:
1.选择投影面的某一条边线。
2.判断边线是否有顶点在三角形内,如果有顶点落在三角形,说明面对边线有遮挡。
3.如果边线的顶点都在三角形外,则需要判断三角形的三条线段是否与边线有交点。如果有交点说明面对边线有遮挡。
4.遍历投影面上的每一条边线重复以上步骤,如果投影面上所有边线的顶点都在三角形外,并且所有边线与三角形的三条线段之间均无交点,说面模型的这个面没有遮挡边线。
遍历模型中不包含边线的每一个面,判断其是否对边线有遮挡。如果每一个面都不会对边线有遮挡时,说明对应的倾斜影像符合条件,通过筛选。
步骤4,将模型边线映射到通过筛选的倾斜影像中,获得对应的像平面线段。将线段放大至一个矩形。对矩形区域内的影像进行二值化处理。
通过筛选获得符合条件的倾斜影像后,利用倾斜影像对应的投影矩阵P计算出模型边线在像平面上的投影。将投影得到的线段向垂直方向各向外扩充5像素,在像平面上得到一个矩形框。
对于矩形内的图像I(x,y),前景(即目标)和背景的分割阈值记作T,属于前景的像素点数占整幅图像的比例记为ω0,其平均灰度μ0;背景像素点数占整幅图像的比例为ω1,其平均灰度为μ1。图像的总平均灰度记为μ,类间方差记为g。
假设图像的背景较暗,并且图像的大小为M×N,如图1所示,图像中像素的灰度值小于阈值T的像素个数记作N0,像素灰度大于阈值T的像素个数记作N1,则有:
Figure BDA0001276523430000081
Figure BDA0001276523430000082
N0+Ni=M×N (3)
ω01=1 (4)
μ=ω0×μ01×μ1 (5)
g=ω0×(μ0-μ)21×(μ1-μ)2 (6)
根据上述方程式,采用遍历的方法得到使类间方差最大的阈值T,即为所求。最后通过阈值为依据,将影像二值化。
步骤5,在影像二值化的基础上进行霍夫变换直线检测。
图像中,直线在极坐标中用(r,θ)表示,r=cos(θ)*x+sin(θ)*y。通过θ从0到180度旋转,可以用(r,θ)表示经过(x0,y0)点的所有直线。
如图2所示,对二值化影像内的每一个点,进行如上操作,如果两个不同的点进行上述操作后得到的曲线在平面相交,这就意味着它们通过同一条直线。而越多曲线交于一点也就意味着这个交点表示的直线由更多的点组成。在程序中我们设置5作为直线上点的阈值来筛选影像中的直线。
通过以上算法获得影像中所有检测到的线段后,利用线条与模型边线映射到像平面线段的夹角进行筛选,只有夹角小于10度的线段才可以通过筛选。
步骤6,将检测到的所有线段投射到三角网模型上,根据投射获得到线段计算出修正后的模型边线的表达式。
由筛选后的某一条线段的其中一个端点与摄影中心组成一条直线,然后求得直线与三角网模型的交点,同此方法获得线段另一个端点对应的交点。
以此类推,获得所有通过筛选的倾斜影像中所有通过筛选的线段投射到三角网上的点集。通过空间中离散点进行线性拟合,获得拟合线段的表达式。
空间直线方程可以简化为:
Figure BDA0001276523430000091
用矩阵形式表达为:
Figure BDA0001276523430000092
当有n个点时第i个点的方程为:
Figure BDA0001276523430000093
并联n个方程得到:
Figure BDA0001276523430000094
最小二乘拟合:
Figure BDA0001276523430000095
化简为:
Figure BDA0001276523430000101
求矩阵即可得到m,n,X0,Y0,修正后的直线方程即为所得。
步骤7,根据表达式,对边线进行修正。并依照以上步骤,对模型的每一条边线都进行修改。
通过上一步骤得到的直线方程,依据直线方程对边线顶点进行修正。
假设直线方程为
Figure BDA0001276523430000102
边线的顶点坐标分别为(Xa,Ya,Za)、(Xb,Yb,Zb)。通过顶点做直线的垂面,则两个顶点对应的垂面方程为
Figure BDA0001276523430000103
两个垂面与直线的交点分别为:
Figure BDA0001276523430000104
Figure BDA0001276523430000105
以上求得的坐标,即为边线两顶点,修正后的坐标值。最后,依照以上步骤,对模型的每一条边线都进行修改。
步骤8,修正后的模型边线破坏了模型的各个面结构。根据模型之前各个面的位置与姿态,再对模型各边线进行共面拟合。
调整了模型的所有边线后,导致了模型原有面结构被破坏(由于一个平面由三个顶点确定,而模型中一个面中总会有大于等于三个顶点存在,通过修正后,这些顶点会不在一个平面上)。所以需要对模型的面再进行一次修正,修正的原则为:
1.保证模型原来各个面的顶点在仍然在同一个平面上
2.不改变模型各个面的姿态(水平面依旧为水平面,垂直面依旧为垂直面)
根据原来面上的各个顶点的修正值,拟合出新的平面。平面方程一般表达式为:
Ax+By+Cz+D=0
方程可推导为:
Figure BDA0001276523430000111
记:
Figure BDA0001276523430000112
则:z=a0x+a1y+a2。由于平面的姿态是不变的,所以a0,a1为确定值,只有a2为未知值。
对于一系列的n个离散点(n≥3)拟合计算平面方程时,则使:
Figure BDA0001276523430000113
最小。
要使S最小,应满足:
Figure BDA0001276523430000114
即:
Figure BDA0001276523430000115
通过解上述线性方程,得到a2的值。即获得了修正后的平面方程。
获得平面方程后,将各个顶点垂直投影至修正后的平面上。
将平面方程以Ax+By+Cz+D=0形式表达,各个顶点坐标值为(Xi,Yi,Zi)。那么投影到平面上的坐标为:
Figure BDA0001276523430000116
即得到了平面内各个顶点最终的修正值。
在具体实施中,本发明提供的方法可基于软件技术实现自动运行流程,也可采用模块化方式实现相应系统。
本文中所描述的具体实施仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施案例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.基于影像边缘特征的三维模型自动调整方法,其特征在于,包括以下步骤:
步骤1,获取倾斜影像的摄影机投影矩阵,具体是通过空三文件中影像的内方位元素,即摄影中心S到像片的垂距f,和像主点在像框标坐标系中的坐标px,py;计算出摄像机标定矩阵K;
Figure FDA0002441132720000011
通过空三文件中的外方位元素,姿态用R矩阵表示,摄影中心的空间坐标值用
Figure FDA0002441132720000012
表示,计算出摄像机坐标系与世界坐标系的转换矩阵;
Figure FDA0002441132720000013
结合摄像机定标矩阵,可得出通过物点坐标计算像点坐标的公式如下:
Figure FDA0002441132720000014
即获得了倾斜影像的投影矩阵
Figure FDA0002441132720000015
步骤2,获取待调整三维模型的某一条边线,得到该边线的端点坐标P1(X_1,Y_1,Z_1),P2(X_2,Y_2,Z_2);结合倾斜影像的内外方元素,算出端点在所有倾斜影像中的像点坐标;然后根据判断像点坐标是否超出了影像范围来对倾斜影像进行筛选,具体是针对某一幅倾斜影像,通过公式x=PX,计算出边线两端点P1、P2对应的像点坐标,如果像点坐标均在影像范围内,也就是像点坐标x、y大于0小于像平面长宽,则判定该条边线投影在影像内范围内,影像通过了筛选;
步骤3,计算各个倾斜影像在对应的视角下,边线是否被模型其他面遮挡,以此来对倾斜影像进行再次筛选;
步骤4,将模型边线映射到通过筛选的倾斜影像中,获得对应的像平面线段;将线段放大至一个矩形;对矩形区域内的影像进行二值化处理;
步骤5,在影像二值化的基础上进行霍夫变换直线检测,图像中,直线在极坐标中用(r,θ)表示,r=cos(θ)*x+sin(θ)*y;通过θ从0到180度旋转,用(r,θ)表示经过(x0,y0)点的所有直线;
步骤6,将检测到的所有线段投射到三角网模型上,根据投射获得到线段计算出修正后的模型边线的表达式;
步骤7,根据表达式,对边线进行修正;并依照步骤6,对模型的每一条边线都进行修改;
步骤8,修正后的边线破坏了模型的各个面结构;根据模型之前各个面的位置与姿态,再对模型各边线进行共面拟合。
2.根据权利要求1所述的基于影像边缘特征的三维模型自动调整方法的方法,其特征在于:所述步骤3中,具体方法是通过空三文件,获取到倾斜影像摄影中心的空间坐标值
Figure FDA0002441132720000021
进而获取到一个由摄影中心、边线两端点组成的空间三角形;假设由摄影中心、边线组成的三角形的平面表达式为A1X+B1Y+C1Z+D1=0;
选择模型的某一个面,将该面竖直投影到三角形平面上,即不改变面上各个顶点的x、y坐标值,根据三角形平面坐标方程式,计算出对应的z坐标值;如果通过投影后,面上各个顶点的z坐标值都变大,说明模型面在三角形平面的下方,该面不会对边线有遮挡;如果面上某些顶点的z坐标值变小,则判断该面是否对边线有遮挡,具体包括:
步骤3.1、选择投影面的某一条边线;
步骤3.2、判断边线是否有顶点在三角形内,如果有顶点落在三角形,说明面对边线有遮挡;
步骤3.3、如果边线的顶点都在三角形外,则需要判断三角形的三条线段是否与边线有交点;如果有交点说明面对边线有遮挡;
步骤3.4、遍历投影面上的每一条边线重复以上步骤,如果投影面上所有边线的顶点都在三角形外,并且所有边线与三角形的三条线段之间均无交点,说面模型的这个面没有遮挡边线。
3.根据权利要求1所述的基于影像边缘特征的三维模型自动调整方法的方法,其特征在于:所述步骤4中,通过筛选获得符合条件的倾斜影像后,利用倾斜影像对应的投影矩阵P计算出模型边线在像平面上的投影;将投影得到的线段向垂直方向各向外扩充5像素,在像平面上得到一个矩形框;
对于矩形内的图像I(x,y),前景和背景的分割阈值记作T,属于前景的像素点数占整幅图像的比例记为ω0,其平均灰度μ0;背景像素点数占整幅图像的比例为ω1,其平均灰度为μ1;图像的总平均灰度记为μ,类间方差记为g;
定义图像的背景较暗,并且图像的大小为M×N,图像中像素的灰度值小于阈值T的像素个数记作N0,像素灰度大于阈值T的像素个数记作N1,则有:
Figure FDA0002441132720000031
Figure FDA0002441132720000032
N0+N1=M×N (3)
ω01=1 (4)
μ=ω0×μ01×μ1 (5)
g=ω0×(μ0-μ)21×(μ1-μ)2 (6)
根据上述方程式,采用遍历的方法得到使类间方差最大的阈值T,即为所求;最后通过阈值为依据,将影像二值化。
4.根据权利要求1所述的基于影像边缘特征的三维模型自动调整方法的方法,其特征在于:所述步骤6中,由筛选后的某一条线段的其中一个端点与摄影中心组成一条直线,然后求得直线与三角网模型的交点,同此方法获得线段另一个端点对应的交点;
以此类推,获得所有通过筛选的倾斜影像中所有通过筛选的线段投射到三角网上的点集;通过空间中离散点进行线性拟合,获得拟合线段的表达式;
空间直线方程可以简化为:
Figure FDA0002441132720000033
用矩阵形式表达为:
Figure FDA0002441132720000034
当有n个点时第i个点的方程为:
Figure FDA0002441132720000035
并联n个方程得到:
Figure FDA0002441132720000041
最小二乘拟合:
Figure FDA0002441132720000042
化简为:
Figure FDA0002441132720000043
求矩阵即可得到m,n,X0,Y0,修正后的直线方程即为所得。
5.根据权利要求1所述的基于影像边缘特征的三维模型自动调整方法的方法,其特征在于:所述步骤7中,定义直线方程为
Figure FDA0002441132720000044
边线的顶点坐标分别为(Xa,Ya,Za)、(Xb,Yb,Zb);通过顶点做直线的垂面,则两个顶点对应的垂面方程为
Figure FDA0002441132720000045
两个垂面与直线的交点分别为:
Figure FDA0002441132720000046
Figure FDA0002441132720000047
以上求得的坐标,即为边线两顶点,修正后的坐标值;最后,依照以上步骤,对模型的每一条边线都进行修改。
6.根据权利要求1所述的基于影像边缘特征的三维模型自动调整方法的方法,其特征在于:所述步骤8中,修正基于以下约束条件:
约束条件一、模型原来各个面的顶点在同一个平面上;
约束条件二、模型各个面的姿态与原始姿态相同;
具体方法是:根据原来面上的各个顶点的修正值,拟合出新的平面;平面方程一般表达式为:
Ax+By+Cz+D=0
方程推导为:
Figure FDA0002441132720000048
Figure FDA0002441132720000051
则:z=a0x+a1y+a2;由于平面的姿态是不变的,所以a0,a1为确定值,只有a2为未知值;
对于一系列的n个离散点拟合计算平面方程时,n≥3,则使:
Figure FDA0002441132720000052
最小;
要使S最小,应满足:
Figure FDA0002441132720000053
即:
Figure FDA0002441132720000054
通过解上述线性方程,得到a2的值;即获得了修正后的平面方程;
获得平面方程后,将各个顶点垂直投影至修正后的平面上;
将平面方程以Ax+By+Cz+D=0形式表达,各个顶点坐标值为(Xi,Yi,Zi);那么投影到平面上的坐标为:
Figure FDA0002441132720000055
即得到了平面内各个顶点最终的修正值。
CN201710267788.6A 2017-04-21 2017-04-21 基于影像边缘特征的三维模型自动调整方法 Active CN107146286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710267788.6A CN107146286B (zh) 2017-04-21 2017-04-21 基于影像边缘特征的三维模型自动调整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710267788.6A CN107146286B (zh) 2017-04-21 2017-04-21 基于影像边缘特征的三维模型自动调整方法

Publications (2)

Publication Number Publication Date
CN107146286A CN107146286A (zh) 2017-09-08
CN107146286B true CN107146286B (zh) 2020-07-24

Family

ID=59773888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710267788.6A Active CN107146286B (zh) 2017-04-21 2017-04-21 基于影像边缘特征的三维模型自动调整方法

Country Status (1)

Country Link
CN (1) CN107146286B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833273B (zh) * 2017-11-02 2021-03-02 重庆市勘测院 基于三维仿真模型的倾斜摄影三维模型对象化应用方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361628A (zh) * 2014-11-27 2015-02-18 南宁市界围工程咨询有限公司 一种基于航空倾斜摄影测量的三维实景建模系统
CN105701491A (zh) * 2014-11-25 2016-06-22 上海思鲨信息科技有限公司 固定格式文档图像模版的制作方法及其应用

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8531472B2 (en) * 2007-12-03 2013-09-10 Pictometry International Corp. Systems and methods for rapid three-dimensional modeling with real façade texture

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701491A (zh) * 2014-11-25 2016-06-22 上海思鲨信息科技有限公司 固定格式文档图像模版的制作方法及其应用
CN104361628A (zh) * 2014-11-27 2015-02-18 南宁市界围工程咨询有限公司 一种基于航空倾斜摄影测量的三维实景建模系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Automatic building extraction from oblique aerial images;Xiaofeng Sun等;《2016 23rd International Conference on Pattern Recognition (ICPR)》;20161208;全文 *
倾斜影像的三维纹理快速重建;张春森等;《测绘学报》;20150731;第44卷(第7期);全文 *
倾斜影像自动空三及其在城市真三维模型重建中的应用;李德仁等;《武汉大学学报 信息科学版》;20160630;第41卷(第6期);全文 *
联合实验和仿真的机器人参数标定;王栋等;《机电工程》;20131031;第30卷(第10期);全文 *

Also Published As

Publication number Publication date
CN107146286A (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
US7509241B2 (en) Method and apparatus for automatically generating a site model
CN110473221B (zh) 一种目标物体自动扫描系统及方法
WO2020192355A1 (zh) 一种城市观山可视域的测量方法及系统
CN111583411A (zh) 一种基于倾斜摄影的三维模型建立方法
CN104484648A (zh) 基于轮廓识别的机器人可变视角障碍物检测方法
CN110345925B (zh) 一种针对五目航拍照片质量检测及空三处理方法
JP2014035702A (ja) 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
CN104463969B (zh) 一种对航空倾斜拍摄的地理照片的模型的建立方法
CN111369659A (zh) 一种基于三维模型的纹理映射方法、装置及设备
CN109255808A (zh) 基于倾斜影像的建筑物纹理提取方法和装置
Ahmadabadian et al. Image selection in photogrammetric multi-view stereo methods for metric and complete 3D reconstruction
Alsadik Guided close range photogrammetry for 3D modelling of cultural heritage sites
CN113920275B (zh) 三角网格构建方法、装置、电子设备及可读存储介质
CN113393577B (zh) 一种倾斜摄影地形重建方法
CN107146286B (zh) 基于影像边缘特征的三维模型自动调整方法
CN114170402A (zh) 隧洞结构面提取方法、装置
TWI655409B (zh) Route planning method for aerial photography using multi-axis unmanned aerial vehicles
CN116152121B (zh) 基于畸变参数的曲面屏生成方法、矫正方法
Ebrahimikia et al. True orthophoto generation based on unmanned aerial vehicle images using reconstructed edge points
CN109141372B (zh) 一种用于港口起重机械摄影测量的模糊匹配方法
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法
CN109785421B (zh) 一种基于空地影像组合的纹理映射方法及系统
CN108734671B (zh) 三维纹理修饰方法及其系统、自动贴图方法及其系统
CN116245928A (zh) 一种基于双目立体匹配的三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant