CN113379899A - 一种建筑工程工作面区域图像自动提取方法 - Google Patents

一种建筑工程工作面区域图像自动提取方法 Download PDF

Info

Publication number
CN113379899A
CN113379899A CN202110693418.5A CN202110693418A CN113379899A CN 113379899 A CN113379899 A CN 113379899A CN 202110693418 A CN202110693418 A CN 202110693418A CN 113379899 A CN113379899 A CN 113379899A
Authority
CN
China
Prior art keywords
omega
image
coordinate system
area
working face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110693418.5A
Other languages
English (en)
Other versions
CN113379899B (zh
Inventor
李成涛
陈立
姚楠
马文刚
胡世翔
黄传峰
林敏�
肖仪清
李朝
潘大荣
朱玉琴
丛菱
施佳琳
王一笑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202110693418.5A priority Critical patent/CN113379899B/zh
Publication of CN113379899A publication Critical patent/CN113379899A/zh
Application granted granted Critical
Publication of CN113379899B publication Critical patent/CN113379899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种建筑工程工作面区域图像自动提取方法,获取N张建筑工地现场相片形成相片组并对相片组进行空三解析获得相片的位姿信息,进而重建场景三维模型,基于相片的位姿信息以及相片的标定矩阵K(i)得到投影矩阵P(i);根据场景三维模型的点云和项目设计信息,获取M个工作面区域的位置,并得到M个工作面区域所对应的面域Ω(j);在N张相片中,通过投影矩阵P(i),对Ω(j)进行投影,得到第i张相片上的投影区域ω(ij),并从N张相片的投影区域中找到Ω(j)解析度最高的投影
Figure DDA0003127069210000011
利用本发明推导得到的从
Figure DDA0003127069210000012
到Ω(j)局部坐标系下图像的单应矩阵
Figure DDA0003127069210000013
Figure DDA0003127069210000014
转换为工作面区域正射图像
Figure DDA0003127069210000015
本发明的提取方法实现了在从单幅相片中对工作面区域图像进行物理意义明确、高保真度的自动化提取。

Description

一种建筑工程工作面区域图像自动提取方法
技术领域
本发明涉及建筑工地图像处理技术领域,尤其是一种建筑工程工作面区域图像自动提取方法。
背景技术
随着数码成像设备成本越来越低,对各类场景的监控相片越来越常见。这给我们通过机器视觉技术进行自动化的信息提取和处理提供了数据层面的基础。在很多情况下,图像分析的对象并非整张相片,而是其中某些区域,可称为“兴趣区域”。在建筑工程的主体施工阶段,主要的“兴趣区域”是楼层工作面。工作面是表明施工对象上可能安置一定工人操作或布置施工机械的空间大小,所以工作面是用来反映施工过程(工人操作、机械布置)在空间上布置的状态;工作面的状态往往是建筑工程相关各方共同关注的焦点。如果从一组几百张图片中去筛选、辨识每栋楼的工作面,是一件耗费人力、容易出错的。如何将工作面区域有效的从工地监控相片中提取出来,涉及到“图像分割”的相关技术。现有的图像分割技术,大多基于单相片信息,利用兴趣目标的颜色、灰度、纹理等特征,采用阈值分割、边缘分割、直方图法等方法,近年来也有结合卷积神经网络等图像识别技术的单像图像分割方法。这些常用的、基于单相片的图像分割方法,依赖目标的颜色、边缘、纹理等特征;识别出来的区域,物理含义、空间含义不明确,误判难以避免。当处于纷繁芜杂的工程场景时,工作面的特征、边界不清晰更是普遍情况,作为兴趣区域的“工作面区域”的图像,往往难以有效识别。
在基于相片的三维建模应用日渐广泛后,对场景相片进行三维建模,将工作面平面的图像进行融合,生成“工作面区域”的正射图像,也是一种较为有效的工作面区域图像提取方式,但是,在多图像融合过程中,往往由于图像数量较少、遮蔽区域无法建模等原因,工作面区域的三维场景出现较大的扭曲、变形,此时,通过三维模型生成正射投影方式获取的工作面区域图像,出现大量视觉信息缺失的情况,即时采用人工方式,也难以对工作面进行识读;对于机器视觉的自动化识别来说,这种工作面正射图像,后续的可用性也大打折扣。
由于场景相片是通过摄像机获取的“第一手”信息,并未经过后续的图像解算和融合,避免了后续误差的引入,图像信息的真实性得到了更大程度的保留,虽然也存在局部遮挡、倾斜等问题,但对于状态判别而言,含有更多清晰有效的信息,工程利用价值更高。
一般而言,建筑工程主体的工作面,其主体往往依附于某一楼层的楼板或者外墙墙体,具有三维空间中两维尺度远大于第三维尺度的特点,据此,可以将楼层工作面在几何概念上简化为一个“面域”(面域是二维闭合区域。)那么,工作面区域图像的提取,即转化为从N张工地现场图片中,找到工作面区域对应“面域”的最佳图像的问题,同时可以结合尺寸信息,并根据投影关系,将工作面区域图像转换为具有比例尺意义的正射图像,从而绕开图像中边缘、颜色、纹理等复杂特征的分析环节,也避免多图像三维重建引入的信息失真。
发明内容
针对现有技术中存在不足,本发明提供了一种建筑工程工作面区域图像自动提取方法。该方法利用建筑工程场景的相片组,进行空三解算和工地场景三维重建,获取各相片位姿和工作面空间位置,进而通过将工作面区域向相片投射的方式,得到工作面区域的图像分割结果,即“工作面区域图像”,并在同一工作面区域的多个“工作面区域图像”中以若干规则进行比较,自动提取优选的“工作面区域图像”。
本发明是通过以下技术手段实现上述技术目的的。
一种建筑工程工作面区域图像自动提取方法,包括如下步骤:
S1、获取N张建筑工地现场相片形成相片组,通过对相片组进行空三解析,计算得到各相片的投影中心位置
Figure BDA0003127069190000021
和从世界坐标系到相片坐标系的旋转矩阵R(i),重建场景三维模型;其中,上标(i)表示第i张相片,i=1、2、...、N
S2、根据场景三维模型的点云和项目设计信息,获取M个工作面区域的位置,并得到M个工作面区域所对应的面域Ω(j),Ω(j)为第j个工作面区域所对应的面域,j=1、2、...、M;
S3、基于各相片的
Figure BDA0003127069190000022
和R(i),以及各相片的标定矩阵K(i),根据下式得到世界坐标系下空间坐标到相片坐标的投影矩阵P(i);其中,I为单位矩阵;
Figure BDA0003127069190000023
S4、在N张相片中,通过投影矩阵P(i),对Ω(j)进行投影,得到Ω(j)在第i张相片上的投影ω(ij),并从N张相片的投影区域中找到Ω(j)解析度最高的投影
Figure BDA0003127069190000024
S5、将
Figure BDA0003127069190000025
转换为工作面区域正射图像
Figure BDA0003127069190000026
进一步,S2中面域Ω(j)由其围闭曲线定义;或者将面域光栅化,由一组栅格点
Figure BDA0003127069190000027
表示,下标k为Ω(j)中栅格点的序号。
进一步,S4中
Figure BDA0003127069190000028
由以下步骤找到:
S4.1、计算第i张相片中投影中心
Figure BDA0003127069190000029
到面域Ω(j)空间位置重心的距离dij,并基于该距离选取第一轮备选相片;
S4.2、利用投影矩阵P(i),获取面域Ω(j)内部的所有栅格点
Figure BDA0003127069190000031
在第i张相片的投影点
Figure BDA0003127069190000032
并由此得到Ω(j)在第i张相片上的投影区域ω(ij)
Figure BDA0003127069190000033
为第i张相片上的列坐标、行坐标;
S4.3、判断ω(ij)的完整性,将完整性满足要求的相片作为提取Ω(j)投影图像的第二轮备选相片;
S4.4、在第二轮备选相片中,对于Ω(j),计算ω(ij)的面积中的最大值,将ω(ij)面积最大者作为Ω(j)解析度最高的“工作面区域投影图像”
Figure BDA0003127069190000034
进一步,S4.1中各相片投影中心
Figure BDA0003127069190000035
到面域Ω(j)重心的距离的计算方法为:基于面域Ω(j)内部的所有栅格点
Figure BDA0003127069190000036
计算其在X,Y,Z三个分量的平均值,即求得面域Ω(j)的重心:
Figure BDA0003127069190000037
计算
Figure BDA0003127069190000038
Figure BDA0003127069190000039
的欧式距离dij;并基于该距离选取备选相片的方法为:对所求的欧式距离dij进行从小到大的排序,取前m个欧式距离dij所对应的相片,其中m为由用户根据相片组数据情况给定的参数。
进一步,S4.3中判断工作面区域图像的完整性的条件为:
对于面域Ω(j)内所有的栅格点
Figure BDA00031270691900000310
对应的
Figure BDA00031270691900000311
满足:
Figure BDA00031270691900000312
如满足上述条件,则认为第j个工作面区域在第i张图像中的图像完整;反之,第i张图像中的工作面区域图像不完整。其中,Row(i)和Col(i)分别为第i张相片中像素的总行数和总列数。
进一步,S4.4中ω(ij)面积的计算方法为:计算由
Figure BDA00031270691900000313
所构成之散点图的边界,计算该边界围成的面积,即为ω(ij)的面积。
进一步,S5中,将
Figure BDA00031270691900000314
转换为工作面区域正射图像
Figure BDA00031270691900000315
的方法为:
首先,为面域Ω(j)定义与工作面区域正射图像
Figure BDA00031270691900000316
坐标系一致的局部坐标系,其定义为:在Ω(j)所在平面内定义基点
Figure BDA00031270691900000317
对应点为期望在正射图像中坐标为(0,0)的点,可选择面域Ω(j)矩形包围框的角点;将局部坐标系z轴方向定义为Ω(j)的法向
Figure BDA00031270691900000318
定义局部坐标系x轴(或y轴)方向
Figure BDA0003127069190000041
(或
Figure BDA0003127069190000042
),x轴为正射图像
Figure BDA0003127069190000043
的列方向(即x坐标为图像
Figure BDA0003127069190000044
的列坐标);利用正交关系,求得y轴(或x轴)方向。其中,
Figure BDA0003127069190000045
为三维列向量,其分量坐标的所属坐标系均为世界坐标系;
建立面域Ω(j)局部坐标系之后,确定面域Ω(j)局部坐标系与世界坐标系的旋转矩阵
Figure BDA0003127069190000046
另外,根据用户需要,定义比例尺为s,即
Figure BDA0003127069190000047
中每个像素宽度代表真实世界中s个单位长度;
在完成上述定义后,根据下式定义面域Ω(j)局部坐标系到第i张相片坐标系的投影矩阵
Figure BDA0003127069190000048
Figure BDA0003127069190000049
其中diag(s,s,s,1)表示对角元素依次为s、s、s和1的对角矩阵;
在得到
Figure BDA00031270691900000410
之后,将矩阵
Figure BDA00031270691900000411
的第1、2、3、4列向量分别记为
Figure BDA00031270691900000412
得到投影ω(ij)到工作面区域所对应的面域Ω(j)局部坐标系映射的单应矩阵
Figure BDA00031270691900000413
Figure BDA00031270691900000414
此单应矩阵适用于所有的ω(ij),而
Figure BDA00031270691900000415
做为ω(ij)中面积最大的情况,可对对应的第“i”张相片应用该单应矩阵变换得到最优的正射影像
Figure BDA00031270691900000416
最后,利用单应矩阵
Figure BDA00031270691900000417
对ω(ij)中的图像点进行坐标变换,
Figure BDA00031270691900000418
得到面域Ω(j)局部坐标系下的x-y平面内坐标
Figure BDA00031270691900000419
由于,Ω(j)局部坐标系与工作面区域正射图像坐标系一致,
Figure BDA00031270691900000420
Figure BDA00031270691900000421
分别为工作面区域正射图像上的列坐标与行坐标,此时即可得到工作面区域正射图像
Figure BDA00031270691900000422
有益效果
1、建筑工程的“工作面”,严格说来并非平面,而是包含了工作区域的若干施工要素,实际呈三维空间分布;本发明从实际出发,在提取工作面区域图像时,将建筑工程工作面区域的空间位置简化为平面面域,并基于该假设进行“正射影像”提取,结合一般工程实际情况,可以接受,其实用效果可以得到验证;
2、本发明根据场景三维模型的点云和项目设计信息,获取工作面区域的位置,可以实现对动态的施工现场进行当前图像组批次所记录的工作面位置的自动提取,减少每次工作面区域提取过程中人为选定工作面区域的环节;
3、阐述了面域坐标系的定义方式,推导了从工作面区域投影图像到工作面区域正射图像映射的单应矩阵,将工作面区域图像转换为具有比例尺意义的正射图像,实现了标准化流程下的工作面区域正射图像提取,有利于标准化图表的生成,便于后续的计算机视觉算法进行判读;
4、本发明利用三维重建算法,获得的相片位姿信息,实现了在从单幅相片中对工作面区域图像进行物理意义明确、高保真度的自动化提取。
附图说明
图1为本发明建筑工程工作面区域图像自动提取方法流程示意图。
图2为建筑工地现场相片组示意图。
图3为三维重建后生成的场景三维模型示意图。
图4为项目设计信息(各单体建筑平面图)示意图。
图5为面域局部坐标系定义方式示意图。
图6为获取工作面区域所对应的面域。
图7为本发明工作面区域正射图示意图。
图8为本发明形成报表示意图。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明,但本发明的保护范围并不限于此。
如图1,一种建筑工程工作面区域图像自动提取方法,包括以下步骤:
步骤(1)、获取N张建筑工地现场相片形成相片组,通过对相片组进行空三解析,计算得到各相片的投影中心位置
Figure BDA0003127069190000051
和从世界坐标系到相片坐标系的旋转矩阵R(i),重建场景三维模型;其中,上标(i)表示第i张相片,i=1、2、...、N。空三解析和三维重建,可由图像三维重建的商用软件(如大疆智图、Smart3D等)完成,目前此类软件的计算内核都较为成熟,自动化程度较高;亦可根据开源算法编程实现。该建筑工地现场相片需要满足一定重叠率及模型定位信息(如像控点、相片POS信息等)的情况,确保能够完成建筑工地现场的三维重建;对于以建模为目的而采集的相片组,一般都可以满足上述要求。
相片(或对应相机)的位姿信息有多种表式形式,本发明中位姿信息由
Figure BDA0003127069190000052
和R(i)表达,其他表示形式均可等价的表示为
Figure BDA0003127069190000053
和R(i)的形式。第i张相片的位姿信息包含相片投影中心空间位置信息,可表示为:
Figure BDA0003127069190000061
Figure BDA0003127069190000062
分别是第i张相片投影中心在世界坐标系中X、Y、Z方向的坐标;R(i)为从世界坐标系到相片坐标系的旋转矩阵,R(i)为3×3阶矩阵,其矩阵元素的含义,可参见《摄影测量学(测绘工程专业)(第三版)》(武汉大学出版社出版,ISBN号:9787307177734)。
步骤(2)、三维模型包含场景的点云信息,对于点云中的第k点,其坐标记为(Xk,Yk,Zk)。根据点云和项目设计信息(平面布置图、工作面高程等信息),可以通过三维场景的点云分布,根据用户需要,获取指定的工作面区域(假设共有M个)的位置(如各楼栋的当前主体楼层工作面的位置),通过项目设计信息,可以预知工作面位置的若干信息,随着施工进度的推进,主要工作面的位置也在变换,但可以结合三维模型来确定本发明中图片组对应时刻的工作面位置(例如,已知楼层工作面的平面位置信息,随着主体工程的施工,当前楼层工作面对应的高程信息可以通过三维模型来确定,具体可以参照公开号CN112365369A所公开的技术方案)。对建筑工程中空间接近平面的工作面区域进行简化,得到第j个工作面区域所对应的面域Ω(j)(j=1、2、...、M)。面域Ω(j)可由其围闭曲线定义,该定义方式中,Ω(j)的投影由围闭曲线的投影确定;也可将面域光栅化,由一组栅格点
Figure BDA0003127069190000063
表示,下标k为Ω(j)中栅格点的序号。一般性地,本发明例中主要介绍了由一组栅格点
Figure BDA0003127069190000064
对Ω(j)定义下的处理方法。
步骤(3)、基于各相片的
Figure BDA0003127069190000065
和R(i),以及各相片的标定矩阵K(i)(或称为各相片对应相机的标定矩阵,可通过相机标定环节获得,亦可由三维重建过程进行更进一步的修正),根据下式得到世界坐标系下三维空间坐标到相片坐标的投影矩阵P(i);其中,I为单位矩阵;
Figure BDA0003127069190000066
除上角标(i)表示对应第i张照片外(i=1、2、...、N),上式中的相机标定矩阵K和旋转矩阵R可参见理查德·哈特利和安德鲁·西塞曼所著《计算机视觉中的多视图几何(原书第2版)》(中译本,机械工业出版社出版,ISBN号:9787111632887)一书中公式(6.11)的定义。
步骤(4)、在N张相片中,通过投影矩阵P(i),对Ω(j)进行投影,得到Ω(j)在第i张相片上的投影ω(ij),并从N张相片的投影区域中找到Ω(j)解析度最高的投影
Figure BDA0003127069190000067
具体过程如下:
S4.1、计算第i张相片中投影中心
Figure BDA0003127069190000068
到面域Ω(j)空间位置重心的距离dij,并基于该距离选取第一轮备选相片;具体地,基于面域Ω(j)内部的所有栅格点
Figure BDA0003127069190000071
计算当前楼栋工作面区域在X,Y,Z三个分量的平均值,即求得面域Ω(j)的重心:
Figure BDA0003127069190000072
计算
Figure BDA0003127069190000073
Figure BDA0003127069190000074
的欧式距离dij;并基于该距离选取备选相片的方法为:对所求的欧式距离dij进行从小到大的排序,取前m个欧式距离dij所对应的相片,其中m为由用户根据相片组数据情况给定的参数。参数m的大致含义为,在可获取的N张相片中,一般情况下,距工作面区域最近的多少张相片内,可能包含完整的工作面区域投影,以这些相片作为后续优选相片的备选集合,一般考虑相机载具的航高、相片重叠度、相片摄站距离等因素确定。当实际情况不易确定时,可将参数m设置的大一些,以防遗漏工作面区域的优质图像。
S4.2、利用投影矩阵P(j),获取面域Ω(j)内部的所有栅格点
Figure BDA0003127069190000075
在第i张相片的投影点
Figure BDA0003127069190000076
并由此得到Ω(j)在第i张相片上的投影ω(ij)
Figure BDA0003127069190000077
为第i张相片上的列坐标、行坐标;
具体地,将
Figure BDA0003127069190000078
转换为齐次坐标
Figure BDA0003127069190000079
经投影矩阵P(i)向第i张相片进行投影得到投影点坐标
Figure BDA00031270691900000710
数学表达式为:
Figure BDA00031270691900000711
S4.3、判断ω(ij)的完整性,将完整性满足要求的相片作为提取Ω(j)投影图像的第二轮备选相片;具体地,对于面域Ω(j)内所有的栅格点
Figure BDA00031270691900000712
对应的
Figure BDA00031270691900000713
满足:
Figure BDA00031270691900000714
如满足上述条件,则认为第j个工作面区域在第i张图像中的图像完整,反之,第i张图像中的工作面区域图像不完整;其中,Row(i)和Col(i)分别为第i张相片中像素的总行数和总列数。
S4.4、在第二轮备选相片中,对于Ω(j),计算ω(ij)的面积中的最大值,将ω(ij)面积最大者作为Ω(j)解析度最高的“工作面区域投影图像”
Figure BDA00031270691900000715
具体地,计算由
Figure BDA00031270691900000716
所构成之散点图的边界,计算该边界围成的面积,即为ω(ij)的面积;在具体实现时,可采用MATLAB软件包中的boudary函数进行计算,该函数可同时计算出散点边界和该边界围成的面积。
步骤(5)、将
Figure BDA00031270691900000717
转换为工作面区域正射图像
Figure BDA00031270691900000718
获得正射图像的具体方法为:
首先,为面域Ω(j)定义与工作面区域正射图像平面坐标系一致的局部坐标系,其定义为:(a)在Ω(j)所在平面内定义基点
Figure BDA0003127069190000081
对应点为期望在正射图像中坐标为(0,0)的点,可选择面域Ω(j)矩形包围框的角点;定义局部坐标系z轴方向为Ω(j)的法向
Figure BDA0003127069190000082
对于给定的平面面域,只需给定平面内不共线的两向量进行叉乘运算,即可得到该平面面域的法向;(b)定义局部坐标系x轴(或y轴)方向定义
Figure BDA0003127069190000083
(或
Figure BDA0003127069190000084
),局部坐标系x轴为正射图像的列方向(即x方向的坐标值为列坐标)。此时根据用户需要输出正射投影的旋转角度,选定x轴(或y轴),一般地,可选定工作面的主轴方向为x轴(或y轴),或者选定正北方向、正东方向等为x轴(或y轴),以便得到的正射图像有明确的物理含义;(c)利用正交关系,求得y轴(或x轴)方向。此时,考虑到输出正射图与大多数图像软件行列坐标与图像坐标的对应关系,可对应选择左手坐标系定义(例如,已知
Figure BDA0003127069190000085
Figure BDA0003127069190000086
时,
Figure BDA0003127069190000087
);也可选择右手坐标系定义
Figure BDA0003127069190000088
这并不影响结果的物理含义解释。在上述面域Ω(j)的局部坐标系定义中,
Figure BDA0003127069190000089
均为三维列向量,其分量坐标含义均为在世界坐标系中的表示;面域Ω(j)局部坐标系的示意图,如图5所示;
建立面域Ω(j)局部坐标系之后,即可确定面域Ω(j)局部坐标系与世界坐标系的旋转矩阵
Figure BDA00031270691900000810
具体实施时,可由下式获得(即计算两坐标轴系间夹角的余弦值,并组成旋转矩阵):
Figure BDA00031270691900000811
另外,可根据用户需要,定义比例尺为s,即正射图像
Figure BDA00031270691900000812
中每个像素宽度代表真实世界中s个单位长度;
在完成上述定义后,根据下式定义面域Ω(j)局部坐标系到第i张相片坐标系的投影矩阵
Figure BDA00031270691900000813
Figure BDA00031270691900000814
其中diag(s,s,s,1)表示对角元素依次为s、s、s和1的对角矩阵;
Figure BDA00031270691900000815
给出了面域Ω(j)局部坐标系坐标
Figure BDA00031270691900000816
(此处z分量为0,是因为面域Ω(j)局部坐标系的z轴为Ω(j)的法向,且
Figure BDA00031270691900000817
位于Ω(j)所在平面内)与第i张相片中像点
Figure BDA00031270691900000818
的关系。其推导过程,以Ω(j)中的点
Figure BDA0003127069190000091
为中间变量,具体过程如下:
Figure BDA0003127069190000092
根据坐标变换的矩阵表达形式,有:
Figure BDA0003127069190000093
将式(2)写为齐次坐标形式,并将s提出,得到:
Figure BDA0003127069190000094
将式(3)代入式(1),并将P(i)展开,有:
Figure BDA0003127069190000095
根据分块矩阵的乘法规则,得到:
Figure BDA0003127069190000096
将式(5)代入式(4),得到:
Figure BDA0003127069190000097
即可以得到面域Ω(j)局部坐标系到第i张相片坐标系的投影矩阵
Figure BDA0003127069190000098
Figure BDA0003127069190000099
在得到
Figure BDA00031270691900000910
之后,将矩阵
Figure BDA00031270691900000911
的第1、2、3、4列向量分别记为
Figure BDA00031270691900000912
有:
Figure BDA00031270691900000913
由于等式右边齐次坐标的z分量为0,上式可变形为:
Figure BDA00031270691900000914
两边对
Figure BDA00031270691900000915
取逆,等式两边交换,得到
Figure BDA00031270691900000916
即得到投影ω(ij)到工作面区域所对应的面域Ω(j)局部坐标系映射的单应矩阵
Figure BDA00031270691900000917
Figure BDA0003127069190000101
最后,利用单应矩阵
Figure BDA0003127069190000102
对ω(ij)中的图像点进行坐标变换:
Figure BDA0003127069190000103
得到面域Ω(j)局部坐标系下的坐标
Figure BDA0003127069190000104
由于Ω(j)局部坐标系与工作面区域正射图像
Figure BDA0003127069190000105
坐标系一致,
Figure BDA0003127069190000106
Figure BDA0003127069190000107
分别为工作面区域正射图像上的列坐标与行坐标,此时即可得到工作面区域正射图像
Figure BDA0003127069190000108
为了更清楚的解释本申请的方案,以某建筑工程各单体建筑若干楼层工作面区域图像提取为例,并特别以其中16#楼的楼层工作面区域为具体工作面区域为例,进行说明。在该例中:
(1)获取到某批次含像控点信息的一组相片,共294张(N=294),部分相片缩略图如图2所示。图像组经三维重建,得到各张相片的投影矩阵P(i)和当前进度的场景三维模型。场景三维模型的点云如图3所示。
(2)该工程项目共有单体建筑30栋,通过查询项目设计信息可知,各单体建筑平面图如图4所示。根据需要,拟提取30栋楼当前进度下主体施工的楼层工作面区域图像,此时认为有30个楼层工作面区域,对应了30个面域(M=30),其中第j个面域为Ω(j),本例中定义j与楼栋号相同。
(3)以提取16#楼当前进度下主体施工的楼层工作面区域为例,对应的j=16,工作面区域对应的面域为Ω(16)。通过项目设计信息和三维模型,识别出16#楼的当前进度为26层,高程为85.65m,(具体方法参照公开号CN112365369A所公开的技术方案)。则Ω(16)的平面投影位置如图4中16#楼所示,Ω(16)中所有的栅格点坐标
Figure BDA0003127069190000109
均满足
Figure BDA00031270691900001010
结合项目设计信息与三维模型信息,可得到其面域Ω(16)的位置,并可得到其散点图如图5所示(此时,图5中j=16,Ω(j)即Ω(16)),对应的Z方向的重心位置,
Figure BDA00031270691900001011
对Ω(16)进行局部坐标系定义,由于其所在平面为水平面,其法向(z向)为竖向,
Figure BDA00031270691900001012
根据楼层工作面走向,定义x向为南侧两角点的连线方向,可得
Figure BDA00031270691900001013
本实施例中选取左手坐标系,
Figure BDA00031270691900001014
由此可以计算
Figure BDA00031270691900001015
同时在面域Ω(16)的偏西北侧的角点,定义
Figure BDA0003127069190000111
其中坐标分量为世界坐标系中的坐标(本例中为东坐标2271.72m、北坐标-180.73m和高程85.65m)。
(4)选取相片投影中心与该工作面最近的前20张图片(m=20),通过比对,第23~33张共11张相片通过图像完整性检测,其中,在第24张相片(i=24,Row(24)=5472,Col(24)=3648)中,投影面积最大,即解析度最高。在第24张相片中,Ω(16)的投影ω(24,16)如图6中阴影区域所示。由于Ω(16)在第24张相片中投影面积最大,ω(24,16)即为
Figure BDA0003127069190000112
(5)设置比例尺为s=0.1,即希望得到的正射图像中,每像素代表0.1m,得到:
Figure BDA0003127069190000113
进而得到
Figure BDA0003127069190000114
在得到该单应矩阵后,在软件实现层面,可利用MATLAB软件包中的projective2d函数构造图像变换,利用imwarp函数执行该变换,得到所需的工作面区域正射图像
Figure BDA0003127069190000115
即可得到16#楼当前进度下主体施工的楼层工作面区域正射图像如图7所示。该工作面区域矩形包围框长度为41.8m,宽度为16.6m,由于设置的比例尺为s=0.1m/像素,
Figure BDA0003127069190000116
对应输出图像的像素分辨率为166×418像素,其中166为像素的总行数,418为像素的总列数。
(6)将j从1到M(M=30)进行轮换,重复上述步骤,即可得到各单体建筑当前进度下相应各工作面区域正射图像。
通过以上步骤获得的工作面区域正射图像,可列于工程进度的报表中,便于工程技术人员更直观的了解工作面状态,如图8所示;另外,获取了工作面正射图像,也可以作为工作面区域图像自动分类的优质数据来源,为基于计算机视觉的工作面状态自动分类提供良好的数据基础。
所述实施例为本发明的优选的实施方式,但本发明并不限于上述实施方式,在不背离本发明的实质内容的情况下,本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (7)

1.一种建筑工程工作面区域图像自动提取方法,其特征在于,包括如下步骤:
S1、获取N张建筑工地现场相片形成相片组,通过对相片组进行空三解析,计算得到各相片的投影中心位置
Figure FDA0003127069180000011
和从世界坐标系到相片坐标系的旋转矩阵R(i),重建场景三维模型;其中,上标(i)表示第i张相片,i=1、2、...、N;
S2、根据场景三维模型的点云和项目设计信息,获取M个工作面区域的位置,并得到M个工作面区域所对应的面域Ω(j),Ω(j)为第j个工作面区域所对应的面域,j=1、2、...、M;
S3、基于各相片的
Figure FDA0003127069180000012
和R(i),以及各相片的标定矩阵K(i),根据下式得到世界坐标系下空间坐标到相片坐标的投影矩阵P(i);其中,I为单位矩阵;
Figure FDA0003127069180000013
S4、在N张相片中,通过投影矩阵P(i),对Ω(j)进行投影,得到Ω(j)在第i张相片上的投影ω(ij),并从N张相片的投影区域中找到Ω(j)解析度最高的投影
Figure FDA0003127069180000014
S5、将
Figure FDA0003127069180000015
转换为工作面区域正射图像
Figure FDA0003127069180000016
2.根据权利要求1所述的一种建筑工程工作面区域图像自动提取方法,其特征在于,S2中面域Ω(j)由其围闭曲线定义;或者将面域光栅化,由一组栅格点
Figure FDA0003127069180000017
表示,下标k为Ω(j)中栅格点的序号。
3.根据权利要求2所述的一种建筑工程工作面区域图像自动提取方法,其特征在于,S4中
Figure FDA0003127069180000018
由以下步骤找到:
S4.1、计算第i张相片中投影中心
Figure FDA0003127069180000019
到面域Ω(j)空间位置重心的距离dij,并基于该距离选取第一轮备选相片;
S4.2、利用投影矩阵P(i),获取面域Ω(j)内部的所有栅格点
Figure FDA00031270691800000110
在第i张相片的投影点
Figure FDA00031270691800000111
并由此得到Ω(j)在第i张相片上的投影ω(ij)
Figure FDA00031270691800000112
为第i张相片上的列坐标、行坐标;
S4.3、判断ω(ij)的完整性,将完整性满足要求的相片作为提取Ω(j)投影图像的第二轮备选相片;
S4.4、在第二轮备选相片中,对于Ω(j),计算ω(ij)的面积中的最大值,将ω(ij)面积最大者作为Ω(j)解析度最高的工作面区域投影图像
Figure FDA0003127069180000021
4.根据权利要求3所述的一种建筑工程工作面区域图像自动提取方法,其特征在于,S4.1中各相片投影中心
Figure FDA0003127069180000022
到面域Ω(j)重心的距离的计算方法为:基于面域Ω(j)内部的所有栅格点
Figure FDA0003127069180000023
计算其在X,Y,Z三个分量的平均值,即求得面域Ω(j)的重心:
Figure FDA0003127069180000024
计算
Figure FDA00031270691800000218
Figure FDA0003127069180000026
的欧式距离dij;并基于该距离选取备选相片的方法为:对所求的欧式距离dij进行从小到大的排序,取前m个欧式距离dij所对应的相片,其中m为由用户根据相片组数据情况给定的参数。
5.根据权利要求3所述的一种建筑工程工作面区域图像自动提取方法,其特征在于,S4.3中判断工作面区域图像的完整性的条件为:
对于面域Ω(j)内所有的栅格点
Figure FDA0003127069180000027
对应的
Figure FDA0003127069180000028
满足:
Figure FDA0003127069180000029
如满足上述条件,则认为第j个工作面区域在第i张图像中的图像完整;反之,第i张图像中的工作面区域图像不完整。其中,Row(i)和Col(i)分别为第i张相片中像素的总行数和总列数。
6.根据权利要求3所述的一种建筑工程工作面区域图像自动提取方法,其特征在于,S4.4中ω(ij)面积的计算方法为:计算由
Figure FDA00031270691800000210
所构成之散点图的边界,计算该边界围成的面积,即为ω(ij)的面积。
7.根据权利要求1所述的一种建筑工程工作面区域图像自动提取方法,其特征在于,S5中,将
Figure FDA00031270691800000211
转换为工作面区域正射图像
Figure FDA00031270691800000212
的方法为:
首先,为面域Ω(j)定义与工作面区域正射图像平面坐标系一致的局部坐标系,其定义为:在Ω(j)所在平面内定义基点
Figure FDA00031270691800000213
对应点为期望在正射图像中坐标为(0,0)的点;定义局部坐标系z轴方向为Ω(j)的法向
Figure FDA00031270691800000214
定义局部坐标系x轴(或y轴)方向定义
Figure FDA00031270691800000215
(或
Figure FDA00031270691800000216
),局部坐标系x轴为正射图像的列方向(即x方向的坐标值为列坐标);利用正交关系,求得y轴(或x轴)方向。其中,
Figure FDA00031270691800000217
为三维列向量,其分量坐标含义均为在世界坐标系中的表示;
建立面域Ω(j)局部坐标系之后,确定面域Ω(j)局部坐标系与世界坐标系的旋转矩阵为
Figure FDA0003127069180000031
根据用户需要,定义比例尺为s,即
Figure FDA0003127069180000032
中每个像素宽度代表真实世界中s个单位长度;
在完成上述定义后,根据下式定义面域Ω(j)局部坐标系到第i张相片坐标系的投影矩阵
Figure FDA0003127069180000033
Figure FDA0003127069180000034
其中diag(s,s,s,1)表示对角元素依次为s、s、s和1的对角矩阵;
在得到
Figure FDA0003127069180000035
之后,将矩阵
Figure FDA0003127069180000036
的第1、2、3、4列向量分别记为
Figure FDA0003127069180000037
得到投影ω(ij)到工作面区域所对应的面域Ω(j)局部坐标系映射的单应矩阵
Figure FDA0003127069180000038
Figure FDA0003127069180000039
最后,利用单应矩阵
Figure FDA00031270691800000310
对ω(ij)中的图像点进行坐标变换,
Figure FDA00031270691800000311
得到面域Ω(j)局部坐标系下的坐标
Figure FDA00031270691800000312
由于,Ω(j)局部坐标系与工作面区域正射图像坐标系一致,
Figure FDA00031270691800000313
Figure FDA00031270691800000314
分别为工作面区域正射图像上的列坐标与行坐标,此时得到工作面区域正射图像
Figure FDA00031270691800000315
CN202110693418.5A 2021-06-22 2021-06-22 一种建筑工程工作面区域图像自动提取方法 Active CN113379899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110693418.5A CN113379899B (zh) 2021-06-22 2021-06-22 一种建筑工程工作面区域图像自动提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110693418.5A CN113379899B (zh) 2021-06-22 2021-06-22 一种建筑工程工作面区域图像自动提取方法

Publications (2)

Publication Number Publication Date
CN113379899A true CN113379899A (zh) 2021-09-10
CN113379899B CN113379899B (zh) 2023-09-19

Family

ID=77578426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110693418.5A Active CN113379899B (zh) 2021-06-22 2021-06-22 一种建筑工程工作面区域图像自动提取方法

Country Status (1)

Country Link
CN (1) CN113379899B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116302488A (zh) * 2023-01-17 2023-06-23 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 一种地形图数据坐标多进程自动识别转换方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809755A (zh) * 2015-04-09 2015-07-29 福州大学 基于单幅图像文化遗存遗址的三维重建方法
CN107924579A (zh) * 2015-08-14 2018-04-17 麦特尔有限公司 生成个性化3d头部模型或3d身体模型的方法
CN108038906A (zh) * 2017-12-26 2018-05-15 山东师范大学 一种基于图像的三维四边形网格模型重建方法
CN108645398A (zh) * 2018-02-09 2018-10-12 深圳积木易搭科技技术有限公司 一种基于结构化环境的即时定位与地图构建方法及系统
CN109242960A (zh) * 2018-09-15 2019-01-18 武汉智觉空间信息技术有限公司 采用双Kinect和旋转平台的人体实时建模系统及其建模方法
US20200311262A1 (en) * 2019-03-28 2020-10-01 Crowdstrike, Inc. Computer-Security Violation Detection using Coordinate Vectors
CN112365369A (zh) * 2020-11-09 2021-02-12 南京工程学院 一种基于机器视觉进行施工进度自动监控的方法
CN112734630A (zh) * 2020-12-30 2021-04-30 广州极飞科技股份有限公司 正射影像处理方法、装置、设备及存储介质
CN112767488A (zh) * 2021-01-28 2021-05-07 江南大学 一种基于圆盘识别的相机外参估计方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809755A (zh) * 2015-04-09 2015-07-29 福州大学 基于单幅图像文化遗存遗址的三维重建方法
CN107924579A (zh) * 2015-08-14 2018-04-17 麦特尔有限公司 生成个性化3d头部模型或3d身体模型的方法
CN108038906A (zh) * 2017-12-26 2018-05-15 山东师范大学 一种基于图像的三维四边形网格模型重建方法
CN108645398A (zh) * 2018-02-09 2018-10-12 深圳积木易搭科技技术有限公司 一种基于结构化环境的即时定位与地图构建方法及系统
CN109242960A (zh) * 2018-09-15 2019-01-18 武汉智觉空间信息技术有限公司 采用双Kinect和旋转平台的人体实时建模系统及其建模方法
US20200311262A1 (en) * 2019-03-28 2020-10-01 Crowdstrike, Inc. Computer-Security Violation Detection using Coordinate Vectors
CN112365369A (zh) * 2020-11-09 2021-02-12 南京工程学院 一种基于机器视觉进行施工进度自动监控的方法
CN112734630A (zh) * 2020-12-30 2021-04-30 广州极飞科技股份有限公司 正射影像处理方法、装置、设备及存储介质
CN112767488A (zh) * 2021-01-28 2021-05-07 江南大学 一种基于圆盘识别的相机外参估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINWEI WANG等: "Detecting Double JPEG Compressed Color Images With the Same Quantization Matrix in Spherical Coordinates", pages 1 - 14, Retrieved from the Internet <URL:《网页在线公开:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8735940》> *
李陆君等: "基于SIFT-SRBICP算法特征点云提取与配准研究", 《土木建筑工程信息技术》, vol. 12, no. 2, pages 133 - 139 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116302488A (zh) * 2023-01-17 2023-06-23 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 一种地形图数据坐标多进程自动识别转换方法
CN116302488B (zh) * 2023-01-17 2024-01-23 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 一种地形图数据坐标多进程自动识别转换方法

Also Published As

Publication number Publication date
CN113379899B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
EP3353750B1 (en) Methods and systems for detecting and combining structural features in 3d reconstruction
EP3242275B1 (en) Using photo collections for three dimensional modeling
US7509241B2 (en) Method and apparatus for automatically generating a site model
Furukawa et al. Accurate camera calibration from multi-view stereo and bundle adjustment
CN101916454B (zh) 基于网格变形和连续优化的高分辨率人脸重建方法
Coorg et al. Extracting textured vertical facades from controlled close-range imagery
US10846844B1 (en) Collaborative disparity decomposition
CN110728671B (zh) 基于视觉的无纹理场景的稠密重建方法
CN109242855B (zh) 基于多分辨率三维统计信息的屋顶分割方法、系统及设备
US11290704B2 (en) Three dimensional scanning system and framework
JP5018721B2 (ja) 立体模型の作製装置
JP5206366B2 (ja) 3次元データ作成装置
CN107170037A (zh) 一种基于多摄像机的实时三维点云重建方法和系统
CN107369204B (zh) 一种从单幅照片恢复出场景基本三维结构的方法
KR101829733B1 (ko) 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법
CN107977996A (zh) 基于靶标标定定位模型的空间目标定位方法
CN112465849B (zh) 一种无人机激光点云与序列影像的配准方法
CN106952262A (zh) 一种基于立体视觉的船板加工精度分析方法
CN116805356A (zh) 建筑模型的构建方法、设备及计算机可读存储介质
Grammatikopoulos et al. Automatic multi-view texture mapping of 3D surface projections
Vincke et al. Vision based metric for quality control by comparing built reality to BIM
CN113379899B (zh) 一种建筑工程工作面区域图像自动提取方法
CN110223356A (zh) 一种基于能量生长的单目相机全自动标定方法
TWI595446B (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant