CN107247834B - 一种基于图像识别的三维环境模型重构方法、设备及系统 - Google Patents

一种基于图像识别的三维环境模型重构方法、设备及系统 Download PDF

Info

Publication number
CN107247834B
CN107247834B CN201710398963.5A CN201710398963A CN107247834B CN 107247834 B CN107247834 B CN 107247834B CN 201710398963 A CN201710398963 A CN 201710398963A CN 107247834 B CN107247834 B CN 107247834B
Authority
CN
China
Prior art keywords
image
pixel
point
characteristic point
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710398963.5A
Other languages
English (en)
Other versions
CN107247834A (zh
Inventor
周迎
管涛
雷蕾
骆汉宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201710398963.5A priority Critical patent/CN107247834B/zh
Publication of CN107247834A publication Critical patent/CN107247834A/zh
Application granted granted Critical
Publication of CN107247834B publication Critical patent/CN107247834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mathematical Analysis (AREA)
  • Civil Engineering (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Mathematics (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像识别的三维环境模型重构方法、设备及系统。该方法通过提取和匹配特征点，并利用特征点反投影得到像素信息，再根据像素信息进行立体匹配与迭代更新，提高三维场景重构的准确度，以为后续的施工管理提供直观、准确的参考。该设备基于上述方法运行，可在施工的全过程中利用计算机视觉三维重构进行实时建模，直观明了的还原施工现场。该系统通过安全帽采集图像，将摄像头设置在安全帽上，终端设备设置于后台，项目管理人员不需要进入施工现场就能清楚知道现场施工进度。管理人员可以在后台实时将三维重构模型与BIM中预期施工进度预期计划模型进行对照，及时发现实施中的偏差，大大提高了管理效率。

Description

一种基于图像识别的三维环境模型重构方法、设备及系统
技术领域
本发明属于项目施工进度管理领域，更具体地，涉及一种基于图像识别的三维环境重构方法、设备及系统。
背景技术
近年来，伴随着我国经济的高速发展，建筑工程规模不断扩大，建筑施工的进度会直接影响项目的工期和单位经济效益，且目前我国施工进度管理主要方式为管理人员进行现场察看，监督，大致了解施工进度，不能准确地反映施工状况及进度，不容易及时调整施工进度，而且施工现场环境复杂，仅仅通过人力进行现场监督，导致对于某些细节方面难以及时把握和造成进度滞后，预算超支等影响项目。为此，发明一套科学有效的能帮助施工现场管理人员进行直观、准确、快速、高效的进度监测方法，具有重要的工程意义和现实价值。而实现上述方法的前提，是能够准确的完成现场施工环境的三维场景重构。
发明内容
针对现有技术的以上缺陷或改进需求，本发明的一个目的在于通过立体匹配与迭代更新，提高三维场景重构的准确度，以为后续的施工管理提供直观、准确的参考。
为了实现上述目的，本发明提供了一种基于图像识别的三维环境模型重构方法，包括如下步骤：
(1)从截取的关于三维环境的一系列照片中找出相邻两幅图像之间的特征点及其对应关系，完成相邻两幅图像中的特征点的提取与匹配；
(2)重复步骤(1)直至完成所有图像中的特征点的提取与匹配之后，将所有特征点向空间投影，得到场景稀疏点云；
(3)首先将步骤(2)得到的场景稀疏点云中的每个投影点重投影到对应的图像上，得到在相应图像中对应的像素的位置信息，并对已得到位置信息的像素进行立体匹配计算，得到其对应的深度、法向量以及可信度，选取可信度最高的像素，将其对应的深度、法向量以及可信度赋予与其相邻的四个像素，得到深度、法向量以及可信度相同的五个像素；从该五个像素中随机选取一个重复上述立体匹配与赋值过程，迭代更新得到稠密点云；
(4)先对步骤(3)得到的稠密点云进行德劳内三角化得到德劳内四面体，再利用稠密点云中的点的可见性信息，将德劳内四面体划分为不可见的内部与可见的外部两部分，进而在内部与外部的分界处提取出空间三角网格；
(5)首先将步骤(4)得到的空间三角网格正交投影到指定的图像上，在图像上得到空间三角网格的投影网格，投影网格中包含像素p的正视图，将偏移与遮挡最小的正视图作为像素p的正图像；将像素p的正图像反投影到空间三角网格，最终得到三维环境重构模型。
进一步地，步骤(1)包括如下子步骤：
(1.1)将截取的一系列照片中的一个图像用多尺度空间表示，查找多尺度空间中，每一个尺度空间内部的极值点，得到极值点所在像素的位置，即为图像的特征点，同时得到该特征点的尺度及位置信息；
求取极值点所在像素位置的函数如下：
其中，
x、y-原始图像像素坐标；
δ-多尺度空间的可变尺度
I(x,y)-原始图像像素；
G(x,y,δ)-多尺度空间的二维高斯函数；
L(x,y,δ)-多尺度空间；
(1.2)根据每个特征点的局部方向直方图的峰值求得该特征点的关联方向，从而得到每个特征点的方向信息；
(1.3)按照步骤(1.1)和(1.2)得到所有图像中的特征点，在得到所有图像中的特征点后，选取两幅相邻的图像，以其中一幅图像作为基础图像，利用k-d树数据结构对另外一幅图像的特征点进行搜索，遍历基础图像中的每个特征点所对应在另外一幅图像中的最近邻特征点以及次近邻特征点，从而找出相邻两幅图像之间的特征点的对应关系，完成相邻两幅图像中的特征点的提取与匹配。
进一步地，步骤(2)包括如下子步骤：
(2.1)按照步骤(1.3)对所有图像进行匹配后，选择特征点匹配数量最多的两幅相邻图像作为参考框架，两幅相邻图像是由摄像机在不同位姿状态下拍摄得到，将第一个摄像机位姿设定在世界坐标系原点处，并基于对极几何关系检索确定第二个摄像机位姿，然后通过第一摄像机和第二摄像机的位姿得到视角摄像机的光心位置；
(2.2)基于对极几何关系确定基本矩阵，再根据基本矩阵计算出第一摄像机矩阵和第二摄像机矩阵；根据第一摄像机矩阵和第二摄像机矩阵，使用三角测量法对步骤(2.1)中已匹配的特征点进行投影，得到初步的稀疏点云；
(2.3)在步骤(2.1)选取的两幅相邻图像中添加与其中任意一幅相邻的新图像，依据步骤(2.2)生成的初步的稀疏点云，对新图像进行校准，从而确定新图像的摄像机位姿，同时得到新图像中的特征点与初步的稀疏点云的对应关系；然后，根据该对应关系确定新图像的摄像机投影矩阵；
依据新图像的摄像机投影矩阵重新对新图像的特征点进行投影，以对步骤(2.2)得到的初步的稀疏点云进行纠正更新；
(2.4)对所有图像重复步骤(2.3)，然后依据最大似然估计求取图像特征点与其在场景稀疏点云中对应的投影点的均方距离，依据该均方距离的最小值对场景稀疏点云进行捆集调整，得到最终的场景稀疏点云；
求取均方距离最小值的公式如下：
其中，
Lmin-均方距离的最小值；
Pk-第k相机矩阵；
Mi-特征点i重投影得到的三维点；
mki-第k相机矩阵中的特征点i；
Pk(Mk)-mki在场景稀疏点云中对应的投影点；
m-相机总数量；
n-场景稀疏点云中的投影点的总数量。
进一步地，步骤(3)包括如下子步骤：
(3.1)首先将场景稀疏点云中的每个投影点重投影到对应的图像上，得到在相应图像中对应的像素的位置信息，并对已得到位置信息的像素进行立体匹配计算，得到其对应的深度、法向量以及可信度，将像素点包含深度、法向量以及可信度信息的像素加入到优先列队空间Q中；
(3.2)在优先队列空间Q中选取可信度最高的像素(s0,t0)，以其为基准观察四个邻近像素(s1,t1)、(s2,t2)、(s3,t3)、(s4,t4)，把像素(s0,t0)的深度、法向量以及可信度作为初值赋给该四个邻近像素，并将该四个邻近像素加入到优先列队空间Q中；
(3.3)从像素(s0,t0)～(s4,t4)中随机选取一个像素(si,ti)进行立体匹配，得到其对应的深度、法向量以及可信度，其中，i＝0～4；
(3.4)如果像素(si,ti)之前已匹配，但可信度比其之前的匹配信息可信度高，则对像素(si,ti)的匹配信息进行更新，并将更新后的像素(si,ti)作为步骤(3.2)中可信度最高的像素，继续执行步骤(3.2)、(3.3)，进行迭代更新；
如果像素(si,ti)之前未匹配，则将像素(si,ti)作为步骤(3.2)中可信度最高的像素，并继续执行步骤(3.2)、(3.3)，进行迭代更新；
如果像素(si,ti)之前已匹配，但可信度不高于其之前的匹配信息的可信度，则结束迭代，得到稠密点云。
进一步地，步骤(4)中，按照如下步骤对空间三角网格重建过程进行优化：
(4.1)通过迭代构造最小成本的方程来剔除权重过大的德劳内四面体，从而优化空间三角网格重建过程，具体方法如下：
首先赋予德劳内四面体内部和外部的标签，设外部空间的标签为S，内部空间的标签为T；加入源点t和汇点g，计算与源点t和汇点g对应的边线的权重并分别累加，公式如下：
其中，
vi-编号为i的四面体；
vj-与vi相邻的四面体；
S-外部空间，
T-内部空间，
g-源点，g∈S，
t-汇点，t∈T，
ti-四面体vi中属于外部空间S的边线的权重，
gi-四面体vi中属于内部空间T的边线的权重；
每相邻的两个四面体vi和vj间存在一个公共面R＝(vi∩vj)，当公共面R被光线穿过一次时则累加αvis，αvis是一个常量，根据光线的出射点及光线形成的射线的可性度的改变而变动；wij是αvis的权重累加得到。
进一步地，步骤(4)中，按照如下方法剔除伪平面：
(4.2)在稠密点云的深度图中加入少量噪点，利用噪点产生的噪声数据探测网格中的伪平片；任意选取一幅所有像素和深度都未知的深度图，随机选取该幅图中的部分样本像素，并对选取的样本像素的深度值随机赋值，重复多次，从而剔除伪平面；
本发明的另一目的在于，通过运用上述三维场景重构方法，对施工现场全过程进行检查、分析、对比，及时发现实施中的偏差，工期滞后等，采取有效措施，调整建设施工进度，提高进度管理效率，由此解决施工进度管理低效，工期滞后等施工进度管理上的技术问题
为了实现上述目的，本发明提供了一种基于图像识别技术的施工进度管理方法，包括如下步骤：
(1)根据预期施工进度构建施工进度预期计划模型；
(2)对施工现场进行多角度视频拍摄，并将拍摄的视频数据传输到后台；
(3)按照前面所述的三维环境模型重构方法得到三维环境重构模型；
(4)将三维环境重构模型与施工进度预期计划模型进行比对，得出实际施工进度与预期施工进度的差距，以提供施工进度管理依据。
另一方面，为了实现上述目的，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前面所述的三维环境模型重构方法，或实现前面所述的施工进度管理方法。
为了实现上述目的，本发明还提供了一种终端设备，包括前面所述的计算机可读存储介质以及处理器，处理器用于调用和处理计算机可读存储介质中存储的计算机程序。
另一方面，本发明的一个目的在于，通过一种便携的第三方拍摄方式，使得项目管理人员不需要进入施工现场就能清楚知道现场施工进度，实时高效地远程完成现场管理。
为了实现上述目的，本发明提供了一种基于图像识别的施工进度管理系统，包括如权利要求9所述的终端设备以及图像采集安全帽；该图像采集安全帽上装有摄像头和图像数据发射端口，该终端设备上设有图像数据接收端口，图像数据发射端口连接图像数据接收端口；其中，
摄像头用于采集三维场景的图像数据，图像数据发射端口用于向终端设备发送采集到的三维场景图像数据，图像数据接收端口用于接收图像数据发射端口发射的的三维场景图像数据。
总体而言，本发明所构思的以上技术方案与现有技术相比，有以下优点：
1、通过提取和匹配特征点，并利用特征点反投影得到像素信息，再根据像素信息进行立体匹配与迭代更新，提高三维场景重构的准确度，以为后续的施工管理提供直观、准确的参考；
2、将摄像头设置在安全帽上，终端设备设置于后台，项目管理人员不需要进入施工现场就能清楚知道现场施工进度；
3、可在施工的全过程中利用计算机视觉三维重构进行实时建模，直观明了的还原施工现场；
4、由于施工人员佩戴图像采集安全帽在施工现场实时采集图像，摄像机的位置可以跟随施工人员的位置、动作变化，后台的终端设备得到的图像数据全面，得到的三维重构模型可实时、全面反映整个施工现场，不遗漏任何角落；
5、管理人员可以在后台实时将三维重构模型与BIM中预期施工进度预期计划模型进行全面对照，一一分析，及时发现实施中的偏差，调整工期，大大提高了进度管理效率，实现了进度管理半自动化。
附图说明
图1为本发明的三维环境重构的技术流程图；
图2为本发明的稀疏重建流程图；
图3为本发明的稠密重建流程图；
图4为本发明的基于图像识别的施工进度管理方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
该进度管理方法涉及到的基于计算机视觉三维环境重构算法解释以及三维环境重构步骤如下：
1、图像特征提取与匹配
从截取的关于三维环境的一系列照片中找出相邻两幅图像之间的特征点及其对应关系，完成相邻两幅图像中的特征点的提取与匹配。具体地，包括如下子步骤：
(1.1)特征提取
特征点是寻找不同图像中点的对应位置的稀疏集合，是计算摄像机位置的前提。在得到多幅图像的特征点后，需要对它们进行匹配以寻找图像间特征点的对应关系。将图像用多尺度空间表示，查找每一个尺度空间中的极值点，得到极值点所在像素的位置，即为特征点，具体函数如下：
其中，
x、y-原始图像像素坐标；
δ-多尺度空间的可变尺度
I(x,y)-原始图像像素；
G(x,y,δ)-多尺度空间的二维高斯函数；
L(x,y,δ)-多尺度空间；
则按照上述方法对所有特征点检测完毕之后，每个特征点含有位置、尺度、方向这三个信息，并具有平移，缩放，旋转不变性。
(1.2)根据每个特征点的局部方向直方图的峰值求得该特征点的关联方向，从而得到每个特征点的方向信息；
(1.3)特征匹配
利用k-d树数据结构进行搜索，遍历每个特征点所对应在另外一幅图像中的最近邻特征点以及次近邻特征点。寻找近似最近邻点过程即为特征点的匹配，寻找图像间特征点的对应关系。
具体地，按照步骤(1.1)和(1.2)得到所有图像中的特征点，在得到所有图像中的特征点后，选取两幅相邻的图像，以其中一幅图像作为基础图像，利用k-d树数据结构对另外一幅图像的特征点进行搜索，遍历基础图像中的每个特征点所对应在另外一幅图像中的最近邻特征点以及次近邻特征点，从而找出相邻两幅图像之间的特征点的对应关系，完成相邻两幅图像中的特征点的提取与匹配。
2、场景稀疏重建与摄像机位姿估计
(2)重复步骤(1)直至完成所有图像中的特征点的提取与匹配之后，将所有特征点向空间投影，得到场景稀疏点云。即，在步骤(1)完成了特征的提取与匹配后，得到了二维图像上特征点的对应关系，进一步基于二维特征点来计算三维坐标，同时进行场景稀疏重建与摄像机位姿估计。
本算法为了加快匹配的速度和提高匹配效率，假定图片是连续的，并且图片的序列差别不大，减少组合的复杂性，请参照图2，具体包括如下子步骤：
(2.1)按照步骤(1.3)对所有图像进行匹配后，选择特征点数最多的相邻两幅图像作为参考框架，第一个摄像机位姿设定在世界坐标系原点处，之后基于对极几何关系来检索确定第二个摄像机位姿。对极几何是通过特征点的对应关系来确定。通过摄像机的位姿得到视角摄像机的光心位置，在稠密重建阶段将运用到。
(2.2)一旦对极几何关系确定，即可基于对极几何关系确定基本矩阵，再根据基本矩阵计算出第一摄像机矩阵和第二摄像机矩阵；根据第一摄像机矩阵和第二摄像机矩阵，使用三角测量法对步骤(2.1)中已匹配的特征点进行投影，得到初步的稀疏点云。
(2.3)在步骤(2.1)选取的两幅相邻图像中添加与其中任意一幅相邻的新图像，依据步骤(2.2)生成的初步的稀疏点云，对新图像进行校准，从而确定新图像的摄像机位姿，同时得到新图像中的特征点与初步的稀疏点云的对应关系；然后，根据该对应关系确定新图像的摄像机投影矩阵。
依据新图像的摄像机投影矩阵重新对新图像的特征点进行投影重建，根据已重建点的投影，对步骤(2.2)得到的初步的稀疏点云进行纠正更新。
本步骤中，至少需要6组对应匹配的特征点才可以计算出摄像机投影矩阵，一旦摄像机投影矩阵被确定，则可以预测已重建点的投影。另外，搜索到的额外的匹配特征点可以用于估计的投影矩阵修正。
(2.4)对所有图像重复步骤(2.3)，然后依据最大似然估计求取图像特征点与其在场景稀疏点云中对应的投影点的均方距离，依据该均方距离的最小值对场景稀疏点云进行捆集调整，得到最大似然估计，求图像特征点mki与其在场景稀疏点云中对应的投影点Pk(Mk)的均方距离，由于相机矩阵模型需考虑径向畸变，对m个相机n个点进行最小化，即可实现全局的最小化，得到最终的场景稀疏点云。
求取均方距离最小值的公式如下：
其中，
Lmin-均方距离的最小值；
Pk-第k相机矩阵；
Mi-特征点i重投影得到的三维点；
mki-第k相机矩阵中的特征点i；
Pk(Mk)-mki在场景稀疏点云中对应的投影点；
m-相机总数量；
n-场景稀疏点云中的投影点的总数量。
3、稠密重建
稀疏点云重建结果只能勾勒出物体的大概轮廓，为了更真实恢复三维场景的结构，在稀疏重建所得结果的基础上，生成更多的点进行重建，即生成场景的稠密重建。
请参照图3，具体地，稠密重建包括如下子步骤：
(3.1)首先通过对稀疏几何结构场景适合初始化为优先队列空间Q。在邻近图像N中增加可见的特征点集合，将其集合投影到参考图像R中以确定增加特征点的像素位置。值得注意的是，邻近图像N增加的集合也包括了投影在参考图像R中不可见的点。
具体地，首先将场景稀疏点云中的每个投影点重投影到对应的图像上，得到在相应图像中对应的像素的位置信息，并对已得到位置信息的像素进行立体匹配计算，得到其对应的深度、法向量以及可信度，将像素点包含深度、法向量以及可信度信息的像素加入到优先列队空间Q中。
(3.2)之后，对邻近图像的特征候选点运用立体匹配过程，匹配输入可见的候选点，计算其深度，像素值和可信度，将参考图像R中这些匹配成功的结果存储在初始化的优先列队空间Q中。
本实施例中，在优先队列空间Q中选取可信度最高的像素(s0,t0)，以其为基准观察四个邻近像素(s1,t1)、(s2,t2)、(s3,t3)、(s4,t4)，把像素(s0,t0)的深度、法向量以及可信度作为初值赋给该四个邻近像素，并将该四个邻近像素加入到优先列队空间Q中。
(3.3)从像素(s0,t0)～(s4,t4)中随机选取一个像素(si,ti)进行立体匹配，得到其对应的深度、法向量以及可信度，其中，i＝0～4；
(3.4)如果像素(si,ti)之前已匹配，但可信度比其之前的匹配信息可信度高，则对像素(si,ti)的匹配信息进行更新，并将更新后的像素(si,ti)作为步骤(3.2)中可信度最高的像素，继续执行步骤(3.2)、(3.3)，进行迭代更新；
如果像素(si,ti)之前未匹配，则将像素(si,ti)作为步骤(3.2)中可信度最高的像素，并继续执行步骤(3.2)、(3.3)，进行迭代更新；
如果像素(si,ti)之前已匹配，但可信度不高于其之前的匹配信息的可信度，则结束迭代，得到稠密点云。
4、空间三角网格重建与伪平面剔除
空间三角网格重建的方法是基于步骤(3)得到的稠密点云，对稠密点云先进行德劳内三角化，然后利用稠密点云中的点的可见性信息将空间划分内、外两部分，进而在内外的分界处提取出空间三角网格。
为了优化空间三角网格的重建过程，本实施例提供了如下方案：
(4.1)通过迭代构造最小成本的方程来剔除权重过大的德劳内四面体，从而优化空间三角网格重建过程，具体方法如下：
首先赋予德劳内四面体内部和外部的标签，设外部空间的标签为S，内部空间的标签为T；加入源点t和汇点g，计算与源点t和汇点g对应的边线的权重并分别累加，公式如下：
其中，
vi-编号为i的四面体；
vj-与vi相邻的四面体；
S-外部空间，
T-内部空间，
g-源点，g∈S，
t-汇点，t∈T，
ti-四面体vi中属于外部空间S的边线的权重，
gi-四面体vi中属于内部空间T的边线的权重；
每相邻的两个四面体vi和vj间存在一个公共面R＝(vi∩vj)，当公共面R被光线穿过一次时则累加αvis，αvis是一个常量，根据光线的出射点及光线形成的射线的可性度的改变而变动；wij是αvis的权重累加得到；
由于点云稀疏和稠密重建过程中会产生伪平面，这些平面是实物表面不存在的面，需要进行剔除。本实施例提供了如下解决方案：
(4.2)采取在场景的深度图中加入少量噪点的方法，利用噪声数据探测网格的伪平片。任意选取一幅所有像素和深度都未知的深度图，根据经验值随机选取这幅图中的部分像素(例如10％)作为样本像素，并对样本像素的深度值随机赋值，重复多次，剔除伪平面。
5、纹理合成与优化
纹理的合成实际就是图像反投影到模型表面。由于在建模的施工现场场景中，由于条件的限制因素使得图片间有相互遮挡关系，存在少数特征点在其他图像上不可见，导致匹配的正图像留下空白，这些缺口使得模型中产生空洞。为了解决模型中的空洞问题，本系统采用了基于三维模型和多图像纹理填充来自动生成正图像和透图像的方法。
a.同一个图像块在不同视角的源图像中，颜色会存在差异，故对每一个正图像的像素的色值赋予相应的权重值，从而改善图像的清晰度；其中，权重值取决于观测角度和空间分辨率；
b.但是，正图像中的像素纹理融合时，存在将周围无关点的色值也包含进去的情况；因此，设定区域u±δ对无关点的色值进行筛选，去掉区域u±δ外的色值；其中，u是所有正图像有效像素色值的均值，δ是色值的标准偏差；
c.对于图片中的遮挡问题采用形态转换和边缘提取的方法，找到单幅图片的遮挡边界，将正图像中被遮挡的区域标记为特定的颜色，对正图像进行二进制处理挑选出这些被遮挡的区域，得到挑选出被遮挡区域的二进制图像；基于开算子算法对该二进制图像进行处理，利用拉普拉斯滤波器提取正图像的遮挡边缘，并将空间三角网格扩大投影网格区域，扩大区域的程度取决于空间三维网格的精度和图片方向，通过这种方法使得最终的正图像不受边缘纹理的影响。
基于上述三维环境模型重构方法，本发明还提供了一种基于图像识别技术的施工进度管理方法，包括如下步骤：
(1)根据预期施工进度构建施工进度预期计划模型；
(2)对施工现场进行多角度视频拍摄，并将拍摄的视频数据传输到后台；
(3)按照前面所述的三维环境模型重构方法得到三维环境重构模型；
(4)将三维环境重构模型与施工进度预期计划模型进行比对，得出实际施工进度与预期施工进度的差距，以提供施工进度管理依据。
与上述管理方法配套地，本发明提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述三维环境模型重构方法，或实现上述施工进度管理方法。
同时，本发明还提供了一种终端设备，包括上述计算机可读存储介质以及处理器，处理器用于调用和处理计算机可读存储介质中存储的计算机程序。
为了便于图像采集及远程管理，本发明还提供了一种基于图像识别的施工进度管理系统，包括上述终端设备以及图像采集安全帽。该图像采集安全帽上装有摄像头和图像数据发射端口，该终端设备上设有图像数据接收端口，图像数据发射端口连接图像数据接收端口。其中，摄像头用于采集三维场景的图像数据，图像数据发射端口用于向终端设备发送采集到的三维场景图像数据，图像数据接收端口用于接收图像数据发射端口发射的的三维场景图像数据。
作为对上述系统的优化，本实施的图像采集安全帽包括安全帽的主体，主题内部左端设有无线对讲机，后部设有COFDM无线图像传输设备，安全帽主体表面前端、左侧、右侧及上端分别装有微型高清摄像头。无线对讲机用于施工现场管理人员接收终端后台的施工信息，微型高清摄像头用于施工现场图像的收集。管理人员按照后台对讲机的信息指示对待检验物体进行多角度的拍摄，将收集的施工图像通过COFDM无线图像传输设备发送至终端后台处理。
终端后台包括COFDM无线图像传输接收设备，语音接收装置和发送装置，图像处理装置，显示屏，工程BIM数据库存储器。COFDM无线图像传输接收设备的输入端连接COFDM无线图像传输设备的输出端，COFDM无线图像传输接收设备的输出端连接至图像处理装置。图像处理装置用于由图像生成三维重构模型。语音接收装置和发送装置的输入输出端与安全帽帽体的对讲机相连接。工程BIM数据库中存有BIM预期施工进度预期计划模型。显示屏用于显示图像三维重构模型与BIM预期施工进度预期计划模型的施工进度差异。
实施本发明的方法之前，先在BIM中构建施工进度预期计划模型，并存储于BIM数据库内。施工人员佩戴安全帽，按终端后台对讲机信息指示利用帽体内的微型高清摄像头对施工现场环境图像采集。COFDM无线图像传输设备将其传输至终端后台选择数张合适图像画面进行三维环境重构，并与工程BIM数据库中BIM预期施工进度预期计划模型进行比照，对比出施工进度差距，及时调整工期。
基于上述施工进度管理系统，本发明可以按照如下步骤进行操作：
1)在BIM中构建施工进度预期计划模型，并存储于工程BIM数据库内；
2)施工人员佩戴上安全帽后按照后台操作人员的语音提示对施工现场进行多角度视频拍摄并通过COFDM无线图像传输设备传输至后台的显示屏；
3)后台操作人员对传输至后台的图像视频选择合适画面拍下，并利用这些照片在后台图像处理装置中根据本发明的三维环境模型重构方法进行三维环境重构得到三维环境重构模型；
4)将三维环境重构模型与BIM中的施工进度预期计划模型进行比对，对比出两者进度差距，合理安排工期，及时纠正偏差。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像识别的三维环境模型重构方法，其特征在于，包括如下步骤：
(1)从截取的关于三维环境的一系列照片中找出相邻两幅图像之间的特征点及其对应关系，完成相邻两幅图像中的特征点的提取与匹配；
(2)重复步骤(1)直至完成所有图像中的特征点的提取与匹配之后，将所有特征点向空间投影，得到场景稀疏点云；
(3)首先将步骤(2)得到的场景稀疏点云中的每个投影点重投影到对应的图像上，得到在相应图像中对应的像素的位置信息，并对已得到位置信息的像素进行立体匹配计算，得到其对应的深度、法向量以及可信度，选取可信度最高的像素，将其对应的深度、法向量以及可信度赋予与其相邻的四个像素，得到深度、法向量以及可信度相同的五个像素；从该五个像素中随机选取一个重复上述立体匹配与赋值过程，迭代更新得到稠密点云；
(4)先对步骤(3)得到的稠密点云进行德劳内三角化得到德劳内四面体，再利用稠密点云中的点的可见性信息，将德劳内四面体划分为不可见的内部与可见的外部两部分，进而在内部与外部的分界处提取出空间三角网格；
(5)首先将步骤(4)得到的空间三角网格正交投影到指定的图像上，在图像上得到空间三角网格的投影网格，投影网格中包含像素p的正视图，将偏移与遮挡最小的正视图作为像素p的正图像；将像素p的正图像反投影到空间三角网格，最终得到三维环境重构模型。
2.根据权利要求1所述的一种基于图像识别的三维环境模型重构方法，其特征在于，步骤(1)包括如下子步骤：
(1.1)将截取的一系列照片中的一个图像用多尺度空间表示，查找多尺度空间中，每一个尺度空间内部的极值点，得到极值点所在像素的位置，即为图像的特征点，同时得到该特征点的尺度及位置信息；
求取极值点所在像素位置的函数如下：
其中，
x、y-原始图像像素坐标；
δ-多尺度空间的可变尺度
I(x,y)-原始图像像素；
G(x,y,δ)-多尺度空间的二维高斯函数；
L(x,y,δ)-多尺度空间；
(1.2)根据每个特征点的局部方向直方图的峰值求得该特征点的关联方向，从而得到每个特征点的方向信息；
(1.3)按照步骤(1.1)和(1.2)得到所有图像中的特征点，在得到所有图像中的特征点后，选取两幅相邻的图像，以其中一幅图像作为基础图像，利用k-d树数据结构对另外一幅图像的特征点进行搜索，遍历基础图像中的每个特征点所对应在另外一幅图像中的最近邻特征点以及次近邻特征点，从而找出相邻两幅图像之间的特征点的对应关系，完成相邻两幅图像中的特征点的提取与匹配。
3.根据权利要求2所述的一种基于图像识别的三维环境模型重构方法，其特征在于，步骤(2)包括如下子步骤：
(2.1)按照步骤(1.3)对所有图像进行匹配后，选择特征点匹配数量最多的两幅相邻图像作为参考框架，两幅相邻图像是由摄像机在不同位姿状态下拍摄得到，将第一个摄像机位姿设定在世界坐标系原点处，并基于对极几何关系检索确定第二个摄像机位姿，然后通过第一摄像机和第二摄像机的位姿得到视角摄像机的光心位置；
(2.2)基于对极几何关系确定基本矩阵，再根据基本矩阵计算出第一摄像机矩阵和第二摄像机矩阵；根据第一摄像机矩阵和第二摄像机矩阵，使用三角测量法对步骤(2.1)中已匹配的特征点进行投影，得到初步的稀疏点云；
(2.3)在步骤(2.1)选取的两幅相邻图像中添加与其中任意一幅相邻的新图像，依据步骤(2.2)生成的初步的稀疏点云，对新图像进行校准，从而确定新图像的摄像机位姿，同时得到新图像中的特征点与初步的稀疏点云的对应关系；然后，根据该对应关系确定新图像的摄像机投影矩阵；
依据新图像的摄像机投影矩阵重新对新图像的特征点进行投影，以对步骤(2.2)得到的初步的稀疏点云进行纠正更新；
(2.4)对所有图像重复步骤(2.3)，然后依据最大似然估计求取图像特征点与其在场景稀疏点云中对应的投影点的均方距离，依据该均方距离的最小值对场景稀疏点云进行捆集调整，得到最终的场景稀疏点云；
求取均方距离最小值的公式如下：
其中，
Lmin-均方距离的最小值；
Pk-第k相机矩阵；
Mi-特征点i重投影得到的三维点；
mki-第k相机矩阵中的特征点i；
Pk(Mi)-mki在场景稀疏点云中对应的投影点；
m-相机总数量；
n-场景稀疏点云中的投影点的总数量。
4.根据权利要求1～3任意一项所述的一种基于图像识别的三维环境模型重构方法，其特征在于，步骤(3)包括如下子步骤：
(3.1)首先将场景稀疏点云中的每个投影点重投影到对应的图像上，得到在相应图像中对应的像素的位置信息，并对已得到位置信息的像素进行立体匹配计算，得到其对应的深度、法向量以及可信度，将像素点包含深度、法向量以及可信度信息的像素加入到优先列队空间Q中；
(3.2)在优先队列空间Q中选取可信度最高的像素(s0,t0)，以其为基准观察四个邻近像素(s1,t1)、(s2,t2)、(s3,t3)、(s4,t4)，把像素(s0,t0)的深度、法向量以及可信度作为初值赋给该四个邻近像素，并将该四个邻近像素加入到优先列队空间Q中；
(3.3)从像素(s0,t0)～(s4,t4)中随机选取一个像素(si,ti)进行立体匹配，得到其对应的深度、法向量以及可信度，其中，i＝0～4；
(3.4)如果像素(si,ti)之前已匹配，但可信度比其之前的匹配信息可信度高，则对像素(si,ti)的匹配信息进行更新，并将更新后的像素(si,ti)作为步骤(3.2)中可信度最高的像素，继续执行步骤(3.2)、(3.3)，进行迭代更新；
如果像素(si,ti)之前未匹配，则将像素(si,ti)作为步骤(3.2)中可信度最高的像素，并继续执行步骤(3.2)、(3.3)，进行迭代更新；
如果像素(si,ti)之前已匹配，但可信度不高于其之前的匹配信息的可信度，则结束迭代，得到稠密点云。
5.根据权利要求4所述的一种基于图像识别的三维环境模型重构方法，其特征在于，步骤(4)中，按照如下步骤对空间三角网格重建过程进行优化：
(4.1)通过迭代构造最小成本的方程来剔除权重过大的德劳内四面体，从而优化空间三角网格重建过程，具体方法如下：
首先赋予德劳内四面体内部和外部的标签，设外部空间的标签为S，内部空间的标签为T；加入源点t和汇点g，计算与源点t和汇点g对应的边线的权重并分别累加，公式如下：
其中，
vi-编号为i的四面体；
vj-与vi相邻的四面体；
S-外部空间，
T-内部空间，
g-源点，g∈S，
t-汇点，t∈T，
ti-四面体vi中属于外部空间S的边线的权重，
gi-四面体vi中属于内部空间T的边线的权重；
每相邻的两个四面体vi和vj间存在一个公共面R＝(vi∩vj)，当公共面R被光线穿过一次时则累加αvis，αvis是一个常量，根据光线的出射点及光线形成的射线的可性度的改变而变动；wij是αvis的权重累加得到。
6.根据权利要求5所述的一种基于图像识别的三维环境模型重构方法，其特征在于，步骤(4)中，按照如下方法剔除伪平面：
(4.2)在稠密点云的深度图中加入少量噪点，利用噪点产生的噪声数据探测网格中的伪平面；任意选取一幅所有像素和深度都未知的深度图，随机选取该幅深度图中的部分样本像素，并对选取的样本像素的深度值随机赋值，重复多次，从而剔除伪平面。
7.一种基于图像识别技术的施工进度管理方法，其特征在于，包括如下步骤：
(1)根据预期施工进度构建施工进度预期计划模型；
(2)对施工现场进行多角度视频拍摄，并将拍摄的视频数据传输到后台；
(3)按照权利要求1-6任意一项所述的三维环境模型重构方法得到三维环境重构模型；
(4)将三维环境重构模型与施工进度预期计划模型进行比对，得出实际施工进度与预期施工进度的差距，以提供施工进度管理依据。
8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1至6任一项所述的三维环境模型重构方法，或实现如权利要求7所述的施工进度管理方法。
9.一种终端设备，其特征在于，包括如权利要求8所述的计算机可读存储介质以及处理器，处理器用于调用和处理计算机可读存储介质中存储的计算机程序。
10.一种基于图像识别的施工进度管理系统，其特征在于，包括如权利要求9所述的终端设备以及图像采集安全帽；该图像采集安全帽上装有摄像头和图像数据发射端口，该终端设备上设有图像数据接收端口，图像数据发射端口连接图像数据接收端口；其中，
摄像头用于采集三维场景的图像数据，图像数据发射端口用于向终端设备发送采集到的三维场景图像数据，图像数据接收端口用于接收图像数据发射端口发射的的三维场景图像数据。
CN201710398963.5A 2017-05-31 2017-05-31 一种基于图像识别的三维环境模型重构方法、设备及系统 Active CN107247834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710398963.5A CN107247834B (zh) 2017-05-31 2017-05-31 一种基于图像识别的三维环境模型重构方法、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710398963.5A CN107247834B (zh) 2017-05-31 2017-05-31 一种基于图像识别的三维环境模型重构方法、设备及系统

Publications (2)

Publication Number Publication Date
CN107247834A CN107247834A (zh) 2017-10-13
CN107247834B true CN107247834B (zh) 2019-09-24

Family

ID=60017839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710398963.5A Active CN107247834B (zh) 2017-05-31 2017-05-31 一种基于图像识别的三维环境模型重构方法、设备及系统

Country Status (1)

Country Link
CN (1) CN107247834B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862742B (zh) * 2017-12-21 2020-08-14 华中科技大学 一种基于多假设联合视图选择的稠密三维重建方法
CN108648224B (zh) * 2018-05-18 2021-07-13 杭州电子科技大学 一种基于人工神经网络的实时场景布局识别及重建的方法
CN108986162B (zh) * 2018-06-28 2022-02-22 杭州吉吉知识产权运营有限公司 基于惯性测量单元和视觉信息的菜品和背景分割方法
CN111080689B (zh) * 2018-10-22 2023-04-14 杭州海康威视数字技术股份有限公司 确定面部深度图的方法和装置
CN109680613B (zh) * 2018-12-17 2020-10-09 西南交通建设集团股份有限公司 简支变结构连续桥梁施工监控方法
CN109760059B (zh) * 2019-02-28 2020-12-08 华中科技大学 基于bim的机械臂装配任务规划方法及建筑装配方法
CN111666797B (zh) * 2019-03-08 2023-08-08 深圳市速腾聚创科技有限公司 车辆定位方法、装置和计算机设备
CN110544294B (zh) * 2019-07-16 2023-09-01 深圳进化动力数码科技有限公司 一种基于全景视频的稠密三维重构方法
CN110460819A (zh) * 2019-09-05 2019-11-15 河南城建学院 一种建筑工程管理系统工程进度数据录入方法
CN110815213B (zh) * 2019-10-21 2021-03-19 华中科技大学 一种基于多维度特征融合的零件识别装配方法和装置
WO2021081958A1 (zh) * 2019-10-31 2021-05-06 深圳市大疆创新科技有限公司 地形检测方法、可移动平台、控制设备、系统及存储介质
CN111967680A (zh) * 2020-08-21 2020-11-20 云南文衡驰光科技有限公司 一种电网安全施工管控与评估系统
CN112150629A (zh) * 2020-09-25 2020-12-29 福建华电可门发电有限公司 一种基于视觉的盘煤系统及方法
CN112613107A (zh) * 2020-12-26 2021-04-06 广东电网有限责任公司 杆塔工程确定施工进度的方法、装置、存储介质及设备
CN113744408B (zh) * 2021-08-31 2023-10-27 北京航空航天大学 网格生成方法、装置及存储介质
CN113808132B (zh) * 2021-11-18 2022-04-15 深圳大学 三维网络模型质量检测方法、装置和计算机设备
CN114049466A (zh) * 2021-11-29 2022-02-15 浙江商汤科技开发有限公司 重建物体表面的方法、装置及计算机存储介质
CN114224010A (zh) * 2022-02-09 2022-03-25 福建汇川物联网技术科技股份有限公司 一种安全帽、使用方法及建筑模型投影系统
CN114862847B (zh) * 2022-07-05 2022-09-16 聊城高新生物技术有限公司 一种基于图形识别的包覆药外形缺陷检测方法及系统
CN115242409B (zh) * 2022-09-21 2022-11-25 环球数科集团有限公司 一种基于零知识证明的隐私计算方法与系统
CN116882790B (zh) * 2023-09-06 2023-11-21 北京建工环境修复股份有限公司 一种矿山生态修复区域的碳排放设备管理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877143A (zh) * 2009-12-09 2010-11-03 中国科学院自动化研究所 一种二维图像组的三维场景重建方法
CN102496183A (zh) * 2011-11-03 2012-06-13 北京航空航天大学 基于互联网照片集的多视角立体重构方法
CN103021017A (zh) * 2012-12-04 2013-04-03 上海交通大学 基于gpu加速的三维场景重建方法
CN105184863A (zh) * 2015-07-23 2015-12-23 同济大学 一种基于无人机航拍序列影像的边坡三维重建方法
CN106097436A (zh) * 2016-06-12 2016-11-09 广西大学 一种大场景对象的三维重建方法
WO2017027638A1 (en) * 2015-08-10 2017-02-16 The Board Of Trustees Of The Leland Stanford Junior University 3d reconstruction and registration of endoscopic data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877143A (zh) * 2009-12-09 2010-11-03 中国科学院自动化研究所 一种二维图像组的三维场景重建方法
CN102496183A (zh) * 2011-11-03 2012-06-13 北京航空航天大学 基于互联网照片集的多视角立体重构方法
CN103021017A (zh) * 2012-12-04 2013-04-03 上海交通大学 基于gpu加速的三维场景重建方法
CN105184863A (zh) * 2015-07-23 2015-12-23 同济大学 一种基于无人机航拍序列影像的边坡三维重建方法
WO2017027638A1 (en) * 2015-08-10 2017-02-16 The Board Of Trustees Of The Leland Stanford Junior University 3d reconstruction and registration of endoscopic data
CN106097436A (zh) * 2016-06-12 2016-11-09 广西大学 一种大场景对象的三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多幅图像的三维重建理论及算法研究;戴嘉境;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120715;I138-1752 *
基于无人机航拍图像序列的三维重建研究与实现;葛均强;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315;I138-5812 *

Also Published As

Publication number Publication date
CN107247834A (zh) 2017-10-13

Similar Documents

Publication Publication Date Title
CN107247834B (zh) 一种基于图像识别的三维环境模型重构方法、设备及系统
CN111968129B (zh) 具有语义感知的即时定位与地图构建系统及方法
US10297074B2 (en) Three-dimensional modeling from optical capture
US20190026400A1 (en) Three-dimensional modeling from point cloud data migration
CN104330074B (zh) 一种智能测绘平台及其实现方法
Hu et al. Approaches to large-scale urban modeling
CN104376552B (zh) 一种3d模型与二维图像的虚实配准方法
JP5093053B2 (ja) 電子カメラ
CN110728671B (zh) 基于视觉的无纹理场景的稠密重建方法
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
Barazzetti et al. True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach
CN106462943A (zh) 将全景成像与航拍成像对齐
Lu et al. Digital preservation for heritages: Technologies and applications
CN106296628A (zh) 检测异常情形的方法和装置
CN110717494A (zh) Android移动端室内场景三维重建及语义分割方法
CN109102566A (zh) 一种变电站的室内外实景重建方法及其装置
CN107330980A (zh) 一种基于无标志物的虚拟家具布置系统
Cosso et al. Surveying and mapping a cave using 3d laser scanner: the open challenge with free and open source software
CN113379901A (zh) 利用大众自拍全景数据建立房屋实景三维的方法及系统
Chen et al. Research on 3D reconstruction based on multiple views
Condorelli et al. A comparison between 3D reconstruction using nerf neural networks and mvs algorithms on cultural heritage images
CN106683163A (zh) 一种视频监控的成像方法及系统
CN109064533A (zh) 一种3d漫游方法及系统
CN114842139A (zh) 一种基于空间分析的建筑三维数字化模型构建方法
CN109613974A (zh) 一种大场景下的ar家居体验方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant