CN106652020B - 一种基于模型的塔杆三维重建方法 - Google Patents

Abstract

本发明一种基于模型的塔杆三维重建方法，提供一用于采集塔杆影像的摄像机以及对应的塔杆三维模型，在杆塔建造前，通常有杆塔的三维设计图与施工图，图中精确标注了杆塔关键部件的位置；而通过图像识别真实杆塔中的关键部件通常由于杆塔的结构会变得非常困难。本发明提出一种基于模型的杆塔三维重建与匹配方法，实现三维设计图生成的三维模型与真实杆塔图像进行匹配，可根据三维图的先验知识，自动高效准确的定位杆塔的关键部件。

Description

一种基于模型的塔杆三维重建方法

技术领域

本发明涉及杆塔关键部位识别技术领域，具体涉及基于模型的塔杆三维重建方法。

背景技术

随着我国经济发展以及对能源的需求越来越大，采用高压和超高压架空电力线长距离输配电力迫在眉睫。塔杆主要由杆件组成，杆件之间通过连接部位组成塔型结构，杆件又由四个主杆件组成主杆件组成整个杆件的骨架，其他杆件起到一个加强支撑的效果，电力线及杆塔附件长期暴露在野外，因受到持续的机械张力、电气闪络、材料老化的影响会产生断股、磨损、腐蚀等损伤等安全隐患，如不及时修复更换，最终会导致严重事故，造成大面积的停电和巨大的经济损失。随着直升机巡线技术的发展，利用摄像机获取待检测杆塔的一幅或多幅图像，通过图像分析与处理来检测杆塔各个关键部位的状态成为一种新的方法。

而如果通过直接观察法，用高倍望远镜就近直接观察杆塔各个关键部位。该方法实现方便，但是费时费力，检测结果也不可靠。如果通过紫外成像法和红外成像法，该方法检测绝缘子状态比较高效，检测结果准确，不足之处是一般要求夜间操作，设备昂贵，受环境干扰大。所以需要一种精确度较高的一种塔杆识别方法。

发明内容

本发明的目的在于，提供一种基于模型的塔杆三维重建方法，解决以上技术问题；

本发明所解决的技术问题可以采用以下技术方案来实现：一种基于模型的塔杆三维重建方法，提供一用于采集塔杆影像的摄像机以及对应的塔杆三维模型，

步骤1，导入所述塔杆三维模型；

步骤2，提取所述塔杆三维模型中塔杆的连接部位以确定若干第一连接点；提取所述塔杆三维模型中塔杆的杆件以确定若干第一线段，从所述第一线段以第一策略中确定表示所述塔杆三维模型中塔杆的四个主杆件的四条第一主线段；

步骤3，对四条所述第一主线段延长，得到第一交点和第二交点，求第一交点和第二交点的中点作为第一基准角点，以第二策略在步骤2中得到的第一连接点中确定第二基准角点和第三基准角点，将所述第一基准角点、第二基准角点和第三基准角点连线得到基准三角形；

步骤4，采集塔杆影像作为塔杆平面模型；

步骤5，识别所述塔杆平面模型中塔杆的杆件以确定若干第二线段，从所述第二线段中以第三策略识别表示所述塔杆平面模型中塔杆塔身两侧的主杆件的两条第二主线段；

步骤6，识别所述塔杆平面模型中角点以得到基准角点集；

步骤7，延长步骤5中得到的所述第二主线段确定第一校准角点，以第四策略从所述基准角点集中随机生成第二校准角点和第三校准角点，将第一校准角点、第二校准角点和第三校准角点连线得到校准三角形；

步骤8，通过校准三角形的坐标对应基准三角形的坐标得到所述塔杆三维模型与塔杆平面模型的投影矩阵；根据第五策略所述投影矩阵将所述第一主线段和所述第一连接点投影至所述塔杆平面模型中并根据匹配度对所述投影矩阵评分；

步骤9，重复进行步骤7和步骤8，直至得到预设目标数量的所述投影矩阵评分时，确定所述投影矩阵评分最高的所述投影矩阵为所述塔杆三维模型和所述塔杆平面模型建立匹配关系。

进一步的，步骤2中，以连接部位的中心点为确定的第一连接点。

进一步的，所述第一策略包括

步骤2.1，从第一线段中筛选长度序列在前百分之十的第一筛选线段集；

步骤2.2，从所述第一筛选线段集中进行等腰梯形匹配，将不能与其他第一线段组合作为等腰梯形的两条腰线的从第一筛选线段集中排除；

步骤2.3，从第一筛选线段集中选取最长的四条第一线段作为第一主线段。

进一步的，所述第二策略包括

步骤3.1，根据所述第一主线段确定所述塔杆三维模型的中心线；

步骤3.2，在所述第一连接点中，分别以距离所述中心线最远的两个第一连接点作为第二基准角点和第三基准角点。

进一步的，所述第四策略包括

步骤7.1，延长两条第二主线段，将所述塔杆平面模型依次划分为第一区域、第二区域和第三区域；

步骤7.2，根据角点的位置将基准角点集分为第一子集、第二子集和第三子集，所述第一子集、所述第二子集和所述第三子集分别对应所述第一区域、所述第二区域和所述第三区域；

步骤7.3，从所述第一子集中随机生成所述第二校准角点，从所述第三子集中随机选取所述第三校准角点。

进一步的，所述步骤4中还包括标定所述摄像机的内参数。

进一步的，所述步骤4中还包括对所述塔杆影像进行畸变校正处理。

进一步的，所述第三策略包括

步骤5.1，延长所述第二线段得到若干第二延长线段；

步骤5.2，对每一所述第二延长线段与其他所有所述第二线段根据相似度获得第一评定分值；

步骤5.3，确定第一评定分值最高的两条第二线段为第二主线段。

进一步的，所述第五策略包括

步骤8.1，将所述第一主线段投影到塔杆平面模型中与第二主线段进行匹配，若完成匹配，进入步骤8.2；

步骤8.2，将所述第一连接点投影到塔杆平面模型中，任一所述第一连接点与所述基准角点集中任一角点距离小于第一预设距离则判断为该第一连接角点为匹配角点，计算匹配角点的数量为第一评分。

进一步的，所述第一预设距离为2个像素。

有益效果：由于采用以上技术方案，本发明提出一种基于模型的杆塔三维重建与匹配方法，三维模型与真实杆塔图像进行匹配，根据先验知识，自动高效准确的定位杆塔的关键部件。

附图说明

图1为流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

步骤1，导入所述塔杆三维模型；由于一般的塔杆三维数据都是CAD数据，所以本实施例以CAD数据为例，做出介绍。

步骤2，提取所述塔杆三维模型中塔杆的连接部位以确定若干第一连接点；自动识别杆塔的链接部位，计算这些连接部位的中心点，得到杆塔CAD模型的稀疏表达特征点云。CAD杆塔模型的稀疏点云由杆塔所有的节点组成，得到的稀疏点云。提取所述塔杆三维模型中塔杆的杆件以确定若干第一线段，从所述第一线段以第一策略中确定表示所述塔杆三维模型中塔杆的四个主杆件的四条第一主线段；以连接部位的中心点为确定的第一连接点。所述第一策略包括步骤2.1，从第一线段中筛选长度序列在前百分之十的第一筛选线段集，即将模型拆分为线段的集合，对所有线段按长度进行排序，保留最长的10％的线段；步骤2.2，从所述第一筛选线段集中进行等腰梯形匹配，将不能与其他第一线段组合作为等腰梯形的两条腰线的从第一筛选线段集中排除，仅保留能够找到其他线段能够形成等腰梯形的线段；步骤2.3，从第一筛选线段集中选取最长的四条第一线段作为第一主线段，找到最长的4条线段，并且他们两两之间皆为等腰梯形即为目标直线塔边线。

步骤3，对四条所述第一主线段延长，得到第一交点和第二交点，求第一交点和第二交点的中点作为第一基准角点，以第二策略在步骤2中得到的第一连接点中确定第二基准角点和第三基准角点，将所述第一基准角点、第二基准角点和第三基准角点连线得到基准三角形；所述第二策略包括步骤3.1，根据所述第一主线段确定所述塔杆三维模型的中心线；步骤3.2，在所述第一连接点中，分别以距离所述中心线最远的两个第一连接点作为第二基准角点和第三基准角点。延长步骤2中得到的直线塔边线，得到两两直线的交点，计算他们的平均点以此作为带匹配点三角形的第一个角点,由步骤2识别得到直线塔边线，计算出杆塔模型的中心线，查找由步骤步骤2得到的模型的稀疏表达点云中离中心线距离最远并分布于两端的两点,至此三点共同构成了模型上的待匹配点三角形。

步骤4，采集塔杆影像作为塔杆平面模型；所述步骤4中还包括标定所述摄像机的内参数。所述步骤4中还包括对所述塔杆影像进行畸变校正处理。步骤5，利用LSD线提取算法，提取影像中的线段,识别所述塔杆平面模型中塔杆的杆件以确定若干第二线段，从所述第二线段中以第三策略识别表示所述塔杆平面模型中塔杆塔身两侧的主杆件的两条第二主线段；所述第三策略包括步骤5.1，延长所述第二线段得到若干第二延长线段；步骤5.2，对每一所述第二延长线段与其他所有所述第二线段根据相似度获得第一评定分值；步骤5.3，确定第一评定分值最高的两条第二线段为第二主线段。从LSD提取得到的线段中识别对应于杆塔直线塔边线对应的线段，遍历每一条线段，延长线段至图像边缘，由其他线段与该延长线段的相似度来评定线段是否为直线塔边线，评分最高的两条线段即为影像当中对应于三维模型对应于直线塔边线的线段。

步骤6，提取影像中的harris角点，得到塔杆平面模型中角点以得到基准角点集；

步骤7，延长步骤5中得到的所述第二主线段确定第一校准角点，以第四策略从所述基准角点集中随机生成第二校准角点和第三校准角点，将第一校准角点、第二校准角点和第三校准角点连线得到校准三角形；所述第四策略包括步骤7.1，延长两条第二主线段，将所述塔杆平面模型依次划分为第一区域、第二区域和第三区域；步骤7.2，根据角点的位置将基准角点集分为第一子集、第二子集和第三子集，所述第一子集、所述第二子集和所述第三子集分别对应所述第一区域、所述第二区域和所述第三区域；步骤7.3，从所述第一子集中随机生成所述第二校准角点，从所述第三子集中随机选取所述第三校准角点。以步骤5中判别得到的直线塔边线对应的线段作为分界线，将两条直线的左边作为区域,两条直线的右边视为区域,保留仅落在区域和中的harris角点，并将角点分为，两类。

步骤8，通过校准三角形的坐标对应基准三角形的坐标得到所述塔杆三维模型与塔杆平面模型的投影矩阵；根据第五策略所述投影矩阵将所述第一主线段和所述第一连接点投影至所述塔杆平面模型中并根据匹配度对所述投影矩阵评分；所述第五策略包括步骤8.1，将所述第一主线段投影到塔杆平面模型中与第二主线段进行匹配，若完成匹配，进入步骤8.2；步骤8.2，将所述第一连接点投影到塔杆平面模型中，任一所述第一连接点与所述基准角点集中任一角点距离小于第一预设距离则判断为该第一连接角点为匹配角点，计算匹配角点的数量为第一评分。所述第一预设距离为2个像素。以步骤5中判别得到的直线塔边线对应的两条线段,计算它们的交点，则为模型点的对应点，分别在角点集和角点集中随机选取一个点，把三点为二维影像上的对应待匹配点的匹配点，由步骤4得到相机内参数，可以根据p3p算法计算三维模型与二维影像的投影变换矩阵。利用步骤8计算得到的投影变换矩阵将直线塔边线，变换到二维影像，当存在两条边线的相似度与,匹配时继续步骤10.2，否则得出该投影矩阵的评分，利用步骤8计算得到的投影变换矩阵将模型的稀疏点云投影变换到二维影像上，设置点位投影误差阈值为2个像素，统计与投影点距离小于阈值的二维影像harris角点数n，该投影矩阵的评分。

步骤9，随机采样足够多次数，重复进行步骤7和步骤8，提高得到正确的匹配点三角形的概率，随机采样的候选匹配点三角形，直至得到预设目标数量的所述投影矩阵评分时，确定所述投影矩阵评分最高的所述投影矩阵为所述塔杆三维模型和所述塔杆平面模型建立匹配关系。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种基于模型的塔杆三维重建方法，提供一用于采集塔杆影像的摄像机以及对应的塔杆三维模型，其特征在于，

步骤1，导入所述塔杆三维模型；

步骤2，提取所述塔杆三维模型中塔杆的连接部位以确定若干第一连接点；提取所述塔杆三维模型中塔杆的杆件以确定若干第一线段，从所述第一线段中以第一策略确定表示所述塔杆三维模型中塔杆的四个主杆件的四条第一主线段；

步骤3，对四条所述第一主线段延长，得到第一交点和第二交点，求第一交点和第二交点的中点作为第一基准角点，以第二策略在步骤2中得到的第一连接点中确定第二基准角点和第三基准角点，将所述第一基准角点、第二基准角点和第三基准角点连线得到基准三角形；

步骤4，采集塔杆影像作为塔杆平面模型；

步骤5，识别所述塔杆平面模型中塔杆的杆件以确定若干第二线段，从所述第二线段中以第三策略识别表示所述塔杆平面模型中塔杆塔身两侧的主杆件的两条第二主线段；

步骤6，识别所述塔杆平面模型中角点以得到基准角点集；

步骤7，延长步骤5中得到的所述第二主线段确定第一校准角点，以第四策略从所述基准角点集中随机生成第二校准角点和第三校准角点，将第一校准角点、第二校准角点和第三校准角点连线得到校准三角形；

步骤8，通过校准三角形的坐标对应基准三角形的坐标得到所述塔杆三维模型与塔杆平面模型的投影矩阵；根据第五策略所述投影矩阵将所述第一主线段和所述第一连接点投影至所述塔杆平面模型中并根据匹配度对所述投影矩阵评分；

步骤9，重复进行步骤7和步骤8，直至得到预设目标数量的所述投影矩阵评分时，确定所述投影矩阵评分最高的所述投影矩阵为所述塔杆三维模型和所述塔杆平面模型建立匹配关系。

2.根据权利要求1所述的一种基于模型的塔杆三维重建方法，其特征在于，步骤2中，以连接部位的中心点为确定的第一连接点。

3.根据权利要求1所述的一种基于模型的塔杆三维重建方法，其特征在于，所述第一策略包括

步骤2.1，从第一线段中筛选长度序列在前百分之十的第一筛选线段集；

步骤2.2，从所述第一筛选线段集中进行等腰梯形匹配，将不能与其他第一线段组合作为等腰梯形的两条腰线的从第一筛选线段集中排除；

步骤2.3，从第一筛选线段集中选取最长的四条第一线段作为第一主线段。

4.根据权利要求1所述的一种基于模型的塔杆三维重建方法，其特征在于，所述第二策略包括

步骤3.1，根据所述第一主线段确定所述塔杆三维模型的中心线；

步骤3.2，在所述第一连接点中，分别以距离所述中心线最远的两个第一连接点作为第二基准角点和第三基准角点。

5.根据权利要求4所述的一种基于模型的塔杆三维重建方法，其特征在于，所述第四策略包括

步骤7.1，延长两条第二主线段，将所述塔杆平面模型依次划分为第一区域、第二区域和第三区域；

步骤7.2，根据角点的位置将基准角点集分为第一子集、第二子集和第三子集，所述第一子集、所述第二子集和所述第三子集分别对应所述第一区域、所述第二区域和所述第三区域；

步骤7.3，从所述第一子集中随机生成所述第二校准角点，从所述第三子集中随机选取所述第三校准角点。

6.根据权利要求1所述的一种基于模型的塔杆三维重建方法，其特征在于，所述步骤4中还包括标定所述摄像机的内参数。

7.根据权利要求1所述的一种基于模型的塔杆三维重建方法，其特征在于，所述步骤4中还包括对所述塔杆影像进行畸变校正处理。

8.根据权利要求1所述的一种基于模型的塔杆三维重建方法，其特征在于，所述第三策略包括

步骤5.1，延长所述第二线段得到若干第二延长线段；

步骤5.2，对每一所述第二延长线段与其他所有所述第二线段根据相似度获得第一评定分值；

步骤5.3，确定第一评定分值最高的两条第二线段为第二主线段。

9.根据权利要求1所述的一种基于模型的塔杆三维重建方法，其特征在于，所述第五策略包括

步骤8.1，将所述第一主线段投影到塔杆平面模型中与第二主线段进行匹配，若完成匹配，进入步骤8.2；

步骤8.2，将所述第一连接点投影到塔杆平面模型中，任一所述第一连接点与所述基准角点集中任一角点距离小于第一预设距离则判断为该第一连接角点为匹配角点，计算匹配角点的数量为第一评分。

10.根据权利要求9所述的一种基于模型的塔杆三维重建方法，其特征在于，所述第一预设距离为2个像素。