CN110348307B - 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统 - Google Patents

一种起重机金属结构攀爬机器人的路径边缘识别方法及系统 Download PDF

Info

Publication number
CN110348307B
CN110348307B CN201910496074.1A CN201910496074A CN110348307B CN 110348307 B CN110348307 B CN 110348307B CN 201910496074 A CN201910496074 A CN 201910496074A CN 110348307 B CN110348307 B CN 110348307B
Authority
CN
China
Prior art keywords
path
image
straight line
line segment
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910496074.1A
Other languages
English (en)
Other versions
CN110348307A (zh
Inventor
赵章焰
刘璧钺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201910496074.1A priority Critical patent/CN110348307B/zh
Publication of CN110348307A publication Critical patent/CN110348307A/zh
Application granted granted Critical
Publication of CN110348307B publication Critical patent/CN110348307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种起重机金属结构攀爬机器人的路径边缘识别方法及系统，首先，对由机器人CMOS摄像头采集到的路径图像进行预处理，获得路径灰度图；然后，采用线段分割检测算法对路径灰度图进行检测，检测出路径图像中满足约束规则的全部直线段，获得直线段检测图像；接着，对直线段检测图像包含所有直线段进行特征提取，基于提取的特征采用近邻传播聚类算法进行聚类操作，筛选出构成路径边缘的直线段；最后，对于筛选出的所有构成路径边缘的直线段，提取端点坐标作为拟合点，采用最小二乘法进行拟合，拟合得到的直线段作为最终识别出来的路径边缘线。本发明实现了提高直线段聚类的准确性和边缘路径识别的准确性的技术效果。

Description

一种起重机金属结构攀爬机器人的路径边缘识别方法及系统
技术领域
本发明涉及机器视觉技术领域，具体涉及一种起重机金属结构攀爬机器人的路径边缘识别方法及系统。
背景技术
对于大型起重机械，金属结构的缺陷检测关乎设备的正常运行和安全性。目前，国内外对起重机械金属结构的缺陷检测主要依靠人力攀爬完成，风险大，效率低。因此，开发适用于大型起重机械金属结构缺陷检测的攀爬机器人，可有效降低起重机械保养、维护、检测的风险，提高工作效率。
攀爬机器人路径边缘识别主要应用于起重机械金属结构等结构化路径。目前常见的结构化路径边缘识别包括公路车道线识别、变电站巡检机器人导引路径识别、AGV小车导引路径识别，智能汽车赛道识别等。这些结构化路径都有显著的特点：背景为颜色单一的地面区域，路径处于二维平面内，环境干扰较少，路径表面缺陷较少，且路径颜色和地面背景区域颜色差别较大。因而上述结构化路径更易于识别路径边缘线。
本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：
相较于上述常见的位于二维平面上的结构化路径，起重机金属结构路径处于三维环境空间中，由于起重机金属结构错综复杂，背景区域往往会出现和路径区域具有相同颜色特征的非路径金属结构；同时，路径表面存在各种表面缺陷。因此，对于金属结构路径图像，检测出的干扰直线段更多，路径边缘提取更为困难。
由此可知，现有技术中存在识别准确性不高的技术问题。
发明内容
有鉴于此，本发明提供了一种起重机金属结构攀爬机器人的路径边缘识别方法及系统，用以解决或者至少部分解决现有技术中存在识别准确性不高的技术问题。
本发明第一方面提供了一种起重机金属结构攀爬机器人的路径边缘识别方法，包括：
步骤S1：对由机器人CMOS摄像头采集到的路径图像进行预处理，获得路径灰度图；
步骤S2：采用线段分割检测算法对路径灰度图进行检测，检测出路径图像中满足约束规则的全部直线段，获得直线段检测图像；
步骤S3：对直线段检测图像包含所有直线段进行特征提取，基于提取的特征采用近邻传播聚类算法进行聚类操作，筛选出构成路径边缘的直线段；
步骤S4：对于筛选出的所有构成路径边缘的直线段，提取端点坐标作为拟合点，采用最小二乘法进行拟合，拟合得到的直线段作为最终识别出来的路径边缘线。
在一种实施方式中，步骤S1具体包括：
步骤S1.1：采用改进的过颜色算子对采集到的RGB图像进行灰度化，获得灰度图；
步骤S1.2：采用中值滤波方法去除灰度图中的噪声；
步骤S1.3：将去除噪声后的灰度图进行灰度拉伸；
步骤S1.4：采用灰度闭运算处理灰度图，获得预处理后的路径灰度图。
在一种实施方式中，步骤S2具体包括：
步骤S2.1：采用基于支持向量机的最优分类线方法确定梯度阈值；
步骤S2.2：约束直线段的倾斜角；
步骤S2.3：约束直线段的平面位置；
步骤S2.4：基于确定的梯度阈值、倾斜角约束和平面位置约束，采用线段分割检测算法对路径灰度图进行检测，检测出路径图像中满足约束规则的全部直线段，获得直线段检测图像。
在一种实施方式中，步骤S3具体包括：
步骤S3.1：将直线段检测图像作为聚类样本图像，对于每一幅聚类样本图像，将位于中轴线左、右两侧的直线段各作为一个聚类样本集，分别提取特征并进行聚类操作，依次识别出左、右路径边缘线；
步骤S3.2：将基于监督信息的判别模型与近邻传播聚类算法相结合，提出半监督近邻传播聚类算法，并基于半监督近邻传播聚类算法，对每一个直线段聚类样本集进行聚类操作，筛选出所有构成路径边缘的直线段。
在一种实施方式中，步骤S1.1具体包括：
改进的过颜色算子灰度化公式如式(1)所示
Figure BDA0002088623220000031
式中：J(x，y)——像素点(x，y)处的灰度值；
R、G、B——图像中路径区域像素点的RGB分量值；
m——主分量系数。
在一种实施方式中，步骤S2.1具体包括：
步骤S2.1.1：通过N幅路径图像获取训练集数据。每一幅图像p中，使暗区域造成的干扰直线段全部消失的最小梯度阈值为记Up，所有Up构成集合US，将US内所有数据的类别标签设为1；使路径边缘线开始消失的最小梯度阈值记为Hp，所有Hp构成集合HS，将HS内所有数据的类别标签设为-1；则训练数据集Train＝{(Z1，Q1)，(Z2，Q2)，…，(Z2N，Q2N)}，Z＝(q1，q2)，q1表示训练集图像标号，q2表示US和HS包含的梯度阈值，Q∈{-1，1}；
步骤S2.1.2：用Train训练支持向量机，得到能将US和HS分开的最优分类线；
步骤S2.1.3：确定最优分类线方程，代入数据求得梯度阈值δ。通过支持向量机输出的拉格朗日乘数α和支持向量，计算最优分类线方程，其中，最优分类线方程如式(2)所示：
ωTZ+B＝0 (2)
其中：
Figure BDA0002088623220000032
Figure BDA0002088623220000033
T＝{z∣z为支持向量在训练数据集中的下标}
ω表示最优分类线法向量，ω＝(ω1，ω2)；B表示最优分类线位移项；下标z表示支持向量在训练数据集的标号，αZ表示第z个标号对应的支持向量机的拉格朗日乘数，S表示第一特征。
在一种实施方式中，步骤S2.2具体包括：
步骤S2.2.1：根据线支持区域为r、内像素点j的坐标为(xj，yj)以及梯度幅值为G(xj，yj)，获得矩形的中心点(cx，cy)：
Figure BDA0002088623220000041
步骤S2.2.2：将矩阵M的最小特征值对应的特征向量的角度作为矩形的主惯性轴方向，其中M如式(4)所示：
Figure BDA0002088623220000042
其中：
Figure BDA0002088623220000043
Figure BDA0002088623220000044
Figure BDA0002088623220000045
步骤S2.2.3：记特征值λ和2维列向量x＝(x1，x2)T，使
(M－λE)x＝0 (5)
当λ＝λmin时，由上式(5)可得
Figure BDA0002088623220000046
从而得到矩形的主惯性轴方向角θ＝arctan(x2/x1)，通过约束θ在路径边缘线所在的角度范围，从而构建倾斜角约束。
在一种实施方式中，步骤S3.2具体包括：
步骤S3.2.1：获取监督信息，其中，监督信息包括路径边缘线所在类别Cpath以及类别Cpath的聚类中心Icore-path为路径边缘直线段对应的数据点；
步骤S3.2.2：设置路径边缘线识别半径ρ，识别半径ρ的计算公式如式(7)所示：
Figure BDA0002088623220000051
其中，k，d，L分别为Icore-path对应的路径边缘直线段的斜率、第一特征d和第二特征L；
步骤S3.2.3：结合监督信息和识别半径，生成判别模型，并结合判别模型和近邻传播聚类算法生成基于半监督近邻传播聚类算法，再基于半监督近邻传播聚类算法对筛选出的路径边缘的直线段进行进一步聚类。
基于同样的发明构思，本发明第二方面提供了一种起重机金属结构攀爬机器人的路径边缘识别系统，包括：
预处理模块，用于对由机器人CMOS摄像头采集到的路径图像进行预处理，获得路径灰度图；
线段分割检测模块，用于采用线段分割检测算法对路径灰度图进行检测，检测出路径图像中满足约束规则的全部直线段，获得直线段检测图像；
聚类模块，用于对直线段检测图像包含所有直线段进行特征提取，作为聚类样本，采用近邻传播聚类算法进行聚类操作，筛选出构成路径边缘的直线段；
拟合模块，用于对于筛选出的所有构成路径边缘的直线段，提取端点坐标作为拟合点，采用最小二乘法进行拟合，拟合得到的直线段作为最终识别出来的路径边缘线。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明提供的一种起重机金属结构攀爬机器人的路径边缘识别方法，首先对采集到的路径图像进行预处理，然后采用线段分割检测算法对路径灰度图进行检测，获得直线段检测图像；接着对直线段检测图像包含所有直线段进行特征提取，并采用近邻传播聚类算法进行聚类操作，筛选出构成路径边缘的直线段；最后对于筛选出的所有构成路径边缘的直线段，提取端点坐标作为拟合点，采用最小二乘法进行拟合，拟合得到的直线段作为最终识别出来的路径边缘线。
相较于传统的识别二维平面上结构化路径边缘的识别方法，本发明提出了一种识别三维环境内结构化路径边缘线的识别方法，克服了三维环境空间中复杂背景和路径缺陷导致的干扰直线段对识别结果有着重大影响的难题，能够从检测出的众多直线段中，剔除干扰直线段，准确筛选出路径边缘线；同时，本发明要识别的路径图像是随机器人的移动而动态变化的，由于难以确定合适的直线段特征，使其在不同图像中，都能稳定且准确地区分路径边缘线和干扰直线段，这便导致传统的基于特征约束和机器学习的识别方法很难适用于动态变化的路径图像。基于此，本方法改变思路，对每一幅直线段检测图像，提取合适的直线段特征，采用聚类算法，将特征相似的路径边缘直线段聚为一类并筛选出来。从而可以提高路径识别的准确性。
进一步地，为了实现对动态数据集的精准聚类，本发明将基于监督信息的判别模型与近邻传播聚类算法相结合，提出半监督近邻传播聚类算法。该聚类算法无需指定聚类个数和聚类中心，可自主判断最佳聚类个数和聚类中心，且能够优化对路径边缘线的分类结果，实现对动态聚类数据集的自适应聚类操作。因此，面对动态变化的直线段聚类样本，该算法均能自主判断并准确筛选出所有构成路径边缘的直线段，聚类结果准确度高，实时性强，可实现自适应聚类，适用于动态变化的聚类样本集。此外，本发明除了可以应用于起重机械金属结构路径的边缘识别，还可广泛扩展应用于其他三维空间结构化路径的边缘识别，应用面广，适应性强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种起重机金属结构攀爬机器人的路径边缘识别方法的流程图；
图2为本发明提供的方法的技术路线图；
图3为本发明实施例构建的路径模型示意图；
图4为本发明实施例支持向量机分类图像的示意图；
图5为本发明实施例采用的特征提取模型示意图；
图6为本发明实施例中半监督判别流程图；
图7为采用本发明的方法的图像预处理效果示意图；
图8为采用改进线段分割检测算法得到的直线段检测图像示意图；
图9(a)～9(d)为采用半监督近邻传播算法聚类示例图；
图10为采用本发明的方法得到的拟合结果示意图；
图11为本发明实施例提供的一种起重机金属结构攀爬机器人的路径边缘识别系统的结构跨图。
具体实施方式
本发明的目的在于针对传统的基于特征约束和机器学习的识别方法很难适用于动态变化的路径图像，而导致的路径识别不准确的技术问题，提供了一种起重机金属结构攀爬机器人的路径边缘识别方法，该方法无需调节参数，面对动态变化的路径图像，通过检测出每幅图像内的直线段，自适应地剔除干扰直线段，识别出构成路径边缘的直线段，并且识别准确率高，精度高，实时性强，且能够实现自适应识别，适用于动态变化的路径图像。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本实施例提供了一种起重机金属结构攀爬机器人的路径边缘识别方法，请参见图1，该方法包括：
步骤S1：对由机器人CMOS摄像头采集到的路径图像进行预处理，获得路径灰度图。
具体来说，由用于起重金属结构的攀爬机器人搭载的摄像头可以获取路径图像，然后对获取的图像进行预处理，便于后续路径边缘的识别。
步骤S2：采用线段分割检测算法对路径灰度图进行检测，检测出路径图像中满足约束规则的全部直线段，获得直线段检测图像。
具体来说，线段分割检测算法即直线段检测算法LSD，本发明采用改进后的线段分割检测算法，预先设置约束规则，然后采用该算法检测出满足约束规则的全部直线段，获得直线段检测图像。
步骤S3：对直线段检测图像包含所有直线段进行特征提取，基于提取的特征采用近邻传播聚类算法进行聚类操作，筛选出构成路径边缘的直线段。
具体来说，对于直线段检测图像的所有直线段，提取用于聚类的直线段特征，然后进行聚类。
步骤S4：对于筛选出的所有构成路径边缘的直线段，提取端点坐标作为拟合点，采用最小二乘法进行拟合，拟合得到的直线段作为最终识别出来的路径边缘线。
请参见图2，图2为本发明提供的方法的技术路线图，首先进行图像预处理，并采用改进的LSD算法检测直线线段，接着获取用于聚类的直线段检测图像(即聚类样本图像)，接下来进行直线段特征提取，再采用半监督AP聚类筛选构成路径边缘的直线段，最后采用最小二乘法拟合得到最终的路径边缘线。
图3为本发明实施例构建的路径模型示意图，起重机械金属结构路径的一大特征是路径宽度大于机器人本体宽度。因此，在以O为原点的像素坐标系下，线段A1A2为左路径边缘，线段A3A4为右路径边缘，六边形A1A2A5A6A4A3为路径区域，直角△OA1A2和直角△A7A3A4为背景区域。
在一种实施方式中，步骤S1具体包括：
步骤S1.1：采用改进的过颜色算子对采集到的RGB图像进行灰度化，获得灰度图；
步骤S1.2：采用中值滤波方法去除灰度图中的噪声；
步骤S1.3：将去除噪声后的灰度图进行灰度拉伸；
步骤S1.4：采用灰度闭运算处理灰度图，获得预处理后的路径灰度图。
具体来说，步骤S1.1的改进过颜色算子对采集到的RGB图像进行灰度化的如式(1)：
Figure BDA0002088623220000091
其中：J(x，y)——像素点(x，y)处的灰度值；
R、G、B——图像中路径区域像素点的RGB分量值；
m——主分量系数。
相比于传统的灰度化公式，运用改进的过颜色算子灰度化可以增大路径区域和背景区域的灰度差异，从而增大路径边缘处梯度值，有利于路径边缘线的检测。
步骤S1.3中将灰度图进行灰度拉伸，可以增大路径区域和背景区域的对比度，从而使路径边缘特征更加明显，步骤S1.4用灰度闭运算处理灰度图，消除图像当中的暗细节部分。如图7所示，为采用本发明的方法的图像预处理效果示意图。
在一种实施方式中，步骤S2具体包括：
步骤S2.1：采用基于支持向量机最优分类线的方法确定梯度阈值；
步骤S2.2：约束直线段的倾斜角；
步骤S2.3：约束直线段的平面位置；
步骤S2.4：基于确定的梯度阈值、倾斜角约束和平面位置约束，采用线段分割检测算法对路径灰度图进行检测，检测出路径图像中满足约束规则的全部直线段，获得直线段检测图像。
具体来说，步骤S2.1～S2.3构建的阈值和相关约束，从而改进线段分割检测算法，进而进行直线检测。
其中，步骤S2.1利用基于支持向量机的最优分类线的方法确定梯度阈值，梯度阈值δ应大于暗区域边缘处像素点的梯度值，小于路径边缘处像素点的梯度值，使得梯度阈值δ能够在不影响路径边缘线检测的情况下，消除由金属缺陷暗区域导致的干扰直线段。
步骤S2.2通过约束线段分割检测算法中线支持区域最小外接矩形的主方向角来约束检测出的直线段倾斜角，改进线段分割检测算法，使其检测出的直线段都位于路径边缘线所在的角度范围之内。
步骤S2.3：约束直线段的平面位置。由于构成左路径边缘的直线段不会整体位于中轴线右侧；构成右路径边缘的直线段不会整体位于中轴线左侧；因此，通过约束直线段端点的横坐标，使所有斜率小于0的直线段都整体位于中轴线左侧，所有斜率大于0直线段都整体位于中轴线右侧。
通过增设梯度阈值约束、倾斜角约束和平面位置约束，改进了线段分割检测算法，降低了检测出的干扰直线段数量，并且使得检测出的干扰直线段都位于路径边缘线外侧的背景区域，路径边缘线比干扰直线段更靠近图像的中轴线，且干扰直线段和同侧路径边缘线具有近似的斜率，得到最终用于聚类的直线段检测图像，定义为聚类样本图像，如附图8所示。通过对聚类样本图像内的直线段提取特征并进行聚类操作，将构成路径边缘的直线段，聚为一类并筛选出来。
在一种实施方式中，步骤S2.1具体包括：
步骤S2.1.1：通过N幅路径图像获取训练集数据。每一幅图像p中，使暗区域造成的干扰直线段全部消失的最小梯度阈值为记Up，所有Up构成集合US，将US内所有数据的类别标签设为1；使路径边缘线开始消失的最小梯度阈值记为Hp，所有Hp构成集合HS，将HS内所有数据的类别标签设为-1；则训练数据集Train＝{(Z1，Q1)，(Z2，Q2)，…，(Z2N，Q2N)}，Z＝(q1，q2)，q1表示训练集图像标号，q2表示US和HS包含的梯度阈值，Q∈{-1，1}；
步骤S2.1.2：用Train训练支持向量机，得到能将US和HS分开的最优分类线；
步骤S2.1.3：确定最优分类线方程，代入数据求得梯度阈值δ。通过支持向量机输出的拉格朗日乘数α和支持向量，计算最优分类线方程，其中，最优分类线方程如式(2)所示：
ωTZ+B＝0 (2)
其中：
Figure BDA0002088623220000101
Figure BDA0002088623220000102
T＝{z∣z为支持向量在训练数据集中的下标}
ω表示最优分类线法向量，ω＝(ω1，ω2)；B表示最优分类线位移项；下标z表示支持向量在训练数据集的标号，αZ表示第z个标号对应的支持向量机的拉格朗日乘数，S表示第一特征。
具体来说，在步骤2.1.1中,具体解释了训练数据集，对于训练数据集中的每个数据点，都有一个编号，支持向量是训练数据集的一部分，z这个下标就代表支持向量在训练数据集的标号。例如，训练数据集有10个数据，标号1至10在这十个数据里面，标号2,4,6的数据对应支持向量，那么T就是集合(2,4,6)，z就是T中的元素，z＝2或4或6，Qz和Zz就对应于数据点Z2、Q2、Z4、Q4，Z6和Q6。
附图4中黑线为支持向量机确定的最优分类线，圈出的数据点为支持向量。在具体的实施过程中，令δ为最优分类线中点对应的梯度阈值。确定最优分类线方程后，代入相应的数据即可求得梯度阈值δ。
令δ为最优分类线中点对应的梯度阈值，将q1＝N/2(假如有400个图像，N为400，q1则为200)代入上式(2)，解得q2＝δ，则基于支持向量机最优分类的思想，由此得到的梯度阈值δ可保证使暗区域干扰直线段全部消失的同时，不影响路径边缘线的检测。
在一种实施方式中，步骤S2.2具体包括：
步骤S2.2.1：根据线支持区域为r、内像素点j的坐标为(xj，yj)以及梯度幅值为G(xj，yj)，获得矩形的中心点(cx，cy)：
Figure BDA0002088623220000111
步骤S2.2.2：将矩阵M的最小特征值对应的特征向量的角度作为矩形的主惯性轴方向，其中M如式(4)所示：
Figure BDA0002088623220000112
其中：
Figure BDA0002088623220000113
Figure BDA0002088623220000114
Figure BDA0002088623220000121
步骤S2.2.3：记特征值λ和2维列向量x＝(x1，x2)T，使
(M－λE)x＝0 (5)
当λ＝λmin时，由上式(5)可得
Figure BDA0002088623220000122
从而得到矩形的主惯性轴方向角θ＝arctan(x2/x1)，通过约束θ在路径边缘线所在的角度范围，从而构建倾斜角约束。
具体来说，步骤S2.2.1将线支持区域看做一个实体，区域内每个像素点的梯度值作为像素点的质量，整个实体的质心作为最小外接矩形的中心点，得到矩形中心点的坐标。步骤S2.2.3在得到矩形的主惯性轴方向角θ＝arctan(x2/x1)后，通过约束θ在路径边缘线所在的角度范围，从而筛选出倾斜角在该角度范围内的直线段，过滤掉倾斜角不在该角度范围内的干扰直线段。
在一种实施方式中，步骤S3具体包括：
步骤S3.1：将直线段检测图像作为聚类样本图像，对于每一幅聚类样本图像，将位于中轴线左、右两侧的直线段各作为一个聚类样本集，分别提取特征并进行聚类操作，依次识别出左、右路径边缘线；
步骤S3.2：将基于监督信息的判别模型与近邻传播聚类算法相结合，提出半监督近邻传播聚类算法，并基于半监督近邻传播聚类算法，对每一个直线段聚类样本集进行聚类操作，筛选出所有构成路径边缘的直线段。
具体来说，步骤S3.1中，对于聚类样本图像中的所有直线段，提取用于聚类的直线段特征，如附图5所示。将每条直线段i延长至与图像边界相交，使每条直线段i都对应一个直角三角形，直角三角形的两直角边Li与Wi，点到直线的距离di以及直角三角形的面积Si，都可作为直线段i的聚类特征，从四个特征之中选取Si和Li两个特征作为直线段的聚类特征，提取的特征(S，L)满足路径边缘线之间的特征差异较小，路径边缘线和干扰直线段之间的特征差异较大。将四维特征向量降为二维特征向量，方便聚类的同时仍保留了区分能力。
对于每一幅聚类样本图像，将位于中轴线左、右两侧的直线段各作为一个聚类样本集，分别提取特征并进行聚类操作，依次识别出左、右路径边缘线。然后对每一个直线段聚类样本集，采用近邻传播聚类算法进行聚类操作。
具体来说，步骤S3.2中，将基于监督信息的判别模型与近邻传播聚类算法相结合，提出半监督近邻传播聚类算法，并基于半监督近邻传播聚类算法对筛选出的路径边缘的直线段进行进一步聚类。由于数据存在误差，近邻传播聚类得到的路径边缘线所在类别可能包含干扰直线段，或未包含全部路径边缘直线段，为了对路径边缘线进行更为精确的聚类，将基于监督信息的判别模型与近邻传播聚类算法相结合，提出半监督近邻传播聚类算法。
在一种实施方式中，步骤S3.2具体包括：
步骤S3.2.1：获取监督信息，其中，监督信息包括路径边缘线所在类别Cpath以及类别Cpath的聚类中心Icore-path为路径边缘直线段对应的数据点；
步骤S3.2.2：设置路径边缘线识别半径ρ，识别半径ρ的计算公式如式(7)所示：
Figure BDA0002088623220000131
其中，k，d，L分别为Icore-path对应的路径边缘直线段的斜率、第一特征d和第二特征L；
步骤S3.2.3：结合监督信息和识别半径，生成判别模型，并结合判别模型和近邻传播聚类算法生成基于半监督近邻传播聚类算法，再基于半监督近邻传播聚类算法对筛选出的路径边缘的直线段进行进一步聚类。
具体来说，记聚类数据集I＝{I1，I2，…Ii…，In}，Ii＝(Si，Li)为直线段i对应的特征向量，近邻传播聚类后的N个类别为{C1，C2，…Cv…，CN}。计算每个类别Cv中特征S的平均值，记为Save-v，类别Cv的聚类中心记为Icore-v，可获取的监督信息为：1、Save-v最大的那一类Cv为路径边缘线所在类别Cpath；2、类别Cpath的聚类中心Icore-path判定为路径边缘直线段对应的数据点。
设置路径边缘线识别半径ρ，用于添加未识别的路径边缘线或剔除干扰直线段，距Icore-path对应的路径边缘线距离为0.035d且平行的两条直线围成的梯形面积记为Stra，取ρ＝0.5·Stra，则识别半径ρ如步骤S3.2.2中式(7)所示。
结合监督信息和识别半径，生成判别模型，如附图6所示。记聚类中心Icore-path对应特征Score-path，其他类别的聚类中心Icore-v对应特征Score-v，计算∣Score-path－Score-v∣是否小于ρ，对于小于ρ的Score-v，将其聚类中心Icore-v对应的类别Cv合并到Cpath中，得到C’path，C’path的聚类中心记为等效聚类中心I’core-path，其值为原来的Icore-path与合并进来的其他Icore-v的均值，I’core-path对应特征S’core-path，再计算C’path内其他数据点的特征S与S’core-path的距离，若小于ρ，则该数据点对应的直线段被判别为路径边缘线，若大于ρ，被判别为干扰直线段，并从C’path中剔除，得到最终识别出的路径边缘线所在类别C’path-final。
图9(包括a样例1、b样例2、c样例3和d样例4)，为采用半监督近邻传播聚类算法示例图。其中看，样例1中，Cpath的聚类中心Icore-path对应直线段1，识别半径ρ＝2349。半监督AP算法得到的C’path-final与AP算法得到的Cpath相同，因此两种算法对路径边缘线的筛选结果相同。样例2中，Cpath的聚类中心Icore-path对应直线段1，识别半径ρ＝2504，半监督AP算法得到的C’path-final与AP算法得到的Cpath相同，因此两者对路径边缘线的筛选结果相同。样例3中，Icore-path对应直线段14，识别半径ρ＝2582。C’path-final剔除了Cpath中标号13的干扰直线段，因此半监督AP聚类优化了AP聚类的筛选结果。样例4中，本例中，Icore-path对应直线段2，识别半径ρ＝2981。Cpath首先合并了以直线段6为聚类中心的类别，然后依据等效聚类中心剔除了标号1的干扰直线段，得到C’path-final。故半监督AP聚类优化了AP聚类的筛选结果。
最后利用LSD算法输出的直线段信息，获得C’path-final中直线段的端点坐标，作为路径边缘线的拟合点，拟合得到的直线作为路径边缘线。其中，图10为采用本发明的方法得到的拟合结果示意图。
总体来说，本发明提出了一种识别三维环境内结构化路径边缘线的识别方法，克服了三维环境空间中复杂背景和路径缺陷导致的干扰直线段对识别结果有着重大影响的难题，能够从检测出的众多直线段中，剔除干扰直线段，准确筛选出路径边缘线；对每一幅直线段检测图像，提取合适的直线段特征，采用聚类算法，将特征相似的路径边缘直线段聚为一类并筛选出来。为了实现对动态数据集的精准聚类，本发明将基于监督信息的判别模型与近邻传播聚类算法相结合，提出半监督近邻传播聚类算法。该聚类算法无需指定聚类个数和聚类中心，可自主判断最佳聚类个数和聚类中心，且能够优化对路径边缘线的分类结果，实现对动态聚类数据集的自适应聚类操作。因此，面对动态变化的直线段聚类样本，该算法均能自主判断并准确筛选出所有构成路径边缘的直线段，聚类结果准确度高，实时性强，可实现自适应聚类，适用于动态变化的聚类样本集。此外，本发明除了可以应用于起重机械金属结构路径的边缘识别，还可广泛扩展应用于其他三维空间结构化路径的边缘识别，应用面广，适应性强。
基于同一发明构思，本申请还提供了与实施例一中起重机金属结构攀爬机器人的路径边缘识别方法的系统，详见实施例二。
实施例二
本实施例提供了起重机金属结构攀爬机器人的路径边缘识别系统，请参见图8，该系统包括：
预处理模块201，用于对由机器人CMOS摄像头采集到的路径图像进行预处理，获得路径灰度图；
线段分割检测模块202，用于采用线段分割检测算法对路径灰度图进行检测，检测出路径图像中满足约束规则的全部直线段，获得直线段检测图像；
聚类模块203，用于对直线段检测图像包含所有直线段进行特征提取，作为聚类样本，采用近邻传播聚类算法进行聚类操作，筛选出构成路径边缘的直线段；
拟合模块204，用于对于筛选出的所有构成路径边缘的直线段，提取端点坐标作为拟合点，采用最小二乘法进行拟合，拟合得到的直线段作为最终识别出来的路径边缘线。
由于本发明实施例二所介绍的系统，为实施本发明实施例一中起重机金属结构攀爬机器人的路径边缘识别方法所采用的系统，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的系统都属于本发明所欲保护的范围。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种起重机金属结构攀爬机器人的路径边缘识别方法，其特征在于，包括：
步骤S1：对由机器人CMOS摄像头采集到的路径图像进行预处理，获得路径灰度图；
步骤S2：采用线段分割检测算法对路径灰度图进行检测，检测出路径图像中满足约束规则的全部直线段，获得直线段检测图像；
步骤S3：对直线段检测图像包含所有直线段进行特征提取，基于提取的特征采用近邻传播聚类算法进行聚类操作，筛选出构成路径边缘的直线段；
步骤S4：对于筛选出的所有构成路径边缘的直线段，提取端点坐标作为拟合点，采用最小二乘法进行拟合，拟合得到的直线段作为最终识别出来的路径边缘线；
其中，步骤S2具体包括：
步骤S2.1：采用基于支持向量机最优分类线的方法确定梯度阈值；
步骤S2.2：约束直线段的倾斜角；
步骤S2.3：约束直线段的平面位置；
步骤S2.4：基于确定的梯度阈值、倾斜角约束和平面位置约束，采用线段分割检测算法对路径灰度图进行检测，检测出路径图像中满足约束规则的全部直线段，获得直线段检测图像。
2.如权利要求1所述的方法，其特征在于，步骤S1具体包括：
步骤S1.1：采用改进的过颜色算子对采集到的RGB图像进行灰度化，获得灰度图；
步骤S1.2：采用中值滤波方法去除灰度图中的噪声；
步骤S1.3：将去除噪声后的灰度图进行灰度拉伸；
步骤S1.4：采用灰度闭运算处理灰度图，获得预处理后的路径灰度图。
3.如权利要求1所述的方法，其特征在于，步骤S3具体包括：
步骤S3.1：将直线段检测图像作为聚类样本图像，对于每一幅聚类样本图像，将位于中轴线左、右两侧的直线段各作为一个聚类样本集，分别提取特征并进行聚类操作，依次识别出左、右路径边缘线；
步骤S3.2：将基于监督信息的判别模型与近邻传播聚类算法相结合，提出半监督近邻传播聚类算法，并基于半监督近邻传播聚类算法，对每一个直线段聚类样本集进行聚类操作，筛选出所有构成路径边缘的直线段。
4.如权利要求2所述的方法，其特征在于，步骤S1.1具体包括：
改进的过颜色算子灰度化公式如式(1)所示
Figure FDA0002983409580000021
式中：J(x，y)——像素点(x，y)处的灰度值；
R、G、B——图像中路径区域像素点的RGB分量值；
m——主分量系数。
5.如权利要求1所述的方法，其特征在于，步骤S2.1具体包括：
步骤S2.1.1：通过N幅路径图像获取训练集数据，每一幅图像p中，使暗区域造成的干扰直线段全部消失的最小梯度阈值为记Up，所有Up构成集合US，将US内所有数据的类别标签设为1；使路径边缘线开始消失的最小梯度阈值记为Hp，所有Hp构成集合HS，将HS内所有数据的类别标签设为-1；则训练数据集Train＝{(Z1，Q1)，(Z2，Q2)，…，(Z2N，Q2N)}，Z＝(q1，q2)，q1表示训练集图像标号，q2表示US和HS包含的梯度阈值，Q∈{-1，1}；
步骤S2.1.2：用Train训练支持向量机，得到能将US和HS分开的最优分类线；
步骤S2.1.3：确定最优分类线方程，代入数据求得梯度阈值δ，通过支持向量机输出的拉格朗日乘数α和支持向量，计算最优分类线方程，其中，最优分类线方程如式(2)所示：
ωTZ+B＝0 (2)
其中：
Figure FDA0002983409580000022
Figure FDA0002983409580000023
T＝{z∣z为支持向量在训练数据集中的下标}
ω表示最优分类线法向量，ω＝(ω1，ω2)；B表示最优分类线位移项；下标z表示支持向量在训练数据集的标号，αZ表示第z个标号对应的支持向量机的拉格朗日乘数，S表示第一特征。
6.如权利要求1所述的方法，其特征在于，步骤S2.2具体包括：
步骤S2.2.1：根据线支持区域为r、内像素点j的坐标为(xj，yj)以及梯度幅值为G(xj，yj)，获得矩形的中心点(cx，cy)：
Figure FDA0002983409580000031
步骤S2.2.2：将矩阵M的最小特征值对应的特征向量的角度作为矩形的主惯性轴方向，其中M如式(4)所示：
Figure FDA0002983409580000032
其中：
Figure FDA0002983409580000033
Figure FDA0002983409580000034
Figure FDA0002983409580000035
步骤S2.2.3：记特征值λ和2维列向量x＝(x1，x2)T，使
(M－λE)x＝0 (5)
当λ＝λmin时，由上式(5)可得
Figure FDA0002983409580000036
从而得到矩形的主惯性轴方向角θ＝arctan(x2/x1)，通过约束θ在路径边缘线所在的角度范围，从而构建倾斜角约束。
7.如权利要求3所述的方法，其特征在于，步骤S3.2具体包括：
步骤S3.2.1：获取监督信息，其中，监督信息包括路径边缘线所在类别Cpath以及类别Cpath的聚类中心Icore-path为路径边缘直线段对应的数据点；
步骤S3.2.2：设置路径边缘线识别半径ρ，识别半径ρ的计算公式如式(7)所示：
Figure FDA0002983409580000041
其中，k，d，L分别为Icore-path对应的路径边缘直线段的斜率、第一特征d和第二特征L；
步骤S3.2.3：结合监督信息和识别半径，生成判别模型，并结合判别模型和近邻传播聚类算法生成基于半监督近邻传播聚类算法，再基于半监督近邻传播聚类算法对筛选出的路径边缘的直线段进行进一步聚类。
8.一种起重机金属结构攀爬机器人的路径边缘识别系统，其特征在于，包括：
预处理模块，用于对由机器人CMOS摄像头采集到的路径图像进行预处理，获得路径灰度图；
线段分割检测模块，用于采用线段分割检测算法对路径灰度图进行检测，检测出路径图像中满足约束规则的全部直线段，获得直线段检测图像；
聚类模块，用于对直线段检测图像包含所有直线段进行特征提取，作为聚类样本，采用近邻传播聚类算法进行聚类操作，筛选出构成路径边缘的直线段；
拟合模块，用于对于筛选出的所有构成路径边缘的直线段，提取端点坐标作为拟合点，采用最小二乘法进行拟合，拟合得到的直线段作为最终识别出来的路径边缘线；
其中，线段分割检测模块具体用于：
采用基于支持向量机最优分类线的方法确定梯度阈值；
约束直线段的倾斜角；
约束直线段的平面位置；
基于确定的梯度阈值、倾斜角约束和平面位置约束，采用线段分割检测算法对路径灰度图进行检测，检测出路径图像中满足约束规则的全部直线段，获得直线段检测图像。
CN201910496074.1A 2019-06-10 2019-06-10 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统 Active CN110348307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910496074.1A CN110348307B (zh) 2019-06-10 2019-06-10 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910496074.1A CN110348307B (zh) 2019-06-10 2019-06-10 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统

Publications (2)

Publication Number Publication Date
CN110348307A CN110348307A (zh) 2019-10-18
CN110348307B true CN110348307B (zh) 2021-06-04

Family

ID=68181707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910496074.1A Active CN110348307B (zh) 2019-06-10 2019-06-10 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统

Country Status (1)

Country Link
CN (1) CN110348307B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985436B (zh) * 2020-08-29 2024-03-12 浙江工业大学 一种基于lsd的车间地标线识别拟合方法
CN113160161B (zh) * 2021-04-14 2023-07-11 歌尔股份有限公司 目标边缘处缺陷的检测方法和装置
CN114972833A (zh) * 2022-07-27 2022-08-30 南通森田消防装备有限公司 用于消防水带衬里缺陷分类的检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542260A (zh) * 2011-12-30 2012-07-04 中南大学 一种面向无人驾驶车的道路交通标志识别方法
CN107734268A (zh) * 2017-09-18 2018-02-23 北京航空航天大学 一种结构保持的宽基线视频拼接方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542260A (zh) * 2011-12-30 2012-07-04 中南大学 一种面向无人驾驶车的道路交通标志识别方法
CN107734268A (zh) * 2017-09-18 2018-02-23 北京航空航天大学 一种结构保持的宽基线视频拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
图像主特征直线的检测算法;陈仁杰等;《中国图象图形学报》;20100331;第403-408页 *
基于改进线段分割检测的电线杆遮挡检测算法;李涛等;《计算机工程》;20170930;第250-255页 *

Also Published As

Publication number Publication date
CN110348307A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN109800824B (zh) 一种基于计算机视觉与机器学习的管道缺陷识别方法
Hoang et al. Metaheuristic optimized edge detection for recognition of concrete wall cracks: a comparative study on the performances of roberts, prewitt, canny, and sobel algorithms
CN107679520B (zh) 一种适用于复杂条件下的车道线视觉检测方法
CN102426649B (zh) 一种简单的高准确率的钢印数字自动识别方法
CN106683119B (zh) 基于航拍视频图像的运动车辆检测方法
Danescu et al. Detection and classification of painted road objects for intersection assistance applications
CN110348307B (zh) 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统
CN114549981A (zh) 一种基于深度学习的智能巡检指针式仪表识别及读数方法
CN112734761B (zh) 工业品图像边界轮廓提取方法
CN107886539B (zh) 一种工业场景下高精度齿轮视觉检测方法
CN114863492B (zh) 一种低质量指纹图像的修复方法及修复装置
CN109816051B (zh) 一种危化品货物特征点匹配方法及系统
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN109063669B (zh) 一种基于图像识别的桥区船舶航行态势分析方法及装置
Wu et al. Strong shadow removal via patch-based shadow edge detection
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
Ahmed et al. Traffic sign detection and recognition model using support vector machine and histogram of oriented gradient
CN114821358A (zh) 光学遥感图像海上舰船目标提取与识别方法
CN116703895B (zh) 基于生成对抗网络的小样本3d视觉检测方法及其系统
CN107977608B (zh) 一种应用于公路视频图像道路区域提取的方法
CN110910497B (zh) 实现增强现实地图的方法和系统
CN115205564B (zh) 基于无人机的船体维护巡检方法
CN114926635B (zh) 与深度学习方法相结合的多焦图像中目标分割方法
CN116152758A (zh) 一种智能实时事故检测及车辆跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant