CN116012579A - 一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法 - Google Patents
一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法 Download PDFInfo
- Publication number
- CN116012579A CN116012579A CN202310128237.7A CN202310128237A CN116012579A CN 116012579 A CN116012579 A CN 116012579A CN 202310128237 A CN202310128237 A CN 202310128237A CN 116012579 A CN116012579 A CN 116012579A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- points
- feature
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，涉及轨道交通智能故障检测技术领域，包括ORB算法配准、直方图匹配、直方图均衡化、光照差距调整、差分图获取、映射ROI区域以及判断异常区域的故障状态。本发明提出的方法提升车辆智能巡检机器人图像检测算法在机械臂定位不足且拍摄出现亮度以及色调变化的情况下对异常和故障的检测能力，通过预先划定项点大致区域，对历史无故障图和待检测图进行配准校正，再采用直方图匹配算法和直方图均衡化对图像进行增强，最后利用差分算法进行故障异常检测，能够通过集成多种图像算法有效提升在机器人拍摄角度和精度不足的情况下零部件故障检测的准确率。
Description
技术领域
本发明涉及一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，属于轨道交通智能故障检测技术领域。
背景技术
传统对轨道列车检测主要是通过人工目视进行巡检，但是现有的列车检测设备存在无法转轨的不足，检测时存在视野盲区，随着列车数量的快速增加，对检修效率、精确度以及减轻重复工作量的追求越发显著，随着科技水平的不断发展，适用于多股道车辆巡检作业的智能巡检机器人应运而生，在“人机交叉检测”的列车车辆检修新模式下，智能车辆巡检机器人采用多自由度柔性协作机械臂控制技术、高清图像采集技术以及人工智能深度学习算法等前沿技术，能够大幅度提升动车段检修人员的检修效率，降低检修人员的工作强度。每一帧关键零部件图像是通过预先设定好固定的机械臂和相机的角度、拍摄距离以及停车距离等参数生成的，能够确保图像采集的可控性和有序性。其中，采用图像算法是实现故障检测的一个重要环节，目前主流的图像故障检测方式是利用差分法对比历史无故障图和所需测试图，得到差分图从而判断故障项点，但是车底巡检机器人的拍摄存在一定的误差，通常偏移距离小于5㎝，导致每趟列车的成像都会产生一定的畸变和位移，并且背景光照变化较大，进而使差分图出现大量的前景信息，增加了对故障检测的困难性和准确度。针对以上现有的技术缺陷，有必要提出一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，提升车辆智能巡检机器人图像检测算法在机械臂定位不足且拍摄出现亮度以及色调变化的情况下对异常和故障的检测能力，通过预先划定项点大致区域，对历史无故障图和待检测图进行配准校正，再采用直方图匹配算法和直方图均衡化对图像进行增强，最后利用差分算法进行故障异常检测，能够通过集成多种图像算法有效提升在机器人拍摄角度和精度不足的情况下零部件故障检测的准确率。
发明内容
本发明的主要目的是为了解决现有车底巡检机器人在拍摄图片时由于拍摄时机械臂定位不足且拍摄出现亮度以及色调变化，导致根据差分图检测零部件进行故障检测的难度增加以及准确度下降的不足，而提供的一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法。
本发明的目的可以通过采用如下技术方案达到：
一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，包括如下步骤：
S1.摄取同位历史无故障图像H和待检测图像T，获取图像上关键项点的感兴趣区域ROI；
S2.获取待检测图像T关于历史无故障H配准后的矫正图：图像H和图像T生成请求图关键节点KH以及特征描述符DH、训练图关键节点KT以及特征描述符DT，匹配DH、DT，利用最佳匹配对的关键点位置建立还原透明矩阵M，利用矩阵M透视变换待检测图像T，获取和历史无故障图H同等大小的图像T1，用指定的常数填充图像T1边界的空白区域；
S3.对图像T1进行直方图匹配：以历史无故障图H为参考图，对图像T1进行直方图匹配，获取图像T2，分别拉伸历史无故障图H和图像T2像素强度分布范围，得到图像H1和图像T3；
S4.差分法差分图像H1和图像T3，获取差分图R，对差分图R前景过滤得到剩余前景C，将前景C作为差分异常区域；
S5.映射ROI区域：根据模版，把项点的感兴趣区域ROI映射到差分图R上；
S6.判断故障状态：计算ROI区域内的差分异常区域C面积，C的面积超过面积超限阈值时，判断检测位置故障状态为异常，C的面积不超过面积超限阈值，判断检测位置故障状态为正常。
作为本发明进一步的方法，所述S2中使用Lowe’s算法对匹配对进行筛选，利用暴力法匹配特征描述符，通过ORB算法分别对同位历史无故障图像H和待检测图像T生成请求图。
作为本发明进一步的方法，所述S2中ORB算法包括如下步骤：
A1.生成不同比例的图像：设置比例因子和金字塔层数，将历史无故障图像H以及待检测图像T均生成n幅不同比例的图像；
A2.特征点以及特征向量提取和分类；
A3.判断像素点的真假：定义布尔变量Kp，如果p点是角点，Kp设置为True，如果p点不是角点，Kp设置为False，使用ID3决策树算法查询每个子集，使用布尔型变量Kp来标记真实分类的信息，选取到的像素点x产生很多关于候选特征点是否是一个像素点信息，该信息由Kp的熵值决定，递归计算所有的子集，直到Kp的熵值为0；
A4.寻找关键点：将构建好的决策树用于其他图像的角点检测，使用Harris角点检测法对关键点排序，找到前N个点，作为同位历史无故障图像H和待检测图像T的请求图关键节点KH以及训练图关键节点KT；
A5.生成特征描述：选取M组像素点对，获取同位历史无故障图像H和待检测图像T的请求图特征描述符DH以及训练图特征描述符DT。
作为本发明进一步的方法，所述A1的方法具体流程为：对于n幅历史无故障图像H以及n幅待检测图像T上所有的像素点，考虑每个像素点7*7邻域内以该点为圆心，半径为3的圆周上16个像素点，计算特征点邻域范围内的质心，特征点到质心的方向作为该特征点的方向，将这16个像素点存储成特征向量，考虑特征向量和中心点的灰度差异，优先考虑垂直和水平方向上的四个点，如果其中三个点均不满足提前设定的阈值，则直接跳过，如果满足阈值要求，则继续分类，如果有连续12个像素点与中心点的灰度差的绝对值大于或小于指定的灰度阈值，则将该点认定为图像的特征点，对符合条件的进行分类，每个像素点都属于暗、相似或明亮其中的一种，根据这些像素点的分类，将特征向量分为三个子集。
作为本发明进一步的方法，所述A2中像素点分类的公式为：
式中：Sp→x为像素点p的分类标签值，d为像素点p的灰度分类标签值是暗，s为像素点p的灰度分类标签是相似，b为像素点p的灰度分类标签值是明亮，Ip为像素点p的灰度值，t为像素点的灰度设定阈值，Ip→x为像素点p周围16个像素点的灰度值。
作为本发明进一步的方法，所述A5中选取像素点对的方法为在关键点9*9区域进行高斯模糊处理，以满足高斯分布的方式在该领域内随机选取M组像素点对，比较这两个像素点的灰度值大小，设置一个像素点的灰度为q，另一个像素点的灰度值为y，当q≥y时，返回1，当q<y时，返回0，将结果组合成的M位二进制编码作为特征点的特征描述。
作为本发明进一步的方法，所述S3中通过直方图均衡算法分别拉伸历史无故障图H和图像T2像素强度分布范围，当光照差距超过提前设定的光照阈值时，对高光区域进行调整，再进行差分法求取差分图，当光照差距小于等于提前设定的光照阈值时，直接进行差分法求取差分图。
作为本发明进一步的方法，所述S6判断故障状态的方法还能够为：计算ROI区域内的差分异常区域C的长和宽，C的长或者宽超过尺寸超限阈值时，判断检测位置故障状态为异常，C的长或者宽不超过尺寸超限阈值时，判断检测位置故障状态为正常。
作为本发明进一步的方法，所述Lowe’s算法对匹配对进行筛选的方法包括如下步骤：
B1.选取关键点：选取待检测图像T的一个关键点；
B2.寻找欧邻距离最近的前两个关键点：找出历史无辜张图像H中与这个关键点欧邻距离最近的前两个关键点；
B3.比对ratio值：在这两个关键点中，将最近距离与次近距离的比值ratio与提前设定的域值比较，当比值ratio小于该设定阈值，则接受这一对匹配点，当比值ratio大于等于该设定阈值时，不接受这一对匹配点，其中比值ratio的设定阈值取0.5。
作为本发明进一步的方法，所述暴力法匹配特征描述符的方法为比对每个DH以及DT的特征描述符是否相同，DH以及DT的特征描述符相同则DH以及DT特征匹配，DH以及DT的特征描述符不相同，则DH以及DT特征不匹配。
本发明的有益技术效果：按照本发明的基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，该方法的特征检测具有尺度和旋转不变性，对于噪声及其变换也具备不变性，运算速度得到了大幅提升，应用场景广泛，尝试了所有可能的特征描述符匹配方式，能够寻找出最佳的匹配对，能够结合匹配对的筛选排除因为图像遮挡和背景混乱而产生的无匹配关系，还原透视矩阵M的建立能够解决机器人机械臂精度不足导致图像发生偏差的问题，基于光源对每张图进行直方图均衡化能够让过暗或者过亮的图像变得清洗，使得所需检测的关键项点变得更加显著，在不涉及图像深度学习的情况下，提升了列车检测的智能化和自动化，节省了人力资源和时间成本。
附图说明
图1为按照本发明的基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法的流程图。
具体实施方式
为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，本实施例提供的基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，包括如下步骤：
S1.摄取同位历史无故障图像H和待检测图像T，获取图像上关键项点的感兴趣区域ROI；
列车车辆智能巡检机器人对同一辆车拍摄的同位历史无故障图像H和待检测图像进行摄取，其中同位图像是机器人在拍摄角度、距离等其他参数都是预先设定好的前提下摄取的，同一位置拍摄的内容都是固定不变的，但是会出现偏移和光照的变化。
S2.获取待检测图像T关于历史无故障H配准后的矫正图：图像H和图像T生成请求图关键节点KH以及特征描述符DH、训练图关键节点KT以及特征描述符DT，匹配DH、DT，利用最佳匹配对的关键点位置建立还原透明矩阵M，利用矩阵M透视变换待检测图像T，获取和历史无故障图H同等大小的图像T1，用指定的常数填充图像T1边界的空白区域；
ORB算法的特征检测具有尺度和旋转不变性，对于噪声及其透视变换也具有不变性，同时运行速度远高于SHIFT和SURF算法，使得该算法的运用场景较为广泛。然后暴力法对特征描述符DH以及DT的匹配尝试了所有可能的匹配方式，能够寻找出最佳匹配对。再使用Lowe’s算法对匹配对进行筛选，能够排除因为图像遮挡和背景凌乱而产生的无匹配关系。最佳匹配对的关键点位置被用来建立还原透视矩阵M，矩阵M对测试图像T进行透视变换，得出和历史无故障图像H同等大小的图像T1，即测试图像T关于H配准后的矫正图。这样解决了机器人机械臂精度不足导致图像发生偏差的问题。因为T1是通过算法变换而来的，其边界会出现空白区域，用指定的常数填充，方便后续差分法运作。
S3.对图像T1进行直方图匹配：以历史无故障图H为参考图，对图像T1进行直方图匹配，获取图像T2，分别拉伸历史无故障图H和图像T2像素强度分布范围，得到图像H1和图像T3；
直方图匹配能够看作是一种轻量的归一化算法，让源域与目标域的图像色调更加接近，从而减轻历史无故障图像H和测试图像T光照亮度不一的情况。接下来通过使用直方图均衡化算法分别拉伸H和T2像素强度分布范围来增强图像对比度，得到图像H1和图像T3。基于光源对于每图的整体变化都是相对均匀的前提，直方图均衡化能够让过暗或过亮的图像变得清晰，所需检测的关键项点也会更加显著。
S4.差分法差分图像H1和图像T3，获取差分图R，对差分图R前景过滤得到剩余前景C，将前景C作为差分异常区域；
通过计算H和T3整体的光照平均值，从而判断两者之间整体的光照差距。当该光照差距大于预设范围，则说明曝光差距过大，需要进行光照调整。因为图像已经经过均衡化处理了，能够进一步设定规则，选取高亮区域。然后统一将两者的高亮区域进行均值替换，从而在差分阶段进行抵消，避免产生错误的前景。对图像H1和图像T3进行差分后，再根据设定的阈值对图像进行二值化处理，并通过一些图像后处理算法，得到差分图R。然后制定算法规则R前景进行过滤，比如有些前景的尺寸太小，能够被视为噪点而非异常。剩余的前景C是差分区域。
S5.映射ROI区域：根据模版，把项点的感兴趣区域ROI映射到差分图R上；
这样操作能够避免把在费感兴趣区域的C计算在内，进一步提升检测结果的准确度。最后对在ROI区域内的C进行面积计算，超过某个设定的阈值即为异常，反之则为正常状态。
S6.判断故障状态：计算ROI区域内的差分异常区域C面积，C的面积超过面积超限阈值时，判断检测位置故障状态为异常，C的面积不超过面积超限阈值，判断检测位置故障状态为正常。
本发明提出的基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，该方法的特征检测具有尺度和旋转不变性，对于噪声及其变换也具备不变性，运算速度得到了大幅提升，应用场景广泛，尝试了所有可能的特征描述符匹配方式，能够寻找出最佳的匹配对，能够结合匹配对的筛选排除因为图像遮挡和背景混乱而产生的无匹配关系，还原透视矩阵M的建立能够解决机器人机械臂精度不足导致图像发生偏差的问题，基于光源对每张图进行直方图均衡化能够让过暗或者过亮的图像变得清洗，使得所需检测的关键项点变得更加显著，在不涉及图像深度学习的情况下，提升了列车检测的智能化和自动化，节省了人力资源和时间成本。
所述S2中使用Lowe’s算法对匹配对进行筛选，利用暴力法匹配特征描述符，通过ORB算法分别对同位历史无故障图像H和待检测图像T生成请求图。
所述S2中ORB算法包括如下步骤：
A1.生成不同比例的图像：设置比例因子和金字塔层数，将历史无故障图像H以及待检测图像T均生成n幅不同比例的图像；
A2.特征点以及特征向量提取和分类；
A3.判断像素点的真假：定义布尔变量Kp，如果p点是角点，Kp设置为True，如果p点不是角点，Kp设置为False，使用ID3决策树算法查询每个子集，使用布尔型变量Kp来标记真实分类的信息，选取到的像素点x产生很多关于候选特征点是否是一个像素点信息，该信息由Kp的熵值决定，递归计算所有的子集，直到Kp的熵值为0；
A4.寻找关键点：将构建好的决策树用于其他图像的角点检测，使用Harris角点检测法对关键点排序，找到前N个点，作为同位历史无故障图像H和待检测图像T的请求图关键节点KH以及训练图关键节点KT；
A5.生成特征描述：选取M组像素点对，获取同位历史无故障图像H和待检测图像T的请求图特征描述符DH以及训练图特征描述符DT。
所述A1的方法具体流程为：对于n幅历史无故障图像H以及n幅待检测图像T上所有的像素点，考虑每个像素点7*7邻域内以该点为圆心，半径为3的圆周上16个像素点，计算特征点邻域范围内的质心，特征点到质心的方向作为该特征点的方向，将这16个像素点存储成特征向量，考虑特征向量和中心点的灰度差异，优先考虑垂直和水平方向上的四个点，如果其中三个点均不满足提前设定的阈值，则直接跳过，如果满足阈值要求，则继续分类，如果有连续12个像素点与中心点的灰度差的绝对值大于或小于指定的灰度阈值，则将该点认定为图像的特征点，对符合条件的进行分类，每个像素点都属于暗、相似或明亮其中的一种，根据这些像素点的分类，将特征向量分为三个子集。
所述A2中像素点分类的公式为：
式中：Sp→x为像素点p的分类标签值，d为像素点p的灰度分类标签值是暗，s为像素点p的灰度分类标签是相似，b为像素点p的灰度分类标签值是明亮，Ip为像素点p的灰度值，t为像素点的灰度设定阈值，Ip→x为像素点p周围16个像素点的灰度值。
所述A5中选取像素点对的方法为在关键点9*9区域进行高斯模糊处理，以满足高斯分布的方式在该领域内随机选取M组像素点对，比较这两个像素点的灰度值大小，设置一个像素点的灰度为q，另一个像素点的灰度值为y，当q≥y时，返回1，当q<y时，返回0，将结果组合成的M位二进制编码作为特征点的特征描述。
所述S3中通过直方图均衡算法分别拉伸历史无故障图H和图像T2像素强度分布范围，当光照差距超过提前设定的光照阈值时，对高光区域进行调整，再进行差分法求取差分图，当光照差距小于等于提前设定的光照阈值时，直接进行差分法求取差分图。
所述S6判断故障状态的方法还能够为：计算ROI区域内的差分异常区域C的长和宽，C的长或者宽超过尺寸超限阈值时，判断检测位置故障状态为异常，C的长或者宽不超过尺寸超限阈值时，判断检测位置故障状态为正常。
所述Lowe’s算法对匹配对进行筛选的方法包括如下步骤：
B1.选取关键点：选取待检测图像T的一个关键点；
B2.寻找欧邻距离最近的前两个关键点：找出历史无辜张图像H中与这个关键点欧邻距离最近的前两个关键点；
B3.比对ratio值：在这两个关键点中，将最近距离与次近距离的比值ratio与提前设定的域值比较，当比值ratio小于该设定阈值，则接受这一对匹配点，当比值ratio大于等于该设定阈值时，不接受这一对匹配点，其中比值ratio的设定阈值取0.5。
所述暴力法匹配特征描述符的方法为比对每个DH以及DT的特征描述符是否相同，DH以及DT的特征描述符相同则DH以及DT特征匹配，DH以及DT的特征描述符不相同，则DH以及DT特征不匹配。
综上所述，在本实施例中，按照本实施例的基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，列车车辆智能巡检机器人对同一辆车拍摄的同位历史无故障图像H和待检测图像进行摄取，其中同位图像是机器人在拍摄角度、距离等其他参数都是预先设定好的前提下摄取的，同一位置拍摄的内容都是固定不变的，但是会出现偏移和光照的变化。ORB算法的特征检测具有尺度和旋转不变性，对于噪声及其透视变换也具有不变性，同时运行速度远高于SHIFT和SURF算法，使得该算法的运用场景较为广泛。然后暴力法对特征描述符DH以及DT的匹配尝试了所有可能的匹配方式，能够寻找出最佳匹配对。再使用Lowe’s算法对匹配对进行筛选，能够排除因为图像遮挡和背景凌乱而产生的无匹配关系。最佳匹配对的关键点位置被用来建立还原透视矩阵M，矩阵M对测试图像T进行透视变换，得出和历史无故障图像H同等大小的图像T1，即测试图像T关于H配准后的矫正图。这样解决了机器人机械臂精度不足导致图像发生偏差的问题。因为T1是通过算法变换而来的，其边界会出现空白区域，用指定的常数填充，方便后续差分法运作。直方图匹配能够看作是一种轻量的归一化算法，让源域与目标域的图像色调更加接近，从而减轻历史无故障图像H和测试图像T光照亮度不一的情况。接下来通过使用直方图均衡化算法分别拉伸H和T2像素强度分布范围来增强图像对比度，得到图像H1和图像T3。基于光源对于每图的整体变化都是相对均匀的前提，直方图均衡化能够让过暗或过亮的图像变得清晰，所需检测的关键项点也会更加显著。通过计算H和T3整体的光照平均值，从而判断两者之间整体的光照差距。当该光照差距大于预设范围，则说明曝光差距过大，需要进行光照调整。因为图像已经经过均衡化处理了，能够进一步设定规则，选取高亮区域。然后统一将两者的高亮区域进行均值替换，从而在差分阶段进行抵消，避免产生错误的前景。对图像H1和图像T3进行差分后，再根据设定的阈值对图像进行二值化处理，并通过一些图像后处理算法，得到差分图R。然后制定算法规则R前景进行过滤，比如有些前景的尺寸太小，能够被视为噪点而非异常。剩余的前景C是差分区域。能够避免把在费感兴趣区域的C计算在内，进一步提升检测结果的准确度。最后对在ROI区域内的C进行面积计算，超过某个设定的阈值即为异常，反之则为正常状态。
以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。
Claims (10)
1.一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，其特征在于，包括如下步骤：
S1.摄取同位历史无故障图像H和待检测图像T，获取图像上关键项点的感兴趣区域ROI；
S2.获取待检测图像T关于历史无故障H配准后的矫正图：图像H和图像T生成请求图关键节点KH以及特征描述符DH、训练图关键节点KT以及特征描述符DT，匹配DH、DT，利用最佳匹配对的关键点位置建立还原透明矩阵M，利用矩阵M透视变换待检测图像T，获取和历史无故障图H同等大小的图像T1，用指定的常数填充图像T1边界的空白区域；
S3.对图像T1进行直方图匹配：以历史无故障图H为参考图，对图像T1进行直方图匹配，获取图像T2，分别拉伸历史无故障图H和图像T2像素强度分布范围，得到图像H1和图像T3；
S4.差分法差分图像H1和图像T3，获取差分图R，对差分图R前景过滤得到剩余前景C，将前景C作为差分异常区域；
S5.映射ROI区域：根据模版，把项点的感兴趣区域ROI映射到差分图R上；
S6.判断故障状态：计算ROI区域内的差分异常区域C面积，C的面积超过面积超限阈值时，判断检测位置故障状态为异常，C的面积不超过面积超限阈值，判断检测位置故障状态为正常。
2.如权利要求1所述的一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，其特征在于，所述S2中使用Lowe’s算法对匹配对进行筛选，利用暴力法匹配特征描述符，通过ORB算法分别对同位历史无故障图像H和待检测图像T生成请求图。
3.如权利要求2所述的一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，其特征在于，所述S2中ORB算法包括如下步骤：
A1.生成不同比例的图像：设置比例因子和金字塔层数，将历史无故障图像H以及待检测图像T均生成n幅不同比例的图像；
A2.特征点以及特征向量提取和分类；
A3.判断像素点的真假：定义布尔变量Kp，如果p点是角点，Kp设置为True，如果p点不是角点，Kp设置为False，使用ID3决策树算法查询每个子集，使用布尔型变量Kp来标记真实分类的信息，选取到的像素点x产生很多关于候选特征点是否是一个像素点信息，该信息由Kp的熵值决定，递归计算所有的子集，直到Kp的熵值为0；
A4.寻找关键点：将构建好的决策树用于其他图像的角点检测，使用Harris角点检测法对关键点排序，找到前N个点，作为同位历史无故障图像H和待检测图像T的请求图关键节点KH以及训练图关键节点KT；
A5.生成特征描述：选取M组像素点对，获取同位历史无故障图像H和待检测图像T的请求图特征描述符DH以及训练图特征描述符DT。
4.如权利要求3所述的一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，其特征在于，所述A1的方法具体流程为：对于n幅历史无故障图像H以及n幅待检测图像T上所有的像素点，考虑每个像素点7*7邻域内以该点为圆心，半径为3的圆周上16个像素点，计算特征点邻域范围内的质心，特征点到质心的方向作为该特征点的方向，将这16个像素点存储成特征向量，考虑特征向量和中心点的灰度差异，优先考虑垂直和水平方向上的四个点，如果其中三个点均不满足提前设定的阈值，则直接跳过，如果满足阈值要求，则继续分类，如果有连续12个像素点与中心点的灰度差的绝对值大于或小于指定的灰度阈值，则将该点认定为图像的特征点，对符合条件的进行分类，每个像素点都属于暗、相似或明亮其中的一种，根据这些像素点的分类，将特征向量分为三个子集。
5.如权利要求3所述的一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，其特征在于，所述A2中像素点分类的公式为：
式中：Sp→x为像素点p的分类标签值，d为像素点p的灰度分类标签值是暗，s为像素点p的灰度分类标签是相似，b为像素点p的灰度分类标签值是明亮，Ip为像素点p的灰度值，t为像素点的灰度设定阈值，Ip→x为像素点p周围16个像素点的灰度值。
6.如权利要求3所述的一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，其特征在于，所述A5中选取像素点对的方法为在关键点9*9区域进行高斯模糊处理，以满足高斯分布的方式在该领域内随机选取M组像素点对，比较这两个像素点的灰度值大小，设置一个像素点的灰度为q，另一个像素点的灰度值为y，当q≥y时，返回1，当q<y时，返回0，将结果组合成的M位二进制编码作为特征点的特征描述。
7.如权利要求1所述的一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，其特征在于，所述S3中通过直方图均衡算法分别拉伸历史无故障图H和图像T2像素强度分布范围，当光照差距超过提前设定的光照阈值时，对高光区域进行调整，再进行差分法求取差分图，当光照差距小于等于提前设定的光照阈值时，直接进行差分法求取差分图。
8.如权利要求1所述的一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，其特征在于，所述S6判断故障状态的方法还能够为：计算ROI区域内的差分异常区域C的长和宽，C的长或者宽超过尺寸超限阈值时，判断检测位置故障状态为异常，C的长或者宽不超过尺寸超限阈值时，判断检测位置故障状态为正常。
9.如权利要求2所述的一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，其特征在于，所述Lowe’s算法对匹配对进行筛选的方法包括如下步骤：
B1.选取关键点：选取待检测图像T的一个关键点；
B2.寻找欧邻距离最近的前两个关键点：找出历史无辜张图像H中与这个关键点欧邻距离最近的前两个关键点；
B3.比对ratio值：在这两个关键点中，将最近距离与次近距离的比值ratio与提前设定的域值比较，当比值ratio小于该设定阈值，则接受这一对匹配点，当比值ratio大于等于该设定阈值时，不接受这一对匹配点，其中比值ratio的设定阈值取0.5。
10.如权利要求1所述的一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，其特征在于，所述暴力法匹配特征描述符的方法为比对每个DH以及DT的特征描述符是否相同，DH以及DT的特征描述符相同则DH以及DT特征匹配，DH以及DT的特征描述符不相同，则DH以及DT特征不匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310128237.7A CN116012579A (zh) | 2023-02-17 | 2023-02-17 | 一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310128237.7A CN116012579A (zh) | 2023-02-17 | 2023-02-17 | 一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116012579A true CN116012579A (zh) | 2023-04-25 |
Family
ID=86024987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310128237.7A Pending CN116012579A (zh) | 2023-02-17 | 2023-02-17 | 一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116012579A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117031258A (zh) * | 2023-06-27 | 2023-11-10 | 三门三友科技股份有限公司 | 基于温度的电解电路故障检测系统实现方法及其监测方法 |
| CN117349711A (zh) * | 2023-12-04 | 2024-01-05 | 湖南京辙科技有限公司 | 一种铁路机车零部件电子标签数据处理方法及系统 |
| CN117031258B (zh) * | 2023-06-27 | 2024-06-07 | 三门三友科技股份有限公司 | 基于温度的电解电路故障检测系统实现方法及其监测方法 |
-
2023
- 2023-02-17 CN CN202310128237.7A patent/CN116012579A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117031258A (zh) * | 2023-06-27 | 2023-11-10 | 三门三友科技股份有限公司 | 基于温度的电解电路故障检测系统实现方法及其监测方法 |
| CN117031258B (zh) * | 2023-06-27 | 2024-06-07 | 三门三友科技股份有限公司 | 基于温度的电解电路故障检测系统实现方法及其监测方法 |
| CN117349711A (zh) * | 2023-12-04 | 2024-01-05 | 湖南京辙科技有限公司 | 一种铁路机车零部件电子标签数据处理方法及系统 |
| CN117349711B (zh) * | 2023-12-04 | 2024-02-13 | 湖南京辙科技有限公司 | 一种铁路机车零部件电子标签数据处理方法及系统 |
| CN118055258B (zh) * | 2024-04-16 | 2024-06-07 | 西安鼎宣机电科技有限公司 | 基于图像处理的油泵试验台用视频监控方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583229B (zh) | 一种基于卷积神经网络路面故障检测方法 | |
| CN107507173B (zh) | 一种全切片图像的无参考清晰度评估方法及系统 | |
| CN105975941A (zh) | 一种基于深度学习的多方向车型检测识别系统 | |
| CN105957082A (zh) | 一种基于面阵相机的印刷质量在线监测方法 | |
| CN105809626A (zh) | 一种自适应光线补偿的视频图像拼接方法 | |
| CN113592911B (zh) | 表观增强深度目标跟踪方法 | |
| CN110310310A (zh) | 一种针对航空影像配准的改进方法 | |
| CN107194317A (zh) | 一种基于网格聚类分析的暴力行为检测方法 | |
| CN106851092A (zh) | 一种红外视频拼接方法和装置 | |
| CN111695373B (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN116012579A (zh) | 一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法 | |
| CN114170552A (zh) | 基于红外热成像的天然气泄漏实时预警方法及系统 | |
| CN108154496B (zh) | 一种适用于电力作业机器人的电力设备外观变化识别方法 | |
| CN116385495A (zh) | 一种动态背景下红外视频的运动目标闭环检测方法 | |
| CN112288682A (zh) | 基于图像配准的电力设备缺陷定位方法 | |
| Lecca et al. | Comprehensive evaluation of image enhancement for unsupervised image description and matching | |
| CN114187267B (zh) | 基于机器视觉的冲压件缺陷检测方法 | |
| CN114241438B (zh) | 一种基于先验信息的交通信号灯快速精确的识别方法 | |
| CN112183325A (zh) | 基于图像对比的公路车辆检测方法 | |
| CN111444916A (zh) | 面向无约束条件下的车牌定位及识别方法、系统 | |
| CN108182700B (zh) | 一种基于两次特征检测的图像配准方法 | |
| CN116977316A (zh) | 一种复杂外形构件损伤缺陷全场检测与量化评估方法 | |
| CN115272340B (zh) | 工业产品缺陷检测方法和装置 | |
| CN111583341B (zh) | 云台像机移位检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |