CN115376073B - 一种基于特征点的异物检测方法和系统 - Google Patents

一种基于特征点的异物检测方法和系统 Download PDF

Info

Publication number
CN115376073B
CN115376073B CN202211298502.8A CN202211298502A CN115376073B CN 115376073 B CN115376073 B CN 115376073B CN 202211298502 A CN202211298502 A CN 202211298502A CN 115376073 B CN115376073 B CN 115376073B
Authority
CN
China
Prior art keywords
picture
inspection
template
point
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211298502.8A
Other languages
English (en)
Other versions
CN115376073A (zh
Inventor
钟小芳
魏钰尧
陈曦
王嘉利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Keystar Intelligence Robot Co ltd
Original Assignee
Guangdong Keystar Intelligence Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Keystar Intelligence Robot Co ltd filed Critical Guangdong Keystar Intelligence Robot Co ltd
Priority to CN202211298502.8A priority Critical patent/CN115376073B/zh
Publication of CN115376073A publication Critical patent/CN115376073A/zh
Application granted granted Critical
Publication of CN115376073B publication Critical patent/CN115376073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

一种基于特征点的异物检测方法和系统，包括以下步骤:对电力隧道内的多个巡检点环境进行拍摄，获取模板图片，并对模板图片进行sift特征点提取，其中模板图片不包含除电力装置以外的异常；获取巡检时的检查图片，对检查图片进行sift特征点提取；根据第一特征点与第二特征点对检查图片与模板图片进行对齐操作；重新对对齐后的模板图片和检测图片进行sift特征点提取，比较对齐后的检测图片以及检测图片，获取两者之间不能相互匹配的特征点；获取模板图片与匹配图片中对应聚类区域的相似度，若相似度低于相似度阈值，则将该聚类区域标记为异常。本方法能够准确高效地自动定位出电力隧道内的遗留物，极大地减少了巡检工作人员的工作量，提高了工作效率。

Description

一种基于特征点的异物检测方法和系统
技术领域
本发明涉及电力巡检技术领域，特别是一种基于特征点的异物检测方法和系统。
背景技术
遗留物检测是计算机视觉领域一个重要的研究方向，被广泛用于室内外智能安防监控领域，近些年随着国家智能电网的发展，越来越多的智能巡检机器人被用来代替人工对电网环境和设备进行自动巡检，这将提高电网的工作效率和作业安全。
但是正在电力隧道中，被遗留的物体具有不确定性，而且有些遗留物的体积较为细小，无法使用常规的模型来对电力隧道里面的遗留物进行识别与判断，导致了目前在电力隧道的遗留物检测中还是采用常规的人为检测，严重的增加了巡检的人工成本以及减低了巡检的效率。
发明内容
针对上述缺陷，本发明的目的在于提出一种基于特征点的异物检测方法和系统，其中所述方法包括以下步骤:
步骤S1：对电力隧道内的多个巡检点环境进行拍摄，获取模板图片，并对模板图片进行sift特征点提取，得到每个模板图片的至少一个第一特征点；
获取巡检时的检查图片，对检查图片进行sift特征点提取，得到每个检查图片中至少一个第二特征点；
步骤S2：根据第一特征点与第二特征点对检查图片与模板图片进行对齐操作；
步骤S3：重新对对齐后的模板图片和检查图片进行sift特征点提取，分别得到至少一个第三特征点与第四特征点；
步骤S4：比较对齐后的模板图片和检查图片，获取两者之间不能相互匹配的特征点，并对检查图片与模板图片中不匹配的特征点进行保存；
步骤S5：对不匹配的特征点进行聚类，获取得到多个聚类区域；
获取模板图片与检查图片中对应聚类区域的相似度，若相似度低于相似度阈值，则将该聚类区域标记为异常。
优选的，所述步骤S1、步骤S2与步骤S3中提取sift特征点的方法如下：
调用第三方图像处理库Opencv自带的API接口cv.sift_create（）；
输入待提取sift特征点的图片，获取图片中的sift特征点，其中每一个sift特征点由一个二维坐标点(x,y)和一个128维的特征向量进行表示。
优选的，步骤S2中对齐操作包括如下步骤:
步骤S21：采用K近邻方法对第一特征点与第二特征点进行匹配，获取模板图片与检查图片中的匹配成功的所有匹配点对；
步骤S22：调用匹配点对计算法获取得到模板图片的仿射变化矩阵，基于模板图片的仿射变化矩阵对检查图片进行仿射，得到仿射变化后的检查图片；
步骤S23：调用仿射变化矩阵对检查图片的两个对角坐标分别进行仿射变化，得到变化后的对角坐标；
基于变化后的对角坐标分别对模板图片与检查图片进行裁剪，分别得到对齐后的模板图片与检查图片。
优选的，所述步骤S4的具体步骤如下：
步骤S41：采用K近邻方法对第三特征点与对应第四特征点进行匹配，获取模板图片与检查图片中的匹配成功的所有匹配点对；
步骤S42：在所述检查图片与模板图片中滤除所述匹配点对，分别得到检查图片与模板图片中不匹配的特征点，并进行保存。
优选的，所述步骤S5的具体步骤如下：
步骤S51：选取不匹配的特征点集中的任一特征点，获取该特征点与不匹配的特征点集中所有的特征点的欧氏距离，若两个特征点之间的欧式距离小于距离阈值，则将欧式距离小于距离阈值的特征点作为一个聚类；
步骤S52：将形成聚类的特征点从所述不匹配的特征点集中去除；
步骤S53：重复步骤S51~S52，直到将所有的不匹配的特征点集中所有的特征点都进行聚类；
步骤S54：在每一个聚类中，获取该聚类中特征点的平均纵坐标与平均横坐标，作为该聚类的中心坐标，以所述中心坐标为中心构建出一个矩形框作为所述聚类区域；
步骤S55：以所述聚类区域为范围界限分别在所述检查图片与模板图片中裁剪出第一对比图与第二对比图；
对比第一对比图与第二对比图之间的相似度，若两者之间的相似度低于相似度阈值，则将该聚类区域标记为异常；
步骤S56：重复步骤S54~S55，直至历遍所有的聚类。
优选的，所述步骤S55中对比第一对比图与第二对比图之间的相似度过程如下：
分别获取第一对比图与第二对比图的红色通道图片、绿色通道图片、和蓝色通道图片，分别使用直方图方法计算三个颜色通道图片的相关性，平均三个颜色通道图片的相关性，作为第一相似度；
通过SSIM算法计算得到第一对比图片与第二对比图片的结构相似度，作为第二相似度；
将第一相似度与第二相似度进行线性相加，得到最终相似度；
若两者之间的最终相似度低于相似度阈值，则将该聚类区域标记为异常。
优选的，使用所述K近邻方法的具体方式如下：
调用第三方图像处理库Opencv自带的API接口cv.knnMatch（），输入第一特征点与第二特征点，得到匹配成功的所有匹配点对。
优选的，获取得到模板图片的仿射变化矩阵的具体方式如下：
接调用第三方图像处理库Opencv自带的API接口cv. estimate_affine（），输入匹配点对，得到所述模板图片的仿射变化矩阵；
对检查图片进行仿射的具体方式如下：
调用第三方图像处理库Opencv自带的API接口cv. warpAffine（），输入仿射变化矩阵以及检查图片，得到仿射变化后的检查图片。
一种基于特征点的异物检测系统，使用所述一种基于特征点的异物检测方法，包括：
第一特征点获取模块、对齐模块、第二特征点获取模块、去除模块以及判断模块；
所述第一特征点获取模块用于对电力隧道内的多个巡检点环境进行拍摄，获取模板图片，并对模板图片进行sift特征点提取，得到每个模板图片的至少一个第一特征点，其中所述模板图片不包含除电力装置以外的异常；
获取巡检时的检查图片，对检查图片进行sift特征点提取，得到每个检查图片中至少一个第二特征点；
所述对齐模块用于根据第一特征点与第二特征点对检查图片与模板图片进行对齐操作；
所述第二特征点获取模块用于重新对对齐后的模板图片和检查图片进行sift特征点提取，分别得到至少一个第三特征点与第四特征点；
所述去除模块用于比较对齐后的模板图片和检查图片，获取两者之间不能相互匹配的特征点，并对检查图片与模板图片中不匹配的特征点进行保存；
所述判断模块用于对不匹配的特征点进行聚类，获取得到多个聚类区域；
获取模板图片与检查图片中对应聚类区域的相似度，若相似度低于相似度阈值，则将该聚类区域标记为异常。
上述技术方案中的有益效果：电力隧道巡检机器人为硬件载体，利用基于sift特征点的图像对比分析技术，判断出当前机器人拍摄的电力隧道巡检点图片中是否存在遗留物。本方法原理简单，实现方便。在实际工程应用中表面，本方法能够准确高效地自动定位出电力隧道内的遗留物，极大地减少了巡检工作人员的工作量，提高了工作效率，提升了机器人整体性能。
附图说明
图1是本发明方法的一个实施例的流程图；
图2是模板图片中未匹配的特征点的示意图；
图3是检查图片中未匹配的特征点的示意图；
图4是检查图片和模板图片中所有未匹配的特征点的示意图。
图5是检查图片中聚类区域的示意图。
图6是本发明系统的一个实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的实施方式的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1~6所示，种基于特征点的电力隧道内遗留物检测方法，包括以下步骤:
步骤S1：对电力隧道内的多个巡检点环境进行拍摄，获取模板图片，并对模板图片进行sift特征点提取，得到每个模板图片的至少一个第一特征点，其中所述模板图片是不包括人为认为的异常，例如，在一堆的模板图片中，当模板图片中存在除了电力设备以外的物品，此模板图片就会被人为的筛选掉，不作为本发明方法中所使用的模板图片。
获取巡检时的检查图片，对检查图片进行sift特征点提取，得到每个检查图片中至少一个第二特征点；
模板图片在制定机器人巡检路径时，由人工拍摄并且保存到服务器本地，一般一个巡检点对应一张模板图片，该模板图片不包含电力巡检人员认为的异常物体，以确保后续对检查图片的判断中不会发生误判的情况发生。检查图片是机器人在正常巡检过程中拍摄的巡检点图片。
步骤S2：根据第一特征点与第二特征点对检查图片与模板图片进行对齐操作；
对所述检查图片与模板图片进行对齐操作，可以降低机器人由于定位误差对图片差异定位准确率的负面影响。
步骤S3：重新对对齐后的模板图片和检查图片进行sift特征点提取，分别得到至少一个第三特征点与第四特征点；
步骤S4：比较对齐后的模板图片和检查图片，获取两者之间不能相互匹配的特征点，并对检查图片与模板图片中不匹配的特征点进行保存；
而通过两张图片中不匹配的特征点去初步确定遗留物可能存在的位置，因为检查图片如果相对模板图片存在遗留物的情况下，遗留物在所述检查图片中所产生的sift特征点将不会与模板图片中的sift特征点匹配，而是保存在检查图片中，从而产生了不匹配的特征点；这一步能够有效减轻后续相似度的计算数量，有效提高计算的效率。
步骤S5：对不匹配的特征点进行聚类，获取得到多个聚类区域；
获取模板图片与检查图片中对应聚类区域的相似度，若相似度低于相似度阈值，则将该聚类区域标记为异常。
由于一张场景内容偏复杂的图片一般会产生大量的SIFT特征点，即使除去匹配成功后的特征点对后，仍然会存在较多位置比较相近的未匹配特征点。若直接使用特征点进行相似度的计算的话，其计算量还是相当的大。为提高本方法的运行速度，需要对未匹配的特征点根据距离关系进行聚类，然后从聚类中生成聚类区域，通过区域图片与区域图片之间的比较，能够减少计算量，提高计算效率。
本方法是以电力隧道巡检机器人为硬件载体，利用基于sift特征点的图像对比分析技术，判断出当前机器人拍摄的电力隧道巡检点图片中是否存在遗留物。本方法原理简单，实现方便。在实际工程应用中表面，本方法能够准确高效地自动定位出电力隧道内的遗留物，极大地减少了巡检工作人员的工作量，提高了工作效率，提升了机器人整体性能。
优选的，所述步骤S1、步骤S2与步骤S3中提取sift特征点的方法如下：
调用第三方图像处理库Opencv自带的API接口cv.sift_create（）；
输入待提取sift特征点的图片，获取图片中的sift特征点，其中每一个sift特征点由一个二维坐标点(x,y)和一个128维的特征向量进行表示。
由于sift特征点提取方法是图像技术领域公开的，所以直接调用第三方图像处理库Opencv自带的API接口cv.sift_create（）即可完成对检查图片和模板图片的sift特征点的提取，
优选的，步骤S2中对齐操作包括如下步骤:
步骤S21：采用K近邻方法对第一特征点与第二特征点进行匹配，获取模板图片与检查图片中的匹配成功的所有匹配点对；
而K近邻方法也是在图像领域中公开使用的，匹配所述第一特征点与第二特征点时，可以调用第三方图像处理库Opencv自带的API接口cv.knnMatch（）完成第一特征点与第二特征点之间匹配。
步骤S22：调用匹配点对计算法获取得到模板图片的仿射变化矩阵，基于模板图片的仿射变化矩阵对检查图片进行仿射，得到仿射变化后的检查图片；
直接调用第三方图像处理库Opencv自带的API接口cv. estimate_affine（）即可计算得到仿射变换矩阵。而得到仿射变化矩阵后，可以调用第三方图像处理库Opencv自带的API接口cv. warpAffine（），调用所述仿射变化矩阵对所述检查图片进行仿射。
步骤S23：调用仿射变化矩阵对检查图片的两个对角坐标分别进行仿射变化，得到变化后的对角坐标；
基于变化后的对角坐标分别对模板图片与检查图片进行裁剪，分别得到对齐后的模板图片与检查图片。
一般拍摄的图片都为矩形，通过两个对角的坐标即可明确图片的的大小，为此本发明中，取任一对角坐标进行仿射变化，得到仿射坐标，通过该仿射后对角坐标分别对检查图片与模板图片进行裁剪，可以保证两个图片之间能够有效对齐。
优选的，所述步骤S4的具体步骤如下：
步骤S41：采用K近邻方法对第三特征点与对应第四特征点进行匹配，获取模板图片与检查图片中的匹配成功的所有匹配点对；
步骤S42：在所述检查图片与模板图片中滤除所述匹配点对，分别得到检查图片与模板图片中不匹配的特征点，并进行保存。
如图2~4所示，在滤除所有的所述匹配点对，会分别在所述检查图片与模板图片中留下有不匹配的特征点，如图2~3所示。而特征点是可以由坐标进行表示，进而可以根据模板图片中不匹配的特征点坐标标记在检查图片中，如图4所示。
优选的，所述步骤S5的具体步骤如下：
步骤S51：选取不匹配的特征点集中的任一特征点，获取该特征点与不匹配的特征点集中所有的特征点的欧氏距离，若两个特征点之间的欧式距离小于距离阈值，则将欧式距离小于距离阈值的特征点作为一个聚类；
步骤S52：将形成聚类的特征点从所述不匹配的特征点集中去除；
步骤S53：重复步骤S51~S52，直到将所有的不匹配的特征点集中所有的特征点都进行聚类；
步骤S54：在每一个聚类中，获取该聚类中特征点的平均纵坐标与平均横坐标，作为该聚类的中心坐标，以所述中心坐标为中心构建出一个矩形框作为所述聚类区域；
步骤S55：以所述聚类区域为范围界限分别在所述检查图片与模板图片中裁剪出第一对比图与第二对比图；
对比第一对比图与第二对比图之间的相似度，若两者之间的相似度低于相似度阈值，则将该聚类区域标记为异常；
步骤S56：重复步骤S54~S55，直至历遍所有的聚类。
优选的，所述步骤S55中对比第一对比图与第二对比图之间的相似度过程如下：
分别获取第一对比图与第二对比图的红色通道图片、绿色通道图片、和蓝色通道图片，分别使用直方图方法计算三个颜色通道图片的相关性，平均三个颜色通道图片的相关性，作为第一相似度；
所述第一相似度的计算方式有很多，例如使用现有的直方图相似度，对三个颜色通道图片进行相关性的获取，然后在平均三个颜色通道图片的相关性，得到所述第一相似度。
通过SSIM算法计算得到第一对比图片与第二对比图片的结构相似度，作为第二相似度；
将第一相似度与第二相似度进行线性相加，得到最终相似度；
在本发明中，所述第一相似度与第二相似度之间的线型相加是通过权重比例来进行相加，在一个实施例中，最终相似度=0.4*第一相似度+0.6*第二相似度。
若两者之间的最终相似度低于相似度阈值，则将该聚类区域标记为异常。
一种基于特征点的异物检测系统，使用所述一种基于特征点的异物检测方法，包括：
第一特征点获取模块、对齐模块、第二特征点获取模块、去除模块以及判断模块；
所述第一特征点获取模块用于对电力隧道内的多个巡检点环境进行拍摄，获取模板图片，并对模板图片进行sift特征点提取，得到每个模板图片的至少一个第一特征点，其中所述模板图片不包含除电力装置以外的异常；
获取巡检时的检查图片，对检查图片进行sift特征点提取，得到每个检查图片中至少一个第二特征点；
所述对齐模块用于根据第一特征点与第二特征点对检查图片与模板图片进行对齐操作；
所述第二特征点获取模块用于重新对对齐后的模板图片和检查图片进行sift特征点提取，分别得到至少一个第三特征点与第四特征点；
所述去除模块用于比较对齐后的模板图片和检查图片，获取两者之间不能相互匹配的特征点，并对检查图片与模板图片中不匹配的特征点进行保存；
所述判断模块用于对不匹配的特征点进行聚类，获取得到多个聚类区域；
获取模板图片与检查图片中对应聚类区域的相似度，若相似度低于相似度阈值，则将该聚类区域标记为异常。
本实施例中，相似度>=0.85，判断该聚类区域为正常，全部聚类区域为正常判断当前机器人拍摄的电力隧道巡检点图片中不存在遗留物，相似度<=0.85，判断该聚类区域为差异区域，判断出当前机器人拍摄的电力隧道巡检点图片中存在遗留物。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施实施进行变化、修改、替换和变型。

Claims (7)

1.一种基于特征点的异物检测方法，其特征在于，包括以下步骤:
步骤S1：对电力隧道内的多个巡检点环境进行拍摄，获取模板图片，并对模板图片进行sift特征点提取，得到每个模板图片的至少一个第一特征点；
获取巡检时的检查图片，对检查图片进行sift特征点提取，得到每个检查图片中至少一个第二特征点；
步骤S2：根据第一特征点与第二特征点对检查图片与模板图片进行对齐操作；
步骤S3：重新对对齐后的模板图片和检查图片进行sift特征点提取，分别得到至少一个第三特征点与第四特征点；
步骤S4：比较对齐后的模板图片和检查图片，获取两者之间不能相互匹配的特征点，并对检查图片与模板图片中不匹配的特征点进行保存；
步骤S5：对不匹配的特征点进行聚类，获取得到多个聚类区域；
获取模板图片与检查图片中对应聚类区域的相似度，若相似度低于相似度阈值，则将该聚类区域标记为异常；
其中所述步骤S2中对齐操作包括如下步骤:
步骤S21：采用K近邻方法对第一特征点与第二特征点进行匹配，获取模板图片与检查图片中的匹配成功的所有匹配点对；
步骤S22：调用匹配点对计算法获取得到模板图片的仿射变化矩阵，基于模板图片的仿射变化矩阵对检查图片进行仿射，得到仿射变化后的检查图片；
步骤S23：调用仿射变化矩阵对检查图片的两个对角坐标分别进行仿射变化，得到变化后的对角坐标；
基于变化后的对角坐标分别对模板图片与检查图片进行裁剪，分别得到对齐后的模板图片与检查图片；
所述步骤S5的具体步骤如下：
步骤S51：选取不匹配的特征点集中的任一特征点，获取该特征点与不匹配的特征点集中所有的特征点的欧氏距离，若两个特征点之间的欧式距离小于距离阈值，则将欧式距离小于距离阈值的特征点作为一个聚类；
步骤S52：将形成聚类的特征点从所述不匹配的特征点集中去除；
步骤S53：重复步骤S51~S52，直到将所有的不匹配的特征点集中所有的特征点都进行聚类；
步骤S54：在每一个聚类中，获取该聚类中特征点的平均纵坐标与平均横坐标，作为该聚类的中心坐标，以所述中心坐标为中心构建出一个矩形框作为所述聚类区域；
步骤S55：以所述聚类区域为范围界限分别在所述检查图片与模板图片中裁剪出第一对比图与第二对比图；
对比第一对比图与第二对比图之间的相似度，若两者之间的相似度低于相似度阈值，则将该聚类区域标记为异常；
步骤S56：重复步骤S54~S55，直至历遍所有的聚类。
2.根据权利要求1所述的一种基于特征点的异物检测方法，其特征在于，所述步骤S1、步骤S2与步骤S3中提取sift特征点的方法如下：
调用第三方图像处理库Opencv自带的API接口cv.sift_create（）；
输入待提取sift特征点的图片，获取图片中的sift特征点，其中每一个sift特征点由一个二维坐标点(x,y)和一个128维的特征向量进行表示。
3.根据权利要求1所述的一种基于特征点的异物检测方法，其特征在于，所述步骤S4的具体步骤如下：
步骤S41：采用K近邻方法对第三特征点与对应第四特征点进行匹配，获取模板图片与检查图片中的匹配成功的所有匹配点对；
步骤S42：在所述检查图片与模板图片中滤除所述匹配点对，分别得到检查图片与模板图片中不匹配的特征点，并进行保存。
4.根据权利要求3所述的一种基于特征点的异物检测方法，其特征在于，所述步骤S55中对比第一对比图与第二对比图之间的相似度过程如下：
分别获取第一对比图与第二对比图的红色通道图片、绿色通道图片、和蓝色通道图片，分别使用直方图方法计算三个颜色通道图片的相关性，平均三个颜色通道图片的相关性，作为第一相似度；
通过SSIM算法计算得到第一对比图片与第二对比图片的结构相似度，作为第二相似度；
将第一相似度与第二相似度进行线性相加，得到最终相似度；
若两者之间的最终相似度低于相似度阈值，则将该聚类区域标记为异常。
5.根据权利要求2所述的一种基于特征点的异物检测方法，其特征在于，使用所述K近邻方法的具体方式如下：
调用第三方图像处理库Opencv自带的API接口cv.knnMatch（），输入第一特征点与第二特征点，得到匹配成功的所有匹配点对。
6.根据权利要求2所述的一种基于特征点的异物检测方法，其特征在于，获取得到模板图片的仿射变化矩阵的具体方式如下：
接调用第三方图像处理库Opencv自带的API接口cv. estimate_affine（），输入匹配点对，得到所述模板图片的仿射变化矩阵；
对检查图片进行仿射的具体方式如下：
调用第三方图像处理库Opencv自带的API接口cv. warpAffine（），输入仿射变化矩阵以及检查图片，得到仿射变化后的检查图片。
7.一种基于特征点的异物检测系统，使用权利要求1~6任一项所述一种基于特征点的异物检测方法，其特征在于，包括：
第一特征点获取模块、对齐模块、第二特征点获取模块、去除模块以及判断模块；
所述第一特征点获取模块用于对电力隧道内的多个巡检点环境进行拍摄，获取模板图片，并对模板图片进行sift特征点提取，得到每个模板图片的至少一个第一特征点，其中所述模板图片不包含除电力装置以外的异常；
获取巡检时的检查图片，对检查图片进行sift特征点提取，得到每个检查图片中至少一个第二特征点；
所述对齐模块用于根据第一特征点与第二特征点对检查图片与模板图片进行对齐操作；
所述第二特征点获取模块用于重新对对齐后的模板图片和检查图片进行sift特征点提取，分别得到至少一个第三特征点与第四特征点；
所述去除模块用于比较对齐后的模板图片和检查图片，获取两者之间不能相互匹配的特征点，并对检查图片与模板图片中不匹配的特征点进行保存；
所述判断模块用于对不匹配的特征点进行聚类，获取得到多个聚类区域；
获取模板图片与检查图片中对应聚类区域的相似度，若相似度低于相似度阈值，则将该聚类区域标记为异常。
CN202211298502.8A 2022-10-24 2022-10-24 一种基于特征点的异物检测方法和系统 Active CN115376073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211298502.8A CN115376073B (zh) 2022-10-24 2022-10-24 一种基于特征点的异物检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211298502.8A CN115376073B (zh) 2022-10-24 2022-10-24 一种基于特征点的异物检测方法和系统

Publications (2)

Publication Number Publication Date
CN115376073A CN115376073A (zh) 2022-11-22
CN115376073B true CN115376073B (zh) 2023-03-24

Family

ID=84073518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211298502.8A Active CN115376073B (zh) 2022-10-24 2022-10-24 一种基于特征点的异物检测方法和系统

Country Status (1)

Country Link
CN (1) CN115376073B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680609A (zh) * 2020-06-03 2020-09-18 合肥中科类脑智能技术有限公司 基于图像配准和目标检测的异物识别系统及其方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957325B (zh) * 2010-10-14 2012-05-23 山东鲁能智能技术有限公司 基于变电站巡检机器人变电站设备外观异常识别方法
CN112508947A (zh) * 2020-12-29 2021-03-16 苏州光格科技股份有限公司 一种电缆隧道异常检测方法
CN115100497A (zh) * 2022-05-27 2022-09-23 广州高新兴机器人有限公司 基于机器人的通道异常物体巡检方法、装置、设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680609A (zh) * 2020-06-03 2020-09-18 合肥中科类脑智能技术有限公司 基于图像配准和目标检测的异物识别系统及其方法

Also Published As

Publication number Publication date
CN115376073A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN112199993B (zh) 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法
CN109325935B (zh) 一种基于无人机图像的输电线路检测方法
CN108537829B (zh) 一种监控视频人员状态识别方法
CN109523528B (zh) 一种基于无人机双目视觉sgc算法的输电线路提取方法
WO2022028554A1 (zh) 对光照鲁棒的主动相机重定位方法
CN111914720B (zh) 一种输电线路绝缘子爆裂识别方法及装置
CN110889827A (zh) 一种基于视觉的输电线路杆塔在线识别和倾斜检测方法
CN111192297A (zh) 一种基于度量学习的多摄像头目标关联跟踪方法
CN116258722B (zh) 基于图像处理的桥梁建筑智能检测方法
CN111476160A (zh) 损失函数优化方法、模型训练方法、目标检测方法及介质
CN113657423A (zh) 适用于小体积零件与堆叠零件的目标检测方法及其应用
CN113744267B (zh) 一种基于深度学习的输电导线覆冰检测和厚度估计的方法
CN108665468A (zh) 一种基于降维灰度纹理-形状矩阵提取直线塔绝缘子串的装置及方法
CN115376073B (zh) 一种基于特征点的异物检测方法和系统
CN112950565A (zh) 一种数据中心漏水检测与定位的方法、设备和数据中心
CN112163502B (zh) 一种室内动态场景下的视觉定位方法
CN111652055B (zh) 一种基于两阶段定位的开关仪表智能识别方法
CN114663402A (zh) 一种基于Hough直线检测和曲线拟合的线缆脱垂检测方法
CN114511803A (zh) 一种面向视觉跟踪任务的目标遮挡检测方法
CN114120061A (zh) 一种面向电力巡检场景的小目标缺陷检测方法及系统
CN102866158A (zh) 面向隧道巡检的输配电线缆检测方法
CN112651936A (zh) 基于图像局部熵的钢板表面缺陷图像分割方法及系统
CN112330643B (zh) 基于稀疏表示图像修复的二次设备状态识别方法
CN109409278A (zh) 基于估计网络的图像目标定位方法
CN209879574U (zh) 一种基于智能视频分析的运动目标检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant