CN111832760A - 一种基于视觉算法的井盖自动巡检方法 - Google Patents
一种基于视觉算法的井盖自动巡检方法 Download PDFInfo
- Publication number
- CN111832760A CN111832760A CN202010677099.4A CN202010677099A CN111832760A CN 111832760 A CN111832760 A CN 111832760A CN 202010677099 A CN202010677099 A CN 202010677099A CN 111832760 A CN111832760 A CN 111832760A
- Authority
- CN
- China
- Prior art keywords
- scene
- well lid
- manhole cover
- automatic inspection
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000007689 inspection Methods 0.000 title claims abstract description 54
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 238000010276 construction Methods 0.000 claims abstract description 4
- 238000013519 translation Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 9
- 238000003909 pattern recognition Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 238000004377 microelectronic Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Human Resources & Organizations (AREA)
- Radar, Positioning & Navigation (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉算法的井盖自动巡检方法，包括：步骤S1，利用摄像机拍摄井盖所处区域的场景视频；步骤S2，对场景视频中的场景地理位置进行标记，并对场景视频中的图像进行识别；步骤S3，对场景视频中的井盖位置进行标记；步骤S4，进行SLAM建模：利用预设的机器人携带摄像机从任意位置开始移动，在移动过程中根据摄像机拍摄的场景视频实时进行位置估计以及构建周围环境地图，根据该地图推测自身定位信息，并在自身定位信息的基础上构建增量式地图；步骤S5，进行井盖自动巡检：机器人携带摄像机对指定区域进行巡检以及自动识别井盖，同时对状态异常的井盖进行标记。本发明省时省力、巡检效率高、巡检成本低、准确性更好。
Description
技术领域
本发明涉及场景识别与巡检方法，尤其涉及一种基于视觉算法的井盖自动巡检方法。
背景技术
井盖是城市环境中必不可少的组成构件，为了保证行人、车辆安全，需要对井盖进行定期巡检，并及时对缺失、损坏的井盖进行更换或者修复，现有技术中一般采用人工巡检的方式，这种巡检方式不仅费时费力，而且效率低下，如果将普通井盖升级为智能井盖，则需要为每个井盖配置感应、通信模块，使用成本大大提升，此外，如果为每个井盖配置一个独立的摄像机，则存在成本高昂、部署困难等问题。由此可见，现有技术中的诸多监测手段都存在一定的缺陷，难以满足准确巡检井盖的应用要求。
发明内容
本发明要解决的技术问题在于，针对现有技术的不足，提供一种省时省力、巡检效率高、巡检成本低、准确性更好的基于视觉算法的井盖自动巡检方法。
为解决上述技术问题，本发明采用如下技术方案。
一种基于视觉算法的井盖自动巡检方法，其包括有如下步骤：步骤S1，利用摄像机拍摄井盖所处区域的场景视频；步骤S2，对所述场景视频中的场景地理位置进行标记，并对所述场景视频中的图像进行识别，得出场景分类；步骤S3，基于预设的视觉识别算法，对所述场景视频中的井盖位置进行标记；步骤S4，进行SLAM建模：利用预设的机器人携带摄像机从任意位置开始移动，在移动过程中根据摄像机拍摄的场景视频实时进行位置估计以及构建周围环境地图，根据该地图推测自身定位信息，并在自身定位信息的基础上构建增量式地图，进而实现机器人自主定位和导航；步骤S5，进行井盖自动巡检：机器人携带摄像机对指定区域进行巡检以及自动识别井盖，同时对状态异常的井盖进行标记。
优选地，所述步骤S5中，状态异常的井盖包括发生损坏、缺失或错位的井盖。
优选地，所述步骤S2包括如下过程：步骤S20，场景识别开始；步骤S21，标记场景步骤：标记场景视频中的场景位置；步骤S22，模式识别步骤：利用KNN算法，在场景视频中找到与之距离最短的K个场景，得到相似度最高的K个场景；步骤S23，测试场景识别步骤：对场景视频中的目标图像进行检测和识别；步骤S24，输出场景的具体位置；步骤S25，场景识别过程结束。
优选地，所述步骤S22包括如下过程：根据特征项集合描述场景视频样本的向量，然后提取目标场景视频的特征向量，在场景视频样本集中找到与待测视频最相似的K个场景输出，最后将目标场景分类到在K个场景中权重最大的视频类中。
优选地，所述步骤S3包括如下过程：步骤S30，开始井盖识别；步骤S31，标记井盖步骤：标记场景视频中场景的具体位置；步骤S32，利用SURF算法识别井盖；步骤S33，对目标井盖进行检测、识别；步骤S34，井盖识别过程结束。
优选地，所述步骤S32包括如下过程：首先构建Hessian矩阵，然后构造尺度空间，检测极值点以及获得尺度不变性，之后进行特征点过滤，再提取和绘制特征点，精确定位特征点，最后为特征点分配方向值并确定主方向。
优选地，所述步骤S4中，进行SLAM建模的过程包括：步骤S40，调用基于特征点法的单目SLAM算法；步骤S41，单帧图像特征提取：将图像提取特征点作为待选点，使用Fast角点检测方法检测显著点，进而获得特征点的位置，然后处理显著点附近的图像，得到一个特征描述子向量；步骤S42，对相邻帧图像特征点关系进行匹配，获得内点，确定外点和内点的匹配关系；步骤S43，计算里程旋转R和平移t：根据匹配关系，得到旋转R和平移t的变化量，根据透射模型，同一个三维点P在两幅图像中的二维位置P1和P2的关系，结合内参矩阵E，计算得到旋转R和平移t；步骤S44，计算深度信息：在不同位置观察同一个点，根据透射关系和平移距离，计算点到摄像机的距离；步骤S45，结束基于特征点法的单目SLAM算法。
优选地，所述步骤S42中，匹配关系算法采用最近邻搜索方式，具体包括如下过程：首先初始化距离为最大值，然后计算目标样本和每个训练样本的距离dist，得到目前K个最邻近样本中的最大距离maxdist，如果dist小于maxdist，则将训练样本作为K-最近邻样本；重复上述过程，直到目标样本和所有训练样本的距离都计算完成，统计K-最近邻样本中每个类标号出现的次数，出现频率最大的类标号就是目标样本的类标号。
优选地，所述步骤S44中，根据视觉里程获取两帧图像间隔的自由度变化量，并使用深度滤波器计算出点在世界坐标系中的三维位置。
优选地，所述步骤S5中，进行井盖自动巡检的过程包括：步骤S50，开始井盖自动巡检；步骤S51，基于视觉模式识别技术，利用摄像机对指定区域场景进行巡检，巡检目标为查找不完整的井盖，并输出场景和实时位置；步骤S52，基于场景识别和井盖识别结果，利用SLAM建模进行处理并输出场景和井盖位置；步骤S53，结束井盖自动巡检。
本发明公开的基于视觉算法的井盖自动巡检方法中，首先进行视频与方位采集：利用摄像机对实体世界场景进行录像，利用传感器微电子技术实现现远程自动化遥测和遥控，并通过GPS、遥感、遥测、地图数字化等技术采集场景道路的视频/图像信息。然后进行场景识别：先将采集到的场景信息进行标记，准确标记场景的位置，例如属于哪个街道，并实时更新场景信息；然后运用视觉模式识别技术以及计算机算法自动识别场景视频的规律，使用这些规律将采集的场景视频/图像进行分类，再进一步对目标图像进行检测、识别，识别出视频/图像具体属于哪一种场景，例如道路、河道等。然后进行井盖识别：利用视觉模式识别技术，标记当前物体是井盖还是其他物体。之后进行同步定位和建图，进而实现机器人的自主定位和导航；最后执行井盖自动巡检：对环境进行巡查并自动识别出井盖，对发生损坏、缺失或错位的井盖位置进行标记。相比现有技术而言，本发明无需人工巡检，也无需升级为智能井盖，不仅省时省力、节省成本，而且巡检效率更高、巡检准确性更好。
附图说明
图1为本发明基于视觉算法的井盖自动巡检方法的流程图；
图2为场景识别标记过程的流程图；
图3为井盖识别标记过程的流程图；
图4为SLAM建模过程的流程图；
图5为井盖自动巡检过程的流程图。
具体实施方式
下面结合附图和实施例对本发明作更加详细的描述。
本发明公开了一种基于视觉算法的井盖自动巡检方法，请参见图1，其包括有如下步骤：
步骤S1，利用摄像机拍摄井盖所处区域的场景视频；
步骤S2，对所述场景视频中的场景地理位置进行标记，并对所述场景视频中的图像进行识别，得出场景分类；
步骤S3，基于预设的视觉识别算法，对所述场景视频中的井盖位置进行标记；
步骤S4，进行SLAM建模：利用预设的机器人携带摄像机从任意位置开始移动，在移动过程中根据摄像机拍摄的场景视频实时进行位置估计以及构建周围环境地图，根据该地图推测自身定位信息，并在自身定位信息的基础上构建增量式地图，进而实现机器人自主定位和导航；
步骤S5，进行井盖自动巡检：机器人携带摄像机对指定区域进行巡检以及自动识别井盖，同时对状态异常的井盖进行标记。
上述方法中，首先进行视频与方位采集：利用摄像机对实体世界场景进行录像，利用传感器微电子技术实现现远程自动化遥测和遥控，并通过GPS、遥感、遥测、地图数字化等技术采集场景道路的视频/图像信息。然后进行场景识别：先将采集到的场景信息进行标记，准确标记场景的位置，例如属于哪个街道，并实时更新场景信息；然后运用视觉模式识别技术以及计算机算法自动识别场景视频的规律，使用这些规律将采集的场景视频/图像进行分类，再进一步对目标图像进行检测、识别，识别出视频/图像具体属于哪一种场景，例如道路、河道等。然后进行井盖识别：利用视觉模式识别技术，标记当前物体是井盖还是其他物体。之后进行同步定位和建图，进而实现机器人的自主定位和导航；最后执行井盖自动巡检：对环境进行巡查并自动识别出井盖，对发生损坏、缺失或错位的井盖位置进行标记。相比现有技术而言，本发明无需人工巡检，也无需升级为智能井盖，不仅省时省力、节省成本，而且巡检效率更高、巡检准确性更好。
作为一种优选方式，所述步骤S5中，状态异常的井盖包括发生损坏、缺失或错位的井盖。
作为一种应用举例，请参见图2，所述步骤S2包括如下过程：
步骤S20，场景识别开始；
步骤S21，标记场景步骤：标记场景视频中的场景位置；
步骤S22，模式识别步骤：利用KNN算法，在场景视频中找到与之距离最短的K个场景，得到相似度最高的K个场景；
步骤S23，测试场景识别步骤：对场景视频中的目标图像进行检测和识别；
步骤S24，输出场景的具体位置；
步骤S25，场景识别过程结束。
进一步地，所述步骤S22包括如下过程：根据特征项集合描述场景视频样本的向量，然后提取目标场景视频的特征向量，在场景视频样本集中找到与待测视频最相似的K个场景输出，最后将目标场景分类到在K个场景中权重最大的视频类中。
上述过程中，首先标记视频/图像中场景的特征，即描述场景的具体位置。然后利用KNN(K最邻近结点)算法，在给定了目标场景后，考虑在采集的视频中找到与之距离最短的K个场景，即相似度最高的K个场景。具体的方法：根据特征项集合描述采集视频样本的向量；接着提取目标视频的特征向量；然后在样本集中找到与待测视频最相似的K个场景输出；最后目标场景将分类到在K个场景中权重最大的视频类中。
此处应当说明的是，上述步骤S22中所采用的KNN算法，仅作为本发明一种较佳的处理方式，在实际应用中却不限于此。也就是说，根据运算需要，还可以选用其他算法来替代该KNN算法，而此种替代方式是在本发明精神指导之下作出的简单替换，因此均属于本发明的保护范围。
请参见图3，本实施例中，所述步骤S3包括如下过程：
步骤S30，开始井盖识别；
步骤S31，标记井盖步骤：标记场景视频中场景的具体位置；
步骤S32，利用SURF算法识别井盖；
步骤S33，对目标井盖进行检测、识别；
步骤S34，井盖识别过程结束。
作为一种优选方式，所述步骤S32包括如下过程：首先构建Hessian矩阵，然后构造尺度空间，检测极值点以及获得尺度不变性，之后进行特征点过滤，再提取和绘制特征点，精确定位特征点，最后为特征点分配方向值并确定主方向。
上述步骤S32中所涉及的SURF算法，其只作为一种应用举例，目的是更加清楚地描述本发明的技术方案，本发明在实际应用中并不限于这一种算法，即使替换为与上述SURF算法具有同等功能的其他实现手段，也应当属于本发明的保护范围。
请参见图4，本实施例的所述步骤S4中，进行SLAM建模的过程包括：
步骤S40，调用基于特征点法的单目SLAM算法；
步骤S41，单帧图像特征提取：将图像提取特征点作为待选点，使用Fast角点检测方法检测显著点，进而获得特征点的位置，然后处理显著点附近的图像，得到一个特征描述子向量；
步骤S42，对相邻帧图像特征点关系进行匹配，获得内点，确定外点和内点的匹配关系；
步骤S43，计算里程旋转R和平移t：根据匹配关系，得到旋转R和平移t的变化量，根据透射模型，同一个三维点P在两幅图像中的二维位置P1和P2的关系，结合内参矩阵E，计算得到旋转R和平移t；
步骤S44，计算深度信息：在不同位置观察同一个点，根据透射关系和平移距离，计算点到摄像机的距离；
步骤S45，结束基于特征点法的单目SLAM算法。
进一步地，所述步骤S42中，匹配关系算法采用最近邻搜索方式，具体包括如下过程：首先初始化距离为最大值，然后计算目标样本和每个训练样本的距离dist，得到目前K个最邻近样本中的最大距离maxdist，如果dist小于maxdist，则将训练样本作为K-最近邻样本；
重复上述过程，直到目标样本和所有训练样本的距离都计算完成，统计K-最近邻样本中每个类标号出现的次数，出现频率最大的类标号就是目标样本的类标号。
在此基础上，所述步骤S44中，根据视觉里程获取两帧图像间隔的自由度变化量，并使用深度滤波器计算出点在世界坐标系中的三维位置。
请参见图5，在本发明的所述步骤S5中，进行井盖自动巡检的过程包括：
步骤S50，开始井盖自动巡检；
步骤S51，基于视觉模式识别技术，利用摄像机对指定区域场景进行巡检，巡检目标为查找不完整的井盖，并输出场景和实时位置；
步骤S52，基于场景识别和井盖识别结果，利用SLAM建模进行处理并输出场景和井盖位置；
步骤S53，结束井盖自动巡检。
本发明公开的基于视觉算法的井盖自动巡检方法，其相比现有技术而言的有益效果在于，本发明能够实现自动巡检，能准确发现井盖损坏、缺失、错位等情况。同时可减少人工识别的劳动量和劳动强度。相比现有的人工识别方式而言，本发明采用机器识别的手段，具有更高的准确性，有助于实现结果量化和可视化。此外，本发明相比现有的人工识别、巡检方式而言，具有更快的识别速度、和巡检效率。
以上所述只是本发明较佳的实施例，并不用于限制本发明，凡在本发明的技术范围内所做的修改、等同替换或者改进等，均应包含在本发明所保护的范围内。
Claims (10)
1.一种基于视觉算法的井盖自动巡检方法，其特征在于，包括有如下步骤：
步骤S1，利用摄像机拍摄井盖所处区域的场景视频；
步骤S2，对所述场景视频中的场景地理位置进行标记，并对所述场景视频中的图像进行识别，得出场景分类；
步骤S3，基于预设的视觉识别算法，对所述场景视频中的井盖位置进行标记；
步骤S4，进行SLAM建模：利用预设的机器人携带摄像机从任意位置开始移动，在移动过程中根据摄像机拍摄的场景视频实时进行位置估计以及构建周围环境地图，根据该地图推测自身定位信息，并在自身定位信息的基础上构建增量式地图，进而实现机器人自主定位和导航；
步骤S5，进行井盖自动巡检：机器人携带摄像机对指定区域进行巡检以及自动识别井盖，同时对状态异常的井盖进行标记。
2.如权利要求1所述的基于视觉算法的井盖自动巡检方法，其特征在于，所述步骤S5中，状态异常的井盖包括发生损坏、缺失或错位的井盖。
3.如权利要求1所述的基于视觉算法的井盖自动巡检方法，其特征在于，所述步骤S2包括如下过程：
步骤S20，场景识别开始；
步骤S21，标记场景步骤：标记场景视频中的场景位置；
步骤S22，模式识别步骤：利用KNN算法，在场景视频中找到与之距离最短的K个场景，得到相似度最高的K个场景；
步骤S23，测试场景识别步骤：对场景视频中的目标图像进行检测和识别；
步骤S24，输出场景的具体位置；
步骤S25，场景识别过程结束。
4.如权利要求3所述的基于视觉算法的井盖自动巡检方法，其特征在于，所述步骤S22包括如下过程：根据特征项集合描述场景视频样本的向量，然后提取目标场景视频的特征向量，在场景视频样本集中找到与待测视频最相似的K个场景输出，最后将目标场景分类到在K个场景中权重最大的视频类中。
5.如权利要求1所述的基于视觉算法的井盖自动巡检方法，其特征在于，所述步骤S3包括如下过程：
步骤S30，开始井盖识别；
步骤S31，标记井盖步骤：标记场景视频中场景的具体位置；
步骤S32，利用SURF算法识别井盖；
步骤S33，对目标井盖进行检测、识别；
步骤S34，井盖识别过程结束。
6.如权利要求5所述的基于视觉算法的井盖自动巡检方法，其特征在于，所述步骤S32包括如下过程：首先构建Hessian矩阵，然后构造尺度空间，检测极值点以及获得尺度不变性，之后进行特征点过滤，再提取和绘制特征点，精确定位特征点，最后为特征点分配方向值并确定主方向。
7.如权利要求1所述的基于视觉算法的井盖自动巡检方法，其特征在于，所述步骤S4中，进行SLAM建模的过程包括：
步骤S40，调用基于特征点法的单目SLAM算法；
步骤S41，单帧图像特征提取：将图像提取特征点作为待选点，使用Fast角点检测方法检测显著点，进而获得特征点的位置，然后处理显著点附近的图像，得到一个特征描述子向量；
步骤S42，对相邻帧图像特征点关系进行匹配，获得内点，确定外点和内点的匹配关系；
步骤S43，计算里程旋转R和平移t：根据匹配关系，得到旋转R和平移t的变化量，根据透射模型，同一个三维点P在两幅图像中的二维位置P1和P2的关系，结合内参矩阵E，计算得到旋转R和平移t；
步骤S44，计算深度信息：在不同位置观察同一个点，根据透射关系和平移距离，计算点到摄像机的距离；
步骤S45，结束基于特征点法的单目SLAM算法。
8.如权利要求7所述的基于视觉算法的井盖自动巡检方法，其特征在于，所述步骤S42中，匹配关系算法采用最近邻搜索方式，具体包括如下过程：首先初始化距离为最大值，然后计算目标样本和每个训练样本的距离dist，得到目前K个最邻近样本中的最大距离maxdist，如果dist小于maxdist，则将训练样本作为K-最近邻样本；
重复上述过程，直到目标样本和所有训练样本的距离都计算完成，统计K-最近邻样本中每个类标号出现的次数，出现频率最大的类标号就是目标样本的类标号。
9.如权利要求7所述的基于视觉算法的井盖自动巡检方法，其特征在于，所述步骤S44中，根据视觉里程获取两帧图像间隔的自由度变化量，并使用深度滤波器计算出点在世界坐标系中的三维位置。
10.如权利要求1所述的基于视觉算法的井盖自动巡检方法，其特征在于，所述步骤S5中，进行井盖自动巡检的过程包括：
步骤S50，开始井盖自动巡检；
步骤S51，基于视觉模式识别技术，利用摄像机对指定区域场景进行巡检，巡检目标为查找不完整的井盖，并输出场景和实时位置；
步骤S52，基于场景识别和井盖识别结果，利用SLAM建模进行处理并输出场景和井盖位置；
步骤S53，结束井盖自动巡检。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010677099.4A CN111832760B (zh) | 2020-07-14 | 2020-07-14 | 一种基于视觉算法的井盖自动巡检方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010677099.4A CN111832760B (zh) | 2020-07-14 | 2020-07-14 | 一种基于视觉算法的井盖自动巡检方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111832760A true CN111832760A (zh) | 2020-10-27 |
| CN111832760B CN111832760B (zh) | 2023-09-29 |
Family
ID=72923272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010677099.4A Active CN111832760B (zh) | 2020-07-14 | 2020-07-14 | 一种基于视觉算法的井盖自动巡检方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111832760B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508916A (zh) * | 2020-12-12 | 2021-03-16 | 江西洪都航空工业集团有限责任公司 | 一种基于移动视频分析的道路井盖破损与丢失检测方法 |
| CN113569730A (zh) * | 2021-07-27 | 2021-10-29 | 广联达科技股份有限公司 | 防护状态检测方法、装置及电子设备 |
| CN114482133A (zh) * | 2022-03-04 | 2022-05-13 | 东莞市冀桥建材有限公司 | 一种区域内井盖自动施工装配方法 |
| CN116665164A (zh) * | 2023-04-28 | 2023-08-29 | 深圳云天励飞技术股份有限公司 | 井盖病害检测方法、装置、系统、电子设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002296019A (ja) * | 2001-03-30 | 2002-10-09 | Iwate Prefecture | ３次元形状計測システム |
| CN105839569A (zh) * | 2016-04-01 | 2016-08-10 | 山东国兴智能科技有限公司 | 智能机器人清理、安装和回收小区或市政道路井盖的方法 |
| CN106226834A (zh) * | 2016-07-14 | 2016-12-14 | 昆山市交通工程试验检测中心有限公司 | 一种车载式路面井盖缺失检测方法 |
| CN108474866A (zh) * | 2018-03-23 | 2018-08-31 | 深圳市锐明技术股份有限公司 | 一种基于深度学习的井盖缺失检测系统及方法 |
| CN108765404A (zh) * | 2018-05-31 | 2018-11-06 | 南京行者易智能交通科技有限公司 | 一种基于深度学习图像分类的道路破损检测方法及装置 |
| CN108791847A (zh) * | 2018-06-08 | 2018-11-13 | 南京熙赢测控技术有限公司 | 一种用于自动识别路面窨井盖并自动编号的装置 |
| CN109141367A (zh) * | 2018-04-16 | 2019-01-04 | 解晗 | 基于图像识别的井盖显示系统 |
| CN110142785A (zh) * | 2019-06-25 | 2019-08-20 | 山东沐点智能科技有限公司 | 一种基于目标检测的巡检机器人视觉伺服方法 |
| CN110605718A (zh) * | 2019-09-20 | 2019-12-24 | 国网湖北省电力有限公司电力科学研究院 | 一种变电站巡检机器人系统及巡检方法 |
| CN110706248A (zh) * | 2019-08-20 | 2020-01-17 | 广东工业大学 | 一种基于slam的视觉感知建图算法及移动机器人 |
| CN111006655A (zh) * | 2019-10-21 | 2020-04-14 | 南京理工大学 | 机场巡检机器人多场景自主导航定位方法 |
| CN111179557A (zh) * | 2020-01-13 | 2020-05-19 | 中旭京坤（北京）科技有限公司 | 基于nb-iot的井盖远程监控系统及传感器终端 |
-
2020
- 2020-07-14 CN CN202010677099.4A patent/CN111832760B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002296019A (ja) * | 2001-03-30 | 2002-10-09 | Iwate Prefecture | ３次元形状計測システム |
| CN105839569A (zh) * | 2016-04-01 | 2016-08-10 | 山东国兴智能科技有限公司 | 智能机器人清理、安装和回收小区或市政道路井盖的方法 |
| CN106226834A (zh) * | 2016-07-14 | 2016-12-14 | 昆山市交通工程试验检测中心有限公司 | 一种车载式路面井盖缺失检测方法 |
| CN108474866A (zh) * | 2018-03-23 | 2018-08-31 | 深圳市锐明技术股份有限公司 | 一种基于深度学习的井盖缺失检测系统及方法 |
| CN109141367A (zh) * | 2018-04-16 | 2019-01-04 | 解晗 | 基于图像识别的井盖显示系统 |
| CN108765404A (zh) * | 2018-05-31 | 2018-11-06 | 南京行者易智能交通科技有限公司 | 一种基于深度学习图像分类的道路破损检测方法及装置 |
| CN108791847A (zh) * | 2018-06-08 | 2018-11-13 | 南京熙赢测控技术有限公司 | 一种用于自动识别路面窨井盖并自动编号的装置 |
| CN110142785A (zh) * | 2019-06-25 | 2019-08-20 | 山东沐点智能科技有限公司 | 一种基于目标检测的巡检机器人视觉伺服方法 |
| CN110706248A (zh) * | 2019-08-20 | 2020-01-17 | 广东工业大学 | 一种基于slam的视觉感知建图算法及移动机器人 |
| CN110605718A (zh) * | 2019-09-20 | 2019-12-24 | 国网湖北省电力有限公司电力科学研究院 | 一种变电站巡检机器人系统及巡检方法 |
| CN111006655A (zh) * | 2019-10-21 | 2020-04-14 | 南京理工大学 | 机场巡检机器人多场景自主导航定位方法 |
| CN111179557A (zh) * | 2020-01-13 | 2020-05-19 | 中旭京坤（北京）科技有限公司 | 基于nb-iot的井盖远程监控系统及传感器终端 |
Non-Patent Citations (1)
| Title |
|---|
| 乔瑞萍;孙贺;董员臣;王方;: "基于多特征融合的井盖检测系统实现", 电子技术应用, no. 06, pages 50 - 5350 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508916A (zh) * | 2020-12-12 | 2021-03-16 | 江西洪都航空工业集团有限责任公司 | 一种基于移动视频分析的道路井盖破损与丢失检测方法 |
| CN113569730A (zh) * | 2021-07-27 | 2021-10-29 | 广联达科技股份有限公司 | 防护状态检测方法、装置及电子设备 |
| CN113569730B (zh) * | 2021-07-27 | 2024-02-27 | 广联达科技股份有限公司 | 防护状态检测方法、装置及电子设备 |
| CN114482133A (zh) * | 2022-03-04 | 2022-05-13 | 东莞市冀桥建材有限公司 | 一种区域内井盖自动施工装配方法 |
| CN114482133B (zh) * | 2022-03-04 | 2023-10-17 | 东莞市冀桥建材有限公司 | 一种区域内井盖自动施工装配方法 |
| CN116665164A (zh) * | 2023-04-28 | 2023-08-29 | 深圳云天励飞技术股份有限公司 | 井盖病害检测方法、装置、系统、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111832760B (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111832760B (zh) | 一种基于视觉算法的井盖自动巡检方法 | |
| US9185402B2 (en) | Traffic camera calibration update utilizing scene analysis | |
| CN109099929B (zh) | 基于场景指纹的智能车定位装置及方法 | |
| CN110033431B (zh) | 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 | |
| CN108491851A (zh) | 一种基于机器视觉的集装箱锁孔快速识别与吊具纠偏方法 | |
| CN111079724B (zh) | 一种基于无人机的海漂垃圾识别方法 | |
| CN110634138A (zh) | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 | |
| CN112308913B (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| CN108286970B (zh) | 基于DataMatrix码带的移动机器人定位系统、方法及装置 | |
| CN110349172B (zh) | 基于图像处理和双目立体测距的输电线路防外破预警方法 | |
| CN114235815A (zh) | 基于场景过滤的换流站户外电气设备表面缺陷检测方法 | |
| CN113971697A (zh) | 一种空地协同车辆定位定向方法 | |
| Saad et al. | StereoYolo+ DeepSORT: a framework to track fish from underwater stereo camera in situ | |
| CN117496401A (zh) | 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法 | |
| CN114556449A (zh) | 障碍物检测及重识别方法、装置、可移动平台及存储介质 | |
| JP6916975B2 (ja) | 標識位置特定システム及びプログラム | |
| CN116358547B (zh) | 一种基于光流估计获取agv位置的方法 | |
| CN113628251B (zh) | 一种智慧酒店终端监测方法 | |
| CN116310902A (zh) | 一种基于轻量级神经网络的无人机目标检测方法及系统 | |
| CN113642430B (zh) | 基于VGG+NetVLAD的地下停车场高精度视觉定位方法及系统 | |
| CN113688819B (zh) | 一种基于标记点的目标物期望点跟踪匹配方法 | |
| CN111372051A (zh) | 多相机联动盲区检测方法、装置和电子设备 | |
| CN112818965B (zh) | 多尺度影像目标检测方法、系统、电子设备及存储介质 | |
| CN112711973B (zh) | 一种关键点检测算法的评估方法及装置 | |
| CN116824498A (zh) | 一种输变电线路施工扰动精准识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A visual algorithm based automatic inspection method for manhole covers Effective date of registration: 20231204 Granted publication date: 20230929 Pledgee: Bank of Shanghai Limited by Share Ltd. Shenzhen branch Pledgor: SHENZHEN FARBEN INFORMATION TECHNOLOGY CO.,LTD. Registration number: Y2023980069161 |