CN112581454A - 一种基于深度相机的井盖缺失检测方法及系统 - Google Patents
一种基于深度相机的井盖缺失检测方法及系统 Download PDFInfo
- Publication number
- CN112581454A CN112581454A CN202011534072.6A CN202011534072A CN112581454A CN 112581454 A CN112581454 A CN 112581454A CN 202011534072 A CN202011534072 A CN 202011534072A CN 112581454 A CN112581454 A CN 112581454A
- Authority
- CN
- China
- Prior art keywords
- depth camera
- well lid
- image
- depth
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000003708 edge detection Methods 0.000 claims abstract description 14
- 238000009434 installation Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 9
- 238000012544 monitoring process Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 7
- 238000005286 illumination Methods 0.000 abstract description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度相机的井盖缺失检测方法及系统，方法包括以下步骤：获取目标区域的图像和目标区域的深度图像，获取图像深度信息；对目标区域的图像进行边缘检测，获取边缘信息；在边缘信息中确定井盖区域，获取井盖区域的中心位置，计算中心位置在深度相机外参数下的坐标；根据坐标计算所述中心位置与深度相机的距离；将图像深度信息与距离进行对比，判断井盖区域是否存在井盖缺失情况。通过将图像深度信息与距离进行对比，该方法可以避免因光照或所测物体不利于测距时所带来的误差，在工况不利于深度相机测距的情况下仍然可以判断井盖是否缺失，解决了现有技术中对于井盖缺失情况监测效果差的问题。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于深度相机的井盖缺失检测方法及系统。
背景技术
伴随着城市的发展，城市的地下网络也越来越复杂，各种管网在地下交错，与其相对应的井盖也越来越多地出现在城市路面上。近年来，因井盖缺失造成人员伤亡的事件时有发生，仅2017至2019年媒体报道的窨井对人带来的伤害甚至造成死亡的事件就有70余件。及时发现井盖的缺失或损坏已成为城市管养的一个重要任务。
为了避免井盖的缺失或损坏对行人和车辆造成伤害，一般的手段是通过环卫工人检查工作区域内的井盖缺失损坏情况，对可能出现危险的情况进行预警并报备修理，但该方法对于人力的要求过高。还有的手段是通过在井盖上加装传感器等设备对井盖的情况进行监控，出现问题时进行报警，这种方法只能在小范围内使用且成本过高。还有的手段是利用图像处理技术对固定范围内的井盖情况进行监控，存在监控盲区，且在不同区域内存在因光照等因素导致监测效果差的情况。
发明内容
本发明的目的在于提供一种基于深度相机的井盖缺失检测方法及系统，用于解决现有技术中对于井盖缺失情况监测效果差的问题。
为了解决上述问题，本发明采用以下技术方案：
本发明提供了一种基于深度相机的井盖缺失检测方法，包括以下步骤：
获取目标区域的图像和目标区域的深度图像，获取图像深度信息；
对目标区域的图像进行边缘检测，获取边缘信息；
在边缘信息中确定井盖区域，获取井盖区域的中心位置，计算中心位置在深度相机外参数下的坐标；
根据坐标计算中心位置与深度相机的距离；
将图像深度信息与距离进行对比，判断井盖区域是否存在井盖缺失情况。
有益效果为：
本方法通过将图像深度信息与距离进行对比，若井盖区域的深度信息与测量出的距离差距在一定范围内，则表明井盖存在；若井盖区域的深度信息与测量出的距离差距超出一定范围，则表明井盖缺失。该方法可以避免因光照或所测物体不利于测距时所带来的误差，在工况不利于深度相机测距的情况下仍然可以判断井盖是否缺失，且利用在移动机器人上时，可对一定范围内的井盖进行移动监测，确保道路安全，解决了现有技术中对于井盖缺失情况监测效果差的问题。
进一步的，对边缘检测后的图像进行滤波，获取边缘信息；利用先验信息对边缘信息进行筛选，获取边缘信息中的井盖区域，先验信息包括井盖形状和尺寸范围。
进一步的，对深度相机进行内参标定，获取内参矩阵，固定深度相机的安装位置，改变深度相机的拍摄角度，根据深度相机的安装位置以及拍摄角度的变化值，计算中心位置在深度相机外参数下的坐标。
本发明还提供了一种基于深度相机的井盖缺失检测系统，包括深度相机、处理器和存储器，处理器执行存储在存储器中的指令以实现如下步骤：
获取目标区域的图像和目标区域的深度图像，获取图像深度信息；
对目标区域的图像进行边缘检测，获取边缘信息；
在边缘信息中确定井盖区域，获取井盖区域的中心位置，计算中心位置在深度相机外参数下的坐标；
根据坐标计算中心位置与深度相机的距离；
将图像深度信息与距离进行对比，判断井盖区域是否存在井盖缺失情况。
有益效果为：
本系统通过深度相机对目标区域内的图像进行采集，通过处理器执行存储在存储器中的指令以实现将图像深度信息与距离进行对比，若井盖区域的深度信息与测量出的距离差距在一定范围内，则表明井盖存在；若井盖区域的深度信息与测量出的距离差距超出一定范围，则表明井盖缺失。该方法可以避免因光照或所测物体不利于测距时所带来的误差，在工况不利于深度相机测距的情况下仍然可以判断井盖是否缺失，且利用在移动机器人上时，可对一定范围内的井盖进行移动监测，确保道路安全，解决了现有技术中对于井盖缺失情况监测效果差的问题。
进一步的，对边缘检测后的图像进行滤波，获取边缘信息；利用先验信息对边缘信息进行筛选，获取边缘信息中的井盖区域，先验信息包括井盖形状和尺寸范围。
进一步的，对深度相机进行内参标定，获取内参矩阵，固定深度相机的安装位置，改变深度相机的拍摄角度，根据深度相机的安装位置以及拍摄角度的变化值，计算中心位置在深度相机外参数下的坐标。
进一步的，深度相机为结构光深度相机或TOF深度相机。
附图说明
图1是本发明的方法的流程示意图；
图2是本发明的方法实施例的方法流程示意图；
图3是本发明的系统实施例的系统示意图。
具体实施方式
本发明所提供的一种基于深度相机的井盖缺失检测方法及系统，用于机器人或其他城市管养移动平台，以解决现有技术中对于井盖缺失情况监测效果差的问题。
本发明的方法实施例：
如图1所示，本发明所提供的方法包括以下步骤：
步骤101：获取目标区域的图像和目标区域的深度图像，获取图像深度信息；
步骤102：对目标区域的图像进行边缘检测，获取边缘信息；
步骤103：在边缘信息中确定井盖区域，获取井盖区域的中心位置，计算中心位置在深度相机外参数下的坐标；
步骤104：根据坐标计算中心位置与深度相机的距离；
步骤105：将图像深度信息与距离进行对比，判断井盖区域是否存在井盖缺失情况。
在具体实施过程中，如图2所示，具体为以下步骤：
步骤201：首先对深度相机进行内参标定，获取深度相机内参数据，深度相机的内参矩阵为
通过内参标定可以得到焦距的参数fx和fy，以及主点偏移参数Cx和Cy。
步骤202：利用深度相机获取目标区域的图像和目标区域的深度图像，目标区域的图像为RGB图像，根据深度图像获取图像深度信息。
步骤203：对目标区域的图像进行边缘检测，在边缘检测之前可将目标区域的图像与目标区域的深度图像对齐，保证两张图片的图像尺寸相同，方便后续计算；边缘检测的具体步骤为，首先将目标区域的图像转为灰度图像，然后对灰度图像边缘检测。
步骤204：对边缘检测后的图像进行形态学滤波，获取边缘信息。
步骤205：采用椭圆拟合方法拟合检测到的边缘，获得疑似井盖区域的一个集合，利用先验信息对上述集合进行筛选，过滤干扰轮廓以获取井盖区域，先验信息包括井盖形状和尺寸范围；获取井盖区域后，获取每个井盖区域的最长轴和最短轴，根据最长轴和最短轴的交点获取井盖区域的中心位置。
步骤206：固定深度相机的安装位置，改变深度相机的拍摄角度，根据深度相机的安装位置以及拍摄角度的变化值，计算中心位置在深度相机外参数下的坐标。
计算坐标的方式为，以深度相机的安装位置为坐标原点O，构建空间坐标系O-XYZ，其中XOZ平面与地面平行，Y轴与地面垂直。改变深度相机的拍摄角度，改变拍摄角度后的空间坐标系为O-XrYrZr，拍摄角度的变化值为θ即Z轴与Zr轴的夹角为θ。上述过程中，旋转矩阵为
设井盖区域的中心位置的坐标为
其中Y1等于深度相机的安装高度Hcam，X1和Z1未知；则井盖区域的中心位置在空间坐标系为O-XrYrZr下的坐标为
在目标区域的图像中，井盖区域的中心位置的坐标为
该坐标由图像深度信息中获得；根据深度相机的内参矩阵进行坐标转换，具体形式为：
步骤207：根据坐标计算中心位置与深度相机的距离Z2。
步骤208：将图像深度信息与距离Z2进行对比，图像深度信息包括由深度相机获取并计算的井盖区域距相机的距离。将图像深度信息与距离Z2相减并取绝对值，若绝对值小于阈值则表明井盖存在，若大于阈值则表明井盖缺失；利用两种距离判断井盖是否缺失，可以避免因光照或所测物体不利于测距时所带来的误差。若深度相机测距时误差过大，坐标计算中心位置与深度相机的距离会跟深度相机测量到的距离差距过大，此时也可根据阈值判断井盖是否缺失；若深度相机正常测量，坐标计算中心位置与深度相机的距离会比深度相机测量到的距离略小，此时也可根据阈值判断井盖是否缺失；即在工况不利于深度相机测距的情况下，该方法仍然可以判断井盖是否缺失。上述阈值由人工确定。
上述实施例中，计算距离Z2的方式并不唯一，也可采用改变相机安装位置等方式来测算距离Z2，本方法的关键在于将距离Z2与深度相机测算的距离进行对比。
本发明的系统实施例：
本发明还提供了一种基于深度相机的井盖缺失检测系统，如图3所示，包括深度相机301、处理器和存储器，处理器和存储器构成处理模块302，处理器执行存储在存储器中的指令以实现上述方法实施例中的方法步骤。
具体方法步骤与上述方法实施例相同，在此不再赘述。
本系统实施例中，深度相机结构光深度相机或TOF深度相机。本系统可以应用于机器人或其他城市管养移动平台，在移动机器人上时，可对一定范围内的井盖进行移动监测，确保道路安全，解决了现有技术中对于井盖缺失情况监测效果差的问题。
上述实施例仅以一种具体的实施方式说明本发明的技术方案，任何对本发明进行的等同替换及不脱离本发明精神和范围的修改或局部替换，其均应涵盖在本发明权利要求保护的范围之内。
Claims (7)
1.一种基于深度相机的井盖缺失检测方法，其特征在于，包括以下步骤：
获取目标区域的图像和目标区域的深度图像，获取图像深度信息；对所述目标区域的图像进行边缘检测，获取边缘信息；
在所述边缘信息中确定井盖区域，获取所述井盖区域的中心位置，计算所述中心位置在深度相机外参数下的坐标；
根据所述坐标计算所述中心位置与所述深度相机的距离；
将所述图像深度信息与所述距离进行对比，判断所述井盖区域是否存在井盖缺失情况。
2.根据权利要求1所述的一种基于深度相机的井盖缺失检测方法，其特征在于，对所述边缘检测后的图像进行滤波，获取所述边缘信息；利用先验信息对所述边缘信息进行筛选，获取所述边缘信息中的井盖区域，所述先验信息包括井盖形状和尺寸范围。
3.根据权利要求1或2所述的一种基于深度相机的井盖缺失检测方法，其特征在于，对所述深度相机进行内参标定，获取内参矩阵，固定所述深度相机的安装位置，改变所述深度相机的拍摄角度，根据所述深度相机的安装位置以及拍摄角度的变化值，计算所述中心位置在所述深度相机外参数下的坐标。
4.一种基于深度相机的井盖缺失检测系统，其特征在于，包括深度相机、处理器和存储器，所述处理器执行存储在所述存储器中的指令以实现如下步骤：
获取目标区域的图像和目标区域的深度图像，获取图像深度信息；
对所述目标区域的图像进行边缘检测，获取边缘信息；
在所述边缘信息中确定井盖区域，获取所述井盖区域的中心位置，计算所述中心位置在深度相机外参数下的坐标；
根据所述坐标计算所述中心位置与所述深度相机的距离；
将所述图像深度信息与所述距离进行对比，判断所述井盖区域是否存在井盖缺失情况。
5.根据权利要求4所述的一种基于深度相机的井盖缺失检测系统，其特征在于，对所述边缘检测后的图像进行滤波，获取所述边缘信息；利用先验信息对所述边缘信息进行筛选，获取所述边缘信息中的井盖区域，所述先验信息包括井盖形状和尺寸范围。
6.根据权利要求4或5所述的一种基于深度相机的井盖缺失检测系统，其特征在于，对所述深度相机进行内参标定，获取内参矩阵，固定所述深度相机的安装位置，改变所述深度相机的拍摄角度，根据所述深度相机的安装位置以及拍摄角度的变化值，计算所述中心位置在所述深度相机外参数下的坐标。
7.根据权利要求6所述的一种基于深度相机的井盖缺失检测系统，其特征在于，所述深度相机为结构光深度相机或TOF深度相机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011534072.6A CN112581454A (zh) | 2020-12-23 | 2020-12-23 | 一种基于深度相机的井盖缺失检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011534072.6A CN112581454A (zh) | 2020-12-23 | 2020-12-23 | 一种基于深度相机的井盖缺失检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112581454A true CN112581454A (zh) | 2021-03-30 |
Family
ID=75139106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011534072.6A Pending CN112581454A (zh) | 2020-12-23 | 2020-12-23 | 一种基于深度相机的井盖缺失检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112581454A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991328A (zh) * | 2021-04-15 | 2021-06-18 | 新疆爱华盈通信息技术有限公司 | 井盖检测方法及基于智慧灯杆的井盖监测系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654732A (zh) * | 2016-03-03 | 2016-06-08 | 上海图甲信息科技有限公司 | 一种基于深度图像的道路监控系统及方法 |
| CN105894504A (zh) * | 2016-03-30 | 2016-08-24 | 上海海事大学 | 基于图像的井盖缺失检测方法 |
| CN106839975A (zh) * | 2015-12-03 | 2017-06-13 | 杭州海康威视数字技术股份有限公司 | 基于深度相机的体积测量方法及其系统 |
| CN107576993A (zh) * | 2017-08-15 | 2018-01-12 | 歌尔股份有限公司 | 一种路面异常的侦测方法、装置及系统 |
| CN108710845A (zh) * | 2018-05-11 | 2018-10-26 | 北京旷视科技有限公司 | 目标对象与物品的关联方法、装置及系统 |
| CN110648367A (zh) * | 2019-08-15 | 2020-01-03 | 大连理工江苏研究院有限公司 | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 |
| CN111932576A (zh) * | 2020-07-15 | 2020-11-13 | 中国科学院上海微系统与信息技术研究所 | 一种基于深度相机的物体边界测量方法和装置 |
-
2020
- 2020-12-23 CN CN202011534072.6A patent/CN112581454A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106839975A (zh) * | 2015-12-03 | 2017-06-13 | 杭州海康威视数字技术股份有限公司 | 基于深度相机的体积测量方法及其系统 |
| CN105654732A (zh) * | 2016-03-03 | 2016-06-08 | 上海图甲信息科技有限公司 | 一种基于深度图像的道路监控系统及方法 |
| CN105894504A (zh) * | 2016-03-30 | 2016-08-24 | 上海海事大学 | 基于图像的井盖缺失检测方法 |
| CN107576993A (zh) * | 2017-08-15 | 2018-01-12 | 歌尔股份有限公司 | 一种路面异常的侦测方法、装置及系统 |
| CN108710845A (zh) * | 2018-05-11 | 2018-10-26 | 北京旷视科技有限公司 | 目标对象与物品的关联方法、装置及系统 |
| CN110648367A (zh) * | 2019-08-15 | 2020-01-03 | 大连理工江苏研究院有限公司 | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 |
| CN111932576A (zh) * | 2020-07-15 | 2020-11-13 | 中国科学院上海微系统与信息技术研究所 | 一种基于深度相机的物体边界测量方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 霍娜: "基于移动智能终端的道路状况检测系统研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991328A (zh) * | 2021-04-15 | 2021-06-18 | 新疆爱华盈通信息技术有限公司 | 井盖检测方法及基于智慧灯杆的井盖监测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11827228B2 (en) | Road abnormality detection apparatus, road abnormality detection method and road abnormality detection program | |
| US10339396B2 (en) | Vehicle accessibility determination device | |
| US20160133008A1 (en) | Crack data collection method and crack data collection program | |
| CN102496232A (zh) | 一种输电设施监控方法及系统 | |
| US11605158B2 (en) | System and method for early identification and monitoring of defects in transportation infrastructure | |
| KR20150012384A (ko) | 도로 표면상의 포트홀 측정 시스템 및 방법 | |
| CN113379712A (zh) | 一种基于计算机视觉的钢桥螺栓病害检测方法及系统 | |
| CN103499337A (zh) | 一种基于立式标靶的车载单目摄像头测距测高装置 | |
| CN105865329A (zh) | 基于视觉的成捆圆钢端面中心坐标的获取系统和方法 | |
| CN112581454A (zh) | 一种基于深度相机的井盖缺失检测方法及系统 | |
| US20220148153A1 (en) | System and method for extracting and measuring shapes of objects having curved surfaces with a vision system | |
| CN115273018A (zh) | 障碍物识别方法、装置及电子设备 | |
| Mahmoudzadeh et al. | Kinect, a novel cutting edge tool in pavement data collection | |
| CN111080640B (zh) | 一种孔洞检测方法、装置、设备和介质 | |
| CN116912805B (zh) | 一种基于无人清扫车的井盖异常智能检测识别方法及系统 | |
| Song et al. | Bolt looseness detection based on Canny edge detection algorithm | |
| CN111709905A (zh) | 一种基于图像检测裂缝的分析方法 | |
| CN116734082A (zh) | 管道机器人及多传感器融合管道内径缺陷和淤泥检测方法 | |
| CN115908375A (zh) | 一种基于计算机视觉图像识别的轮胎荷载获取方法 | |
| CN112270663B (zh) | 基于蜂巢网络环境的沥青路面过筛修复系统 | |
| CN113532331B (zh) | 一种非接触式转角测量系统及方法 | |
| CN104933702B (zh) | 输电线路塔架的检测方法及装置 | |
| CN112967257A (zh) | 一种基于视角转换的地铁螺帽松动检测方法 | |
| CN114093155A (zh) | 交通事故责任溯源方法、装置、计算机设备和存储介质 | |
| CN112613370A (zh) | 目标缺损的检测方法、设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210330 |