CN111476762B - 一种巡检设备的障碍物检测方法、装置和巡检设备 - Google Patents

一种巡检设备的障碍物检测方法、装置和巡检设备 Download PDF

Info

Publication number
CN111476762B
CN111476762B CN202010221324.3A CN202010221324A CN111476762B CN 111476762 B CN111476762 B CN 111476762B CN 202010221324 A CN202010221324 A CN 202010221324A CN 111476762 B CN111476762 B CN 111476762B
Authority
CN
China
Prior art keywords
obstacle
depth
connected domain
depth map
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010221324.3A
Other languages
English (en)
Other versions
CN111476762A (zh
Inventor
肖易易
王颂
刘旭
杨宇轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China South Power Grid International Co ltd
China Southern Power Grid Co Ltd
Original Assignee
China South Power Grid International Co ltd
China Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China South Power Grid International Co ltd, China Southern Power Grid Co Ltd filed Critical China South Power Grid International Co ltd
Priority to CN202010221324.3A priority Critical patent/CN111476762B/zh
Publication of CN111476762A publication Critical patent/CN111476762A/zh
Application granted granted Critical
Publication of CN111476762B publication Critical patent/CN111476762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种巡检设备的障碍物检测方法，包括：接收巡检设备的双目摄像机所采集的原始图像；根据所述原始图像，运用立体匹配算法获取视差图，并将所述视差图转换为原始深度图；对所述原始深度图进行阈值化处理、形态学操作和连通域分析，提取至少一个障碍物备选连通域，并对所有障碍物备选连通域进行框取，得到障碍物区域；计算所述障碍物区域的深度值，得到所述障碍物与所述巡检设备之间的距离，以生成障碍物距离信息。本发明还公开了相应的障碍物检测装置和巡检设备，采用本发明实施例，能快速有效地识别环境中的障碍物，并准确计算障碍物的距离，有效提高巡检设备执行巡检任务的效率，保证巡检设备的智能性和安全性。

Description

一种巡检设备的障碍物检测方法、装置和巡检设备
技术领域
本发明涉及智能控制领域，尤其涉及一种巡检设备的障碍物检测方法、装置和巡检设备。
背景技术
变电站是电力系统城网建设和改造中广泛应用的电力设备。在电力系统中，为了使得变电站能够长久稳定地完成工作，需要对变电站进行不定时巡检。变电站智能化建设前期主要是引入机器人取代人工进行设备巡视，以辅助传统巡视方式进行点位巡查，提高作业安全系数、工作效率，降低人员的劳动量。由于变电站属于非结构化环境，实际环境中会存在人、车辆、工器具等移动物体，因此，对环境中的移动物体进行实时有效的检测是巡检机器人的感知系统必不可少的功能。
在现有技术中，巡检机器人进行实时障碍物检测的方法通常为超声波测距或激光雷达测距，通过测量障碍物反射波的飞行时间并换算得到障碍物的距离，控制巡检机器人做出反应。然而，在实施本发明过程中，发明人发现现有技术至少存在如下问题：超声波模块或激光雷达模块一般安装在巡检机器人的固定高度，因此，采用超声波测距或激光雷达测距的检测范围有限，无法满足具有一定高度要求的巡检任务。另外，当障碍物表面反射性差，或者光滑有曲率的情况下，巡检机器人的接收器可能无法接受到反射波，导致出现漏检测现象。
发明内容
本发明实施例的目的是提供一种巡检设备的障碍物检测方法、装置和巡检设备，能快速有效地识别环境中的障碍物，并准确计算障碍物的距离，提高了巡检设备执行巡检任务的效率，保证巡检设备的智能性和安全性。
为实现上述目的，本发明实施例提供了一种巡检设备的障碍物检测方法，包括：
接收巡检设备的双目摄像机所采集的原始图像；
根据所述原始图像，运用立体匹配算法获取视差图，并将所述视差图转换为原始深度图；
对所述原始深度图进行阈值化处理和形态学操作，得到目标深度图；
对所述目标深度图进行连通域分析，提取至少一个障碍物备选连通域，并对所有障碍物备选连通域进行框取，得到障碍物区域；
计算所述障碍物区域的深度值，得到所述障碍物与所述巡检设备之间的距离，以生成障碍物距离信息。
作为上述方案的改进，所述对所述原始深度图进行阈值化处理和形态学操作，得到目标深度图，具体包括：
获取所述原始深度图中每一像素点的灰度值；
统计所述原始深度图的像素点在每一灰度级中的个数，并获取所述灰度级中灰度值最小的灰度级，以计算预设灰度阈值；
将所述原始深度图中大于所述预设灰度阈值的像素点的灰度值设置为0，并将小于等于所述预设灰度阈值的像素点的灰度值设置为255，得到阈值化处理后的深度图；
对所述阈值化处理后的深度图进行形态学操作，得到所述目标深度图。
作为上述方案的改进，所述将所述原始深度图中大于所述预设灰度阈值的像素点的灰度值设置为0，并将小于等于所述预设灰度阈值的像素点的灰度值设置为255，得到阈值化处理后的深度图，具体为：
通过以下计算公式，计算所述原始深度图中每一所述像素点阈值化处理后的灰度值，得到阈值化处理后的深度图：
其中，Srci,j为所述原始深度图中第i行第j列像素点的灰度值；Dsti,j为第i行第j列像素点阈值化处理后的灰度值；1.8min为所述预设灰度阈值；Nmin为所述灰度值最小的灰度级。
作为上述方案的改进，所述形态学操作具体包括：
对所述阈值化处理后的深度图依次进行连续2次开操作、2次闭操作和连续3次腐蚀运算。
作为上述方案的改进，所述对所述目标深度图进行连通域分析，提取至少一个障碍物备选连通域，并对所有障碍物备选连通域进行框取，得到障碍物区域，具体包括：
对所述目标深度图进行连通域分析，提取若干个第一连通域；
利用区域面积特征法对每一所述第一连通域进行筛选，得到至少一个第二连通域；
计算每一所述第二连通域的质心坐标所对应的深度值，并获取深度值符合预设深度阈值条件的第二连通域，作为障碍物备选连通域；
使用最小矩形对所有所述障碍物备选连通域进行框取，得到所述障碍物区域。
作为上述方案的改进，计算每一所述第二连通域的质心坐标所对应的深度值，并获取深度值符合预设深度阈值条件的第二连通域，作为障碍物备选连通域，具体包括：
计算每一所述第二连通域的质心坐标所对应的深度值；
获取所述质心坐标所对应的深度值中最小的N个深度值，作为深度值子集，认为所述深度值子集内的每一深度值均符合所述预设深度阈值条件；其中，1≤N≤5；
获取所述深度值子集对应的第二连通域，作为所述障碍物备选连通域。
作为上述方案的改进，所述利用区域面积特征法对每一所述第一连通域进行筛选，得到至少一个第二连通域，具体包括：
计算每一所述第一连通域的面积；
获取面积超过预设面积阈值的第一连通域，作为所述第二连通域；其中，所述预设面积阈值为1200像素。
作为上述方案的改进，所述根据所述原始图像，运用立体匹配算法获取视差图，并将所述视差图转换为原始深度图，具体包括：
对所述原始图像进行预处理；其中，所述预处理包括降噪处理和纹理增强处理；
基于对极几何约束下图像中的SAD灰度相关性，对预处理后的原始图像中的左、右图像像素进行SAD灰度相关性计算和快速匹配，得到所述视差图；
在得到所述视差图之后，利用重投影变换原理将所述视差图转换为所述原始深度图。
本发明实施例还提供了一种巡检设备的障碍物检测装置，包括：
原始图像接收模块，用于接收巡检设备的双目摄像模块所采集的原始图像；
原始深度图转换模块，用于根据所述原始图像，运用立体匹配算法获取视差图，并将所述视差图转换为原始深度图；
目标深度图获取模块，用于对所述原始深度图进行阈值化处理和形态学操作，得到目标深度图；
障碍物区域获取模块，用于对所述目标深度图进行连通域分析，提取至少一个障碍物备选连通域，并对所述障碍物备选连通域进行框取，得到障碍物区域；
障碍物距离计算模块，用于计算所述障碍物区域的深度值，得到所述障碍物与所述巡检设备之间的距离，以生成障碍物距离信息。
本发明实施例还提供了一种巡检设备，包括：图像测量系统、移动控制系统和障碍物检测系统；所述图像测量系统与所述障碍物检测系统连接，所述障碍物检测系统与所述移动控制系统连接；其中，
所述图像测量系统，包括双目摄像机，用于采集当前环境的原始图像，并传输至所述障碍物检测系统；
所述移动控制系统，用于接收所述障碍物检测系统传输的障碍物距离信息，并根据所述障碍物距离信息，控制所述巡检设备移动。
所述障碍物检测系统包括如上所述的巡检设备的障碍物检测装置。
与现有技术相比，本发明公开的一种巡检设备的障碍物检测方法、装置和巡检设备，在接收到巡检设备的双目摄像机所采集的原始图像后，运用立体匹配算法获取视差图，并将所述视差图转换为原始深度图。接着，本发明提供了一种图像处理方法，通过对所述原始深度图进行阈值化处理和形态学操作，得到目标深度图，再对所述目标深度图进行连通域分析，提取至少一个障碍物备选连通域，并对所有障碍物备选连通域进行框取，得到障碍物区域。计算所述障碍物区域的深度值，作为所述障碍物与所述巡检设备之间的距离，以生成障碍物距离信息。采用双目视觉系统采集图像，能够有效地扩大巡检设备的检测范围。通过对采集到的原始图像转换为原始深度图，并对原始深度图进行阈值化处理、形态学操作和连通域分析等操作，能够快速有效地识别当前环境中的障碍物，并准确计算到障碍物的距离信息，有效提高巡检设备执行巡检任务的效率，保证巡检设备的智能性和安全性。
附图说明
图1是本发明实施例一提供的一种巡检设备的障碍物检测方法的步骤示意图；
图2是本发明实施例一中巡检设备的障碍物检测方法步骤S3的步骤示意图；
图3是本发明实施例一中巡检设备的障碍物检测方法步骤S4的步骤示意图；
图4是本发明实施例一中的原始深度图的示意图；
图5是本发明实施例一中阈值化处理后的深度图的示意图；
图6是本发明实施例一中形态学操作后的目标深度图的示意图；
图7是本发明实施例一中障碍物区域的示意图；
图8是本发明实施例二提供的一种巡检设备的障碍物检测装置的结构示意图；
图9是本发明实施例三提供的一种巡检设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明实施例一提供的一种巡检设备的障碍物检测方法的步骤示意图。本发明实施例提供的一种巡检设备的障碍物检测方法，通过步骤S1至S5执行：
S1、接收巡检设备的双目摄像机所采集的原始图像。
在本发明实施例中，所述巡检设备可以是巡检机器人、巡检小车、无人机等智能巡检探测设备。所述巡检设备执行巡检任务的区域可以是园区、住宅区等户外环境，也可以是商场、健身场等室内环境，均不影响本发明取得的有益效果。优选地，本发明实施例的巡检设备可应用于变电站发电区域。
所述巡检设备上安装有双目摄像机，用于获取当前环境下所述巡检设备前方场景的原始图像，通过双目摄像机将采集到的原始图像发送至所述巡检设备的图像处理器，从而进行原始图像中障碍物区域的检测。可以理解地，所述原始图像包括左图像和右图像，分别由所述双目摄像机的左、右摄像机拍摄。
在本发明实施例中，所述双目摄像机采用两个完全相同的图像传感器组成，可以采用低成本的工业摄像头，不影响所述巡检设备对图像中障碍物区域的检测效果，能更好地节约生产成本。
在一种优选的实施方式中，在所述巡检设备执行障碍物检测方法之前，需要对所述双目摄像机进行标定和立体校正。
具体地，采用基于单平面棋盘格进行标定的张正友标定算法进行立体标定，获取双目摄像机的外部参数和内部参数，包括平移矢量T、旋转矩阵R、镜头的径向畸变参数k和重投影矩阵Q等，并进一步使用Bouguet立体校正算法对双目摄像机的光心进行校正，以此克服装配误差所导致的左右相机光心偏离，从而在后续对接收到的原始图像进行处理的过程中，能有效排除双目摄像机硬件上的畸变带来的误差。对标定结果可以记录至文件中(可为txt，xml格式)并进行存储，每次启动所述巡检设备后可以直接调用，仅当改变摄像头间的相对位置时再重新标定，从而提高检测效率。
S2、根据所述原始图像，运用立体匹配算法获取视差图，并将所述视差图转换为原始深度图。
具体地，接收双目摄像机采集的原始图像，并对所述原始图像进行预处理。所述预处理包括降噪处理和纹理增强处理。优选地，选取尺寸大小为3×3、σ值为1的高斯滤波器对所述原始图像进行高斯滤波，以滤除原始图像中的高斯噪声，再进行直方图均衡化处理。
对预处理后的原始图像，运用立体匹配算法获取视差图。所述立体匹配算法可以为SAD匹配算法、BM算法、SGBM算法或GC算法中的一种，均不影响本发明取得的有益效果。
优选地，本发明实施例采用基于对极几何约束下图像中的SAD灰度相关性，对预处理后的原始图像中的左、右图像像素进行SAD灰度相关性计算和快速匹配，得到所述视差图。
具体地，左、右图像的匹配步骤具体为：
设大小为w×w的匹配窗口在左图像中滑动，滑动窗口中左、右图像的SAD相关性为：
其中，Il(x,y)为左图像中的像素点灰度值，Ir(x,y)为右图像中的像素点灰度值。
通过确定左、右图像每个像素间的SAD相关性，SAD(x,y)越小表示相似度越高，从而选取相似度较高的特征点作为候选匹配点，再根据顺序性、唯一性约束，得到对应的目标匹配点，最后结合标定得到的双目摄像机的内参数和外参数，得到所述视差图。
进一步地，在得到所述视差图之后，为了得到场景的深度信息，利用重投影变换原理将所述视差图转换为所述原始深度图。
具体地，通过双目摄像机标定获取重投影矩阵Q，表达式如下：
其中，Tx为平移矢量T在x方向上的分量，cx和cy分别是左图像上摄像机光心的横坐标和纵坐标，c′x是右图像上摄像机光心的横坐标。
设(U,V)为左图像像素坐标系中的点坐标，为像素点(U,V)对应的三维空间中的坐标，/>为该坐标点的深度值。满足以下关系式：
其中，d为立体匹配得到的视差图的视差值。根据所述重投影矩阵Q、左图像像素坐标系中的点坐标(U,V)，计算对应的三维坐标点深度值，从而将所述视差图转换为原始深度图。
S3、对所述原始深度图进行阈值化处理和形态学操作，得到目标深度图。
在将原始图像转换为原始深度图后，本发明实施例提供了一种图像处理方法，能从原始深度图中准确有效地检测到障碍物区域，并获得障碍物与巡检设备之间的距离。
具体地，参见图2，是本发明实施例一中巡检设备的障碍物检测方法步骤S3的步骤示意图。步骤S3通过步骤S31至S34执行：
S31、获取所述原始深度图中每一像素点的灰度值。
S32、统计所述原始深度图的像素点在每一灰度级中的个数，并获取所述灰度级中灰度值最小的灰度级，以计算预设灰度阈值。
S33、将所述原始深度图中大于所述预设灰度阈值的像素点的灰度值设置为0，并将小于等于所述预设灰度阈值的像素点的灰度值设置为255，得到阈值化处理后的深度图。
S34、对所述阈值化处理后的深度图进行形态学操作，得到所述目标深度图。
参见图4～6，图4是本发明实施例一中的原始深度图的示意图；图5是本发明实施例一中阈值化处理后的深度图的示意图；图6是本发明实施例一中形态学操作后的目标深度图的示意图。
在对所述原始深度图进行阈值化处理的过程中，预先设置灰度级的分布范围为0-N，其中，灰度级的分布范围可以根据实际情况设定，例如设置N＝8、N＝16，或N＝256，均不影响本发明的有益效果。接着，需要先对原始深度图进行灰度统计，统计所述原始深度图中像素点的总个数，以及0-N个灰度级中每一灰度级所对应的像素点的个数Ni，以Ni为键值对灰度值进行排序，得到灰度值最小的灰度级设为Nmin，根据所述灰度值最小的灰度级Nmin，设置所述预设灰度阈值N0＝1.8Nmin。
通过以下计算公式，计算所述原始深度图中每一所述像素点阈值化处理后的灰度值：
其中，Srci,j为所述原始深度图中第i行第j列像素点的灰度值；Dsti,j为第i行第j列像素点阈值化处理后的灰度值；1.8Nmin为所述预设灰度阈值；Nmin为所述灰度值最小的灰度级。
根据每一阈值化处理后的像素点，得到所述阈值化处理后的深度图。参见图5，相比原始深度图，阈值化处理后的深度图呈现出黑白分明的效果，能够对无关深度信息进行初步过滤，并突显图像中的目标轮廓，便于后续对障碍物区域的检测和处理。
进一步地，对阈值化处理后的深度图进行形态学操作，所述形态学操作具体包括：对所述阈值化处理后的深度图依次进行连续2次开操作、2次闭操作，并采用尺寸为3×3的滤波模板进行连续3次腐蚀运算。参见图6,是形态学操作后的目标深度图，形态学操作能使图像的轮廓变得光滑，断开较窄的狭颈和消除细小的突出物，过滤掉碎片化的物体，从而使目标区域变得更加明显。
S4、对所述目标深度图进行连通域分析，提取至少一个障碍物备选连通域，并对所有障碍物备选连通域进行框取，得到障碍物区域。
参见图3，是本发明实施例一中巡检设备的障碍物检测方法步骤S4的步骤示意图。步骤S4通过步骤S41至S44执行：
S41、对所述目标深度图进行连通域分析，提取若干个第一连通域。
对阈值化处理和形态学操作后得到的目标深度图进行连通域提取，得到若干个连通域，作为第一连通域。
S42、利用区域面积特征法对每一所述第一连通域进行筛选，得到至少一个第二连通域。
对提取到的若干个第一连通域需要进一步地筛选处理，删除不满足要求的连通域。通过预先设置一个为1200像素的面积阈值，并计算每一所述第一连通域的面积，将面积小于1200像素的第一连通域删除，保留面积超过1200像素的所有第一连通域，作为所述第二连通域。
S43、计算每一所述第二连通域的质心坐标所对应的深度值，并获取深度值符合预设深度阈值条件的第二连通域，作为障碍物备选连通域。
对于满足面积阈值要求的第二连通域，计算其质心坐标，并将所述质心坐标映射到深度图中，得到三维坐标系下的深度值。获取深度值符合预设深度阈值条件的第二连通域，作为障碍物备选连通域。
具体地，可以将每一所述质心坐标的深度值的数值大小进行升序排序，以获取其中最小的N个深度值，作为深度值子集，认为所述深度值子集内的每一深度值均符合所述预设深度阈值条件，获取所述深度值子集对应的第二连通域，作为所述障碍物备选连通域，其中，1≤N≤5。
也可以通过预先设置一个深度阈值，将所述质心坐标的深度值与所述深度阈值进行比较，从而筛选出小于所述深度阈值的N个深度值，作为深度值子集，将所述深度值子集中每一深度值所对应的第二连通域作为所述障碍物备选连通域，均不影响本发明取得的有益效果。
S44、使用最小矩形对所有所述障碍物备选连通域进行框取，得到所述障碍物区域。
参见图7，是本发明实施例一中障碍物区域的示意图，使用最小矩形框将所有所述障碍物备选连通域进行框取，框取的结果即为最终的障碍物区域。
S5、计算所述障碍物区域的深度值，得到所述障碍物与所述巡检设备之间的距离，以生成障碍物距离信息。
计算所述障碍物区域的深度值，也即得到所述障碍物与所述巡检设备之间的距离，从而生成障碍物距离信息，输出至所述巡检设备的控制系统，从而控制所述巡检设备做出反应，安全有效率地完成巡检任务。
本发明实施例一提供了一种巡检设备的障碍物检测方法，在接收到巡检设备的双目摄像机所采集的原始图像后，运用立体匹配算法获取视差图，并将所述视差图转换为原始深度图。接着，本发明提供了一种图像处理方法，通过对所述原始深度图进行阈值化处理和形态学操作，得到目标深度图，再对所述目标深度图进行连通域分析，提取至少一个障碍物备选连通域，并对所有障碍物备选连通域进行框取，得到障碍物区域。计算所述障碍物区域的深度值，作为所述障碍物与所述巡检设备之间的距离，以生成障碍物距离信息。采用双目视觉系统采集图像，能够有效地扩大巡检设备的检测范围。通过对采集到的原始图像转换为原始深度图，并对原始深度图进行阈值化处理、形态学操作和连通域分析等操作，能够快速有效地识别当前环境中的障碍物，并准确计算到障碍物的距离信息，有效提高巡检设备执行巡检任务的效率，保证巡检设备的智能性和安全性。
参见图8，是本发明实施例二提供的一种巡检设备的障碍物检测装置的结构示意图。本发明实施例二提供了一种巡检设备的障碍物检测装置20，包括：原始图像接收模块21、原始深度图转换模块22、目标深度图获取模块23、障碍物区域获取模块24和障碍物距离计算模块25。其中，
所述原始图像接收模块21，用于接收巡检设备的双目摄像模块所采集的原始图像；
所述原始深度图转换模块22，用于根据所述原始图像，运用立体匹配算法获取视差图，并将所述视差图转换为原始深度图；
所述目标深度图获取模块23，用于对所述原始深度图进行阈值化处理和形态学操作，得到目标深度图；
所述障碍物区域获取模块24，用于对所述目标深度图进行连通域分析，提取至少一个障碍物备选连通域，并对所述障碍物备选连通域进行框取以得到障碍物区域；
所述障碍物距离计算模块25，用于计算所述障碍物区域的深度值，得到所述障碍物与所述巡检设备之间的距离，以生成障碍物距离信息。
需要说明的是，本发明实施例提供的一种巡检设备的障碍物检测装置用于执行上述实施例一提供的一种巡检设备的障碍物检测方法的所有流程步骤，两者的工作原理和有益效果一一对应，因而不再赘述。
参见图9，是本发明实施例三提供的一种巡检设备的结构示意图。本发明实施例三提供的一种巡检设备30，包括：图像测量系统31、移动控制系统32和障碍物检测系统33；所述图像测量系统31与所述障碍物检测系统32连接，所述障碍物检测系统32与所述移动控制系统33连接；其中，
所述图像测量系统31，包括双目摄像机，用于采集当前环境的原始图像，并传输至所述障碍物检测系统32。
所述移动控制系统32，用于接收所述障碍物检测系统32传输的障碍物距离信息，并根据所述障碍物距离信息，控制所述巡检设备移动。
所述障碍物检测系统33包括如实施例二所述的巡检设备的障碍物检测装置20，并执行如实施例一所述的巡检设备的障碍物检测方法的全部流程步骤。
在本发明实施例中，所述双目摄像机可采用两个完全一样的工业图像传感器作为左右摄像头，两个摄像头光轴应该与安装平面平行，两光心连线应与所述巡检设备的机身平行，摄像机坐标系的原点应靠近巡检设备前方的最前沿。所述图像测量系统31的主要功能是通过双目摄像机获取机器人前方环境的原始图像，并将所述原始图像通过图像传输线传输至所述障碍物检测系统32。
作为一种实施方式，所述双目摄像机采用低成本工业摄像头。作为举例，摄像头图像分辨率为640×480，镜头口径14mm，曝光感光度为3300mv/lux-sec，感光谱段400nm-760nm，视场角为70°-100°，左右摄像头基线距离为15cm。所述障碍物检测系统33包括价格适中的FPGA和DSP作为图像处理器，DSP作为主处理其负责处理图像算法，FPGA负责处理接口逻辑，比如图像的采集，图像的传输，图像的存储以及系统间的通信。采用本发明实施例的技术手段，能够有效节省巡检设备的生产成本，节约经济。
本发明实施例三提供了一种巡检设备，包括图像测量系统、移动控制系统和障碍物检测系统。图像测量系统用于采集巡检设备在当前环境下的原始图像，并发送至障碍物检测系统。障碍物检测系统在接收到巡检设备的双目摄像机所采集的原始图像后，运用立体匹配算法获取视差图，并将所述视差图转换为原始深度图。接着，本发明提供了一种图像处理方法，通过对所述原始深度图进行阈值化处理和形态学操作，得到目标深度图，再对所述目标深度图进行连通域分析，提取至少一个障碍物备选连通域，并对所有障碍物备选连通域进行框取，得到障碍物区域。计算所述障碍物区域的深度值，作为所述障碍物与所述巡检设备之间的距离，并生成障碍物距离信息，发送至移动控制系统。由移动控制系统根据所述障碍物距离信息，控制巡检设备做出反应。采用双目视觉系统采集图像，能够有效地扩大巡检设备的检测范围。通过对采集到的原始图像转换为原始深度图，并对原始深度图进行阈值化处理、形态学操作和连通域分析等操作，能够快速有效地识别当前环境中的障碍物，并准确计算到障碍物的距离信息，有效提高巡检设备执行巡检任务的效率，保证巡检设备的智能性和安全性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种巡检设备的障碍物检测方法，其特征在于，包括：
接收巡检设备的双目摄像机所采集的原始图像；
根据所述原始图像，运用立体匹配算法获取视差图，并将所述视差图转换为原始深度图；
对所述原始深度图进行阈值化处理和形态学操作，得到目标深度图；
对所述目标深度图进行连通域分析，提取至少一个障碍物备选连通域，并对所有障碍物备选连通域进行框取，得到障碍物区域；
计算所述障碍物区域的深度值，得到所述障碍物与所述巡检设备之间的距离，以生成障碍物距离信息；
所述对所述目标深度图进行连通域分析，提取至少一个障碍物备选连通域，并对所有障碍物备选连通域进行框取，得到障碍物区域，具体包括：
对所述目标深度图进行连通域分析，提取若干个第一连通域；
利用区域面积特征法对每一所述第一连通域进行筛选，得到至少一个第二连通域；
计算每一所述第二连通域的质心坐标所对应的深度值，并获取深度值符合预设深度阈值条件的第二连通域，作为障碍物备选连通域；
使用最小矩形对所有所述障碍物备选连通域进行框取，得到所述障碍物区域；
所述计算每一所述第二连通域的质心坐标所对应的深度值，并获取深度值符合预设深度阈值条件的第二连通域，作为障碍物备选连通域，具体包括：
计算每一所述第二连通域的质心坐标所对应的深度值；
获取所述质心坐标所对应的深度值中最小的N个深度值，作为深度值子集，认为所述深度值子集内的每一深度值均符合所述预设深度阈值条件；其中，；
获取所述深度值子集对应的第二连通域，作为所述障碍物备选连通域；
所述利用区域面积特征法对每一所述第一连通域进行筛选，得到至少一个第二连通域，具体包括：
计算每一所述第一连通域的面积；
获取面积超过预设面积阈值的第一连通域，作为所述第二连通域；其中，所述预设面积阈值为1200像素。
2.如权利要求1所述的巡检设备的障碍物检测方法，其特征在于，所述对所述原始深度图进行阈值化处理和形态学操作，得到目标深度图，具体包括：
获取所述原始深度图中每一像素点的灰度值；
统计所述原始深度图的像素点在每一灰度级中的个数，并获取所述灰度级中灰度值最小的灰度级，以计算预设灰度阈值；
将所述原始深度图中大于所述预设灰度阈值的像素点的灰度值设置为0，并将小于等于所述预设灰度阈值的像素点的灰度值设置为255，得到阈值化处理后的深度图；
对所述阈值化处理后的深度图进行形态学操作，得到所述目标深度图。
3.如权利要求2所述的巡检设备的障碍物检测方法，其特征在于，所述将所述原始深度图中大于所述预设灰度阈值的像素点的灰度值设置为0，并将小于等于所述预设灰度阈值的像素点的灰度值设置为255，得到阈值化处理后的深度图，具体为：
通过以下计算公式，计算所述原始深度图中每一所述像素点阈值化处理后的灰度值，得到阈值化处理后的深度图：
；
其中，为所述原始深度图中第i行第j列像素点的灰度值；/>为第i行第j列像素点阈值化处理后的灰度值；/>为所述预设灰度阈值；/>为所述灰度值最小的灰度级。
4.如权利要求2所述的巡检设备的障碍物检测方法，其特征在于，所述形态学操作具体包括：
对所述阈值化处理后的深度图依次进行连续2次开操作、2次闭操作和连续3次腐蚀运算。
5.如权利要求1所述的巡检设备的障碍物检测方法，其特征在于，所述根据所述原始图像，运用立体匹配算法获取视差图，并将所述视差图转换为原始深度图，具体包括：
对所述原始图像进行预处理；其中，所述预处理包括降噪处理和纹理增强处理；
基于对极几何约束下图像中的SAD灰度相关性，对预处理后的原始图像中的左、右图像像素进行SAD灰度相关性计算和快速匹配，得到所述视差图；
在得到所述视差图之后，利用重投影变换原理将所述视差图转换为所述原始深度图。
6.一种巡检设备的障碍物检测装置，其特征在于，包括：
原始图像接收模块，用于接收巡检设备的双目摄像模块所采集的原始图像；
原始深度图转换模块，用于根据所述原始图像，运用立体匹配算法获取视差图，并将所述视差图转换为原始深度图；
目标深度图获取模块，用于对所述原始深度图进行阈值化处理和形态学操作，得到目标深度图；
障碍物区域获取模块，用于对所述目标深度图进行连通域分析，提取至少一个障碍物备选连通域，并对所述障碍物备选连通域进行框取，得到障碍物区域；
障碍物距离计算模块，用于计算所述障碍物区域的深度值，得到所述障碍物与所述巡检设备之间的距离，以生成障碍物距离信息；
所述障碍物区域获取模块，具体用于：
对所述目标深度图进行连通域分析，提取若干个第一连通域；
利用区域面积特征法对每一所述第一连通域进行筛选，得到至少一个第二连通域；
计算每一所述第二连通域的质心坐标所对应的深度值，并获取深度值符合预设深度阈值条件的第二连通域，作为障碍物备选连通域；
使用最小矩形对所有所述障碍物备选连通域进行框取，得到所述障碍物区域；
所述计算每一所述第二连通域的质心坐标所对应的深度值，并获取深度值符合预设深度阈值条件的第二连通域，作为障碍物备选连通域，具体包括：
计算每一所述第二连通域的质心坐标所对应的深度值；
获取所述质心坐标所对应的深度值中最小的N个深度值，作为深度值子集，认为所述深度值子集内的每一深度值均符合所述预设深度阈值条件；其中，；
获取所述深度值子集对应的第二连通域，作为所述障碍物备选连通域；
所述利用区域面积特征法对每一所述第一连通域进行筛选，得到至少一个第二连通域，具体包括：
计算每一所述第一连通域的面积；
获取面积超过预设面积阈值的第一连通域，作为所述第二连通域；其中，所述预设面积阈值为1200像素。
7.一种巡检设备，其特征在于，包括：图像测量系统、移动控制系统和障碍物检测系统；所述图像测量系统与所述障碍物检测系统连接，所述障碍物检测系统与所述移动控制系统连接；其中，
所述图像测量系统，包括双目摄像机，用于采集当前环境的原始图像，并传输至所述障碍物检测系统；
所述移动控制系统，用于接收所述障碍物检测系统传输的障碍物距离信息，并根据所述障碍物距离信息，控制所述巡检设备移动；
所述障碍物检测系统包括如权利要求6所述的巡检设备的障碍物检测装置。
CN202010221324.3A 2020-03-26 2020-03-26 一种巡检设备的障碍物检测方法、装置和巡检设备 Active CN111476762B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010221324.3A CN111476762B (zh) 2020-03-26 2020-03-26 一种巡检设备的障碍物检测方法、装置和巡检设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010221324.3A CN111476762B (zh) 2020-03-26 2020-03-26 一种巡检设备的障碍物检测方法、装置和巡检设备

Publications (2)

Publication Number Publication Date
CN111476762A CN111476762A (zh) 2020-07-31
CN111476762B true CN111476762B (zh) 2023-11-03

Family

ID=71747800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010221324.3A Active CN111476762B (zh) 2020-03-26 2020-03-26 一种巡检设备的障碍物检测方法、装置和巡检设备

Country Status (1)

Country Link
CN (1) CN111476762B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112863001B (zh) * 2021-01-19 2023-04-28 中国工商银行股份有限公司 配电机房巡检方法、装置及系统
CN113485359A (zh) * 2021-07-29 2021-10-08 北京超维世纪科技有限公司 一种工业类巡检机器人多传感器融合避障系统
CN113537161B (zh) * 2021-09-13 2021-12-28 苏州魔视智能科技有限公司 一种障碍物的识别方法、系统及装置
CN114119700B (zh) * 2021-11-26 2024-03-29 山东科技大学 一种基于u-v视差图的障碍物测距方法
CN116778355A (zh) * 2023-05-16 2023-09-19 国网山东省电力公司泗水县供电公司 一种电网巡检无人机障碍物检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708084A (zh) * 2016-11-24 2017-05-24 中国科学院自动化研究所 复杂环境下无人机自动障碍物检测和避障方法
US10003787B1 (en) * 2016-12-21 2018-06-19 Canon Kabushiki Kaisha Method, system and apparatus for refining a depth map
CN108513131A (zh) * 2018-03-28 2018-09-07 浙江工业大学 一种自由视点视频深度图感兴趣区域编码方法
CN108805906A (zh) * 2018-05-25 2018-11-13 哈尔滨工业大学 一种基于深度图的运动障碍物检测及定位方法
CN110209184A (zh) * 2019-06-21 2019-09-06 太原理工大学 一种基于双目视觉系统的无人机避障方法
CN110390681A (zh) * 2019-07-17 2019-10-29 海伯森技术（深圳）有限公司 一种基于深度相机的深度图物体轮廓快速提取方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8009871B2 (en) * 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
ES2627108T3 (es) * 2012-04-03 2017-07-26 Intrasense Método de remapeo de una ROI conservando la topología entre imágenes médicas
KR102347248B1 (ko) * 2014-11-26 2022-01-04 삼성전자주식회사 터치 제스쳐 인식 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708084A (zh) * 2016-11-24 2017-05-24 中国科学院自动化研究所 复杂环境下无人机自动障碍物检测和避障方法
US10003787B1 (en) * 2016-12-21 2018-06-19 Canon Kabushiki Kaisha Method, system and apparatus for refining a depth map
CN108513131A (zh) * 2018-03-28 2018-09-07 浙江工业大学 一种自由视点视频深度图感兴趣区域编码方法
CN108805906A (zh) * 2018-05-25 2018-11-13 哈尔滨工业大学 一种基于深度图的运动障碍物检测及定位方法
CN110209184A (zh) * 2019-06-21 2019-09-06 太原理工大学 一种基于双目视觉系统的无人机避障方法
CN110390681A (zh) * 2019-07-17 2019-10-29 海伯森技术（深圳）有限公司 一种基于深度相机的深度图物体轮廓快速提取方法及装置

Also Published As

Publication number Publication date
CN111476762A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN111476762B (zh) 一种巡检设备的障碍物检测方法、装置和巡检设备
CN105225482B (zh) 基于双目立体视觉的车辆检测系统和方法
CN107738612B (zh) 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
CN107253485B (zh) 异物侵入检测方法及异物侵入检测装置
CN106886216B (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN103679707A (zh) 基于双目相机视差图的道路障碍物检测系统及检测方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
CN111536981B (zh) 一种嵌入式的双目非合作目标相对位姿测量方法
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
CN114022798A (zh) 一种基于数字孪生技术的变电站巡检机器人避障方法
CN116823819B (zh) 一种焊缝表面缺陷检测方法、系统、电子设备及存储介质
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN116699602A (zh) 一种基于毫米波雷达和相机融合的目标检测系统及方法
CN115731545A (zh) 一种基于融合感知的电缆隧道巡检方法及装置
CN115546716A (zh) 一种基于双目视觉的输电线路周边火灾源头定位方法
CN115690190B (zh) 基于光流图像和小孔成像的运动目标检测与定位方法
CN118052971A (zh) 一种基于视觉图像分析的光伏电站巡检避障处理方法及存储介质
CN116703864A (zh) 基于偏振成像和集成学习的路面病害自动检测系统及方法
CN116503567B (zh) 基于ai大数据的智慧建模管理系统
CN101571953A (zh) 一种目标检测方法、系统及立体视觉系统
CN111783580B (zh) 基于人腿检测的行人识别方法
CN114708544A (zh) 一种基于边缘计算的违规行为智能监测头盔及其监测方法
CN110826455A (zh) 一种目标识别方法及图像处理设备
Chen et al. The obstacles detection for outdoor robot based on computer vision in deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant