CN106708084B - 复杂环境下无人机自动障碍物检测和避障方法 - Google Patents
复杂环境下无人机自动障碍物检测和避障方法 Download PDFInfo
- Publication number
- CN106708084B CN106708084B CN201611052401.7A CN201611052401A CN106708084B CN 106708084 B CN106708084 B CN 106708084B CN 201611052401 A CN201611052401 A CN 201611052401A CN 106708084 B CN106708084 B CN 106708084B
- Authority
- CN
- China
- Prior art keywords
- barrier
- unmanned plane
- region
- disparity map
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 230000004888 barrier function Effects 0.000 claims abstract description 113
- 238000005036 potential barrier Methods 0.000 claims abstract description 34
- 230000009471 action Effects 0.000 claims abstract description 7
- 230000003321 amplification Effects 0.000 claims abstract description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种复杂环境下无人机自动障碍物检测和避障方法，包括：利用无人机上设置的双目摄像头进行实时的图像采集，基于所采集的左、右两幅图像匹配计算生成视差图并进行预处理；基于视差图信息，对视差图进行轮廓和灰度值的聚类划分，得到具有清晰结构的区域块，将所述区域块的噪声干扰去除后得到潜在障碍物区域；对比前后两帧视差图中对应的潜在障碍物区域，结合障碍物的放大特性，依据无人机与潜在障碍物区域的距离和潜在障碍物区域的面积筛选得到最终障碍物区域；基于所得到的最终障碍物区域，输出无人机避障的动作指令。本发明在面对的复杂的存在多个隐含障碍物的环境下，具有优秀的障碍物检测和避障能力。
Description
技术领域
本发明涉及计算机视觉和无人机控制领域，尤其涉及一种复杂环境下无人机自动障碍物检测和避障方法。
背景技术
随着无人机等智能系统的广泛研究和应用，障碍物的检测和避障逐渐成为研究的热点。安全性是无人机等智能系统能得以广泛应用的前提条件。在无人机的实时运动过程中，通过对摄像头拍摄到的复杂场景的图像进行分析获得障碍物的位置仍是一个非常具有挑战性的研究问题。
经过许多年的发展，基于视觉的障碍物检测方法已日趋成熟。基于视觉的障碍物检测方法可以大体分为单眼视觉和双眼视觉。单眼视觉中的典型方法是根据角点特征来标注障碍物区域，再对比两幅图片匹配特征点，找到移动的对象作为障碍物区域。为了避免角点过多导致噪声影响障碍物的定位，一般会先将图片分为三个部分，即地面、天空和中间障碍物所在区域，这样可以缩小检测区域。单眼视觉的方法适用于障碍物很明显而且背景很干净，通过差分颜色就可以得到与背景颜色明显不同的障碍物区域，一般背景可以是地面和天空。然而，移动的区域不一定就是障碍物，障碍物是对智能体产生威胁的对象，如果障碍物的移动对于智能体来说没有危险，那就没有必要确定为障碍物。例如，当某个视野内的对象在远离智能体或者水平的在智能体面前走过，这就不是障碍物，而如果对象朝向无人机移动那就是有危险的障碍物了。
双目视觉相较于单眼视觉的好处是它可以探测深度信息。双目视觉技术已经取得了很大的进展，通过校准和立体匹配可以得到视差图，视差图清晰地反映了图像中的对象相对于摄像头的远近关系。一般认为图像中的前景很可能就是障碍物，因此，设定适当的阈值提取前景是使用双目视觉解决障碍物检测的核心思想。一般现有的方法尽量采用鲜明的障碍物区域，它们具有与背景差别很大的颜色或纹理特征，在得到前景区域后投射回原图像，在原图像上根据颜色信息提取该前景区域内颜色差别不大的区域作为最终障碍物的区域。这些方法的限制在于仅仅适用于该颜色阈值或某个特定特征下的障碍物检测，而且要求背景较干净得以突出前景，这样设定的阈值才会具有一定的鲁棒性。但是，障碍物并不一定满足颜色就是一致，某个障碍物由不同颜色组成也是可能的。
还有一些基于超声波、声呐等传感器的障碍物检测方法，这些传感器能够探测智能体周围的环境，但是在复杂的环境下，多个超声波信息交错在一起容易产生混淆。而且任何传感设备都不是完美的，总会存在盲区或受外界噪声的干扰，这就导致了准确性的降低。
纵观已有的障碍物检测方法，虽然在解决某些特定问题上面已经取得了一些进展，但是，他们都是从问题表面出发，设计好适合于该类问题的场景来检测试验，并未深入地理解障碍物的本质特征以至于某种方法仅能解决一个问题。此外，障碍物检测的实际应用主要在无人机等智能系统，它们灵活的移动在复杂的场景中，我们应充分考虑智能系统面对的复杂的存在多个隐含障碍物下的环境，设计出能够实时地检测具有危险的障碍物并执行避障指令。
本发明结合人脑对图像的注意力划分和对障碍物的特征分析，使用双目视觉技术结合图像预处理得到视差图，基于轮廓和灰度值划分视差图得到候选障碍物区域，再根据障碍物的放大特征对比前后两帧得到精确的障碍物区域。对于检测到的障碍物，无人机采取实时的避障行为。
发明内容
为了解决现有技术中的上述问题，即为了解决无人机能够在复杂的环境下实时的检测到障碍物并获取避障指令，本发明提出了一种复杂环境下无人机自动障碍物检测和避障方法，包括以下步骤：
步骤S1，利用无人机上设置的双目摄像头进行实时的图像采集，基于所采集的左、右两幅图像匹配计算生成视差图并进行预处理；
步骤S2，基于视差图信息，对视差图进行轮廓和灰度值的聚类划分，得到具有清晰结构的区域块，将所述区域块的噪声干扰去除后得到潜在障碍物区域；
步骤S3，对比前后两帧视差图中对应的潜在障碍物区域，结合障碍物的放大特性，依据无人机与潜在障碍物区域的距离和潜在障碍物区域的面积筛选得到最终障碍物区域；
步骤S4，基于步骤S3所得到的最终障碍物区域，输出无人机避障的动作指令。
优选地，步骤S1中基于所采集的左、右两幅图像匹配计算生成视差图的方法具体为：基于立体匹配Graph Cut算法中的SGBM算法，对所述双目摄像头所采及的左、右两幅图像进行校准，通过调整SGBM参数得到视差图。
优选地，步骤S1中对视差图进行的预处理包括：
根据校准后图像与原图像对比，直接去除视差图上两边的灰度信息干扰，得到第一视差图；
对第一视差图中灰度值差异大于设定阈值且面积小于设定阈值的白色块进行腐蚀处理，得到第二视差图；
对第二视差图进行图像平滑处理得到清晰的视差图。
优选地，步骤S2所述潜在障碍物区域，其获取步骤包括：
步骤S21,获取步骤1输出视差图的轮廓信息；
步骤S22，在各轮廓内部对灰度值进行聚类，形成多个对象区域块，每个对象区域块之间具有明显的灰度差异，并且对象区域块具有完整的区域轮廓；
步骤S23，分别选取各轮廓内面积大于设定阈值的对象区域块，针对所选取的对象区域块分别绘制最小外接矩形框；
步骤S24，计算各对象区域块的灰度值gray(i)、以及灰度值阈值gray0，选择gray(i)>gray0的对象区域块作为潜在障碍物区域。
优选地，步骤S22中对灰度值进行聚类，具体包括：
步骤S221，对步骤S21中获取的轮廓绘制最小外接矩形框，并获取所述矩形框内的各个像素点的灰度信息；
步骤S222，在每个矩形框内，去除灰度值小于预设的类内灰度差阈值的背景像素点；
步骤S223，并将步骤S222中每个矩形框内所去除的第一个背景像素点分别作为单独的一类，并记录其灰度值；
步骤S224，在每个矩形框内，逐个遍历每一个像素点，若其与已有类别的灰度值之差小于类内灰度差阈值则将该像素点归为对应类，否则将该像素点自为一类；
步骤S225，重复步骤S223和S224，直到所有的矩形框都聚类完毕。
优选地，步骤S24具体包括：
步骤S241，计算步骤S23中获取的各最小外接矩形框的灰度值作为对应对象区域块的灰度值gray(i)；
步骤S242，计算步骤S23所选取的所有对象区域块的灰度值均值作为灰度值阈值gray0；
步骤S243，选取gray(i)>gray0的对象区域块作为潜在障碍物区域。
优选地，步骤S3中获得最终障碍物区域的步骤包括：
步骤S31，获取当前帧视差图和上一帧视差图；
步骤S32，将当前帧视差图中潜在障碍物区域与上一帧视差图对应的潜在障碍物区域进行面积大小的对比，若大于则判断为候选障碍物所在的区域；
步骤S33：步骤S32输出的候选障碍物所在的区域为两个或两个以上时，对危险程度d(i)进行计算，
d(i)＝α*gray(i)+(1-α)*size(i)
其中α为比例系数，gray(i)为第i个对象区域块的平均灰度值，size(i)为第i个对象区域块的最小外接矩形周长，d(i)则为第i个对象区域块的危险系数值；
选择最危险程度d(i)最大的候选障碍物所在的区域为最终障碍物区域。
优选地，步骤S4中无人机采取避障行为的过程包括以下步骤：
步骤S41，选取步骤S3得到的最终障碍物区域的最小外接矩形的中心坐标作为最终障碍物区域的中心坐标；
步骤S42，先是执行后退动作躲避障碍物，再根据障碍物的中心坐标计算障碍物区域相对于无人机位置；
步骤S43，依据步骤S42中所计算的障碍物区域相对于无人机位置，输出无人机避障的动作指令。
优选地，步骤1中利用无人机上设置的双目摄像头进行实时的图像采集，其校正图像所用的变换参数基于双目摄像头标定好的内、外参数计算，所述内、外参数的标定方法为：
步骤S121，利用双目无线摄像头对准棋盘格图片进行选取不同方向进行拍照并保存，选择其中不同方向拍摄的N对图像；N为选取图像的数量；
步骤S122：使用Bouguet的matlab标定工具箱，执行运行matlab标定主函数calib_gui，选择左侧摄像头拍摄的N张图像，找到所有对应的角点，经过多次迭代可以得到左侧摄像头的内、外参数；
步骤S123：选取右侧摄像头拍摄的N张图像，采用步骤S122的方法获取右侧摄像头的内、外参数；
步骤S124：依据左、右摄像头的内、外参数，执行双目相机之MATLAB标定stereo_gui，求出了两个摄像头之间的旋转和平移关系向量，即外参数。
优选地，步骤S23中用于选取各轮廓内对象区域块的设定阈值为：绘制对应轮廓内各对象区域块的最小外接矩形，选择面积最大最小外接矩形，并以该矩形面积的1/3作为此处的设定阈值。
优选地，所述的双目摄像头为由固设于无人机上的两个无线摄像头组合而成的无线双目摄像头。
本发明与现有技术相比，具有如下优势：
(1)考虑到无人机本体对摄像头的便携性和重量的考虑，本发明使用两个无线摄像头组合成无线双目摄像头应用在无人机上，然后利用双目视觉技术对无人机的视觉信息进行处理。无人机平台具有很大的发展空间，其所应用的场景绝不是简单的背景和突出的前景，我们旨在解决无人机飞行的实际复杂环境下的检测障碍物和避障问题，其中障碍物可以是移动障碍物和固定障碍物。
(2)本发明在获得视差图后，针对视差图进行轮廓和灰度值的聚类，划分视差图为不同对象的区域。这与已有的在原图上按照颜色等聚类的技术相比，更加贴近人类对于环境中的对象的划分方式，传统的颜色划分只适用于障碍物具有一致的颜色，对于由多种颜色组成的障碍物则无法确定其整体区域。由于视差图的灰度信息表示了对象距离无人机的远近，因此本发明在视差图上采用距离准则进行对象划分。为了进一步提高对象块整体轮廓的提取，本发明在距离准则的基础上结合轮廓信息最终确定对象块区域，即潜在障碍物区域。
(3)在确定的潜在障碍物基础上，本发明再根据潜在障碍物在视野中的大小的变化来确定候选障碍物，具体为：对智能系统具有危险性的障碍物会随着时间的推进逐步放大。大多数现有工作都是在判断移动物体，但是移动的物体不一定就是对无人机有危险的障碍物，向离无人机越来越远的方向移动的物体本身对于无人机的安全构不成威胁，那就不应该被判定为障碍物。基于以上观点，本发明对比前后两帧寻找具有放大趋势的区域确定为候选障碍物所在的区域。
(4)在复杂环境下可能同时具有多个区域块满足放大的趋势，即存在多个候选障碍物区域。例如当无人机飞向多个对象的时候就存在了多个障碍物的情况，这时需要快速的选择最具有危险的那一个来躲避，本发明结合对象区域块距离无人机的远近以及对象区域块的大小确定需要率先躲避的障碍物区域。
(5)本发明提出的方法能够实时的应用在无人机上，使得无人机在室内复杂环境下针对不同的障碍物进行检测和躲避。复杂环境是指不需人工设定的背景和障碍物的环境，本发明能够检测不同颜色、大小、纹理的障碍物，同时障碍物可以是移动障碍物，也可以是固定障碍物。例如，朝向处于悬停状态的无人机投射来的物体属于移动障碍物。
附图说明
图1是本发明无人机自动障碍物检测和避障方法的流程示意图；
图2是本发明中立体匹配得到的视差图示例；
图3是本发明中图2经过腐蚀和平滑处理后得到的清晰视差图示例；
图4是本发明中区域化视图差的流程示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明采用双目视觉技术，它通过计算两个摄像头捕获的左、右两幅图像来感知图像中对象的深度信息。障碍物检测和避障的研究旨在应用于智能系统的实际产品上，本发明使用大疆的经纬M100无人机作为应用平台，使其能够在室内复杂场景下实时的检测到障碍物并进行躲避。由于无人机自身对于载重具有严格的要求，图像的传输也是务必要考虑的因素，我们选择微型的2.4G数字无线迷你小摄像头，分辨率是640*480，像素在30万左右，它的重量只有22g，可以非常方便的固定在无人机上。双目摄像头是由两个固定好位置的左、右两个摄像头组成的，我们使用两个无线摄像头拼成一个双目无线摄像头进行研究。
本发明的一种复杂环境下无人机自动障碍物检测和避障方法，包括以下步骤：
步骤S1，利用无人机上设置的双目摄像头进行实时的图像采集，基于所采集的左、右两幅图像匹配计算生成视差图并进行预处理；
步骤S2，基于视差图信息，对视差图进行轮廓和灰度值的聚类划分，得到具有清晰结构的区域块，将所述区域块的噪声干扰去除后得到潜在障碍物区域；
步骤S3，对比前后两帧视差图中对应的潜在障碍物区域，结合障碍物的放大特性，依据无人机与潜在障碍物区域的距离和潜在障碍物区域的面积筛选得到最终障碍物区域；
步骤S4，基于步骤S3所得到的最终障碍物区域，输出无人机避障的动作指令。
本实施例中，步骤1包括：
步骤S11：使用双目无线摄像头实时的捕获图像。捕获到的左、右两幅图像具有一些微小的位移差别。
由于两个摄像头完全一致，使用opencv(Open Source Computer VisionLibrary，为现有的一个跨平台计算机视觉库)的读取摄像头的方法是不能够同时读取两个相同摄像头的。这里，我们先利用vs(Microsoft Visual Studio)中的CameraDS类来同时读取左、右两幅图像，并保存在指定文件夹，再每隔30毫秒加载该文件夹下的最后保存的图像，实现实时的读取功能。
步骤S12：为双目无线摄像头标定，使用棋盘格标定法，采集20对左、右图像，应用matlab标定工具箱，获得左、右摄像头的内、外参数。
步骤S13：由标定好的内、外参数计算得到产生校正图像所需的变换参数，得出校准参数之后用OpenCV中的cvRemap函数来校准输入的左、右图像，校准后的图像能够将原来并不对齐的两张图像进行水平对齐，为后续的立体匹配做好准备。
步骤S14：基于立体匹配Graph Cut算法中的SGBM算法，对所述双目摄像头所采及的左、右两幅图像进行校准，通过调整SGBM参数得到视差图。
视差图通过不同的灰度值反映了图像中的对象相对于摄像头的深度信息，灰度值越大说明对象离摄像头越近。
步骤S15：由于畸变等原因，匹配得到的视差图具有很多噪声，因此需要去除由于畸变导致的边缘匹配信息，对细小的白色块进行腐蚀，并且使用中值滤波平滑图像，由此得到清晰的视差图。
本实施例中，步骤1中利用无人机上设置的双目摄像头进行实时的图像采集，其校正图像所用的变换参数基于双目摄像头标定好的内、外参数计算，所述内、外参数的标定方法如步骤S12所述，可以对步骤S12进一步细化为：
步骤S121，利用双目无线摄像头对准棋盘格图片进行选取不同方向进行拍照并保存，选择其中不同方向拍摄的20对图像；
步骤S122：使用Bouguet的matlab标定工具箱，执行运行matlab标定主函数calib_gui，选择左侧摄像头拍摄的20张图像，找到所有对应的角点，经过多次迭代可以得到左侧摄像头的内、外参数；
步骤S123：选取右侧摄像头拍摄的20张图像，采用步骤S122的方法获取右侧摄像头的内、外参数；
步骤S124：依据左、右摄像头的内、外参数，执行双目相机之MATLAB标定stereo_gui，求出了两个摄像头之间的旋转和平移关系向量，即外参数。
在得到准确的标定结果(即左、右摄像头的内、外参数)后，通过步骤S13执行校准工作，由于无线摄像头存在畸变，因此在得到变换参数后进行校准得到的图像较原图具有一些修正，校准是立体匹配的基础。
步骤S14正是在校准图像基础上执行的立体匹配工作，根据SGBM算法得到的视差图如图2所示，视差图可以反映图像上的对象与摄像头之间的远近关系，深度信息通过灰度体现，灰度值越大颜色越偏白表示对象距离摄像头越近，灰度值越小颜色越偏黑表示对象距离摄像头越远。
但是由于畸变等噪声干扰，图2所示的视差图虽然有些清晰的轮廓，但也具有很多琐碎的噪声，这就需要预处理过程即步骤S15。预处理主要是为了避免由于畸变导致的边缘噪声和细小区域噪声对图像中对象整体性的干扰。步骤S1中对视差图进行的预处理步骤S15可以进一步细化为：
步骤S151，根据校准后图像与原图像对比，发现畸变主要存在图像的左右两边，因此，可以根据校准后图像与原图像对比，直接去除视差图上两边的灰度信息干扰，得到第一视差图。
步骤S152，对第一视差图中灰度值差异大于设定阈值且面积小于设定阈值的白色块进行腐蚀处理，得到第二视差图。
例如，针对图2左下部分的细小的碎块，而且这些碎块的灰度值很明显不一致，这就说明这些碎块并不属于一个对象整体，通过步骤S152的腐蚀的方法先腐蚀掉不满足要求的区域块。
步骤S153，对第二视差图进行图像平滑处理得到清晰的视差图。如图3所示
例如，图2左上所示的对象整体虽然轮廓较完整，但是内部还会存在一些小的黑点，腐蚀后的图像整体会显得有些锯齿状，我们使用中值滤波的方法，取9*9的小方块计算均值赋给9*9的每个像素，这样既可以去除噪声点的干扰，也可以平滑图像将对象区域用相同的灰度整体的表现出来。
得到清晰的视差图后，就要进一步寻找潜在障碍物区域。清晰视差图上面有很多区域，人眼可以轻松地划分图像上不同的对象区域，这里我们就要将人眼基于轮廓和灰度值划分的方法引入计算机的识别算法中，区域化视差图的流程如图4所示，通过提取轮廓、灰度聚类、去除噪声的数据处理，得到步骤S2所述潜在障碍物区域，其获取步骤包括：
步骤S21,获取步骤1输出视差图的轮廓信息。
每个轮廓包含着一个对象所在的区域，轮廓是对视差图的一个初步划分，这里需要进行去噪处理，即去除灰度值极小、距离摄像头很远的对象的干扰。
轮廓只是根据像素点之间是否连接判断是否在一个轮廓内，它并不能够准确地得到图像中区域的准确划分结果，因此需要步骤S22、S23、S24的优化。
步骤S22，在各轮廓内部对灰度值进行聚类，形成多个对象区域块，每个对象区域块之间具有明显的灰度差异，并且对象区域块具有完整的区域轮廓。
该步骤中对灰度值进行聚类，具体包括：
步骤S221，对步骤S21中获取的轮廓绘制最小外接矩形框，并获取所述矩形框内的各个像素点的灰度信息。
步骤S222，在每个矩形框内，去除灰度值小于预设的类内灰度差阈值的背景像素点。
步骤S223，并将步骤S222中每个矩形框内所去除的第一个背景像素点分别作为单独的一类，并记录其灰度值。
步骤S224，在每个矩形框内，逐个遍历每一个像素点，若其与已有类别的灰度值之差小于类内灰度差阈值则将该像素点归为对应类，否则将该像素点自为一类。
步骤S225，重复步骤S223和S224，直到所有的矩形框都聚类完毕。
步骤S23，分别选取各轮廓内面积大于设定阈值的对象区域块，针对所选取的对象区域块分别绘制最小外接矩形框。
该步骤中用于选取各轮廓内对象区域块的设定阈值自适应地改变，根据不同的障碍物，大的障碍物设定阈值会设置的更大一些，本实施例采用的具体方法为：绘制对应轮廓内各对象区域块的最小外接矩形，选择面积最大最小外接矩形，并以该矩形面积的1/3作为此处的设定阈值。
步骤S24，潜在障碍物是在无人机视野中相对靠前的，这就需要灰度值阈值来评判，因此，可以计算各对象区域块的灰度值gray(i)、以及灰度值阈值gray0，选择gray(i)>gray0的对象区域块作为潜在障碍物区域。
本实施例中，步骤S24具体包括：
步骤S241，计算步骤S23中获取的各最小外接矩形框的灰度值作为对应对象区域块的灰度值gray(i)。
步骤S242，计算步骤S23所选取的所有对象区域块的灰度值均值作为灰度值阈值gray0。
这种方式保证了灰度值阈值自适应地改变根据障碍物距离摄像头的不同距离。
步骤S243，选取gray(i)>gray0的对象区域块作为潜在障碍物区域。
在获得潜在障碍物区域后，我们需要进一步的确定哪一个区域是真正的障碍物，这里所说“真正的障碍物”是指对无人机构成安全威胁的障碍物。无人机所处的复杂环境下可能存在很多个独立的个体，但是并不是任意一个对象都是障碍物，也不能说移动的物体就是障碍物。具有危险的障碍物本身是具有一定的属性的，即不断的靠近无人机，靠近无人机体现在对象在无人机视野中随着时间逐渐放大。采用步骤S3进行最终障碍物区域的判断，还可以进一步细化为：
步骤S31，获取当前帧视差图和上一帧视差图。
步骤S32，基于人脑对于障碍物的处理分析，障碍物一般是在摄像头视野中不断放大的对象，因此，将当前帧视差图中潜在障碍物区域与上一帧视差图对应的潜在障碍物区域进行面积大小的对比，若大于则判断为候选障碍物所在的区域。
步骤S33：步骤S32输出的候选障碍物所在的区域为两个或两个以上时，对危险程度d(i)进行计算，如公式(1)所示，选择最危险程度d(i)最大的候选障碍物所在的区域为最终障碍物区域。
d(i)＝α*gray(i)+(1-α)*size(i) (1)
其中α为比例系数，gray(i)为第i个对象区域块的平均灰度值，size(i)为第i个对象区域块的最小外接矩形周长，d(i)则为第i个对象区域块的危险系数值；
例如当无人机朝向某些物体移动时，视野中的物体都满足是障碍物的条件，这时就需要无人机选择最危险的障碍物先躲避，这样才不会因为多个障碍物导致无人机避障动作的混淆。
在确定了最终障碍物的位置后可以进行避障步骤S4，可进一步细化为：
步骤S41，选取步骤S3得到的最终障碍物区域的最小外接矩形的中心坐标作为最终障碍物区域的中心坐标；
步骤S42，先是执行后退动作躲避障碍物，再根据障碍物的中心坐标计算障碍物区域相对于无人机位置；如判断障碍物区域位于无人机的左侧还是右侧；
步骤S43，依据步骤S42中所计算的障碍物区域相对于无人机位置，输出无人机避障的动作指令。如若障碍物区域在无人机的左侧，则输出向右移动的指令，若障碍物区域在无人机的右侧，则输出向左运动的指令。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种复杂环境下无人机自动障碍物检测和避障方法，其特征在于，包括以下步骤：
步骤S1，利用无人机上设置的双目摄像头进行实时的图像采集，基于所采集的左、右两幅图像匹配计算生成视差图并进行预处理；
步骤S2，基于视差图信息，对视差图进行轮廓和灰度值的聚类划分，得到具有清晰结构的区域块，将所述区域块的噪声干扰去除后得到潜在障碍物区域；
步骤S3，对比前后两帧视差图中对应的潜在障碍物区域，结合障碍物的放大特性，依据无人机与潜在障碍物区域的距离和潜在障碍物区域的面积筛选得到最终障碍物区域；
步骤S4，基于步骤S3所得到的最终障碍物区域，输出无人机避障的动作指令；
步骤S4中无人机采取避障行为的过程包括以下步骤：
步骤S41，选取步骤S3得到的最终障碍物区域的最小外接矩形的中心坐标作为最终障碍物区域的中心坐标；
步骤S42，先是执行后退动作躲避障碍物，再根据障碍物的中心坐标计算障碍物区域相对于无人机位置；
步骤S43，依据步骤S42中所计算的障碍物区域相对于无人机位置，输出无人机避障的动作指令。
2.根据权利要求1所述的复杂环境下无人机自动障碍物检测和避障方法，其特征在于，步骤S1中基于所采集的左、右两幅图像匹配计算生成视差图的方法具体为：基于立体匹配Graph Cut算法中的SGBM算法，对所述双目摄像头所采及的左、右两幅图像进行校准，通过调整SGBM参数得到视差图。
3.根据权利要求2所述的复杂环境下无人机自动障碍物检测和避障方法，其特征在于，步骤S1中对视差图进行的预处理包括：
根据校准后图像与原图像对比，直接去除视差图上两边的灰度信息干扰，得到第一视差图；
对第一视差图中灰度值差异大于设定阈值且面积小于设定阈值的白色块进行腐蚀处理，得到第二视差图；
对第二视差图进行图像平滑处理得到清晰的视差图。
4.根据权利要求1所述的复杂环境下无人机自动障碍物检测和避障方法，其特征在于，步骤S2所述潜在障碍物区域，其获取步骤包括：
步骤S21,获取步骤1输出视差图的轮廓信息；
步骤S22，在各轮廓内部对灰度值进行聚类，形成多个对象区域块，每个对象区域块之间具有明显的灰度差异，并且对象区域块具有完整的区域轮廓；
步骤S23，分别选取各轮廓内面积大于设定阈值的对象区域块，针对所选取的对象区域块分别绘制最小外接矩形框；
步骤S24，计算各对象区域块的灰度值gray(i)、以及灰度值阈值gray0，选择gray(i)>gray0的对象区域块作为潜在障碍物区域。
5.根据权利要求4所述的复杂环境下无人机自动障碍物检测和避障方法，其特征在于，步骤S22中对灰度值进行聚类，具体包括：
步骤S221，对步骤S21中获取的轮廓绘制最小外接矩形框，并获取所述矩形框内的各个像素点的灰度信息；
步骤S222，在每个矩形框内，去除灰度值小于预设的类内灰度差阈值的背景像素点；
步骤S223，并将步骤S222中每个矩形框内所去除的第一个背景像素点分别作为单独的一类，并记录其灰度值；
步骤S224，在每个矩形框内，逐个遍历每一个像素点，若其与已有类别的灰度值之差小于类内灰度差阈值则将该像素点归为对应类，否则将该像素点自为一类；
步骤S225，重复步骤S223和S224，直到所有的矩形框都聚类完毕。
6.根据权利要求5所述的复杂环境下无人机自动障碍物检测和避障方法，其特征在于，步骤S24具体包括：
步骤S241，计算步骤S23中获取的各最小外接矩形框的灰度值作为对应对象区域块的灰度值gray(i)；
步骤S242，计算步骤S23所选取的所有对象区域块的灰度值均值作为灰度值阈值gray0；
步骤S243，选取gray(i)>gray0的对象区域块作为潜在障碍物区域。
7.根据权利要求1所述的复杂环境下无人机自动障碍物检测和避障方法，其特征在于，步骤S3中获得最终障碍物区域的步骤包括：
步骤S31，获取当前帧视差图和上一帧视差图；
步骤S32，将当前帧视差图中潜在障碍物区域与上一帧视差图对应的潜在障碍物区域进行面积大小的对比，若大于则判断为候选障碍物所在的区域；
步骤S33：步骤S32输出的候选障碍物所在的区域为两个或两个以上时，对危险程度d(i)进行计算，
d(i)＝α*gray(i)+(1-α)*size(i)
其中α为比例系数，gray(i)为第i个对象区域块的平均灰度值，size(i)为第i个对象区域块的最小外接矩形周长，d(i)则为第i个对象区域块的危险系数值；
选择最危险程度d(i)最大的候选障碍物所在的区域为最终障碍物区域。
8.根据权利要求1～7中任一项所述的复杂环境下无人机自动障碍物检测和避障方法，其特征在于，步骤1中利用无人机上设置的双目摄像头进行实时的图像采集，其校正图像所用的变换参数基于双目摄像头标定好的内、外参数计算，所述内、外参数的标定方法为：
步骤S121，利用双目无线摄像头对准棋盘格图片进行选取不同方向进行拍照并保存，选择其中不同方向拍摄的N对图像；N为选取图像的数量；
步骤S122，使用Bouguet的matlab标定工具箱，执行运行matlab标定主函数calib_gui，选择左侧摄像头拍摄的N张图像，找到所有对应的角点，经过多次迭代可以得到左侧摄像头的内、外参数；
步骤S123，选取右侧摄像头拍摄的N张图像，采用步骤S122的方法获取右侧摄像头的内、外参数；
步骤S124，依据左、右摄像头的内、外参数，执行双目相机之MATLAB标定stereo_gui，求出了两个摄像头之间的旋转和平移关系向量，即外参数。
9.根据权利要求1～7中任一项所述的复杂环境下无人机自动障碍物检测和避障方法，其特征在于，步骤S23中用于选取各轮廓内对象区域块的设定阈值为：绘制对应轮廓内各对象区域块的最小外接矩形，选择面积最大最小外接矩形，并以该矩形面积的1/3作为此处的设定阈值。
10.根据权利要求1～7中任一项所述的复杂环境下无人机自动障碍物检测和避障方法，其特征在于，所述的双目摄像头为由固设于无人机上的两个无线摄像头组合而成的无线双目摄像头。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611052401.7A CN106708084B (zh) | 2016-11-24 | 2016-11-24 | 复杂环境下无人机自动障碍物检测和避障方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611052401.7A CN106708084B (zh) | 2016-11-24 | 2016-11-24 | 复杂环境下无人机自动障碍物检测和避障方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106708084A CN106708084A (zh) | 2017-05-24 |
| CN106708084B true CN106708084B (zh) | 2019-08-02 |
Family
ID=58933919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611052401.7A Active CN106708084B (zh) | 2016-11-24 | 2016-11-24 | 复杂环境下无人机自动障碍物检测和避障方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106708084B (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107091643A (zh) * | 2017-06-07 | 2017-08-25 | 旗瀚科技有限公司 | 一种基于多台3d结构光相机拼接的室内导航方法 |
| CN107329490B (zh) * | 2017-07-21 | 2020-10-09 | 歌尔科技有限公司 | 无人机避障方法及无人机 |
| CN107238838B (zh) * | 2017-07-26 | 2019-11-05 | 北京经纬恒润科技有限公司 | 一种道路障碍物检测方法和车载设备 |
| CN107563373B (zh) * | 2017-07-28 | 2021-06-04 | 一飞智控(天津)科技有限公司 | 基于立体视觉的无人机降落区域主动安全检测方法及应用 |
| CN107609468B (zh) * | 2017-07-28 | 2021-11-16 | 一飞智控(天津)科技有限公司 | 用于无人机降落区域主动安全检测的类别优化聚合分析方法及应用 |
| CN109426277B (zh) * | 2017-08-30 | 2022-11-08 | 广州极飞科技股份有限公司 | 移动轨迹规划的方法及装置 |
| CN108733065B (zh) * | 2017-09-29 | 2021-06-04 | 北京猎户星空科技有限公司 | 一种机器人的避障方法、装置及机器人 |
| CN107817811A (zh) * | 2017-10-26 | 2018-03-20 | 哈尔滨市舍科技有限公司 | 基于视觉的无人机防碰撞装置及方法 |
| CN108197698B (zh) * | 2017-12-13 | 2022-10-14 | 中国科学院自动化研究所 | 基于多模态融合的多脑区协同自主决策方法 |
| CN108197711B (zh) * | 2017-12-13 | 2020-02-28 | 中国科学院自动化研究所 | 基于类脑多感觉注意切换的计算方法 |
| EP3591490B1 (en) * | 2017-12-15 | 2021-12-01 | Autel Robotics Co., Ltd. | Obstacle avoidance method and device, and unmanned aerial vehicle |
| CN109003251A (zh) * | 2018-02-01 | 2018-12-14 | 李峻 | 一种基于图像检测来净化空气的方法 |
| CN110231832B (zh) * | 2018-03-05 | 2022-09-06 | 北京京东乾石科技有限公司 | 用于无人机的避障方法和避障装置 |
| CN108446622A (zh) * | 2018-03-14 | 2018-08-24 | 海信集团有限公司 | 目标物体的检测跟踪方法及装置、终端 |
| US10776939B2 (en) * | 2018-04-03 | 2020-09-15 | Altumview Systems Inc. | Obstacle avoidance system based on embedded stereo vision for unmanned aerial vehicles |
| CN108764080B (zh) * | 2018-05-17 | 2021-10-01 | 中国电子科技集团公司第五十四研究所 | 一种基于点云空间二值化的无人机视觉避障方法 |
| CN108830257A (zh) * | 2018-06-29 | 2018-11-16 | 电子科技大学 | 一种基于单目光流的潜在障碍物检测方法 |
| CN110667474B (zh) * | 2018-07-02 | 2021-02-26 | 北京四维图新科技股份有限公司 | 通用障碍物检测方法、装置与自动驾驶系统 |
| CN109194764A (zh) * | 2018-09-25 | 2019-01-11 | 杭州翼兔网络科技有限公司 | 一种潜水设备运行情况分析系统 |
| CN110032211A (zh) * | 2019-04-24 | 2019-07-19 | 西南交通大学 | 多旋翼无人机自动避障方法 |
| CN112149458A (zh) * | 2019-06-27 | 2020-12-29 | 商汤集团有限公司 | 障碍物检测方法、智能驾驶控制方法、装置、介质及设备 |
| CN110472614B (zh) * | 2019-08-22 | 2023-06-30 | 四川自由健信息科技有限公司 | 一种晕倒行为的识别方法 |
| CN110688913B (zh) * | 2019-09-09 | 2022-11-11 | 苏州臻迪智能科技有限公司 | 一种基于智能设备的障碍物检测方法及装置 |
| CN111476762B (zh) * | 2020-03-26 | 2023-11-03 | 南方电网科学研究院有限责任公司 | 一种巡检设备的障碍物检测方法、装置和巡检设备 |
| CN111814721B (zh) * | 2020-07-17 | 2022-05-24 | 电子科技大学 | 基于无人机高低空联合扫描的机场跑道异物检测分类方法 |
| CN112101374B (zh) * | 2020-08-01 | 2022-05-24 | 西南交通大学 | 基于surf特征检测和isodata聚类算法的无人机障碍物检测方法 |
| CN112269379B (zh) * | 2020-10-14 | 2024-02-27 | 北京石头创新科技有限公司 | 障碍物识别信息反馈方法 |
| CN112148033B (zh) * | 2020-10-22 | 2024-06-14 | 广州极飞科技股份有限公司 | 无人机航线的确定方法、装置、设备及存储介质 |
| CN112765812B (zh) * | 2021-01-19 | 2021-09-07 | 中国科学院软件研究所 | 一种无人系统决策策略的自主能力快速测评方法及系统 |
| CN112906479B (zh) * | 2021-01-22 | 2024-01-26 | 成都纵横自动化技术股份有限公司 | 一种无人机辅助降落方法及其系统 |
| CN114879729B (zh) * | 2022-05-16 | 2024-06-18 | 西北工业大学 | 一种基于障碍物轮廓检测算法的无人机自主避障方法 |
| TWI836744B (zh) * | 2022-11-22 | 2024-03-21 | 金寶電子工業股份有限公司 | 影像追蹤方法及影像追蹤系統 |
| CN115880674B (zh) * | 2023-03-01 | 2023-05-23 | 上海伯镭智能科技有限公司 | 一种基于无人驾驶矿车的避障转向矫正方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102313536A (zh) * | 2011-07-21 | 2012-01-11 | 清华大学 | 基于机载双目视觉的障碍物感知方法 |
| CN103075973A (zh) * | 2012-12-31 | 2013-05-01 | 吉林大学 | 车身缝隙尺寸非接触在线检测方法 |
| CN103679707A (zh) * | 2013-11-26 | 2014-03-26 | 西安交通大学 | 基于双目相机视差图的道路障碍物检测系统及检测方法 |
| CN105366043A (zh) * | 2015-11-30 | 2016-03-02 | 湖北易瓦特科技股份有限公司 | 双桨减震旋翼无人机 |
| CN105787447A (zh) * | 2016-02-26 | 2016-07-20 | 深圳市道通智能航空技术有限公司 | 一种无人机基于双目视觉的全方位避障的方法及系统 |
-
2016
- 2016-11-24 CN CN201611052401.7A patent/CN106708084B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102313536A (zh) * | 2011-07-21 | 2012-01-11 | 清华大学 | 基于机载双目视觉的障碍物感知方法 |
| CN103075973A (zh) * | 2012-12-31 | 2013-05-01 | 吉林大学 | 车身缝隙尺寸非接触在线检测方法 |
| CN103679707A (zh) * | 2013-11-26 | 2014-03-26 | 西安交通大学 | 基于双目相机视差图的道路障碍物检测系统及检测方法 |
| CN105366043A (zh) * | 2015-11-30 | 2016-03-02 | 湖北易瓦特科技股份有限公司 | 双桨减震旋翼无人机 |
| CN105787447A (zh) * | 2016-02-26 | 2016-07-20 | 深圳市道通智能航空技术有限公司 | 一种无人机基于双目视觉的全方位避障的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106708084A (zh) | 2017-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106708084B (zh) | 复杂环境下无人机自动障碍物检测和避障方法 | |
| CN105825173B (zh) | 通用道路和车道检测系统与方法 | |
| CN102313536B (zh) | 基于机载双目视觉的障碍物感知方法 | |
| CN111201451A (zh) | 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置 | |
| Gershikov et al. | Horizon line detection in marine images: which method to choose? | |
| CN108981672A (zh) | 基于单目机器人与测距传感器结合的舱门实时定位方法 | |
| US20150243031A1 (en) | Method and device for determining at least one object feature of an object comprised in an image | |
| CN109961417B (zh) | 图像处理方法、装置及移动装置控制方法 | |
| CN103868460A (zh) | 基于视差优化算法的双目立体视觉自动测量方法 | |
| CN105869160A (zh) | 利用Kinect实现三维建模和全息显示的方法及系统 | |
| CN110246151B (zh) | 一种基于深度学习和单目视觉的水下机器人目标跟踪方法 | |
| Esteban et al. | Multi-stereo 3d object reconstruction | |
| CN113689503B (zh) | 目标对象的姿态检测方法、装置、设备及存储介质 | |
| CN102521846B (zh) | 基于3d视频的时空域运动分割与运动估计方法 | |
| CN108010075B (zh) | 一种基于多特征联合的局部立体匹配方法 | |
| KR20110014067A (ko) | 스테레오 컨텐트의 변환 방법 및 시스템 | |
| CN109059868A (zh) | 一种基于自适应匹配窗口的双目测距方法 | |
| CN109410234A (zh) | 一种基于双目视觉避障的控制方法及控制系统 | |
| CN112561996A (zh) | 一种自主水下机器人回收对接中目标检测方法 | |
| CN110021029A (zh) | 一种适用于rgbd-slam的实时动态配准方法及存储介质 | |
| Concha et al. | Real-time localization and dense mapping in underwater environments from a monocular sequence | |
| KR20110021500A (ko) | 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치 | |
| CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
| Evans et al. | Multicamera object detection and tracking with object size estimation | |
| Cortés-Pérez et al. | A mirror-based active vision system for underwater robots: From the design to active object tracking application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |