CN114608522B - 一种基于视觉的障碍物识别与测距方法 - Google Patents

一种基于视觉的障碍物识别与测距方法 Download PDF

Info

Publication number
CN114608522B
CN114608522B CN202210274727.3A CN202210274727A CN114608522B CN 114608522 B CN114608522 B CN 114608522B CN 202210274727 A CN202210274727 A CN 202210274727A CN 114608522 B CN114608522 B CN 114608522B
Authority
CN
China
Prior art keywords
value
parallax
image
obstacle
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210274727.3A
Other languages
English (en)
Other versions
CN114608522A (zh
Inventor
刘猛
吕艳辉
李发伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Ligong University
Original Assignee
Shenyang Ligong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Ligong University filed Critical Shenyang Ligong University
Priority to CN202210274727.3A priority Critical patent/CN114608522B/zh
Publication of CN114608522A publication Critical patent/CN114608522A/zh
Application granted granted Critical
Publication of CN114608522B publication Critical patent/CN114608522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/18—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with one observation point at each end of the base
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Abstract

本发明提供一种基于视觉的障碍物识别与测距方法，涉及视觉传感器定位技术领域。该方法将双目视觉与提出的TS‑YOLO障碍物识别算法相结合，实现对特定障碍物识别及测距功能。通过对双目相机进行立体标定，得到相机的内外参后进行立体校正，随后运用半全局立体匹配算法SGBM获取图像视差图，最后将TS‑YOLO障碍物识别算法与双目测距结合，对图像中的障碍物进行检测与识别，得到图像中障碍物的边界框坐标信息和障碍物的类别，最后读取边界框坐标信息区域的视差信息，并运用双目测距原理计算出障碍物的距离。本发明能够提高障碍物识别与测距的准确率与实时性，可在保持高精度的检测效果的同时完成障碍物的实时测距。

Description

一种基于视觉的障碍物识别与测距方法
技术领域
本发明涉及视觉传感器定位技术领域，尤其涉及一种基于视觉的障碍物识别与测距方法。
背景技术
障碍物识别即目标检测与识别，该技术作为计算机视觉的基础，在机器人领域、图像检索、无人机飞行环境感知等方面有着广泛的应用。目标检测，就是在一种静止的图像或者动态视频中检查出人们感兴趣的目标对象，首先就是检测图像或者视频中的要检测的目标是否存在，然后对检测到的目标进行定位以及分类。在基于深度学习的目标检测方法出来之前，传统的目标检测主要通过图像处理技术提取特征信息然后进行分类实现，其所用的特征是人为预先设定确定的特征，如梯度方向直方图特征与尺寸不变特征变换的特性等。但在以前的目标检测计算中目标的特征抽取与目标类型决定是分开执行的，对特性选取的规定也比较严厉，致使面临更复杂场景的时候，检测速度较慢，很难取得理想效果，因此难以在实际项目中运用，直到基于深度学习的障碍物识别算法的出现，目标检测技术才真正的应用在实际项目中。
障碍物测距主要通过超声波技术、激光技术以及视觉测距技术来实现。超声波技术主要通过发射和接收声波，以及通过声音在空气中的传播速率来求出障碍物的距离。激光技术主要通过激光或者红外来求出障碍物的距离，基本原理就是传感器发出了特定频段的激光或者红外线信息，之后再通过反射信息和原信息的相位差推算原信息的行进时刻，从而换算出障碍物的间距。除了超声波技术以及激光技术这两种方法外，目前应用较多的是双目视觉测距的方法，该方法成本低，传感器体积小，更适合搭建在各种设备上。当前的障碍物测距方法虽然可以实现测距，但不能对特定障碍物进行测距。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于视觉的障碍物识别与测距方法，基于双目视觉将目标检测识别技术与双目测距技术相结合，完成特定障碍物识别与测距，能够提高障碍物识别与测距的准确率与实时性。
为解决上述技术问题，本发明所采取的技术方案是：
一种基于视觉的障碍物识别与测距方法，包括以下步骤：
步骤1：通过双目相机左右摄像头拍摄不同角度的图片，并通过Matlab离线标定完成双目相机的立体标定和校正。
步骤2：启动已经标定好的双目相机，判断双目相机是否读取到图像，如果没有则重新判断，总共判断N次，一旦超过总次数N，则直接结束该算法。
步骤3：双目相机读取到图像就通过标定得到的参数对图像进行立体校正，随后通过半全局立体匹配算法SGBM得到左相机的视差图，再运用TS-YOLO障碍物识别算法对相机左视图的图像进行障碍物检测与识别，得到图像中障碍物的边界框坐标信息和障碍物的类别，并读取边界框坐标信息区域的视差信息。
步骤4：删除不在指定区域的视差值并计算指定区域的所有视差值，将所有的视差值求均值，最后通过该视差均值来计算障碍物距离。
采用上述技术方案所产生的有益效果在于：本发明提供的基于视觉的障碍物识别与测距方法，将目标检测技术与双目测距技术相结合，在目标检测技术上提出TS-YOLO障碍物识别算法，该算法首先通过改进特征提取网络进一步融合多尺度特征信息来提高对小目标区域的识别能力，其次通过引入EIOU损失函数提高定位精确度以及模型收敛速度，最后采用聚类算法K-means++提取先验框中心点，选取更为合适的先验框，用于提高障碍物检测的精度及速度。最后结合双目测距技术，将两种技术融合到一个算法中，并在计算力低的嵌入式设备上进行实验，实验结果表明，本发明可在保持高精度的检测效果的同时完成障碍物的实时测距。
附图说明
图1为本发明具体实施方式提供的基于视觉的障碍物识别与测距方法的流程图；
图2为本发明具体实施方式提供的K1A552-D全局曝光双目摄像头实物图；
图3为本发明具体实施方式提供的网格标定板实物图；
图4为本发明具体实施方式提供的双目相机采集的不同角度标定板实物图；其中，图(4a)为倾斜角度30°的标定板，图(4b)为倾斜角度45°的标定板；
图5为本发明具体实施方式提供的相机左右摄像头对同一个标定板的图像角点搜索图；
图6为本发明具体实施方式提供的双目相机标定过程图；
图7为本发明具体实施方式提供的双目校正实物图；
图8为本发明具体实施方式提供的TS-YOLO网络模型图；
图9为本发明具体实施方式提供的TS-YOLO检测效果图；
图10为本发明具体实施方式提供的像素点指定区域图；
图11为本发明具体实施方式提供的双目测距原理图；其中，图(11a)双目测距原理示意图，图(11b)为相似三角形原理示意图；
图12为本发明具体实施方式提供的障碍物识别与测距效果图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，本实施例的基于视觉的障碍物识别与测距方法包括以下步骤：
步骤1：双目摄像头的最终目的是通过立体匹配得到视差图后通过三角测距原理求得物体与摄像头的距离，但这是在双目相机处于理想情况下得到的，而通常双目相机会存在畸变，因此在使用双目相机之前需要对双目相机进行立体标定与校正，使得双目相机能够在理想状态下工作。
根据张正友标定法，利用MATLAB对双目相机实现离线标定，双目相机选用K1A552-D全局曝光双目摄像头，如图2所示。选用有8×6个小方格网格标定板，每个小方格大小为36mm×36mm，如图3所示。
随后在Vision Studio2017开发平台通过c++编程语言编写图片采集程序，然后调整标定板的角度，角度不大于45°，否则容易出现误差。利用双目摄像头采集标定板在不同角度的图片，如图4所示，共采集30组，即标定板左右两个视图的图片各30张，每张图像的尺度均为640×480。
打开MATLAB仿真软件平台里的“Stereo Camera Calibrator”工具箱，设置完“Coefficients”、“Skew”、“Tangential Distortion”后，导入前面采集的30组标定板左右视图的图片，导入完成后点击工具箱上面的Calibrator按键，工具箱就会自动查找并导入图片中的每个角点，如图5所示。在标定时去掉部分偏差较大的图片，从而提高标定的效果，标定完成后会得到双目相机的内外参数，标定过程如图6所示。
通过MATLAB软件里的工具箱标定后会得到双目相机的左右相机内参，以及摄像机的旋转矩阵与平移矩阵，双目相机的参数如下表1所示。
表1双目相机的参数
经过标定获得双目相机的内参与旋转、平移矩阵后，对采集的标定板左右图像利用校正原理进行校正，经过校正的标定板左右图像如图7所示，通过图7可看出，用双目相机采集的标定板左右图像对应的每个像素点都在同一水平线上。双目相机的立体校正能为后续立体匹配以及双目测距提供更精确的数据。
步骤2：启动已经标定好的的双目相机，判断双目相机是否读取到图像，如果没有则重新判断，总共判断N次，一旦超过N次，则直接结束该算法。
双目相机通过嵌入式设备来控制拍照频率，嵌入式设备相当于双目相机的主控中心，一切指令都通过该主控中心下发到摄像头，双目相机获取的图像信息也在主控中心处理，在算法中设定判断总次数是为了防止程序进入死循环从而浪费计算资源甚至导致死机。实际操作中，根据实际情况，选取合适的判断总次数。本实施例中取N＝10。
步骤3：双目相机读取到图像就通过标定得到的参数对图像进行立体校正，随后通过半全局立体匹配算法SGBM得到左相机的视差图，再运用TS-YOLO障碍物识别算法对相机左视图的图像进行障碍物检测与识别，得到图像中障碍物的边界框坐标信息和障碍物的类别，并读取边界框坐标信息区域的视差信息。
步骤3-1：双目相机的首要任务就是测距，而测距是在摄像头的左右相机处于理想状况下推出的，但在实际的双目立体视觉系统中，左右相机往往是不共面的。于是，就需要进行立体校正。立体校正的主要目的是，通过将现实中非共面行对齐的两个图像，校准成共面行对准，将现实的双目系统校准为理想的双目系统。立体校正之后，因为双目图像成像都处于同一个平面，所以立体匹配搜索算法也从二维变为一维，这就减少了搜寻复性并增加了立体匹配的搜索效果。
步骤3-2：立体匹配是使摄像头的左右相机图像上的像素点对应，从而获得视差图的过程。半全局立体匹配算法SGBM使用互信息计算全局能量代价函数，利用动态规划算法求解代价函数的最小值，在精度上比局部匹配算法有所提高。SGBM是一种半全局匹配算法，其实质采用的全局匹配算法中最优化能量函数的思想，其匹配流程是：先为相机图像中的各个像素点选取适当的视差值，从而生成初始的视差值图，之后再通过求得能量函数的最佳解，即能量函数的最小值，最终求得各个像素点最好的视差值。SGBM所采用的能量函数如式(1)所示。
其中，E(D)是视差图D对应的全局能量函数，p、q表示图像中的任何两个像素点，Np是点p的相邻像素点，Dp是点p的视差值，Dq是点q的视差值。当视差图为D时，全部像素的代价累加为 与/>是函数的平滑项，对像素点p的Np领域内的所有q进行惩罚，表示视差图为D时，所有像素的平滑代价的累加，其中T为判断函数，T函数里面的条件为真，则返回1，否则返回0，P1和P2为惩罚系数，分别用来适应视差变化的情况。利用上述函数寻找问题的最优解，计算时间长，因此该问题被近似为线性问题，又因为一个像素点有八个相邻像素点，所以一般分解为八个一维的问题，而每个一维问题都可以用动态规划来求解，实质上就是通过动态规划的方法对每个路径方向上的能量值进行求解，求解如式(2)所示：
其中，r表示某个指向当前像素点p的方向，在此可以理解为指向像素点p左边的相邻像素点的方向。Lr(p,d)表示沿着当前方向(即从左向右)，当像素点p的视差取值为d时，其最小的代价值。这个最小代价值Lr(p,d)是从以下4种可能的候选值中选取的最小值：
①前一个像素点(左相邻像素点)p-r的视差取值为d时，其最小的代价值；
②前一个像素点(左相邻像素点)p-r的视差取值为d-1时，其最小的代价值+惩罚系数P1；
③前一个像素点(左相邻像素点)p-r的视差取值为d+1时，其最小的代价值+惩罚系数P1；
④前一个像素点(左相邻像素点)p-r的视差取值为其他时，即式(2)中的i，其最小的代价值+惩罚系数P2。
另外，当前像素点p的代价值还需要减去前一个像素点取不同视差值时最小的代价值，此时不同的视差值在式(2)中用k表示。这是因为Lr(p,d)是会随着当前像素点的右移不停增长的，为了防止数值溢出，所以要让它维持在一个较小的数值。
C(p,d)表示当前像素点p和移动d之后的像素点之间，经过半个像素插值后，寻找两个像素点灰度或者RGB差值的最小值。
S(p,d)为像素点p的总能量值，如式(3)所示，像素点p的最终视差值是对每个路径累加的代价最少的视差值，对图像中的所有像素点进行运算后，就得到了整个图像的视差值。
步骤3-3：提出TS-YOLO障碍物识别算法，能在保证障碍物检测实时性的同时提高检测的精度。TS-YOLO是基于YOLOv4-Tiny改进后的模型，通过该模型能对特定的障碍物进行检测，做出的改进有：(1)优化网络结构，增加检测尺度，进行多个尺度融合，丰富特征信息，并加入SPP网络结构，增强卷积神经网络的学习能力，提高检测精度；(2)引入EIOU损失方法构建回归损失函数；(3)采用K-means++聚类算法改进初始化锚框。TS-YOLO的网络模型如图8所示，检测结果如图9所示。
(1)优化网络结构。在原网络YOLOv4-Tiny的基础上再增加一个检测层(76×76)，然后通过FPN网络结构融合前两个尺度的特征信息，提高对小目标的检测能力。此外，由于最后一个池化层后面的卷积层计算量消耗了25.55亿次浮点运算，消耗的资源较其他卷积层多出了近2倍，对计算资源有限的嵌入式设备来讲过于冗余。因此，为了降低YOLOv4-Tiny算法的冗余度，提高嵌入式设备的检测速度，将其从网络中移除。同时，为了进一步精简网络，将第一个上采样(Upsample)前面的卷积层的核数由128降为64；尺度为19×19的检测层最后两个CBL模块中的卷积层核数由256和512降为128和256；尺度为38×38的检测层最后一个CBL模块的卷积层核数由256降为128。随后引入空间金字塔池化结构(SpatialPyramid Pooling，SPP)。对于不同尺寸的图像输入，SPP可以产生固定大小的输出，并且通过最大池化操作将输入的图像特征映射到维度不同的空间上进行融合，进一步丰富特征图的信息。
(2)引入EIOU边界框损失函数
YOLOv4-Tiny采用CIOU作为损失函数，如式(4)所示。CIOU损失函数虽然考虑了边界框回归的重叠面积、中心点距离以及纵横比。但是其反映的是纵横比的差异，而不是宽高分别与其置信度的真实差异，所以有时会阻碍模型有效的优化相似性。
式(4)中，bgt、b分别代表真实框和预测框的中心点，λ代表真实框和预测框两个中心点间的欧式距离，c表示真实框和预测框的最小外接矩形的对角线长度，v是反映真实框和检测框的长宽比相似性的参数，α为权重参数，IOU表示真实框与预测框的交并比。α与v的计算方法如下：
为了弥补CIOU损失函存在的不足，采用EIOU边界框回归损失函数，如式(7)所示。该损失函数将纵横比的影响因子拆开分别计算真实框和预测框的边长和宽度，从而使得模型的收敛速度更快。
式(7)中，wgt、w分别表示真实框和预测框的宽度，hgt、h分别表示真实框和预测框的高度，ρ表示真实框与预测框宽度或者高度的差值，分别表示能够同时包含真实框与预测框的最小外接矩形的宽度和高度。
(3)改进初始化锚框
使用K-means++聚类算法，对所使用的数据集进行聚类分析。设定K-means++聚类算法中的K的值为9，经聚类算法迭代后选取的对应先验框的宽高分别为(8，18)，(12，25)，(19，35)，(29，49)，(42，72)，(64，106)，(91，164)，(144，237)，(272，376)，将其面积按从小到大排列均分到19×19、38×38、76×76三个不同尺寸的特征图上。
TS-YOLO障碍物识别算法的流程为：
TS-YOLO网络首先通过输入端输入图片，该图片尺寸根据实际需要可选416×416或者608×608，416×416尺寸的速度快，608×608尺寸的精度高，经过优化后的主干特征提取网络CSPDarknet53-Tiny里的三个CSPNet网络以及增加的SPP空间金字塔池化结构进行初步特征提取，将提取到的图片特征传递到改进后融合多尺度的FPN网络进行特征融合，加强图像特征，最后在预测层三个尺度不同的特征图上分别对大、中、小目标进行检测预测，在特征图上应用K-means++聚类算法重新聚类生成的锚点框，获得带有类概率、对象得分和边界框的最终输出向量，并且加入边界回归损失函数EIOU，进一步提高训练时模型的收敛速度。
步骤4：删除不在指定区域的视差值并计算指定区域的所有视差值，将所有的视差值求均值，最后通过该视差均值来计算障碍物距离。
通过提出的TS-YOLO障碍物识别算法画出的边界框(边界框是算法输出的带有检测目标的包围框)包含了图像中的被检测的障碍物信息，但边界框是矩形的，而障碍物可能是不规则形状，意味着矩形边界框内的图像不仅是障碍物，还有一些多余的图片背景，这些背景的像素点并不属于障碍物，所以通过双目相机进行立体匹配生成的视差图会存在空洞值，这些空洞值会降低匹配的精度，从而导致测距结果误差增大。因此，以矩形边界框的坐标中心(x,y)为所选区域的中心，以w/4和h/4为所选区域的宽和高，首先剔除区域内的空洞值，然后求取此区域内所有像素视差信息的均值作为障碍物的真实视差，再通过双目测距原理公式计算得到障碍物的距离。如图10所示，选取边界框内指定区域的所有像素视差的均值作为障碍物的真实视差。
双目相机可以直接使用两个不同角度拍摄的图像来计算视差图，然后通过视差图获得像素的三维信息，双目测距原理如图11所示。图中的OL、OR是左相机、右相机的光心，设点P为待测点，点P在左相机上的投影点为Pleft，点P在左相机上的投影坐标为XL，点P在右相机上的投影点为Pright，点P在右相机上投影坐标为XR，f为焦距，摄像机的基线为B，Z是需要求的距离信息，假设y为像素点Pleft到Pright的距离，则可以得到：
y＝B-(XR-XL) (8)
由相似三角形原理：
可得：
公式(10)中，双目相机的焦距f和基线B可通过标定获得。所以，只要求XR-XL的值即可得像素点的距离信息，从而计算出障碍物的距离。
在Vision Studio2017开发平台通过c++编程语言编写程序，实现通过鼠标点击视差图上的像素点输出该像素点的距离。将双目相机与目标的距离有近到远摆放，计算目标上不同采样点的距离，并求出采样点的平均距离，然后与卷尺测量距离比较，结果如表2所示。
表2距离计算结果比较
表2中，卷尺测量的距离是真实的距离，将平均采样距离看作是双目测距的距离，计算出双目测距结果的距离误差，观察误差的变化，发现随着双目相机与被测目标的距离不断扩大，误差也越来越大，即测距精度越来越低，这也符合双目测距原理。当双目相机与被测目标距离越来越远时，相机获取到的图像范围变大，图像中的空间也变得复杂，导致获得的视差图不精确，加大测距的误差。从上表可看出在5米以内的距离，测距的误差在5％以下，证明该双目视觉的目标测距能对场景的距离信息进行有效的恢复。
以椅子为例，在室内运行基于视觉的障碍物识别与测距方法的结果如图12所示，图中矩形框的左上角是检测出的障碍物的类别跟置信度，中间的数值是障碍物的距离。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (6)

1.一种基于视觉的障碍物识别与测距方法，其特征在于：该方法包括以下步骤：
步骤1：通过双目相机左右摄像头拍摄不同角度的图片，并通过Matlab离线标定完成双目相机的立体标定和校正；
步骤2：启动已经标定好的双目相机，判断双目相机是否读取到图像，如果没有则重新判断，总共判断N次，一旦超过总次数N，则直接结束该算法；
步骤3：双目相机读取到图像就通过标定得到的参数对图像进行立体校正，随后通过半全局立体匹配算法SGBM得到左相机的视差图，再运用TS-YOLO障碍物识别算法对相机左视图的图像进行障碍物检测与识别，得到图像中障碍物的边界框坐标信息和障碍物的类别，并读取边界框坐标信息区域的视差信息；
所述TS-YOLO障碍物识别算法是基于YOLOv4-Tiny改进的模型，基于YOLOv4-Tiny做出的改进包括：
优化网络结构，增加检测尺度，进行多个尺度融合，降低各卷积层核数，并加入SPP网络结构；
引入EIOU损失方法构建回归损失函数；
采用K-means++聚类算法对所使用的数据集进行聚类分析，改进初始化锚框；
所述优化网络结构具体包括：
在原网络YOLOv4-Tiny的基础上再增加一个检测层，然后通过FPN网络结构融合前两个尺度的特征信息；
将最后一个池化层后面的卷积层从网络中移除；
将第一个上采样前面的卷积层的核数由128降为64；尺度为19×19的检测层最后两个CBL模块中的卷积层核数由256和512降为128和256；尺度为38×38的检测层最后一个CBL模块的卷积层核数由256降为128；
引入空间金字塔池化结构SPP，对于不同尺寸的图像输入，SPP产生固定大小的输出，并且通过最大池化操作将输入的图像特征映射到维度不同的空间上进行融合；
所述TS-YOLO障碍物识别算法的流程为：
TS-YOLO网络首先通过输入端输入图片，该图片尺寸根据实际需要选择416×416尺寸或者608×608尺寸；经过优化后的主干特征提取网络CSPDarknet53-Tiny里的三个CSPNet网络以及增加的SPP空间金字塔池化结构进行初步特征提取，将提取到的图片特征传递到改进后融合多尺度的FPN网络进行特征融合，加强图像特征，最后在预测层三个尺度不同的特征图上分别对大、中、小目标进行检测预测，在特征图上应用K-means++聚类算法重新聚类生成的锚点框，获得带有类概率、对象得分和边界框的最终输出向量，并且加入边界回归损失函数EIOU；
步骤4：删除不在指定区域的视差值并计算指定区域的所有视差值，将所有的视差值求均值，最后通过视差均值来计算障碍物距离。
2.根据权利要求1所述的基于视觉的障碍物识别与测距方法，其特征在于：所述步骤3中的半全局立体匹配算法SGBM使用互信息计算全局能量代价函数，利用动态规划算法求解代价函数的最小值，其匹配流程是：先为相机图像中的各个像素点选取适当的视差值，从而生成初始的视差值图，之后再通过求得能量函数的最佳解，即能量函数的最小值，最终求得各个像素点最好的视差值。
3.根据权利要求2所述的基于视觉的障碍物识别与测距方法，其特征在于：所述半全局立体匹配算法SGBM所采用的能量函数如式(1)所示：
其中，E(D)是视差图D对应的全局能量函数，p、q表示图像中的任何两个像素点，Np是点p的相邻像素点，Dp是点p的视差值，Dq是点q的视差值；当视差图为D时，全部像素的代价累加为与/>是函数的平滑项，对像素点p的Np领域内的所有q进行惩罚，表示视差图为D时，所有像素的平滑代价的累加，其中T为判断函数，T函数里面的条件为真，则返回1，否则返回0；P1和P2为惩罚系数，分别用来适应视差变化的情况；
通过动态规划的方法对每个路径方向上的能量值进行求解，求解如式(2)所示：
其中，r表示某个指向当前像素点p的方向；Lr(p,d)表示沿着当前方向，当像素点p的视差取值为d时的最小的代价值；最小代价值Lr(p,d)是从Lr(p-r,d)、Lr(p-r,d-1)+P1、Lr(p-r,d+1)+P1、这4种可能的候选值中选取的最小值；
Lr(p-r,d)为前一个像素点p-r的视差取值为d时的最小的代价值；
Lr(p-r,d-1)为前一个像素点p-r的视差取值为d-1时的最小的代价值；
Lr(p-r,d+1)为前一个像素点p-r的视差取值为d+1时的最小的代价值；
为前一个像素点p-r的视差取值为其他值i时的最小的代价值；
为前一个像素点取不同视差值k时最小的代价值；
C(p,d)表示当前像素点p和移动d之后的像素点之间，经过半个像素插值后，寻找两个像素点灰度或者RGB差值的最小值；
S(p,d)为像素点p的总能量值，如式(3)所示；
像素点p的最终视差值是对每个路径累加的代价最少的视差值，对图像中的所有像素点进行运算后，得到整个图像的视差值。
4.根据权利要求1所述的基于视觉的障碍物识别与测距方法，其特征在于：所述TS-YOLO障碍物识别算法中采用EIOU边界框回归损失函数，如式(7)所示；
其中，IOU表示真实框与预测框的交并比，bgt、b分别表示真实框和预测框的中心点，ρ表示真实框和预测框两个中心点间的欧式距离，c表示真实框和预测框的最小外接矩形的对角线长度，wgt、w分别表示真实框和预测框的宽度，hgt、h分别表示真实框和预测框的高度，ρ表示真实框与预测框宽度或者高度的差值，分别表示能够同时包含真实框与预测框的最小外接矩形的宽度和高度。
5.根据权利要求1所述的基于视觉的障碍物识别与测距方法，其特征在于：所述TS-YOLO障碍物识别算法中K-means++聚类算法中的K的值为9，经聚类算法迭代后选取的对应先验框的宽高分别为(8，18)、(12，25)、(19，35)、(29，49)、(42，72)、(64，106)、(91，164)、(144，237)、(272，376)，将其面积按从小到大排列均分到19×19、38×38、76×76三个不同尺寸的特征图上。
6.根据权利要求1所述的基于视觉的障碍物识别与测距方法，其特征在于：所述步骤4中，以矩形边界框的坐标中心(x,y)为所选区域的中心，以w/4和h/4为所选区域的宽和高，首先剔除区域内的空洞值，其中w、h分别表示预测框的宽度和高度，然后求取此区域内所有像素视差信息的均值作为障碍物的真实视差，再通过双目测距原理公式计算得到障碍物的距离。
CN202210274727.3A 2022-03-21 2022-03-21 一种基于视觉的障碍物识别与测距方法 Active CN114608522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210274727.3A CN114608522B (zh) 2022-03-21 2022-03-21 一种基于视觉的障碍物识别与测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210274727.3A CN114608522B (zh) 2022-03-21 2022-03-21 一种基于视觉的障碍物识别与测距方法

Publications (2)

Publication Number Publication Date
CN114608522A CN114608522A (zh) 2022-06-10
CN114608522B true CN114608522B (zh) 2023-09-26

Family

ID=81865884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210274727.3A Active CN114608522B (zh) 2022-03-21 2022-03-21 一种基于视觉的障碍物识别与测距方法

Country Status (1)

Country Link
CN (1) CN114608522B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131992A (zh) * 2022-06-29 2022-09-30 福建盛海智能科技有限公司 一种基于双目相机的车辆盲区障碍物示警方法及终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205658A (zh) * 2017-11-30 2018-06-26 中原智慧城市设计研究院有限公司 基于单双目视觉融合的障碍物检测预警系统
CN109035322A (zh) * 2018-07-17 2018-12-18 重庆大学 一种基于双目视觉的障碍物检测与识别方法
CN109034018A (zh) * 2018-07-12 2018-12-18 北京航空航天大学 一种基于双目视觉的低空小型无人机障碍物感知方法
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
CN114187491A (zh) * 2022-02-17 2022-03-15 中国科学院微电子研究所 一种遮挡物体检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205658A (zh) * 2017-11-30 2018-06-26 中原智慧城市设计研究院有限公司 基于单双目视觉融合的障碍物检测预警系统
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
CN109034018A (zh) * 2018-07-12 2018-12-18 北京航空航天大学 一种基于双目视觉的低空小型无人机障碍物感知方法
CN109035322A (zh) * 2018-07-17 2018-12-18 重庆大学 一种基于双目视觉的障碍物检测与识别方法
CN114187491A (zh) * 2022-02-17 2022-03-15 中国科学院微电子研究所 一种遮挡物体检测方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Yi-Fan Zhang etc..Focal and Efficient IOU Loss for Accurate Bounding Box Regression.arXiv.2021,(第2101期),第4324页左栏第2段、第4328页右栏倒数第1段. *
Zicong Jiang etc..Real-time object detection method for embedded devices.arXiv.2020,(第2011期),全文. *
李发伯 等.基于嵌入式平台的安全帽实时检测方法.沈阳理工大学学报.2022,第41卷(第6期),全文. *
李阳阳.无人机双目视觉目标检测与测距方法研究.中国优秀硕士学位论文全文数据库(工程科技Ⅱ辑).2021,第2021卷(第1期),第1页倒数第1段、第28页倒数第2段-第36页倒数第2段、第37页第2段-第39页第2段、第57页第1段-第58页第1段，图4.1、5.3-5.4. *

Also Published As

Publication number Publication date
CN114608522A (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
WO2021196294A1 (zh) 一种跨视频人员定位追踪方法、系统及设备
CN113985445A (zh) 一种基于相机与激光雷达数据融合的3d目标检测算法
CN111144213B (zh) 一种对象检测方法和相关设备
CN109341668B (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN111369495B (zh) 一种基于视频的全景图像的变化检测方法
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
CN110851978B (zh) 一种基于可见性的摄像机位置优化方法
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN115032648A (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
CN112581543A (zh) 运动机器人视觉导航方法
CN117036300A (zh) 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法
CN114608522B (zh) 一种基于视觉的障碍物识别与测距方法
CN111523547A (zh) 一种3d语义分割的方法及终端
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN112037282B (zh) 一种基于关键点以及骨架的飞机姿态估计方法及系统
CN111709269B (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置
CN116147618B (zh) 一种适用动态环境的实时状态感知方法及系统
CN112712566A (zh) 基于结构参数在线校正的双目立体视觉传感器测量方法
CN116468786B (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN113591640B (zh) 一种道路护栏的检测方法、装置及车辆
CN112146647B (zh) 一种地面纹理的双目视觉定位方法及芯片
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN114140659A (zh) 一种基于无人机视角下人体检测的社交距离监控方法
CN113932712A (zh) 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant