CN111241979A - 一种基于图像特征标定的实时障碍物检测方法 - Google Patents

一种基于图像特征标定的实时障碍物检测方法 Download PDF

Info

Publication number
CN111241979A
CN111241979A CN202010013111.1A CN202010013111A CN111241979A CN 111241979 A CN111241979 A CN 111241979A CN 202010013111 A CN202010013111 A CN 202010013111A CN 111241979 A CN111241979 A CN 111241979A
Authority
CN
China
Prior art keywords
feature
obstacle
matching
image
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010013111.1A
Other languages
English (en)
Other versions
CN111241979B (zh
Inventor
王黎航
李海洋
黄媛
厉昕晨
刘明安
徐书扬
徐弼军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lover Health Science and Technology Development Co Ltd
Original Assignee
Zhejiang Lover Health Science and Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lover Health Science and Technology Development Co Ltd filed Critical Zhejiang Lover Health Science and Technology Development Co Ltd
Priority to CN202010013111.1A priority Critical patent/CN111241979B/zh
Publication of CN111241979A publication Critical patent/CN111241979A/zh
Application granted granted Critical
Publication of CN111241979B publication Critical patent/CN111241979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Abstract

本发明公开了一种基于图像特征标定的实时障碍物检测方法，包括以下步骤：步骤一：图像采集与预处理；步骤二：通过改进的LOG算法对所述灰度图进行图像特征的提取，获得连续两帧灰度图的特征图；步骤三：通过改进的FLANN算法对特征图进行特征匹配，获得连续两帧的特征图之间的匹配关系图；步骤四：通过A‑D匹配过滤算法对匹配关系图内的特征点进行过滤，过滤特征点后获得新的匹配关系图；步骤五：对障碍物进行标定，获得障碍物的运动方向和距离。本发明，通过改进LOG算法、改进FLANN算法、A‑D过滤算法获得障碍物特征点及对应关系，实现对障碍物的标定，能应用于盲人辅助设备中。

Description

一种基于图像特征标定的实时障碍物检测方法
【技术领域】
本发明涉及图像识别的技术领域，特别是面向盲人的基于图像特征标定的实时障碍物检测方法的技术领域。
【背景技术】
据世界卫生组织2010年的统计数据显示，在中国盲人群体数量庞大，失明人士共有824.8万，数量位列世界第一。而在2016年，视障人数的数量已经迅速增长到了1731万人，也就是说，每八十个人中，大约就有一名失明人士。随着我国盲人数量的增加，盲人出行难的问题被愈加关注。然而，在我国有很多盲道都安装错误，没有达到合格的标准，而且盲道被其它设施占用或者阻碍的情况非常常见。有些盲人依靠导盲犬出行，但是，实际服役的导盲犬数量十分少，在北京目前登记注册的导盲犬也只有10条。由于成为导盲犬要求高，培训的费用很高，因此导盲犬帮助盲人出行尚未在社会上普及。
为了辅助盲人运动，现有技术中出现了不少关于视觉障碍物检测的方法。张建勋等人于《重庆理工大学学报》上发表了名为“图像多特征融合的障碍物检测”的论文，文中的方法通过对连续三帧图像提取特征和边缘信息进行线性加权，再利用高斯建模方法更新背景信息，最后将背景信息从图片中剔除，来得到图片中的障碍物。杨洁等人于《机械设计与制造》上发表了名为“基于改进SIFT算子的动态障碍物检测方法”的论文，文中的方法通过相邻帧间特征点位置估计改进SIFT匹配算子，然后利用三帧差分法对图像处理后,通过改进背景方差估计，最终得到障碍物。目前障碍物检测方法多为双目视觉进行视觉建模，效率极低，不满足盲人出行的实时性要求。同时目前单目视觉障碍物检测方法为通过背景差分法将背景剔除，无法直接获取出图像中的障碍物，检测精度不高。为此，需要一种面向盲人的基于特征值标定的障碍物检测算法，可以实时检测出障碍物的方向和距离。在满足实时输出(每秒输出率3-6次)的同时对设备性能要求大幅降低。
【发明内容】
本发明的目的就是解决现有技术中的问题，提出一种基于图像特征标定的实时障碍物检测方法，通过高效的特征值匹配算法解决了盲人出行中障碍识别效率不高的问题，通过计算障碍物的方位与距离，便于对盲人进行提示。本发明通过使用单目视觉传感器进行图像采集，对采集到的前后两帧应用改进LOG算法进行特征提取，改进FLANN算法进行特征匹配；解决了目前单目视觉障碍物提取精度较低，同时效率低下的问题；经检测在单核1.5GHZ、1G内存设备上，每秒输出率在3-6次左右，解决目前算法无法实时输出的问题。
为实现上述目的，本发明提出了一种基于图像特征标定的实时障碍物检测方法，包括以下步骤：
步骤一：图像采集与预处理：通过视觉传感器采集获得连续两帧的图像，对所述图像进行裁剪后再进行灰度化处理，获得连续两帧的灰度图；
步骤二：通过改进的LOG算法对所述灰度图进行图像特征的提取，获得连续两帧灰度图的特征图；
步骤三：通过改进的FLANN算法对特征图进行特征匹配，获得连续两帧的特征图之间的匹配关系图；
步骤四：通过A-D匹配过滤算法对匹配关系图内的特征点进行过滤，过滤特征点后获得新的匹配关系图；
步骤五：对障碍物进行标定：提取障碍物轮廓，获得障碍物的运动方向和距离。
作为优选，所述步骤二中改进的LOG对灰度图进行特征提取的具体步骤为：
步骤21：选取某个像素p，其像素值为Vp，以p点为中心，画一个半径为σ像素的圆，圆上的(σ+1)2个像素记为
Figure BDA0002357861580000031
步骤22：确定决策阈值，记为θp；
步骤23：根据步骤21从p中选取的(σ+1)2个像素，获得决策变量为
Figure BDA0002357861580000032
步骤24：当有
Figure BDA0002357861580000033
个连续的
Figure BDA0002357861580000034
值等于1时，则表明p点周围像素与p差异较大，认为p为可能的LOG特征点；通过计算
Figure BDA0002357861580000035
的值如果少于3个值为1则可以直接剔除该点，否则需要进一步计算；
步骤25：获得所有潜在的LOG特征点，形成潜在LOG特征点集合；
步骤26：验证潜在LOG特征点集合内的点，获得特征图：应用标准LOG算法对所有潜在LOG特征点集合内的特征点进行特征提取，获得最终的LOG特征点集合，并将LOG特征点表示于灰度图中，形成特征图。
作为优选，所述步骤三中改进的FLANN对特征图进行特征匹配的具体步骤为：
步骤31：假设簇划分为Ci(i＝1,2…k)，簇Ci的均值向量为μi，μi的表达式为：
Figure BDA0002357861580000036
步骤32：将
Figure BDA0002357861580000037
所对应的簇Cj排除，其中
Figure BDA0002357861580000038
为簇Ci的质心、
Figure BDA0002357861580000039
为簇Cj的质心、l为阈值；
步骤33：将步骤32剩下的簇进行特征匹配：对任意两均值向量μi、μm，求欧式距离得到的最小的D(μi，μm)即为最佳匹配，D(μi，μm)的表达式为
Figure BDA0002357861580000041
其中μm为簇Cm的均值向量；
步骤34：将所有最佳匹配后的特征点用线连接，得到连续两帧的特征图之间的匹配关系图。
作为优选，所述步骤四中通过A-D匹配过滤算法对匹配关系图内的关系进行过滤的具体步骤为：
步骤41：获取所需判断的两个特征点为kp1、kp2，kp1、kp2的坐标分别为
Figure BDA0002357861580000042
步骤42：获得两特征点的角度和距离：两特征点的角度为
Figure BDA0002357861580000043
两特征点的距离为
Figure BDA0002357861580000044
步骤43：计算获得关联度ξ：两个特征点kp1与kp2的关联度ξ的表达式为
Figure BDA0002357861580000045
步骤44：根据过滤函数，确定保留还是剔除上述特征点，所述过滤函数为
Figure BDA0002357861580000046
其中φ为关系阈值。
作为优选，所述步骤五中的提取障碍物轮廓的具体步骤为：根据经步骤四过滤后图像上的特征点形成的特征点集，获得上述特征点集内特征点的横纵坐标的极值，即为xmin、xmax、ymin、ymax，根据极值画出矩形轮廓，所述矩形轮廓即为障碍物轮廓。
作为优选，所述步骤五中的障碍物的运动方向和距离的具体获得方法为：
步骤51：获得障碍物轮廓的重心：
Figure BDA0002357861580000051
其中βx、βy为障碍物轮廓重心的横纵坐标值，xmin、xmax、ymin、ymax为障碍物轮廓内的特征点的横纵坐标极值；
步骤52：获得障碍物的运动方向的角度：
Figure BDA0002357861580000052
其中w为画面宽度；
步骤53：获得障碍物的距离：
Figure BDA0002357861580000053
其中hs为摄像头的安装高度，htotal为画面总高度。
本发明的有益效果：本发明考虑盲人出行对算法实时性要求，改进了LOG算法和FLANN算法进行特征检测和匹配，再提取精度不变的前提下，特征提取的效率更高，对设备性能要求更低，更满足出行场景的实时性需求；构造了A-D匹配过滤算法，弥补了单目摄像头无法有效提取障碍物的问题；A-D匹配过滤算法有效提取了障碍物的特征，提取效率高，准确性好。
本发明的特征及优点将通过实施例结合附图进行详细说明。
【附图说明】
图1是本发明一种基于图像特征标定的实时障碍物检测方法的方法流程图；
图2是本发明一种基于图像特征标定的实时障碍物检测方法的视觉传感器采集的连续两帧的实测图；
图3是本发明一种基于图像特征标定的实时障碍物检测方法的裁剪并灰度处理后的灰度图；
图4是本发明一种基于图像特征标定的实时障碍物检测方法的改进LOG进行特征点的提取图；
图5是本发明一种基于图像特征标定的实时障碍物检测方法的规范化算子的图；
图6是本发明一种基于图像特征标定的实时障碍物检测方法的改进LOG进行特征提取后的特征图；
图7是本发明一种基于图像特征标定的实时障碍物检测方法的改进FLANN进行特征匹配后的匹配关系图；
图8是本发明一种基于图像特征标定的实时障碍物检测方法的A-D匹配过滤后的匹配关系图；
图9是本发明一种基于图像特征标定的实时障碍物检测方法的障碍物轮廓提取的效果图；
图10是本发明一种基于图像特征标定的实时障碍物检测方法的障碍物检测后的最终结果图。
【具体实施方式】
参阅图1-图10，本发明，包括以下步骤：
步骤一：图像采集与预处理：通过视觉传感器采集获得连续两帧的图像，对所述图像进行裁剪后再进行灰度化处理，获得连续两帧的灰度图；
步骤二：通过改进的LOG算法对所述灰度图进行图像特征的提取，获得连续两帧灰度图的特征图；
步骤三：通过改进的FLANN算法对特征图进行特征匹配，获得连续两帧的特征图之间的匹配关系图；
步骤四：通过A-D匹配过滤算法对匹配关系图内的特征点进行过滤，过滤特征点后获得新的匹配关系图；
步骤五：对障碍物进行标定：提取障碍物轮廓，获得障碍物的运动方向和距离。
具体的，所述步骤二中改进的LOG对灰度图进行特征提取的具体步骤为：
步骤21：选取某个像素p，其像素值为Vp，以p点为中心，画一个半径为σ像素的圆，圆上的(σ+1)2个像素记为
Figure BDA0002357861580000071
步骤22：确定决策阈值，记为θp；
步骤23：根据步骤21从p中选取的(σ+1)2个像素，获得决策变量为
Figure BDA0002357861580000072
步骤24：当有
Figure BDA0002357861580000073
个连续的
Figure BDA0002357861580000074
值等于1时，则表明p点周围像素与p差异较大，认为p为可能的LOG特征点；通过计算
Figure BDA0002357861580000075
的值如果少于3个值为1则可以直接剔除该点，否则需要进一步计算；
步骤25：获得所有潜在的LOG特征点，形成潜在LOG特征点集合；
步骤26：验证潜在LOG特征点集合内的点，获得特征图：应用标准LOG算法对所有潜在LOG特征点集合内的特征点进行特征提取，获得最终的LOG特征点集合，并将LOG特征点表示于灰度图中，形成特征图。
具体的，所述步骤三中改进的FLANN对特征图进行特征匹配的具体步骤为：
步骤31：假设簇划分为Ci(i＝1,2...k)，簇Ci的均值向量为μi，μi的表达式为：
Figure BDA0002357861580000076
步骤32：将
Figure BDA0002357861580000077
所对应的簇Cj排除，其中
Figure BDA0002357861580000078
为簇Ci的质心、
Figure BDA0002357861580000079
为簇Cj的质心、l为阈值；
步骤33：将步骤32剩下的簇进行特征匹配：对任意两均值向量μi、μm，求欧式距离得到的最小的D(μi，μm)即为最佳匹配，D(μi，μm)的表达式为
Figure BDA0002357861580000081
其中μm为簇Cm的均值向量；
步骤34：将所有最佳匹配后的特征点用线连接，得到连续两帧的特征图之间的匹配关系图。
具体的，所述步骤四中通过A-D匹配过滤算法对匹配关系图内的关系进行过滤的具体步骤为：
步骤41：获取所需判断的两个特征点为kp1、kp2，kp1、kp2的坐标分别为
Figure BDA0002357861580000082
步骤42：获得两特征点的角度和距离：两特征点的角度为
Figure BDA0002357861580000083
两特征点的距离为
Figure BDA0002357861580000084
步骤43：计算获得关联度ξ：两个特征点kp1与kp2的关联度ξ的表达式为
Figure BDA0002357861580000085
步骤44：根据过滤函数，确定保留还是剔除上述特征点，所述过滤函数为
Figure BDA0002357861580000086
其中φ为关系阈值。
具体的，所述步骤五中的提取障碍物轮廓的具体步骤为：根据经步骤四过滤后图像上的特征点形成的特征点集，获得上述特征点集内特征点的横纵坐标的极值，即为xmin、xmax、ymin、ymax，根据极值画出矩形轮廓，所述矩形轮廓即为障碍物轮廓。
具体的，所述步骤五中的障碍物的运动方向和距离的具体获得方法为：
步骤51：获得障碍物轮廓的重心：
Figure BDA0002357861580000087
其中βx、βy为障碍物轮廓重心的横纵坐标值，xmin、xmax、ymin、ymax为障碍物轮廓内的特征点的横纵坐标极值；
步骤52：获得障碍物的运动方向的角度：
Figure BDA0002357861580000091
其中w为画面宽度；
步骤53：获得障碍物的距离：
Figure BDA0002357861580000092
其中hs为摄像头的安装高度，htotal为画面总高度。
本发明工作过程：
本发明一种基于图像特征标定的实时障碍物检测方法在工作过程中，结合附图进行说明。
图像采集与预处理：
图像采集：基于盲人出行中实时性与低功耗的需要，基于单目视觉传感器相较于双目视觉传感器功耗更低，对设备处理性能要求更低的特性。选择使用单目视觉传感器进行图像采集，采集到的图像为800*600像素大小的彩色图像。
画面裁剪：由于单目视觉传感器视角较广，对于盲人而言可能出现的障碍物区域仅为横向画面中部宽度
Figure BDA0002357861580000093
大小和纵向画面下半部分的区域即[200:600,200:600]大小的方形区域，所以需要对视觉传感器采集到的区域进行裁剪预处理。
图像灰度化：基于盲人出行的实时性考虑，要求算法执行高效，输入与输出之间的低时延要求，同时为了后期特征值检测时处理效率，选择采取通过将彩色图转换为灰度图的方式对图像进行降维，每个像素的R、G、B通道值根据灰度公式：Gray＝0.299×R+0.587×G+0.114×B。计算得到图像像素的灰度值，生成新的灰度图，如附图3所示。
改进的LOG特征提取：
由于卷积操作的时间复杂度较高，并且对处理性能要求较高，所以改进了LOG特征提取算法：通过对所有的像素进行快速先决筛选，标记为可能的特征点；再对所有筛选后可能的特征点进行LOG特征提取的卷积操作，最终提取出特征点。
筛选的方法如下：
步骤21：选取某个像素p，其像素值为Vp，以p点为中心，画一个半径为σ像素的圆，圆上的(σ+1)2个像素记为
Figure BDA0002357861580000101
这里选取σ＝3为例，如图4。
步骤22：确定阈值，记为θp；
步骤23：根据步骤21从p中选取的(σ+1)2个像素，获得决策变量为
Figure BDA0002357861580000102
步骤24：当有
Figure BDA0002357861580000103
个连续的
Figure BDA0002357861580000104
值等于1时，则表明p点周围像素与p差异较大，认为p为可能的LOG特征点；实际应用中为了提升提取速度，通过计算
Figure BDA0002357861580000105
的值如果少于3个值为1则可以直接剔除该点，否则需要进一步计算；
步骤25：获得所有潜在的LOG特征点，形成潜在LOG特征点集合；
步骤26：对于上述得到的可能的LOG特征点集，应用标准LOG特征提取对所有的特征点与高斯拉普拉斯函数进行卷积，最终得到LOG特征点集合。
上述标准LOG算法为：
利用高斯拉普通拉斯(Laplace of Gaussian,LOG)算子检测图像特征点，对于二维高斯函数：
Figure BDA0002357861580000106
它的拉普拉斯变换为：
Figure BDA0002357861580000111
规范化的高斯拉普变换为：
Figure BDA0002357861580000112
规范化算法子在二维图像上显示是一个圆对称函数，如图5。我们可以用这个算子来检测图像中的特征点，并且可以通过改变σ的值，可以检测不同尺寸的特征点。
通过使用上述改进后的LOG算法提取出来的特征值结果较好，特征差异较为明显，如附图6所示，图中圆形标注的为识别到的特征点。
改进的FLANN算法进行特征匹配：
采用FLANN算法，来训练一个高维特征数据，花费相对较少的代价找到数据中的最近邻计算。但是当图片中提取的特征点集过大时，应用FLANN特征匹配的效率仍然不高，所以选择对FLANN进行改进。
FLANN算法的核心是通过欧式距离来寻找与实例点的最近邻的点，即当D距离值越小，就表明这些特征点对之间的距离越近，两者的相似程度越高。
首先我们需要构造K-means tree将数据的所有维度进行聚类处理，K-means算法的数学原理如下。
我们假设簇划分为Ci(i＝1,2…k)，算法的目标是最小化平方误差E：
Figure BDA0002357861580000113
其中μi是簇Ci的均值向量，μi的表达式为：
Figure BDA0002357861580000114
从而对任意两均值向量μi、μj，应用下式求欧式距离，得到的最小的D即为最佳匹配：
Figure BDA0002357861580000121
但是基于应用FLANN进行匹配的两幅图像为行进中的前后两帧图像，同一特征点的位移较小，而为了得到最小D(μi，μj)需要进行大量匹配。所以对FLANN算法进行改进；
对于任意两簇Ci，Cj，定义其簇质心分别为
Figure BDA0002357861580000122
为了减少匹配的次数。定义阈值l将所有
Figure BDA0002357861580000123
的簇直接排除。这样可以对簇质心
Figure BDA0002357861580000124
位于点
Figure BDA0002357861580000125
周围半径为l的区域内的簇进行匹配，而非对所有的特征点集进行匹配，提高了算法的效率。
最终将所有最佳匹配用线连接，得到连续两帧的特征图之间的匹配关系图，得到的匹配效果如附图7所示。
障碍检测：
上述FLANN匹配得到的结果为整幅图中的匹配，其中包括了可能存在的障碍物与环境噪声的特征点的匹配，而我们只需要从中提取出障碍物的特征点。通过分析发现：环境噪声与障碍物之间随运动造成位移的同时会形成的不同的透视关系。所以利用这个原理可以过滤匹配中的噪声，获取障碍物的特征点，当有了障碍物的特征点后就可以大致计算障碍物的轮廓、距离、方位。
根据透视关系，由此定义了A-D(Angle-Distance)匹配过滤算法，通过结合匹配得到的两特征点的角度和距离，构造下式：
Figure BDA0002357861580000126
Figure BDA0002357861580000127
其中kp1、kp2为特征提取后经过FLANN匹配得到的特征对，上式构造了A-D过滤算法中的Angle和Distance，但是为了消除量纲和削弱环境噪声对A、D两因素的影响，构造了关联度
Figure BDA0002357861580000131
Figure BDA0002357861580000132
即为A-D匹配过滤的依据，得到过滤函数：
Figure BDA0002357861580000133
其中φ为过滤前预先设定的阈值，φ一般由经验所得，可通过分析比对后得到较为合理的φ值。最终过滤后的结果如附图8所示。
通过上述FLANN匹配和A-D过滤后得到的特征点就是障碍物的特征点，我们可以根据前一帧中的特征点集KP1和后一帧中的得到与KP1中特征点两两匹配的特征点集KP2。由此，我们可以根据KP1、KP2建立起障碍物两帧中的大小、角度与距离等信息，同时可以根据构造KP1→KP2之间的映射关系，获取障碍物的变化情况与变化规律。
考虑到盲人出行中实时性的要求，我们没有采用卷积等操作获取轮廓，而是选择了最简单的通过对KP1与KP2中的点集求最值的方法，得到点集的xmin、xmax、ymin、ymax后画出矩形轮廓，认为该轮廓即为障碍物的轮廓，如附图9中白框所示。
由于我们的目标是获取障碍物的方向和距离，而以上已经得到了障碍物的轮廓，求障碍物的方向只需要求轮廓的重心，然后计算中心位置与中轴线的夹角就可以计算出障碍物的大致方位：
Figure BDA0002357861580000134
Figure BDA0002357861580000135
其中β为矩形轮廓重心坐标，βx、βy为重心坐标的横坐标与纵坐标，w为画面宽度，α即为计算得到的障碍物角度。
对于障碍物距离，通过对摄像头画面尺度标定的方法得到经验数据，建立拟合数据模型，得到了障碍物距离计算公式：
Figure BDA0002357861580000141
其中hs为摄像头的安装高度，ymin为障碍物在画面中的最低点位置，htotal为画面总高度。
最终计算后第一帧障碍物的角度为0.01°距离为3.06米，第二帧中角度为0.02°距离为2.765米并在图上标注。如附图10所示。
本发明，通过改进LOG算法提取特征点保留了LOG算法特征提取算法准确性高的同时弥补了LOG特征提取算法效率较低的问题；通过改进FLANN算法进行特征匹配，相较于其他匹配算法匹配准确率更高，同时改进后的FLANN匹配效率有了大幅度提升；构造了A-D过滤算法，有效提取了障碍物的特征，提取效率高，准确性好；考虑算法执行效率，且盲人群体对精度要求不高，通过较为简单的线性模型估算距离和方位较为合适。
上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。

Claims (6)

1.一种基于图像特征标定的实时障碍物检测方法，其特征在于：包括以下步骤：
步骤一：图像采集与预处理：通过视觉传感器采集获得连续两帧的图像，对所述图像进行裁剪后再进行灰度化处理，获得连续两帧的灰度图；
步骤二：通过改进的LOG算法对所述灰度图进行图像特征的提取，获得连续两帧灰度图的特征图；
步骤三：通过改进的FLANN算法对特征图进行特征匹配，获得连续两帧的特征图之间的匹配关系图；
步骤四：通过A-D匹配过滤算法对匹配关系图内的特征点进行过滤，过滤特征点后获得新的匹配关系图；
步骤五：对障碍物进行标定：提取障碍物轮廓，获得障碍物的运动方向和距离。
2.如权利要求1所述的一种基于图像特征标定的实时障碍物检测方法，其特征在于：所述步骤二中改进的LOG对灰度图进行特征提取的具体步骤为：
步骤21：选取某个像素p，其像素值为Vp，以p点为中心，画一个半径为σ像素的圆，圆上的(σ+1)2个像素记为
Figure FDA0002357861570000011
步骤22：确定决策阈值，记为θp；
步骤23：根据步骤21从p中选取的(σ+1)2个像素，获得决策变量为
Figure FDA0002357861570000012
步骤24：当有
Figure FDA0002357861570000013
个连续的
Figure FDA0002357861570000014
值等于1时，则表明p点周围像素与p差异较大，认为p为可能的LOG特征点；通过计算
Figure FDA0002357861570000015
的值如果少于3个值为1则可以直接剔除该点，否则需要进一步计算；
步骤25：获得所有潜在的LOG特征点，形成潜在LOG特征点集合；
步骤26：验证潜在LOG特征点集合内的点，获得特征图：应用标准LOG算法对所有潜在LOG特征点集合内的特征点进行特征提取，获得最终的LOG特征点集合，并将LOG特征点表示于灰度图中，形成特征图。
3.如权利要求1所述的一种基于图像特征标定的实时障碍物检测方法，其特征在于：所述步骤三中改进的FLANN对特征图进行特征匹配的具体步骤为：
步骤31：假设簇划分为Ci(i＝1,2...k)，簇Ci的均值向量为μi，μi的表达式为：
Figure FDA0002357861570000021
步骤32：将
Figure FDA0002357861570000022
所对应的簇Cj排除，其中
Figure FDA0002357861570000023
为簇Ci的质心、
Figure FDA0002357861570000024
为簇Cj的质心、l为阈值；
步骤33：将步骤32剩下的簇进行特征匹配：对任意两均值向量μi、μm，求欧式距离得到的最小的D(μi，μm)即为最佳匹配，D(μi，μm)的表达式为D(μi，μm)＝||μi，
Figure FDA0002357861570000025
其中μm为簇Cm的均值向量；
步骤34：将所有最佳匹配后的特征点用线连接，得到连续两帧的特征图之间的匹配关系图。
4.如权利要求1所述的一种基于图像特征标定的实时障碍物检测方法，其特征在于：所述步骤四中通过A-D匹配过滤算法对匹配关系图内的关系进行过滤的具体步骤为：
步骤41：获取所需判断的两个特征点为kp1、kp2，kp1、kp2的坐标分别为
Figure FDA0002357861570000026
Figure FDA0002357861570000027
步骤42：获得两特征点的角度和距离：两特征点的角度为
Figure FDA0002357861570000028
两特征点的距离为
Figure FDA0002357861570000029
步骤43：计算获得关联度ξ：两个特征点kp1与kp2的关联度ξ的表达式为
Figure FDA0002357861570000031
步骤44：根据过滤函数，确定保留还是剔除上述特征点，所述过滤函数为
Figure FDA0002357861570000032
其中φ为关系阈值。
5.如权利要求1所述的一种基于图像特征标定的实时障碍物检测方法，其特征在于：所述步骤五中的提取障碍物轮廓的具体步骤为：根据经步骤四过滤后图像上的特征点形成的特征点集，获得上述特征点集内特征点的横纵坐标的极值，即为xmin、xmax、ymin、ymax，根据极值画出矩形轮廓，所述矩形轮廓即为障碍物轮廓。
6.如权利要求1所述的一种基于图像特征标定的实时障碍物检测方法，其特征在于：所述步骤五中的障碍物的运动方向和距离的具体获得方法为：
步骤51：获得障碍物轮廓的重心：
Figure FDA0002357861570000033
其中βx、βy为障碍物轮廓重心的横纵坐标值，xmin、xmax、ymin、ymax为障碍物轮廓内的特征点的横纵坐标极值；
步骤52：获得障碍物的运动方向的角度：
Figure FDA0002357861570000034
其中w为画面宽度；
步骤53：获得障碍物的距离：
Figure FDA0002357861570000035
其中hs为摄像头的安装高度，htotal为画面总高度。
CN202010013111.1A 2020-01-07 2020-01-07 一种基于图像特征标定的实时障碍物检测方法 Active CN111241979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010013111.1A CN111241979B (zh) 2020-01-07 2020-01-07 一种基于图像特征标定的实时障碍物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010013111.1A CN111241979B (zh) 2020-01-07 2020-01-07 一种基于图像特征标定的实时障碍物检测方法

Publications (2)

Publication Number Publication Date
CN111241979A true CN111241979A (zh) 2020-06-05
CN111241979B CN111241979B (zh) 2023-06-23

Family

ID=70872422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010013111.1A Active CN111241979B (zh) 2020-01-07 2020-01-07 一种基于图像特征标定的实时障碍物检测方法

Country Status (1)

Country Link
CN (1) CN111241979B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049553A (zh) * 2021-11-02 2022-02-15 北京科技大学顺德研究生院 一种离线盲人视觉辅助方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100124354A1 (en) * 2008-11-20 2010-05-20 Workshare Technology, Inc. Methods and systems for image fingerprinting
CN102099829A (zh) * 2008-05-23 2011-06-15 微软公司 测地图像和视频处理
US20130011022A1 (en) * 2011-07-08 2013-01-10 I Shou University Method and Computer Program Product for Extracting Feature Vectors from a Palm Image
CN103473766A (zh) * 2013-09-03 2013-12-25 浙江工商大学 一种基于视觉感知的二维形状特征点匹配方法
CN104504724A (zh) * 2015-01-15 2015-04-08 杭州国策商图科技有限公司 一种不受障碍物影响的运动物体跟踪及提取算法
CN104680516A (zh) * 2015-01-08 2015-06-03 南京邮电大学 一种图像优质特征匹配集的获取方法
CN104766084A (zh) * 2015-04-10 2015-07-08 南京大学 一种多目标匹配的近复制图像检测方法
US20160004927A1 (en) * 2013-03-26 2016-01-07 Fujifilm Corporation Visual matching assist apparatus and method of controlling same
US20160180181A1 (en) * 2014-12-22 2016-06-23 Hyundai Mobis Co., Ltd. Obstacle detecting apparatus and obstacle detecting method
CN105844261A (zh) * 2016-04-21 2016-08-10 浙江科技学院 基于优化特征投影矩阵的3d掌纹稀疏表示识别方法
CN107590444A (zh) * 2017-08-23 2018-01-16 深圳市易成自动驾驶技术有限公司 静态障碍物的检测方法、装置及存储介质
CN107590813A (zh) * 2017-10-27 2018-01-16 深圳市唯特视科技有限公司 一种基于深层交互式测地距离的图像分割方法
WO2018058356A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
CN109345590A (zh) * 2018-10-12 2019-02-15 北京航空航天大学东营研究院 一种基于双目视觉的无人机飞行程序校验系统及其方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102099829A (zh) * 2008-05-23 2011-06-15 微软公司 测地图像和视频处理
US20100124354A1 (en) * 2008-11-20 2010-05-20 Workshare Technology, Inc. Methods and systems for image fingerprinting
US20130011022A1 (en) * 2011-07-08 2013-01-10 I Shou University Method and Computer Program Product for Extracting Feature Vectors from a Palm Image
US20160004927A1 (en) * 2013-03-26 2016-01-07 Fujifilm Corporation Visual matching assist apparatus and method of controlling same
CN103473766A (zh) * 2013-09-03 2013-12-25 浙江工商大学 一种基于视觉感知的二维形状特征点匹配方法
US20160180181A1 (en) * 2014-12-22 2016-06-23 Hyundai Mobis Co., Ltd. Obstacle detecting apparatus and obstacle detecting method
CN104680516A (zh) * 2015-01-08 2015-06-03 南京邮电大学 一种图像优质特征匹配集的获取方法
CN104504724A (zh) * 2015-01-15 2015-04-08 杭州国策商图科技有限公司 一种不受障碍物影响的运动物体跟踪及提取算法
CN104766084A (zh) * 2015-04-10 2015-07-08 南京大学 一种多目标匹配的近复制图像检测方法
CN105844261A (zh) * 2016-04-21 2016-08-10 浙江科技学院 基于优化特征投影矩阵的3d掌纹稀疏表示识别方法
WO2018058356A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
CN107590444A (zh) * 2017-08-23 2018-01-16 深圳市易成自动驾驶技术有限公司 静态障碍物的检测方法、装置及存储介质
CN107590813A (zh) * 2017-10-27 2018-01-16 深圳市唯特视科技有限公司 一种基于深层交互式测地距离的图像分割方法
CN109345590A (zh) * 2018-10-12 2019-02-15 北京航空航天大学东营研究院 一种基于双目视觉的无人机飞行程序校验系统及其方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
LIANG ZHANG等: "VIEWPOINT CALIBRATION METHOD BASED ON POINT FEATURES FOR POINT CLOUD FUSION", IEEE *
WANG LIHANG等: "The Vibration Control Research of Viscoelastic Damper for the Eccentric Structure", 2015 SEVENTH INTERNATIONAL CONFERENCE ON MEASURING TECHNOLOGY AND MECHATRONICS AUTOMATION *
丁尚文: "基于单目视觉多视图平面点位置的最优估计", 专题研究与综述 *
宋博;姜万里;孙涛;熊正强;芮华建;: "快速特征提取与感知哈希结合的图像配准算法", 计算机工程与应用, no. 07, pages 2 *
李方旭;金久才;张杰;李立刚;戴永寿;: "一种用于无人船海面障碍物测距的双目视觉系统", 舰船科学技术, no. 23 *
杨洁;刘海民;叶晶晶;: "基于改进SIFT算子的动态障碍物检测方法", 机械设计与制造, no. 11 *
郑军: "基于特征事件的数控电火花线切割加工 工艺过程建模及能耗计算", 计算机集成制造系统 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049553A (zh) * 2021-11-02 2022-02-15 北京科技大学顺德研究生院 一种离线盲人视觉辅助方法及装置

Also Published As

Publication number Publication date
CN111241979B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN109902590B (zh) 深度多视图特征距离学习的行人重识别方法
CN110837768B (zh) 一种面向珍稀动物保护的在线检测与识别方法
CN107403168B (zh) 一种面部识别系统
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN104063702B (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
CN107491720A (zh) 一种基于改进型卷积神经网络的车型识别方法
CN103310194A (zh) 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN103870808A (zh) 一种手指静脉识别方法
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN114359876B (zh) 一种车辆目标识别方法及存储介质
CN110399840A (zh) 一种快速的草坪语义分割及边界检测方法
CN113484875B (zh) 一种基于混合高斯排序的激光雷达点云目标分级识别方法
CN109410248B (zh) 一种基于r-K算法的浮选泡沫运动特征提取方法
CN110188646B (zh) 基于梯度方向直方图与局部二值模式融合的人耳识别方法
CN114494594A (zh) 基于深度学习的航天员操作设备状态识别方法
CN112766145B (zh) 人工神经网络的人脸动态表情识别方法及装置
CN112232249B (zh) 一种基于深度特征的遥感图像变化检测方法及装置
CN111241979A (zh) 一种基于图像特征标定的实时障碍物检测方法
CN106446832B (zh) 一种基于视频的实时检测行人的方法
CN116703895B (zh) 基于生成对抗网络的小样本3d视觉检测方法及其系统
CN107025439A (zh) 基于深度数据的唇部区域特征提取和规范化方法
Han et al. Accurate and robust vanishing point detection method in unstructured road scenes
CN112632601B (zh) 面向地铁车厢场景的人群计数方法
CN111783580B (zh) 基于人腿检测的行人识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant