CN109816051B - 一种危化品货物特征点匹配方法及系统 - Google Patents

一种危化品货物特征点匹配方法及系统 Download PDF

Info

Publication number
CN109816051B
CN109816051B CN201910139321.2A CN201910139321A CN109816051B CN 109816051 B CN109816051 B CN 109816051B CN 201910139321 A CN201910139321 A CN 201910139321A CN 109816051 B CN109816051 B CN 109816051B
Authority
CN
China
Prior art keywords
point
matching
feature points
threshold
right image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910139321.2A
Other languages
English (en)
Other versions
CN109816051A (zh
Inventor
刘学君
袁碧贤
晏涌
魏宇晨
刘永旭
杨启思
秦姣姣
张哲闻
顾楚悦
戴波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Petrochemical Technology
Original Assignee
Beijing Institute of Petrochemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Petrochemical Technology filed Critical Beijing Institute of Petrochemical Technology
Priority to CN201910139321.2A priority Critical patent/CN109816051B/zh
Publication of CN109816051A publication Critical patent/CN109816051A/zh
Application granted granted Critical
Publication of CN109816051B publication Critical patent/CN109816051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种危化品货物特征点匹配方法及系统,该方法包括:获取待测量的危化品货物的左图像和右图像;采用SIFT算子分别检测左图像和右图像的特征点;对特征点进行聚类分析,确定SIFT匹配需要的阈值;根据阈值,对左图像和右图像的特征点进行初次匹配,得到多个匹配点对;去除错误的匹配点对,得到优化后的匹配点对集合。本发明提供的技术方案,采用SIFT算子检测左右图像的特征点,并通过DBSCAN密度聚类算法对特征点进行聚类分析,确定SIFT匹配需要的阈值,初匹配完成后,去除错误的匹配点对,得到优化后的匹配点对集合,以提高匹配准确率。DBSCAN密度聚类分析使得SIFT算法中固定阈值可变,大大提升了匹配率和准确率,为后续危化品仓储测距技术提供了保障。

Description

一种危化品货物特征点匹配方法及系统
技术领域
本发明涉及危化品仓储测距技术领域,具体涉及一种危化品货物特征点匹配方法及系统。
背景技术
随着我国经济快速发展,危险化学品的生产和使用量不断增加。由于其易燃烧、易爆炸、易腐蚀等特点,存在严重的安全事故隐患。急需危化品仓库内部货物安全储存状态监测与预警。双目视觉三维测量的应用非常广泛,现有技术中有方案利用双目立体测距在非结构化环境中定位荔枝,提高荔枝自动化采集速率;另外,现有技术中还有技术方案采用基于双目立体视觉中视差原理定位方法,测量获得停靠在港口的游艇精确位置。
危化品堆垛安全“5距”(跺距、墙距、柱距、灯距、梁距)是保证危险化学品存储安全的重要因素,基于此问题,提出了一种基于双目视觉的危化品堆垛测距监测系统,其中图像立体匹配算法的精度尤为重要。
对于匹配问题,已有相关学者研究出各种检测方法。例如,有相关方案将SIFT特征和边缘特征点相结合的区域匹配方法,提高了特征点视差的计算精度,但是该方法计算任务大,影响实时性操作。有相关方案提出一种将SIFT和旋转不变LBP相结合的匹配方法,但该方法局限性较大,视角变化较大便有较大误差。Faraj Alhwarin等人在匹配之前从测试和模型对象图像中提取的特征划分为多个子集合,基于不同频率域的不同八度音阶的特征,提高了匹配精准度与时间速度。
危险化学品仓库堆垛的尺寸测量需要特征点进行精确的立体匹配,然而匹配效率受光照影响,当光照不足时特征点匹配率较低,而货物之间的特征点的特征相似,存在较多误匹配,并且货物本身特征点相似的特点,用一般的匹配算法并不能实现这一目标。
发明内容
有鉴于此,本发明的目的在于克服现有技术的不足,提供一种危化品货物特征点匹配方法及系统,以解决现有技术中危化品货物特征点匹配错误率高的问题。
为实现以上目的,本发明采用如下技术方案:
一种危化品货物特征点匹配方法,包括:
步骤S1、获取待测量的危化品货物的左图像和右图像,并识别出所述左图像中的危化品货物所在区域及所述右图像中的危化品货物所在区域;
步骤S2、采用SIFT算子分别检测所述左图像和右图像中的危化品货物所在区域的特征点;
步骤S3、通过DBSCAN密度聚类算法,对所述特征点进行聚类分析,确定SIFT匹配需要的阈值;
步骤S4、根据所述阈值,对所述左图像的特征点和右图像的特征点进行初次匹配,得到多个匹配点对;
步骤S5、对所述多个匹配点对进行筛选,去除错误的匹配点对,得到优化后的匹配点对集合。
优选地,所述获取待测量的危化品货物的左图像和右图像,包括:
通过双目摄像头,获取待测量的危化品货物的左图像和右图像;其中,所述双目摄像头设置在面向待测量的危化品货物的方向,位于预设水平高度位置处,所述预设水平高度根据人体平均身高值确定。
优选地,所述步骤S3,包括:
步骤S31、通过DBSCAN密度聚类算法,分别对所述左图像的特征点及右图像的特征点进行聚类;
步骤S32、分别判断所述左图像中聚类后的特征点的疏密程度,及所述右图像中聚类后的特征点的疏密程度;
步骤S33、根据所述左图像中聚类后的特征点的疏密程度,及所述右图像中聚类后的特征点的疏密程度,确定SIFT匹配需要的阈值。
优选地,所述步骤S31包括:对所述左图像的特征点及右图像的特征点,分别执行以下步骤:
步骤S311、输入步骤S2所检测到的特征点及DBSCAN算法所需要两个参数值:扫描半径eps和最小包含点数minPts;
步骤S312、任选一个未被访问的特征点,记为核心点h;
步骤S313、判断所述核心点h与其距离在eps之内的所有特征点的数量是否小于minPts,若是,将所述核心点h标记为散点,返回步骤S312,否则,将所述核心点h与其邻域内的点归入到同一个簇C内,并将所述核心点h标记为已访问;
步骤S314、任选所述簇C内的一个未被访问的特征点,记为核心点g;
步骤S315、判断所述核心点g与其距离在eps之内的所有特征点的数量是否小于minPts,若是,将所述核心点g标记为已访问,返回步骤S314,否则,将所述核心点g与其邻域内的点归入到簇C内,并将所述核心点g标记为已访问,返回步骤S314直至所述簇C内所有的特征点被访问;
步骤S316、若所述簇C内的所有特征点被标记为已访问,则认定所述簇C被充分地扩展,返回步骤S312,直至所有的特征点被访问。
优选地,所述步骤S32包括:对所述左图像中聚类后的特征点及所述右图像中聚类后的特征点,分别执行以下步骤:
步骤S321、定义参数maxpts;
步骤S322、若任一被标记的特征点与其距离在eps之内的所有特征点的数量小于等于1,将该散点与其距离在eps之内的区域标记为噪点区;
步骤S323、若任一被标记的特征点与其距离在eps之内的所有特征点的数量大于1小于minPts,将该散点与其距离在eps之内的区域标记为分散区;
步骤S324、若任一被标记的特征点与其距离在eps之内的所有特征点的数量大于等于minPts小于maxpts,将该散点与其距离在eps之内的区域标记为较密集区;
步骤S325、若任一被标记的特征点与其距离在eps之内的所有特征点的数量大于等于maxpts,将该散点与其距离在eps之内的区域标记为密集区。
优选地,所述步骤S33包括:
将所述左图像和右图像的密集区的SIFT匹配阈值选定为第一阈值;
将所述左图像和右图像的较密集区的SIFT匹配阈值选定为第二阈值;
将所述左图像和右图像的分散区的SIFT匹配阈值选定为第三阈值;
将所述左图像和右图像的噪点区的SIFT匹配阈值选定为第四阈值;
其中,所述第一阈值>第二阈值>第三阈值>第四阈值,所述第一阈值、第二阈值、第三阈值和第四阈值根据实验值或者历史经验值进行确定。
优选地,所述步骤S5,包括:
步骤S51、采用自适应邻域的方法,对所述步骤S4输出的匹配点对进行筛选,去除错误的匹配点对;
步骤S52、采用双向匹配法,对所述步骤S51输出的匹配点对进一步筛选,得到优化后的匹配点对集合。
优选地,所述步骤S51包括:
步骤S511、提取所述步骤S4得到的匹配点对的坐标,将其定义为一个集合D:
D={[(a,b)(a',b')],[(a1,b1)(a’1,b’1)],…,[(ak,bk)(a'k,b'k)]} (1)
步骤S512、在集合D中任意选取k个匹配点对坐标,1≤k,根据公式(2)计算k个匹配点对的横纵坐标差,分别存入数组diff_x和diff_y中:
diff_x[0]=a'-a,diff_x[1]=a’1-a1,…,diff_x[k]=a'k-ak
diff_y[0]=b'-b,diff_y[1]=b’1-b1,…,diff_y[k]=b'k-bk (2)
步骤S513、确定误差值:根据公式(3)计算diff_x之间的差值dx和diff_y之间的差值dy;分别统计dx和dy在[-10,10]范围内的个数,若个数大于k/2,则定义选取的k个匹配点对的横纵坐标差的平均值为左图像和右图像的坐标误差值,分别记为min_x和min_y;如果小于等于k/2,则返回步骤步骤S512;
Figure GDA0002745565090000051
Figure GDA0002745565090000052
步骤S514:比较所述k个匹配点对中任一匹配点对的右匹配点是否在左匹配点的邻域内:设左匹配点为p,坐标为(Px,Py),p的邻域范围设定为[px+(min_x-20),py+(min_y-20)]和[px+(min_x+20),py+(min_y+20)],若右匹配点是在所述p的邻域范围内,则保留该匹配点对,否则删除。
优选地,所述步骤S52包括:
比较所述k个匹配点对中任一匹配点对的左匹配点是否在右匹配点的邻域内:设右匹配点为q,坐标为(qx,qy),q的邻域范围设定为
Figure GDA0002745565090000053
Figure GDA0002745565090000054
若左匹配点是在所述q的邻域范围内,则保留该匹配点对,否则删除。
另外,本发明还提出了一种危化品货物特征点匹配系统,包括:
获取单元,用于获取待测量的危化品货物的左图像和右图像,并识别出所述左图像中的危化品货物所在区域及所述右图像中的危化品货物所在区域;
检测单元,用于采用SIFT算子分别检测所述左图像和右图像中的危化品货物所在区域的特征点;
聚类单元,用于通过DBSCAN密度聚类算法,对所述特征点进行聚类分析,确定SIFT匹配需要的阈值;
匹配单元,用于根据所述阈值,对所述左图像的特征点和右图像的特征点进行初次匹配,得到多个匹配点对;
筛选单元,用于对所述多个匹配点对进行筛选,去除错误的匹配点对,得到优化后的匹配点对集合。
本发明采用以上技术方案,至少具备以下有益效果:
采用SIFT算子检测左右图像的特征点,并通过DBSCAN密度聚类算法对特征点进行聚类分析,确定SIFT匹配需要的阈值,初匹配完成后,对得到的多个匹配点对进行筛选,去除错误的匹配点对,得到优化后的匹配点对集合,以提高匹配准确率。DBSCAN密度聚类分析使得SIFT算法中固定阈值可变,大大提升了匹配率和准确率,为后续危化品仓储测距技术提供了保障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种危化品货物特征点匹配方法的流程图;
图2A为本发明一实施例提供的光照充足情况下传统SIFT匹配算法的效果图;
图2B为本发明一实施例提供的光照不足情况下传统SIFT匹配算法的效果图;
图3为本发明一实施例提供的通过DBSCAN密度聚类算法对特征点进行聚类后的结果示意图;
图4A为本发明一实施例提供的光照充足情况下DBSCAN密度聚类算法及不同阈值匹配后的效果图;
图4B为本发明一实施例提供的光照不足情况下DBSCAN密度聚类算法及不同阈值匹配后的效果图;
图5A为本发明一实施例提供的仓库模拟图;
图5B为本发明一实施例提供的仓库场景图;
图6A为本发明一实施例提供的光照充足情况下传统SIFT匹配算法的效果图;
图6B为本发明一实施例提供的光照充足情况下传统FLANN匹配算法的效果图;
图6C为本发明一实施例提供的光照充足情况下本申请匹配算法的效果图;
图6D为本发明一实施例提供的光照不足情况下传统SIFT匹配算法的效果图;
图6E为本发明一实施例提供的光照不足情况下传统FLANN匹配算法的效果图;
图6F为本发明一实施例提供的光照不足情况下本申请匹配算法的效果图;
图7为本发明一实施例提供的危化品货物特征点匹配系统的示意框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行详细的描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本发明所保护的范围。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
参见图1,本发明一实施例提供的一种危化品货物特征点匹配方法,包括:
步骤S1、获取待测量的危化品货物的左图像和右图像,并识别出所述左图像中的危化品货物所在区域及所述右图像中的危化品货物所在区域;
步骤S2、采用SIFT算子分别检测所述左图像和右图像中的危化品货物所在区域的特征点;
步骤S3、通过DBSCAN密度聚类算法,对所述特征点进行聚类分析,确定SIFT匹配需要的阈值;
步骤S4、根据所述阈值,对所述左图像的特征点和右图像的特征点进行初次匹配,得到多个匹配点对;
步骤S5、对所述多个匹配点对进行筛选,去除错误的匹配点对,得到优化后的匹配点对集合。
需要说明的是,所述步骤S1中识别出所述左图像中的危化品货物所在区域及所述右图像中的危化品货物所在区域为现有技术,具体可参见现有技术中基于图像处理的目标识别方法的实现。由于是现有技术,本申请在此对步骤S1中的危化品货物所在区域识别的具体实现方式不再赘述。
可以理解的是,本发明提供的技术方案,采用SIFT算子检测左右图像的特征点,并通过DBSCAN密度聚类算法对特征点进行聚类分析,确定SIFT匹配需要的阈值,初匹配完成后,对得到的多个匹配点对进行筛选,去除错误的匹配点对,得到优化后的匹配点对集合,以提高匹配准确率。DBSCAN密度聚类分析使得SIFT算法中固定阈值可变,大大提升了匹配率和准确率,为后续危化品仓储测距技术提供了保障。
优选地,所述获取待测量的危化品货物的左图像和右图像,包括:
通过双目摄像头,获取待测量的危化品货物的左图像和右图像;其中,所述双目摄像头设置在面向待测量的危化品货物的方向,位于预设水平高度位置处,所述预设水平高度根据人体平均身高值确定。
需要说明的是,所述步骤S2中采用SIFT算子分别检测所述左图像的特征点和右图像的特征点为现有技术。
可以理解的是,SIFT算法被认为是图像匹配效果最好的方法之一,它对物体的尺度变化、刚体变换、光照强度和遮挡都具有较好的稳定性。首先在预处理阶段,对输入的图像模型,通过高斯模糊函数连续地对尺度进行参数变换,得到多尺度空间序列。图像中某一尺度的空间函数L(x,y,σ)由可变参数的高斯函数G(x,y,σ)和原输入图像I(x,y)卷积得出:
L(x,y,σ)=G(x,y,σ)*I(x,y) (a)
其中,σ表示为尺度参数,σ越小,反应的局部点越清晰。反之σ越大,图像越模糊,越不能反应出图像的细节。G(x,y,kσ)为二维高斯函数,σ为尺度参数高斯函数表示如下:
Figure GDA0002745565090000091
建立DOG空间。因为LOG算子具有尺度不变的特性,通过对LOG与高斯核函数DOG进行差分可以得到高斯差分函数及DOG(下式(c)代表DOG函数),由平滑后图像的相邻尺度高斯相减得到。
Figure GDA0002745565090000092
在得到DOG空间后,将每一个像素点与其周围26个点进行比较,若该点为极大值或极小值点,则该点可被初步定义为一个特征点。通过以上计算得到的极值点并非都是稳定特征点,需要一些限制条件来排除响应较弱的极值点,筛选出精确、稳定的特征点。
得到特征点后,为实现特征向量的旋转不变性,需要根据特征点的局部图像结构获取一个主方向。首先计算每个特征点的幅角和幅值。如公式(d)(e)
Figure GDA0002745565090000093
Figure GDA0002745565090000094
其中,L表示特征点所对应的尺度空间,m(x,y)和θ(x,y)为像素点的梯度幅值与方向。采用直方图的方法分别记录像素邻域内梯度的m和θ,每个特征点的主方向为该点直方图大峰值对应方向,同时也统计该点附近大于其主方向峰值80%的方向,将其标记为辅助方向,以增强鲁棒性。
然后利用直方图对特征点邻域内的像素梯度和幅角进行统计,选取其峰值作为主方向。
特征向量主要通过特征点周围16*16的区域进行确定,首先对该区域采用高斯加权,然后将该区域划分为16个4*4的子区域,对每个子区域计算8个方向的梯度强度信息,得到4*4的子区域,对每个子区域计算8个方向的梯度强度信息,得到4*4*8=128个数据,并以此构建128维特征向量。
最后通过计算128维特征向量的欧式距离来表示特征向量的匹配程度。当两个特征向量的欧式距离最小且最小欧式距离与次最小欧式距离的比值小于0.6时,就认为该匹配对为正确匹配对,否则认为是错误匹配对并剔除。
但SIFT匹配算法的缺点在于:在图片中出现相似区域或者正确匹配点和错误匹配点误差参数较小时,正确的匹配点也会被剔除,进而影响匹配效果。图2A为光照充足情况下传统SIFT匹配算法的效果图,图2B为光照不足情况下传统SIFT匹配算法的效果图。参见图2A和图2B,在光照充足环境下出现了误匹配较多的情况,而光照不足的环境下,保留的特征点数目较少。因为传统SIFT算法采用全局固定阈值剔除不稳定特征点,但此固定阈值不能随图像自身特性的变化而改变,因此很难适用于所有的图像。尤其在光照不足等情况下,传统SIFT算法无法获取足够数目的特征点,间接导致匹配对数目的减少。从而使匹配效果下降。因此对阈值进行适当的调整,可以保留足够多数目的特征点。
优选地,所述步骤S3,包括:
步骤S31、通过DBSCAN密度聚类算法,分别对所述左图像的特征点及右图像的特征点进行聚类;
步骤S32、分别判断所述左图像中聚类后的特征点的疏密程度,及所述右图像中聚类后的特征点的疏密程度;
步骤S33、根据所述左图像中聚类后的特征点的疏密程度,及所述右图像中聚类后的特征点的疏密程度,确定SIFT匹配需要的阈值。
可以理解的是,经过SIFT算子进行特征点检测,根据DBSCAN密度聚类算法判断特征点的疏密程度,对密度不同程度的点集合采用不同阈值的方法以改变固定阈值,提升匹配率和准确率。
优选地,所述步骤S31包括:对所述左图像的特征点及右图像的特征点,分别执行以下步骤:
步骤S311、输入步骤S2所检测到的特征点及DBSCAN算法所需要两个参数值:扫描半径eps和最小包含点数minPts;
步骤S312、任选一个未被访问的特征点,记为核心点h;
步骤S313、判断所述核心点h与其距离在eps之内的所有特征点的数量是否小于minPts,若是,将所述核心点h标记为散点,返回步骤S312,否则,将所述核心点h与其邻域内的点归入到同一个簇C内,并将所述核心点h标记为已访问;
步骤S314、任选所述簇C内的一个未被访问的特征点,记为核心点g;
步骤S315、判断所述核心点g与其距离在eps之内的所有特征点的数量是否小于minPts,若是,将所述核心点g标记为已访问,返回步骤S314,否则,将所述核心点g与其邻域内的点归入到簇C内,并将所述核心点g标记为已访问,返回步骤S314直至所述簇C内所有的特征点被访问;
步骤S316、若所述簇C内的所有特征点被标记为已访问,则认定所述簇C被充分地扩展,返回步骤S312,直至所有的特征点被访问。
可以理解的是,特征点聚类后会形成多个簇和散点,聚类结果示意图如图3所示,p1、p2、p3为不同的簇,p4为未成簇的点为散点。
优选地,所述步骤S32包括:对所述左图像中聚类后的特征点及所述右图像中聚类后的特征点,分别执行以下步骤:
步骤S321、定义参数maxpts;
步骤S322、若任一被标记的特征点与其距离在eps之内的所有特征点的数量小于等于1,将该散点与其距离在eps之内的区域标记为噪点区;
步骤S323、若任一被标记的特征点与其距离在eps之内的所有特征点的数量大于1小于minPts,将该散点与其距离在eps之内的区域标记为分散区;
步骤S324、若任一被标记的特征点与其距离在eps之内的所有特征点的数量大于等于minPts小于maxpts,将该散点与其距离在eps之内的区域标记为较密集区;
步骤S325、若任一被标记的特征点与其距离在eps之内的所有特征点的数量大于等于maxpts,将该散点与其距离在eps之内的区域标记为密集区。
优选地,所述步骤S33包括:
将所述左图像和右图像的密集区的SIFT匹配阈值选定为第一阈值;
将所述左图像和右图像的较密集区的SIFT匹配阈值选定为第二阈值;
将所述左图像和右图像的分散区的SIFT匹配阈值选定为第三阈值;
将所述左图像和右图像的噪点区的SIFT匹配阈值选定为第四阈值;
其中,所述第一阈值>第二阈值>第三阈值>第四阈值,所述第一阈值、第二阈值、第三阈值和第四阈值根据实验值或者历史经验值进行确定。
需要说明的是,通过多次实验发现在密集的区域,特征点保留几率较低,采用较大阈值,从而能提高匹配率,针对特征点较分散的区域及噪点区,采用较小阈值,这样可以尽可能的保留下多的特征点,从而减少信息丢失的问题,并且可以小范围提升匹配的准确率。
根据DBSCAN密度聚类算法判断特征点疏密程度后,采用不同的阈值更进一步匹配后,图4A为光照充足情况下DBSCAN密度聚类算法及不同阈值匹配后的效果图,图4B为光照不足情况下DBSCAN密度聚类算法及不同阈值匹配后的效果图。参见图4A和图4B,特征点特征相近时,还是会出现多个特征点匹配到同一特征点的情况,导致误匹配。
鉴于本申请为双目水平方向立体匹配,物体不存在左右上下颠倒的情况,进一步依据两匹配点的邻域范围,提出了一种自适应邻域的方法,根据几何位置以解决因特征点特征相近出现的匹配错误率。
优选地,所述步骤S5,包括:
步骤S51、采用自适应邻域的方法,对所述步骤S4输出的匹配点对进行筛选,去除错误的匹配点对;
步骤S52、采用双向匹配法,对所述步骤S51输出的匹配点对进一步筛选,得到优化后的匹配点对集合。
优选地,所述步骤S51包括:
步骤S511、提取所述步骤S4得到的匹配点对的坐标,将其定义为一个集合D:
D={[(a,b)(a',b')],[(a1,b1)(a’1,b’1)],…,[(ak,bk)(a'k,b'k)]} (1)
步骤S512、在集合D中任意选取k个匹配点对坐标,1≤k,根据公式(2)计算k个匹配点对的横纵坐标差,分别存入数组diff_x和diff_y中:
diff_x[0]=a'-a,diff_x[1]=a’1-a1,…,diff_x[k]=a'k-ak
diff_y[0]=b'-b,diff_y[1]=b’1-b1,…,diff_y[k]=b'k-bk (2)
步骤S513、确定误差值:根据公式(3)计算diff_x之间的差值dx和diff_y之间的差值dy;分别统计dx和dy在[-10,10]范围内的个数,若个数大于k/2,则定义选取的k个匹配点对的横纵坐标差的平均值为左图像和右图像的坐标误差值,分别记为min_x和min_y;如果小于等于k/2,则返回步骤步骤S512;
Figure GDA0002745565090000131
Figure GDA0002745565090000132
步骤S514:比较所述k个匹配点对中任一匹配点对的右匹配点是否在左匹配点的邻域内:设左匹配点为p,坐标为(Px,Py),p的邻域范围设定为[px+(min_x-20),py+(min_y-20)]和[px+(min_x+20),py+(min_y+20)],若右匹配点是在所述p的邻域范围内,则保留该匹配点对,否则删除。
需要说明的是,所述步骤S513中范围值[-10,10]根据实验值进行确定。
优选地,所述步骤S52包括:
比较所述k个匹配点对中任一匹配点对的左匹配点是否在右匹配点的邻域内:设右匹配点为q,坐标为(qx,qy),q的邻域范围设定为
Figure GDA0002745565090000141
Figure GDA0002745565090000142
若左匹配点是在所述q的邻域范围内,则保留该匹配点对,否则删除。
可以理解的是,自适应邻域法判断右图匹配点是否在左图对应匹配点的邻域中,以删除误匹配点。但是左右图片及匹配都存在一定差异性,这里使用双向匹配的方法,采用左图向右图匹配和右图向左图匹配的双向匹配,取两者优秀匹配线段的集合为最终匹配线段。
另外,为了验证本发明提供的技术方案的效果,在实验室环境中,采用200万像素的CMOS双目摄像头,100*100*100mm和80*80*80mm的箱体,搭建了一个2*1*1m的模拟仓库环境参见图5A和图5B,完成了100组不同堆垛组合、不同环境下的图像处理。
在实验环境下,采集的图片像素大小为640*480,本申请提出的算法保留了传统SIFT匹配算法中提取特征点的方法。参见图6A和图6F,为了数据统一性,采用与传统SIFT匹配算法全局阈值固定为0.6的情况作为对比。
从效果上传统算法存在误匹配,本申请的改进算法基本错误率为0,匹配率和准确率有所提升。
在光照充足条件下,相比传统算法匹配率相当,但是准确率明显提升。在光照不足的情况下,两种算法都可以有较高的准确率,但随着光线减弱,特征点之间差异性减少,本申请的改进算法将保留更多特征点,减少信息丢失对匹配的影响,从而得到更好的效果。部分实验数据如下表一所示。
Figure GDA0002745565090000143
Figure GDA0002745565090000151
表一不同匹配算法的匹配结果比较
从表一中数据可以看出,对于危险化学品仓库内货物的立体匹配效果,本申请算法匹配率达到68%,匹配准确率基本保持在98%,特征点数量相对较少时,准确率达到100%。
另外,参见图7,本发明还提出了一种危化品货物特征点匹配系统100,包括:
获取单元101,用于获取待测量的危化品货物的左图像和右图像,并识别出所述左图像中的危化品货物所在区域及所述右图像中的危化品货物所在区域;
检测单元102,用于采用SIFT算子分别检测所述左图像和右图像中的危化品货物所在区域的特征点;
聚类单元103,用于通过DBSCAN密度聚类算法,对所述特征点进行聚类分析,确定SIFT匹配需要的阈值;
匹配单元104,用于根据所述阈值,对所述左图像的特征点和右图像的特征点进行初次匹配,得到多个匹配点对;
筛选单元105,用于对所述多个匹配点对进行筛选,去除错误的匹配点对,得到优化后的匹配点对集合。
可以理解的是,本发明提供的技术方案,采用SIFT算子检测左右图像的特征点,并通过DBSCAN密度聚类算法对特征点进行聚类分析,确定SIFT匹配需要的阈值,初匹配完成后,对得到的多个匹配点对进行筛选,去除错误的匹配点对,得到优化后的匹配点对集合,以提高匹配准确率。DBSCAN密度聚类分析使得SIFT算法中固定阈值可变,大大提升了匹配率和准确率,为后续危化品仓储测距技术提供了保障。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上,除非另有明确的限定。

Claims (5)

1.一种危化品货物特征点匹配方法,其特征在于,包括:
步骤S1、获取待测量的危化品货物的左图像和右图像,并识别出所述左图像中的危化品货物所在区域及所述右图像中的危化品货物所在区域;
步骤S2、采用SIFT算子分别检测所述左图像和右图像中的危化品货物所在区域的特征点;
步骤S3、通过DBSCAN密度聚类算法,对所述特征点进行聚类分析,确定SIFT匹配需要的阈值;
步骤S4、根据所述阈值,对所述左图像的特征点和右图像的特征点进行初次匹配,得到多个匹配点对;
步骤S5、对所述多个匹配点对进行筛选,去除错误的匹配点对,得到优化后的匹配点对集合;
所述获取待测量的危化品货物的左图像和右图像,包括:
通过双目摄像头,获取待测量的危化品货物的左图像和右图像;其中,所述双目摄像头设置在面向待测量的危化品货物的方向,位于预设水平高度位置处,所述预设水平高度根据人体平均身高值确定;
所述步骤S3,包括:
步骤S31、通过DBSCAN密度聚类算法,分别对所述左图像的特征点及右图像的特征点进行聚类;
步骤S32、分别判断所述左图像中聚类后的特征点的疏密程度,及所述右图像中聚类后的特征点的疏密程度;
步骤S33、根据所述左图像中聚类后的特征点的疏密程度,及所述右图像中聚类后的特征点的疏密程度,确定SIFT匹配需要的阈值;
所述步骤S31包括:对所述左图像的特征点及右图像的特征点,分别执行以下步骤:
步骤S311、输入步骤S2所检测到的特征点及DBSCAN算法所需要两个参数值:扫描半径eps和最小包含点数minPts;
步骤S312、任选一个未被访问的特征点,记为核心点h;
步骤S313、判断所述核心点h与其距离在eps之内的所有特征点的数量是否小于minPts,若是,将所述核心点h标记为散点,返回步骤S312,否则,将所述核心点h与其邻域内的点归入到同一个簇C内,并将所述核心点h标记为已访问;
步骤S314、任选所述簇C内的一个未被访问的特征点,记为核心点g;
步骤S315、判断所述核心点g与其距离在eps之内的所有特征点的数量是否小于minPts,若是,将所述核心点g标记为已访问,返回步骤S314,否则,将所述核心点g与其邻域内的点归入到簇C内,并将所述核心点g标记为已访问,返回步骤S314直至所述簇C内所有的特征点被访问;
步骤S316、若所述簇C内的所有特征点被标记为已访问,则认定所述簇C被充分地扩展,返回步骤S312,直至所有的特征点被访问;
所述步骤S32包括:对所述左图像中聚类后的特征点及所述右图像中聚类后的特征点,分别执行以下步骤:
步骤S321、定义参数maxpts;
步骤S322、若任一被标记的特征点与其距离在eps之内的所有特征点的数量小于等于1,将该散点与其距离在eps之内的区域标记为噪点区;
步骤S323、若任一被标记的特征点与其距离在eps之内的所有特征点的数量大于1小于minPts,将该散点与其距离在eps之内的区域标记为分散区;
步骤S324、若任一被标记的特征点与其距离在eps之内的所有特征点的数量大于等于minPts小于maxpts,将该散点与其距离在eps之内的区域标记为较密集区;
步骤S325、若任一被标记的特征点与其距离在eps之内的所有特征点的数量大于等于maxpts,将该散点与其距离在eps之内的区域标记为密集区;
所述步骤S33包括:
将所述左图像和右图像的密集区的SIFT匹配阈值选定为第一阈值;
将所述左图像和右图像的较密集区的SIFT匹配阈值选定为第二阈值;
将所述左图像和右图像的分散区的SIFT匹配阈值选定为第三阈值;
将所述左图像和右图像的噪点区的SIFT匹配阈值选定为第四阈值;
其中,所述第一阈值>第二阈值>第三阈值>第四阈值,所述第一阈值、第二阈值、第三阈值和第四阈值根据实验值或者历史经验值进行确定。
2.根据权利要求1所述的方法,其特征在于,所述步骤S5,包括:
步骤S51、采用自适应邻域的方法,对所述步骤S4输出的匹配点对进行筛选,去除错误的匹配点对;
步骤S52、采用双向匹配法,对所述步骤S51输出的匹配点对进一步筛选,得到优化后的匹配点对集合。
3.根据权利要求2所述的方法,其特征在于,所述步骤S51包括:
步骤S511、提取所述步骤S4得到的匹配点对的坐标,将其定义为一个集合D:
D={[(a,b)(a',b')],[(a1,b1)(a′1,b′1)],…,[(ak,bk)(a'k,b'k)]} (1)
上式中,ak为左图像中第k个匹配点对的横坐标,bk为左图像中第k个匹配点对的纵坐标,a'k为右图像中第k个匹配点对的横坐标,b'k为右图像中第k个匹配点对的纵坐标;
步骤S512、在集合D中任意选取k个匹配点对坐标,1≤k,根据公式(2)计算k个匹配点对的横纵坐标差,分别存入数组diff_x和diff_y中:
Figure FDA0002764895330000031
步骤S513、确定误差值:根据公式(3)计算diff_x之间的差值dx和diff_y之间的差值dy;分别统计dx和dy在[-10,10]范围内的个数,若个数大于k/2,则定义选取的k个匹配点对的横纵坐标差的平均值为左图像和右图像的坐标误差值,分别记为min_x和min_y;如果小于等于k/2,则返回步骤S512;
Figure FDA0002764895330000041
Figure FDA0002764895330000042
步骤S514:比较所述k个匹配点对中任一匹配点对的右匹配点是否在左匹配点的邻域内:设左匹配点为p,坐标为(Px,Py),p的邻域范围设定为[px+(min_x-20),py+(min_y-20)]和[px+(min_x+20),py+(min_y+20)],若右匹配点是在所述p的邻域范围内,则保留该匹配点对,否则删除。
4.根据权利要求3所述的方法,其特征在于,所述步骤S52包括:
比较所述k个匹配点对中任一匹配点对的左匹配点是否在右匹配点的邻域内:设右匹配点为q,坐标为(qx,qy),q的邻域范围设定为
Figure FDA0002764895330000043
Figure FDA0002764895330000044
若左匹配点是在所述q的邻域范围内,则保留该匹配点对,否则删除。
5.一种危化品货物特征点匹配系统,其特征在于,包括:
获取单元,用于获取待测量的危化品货物的左图像和右图像,并识别出所述左图像中的危化品货物所在区域及所述右图像中的危化品货物所在区域;
检测单元,用于采用SIFT算子分别检测所述左图像和右图像中的危化品货物所在区域的特征点;
聚类单元,用于通过DBSCAN密度聚类算法,对所述特征点进行聚类分析,确定SIFT匹配需要的阈值;
匹配单元,用于根据所述阈值,对所述左图像的特征点和右图像的特征点进行初次匹配,得到多个匹配点对;
筛选单元,用于对所述多个匹配点对进行筛选,去除错误的匹配点对,得到优化后的匹配点对集合;
所述获取待测量的危化品货物的左图像和右图像,包括:
通过双目摄像头,获取待测量的危化品货物的左图像和右图像;其中,所述双目摄像头设置在面向待测量的危化品货物的方向,位于预设水平高度位置处,所述预设水平高度根据人体平均身高值确定;
所述聚类单元,具体用于:
步骤S31、通过DBSCAN密度聚类算法,分别对所述左图像的特征点及右图像的特征点进行聚类;
步骤S32、分别判断所述左图像中聚类后的特征点的疏密程度,及所述右图像中聚类后的特征点的疏密程度;
步骤S33、根据所述左图像中聚类后的特征点的疏密程度,及所述右图像中聚类后的特征点的疏密程度,确定SIFT匹配需要的阈值;
所述步骤S31包括:对所述左图像的特征点及右图像的特征点,分别执行以下步骤:
步骤S311、输入步骤S2所检测到的特征点及DBSCAN算法所需要两个参数值:扫描半径eps和最小包含点数minPts;
步骤S312、任选一个未被访问的特征点,记为核心点h;
步骤S313、判断所述核心点h与其距离在eps之内的所有特征点的数量是否小于minPts,若是,将所述核心点h标记为散点,返回步骤S312,否则,将所述核心点h与其邻域内的点归入到同一个簇C内,并将所述核心点h标记为已访问;
步骤S314、任选所述簇C内的一个未被访问的特征点,记为核心点g;
步骤S315、判断所述核心点g与其距离在eps之内的所有特征点的数量是否小于minPts,若是,将所述核心点g标记为已访问,返回步骤S314,否则,将所述核心点g与其邻域内的点归入到簇C内,并将所述核心点g标记为已访问,返回步骤S314直至所述簇C内所有的特征点被访问;
步骤S316、若所述簇C内的所有特征点被标记为已访问,则认定所述簇C被充分地扩展,返回步骤S312,直至所有的特征点被访问;
所述步骤S32包括:对所述左图像中聚类后的特征点及所述右图像中聚类后的特征点,分别执行以下步骤:
步骤S321、定义参数maxpts;
步骤S322、若任一被标记的特征点与其距离在eps之内的所有特征点的数量小于等于1,将该散点与其距离在eps之内的区域标记为噪点区;
步骤S323、若任一被标记的特征点与其距离在eps之内的所有特征点的数量大于1小于minPts,将该散点与其距离在eps之内的区域标记为分散区;
步骤S324、若任一被标记的特征点与其距离在eps之内的所有特征点的数量大于等于minPts小于maxpts,将该散点与其距离在eps之内的区域标记为较密集区;
步骤S325、若任一被标记的特征点与其距离在eps之内的所有特征点的数量大于等于maxpts,将该散点与其距离在eps之内的区域标记为密集区;
所述步骤S33包括:
将所述左图像和右图像的密集区的SIFT匹配阈值选定为第一阈值;
将所述左图像和右图像的较密集区的SIFT匹配阈值选定为第二阈值;
将所述左图像和右图像的分散区的SIFT匹配阈值选定为第三阈值;
将所述左图像和右图像的噪点区的SIFT匹配阈值选定为第四阈值;
其中,所述第一阈值>第二阈值>第三阈值>第四阈值,所述第一阈值、第二阈值、第三阈值和第四阈值根据实验值或者历史经验值进行确定。
CN201910139321.2A 2019-02-25 2019-02-25 一种危化品货物特征点匹配方法及系统 Active CN109816051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910139321.2A CN109816051B (zh) 2019-02-25 2019-02-25 一种危化品货物特征点匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910139321.2A CN109816051B (zh) 2019-02-25 2019-02-25 一种危化品货物特征点匹配方法及系统

Publications (2)

Publication Number Publication Date
CN109816051A CN109816051A (zh) 2019-05-28
CN109816051B true CN109816051B (zh) 2020-12-25

Family

ID=66607465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910139321.2A Active CN109816051B (zh) 2019-02-25 2019-02-25 一种危化品货物特征点匹配方法及系统

Country Status (1)

Country Link
CN (1) CN109816051B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378940B (zh) * 2019-06-17 2023-04-07 东南大学 航空图像特征点匹配扩散递归校准方法
CN111882618B (zh) * 2020-06-28 2024-01-26 北京石油化工学院 双目测距中左右视图特征点匹配处理方法、终端及系统
CN113283478B (zh) * 2021-05-10 2022-09-09 青岛理工大学 一种基于特征匹配的装配体多视角变化检测方法及设备
CN114219857B (zh) * 2021-11-23 2024-07-16 北京石油化工学院 一种危化品仓储堆垛安全距离测量方法
CN114782701B (zh) * 2022-03-15 2023-01-03 广东科学技术职业学院 时序地标图像特征匹配方法、装置、电子设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886314A (zh) * 2012-12-20 2014-06-25 武汉三际物联网络科技有限公司 一种物体识别中基于sift特征尺度分量的两级匹配方法
CN107437258B (zh) * 2016-05-27 2020-11-06 株式会社理光 特征提取方法、运动状态估计方法以及运动状态估计装置
CN109325946B (zh) * 2018-09-14 2021-08-24 北京石油化工学院 一种危险化学品堆垛监测方法和系统
CN109214462A (zh) * 2018-09-25 2019-01-15 东北大学 一种基于分布式增量型dbscan算法的空间数据流在线聚类方法

Also Published As

Publication number Publication date
CN109816051A (zh) 2019-05-28

Similar Documents

Publication Publication Date Title
CN109816051B (zh) 一种危化品货物特征点匹配方法及系统
Li et al. Automatic pavement crack detection by multi-scale image fusion
CN110427905B (zh) 行人跟踪方法、装置以及终端
CN109859245B (zh) 视频目标的多目标跟踪方法、装置及存储介质
CN103699905B (zh) 一种车牌定位方法及装置
JP4923101B2 (ja) 画像間の空間対応を判別して三次元再構成をする方法および装置
CN109816644A (zh) 一种基于多角度光源影像的轴承缺陷自动检测系统
EP2079054B1 (en) Detection of blobs in images
CN111126116A (zh) 无人船河道垃圾识别方法及系统
CN109255802B (zh) 行人跟踪方法、装置、计算机设备及存储介质
CN101650784A (zh) 一种利用结构上下文特征进行图像匹配的方法
CN105740751A (zh) 一种目标检测与识别的方法和系统
CN116703895B (zh) 基于生成对抗网络的小样本3d视觉检测方法及其系统
CN110348307B (zh) 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统
CN113947754A (zh) 一种基于视觉的船舶机械运行状态监测方法、系统及存储介质
CN109829405A (zh) 视频目标的数据关联方法、装置及存储介质
CN110321808B (zh) 遗留物与盗移物检测方法、设备和存储介质
CN116883945B (zh) 一种融合目标边缘检测和尺度不变特征变换的人员识别定位方法
Kovacs et al. Orientation based building outline extraction in aerial images
CN117115436A (zh) 舰船姿态检测方法、装置、电子设备及存储介质
CN108805186B (zh) 一种基于多维显著特征聚类的sar图像圆形油库检测方法
CN115880303A (zh) 用于pcb板圆孔的亚像素精度定位检测方法及系统
Yao et al. Real-time multiple moving targets detection from airborne IR imagery by dynamic Gabor filter and dynamic Gaussian detector
Bergevin et al. Detection and characterization of junctions in a 2D image
Shabankareh et al. Improvement of edge-tracking methods using genetic algorithm and neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant