CN109919247B - 危化品堆垛双目测距中特征点匹配方法、系统和设备 - Google Patents
危化品堆垛双目测距中特征点匹配方法、系统和设备 Download PDFInfo
- Publication number
- CN109919247B CN109919247B CN201910206199.6A CN201910206199A CN109919247B CN 109919247 B CN109919247 B CN 109919247B CN 201910206199 A CN201910206199 A CN 201910206199A CN 109919247 B CN109919247 B CN 109919247B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- feature point
- point
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种危化品堆垛双目测距中特征点匹配方法、系统和设备，该方法包括：采用双目摄像机获取危化品堆垛的第一图像和第二图像；基于SURF算法在第一图像和第二图像中提取相匹配的特征点对，并获取相匹配的特征点对的坐标；根据特征点对的坐标确定第一特征点的邻域范围，第一特征点为第一图像中提取的任一特征点；根据第二特征点的坐标判断第二特征点是否在第一特征点的邻域范围内，第二特征点为第二图像中与第一特征点相匹配的特征点；如果第二特征点在第一特征点的邻域范围内，则将第一特征点和第二特征点作为筛选后的相互匹配的特征点对，否则去除第一特征点和所述第二特征点。本申请大大提高了特征点的匹配率和匹配准确率。
Description
技术领域
本申请涉及危化品安全存储技术领域，尤其涉及一种危化品堆垛双目测距中特征点匹配方法、系统和设备。
背景技术
随着我国化工业的发展，危险化学品的生产和使用量不断增加，由于其易燃烧，易爆炸，腐蚀性高等特点，如果存储的过程中处理不当很容易发生重大事故，威胁人类的生命财产安全。在仓库存储危化品的过程中，危化品堆垛的安全距离(即垛距、墙距、柱距、灯距以及梁距)是保证危化品存储安全的重要因素。
一种常用的危化品堆垛安全距离测量方法是基于图像的三维重建方法，其原理是通过双目摄像机获取监控环境区域的左右两幅图像，在两幅图像中找相匹配的特征点，根据匹配特征点恢复环境中的三维信息，从而判断危化品堆垛距离是否安全。这种方法对图像立体匹配特征点的算法的精度要求非常高。
相关技术中，通常采用加速稳健特征(Speeded Up Robust Features，SURF)算法来进行图像中的特征点匹配。即，根据待检测目标图像构建尺度空间，根据尺度空间和海森矩阵确定两幅图像中的特征点，然后计算得到每个特征点对应的特征向量，根据每个特征点对应的特征向量及欧氏距离确定两幅图像中相匹配的特征点。但是，仓库危化品堆垛图像受光照影响，且本身存在特征点相似的情况，如果仅使用欧氏距离作为评判标准，则会出现特征点匹配率低以及大量特征点匹配错误的情况，从而大大降低危化品堆垛距离监测准确度。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种危化品堆垛双目测距中特征点匹配方法、系统和设备。
根据本申请实施例的第一方面，提供一种危化品堆垛双目测距中特征点匹配方法，包括：
采用双目摄像机获取危化品堆垛的第一图像和第二图像；
基于SURF算法，在所述第一图像和所述第二图像中提取相匹配的特征点对，并获取相匹配的特征点对的坐标；
根据所述特征点对的坐标确定第一特征点的邻域范围，所述第一特征点为第一图像中提取的任一特征点；
根据第二特征点的坐标判断所述第二特征点是否在所述第一特征点的邻域范围内，所述第二特征点为第二图像中与所述第一特征点相匹配的特征点；
如果第二特征点在所述第一特征点的邻域范围内，则将所述第一特征点和所述第二特征点作为筛选后的相互匹配的特征点对，否则，去除所述第一特征点和所述第二特征点。
可选的，所述采用双目摄像机获取危化品堆垛的第一图像和第二图像，包括：
采用双目摄像机的左摄像头和右摄像头分别获取所述危化品堆垛的左图像和右图像；
将所述左图像和所述右图像分别确定为第一图像和第二图像。
可选的，所述基于SURF算法，在所述第一图像和所述第二图像中提取相匹配的特征点对，并获取相匹配的特征点对的坐标，包括：
对所述第一图像和所述第二图像进行高斯滤波，以得到所述第一图像和所述第二图像对应的高斯尺度空间；
根据所述高斯尺度空间构建海森矩阵；
对应所述第一图像和所述第二图像中的每个像素点，根据所述海森矩阵的判别式计算所述每个像素点对应的函数值，将计算得到的所有函数值中的极大值对应的像素点确定为所述第一图像或所述第二图像的特征点；
获取所述特征点的坐标，根据所述特征点的坐标计算所述第一图像中的特征点对应的特征向量和所述第二图像中的特征点对应的特征向量；
计算所述第一图像中的每个特征点对应的特征向量和所述第二图像中的每个特征点对应的特征向量之间的欧式距离；
将所述欧式距离小于预设阈值的两个特征向量对应的两个特征点分别对应的坐标确定为所述第一图像和所述第二图像中相匹配的特征点对的坐标。
可选的，所述根据所述特征点对的坐标确定第一特征点的邻域范围之前，所述方法还包括：
从所有所述相匹配的特征点对的坐标中任意选取预设数量对特征点的坐标；
计算选取得到的每对特征点的坐标差；
判断所述坐标差是否满足预设条件，以便在满足预设条件时，根据所述特征点对的坐标确定第一特征点的邻域范围。
可选的，所述坐标差包括：每对特征点的横坐标差和纵坐标差，所述判断所述坐标差是否满足预设条件，包括：
统计所述横坐标差之间的差值和所述纵坐标差之间的差值落入预设范围内的数量；
判断所述数量是否大于第一预设数值，并在大于第一预设数值时确定所述坐标差满足预设条件。
可选的，所述根据所述特征点对的坐标确定第一特征点的邻域范围，包括：
将所述每对特征点的横坐标差的平均值确定为所述第一图像和所述第二图像之间的横坐标误差值，以及，将所述每对特征点的纵坐标差的平均值确定为所述第一图像和所述第二图像之间的纵坐标误差值；
根据所述横坐标误差值和所述纵坐标误差值，确定第一特征点的邻域范围为[qx+(mean_x-M)，qy+(mean_y-M)]和[qx+(mean_x+M)，qy+(mean_y+M)]；
其中，qx和qy分别为第一特征点的横坐标和纵坐标，mean_x表示横坐标误差值，mean_y表示纵坐标误差值，M为第二预设数值。
可选的，该方法还包括：
如果所述坐标差不满足预设条件，重新从所有所述相匹配的特征点对的坐标中任意选取预设数量对特征点的坐标，并执行后续步骤。
可选的，该方法还包括：
根据筛选后的相互匹配的特征点对计算危化品堆垛的距离。
根据本申请实施例的第二方面，提供一种危化品堆垛双目测距中特征点匹配系统，包括：
双目摄像机，用于获取危化品堆垛的第一图像和第二图像；
处理器，用于基于SURF算法，在所述第一图像和所述第二图像提取相匹配的特征点对，并获取相匹配的特征点对的坐标；根据所述特征点对的坐标确定第一特征点的邻域范围，所述第一特征点为第一图像中提取的任一特征点；根据第二特征点的坐标判断所述第二特征点是否在所述第一特征点的邻域范围内，所述第二特征点为第二图像中与所述第一特征点相匹配的特征点；如果第二特征点在所述第一特征点的邻域范围内，则将所述第一特征点和所述第二特征点作为筛选后的相互匹配的特征点对，否则，去除所述第一特征点和所述第二特征点。
根据本申请实施例的第二方面，提供一种危化品堆垛双目测距中特征点匹配设备，包括：
处理器，以及与所述处理器相连接的存储器；
所述存储器用于存储计算机程序；
所述处理器用于调用并执行所述存储器中的所述计算机程序，以执行如下所述的方法：
采用双目摄像机获取危化品堆垛的第一图像和第二图像；
基于SURF算法，在所述第一图像和所述第二图像中提取相匹配的特征点对，并获取相匹配的特征点对的坐标；
根据所述特征点对的坐标确定第一特征点的邻域范围，所述第一特征点为第一图像中提取的任一特征点；
根据第二特征点的坐标判断所述第二特征点是否在所述第一特征点的邻域范围内，所述第二特征点为第二图像中与所述第一特征点相匹配的特征点；
如果第二特征点在所述第一特征点的邻域范围内，则将所述第一特征点和所述第二特征点作为筛选后的相互匹配的特征点对，否则，去除所述第一特征点和所述第二特征点。
可选的，所述采用双目摄像机获取危化品堆垛的第一图像和第二图像，包括：
采用双目摄像机的左摄像头和右摄像头分别获取所述危化品堆垛的左图像和右图像；
将所述左图像和所述右图像分别确定为第一图像和第二图像。
可选的，所述基于SURF算法，在所述第一图像和所述第二图像中提取相匹配的特征点对，并获取相匹配的特征点对的坐标，包括：
对所述第一图像和所述第二图像进行高斯滤波，以得到所述第一图像和所述第二图像对应的高斯尺度空间；
根据所述高斯尺度空间构建海森矩阵；
对应所述第一图像和所述第二图像中的每个像素点，根据所述海森矩阵的判别式计算所述每个像素点对应的函数值，将计算得到的所有函数值中的极大值对应的像素点确定为所述第一图像或所述第二图像的特征点；
获取所述特征点的坐标，根据所述特征点的坐标计算所述第一图像中的特征点对应的特征向量和所述第二图像中的特征点对应的特征向量；
计算所述第一图像中的每个特征点对应的特征向量和所述第二图像中的每个特征点对应的特征向量之间的欧式距离；
将所述欧式距离小于预设阈值的两个特征向量对应的两个特征点分别对应的坐标确定为所述第一图像和所述第二图像中相匹配的特征点对的坐标。
可选的，所述根据所述特征点对的坐标确定第一特征点的邻域范围之前，所述方法还包括：
从所有所述相匹配的特征点对的坐标中任意选取预设数量对特征点的坐标；
计算选取得到的每对特征点的坐标差；
判断所述坐标差是否满足预设条件，以便在满足预设条件时，根据所述特征点对的坐标确定第一特征点的邻域范围。
可选的，所述坐标差包括：每对特征点的横坐标差和纵坐标差，所述判断所述坐标差是否满足预设条件，包括：
统计所述横坐标差之间的差值和所述纵坐标差之间的差值落入预设范围内的数量；
判断所述数量是否大于第一预设数值，并在大于第一预设数值时确定所述坐标差满足预设条件。
可选的，所述根据所述特征点对的坐标确定第一特征点的邻域范围，包括：
将所述每对特征点的横坐标差的平均值确定为所述第一图像和所述第二图像之间的横坐标误差值，以及，将所述每对特征点的纵坐标差的平均值确定为所述第一图像和所述第二图像之间的纵坐标误差值；
根据所述横坐标误差值和所述纵坐标误差值，确定第一特征点的邻域范围为[qx+(mean_x-M)，qy+(mean_y-M)]和[qx+(mean_x+M)，qy+(mean_y+M)]；
其中，qx和qy分别为第一特征点的横坐标和纵坐标，mean_x表示横坐标误差值，mean_y表示纵坐标误差值，M为第二预设数值。
可选的，该方法还包括：
如果所述坐标差不满足预设条件，重新从所有所述相匹配的特征点对的坐标中任意选取预设数量对特征点的坐标，并执行后续步骤。
可选的，该方法还包括：
根据筛选后的相互匹配的特征点对计算危化品堆垛的距离。
本申请的实施例提供的技术方案可以包括以下有益效果：
通过采用双目摄像机获取危化品堆垛的第一图像和第二图像；然后基于SURF算法，在所述第一图像和所述第二图像中提取相匹配的特征点对，并获取相匹配的特征点对的坐标；根据所述特征点对的坐标确定第一特征点的邻域范围，根据第二特征点的坐标判断所述第二特征点是否在所述第一特征点的邻域范围内；如果第二特征点在所述第一特征点的邻域范围内，则将所述第一特征点和所述第二特征点作为筛选后的相互匹配的特征点对，否则，去除所述第一特征点和所述第二特征点；其中，第一特征点为第一图像中提取的任一特征点，第二特征点为第二图像中与所述第一特征点相匹配的特征点。如此，通过利用特征点的邻域范围筛选基于SURF算法得到的相匹配的特征点对，使得最后筛选得到的相匹配的特征点对既满足欧式距离，还实现了利用几何位置约束来得到最终相匹配的特征点。避免了因特征点相似而出现的特征点匹配率低和特征点匹配错误的情况，大大提高了特征点的匹配率和匹配准确率，从而使得根据筛选后的特征点对确定的危化品堆垛的距离更加精确。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种危化品堆垛双目测距中特征点匹配方法的流程示意图。
图2是根据另一示例性实施例示出的一种危化品堆垛双目测距中特征点匹配方法的流程示意图。
图3是根据另一示例性实施例示出的一种危化品堆垛双目测距中特征点匹配系统的结构示意图。
图4是根据另一示例性实施例示出的一种危化品堆垛双目测距中特征点匹配设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的系统和方法的例子。
图1是根据一示例性实施例示出的一种危化品堆垛双目测距中特征点匹配方法的流程示意图。
如图1所示，本实施例提供的危化品堆垛双目测距中特征点匹配方法可以包括以下步骤：
步骤S11，采用双目摄像机获取危化品堆垛的第一图像和第二图像；
步骤S12，基于SURF算法，在所述第一图像和所述第二图像中提取相匹配的特征点对，并获取相匹配的特征点对的坐标；
步骤S13，根据所述特征点对的坐标确定第一特征点的邻域范围，所述第一特征点为第一图像中提取的任一特征点；
步骤S14，根据第二特征点的坐标判断所述第二特征点是否在所述第一特征点的邻域范围内，所述第二特征点为第二图像中与所述第一特征点相匹配的特征点；
步骤S15，如果第二特征点在所述第一特征点的邻域范围内，则将所述第一特征点和所述第二特征点作为筛选后的相互匹配的特征点对，否则，去除所述第一特征点和所述第二特征点。
特别的，本实施例基于SURF算法在第一图像和第二图像中提取相匹配的特征点对(第一图像中的第一特征点，以及第二图像中与第一特征点相匹配的第二特征点)并获取相匹配的特征点对的坐标后，又根据特征点对的坐标确定第一特征点的邻域范围，然后判断第二特征点的坐标是否在第一特征点的邻域范围内，如果在，则保留该特征点对，否则，去掉该特征点对；如此使得最终得到的特征点对既满足欧氏距离的要求，也满足几何位置的要求。
现有技术中仅通过两个相匹配的特征点计算分别对应的特征向量，然后根据特征向量计算其欧氏距离，欧氏距离小于预设阈值时，则认为两个特征向量相互匹配。而实际上，第一图像和第二图像中的两个特征点可能非常相似，因此，其分别对应的两个特征向量之间的欧氏距离也非常小；这种情况下，仅根据欧氏距离便确定了这一对特征点互相匹配，但实际上，两个特征点并不是匹配的，仅是因为两个特征点非常相似导致欧氏距离非常小。而且，双目摄像机获取的第一图像和第二图像受光照影响，当光照不足或者光照过于充足的时候，第一图像中的第二图像中会出现更多非常相似的特征点，从而造成匹配率以及匹配准确率较低的问题。
而本实施例中，获取得到的相互匹配的特征点对既满足欧式距离要求，还满足几何位置要求。因为在第一图像和第二图像在提取出来的真正相匹配的特征点对，其各自相对于第一图像和第二图像中的几何位置在误差允许的范围内是一样的，因此通过采用这种自适应邻域的方法，通过几何位置约束，从满足欧式距离的特征点对中筛选得到的特征点对匹配正确率更高。
本实施例中，通过采用双目摄像机获取危化品堆垛的第一图像和第二图像；然后基于SURF算法，在所述第一图像和所述第二图像中提取相匹配的特征点对，并获取相匹配的特征点对的坐标；根据所述特征点对的坐标确定第一特征点的邻域范围，根据第二特征点的坐标判断所述第二特征点是否在所述第一特征点的邻域范围内；如果第二特征点在所述第一特征点的邻域范围内，则将所述第一特征点和所述第二特征点作为筛选后的相互匹配的特征点对，否则，去除所述第一特征点和所述第二特征点；其中，第一特征点为第一图像中提取的任一特征点，第二特征点为第二图像中与所述第一特征点相匹配的特征点。如此，通过利用特征点的邻域范围筛选基于SURF算法得到的相匹配的特征点对，使得最后筛选得到的相匹配的特征点对既满足欧式距离，还实现了利用几何位置约束来得到最终相匹配的特征点。避免了因特征点相似而出现的特征点匹配率低和特征点匹配错误的情况，大大提高了特征点的匹配率和匹配准确率，从而使得根据筛选后的特征点对确定的危化品堆垛的距离更加精确。
需要说明的是，SURF算法是通过计算两个特征点间特征向量的欧氏距离来确定匹配度，欧式距离越短，代表两个特征点的匹配度越好。
进一步的，所述采用双目摄像机获取危化品堆垛的第一图像和第二图像，包括：
采用双目摄像机的左摄像头和右摄像头分别获取所述危化品堆垛的左图像和右图像；
将所述左图像和所述右图像分别确定为第一图像和第二图像。
其中，双目摄像机的两个摄像头相对于危化品堆垛在同一水平线上，如此得到的两幅图像不会出现左右或者上下颠倒的情况，满足双目水平方向的立体匹配的要求。
进一步的，所述基于SURF算法，在所述第一图像和所述第二图像中提取相匹配的特征点对，并获取相匹配的特征点对的坐标，包括：
对所述第一图像和所述第二图像进行高斯滤波，以得到所述第一图像和所述第二图像对应的高斯尺度空间；
根据所述高斯尺度空间构建海森矩阵；
对应所述第一图像和所述第二图像中的每个像素点，根据所述海森矩阵的判别式计算所述每个像素点对应的函数值，将计算得到的所有函数值中的极大值对应的像素点确定为所述第一图像或所述第二图像的特征点；
获取所述特征点的坐标，根据所述特征点的坐标计算所述第一图像中的特征点对应的特征向量和所述第二图像中的特征点对应的特征向量；
计算所述第一图像中的每个特征点对应的特征向量和所述第二图像中的每个特征点对应的特征向量之间的欧式距离；
将所述欧式距离小于预设阈值的两个特征向量对应的两个特征点分别对应的坐标确定为所述第一图像和所述第二图像中相匹配的特征点对的坐标。
具体的，在对第一图像和第二图像的特征检测过程中，要得到图像对应的尺度空间，则需要对原图像进行高斯滤波，即，通过不同尺寸滤波器的高斯核函数与原图像函数进行卷积得到原图像对应的尺度空间。比如对于一个图像I(x,y)，得到尺度空间的公式为L(x,y,β)＝I(x,y)*G(x,y,β)；其中，G(x,y,β)为高斯核函数，其与图像函数I(x,y)进行卷积，得到尺度空间L(x,y,β)；(x,y)为图像中像素的位置。
根据得到的尺度空间构建的海森矩阵(Hessian Matrix)表达式为
其中，Lxx(x,σ)是尺度空间L(x,y,β)对x求二阶偏导数得到的，Lyy(x,σ)是尺度空间L(x,y,β)对y求二阶偏导数得到的，Lxy(x,σ)是尺度空间L(x,y,β)先对x求偏导数在对y求偏导数得到的。由此，得到的海森矩阵的判别式为Det(H)＝Lxx×Lyy-Lxy 2。海森矩阵判别式中的L(x,y)是原始图像的高斯卷积，由于高斯核函数服从正态分布，从中心点往外，系数越来越小，为了提高运算速度，SURF算法使用了框式滤波器来代替高斯滤波器，最终得到的判别式为det(Happrox)＝DxxDyy-(wDxy)2；其中，Dxx为尺度空间对x求二阶偏导数得到的，Dyy为尺度空间对y求二阶偏导数得到的，Dxy为尺度空间先对x求偏导再对y求偏导得到的；w为权重因子，一般取值为0.9，在Dxy上乘权重因子可以平衡因使用框式滤波器近似所带来的误差，使得根据判别式计算得到的函数值更加准确。
得到海森矩阵的判别式后，对应图像中的每一个像素点，根据海森矩阵的判别式计算每个像素点对应的函数值，然后将得到的函数值与图像中所有相邻像素点对应的函数值进行比较，当其大于所有相邻像素点对应的函数值时，该像素点便为极大值点，极大值点即为图像中的特征点。
然后，以特征点为中心，在一定邻域内对60度扇形区域里的所有点在水平和垂直方向的Haar小波相应值进行累加，最大的Haar相应值为该特征点对应的主方向。
确定特征点主方向之后，以特征点为中心，将20×20d(d为该特征点所在尺度)的图像区域划分成4×4个子块，然后以该特征点的主方向为水平方向，分别统计每个子块中25个像素点的水平方向值之和(记为Σdx)、水平方向值的绝对值之和(记为∑|dx|)、垂直方向值之和(记为Σdy)以及垂直方向值的绝对值之和(记为∑|dy|)；将每个子块得到的上述4个值作为每个子块的特征值，由于每个特征点区域划分了16个子块，所以，每个特征点可得到一个64维的特征向量。
通过上述方法，可得到第一图像中的每个特征点的特征向量，以及第二图像中的每个特征点的特征向量，将第一图像中的所有特征点的集合记为A，将第二图像中的所有特征点的集合记为B，从集合A中任选一个特征点(记为a)，计算其与集合B中所有特征点之间的欧式距离，通过计算欧氏距离，从集合B中寻找与特征点a对应的最近邻特征点b1和次近邻特征点b2，若最近邻特征点b1与特征点a对应的欧氏距离与次近邻特征点b2与特征点a对应的欧氏距离的比值小于预设阈值，则将特征点a与最近邻特征点b1确定为第一图像与第二图像中相匹配的特征点对。
进一步的，所述根据所述特征点对的坐标确定第一特征点的邻域范围之前，所述方法还包括：
从所有所述相匹配的特征点对的坐标中任意选取预设数量对特征点的坐标；
计算选取得到的每对特征点的坐标差；
判断所述坐标差是否满足预设条件，以便在满足预设条件时，根据所述特征点对的坐标确定第一特征点的邻域范围。
进一步的，所述坐标差包括：每对特征点的横坐标差和纵坐标差，所述判断所述坐标差是否满足预设条件，包括：
统计所述横坐标差之间的差值和所述纵坐标差之间的差值落入预设范围内的数量；
判断所述数量是否大于第一预设数值，并在大于第一预设数值时确定所述坐标差满足预设条件。
其中，预设数量可以但不限于为6，下面，以选取6对特征点的坐标为例说明如何判断所述坐标差是否满足预设条件：
记第一图像中的第一特征点的坐标为(a,b)，第二图像中与第一特征点相匹配的第二特征点的坐标为(a',b')；分别计算选取的6对特征点中每队特征点的横坐标差(记为d[x])和纵坐标差(记为记为d[y])，则
其中，i和j分别为选取的特征点对的横坐标和纵坐标的索引，且，0≤i≤j≤P；在本实施例中P取5。
计算完每对特征点的横坐标差和纵坐标差后，再计算每对特征点横坐标差之间的差值(记为dx)和纵坐标差之间的差值(记为dy)，计算公式为：
其中，m和n分别为每队特征点的横坐标差d[x]和纵坐标差d[y]的索引，且，0≤m≤n≤6；统计dx和dy落入预设范围内的数量，如果数量大于第一预设阈值，则判定选取的特征点对的坐标差满足预设条件，继续进行下一步，如果dx和dy落入预设范围内的数量落入预设范围内的数量小于或等于第一预设阈值，则判定选取的特征点对的坐标差不满足预设条件，重新从所有所述相匹配的特征点对的坐标中任意选取预设数量对特征点的坐标，并执行后续步骤。
需要说明的是，预设范围可以但不限于是[-10，10]，该预设范围是根据实际情况经实验得到的；
需要说明的是，第一预设阈值为k/2，其中，k为第一图像和第二图像中所有相匹配的特征点对的个数。
进一步的，所述根据所述特征点对的坐标确定第一特征点的邻域范围，包括：
将所述每对特征点的横坐标之间的差值的平均值确定为所述第一图像和所述第二图像之间的横坐标误差值，以及，将所述每对特征点的纵坐标之间的差值的平均值确定为所述第一图像和所述第二图像之间的纵坐标误差值；
根据所述横坐标误差值和所述纵坐标误差值，确定第一特征点的邻域范围为[qx+(mean_x-M)，qy+(mean_y-M)]和[qx+(mean_x+M)，qy+(mean_y+M)]；
其中，qx和qy分别为第一特征点的横坐标和纵坐标，M为第二预设数值。
其中，第一图像和第二图像之间的横坐标误差值和第一图像和第二图像之间的纵坐标误差值的计算公式为
其中，mean_x表示横坐标误差值，mean_y表示纵坐标误差值。
需要说明的是，第二预设阈值M的取值可以但不限于是20，该值是根据实际情况经过试验得到的。
进一步的，本实施例提供的方法还包括：
如果所述坐标差不满足预设条件，重新从所有所述相匹配的特征点对的坐标中任意选取预设数量对特征点的坐标，并执行后续步骤。
进一步的，本实施例提供的方法还包括：
根据筛选后的相互匹配的特征点对计算危化品堆垛的距离。
需要说明的是，根据筛选后的相互匹配的特征点对计算得到危化品堆垛的距离的过程是采用的三角测量方法，利用筛选后相互匹配的特征点对的坐标、双目摄像机获得的第一图像和第二图像以及双目摄像机的相关参数计算得到危化品堆垛的距离。
可以理解的是，上述利用三角测量方法计算得到危化品堆垛的距离的计算过程可详见相关现有技术，此处不在赘述。
为了更好的理解本申请，下面对危化品堆垛双目测距特征点匹配的整体过程进行描述。如图2所示，
步骤S21，获取基于SURF算法得到初步匹配特征点对及特征点对的坐标；
步骤S22，从初步匹配特征点对中任取P对特征点；
步骤S23，计算P对特征点的横坐标差和纵坐标差；
步骤S24，判断横坐标差和纵坐标差是否满足要求；如果满足要求继续执行步骤S25；否则，返回执行步骤S22；
步骤S25，确定横坐标差的平均值为横坐标误差值mean_x，确定纵坐标差的平均值为纵坐标误差值mean_y；
步骤S26，确定左图中匹配的特征点的邻域范围是[qx+(mean_x-M)，qy+(mean_y-M)]和[qx+(mean_x+M)，qy+(mean_y+M)]；
步骤S27，判断右图中匹配的特征点是否在左图中匹配的特征点的邻域范围内；如果是，则保留匹配的特征点对，否则，删除匹配的特征点对。
其中，M的取值根据实际情况经实验得到。
图3是根据另一示例性实施例示出的一种危化品堆垛双目测距中特征点匹配系统的结构示意图。
如图3所示，本实施例提供的危化品堆垛双目测距中特征点匹配系统包括：
双目摄像机31，用于获取危化品堆垛的第一图像和第二图像；
处理器32，用于基于SURF算法，在所述第一图像和所述第二图像提取相匹配的特征点对，并获取相匹配的特征点对的坐标；根据所述特征点对的坐标确定第一特征点的邻域范围，所述第一特征点为第一图像中提取的任一特征点；根据第二特征点的坐标判断所述第二特征点是否在所述第一特征点的邻域范围内，所述第二特征点为第二图像中与所述第一特征点相匹配的特征点；如果第二特征点在所述第一特征点的邻域范围内，则将所述第一特征点和所述第二特征点作为筛选后的相互匹配的特征点对，否则，去除所述第一特征点和所述第二特征点。
关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图4是根据另一示例性实施例示出的一种危化品堆垛双目测距中特征点匹配设备的结构示意图。
如图4所示，本实施例提供的设备包括：
处理器41，以及与所述处理器相连接的存储器42；
所述存储器用于存储计算机程序；
所述处理器用于调用并执行所述存储器中的所述计算机程序，以执行如下所述的方法，包括：
采用双目摄像机获取危化品堆垛的第一图像和第二图像；
基于SURF算法，在所述第一图像和所述第二图像中提取相匹配的特征点对，并获取相匹配的特征点对的坐标；
根据所述特征点对的坐标确定第一特征点的邻域范围，所述第一特征点为第一图像中提取的任一特征点；
根据第二特征点的坐标判断所述第二特征点是否在所述第一特征点的邻域范围内，所述第二特征点为第二图像中与所述第一特征点相匹配的特征点；
如果第二特征点在所述第一特征点的邻域范围内，则将所述第一特征点和所述第二特征点作为筛选后的相互匹配的特征点对，否则，去除所述第一特征点和所述第二特征点。
进一步的，所述采用双目摄像机获取危化品堆垛的第一图像和第二图像，包括：
采用双目摄像机的左摄像头和右摄像头分别获取所述危化品堆垛的左图像和右图像；
将所述左图像和所述右图像分别确定为第一图像和第二图像。
进一步的，所述基于SURF算法，在所述第一图像和所述第二图像中提取相匹配的特征点对，并获取相匹配的特征点对的坐标，包括：
对所述第一图像和所述第二图像进行高斯滤波，以得到所述第一图像和所述第二图像对应的高斯尺度空间；
根据所述高斯尺度空间构建海森矩阵；
对应所述第一图像和所述第二图像中的每个像素点，根据所述海森矩阵的判别式计算所述每个像素点对应的函数值，将计算得到的所有函数值中的极大值对应的像素点确定为所述第一图像或所述第二图像的特征点；
获取所述特征点的坐标，根据所述特征点的坐标计算所述第一图像中的特征点对应的特征向量和所述第二图像中的特征点对应的特征向量；
计算所述第一图像中的每个特征点对应的特征向量和所述第二图像中的每个特征点对应的特征向量之间的欧式距离；
将所述欧式距离小于预设阈值的两个特征向量对应的两个特征点分别对应的坐标确定为所述第一图像和所述第二图像中相匹配的特征点对的坐标。
进一步的，所述根据所述特征点对的坐标确定第一特征点的邻域范围之前，所述方法还包括：
从所有所述相匹配的特征点对的坐标中任意选取预设数量对特征点的坐标；
计算选取得到的每对特征点的坐标差；
判断所述坐标差是否满足预设条件，以便在满足预设条件时，根据所述特征点对的坐标确定第一特征点的邻域范围。
进一步的，所述坐标差包括：每对特征点的横坐标差和纵坐标差，所述判断所述坐标差是否满足预设条件，包括：
统计所述横坐标差之间的差值和所述纵坐标差之间的差值落入预设范围内的数量；
判断所述数量是否大于第一预设数值，并在大于第一预设数值时确定所述坐标差满足预设条件。
进一步的，所述根据所述特征点对的坐标确定第一特征点的邻域范围，包括：
将所述每对特征点的横坐标差的平均值确定为所述第一图像和所述第二图像之间的横坐标误差值，以及，将所述每对特征点的纵坐标差的平均值确定为所述第一图像和所述第二图像之间的纵坐标误差值；
根据所述横坐标误差值和所述纵坐标误差值，确定第一特征点的邻域范围为[qx+(mean_x-M)，qy+(mean_y-M)]和[qx+(mean_x+M)，qy+(mean_y+M)]；
其中，qx和qy分别为第一特征点的横坐标和纵坐标，mean_x表示横坐标误差值，mean_y表示纵坐标误差值，M为第二预设数值。
进一步的，所述方法还包括：
如果所述坐标差不满足预设条件，重新从所有所述相匹配的特征点对的坐标中任意选取预设数量对特征点的坐标，并执行后续步骤。
进一步的，所述方法还包括：
根据筛选后的相互匹配的特征点对计算危化品堆垛的距离。
关于上述实施例中的设备，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种危化品堆垛双目测距中特征点匹配方法，其特征在于，包括：
采用双目摄像机获取危化品堆垛的第一图像和第二图像；
基于SURF算法，在所述第一图像和所述第二图像中提取相匹配的特征点对，并获取相匹配的特征点对的坐标；
从所有所述相匹配的特征点对的坐标中任意选取预设数量对特征点的坐标；计算选取得到的每对特征点的坐标差；判断所述坐标差是否满足预设条件，以便在满足预设条件时，根据所述特征点对的坐标确定第一特征点的邻域范围，所述第一特征点为第一图像中提取的任一特征点；
根据第二特征点的坐标判断所述第二特征点是否在所述第一特征点的邻域范围内，所述第二特征点为第二图像中与所述第一特征点相匹配的特征点；
如果第二特征点在所述第一特征点的邻域范围内，则将所述第一特征点和所述第二特征点作为筛选后的相互匹配的特征点对，否则，去除所述第一特征点和所述第二特征点。
2.根据权利要求1所述的方法，其特征在于，所述采用双目摄像机获取危化品堆垛的第一图像和第二图像，包括：
采用双目摄像机的左摄像头和右摄像头分别获取所述危化品堆垛的左图像和右图像；
将所述左图像和所述右图像分别确定为第一图像和第二图像。
3.根据权利要求1所述的方法，其特征在于，所述基于SURF算法，在所述第一图像和所述第二图像中提取相匹配的特征点对，并获取相匹配的特征点对的坐标，包括：
对所述第一图像和所述第二图像进行高斯滤波，以得到所述第一图像和所述第二图像对应的高斯尺度空间；
根据所述高斯尺度空间构建海森矩阵；
对应所述第一图像和所述第二图像中的每个像素点，根据所述海森矩阵的判别式计算所述每个像素点对应的函数值，将计算得到的所有函数值中的极大值对应的像素点确定为所述第一图像或所述第二图像的特征点；
获取所述特征点的坐标，根据所述特征点的坐标计算所述第一图像中的特征点对应的特征向量和所述第二图像中的特征点对应的特征向量；
计算所述第一图像中的每个特征点对应的特征向量和所述第二图像中的每个特征点对应的特征向量之间的欧式距离；
将所述欧式距离小于预设阈值的两个特征向量对应的两个特征点分别对应的坐标确定为所述第一图像和所述第二图像中相匹配的特征点对的坐标。
4.根据权利要求1所述的方法，其特征在于，所述坐标差包括：每对特征点的横坐标差和纵坐标差，所述判断所述坐标差是否满足预设条件，包括：
统计所述横坐标差之间的差值和所述纵坐标差之间的差值落入预设范围内的数量；
判断所述数量是否大于第一预设数值，并在大于第一预设数值时确定所述坐标差满足预设条件。
5.根据权利要求4所述的方法，其特征在于，所述根据所述特征点对的坐标确定第一特征点的邻域范围，包括：
将所述每对特征点的横坐标差的平均值确定为所述第一图像和所述第二图像之间的横坐标误差值，以及，将所述每对特征点的纵坐标差的平均值确定为所述第一图像和所述第二图像之间的纵坐标误差值；
根据所述横坐标误差值和所述纵坐标误差值，确定第一特征点的邻域范围为[qx+(mean_x-M)，qy+(mean_y-M)]和[qx+(mean_x+M)，qy+(mean_y+M)]；
其中，qx和qy分别为第一特征点的横坐标和纵坐标，mean_x表示横坐标误差值，mean_y表示纵坐标误差值，M为第二预设数值。
6.根据权利要求1所述的方法，其特征在于，还包括：
如果所述坐标差不满足预设条件，重新从所有所述相匹配的特征点对的坐标中任意选取预设数量对特征点的坐标，并执行后续步骤。
7.根据权利要求1所述的方法，其特征在于，还包括：
根据筛选后的相互匹配的特征点对计算危化品堆垛的距离。
8.一种危化品堆垛双目测距中特征点匹配系统，其特征在于，包括：
双目摄像机，用于获取危化品堆垛的第一图像和第二图像；
处理器，用于基于SURF算法，在所述第一图像和所述第二图像提取相匹配的特征点对，并获取相匹配的特征点对的坐标；从所有所述相匹配的特征点对的坐标中任意选取预设数量对特征点的坐标；计算选取得到的每对特征点的坐标差；判断所述坐标差是否满足预设条件，以便在满足预设条件时，根据所述特征点对的坐标确定第一特征点的邻域范围，所述第一特征点为第一图像中提取的任一特征点；根据第二特征点的坐标判断所述第二特征点是否在所述第一特征点的邻域范围内，所述第二特征点为第二图像中与所述第一特征点相匹配的特征点；如果第二特征点在所述第一特征点的邻域范围内，则将所述第一特征点和所述第二特征点作为筛选后的相互匹配的特征点对，否则，去除所述第一特征点和所述第二特征点。
9.一种危化品堆垛双目测距中特征点匹配设备，其特征在于，包括：
处理器，以及与所述处理器相连接的存储器；
所述存储器用于存储计算机程序；
所述处理器用于调用并执行所述存储器中的所述计算机程序，以执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910206199.6A CN109919247B (zh) | 2019-03-18 | 2019-03-18 | 危化品堆垛双目测距中特征点匹配方法、系统和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910206199.6A CN109919247B (zh) | 2019-03-18 | 2019-03-18 | 危化品堆垛双目测距中特征点匹配方法、系统和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109919247A CN109919247A (zh) | 2019-06-21 |
| CN109919247B true CN109919247B (zh) | 2021-02-23 |
Family
ID=66965482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910206199.6A Active CN109919247B (zh) | 2019-03-18 | 2019-03-18 | 危化品堆垛双目测距中特征点匹配方法、系统和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109919247B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126436B (zh) * | 2019-11-21 | 2024-04-19 | 珠海格力智能装备有限公司 | 视觉匹配方法及装置 |
| CN111882618B (zh) * | 2020-06-28 | 2024-01-26 | 北京石油化工学院 | 双目测距中左右视图特征点匹配处理方法、终端及系统 |
| CN112435283A (zh) * | 2020-11-04 | 2021-03-02 | 浙江大华技术股份有限公司 | 图像的配准方法、电子设备以及计算机可读存储介质 |
| CN113034490B (zh) * | 2021-04-16 | 2023-10-10 | 北京石油化工学院 | 化学品库房的堆垛安全距离监测方法 |
| CN114219857B (zh) * | 2021-11-23 | 2024-07-16 | 北京石油化工学院 | 一种危化品仓储堆垛安全距离测量方法 |
| CN114419349B (zh) * | 2022-03-30 | 2022-07-15 | 中国科学技术大学 | 一种图像匹配方法和装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101251373A (zh) * | 2008-03-28 | 2008-08-27 | 北京工业大学 | 微结构三维尺寸立体图像快速检测方法 |
| CN104677330A (zh) * | 2013-11-29 | 2015-06-03 | 哈尔滨智晟天诚科技开发有限公司 | 一种小型双目立体视觉测距系统 |
| CN107423772A (zh) * | 2017-08-08 | 2017-12-01 | 南京理工大学 | 一种新的基于ransac的双目图像特征匹配方法 |
| CN107831777B (zh) * | 2017-09-26 | 2020-04-10 | 中国科学院长春光学精密机械与物理研究所 | 一种飞行器自主避障系统、方法及飞行器 |
-
2019
- 2019-03-18 CN CN201910206199.6A patent/CN109919247B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109919247A (zh) | 2019-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919247B (zh) | 危化品堆垛双目测距中特征点匹配方法、系统和设备 | |
| CN110310320B (zh) | 一种双目视觉匹配代价聚合优化方法 | |
| AU2018282347B2 (en) | Method and apparatus for monitoring vortex-induced vibration of wind turbine | |
| CN102722887A (zh) | 一种图像配准方法及装置 | |
| KR20170091496A (ko) | 양안 시차 영상의 처리 방법 및 장치 | |
| US10582179B2 (en) | Method and apparatus for processing binocular disparity image | |
| CN109214254B (zh) | 一种确定机器人位移的方法及装置 | |
| CN114419349B (zh) | 一种图像匹配方法和装置 | |
| CN109961092B (zh) | 一种基于视差锚点的双目视觉立体匹配方法及系统 | |
| CN114926747A (zh) | 一种基于多特征聚合与交互的遥感图像定向目标检测方法 | |
| CN113837275A (zh) | 基于扩张坐标注意力的改进YOLOv3目标检测方法 | |
| CN113918744A (zh) | 相似图像检索方法、装置、存储介质及计算机程序产品 | |
| CN115533902A (zh) | 一种基于视觉引导的拆垛方法、装置、电子设备及系统 | |
| CN106778822B (zh) | 基于漏斗变换的图像直线检测方法 | |
| Polic et al. | Uncertainty based camera model selection | |
| CN103700119A (zh) | 基于局部分组对比模式直方图的局部纹理描述方法 | |
| CN117036235A (zh) | 一种继电保护柜端子排线序检测方法 | |
| CN113283478B (zh) | 一种基于特征匹配的装配体多视角变化检测方法及设备 | |
| CN105677669A (zh) | 一种全景拼接图像排序方法及装置 | |
| JP6055307B2 (ja) | 対応点探索装置およびカメラ姿勢推定装置ならびにこれらのプログラム | |
| CN113793372A (zh) | 异源图像的优化配准方法及系统 | |
| Yang et al. | Stereo matching algorithm based on improved census transform | |
| CN112686155A (zh) | 图像识别方法、装置、计算机可读存储介质及处理器 | |
| CN112313707A (zh) | 跟踪方法和可移动平台 | |
| CN116128734B (zh) | 一种基于深度学习的图像拼接方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |