CN110675442B - 一种结合目标识别技术的局部立体匹配方法及系统 - Google Patents

一种结合目标识别技术的局部立体匹配方法及系统 Download PDF

Info

Publication number
CN110675442B
CN110675442B CN201910898922.1A CN201910898922A CN110675442B CN 110675442 B CN110675442 B CN 110675442B CN 201910898922 A CN201910898922 A CN 201910898922A CN 110675442 B CN110675442 B CN 110675442B
Authority
CN
China
Prior art keywords
matching
target
module
pair
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910898922.1A
Other languages
English (en)
Other versions
CN110675442A (zh
Inventor
路晓冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dilu Technology Co Ltd
Original Assignee
Dilu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilu Technology Co Ltd filed Critical Dilu Technology Co Ltd
Priority to CN201910898922.1A priority Critical patent/CN110675442B/zh
Publication of CN110675442A publication Critical patent/CN110675442A/zh
Application granted granted Critical
Publication of CN110675442B publication Critical patent/CN110675442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种结合目标识别技术的局部立体匹配方法及系统，包括以下步骤，采集模块采集目标图像；识别模块识别所述目标图像中的待检测目标并计算目标边缘最小的外接矩形框的坐标位置；匹配模块在外接矩形框内进行特征点的提取与匹配，并剔除匹配对中的错误匹配对，得到最终正确的匹配对；计算模块根据最终正确的匹配对计算匹配对中特征点之间的视差结果，完成匹配。本发明的有益效果：在图像的特征匹配时，特别是对于分辨率较大的图像，显著缩短了匹配时间，使其在实际应用中更能够满足实时性需求，并在一定程度上提高了匹配精度。

Description

一种结合目标识别技术的局部立体匹配方法及系统
技术领域
本发明涉及立体视觉的技术领域，尤其涉及一种结合目标识别技术的局部立体匹配方法及系统。
背景技术
立体视觉匹配技术是机器视觉领域里重要的研究方向之一，其主要目标是从两个或多个同一场景的图像中找到对应点，进而生成参考图像视差图，其中立体匹配算法可分为全局立体匹配算法和局部立体匹配算法，近年来，局部立体匹配算法随着其匹配精度的提高，得到了越来越广泛的应用。
现有的局部匹配算法，主要是描述左图像中目标的某些关键像素点，通常为角点或者边缘点，然后去右图像中进行匹配来获得这些关键点的视差值。常用的特征提取方法包括ORB、SIFT、SURF等。这些匹配方法都会不可避免的出现误匹配，对于较大像素的图像处理速度依然较慢，无法满足工程中的实时性，并且对于图像中相似特征，容易出现错误匹配。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的一个技术问题是：提出一种结合目标识别技术的局部立体匹配方法，能够提高图像特征匹配的精确和匹配速度，使匹配更具有实时性、准确度更高。
为解决上述技术问题，本发明提供如下技术方案：一种结合目标识别技术的局部立体匹配方法，包括以下步骤，采集模块采集目标图像；识别模块识别所述目标图像中的待检测目标并计算目标边缘最小的外接矩形框的坐标位置；匹配模块在外接矩形框内进行特征点的提取与匹配，并剔除匹配对中的错误匹配对，得到最终正确的匹配对；计算模块根据最终正确的匹配对计算匹配对中特征点之间的视差结果，完成匹配。
作为本发明所述的结合目标识别技术的局部立体匹配方法的一种优选方案，其中：所述采集模块为双目立体相机，能够对同一目标采集左、右两张图像，且采集到的两张图像中目标均完整。
作为本发明所述的结合目标识别技术的局部立体匹配方法的一种优选方案，其中：所述识别模块利用方向梯度直方图特征和支持向量机分类器实现对待检测目标的识别。
作为本发明所述的结合目标识别技术的局部立体匹配方法的一种优选方案，其中：所述识别过程还包括以下步骤，通过手动选择矩形框对公开数据集进行目标标记，并将含有目标的矩形框称为正样本，不含目标的矩形框作为负样本；提取所有样本的方向梯度直方图特征，并将正样本标注为1，负样本标注为0；将提取出的方向梯度直方图特征及标注作为支持向量机分类器的输入并进行训练，得到训练后的目标检测分类器；使用目标检测分类器检测目标图像中的目标位置，计算处理后获得目标的边缘点坐标及整个目标的边缘轮廓；根据边缘点的坐标，计算目标边缘轮廓的最小外接矩形框的坐标，作为目标的最终位置。
作为本发明所述的结合目标识别技术的局部立体匹配方法的一种优选方案，其中：所述匹配模块对基于快速增强特征检测技术实现特征点的提取与匹配，包括以下步骤，在目标的最小外接矩形框中，使用角点检测方法检测该范围内的特征点，并生成surf特征描述子；利用近似k近邻算法寻找同一目标一副图像中的surf特征描述子在另一幅图像中相一致的surf特征描述子，构建为匹配对。
作为本发明所述的结合目标识别技术的局部立体匹配方法的一种优选方案，其中：所述剔除错误匹配对采用的技术包括随机采样一致性约束、极线约束和数据离散度约束，包括以下步骤，根据随机采样一致性约束原则剔除错误匹配对；根据极线约束原则剔除错误匹配对；根据目标深度信息特性，构建数据离散度约束，并剔除错误匹配对。
作为本发明所述的结合目标识别技术的局部立体匹配方法的一种优选方案，其中：所述计算模块的计算还包括以下步骤，根据最终正确的匹配对，统计所有匹配对的视差值di，其计算公式如下：
di＝xleft-xright
其中，di为第i对匹配对之间的视差值，xleft为匹配对中左图像特征点的x坐标值，xright为匹配对中右图像特征点的x坐标值。
作为本发明所述的结合目标识别技术的局部立体匹配方法的一种优选方案，其中：所述计算模块的计算还包括以下步骤，根据视差值di计算其平均值d作为目标的最终视差结果，其计算公式如下：
Figure BDA0002211179510000031
其中，d是最终视差结果，d1，d2，……，dn是正确匹配对中每个匹配对之间的视差，n是正确匹配对的数量。
本发明解决的另一个技术问题是：提出一种结合目标识别技术的局部立体匹配系统，使上述结合目标识别技术的局部立体匹配方法能够依托于本系统实现。
为解决上述技术问题，本发明提供如下技术方案：一种结合目标识别技术的局部立体匹配系统，包括，采集模块，所述采集模块为双目立体相机，能够对同一目标采集两张图像；识别模块，所述识别模块用于识别待检测目标以及目标边缘最小外接矩形坐标的计算；匹配模块，所述匹配模块能够进行特征点的提取与匹配，并剔除错误匹配对，得到最终正确的匹配对；计算模块，所述计算模块能够计算匹配对中特征点之间的视差并获得最终视差结果。
本发明的有益效果：本发明提出的结合目标识别技术的局部立体匹配方法，在图像的特征匹配时，特别是对于分辨率较大的图像，显著缩短了匹配时间，使其在实际应用中更能够满足实时性需求，并在一定程度上提高了匹配精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1本发明第一种实施例所述结合目标识别技术的局部立体匹配方法的整体流程示意图；
图2为现有技术下匹配方法处理图像得到的匹配结果示意图；
图3为现有技术下匹配方法处理另一图像得到的匹配结果示意图；
图4本发明第一种实施例所述结合目标识别技术的局部立体匹配方法下处理图像的匹配结果示意图；
图5为本发明第一种实施例所述结合目标识别技术的局部立体匹配方法下处理另一图像的匹配结果示意图；
图6本发明第二种实施例所述结合目标识别技术的局部立体匹配系统的整体结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
实施例1
利用立体匹配计算，可实时得到场景深度信息和三维模型，匹配所需要的主要步骤包括图像预处理、提取特征、特征点的匹配获取稀疏视差图，现有的局部匹配算法，主要是描述双目相机采集的左图像中目标的某些关键像素点，通常为角点或者边缘点，然后去右图像中进行匹配来获得这些关键点的视差值。常用的特征提取方法包括ORB、SIFT、SURF等，这些匹配方法会不可避免的出现误匹配，并且对于较大像素的图像，速度还是较慢，无法满足工程中的实时性。
参照图1，本发明提供了一种结合目标识别技术的局部立体匹配方法，能够提高处理分辨率较高的图像时的匹配速度，并提高匹配精度，该方法包括以下步骤，
采集模块100采集目标图像；识别模块200识别所述目标图像中的待检测目标并计算目标边缘最小的外接矩形框的坐标位置；匹配模块300在外接矩形框内进行特征点的提取与匹配，并剔除匹配对中的错误匹配对，得到最终正确的匹配对；计算模块400根据最终正确的匹配对计算匹配对中特征点之间的视差结果，完成匹配。
具体的，采集模块100为双目立体相机，能够对同一目标采集左、右两张图像，且采集到的两张图像中目标均完整，其中采集模块100采集的目标可以是包含行人、车辆的图像，双目立体相机对于同一目标采集到的左图像和右图像中，图像中的目标均为完整的，以便后续的匹配。
识别模块200对采集模块100采集到的图像中的目标进行识别，目标例如图像中的行人、车辆，具体的，利用方向梯度直方图特征和支持向量机分类器实现对待检测目标的识别，详细的识别过程包括以下步骤，
通过手动选择矩形框对公开数据集进行目标标记，并将含有目标的矩形框称为正样本，不含目标的矩形框作为负样本。本实施例中选择的公开数据集为kitti数据集，该公开数据集是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集，包含市区、乡村和高速公路等场景采集的真实图像数据，每张图像中最多达15辆车和30个行人，还有各种程度的遮挡与截断，适合作为被标记的图像。对于数据集中的至少3000张图像中目标进行标注训练，具体通过手动选择矩形框来标记目标行人或车辆，并将该带有目标的矩形框称为正样本，同时选取不带有目标的矩形框作为负样本。
提取所有样本的方向梯度直方图特征，并将正样本标注为1，负样本标注为0。具体的，方向梯度直方图特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，通过计算和统计图像局部区域的梯度方向直方图来构成特征，本领域技术人员应该理解的是，方向梯度直方图特征的提取包括颜色空间归一化、梯度计算、梯度方向直方图计算、重叠块直方图归一化和最终得到方向梯度直方图特征等步骤；对正、负样本的标注可以通过手动进行，将正样本手动标注为1、负样本手动标注为0。
将提取出的方向梯度直方图特征及标注作为支持向量机分类器的输入并进行训练，得到训练后的目标检测分类器。本领域技术人员应当理解的是，训练的主要步骤包括利用标注好的正、负样本训练一个初始的分类器，然后由分类器生产检测器，用初始分类器在负样本原图像上进行检测得到hardexample，提取hardexample的方向梯度直方图特征并结合样本的方向梯度直方图特征重新训练得到最终的目标检测分类器。
使用目标检测分类器检测目标图像中的目标位置，计算处理后获得目标的边缘点坐标及整个目标的边缘轮廓。具体的，训练好的目标检测分类器能够自动识别出采集模块100采集的左图像和右图像中的目标位置，并使用高斯滤波器对图像进行滤波去噪处理，然后利用sobel算子计算图像中像素水平和垂直方向的梯度信息，最后通过比较当前点的梯度强度和正负梯度方向点的梯度强度，选取梯度强度最大值的点作为目标的边缘点，从而获得整个目标的边缘轮廓。
根据边缘点的坐标，计算目标边缘轮廓的最小外接矩形框的坐标，作为目标的最终位置。具体的，根据目标的边缘轮廓点的坐标信息，通过比较各个轮廓点的坐标值，来获得所有轮廓坐标在xy方向中最大值Xmax、Ymax和最小值Xmin、Ymin，从而将由坐标(Xmin,Ymin)、(Xmax,Ymin)、(Xmin,Ymax)、(Xmax,Ymax)构成目标轮廓的外接矩形，作为目标的最终位置.
匹配模块300对基于快速增强特征检测技术实现特征点的提取与匹配，具体包括以下步骤，
在目标的最小外接矩形框中，使用角点检测方法检测该范围内的特征点，并生成surf特征描述子；其中，surf的算法运算简单、计算时间短，适合于本发明对实时性的要求，该算法的主要流程包括构建尺度空间、构建Hessian矩阵、精确定位特征点、确定主方向和生成surf特征描述子。
利用近似k近邻算法寻找同一目标一副图像中的surf特征描述子在另一幅图像中相一致的surf特征描述子，构建为匹配对；具体的，k近邻算法是指在匹配的时候选择k个和surf特征描述子最相似的点，如果k个点之间的区别足够大，则选择最相似的点作为匹配点，通常选择k＝2，对每个匹配返回两个最近邻的匹配，如果第一匹配和第二匹配距离比率足够大，则认为这是一个正确的匹配，比率的阈值通常为2。
完成特征点的提取与匹配后，需要结合匹配约束原则，剔除匹配对中的错误匹配对，得到最终正确的匹配对，其中剔除错误匹配对采用的技术包括随机采样一致性约束、极线约束和数据离散度约束，具体包括以下步骤，
根据随机采样一致性约束原则剔除错误匹配对；具体的，随机采样一致性约束原则是从一组包含异常值的观测数据集中估计其数学模型参数的迭代方法，根据随机采样一致性约束原则，即匹配对之间的距离不应超过匹配对之间最大距离的某个比例，若超过则为错误匹配对，通常将比例设置为0.2来剔除错误匹配对。
根据极线约束原则剔除错误匹配对；其中，极线约束是指同一个点在两幅图像上的映射，本实施例中根据极线约束原则，即匹配对中两特征点的图像坐标y值坐标相差不应相差超过1个像素，否则认为是错误匹配对被剔除。
根据目标深度信息特性，构建数据离散度约束，并剔除错误匹配对；具体的，根据目标深度信息特性，构建数据离散度约束，即单个匹配对之间的视差结果与所有匹配对之间的视差均值的差，与所有匹配对之间的视差均值的比值通常不应超过0.1，否则认为是错误匹配对从而被剔除。
剔除错误匹配对后，得到最终正确的匹配对，并由计算模块400根据最终正确的匹配对来计算匹配对中特征点之间的视差结果。具体的，计算还包括以下步骤，
根据最终正确的匹配对，统计所有匹配对的视差值di，其计算公式如下：
di＝xleft-xright
其中，di为第i对匹配对之间的视差值，xleft为匹配对中左图像特征点的x坐标值，xright为匹配对中右图像特征点的x坐标值。
计算出所有匹配对的视差值di后，在根据视差值di计算其平均值d作为目标的最终视差结果，其计算公式如下：
Figure BDA0002211179510000081
其中，d是最终视差结果，d1，d2，……，dn是正确匹配对中每个匹配对之间的视差，n是正确匹配对的数量。
在实际应用中，通过采集模块100采集目标图像，目标图像包括左图像和右图像两张，且在两张图像中的目标均要求完整，识别模块200识别目标图像中的待检测目标，并且画出目标边缘最小的外接矩形框，得到其坐标位置，再通过匹配模块300在外接矩形框内进行特征点的提取与匹配，并剔除匹配对中的错误匹配对，得到最终正确的匹配对，最后由计算模块400根据最终正确的匹配对计算匹配对中特征点之间的视差结果，完成匹配。
参照图2～5的示意，图2～3为现有技术中基于边缘检测的局部立体匹配方法下得到的匹配结果，图4～5为本发明提供的结合目标识别技术的局部立体匹配方法下得到的匹配结果，现有技术提供的传统匹配方法需要对两幅图像的整张图像范围进行特征点的检测和匹配，再从中挑选自己需要的匹配点，这样导致很多特征点的提取与匹配属于无用工作，造成了算法时间上的浪费，且整幅图像范围较大，容易出现错误匹配；而本发明提供的结合目标识别技术的局部立体匹配算法是在利用目标识别技术来限定目标范围的前提下，进行特征提取和匹配。对于1920*1080以上分辨率大小的图像，传统匹配方法的匹配速度无法满足实时性，且对于图像中相似特征，容易出现错误匹配，而本发明提供的方法则大大缩短了匹配时间，也一定程度上提高了匹配精度，参照图2～3，在现有技术中的匹配结果中，存在太多无用的匹配点，且图像范围加大，易出现误匹配。
为了对比传统方法和本发明提供的匹配方法的效果差异，分别基于本发明提供的结合目标识别技术的局部立体匹配方法和传统方法中基于边缘检测的局部立体匹配方法对不同分辨率大小的图像进行检测，其中，图像来自公开的kitti数据集和通过相机采集的图像，对于每种分辨率的图像均测试100张并取其平均值作为匹配速度和匹配精度，具体的，测试对比如下：
表1：对于不同分辨率大小图像的匹配速度对比表
分辨率 416×416 1280×720 1920×1080 2048x1080 4096x2106
本发明 40ms 80ms 131ms 163ms 233ms
传统方法 226ms 310ms 447ms 481ms 651ms
表2：对于不同分辨率大小图像的匹配精度对比表
分辨率 416×416 1280×720 1920×1080 2048x1080 4090x2016
本发明 100％ 100％ 100％ 99.6％ 99.4％
传统方法 99.4％ 98.1％ 97.5％ 97.9％ 97.4％
从以上对比结果中可以看出，本发明提供的结合目标识别技术的局部立体匹配方法相对于现有技术的匹配方法来说，其检测速度和检测精度均有所提高，特别是对于分辨率较大的图像，其检测的速度明显更快，在实际应用中能够节约更多时间。
实施例2
参照图6的示意，本发明的第二个实施例提供了一种结合目标识别技术的局部立体匹配系统，该系统能够依托于上述结合目标识别技术的局部立体匹配方法，对目标图像进行匹配，具体的，该系统包括采集模块100、识别模块200、匹配模块300和计算模块400，利用采集模块100采集目标图像，识别模块200识别目标图像中的待检测目标，并且画出目标边缘最小的外接矩形框得到其坐标位置，匹配模块300在外接矩形框内进行特征点的提取与匹配，并剔除匹配对中的错误匹配对，得到最终正确的匹配对，计算模块400根据最终正确的匹配对计算匹配对中特征点之间的视差结果，完成匹配。
其中，采集模块100为双目立体相机，能够对同一目标采集两张图像，双目相机拍摄同一目标的左、右两幅视点图像，并运用立体匹配算法获取视差图，其中左、右两图像中的目标都要完整。
识别模块200用于识别待检测目标以及目标边缘最小外接矩形坐标的计算，主要利用方向梯度直方图特征和支持向量机分类器实现对待检测目标的识别。
匹配模块300能够进行特征点的提取与匹配，并剔除错误匹配对，得到最终正确的匹配对，匹配模块300基于快速增强特征检测技术实现特征点的提取与匹配，并采用随机采样一致性约束、极线约束和数据离散度约束的技术剔除错误匹配对。
计算模块400能够计算匹配对中特征点之间的视差并获得最终视差结果。
本领域技术人员可以理解的是，识别模块200、匹配模块300和计算模块400均部署于计算终端内，且采集模块100与识别模块200相连，能够将采集到的目标图像传输给识别模块200，识别模块200与匹配模块300相连，匹配模块300与计算模块400相连，构成完成的系统。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种结合目标识别技术的局部立体匹配方法，其特征在于：包括以下步骤，
采集模块(100)采集目标图像；
识别模块(200)识别所述目标图像中的待检测目标并计算目标边缘最小的外接矩形框的坐标位置；
所述识别模块(200)利用方向梯度直方图特征和支持向量机分类器实现对待检测目标的识别；
所述识别过程还包括以下步骤，
通过手动选择矩形框对公开数据集进行目标标记，并将含有目标的矩形框称为正样本，不含目标的矩形框作为负样本；
提取所有样本的方向梯度直方图特征，并将正样本标注为1，负样本标注为0；
将提取出的方向梯度直方图特征及标注作为支持向量机分类器的输入并进行训练，得到训练后的目标检测分类器；
使用目标检测分类器检测目标图像中的目标位置，计算处理后获得目标的边缘点坐标及整个目标的边缘轮廓；
根据边缘点的坐标，计算目标边缘轮廓的最小外接矩形框的坐标，作为目标的最终位置；
匹配模块(300)在外接矩形框内进行特征点的提取与匹配，并剔除匹配对中的错误匹配对，得到最终正确的匹配对；
所述剔除错误匹配对采用的技术包括随机采样一致性约束、极线约束和数据离散度约束，包括以下步骤，
根据随机采样一致性约束原则剔除错误匹配对；
根据极线约束原则剔除错误匹配对；
根据目标深度信息特性，构建数据离散度约束，并剔除错误匹配对；
计算模块(400)根据最终正确的匹配对计算匹配对中特征点之间的视差结果，完成匹配。
2.如权利要求1所述的结合目标识别技术的局部立体匹配方法，其特征在于：所述采集模块(100)为双目立体相机，能够对同一目标采集左、右两张图像，且采集到的两张图像中目标均完整。
3.如权利要求2所述的结合目标识别技术的局部立体匹配方法，其特征在于：所述匹配模块(300)对基于快速增强特征检测技术实现特征点的提取与匹配，包括以下步骤，
在目标的最小外接矩形框中，使用角点检测方法检测该范围内的特征点，并生成surf特征描述子；
利用近似k近邻算法寻找同一目标一副图像中的surf特征描述子在另一幅图像中相一致的surf特征描述子，构建为匹配对。
4.如权利要求1或3所述的结合目标识别技术的局部立体匹配方法，其特征在于：所述计算模块(400)的计算还包括以下步骤，
根据最终正确的匹配对，统计所有匹配对的视差值di，其计算公式如下：
di＝xleft-xright
其中，di为第i对匹配对之间的视差值，xleft为匹配对中左图像特征点的x坐标值，xright为匹配对中右图像特征点的x坐标值。
5.如权利要求4所述的结合目标识别技术的局部立体匹配方法，其特征在于：所述计算模块(400)的计算还包括以下步骤，
根据视差值di计算其平均值d作为目标的最终视差结果，其计算公式如下：
Figure FDA0004223883850000021
其中，d是最终视差结果，d1，d2，……，dn是正确匹配对中每个匹配对之间的视差，n是正确匹配对的数量。
6.一种采用如权利要求1～5任一所述的结合目标识别技术的局部立体匹配系统，其特征在于：包括，
采集模块(100)，所述采集模块(100)为双目立体相机，能够对同一目标采集两张图像；
识别模块(200)，所述识别模块(200)用于识别待检测目标以及目标边缘最小外接矩形坐标的计算；
匹配模块(300)，所述匹配模块(300)能够进行特征点的提取与匹配，并剔除错误匹配对，得到最终正确的匹配对；
计算模块(400)，所述计算模块(400)能够计算匹配对中特征点之间的视差并获得最终视差结果。
CN201910898922.1A 2019-09-23 2019-09-23 一种结合目标识别技术的局部立体匹配方法及系统 Active CN110675442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910898922.1A CN110675442B (zh) 2019-09-23 2019-09-23 一种结合目标识别技术的局部立体匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910898922.1A CN110675442B (zh) 2019-09-23 2019-09-23 一种结合目标识别技术的局部立体匹配方法及系统

Publications (2)

Publication Number Publication Date
CN110675442A CN110675442A (zh) 2020-01-10
CN110675442B true CN110675442B (zh) 2023-06-30

Family

ID=69077206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910898922.1A Active CN110675442B (zh) 2019-09-23 2019-09-23 一种结合目标识别技术的局部立体匹配方法及系统

Country Status (1)

Country Link
CN (1) CN110675442B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612094B (zh) * 2020-05-30 2023-07-21 郑州大学 一种速度误检和修正方法、设备及计算机可读存储介质
CN111862193A (zh) * 2020-07-21 2020-10-30 太仓光电技术研究所 一种基于形状描述子的电焊焊点双目视觉定位方法及装置
CN116403380A (zh) * 2023-06-08 2023-07-07 北京中科慧眼科技有限公司 基于路侧双目相机的超限监控方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010075A (zh) * 2017-11-03 2018-05-08 华南理工大学 一种基于多特征联合的局部立体匹配方法
CN109741389A (zh) * 2018-11-27 2019-05-10 华南农业大学 一种基于区域基匹配的局部立体匹配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9977950B2 (en) * 2016-01-27 2018-05-22 Intel Corporation Decoy-based matching system for facial recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010075A (zh) * 2017-11-03 2018-05-08 华南理工大学 一种基于多特征联合的局部立体匹配方法
CN109741389A (zh) * 2018-11-27 2019-05-10 华南农业大学 一种基于区域基匹配的局部立体匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
【OpenCV】基于SIFT/SURF算法的双目视差测距（一）;无;《CodeAntenna》;20190215;1-14 *
基于特征点匹配的自适应目标跟踪算法;凌风探梅;《CSDN》;20160129;1-4 *

Also Published As

Publication number Publication date
CN110675442A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
EP2811423B1 (en) Method and apparatus for detecting target
CN110070570B (zh) 一种基于深度信息的障碍物检测系统及方法
WO2017190656A1 (zh) 行人再识别方法和装置
Yuan et al. Robust lane detection for complicated road environment based on normal map
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
KR100411875B1 (ko) 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원영상 표시 방법
CN110675442B (zh) 一种结合目标识别技术的局部立体匹配方法及系统
CN111652085B (zh) 基于2d与3d特征结合的物体识别方法
CN111460922A (zh) 共享车辆停放区域三维模型图像识别停放是否合理的系统
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
US9613266B2 (en) Complex background-oriented optical character recognition method and device
CN109934224B (zh) 基于马尔科夫随机场和视觉对比机制的小目标检测方法
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
CN103679147A (zh) 手机型号的识别方法与装置
WO2019128254A1 (zh) 图像分析方法、装置、电子设备及可读存储介质
CN106803262A (zh) 利用双目视觉自主解算汽车速度的方法
CN106446832B (zh) 一种基于视频的实时检测行人的方法
CN106355576B (zh) 基于mrf图像分割算法的sar图像配准方法
CN109784229B (zh) 一种地面建筑物数据融合的复合识别方法
Romdhane et al. Combined 2d/3d traffic signs recognition and distance estimation
KR101501531B1 (ko) 스테레오 비전 기반 보행자 검출 시스템 및 그 방법
CN108629226B (zh) 一种基于图像分层技术的车辆检测方法及系统
Huang A novel video text extraction approach based on Log-Gabor filters
CN111783580B (zh) 基于人腿检测的行人识别方法
CN113658089A (zh) 一种基于深度相机的双数据流融合物体识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant