CN111583342B - 一种基于双目视觉的目标快速定位方法及装置 - Google Patents
一种基于双目视觉的目标快速定位方法及装置 Download PDFInfo
- Publication number
- CN111583342B CN111583342B CN202010407645.2A CN202010407645A CN111583342B CN 111583342 B CN111583342 B CN 111583342B CN 202010407645 A CN202010407645 A CN 202010407645A CN 111583342 B CN111583342 B CN 111583342B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- binocular vision
- feature point
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 7
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于双目视觉的目标快速定位方法及装置,其特征在于,包括以下步骤:1)对应于待定位目标所在场景的位置,固定设置双目视觉系统,对双目视觉系统进行标定,并训练卷积神经网络;2)获取待定位目标所在场景同一时刻的左影像和右影像;3)根据训练后的卷积神经网络,确定待定位目标分别在左影像和右影像的区域;4)对待定位目标分别在左影像和右影像中的区域进行匹配,使得左影像和右影像中的同名区域为同一待定位目标;5)根据左影像和右影像中的同名区域,确定每一待定位目标的精匹配特征点集;6)根据每一待定位目标的精匹配特征点集,确定对应待定位目标的三维坐标,本发明可以广泛应用于目标定位领域中。
Description
技术领域
本发明是关于一种基于双目视觉的目标快速定位方法及装置,属于测量技术领域。
背景技术
采用两个摄像装置的双目视觉测量模式是视觉测量中一种重要的三维测量和定位方式,其原理是采用两个固定连接的相机,根据三角测量原理得到目标的三维信息。双目视觉测量模式由于其适用环境广泛、成本较低,在无人驾驶车、无人驾驶船、机器人和无人机等领域将发挥越来越重要的作用。
目前,依靠双目视觉测量模式来恢复深度信息的处理方式主要有两种:一是根据标定得到的相机参数和系统结构参数,首先对两个相机的影像做极线校正,然后在校正后的影像上进行同名特征点的匹配后计算生成视差图,根据视差图上的视差值信息来恢复三维信息;二是直接对双目视觉影像进行特征点提取和匹配得到同名特征点,然后根据相机内部参数和系统结构参数采用三角测量原理得到三维信息。
随着工业制造业发展,目前高清摄像机已非常普遍,在上述应用领域中也得到广泛应用。然而,高清摄像机拍摄得到的高分辨率影像较大,数据量是传统摄像机的几倍至几十倍,依靠上述传统恢复深度信息的处理方式已经无法实现快速实时地高精度目标定位。因此,研究一种适用于高清图像的基于双目视觉的目标快速定位方法具有重要意义。
发明内容
针对上述问题,本发明的目的是提供一种能够实现快速实时地高精度目标定位且适用于高清图像的基于双目视觉的目标快速定位方法及装置。
为实现上述目的,本发明采取以下技术方案:一种基于双目视觉的目标快速定位方法,包括以下步骤:1)对应于待定位目标所在场景的位置,固定设置双目视觉系统,对双目视觉系统进行标定,并训练卷积神经网络;2)通过标定后的双目视觉系统对待定位目标所在场景进行同步拍摄,获取待定位目标所在场景同一时刻的左影像和右影像;3)根据训练后的卷积神经网络,对获取的左影像和右影像进行特征提取,确定待定位目标分别在左影像和右影像的区域;4)对待定位目标分别在左影像和右影像中的区域进行匹配,使得左影像和右影像中的同名区域为同一待定位目标;5)根据左影像和右影像中的同名区域,确定每一待定位目标的精匹配特征点集;6)根据每一待定位目标的精匹配特征点集,确定对应待定位目标的三维坐标。
进一步地,所述步骤1)的具体过程为:1.1)对应于待定位目标所在场景的位置,在静止平台或运动平台上固定连接双目视觉系统,其中,双目视觉系统包括左相机和右相机;1.2)对双目视觉系统进行标定;1.3)对待定位目标进行数据采集,训练卷积神经网络。
进一步地,所述步骤1.2)的具体过程为:1.2.1)建立以左相机光心为原点的工作坐标系Oc-XcYcZc,其中,该工作坐标系为右手坐标系,深度方向为Zc轴,Xc轴与Yc轴分别平行于影像的x轴与y轴,控制场包括已知三维坐标的多个控制点;1.2.2)通过左相机和右相机对控制场中的控制点进行拍摄,提取控制点分别在左相机和右相机拍摄影像上的成像特征点,建立控制点三维坐标与二维影像坐标之间的映射关系;1.2.3)根据建立的映射关系,求解左相机和右相机的内部参数和畸变参数,以及右相机相对于左相机的系统结构参数。
进一步地,所述步骤3)的具体过程为:3.1)训练后的卷积神经网络包括卷积层、池化层和特征的分类层;3.2)将同一时刻的左影像和右影像同时输入至训练后的卷积神经网络,卷积神经网络的多层网络结构对输入的影像不断进行特征提取,通过分类层输出待定位目标的识别结果以及待定位目标的区域位置和范围,其中,左影像通过卷积神经网络特征提取后的M个待定位目标及其对应的区域集为TL:{TL1,TL2,...,TLM},TL1~TLM表示左影像识别的待定位目标类别及其对应的区域;右影像通过卷积神经网络特征提取后的N个待定位目标及其对应的区域集为TR:{TR1,TR2,...,TRN},其中,TR1~TRN表示右影像识别的待定位目标类别及其对应的区域;区域由(x,y,w,h)表示,分别为区域的左上顶点的图像坐标以及矩形的宽和高。
进一步地,所述步骤4)中当左影像和右影像中的待定位目标数量相同时,根据待定位目标的区域位置中左上顶点的x坐标大小,或者待定位目标的区域面积的大小,对待定位目标分别在左影像和右影像中的区域进行匹配,具体过程为:根据待定位目标的区域位置中左上顶点的x坐标大小,或者待定位目标的区域面积的大小,对左影像的区域集TL进行排序,得到排序后的区域集;根据待定位目标的区域位置中左上顶点的x坐标大小,或者待定位目标的区域面积的大小,对右影像的区域集TR进行排序,得到排序后的区域集;排序后的区域集中同一序号名称代表的区域为同一待定位目标。
进一步地,所述步骤4)中根据几何约束,对待定位目标分别在左影像和右影像中的区域进行匹配,具体过程为:根据标定后双目视觉系统的内部参数、畸变参数和系统结构参数,在标定场景图像中,通过建立的映射关系,采用直接线性变换8点法,计算双目视觉系统的F矩阵;记左影像的区域集TL中每一待定位目标对应区域的中心点影像坐标为{xL1,...xL2...,xLi...,xLM},其中,xLi表示在左影像的图像坐标系坐标(xLi,yLi);记右影像的区域集TR中每一待定位目标对应区域的中心点影像坐标为{xR1,...xR2...,xRj...,xRN},其中,xRj表示在右影像的图像坐标系坐标(xRj,yRj);若图像坐标系坐标xLi和xRj满足下述几何约束,则图像坐标系坐标xLi和xRj为同名区域:
进一步地,所述步骤5)的具体过程为:5.1)对于左影像和右影像中的一对同名区域,分别设置为对应的左ROI区域和右ROI区域;5.2)对左ROI区域和右ROI区域分别进行特征点提取,得到左ROI区域和右ROI区域的特征点集pL和pR;5.3)采用相关系数法,设定特征点集pL和pR中相关系数满足预先设定阈值的点对为同名特征点,得到对应的粗匹配特征点集pL′和pR′;5.4)对于左影像处理后的粗匹配特征点集pL′中的每一同名特征点,设定右影像粗匹配特征点集pR′中对应同名特征点的搜索窗口;5.5)采用最小二乘法,对于左影像的粗匹配特征点集pL′中的每一同名特征点,根据设定的搜索窗口,确定右影像上的精匹配同名特征点,该对同名区域的精匹配特征点集为pL″和pR″;5.6)采用几何约束或RANSAC方法,对精匹配特征点集pL″和pR″进行误差剔除处理,得到处理后的精匹配特征点集pL″和pR″;5.7)进入所述步骤5.1)重新选取左影像和右影像中的一对同名区域,直至得到左影像和右影像中各对同名区域处理后的精匹配特征点集。
进一步地,所述步骤6)的具体过程为:6.1)根据精匹配特征点集为pL″和pR″,将待定位目标对应的同名区域中所有同名特征点的三维坐标换算为欧式距离值,并计算所有欧式距离值的方差;6.2)若方差大于预先设定的方差阈值,则去掉该方差对应的欧式距离值,进入步骤6.3)或6.4)或6.5);6.3)对计算的欧式距离值进行排序,取排序后的欧式距离中间值对应的同名特征点的三维坐标作为待定位目标的三维坐标;6.4)对计算的欧式距离值进行排序,取与双目视觉系统距离最近的同名特征点的三维坐标作为待定位目标的三维坐标;6.5)计算余下欧式距离值的三维坐标平均值,并将其作为待定位目标的三维坐标。
一种基于双目视觉的目标快速定位装置,包括:预处理模块,用于对应于待定位目标所在场景的位置,固定设置双目视觉系统,对双目视觉系统进行标定,并训练卷积神经网络;双目相机采集模块,用于通过标定后的双目视觉系统对待定位目标所在场景进行同步拍摄,获取待定位目标所在场景同一时刻的左影像和右影像;特征提取识别模块,用于根据训练后的卷积神经网络,对获取的左影像和右影像进行特征提取,确定待定位目标分别在左影像和右影像的区域;目标区域匹配模块,用于对待定位目标分别在左影像和右影像中的区域进行匹配,使得左影像和右影像中的同名区域为同一待定位目标;特征点提取和匹配模块,用于根据左影像和右影像中的同名区域,确定每一待定位目标的精匹配特征点集;三维定位模块,用于根据每一待定位目标的精匹配特征点集,确定对应待定位目标的三维坐标。
进一步地,所述特征点提取和匹配模块包括:ROI区域设置单元,用于对于左影像和右影像中的一对同名区域,分别设置为对应的左ROI区域和右ROI区域;快速特征点提取单元,用于对左ROI区域和右ROI区域分别进行快速特征点提取,得到左ROI区域和右ROI区域的特征点集pL和pR;粗匹配特征点集确定单元,用于采用相关系数法,确定特征点集pL和pR中相关系数满足预先设定阈值的点对为同名特征点,得到对应的粗匹配特征点集pL′和pR′;搜索窗口设定单元,用于对于左影像的粗匹配特征点集pL′中的每一同名特征点,设定右影像粗匹配特征点集pR′中对应同名特征点的搜索窗口;精匹配特征点集确定单元,用于采用最小二乘法,对于左影像的粗匹配特征点集pL′中的每一同名特征点,根据设定的搜索窗口,确定右影像上的精匹配同名特征点,该对同名区域的精匹配特征点集为pL″和pR″;误差剔除单元,用于采用几何约束或RANSAC方法,对精匹配特征点集pL″和pR″进行误差剔除处理,得到处理后的精匹配特征点集pL″和pR″。
本发明由于采取以上技术方案,其具有以下优点:
1、本发明的装置可置于静止平台或运动平台上,采用双目相机进行运动或静止目标的三维定位,具有非接触式、成本低的优点,可适用于静止或运动平台安装的双目视觉系统,对运动和静止目标进行快速实时地定位。
2、本发明的方法聚焦于目标区域,采用由粗到精的匹配方法,能够实现目标的高精度三维定位,具有高实时性和高精度的优点,可以为后续目标处置和装置平台提供有效安全保障和规划数据基础,可以广泛应用于目标定位领域中。
附图说明
图1是本发明方法的流程图;
图2是本发明方法中目标区域配对的示意图;
图3是本发明方法中目标区域配对的另一示意图;
图4是本发明装置的结构示意图。
具体实施方式
以下结合附图来对本发明进行详细的描绘。然而应当理解,附图的提供仅为了更好地理解本发明,它们不应该理解成对本发明的限制。
实施例一
如图1所示,本实施例提供一种基于双目视觉的目标快速定位方法,包括以下步骤:
1)对应于待定位目标所在场景的位置,固定设置双目视觉系统,对双目视觉系统进行标定,并训练卷积神经网络,具体为:
1.1)对应于待定位目标所在场景的位置,在静止平台或运动平台上固定连接双目视觉系统,其中,双目视觉系统包括左相机和右相机。
1.2)对双目视觉系统进行标定:
1.2.1)建立以左相机光心为原点的工作坐标系Oc-XcYcZc,其中,该工作坐标系为右手坐标系,深度方向为Zc轴,Xc轴与Yc轴分别平行于影像的x轴与y轴,控制场包括已知三维坐标的多个控制点。
1.2.2)通过左相机和右相机对控制场中的控制点进行拍摄,提取控制点分别在左相机和右相机拍摄影像上的成像特征点,建立控制点三维坐标与二维影像坐标之间的映射关系。
1.2.3)根据建立的映射关系,求解左相机和右相机的内部参数(包括焦距和主点位置坐标等)和畸变参数(包括径向畸变参数和切向畸变参数等),以及右相机相对于左相机的系统结构参数(包括旋转矩阵和平移向量),完成双目视觉系统的标定,其中,标定方法为现有技术公开的方法,具体过程在此不多做赘述。
1.3)对待定位目标进行数据采集,训练卷积神经网络:
1.3.1)采用单目或双目视觉系统对待定位N类目标所在场景进行拍摄,得到包含待定位N类目标的若干影像数据。
1.3.2)对得到的若干影像数据进行样本制作,确定待定位N类目标的标识(类别1,类别2,…,类别N)。
1.3.3)根据标识后的样本数据,训练卷积神经网络,得到适应于待定位N类目标特征的卷积神经网络权值文件。
2)通过标定后的双目视觉系统中的左相机和右相机,对待定位目标所在场景进行同步拍摄,同步控制双目视觉系统中左相机拍摄的左影像与右相机拍摄的右影像为同一时刻的场景,获取待定位目标所在场景同一时刻的左影像和右影像,其中,同步控制为现有技术,可由软件或硬件方式实现。
进一步地,左相机和右相机拍摄影像的同步控制精度应满足三维定位测量精度的要求,即通过同步控制获取的左相机和右相机拍摄的影像上,根据空间点对应成像点(同名点)计算得到的三维坐标(X,Y,Z)和理想情况下同一空间点对应成像点计算得到的三维坐标(X′,Y′,Z′)之间的差值应不大于三维定位测量误差的要求范围。
3)根据训练后的卷积神经网络,对获取的左影像和右影像进行特征提取,确定待定位目标分别在左影像和右影像的区域,具体为:
3.1)训练后的卷积神经网络包括若干卷积层和池化层,有的层间包括非线性激活函数;训练后的卷积神经网络还包括特征的分类层;根据需要,训练后的卷积神经网络还包括特征归一化层和网络优化的相关层。
3.2)将同一时刻的左影像和右影像同时输入至训练后的卷积神经网络,卷积神经网络的多层网络结构对输入的影像不断进行抽象化特征提取,通过分类层输出待定位目标的识别结果以及待定位目标的区域位置和范围,其中,区域位置为矩形区域、方形区域或轮廓区域:
以矩形区域为例,记左影像通过卷积神经网络特征提取后的M个待定位目标及其对应的区域集为TL:{TL1,TL2,...,TLM},其中,TL1~TLM表示左影像识别的待定位目标类别及其对应的矩形区域,矩形区域由(x,y,w,h)表示,分别为矩形的左上顶点的图像坐标以及矩形的宽和高;记右影像通过卷积神经网络特征提取后的N个待定位目标及其对应的区域集为TR:{TR1,TR2,...,TRN},其中,TR1~TRN表示右影像识别的待定位目标类别及其对应的矩形区域。
4)对待定位目标分别在左影像和右影像中的区域进行匹配,使得左影像和右影像中同一序号名称代表的区域(即同名区域)为同一待定位目标,具体为:
4.1)如图2所示,当M等于N即左影像和右影像中的待定位目标数量相同时,根据待定位目标的区域位置中左上顶点的x坐标大小,或者待定位目标的区域面积的大小,对待定位目标分别在左影像和右影像中的区域进行匹配:
4.1.1)根据待定位目标的区域位置中左上顶点的x坐标大小或者待定位目标的区域面积的大小,对左影像的区域集TL进行排序,得到排序后的区域集TL:{TL1,TL2,...,TLM}。
4.1.2)根据待定位目标的区域位置中左上顶点的x坐标大小或者待定位目标的区域面积的大小,对右影像的区域集TR进行排序,得到排序后的区域集TR:{TR1,TR2,...,TRN}。
4.1.3)排序后的区域集TL′和TR′中同一序号代表的区域为同一待定位目标,可作为配对的结果,例如:区域集TL1′与TR1′分别包括右相机拍摄的不同视角下的同一区域。
4.2)如图3所示,还可以根据几何约束,对待定位目标分别在左影像和右影像中的区域进行匹配,其中,M可以等于N也可以不等于N:
4.2.1)根据标定后双目视觉系统的内部参数、畸变参数和系统结构参数,在标定场景图像中,通过步骤1.2.2)中建立的映射关系,采用直接线性变换8点法,计算双目视觉系统的F矩阵,其中,直接线性变换8点法为现有技术公开的方法,具体过程在此不多做赘述。
在实际使用时,记左影像的区域集TL中每一待定位目标对应区域的中心点影像坐标为{xL1,...xL2...,xLi...,xLM},其中,xLi表示在左影像的图像坐标系坐标(xLi,yLi);记右影像的区域集TR中每一待定位目标对应区域的中心点影像坐标为{xR1,...xR2...,xRj...,xRN},其中,xRj表示在右影像的图像坐标系坐标(xRj,yRj)。
4.2.2)根据计算的F矩阵和几何约束,对待定位目标分别在左影像和右影像中的区域进行匹配,即若图像坐标系坐标xLi和xRj满足下述几何约束,则认为图像坐标系坐标xLi和xRj为同名区域:
因为实际情况不可能得到零,所以接近零或小于预先设定的阈值的xLi和xRj为匹配成功的同名区域。
5)采用粗匹配方法和精匹配方法,根据左影像和右影像中的同名区域,确定每一待定位目标的精匹配特征点集,具体为:
5.1)对于左影像和右影像中的一对同名区域,分别设置为对应的左ROI(Researchof Interest,感兴趣区域)区域和右ROI区域。
5.2)对左ROI区域和右ROI区域分别进行特征点提取,得到左ROI区域和右ROI区域的特征点集pL和pR。
5.3)采用相关系数法,对特征点集pL和pR中的每一点均进行粗匹配,即设定特征点集pL和pR中相关系数满足预先设定阈值的点对为同名特征点,得到对应的粗匹配特征点集pL′和pR′。
5.4)对于左影像的粗匹配特征点集pL′中的每一同名特征点,设定右影像粗匹配特征点集pR′中对应同名特征点的搜索窗口大小。
5.5)采用最小二乘法,对于左影像的粗匹配特征点集pL′中的每一同名特征点,根据设定的搜索窗口,确定右影像上对应的同名特征点为精匹配同名特征点,记右影像上所有精匹配特征点的点集为pR″,该对同名区域的精匹配特征点集为pL″和pR″。
5.6)采用几何约束(1)或RANSAC(Random Sample Consensus,随机抽样一致)方法,对精匹配特征点集pL″和pR″进行误差剔除处理,得到处理后的精匹配特征点集pL″和pR″。
5.7)进入步骤5.1)重新选取左影像和右影像中的一对同名区域,直至得到左影像和右影像中各对同名区域处理后的精匹配特征点集。
6)采用三角测量原理,根据每一待定位目标的精匹配特征点集以及标定后双目视觉系统的内部参数、畸变参数和系统结构参数,确定对应待定位目标的三维坐标。由于每一待定位目标对应的同名区域有不止一对同名特征点,可以计算得到每对同名特征点对应的待定位目标的三维坐标,因此,可以采用下述且不局限于下述任何一种方式进行计算:
6.1)根据精匹配特征点集pL″和pR″,将待定位目标对应的同名区域中所有同名特征点的三维坐标换算为欧式距离值,并计算所有欧式距离值的方差。
6.2)若方差大于预先设定的方差阈值,则去掉该方差对应的欧式距离值,进入步骤6.3)或6.4)或6.5)。
6.3)对计算的欧式距离值进行排序,取排序后的欧式距离中间值对应的同名特征点的三维坐标作为待定位目标的三维坐标。
6.4)对计算的欧式距离值进行排序,取与双目视觉系统距离最近的同名特征点的三维坐标作为待定位目标的三维坐标。
6.5)计算余下欧式距离值的三维坐标平均值,并将其作为待定位目标的三维坐标。
实施例二
如图4所示,本实施例提供一种基于双目视觉的目标快速定位装置,包括:
预处理模块,用于对应于待定位目标所在场景的位置,固定设置双目视觉系统,对双目视觉系统进行标定,并训练卷积神经网络;
双目相机采集模块1,用于通过标定后的双目视觉系统对待定位目标所在场景进行同步拍摄,获取待定位目标所在场景同一时刻的左影像和右影像;
特征提取识别模块2,用于根据训练后的卷积神经网络,对获取的左影像和右影像进行特征提取,确定待定位目标分别在左影像和右影像的区域;
目标区域匹配模块3,用于对待定位目标分别在左影像和右影像中的区域进行匹配,使得左影像和右影像中的同名区域为同一待定位目标;
特征点提取和匹配模块4,用于根据左影像和右影像中的同名区域,确定每一待定位目标的精匹配特征点集;
三维定位模块5,用于根据每一待定位目标的精匹配特征点集,确定对应待定位目标的三维坐标。
在一个优选的实施例中,特征点提取和匹配模块4包括:
ROI区域设置单元,用于对于左影像和右影像中的一对同名区域,分别设置为对应的左ROI区域和右ROI区域;
快速特征点提取单元,用于对左ROI区域和右ROI区域分别进行快速特征点提取,得到左ROI区域和右ROI区域的特征点集pL和pR;
粗匹配特征点集确定单元,用于采用相关系数法,确定特征点集pL和pR中相关系数满足预先设定阈值的点对为同名特征点,得到对应的粗匹配特征点集pL′和pR′;
搜索窗口设定单元,用于对于左影像的粗匹配特征点集pL′中的每一同名特征点,设定右影像粗匹配特征点集pR′中对应同名特征点的搜索窗口;
精匹配特征点集确定单元,用于采用最小二乘法,对于左影像的粗匹配特征点集pL′中的每一同名特征点,根据设定的搜索窗口,确定右影像上的精匹配同名特征点,该对同名区域的精匹配特征点集为pL″和pR″;
误差剔除单元,用于采用几何约束或RANSAC方法,对精匹配特征点集pL″和pR″进行误差剔除处理,得到处理后的精匹配特征点集pL″和pR″。
在一个优选的实施例中,三维定位模块中得到的三维坐标可为装置当前位置建立的坐标系下的三维坐标,也可根据该装置和运动平台上其它协同仪器之间的关系,换算到其它仪器建立的对应坐标系下,或根据其它基准坐标系和已知的坐标换算关系,将定位结果换算到其它基准坐标系下。
本领域技术人员应该明白,本发明实施例可以用例如计算机装置可执行的程序来实现,从而可以将它们存储在存储装置中由处理器来执行,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等;或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或操作制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件的结合。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种基于双目视觉的目标快速定位方法,其特征在于,包括以下步骤:
1)对应于待定位目标所在场景的位置,固定设置双目视觉系统,对双目视觉系统进行标定,并训练卷积神经网络;
2)通过标定后的双目视觉系统对待定位目标所在场景进行同步拍摄,获取待定位目标所在场景同一时刻的左影像和右影像;
3)根据训练后的卷积神经网络,对获取的左影像和右影像进行特征提取,确定待定位目标分别在左影像和右影像的区域;
4)对待定位目标分别在左影像和右影像中的区域进行匹配,使得左影像和右影像中的同名区域为同一待定位目标;
5)根据左影像和右影像中的同名区域,确定每一待定位目标的精匹配特征点集,具体过程为:
5.1)对于左影像和右影像中的一对同名区域,分别设置为对应的左ROI区域和右ROI区域;
5.2)对左ROI区域和右ROI区域分别进行特征点提取,得到左ROI区域和右ROI区域的特征点集pL和pR;
5.3)采用相关系数法,设定特征点集pL和pR中相关系数满足预先设定阈值的点对为同名特征点,得到对应的粗匹配特征点集pL′和pR′;
5.4)对于左影像处理后的粗匹配特征点集pL′中的每一同名特征点,设定右影像粗匹配特征点集pR′中对应同名特征点的搜索窗口;
5.5)采用最小二乘法,对于左影像的粗匹配特征点集pL′中的每一同名特征点,根据设定的搜索窗口,确定右影像上的精匹配同名特征点,该对同名区域的精匹配特征点集为pL″和pR″;
5.6)采用几何约束或RANSAC方法,对精匹配特征点集pL″和pR″进行误差剔除处理,得到处理后的精匹配特征点集pL″和pR″;
5.7)进入所述步骤5.1)重新选取左影像和右影像中的一对同名区域,直至得到左影像和右影像中各对同名区域处理后的精匹配特征点集;
6)根据每一待定位目标的精匹配特征点集,确定对应待定位目标的三维坐标。
2.如权利要求1所述的一种基于双目视觉的目标快速定位方法,其特征在于,所述步骤1)的具体过程为:
1.1)对应于待定位目标所在场景的位置,在静止平台或运动平台上固定连接双目视觉系统,其中,双目视觉系统包括左相机和右相机;
1.2)对双目视觉系统进行标定;
1.3)对待定位目标进行数据采集,训练卷积神经网络。
3.如权利要求2所述的一种基于双目视觉的目标快速定位方法,其特征在于,所述步骤1.2)的具体过程为:
1.2.1)建立以左相机光心为原点的工作坐标系Oc-XcYcZc,其中,该工作坐标系为右手坐标系,深度方向为Zc轴,Xc轴与Yc轴分别平行于影像的x轴与y轴,控制场包括已知三维坐标的多个控制点;
1.2.2)通过左相机和右相机对控制场中的控制点进行拍摄,提取控制点分别在左相机和右相机拍摄影像上的成像特征点,建立控制点三维坐标与二维影像坐标之间的映射关系;
1.2.3)根据建立的映射关系,求解左相机和右相机的内部参数和畸变参数,以及右相机相对于左相机的系统结构参数。
4.如权利要求3所述的一种基于双目视觉的目标快速定位方法,其特征在于,所述步骤3)的具体过程为:
3.1)训练后的卷积神经网络包括卷积层、池化层和特征的分类层;
3.2)将同一时刻的左影像和右影像同时输入至训练后的卷积神经网络,卷积神经网络的多层网络结构对输入的影像不断进行特征提取,通过分类层输出待定位目标的识别结果以及待定位目标的区域位置和范围,其中,左影像通过卷积神经网络特征提取后的M个待定位目标及其对应的区域集为TL:{TL1,TL2,...,TLM},TL1~TLM表示左影像识别的待定位目标类别及其对应的区域;右影像通过卷积神经网络特征提取后的N个待定位目标及其对应的区域集为TR:{TR1,TR2,...,TRN},其中,TR1~TRN表示右影像识别的待定位目标类别及其对应的区域;区域由(x,y,w,h)表示,分别为区域的左上顶点的图像坐标以及矩形的宽和高。
5.如权利要求4所述的一种基于双目视觉的目标快速定位方法,其特征在于,所述步骤4)中当左影像和右影像中的待定位目标数量相同时,根据待定位目标的区域位置中左上顶点的x坐标大小,或者待定位目标的区域面积的大小,对待定位目标分别在左影像和右影像中的区域进行匹配,具体过程为:
根据待定位目标的区域位置中左上顶点的x坐标大小,或者待定位目标的区域面积的大小,对左影像的区域集TL进行排序,得到排序后的区域集;
根据待定位目标的区域位置中左上顶点的x坐标大小,或者待定位目标的区域面积的大小,对右影像的区域集TR进行排序,得到排序后的区域集;
排序后的区域集中同一序号名称代表的区域为同一待定位目标。
6.如权利要求4所述的一种基于双目视觉的目标快速定位方法,其特征在于,所述步骤4)中根据几何约束,对待定位目标分别在左影像和右影像中的区域进行匹配,具体过程为:
根据标定后双目视觉系统的内部参数、畸变参数和系统结构参数,在标定场景图像中,通过建立的映射关系,采用直接线性变换8点法,计算双目视觉系统的F矩阵;
记左影像的区域集TL中每一待定位目标对应区域的中心点影像坐标为{xL1,...xL2...,xLi...,xLM},其中,xLi表示在左影像的图像坐标系坐标(xLi,yLi);
记右影像的区域集TR中每一待定位目标对应区域的中心点影像坐标为{xR1,...xR2...,xRj...,xRN},其中,xRj表示在右影像的图像坐标系坐标(xRj,yRj);
若图像坐标系坐标xLi和xRj满足下述几何约束则图像坐标系坐标xLi和xRj为同名区域。
7.如权利要求6所述的一种基于双目视觉的目标快速定位方法,其特征在于,所述步骤6)的具体过程为:
6.1)根据精匹配特征点集为pL″和pR″,将待定位目标对应的同名区域中所有同名特征点的三维坐标换算为欧式距离值,并计算所有欧式距离值的方差;
6.2)若方差大于预先设定的方差阈值,则去掉该方差对应的欧式距离值,进入步骤6.3)或6.4)或6.5);
6.3)对计算的欧式距离值进行排序,取排序后的欧式距离中间值对应的同名特征点的三维坐标作为待定位目标的三维坐标;
6.4)对计算的欧式距离值进行排序,取与双目视觉系统距离最近的同名特征点的三维坐标作为待定位目标的三维坐标;
6.5)计算余下欧式距离值的三维坐标平均值,并将其作为待定位目标的三维坐标。
8.一种基于权利要求1至7任一项所述的基于双目视觉的目标快速定位方法的基于双目视觉的目标快速定位装置,其特征在于,包括:
预处理模块,用于对应于待定位目标所在场景的位置,固定设置双目视觉系统,对双目视觉系统进行标定,并训练卷积神经网络;
双目相机采集模块,用于通过标定后的双目视觉系统对待定位目标所在场景进行同步拍摄,获取待定位目标所在场景同一时刻的左影像和右影像;
特征提取识别模块,用于根据训练后的卷积神经网络,对获取的左影像和右影像进行特征提取,确定待定位目标分别在左影像和右影像的区域;
目标区域匹配模块,用于对待定位目标分别在左影像和右影像中的区域进行匹配,使得左影像和右影像中的同名区域为同一待定位目标;
特征点提取和匹配模块,用于根据左影像和右影像中的同名区域,确定每一待定位目标的精匹配特征点集;
三维定位模块,用于根据每一待定位目标的精匹配特征点集,确定对应待定位目标的三维坐标。
9.如权利要求8所述的一种基于双目视觉的目标快速定位装置,其特征在于,所述特征点提取和匹配模块包括:
ROI区域设置单元,用于对于左影像和右影像中的一对同名区域,分别设置为对应的左ROI区域和右ROI区域;
快速特征点提取单元,用于对左ROI区域和右ROI区域分别进行快速特征点提取,得到左ROI区域和右ROI区域的特征点集pL和pR;
粗匹配特征点集确定单元,用于采用相关系数法,确定特征点集pL和pR中相关系数满足预先设定阈值的点对为同名特征点,得到对应的粗匹配特征点集pL′和pR′;
搜索窗口设定单元,用于对于左影像的粗匹配特征点集pL′中的每一同名特征点,设定右影像粗匹配特征点集pR′中对应同名特征点的搜索窗口;
精匹配特征点集确定单元,用于采用最小二乘法,对于左影像的粗匹配特征点集pL′中的每一同名特征点,根据设定的搜索窗口,确定右影像上的精匹配同名特征点,该对同名区域的精匹配特征点集为pL″和pR″;
误差剔除单元,用于采用几何约束或RANSAC方法,对精匹配特征点集pL″和pR″进行误差剔除处理,得到处理后的精匹配特征点集pL″和pR″。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010407645.2A CN111583342B (zh) | 2020-05-14 | 2020-05-14 | 一种基于双目视觉的目标快速定位方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010407645.2A CN111583342B (zh) | 2020-05-14 | 2020-05-14 | 一种基于双目视觉的目标快速定位方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111583342A CN111583342A (zh) | 2020-08-25 |
CN111583342B true CN111583342B (zh) | 2024-02-23 |
Family
ID=72113572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010407645.2A Active CN111583342B (zh) | 2020-05-14 | 2020-05-14 | 一种基于双目视觉的目标快速定位方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111583342B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112954633B (zh) * | 2021-01-26 | 2022-01-28 | 电子科技大学 | 一种基于参数约束的双网络架构室内定位方法 |
CN113239766A (zh) * | 2021-04-30 | 2021-08-10 | 复旦大学 | 基于深度神经网络的行为识别方法及智能报警装置 |
CN114359394B (zh) * | 2022-03-17 | 2022-06-17 | 季华实验室 | 一种双目视觉的定位方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109308693A (zh) * | 2018-08-29 | 2019-02-05 | 北京航空航天大学 | 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 |
CN109472826A (zh) * | 2018-10-26 | 2019-03-15 | 国网四川省电力公司电力科学研究院 | 基于双目视觉的定位方法及装置 |
CN111028284A (zh) * | 2019-10-31 | 2020-04-17 | 浙江未来技术研究院(嘉兴) | 一种基于同名标记点的双目视觉立体匹配方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101876533B (zh) * | 2010-06-23 | 2011-11-30 | 北京航空航天大学 | 一种显微立体视觉校准方法 |
CN104915965A (zh) * | 2014-03-14 | 2015-09-16 | 华为技术有限公司 | 一种摄像机跟踪方法及装置 |
CN105538345B (zh) * | 2016-01-27 | 2017-09-26 | 华南理工大学 | 一种基于多镜头的智能机械手及定位装配方法 |
-
2020
- 2020-05-14 CN CN202010407645.2A patent/CN111583342B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109308693A (zh) * | 2018-08-29 | 2019-02-05 | 北京航空航天大学 | 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 |
CN109472826A (zh) * | 2018-10-26 | 2019-03-15 | 国网四川省电力公司电力科学研究院 | 基于双目视觉的定位方法及装置 |
CN111028284A (zh) * | 2019-10-31 | 2020-04-17 | 浙江未来技术研究院(嘉兴) | 一种基于同名标记点的双目视觉立体匹配方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111583342A (zh) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
CN111583342B (zh) | 一种基于双目视觉的目标快速定位方法及装置 | |
CN106934809B (zh) | 基于双目视觉的无人机空中自主加油快速对接导航方法 | |
US7376262B2 (en) | Method of three dimensional positioning using feature matching | |
CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
CN110334701B (zh) | 数字孪生环境下基于深度学习和多目视觉的数据采集方法 | |
CN110319772B (zh) | 基于无人机的视觉大跨度测距方法 | |
US9959625B2 (en) | Method for fast camera pose refinement for wide area motion imagery | |
CN113850126A (zh) | 一种基于无人机的目标检测和三维定位方法和系统 | |
CN108917753B (zh) | 基于从运动恢复结构的飞行器位置确定方法 | |
CN107330927B (zh) | 机载可见光图像定位方法 | |
Jutzi et al. | Weighted data fusion for UAV-borne 3D mapping with camera and line laser scanner | |
CN114022560A (zh) | 标定方法及相关装置、设备 | |
CN111524174A (zh) | 一种动平台动目标双目视觉三维构建方法 | |
CN116563377A (zh) | 一种基于半球投影模型的火星岩石测量方法 | |
CN113963067B (zh) | 一种采用小靶标对大视场视觉传感器进行标定的标定方法 | |
Knyaz et al. | Joint geometric calibration of color and thermal cameras for synchronized multimodal dataset creating | |
CN117333846A (zh) | 恶劣天气下基于传感器融合和增量学习的检测方法及系统 | |
Pan et al. | Vision-based approach angle and height estimation for UAV landing | |
CN111899289A (zh) | 一种基于图像特征信息的红外图像与可见光图像的配准方法 | |
CN115950435A (zh) | 无人机巡检影像的实时定位方法 | |
CN112862678A (zh) | 一种无人机图像拼接方法、装置及存储介质 | |
CN113554754A (zh) | 一种基于计算机视觉的室内定位方法 | |
CN113223163A (zh) | 点云地图构建方法及装置、设备、存储介质 | |
Wang et al. | Stereo rectification based on epipolar constrained neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |