CN114199205A - 基于改进四叉树orb算法的双目测距方法 - Google Patents

基于改进四叉树orb算法的双目测距方法 Download PDF

Info

Publication number
CN114199205A
CN114199205A CN202111355050.8A CN202111355050A CN114199205A CN 114199205 A CN114199205 A CN 114199205A CN 202111355050 A CN202111355050 A CN 202111355050A CN 114199205 A CN114199205 A CN 114199205A
Authority
CN
China
Prior art keywords
algorithm
points
quadtree
point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111355050.8A
Other languages
English (en)
Other versions
CN114199205B (zh
Inventor
肖金壮
王宁
周振
郭辉辉
周刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University
Original Assignee
Hebei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University filed Critical Hebei University
Priority to CN202111355050.8A priority Critical patent/CN114199205B/zh
Publication of CN114199205A publication Critical patent/CN114199205A/zh
Application granted granted Critical
Publication of CN114199205B publication Critical patent/CN114199205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/30Interpretation of pictures by triangulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于改进四叉树ORB算法的双目测距方法。该方法包括如下步骤:首先通过标定板拟合深度与视差的关系;之后采集图像并预处理;接着通过四叉树分解算法来精简检索域,剔除背景区域;特征点检测是采用FAST算法和Kitchen‑Rosenfeld算法同时进行,并采用四叉树均匀化算法细分特征点;再使用BRIEF特征描述来匹配左右照片的特征点,同时使用Ransac算法去除错误匹配;最后通过三角测量原理恢复特征点坐标,根据空间距离公式计算物体尺寸。本发明通过将改进的四叉树ORB匹配算法应用于双目测距当中,并使用拟合视差与距离关系的K值的方法计算特征点的三维坐标,提高了检测效率以及检测精度。

Description

基于改进四叉树ORB算法的双目测距方法
技术领域
本发明涉及立体视觉领域,具体地说是一种基于改进四叉树ORB算法的双目测距方法。
背景技术
国外的机器视觉起步较早,已经应用在许多行业。Minoru Asada等人员研究出一套能够自适应跟踪运动物体的视觉系统,该视觉系统运用AVS理论,不需提前对相机进行标定。Dhaval K.Patel等研究人员开发出了能够估测物体质量中心位置的视觉测量系统,该系统在MATLAB平台上,利用三角测量原理来测定空间位置,此系统具备测量准确、使用方便的优点。Cuong Cao Pham等人对双目视觉匹配算法进行了研究,他们采用一种新的成本聚类算法使匹配范围从2D转换为1D,极大地提高了匹配的效率。Luis C等开发出了一套移动机器人导航系统,通过摄像机得到实时数据,利用动态三角测量检测障碍物,可完成陌生环境中躲避障碍的任务。R.Correal等人使用双目视觉来重建三维地形,克服了以前的方法误差大的缺点,该系统使用了直方图匹配技术,改善了源图像的匹配度,以相机标定结果和投影点的图像坐标数据作为基础,可以实现重建三维地形的目的。Timothy J.Schaewe等人将双目视觉应用在脑肿瘤切除手术上,通过双目视觉原理定位手术区域,可以通过重构局部区域来改善手术效率。
国内研究立体视觉技术起步相对较晚,但是在我国研究人员的不断努力下,取得了显著的进步,在一些方面已经达到了国外研究水平。朱加雷等人将焊接机器人与双目视觉技术相结合,帮助机器人实现三维空间的定位,还可以提高双目立体匹配的精确度,很大程度上拓宽了视觉技术的应用范围。侯建等将视觉技术应用在移动机器人上面,将视觉技术和机器人导航技术相结合,使机器人可以实时校正位置偏差。根据球形机器人的定位特点,叶平等人采用跟踪特征点的方法,使运动估计更趋于稳定。郭凯敏等人采用Bumblebee双目视觉设计了一套西红柿采摘系统,采用增强的Hough变换以便能分割出前景目标,接着对前景果实定位以引导机械臂完成摘取。通过对人脸图像进行立体匹配、三维建模,再运用网格化计算来处理三维点云,邱兹俏等人研发出一套可以实现人脸重建的系统。黄风山等在测量工件的三维坐标时采用双目视觉技术,该系统通过转换相机的位置拍摄工件,得到不同位置的工件图像,然后提取特征点,计算得出特征点的空间坐标。刘红等人利用视觉来收集信息,并且运用支持向量机来处理相关的数据,实现了视觉技术用于乒乓球机器人的目的,并设计相关的实验来证明该系统的有效性。雪冰等人提出一种将ORB(Oriented Fastand Rotated Brief,特征提取算法)与SURF(Speeded-Up Robust Features,加速稳健特征)算法相结合的方法,该方法虽然解决了尺度不变性问题,但明显降低了运算速度。邹斌等人结合金字塔光流特性,提高了算法的实时性和精度。
发明内容
本发明的目的就是提供一种基于改进四叉树ORB算法的双目测距方法,以解决传统基于特征点匹配的双目测距方法测量精度不高,在匹配时出现大量冗余匹配并且匹配精度不高的问题。
本发明是这样实现的:一种基于改进四叉树ORB算法的双目测距方法,包括如下步骤:
1)通过双目相机对标定板进行不同距离的拍照,拟合得到深度与视差的关系:Z=57780/D+7.224,其中,Z为深度,D为视差;
2)采用双目相机对目标物体进行拍照,并对所拍摄图像进行双边滤波;
3)通过四叉树分解方法来精简检索域,剔除背景区域;具体是:设置一灰度阈值T以及分裂次数M,将待分裂图像均等分为四个子区域,计算每个子区域内像素灰度值大于灰度阈值T的比例,若该比例小于0.05,则认为此子区域是背景区域,将其剔除;若该比例大于等于0.05小于0.5,则对该子区域继续采用四叉树分解方法来精简检索域,剔除背景区域,直至分裂次数达到M;若该比例大于等于0.5,则保留该子区域为检索域,不再进行后续分裂、精简检索域;每分裂完成一次对四叉树链表进行一次更新;
4)采用FAST算法和Kitchen-Rosenfeld算法同时检测特征点;
5)采用四叉树均匀化算法细分特征点,分散扎推在目标物体角点处的特征点,去除分散在其他非目标物体角点区域的特征点;
6)使用BRIEF特征描述来匹配左右图像的特征点,并使用Ransac算法去除错误匹配;
7)通过三角测量原理恢复特征点坐标;
8)根据空间距离公式计算目标物体尺寸。
优选的,步骤5)具体如下:
a)根据步骤3)的四叉树链表构造节点,每一节点对应一个区域;去除所有像素的灰度值均大于灰度阈值T的区域,即去除目标物体的内部无用部分;
b)将步骤4)检测到的特征点分配给步骤a)中构造的节点;
c)在每个节点中,比较此区域内所有特征点的Harris响应值,仅保留Harris响应值最强的点,即每个节点只保留一个特征点;若区域内没有特征点,则在四叉树链表中删除此节点。
优选的,步骤4)中,采用FAST算法检测特征点的步骤如下:
a)从图像中选取一个像素点P,把它的灰度值记为IP
b)选取灰度阈值T′;若2个像素点灰度值之差的绝对值大于T′,表示这是不同的2个像素点;
c)以P点为圆心提取半径为3个像素点的圆周上16个像素点,按照顺时针方向记录为1~16,16个像素点的灰度值为IX,X=1,……,16;
d)若存在连续N个点满足|IP-IX|>T′,则像素点P为特征点;N为9或12;
e)对所有特征点进行非极大值抑制。
优选的,步骤4)中,采用Kitchen-Rosenfeld算法检测特征点的步骤如下:
a)计算图像的一阶导数和二阶导数;
b)利用如下公式计算角点响应函数C;
Figure BDA0003357156520000031
其中,Ix、Iy为图像I的一阶导数,Ixx、Iyy和Ixy为图像的二阶导数;
c)对角点响应函数进行非极大值抑制。
优选的,步骤7)通过三角测量原理恢复特征点坐标,具体如下:
a)根据步骤1)中Z=57780/D+7.224可知K为57780,再根据公式K=fB计算出焦距f,B为基线距离;
b)根据特征点在左右图像中的视差D,并依据公式Z=57780/D+7.224可求出特征点在世界坐标系下的Z轴坐标值,也即深度;
c)根据三角形相似原理,并依据如下公式求得特征点在世界坐标系下的X轴和Y轴坐标值:
Figure BDA0003357156520000032
Figure BDA0003357156520000033
其中,X1为特征点在图像坐标系下的X轴坐标值,Y1为特征点在图像坐标系下的Y轴坐标值。
本发明通过将改进的四叉树ORB匹配算法应用于双目测距当中,并弃用传统的双目标定获得双目相机参数的方法,使用拟合视差与距离关系的K系数的方法计算特征点的三维坐标,提高检测效率以及检测精度。
本发明与现有技术相比,有益效果在于:
(1)采用多张不同距离的标定板照片进行K值拟合(K为基线距离B与焦距f的乘积),与传统的使用三角运算求解三维坐标的方法(使用matlab标定参数)相比,目标物体的尺寸精确度有了明显提升。
(2)使用改进四叉树ORB特征点匹配算法,特征点选取和匹配精度有明显提升,由于提前剔除背景,检测效率也有效提升。
附图说明
图1是本发明的双目测距方法流程图。
图2是双目摄像头成像示意图。
图3是双目相机采集的标定板照片。
图4是仿真标定板采样图。
图5是通过程序计算每张标定板平均视差的结果图。
图6是距离与视差的拟合关系图。
图7是距离与视差倒数的拟合关系图。
图8是改进四叉树ORB算法流程图。
图9是经典四叉树原理图。
图10是改进四叉树检索域示意图。
图11是FAST角点检测原理示意图。
图12是四叉树均匀化特征点示意图。
图13是灰度质心法示意图。
图14是传统ORB特征点匹配效果图。
图15是改进四叉树ORB特征点匹配效果图。
图16是世界坐标系X坐标恢复示意图。
具体实施方式
如图1所示,本发明所提供的基于改进四叉树ORB算法的双目测距方法,其主要包括如下步骤:
步骤1:使双目相机距标定板每隔一定距离进行一次拍照采样,记录每次拍照采样时标定板与相机之间的距离。将标定板照片上的方格角点进行识别和提取,记录照片上每个方格角点的视差值(左、右照片上对应方格角点的坐标差),每张照片上所有角点的视差值取平均并记录,得到离散的视差与距离关系。将得到的视差—距离数据进行函数拟合,高精度的得到本相机距离与视差之间的对应关系。得到拟合的距离与视差关系为Z=57780/D+7.224。其中,Z为距离(或称深度),D为视差。
步骤2:进行滤波,去除畸变。
步骤3:通过四叉树分解算法来精简检索域,剔除背景区域。
步骤4:采用FAST算法和Kitchen-Rosenfeld算法同时检测特征点。
步骤5:四叉树均匀化算法细分特征点。
步骤6:使用BRIEF特征描述来匹配左右照片的特征点并使用Ransac算法去除错误匹配。
步骤7:通过三角测量原理恢复特征点坐标。
步骤8:根据空间距离公式计算物体尺寸。本发明中基于改进四叉树ORB算法的双目测距方法中的“测距”即指测量物体的尺寸。
下面结合附图详细描述本发明中各步骤。
步骤1:图2是双目摄像头成像示意图,其中O点为目标物体,O1和O2分别为左右摄像头的投影中心,x1,x2分别是目标物体在左右摄像头成像平面上的坐标,f为焦距,B为左右摄像头中心线距离(或称基线距离),Z为摄像头投影中心到目标物体的距离。
通过计算相似三角形可以得到:
Figure BDA0003357156520000051
其中,(x1-x2)实际上就是视差,单位是实际物理量mm,用D来表示这个视差,并将单位换成像素,多出来的常数放到分子中;分母中的fB是一个常数,用K来表示,这里面还可以包括像素单位到mm单位的比例系数。
整理一下可以得到:
Figure BDA0003357156520000052
其中Z为摄像头投影中心到物体的距离;D为视差,与x1-x2成比例关系;K为常数。根据此关系,用已知距离Z和其视差D,计算摄像头的K值。
图3为双目相机拍摄的棋盘格标定板照片(包括左右两组照片,一一对应)。棋盘格角点数是6×8=48个,使用双目摄像头从距离棋盘格标定板500-2000mm进行拍照采样,每间隔50mm进行一次拍照采样。通过程序求出照片上角点的平均视差值。图4为仿真图。图5为照片上角点的平均视差值,接下来进行线性回归。
考虑到Z理论值是摄像头成像中心到物体的距离,实际测量并不准确,加入误差距离e,则Z与D的关系转化为Z与1/D的关系:
Figure BDA0003357156520000053
使用Matlab工具箱处理拍摄数据,结果见图6和图7。
最终实验用摄像头的拟合结果为:
Z=57780/D+7.224 (3)
步骤2:对图像进行双边滤波,可以达到保持边缘,降噪平滑的效果。然后进入改进四叉树ORB算法。
传统ORB算法主要包括两个步骤,FAST角点检测和BRIEF描述子计算。改进型四叉树ORB算法流程如图8所示。
步骤3:通过四叉树分解算法来精简检索域,剔除背景区域。
为了提高特征点检测效率,更好地满足对应用场景实时性的需求,结合ORB算法本身的实现原理,提出一种基于区域分裂合并思想的四叉树分解法来精简检索域,剔除图像中除物体本身外不重要的区域,提升检测速率和精度。
图9为经典四叉树分解法示意图,为满足检测有效区域的要求,本发明基于改进四叉树ORB算法,应用四叉树分解法来精简检索域,结合图10,具体精简检索域的步骤如下:
a)设置一个用于提取待测物体的灰度阈值T,该灰度阈值T能明显区分待测物体与背景。
b)根据待测物体预设一个分裂次数M。对于不同的物体,所预设的分裂次数不同。
c)将待分裂图像(第一次分裂时图像为整个图像)假设记为区域R,将区域R均等分为4个子区域Ri(i=1,2,3,4)。对每一子区域Ri分别执行步骤d)-e)。
d)对于任一子区域Ri,统计子区域Ri内所有像素的灰度值,并计算子区域Ri内像素灰度值大于灰度阈值T的比例T(Ri)。
Figure BDA0003357156520000061
其中,zij=1,zij表示的含义是子区域Ri中第j个像素点的灰度值大于灰度阈值T;
Figure BDA0003357156520000062
表示子区域Ri内有m个像素点的灰度值大于灰度阈值T;
Figure BDA0003357156520000063
ZRi是子区域Ri内的像素个数。
e)若0.05≤T(Ri)<0.5,则将该子区域Ri保留为待检索区域,对四叉树链表(四叉树链表的表现形式如图9左侧图所示)进行更新,并执行步骤f;若T(Ri)<0.05,则将此子区域Ri认定为背景,对此子区域Ri不再进行检索,并在四叉树链表中将其剔除;若T(Ri)≥0.5,表示感兴趣像素点占据子区域Ri的大部分,再对此子区域继续分裂会造成不必要的计算浪费,此时保留该子区域Ri为待检索区域,不再执行下一次的分裂步骤,直接执行步骤g),并对四叉树链表进行更新。
f)判断分裂次数是否达到M,如果是,则执行步骤g);如果否,则重复步骤c)-e),即对该子区域Ri继续进行分裂,每分裂一次分裂次数加1。
g)对所有保留下来的待检索区域进行合并,得到较为完整的待测物体区域。
本发明所采用的基于区域分裂合并思想的检索域筛选方法,不同于传统的网格法,最终所获得的具有明显特征点的区块无需再进行二次筛选处理,提高算法的快速性。而且,本发明可以根据不同精度要求设置合理的分裂次数,精度与分裂次数呈线性正相关,而无需像网格法一样提前设置区块边长。同时区分于传统图像分割算法,传统图像分割算法无论基于阈值分割或边缘分割等都会对原图像造成损害,影响后续特征点的检测。
步骤4:采用FAST算法和Kitchen-Rosenfeld算法同时检测特征点。
本步骤中采用FAST算法和Kitchen-Rosenfeld算法同时检测特征点,其实是采用两种算法进行特征点的检测,最后再将两种算法所检测出来的特征点进行合并,作为本步骤中特征点检测的结果。
ORB算法的特征点提取是由FAST算法改进的,该算法原理为定义某中心点,比较该中心点与邻域内其余像素点的灰度值,如果存在足够多差值超过设定阈值的点,则定义该中心点为特征点。
FAST角点检测具体实现过程如下:
a)从图像中选取一个像素点P,把它的灰度值记为IP,如图11所示。
b)选取合理的灰度阈值T′;若2个像素点灰度值之差的绝对值大于T′,表示这是不同的2个像素点。
c)将P点周围t×t像素范围作为邻域范围,在邻域内以P点为圆心提取半径为3个像素点的圆周上16个像素点,按照顺时针方向记录为1~16,灰度值为IX,X=1,……,16。
d)若存在连续N(通常N取值为9,12等)个点满足|IP-IX|>T′,则像素点P被定义为特征点。
实际检测中,直接遍历16个像素点与中心点P差值的方法效率较低,因此,需要添加一项预检测操作,优先比较中心点P与像素点1,5,9,13的灰度差,如果至少存在三个差值满足公式|IP-IX|>T′,则认定P为图像候选特征点。这种方法可以快速剔除大部分非特征点。之后对图像候选特征点进行具体的计算,看是否存在连续N(通常N取值为9,12等)个点满足|IP-IX|>T′,如果存在,则被认定为是特征点;否则则不是特征点。
e)对所有特征点进行非极大值抑制。
Kitchen-Rosenfeld算法认为角点是那些边缘曲线曲率和梯度幅值都很大的点,因此使用曲率k与梯度幅值g的乘积来计算角点响应函数C:
Figure BDA0003357156520000081
式(5)中,C的极值所对应的像素即为角点。式中Ix、Iy为图像I的一阶导数,
即:
Figure BDA0003357156520000082
式中Ixx、Iyy和Ixy为图像的二阶偏导,即:
Figure BDA0003357156520000083
Kitchen-Rosenfeld角点检测的步骤如下:
a)计算图像的一阶、二阶导数;
b)利用公式(5)计算角点响应函数;
c)对角点响应函数进行非极大值抑制。
该算法能有效检测并不复杂的角点情况,比较适合检测规则物体角点。
步骤5:四叉树均匀化算法细分特征点。
继续利用四叉树算法来筛选特征点,目的是非极大值抑制,在局部的特征点邻域中挑选角点响应最大的点,在普通的FAST角点检测中有加入非极大值抑制的算法,但离散程度并不理想,而计算物体尺寸的关键特征点只为物体的4个角点,其余无用特征点会扎堆在物体角点的周围严重影响算法对于物体关键角点的获取。采用四叉树的分块思想,尽可能最大程度的去除其他无用特征点。
结合图12,四叉树均匀化的算法实现过程如下:
a)根据步骤3保留的四叉树链表构造节点,每一节点对应一个区域;去除所有像素的灰度值全部大于灰度阈值T的区域,即去除物体的内部无用部分,只保留边缘特征点。
b)将步骤4检测到的特征点分配给步骤a)中构造的节点。
c)在每个节点中,比较此区域内所有特征点的Harris响应值,仅保留Harris响应值最强的点,即每个节点只保留一个特征点。若区域内没有特征点,则在四叉树链表中删除此节点。
通过四叉树均匀化算法能有效分散扎推在物体角点处的特征点,并去除分散在其他区域的特征点,最大可能的保留响应最强的特征点,即物体的角点。该算法相对于传统的ORB算法精确度有明显提高,对后续的特征匹配和三维运算奠定基础。
步骤6:使用BRIEF特征描述来匹配左右图片的特征点并使用Ransac算法去除错误匹配。
BRIEF算法的描述子以二进制形式表达,该算法的本质思想是以特定模式在中心点P的周围选取n个点对(点对即指左右图片各选取一个对应的点,构成一个点对),点对的灰度值比较结果的集合排序作为描述子。为解决错误匹配点以及存在无法匹配特征点的情况,使用Ransac对误匹配进行消除,去除不属于模型的局外点及噪声。
算法实现过程如下:
a)以特征点P为中心,取S×S的邻域窗口。在窗口内随机选取一对像素点(从左右照片中各选取一个点,且左右照片中所选取的点相对应,构成一个点对),选取像素点对满足以下高斯分布:
Figure BDA0003357156520000091
将该像素点对灰度值进行比较,按照以下规则二进制赋值:
Figure BDA0003357156520000092
其中a,b为选取的随机点对,I(a),I(b)表示所选取的点a,b的灰度值。
b)对窗口中随机选取所有的n对像素点,以公式(7)中规则进行赋值,形成一个二进制码。这个编码就是对特征点属性的描述,即特征描述子。一般n=256。
BRIEF描述子表达式为:
Figure BDA0003357156520000093
BRIEF算法在选取点对时,通常以当前特征点为原点,其水平方向为x轴,垂直方向为y轴建立坐标系。当图片旋转后,其建立的坐标系会发生改变,以特定模式选取的n个点对也将发生变化,这样描述子将不具备旋转一致性。因此,ORB算法通过灰度质心法(Intensity Centroid)来建立坐标系使其具备旋转一致性。其中横坐标主方向是由特征点到灰度质心点形成的向量决定的,灰度质心在特征点以r为半径的范围内可由矩计算获得。
矩计算:
Figure BDA0003357156520000094
其中x,y表示像素坐标,I(x,y)表示此像素坐标的灰度值,p,q={0,1}。
质心坐标为:
Figure BDA0003357156520000101
图13为灰度质心法示意图,其中,方向向量
Figure BDA0003357156520000102
作为特征点的主方向,特征方向表示为:
θ=arctan(m01,m10) (11)
对上述特征点得到的二进制编码形式的特征描述子按位进行异或操作,得到汉明距离,与设定的阈值T″进行比较,若小于设定阈值T″,则特征点匹配成功,随后进行Ransac算法剔除错误匹配。至此,特征点检索和匹配部分完成。
图14为传统ORB特征点匹配效果图,可以看出左右两图特征点都集中在物体上,而且在背景也有无用的匹配点,影响物体真正角点的定位。
图15为本发明改进四叉树ORB特征点匹配效果图,经过四叉树算法锁定物体区域,并通过均匀化算法降低特征点密度并只保留特征点响应值最高的4个点,为后续提取坐标和计算做准备。
步骤7:通过三角测量原理恢复特征点在世界坐标系中的坐标。
图16为世界坐标系X坐标恢复示意图。
由公式(1)可知:
K=fB (12)
K值已经通过拟合得出,B为基线距离,而基线距离已知,则f值亦可求出。
由步骤1得到的深度和视差关系式(即公式(3)),将测得的特征点视差带入公式(3)中可求得每个特征点的深度信息,即Z值,根据图16中三角形相似原理:
Figure BDA0003357156520000103
其中,X为待计算点在世界坐标系下的X轴坐标值;X1为待计算点在图像坐标系下的X轴坐标值;Z为测得的待测点深度(也即待计算点在世界坐标系下的Z轴坐标值);f为相机焦距。
Y轴坐标值同理:
Figure BDA0003357156520000104
其中,Y1为待计算点在图像坐标系下的Y轴坐标值;Y为待计算点在世界坐标系下的Y轴坐标值。
步骤8:根据空间距离公式计算物体尺寸。
表1使用本发明方法计算得到的角点世界坐标系坐标结果
Figure BDA0003357156520000111
表2传统使用Matlab标定工具箱并使用传统ORB匹配算法的计算结果和使用拟合K值并使用改进四叉树ORB特征点匹配算法的结果与实际测量结果的误差
Figure BDA0003357156520000112
由表2可以看出,采用本发明中方法相比传统方法,能够显著减小测量误差,提高测量精度。

Claims (5)

1.一种基于改进四叉树ORB算法的双目测距方法,其特征是,包括如下步骤:
1)通过双目相机对标定板进行不同距离的拍照,拟合得到深度与视差的关系:Z=57780/D+7.224,其中,Z为深度,D为视差;
2)采用双目相机对目标物体进行拍照,并对所拍摄图像进行双边滤波;
3)通过四叉树分解方法来精简检索域,剔除背景区域;具体是:设置一灰度阈值T以及分裂次数M,将待分裂图像均等分为四个子区域,计算每个子区域内像素灰度值大于灰度阈值T的比例,若该比例小于0.05,则认为此子区域是背景区域,将其剔除;若该比例大于等于0.05小于0.5,则对该子区域继续采用四叉树分解方法来精简检索域,剔除背景区域,直至分裂次数达到M;若该比例大于等于0.5,则保留该子区域为检索域,不再进行后续分裂、精简检索域;每分裂完成一次对四叉树链表进行一次更新;
4)采用FAST算法和Kitchen-Rosenfeld算法同时检测特征点;
5)采用四叉树均匀化算法细分特征点,分散扎推在目标物体角点处的特征点,去除分散在其他非目标物体角点区域的特征点;
6)使用BRIEF特征描述来匹配左右图像的特征点,并使用Ransac算法去除错误匹配;
7)通过三角测量原理恢复特征点坐标;
8)根据空间距离公式计算目标物体尺寸。
2.根据权利要求1所述的基于改进四叉树ORB算法的双目测距方法,其特征是,步骤5)具体如下:
a)根据步骤3)的四叉树链表构造节点,每一节点对应一个区域;去除所有像素的灰度值均大于灰度阈值T的区域,即去除目标物体的内部无用部分;
b)将步骤4)检测到的特征点分配给步骤a)中构造的节点;
c)在每个节点中,比较此区域内所有特征点的Harris响应值,仅保留Harris响应值最强的点,即每个节点只保留一个特征点;若区域内没有特征点,则在四叉树链表中删除此节点。
3.根据权利要求1所述的基于改进四叉树ORB算法的双目测距方法,其特征是,步骤4)中,采用FAST算法检测特征点的步骤如下:
a)从图像中选取一个像素点P,把它的灰度值记为IP
b)选取灰度阈值T′;若2个像素点灰度值之差的绝对值大于T′,表示这是不同的2个像素点;
c)以P点为圆心提取半径为3个像素点的圆周上16个像素点,按照顺时针方向记录为1~16,16个像素点的灰度值为IX,X=1,……,16;
d)若存在连续N个点满足|IP-IX|>T′,则像素点P为特征点;N为9或12;
e)对所有特征点进行非极大值抑制。
4.根据权利要求1所述的基于改进四叉树ORB算法的双目测距方法,其特征是,步骤4)中,采用Kitchen-Rosenfeld算法检测特征点的步骤如下:
a)计算图像的一阶导数和二阶导数;
b)利用如下公式计算角点响应函数C;
Figure FDA0003357156510000021
其中,Ix、Iy为图像I的一阶导数,Ixx、Iyy和Ixy为图像的二阶导数;
c)对角点响应函数进行非极大值抑制。
5.根据权利要求1所述的基于改进四叉树ORB算法的双目测距方法,其特征是,步骤7)通过三角测量原理恢复特征点坐标,具体如下:
a)根据步骤1)中Z=57780/D+7.224可知K为57780,再根据公式K=fB计算出焦距f,B为基线距离;
b)根据特征点在左右图像中的视差D,并依据公式Z=57780/D+7.224可求出特征点在世界坐标系下的Z轴坐标值,也即深度;
c)根据三角形相似原理,并依据如下公式求得特征点在世界坐标系下的X轴和Y轴坐标值:
Figure FDA0003357156510000022
Figure FDA0003357156510000023
其中,X1为特征点在图像坐标系下的X轴坐标值,Y1为特征点在图像坐标系下的Y轴坐标值。
CN202111355050.8A 2021-11-16 2021-11-16 基于改进四叉树orb算法的双目测距方法 Active CN114199205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111355050.8A CN114199205B (zh) 2021-11-16 2021-11-16 基于改进四叉树orb算法的双目测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111355050.8A CN114199205B (zh) 2021-11-16 2021-11-16 基于改进四叉树orb算法的双目测距方法

Publications (2)

Publication Number Publication Date
CN114199205A true CN114199205A (zh) 2022-03-18
CN114199205B CN114199205B (zh) 2023-09-05

Family

ID=80647681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111355050.8A Active CN114199205B (zh) 2021-11-16 2021-11-16 基于改进四叉树orb算法的双目测距方法

Country Status (1)

Country Link
CN (1) CN114199205B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671011A (zh) * 2024-01-31 2024-03-08 山东大学 基于改进orb算法的agv定位精度提升方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777189A (zh) * 2009-12-30 2010-07-14 武汉大学 LiDAR三维立体环境下测图和质量检查方法
WO2019067695A1 (en) * 2017-10-01 2019-04-04 Airspace Systems, Inc. FLIGHT CONTROL USING VISION BY COMPUTER
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法
CN110081862A (zh) * 2019-05-07 2019-08-02 达闼科技(北京)有限公司 一种对象的定位方法、定位装置、电子设备和可存储介质
CN110334762A (zh) * 2019-07-04 2019-10-15 华南师范大学 一种基于四叉树结合orb和sift的特征匹配方法
CN110414533A (zh) * 2019-06-24 2019-11-05 东南大学 一种改进orb的特征提取与匹配方法
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法
CN112017259A (zh) * 2020-08-27 2020-12-01 河北工业大学 一种基于深度相机与热像仪的室内定位与建图方法
JP6852936B1 (ja) * 2019-11-15 2021-03-31 広東工業大学Guangdong University Of Technology 深度点線特徴に基づくドローン視覚走行距離計方法
CN113501167A (zh) * 2021-07-09 2021-10-15 南京荣新智能科技有限公司 一种基于双目视觉的中药小包装定位方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777189A (zh) * 2009-12-30 2010-07-14 武汉大学 LiDAR三维立体环境下测图和质量检查方法
WO2019067695A1 (en) * 2017-10-01 2019-04-04 Airspace Systems, Inc. FLIGHT CONTROL USING VISION BY COMPUTER
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法
CN110081862A (zh) * 2019-05-07 2019-08-02 达闼科技(北京)有限公司 一种对象的定位方法、定位装置、电子设备和可存储介质
CN110414533A (zh) * 2019-06-24 2019-11-05 东南大学 一种改进orb的特征提取与匹配方法
CN110334762A (zh) * 2019-07-04 2019-10-15 华南师范大学 一种基于四叉树结合orb和sift的特征匹配方法
JP6852936B1 (ja) * 2019-11-15 2021-03-31 広東工業大学Guangdong University Of Technology 深度点線特徴に基づくドローン視覚走行距離計方法
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法
CN112017259A (zh) * 2020-08-27 2020-12-01 河北工业大学 一种基于深度相机与热像仪的室内定位与建图方法
CN113501167A (zh) * 2021-07-09 2021-10-15 南京荣新智能科技有限公司 一种基于双目视觉的中药小包装定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋超群;许四祥;杨宇;化猛奇: "一种基于改进ORB算法的双目视觉测距方法", 光电子·激光, no. 002 *
李昆仑;孙硕;: "基于改进SIFT算法的图像复制粘贴篡改检测", 计算机科学, no. 1 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671011A (zh) * 2024-01-31 2024-03-08 山东大学 基于改进orb算法的agv定位精度提升方法及系统
CN117671011B (zh) * 2024-01-31 2024-05-28 山东大学 基于改进orb算法的agv定位精度提升方法及系统

Also Published As

Publication number Publication date
CN114199205B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN110310320B (zh) 一种双目视觉匹配代价聚合优化方法
CN112767490B (zh) 一种基于激光雷达的室外三维同步定位与建图方法
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
CN111028292B (zh) 一种亚像素级图像匹配导航定位方法
CN112734839B (zh) 一种提高鲁棒性的单目视觉slam初始化方法
CN104933434A (zh) 一种结合LBP特征提取和surf特征提取方法的图像匹配方法
CN108550166B (zh) 一种空间目标图像匹配方法
CN112163588A (zh) 基于智能进化的异源图像目标检测方法、存储介质及设备
Bethmann et al. Semi-global matching in object space
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN111402330A (zh) 一种基于平面靶标的激光线关键点提取方法
CN110766782A (zh) 基于多无人机视觉协同的大型施工场景实时重构方法
CN113393524A (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN114199205B (zh) 基于改进四叉树orb算法的双目测距方法
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
CN107122782B (zh) 一种均衡的半密集立体匹配方法
KR100792172B1 (ko) 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
CN111160362B (zh) 一种fast特征均匀化提取与帧间特征误匹配去除方法
CN110111368B (zh) 一种基于人体姿态识别的相似移动目标的检测跟踪方法
CN116843829A (zh) 基于双目视频的混凝土结构裂缝三维重建与长度量化方法
CN113688816B (zh) 一种改进orb特征点提取的视觉里程计的计算方法
KR20160049639A (ko) 부분 선형화 기반의 3차원 영상 정합 방법
Kang et al. 3D urban reconstruction from wide area aerial surveillance video
KR101220003B1 (ko) 시차 맵 생성 방법
CN116721109B (zh) 一种双目视觉图像半全局匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant