CN111105452A - 基于双目视觉的高低分辨率融合立体匹配方法 - Google Patents

基于双目视觉的高低分辨率融合立体匹配方法 Download PDF

Info

Publication number
CN111105452A
CN111105452A CN201911173401.6A CN201911173401A CN111105452A CN 111105452 A CN111105452 A CN 111105452A CN 201911173401 A CN201911173401 A CN 201911173401A CN 111105452 A CN111105452 A CN 111105452A
Authority
CN
China
Prior art keywords
parallax
cost
value
window
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911173401.6A
Other languages
English (en)
Other versions
CN111105452B (zh
Inventor
赖剑煌
陈家鑫
谢晓华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN201911173401.6A priority Critical patent/CN111105452B/zh
Publication of CN111105452A publication Critical patent/CN111105452A/zh
Application granted granted Critical
Publication of CN111105452B publication Critical patent/CN111105452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于双目视觉的高低分辨率融合立体匹配方法，包括步骤：输入左右两张高分辨率图片和立体匹配的参数；图像进行预处理，计算左右图中视差搜索范围内的每一对像素点的视差代价，得到视差代价矩阵；视差代价矩阵下采样，得到降维后的视差代价矩阵；降维后的视差代价矩阵进行视差代价聚合，得到最佳匹配点；根据最佳匹配点进行匹配，得到视差图。本发明在预处理和视差代价计算步骤使用清晰的高分辨率图片，可得到准确的视差代价，在视差代价聚合和后处理步骤按照低分辨率图片的流程处理，可减少计算所需的时间。本发明通过立体匹配的准确率测试和耗时测试，表明本方法在准确率和耗时方面相较于现有技术，具有既准确又耗时少的优点。

Description

基于双目视觉的高低分辨率融合立体匹配方法
技术领域
本发明涉及双目视觉立体匹配领域，特别涉及一种基于双目视觉的高低分辨率融合立体匹配方法。
背景技术
双目视觉广泛应用于机器人视觉、自动驾驶等领域，能够提供物体的三维信息。比如在汽车上搭载的双目相机，除了可以提供传统二维图像上的行人形状等信息，还可以提供行人离汽车的距离这一个深度信息。双目视觉可以构建一个真实的三维世界，在三维世界中，可以解决很多在传统二维图像上难以解决的问题。
双目视觉整个流程包括相机标定、立体矫正、立体匹配、三维重建四个环节，其中立体匹配是双目视觉领域的关键环节。同一物体用双目相机拍摄，会呈现在左右两张图像中的不同位置，立体匹配旨在找到这两个不同的位置，得到一对匹配点。
目前立体匹配算法比较通用的是BM算法和SGBM算法，SGBM算法的准确率比BM算法高很多，因此更为常用。SGBM算法参见Hirschm H.Stereo Processing by SemiglobalMatching and Mutual Information[J].IEEE Transactions on Pattern Analysis andMachine Intelligence,2007,30(2):328-341。在嵌入式开发平台上使用SGBM算法时，可接受输入高分辨率图片或者低分辨率图片，高分辨率图片的匹配结果准确，但是耗时巨大，难以实现实时性，低分辨率图片在嵌入式平台上的计算处理时间短，能达到实时，但是结果很不准确，达不到可用的标准。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于双目视觉的高低分辨率融合立体匹配方法，该方法适当地融合了高低分辨率图片的处理流程，扬长避短，既保证了高分辨率处理流程的准确，又取得了低分辨率处理流程的低耗时，节省了计算资源。
发明的目的通过以下的技术方案实现：基于双目视觉的高低分辨率融合立体匹配方法，包括步骤：
输入双目相机拍摄得到的左右两张高分辨率图片以及立体匹配的参数；
对图像进行预处理，计算左右图中处于视差搜素范围内的每一对像素点的视差代价，得到视差代价矩阵；
视差代价矩阵下采样，得到降维后的视差代价矩阵；
针对降维后的视差代价矩阵进行视差代价聚合，得到最佳匹配点；
根据上述最佳匹配点进行匹配，得到视差图。
本发明在预处理和视差代价计算步骤使用清晰的高分辨率图片，得到准确的视差代价，在视差代价聚合步骤按照低分辨率图片的流程处理，减少了计算所需的时间，既保证了高分辨率处理流程的准确，又取得了低分辨率处理流程的低耗时。
优选的，所述立体匹配的参数包括：视差搜索范围、窗口大小、唯一性检测阈值、最小视差、截断阈值、连通区域的噪点面积阈值、判定为连通区域的灰度值范围。
优选的，所述对图像进行预处理，包括步骤：
(1-1)输入一张高分辨率的图片，做水平方向的sobel处理，得到边缘信息；
(1-2)根据截断阈值处理公式得到截断处理后的值Vnew，截断阈值处理公式如下：
Figure BDA0002289339790000021
其中，V表示某个像素点经过sobel处理后得到的值，P为截断阈值；
(1-3)截断之后，把每个像素点的Vnew存储在内存中，待后续使用；原RGB图转化为灰度图，把每个像素点的灰度值也存储在内存中，待后续使用。
优选的，所述视差代价的计算步骤如下：
(2-1)设左图某个像素点sobel处理并截断后的值为Pleft，右图某个像素点sobel处理并截断后的值为Pright，Pleft左侧邻近点为Pleft-1，Pleft右侧邻近点为Pleft+1，Pright左侧邻近点为Pright-1，Pright右侧邻近点为Pright+1，得到如下四个亚像素点的值：
Figure BDA0002289339790000031
Figure BDA0002289339790000032
Figure BDA0002289339790000033
Figure BDA0002289339790000034
获取Pright-0.5，Pright，Pright+0.5三个值中最大的一个记为V1，最小的一个记为V0；
获取Pleft-0.5，Pleft，Pleft+0.5三个值中最大的一个记为U1，最小的一个记为U0；
获取Pleft-V1，V0-Pleft，0三个数中最大的一个，记为C0；
获取Pright-U1，U0-Pright，0三个数中最大的一个，记为C1；
C1与C0中小的那个作为Pleft和Pright匹配的代价；
(2-2)同样按照上述方法，灰度值比较得到匹配代价，得到的匹配代价再除以4，再加上步骤(2-1)得到的边缘信息匹配代价，作为左右图中一对像素点的视差匹配代价。
优选的，所述视差代价矩阵下采样的步骤如下：
(3-1)假设处理的图片宽度是width，高度是height，即图片中的像素点个数是width*height，每个像素点可得到NumofDisparities个视差代价的值，其中NumofDisparities表示视差搜索范围；每张图片对应得到一个三维的矩阵，维度是width*height*NumofDisparities；
(3-2)降低矩阵维度到width/2*height/2*NumofDisparities，得到降维后的视差代价矩阵。
优选的，针对降维后的视差代价矩阵进行视差代价聚合，步骤是：
(4-1)计算窗口视差代价。设置一个窗口，窗口长宽都为SADWindowsize，把整个窗口中的所有像素点的视差取值为d，把窗口中所有像素点的代价cost(p，d)加起来，得到整一个窗口的代价，记为C(p，d)。
(4-2)动态规划做代价聚合。动态规划的处理公式如下：
Lr(p，d)＝C(p，d)+min(Lr(p-r，d)，Lr(p-r，d-1)+P1，Lr(p-r，d+1)+P1，minLr(p-r，i)+P2)-minLr(p-r，k)
动态规划处理是多方向的，要一个一个方向来处理，处理过程中先选定其中某一个方向为r，p指当前像素点所在的窗口，Lr(p，d)表示沿着当前方向，当p的视差取值为d时的最小的匹配代价。假设处理了N个方向的动态规划，N个方向的Lr(p，d)加起来，即得到当前窗口的视差取值为d时的代价S(p，d)。视差d的取值一共有NumofDisparities个，也就是说当前像素点有NumofDisparities个S(p，d)，其中最小的一个就是当前像素点的最佳视差，即得到最佳匹配点。
优选的，所述基于双目视觉的高低分辨率融合立体匹配方法还包括后处理步骤，该步骤包括：
(5-1)唯一性检测：设唯一性检测阈值为U，那么必须满足下述公式，才认为计算的视差代价是合理的代价：
Figure BDA0002289339790000041
并且，次佳视差像素点和最佳视差像素点的距离要在一个像素以上(不含一个像素)。
(5-2)亚像素插值：亚像素插值选择的是抛物线插值法，找到极小值点。
处理公式如下：
假设当前点的最佳视差值是d，那么可以得到denom2的值。S(p，d-1)、S(p，d)和S(p，d+1)这些数值可以构成一条曲线，曲线在S(p，d-1)这一点的二次导数和1这两个数值中的较大值就是denom2，也就是保证了最后denom2可以取得大于等于1的一个数值，denom2如下：denom2＝max(S(p，d-1)+S(p，d+1)-2*S(p，d)，1)；
接着拟合得到一个新的d值d_new，如下：
Figure BDA0002289339790000042
(5-3)连通区域检测噪点并去除：调用opencv的filterSpeckles函数，输入待处理的视差图、无效值、判定为连通区域的灰度值范围SpeckleRange和连通区域的噪点面积阈值SpeckleWindowsize这四个参数值，找到视差图中的噪点连通区域，把这些区域的视差值置为无效值，最后可以得到去除噪点后的视差图。
本发明与现有技术相比，具有如下优点和有益效果：
现有技术只能接受输入高分辨率图片或者低分辨率图片，然后按照SGBM算法的处理流程来走，只能接受准确率高但是耗时巨大或者准确率低但是耗时短的两种结果，无法做到又准又快。本发明在预处理和视差代价计算步骤使用清晰的高分辨率图片，得到了准确的视差代价，在视差代价聚合和后处理步骤按照低分辨率图片的流程处理，减少了计算所需的时间。后续做了立体匹配的准确率测试和耗时测试，表明本发明方法在准确率和耗时方面都取得了良好的效果，既保证了高分辨率处理流程的准确，又取得了低分辨率处理流程的低耗时。
附图说明
图1是本发明方法的流程图。
图2是传统高分辨率处理流程得到的视差图。
图3是传统低分辨率处理流程得到的视差图。
图4是本实施例方法得到的视差图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本实施例一种基于双目视觉的高低分辨率融合立体匹配方法，包括步骤：
一、输入一系列立体匹配的参数，包括：
视差搜索范围NumofDisparities
窗口大小SADWindowsize
唯一性检测阈值Uniquenessratio
最小视差MinDisparity
截断阈值P
连通区域的噪点面积阈值SpeckleWindowsize
判定为连通区域的灰度值范围SpeckleRange。
二、预处理
(1)水平方向的sobel处理
输入一张高分辨率的图片，做水平方向的sobel处理，得到边缘信息。
水平方向的sobel处理算子如下：
Figure BDA0002289339790000061
(2)截断处理
设某个像素点经过sobel处理后得到的值是V，截断阈值为P，截断处理后的值为Vnew，那么截断处理的公式如下。
Figure BDA0002289339790000062
(3)边缘值和灰度值的存储
截断之后，把每个像素点的Vnew存储在内存中，待后续使用。
原RGB图转化为灰度图，把每个像素点的灰度值也存储在内存中，待后续使用。
三、视差代价计算
左图的每个像素点在右图中有NumofDisparities个可能的对应匹配点，要逐一计算出这些匹配点的匹配代价，从中选出最小的一个作为最合适的匹配点。
计算的方法如下：
(1)边缘信息比较得到的代价
设左图某个像素点sobel处理并截断后的值为Pleft，右图某个像素点为Pright，Pleft左侧邻近点为Pleft-1，Pleft右侧邻近点为Pleft+1，Pright左侧邻近点为Pright-1，Pright右侧邻近点为Pright+1，可得如下四个亚像素点的值。
Figure BDA0002289339790000063
Figure BDA0002289339790000064
Figure BDA0002289339790000065
Figure BDA0002289339790000066
可得到Pright-0.5，Pright，Pright+0.5三个值中最大的一个，记为V1，最小的一个记为V0。
可得到Pleft-0.5，Pleft，Pleft+0.5三个值中最大的一个，记为U1，最小的一个记为U0。
进而可得到Pleft-V1，V0-Pleft，0三个数中最大的一个，记为C0。
可得到Pright-U1，U0-Pright，0三个数中最大的一个，记为C1。
C1与C0中小的那个作为Pleft和Pright匹配的代价。
这是边缘信息比较得到的代价。
(2)灰度值比较得到的代价
按照上述方法，比较灰度值同样可以得到代价。灰度值比较得到的匹配代价除以4，加上(1)中得到的边缘信息代价，作为左右图中一对像素点的视差匹配代价。
四、视差代价矩阵下采样
假设上述步骤处理的图片宽度是width，高度是height，即图片中的像素点个数是width*height，每个像素点可以得到NumofDisparities个视差代价的值，也就是说处理完上述步骤后，对于每张图片实际得到了一个三维的矩阵，维度是width*height*NumofDisparities。
为了降低计算处理的时间，同时不影响视差匹配的效果，这里降低矩阵维度到width/2*height/2*NumofDisparities。
五、视差代价聚合
上述视差代价计算步骤得到了每个像素点的NumofDisparities个匹配代价，从中可以选出最小的一个作为最适合的匹配点，但是这样很大可能会出现噪点，因此有必要考虑周围点的视差值。
考虑周围点视差值有两种方式，如下。
(1)窗口视差代价
上述步骤得到了每个像素点的视差代价，当某个像素点p视差取值为d时，代价记为cost(p，d)。考虑一个窗口，把整个窗口中的所有像素点的视差取值为d，得到整一个窗口的代价，记为C(p，d)。窗口长宽都为SADWindowsize，C(p，d)就是把窗口中所有像素点的cost(p，d)加起来。
(2)动态规划做代价聚合
选用动态规划作为代价聚合的方式。动态规划的处理公式如下：
Lr(p，d)＝C(p，d)+min(Lr(p-r，d)，Lr(p-r，d-1)+P1，Lr(p-r，d+1)+P1，minLr(p-r，i)+P2)-minLr(p-r，k)
动态规划处理是多方向的，要一个一个方向来处理。处理过程是：先选定其中某一个方向为r，比如从左到右。上述公式中p指当前像素点所在的窗口，Lr(p，d)表示沿着当前方向，当p的视差取值为d，考虑上周围窗口的视差值时，最小的匹配代价是多少。可以看到Lr(p，d)的取值除了考虑到当前窗口取视差d时的代价，还考虑了该方向前一个窗口视差值的影响。
假设处理了N个方向的动态规划，N个方向的Lr(p，d)加起来，可以得到当前窗口的视差取值为d时，代价有多大，记为S(p，d)。视差d的取值一共有NumofDisparities个，也就是说当前像素点有NumofDisparities个S(p，d)，从中找到最小的一个就是当前像素点的最佳视差。
六、后处理步骤
(1)唯一性检测
假设唯一性检测阈值为U，那么必须满足下述公式，才认为步骤五中聚合得到最佳视差是合理的视差：
Figure BDA0002289339790000081
并且，次佳视差像素点和最佳视差像素点的距离要在一个像素以上(不含一个像素)。
(2)亚像素插值
亚像素插值选择的是抛物线插值法，找到极小值点。处理公式如下：
假设当前点的最佳视差值是d，那么可以得到denom2的值如下。
denom2＝max(S(p，d-1)+S(p，d+1)-2*S(p，d)，1)
接着拟合得到一个新的d值d_new，如下。
Figure BDA0002289339790000082
(3)连通区域检测噪点并去除
调用opencv的filterSpeckles函数，输入待处理的视差图、无效值、SpeckleRange和SpeckleWindowsize这四个参数值，找到视差图中的噪点连通区域，把这些区域的视差值置为无效值，最后可以得到去除噪点后的视差图。
为了说明本发明的创造性，本实施例进行了立体匹配的准确率测试实验，实验过程如下：
把摄像头放置于三脚架上，拍摄一定距离(比如1m、1.5m)外的墙体，墙体上增加一些纹理，使得纹理比较多，保证使用立体匹配方法可以求得比较准确的深度。尽可能保证摄像头所在平面跟墙体平面是平行的。拍下左右两张图片后，经过本发明方法的处理，得到视差图，如图4所示。
同样的左右两张图，输入传统的高分辨率SGBM处理流程和传统的低分辨率处理流程，同样得到图2、图3所示的视差图。
经过测试，墙体离摄像头距离为100cm。
高分辨率处理流程得到的结果是，跟100cm的实际距离有正负3cm误差的像素点个数占所有像素点个数的46.36％，跟100cm的实际距离有正负5cm误差的像素点个数占所有像素点个数的53.34％，跟100cm的实际距离有正负10cm误差的像素点个数占所有像素点个数的98.31％。
低分辨率处理流程得到的结果是，正负3cm误差的像素点占比7.01％，正负5cm误差的像素点占比21.71％，正负10cm误差的像素点占比98.68％。
本发明方法得到的结果是，正负3cm误差的像素点占比48.10％，正负5cm误差的像素点占比58.59％，正负10cm误差的像素点占比98.70％。
经过测试，本方法得到的视差图接近高分辨率处理流程得到的视差图，跟低分辨率处理流程得到的视差图很不一样，说明本方法的准确程度跟高分辨率处理流程的接近。
为了说明本发明的创造性，本实施例进行了立体匹配的耗时测试实验，实验过程如下：
测试平台为全志H3开发板，四个CPU核。测试本方法和输入高分辨率图片、低分辨率图片的现有方法的耗时。
经过测试，本方法可以取得比较接近低分辨率处理流程的耗时。在H3开发板上实测耗时为0.075s，现有方法低分辨率处理流程的耗时是0.05s，现有方法高分辨率处理流程的耗时是0.22s。如果结合一些其他现有的技术方案，本发明方法实测可以取得每秒二十多帧的处理速度。
本实施例对现有的输入高分辨率图片和低分辨率图片的方法，与本实施例方法进行了对比。实验显示，本发明方法结果准确且耗时短，有利于嵌入式系统的使用。
本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
另外，在本发明实施例中的各个步骤可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.基于双目视觉的高低分辨率融合立体匹配方法，其特征在于，包括步骤：
输入双目相机拍摄得到的左右两张高分辨率图片以及立体匹配的参数；
对图像进行预处理，计算左右图中处于视差搜素范围内的每一对像素点的视差代价，得到视差代价矩阵；
视差代价矩阵下采样，得到降维后的视差代价矩阵；
针对降维后的视差代价矩阵进行视差代价聚合，得到最佳匹配点；
根据上述最佳匹配点进行匹配，得到视差图。
2.根据权利要求1所述的基于双目视觉的高低分辨率融合立体匹配方法，其特征在于，所述立体匹配的参数包括：视差搜索范围、窗口大小、唯一性检测阈值、最小视差、截断阈值、连通区域的噪点面积阈值、判定为连通区域的灰度值范围。
3.根据权利要求1所述的基于双目视觉的高低分辨率融合立体匹配方法，其特征在于，所述对图像进行预处理，包括步骤：
(1-1)输入一张高分辨率的图片，做水平方向的sobel处理，得到边缘信息；
(1-2)根据截断阈值处理公式得到截断处理后的值Vnew，截断阈值处理公式如下：
Figure FDA0002289339780000011
其中，V表示某个像素点经过sobel处理后得到的值，P为截断阈值；
(1-3)截断之后，把每个像素点的Vnew存储在内存中；原RGB图转化为灰度图，把每个像素点的灰度值也存储在内存中。
4.根据权利要求1所述的基于双目视觉的高低分辨率融合立体匹配方法，其特征在于，所述视差代价的计算步骤如下：
(2-1)设左图某个像素点sobel处理并截断后的值为Pleft，右图某个像素点sobel处理并截断后的值为Pright，Pleft左侧邻近点为Pleft-1，Pleft右侧邻近点为Pleft+1，Pright左侧邻近点为Pright-1，Pright右侧邻近点为Pright+1，得到如下四个亚像素点的值：
Figure FDA0002289339780000012
Figure FDA0002289339780000013
Figure FDA0002289339780000021
Figure FDA0002289339780000022
获取Pright-0.5，Pright，Pright+0.5三个值中最大的一个记为V1，最小的一个记为V0；
获取Pleft-0.5，Pleft，Pleft+0.5三个值中最大的一个记为U1，最小的一个记为U0；
获取Pleft-V1，V0-Pleft，0三个数中最大的一个，记为C0；
获取Pright-U1，U0-Pright，0三个数中最大的一个，记为C1；
C1与C0中小的那个作为Pleft和Pright匹配的代价；
(2-2)同样按照上述方法，灰度值比较得到匹配代价，得到的匹配代价再除以4，再加上步骤(2-1)得到的边缘信息匹配代价，作为左右图中一对像素点的视差匹配代价。
5.根据权利要求1所述的基于双目视觉的高低分辨率融合立体匹配方法，其特征在于，所述视差代价矩阵下采样的步骤如下：
(3-1)假设处理的图片宽度是width，高度是height，即图片中的像素点个数是width*height，每个像素点得到NumofDisparities个视差代价的值，其中NumofDisparities表示视差搜索范围；每张图片对应得到一个三维的矩阵，维度是width*height*NumofDisparities；
(3-2)降低矩阵维度到width/2*height/2*NumofDisparities，得到降维后的视差代价矩阵。
6.根据权利要求1所述的基于双目视觉的高低分辨率融合立体匹配方法，其特征在于，针对降维后的视差代价矩阵进行视差代价聚合，步骤是：
(4-1)计算窗口视差代价：设置一个窗口，窗口长宽都为SADWindowsize，把整个窗口中的所有像素点的视差取值为d，把窗口中所有像素点的代价cost(p，d)加起来，得到整一个窗口的代价，记为C(p，d)；
(4-2)动态规划做代价聚合：
动态规划的处理公式如下：
Lr(p，d)＝C(p，d)+min(Lr(p-r，d)，Lr(p-r，d-1)+P1，Lr(p-r，d+1)+P1，minLr(p-r，i)+P2)-minLr(p-r，k)
动态规划处理是多方向的，要一个一个方向来处理，处理过程中先选定其中某一个方向为r，P1和P2指惩罚代价，其中P1指当前像素点所在窗口视差为d且前一个像素点所在窗口视差为d-1或者为d+1时当前像素点所在窗口要加上的惩罚代价，P2则指当前像素点所在窗口视差为d且前一个像素点所在窗口视差为小于d-1或者大于d+1时当前像素点窗口要加上的惩罚代价，p指当前像素点所在的窗口，Lr(p，d)表示沿着当前方向，当p的视差取值为d时的最小的匹配代价；
假设处理了N个方向的动态规划，N个方向的Lr(p，d)加起来，即得到当前窗口的视差取值为d时的代价S(p，d)，视差d的取值一共有NumofDisparities个，也就是说当前像素点有NumofDisparities个S(p，d)，其中最小的一个就是当前像素点的最佳视差，得到最佳匹配点。
7.根据权利要求1所述的基于双目视觉的高低分辨率融合立体匹配方法，其特征在于，所述基于双目视觉的高低分辨率融合立体匹配方法还包括后处理步骤，该步骤包括：
(5-1)唯一性检测：设唯一性检测阈值为U，那么必须满足下述公式，才认为计算的视差代价是合理的代价：
Figure FDA0002289339780000031
并且，次佳视差像素点和最佳视差像素点的距离要在一个像素以上；
(5-2)亚像素插值：亚像素插值选择的是抛物线插值法，找到极小值点，处理公式如下：
假设当前点的最佳视差值是d，那么可以得到denom2的值，S(p，d-1)、S(p，d)和S(p，d+1)这些数值可以构成一条曲线，曲线在S(p，d-1)这一点的二次导数和1这两个数值中的较大值就是denom2，也就是保证了最后denom2可以取得大于等于1的一个数值，denom2如下：
denom2＝max(S(p，d-1)+S(p，d+1)-2*S(p，d)，1)
接着拟合得到一个新的d值d_new，如下：
Figure FDA0002289339780000032
(5-3)连通区域检测噪点并去除：调用opencv的filterSpeckles函数，输入待处理的视差图、无效值、判定为连通区域的灰度值范围SpeckleRange和连通区域的噪点面积阈值SpeckleWindowsize这四个参数值，找到视差图中的噪点连通区域，把这些区域的视差值置为无效值，最后可以得到去除噪点后的视差图。
CN201911173401.6A 2019-11-26 2019-11-26 基于双目视觉的高低分辨率融合立体匹配方法 Active CN111105452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911173401.6A CN111105452B (zh) 2019-11-26 2019-11-26 基于双目视觉的高低分辨率融合立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911173401.6A CN111105452B (zh) 2019-11-26 2019-11-26 基于双目视觉的高低分辨率融合立体匹配方法

Publications (2)

Publication Number Publication Date
CN111105452A true CN111105452A (zh) 2020-05-05
CN111105452B CN111105452B (zh) 2023-05-09

Family

ID=70421332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911173401.6A Active CN111105452B (zh) 2019-11-26 2019-11-26 基于双目视觉的高低分辨率融合立体匹配方法

Country Status (1)

Country Link
CN (1) CN111105452B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915503A (zh) * 2020-06-12 2020-11-10 华南理工大学 一种基于树形神经网络结构的视差获取方法、存储介质及计算设备
CN112802079A (zh) * 2021-01-19 2021-05-14 奥比中光科技集团股份有限公司 一种视差图获取方法、装置、终端和存储介质
CN113888614A (zh) * 2021-09-23 2022-01-04 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
US11460854B1 (en) * 2020-04-28 2022-10-04 Amazon Technologies, Inc. System to determine floor or obstacle by autonomous mobile device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887021A (zh) * 2019-01-19 2019-06-14 天津大学 基于跨尺度的随机游走立体匹配方法
CN110310320A (zh) * 2019-07-09 2019-10-08 南京美基森信息技术有限公司 一种双目视觉匹配代价聚合优化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887021A (zh) * 2019-01-19 2019-06-14 天津大学 基于跨尺度的随机游走立体匹配方法
CN110310320A (zh) * 2019-07-09 2019-10-08 南京美基森信息技术有限公司 一种双目视觉匹配代价聚合优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闫利;费亮;陈长海;叶志云;朱睿希;: "利用网络图进行高分辨率航空多视影像密集匹配" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11460854B1 (en) * 2020-04-28 2022-10-04 Amazon Technologies, Inc. System to determine floor or obstacle by autonomous mobile device
CN111915503A (zh) * 2020-06-12 2020-11-10 华南理工大学 一种基于树形神经网络结构的视差获取方法、存储介质及计算设备
CN111915503B (zh) * 2020-06-12 2023-08-22 华南理工大学 一种基于树形神经网络结构的视差获取方法、存储介质及计算设备
CN112802079A (zh) * 2021-01-19 2021-05-14 奥比中光科技集团股份有限公司 一种视差图获取方法、装置、终端和存储介质
CN113888614A (zh) * 2021-09-23 2022-01-04 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN111105452B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN106780590B (zh) 一种深度图的获取方法及系统
CN107220997B (zh) 一种立体匹配方法及系统
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
US8385630B2 (en) System and method of processing stereo images
CN109685732B (zh) 一种基于边界捕捉的深度图像高精度修复方法
CN108596975B (zh) 一种针对弱纹理区域的立体匹配算法
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
CN107749987B (zh) 一种基于块运动估计的数字视频稳像方法
CN109472820B (zh) 单目rgb-d相机实时人脸重建方法及装置
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉系统
CN105335952B (zh) 匹配代价计算方法和装置、以及视差值计算方法和设备
CN113221925B (zh) 一种基于多尺度图像的目标检测方法及装置
CN112734837B (zh) 图像匹配的方法及装置、电子设备及车辆
CN111739071A (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN111798453A (zh) 用于无人驾驶辅助定位的点云配准方法及其系统
CN111415305A (zh) 恢复三维场景的方法、计算机可读存储介质及无人机
Krauss et al. Deterministic guided lidar depth map completion
CN112767478A (zh) 一种基于表观指导的六自由度位姿估计方法
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
CN112884817B (zh) 稠密光流计算方法、装置、电子设备以及存储介质
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN110517299B (zh) 基于局部特征熵的弹性图像配准算法
CN114387353A (zh) 一种相机标定方法、标定装置及计算机可读存储介质
CN110910438B (zh) 一种超高分辨率双目图像的高速立体匹配算法
CN112150532A (zh) 图像处理的方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant