CN110533701A - 一种图像视差确定方法、装置及设备 - Google Patents
一种图像视差确定方法、装置及设备 Download PDFInfo
- Publication number
- CN110533701A CN110533701A CN201810515541.6A CN201810515541A CN110533701A CN 110533701 A CN110533701 A CN 110533701A CN 201810515541 A CN201810515541 A CN 201810515541A CN 110533701 A CN110533701 A CN 110533701A
- Authority
- CN
- China
- Prior art keywords
- point
- pixel
- parallax
- image
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种图像视差确定方法、装置、设备及系统，本方案中，如果图像中存在遮挡，则该遮挡区域像素点对应到初始视差图中即为非匹配点，利用与非匹配点距离较近的匹配点对非匹配点进行填充处理，也就是利用匹配正常的视差值对遮挡区域对应的视差值进行填充，这样，提高了遮挡区域对应视差的准确度，进而提高了图像之间视差准确度。
Description
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种图像视差确定方法、装置、设备及系统。
背景技术
对于多目相机来说，通常需要计算其包含的每对双目相机所采集的双目图像之间的视差。计算双目图像之间的视差一般包括：利用SGM(semi-global matching，半全局匹配)算法，计算双目图像之间的初始视差图；再对初始视差图进行降噪、滤波处理，得到最终的视差图。
但是这种方案中，如果双目图像中存在遮挡，则该遮挡区域对应的视差缺失，进而无法准确地确定包含该双目图像之间的视差。
发明内容
本发明实施例的目的在于提供一种图像视差确定方法、装置、设备及系统，以提高图像之间视差准确度。
为达到上述目的，本发明实施例提供了一种图像视差确定方法，包括：
获取至少一对待处理图像；
计算每对待处理图像的初始视差图；
确定所述初始视差图中的非匹配点；
针对所确定的每个非匹配点，在该非匹配点所属的初始误差图中，查找与该非匹配点的距离小于预设阈值的匹配点；利用所查找到的匹配点，对该非匹配点进行填充处理，得到处理后的视差图。
可选的，所述获取至少一对待处理图像，可以包括：
获取双目图像及采集所述双目图像的相机参数，所述相机参数中包括畸变参数和旋转平移关系；
所述计算每对待处理图像的初始视差图，可以包括：
利用所述畸变参数，对所述双目图像进行去畸变处理，得到去畸变图像；
根据所述旋转平移关系，将所述去畸变图像进行旋转变换，得到校正后的双目图像；
计算校正后的双目图像的初始视差图。
可选的，一对待处理图像为一对双目图像，一对双目图像包括左图像和右图像；所述计算每对待处理图像的初始视差图，可以包括：
根据左图像中每个像素点所在邻域的视差和、以及左图像中每个像素点的特征与右图像中对应像素点的特征之间的海明距离，建立以左图像为基准图像的匹配代价函数；
对所述以左图像为基准图像的匹配代价函数进行求解，得到初始左视差图；
根据右图像中每个像素点所在邻域的视差和、以及右图像中每个像素点的特征与左图像中对应像素点的特征之间的海明距离，建立以右图像为基准图像的匹配代价函数；
对所述以右图像为基准图像的匹配代价函数进行求解，得到初始右视差图。
可选的，所述匹配代价函数为：
C1(p,d)＝∑q∈W(p)|g1(q)-g2(q-d)|+ωCcensus；
其中，C1(p，d)表示基准图像中像素点的匹配代价，p表示基准图像中的像素点，d表示像素点的视差，W(p)表示以p为中心的邻域，q∈W(p)表示q为所述邻域中的像素点，g1(q)表示基准图像中像素点q的梯度值，q-d表示像素点q对应的对比图像中的像素点，所述对比图像为双目图像中除基准图像之外的另一张图像，g2(q-d)表示像素点q-d的梯度值，ω表示预设权重，Ccensus表示像素点p的census特征与像素点q-d的的census特征之间的海明距离。
可选的，在所述确定所述初始视差图中的非匹配点之前，还可以包括：
利用中值滤波算法，对所述初始视差图进行滤波处理，得到滤波后的视差图；
所述确定所述初始视差图中的非匹配点，包括：
确定所述滤波后的视差图中的非匹配点。
可选的，所述确定所述初始视差图中的非匹配点，可以包括：
针对每个左视差点，确定该左视差点对应的所述初始右视差图中的像素点，作为目标右视差点；判断该左视差点与所述目标右视差点的差是否大于第一预设阈值，如果大于，将该左视差点确定为非匹配点；其中，左视差点为所述初始左视差图中的像素点；
针对每个右视差点，确定该右视差点对应的所述初始左视差图中的像素点，作为目标左视差点；判断该右视差点与所述目标左视差点的差是否大于所述第一预设阈值，如果大于，将该右视差点确定为非匹配点；其中，右视差点为所述初始右视差图中的像素点。
可选的，在判定该左视差点与所述目标右视差点的差大于第一预设阈值的情况下，还可以包括：
在该左视差点的视差范围内，判断所述初始右视差图中是否存在与该左视差点相匹配的多个像素点；如果不存在，将该左视差点确定为遮挡点；如果存在，将该左视差点确定为误匹配点；
在判定该右视差点与所述目标左视差点的差大于所述第一预设阈值的情况下，还可以包括：
在该右视差点的视差范围内，判断所述初始左视差图中是否存在与该右视差点相匹配的多个像素点；如果不存在，将该右视差点确定为遮挡点；如果存在，将该右视差点确定为误匹配点。
可选的，所述确定所述初始视差图中的非匹配点，可以包括：
基于所述初始视差图的连续性，对所述初始视差图进行分割，得到一个或多个连通区域；针对每个连通区域，根据该连通区域的视差均值、视差最大值以及该连通区域的面积，判断该连通区域是否满足匹配规则，如果不满足，将该连通区域中的像素点确定为误匹配点。
可选的，所述根据该连通区域的视差均值、视差最大值以及该连通区域的面积，判断该连通区域是否满足匹配规则，如果不满足，将该连通区域中的像素点确定为误匹配点，可以包括：
计算预设视差最大值与该连通区域的视差均值的比值；
计算所述比值与该连通区域的面积的乘积；
判断所述乘积是否大于等于第二预设阈值；
如果所述乘积小于所述第二预设阈值，将该连通区域中的像素点确定为误匹配点。
可选的，所述在该非匹配点所属的初始误差图中，查找与该非匹配点的距离小于预设阈值的匹配点，可以包括：
若该非匹配点为遮挡点、且该非匹配点所属的初始误差图为初始左视差图，则先从该非匹配点的左侧查找与该非匹配点的距离小于预设阈值的背景匹配点；
若该非匹配点为遮挡点、且该非匹配点所属的初始误差图为初始右视差图，则先从该非匹配点的右侧查找与该非匹配点的距离小于预设阈值的背景匹配点；
若该非匹配点为误匹配点，在该非匹配点所属的初始误差图中，从该非匹配点的多个方向中查找与该非匹配点的距离小于预设阈值的多个匹配点。
可选的，所述利用所查找到的匹配点，对该非匹配点进行填充处理，包括：
若该非匹配点为遮挡点，则利用查找到的背景匹配点，对该非匹配点进行填充处理；
若该非匹配点为误匹配点，则利用所查找到的多个匹配点的中值，对该非匹配点进行填充处理。
可选的，在所述利用所查找到的匹配点，对该非匹配点进行填充处理，得到处理后的视差图之后，还可以包括：
针对所述处理后的视差图中的每个像素点，根据该像素点在预设查找范围内的匹配代价曲线，利用多项式插值算法，对该像素点进行插值处理，得到该像素点的亚像素视差值。
可选的，所述根据该像素点在预设查找范围内的匹配代价曲线，利用多项式插值算法，对该像素点进行插值处理，得到该像素点的亚像素视差值，包括：
确定该像素点在视差取值为d时的第一匹配代价；
确定该像素点在视差取值为d-1时的第二匹配代价；
确定该像素点在视差取值为d+1时的第三匹配代价；
计算所述第二匹配代价与所述第一匹配代价的差，作为第一差；
计算所述第三匹配代价与所述第一匹配代价的差，作为第二差；
如果所述第一差大于所述第二差，则利用所述第二差与所述第一差的比值，计算该像素点的亚像素视差值；
如果所述第一差小于等于所述第二差，则利用所述第一差与所述第二差的比值，计算该像素点的亚像素视差值。
可选的，所述利用所述第二差与所述第一差的比值，计算该像素点的亚像素视差值，可以包括：
利用如下算式，计算该像素点的亚像素视差值：
其中，rd表示所述第二差，ld表示所述第一差，dnew表示该像素点的亚像素视差值；
所述利用所述第一差与所述第二差的比值，计算该像素点的亚像素视差值，包括：
利用如下算式，计算该像素点的亚像素视差值：
其中，rd表示所述第二差，ld表示所述第一差，dnew表示该像素点的亚像素视差值。
可选的，所述处理后的视差图包括处理后的左视差图和处理后的右视差图；在所述得到处理后的视差图之后，还可以包括：
利用导向滤波算法，以所述左图像为引导图像，对所述处理后的左视差图进行滤波；
利用导向滤波算法，以所述右图像为引导图像，对所述处理后的右视差图进行滤波。
为达到上述目的，本发明实施例还提供了一种图像视差确定装置，包括：
获取模块，用于获取至少一对待处理图像；
计算模块，用于计算每对待处理图像的初始视差图；
确定模块，用于确定所述初始视差图中的非匹配点；
查找模块，用于针对所确定的每个非匹配点，在该非匹配点所属的初始误差图中，查找与该非匹配点的距离小于预设阈值的匹配点；
填充模块，用于利用所查找到的匹配点，对该非匹配点进行填充处理，得到处理后的视差图。
可选的，所述获取模块，具体可以用于：
获取双目图像及采集所述双目图像的相机参数，所述相机参数中包括畸变参数和旋转平移关系；
所述计算模块，具体用于：
利用所述畸变参数，对所述双目图像进行去畸变处理，得到去畸变图像；
根据所述旋转平移关系，将所述去畸变图像进行旋转变换，得到校正后的双目图像；
计算校正后的双目图像的初始视差图。
可选的，一对待处理图像为一对双目图像，一对双目图像包括左图像和右图像；所述计算模块，具体可以用于：
根据左图像中每个像素点所在邻域的视差和、以及左图像中每个像素点的特征与右图像中对应像素点的特征之间的海明距离，建立以左图像为基准图像的匹配代价函数；
对所述以左图像为基准图像的匹配代价函数进行求解，得到初始左视差图；
根据右图像中每个像素点所在邻域的视差和、以及右图像中每个像素点的特征与左图像中对应像素点的特征之间的海明距离，建立以右图像为基准图像的匹配代价函数；
对所述以右图像为基准图像的匹配代价函数进行求解，得到初始右视差图。
可选的，所述匹配代价函数为：
C1(p,d)＝∑q∈W(p)|g1(q)-g2(q-d)|+ωCcensus；
其中，C1(p，d)表示基准图像中像素点的匹配代价，p表示基准图像中的像素点，d表示像素点的视差，W(p)表示以p为中心的邻域，q∈W(p)表示q为所述邻域中的像素点，g1(q)表示基准图像中像素点q的梯度值，q-d表示像素点q对应的对比图像中的像素点，所述对比图像为双目图像中除基准图像之外的另一张图像，g2(q-d)表示像素点q-d的梯度值，ω表示预设权重，Ccensus表示像素点p的census特征与像素点q-d的的census特征之间的海明距离。
可选的，所述装置还可以包括：
第一滤波模块，用于在所述确定所述初始视差图中的非匹配点之前，利用中值滤波算法，对所述初始视差图进行滤波处理，得到滤波后的视差图；
确定模块，具体用于：确定所述滤波后的视差图中的非匹配点。
可选的，所述确定模块，具体可以用于：
针对每个左视差点，确定该左视差点对应的所述初始右视差图中的像素点，作为目标右视差点；判断该左视差点与所述目标右视差点的差是否大于第一预设阈值，如果大于，将该左视差点确定为非匹配点；其中，左视差点为所述初始左视差图中的像素点；
针对每个右视差点，确定该右视差点对应的所述初始左视差图中的像素点，作为目标左视差点；判断该右视差点与所述目标左视差点的差是否大于所述第一预设阈值，如果大于，将该右视差点确定为非匹配点；其中，右视差点为所述初始右视差图中的像素点。
可选的，所述确定模块，还可以用于：
在判定该左视差点与所述目标右视差点的差大于第一预设阈值的情况下，
在该左视差点的视差范围内，判断所述初始右视差图中是否存在与该左视差点相匹配的多个像素点；如果不存在，将该左视差点确定为遮挡点；如果存在，将该左视差点确定为误匹配点；
在判定该右视差点与所述目标左视差点的差大于所述第一预设阈值的情况下，在该右视差点的视差范围内，判断所述初始左视差图中是否存在与该右视差点相匹配的多个像素点；如果不存在，将该右视差点确定为遮挡点；如果存在，将该右视差点确定为误匹配点。
可选的，所述确定模块，可以包括：
分割子模块，用于基于所述初始视差图的连续性，对所述初始视差图进行分割，得到一个或多个连通区域；
确定子模块，用于针对每个连通区域，根据该连通区域的视差均值、视差最大值以及该连通区域的面积，判断该连通区域是否满足匹配规则，如果不满足，将该连通区域中的像素点确定为误匹配点。
可选的，所述确定子模块，具体可以用于：计算预设视差最大值与该连通区域的视差均值的比值；
计算所述比值与该连通区域的面积的乘积；
判断所述乘积是否大于等于第二预设阈值；
如果所述乘积小于所述第二预设阈值，将该连通区域中的像素点确定为误匹配点。
可选的，所述查找模块，具体可以用于：
若该非匹配点为遮挡点、且该非匹配点所属的初始误差图为初始左视差图，则先从该非匹配点的左侧查找与该非匹配点的距离小于预设阈值的背景匹配点；
若该非匹配点为遮挡点、且该非匹配点所属的初始误差图为初始右视差图，则先从该非匹配点的右侧查找与该非匹配点的距离小于预设阈值的背景匹配点；
若该非匹配点为误匹配点，在该非匹配点所属的初始误差图中，从该非匹配点的多个方向中查找与该非匹配点的距离小于预设阈值的多个匹配点。
可选的，所述填充模块，具体可以用于：
若该非匹配点为遮挡点，则利用查找到的背景匹配点，对该非匹配点进行填充处理；
若该非匹配点为误匹配点，则利用所查找到的多个匹配点的中值，对该非匹配点进行填充处理。
可选的，所述装置还可以包括：
插值模块，用于在所述利用所查找到的匹配点，对该非匹配点进行填充处理，得到处理后的视差图之后，针对所述处理后的视差图中的每个像素点，根据该像素点在预设查找范围内的匹配代价曲线，利用多项式插值算法，对该像素点进行插值处理，得到该像素点的亚像素视差值。
可选的，所述插值模块，具体可以用于：
确定该像素点在视差取值为d时的第一匹配代价；
确定该像素点在视差取值为d-1时的第二匹配代价；
确定该像素点在视差取值为d+1时的第三匹配代价；
计算所述第二匹配代价与所述第一匹配代价的差，作为第一差；
计算所述第三匹配代价与所述第一匹配代价的差，作为第二差；
如果所述第一差大于所述第二差，则利用所述第二差与所述第一差的比值，计算该像素点的亚像素视差值；
如果所述第一差小于等于所述第二差，则利用所述第一差与所述第二差的比值，计算该像素点的亚像素视差值。
可选的，所述插值模块，还可以用于：
在所述第一差大于所述第二差的情况下，利用如下算式，计算该像素点的亚像素视差值：
其中，rd表示所述第二差，ld表示所述第一差，dnew表示该像素点的亚像素视差值；
在所述第一差小于等于所述第二差的情况下，利用如下算式，计算该像素点的亚像素视差值：
利用如下算式，计算该像素点的亚像素视差值：
其中，rd表示所述第二差，ld表示所述第一差，dnew表示该像素点的亚像素视差值。
可选的，所述处理后的视差图包括处理后的左视差图和处理后的右视差图；所述装置还可以包括：
第二滤波模块，用于在所述得到处理后的视差图之后，利用导向滤波算法，以所述左图像为引导图像，对所述处理后的左视差图进行滤波；利用导向滤波算法，以所述右图像为引导图像，对所述处理后的右视差图进行滤波。
为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一种图像视差确定方法。
为达到上述目的，本发明实施例还提供了一种图像视差确定系统，包括：双目相机和处理设备；
所述双目相机，用于采集双目图像，并将所述双目图像发送至所述处理设备；
所述处理设备，用于接收所述双目图像；计算所述双目图像的初始左视差图和初始右视差图；确定所述初始左视差图和初始右视差图中的非匹配点；针对所确定的每个非匹配点，在该非匹配点所属的初始误差图中，查找与该非匹配点的距离小于预设阈值的匹配点；利用所查找到的匹配点，对该非匹配点进行填充处理，得到处理后的视差图。
应用本发明实施例，如果图像中存在遮挡，则该遮挡区域像素点对应到初始视差图中即为非匹配点，利用与非匹配点距离较近的匹配点对非匹配点进行填充处理，也就是利用匹配正常的视差值对遮挡区域对应的视差值进行填充，这样，提高了遮挡区域对应视差的准确度，进而提高了图像之间视差准确度。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的图像视差确定方法的第一种流程示意图；
图1b为本发明实施例提供的一种查找方向示意图；
图2为本发明实施例提供的图像视差确定方法的第二种流程示意图；
图3为本发明实施例提供的一种图像视差确定装置的结构示意图；
图4为本发明实施例提供的一种电子设备的结构示意图；
图5为本发明实施例提供的一种图像视差确定系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决上述技术问题，本发明实施例提供了一种图像视差确定方法、装置、设备及系统。该方法及装置可以应用于具有图像处理功能的各种电子设备，比如手机、电脑等等，或者也可以应用于具有图像处理功能的相机，具体不做限定。
下面首先对本发明实施例提供的一种图像视差确定方法进行详细说明。
图1a为本发明实施例提供的图像视差确定方法的第一种流程示意图，包括：
S101：获取至少一对待处理图像。
一对待处理图像即为需要确定视差的图像。举例来说，可以获取双目相机采集的双目图像，作为待处理图像。或者，也可以获取多目相机采集的多张图像，该多目相机包含多个双目相机，相应的，这多张图像中也包含多对双目图像，这样也就获取到多对待处理图像。
举例来说，双目相机可以通过USB3.0与PC(个人电脑)相连接，由PC对双目相机采集的图像进行处理，这样，可以提高图像处理速度。下面以S101中获取到一对双目图像为例进行说明。
S102：计算每对待处理图像的初始视差图。
作为一种实施方式，可以先对获取到的双目图像进行校正处理，得到校正后的双目图像，再计算校正后的双目图像的初始视差图。
举例来说，本实施例中应用的双目相机焦距可以为4mm、基线距可以为12cm，双目相机可以内置基于FPGA(Field－Programmable Gate Array，现场可编程门阵列)+ARM(处理器)的嵌入式芯片。可以利用双目相机对准黑白相间的棋盘格标靶进行图像，得到标靶图像，然后利用opencv或者MATLAB中的标定工具，对该标靶图像进行处理，得到双目相机的相机参数。
可以利用opencv中的BouguetMCT算法，对双目图像中的像素点进行一一映射，得到双目图像中的像素点的映射关系。可以通过相机的SDK(Software Development Kit，软件开发工具)将得到的映射关系以及相机参数写入相机的flash(闪存)中，在相机下次上电时，ARM会将flash中的映射关系以及相机参数发送给FPGA，然后写入DDR中(datadirection register，数据流向寄存器)。
本实施方式中，便可以利用DDR中的映射关系，对获取到的双目图像进行校正处理。
作为一种实施方式，S101可以包括：获取双目图像及采集所述双目图像的相机参数，所述相机参数中包括畸变参数和旋转平移关系；S102包括：利用所述畸变参数，对所述双目图像进行去畸变处理，得到去畸变图像；根据所述旋转平移关系，将所述去畸变图像进行旋转变换，得到校正后的双目图像；计算校正后的双目图像的初始视差图。
假设双目相机包括左相机和右相机，左相机采集的图像为左图像，右相机采集的图像为右图像；可以利用左相机与右相机的畸变参数，对左图像和右图像进行去畸变处理，得到两张去畸变图像；根据左相机与右相机的相机参数中的旋转平移关系，将这两张去畸变图像进行旋转变换，得到一对校正后的双目图像。
具体来说，预先可以通过相机标定方法，比如张氏标定法，得到左相机与右相机的相机参数，相机参数包括内参、外参和畸变参数。以左相机来例进行说明，假设左相机采集到的图像为Il d，将该图像进行去畸变处理后得到的去畸变图像为Il ud，Il ud中每个像素点的坐标值为(u，v)；假设左相机的内参为Al，根据该内参可以得到左相机传感器坐标系的坐标值
假设左相机的畸变参数D＝(k1，k2，p1，p2)，可以得到左相机传感器坐标系中的畸变点其中r＝x2+y2；根据内参Al可以得到畸变点对应于中的点为这样，便可以对左图像进行畸变校正。对右图像进行畸变校正的方式类似，不再赘述。
作为一种实施方式，将一对双目相机采集的两张图像分别进行旋转变换，这样，相比于只将一个相机采集的一张图像进行旋转变换，旋转幅度较小，进而使得重投影畸变较小且重投影至像平面的投影面积较大。这里所说的旋转变换可以包含两部分，一部分为了消除双目相机坐标系之间的旋转关系，另一部分为了消除双目相机两个相机世界坐标系之间在垂直和深度方向的平移关系。
假设左相机与右相机的外参中包含旋转关系Rlr和平移关系Tlr，Rlr对应的向量为omlr，则右相机旋转向量rr＝-omlr/2，左相机旋转向量rl＝rr T，也就是说，左相机和右相机各旋转Rlr的一半，这样，便消除了左右相机坐标系之间的旋转关系，左右相机还存在平移量Tlr＝radrigues(rl)×Tlr，其中radrigues表示罗德里格变换。
可以理解，双目图像的坐标系中一般只存在X轴的平移量，也就是将左右相机的X轴同时旋转至与Tlr重合，具体的，旋转角度u＝(1,0,0)；旋转轴为：最终的旋转向量r＝ωθ。
也就是说，为了消除左右相机坐标系之间的旋转和平移，分别需要经过R1lr＝radrigues(rlr)，R2lr＝radrigues(rrr)的旋转变换。
本实施例中，校正后的双目图像可以理解为满足双目成像条件的图像。举例来说，该双目成像条件可以为：在两个相机的传感器坐标系中，x1y1平面与x2y2平面共面，且X轴共线、Y轴平行；在两个相机的世界坐标系中，X轴共线，YZ轴平行。
或者说，该双目成像条件可以为：左右相机像平面在三维空间中平行，且左右相机像平面在水平和垂直方向的两个坐标轴也平行，空间中任意一点在左右图像中成像的行坐标相同。
举例来说，可以利用SGM(semi-global matching，半全局匹配)算法，确定双目图像的视差图。
作为一种实施方式，可以对原始的SGM算法进行改进，假设一对待处理图像为一对双目图像，一对双目图像包括左图像和右图像，S102可以包括：
根据左图像中每个像素点所在邻域的视差和、以及左图像中每个像素点的特征与右图像中对应像素点的特征之间的海明距离，建立以左图像为基准图像的匹配代价函数；
对所述以左图像为基准图像的匹配代价函数进行求解，得到初始左视差图；
根据右图像中每个像素点所在邻域的视差和、以及右图像中每个像素点的特征与左图像中对应像素点的特征之间的海明距离，建立以右图像为基准图像的匹配代价函数；
对所述以右图像为基准图像的匹配代价函数进行求解，得到初始右视差图。
本实施方式中，一个邻域的视差和即为：该邻域对应的左图像像素点与右图像像素点的梯度差的和。
具体的，该匹配代价函数可以为：
C1(p,d)＝∑q∈w(p)|g1(q)-g2(q-d)|+ωCcensus；
其中，C1(p，d)表示基准图像中像素点的匹配代价，p表示基准图像中的像素点，d表示像素点的视差，W(p)表示以p为中心的邻域，q∈W(p)表示q为所述邻域中的像素点，g1(q)表示基准图像中像素点q的梯度值，q-d表示像素点q对应的对比图像中的像素点，所述对比图像为双目图像中除基准图像之外的另一张图像，g2(q-d)表示像素点q-d的梯度值，ω表示预设权重，Ccensus表示像素点p的census特征与像素点q-d的的census特征之间的海明距离。
为了方便描述，将以左图像为基准图像的匹配代价函数称为第一匹配代价函数，则第一匹配代价函数可以为：
CL(p,d)＝∑q∈W(p)|gL(q)-gR(q-d)|+ωCcensus；
其中，CL(p，d)表示左图像中像素点的匹配代价，p表示左图像中的像素点，d表示像素点的视差，W(p)表示以p为中心的邻域，q∈W(p)表示q为所述邻域中的像素点，gL(q)表示左图像中像素点q的梯度值，q-d表示像素点q对应的右图像中的像素点，gR(q-d)表示像素点q-d的梯度值，ω表示预设权重，Ccensus表示像素点p的census特征与像素点q-d的的census特征之间的海明距离。
对第一匹配代价函数进行求解得到初始左视差图。
为了方便描述，将以右图像为基准图像的匹配代价函数称为第二匹配代价函数，则第二匹配代价函数可以为：
CR(p,d)＝∑q∈W(p)|gR(q)-gL(q+d)|+ωCcensus；
其中，CR(p，d)表示右图像中像素点的匹配代价，p表示右图像中的像素点，d表示像素点的视差，W(p)表示以p为中心的邻域，q∈W(p)表示q为所述邻域中的像素点，gR(q)表示右图像中像素点q的梯度值，q+d表示像素点q对应的左图像中的像素点，gL(q+d)表示像素点q+d的梯度值，ω表示预设权重，Ccensus表示像素点p的census特征与像素点q+d的的census特征之间的海明距离。
对第二匹配代价函数进行求解得到初始右视差图。
举例来说，在上述匹配代价函数中，W(p)可以为以p为中心的7*5的矩形区域，匹配代价函数中的梯度值可以为sobel梯度值，ω可以为0.3。
S103：确定该初始视差图中的非匹配点。
在本实施例中，非匹配点可以为一对待处理图像中遮挡区域的点或者不共视区域的点对应到初始视差图中的点；非匹配点还可以为初始视差图中纹理较弱的点或者重复纹理区域造成的匹配不唯一的点；如果初始视差图包括初始左视差图和初始右视差图，则非匹配点可以理解为初始左视差图和初始右视差图中不相匹配的像素点或者匹配不唯一的像素点。
如果初始视差图包括初始左视差图和初始右视差图，则可以分别在初始左视差图和初始右视差图中确定非匹配点。
确定非匹配点的方式有多种，比如：
针对每个左视差点，确定该左视差点对应的所述初始右视差图中的像素点，作为目标右视差点；判断该左视差点与所述目标右视差点的差是否大于第一预设阈值，如果大于，将该左视差点确定为非匹配点；其中，左视差点为所述初始左视差图中的像素点；
针对每个右视差点，确定该右视差点对应的所述初始左视差图中的像素点，作为目标左视差点；判断该右视差点与所述目标左视差点的差是否大于所述第一预设阈值，如果大于，将该右视差点确定为非匹配点；其中，右视差点为所述初始右视差图中的像素点。
在本实施例中，遮挡点、误匹配点都属于非匹配点。举例来说，可以利用如下方式确定遮挡点和误匹配点：
在判定该左视差点与所述目标右视差点的差大于第一预设阈值的情况下，在该左视差点的视差范围内，判断所述初始右视差图中是否存在与该左视差点相匹配的多个像素点；如果不存在，将该左视差点确定为遮挡点；如果存在，将该左视差点确定为误匹配点；
在判定该右视差点与所述目标左视差点的差大于所述第一预设阈值的情况下，在该右视差点的视差范围内，判断所述初始左视差图中是否存在与该右视差点相匹配的多个像素点；如果不存在，将该右视差点确定为遮挡点；如果存在，将该右视差点确定为误匹配点。
下面以初始左视差图DL为例进行说明：
步骤一、可以先生成一张与初始左视差图DL尺寸相同的标记图像IE，将IE中的像素点初始化为v0。其中，v0表示对应到DL中的像素点为匹配点，v1表示对应到DL中的像素点为遮挡点，v2表示对应到DL中的像素点为误匹配点，这里，先将IE中的像素点都初始化为v0，后续再进行调整。
步骤二、遍历DL中的像素点，对于DL中的像素点p，如果|DL(p)-DR(p-DLp)>τ1，则将该像素点标记为v1；其中τ1即为上述第一预设阈值，举例来说，τ1可以为1；DR表示初始右视差图，DR(p-DL(p))表示DL中的像素点p对应的DR中的像素点。
步骤三、假设像素点p被标记为v1，则判断像素点p在其视差范围dmax内，是否存在任意视差d∈dmax，使得DR(p-d)＝d，则说明该遮挡点p对应DR中的多个匹配点，则像素点p为误匹配点，将像素点p标记为v2。
通过上述三个步骤，便可以区分出匹配点v0、遮挡点v1和误匹配点v2。对初始右视差图DR的处理情况类似，不再赘述。
此外，还可以通过如下方式，确定误匹配点：
基于所述初始视差图的连续性，对所述初始视差图进行分割，得到一个或多个连通区域；针对每个连通区域，根据该连通区域的视差均值、视差最大值以及该连通区域的面积，判断该连通区域是否满足匹配规则，如果不满足，将该连通区域中的像素点确定为误匹配点。
具体的，计算预设视差最大值dmax与该连通区域的视差均值dm的比值dmax/dm；
计算所述比值与该连通区域的面积s的乘积，也就是s*dmax/dm；
判断所述乘积是否大于等于第二预设阈值；比如，该第二预设阈值可以为256；
如果所述乘积小于所述第二预设阈值，将该连通区域中的像素点确定为误匹配点。
作为一种实施方式，在S103之前，可以先利用中值滤波算法，对所述初始视差图进行滤波处理，得到滤波后的视差图；这样，S103包括：确定所述滤波后的视差图中的非匹配点。也就是说，上面“确定非匹配点”的内容中所说的初始视差图，可以为滤波后的视差图。
本实施方式中，如果初始视差图包括初始左视差图和初始右视差图，则用中值滤波算法，分别对初始左视差图和初始右视差图进行滤波处理，得到滤波后的左视差图和滤波后的右视差图。具体的，可以利用5*5的矩形滤波器，分别对初始左视差图和初始右视差图进行中值滤波处理，这样，可以减少左视差图和右视差图中的噪声点及空洞点。
S104：针对所确定的每个非匹配点，在该非匹配点所属的初始误差图中，查找与该非匹配点的距离小于预设阈值的匹配点。
若该非匹配点为遮挡点、且该非匹配点所属的初始误差图为初始左视差图，则先从该非匹配点的左侧查找与该非匹配点的距离小于预设阈值的背景匹配点。
若该非匹配点为遮挡点、且该非匹配点所属的初始误差图为初始右视差图，则先从该非匹配点的右侧查找与该非匹配点的距离小于预设阈值的背景匹配点。
对于左视差图来说，优先从遮挡点的左侧查找匹配点，如果左侧未查找到，再从遮挡点的右侧查找。可以理解，如果右图像中存在遮挡区域，该遮挡区域对应到左图像中，通常在左图像的遮挡物的左侧，因此，左视差图中，优先从遮挡点的左侧进行查找。
类似的，对于右视差图来说，优先从遮挡点的右侧查找匹配点，如果右侧未查找到，再从遮挡点的左侧查找。可以理解，如果左图像中存在遮挡区域，该遮挡区域对应到右图像中，通常在右图像的遮挡物的右侧，因此，右视差图中，优先从遮挡点的右侧进行查找。
另外，对于遮挡点来说，需要查找背景匹配点以对其进行填充，背景匹配点有两层意思，第一、其为匹配点，也就是左右视差图中能够匹配成功的点，第二、其为背景点，也就是被遮挡物体遮挡的场景中的点。
若该非匹配点为误匹配点，在该非匹配点所属的初始误差图中，从该非匹配点的多个方向中查找与该非匹配点的距离小于预设阈值的多个匹配点。
比如图1b所示，可以从误匹配点P的16个方向中查找匹配点。
S105：利用所查找到的匹配点，对该非匹配点进行填充处理，得到处理后的视差图。
若该非匹配点为遮挡点，则利用查找到的背景匹配点，对该非匹配点进行填充处理；若该非匹配点为误匹配点，则利用所查找到的多个匹配点的中值，对该非匹配点进行填充处理。
作为一种实施方式，在S105之后，可以对处理后的视差图进行亚像素插值处理：针对所述处理后的视差图中的每个像素点，根据该像素点在预设查找范围内的匹配代价曲线，利用多项式插值算法，对该像素点进行插值处理，得到该像素点的亚像素视差值。通过亚像素插值处理，可以提高视差图的精度。
亚像素插值处理具体可以包括：
确定该像素点在视差取值为d时的第一匹配代价c1；
确定该像素点在视差取值为d-1时的第二匹配代价c0；
确定该像素点在视差取值为d+1时的第三匹配代价c2；
计算所述第二匹配代价与所述第一匹配代价的差c0-c1，作为第一差ld；
计算所述第三匹配代价与所述第一匹配代价的差c2-c1，作为第二差rd；
如果所述第一差大于所述第二差，则利用所述第二差与所述第一差的比值，计算该像素点的亚像素视差值；具体的，利用如下算式，计算该像素点的亚像素视差值：
其中，rd表示所述第二差，ld表示所述第一差，dnew表示该像素点的亚像素视差值；
如果所述第一差小于等于所述第二差，则利用所述第一差与所述第二差的比值，计算该像素点的亚像素视差值，具体的，利用如下算式，计算该像素点的亚像素视差值：
其中，rd表示所述第二差，ld表示所述第一差，dnew表示该像素点的亚像素视差值。
作为一种实施方式，在S105之后，或者亚像素插值处理之后，可以利用导向滤波算法，以所述左图像为引导图像，对所述处理后的左视差图进行滤波；利用导向滤波算法，以所述右图像为引导图像，对所述处理后的右视差图进行滤波。
通过导向滤波(Guide Image Filter)，可以减少视差图中的噪声，提升视差图局部平滑性的、并且保持视差图的边缘。举例来说，假设在S105之后，或者亚像素插值处理之后，得到的待滤波图像为D，滤波后图像为Df，假设左图像IL为引导图像，则对于待滤波图像为D中的像素点p来说，利用如下算式对其进行导向滤波：
其中，Np表示以p为中心的邻域，比如可以为5*5的邻域，N表示Np中像素点的数量；IL(p)表示像素点p对应到左图像IL中的像素点；像素点q也为待滤波图像为D中的像素点，Nq表示以q为中心的邻域，i表示Nq中的像素点，uq表示像素点q对应到左图像IL中的像素点在其邻域内的均值，表示像素点q对应到左图像IL中的像素点在其邻域内的方差，为像素点q在邻域Nq的均值，ε是为了防止分母为0而增加的一个数值，具体数值不做限定。
作为一种实施方式，针对处理后的视差图、或者再对得到的视差图进行亚像素插值处理、滤波处理后的视差图，可以将其转化至相机世界坐标系中。
假设得到的视差图中任意一点的坐标为(u，v，d)其中，(u，v)表示视差图中的坐标，d表示对应视差，则可以利用如下算式，将该坐标转换为相机世界坐标系中的三维坐标(X，Y，Z)：
其中，F为校正后的双目图像的焦距，B为校正后的双目图像的基线距，(u0,v0)为校正后的双目图像的主点位置，如上所述，可以从双目相机的DDR中获取这些相机参数。
应用本发明实施例，第一方面，如果图像中存在遮挡，则该遮挡区域像素点对应到初始视差图中即为非匹配点，利用与非匹配点距离较近的匹配点对非匹配点进行填充处理，也就是利用匹配正常的视差值对遮挡区域对应的视差值进行填充，这样，提高了遮挡区域对应视差的准确度，进而提高了图像之间视差准确度。第二方面，如果双目图像中存在不共视区域，则该不共视区域像素点对应到初始视差图中即为非匹配点，利用与非匹配点距离较近的匹配点对非匹配点进行填充处理，也就是利用匹配正常的点对不共视区域对应的点进行填充，这样，提高了不共视区域对应视差的准确度，进而提高了图像之间视差准确度。第三方面，本实施例中的非匹配点包括遮挡点和误匹配点，对遮挡点和误匹配点进行填充，可以提高弱纹理和重复纹理情况下的视差准确度。
图2为本发明实施例提供的图像视差确定方法的第二种流程示意图，包括：
S201：获取一对双目图像，该双目图像包括左图像和右图像。
S202：计算该双目图像的初始左视差图和初始右视差图。
作为一种实施方式，计算该双目图像的初始左视差图，包括：
根据左图像中每个像素点所在邻域的视差和、以及左图像中每个像素点的特征与右图像中对应像素点的特征之间的海明距离，建立以左图像为基准图像的匹配代价函数；对该以左图像为基准图像的匹配代价函数进行求解，得到初始左视差图。
作为一种实施方式，计算该双目图像的初始右视差图，包括：
根据右图像中每个像素点所在邻域的视差和、以及右图像中每个像素点的特征与左图像中对应像素点的特征之间的海明距离，建立以右图像为基准图像的匹配代价函数；对该以右图像为基准图像的匹配代价函数进行求解，得到初始右视差图。
本实施方式中，一个邻域的视差和即为：该邻域对应的左图像像素点与右图像像素点的梯度差的和。
具体的，该匹配代价函数可以为：
C1(p,d)＝∑q∈w(p)|g1(q)-g2(q-d)|+ωCcensus；
其中，C1(p，d)表示基准图像中像素点的匹配代价，p表示基准图像中的像素点，d表示像素点的视差，W(p)表示以p为中心的邻域，q∈W(p)表示q为所述邻域中的像素点，g1(q)表示基准图像中像素点q的梯度值，q-d表示像素点q对应的对比图像中的像素点，所述对比图像为双目图像中除基准图像之外的另一张图像，g2(q-d)表示像素点q-d的梯度值，ω表示预设权重，Ccensus表示像素点p的census特征与像素点q-d的的census特征之间的海明距离。
举例来说，在上述匹配代价函数中，W(p)可以为以p为中心的7*5的矩形区域，匹配代价函数中的梯度值可以为sobel梯度值，ω可以为0.3。
S203：在该初始左视差图以及该初始左视差图中，确定遮挡点及误匹配点。
作为一种实施方式，S203可以包括：
针对每个左视差点，确定该左视差点对应的所述初始右视差图中的像素点，作为目标右视差点；判断该左视差点与所述目标右视差点的差是否大于第一预设阈值，如果大于，将该左视差点确定为非匹配点；其中，左视差点为所述初始左视差图中的像素点；
针对每个右视差点，确定该右视差点对应的所述初始左视差图中的像素点，作为目标左视差点；判断该右视差点与所述目标左视差点的差是否大于所述第一预设阈值，如果大于，将该右视差点确定为非匹配点；其中，右视差点为所述初始右视差图中的像素点。
作为一种实施方式，在判定该左视差点与所述目标右视差点的差大于第一预设阈值的情况下，可以在该左视差点的视差范围内，判断所述初始右视差图中是否存在与该左视差点相匹配的多个像素点；如果不存在，将该左视差点确定为遮挡点；如果存在，将该左视差点确定为误匹配点；
在判定该右视差点与所述目标左视差点的差大于所述第一预设阈值的情况下，可以在该右视差点的视差范围内，判断所述初始左视差图中是否存在与该右视差点相匹配的多个像素点；如果不存在，将该右视差点确定为遮挡点；如果存在，将该右视差点确定为误匹配点。
作为一种实施方式，S203可以包括：基于所述初始视差图的连续性，对所述初始视差图进行分割，得到一个或多个连通区域；针对每个连通区域，根据该连通区域的视差均值、视差最大值以及该连通区域的面积，判断该连通区域是否满足匹配规则，如果不满足，将该连通区域中的像素点确定为误匹配点。
如上所述，在本实施例中，将非匹配点划分为遮挡点和误匹配点，针对遮挡点和误匹配点采用不同的后续处理。
S204：若该非匹配点为遮挡点、且该非匹配点所属的初始误差图为初始左视差图，则先从该非匹配点的左侧查找与该非匹配点的距离小于预设阈值的背景匹配点；
若该非匹配点为遮挡点、且该非匹配点所属的初始误差图为初始右视差图，则先从该非匹配点的右侧查找与该非匹配点的距离小于预设阈值的背景匹配点；
若该非匹配点为误匹配点，在该非匹配点所属的初始误差图中，从该非匹配点的多个方向中查找与该非匹配点的距离小于预设阈值的多个匹配点。
S205：若该非匹配点为遮挡点，则利用查找到的背景匹配点，对该非匹配点进行填充处理；若该非匹配点为误匹配点，则利用所查找到的多个匹配点的中值，对该非匹配点进行填充处理。
应用本发明实施例，第一方面，如果图像中存在遮挡，则该遮挡区域像素点对应到初始视差图中即为非匹配点，利用与非匹配点距离较近的匹配点对非匹配点进行填充处理，也就是利用匹配正常的视差值对遮挡区域对应的视差值进行填充，这样，提高了遮挡区域对应视差的准确度，进而提高了图像之间视差准确度。第二方面，如果双目图像中存在不共视区域，则该不共视区域像素点对应到初始视差图中即为非匹配点，利用与非匹配点距离较近的匹配点对非匹配点进行填充处理，也就是利用匹配正常的点对不共视区域对应的点进行填充，这样，提高了不共视区域对应视差的准确度，进而提高了图像之间视差准确度。第三方面，本实施例中的非匹配点包括遮挡点和误匹配点，对遮挡点和误匹配点进行填充，可以提高弱纹理和重复纹理情况下的视差准确度。
本发明实施例还提供一种图像视差确定装置，如图3所示，包括：
获取模块301，用于获取至少一对待处理图像；
计算模块302，用于计算每对待处理图像的初始视差图；
确定模块303，用于确定所述初始视差图中的非匹配点；
查找模块304，用于针对所确定的每个非匹配点，在该非匹配点所属的初始误差图中，查找与该非匹配点的距离小于预设阈值的匹配点；
填充模块305，用于利用所查找到的匹配点，对该非匹配点进行填充处理，得到处理后的视差图。
作为一种实施方式，获取模块301，具体可以用于：
获取双目图像及采集所述双目图像的相机参数，所述相机参数中包括畸变参数和旋转平移关系；
计算模块302，具体可以用于：
利用所述畸变参数，对所述双目图像进行去畸变处理，得到去畸变图像；
根据所述旋转平移关系，将所述去畸变图像进行旋转变换，得到校正后的双目图像；
计算校正后的双目图像的初始视差图。
作为一种实施方式，一对待处理图像为一对双目图像，一对双目图像包括左图像和右图像；计算模块302，具体可以用于：
根据左图像中每个像素点所在邻域的视差和、以及左图像中每个像素点的特征与右图像中对应像素点的特征之间的海明距离，建立以左图像为基准图像的匹配代价函数；
对所述以左图像为基准图像的匹配代价函数进行求解，得到初始左视差图；
根据右图像中每个像素点所在邻域的视差和、以及右图像中每个像素点的特征与左图像中对应像素点的特征之间的海明距离，建立以右图像为基准图像的匹配代价函数；
对所述以右图像为基准图像的匹配代价函数进行求解，得到初始右视差图。
作为一种实施方式，所述匹配代价函数可以为：
C1(p,d)＝∑q∈w(p)|g1(q)-g2(q-d)|+ωCcensus；
其中，C1(p，d)表示基准图像中像素点的匹配代价，p表示基准图像中的像素点，d表示像素点的视差，W(p)表示以p为中心的邻域，q∈W(p)表示q为所述邻域中的像素点，g1(q)表示基准图像中像素点q的梯度值，q-d表示像素点q对应的对比图像中的像素点，所述对比图像为双目图像中除基准图像之外的另一张图像，g2(q-d)表示像素点q-d的梯度值，ω表示预设权重，Ccensus表示像素点p的census特征与像素点q-d的的census特征之间的海明距离。
作为一种实施方式，所述装置还可以包括：
第一滤波模块(图中未示出)，用于在所述确定所述初始视差图中的非匹配点之前，利用中值滤波算法，对所述初始视差图进行滤波处理，得到滤波后的视差图；
确定模块303，具体可以用于：确定所述滤波后的视差图中的非匹配点。
作为一种实施方式，确定模块303，具体可以用于：
针对每个左视差点，确定该左视差点对应的所述初始右视差图中的像素点，作为目标右视差点；判断该左视差点与所述目标右视差点的差是否大于第一预设阈值，如果大于，将该左视差点确定为非匹配点；其中，左视差点为所述初始左视差图中的像素点；
针对每个右视差点，确定该右视差点对应的所述初始左视差图中的像素点，作为目标左视差点；判断该右视差点与所述目标左视差点的差是否大于所述第一预设阈值，如果大于，将该右视差点确定为非匹配点；其中，右视差点为所述初始右视差图中的像素点。
作为一种实施方式，确定模块303还用于：
在判定该左视差点与所述目标右视差点的差大于第一预设阈值的情况下，
在该左视差点的视差范围内，判断所述初始右视差图中是否存在与该左视差点相匹配的多个像素点；如果不存在，将该左视差点确定为遮挡点；如果存在，将该左视差点确定为误匹配点；
在判定该右视差点与所述目标左视差点的差大于所述第一预设阈值的情况下，在该右视差点的视差范围内，判断所述初始左视差图中是否存在与该右视差点相匹配的多个像素点；如果不存在，将该右视差点确定为遮挡点；如果存在，将该右视差点确定为误匹配点。
作为一种实施方式，确定模块303，可以包括：分割子模块和确定子模块(图中未示出)，其中，
分割子模块，用于基于所述初始视差图的连续性，对所述初始视差图进行分割，得到一个或多个连通区域；
确定子模块，用于针对每个连通区域，根据该连通区域的视差均值、视差最大值以及该连通区域的面积，判断该连通区域是否满足匹配规则，如果不满足，将该连通区域中的像素点确定为误匹配点。
作为一种实施方式，所述确定子模块，具体可以用于：
计算预设视差最大值与该连通区域的视差均值的比值；
计算所述比值与该连通区域的面积的乘积；
判断所述乘积是否大于等于第二预设阈值；
如果所述乘积小于所述第二预设阈值，将该连通区域中的像素点确定为误匹配点。
作为一种实施方式，查找模块304，具体可以用于：
若该非匹配点为遮挡点、且该非匹配点所属的初始误差图为初始左视差图，则先从该非匹配点的左侧查找与该非匹配点的距离小于预设阈值的背景匹配点；
若该非匹配点为遮挡点、且该非匹配点所属的初始误差图为初始右视差图，则先从该非匹配点的右侧查找与该非匹配点的距离小于预设阈值的背景匹配点；
若该非匹配点为误匹配点，在该非匹配点所属的初始误差图中，从该非匹配点的多个方向中查找与该非匹配点的距离小于预设阈值的多个匹配点。
作为一种实施方式，填充模块305，具体可以用于：
若该非匹配点为遮挡点，则利用查找到的背景匹配点，对该非匹配点进行填充处理；
若该非匹配点为误匹配点，则利用所查找到的多个匹配点的中值，对该非匹配点进行填充处理。
作为一种实施方式，所述装置还可以包括：
插值模块(图中未示出)，用于在所述利用所查找到的匹配点，对该非匹配点进行填充处理，得到处理后的视差图之后，针对所述处理后的视差图中的每个像素点，根据该像素点在预设查找范围内的匹配代价曲线，利用多项式插值算法，对该像素点进行插值处理，得到该像素点的亚像素视差值。
作为一种实施方式，所述插值模块，具体可以用于：
确定该像素点在视差取值为d时的第一匹配代价；
确定该像素点在视差取值为d-1时的第二匹配代价；
确定该像素点在视差取值为d+1时的第三匹配代价；
计算所述第二匹配代价与所述第一匹配代价的差，作为第一差；
计算所述第三匹配代价与所述第一匹配代价的差，作为第二差；
如果所述第一差大于所述第二差，则利用所述第二差与所述第一差的比值，计算该像素点的亚像素视差值；
如果所述第一差小于等于所述第二差，则利用所述第一差与所述第二差的比值，计算该像素点的亚像素视差值。
作为一种实施方式，所述插值模块还用于：
在所述第一差大于所述第二差的情况下，利用如下算式，计算该像素点的亚像素视差值：
其中，rd表示所述第二差，ld表示所述第一差，dnew表示该像素点的亚像素视差值；
在所述第一差小于等于所述第二差的情况下，利用如下算式，计算该像素点的亚像素视差值：
利用如下算式，计算该像素点的亚像素视差值：
其中，rd表示所述第二差，ld表示所述第一差，dnew表示该像素点的亚像素视差值。
作为一种实施方式，所述处理后的视差图包括处理后的左视差图和处理后的右视差图；所述装置还可以包括：
第二滤波模块(图中未示出)，用于在所述得到处理后的视差图之后，利用导向滤波算法，以所述左图像为引导图像，对所述处理后的左视差图进行滤波；利用导向滤波算法，以所述右图像为引导图像，对所述处理后的右视差图进行滤波。
应用本发明图3所示实施例，第一方面，如果图像中存在遮挡，则该遮挡区域像素点对应到初始视差图中即为非匹配点，利用与非匹配点距离较近的匹配点对非匹配点进行填充处理，也就是利用匹配正常的视差值对遮挡区域对应的视差值进行填充，这样，提高了遮挡区域对应视差的准确度，进而提高了图像之间视差准确度。第二方面，如果双目图像中存在不共视区域，则该不共视区域像素点对应到初始视差图中即为非匹配点，利用与非匹配点距离较近的匹配点对非匹配点进行填充处理，也就是利用匹配正常的点对不共视区域对应的点进行填充，这样，提高了不共视区域对应视差的准确度，进而提高了图像之间视差准确度。第三方面，本实施例中的非匹配点包括遮挡点和误匹配点，对遮挡点和误匹配点进行填充，可以提高弱纹理和重复纹理情况下的视差准确度。
本发明实施例还提供了一种电子设备，如图4所示，包括处理器401和存储器402，
存储器402，用于存放计算机程序；
处理器401，用于执行存储器402上所存放的程序时，实现上述任一种图像视差确定方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种图像视差确定方法。
本发明实施例还提供一种图像视差确定系统，如图5所示，包括：双目相机和处理设备；
所述双目相机，用于采集双目图像，并将所述双目图像发送至所述处理设备；
所述处理设备，用于接收所述双目图像；计算所述双目图像的初始左视差图和初始右视差图；确定所述初始左视差图和初始右视差图中的非匹配点；针对所确定的每个非匹配点，在该非匹配点所属的初始误差图中，查找与该非匹配点的距离小于预设阈值的匹配点；利用所查找到的匹配点，对该非匹配点进行填充处理，得到处理后的视差图。
处理设备可以为具有图像处理功能的各种电子设备，比如手机、电脑等等，具体不做限定。处理设备可以执行上述任一种图像视差确定方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于图3所示的图像视差确定装置实施例、图4所示的电子设备实施例、、上述计算机可读存储介质实施例以及图5所示的图像视差确定系统实施例而言，由于其基本相似于图1a-2所示的图像视差确定方法实施例，所以描述的比较简单，相关之处参见图1a-2所示的图像视差确定方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (31)
1.一种图像视差确定方法，其特征在于，包括：
获取至少一对待处理图像；
计算每对待处理图像的初始视差图；
确定所述初始视差图中的非匹配点；
针对所确定的每个非匹配点，在该非匹配点所属的初始误差图中，查找与该非匹配点的距离小于预设阈值的匹配点；利用所查找到的匹配点，对该非匹配点进行填充处理，得到处理后的视差图。
2.根据权利要求1所述的方法，其特征在于，所述获取至少一对待处理图像，包括：
获取双目图像及采集所述双目图像的相机参数，所述相机参数中包括畸变参数和旋转平移关系；
所述计算每对待处理图像的初始视差图，包括：
利用所述畸变参数，对所述双目图像进行去畸变处理，得到去畸变图像；
根据所述旋转平移关系，将所述去畸变图像进行旋转变换，得到校正后的双目图像；
计算校正后的双目图像的初始视差图。
3.根据权利要求1所述的方法，其特征在于，一对待处理图像为一对双目图像，一对双目图像包括左图像和右图像；所述计算每对待处理图像的初始视差图，包括：
根据左图像中每个像素点所在邻域的视差和、以及左图像中每个像素点的特征与右图像中对应像素点的特征之间的海明距离，建立以左图像为基准图像的匹配代价函数；
对所述以左图像为基准图像的匹配代价函数进行求解，得到初始左视差图；
根据右图像中每个像素点所在邻域的视差和、以及右图像中每个像素点的特征与左图像中对应像素点的特征之间的海明距离，建立以右图像为基准图像的匹配代价函数；
对所述以右图像为基准图像的匹配代价函数进行求解，得到初始右视差图。
4.根据权利要求3所述的方法，所述匹配代价函数为：
C1(p,d)＝∑q∈W(p)|g1(q)-g2(q-d)|+ωCcensus；
其中，C1(p，d)表示基准图像中像素点的匹配代价，p表示基准图像中的像素点，d表示像素点的视差，W(p)表示以p为中心的邻域，q∈W(p)表示q为所述邻域中的像素点，g1(q)表示基准图像中像素点q的梯度值，q-d表示像素点q对应的对比图像中的像素点，所述对比图像为双目图像中除基准图像之外的另一张图像，g2(q-d)表示像素点q-d的梯度值，ω表示预设权重，Ccensus表示像素点p的census特征与像素点q-d的的census特征之间的海明距离。
5.根据权利要求1所述的方法，其特征在于，在所述确定所述初始视差图中的非匹配点之前，还包括：
利用中值滤波算法，对所述初始视差图进行滤波处理，得到滤波后的视差图；
所述确定所述初始视差图中的非匹配点，包括：
确定所述滤波后的视差图中的非匹配点。
6.根据权利要求3所述的方法，其特征在于，所述确定所述初始视差图中的非匹配点，包括：
针对每个左视差点，确定该左视差点对应的所述初始右视差图中的像素点，作为目标右视差点；判断该左视差点与所述目标右视差点的差是否大于第一预设阈值，如果大于，将该左视差点确定为非匹配点；其中，左视差点为所述初始左视差图中的像素点；
针对每个右视差点，确定该右视差点对应的所述初始左视差图中的像素点，作为目标左视差点；判断该右视差点与所述目标左视差点的差是否大于所述第一预设阈值，如果大于，将该右视差点确定为非匹配点；其中，右视差点为所述初始右视差图中的像素点。
7.根据权利要求6所述的方法，其特征在于，在判定该左视差点与所述目标右视差点的差大于第一预设阈值的情况下，还包括：
在该左视差点的视差范围内，判断所述初始右视差图中是否存在与该左视差点相匹配的多个像素点；如果不存在，将该左视差点确定为遮挡点；如果存在，将该左视差点确定为误匹配点；
在判定该右视差点与所述目标左视差点的差大于所述第一预设阈值的情况下，还包括：
在该右视差点的视差范围内，判断所述初始左视差图中是否存在与该右视差点相匹配的多个像素点；如果不存在，将该右视差点确定为遮挡点；如果存在，将该右视差点确定为误匹配点。
8.根据权利要求1所述的方法，其特征在于，所述确定所述初始视差图中的非匹配点，包括：
基于所述初始视差图的连续性，对所述初始视差图进行分割，得到一个或多个连通区域；针对每个连通区域，根据该连通区域的视差均值、视差最大值以及该连通区域的面积，判断该连通区域是否满足匹配规则，如果不满足，将该连通区域中的像素点确定为误匹配点。
9.根据权利要求8所述的方法，其特征在于，所述根据该连通区域的视差均值、视差最大值以及该连通区域的面积，判断该连通区域是否满足匹配规则，如果不满足，将该连通区域中的像素点确定为误匹配点，包括：
计算预设视差最大值与该连通区域的视差均值的比值；
计算所述比值与该连通区域的面积的乘积；
判断所述乘积是否大于等于第二预设阈值；
如果所述乘积小于所述第二预设阈值，将该连通区域中的像素点确定为误匹配点。
10.根据权利要求3所述的方法，其特征在于，所述在该非匹配点所属的初始误差图中，查找与该非匹配点的距离小于预设阈值的匹配点，包括：
若该非匹配点为遮挡点、且该非匹配点所属的初始误差图为初始左视差图，则先从该非匹配点的左侧查找与该非匹配点的距离小于预设阈值的背景匹配点；
若该非匹配点为遮挡点、且该非匹配点所属的初始误差图为初始右视差图，则先从该非匹配点的右侧查找与该非匹配点的距离小于预设阈值的背景匹配点；
若该非匹配点为误匹配点，在该非匹配点所属的初始误差图中，从该非匹配点的多个方向中查找与该非匹配点的距离小于预设阈值的多个匹配点。
11.根据权利要求10所述的方法，其特征在于，所述利用所查找到的匹配点，对该非匹配点进行填充处理，包括：
若该非匹配点为遮挡点，则利用查找到的背景匹配点，对该非匹配点进行填充处理；
若该非匹配点为误匹配点，则利用所查找到的多个匹配点的中值，对该非匹配点进行填充处理。
12.根据权利要求1所述的方法，其特征在于，在所述利用所查找到的匹配点，对该非匹配点进行填充处理，得到处理后的视差图之后，还包括：
针对所述处理后的视差图中的每个像素点，根据该像素点在预设查找范围内的匹配代价曲线，利用多项式插值算法，对该像素点进行插值处理，得到该像素点的亚像素视差值。
13.根据权利要求12所述的方法，其特征在于，所述根据该像素点在预设查找范围内的匹配代价曲线，利用多项式插值算法，对该像素点进行插值处理，得到该像素点的亚像素视差值，包括：
确定该像素点在视差取值为d时的第一匹配代价；
确定该像素点在视差取值为d-1时的第二匹配代价；
确定该像素点在视差取值为d+1时的第三匹配代价；
计算所述第二匹配代价与所述第一匹配代价的差，作为第一差；
计算所述第三匹配代价与所述第一匹配代价的差，作为第二差；
如果所述第一差大于所述第二差，则利用所述第二差与所述第一差的比值，计算该像素点的亚像素视差值；
如果所述第一差小于等于所述第二差，则利用所述第一差与所述第二差的比值，计算该像素点的亚像素视差值。
14.根据权利要求13所述的方法，其特征在于，所述利用所述第二差与所述第一差的比值，计算该像素点的亚像素视差值，包括：
利用如下算式，计算该像素点的亚像素视差值：
dnew＝d+dm，
其中，rd表示所述第二差，ld表示所述第一差，dnew表示该像素点的亚像素视差值；
所述利用所述第一差与所述第二差的比值，计算该像素点的亚像素视差值，包括：
利用如下算式，计算该像素点的亚像素视差值：
dnew＝d+dm，
其中，rd表示所述第二差，ld表示所述第一差，dnew表示该像素点的亚像素视差值。
15.根据权利要求3所述的方法，其特征在于，所述处理后的视差图包括处理后的左视差图和处理后的右视差图；在所述得到处理后的视差图之后，还包括：
利用导向滤波算法，以所述左图像为引导图像，对所述处理后的左视差图进行滤波；
利用导向滤波算法，以所述右图像为引导图像，对所述处理后的右视差图进行滤波。
16.一种图像视差确定装置，其特征在于，包括：
获取模块，用于获取至少一对待处理图像；
计算模块，用于计算每对待处理图像的初始视差图；
确定模块，用于确定所述初始视差图中的非匹配点；
查找模块，用于针对所确定的每个非匹配点，在该非匹配点所属的初始误差图中，查找与该非匹配点的距离小于预设阈值的匹配点；
填充模块，用于利用所查找到的匹配点，对该非匹配点进行填充处理，得到处理后的视差图。
17.根据权利要求16所述的装置，其特征在于，所述获取模块，具体用于：
获取双目图像及采集所述双目图像的相机参数，所述相机参数中包括畸变参数和旋转平移关系；
所述计算模块，具体用于：
利用所述畸变参数，对所述双目图像进行去畸变处理，得到去畸变图像；
根据所述旋转平移关系，将所述去畸变图像进行旋转变换，得到校正后的双目图像；
计算校正后的双目图像的初始视差图。
18.根据权利要求16所述的装置，其特征在于，一对待处理图像为一对双目图像，一对双目图像包括左图像和右图像；所述计算模块，具体用于：
根据左图像中每个像素点所在邻域的视差和、以及左图像中每个像素点的特征与右图像中对应像素点的特征之间的海明距离，建立以左图像为基准图像的匹配代价函数；
对所述以左图像为基准图像的匹配代价函数进行求解，得到初始左视差图；
根据右图像中每个像素点所在邻域的视差和、以及右图像中每个像素点的特征与左图像中对应像素点的特征之间的海明距离，建立以右图像为基准图像的匹配代价函数；
对所述以右图像为基准图像的匹配代价函数进行求解，得到初始右视差图。
19.根据权利要求18所述的装置，其特征在于，所述匹配代价函数为：
C1(p,d)＝∑q∈W(p)|g1(q)-g2(q-d)|+ωCcensus；
其中，C1(p，d)表示基准图像中像素点的匹配代价，p表示基准图像中的像素点，d表示像素点的视差，W(p)表示以p为中心的邻域，q∈W(p)表示q为所述邻域中的像素点，g1(q)表示基准图像中像素点q的梯度值，q-d表示像素点q对应的对比图像中的像素点，所述对比图像为双目图像中除基准图像之外的另一张图像，g2(q-d)表示像素点q-d的梯度值，ω表示预设权重，Ccensus表示像素点p的census特征与像素点q-d的的census特征之间的海明距离。
20.根据权利要求16所述的装置，其特征在于，所述装置还包括：
第一滤波模块，用于在所述确定所述初始视差图中的非匹配点之前，利用中值滤波算法，对所述初始视差图进行滤波处理，得到滤波后的视差图；
确定模块，具体用于：确定所述滤波后的视差图中的非匹配点。
21.根据权利要求18所述的装置，其特征在于，所述确定模块，具体用于：
针对每个左视差点，确定该左视差点对应的所述初始右视差图中的像素点，作为目标右视差点；判断该左视差点与所述目标右视差点的差是否大于第一预设阈值，如果大于，将该左视差点确定为非匹配点；其中，左视差点为所述初始左视差图中的像素点；
针对每个右视差点，确定该右视差点对应的所述初始左视差图中的像素点，作为目标左视差点；判断该右视差点与所述目标左视差点的差是否大于所述第一预设阈值，如果大于，将该右视差点确定为非匹配点；其中，右视差点为所述初始右视差图中的像素点。
22.根据权利要求21所述的装置，其特征在于，所述确定模块，还用于：
在判定该左视差点与所述目标右视差点的差大于第一预设阈值的情况下，
在该左视差点的视差范围内，判断所述初始右视差图中是否存在与该左视差点相匹配的多个像素点；如果不存在，将该左视差点确定为遮挡点；如果存在，将该左视差点确定为误匹配点；
在判定该右视差点与所述目标左视差点的差大于所述第一预设阈值的情况下，在该右视差点的视差范围内，判断所述初始左视差图中是否存在与该右视差点相匹配的多个像素点；如果不存在，将该右视差点确定为遮挡点；如果存在，将该右视差点确定为误匹配点。
23.根据权利要求16所述的装置，其特征在于，所述确定模块，包括：
分割子模块，用于基于所述初始视差图的连续性，对所述初始视差图进行分割，得到一个或多个连通区域；
确定子模块，用于针对每个连通区域，根据该连通区域的视差均值、视差最大值以及该连通区域的面积，判断该连通区域是否满足匹配规则，如果不满足，将该连通区域中的像素点确定为误匹配点。
24.根据权利要求23所述的装置，其特征在于，所述确定子模块，具体用于：计算预设视差最大值与该连通区域的视差均值的比值；
计算所述比值与该连通区域的面积的乘积；
判断所述乘积是否大于等于第二预设阈值；
如果所述乘积小于所述第二预设阈值，将该连通区域中的像素点确定为误匹配点。
25.根据权利要求18所述的装置，其特征在于，所述查找模块，具体用于：
若该非匹配点为遮挡点、且该非匹配点所属的初始误差图为初始左视差图，则先从该非匹配点的左侧查找与该非匹配点的距离小于预设阈值的背景匹配点；
若该非匹配点为遮挡点、且该非匹配点所属的初始误差图为初始右视差图，则先从该非匹配点的右侧查找与该非匹配点的距离小于预设阈值的背景匹配点；
若该非匹配点为误匹配点，在该非匹配点所属的初始误差图中，从该非匹配点的多个方向中查找与该非匹配点的距离小于预设阈值的多个匹配点。
26.根据权利要求25所述的装置，其特征在于，所述填充模块，具体用于：
若该非匹配点为遮挡点，则利用查找到的背景匹配点，对该非匹配点进行填充处理；
若该非匹配点为误匹配点，则利用所查找到的多个匹配点的中值，对该非匹配点进行填充处理。
27.根据权利要求16所述的装置，其特征在于，所述装置还包括：
插值模块，用于在所述利用所查找到的匹配点，对该非匹配点进行填充处理，得到处理后的视差图之后，针对所述处理后的视差图中的每个像素点，根据该像素点在预设查找范围内的匹配代价曲线，利用多项式插值算法，对该像素点进行插值处理，得到该像素点的亚像素视差值。
28.根据权利要求27所述的装置，其特征在于，所述插值模块，具体用于：
确定该像素点在视差取值为d时的第一匹配代价；
确定该像素点在视差取值为d-1时的第二匹配代价；
确定该像素点在视差取值为d+1时的第三匹配代价；
计算所述第二匹配代价与所述第一匹配代价的差，作为第一差；
计算所述第三匹配代价与所述第一匹配代价的差，作为第二差；
如果所述第一差大于所述第二差，则利用所述第二差与所述第一差的比值，计算该像素点的亚像素视差值；
如果所述第一差小于等于所述第二差，则利用所述第一差与所述第二差的比值，计算该像素点的亚像素视差值。
29.根据权利要求28所述的装置，其特征在于，所述插值模块，还用于：
在所述第一差大于所述第二差的情况下，利用如下算式，计算该像素点的亚像素视差值：
dnew＝d+dm，
其中，rd表示所述第二差，ld表示所述第一差，dnew表示该像素点的亚像素视差值；
在所述第一差小于等于所述第二差的情况下，利用如下算式，计算该像素点的亚像素视差值：
利用如下算式，计算该像素点的亚像素视差值：
dnew＝d+dm，
其中，rd表示所述第二差，ld表示所述第一差，dnew表示该像素点的亚像素视差值。
30.根据权利要求18所述的装置，其特征在于，所述处理后的视差图包括处理后的左视差图和处理后的右视差图；所述装置还包括：
第二滤波模块，用于在所述得到处理后的视差图之后，利用导向滤波算法，以所述左图像为引导图像，对所述处理后的左视差图进行滤波；利用导向滤波算法，以所述右图像为引导图像，对所述处理后的右视差图进行滤波。
31.一种图像视差确定系统，其特征在于，包括：双目相机和处理设备；
所述双目相机，用于采集双目图像，并将所述双目图像发送至所述处理设备；
所述处理设备，用于接收所述双目图像；计算所述双目图像的初始左视差图和初始右视差图；确定所述初始左视差图和初始右视差图中的非匹配点；针对所确定的每个非匹配点，在该非匹配点所属的初始误差图中，查找与该非匹配点的距离小于预设阈值的匹配点；利用所查找到的匹配点，对该非匹配点进行填充处理，得到处理后的视差图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810515541.6A CN110533701A (zh) | 2018-05-25 | 2018-05-25 | 一种图像视差确定方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810515541.6A CN110533701A (zh) | 2018-05-25 | 2018-05-25 | 一种图像视差确定方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110533701A true CN110533701A (zh) | 2019-12-03 |
Family
ID=68657880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810515541.6A Pending CN110533701A (zh) | 2018-05-25 | 2018-05-25 | 一种图像视差确定方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110533701A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233164A (zh) * | 2020-09-18 | 2021-01-15 | 南京理工大学 | 一种视差图错误点识别与校正方法 |
| WO2021179590A1 (zh) * | 2020-03-10 | 2021-09-16 | 北京迈格威科技有限公司 | 视差图的处理方法、装置、计算机设备和存储介质 |
| WO2021195940A1 (zh) * | 2020-03-31 | 2021-10-07 | 深圳市大疆创新科技有限公司 | 一种图像处理方法及可移动平台 |
| CN114866758A (zh) * | 2022-05-31 | 2022-08-05 | 星宸科技股份有限公司 | 视差图像填补方法以及图像处理装置 |
| WO2022179359A1 (zh) * | 2021-02-24 | 2022-09-01 | 嘉楠明芯(北京)科技有限公司 | 图像的立体匹配方法以及装置 |
| CN116438568A (zh) * | 2022-05-23 | 2023-07-14 | 上海玄戒技术有限公司 | 位置差异图生成方法及装置、电子设备、芯片及介质 |
| CN116542938A (zh) * | 2023-05-09 | 2023-08-04 | 深圳聚源视芯科技有限公司 | 一种基于双目视觉的视差后处理系统和方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070061011A (ko) * | 2005-12-08 | 2007-06-13 | 한국전자통신연구원 | 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법 |
| US20120155747A1 (en) * | 2010-12-17 | 2012-06-21 | Electronics And Telecommunications Research Institute | Stereo image matching apparatus and method |
| CN102999913A (zh) * | 2012-11-29 | 2013-03-27 | 清华大学深圳研究生院 | 一种基于可信点传播的局部立体匹配方法 |
| CN106254850A (zh) * | 2016-08-23 | 2016-12-21 | 深圳市捷视飞通科技股份有限公司 | 双视点立体视频的图像匹配方法及装置 |
| CN106504276A (zh) * | 2016-10-25 | 2017-03-15 | 桂林电子科技大学 | 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法 |
| CN106525004A (zh) * | 2016-11-09 | 2017-03-22 | 人加智能机器人技术（北京）有限公司 | 双目立体视觉系统及深度测量方法 |
| CN106780590A (zh) * | 2017-01-03 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 一种深度图的获取方法及系统 |
| CN107945222A (zh) * | 2017-12-15 | 2018-04-20 | 东南大学 | 一种新型的立体匹配代价计算以及视差后处理方法 |
-
2018
- 2018-05-25 CN CN201810515541.6A patent/CN110533701A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070061011A (ko) * | 2005-12-08 | 2007-06-13 | 한국전자통신연구원 | 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법 |
| US20120155747A1 (en) * | 2010-12-17 | 2012-06-21 | Electronics And Telecommunications Research Institute | Stereo image matching apparatus and method |
| CN102999913A (zh) * | 2012-11-29 | 2013-03-27 | 清华大学深圳研究生院 | 一种基于可信点传播的局部立体匹配方法 |
| CN106254850A (zh) * | 2016-08-23 | 2016-12-21 | 深圳市捷视飞通科技股份有限公司 | 双视点立体视频的图像匹配方法及装置 |
| CN106504276A (zh) * | 2016-10-25 | 2017-03-15 | 桂林电子科技大学 | 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法 |
| CN106525004A (zh) * | 2016-11-09 | 2017-03-22 | 人加智能机器人技术（北京）有限公司 | 双目立体视觉系统及深度测量方法 |
| CN106780590A (zh) * | 2017-01-03 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 一种深度图的获取方法及系统 |
| CN107945222A (zh) * | 2017-12-15 | 2018-04-20 | 东南大学 | 一种新型的立体匹配代价计算以及视差后处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| 一度逍遥: "《OpenCV3.4两种立体匹配算法效果对比》", 《HTTPS://WWW.CNBLOGS.COM/RIDDICK/P/8318997.HTML》 * |
| 王红蕾 等: "《系统工程理论与应用7》", 30 November 2017, 贵阳：贵州大学出版社 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021179590A1 (zh) * | 2020-03-10 | 2021-09-16 | 北京迈格威科技有限公司 | 视差图的处理方法、装置、计算机设备和存储介质 |
| WO2021195940A1 (zh) * | 2020-03-31 | 2021-10-07 | 深圳市大疆创新科技有限公司 | 一种图像处理方法及可移动平台 |
| CN112233164A (zh) * | 2020-09-18 | 2021-01-15 | 南京理工大学 | 一种视差图错误点识别与校正方法 |
| CN112233164B (zh) * | 2020-09-18 | 2022-09-27 | 南京理工大学 | 一种视差图错误点识别与校正方法 |
| WO2022179359A1 (zh) * | 2021-02-24 | 2022-09-01 | 嘉楠明芯(北京)科技有限公司 | 图像的立体匹配方法以及装置 |
| CN116438568A (zh) * | 2022-05-23 | 2023-07-14 | 上海玄戒技术有限公司 | 位置差异图生成方法及装置、电子设备、芯片及介质 |
| CN114866758A (zh) * | 2022-05-31 | 2022-08-05 | 星宸科技股份有限公司 | 视差图像填补方法以及图像处理装置 |
| CN114866758B (zh) * | 2022-05-31 | 2024-02-23 | 星宸科技股份有限公司 | 视差图像填补方法以及图像处理装置 |
| CN116542938A (zh) * | 2023-05-09 | 2023-08-04 | 深圳聚源视芯科技有限公司 | 一种基于双目视觉的视差后处理系统和方法 |
| CN116542938B (zh) * | 2023-05-09 | 2024-04-09 | 深圳聚源视芯科技有限公司 | 一种基于双目视觉的视差后处理系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533701A (zh) | 一种图像视差确定方法、装置及设备 | |
| CN112894832B (zh) | 三维建模方法、装置、电子设备和存储介质 | |
| US11010924B2 (en) | Method and device for determining external parameter of stereoscopic camera | |
| Bakstein et al. | Panoramic mosaicing with a 180/spl deg/field of view lens | |
| CN107507239B (zh) | 一种图像分割方法及移动终端 | |
| EP2328125B1 (en) | Image splicing method and device | |
| EP2064675B1 (en) | Method for determining a depth map from images, device for determining a depth map | |
| WO2015180659A1 (zh) | 图像处理方法和图像处理装置 | |
| CN107980138A (zh) | 一种虚警障碍物检测方法及装置 | |
| CN106815869B (zh) | 鱼眼相机的光心确定方法及装置 | |
| CN109640066B (zh) | 高精度稠密深度图像的生成方法和装置 | |
| Hirschmuller et al. | Stereo matching in the presence of sub-pixel calibration errors | |
| CN107424196B (zh) | 一种基于弱标定多目相机的立体匹配方法、装置及系统 | |
| Bartczak et al. | Dense depth maps from low resolution time-of-flight depth and high resolution color views | |
| CN110458952B (zh) | 一种基于三目视觉的三维重建方法和装置 | |
| Fathi et al. | Multistep explicit stereo camera calibration approach to improve Euclidean accuracy of large-scale 3D reconstruction | |
| CN110619660A (zh) | 一种物体定位方法、装置、计算机可读存储介质及机器人 | |
| CN105701787B (zh) | 基于置信度的深度图融合方法 | |
| CN114782636A (zh) | 三维重建方法、装置及系统 | |
| CN110825079A (zh) | 一种地图构建方法及装置 | |
| JP2011165081A (ja) | 画像生成方法、画像生成装置、及びプログラム | |
| CN113450334B (zh) | 一种水上目标检测方法、电子设备及存储介质 | |
| CN112686937B (zh) | 一种深度图像的生成方法、装置及设备 | |
| WO2021193672A1 (ja) | 三次元モデル生成方法及び三次元モデル生成装置 | |
| Lhuillier | Toward flexible 3d modeling using a catadioptric camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |