CN116863144A - 一种视差图降噪方法 - Google Patents
一种视差图降噪方法 Download PDFInfo
- Publication number
- CN116863144A CN116863144A CN202310902820.9A CN202310902820A CN116863144A CN 116863144 A CN116863144 A CN 116863144A CN 202310902820 A CN202310902820 A CN 202310902820A CN 116863144 A CN116863144 A CN 116863144A
- Authority
- CN
- China
- Prior art keywords
- parallax
- point
- map
- points
- disparity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000009467 reduction Effects 0.000 title claims abstract description 53
- 238000013507 mapping Methods 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 abstract description 18
- 230000000694 effects Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 208000006440 Open Bite Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开一种视差图降噪方法,包括步骤:步骤1、获取双目相机的采集图像并计算视差值,生成视差图;步骤2、根据视差阈值遍历视差图中的视差点,并根据遍历结果将视差图划分为多个图层;步骤3、统计各个图层中视差点的视差点个数,并去除视差点个数小于或等于相应平面阈值的图层;步骤4、采用图像拼接的方式,根据剩余图层,生成降噪视差图;其中,视差阈值以及平面阈值的取值由采集图像中像素点与双目相机之间的距离确定。本申请基于视差阈值以及平面阈值,对视差图中的各个视差点进行图层的划分,实现对视差图进行降噪滤波,并将相应图层中离散的有效视差点保留下来。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种视差图降噪方法。
背景技术
双目立体视觉技术是一种对双目摄像机拍摄的同一场景的深度图进行视差估计、确定三维空间场景深度的技术。在通过视差估计算法得到的视差图中,往往存在大量噪点,这对后续操作及分析处理产生较大干扰。
为了去除这些噪点,现有方法中,通常采用固定窗口滤波(窗口尺寸通常为11*9),将窗口内视差点的视差值与中心点的视差值作比较,统计视差值相近的视差点个数,若不满足要求则认为该窗口内的视差点均是噪声并进行去除;但该方法存在如下不足:
由于双目相机输出的视差图是半稠密的,会有比较多的视差值准确、但散乱分布的视差点(散点),而这些散点在局部区域内的数量一般不满足现有的窗口滤波方法,所以这些散点将会被大量删除,导致视差图中有效视差点的减少。
另外,对于一些分布较为集中的噪点(有视差值、但视差值并不准确),反而因为能达到窗口滤波方法的要求被保留下来,导致视差图滤波效果不佳,增加了基于视差图进行目标识别的难度。
CN115908170A公开了一种双目图像的降噪方法,包括:利用非局部均值滤波算法计算得到双目图像的最浅层引导图像所对应的第一水平视差矩阵;根据第一水平视差矩阵,利用非局部均值滤波算法计算得到第一左视引导图像在第一右视引导图像中的第一欧式距离,和第一右视引导图像在第一左视引导图像中的第二欧式距离;利用非局部均值滤波算法计算得到第一左视引导图像在自身图像中的第三欧式距离,以及第一右视引导图像在自身图像中的第四欧式距离;根据第一欧式距离、第二欧式距离、第三欧氏距离、以及第四欧式距离得到对应双目图像的降噪图像,以此实现了降低双目图像的图像噪声的效果。但该专利对图像的降噪方法不全面,降噪效果不佳且方法也较为复杂。
CN112381102A公开一种图像降噪模型生成方法及图像降噪方法,通过获取同一场景下的N张不同Bayer阵列的第一Raw图像,将N张不同Bayer阵列的第一Raw图像进行融合处理,得到相对应的N张第二Raw图像,基于第一Raw图像及第二Raw图像,建立样本图像数据库并进行模型训练,得到图像降噪模型;将待处理Raw图像进行格式转换处理后输入上述图像降噪模型,得到第一降噪图像,针对第一降噪图像进行相应格式转换处理,得到最终降噪图像。该专利基于生成的图像降噪模型实现图像自动降噪,能明显降低画面噪声,但方法也较为复杂。
因此,如何提出一种既能实现对视差图上噪点的有效且全面的降噪滤波,又能保留视差图上离散的有效视差点,是具有重要意义的。
发明内容
本申请所要解决的技术问题是:如何在保留离散的有效视差点的情况下对视差图进行降噪滤波。
为了解决上述技术问题,本申请提供如下技术方案:
一种视差图降噪方法,包括以下步骤:
步骤1、获取双目相机的采集图像并计算视差值,生成视差图;
步骤2、根据视差阈值遍历视差图中的视差点,并根据遍历结果将视差图划分为多个图层;
步骤3、统计各个图层中视差点的视差点个数,并去除视差点个数小于或等于相应平面阈值的图层;
步骤4、采用图像拼接的方式,根据剩余图层,生成降噪视差图;
其中,视差阈值以及平面阈值的取值由采集图像中像素点与双目相机之间的距离确定。
在一些实施例中,步骤2中,包括:
步骤2.1.1、依次遍历视差图中的各个视差点,根据视差阈值以及各个视差点的视差值,确定各个视差点的标签;
步骤2.1.2、根据各个视差点的标签,将视差图划分为多个图层。
在一些实施例中,步骤2中,包括:
步骤2.2.1、根据当前视差点的视差值以及相应像素点与双目相机之间的距离确定视差阈值;
步骤2.2.2、判断当前视差点的相邻视差点的视差值是否位于视差阈值范围内,
若是,将当前视差点划分入相邻视差点所在的第一图层,
若否,将当前视差点划分为第二图层,第二图层与第一图层不相同,
其中,相邻视差点为当前视差点的上相邻视差点和/或左相邻视差点。
在一些实施例中,视差阈值包括左边界视差以及右边界视差,左边界视差thresholdL的计算公式为:
右边界视差thresholdR的计算公式为:
式中,X为像素点与双目相机之间的距离,D为像素点对应的视差值,δd为设定的距离差值。
在一些实施例中,相邻视差点为当前视差点的上相邻视差点和左相邻视差点,方法还包括:
确定图层的图层标签;
步骤2.2.2中,包括:
当判定上相邻视差点的视差值以及左相邻视差点的视差值均位于视差阈值范围内,且上相邻视差点所在图层的图层标签与左相邻视差点所在图层的图层标签不同时,
将当前视差点划分入左相邻视差点所在图层。
在一些实施例中,将当前视差点划分入左相邻视差点所在图层之后,还包括:
标记上相邻视差点所在图层的图层标签与左相邻视差点所在图层的图层标签;
待完成遍历视差图中的视差点后,根据图层标签的标记结果,将对应的图层合并为一个图层,并生成合并后的图层标签。
在一些实施例中,相邻视差点为:
视差图中当前视差点上方、视差值不为0的上相邻视差点,和/或,
视差图中当前视差点左侧、视差值不为0的左相邻视差点。
在一些实施例中,该视差图降噪方法还包括:
步骤5、根据降噪视差图,将右矫正图映射到一个左图空间,生成左映射图像;
步骤6、按照左映射图像中的行列坐标,依次统计左映射图像中各个像素点对应的右矫正图的像素点的个数,当统计出的个数大于1时,将对应于一个左映射图像中像素点的多个右矫正图中的像素点,记为遮蔽像素点;
步骤7、比较遮蔽像素点映射至左映射图像中相应像素点时的视差值,保留视差值中的最小视差值,并将其余视差值更新为0;
步骤8、更新降噪视差图。
在一些实施例中,平面阈值的计算公式为:
式中,alpha为预设常数,X为像素点与双目相机之间的距离。
本申请具有以下有益效果如下:
(1)本申请所提供的一种视差图降噪方法,基于视差阈值以及平面阈值,对视差图中的各个视差点进行图层(区域)的划分,可以将像素间隔较大、但与双目相机距离相近的视差点作为同一个图层,进而再根据各个图层中视差点的数量,删除视差点数量较小的图层,实现对视差图进行降噪滤波,并保留下来相应图层中离散的有效视差点,提高视差图中有效视差的数量及视差图的稠密度;根据降噪视差图,将右矫正图映射到一个左图空间,生成左映射图像,按照左映射图像中的行列坐标,依次统计左映射图像中各个像素点对应的右矫正图的像素点的个数,当统计出的个数大于1时,将对应于一个左映射图像中像素点的多个右矫正图中的像素点,记为遮蔽像素点;比较遮蔽像素点映射至左映射图像中相应像素点时的视差值,保留视差值中的最小视差值,并将其余视差值更新为0,以此获得更新的降噪视差图;通过上述方法,实现在保留离散的有效视差点的情况下对视差图进行降噪滤波,并可以有效的对因遮挡所导致的噪点进行滤除。
(2)本申请所提供的一种视差图降噪方法,能有效且全面地降噪滤除视差图上的噪点,进而能大大降低基于视差图进行目标识别的难度。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,从而可依照说明书的内容予以实施,并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂,以下以本申请的较佳实施例并配合附图详细说明如后。
根据下文结合附图对本申请具体实施例的详细描述,本领域技术人员将会更加明了本申请的上述及其他目的、优点和特征。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1是本申请实施例中一种视差图降噪方法的流程示意图;
图2是本申请实施例中在视差图上对各视差点进行图层划分的示意图;
图3是本申请实施例中右矫正图映射到左图空间的映射示意图;
图4是本申请实施例中对同一场景下获取的采集图像;
图5是本申请实施例中采用固定窗口滤波方法和本申请降噪方法对视差图降噪的对比效果示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。在下面的描述中,提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本申请的实施例。因此,本领域技术人员应该清楚,可以对这里描述的实施例进行各种改变和修改而不脱离本申请的范围和精神。另外,为了清楚和简洁,实施例中省略了对已知功能和构造的描述。
应该理解,说明书通篇中提到的“一个实施例”或“本实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“一个实施例”或“本实施例”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
此外,本申请可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身并不指示所讨论各种实施例和/或设置之间的关系。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,单独存在B,同时存在A和B三种情况,本文中术语“/和”是描述另一种关联对象关系,表示可以存在两种关系,例如,A/和B,可以表示:单独存在A,单独存在A和B两种情况,另外,本文中字符“/”,一般表示前后关联对象是一种“或”关系。
本文中术语“至少一种”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和B的至少一种,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含。
实施例1
如图1所示,本实施例提供了一种视差图降噪方法,该方法包括以下步骤:
步骤1、获取双目相机的采集图像并计算视差值,生成视差图;
步骤2、根据视差阈值遍历视差图中的视差点,并根据遍历结果将视差图划分为多个图层;
步骤3、统计各个图层中视差点的视差点个数,并去除视差点个数小于或等于相应平面阈值的图层;
步骤4、采用图像拼接的方式,根据剩余图层,生成降噪视差图;
其中,视差阈值以及平面阈值的取值由采集图像中像素点与双目相机之间的距离确定。
具体的,本实施例基于双目相机可以输出参考图、视差图,其中,参考图通常为双目相机中右相机的采集图像,也叫做右矫正图。
视差图则由多个视差点组成,每一个视差点对应一个视差值,该视差值可以作为目标检测/匹配的依据,因此,需要对双目相机生成的视差图进行滤波,过滤掉因图像纹理不清晰或遮挡导致的视差值错误的视差点。
本实施例引入图层的思想,基于视差阈值以及平面阈值,对视差图中的各个视差点进行图层(区域)的划分,根据设定相应的视差阈值,可以判断两个视差点是否位于同一图层,并确定对应的图层标签。
本实施例中将满足视差阈值的相邻视差点视作一个图层,若两个视差点之间是空洞(视差值为0)但两点的视差值相近,即前一个视差点的视差值位于当前视差点确定的视差阈值范围内,同样将这两个视差点视为在一个图层内。
本实施例采用逐行扫描的方式,由左至右、由上至下,依次基于各个视差点的视差值及视差阈值,进行图层划分。
通过这种划分方式,可以将像素间隔较大、但与双目相机距离相近的视差点作为同一个图层,进而再根据各个图层中视差点的数量,删除视差点数量较小的图层,对视差图进行降噪滤波,保留相应图层中的散点。之后再对保留下的剩余图层采用图像拼接或者图像合成的方式,保证图层的位置不变,生成降噪视差图,提高视差图中有效视差的数量及视差图的稠密度。
需要说明的是,相邻图层之间如果存在视差值为0的区域,该区域保留即可。
在一些实施例中,视差阈值包括左边界视差以及右边界视差,左边界视差thresholdL的计算公式为:
右边界视差thresholdR的计算公式为:
式中,X为像素点与双目相机之间的距离,D为像素点对应的视差值,δd为设定的距离差值。
在一些实施例中,平面阈值的计算公式为:
式中,alpha为预设常数,X为像素点与双目相机之间的距离。
设定平面阈值是用于判断图层(区域)是否为噪点,即每一区域上的有效视差点是否过少。
在一些实施例中,为了简化图层划分的难度,可以直接根据视差阈值确定各个视差点的标签,再将相同标签的视差点划分为统一图层,因此,该步骤2中,包括:
步骤2.1.1、依次遍历视差图中的各个视差点,根据视差阈值以及各个视差点的视差值,确定各个视差点的标签;
步骤2.1.2、根据各个视差点的标签,将视差图划分为多个图层。
在一些实施例中,为了保证图层划分的准确性,保留视差值真实有效的散点的同时,将分布集中但视差值错误的噪点滤除,本实施例还提供了一种图层划分的方法,以保证视差图降噪滤波的可靠性和准确性,因此,该步骤2中,包括:
步骤2.2.1、根据当前视差点的视差值以及相应像素点与双目相机之间的距离确定视差阈值;
步骤2.2.2、判断当前视差点的相邻视差点的视差值是否位于视差阈值范围内,若是,将当前视差点划分入相邻视差点所在的第一图层;若否,将当前视差点划分为第二图层,第二图层与第一图层不相同;其中,相邻视差点为当前视差点的上相邻视差点和/或左相邻视差点。
在一些实施例中,相邻视差点为:视差图中当前视差点上方、视差值不为0的上相邻视差点,和/或,
视差图中当前视差点左侧、视差值不为0的左相邻视差点。
具体的,本实施例采用逐行扫描的方式,由左至右、由上至下,依次基于各个视差点的视差值及视差阈值,进行图层划分。以扫描至视差图中间某一区域的视差点为例进行说明。
如图2所示,对于同一行的视差点A和B而言,在遍历至视差点B时,即使AB之间存在很多空洞,但如果视差点A的视差值处于视差点B的视差阈值范围内,则设定AB两视差点的标签相同,可作为同一个图层,记作图层一。而遍历至视差点C时,如果视差点B的视差值超出了C点对应的视差阈值,则将视差点C标记为不同的标签,作为另一个图层,记作图层二。之后再扫描下一个视差点,确定各个视差点的标签及图层。
具体的,本实施例对每个有值的当前视差点和其左方、上方最邻近的有值视差点作比较(跳过空洞,不考虑间隔空洞的个数),若相近(位于当前视差点确定的视差阈值内),则标记为相同的标签,并连同这两个有值点之间的空洞(如果有)一同划分为一个图层;若不相近,则为当前点设置一个新标签,作为一个新的图层。
需要说明的是,本实施例中视差点的标签以及图层的图层标签,可以为1,2,…,N的编号。
如图2所示,当遍历至视差点D时,分别判断其上相邻视差点E、左相邻视差点F是否位于当前视差点D确定的视差阈值内,进而确定图层的划分。
如果上相邻视差点E在视差点D确定的视差阈值内、而左相邻视差点F不在视差点D确定的视差阈值内,则将视差点D划分入上相邻视差点E所在图层(第一图层);反之,则将视差点D划分入左相邻视差点F所在图层。
如果上相邻视差点E、左相邻视差点F均不在视差点D确定的视差阈值内,则将视差点D作为一个新图层,即第二图层。
如果上相邻视差点E、左相邻视差点F均在视差点D确定的视差阈值内,此时需要判断上相邻视差点E、左相邻视差点F是否位于相同的图层,如果两者图层相同,则将视差点D划分入该图层即可;如果两者图层不同,则根据设定的划分规则进行图层划分,如可以将视差点D划分入上相邻视差点E所在图层,也可以将视差点D划分入左相邻视差点F所在图层,以保证图层划分的准确性。
在一些实施例中,考虑到视差值计算的过程是逐行计算,因此,对于上述如果上相邻视差点E、左相邻视差点F均在视差点D确定的视差阈值内的情形,相邻视差点为当前视差点的上相邻视差点和左相邻视差点,图层划分的方法还包括:确定图层的图层标签;步骤2.2.2中,包括:
当判定上相邻视差点的视差值以及左相邻视差点的视差值均位于视差阈值范围内,且上相邻视差点所在图层的图层标签与左相邻视差点所在图层的图层标签不同时,将当前视差点划分入左相邻视差点所在图层。
在一些实施例中,将当前视差点划分入左相邻视差点所在图层之后,还包括:标记上相邻视差点所在图层的图层标签与左相邻视差点所在图层的图层标签;待完成遍历视差图中的视差点后,根据图层标签的标记结果,将对应的图层合并为一个图层,并生成合并后的图层标签。
具体的,如果当前视差点与左方的相邻视差点相近且与上方的相邻点相近,但左方和上方的视差点属于两个不同的图层,则标记这两个不同的图层,在完成遍历视差图中的视差点后的后处理时统一处理,合并成一个图层。
通过上述方式,有助于保证图层划分的准确性和可靠性,在保留视差值真实有效的散点的同时,可以将分布集中但视差值错误的噪点滤除。
在一些实施例中,采集图像为右矫正图,降噪方法还包括:
步骤5、根据降噪视差图,将右矫正图映射到一个左图空间,生成左映射图像;
步骤6、按照左映射图像中的行列坐标,依次统计左映射图像中各个像素点对应的右矫正图的像素点的个数,当统计出的个数大于1时,将对应于一个左映射图像中像素点的多个右矫正图中的像素点,记为遮蔽像素点;
步骤7、比较遮蔽像素点映射至左映射图像中相应像素点时的视差值,保留视差值中的最小视差值,并将其余视差值更新为0;
步骤8、更新降噪视差图。
具体的,设定右矫正图上像素坐标为(x,y)的像素点在视差图中对应的视差值为100,则映射到左映射图像的像素坐标为(x+100,y)。在过程中,可能会出现有右矫正图中多个像素点映射到左映射图像中同一个像素点的情况,这种情况,相关技术人员通过对视差数据的分析,判定此类错误是由于遮挡而导致的视差匹配错误。
因此,将右矫正图映射到一个左图空间后,按照左空间中的行列坐标,依次统计左空间中各个点对应的右图像素点的个数。
当像素点个数大于1时,保留右矫正图像素点映射时所用视差值最小的视差值,将其余视差值更新为0,生成新的视差图。
具体的,如图3所示,由于双目相机中左右相机的视场范围并不相同,对于位置交错的物体,双目相机采集到的图像中会存在部分视觉遮挡区域。
例如物体A1体积较大且位于物体B1的左前方,此时双目相机在观察物体A1和B1时,对于左相机(左镜头)而言,物体A1会对物体B1造成一定的视觉遮挡,而这部分视觉遮挡区域的图像,能够在右相机(右镜头)输出的右矫正图中显示,如图3中的阴影区域。
而在视觉数据处理芯片输出视差图时,会利用置信度判断视差图中全部视差点的有效性,以便输出特征明显的视差点,因此,虽然是遮挡区域中的视差点仍然会被认为是有效视差点,在输出的视差图中体现。
在之后的映射过程中,如果像素点E1对应视差(错误的视差)其对应区域的特征比较明显,则存在将遮挡区域的像素点E1匹配至左图空间中未遮挡区域的像素点D1的情况。
而在后续像素点的映射过程中,未遮挡区域中的像素点C1,同样会被映射至像素点D1,因此,可以得出一个结论,由于遮挡的原因所产生的噪点(点E1),其在右矫正图上的区域,虽然在视差图上有正确匹配的点,但该区域对应到视差图上会有多个视差点,即右矫正图上有多个点映射到了左图空间上的同一个点。
由于视觉数据处理芯片是以右图为基准做的视差匹配,所以遮挡区域位于物体A1的右侧,以此可以得出,遮挡区域的视差值大。
因此,在映射的过程中,若发现多点映射到同一点的情况,则保留视差值较小的点。
在本实施例中,为了便于理解为何保留视差较小值作如下说明。
保留视差较小值的依据:由于遮挡,所以很容易理解遮挡区域位于后景区域,所以假设遮挡区域匹配到的像素点同样位于后景区域;
首先,因为视差图是以右矫正图为参考图,所以这里的遮挡区域所指的是右图相对左图的遮挡区域(右图上存在且左图上不存在),此类区域一定位于后景区域的左侧:从示图3上看,物体A1为前景区域,物体B1为后景区域,很容易看出遮挡区域为物体B1的左半部分。
根据假设,遮挡区域匹配到的点位于后景区域,所以右图上正确的匹配像素点一定同样位于后景区域,如点C1所示,因此,遮挡区域的错误视差相对正确视差一定是偏大的,所以选择保留较小视差。
需要说明的是,通过上述步骤可以实现在保留离散的有效视差点的情况下对视差图进行降噪滤波,也可以有效的对因遮挡所导致的噪点进行滤除,考虑到此类视差点数量较少且对视差图稠密的影响也同样较小,因此,可以在统计出遮挡像素点后,直接将其进行删除处理,有助于提高对于重复纹理所导致的视差噪点。
通过上述方法,本实施例对在同一场景下获取的采集图像进行计算视差值,生成视差图,并对该视差图采用现有的固定窗口滤波方法以及本申请的降噪方法进行滤除噪点,对比降噪效果。采集图像如附图4所示,采用两种方法降噪处理的效果对比如附图5所示,其中,图5中的左图为采用固定窗口滤波方法的降噪效果,右图为采用本申请降噪方法的降噪效果,图上画圈部分为集中噪点。
如附图5上左图所示,采用固定窗口滤波方法,视差图上集中噪点依然存在,大量离散的有效视差点被删除,滤波效果不佳。
如附图5上右图所示,采用本申请降噪方法,视差图上的集中噪点部分被有效被滤除,且相比于左图,右图上保留了大部分离散的有效视差点,使得视差图上的数据信息丰富、完整。
应当理解的是,本申请的上述具体实施方式仅仅用于示例性说明或解释本申请的原理,而不构成对本申请的限制。因此,在不偏离本申请的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。此外,本申请所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (9)
1.一种视差图降噪方法,其特征在于,包括以下步骤:
步骤1、获取双目相机的采集图像并计算视差值,生成视差图;
步骤2、根据视差阈值遍历所述视差图中的视差点,并根据遍历结果将所述视差图划分为多个图层;
步骤3、统计各个所述图层中视差点的视差点个数,并去除所述视差点个数小于或等于相应平面阈值的图层;
步骤4、采用图像拼接的方式,根据剩余图层,生成降噪视差图;
其中,所述视差阈值以及所述平面阈值的取值由所述采集图像中像素点与所述双目相机之间的距离确定。
2.根据权利要求1所述的视差图降噪方法,其特征在于,所述步骤2中,包括:
步骤2.1.1、依次遍历所述视差图中的各个视差点,根据所述视差阈值以及各个所述视差点的视差值,确定各个所述视差点的标签;
步骤2.1.2、根据各个所述视差点的所述标签,将所述视差图划分为多个图层。
3.根据权利要求1所述的视差图降噪方法,其特征在于,所述步骤2中,包括:
步骤2.2.1、根据当前视差点的视差值以及相应像素点与所述双目相机之间的距离确定所述视差阈值;
步骤2.2.2、判断所述当前视差点的相邻视差点的视差值是否位于所述视差阈值范围内,
若是,将所述当前视差点划分入所述相邻视差点所在的第一图层,
若否,将所述当前视差点划分为第二图层,所述第二图层与所述第一图层不相同,
其中,所述相邻视差点为所述当前视差点的上相邻视差点和/或左相邻视差点。
4.根据权利要求3所述的视差图降噪方法,其特征在于,所述视差阈值包括左边界视差以及右边界视差,所述左边界视差thresholdL的计算公式为:
所述右边界视差thresholdR的计算公式为:
式中,X为像素点与所述双目相机之间的距离,D为所述像素点对应的视差值,δd为设定的距离差值。
5.根据权利要3所述的视差图降噪方法,其特征在于,所述相邻视差点为所述当前视差点的上相邻视差点和左相邻视差点,所述方法还包括:
确定所述图层的图层标签;
所述步骤2.2.2中,包括:
当判定所述上相邻视差点的视差值以及所述左相邻视差点的视差值均位于所述视差阈值范围内,且所述上相邻视差点所在图层的图层标签与所述左相邻视差点所在图层的图层标签不同时,
将所述当前视差点划分入所述左相邻视差点所在图层。
6.根据权利要5所述的视差图降噪方法,其特征在于,所述将所述当前视差点划分入所述左相邻视差点所在图层之后,还包括:
标记所述上相邻视差点所在图层的图层标签与所述左相邻视差点所在图层的图层标签;
待完成遍历所述视差图中的视差点后,根据图层标签的标记结果,将对应的图层合并为一个图层,并生成合并后的图层标签。
7.根据权利要求3至6中任一项所述的视差图降噪方法,其特征在于,所述相邻视差点为:
所述视差图中所述当前视差点上方、视差值不为0的所述上相邻视差点,和/或,
所述视差图中所述当前视差点左侧、视差值不为0的所述左相邻视差点。
8.根据权利要求1所述的视差图降噪方法,其特征在于,所述采集图像为右矫正图,所述方法还包括:
步骤5、根据所述降噪视差图,将所述右矫正图映射到一个左图空间,生成左映射图像;
步骤6、按照所述左映射图像中的行列坐标,依次统计所述左映射图像中各个像素点对应的所述右矫正图的像素点的个数,当统计出的所述个数大于1时,将对应于一个所述左映射图像中像素点的多个所述右矫正图中的像素点,记为遮蔽像素点;
步骤7、比较所述遮蔽像素点映射至所述左映射图像中相应像素点时的视差值,保留所述视差值中的最小视差值,并将其余视差值更新为0;
步骤8、更新所述降噪视差图。
9.根据权利要1所述的视差图降噪方法,其特征在于,所述平面阈值的计算公式为:
式中,alpha为预设常数,X为像素点与所述双目相机之间的距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310902820.9A CN116863144A (zh) | 2023-07-21 | 2023-07-21 | 一种视差图降噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310902820.9A CN116863144A (zh) | 2023-07-21 | 2023-07-21 | 一种视差图降噪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116863144A true CN116863144A (zh) | 2023-10-10 |
Family
ID=88235791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310902820.9A Pending CN116863144A (zh) | 2023-07-21 | 2023-07-21 | 一种视差图降噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116863144A (zh) |
-
2023
- 2023-07-21 CN CN202310902820.9A patent/CN116863144A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
CN110310320B (zh) | 一种双目视觉匹配代价聚合优化方法 | |
US8325220B2 (en) | Stereoscopic image display method and apparatus, method for generating 3D image data from a 2D image data input and an apparatus for generating 3D image data from a 2D image data input | |
US8326025B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
TWI489418B (zh) | Parallax Estimation Depth Generation | |
EP3311361B1 (en) | Method and apparatus for determining a depth map for an image | |
RU2423018C2 (ru) | Способ и система для преобразования стереоконтента | |
KR100953076B1 (ko) | 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치 | |
CN109636732A (zh) | 一种深度图像的空洞修复方法以及图像处理装置 | |
CN108647579B (zh) | 一种障碍物检测方法、装置及终端 | |
CN107578419B (zh) | 一种基于一致性轮廓提取的立体图像分割方法 | |
US6751345B2 (en) | Method and apparatus for improving object boundaries extracted from stereoscopic images | |
JPH05215547A (ja) | ステレオ画像間対応点決定方法 | |
CN116863144A (zh) | 一种视差图降噪方法 | |
Jorissen et al. | Multi-view wide baseline depth estimation robust to sparse input sampling | |
JP2807137B2 (ja) | 立体形状検出方法 | |
CN113344988B (zh) | 立体匹配方法、终端及存储介质 | |
CN109862349B (zh) | 视差图的质量检测方法、装置与自动驾驶系统 | |
CN113989345A (zh) | 一种深度图像处理方法、系统和电子设备 | |
CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
CN114897951B (zh) | 聚合多视角深度信息的单张光场影像深度估计方法及系统 | |
Huang et al. | Consistency constrained reconstruction of depth maps from epipolar plane images | |
CN114881895B (zh) | 一种基于帧间差异的红外图像条纹噪声处理方法 | |
CN111383231B (zh) | 一种基于3d图像的图像分割方法、装置及系统 | |
CN109801324B (zh) | 一种对光强不敏感的斜面近邻传播立体匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |