CN115908170B - 双目图像的降噪方法、装置、电子装置和存储介质 - Google Patents
双目图像的降噪方法、装置、电子装置和存储介质 Download PDFInfo
- Publication number
- CN115908170B CN115908170B CN202211378346.6A CN202211378346A CN115908170B CN 115908170 B CN115908170 B CN 115908170B CN 202211378346 A CN202211378346 A CN 202211378346A CN 115908170 B CN115908170 B CN 115908170B
- Authority
- CN
- China
- Prior art keywords
- image
- view
- euclidean distance
- guiding
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000009467 reduction Effects 0.000 title claims abstract description 53
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 161
- 238000001914 filtration Methods 0.000 claims abstract description 70
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Abstract
本申请涉及一种双目图像的降噪方法、装置、电子装置和存储介质，该方法包括：利用非局部均值滤波算法计算得到双目图像的最浅层引导图像所对应的第一水平视差矩阵；根据第一水平视差矩阵，利用非局部均值滤波算法计算得到第一左视引导图像在第一右视引导图像中的第一欧式距离，和第一右视引导图像在第一左视引导图像中的第二欧式距离；利用非局部均值滤波算法计算得到第一左视引导图像在自身图像中的第三欧式距离，以及第一右视引导图像在自身图像中的第四欧式距离；根据第一欧式距离、第二欧式距离、第三欧氏距离、以及第四欧式距离得到对应双目图像的降噪图像。本申请实现了降低双目内窥镜获取的双目图像的图像噪声的技术效果。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种双目图像的降噪方法、装置、电子装置和存储介质。
背景技术
内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等技术于一体的检测仪器。具体地，内窥镜包括图像传感器、光学镜头、光源照明、机械装置等，可以经口腔进入胃内或经其他天然孔道进入体内，能够看到X射线不能显示的病变。通过内窥镜获取到的图像一般需要先进行降噪处理后再进行分析。
相关技术中的内窥镜图像降噪方法一般都是沿用普通相机图像的降噪算法，例如空间域的降噪方法、频率域的降噪方法、空域频域结合的双域降噪方法，以及深度学习的方法。
目前用于内窥镜的立体显示技术，一般使用的是偏振式显示器，而偏振式显示器由于透光率较差，图像的整体亮度会降低，因此，想要达到正常的图像亮度，需要增大图像的曝光增益参数，这会引入更大的图像噪声。
目前针对相关技术中内窥镜获取的图像噪声较大的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种双目图像的降噪方法、装置、电子装置和存储介质，以至少解决相关技术中内窥镜获取的图像噪声较大的问题。
第一方面，本申请实施例提供了一种双目图像的降噪方法，所述方法包括：
获取双目图像，其中，所述双目图像包括左视图像和右视图像；对所述双目图像进行多层下采样处理和降噪处理，得到多层引导图像；利用非局部均值滤波算法计算得到所述多层引导图像中的最浅层引导图像所对应的第一水平视差矩阵；所述最浅层引导图像包括第一左视引导图像和第一右视引导图像；根据所述第一水平视差矩阵，利用非局部均值滤波算法计算得到所述第一左视引导图像在所述第一右视引导图像中的第一欧式距离，和所述第一右视引导图像在所述第一左视引导图像中的第二欧式距离；利用非局部均值滤波算法计算得到所述第一左视引导图像在自身图像中的第三欧式距离，以及所述第一右视引导图像在自身图像中的第四欧式距离；根据所述第一欧式距离、所述第二欧式距离、所述第三欧式距离、以及所述第四欧式距离确定所述左视图像和所述右视图像中的多个相似块以及每个相似块所对应的权重，并根据每个相似块所对应的权重对所述多个相似块进行加权处理，得到对应所述双目图像的降噪图像。
在其中一个实施例中，所述根据所述第一水平视差矩阵，利用非局部均值滤波算法计算得到所述第一左视引导图像在所述第一右视引导图像中的第一欧式距离，和所述第一右视引导图像在所述第一左视引导图像中的第二欧式距离；利用非局部均值滤波算法计算得到所述第一左视引导图像在自身图像中的第三欧式距离，以及所述第一右视引导图像在自身图像中的第四欧式距离包括：
根据所述第一水平视差矩阵，对所述第一左视引导图像在所述第一右视引导图像中的以水平视差像素为中心的第一图像块中进行非局部均值滤波，得到所述第一欧式距离；
根据所述第一水平视差矩阵，对所述第一右视引导图像在所述第一左视引导图像中的以水平视差像素为中心的第二图像块中进行非局部均值滤波，得到所述第二欧式距离；
对所述第一左视引导图像在自身图像中的以需要处理的像素为中心的第三图像块中进行非局部均值滤波，得到所述第三欧式距离；
对所述第一右视引导图像在自身图像中的以需要处理的像素为中心的第四图像块中进行非局部均值滤波，得到所述第四欧式距离。
在其中一个实施例中，所述利用非局部均值滤波算法计算得到所述多层引导图像中的最浅层引导图像所对应的第一水平视差矩阵包括：
利用非局部均值滤波算法计算得到所述多层引导图像中最深层引导图像所对应的第二水平视差矩阵；
根据所述第二水平视差矩阵，确定所述最深层引导图像的上一层引导图像所对应的初始水平视差矩阵；
利用非局部均值滤波算法优化所述最深层引导图像的上一层引导图像所对应的初始水平视差矩阵；
重复上述确定步骤和优化步骤，直至完成对最浅层引导图像所对应的初始水平视差矩阵的优化，得到所述第一水平视差矩阵。
在其中一个实施例中，所述最深层引导图像包括第二左视引导图像和第二右视引导图像；利用非局部均值滤波算法计算得到所述多层引导图像中最深层引导图像所对应的第二水平视差矩阵包括：
以所述第二左视引导图像中的预设的第一像素点为中心确定第五图像块；
确定所述第二右视引导图像的第一搜索窗口；
在所述第一搜索窗口中搜索与所述第五图像块对应的第一相似块；
根据所述第一相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到第二左视视差矩阵；
以所述第二右视引导图像中的预设的第二像素点为中心确定第六图像块；
确定所述第二左视引导图像的第二搜索窗口；
在所述第二搜索窗口中搜索与所述第六图像块对应的第二相似块；
根据所述第二相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到第二右视视差矩阵；
根据所述第二左视视差矩阵和所述第二右视视差矩阵，得到所述第二水平视差矩阵。
在其中一个实施例中，根据所述第一相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到第二左视视差矩阵包括：
根据多个第一相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到初始左视视差矩阵；
根据所述初始左视视差矩阵中预设的第三像素点、预设的第四像素点和预设的第五像素点之间的视差差值与预设的第一阈值之间的大小关系，对所述第一搜索窗口进行调整；
在调整后的第一搜索窗口中搜索与所述第三图像块对应的第一相似块，并重复上述调整步骤，直至搜索至所述第二右视引导图像的边界，根据所有第一相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到第二左视视差矩阵。
在其中一个实施例中，根据所述第二左视视差矩阵和所述第二右视视差矩阵，得到所述第二水平视差矩阵包括：
判断所述第二左视视差矩阵和所述第二右视视差矩阵中每个像素点的视差差值是否小于预设的第二阈值；
在所述第二左视视差矩阵和所述第二右视视差矩阵中每个像素点的视差差值均小于所述第二阈值时，得到所述第二水平视差矩阵；
在所述第二左视视差矩阵和所述第二右视视差矩阵中存在视差差值大于或等于所述第二阈值的错误像素点时，将所述第二水平视差矩阵中与所述错误像素点对应的数值调整为预设的视差阈值。
在其中一个实施例中，对所述双目图像进行多层下采样处理和降噪处理，得到多层引导图像包括：
对所述双目图像进行多层下采样处理，得到多层下采样图像；
分别对每层下采样图像进行降噪处理，得到对应每层下采样图像的引导图像。
第二方面，本申请实施例提供了一种双目图像的降噪装置，包括：
获取模块，用于获取双目图像，其中，所述双目图像包括左视图像和右视图像；预处理模块，用于对所述双目图像进行多层下采样处理和降噪处理，得到多层引导图像；第一计算模块，用于利用非局部均值滤波算法计算得到所述多层引导图像中的最浅层引导图像所对应的第一水平视差矩阵；所述最浅层引导图像包括第一左视引导图像和第一右视引导图像；第二计算模块，用于根据所述第一水平视差矩阵，利用非局部均值滤波算法计算得到所述第一左视引导图像在所述第一右视引导图像中的第一欧式距离，和所述第一右视引导图像在所述第一左视引导图像中的第二欧式距离；利用非局部均值滤波算法计算得到所述第一左视引导图像在自身图像中的第三欧式距离，以及所述第一右视引导图像在自身图像中的第四欧式距离；以及降噪模块，用于根据所述第一欧式距离、所述第二欧式距离、所述第三欧式距离、以及所述第四欧式距离确定所述左视图像和所述右视图像中的多个相似块以及每个相似块所对应的权重，并根据每个相似块所对应的权重对所述多个相似块进行加权处理，得到对应所述双目图像的降噪图像。
第三方面，本申请实施例还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如上述第一方面所述的双目图像的降噪方法。
第四方面，本申请实施例还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述第一方面所述的双目图像的降噪方法。
相比于相关技术，本申请实施例提供的双目图像的降噪方法、装置、电子装置和存储介质，通过获取双目图像，进一步对双目图像进行多层下采样处理和降噪处理，得到多层引导图像；利用非局部均值滤波算法计算得到多层引导图像中的最浅层引导图像所对应的第一水平视差矩阵；最浅层引导图像包括第一左视引导图像和第一右视引导图像；根据第一水平视差矩阵，利用非局部均值滤波算法计算得到第一左视引导图像在第一右视引导图像中的第一欧式距离，和第一右视引导图像在第一左视引导图像中的第二欧式距离；利用非局部均值滤波算法计算得到第一左视引导图像在自身图像中的第三欧式距离，以及第一右视引导图像在自身图像中的第四欧式距离；最后根据第一欧式距离、第二欧式距离、第三欧式距离、以及第四欧式距离确定左视图像和右视图像中的多个相似块以及每个相似块所对应的权重，并根据每个相似块所对应的权重对多个相似块进行加权处理，得到对应双目图像的降噪图像。通过本申请，解决了相关技术中内窥镜获取的图像噪声较大的问题，实现了降低双目内窥镜获取的双目图像的图像噪声的技术效果。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的双目图像的降噪方法的流程图；
图2是双目内窥镜立体视觉成像的流程图；
图3是根据本申请实施例的双目图像的降噪装置的结构框图；
图4是根据本申请实施例的电子装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供了一种双目图像的降噪方法，图1是根据本申请一种实施例的双目图像的降噪方法的流程图，如图1所示，该方法包括：
步骤S101，获取双目图像，其中，所述双目图像包括左视图像和右视图像。
在本实施例中，双目图像可以是由双目内窥镜采集得到的，左视图像P1和右视图像P2均是经过立体校正后的图像。
在本实施例中，还可以获取双目图像的视差范围[-Th1，Th1]。
步骤S102，对所述双目图像进行多层下采样处理和降噪处理，得到多层引导图像。
在本实施例中，为了兼顾高降噪效果和低计算资源消耗，可以对双目图像进行小于或等于2层的下采样处理和降噪处理，获取引导图像P1i，P2i(i＝0，…，N，N≤2)，可以对同一层下采样的左右图像分别进行同等程度的降噪处理。
步骤S103，利用非局部均值滤波算法计算得到所述多层引导图像中的最浅层引导图像所对应的第一水平视差矩阵；所述最浅层引导图像包括第一左视引导图像和第一右视引导图像。
参照上述实施例，对上述左视图像P1进行多层下采样处理和降噪处理，可以得到左视图像P1的最浅层引导图像，即第一左视引导图像P10。同理，对上述右视图像P2进行多层下采样处理和同等程度的降噪处理，可以得到右视图像P2的最浅层引导图像，即第一右视引导图像P20。
步骤S104，根据所述第一水平视差矩阵，利用非局部均值滤波算法计算得到所述第一左视引导图像在所述第一右视引导图像中的第一欧式距离，和所述第一右视引导图像在所述第一左视引导图像中的第二欧式距离；利用非局部均值滤波算法计算得到所述第一左视引导图像在自身图像中的第三欧式距离，以及所述第一右视引导图像在自身图像中的第四欧式距离。
在本实施例中，所述最浅层引导图像包括第一左视引导图像P10和第一右视引导图像P20；所以根据第一水平视差矩阵，利用非局部均值滤波算法计算得到所述第一左视引导图像P10在所述第一右视引导图像P20中的第一欧式距离，所述第一右视引导图像P20在所述第一左视引导图像P10中的第二欧式距离；以及利用非局部均值滤波算法计算得到所述第一左视引导图像P10在自身图像中的第三欧式距离，和所述第一右视引导图像P20在自身图像中的第四欧式距离，通过如下步骤实现：
步骤一、根据所述第一水平视差矩阵，对所述第一左视引导图像P10在所述第一右视引导图像P20中的以水平视差像素为中心的第一图像块中进行非局部均值滤波，得到所述第一欧式距离；
步骤二、根据所述第一水平视差矩阵，对所述第一右视引导图像P20在所述第一左视引导图像P10中的以水平视差像素为中心的第二图像块中进行非局部均值滤波，得到所述第二欧式距离；
步骤三、对所述第一左视引导图像P10在自身图像中的以需要处理的像素为中心的第三图像块中进行非局部均值滤波，得到所述第三欧式距离；
步骤四、对所述第一右视引导图像P20在自身图像中的以需要处理的像素为中心的第四图像块中进行非局部均值滤波，得到所述第四欧式距离。
步骤S105，根据所述第一欧式距离、所述第二欧式距离、所述第三欧式距离、以及所述第四欧式距离确定所述左视图像和所述右视图像中的多个相似块以及每个相似块所对应的权重，并根据每个相似块所对应的权重对所述多个相似块进行加权处理，得到对应所述双目图像的降噪图像。
在上述实施例中，可以基于第一欧式距离、第二欧式距离、第三欧式距离、以及第四欧式距离进行权重计算，或者根据第一欧式距离、第二欧式距离、第三欧式距离、以及第四欧式距离大小排序获取距离较小的前N个相似块，再进行权重计算。
在本实施例中，可以利用同时拍摄的左视图像和右视图像进行匹配处理，由于左视图像和右视图像的相似度较高，采用非局部均值滤波算法对双目图像进行降噪处理能够提高保边和降噪效果。
同时，对双目图像进行下采样处理后，获取的引导图像视差变小，降低了相似块的匹配范围，能够节省计算资源。
图2是双目内窥镜立体视觉成像的流程图，如图2所示，双目内窥镜在进行3D图像立体显示前，需要进行校正和图像放大操作，本实施例提供的双目图像的降噪方法可以在校正后进行，因此，可以利用左视图像和右视图像存在相似的纹理以及视差范围限定的特点，利用非局部均值滤波算法对双目图像进行降噪处理，同时，在图像放大前对双目图像进行降噪处理，既可以降低图像噪声又可以避免部分图像噪声被放大。
通过上述步骤S101至步骤S105，通过获取双目图像，进一步对双目图像进行多层下采样处理和降噪处理，得到多层引导图像；利用非局部均值滤波算法计算得到多层引导图像中的最浅层引导图像所对应的第一水平视差矩阵；最浅层引导图像包括第一左视引导图像和第一右视引导图像；根据第一水平视差矩阵，利用非局部均值滤波算法计算得到第一左视引导图像在第一右视引导图像中的第一欧式距离，第一右视引导图像在第一左视引导图像中的第二欧式距离，利用非局部均值滤波算法计算得到第一左视引导图像在自身图像中的第三欧式距离，以及第一右视引导图像在自身图像中的第四欧式距离；最后根据第一欧式距离、第二欧式距离、第三欧式距离、以及第四欧式距离确定左视图像和右视图像中的多个相似块以及每个相似块所对应的权重，并根据每个相似块所对应的权重对多个相似块进行加权处理，得到对应双目图像的降噪图像。通过本申请，解决了相关技术中内窥镜获取的图像噪声较大的问题，实现了降低双目内窥镜获取的双目图像的图像噪声的技术效果。
在其中一些实施例中，对所述双目图像进行多层下采样处理和降噪处理，得到多层引导图像通过如下步骤实现：
步骤1，对所述双目图像进行多层下采样处理，得到多层下采样图像。
步骤2，分别对每层下采样图像进行降噪处理，得到对应每层下采样图像的引导图像。
在本实施例中，为了兼顾高降噪效果和低计算资源消耗，可以对双目图像进行小于或等于2层的下采样处理，并对同一层下采样的左右图像分别进行同等程度的降噪处理，得到引导图像P1i，P2i(i＝0，…，N，N≤2)，其中，P1i是左视引导图像，P2i是右视引导图像，对双目图像进行下采样处理后，获取的引导图像视差变小，降低了相似块的匹配范围，能够节省计算资源。
在其中一些实施例中，所述最深层引导图像包括第二左视引导图像P1n和第二右视引导图像P2n；利用非局部均值滤波算法计算得到所述多层引导图像中的最浅层引导图像所对应的第一水平视差矩阵通过如下步骤实现：
步骤1，利用非局部均值滤波算法计算得到所述多层引导图像中最深层引导图像所对应的第二水平视差矩阵。
在本实施例中，利用非局部均值滤波算法计算得到所述多层引导图像中最深层引导图像所对应的第二水平视差矩阵通过如下步骤实现：
步骤11，以所述第二左视引导图像中的预设的第一像素点为中心确定第五图像块。
步骤12，确定所述第二右视引导图像的第一搜索窗口。
在本实施例中，搜索窗口可以根据已匹配的第二左视视差矩阵Diff_L和最深层引导图像的边缘图像进行自适应调整。
步骤13，在所述第一搜索窗口中搜索与所述第五图像块对应的第一相似块。
步骤14，根据所述第一相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到第二左视视差矩阵。
在本实施例中，可以以第一像素点P1n(x，y)为中心确定大小为a*a的匹配块，并在第二右视引导图像P2n中进行搜索窗口自适应调整的第一相似块的匹配，每个第一相似块的中心像素点在第二左视引导图像P1n和所述第二右视引导图像P2n的水平位置差距组成第二左视视差矩阵Diff_L。
在本实施例中，第二左视视差矩阵Diff_L的视差范围为[-Thr1/2n，Thr1/2n]和2*Thr1/2n，其中，[-Thr1/2n，Thr1/2n]是允许的视差范围，2*Thr1/2n是未搜到合格相似块的视差。
步骤15，以所述第二右视引导图像中的预设的第二像素点为中心确定第六图像块。
步骤16，确定所述第二左视引导图像的第二搜索窗口。
步骤17，在所述第二搜索窗口中搜索与所述第六图像块对应的第二相似块。
步骤18，根据所述第二相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到第二右视视差矩阵。
在本实施例中，通过上述获取第二左视视差矩阵Diff_L的方法，可以同样地获取第二右视视差矩阵Diff_R。
步骤19，根据所述第二左视视差矩阵和所述第二右视视差矩阵，得到所述第二水平视差矩阵。
在本实施例中，根据所述第二左视视差矩阵和所述第二右视视差矩阵，得到所述第二水平视差矩阵包括：判断所述第二左视视差矩阵和所述第二右视视差矩阵中每个像素点的视差差值是否小于预设的第二阈值；在所述第二左视视差矩阵和所述第二右视视差矩阵中每个像素点的视差差值均小于所述第二阈值时，得到所述第二水平视差矩阵；在所述第二左视视差矩阵和所述第二右视视差矩阵中存在视差差值大于或等于所述第二阈值的错误像素点时，将所述第二水平视差矩阵中与所述错误像素点对应的数值调整为预设的视差阈值。
在本实施例中，在获取得到第二左视视差矩阵Diff_L和第二右视视差矩阵Diff_R之后，还可以判断第二左视视差矩阵Diff_L和第二右视视差矩阵Diff_R中每个像素点的视差差值是否小于预设的第二阈值Thr5，若每个像素点的视差差值均小于第二阈值Thr5，则可以认为相似块匹配正确，并基于第二左视视差矩阵Diff_L和第二右视视差矩阵Diff_R，得到第二水平视差矩阵Diffn，否则认为相似块匹配错误，可以将第二水平视差矩阵Diffn中与所述错误像素点对应的数值调整为预设的视差阈值2*Thr1/2n。
步骤2，根据所述第二水平视差矩阵，确定所述最深层引导图像的上一层引导图像所对应的初始水平视差矩阵。
在本实施例中，可以根据最深层引导图像Pn的第二水平视差矩阵Diffn，确定最深层引导图像的上一层引导图像Pn-1所对应的初始水平视差矩阵Diffn-1＝2*Diffn，并确定搜索窗口为：searchrange(x，y)＝a*[Diffn-1(x，y)-Thr6，Diffn-1(x，y)+Thr6]，其中，Thr6是预设的视差变化所允许的最大阈值。
步骤3，利用非局部均值滤波算法优化所述最深层引导图像的上一层引导图像所对应的初始水平视差矩阵。
在本实施例中，可以利用非局部均值滤波算法在上述搜索窗口计算欧式距离，并参考临近视差，对初始水平视差矩阵Diffn-1进行优化。
步骤4，重复上述确定步骤和优化步骤，直至完成对最浅层引导图像所对应的初始水平视差矩阵的优化，得到所述第一水平视差矩阵。
在本实施例中，可以参照上述的步骤2和步骤3，对0～n-1层引导图像所对应的初始水平视差矩阵均进行优化，直至完成对最浅层引导图像P0所对应的初始水平视差矩阵的优化，得到所述第一水平视差矩阵Diff0。
在其中一些实施例中，根据所述第一相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到第二左视视差矩阵通过如下步骤实现：
步骤1，根据多个第一相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到初始左视视差矩阵。
步骤2，根据所述初始左视视差矩阵中预设的第三像素点、预设的第四像素点和预设的第五像素点之间的视差差值与预设的第一阈值之间的大小关系，对所述第一搜索窗口进行调整。
步骤3，在调整后的第一搜索窗口中搜索与所述第三图像块对应的第一相似块，并重复上述调整步骤，直至搜索至所述第二右视引导图像的边界，根据所有第一相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到第二左视视差矩阵。
在本实施例中，在完成了一部分第一相似块的匹配之后，可以得到初始左视视差矩阵，根据初始左视视差矩阵中已匹配的视差可以对第一搜索窗口进行自适应调整，降低图像噪声的影响。
在本实施例中，还可以分别对第二左视引导图像P1n和所述第二右视引导图像P2n进行边缘检测，获取边缘图像Edge1和Edge2。
可以根据所述初始左视视差矩阵Diff_L中预设的第三像素点Diff_L(x-1，y)、预设的第四像素点Diff_L(x-1，y+1)和预设的第五像素点Diff_L(x，y-1)之间的视差差值与预设的第一阈值Thr2之间的大小关系，以及边缘图像Edge1中是否存在与第一像素点P1n(x，y)对应的像素点Edge1(x，y)，对所述第一搜索窗口searchrange进行调整。
在本实施例中，如果Diff_L(x-1，y)、Diff_L(x-1，y+1)和Diff_L(x，y-1)之间的视差差值小于Thr2，且Diff_L(x-1，y)、Diff_L(x-1，y+1)和Diff_L(x，y-1)均为正数或均为负数，Edge1(x，y)＝0，则可以确定最大搜索范围max_range和最小搜索范围min_range：
max-range＝max(Diff_L(x-1，y)，Diff_L(x-1，y+1)，Diff_L(x，y-1))；
min-range＝min(Diff_L(x-1，y)，Diff_L(x-1，y+1)，Diff_L(x，y-1))；
若Diff_L(x-1，y)、Diff_L(x-1，y+1)和Diff_L(x，y-1)均为正数，则第一搜索窗口searchrange＝a*[x+min-range，x+max-range+Thr3]；若Diff_L(x-1，y)、Diff_L(x-1，y+1)和Diff_L(x，y-1)均为负数，则第一搜索窗口searchrange＝a*[x+min-range-Thr3，x+max-range]。
若第一搜索窗口searchrange内的最小欧式距离和稍大欧式距离均小于Thr4，且稍大欧式距离的视差更接近于Diff_L(x-1，y)、Diff_L(x-1，y+1)和Diff_L(x，y-1)，则取稍大欧式距离所在像素点为视差点，否则取最小欧式距离所在像素点为视差；若不存在，视差记为2*Thr1/2n，其中，Thr3为预设的没有明显深度变化时相邻像素点视差变化的最大阈值，Thr4为预设的第二阈值，当欧式距离小于Thr4时才认为是相似块。
在本实施例中，如果Diff_L(x-1，y)、Diff_L(x-1，y+1)和Diff_L(x，y-1)之间的视差差值小于Thr2，且Diff_L(x-1，y)、Diff_L(x-1，y+1)和Diff_L(x，y-1)的数值有正有负，Edge1(x，y)＝0，则可以确定最大搜索范围max_range和最小搜索范围min_range：
max-range＝max(Diff_L(x-1，y)，Diff_L(x-1，y+1)，Diff_L(x，y-1))；
min-range＝min(Diff_L(x-1，y)，Diff_L(x-1，y+1)，Diff_L(x，y-1))；
第一搜索窗口searchrange＝a*[x+min-range-Thr3，x+max-range+Thr3]。
若第一搜索窗口searchrange内的最小欧式距离和稍大欧式距离均小于Thr4，且稍大欧式距离的视差更接近于Diff_L(x-1，y)、Diff_L(x-1，y+1)和Diff_L(x，y-1)，则取稍大欧式距离所在像素点为视差点，否则取最小欧式距离所在像素点为视差；若不存在，视差记为2*Thr1/2n。
在本实施例中，如果Diff_L(x-1，y)、Diff_L(x-1，y+1)和Diff_L(x，y-1)之间的视差差值小于Thr2，且Edge1(x，y)＝1，可以根据Diff_L(x-1，y)、Diff_L(x-1，y+1)和Diff_L(x，y-1)的正负利用上述方法确定相应的第一搜索窗口searchrange，并在第一搜索窗口searchrange进行相似块的匹配。
若第一搜索窗口searchrange内的最小欧式距离和稍大欧式距离均小于Thr4，且稍大欧式距离的视差更接近于Diff_L(x-1，y)、Diff_L(x-1，y+1)和Diff_L(x，y-1)，则取稍大欧式距离所在像素点为视差点，否则取最小欧式距离所在像素点为视差；若不存在，则扩大第一搜索窗口searchrange＝a*[x-Thr1/2n，x+Thr1/2n]，若扩大后的第一搜索窗口searchrange内的最小欧式距离小于Thr4，则取最小欧式距离所在像素点为视差点，若不存在，视差记为2*Thr1/2n。
在本实施例中，如果Diff_L(x-1，y)、Diff_L(x-1，y+1)和Diff_L(x，y-1)之间的视差差值大于Thr2，则确定第一搜索窗口searchrange＝a*[x-Thr1/2n，x+Thr1/2n]。
若第一搜索窗口searchrange内的最小欧式距离小于Thr4，则取最小欧式距离所在像素点为视差点，若不存在，视差记为2*Thr1/2n。
在本实施例中，在匹配相似块和视差点时，可以根据已匹配的视差点进行搜索窗口的方向和大小限定，自适应调节搜索窗口的大小，进一步降低图像噪声的影响。
需要补充说明的是，本申请提供的实施例中具体采用非局部均值滤波算法中的块匹配算法部分来计算匹配块之间的相似程度。计算匹配块之间的相似程度不限于上述实施例中所列举的方法，还可以采用其他现有的算法实现。
本实施例提供了一种双目图像的降噪装置，图3是根据本申请实施例的双目图像的降噪装置的结构框图，如图3所示，该装置包括：获取模块302，用于获取双目图像，其中，所述双目图像包括左视图像和右视图像；预处理模块304，用于对所述双目图像进行多层下采样处理和降噪处理，得到多层引导图像；第一计算模块306，用于利用非局部均值滤波算法计算得到所述多层引导图像中的最浅层引导图像所对应的第一水平视差矩阵；所述最浅层引导图像包括第一左视引导图像和第一右视引导图像；第二计算模块308，用于根据所述第一水平视差矩阵，利用非局部均值滤波算法计算得到所述第一左视引导图像在所述第一右视引导图像中的第一欧式距离，和所述第一右视引导图像在所述第一左视引导图像中的第二欧式距离；还用于利用非局部均值滤波算法计算得到所述第一左视引导图像在自身图像中的第三欧式距离，以及所述第一右视引导图像在自身图像中的第四欧式距离；降噪模块310，用于根据所述第一欧式距离、所述第二欧式距离、所述第三欧式距离、以及所述第四欧式距离确定所述左视图像和所述右视图像中的多个相似块以及每个相似块所对应的权重，并根据每个相似块所对应的权重对所述多个相似块进行加权处理，得到对应所述双目图像的降噪图像。
在其中一些实施例中，第二计算模块308还被配置为用于根据所述第一水平视差矩阵，对所述第一左视引导图像在所述第一右视引导图像中的以水平视差像素为中心的第一图像块中进行非局部均值滤波，得到所述第一欧式距离；根据所述第一水平视差矩阵，对所述第一右视引导图像在所述第一左视引导图像中的以水平视差像素为中心的第二图像块中进行非局部均值滤波，得到所述第二欧式距离；对所述第一左视引导图像在自身图像中的以需要处理的像素为中心的第三图像块中进行非局部均值滤波，得到所述第三欧式距离；对所述第一右视引导图像在自身图像中的以需要处理的像素为中心的第四图像块中进行非局部均值滤波，得到所述第四欧式距离。
在其中一些实施例中，第一计算模块306还被配置为用于利用非局部均值滤波算法计算得到所述多层引导图像中最深层引导图像所对应的第二水平视差矩阵；根据所述第二水平视差矩阵，确定所述最深层引导图像的上一层引导图像所对应的初始水平视差矩阵；利用非局部均值滤波算法优化所述最深层引导图像的上一层引导图像所对应的初始水平视差矩阵；重复上述确定步骤和优化步骤，直至完成对最浅层引导图像所对应的初始水平视差矩阵的优化，得到所述第一水平视差矩阵。
在其中一些实施例中，所述最深层引导图像包括第二左视引导图像和第二右视引导图像；第一计算模块306还被配置为用于以所述第二左视引导图像中的预设的第一像素点为中心确定第五图像块；确定所述第二右视引导图像的第一搜索窗口；在所述第一搜索窗口中搜索与所述第五图像块对应的第一相似块；根据所述第一相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到第二左视视差矩阵；以所述第二右视引导图像中的预设的第二像素点为中心确定第六图像块；确定所述第二左视引导图像的第二搜索窗口；在所述第二搜索窗口中搜索与所述第六图像块对应的第二相似块；根据所述第二相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到第二右视视差矩阵；根据所述第二左视视差矩阵和所述第二右视视差矩阵，得到所述第二水平视差矩阵。
在其中一些实施例中，第一计算模块306还被配置为用于根据多个第一相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到初始左视视差矩阵；根据所述初始左视视差矩阵中预设的第三像素点、预设的第四像素点和预设的第五像素点之间的视差差值与预设的第一阈值之间的大小关系，对所述第一搜索窗口进行调整；在调整后的第一搜索窗口中搜索与所述第三图像块对应的第一相似块，并重复上述调整步骤，直至搜索至所述第二右视引导图像的边界，根据所有第一相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到第二左视视差矩阵。
在其中一些实施例中，第一计算模块306还被配置为用于判断所述第二左视视差矩阵和所述第二右视视差矩阵中每个像素点的视差差值是否小于预设的第二阈值；在所述第二左视视差矩阵和所述第二右视视差矩阵中每个像素点的视差差值均小于所述第二阈值时，得到所述第二水平视差矩阵；在所述第二左视视差矩阵和所述第二右视视差矩阵中存在视差差值大于或等于所述第二阈值的错误像素点时，将所述第二水平视差矩阵中与所述错误像素点对应的数值调整为预设的视差阈值。
在其中一些实施例中，预处理模块304还被配置为用于对所述双目图像进行多层下采样处理，得到多层下采样图像；分别对每层下采样图像进行降噪处理，得到对应每层下采样图像的引导图像。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
本实施例还提供了一种电子装置，图4是根据本申请实施例的电子装置的硬件结构示意图，如图4所示，该电子装置包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
具体地，上述处理器402可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器404可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器404可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(Solid State Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器404可在故障图像生成装置的内部或外部。在特定实施例中，存储器404是非易失性(Non-Volatile)存储器。在特定实施例中，存储器404包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(Random Access Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory，简称为EPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory，简称为EEPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-AccessMemory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode DynamicRandom Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种双目图像的降噪方法。
可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：
S1，获取双目图像，其中，所述双目图像包括左视图像和右视图像。
S2，对所述双目图像进行多层下采样处理和降噪处理，得到多层引导图像。
S3，利用非局部均值滤波算法计算得到所述多层引导图像中的最浅层引导图像所对应的第一水平视差矩阵；所述最浅层引导图像包括第一左视引导图像和第一右视引导图像。
S4，根据所述第一水平视差矩阵，利用非局部均值滤波算法计算得到所述第一左视引导图像在所述第一右视引导图像中的第一欧式距离，和所述第一右视引导图像在所述第一左视引导图像中的第二欧式距离；利用非局部均值滤波算法计算得到所述第一左视引导图像在自身图像中的第三欧式距离，以及所述第一右视引导图像在自身图像中的第四欧式距离。
S5，根据所述第一欧式距离、所述第二欧式距离、所述第三欧式距离、以及所述第四欧式距离确定所述左视图像和所述右视图像中的多个相似块以及每个相似块所对应的权重，并根据每个相似块所对应的权重对所述多个相似块进行加权处理，得到对应所述双目图像的降噪图像。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的双目图像的降噪方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种双目图像的降噪方法。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (9)
1.一种双目图像的降噪方法，其特征在于，所述方法包括：
获取双目图像，其中，所述双目图像包括左视图像和右视图像；
对所述双目图像进行多层下采样处理和降噪处理，得到多层引导图像；
利用非局部均值滤波算法计算得到所述多层引导图像中的最浅层引导图像所对应的第一水平视差矩阵；所述最浅层引导图像包括第一左视引导图像和第一右视引导图像；
根据所述第一水平视差矩阵，利用非局部均值滤波算法计算得到所述第一左视引导图像在所述第一右视引导图像中的第一欧式距离，和所述第一右视引导图像在所述第一左视引导图像中的第二欧式距离；利用非局部均值滤波算法计算得到所述第一左视引导图像在自身图像中的第三欧式距离，以及所述第一右视引导图像在自身图像中的第四欧式距离；
根据所述第一欧式距离、所述第二欧式距离、所述第三欧式距离、以及所述第四欧式距离确定所述左视图像和所述右视图像中的多个相似块以及每个相似块所对应的权重，并根据每个相似块所对应的权重对所述多个相似块进行加权处理，得到对应所述双目图像的降噪图像；
其中，所述利用非局部均值滤波算法计算得到所述多层引导图像中的最浅层引导图像所对应的第一水平视差矩阵，包括：
利用非局部均值滤波算法计算得到所述多层引导图像中最深层引导图像所对应的第二水平视差矩阵；
根据所述第二水平视差矩阵，确定所述最深层引导图像的上一层引导图像所对应的初始水平视差矩阵；
利用非局部均值滤波算法在搜索窗口计算欧式距离，并参考临近视差，对所述初始水平视差矩阵进行优化；
重复上述确定步骤和优化步骤，直至完成对最浅层引导图像所对应的初始水平视差矩阵的优化，得到所述第一水平视差矩阵。
2.根据权利要求1所述的双目图像的降噪方法，其特征在于，根据所述第一水平视差矩阵，利用非局部均值滤波算法计算得到所述第一左视引导图像在所述第一右视引导图像中的第一欧式距离，所述第一右视引导图像在所述第一左视引导图像中的第二欧式距离，所述第一左视引导图像在自身图像中的第三欧式距离，以及所述第一右视引导图像在自身图像中的第四欧式距离包括：
根据所述第一水平视差矩阵，对所述第一左视引导图像在所述第一右视引导图像中的以水平视差像素为中心的第一图像块中进行非局部均值滤波，得到所述第一欧式距离；
根据所述第一水平视差矩阵，对所述第一右视引导图像在所述第一左视引导图像中的以水平视差像素为中心的第二图像块中进行非局部均值滤波，得到所述第二欧式距离；
对所述第一左视引导图像在自身图像中的以需要处理的像素为中心的第三图像块中进行非局部均值滤波，得到所述第三欧式距离；
对所述第一右视引导图像在自身图像中的以需要处理的像素为中心的第四图像块中进行非局部均值滤波，得到所述第四欧式距离。
3.根据权利要求2所述的双目图像的降噪方法，其特征在于，所述最深层引导图像包括第二左视引导图像和第二右视引导图像；利用非局部均值滤波算法计算得到所述多层引导图像中最深层引导图像所对应的第二水平视差矩阵包括：
以所述第二左视引导图像中的预设的第一像素点为中心确定第五图像块；
确定所述第二右视引导图像的第一搜索窗口；
在所述第一搜索窗口中搜索与所述第五图像块对应的第一相似块；
根据所述第一相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到第二左视视差矩阵；
以所述第二右视引导图像中的预设的第二像素点为中心确定第六图像块；
确定所述第二左视引导图像的第二搜索窗口；
在所述第二搜索窗口中搜索与所述第六图像块对应的第二相似块；
根据所述第二相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到第二右视视差矩阵；
根据所述第二左视视差矩阵和所述第二右视视差矩阵，得到所述第二水平视差矩阵。
4.根据权利要求3所述的双目图像的降噪方法，其特征在于，根据所述第一相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到第二左视视差矩阵包括：
根据多个第一相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到初始左视视差矩阵；
根据所述初始左视视差矩阵中预设的第三像素点、预设的第四像素点和预设的第五像素点之间的视差差值与预设的第一阈值之间的大小关系，对所述第一搜索窗口进行调整；
在调整后的第一搜索窗口中搜索与所述第三图像块对应的第一相似块，并重复上述调整步骤，直至搜索至所述第二右视引导图像的边界，根据所有第一相似块的中心像素点在所述第二左视引导图像和所述第二右视引导图像的水平位置差距，得到第二左视视差矩阵。
5.根据权利要求3所述的双目图像的降噪方法，其特征在于，根据所述第二左视视差矩阵和所述第二右视视差矩阵，得到所述第二水平视差矩阵包括：
判断所述第二左视视差矩阵和所述第二右视视差矩阵中每个像素点的视差差值是否小于预设的第二阈值；
在所述第二左视视差矩阵和所述第二右视视差矩阵中每个像素点的视差差值均小于所述第二阈值时，得到所述第二水平视差矩阵；
在所述第二左视视差矩阵和所述第二右视视差矩阵中存在视差差值大于或等于所述第二阈值的错误像素点时，将所述第二水平视差矩阵中与所述错误像素点对应的数值调整为预设的视差阈值。
6.根据权利要求1或5中任一项所述的双目图像的降噪方法，其特征在于，对所述双目图像进行多层下采样处理和降噪处理，得到多层引导图像包括：
对所述双目图像进行多层下采样处理，得到多层下采样图像；
分别对每层下采样图像进行降噪处理，得到对应每层下采样图像的引导图像。
7.一种双目图像的降噪装置，其特征在于，所述装置包括：
获取模块，用于获取双目图像，其中，所述双目图像包括左视图像和右视图像；
预处理模块，用于对所述双目图像进行多层下采样处理和降噪处理，得到多层引导图像；
第一计算模块，用于利用非局部均值滤波算法计算得到所述多层引导图像中的最浅层引导图像所对应的第一水平视差矩阵；所述最浅层引导图像包括第一左视引导图像和第一右视引导图像；
第二计算模块，用于根据所述第一水平视差矩阵，利用非局部均值滤波算法计算得到所述第一左视引导图像在所述第一右视引导图像中的第一欧式距离，和所述第一右视引导图像在所述第一左视引导图像中的第二欧式距离；利用非局部均值滤波算法计算得到所述第一左视引导图像在自身图像中的第三欧式距离，以及所述第一右视引导图像在自身图像中的第四欧式距离；
降噪模块，用于根据所述第一欧式距离、所述第二欧式距离、所述第三欧式距离、以及所述第四欧式距离确定所述左视图像和所述右视图像中的多个相似块以及每个相似块所对应的权重，并根据每个相似块所对应的权重对所述多个相似块进行加权处理，得到对应所述双目图像的降噪图像；
其中，所述第一计算模块还用于利用非局部均值滤波算法计算得到所述多层引导图像中最深层引导图像所对应的第二水平视差矩阵；根据所述第二水平视差矩阵，确定所述最深层引导图像的上一层引导图像所对应的初始水平视差矩阵；利用非局部均值滤波算法在搜索窗口计算欧式距离，并参考临近视差，对所述最深层引导图像的上一层引导图像所对应的初始水平视差矩阵进行优化。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的双目图像的降噪方法。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的双目图像的降噪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211378346.6A CN115908170B (zh) | 2022-11-04 | 2022-11-04 | 双目图像的降噪方法、装置、电子装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211378346.6A CN115908170B (zh) | 2022-11-04 | 2022-11-04 | 双目图像的降噪方法、装置、电子装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115908170A CN115908170A (zh) | 2023-04-04 |
| CN115908170B true CN115908170B (zh) | 2023-11-21 |
Family
ID=86492681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211378346.6A Active CN115908170B (zh) | 2022-11-04 | 2022-11-04 | 双目图像的降噪方法、装置、电子装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115908170B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102045571A (zh) * | 2011-01-13 | 2011-05-04 | 北京工业大学 | 一种立体视频编码快速迭代搜索方法 |
| CN102254348A (zh) * | 2011-07-25 | 2011-11-23 | 北京航空航天大学 | 一种基于块匹配视差估计的中间视图合成方法 |
| CN103606132A (zh) * | 2013-10-31 | 2014-02-26 | 西安电子科技大学 | 基于空域和时域联合滤波的多帧数字图像去噪方法 |
| CN107025660A (zh) * | 2016-02-01 | 2017-08-08 | 北京三星通信技术研究有限公司 | 一种确定双目动态视觉传感器图像视差的方法和装置 |
| CN107786780A (zh) * | 2017-11-03 | 2018-03-09 | 深圳Tcl新技术有限公司 | 视频图像降噪方法、装置及计算机可读存储介质 |
| CN108986197A (zh) * | 2017-11-30 | 2018-12-11 | 成都通甲优博科技有限责任公司 | 3d骨架线构建方法及装置 |
| CN109146803A (zh) * | 2018-07-26 | 2019-01-04 | 北京航空航天大学 | 基于多角度图像的sar图像辐射分辨率提升方法及装置 |
| CN109448036A (zh) * | 2019-01-23 | 2019-03-08 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种基于双目图像确定视差图的方法及装置 |
| CN111553878A (zh) * | 2020-03-23 | 2020-08-18 | 四川公路工程咨询监理有限公司 | 基于双目视觉的沥青路面混合料摊铺均匀性的检测方法 |
| CN113034666A (zh) * | 2021-02-01 | 2021-06-25 | 中国计量大学 | 一种基于金字塔视差优化代价计算的立体匹配方法 |
| WO2022052582A1 (zh) * | 2020-09-08 | 2022-03-17 | 苏州浪潮智能科技有限公司 | 一种图像配准方法、装置及电子设备和存储介质 |
| CN114255268A (zh) * | 2020-09-24 | 2022-03-29 | 武汉Tcl集团工业研究院有限公司 | 视差图处理、深度学习模型训练方法及相关设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170109867A1 (en) * | 2015-10-16 | 2017-04-20 | Motorola Mobility Llc | Camera array for performing non-local means image processing over multiple sequential images |
| US10643308B2 (en) * | 2017-10-11 | 2020-05-05 | Gopro, Inc. | Double non-local means denoising |
-
2022
- 2022-11-04 CN CN202211378346.6A patent/CN115908170B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102045571A (zh) * | 2011-01-13 | 2011-05-04 | 北京工业大学 | 一种立体视频编码快速迭代搜索方法 |
| CN102254348A (zh) * | 2011-07-25 | 2011-11-23 | 北京航空航天大学 | 一种基于块匹配视差估计的中间视图合成方法 |
| CN103606132A (zh) * | 2013-10-31 | 2014-02-26 | 西安电子科技大学 | 基于空域和时域联合滤波的多帧数字图像去噪方法 |
| CN107025660A (zh) * | 2016-02-01 | 2017-08-08 | 北京三星通信技术研究有限公司 | 一种确定双目动态视觉传感器图像视差的方法和装置 |
| CN107786780A (zh) * | 2017-11-03 | 2018-03-09 | 深圳Tcl新技术有限公司 | 视频图像降噪方法、装置及计算机可读存储介质 |
| CN108986197A (zh) * | 2017-11-30 | 2018-12-11 | 成都通甲优博科技有限责任公司 | 3d骨架线构建方法及装置 |
| CN109146803A (zh) * | 2018-07-26 | 2019-01-04 | 北京航空航天大学 | 基于多角度图像的sar图像辐射分辨率提升方法及装置 |
| CN109448036A (zh) * | 2019-01-23 | 2019-03-08 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种基于双目图像确定视差图的方法及装置 |
| CN111553878A (zh) * | 2020-03-23 | 2020-08-18 | 四川公路工程咨询监理有限公司 | 基于双目视觉的沥青路面混合料摊铺均匀性的检测方法 |
| WO2022052582A1 (zh) * | 2020-09-08 | 2022-03-17 | 苏州浪潮智能科技有限公司 | 一种图像配准方法、装置及电子设备和存储介质 |
| CN114255268A (zh) * | 2020-09-24 | 2022-03-29 | 武汉Tcl集团工业研究院有限公司 | 视差图处理、深度学习模型训练方法及相关设备 |
| CN113034666A (zh) * | 2021-02-01 | 2021-06-25 | 中国计量大学 | 一种基于金字塔视差优化代价计算的立体匹配方法 |
Non-Patent Citations (3)
| Title |
|---|
| Non-local Means for Stereo Image Denoising Using Structural Similarity;Monagi H. Alkinani等;《International Conference Image Analysis and Recognition》;51-59 * |
| 双目立体视觉稠密视差算法研究;刘小莉;《中国优秀硕士学位论文全文数据库_信息科技辑》;I138-699 * |
| 基于双目视觉的裸眼3D图像生成算法及技术研究;郑晓洁;《中国优秀硕士学位论文全文数据库_信息科技辑》;I138-263 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115908170A (zh) | 2023-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104574342B (zh) | 视差深度图像的噪声识别方法和噪声识别装置 | |
| CN111402170B (zh) | 图像增强方法、装置、终端及计算机可读存储介质 | |
| US20110128282A1 (en) | Method for Generating the Depth of a Stereo Image | |
| US20170270644A1 (en) | Depth image Denoising Method and Denoising Apparatus | |
| US8416989B2 (en) | Image processing apparatus, image capture apparatus, image processing method, and program | |
| EP3582182B1 (en) | A method, a device, and a system for estimating a sub-pixel position of an extreme point in an image | |
| TWI502544B (zh) | 立體影像的視差估算方法 | |
| WO2020215257A1 (zh) | 图像立体匹配的方法和辅助驾驶装置 | |
| CN110136048B (zh) | 一种图像配准方法及系统、存储介质及终端 | |
| CN111739071A (zh) | 基于初始值的快速迭代配准方法、介质、终端和装置 | |
| US20190318196A1 (en) | Guided sparse feature matching via coarsely defined dense matches | |
| CN115908170B (zh) | 双目图像的降噪方法、装置、电子装置和存储介质 | |
| JP5900017B2 (ja) | 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム | |
| CN113034666B (zh) | 一种基于金字塔视差优化代价计算的立体匹配方法 | |
| CN114331919B (zh) | 深度恢复方法、电子设备及存储介质 | |
| CN115176459A (zh) | 虚拟视点合成方法、电子设备和计算机可读介质 | |
| CN113538538A (zh) | 双目图像对齐方法、电子设备和计算机可读存储介质 | |
| CN112150532A (zh) | 图像处理的方法、装置、电子设备和计算机可读介质 | |
| US10354400B2 (en) | Method and system for matching stereo images | |
| CN112765390A (zh) | 具备双倍搜索区间的立体匹配方法 | |
| Chen et al. | A fast adaptive guided filtering algorithm for light field depth interpolation | |
| TWI485653B (zh) | 成像系統及方法 | |
| CN111383185B (zh) | 一种基于稠密视差图的孔洞填充方法及车载设备 | |
| CN110274573B (zh) | 双目测距方法、装置、设备、存储介质及计算设备 | |
| CN114820393A (zh) | 融合空洞修复的深度恢复方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |