CN109840894A - 视差图精修方法、装置及存储介质 - Google Patents

视差图精修方法、装置及存储介质 Download PDF

Info

Publication number
CN109840894A
CN109840894A CN201910097004.9A CN201910097004A CN109840894A CN 109840894 A CN109840894 A CN 109840894A CN 201910097004 A CN201910097004 A CN 201910097004A CN 109840894 A CN109840894 A CN 109840894A
Authority
CN
China
Prior art keywords
image
disparity map
pixel
neighborhood window
neighborhood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910097004.9A
Other languages
English (en)
Other versions
CN109840894B (zh
Inventor
杜银和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecarx Hubei Tech Co Ltd
Original Assignee
Hubei Ecarx Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Ecarx Technology Co Ltd filed Critical Hubei Ecarx Technology Co Ltd
Priority to CN201910097004.9A priority Critical patent/CN109840894B/zh
Publication of CN109840894A publication Critical patent/CN109840894A/zh
Application granted granted Critical
Publication of CN109840894B publication Critical patent/CN109840894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本公开提供一种视差图精修方法、装置及存储介质，涉及图像处理技术领域。该方法、装置及存储介质，在获取得到第一图像和第二图像后，基于归一化互相关匹配算法，针对第一图像中的每个待匹配像素点，在第一图像中构建第一邻域窗口，并在第二图像中的对应位置构建与第一邻域窗口大小相同的多个第二邻域窗口；在构建第二邻域窗口后，针对第一图像中的每个第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行匹配代价计算，得到第一视差图；在得到第一视差图后，对第一视差图进行插值运算，并对插值运算后的第一视差图进行平滑处理，减少了视差值的空洞影响，增加视差值的连续性，进而实现了对视差图的精修。

Description

视差图精修方法、装置及存储介质
技术领域
本公开涉及图像处理技术领域，具体而言，本公开涉及一种视差图精修方法、装置及存储介质。
背景技术
双目视觉系统在自动驾驶和机器人领域的应用越来越广泛，双目视觉系统不仅有着优越的深度感知性能，而且还具有成本上的优势。但是，目前，基于双目视觉系统计算得出的稠密视差值，存在着空洞，噪声大等问题。
发明内容
基于上述研究，本公开提供一种视差图精修方法、装置及存储介质。
本公开提供的一种视差图精修方法，所述方法包括：
获取第一图像和第二图像；
基于归一化互相关匹配算法，针对所述第一图像中的每个待匹配像素点，在所述第一图像中构建第一邻域窗口，并在所述第二图像中的对应位置构建与所述第一邻域窗口大小相同的多个第二邻域窗口；
针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行匹配代价计算，得到第一视差图；
对所述第一视差图进行插值运算，并对插值运算后的所述第一视差图进行平滑处理，得到第二视差图。
进一步的，所述针对所述第一图像中的每个待匹配像素点，在所述第一图像中构建第一邻域窗口，并在所述第二图像中的对应位置构建与所述第一邻域窗口大小相同的多个第二邻域窗口的步骤包括：
针对所述第一图像中的每个待匹配像素点，确定该待匹配像素点在所述第一图像中的行位置信息，并对该待匹配像素点在所述第一图像中构建所述第一邻域窗口；
根据该待匹配像素的行位置信息，对所述第二图像中对应行上的每一个像素点构建与所述第一邻域窗口大小相同的第二邻域窗口，得到多个第二邻域窗口。
进一步的，所述针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行匹配代价计算，得到第一视差图的步骤包括：
针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行相关度计算，得到与该第一邻域窗口相应的待匹配像素点相关度最高的目标匹配像素点；
针对所述第一图像中的每个待匹配像素点，计算该待匹配像素点与该待匹配像素点相关度最高的目标匹配像素点在第一方向上的视差值；
根据所述视差值，得到所述第一视差图。
进一步的，所述对插值运算后的所述第一视差图进行平滑处理，得到第二视差图的步骤包括：
基于能量函数，对所述能量函数极小化，以对插值运算后的所述第一视差图进行平滑处理计算，得到所述第二视差图。
进一步的，在基于归一化互相关匹配算法，针对所述第一图像中的每个待匹配像素点，在所述第一图像中构建第一邻域窗口之前，所述方法还包括：
对所述第一图像和第二图像进行灰度处理，并消除所述第一图像和第二图像的噪声和光度误差；
基于预先标定的相机参数，对所述第一图像和第二图像进行畸变校正和极线校正。
本公开提供一种视差图精修装置，所述视差图精修装置包括获取模块、构建模块、匹配模块以及处理模块。
所述获取模块用于获取第一图像和第二图像；
所述构建模块用于基于归一化互相关匹配算法，针对所述第一图像中的每个待匹配像素点，在所述第一图像中构建第一邻域窗口，并在所述第二图像中的对应位置构建与所述第一邻域窗口大小相同的多个第二邻域窗口；
所述匹配模块用于针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行匹配代价计算，得到第一视差图；
所述处理模块用于对所述第一视差图进行插值运算，并对插值运算后的所述第一视差图进行平滑处理，得到第二视差图。
进一步的，所述构建模块用于针对所述第一图像中的每个待匹配像素点，确定该待匹配像素点在所述第一图像中的行位置信息，并对该待匹配像素点在所述第一图像中构建所述第一邻域窗口，并根据该待匹配像素的行位置信息，对所述第二图像中对应行上的每一个像素点构建与所述第一邻域窗口大小相同的第二邻域窗口，得到多个第二邻域窗口。
进一步的，所述匹配模块用于针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行相关度计算，得到与该第一邻域窗口相应的待匹配像素点相关度最高的目标匹配像素点；
所述匹配模块还用于针对所述第一图像中的每个待匹配像素点，计算该待匹配像素点与该待匹配像素点相关度最高的目标匹配像素点在第一方向上的视差值，并根据所述视差值，得到所述第一视差图。
进一步的，所述处理模块用于基于能量函数，对所述能量函数极小化，以对插值运算后的所述第一视差图进行平滑处理计算，得到所述第二视差图。
本公开提供一种存储介质，其上存储有计算机程序，所述计算机程序在执行时实现上述的视差图精修方法中的步骤。
本公开提供的视差图精修方法、装置及存储介质，在获取得到第一图像和第二图像后，基于归一化互相关匹配算法，针对第一图像中的每个待匹配像素点，在第一图像中构建第一邻域窗口，并在第二图像中的对应位置构建与第一邻域窗口大小相同的多个第二邻域窗口；在构建第二邻域窗口后，针对第一图像中的每个第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行匹配代价计算，得到第一视差图；在得到第一视差图后，对第一视差图进行插值运算，并对插值运算后的第一视差图进行平滑处理，得到第二视差图，减少了视差值的空洞影响，增加视差值的连续性，进而实现了对视差图的精修。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本公开所提供的双目视觉系统的一种方框示意图。
图2为本公开所提供的视差图精修装置的一种方框示意图。
图3为本公开所提供的视差图精修方法的一种流程示意图。
图4为本公开所提供的视差图精修方法的另一种流程示意图。
图5为本公开所提供的视差图精修方法的又一种流程示意图。
图6为本公开所提供的视差图精修方法的又一种流程示意图。
图标：100-双目视觉系统；10-第一相机；11-第二相机；20-视差图精修装置；21-获取模块；22-构建模块；23-匹配模块；24-处理模块；30-存储器；40-处理器。
具体实施方式
下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
双目视觉系统在自动驾驶和机器人领域的应用越来越广泛，双目视觉系统不仅有着优越的深度感知性能，而且还具有成本上的优势。但是，目前，基于双目视觉系统计算得出的稠密视差值，存在着空洞，噪声大等问题，这些问题直接影响了整个双目视觉系统的精度和性能。
基于上述研究，本公开提供一种视差图精修方法、装置及存储介质，以改善上述问题。
请结合参阅图1，本公开提供的视差图精修方法应用于图1所示的双目视觉系统100。由所述双目视觉系统100执行本公开所提供的视差图精修方法。所述双目视觉系统100包括第一相机10、第二相机11、存储器30、处理器40以及图2所示的视差图精修装置20；所述存储器30以及处理器40各个元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互直接可通过一条或多条通讯总线或信号线实现电性连接。所述视差图精修装置20包括至少一个可以软件或固件(Firmware)的形式存储于所述存储器30中的软件功能模块，所述处理器40通过运行存储在存储器30内的软件程序以及模块，从而执行各种功能应用以及数据处理。
所述存储器30可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
所述处理器40可以是一种集成电路芯片，具有信号的处理能力。所述处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。
请结合参阅图3，图3为本公开所提供的视差图精修方法的一种流程示意图，本公开所提供的视差图精修方法，应用于图1所示的双目视觉系统100，下面对图3所示的视差图精修方法的具体流程进行详细阐述。
步骤S10：获取第一图像和第二图像。
在本公开中，通过所述第一相机10获取第一图像，通过所述第二相机11获取第二图像。其中，所述第一相机10获取所述第一图像的时刻与所述第二相机11获取所述第二图像的时刻相同。为了使所述第一相机10和所述第二相机11采集到同一时刻的图像，需要采用同一种时钟触发源对所述第一相机10和所述第二相机11相机进行触发，保证所述第一相机10和所述第二相机11的硬件同步。
进一步的，在本公开中，所述第一图像和所述第二图像的图像尺寸大小一致，其中，图像的尺寸大小可以有多种设置，可选的，在本公开中，所述第一图像和所述第二图像的图像尺寸大小为640×480。
进一步的，请结合参阅图4，在获取得到所述第一图像和第二图像后，需要对所述第一图像和第二图像进行预处理，其中，对所述第一图像和第二图像预处理的步骤如下。
步骤S11：对所述第一图像和第二图像进行灰度处理，并消除所述第一图像和第二图像的噪声和光度误差。
在获取到所述第一图像和第二图像后，需要对所述第一图像和第二图像进行灰度处理，实现灰度化操作。除此之外，还需要对所述第一图像和第二图像的噪声进行消除，可选的，在本公开中，通过中值滤波方法对所述第一图像和第二图像中的噪声进行消除。
此外，由于所述第一相机10和第二相机11的相机传感器从外界接收到光量后，会对接收到的光量进行一系列的非线性转换，最后对应到0-255之间的亮度值，而在这样的转换中，图像必然存在一定的光度误差。因此，本公开在获取得到所述第一图像和第二图像后，还需对所述第一图像和第二图像存在的光度误差进行消除。
可选的，在本公开中，首先利用开源的光度标定方法对预先获取的图像的光度进行标定，得到标定后的光度系数，然后根据标定后的光度系数，对相机传感器的输入曝光量和输出亮度值之间的关系进行一定的失真补偿，在对输入曝光量和输出亮度值之间的关系进行失真补偿后，在获取所述第一图像和第二图像时，即可对获取的所述第一图像和第二图像的光度误差进行消除。
步骤S12：基于预先标定的相机参数，对所述第一图像和第二图像进行畸变校正和极线校正。
其中，若直接从所述第一相机10和第二相机11的相机传感器中获取的原始图像，则原始图像会存在很大的畸变，因此在通过所述第一相机10获取第一图像以及通过所述第二相机11获取第二图像之前，需要对所述第一相机10和所述第二相机11的相机参数进行预先标定。
可选的，在本公开中，基于双目标定方法，对所述第一相机10和所述第二相机11进行几何标定，标定得到所述第一相机10和所述第二相机11的相机参数。
所述相机参数包括相机的焦距、主点坐标和畸变系数，以及目标相机到参考相机的旋转量和平移量，可选的，在本公开中，所述第一相机10作为参考相机，所述第二相机11作为目标相机。
在预先标定所述第一相机10和第二相机11的相机参数后，即标定所述第一相机10和所述第二相机11的焦距，主点坐标和畸变系数，以及所述第一相机10到所述第二相机11的旋转量(俯仰角，滚转角和偏航角)和平移量后，则可预先利用标定的相机参数中的畸变系数，对获取得到的所述第一图像和第二图像分别进行畸变校正。
除此之外，为了使所述第一相机10和所述第二相机11的光轴完全平行，需要对所述第一图像和第二图像进行极线校正。所谓的极线校正即是将所述第一图像和第二图像的对极线校正在同一水平线上，通过对所述第一图像和第二图像的极线校正，在图像寻找匹配点时，则可由原本的图像中二维极线搜索降成了一维的极线搜索，为图像的匹配提供了极大的便利。
本公开在获取得到所述第一图像和第二图像后，通过对所述第一图像和第二图像进行预处理，消除所述第一图像和第二图像中的噪声和光度误差，并通过预先标定的相机参数，对所述第一图像和第二图像进行畸变校正和极线校正，从而得到较为理想干净、高质量的第一图像和第二图像，为后续图像的匹配工作打下良好的基础。
请返回结合图3，在对所述第一图像和第二图像进行预处理后，进入步骤S20。
步骤S20：基于归一化互相关匹配算法，针对所述第一图像中的每个待匹配像素点，在所述第一图像中构建第一邻域窗口，并在所述第二图像中的对应位置构建与所述第一邻域窗口大小相同的多个第二邻域窗口。
在对所述第一图像和第二图像进行预处理后，通过归一化互相关匹配算法(Normalized cross correlation，NCC)对预处理后的所述第一图像和第二图像进行匹配代价计算，即可得到第一视差图。
其中，在基于NCC算法对预处理后的所述第一图像和第二图像进行匹配代价计算，得到第一视差图时，首先针对所述第一图像中的每个待匹配像素点，在所述第一图像中构建第一邻域窗口，并在所述第二图像中的对应位置构建与所述第一邻域窗口大小相同的多个第二邻域窗口。
进一步的，请结合参阅图5，基于NCC算法，针对所述第一图像中的每个待匹配像素点，在所述第一图像中构建第一邻域窗口，并在所述第二图像中的对应位置构建与所述第一邻域窗口大小相同的多个第二邻域窗口的步骤包括步骤S21至步骤S22。
步骤S21：针对所述第一图像中的每个待匹配像素点，确定该待匹配像素点在所述第一图像中的行位置信息，并对该待匹配像素点在所述第一图像中构建所述第一邻域窗口。
在获取得到所述第一图像和第二图像，对所述第一图像和第二图像预处理后，针对所述第一图像中的每个待匹配像素点，首先需确定该待匹配像素点所在行的位置信息，即该待匹配像素点的行位置信息。在确定该待匹配像素点的行位置信息后，基于该待匹配像素点，构建第一邻域窗口，所述第一邻域窗口的大小可根据实际情况而设定，可选的，在本公开中，所述第一邻域窗口的大小设定为5×5。
步骤S22：根据该待匹配像素的行位置信息，对所述第二图像中对应行上的每一个像素点构建与所述第一邻域窗口大小相同的第二邻域窗口，得到多个第二邻域窗口。
其中，所述第一图像和所述第二图像为同一时刻，不同视角下得到同一物体的两幅图像，且所述第一图像和第二图像的尺寸大小一致，因此，所述第一图像中的每个待匹配像素点的行位置信息与所述第二图像中的目标匹配像素点的行位置信息对应，例如，待匹配像素点a在所述第一图像中的行位置信息为第5行，则待匹配像素点a的目标匹配像素点b在所述第二图像中的行位置信息也为第5行。
在确定该待匹配像素点的行位置信息后，根据该待匹配像素点的行位置信息，在所述第二图像中找到与该待匹配像素点在所述第一图像中的行位置对应的行，在找到所述第二图像中的对应行后，对所述第二图像中对应行上的每一个像素点构建与所述第一邻域窗口相同大小的第二邻域窗口，进而得到多个第二邻域窗口。例如，所述第一邻域窗口为5×5，则所述第二邻域窗口为5×5。
请返回结合图3，在得到多个所述第二邻域窗口后，进入步骤S30。
步骤S30：针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行匹配代价计算，得到第一视差图。
进一步的，请结合参阅图6，所述针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行匹配代价计算，得到第一视差图的步骤包括步骤S31至步骤S33。
步骤S31：针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行相关度计算，得到与该第一邻域窗口相应的待匹配像素点相关度最高的目标匹配像素点。
在对所述第二图像中对应行上的每一个像素点构建与所述第一邻域窗口相同大小的第二邻域窗口后，根据NCC算法，针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行相关度计算，得到该第一邻域窗口对应的待匹配像素点和每个第二邻域窗口对应的像素点的相关度，其中，相关度最高的即为该待匹配像素点在第二图像中的目标匹配像素点。
例如，所述第一图像中，基于待匹配像素点a，构建第一邻域窗口A，同时，根据待匹配像素点a的行位置信息，在所述第二图像中找到对应行，在所述第二图像中找到对应行后，对所述第二图像中对应行上的每一个像素点构建与第一邻域窗口A相同大小的第二邻域窗口，其中，若所述第二图像中对应行上存在像素点b、像素c以及像素点d，则针对像素点b构建第二邻域窗口B、针对像素点c构建第二邻域窗口C、针对像素点d构建第二邻域窗口D。
在对所述第二图像中对应行上的每一个像素点构建与第一邻域窗口A相同大小的第二邻域窗口后，将第一邻域窗口A和构建的每个第二邻域窗口分别进行相关度计算，即可得到第一邻域窗口A对应的待匹配像素点a与每个第二邻域窗口对应的像素点之间的相关度。比如，将第一邻域窗口A和第二邻域窗口B进行相关度计算，得到第一邻域窗口A对应的待匹配像素点a和第二邻域窗口B对应的像素点b之间的相关度为m；将第一邻域窗口A和第二邻域窗口C进行相关度计算，得到第一邻域窗口A对应的待匹配像素点a和第二邻域窗口C对应的像素点c之间的相关度为n；将第一邻域窗口A和第二邻域窗口D进行相关度计算，得到第一邻域窗口A对应的待匹配像素点a和第二邻域窗口D对应的像素点d之间的相关度为z。
在得到第一邻域窗口A对应的待匹配像素点a与每个第二邻域窗口对应的像素点之间的相关度后，将相关度最高的作为待匹配像素点a在第二图像中的目标匹配像素点。例如，第一邻域窗口A对应的待匹配像素点a与第二邻域窗口B对应的像素点b之间的相关度m最高，则像素点b即为待匹配像素点a在第二图像中的目标匹配像素点。
步骤S32：针对所述第一图像中的每个待匹配像素点，计算该待匹配像素点与该待匹配像素点相关度最高的目标匹配像素点在第一方向上的视差值。
基于步骤S31中的匹配方法，在对所述第一图像中的每个待匹配像素点，在所述第二图像中找到目标匹配像素点后，对每个待匹配像素点，计算该待匹配像素点与该待匹配像素点相关度最高的目标匹配像素点在第一方向上的视差值。可选的，在二维坐标中，所述第一方向为X轴方向。
步骤S33：根据所述视差值，得到所述第一视差图。
在对所述第一图像中的每个待匹配像素点进行相应的视差值计算之后，便可以得到和所述第一图像大小一致的第一视差图。
请返回结合图3，在得到所述第一视差图后，执行步骤S40。
步骤S40：对所述第一视差图进行插值运算，并对插值运算后的所述第一视差图进行平滑处理，得到第二视差图。
其中，所述第一视差图为粗略的视差图像，存在空洞和值不连续等问题，因此需要对所述第一视差图进行视差值的精修。可选的，在本公开中，采用简单的线性插值方法对所述第一视差图的空洞现象进行修正。
在得到所述第一视差图后，对所述第一视差图的第一方向和第二方向两个方向上分别进行一次线性插值。可选的，所述第一方向为X轴方向，所述第二方向为Y轴方向。
假设第一视差图f中的四个像素点分别为f(x1,y1)，f(x1,y2)，f(x2,y1)，f(x2,y2)，在对第一视差图f进行线性插值时，首先通过以下公式在X轴方向上进行插值计算：
在X轴方向完成插值后，得到插值后的像素点f(x,y1)和f(x,y2)，然后根据f(x,y1)，f(x,y2)在Y轴方向上进行插值计算，其计算公式如下：
在X轴和Y轴方向完成插值后，便可以对所述第一视差图中的空洞现象进行修正。
在对所述第一视差图进行插值运算后，还需要对插值运算后的所述第一视差图进行精细化处理，即还需要对插值运算后的所述第一视差图进行平滑处理，得到第二视差图。
进一步的，所述对插值运算后的所述第一视差图进行平滑处理，得到第二视差图的步骤包括以下步骤。
基于能量函数，对所述能量函数极小化，以对插值运算后的所述第一视差图进行平滑处理计算，得到所述第二视差图。
其中，所述能量函数为
p表示图像的像素位置，f代表输入图像，I’代表平滑处理后的输出图像，λ是一个正则化平衡参数，N(p)代表设置的像素p的邻域大小，q属于邻域内的像素，ωp,q(f)代表像素p与像素q之间的权重。
在本公开，对插值运算后的所述第一视差图主要采用一种全局的平滑滤波方法进行精细化处理，该方法主要是使用上述的能量函数。
可选的，在本公开中，所述第一视差图的尺寸大小和所述第一图像和第二图像的尺寸大小一致，因此，所述第一视差图的尺寸大小为640×480。对于本公开中的640×480大小的所述第一视差图，p表示图像的像素位置p＝(x,y)|0<x<640,0<y<480，此处的f代表输入图像，即插值运算后的第一视差图，I’代表滤波平滑后的输出图像，λ是一个正则化平衡参数，在本公中设置为1，N(p)代表设置的像素p的邻域大小，在本公中设置为4，q属于邻域内的像素，而ωp,q(f)＝exp(-||fp-fq||/σc)代表输入图像中像素p和像素q之间的权重，表达着像素之间的相似性，σc是一个范围参数，在本公中设置为10。该能量函数的第一项(I'p-fp)2代表输入图像fp与输出图像I'p之间的均方差值，该均方差值越小代表输入图像fp与输出图像I'p越相似。第二项是在局部邻域N(p)内计算一个正则项，根据正则项计算输出图像I'p在邻域N(p)内的加权均方值。
对所述能量函数极小化，则需要该函数对输出图像I’进行求导，令导数等于0，得到解算公式。对所述能量函数极小化，求解输出图像I’的过程可以转化成求解如下线性方程组。
设置S＝640×480，此处的和表示是S×1的列向量，表示是输出图像的值，表示输入图像的值，即插值运算后的第一视差图，λ是一个正则化平衡参数，在本公中设置为1，是S×S的单位矩阵，是一个S×S大小的拉普拉斯矩阵，矩阵定义如下：
此处的m,n∈{0,…,S-1}，表示像素的索引，f表示输入图像，ωm,q(f)表示像素m和像素q之间的权重，ωm,n(f)表示像素m和像素n之间的权重，N(m)代表设置的像素m的邻域大小。
对进行计算处理后，得到进而可得到平滑处理后的图像即实现对插值运算后的所述第一视差图的精细化处理，得到第二视差图。
本公开通过全局的平滑滤波方法对插值运算后的第一视差图进行精细化处理，使插值运算后的第一视差图更加平滑连续，实现了视差图的精修。
进一步的，请返回结合参阅图2，本公开提供一种视差图精修装置20，应用于双目视觉系统100，所述视差图精修装置20包括获取模块21、构建模块22、匹配模块23以及处理模块24。
所述获取模块21用于获取第一图像和第二图像。
所述构建模块22用于基于归一化互相关匹配算法，针对所述第一图像中的每个待匹配像素点，在所述第一图像中构建第一邻域窗口，并在所述第二图像中的对应位置构建与所述第一邻域窗口大小相同的多个第二邻域窗口。
所述匹配模块23用于针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行匹配代价计算，得到第一视差图。
所述处理模块24用于对所述第一视差图进行插值运算，并对插值运算后的所述第一视差图进行平滑处理，得到第二视差图。
所述构建模块22用于针对所述第一图像中的每个待匹配像素点，确定该待匹配像素点在所述第一图像中的行位置信息，并对该待匹配像素点在所述第一图像中构建所述第一邻域窗口，并根据该待匹配像素的行位置信息，对所述第二图像中对应行上的每一个像素点构建与所述第一邻域窗口大小相同的第二邻域窗口，得到多个第二邻域窗口。
所述匹配模块23用于针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行相关度计算，得到与该第一邻域窗口相应的待匹配像素点相关度最高的目标匹配像素点。
所述匹配模块23还用于针对所述第一图像中的每个待匹配像素点，计算该待匹配像素点与该待匹配像素点相关度最高的目标匹配像素点在第一方向上的视差值，并根据所述视差值，得到所述第一视差图。
所述处理模块24用于基于能量函数，对所述能量函数极小化，以对插值运算后的所述第一视差图进行平滑处理计算，得到所述第二视差图。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的视差图精修装置20的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
本公开提供一种存储介质，其上存储有计算机程序，所述计算机程序在执行时实现上述的视差图精修方法中的步骤。
综上，本公开提供的视差图精修方法、装置及存储介质，在获取得到第一图像和第二图像后，对第一图像和第二图像进行预处理，消除所述第一图像和第二图像中的噪声，光度误差以及畸变等影响，从而得到较为理想干净、高质量的第一图像和第二图像，为后续图像的匹配工作打下良好的基础。
除此之外，本公开提供的视差图精修方法、装置及存储介质，在对第一图像和第二图像预处理后，针对第一图像中的每个待匹配像素点，在第一图像中构建第一邻域窗口，并在第二图像中的对应位置构建与第一邻域窗口大小相同的多个第二邻域窗口；在构建第二邻域窗口后，针对第一图像中的每个第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行匹配代价计算，实现第一图像和第二图像的局部匹配计算，得到第一视差图，在得到第一视差图后，对第一视差图进行插值运算，并对插值运算后的第一视差图进行平滑处理，减少了视差值的空洞影响，增加视差值的连续性。
本公开提供的视差图精修方法、装置及存储介质，通过对第一图像和第二图像的局部匹配计算，得到粗略的视差图，并对粗略的视差图进行插值以及全局平滑处理，得到精修后的视差图，实现了对视差图的精修，为后续的深度图计算和三维重建工作打下良好的基础。
在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本公开的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
以上所述仅为本公开的可选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种视差图精修方法，其特征在于，所述方法包括：
获取第一图像和第二图像；
基于归一化互相关匹配算法，针对所述第一图像中的每个待匹配像素点，在所述第一图像中构建第一邻域窗口，并在所述第二图像中的对应位置构建与所述第一邻域窗口大小相同的多个第二邻域窗口；
针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行匹配代价计算，得到第一视差图；
对所述第一视差图进行插值运算，并对插值运算后的所述第一视差图进行平滑处理，得到第二视差图。
2.根据权利要求1所述的视差图精修方法，其特征在于，所述针对所述第一图像中的每个待匹配像素点，在所述第一图像中构建第一邻域窗口，并在所述第二图像中的对应位置构建与所述第一邻域窗口大小相同的多个第二邻域窗口的步骤包括：
针对所述第一图像中的每个待匹配像素点，确定该待匹配像素点在所述第一图像中的行位置信息，并对该待匹配像素点在所述第一图像中构建所述第一邻域窗口；
根据该待匹配像素的行位置信息，对所述第二图像中对应行上的每一个像素点构建与所述第一邻域窗口大小相同的第二邻域窗口，得到多个第二邻域窗口。
3.根据权利要求2所述的视差图精修方法，其特征在于，所述针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行匹配代价计算，得到第一视差图的步骤包括：
针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行相关度计算，得到与该第一邻域窗口相应的待匹配像素点相关度最高的目标匹配像素点；
针对所述第一图像中的每个待匹配像素点，计算该待匹配像素点与该待匹配像素点相关度最高的目标匹配像素点在第一方向上的视差值；
根据所述视差值，得到所述第一视差图。
4.根据权利要求1所述的视差图精修方法，其特征在于，所述对插值运算后的所述第一视差图进行平滑处理，得到第二视差图的步骤包括：
基于能量函数，对所述能量函数极小化，以对插值运算后的所述第一视差图进行平滑处理计算，得到所述第二视差图。
5.根据权利要求1所述的视差图精修方法，其特征在于，在基于归一化互相关匹配算法，针对所述第一图像中的每个待匹配像素点，在所述第一图像中构建第一邻域窗口之前，所述方法还包括：
对所述第一图像和第二图像进行灰度处理，并消除所述第一图像和第二图像的噪声和光度误差；
基于预先标定的相机参数，对所述第一图像和第二图像进行畸变校正和极线校正。
6.一种视差图精修装置，其特征在于，所述视差图精修装置包括获取模块、构建模块、匹配模块以及处理模块；
所述获取模块用于获取第一图像和第二图像；
所述构建模块用于基于归一化互相关匹配算法，针对所述第一图像中的每个待匹配像素点，在所述第一图像中构建第一邻域窗口，并在所述第二图像中的对应位置构建与所述第一邻域窗口大小相同的多个第二邻域窗口；
所述匹配模块用于针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行匹配代价计算，得到第一视差图；
所述处理模块用于对所述第一视差图进行插值运算，并对插值运算后的所述第一视差图进行平滑处理，得到第二视差图。
7.根据权利要求6所述的视差图精修装置，其特征在于，所述构建模块用于针对所述第一图像中的每个待匹配像素点，确定该待匹配像素点在所述第一图像中的行位置信息，并对该待匹配像素点在所述第一图像中构建所述第一邻域窗口，并根据该待匹配像素的行位置信息，对所述第二图像中对应行上的每一个像素点构建与所述第一邻域窗口大小相同的第二邻域窗口，得到多个第二邻域窗口。
8.根据权利要求7所述的视差图精修装置，其特征在于，所述匹配模块用于针对所述第一图像中的每个所述第一邻域窗口，对该第一邻域窗口和与该第一邻域窗口大小相同的多个第二邻域窗口进行相关度计算，得到与该第一邻域窗口相应的待匹配像素点相关度最高的目标匹配像素点；
所述匹配模块还用于针对所述第一图像中的每个待匹配像素点，计算该待匹配像素点与该待匹配像素点相关度最高的目标匹配像素点在第一方向上的视差值，并根据所述视差值，得到所述第一视差图。
9.根据权利要求6所述的视差图精修装置，其特征在于，所述处理模块用于基于能量函数，对所述能量函数极小化，以对插值运算后的所述第一视差图进行平滑处理计算，得到所述第二视差图。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在执行时实现上述权利要求1-5中任一项所述的视差图精修方法中的步骤。
CN201910097004.9A 2019-01-30 2019-01-30 视差图精修方法、装置及存储介质 Active CN109840894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910097004.9A CN109840894B (zh) 2019-01-30 2019-01-30 视差图精修方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910097004.9A CN109840894B (zh) 2019-01-30 2019-01-30 视差图精修方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109840894A true CN109840894A (zh) 2019-06-04
CN109840894B CN109840894B (zh) 2021-02-09

Family

ID=66884378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910097004.9A Active CN109840894B (zh) 2019-01-30 2019-01-30 视差图精修方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN109840894B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276734A (zh) * 2019-06-24 2019-09-24 Oppo广东移动通信有限公司 图像畸变校正方法和装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050129325A1 (en) * 2003-11-27 2005-06-16 Sony Corporation Image processing apparatus and method
CN101754038A (zh) * 2009-12-09 2010-06-23 青岛海信网络科技股份有限公司 一种视差提取方法
CN102263957A (zh) * 2011-07-25 2011-11-30 北京航空航天大学 一种基于搜索窗口自适应的视差估计方法
WO2011152039A1 (ja) * 2010-06-01 2011-12-08 パナソニック株式会社 立体映像処理装置及び立体映像処理方法
CN104835165A (zh) * 2015-05-12 2015-08-12 努比亚技术有限公司 图像处理方法及装置
CN104867133A (zh) * 2015-04-30 2015-08-26 燕山大学 一种快速的分步立体匹配方法
CN104915927A (zh) * 2014-03-11 2015-09-16 株式会社理光 视差图像优化方法及装置
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法
CN106530333A (zh) * 2016-10-10 2017-03-22 天津大学 基于捆绑约束的分级优化立体匹配方法
CN107155100A (zh) * 2017-06-20 2017-09-12 国家电网公司信息通信分公司 一种基于图像的立体匹配方法及装置
CN107610148A (zh) * 2017-09-19 2018-01-19 电子科技大学 一种基于双目立体视觉系统的前景分割方法
CN108629763A (zh) * 2018-04-16 2018-10-09 海信集团有限公司 一种视差图的评判方法、装置及终端
CN109255811A (zh) * 2018-07-18 2019-01-22 南京航空航天大学 一种基于可信度图视差优化的立体匹配方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050129325A1 (en) * 2003-11-27 2005-06-16 Sony Corporation Image processing apparatus and method
CN101754038A (zh) * 2009-12-09 2010-06-23 青岛海信网络科技股份有限公司 一种视差提取方法
WO2011152039A1 (ja) * 2010-06-01 2011-12-08 パナソニック株式会社 立体映像処理装置及び立体映像処理方法
CN102263957A (zh) * 2011-07-25 2011-11-30 北京航空航天大学 一种基于搜索窗口自适应的视差估计方法
CN104915927A (zh) * 2014-03-11 2015-09-16 株式会社理光 视差图像优化方法及装置
CN104867133A (zh) * 2015-04-30 2015-08-26 燕山大学 一种快速的分步立体匹配方法
CN104835165A (zh) * 2015-05-12 2015-08-12 努比亚技术有限公司 图像处理方法及装置
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法
CN106530333A (zh) * 2016-10-10 2017-03-22 天津大学 基于捆绑约束的分级优化立体匹配方法
CN107155100A (zh) * 2017-06-20 2017-09-12 国家电网公司信息通信分公司 一种基于图像的立体匹配方法及装置
CN107610148A (zh) * 2017-09-19 2018-01-19 电子科技大学 一种基于双目立体视觉系统的前景分割方法
CN108629763A (zh) * 2018-04-16 2018-10-09 海信集团有限公司 一种视差图的评判方法、装置及终端
CN109255811A (zh) * 2018-07-18 2019-01-22 南京航空航天大学 一种基于可信度图视差优化的立体匹配方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276734A (zh) * 2019-06-24 2019-09-24 Oppo广东移动通信有限公司 图像畸变校正方法和装置
CN110276734B (zh) * 2019-06-24 2021-03-23 Oppo广东移动通信有限公司 图像畸变校正方法和装置
US11861813B2 (en) 2019-06-24 2024-01-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image distortion correction method and apparatus

Also Published As

Publication number Publication date
CN109840894B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN110349251B (zh) 一种基于双目相机的三维重建方法及装置
JP6722323B2 (ja) 撮像装置のモデリングおよび校正のためのシステムおよびその方法
CN106780590B (zh) 一种深度图的获取方法及系统
CN110487216B (zh) 一种基于卷积神经网络的条纹投影三维扫描方法
CN107705333B (zh) 基于双目相机的空间定位方法及装置
US10706567B2 (en) Data processing method, apparatus, system and storage media
CN104376552B (zh) 一种3d模型与二维图像的虚实配准方法
CN107635129B (zh) 一种三维三目摄像装置及深度融合方法
CN108537837A (zh) 一种深度信息确定的方法及相关装置
CN105005964B (zh) 基于视频序列影像的地理场景全景图快速生成方法
CN105654547B (zh) 三维重建方法
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
CN104537707A (zh) 像方型立体视觉在线移动实时测量系统
CN107767339B (zh) 一种双目立体图像拼接方法
CN108073857A (zh) 动态视觉传感器dvs事件处理的方法及装置
CN108986197B (zh) 3d骨架线构建方法及装置
CN110567398A (zh) 双目立体视觉三维测量方法及系统、服务器及存储介质
CN111127522B (zh) 基于单目相机的深度光流预测方法、装置、设备及介质
CN110619660A (zh) 一种物体定位方法、装置、计算机可读存储介质及机器人
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
WO2021244161A1 (zh) 基于多目全景图像的模型生成方法及装置
WO2023082822A1 (zh) 图像数据的处理方法和装置
CN110686652A (zh) 一种基于深度学习和结构光相结合的深度测量方法
CN107958489B (zh) 一种曲面重建方法及装置
Chen et al. A closed-form solution to single underwater camera calibration using triple wavelength dispersion and its application to single camera 3D reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220324

Address after: 430090 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Hubei Province

Patentee after: Yikatong (Hubei) Technology Co.,Ltd.

Address before: 430000 no.c101, chuanggu start up area, taizihu cultural Digital Industrial Park, No.18 Shenlong Avenue, Wuhan Economic and Technological Development Zone, Hubei Province

Patentee before: HUBEI ECARX TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right