CN112053434B - 视差图的生成方法、三维重建方法及相关装置 - Google Patents

视差图的生成方法、三维重建方法及相关装置 Download PDF

Info

Publication number
CN112053434B
CN112053434B CN202011068525.0A CN202011068525A CN112053434B CN 112053434 B CN112053434 B CN 112053434B CN 202011068525 A CN202011068525 A CN 202011068525A CN 112053434 B CN112053434 B CN 112053434B
Authority
CN
China
Prior art keywords
image data
disparity map
image
edge
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011068525.0A
Other languages
English (en)
Other versions
CN112053434A (zh
Inventor
池鹏可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xaircraft Technology Co Ltd
Original Assignee
Guangzhou Xaircraft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xaircraft Technology Co Ltd filed Critical Guangzhou Xaircraft Technology Co Ltd
Priority to CN202011068525.0A priority Critical patent/CN112053434B/zh
Publication of CN112053434A publication Critical patent/CN112053434A/zh
Application granted granted Critical
Publication of CN112053434B publication Critical patent/CN112053434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提出一种视差图的生成方法、三维重建方法及相关装置，涉及图像技术领域。其中，上述视差图的生成方法包括：根据第一方向和第二方向对图像数据进行边缘信息提取，以得到边缘图像；根据所述边缘图像及所述图像数据计算对应的视差图；对所述视差图进行滤波处理。从而得到优质的视差图，进而提高三维重建的效果。如此，即便是面对弱纹理图像也能达到较好的三维重建效果。

Description

视差图的生成方法、三维重建方法及相关装置
技术领域
本发明涉及图像技术领域，具体而言，涉及一种视差图的生成方法、三维重建方法及相关装置。
背景技术
三维重建技术是基于二维图像在计算机中重建出真实物体的三维虚拟模型，并于计算机屏幕上展示的技术。三维重建一直是计算机视觉技术领域中的研究热点。基于视差图进行三维重建是常见的三维重建方式，然而，视差图的质量直接影响三维重建的效果，影响视差图的质量的因素主要是用于创建其的原始图像。特别是，基于弱纹理的图像所创建的视差图的质量较差，直接影响基于弱纹理图像的三维重建效果。
发明内容
有鉴于此，本发明的目的在于提供一种视差图的生成方法、三维重建方法及相关装置。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供一种视差图的生成方法，所述视差图的生成方法的步骤包括：根据第一方向和第二方向对图像数据进行边缘信息提取，以得到边缘图像；根据所述边缘图像及所述图像数据计算对应的视差图；对所述视差图进行滤波处理。
在上述实施例中，多向边缘提取具有较佳的边缘提取能力，同时，滤波处理可确保平滑后的视差图与原始图像尽可能相似，并且在边缘部分尽量保持原状。将二者配合，不仅提高了边缘提取的效果，又克服多向边缘提取带来的噪声。如此，即便是面对弱纹理的图像，也能够得到质量较佳的视差图，以便基于视差图得到较佳的三维重建效果。
在可选的实施方式中，所述根据第一方向和第二方向对图像数据进行边缘信息提取，以得到边缘图像的步骤包括：根据所述图像数据中的像素强度值，利用所述第一方向所对应的边缘提取算法依次提取每个像素点的第一值及利用所述第二方向所对应的边缘提取算法依次提取每个所述像素点的第二值；根据对应的所述第一值和第二值，确定每个所述像素点对应的梯度值；当对应的所述梯度值超过预设值时，将所述像素点确定为边缘点，以得到具有边缘信息的所述边缘图像。
在上述实施例中，通过多方向的边缘信息提取，提高针对弱纹理的图像处理的鲁棒性。
在可选的实施方式中，所述根据所述边缘图像及所述图像数据计算对应的视差图的步骤包括：分别计算所述边缘图像所对应的第一代价值和所述图像数据所对应的第二代价值；根据所述第一代价值和第二代价值，计算所述图像数据所对应的初始代价值；根据所述初始代价值，利用预设的半全局匹配算法，生成所述视差图。
在上述实施例中，通过上述方式得到所需的视差图。
在可选的实施方式中，所述根据第一方向和第二方向对图像数据进行边缘信息提取之前，还包括：对所述图像数据进行双边滤波。
在上述实施例中，通过双边滤波实现对图像数据中原始噪声的滤除并且保留有效的边缘信息，从而配合多向边缘提取，提高边缘提取的效果。
在可选的实施方式中，所述视差图的生成方法还包括：获取所述图像数据和相邻上一帧图像数据所对应的位姿信息；根据所述图像数据和相邻上一帧图像数据所对应的位姿信息，判断用于采集所述图像数据的采集设备是否处于转弯运动状态；若判定处于所述转弯运动状态，则将滤波后的所述视差图进行边缘腐蚀处理。
第二方面，本发明实施例提供一种三维重建方法，上述三维重建方法的步骤包括：按照前述实施例中的视差图的生成方法分别对已基线校准的第一图像和第二图像进行处理，以得到所述第一图像对应的第一视差图和所述第二图像对应的第二视差图；根据所述第一视差图和第二视差图，计算对应的深度图，以进行三维重建。
在一些实施例中，上述方法还包括：分别获取采集到的相邻两帧图像数据的位姿信息；根据相邻两帧所述图像数据的位姿信息对相邻两帧所述图像数据进行基线校准，以得到所述第一图像和所述第二图像。
第三方面，本发明实施例提供的一种视差图的生成装置，所述视差图的生成装置包括：边缘提取模块，用于根据第一方向和第二方向对图像数据进行边缘信息提取，以得到边缘图像；计算模块，用于根据所述边缘图像及所述图像数据计算对应的视差图；滤波模块，用于对所述视差图进行滤波处理。
在可选的实施方式中，边缘提取模块具体用于：根据所述图像数据中的像素强度值，利用所述第一方向所对应的边缘提取算法依次提取每个像素点的第一值及利用所述第二方向所对应的边缘提取算法依次提取每个所述像素点的第二值；根据对应的所述第一值和第二值，确定每个所述像素点对应的梯度值；当对应的所述梯度值超过预设值时，将所述像素点确定为边缘点，以得到具有边缘信息的所述边缘图像。
在可选的实施方式中，上述计算模块包括：计算子模块，用于分别计算所述边缘图像所对应的第一代价值和所述图像数据所对应的第二代价值；所述计算子模块，还用于根据所述第一代价值和第二代价值，计算所述图像数据所对应的初始代价值；生成子模块，根据所述初始代价值，利用预设的半全局匹配算法，生成所述视差图。
在可选的实施方式中，上述滤波模块还用于在对图像数据进行边缘信息提取之前，对所述图像数据进行双边滤波。
在可选的实施方式中，上述视差图的生成装置还包括：
位姿获取模块，用于获取所述图像数据和相邻上一帧图像数据所对应的位姿信息；
判断模块，用于根据所述图像数据和相邻上一帧图像数据所对应的位姿信息，判断用于采集所述图像数据的采集设备是否处于转弯运动状态；
腐蚀模块，用于若判定处于所述转弯运动状态，则将滤波后的所述视差图进行边缘腐蚀处理。
第四方面，本发明实施例提供的三维重建装置，上述三维重建装置包括：
处理模块，用于按照前述的视差图的生成方法分别对已基线校准的第一图像和第二图像进行处理，以得到所述第一图像对应的第一视差图和所述第二图像对应的第二视差图；
生成模块，用于根据所述第一视差图和第二视差图，计算对应的深度图，以进行三维重建。
在可选的实施方式中，上述装置还包括：
位姿获取模块，用于分别获取采集到的相邻两帧图像数据的位姿信息；
校准模块，用于根据相邻两帧所述图像数据的位姿信息对相邻两帧所述图像数据进行基线校准，以得到所述第一图像和所述第二图像。
第五方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的方法。
第六方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的方法。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的电子设备的示意图。
图2示出了本发明实施例提供的视差图的生成方法的步骤流程图之一。
图3示出了本发明实施例提供的步骤S101的子步骤流程图。
图4示出了本发明实施例提供的步骤S102的子步骤流程图。
图5示出了本发明实施例提供的视差图的生成方法的步骤流程图之二。
图6示出了本发明实施例提供的视差图的生成方法的步骤流程图之三。
图7示出了针对视差图的腐蚀处理示意图。
图8示出了本发明实施例提供的三维重建方法的步骤流程图。
图9示出了本发明实施例提供的三维重建方法的步骤流程图的另一部分。
图10示出了本发明实施例提供的视差图的生成装置的示意图。
图11示出了本发明实施例提供的三维重建装置的示意图。
图标：100-电子设备；101-存储器；102-通信接口；103-处理器；104-总线；600-视差图的生成装置；601-边缘提取模块；602-计算模块；603-滤波模块；700-三维重建装置；701-处理模块；702-生成模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
针对弱纹理图像的三维重建效果差的问题。相关技术中，会采用以下方式改善三维重建效果：采用Census法。目前Census法应用非常广泛，其原理是基于窗口内的相对亮度差，可以更好的处理两张图整体亮度不一致的情况，且基于窗口的方法对影像噪声更加鲁棒，对弱纹理也有一定的鲁棒性，相对的更能反映真实的相关性。然而，该方式会对重复的纹理会产生歧义。
而如果需要解决重复的纹理产生歧义的问题，目前会采用AD代价值方法。所谓AD代价值方法是用左右视图像素点的三个颜色分量之差的绝对值取平均，如果是灰度图像，则等于灰度的亮度差，AD法这类基于单像素亮度差的方法可以一定程度上缓解重复纹理的歧义性问题。但是，影响弱纹理的鲁棒性。
可见，相关技术中依然缺乏有效改善弱纹理图像三维重建效果的方案。故，本发明实施例提供了一种视差图的生成方法、三维重建方法及相关装置，旨在解决上述问题。
请参照图1，图1示出了本发明实施例提供的电子设备100的方框示意图。电子设备100可以是，但不限于个人电脑(personal computer，PC)、服务器、分布式部署的计算机等等。可以理解的是，电子设备100也不限于物理设备，还可以是物理设备上布局的虚拟机、基于云平台上构建的虚拟机等能提供与所述服务器或者虚拟机有相同功能的计算机。
此外，一些实施例中，上述电子设备100为集成有单目的采集单元的设备。在另一实施例中，上述电子设备100可以和单目的采集设备通信连接。
电子设备100的操作系统可以是，但不限于，Windows系统、Linux系统等。上述电子设备100包括存储器101、通信接口102、处理器103和总线104，所述存储器101、通信接口102和处理器103通过总线104连接，处理器103用于执行存储器101中存储的可执行模块，例如计算机程序。其中，存储器101可能包含高速随机存取存储器101(RAM：Random AccessMemory)，也可能还包括非不稳定的存储器101(non-volatile memory)，例如至少一个磁盘存储器101。通过至少一个通信接口102(可以是有线或者无线)实现该电子设备100与外部设备之间的通信连接。
总线104可以是ISA总线104、PCI总线104或EISA总线104等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线104或一种类型的总线104。
其中，存储器101用于存储程序，例如图11所示的三维重建装置700或者图10所示的视差图的生成装置600。该三维重建装置700和视差图的生成装置600包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器103在接收到执行指令后，执行所述程序以实现本发明上述实施例揭示的三维重建方法或者视差图的生成装置600。
处理器103可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器103中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器103可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参考图2，图2示出了本发明实施例提供的一种视差图的生成方法。上述视差图的生成方法应用于上述电子设备100。如图2所示，上述视差图的生成方法可以包括以下步骤：
步骤S101，根据第一方向和第二方向对图像数据进行边缘信息提取，以得到边缘图像。
上述第一方向和第二方向是两个不同的方向。在一些实施例中，可以选择图像坐标系的x轴和y轴分别作为第一方向和第二方向。
上述边缘图像为图像数据经过双向边缘提取处理后输出的图像。
在一些实施例中，可以是根据图像数据在第一方向和第二方向的像素强度梯度变化，对图像数据进行边缘提取。需要说明的是，上述像素强度可以指代灰度值，也可以指代RGB值，具体实施过程中，可以根据实际需求确定像素强度为灰度值或者为RGB值。比如，根据图像数据x、y两个方向的灰度梯度变化，对图像数据进行边缘提取。
步骤S102，根据边缘图像及图像数据计算对应的视差图。
步骤S103，对视差图进行滤波处理。
上述滤波处理为针对视差图的滤波处理，用于消除步骤S101中多向边缘提取所产生的噪声。
在一些实施例中，利用步骤S101能够更好地提取边缘信息，如此，即便图像数据存在弱纹理的问题，也可以很好提取到边缘信息。当然，步骤S101能够提高针对弱纹理的提取效果，但是其也会导致出现噪声，而这些噪声也会影响到得到的视差图质量，故还需配合步骤S103，有效地将所产生的噪声消除，从而得到高质量的视差图，以便保障三维重建的效果。
下面对本申请的实现细节进行描述：
上述步骤S101的目的在于增强针对弱纹理的图像的边缘提取能力。在一些实施例中，上述步骤S101可以采用X、Y方向的sobel算法进行边缘提取。将图像数据经过X、Y方向的sobel算法处理后输出的图像作为边缘图像。
在一些实施例中，如图3所示，上述步骤S101的子步骤可以包括：
子步骤S101-1，根据图像数据中的像素强度值，利用第一方向所对应的边缘提取算法依次提取每个像素点的第一值。
在一些实施例中，可以是根据图像数据中的像素强度值，利用公式：Gx＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]；计算各像素点的第一值。其中，上述Gx代表图像数据中坐标为(x，y)像素点的第一值，f()代表像素点的像素强度值，比如，f(x,y)代表坐标为(x，y)的像素点的像素强度值，其他同理。
子步骤S101-2，根据图像数据中的像素强度值，利用第二方向所对应的边缘提取算法依次提取每个像素点的第二值。
在一些实施例中，可以是根据图像数据中的像素强度值，利用公式：Gy＝[f(x-1,y-1)+2*f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]；计算各像素点的第二值。其中，上述Gy代表图像数据中坐标为(x，y)像素点的第二值，f()代表像素点的像素强度值，比如，f(x,y)代表坐标为(x，y)的像素点的像素强度值，其他同理。
可以理解地，上述子步骤S101-1和子步骤S101-2之间没有必然的先后顺序，也即，子步骤S101-1可以先于子步骤S101-2执行，也可以后于子步骤S101-2执行，还可以是子步骤S101-1和子步骤S101-2同步执行。于此，本领域技术人员可以根据实际情况选择不同的实现方式。
在一些实施例中，可以选择根据图像数据的灰度值，进行sobel边缘提取。
在另一些实施例中，还可以选择根据图像数据的RGB值进行sobel边缘提取。
子步骤S101-3，根据对应的第一值和第二值，确定每个像素点对应的梯度值。
在一些实施例中，经过子步骤S101-1和子步骤S101-2的处理，图像数据中每一个像素点均对应着一个第一值和第二值。如此，可以基于各像素点的上述第一值和第二值，利用公式：
Figure BDA0002714610140000101
计算该像素点所对应的梯度值。其中，上述Gx代表第一值，上述Gy代表第二值，上述G代表对应像素点的梯度值。
子步骤S101-4，当对应的梯度值超过预设值时，将像素点确定为边缘点，以得到具有边缘信息的边缘图像。
可以理解地，RGB包括红(R)、绿(G)和蓝(B)三个颜色通道，如果采用根据图像数据的RGB值进行sobel边缘提取，那么需要分别基于各个颜色通道对应的RGB分量值，按照上述子步骤进行第一方向和第二方向的sobel边缘提取，得到对应于每个颜色通道的边缘图，再将得到的三个边缘图进行合并，得到RGB类型的边缘图像。
在一些实施例中，上述步骤S102的目的在于创建图像数据所对应的视差图。
在一些实施例中，如图4所示，上述步骤S102可以包括以下子步骤：
子步骤S102-1，分别计算边缘图像所对应的第一代价值和图像数据所对应的第二代价值。
在一些实施例中，可以采用BT代价算法对边缘图像进行处理，得到第一代价值。采用BT代价算法对图像数据进行处理，得到第二代价值。
子步骤S102-2，根据第一代价值和第二代价值，计算图像数据所对应的初始代价值。
在一些实施例中，可以将第一代价值和第二代价值之和作为对应的初始代价值。
子步骤S102-3，根据初始代价值，利用预设的半全局匹配算法，生成视差图。
在一些实施例中，可以是通过半全局匹配(Semi-Global Block Matching，SGBM)算法，进行代价聚合，并利用代价聚合的结果匹配计算出视差图。
在一些实施例中，上述步骤S103的目的在于消除多方向的边缘提取所带来的噪声，以使平滑后的视差图与原始图像(也即，图像数据)之间尽可能的相似，且在边缘部分尽量保持不变。
在一些实施例中，上述步骤S103可以是对视差图进行加权最小二乘滤波处理。
在一些实施例中，可以利用目标函数：
Figure BDA0002714610140000111
上述ax，ay为权重系数，u代表视差图，g代表原始图像(也即，图像数据)。上述(up-gp)2代表视差图与对应的原始图像之间差异，上述
Figure BDA0002714610140000112
代表正则项，也即，通过最小化的偏导处理，使得二次滤波后得到的图像越平滑越好。
当然，上述目标函数可以改写为矩阵形式：
Figure BDA0002714610140000113
其中，Ax,Ay为以ax,ay为对角元素的对角矩阵，Dx，Dy为前向差分矩阵，和是后向差分算子，最终要使得上式达到最小值。
可以理解地，图像数据中存在原始噪声，这些噪音会影响步骤S101的边缘提取效果。为了滤除图像数据中原始存在的噪声并且保留边缘信息，在一些实施例中，如图5所示，上述视差图的生成方法还可以包括步骤：
S201，对图像数据进行双边滤波。
上述双边滤波是一种非线性滤波算法，其原理为在高斯滤波的基础上叠加针对像素值的考虑，其滤波效果对保留边缘更有效。
在一些实施例中，上述步骤S201可以包括：
首先，确定针对第一图像滤波所使用的滤波权重。
在一些实施例中，可以根据图像数据，利用公式：
Figure BDA0002714610140000121
计算图像数据所对应的滤波权重。其中，W代表滤波权重，i和j均为像素点的索引。第i个像素点和第j个像素点是一对预设范围邻域的点对。K代表归一化常量，I代表像素的像素强度值。在一些实施例中，上述像素强度值可以是像素点的灰度值(也即，灰度强度值)。在另一些实施例中，上述像素强度值是像素点所对应的RGB三通道之和(也即，RGB强度值)。上述xj代表第j个像素点的坐标值，上述xi代表第i个像素点的坐标值。δs代表空间域标准差，δr代表值域标准差。通常而言，步骤S101中像素强度值为灰度强度值时，对应的，在步骤S201中，便是针对图像数据的灰度强度值进行双边滤波。步骤S101中像素强度值为RGB强度值时，对应的，在步骤S201中，便是针对图像数据的RGB强度值进行双边滤波。
其次，根据所得到的滤波权重对图像数据进行滤波。
在另一实施例中，也可以选用双边滤波器实现针对图像数据的滤波。
本申请中，用于采集上述图像数据的采集设备在采集过程中处于运动状态，那么就不可避免的在采集图像的过程中采集设备出现异常晃动，比如，架设在无人机上的采集设备，当无人机执行拐弯动作时，采集设备随之也会发生异常的抖动，而采集设备在此时采集到的图像数据在边缘处便会出现噪声。为了改善上述问题，在一些实施例中，如图6所示，上述视差图的生成方法还可以包括：
步骤S301，获取图像数据和相邻上一帧图像数据所对应的位姿信息。
在一些实施例中，可以在图像数据被采集到后同步解算所对应的位姿信息。比如，可以采用(simultaneous localization and mapping，SLAM)同步定位与建图算法实时解算所采集到的图像的位姿信息。
步骤S302，根据图像数据和相邻上一帧图像数据所对应的位姿信息，判断用于采集图像数据的采集设备是否处于转弯运动状态。
在一些实施例中，可以根据图像数据和相邻上一帧图像数据所对应的位姿信息，得到采集设备的位移轨迹，并评估采集设备此时是否处于拐弯处。如果是，判定出现异常晃动。
步骤S303，若判定处于转弯运动状态，则将滤波后的视差图进行边缘腐蚀处理。
在一些实施例中，可以是腐蚀视差图的边缘像素点，上述边缘像素点为与图像边界距离小于指定像素数量的像素点。如图7所示，进行指定像素数量为15个像素。
请参考图8，图8示出了本发明实施例提供的一种三维重建方法。上述三维重建方法应用于上述电子设备100。如图8所示，上述三维重建方法可以包括以下步骤：
步骤S401，按照上述视差图的生成方法分别对已基线校准的第一图像和第二图像进行处理，以得到第一图像对应的第一视差图和第二图像对应的第二视差图。
上述第一图像和第二图像为基于同一采集设备采集到的相邻两帧图像得到。第一图像与第二图像之间的基线已校准，可以用于模拟双目采集到的左右视图。
步骤S402，根据第一视差图和第二视差图，计算对应的深度图，以进行三维重建。
在一些实施例中，根据第一视差图和第二视差图，以及两图像之间基线长度和内参，计算出当前场景的深度图。如此，可以由深度图得到场景中空间点的深度信息，从而恢复场景的三维点云，实现三维重建。
下面对本申请所提供的三维重建方法的实现细节进行描述：
在一些实施例中，上述步骤S401可以包括以下步骤：
(1)分别对已基线校准的第一图像和第二图像进行双边滤波。
(2)根据第一方向和第二方向对第一图像进行边缘信息提取，以得到第一边缘图像；以及根据第一方向和第二方向对第二图像进行边缘信息提取，以得到第二边缘图像。
在一些实施例中，可以先根据第一图像中的像素强度值，利用第一方向所对应的边缘提取算法依次提取每个像素点的第一值。根据第一图像中的像素强度值，利用第二方向所对应的边缘提取算法依次提取每个像素点的第二值。根据对应的第一值和第二值，确定每个像素点对应的梯度值。当对应的梯度值超过预设值时，将像素点确定为边缘点，以得到具有边缘信息的第一边缘图像。
上述像素强度值可以是灰度值，也可以是RGB值。如果采用根据第一图像的RGB值进行sobel边缘提取，那么需要分别基于各个颜色通道对应的RGB分量值，按照上述过程进行第一方向和第二方向的sobel边缘提取，得到对应于每个颜色通道的边缘图，再将得到的三个边缘图进行合并，得到RGB类型的第一边缘图像。
此外，还可以根据第二图像中的像素强度值，利用第一方向所对应的边缘提取算法依次提取每个像素点的第一值。根据第二图像中的像素强度值，利用第二方向所对应的边缘提取算法依次提取每个像素点的第二值。根据对应的第一值和第二值，确定每个像素点对应的梯度值。当对应的梯度值超过预设值时，将像素点确定为边缘点，以得到具有边缘信息的第二边缘图像。
(3)根据第一边缘图像及第一图像计算对应的第一视差图；以及根据第二边缘图像及第二图像计算对应的第二视差图。
在一些实施例中，可以是分别计算第一边缘图像所对应的第一代价值和第一图像所对应的第二代价值。根据第一代价值和第二代价值，计算第一图像所对应的第一初始代价值。根据第一初始代价值，利用预设的半全局匹配算法，生成第一视差图。
在一些实施例中，还可以是分别计算第二边缘图像所对应的第三代价值和第二图像所对应的第四代价值。根据第三代价值和第四代价值，计算第二图像所对应的第二初始代价值。根据第二初始代价值，利用预设的半全局匹配算法，生成第二视差图。
(4)分别对第一视差图和第二视差图进行二次滤波处理。
在一些实施例中，可以是分别对第一视差图和第二视差图进行加权最小二乘滤波处理。
在一些实施例中，上述步骤S402可以是：根据上述第一视差图、第二视差图、第一图像与第二图像之间的基线长度和采集设备的焦距，利用公式：
Figure BDA0002714610140000151
计算对应的深度图。其中，d代表视差值，z代表深度值，二者之间呈反比。b代表基线长度，f代表采集到第一图像和第二图像所用的采集设备的焦距。
在一些实施例中，如图9所示，上述三维重建方法还包括：
步骤S501，分别获取采集到的相邻两帧图像数据的位姿信息。
在一些实施例中，采集设备采集到图像数据时，便同步利用slam算法，解算出其对应的位姿信息。
步骤S502，根据相邻两帧图像数据的位姿信息对相邻两帧图像数据进行基线校准，以得到第一图像和第二图像。
在一些实施例中，可以每采集到一帧图像数据，便将其与相邻上一帧所采集到的图像数据进行基线校准，以作为第一图像和第二图像。
在一些实施例中，可以是根据相邻两帧图像数据所对应的位姿信息，计算校正投影矩阵，该校正投影矩阵可以将相邻两帧图像数据投影到一个新的平面上，使二者基线被校准。还可以从新的平面中确定相邻两帧图像数据之间的基线长度等信息。
总体而言，本发明实施例所提供的三维重建方法可以实时地根据相邻两帧图像数据进行立体匹配并实现三维重建，相较于传统需要至少三帧共视的图像数据进行位姿解算、立体匹配及三维重建而言，能够有效提高重建时耗，提高三维重建的效率。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种视差图的生成装置600的实现方式，可选地，该视差图的生成装置600可以采用上述图1所示的电子设备100的器件结构。进一步地，请参阅图10，图10为本发明实施例提供的一种视差图的生成装置600的功能模块图。需要说明的是，本实施例所提供的视差图的生成装置600，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该视差图的生成装置600包括：边缘提取模块601、计算模块602和滤波模块603。
边缘提取模块601，用于根据第一方向和第二方向对图像数据进行边缘信息提取，以得到边缘图像；
计算模块602，用于根据所述边缘图像及所述图像数据计算对应的视差图；
滤波模块603，用于对所述视差图进行滤波处理。
在一些实施例中，边缘提取模块601具体用于：
根据所述图像数据中的像素强度值，利用所述第一方向所对应的边缘提取算法依次提取每个像素点的第一值及利用所述第二方向所对应的边缘提取算法依次提取每个所述像素点的第二值；
根据对应的所述第一值和第二值，确定每个所述像素点对应的梯度值；
当对应的所述梯度值超过预设值时，将所述像素点确定为边缘点，以得到具有边缘信息的所述边缘图像。
在一些实施例中，上述计算模块602包括：
计算子模块，用于分别计算所述边缘图像所对应的第一代价值和所述图像数据所对应的第二代价值；
所述计算子模块，还用于根据所述第一代价值和第二代价值，计算所述图像数据所对应的初始代价值；
生成子模块，根据所述初始代价值，利用预设的半全局匹配算法，生成所述视差图。
在一些实施例中，上述滤波模块603还用于在对图像数据进行边缘信息提取之前，对所述图像数据进行双边滤波。
在一些实施例中，上述视差图的生成装置600还包括：
位姿获取模块，用于获取所述图像数据和相邻上一帧图像数据所对应的位姿信息；
判断模块，用于根据所述图像数据和相邻上一帧图像数据所对应的位姿信息，判断用于采集所述图像数据的采集设备是否处于转弯运动状态；
腐蚀模块，用于若判定处于所述转弯运动状态，则将滤波后的所述视差图进行边缘腐蚀处理。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种三维重建装置700的实现方式，可选地，该三维重建装置700可以采用上述图1所示的电子设备100的器件结构。进一步地，请参阅图11，图11为本发明实施例提供的一种三维重建装置700的功能模块图。需要说明的是，本实施例所提供的三维重建装置700，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该三维重建装置700包括：处理模块701及生成模块702。
处理模块701，用于按照前述视差图的生成方法分别对已基线校准的第一图像和第二图像进行处理，以得到所述第一图像对应的第一视差图和所述第二图像对应的第二视差图。
生成模块702，用于根据所述第一视差图和第二视差图，计算对应的深度图，以进行三维重建。
在一些实施例中，上述三维重建装置700还包括：
位姿获取模块，用于分别获取采集到的相邻两帧图像数据的位姿信息。
校准模块，用于根据相邻两帧所述图像数据的位姿信息对相邻两帧所述图像数据进行基线校准，以得到所述第一图像和所述第二图像。
可选地，上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器101中或固化于该电子设备100的操作系统(Operating System，OS)中，并可由图1中的处理器103执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器101中。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视差图的生成方法，其特征在于，所述视差图的生成方法的步骤包括：
根据第一方向和第二方向对图像数据进行边缘信息提取，以得到边缘图像；
根据所述边缘图像及所述图像数据计算对应的视差图；
对所述视差图进行滤波处理；
所述视差图的生成方法还包括：
获取所述图像数据和相邻上一帧图像数据所对应的位姿信息；
根据所述图像数据和相邻上一帧图像数据所对应的位姿信息，判断用于采集所述图像数据的采集设备是否处于转弯运动状态；
若判定处于所述转弯运动状态，则将滤波后的所述视差图进行边缘腐蚀处理。
2.根据权利要求1所述的视差图的生成方法，其特征在于，所述根据第一方向和第二方向对图像数据进行边缘信息提取，以得到边缘图像的步骤包括：
根据所述图像数据中的像素强度值，利用所述第一方向所对应的边缘提取算法依次提取每个像素点的第一值及利用所述第二方向所对应的边缘提取算法依次提取每个所述像素点的第二值；
根据对应的所述第一值和第二值，确定每个所述像素点对应的梯度值；
当对应的所述梯度值超过预设值时，将所述像素点确定为边缘点，以得到具有边缘信息的所述边缘图像。
3.根据权利要求1所述的视差图的生成方法，其特征在于，所述根据所述边缘图像及所述图像数据计算对应的视差图的步骤包括：
分别计算所述边缘图像所对应的第一代价值和所述图像数据所对应的第二代价值；
根据所述第一代价值和第二代价值，计算所述图像数据所对应的初始代价值；
根据所述初始代价值，利用预设的半全局匹配算法，生成所述视差图。
4.根据权利要求1所述的视差图的生成方法，其特征在于，所述根据第一方向和第二方向对图像数据进行边缘信息提取之前，还包括：
对所述图像数据进行双边滤波。
5.一种三维重建方法，其特征在于，所述三维重建方法的步骤包括：
按照权利要求1-4任意一项所述的视差图的生成方法分别对已基线校准的第一图像和第二图像进行处理，以得到所述第一图像对应的第一视差图和所述第二图像对应的第二视差图；
根据所述第一视差图和第二视差图，计算对应的深度图，以进行三维重建。
6.根据权利要求5所述的三维重建方法，其特征在于，所述方法还包括：
分别获取采集到的相邻两帧图像数据的位姿信息；
根据相邻两帧所述图像数据的位姿信息对相邻两帧所述图像数据进行基线校准，以得到所述第一图像和所述第二图像。
7.一种视差图的生成装置，其特征在于，所述视差图的生成装置包括：
边缘提取模块，用于根据第一方向和第二方向对图像数据进行边缘信息提取，以得到边缘图像；
计算模块，用于根据所述边缘图像及所述图像数据计算对应的视差图；
滤波模块，用于对所述视差图进行滤波处理；
所述视差图的生成装置还包括：
位姿获取模块，用于获取所述图像数据和相邻上一帧图像数据所对应的位姿信息；
判断模块，用于根据所述图像数据和相邻上一帧图像数据所对应的位姿信息，判断用于采集所述图像数据的采集设备是否处于转弯运动状态；
腐蚀模块，用于若判定处于所述转弯运动状态，则将滤波后的所述视差图进行边缘腐蚀处理。
8.一种三维重建装置，其特征在于，所述三维重建装置包括：
处理模块，用于按照权利要求1-4任意一项所述的视差图的生成方法分别对已基线校准的第一图像和第二图像进行处理，以得到所述第一图像对应的第一视差图和所述第二图像对应的第二视差图；
生成模块，用于根据所述第一视差图和第二视差图，计算对应的深度图，以进行三维重建。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-4任一项所述的视差图的生成方法；或者所述处理器可执行所述机器可执行指令以实现权利要求5或6所述的三维重建方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的视差图的生成方法；或者计算机程序被处理器执行时实现如权利要求5或6所述的三维重建方法。
CN202011068525.0A 2020-09-28 2020-09-28 视差图的生成方法、三维重建方法及相关装置 Active CN112053434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011068525.0A CN112053434B (zh) 2020-09-28 2020-09-28 视差图的生成方法、三维重建方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011068525.0A CN112053434B (zh) 2020-09-28 2020-09-28 视差图的生成方法、三维重建方法及相关装置

Publications (2)

Publication Number Publication Date
CN112053434A CN112053434A (zh) 2020-12-08
CN112053434B true CN112053434B (zh) 2022-12-27

Family

ID=73605971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011068525.0A Active CN112053434B (zh) 2020-09-28 2020-09-28 视差图的生成方法、三维重建方法及相关装置

Country Status (1)

Country Link
CN (1) CN112053434B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113091627B (zh) * 2021-04-26 2022-02-11 吉林大学 一种基于主动双目视觉的黑暗环境下车辆高度的测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110632611A (zh) * 2019-08-30 2019-12-31 中国南方电网有限责任公司超高压输电公司贵阳局 一种固定翼无人机载激光雷达系统转弯滤波方法
CN111383254A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 一种深度信息获取方法、系统及终端设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012131895A1 (ja) * 2011-03-29 2012-10-04 株式会社東芝 画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラム
US9361699B2 (en) * 2012-06-27 2016-06-07 Imec Taiwan Co. Imaging system and method
FR3028988B1 (fr) * 2014-11-20 2018-01-19 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede et dispositif de filtrage adaptatif temps reel d'images de disparite ou de profondeur bruitees

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383254A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 一种深度信息获取方法、系统及终端设备
CN110632611A (zh) * 2019-08-30 2019-12-31 中国南方电网有限责任公司超高压输电公司贵阳局 一种固定翼无人机载激光雷达系统转弯滤波方法

Also Published As

Publication number Publication date
CN112053434A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN111066065B (zh) 用于混合深度正则化的系统和方法
CN110363858B (zh) 一种三维人脸重建方法及系统
CN108682026B (zh) 一种基于多匹配基元融合的双目视觉立体匹配方法
US20180300937A1 (en) System and a method of restoring an occluded background region
CN109660783B (zh) 虚拟现实视差校正
EP2087466B1 (en) Generation of depth map for an image
US9214013B2 (en) Systems and methods for correcting user identified artifacts in light field images
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
TWI497980B (zh) 處理３ｄ立體影像的系統與方法
KR101706216B1 (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
CN107798702B (zh) 一种用于增强现实的实时图像叠加方法以及装置
CN108520536A (zh) 一种视差图的生成方法、装置及终端
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
US20190020861A1 (en) High-speed and tunable scene reconstruction systems and methods using stereo imagery
CN107798704B (zh) 一种用于增强现实的实时图像叠加方法及装置
CN111415310B (zh) 一种图像处理方法及装置、存储介质
CN111402170A (zh) 图像增强方法、装置、终端及计算机可读存储介质
CN106952247B (zh) 一种双摄像头终端及其图像处理方法和系统
CN110602474B (zh) 一种图像视差的确定方法、装置及设备
CN110619660A (zh) 一种物体定位方法、装置、计算机可读存储介质及机器人
JP2017021759A (ja) 画像処理装置、画像処理方法及びプログラム
CN111383254A (zh) 一种深度信息获取方法、系统及终端设备
Jung A modified model of the just noticeable depth difference and its application to depth sensation enhancement
CN112053434B (zh) 视差图的生成方法、三维重建方法及相关装置
CN111447428A (zh) 平面至立体图像的转换方法、装置、计算机可读存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant after: Guangzhou Jifei Technology Co.,Ltd.

Address before: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou Xaircraft Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant