CN112907645A - 视差图获取方法、装置、训练方法、电子设备和介质 - Google Patents

视差图获取方法、装置、训练方法、电子设备和介质 Download PDF

Info

Publication number
CN112907645A
CN112907645A CN202110245398.5A CN202110245398A CN112907645A CN 112907645 A CN112907645 A CN 112907645A CN 202110245398 A CN202110245398 A CN 202110245398A CN 112907645 A CN112907645 A CN 112907645A
Authority
CN
China
Prior art keywords
map
disparity
image
feature map
disparity map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110245398.5A
Other languages
English (en)
Other versions
CN112907645B (zh
Inventor
孙士捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202110245398.5A priority Critical patent/CN112907645B/zh
Publication of CN112907645A publication Critical patent/CN112907645A/zh
Application granted granted Critical
Publication of CN112907645B publication Critical patent/CN112907645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种视差图获取方法、装置、训练方法、电子设备和介质，涉及图像处理技术领域。该方法包括：获得目标左图像及目标右图像；将该目标左图像及目标右图像输入训练好的双目视差匹配网络中，得到目标左视差图和目标右视差图，其中，训练好的双目视差匹配网络根据作为训练样本的左图像、右图像、左图像对应的至少一个层次的第一左特征图、右图像对应的至少一个层次的第一右特征图训练得到，第一左特征图与第一右特征图获取方式相同。如此，可通过基于左右图像及其对应的特征图训练得到的双目视差匹配网络，获得目标左图像与目标右图像对应的目标左视差图和目标右视差图，从而提高得到的视差图的准确性。

Description

视差图获取方法、装置、训练方法、电子设备和介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种视差图获取方法、装置、训练方法、电子设备和介质。
背景技术
目前会通过无监督学习方法，训练得到双目视差匹配网络，然后利用双目视差匹配网络获得左、右图像的左、右视差图。然而，由于目前在训练双目视差匹配网络时，仅仅考虑了图像像素层面的约束，也即只是将作为样本的左、右图像的像素值作为约束条件，而像素层面会有噪音，并且单个像素比较片面，由此导致基于该方式训练出来的双目视差匹配网络获取的视差图的准确性不佳。
发明内容
本申请实施例提供了一种视差图获取方法、装置、训练方法、电子设备和介质，其能够获得准确性高的左、右视差图。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种视差图获取方法，包括：
获得目标左图像及目标右图像；
将所述目标左图像及目标右图像输入训练好的双目视差匹配网络中，得到目标左视差图和目标右视差图，其中，训练好的双目视差匹配网络根据作为训练样本的左图像、右图像、左图像对应的至少一个层次的第一左特征图、右图像对应的至少一个层次的第一右特征图训练得到，所述第一左特征图与第一右特征图获取方式相同。
第二方面，本申请实施例提供一种训练方法，所述方法包括：
对作为训练样本的左图像进行特征提取，得到所述左图像对应的至少一个层次的第一左特征图；
对作为训练样本的右图像进行特征提取，得到所述右图像对应的至少一个层次的第一右特征图，其中，所述第一左特征图与第一右特征图获取方式相同；
将所述左图像及右图像输入未训练好的双目视差匹配网络中，获得左视差图及右视差图，并根据所述左视差图及右视差图得到至少一个层次的第一左视差图及至少一个层次的第一右视差图，其中，一个层次的视差图中包括该视差图对应的同一层次的特征图中各点的视差；
根据所述第一左特征图、第一右特征图、第一左视差图及第一右视差图，计算当前损失，并根据预设损失及当前损失对未训练好的双目视差匹配网络进行训练，直到得到训练好的双目视差匹配网络。
第三方面，本申请实施例提供一种视差图获取装置，包括：
第一获得模块，用于获得目标左图像及目标右图像；
第二获得模块，用于将所述目标左图像及目标右图像输入训练好的双目视差匹配网络中，得到目标左视差图和目标右视差图，其中，训练好的双目视差匹配网络根据作为训练样本的左图像、右图像、左图像对应的至少一个层次的第一左特征图、右图像对应的至少一个层次的第一右特征图训练得到，所述第一左特征图与第一右特征图获取方式相同。
第四方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式中任意一项所述的方法。
第五方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任意一项所述的方法。
本申请实施例提供了一种视差图获取方法、装置、训练方法、电子设备和介质，通过将目标左图像及目标图像图像输入训练好的双目视差匹配网络，可获得该目标左图像及目标右图像的目标左视差图和目标右视差图。其中，该双目视差网络根据作为训练样本的左图像、右图像、左图像对应的至少一个层次的第一左特征图、右图像对应的至少一个层次的第一右特征图训练得到，第一左特征图与第一右特征图获取方式相同。由于使用的双目视差匹配网络是基于左右图像及其对应的特征图训练得到的，并不是仅根据左右图像训练得到的，因此可减少左右图像像素层面的噪音影响，以及左右图像中单个像素的片面性影响，从而使得通过该双目视差匹配网络可获得准确性高的左右视差图；并且，时效性相较于传统算法的特征点匹配，速度较快且视差信息稠密。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的方框示意图；
图2为本申请实施例提供的视差图获取方法的流程示意图之一；
图3为本申请实施例提供的视差图获取方法的流程示意图之二；
图4为本申请实施例提供的训练方法的流程示意图；
图5为本申请实施例提供的视差图获取装置的方框示意图；
图6为本申请实施例提供的训练装置的方框示意图。
图标：100-电子设备；110-存储器；120-处理器；130-通信单元；200-视差图获取装置；210-第一获得模块；220-第二获得模块；300-训练装置；310-特征提取模块；320-视差图获取模块；330-训练模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前通过无监督学习方法训练双目视差匹配网络时，如Digging into Self-Supervised Monocular Depth Estimation，ICCV,2019,pp.3828-3838所示，仅仅考虑了图像像素层面的约束，也即只是将作为样本的左、右图像的像素值作为约束条件，而像素层面会有噪音，由此导致基于该方式训练出来的双目视差匹配网络获取的视差图的准确性不佳。
为了缓解以上情况，本申请实施例提供了一种视差图获取方法、装置、训练方法、电子设备和介质，以提高通过双目视差匹配网络得到的视差图的准确性。
下面结合附图对本申请实施例进行详细说明。
请参照图1，请参照图1，图1为本申请实施例提供的电子设备100的方框示意图。所述电子设备100可以是，但不限于，笔记本电脑、平板、服务器等。所述电子设备100可以包括存储器110、处理器120及通信单元130。所述存储器110、处理器120以及通信单元130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器110用于存储程序或者数据。所述存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。比如，存储器110中存储有视差图获取装置或者训练装置，所述装置包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120通过运行存储在存储器110内的软件程序以及模块，如本申请实施例中的视差图获取装置或者训练装置，从而执行各种功能应用以及数据处理，即实现本申请实施例中的视差图获取方法或训练方法。
通信单元130用于通过网络建立所述电子设备100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。
应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，图2为本申请实施例提供的视差图获取方法的流程示意图之一。所述方法可应用于电子设备100。下面对视差图获取方法的具体流程进行详细阐述。该视差图获取方法包括步骤S150～步骤S160。
步骤S150，获得目标左图像及目标右图像。
所述目标左图像及目标右图像可以是针对同一场景从不同的两个角度分别进行拍摄、且需要获得对应的视差图的两个图像。视差图中各点的像素点表示视差。可选地，所述目标左图像及目标右图像可以是所述电子设备100直接通过拍摄得到的，也可以是其他设备发送的，还可以是通过方式得到的，在此不进行具体限定，只要能够确定需要获得视差图的目标左图像及目标右图像即可。
步骤S160，将所述目标左图像及目标右图像输入训练好的双目视差匹配网络中，得到目标左视差图和目标右视差图。
在本实施例中，可以预先存储有训练好的双目视差匹配网络。训练好的双目视差匹配网络根据作为训练样本的左图像、右图像、左图像对应的至少一个层次的第一左特征图、右图像对应的至少一个层次的第一右特征图训练得到，所述第一左特征图与第一右特征图获取方式相同。其中，特征图中包括的是作为样本的图像的深层特征，也即，左图像对应的各第一左特征图中包括的是从该左图像中提取到的深层特征，右图像对应的各第一右特征图中包括的是从该右图像中提取到的深层特征。
在需要获得所述目标左图像及目标右图像所对应的视差图的情况下，将该目标左图像及目标右图像输入到训练好的双目视差匹配网络中，从而得到所述目标左视差图及目标右视差图。其中，双目视差匹配网络的输出有2个，分别为目标左视差图及目标右视差图。
由于训练好的双目视差匹配网络在训练时，是基于左图像、右图像、左图像对应的第一左特征图、右图像对应的第一右特征图训练得到，那么在约束时，比对的就不是左图像、右图像本身的像素值，而是特征值，这样每个视差就并不会片面的只看当前这个像素点，而是考虑这一片的图像特征，由此可减少左图像和右图像中像素层面的噪音对双目视差匹配网络的影响，从而使得通过训练好的双目视差匹配网络可得到准确性高的视差图。
可选地，训练好的双目视差匹配网络，可以是所述电子设备100在执行步骤S150之前预先训练得到的，也可以是其他设备训练得到、然后发送给所述电子设备100的。训练好的双目视差匹配网络，可通过图3所示的步骤S110～步骤S140训练得到。
作为一种可选的实施方式，在步骤S150之前，所述电子设备100可先通过步骤S110～步骤S140得到训练好的双目视差匹配网络。下面对训练方式进行说明。
步骤S110，对作为训练样本的左图像进行特征提取，得到所述左图像对应的至少一个层次的第一左特征图。
步骤S120，对作为训练样本的右图像进行特征提取，得到所述右图像对应的至少一个层次的第一右特征图。
在本实施例中，可先获得能够用于特征提取的特征提取网络。所述特征提取网络可以是，但不限于，CNN(Convolutional Neural Network，卷积神经网络)自编码器网络、SIFT(Scale-invariant feature transform，尺度不变特征变换)网络等。
然后将左图像输入特征提取网络中，获得至少一个层次的特征图，并将其作为所述左图像对应的至少一个层次的第一左特征图(Left_FeatureMaps)。同理，将与左图像对应的右图像输入到特征提取网络中，获得至少一个层次的特征图，并将其作为所述右图像对应的至少一个层次的第一右特征图像(Right_FeatureMaps)。其中，层次的数量可以根据实际需求确定，可以是1层，也可以是多层。输入特征提取网络的左图像和右图像可以是经过极线校正的图像。
可选地，作为一种可能的实现方式，可以向CNN自编码器网络输入图像X，然后根据该网络的输出图像Y及输入的图像X计算损失，进而结合该损失进行训练，从而得到训练好的用于特征提取的CNN自编码器网络。可选地，可通过如下方式计算损失：
Figure BDA0002963909430000071
其中，Ll2表示损失，P表示像素点的总数量，x(p)表示输入图像X中p点的像素值，y(p)表示输出图像Y中p点的像素值。
下面以左图像为例，对多层次的特征图的获取过程进行举例说明。在层次为多层次时，左图像对应的第一层次的第一左特征图可以是对左图像直接进行特征提取得到的，第二层次的特征图可以是对第一层次的第一左特征图进行特征提取得到的，第三层次的特征图可以是对第二层次的第一左特征图进行特征提取得到的，依次类推，得到左图像的至少一个层次得到第一左特征图。
可以理解的是，所述左图像对应的第一左特征图的层次数量与所述右图像对应的第一右特征图的层次数量相同，且获取方式相同，以便于后续使用。
步骤S130，将所述左图像及右图像输入未训练好的双目视差匹配网络中，获得左视差图及右视差图，并根据所述左视差图及右视差图得到至少一个层次的第一左视差图及至少一个层次的第一右视差图。
在本实施例中，通过将所述左图像及右图像输入未训练好的双目视差匹配网络中，可得到该左图像和右图像对应的一个左视差图及一个右视差图。然后可对该左视差图及右视差图进行缩放处理，从而得到至少一个层次的第一左视差图及至少一个层次的第一右视差图。其中，缩放就是用二次线性插值把视差图变大或变小，从而得到对应层的视差图。
其中，第一左视差图的层次数量、第一右视差图的层次数量、第一左特征图的层次数量及第一右特征图的层次数量可以相同。一个层次的视差图中包括该视差图对应的同一层次的特征图中各点的视差，比如，第2层的第一左视差图中包括第2层的第一左特征图中各点的视差。
当然可以理解的是，若层次数量为1，且从左视差图及右视差图中可以直接获得需要的视差，则可以不对左视差图及右视差图进行缩放处理。
步骤S140，根据所述第一左特征图、第一右特征图、第一左视差图及第一右视差图，计算当前损失，并根据预设损失及当前损失对未训练好的双目视差匹配网络进行训练，直到得到训练好的双目视差匹配网络。
接下来，可基于所述左图像对应的至少一个层次的第一左特征图、所述右图像对应的至少一个层次的第一右特征图、至少一个层次的第一左视差图及至少一个层次的第一右视差图，计算当前双目视差匹配网络的当前损失，然后结合该当前损失及预设损失，对双目视差匹配网络中的参数进行调整。然后，再基于调整后的双目视差匹配网络及新的左图像及右图像，重复步骤S110～步骤S130，并计算损失，然后再次调整。直到满足预设条件时，则可以认为训练完成，得到了训练好的双目视差匹配网络。其中，所述预设条件可以是训练预设次数，也可以是计算出的当前损失小于所述预设损失。
可选地，在本实施例中，所述当前损失可以包括第一光度损失及第二光度损失。光度损失是根据重建的特征图及原本提取的特征图计算得到。可分别根据各层次的第一右特征图及第一左视差图，进行特征图重建，得到各层次对应的第二左特征图。其中，第二左特征图表示基于第一右特征图及第一左视差图重建的第一左特征图。可选地，可以通过线性插值的方式完成特征图重建，得到第二左特征图。作为一种可选的实施方式，可通过一维线性插值进行特征图重建，得到第二左特征图，该过程可以表示为：
Gen_Left_FeatureMapi＝LinearInter(Right_FeatureMapi,Left_DispMapi)
其中，Gen_Left_FeatureMapi表示层次i的第二左特征图，Right_FeatureMapi表示层次i的第一右特征图，Left_DispMapi表示层次i的第一左视差图。
同理，可分别根据各层次的第一左特征图及第一右视差图，进行特征图重建，得到各层次对应的第二右特征图。其中，第二右特征图表示基于第一左特征图及第一右视差图重建的第一右特征图。可选地，可以通过线性插值的方式完成特征图重建，得到第二右特征图。作为一种可选的实施方式，可通过一维线性插值进行特征图重建，得到第二右特征图，该过程可以表示为：
Gen_Right_FeatureMapi＝LinearInter(Left_FeatureMapi,Right_DispMapi)
其中，Gen_Right_FeatureMapi表示层次i的第二右特征图，Left_FeatureMapi表示层次i的第一左特征图，Right_DispMapi表示层次i的第一右视差图。
根据各层次的第一左特征图及第二左特征图中各点的像素值，计算得到所述第一光度损失。其中，所述第一光度损失可以根据预设损失函数计算得到，所述预设损失函数可以是MSE(Mean-Square Error，均方误差)函数或其他损失函数，可根据实际需求设置。
作为一种可能的实现方式，采用MSE误差约束，则第一光度损失可根据下列公式计算得到：
Figure BDA0002963909430000101
其中，Lleft表示第一光度损失，M表示层次的总数量，P表示一个层次的图中的像素点总数量，Left_FeatureMapi(p)表示层次i的第一左特征图中像素点p的像素值，Gen_Left_FeatureMapi(p)表示层次i的第二左特征图中像素点p的像素值。
与第一光度损失计算过程类似，可根据各层次的第一右特征图及第二右特征图中各点的像素值，计算得到所述第二光度损失。在采用MSE误差约束时，可通过如下公式计算得到第二光度损失：
Figure BDA0002963909430000102
其中，Lright表示第二光度损失，Right_FeatureMapi(p)表示层次i的第一右特征图中像素点p的像素值，Gen_Right_FeatureMapi(p)表示层次i的第二右特征图中像素点p的像素值。
可选地，所述当前损失还可以包括最小化损失，最小化损失表示视差无法匹配区域损失。很多纯色块区域的匹配视差在光感损失上充满随机性，以及左右图中在单个图中的被遮挡像素在理论上是无法匹配视差的，视差最小化损失可以使得能够将这种无法匹配的区域筛除。可根据各层次的第一左视差图及第一右视差图中各点的像素值，计算得到各层次的第一左视差图的像素值总和及各层次的第一右视差图的像素值总和，并根据所述像素值总和计算得到所述最小化损失。
可通过如下方式计算得到所述最小化损失：
Figure BDA0002963909430000103
其中，LMinDisp表示最小化损失，Left_DispMapi(p)表示层次i的第一左视差图像素点p的像素值，Right_DispMapi(p)表示层次i的第一右视差图像素点p的像素值。
可选地，所述当前损失还可以包括第一风格损失及第二风格损失。在训练中加入风格损失Gram_loss，通过Gram矩阵计算的两两特征的相关性，可以让视差学习关注到匹配特征间的关联性信息以及每个特征在特征图中的度量信息。
可根据各层次的第一左特征图及第二左特征图中各点的像素值，计算得到所述第一风格损失，该过程表示如下：
Figure BDA0002963909430000111
其中，Lleft_gram表示第一风格损失。
还可根据各层次的第一右特征图及第二右特征图中各点的像素值，计算得到所述第二风格损失，该过程表示如下：
Figure BDA0002963909430000112
其中，Lright_gram表示第二风格损失。
按照三维原理来说，同一个特征点的左右视差应该相同，因次在训练时还可以根据视差一致性进行约束。可选地，所述当前损失还可以包括第一视差一致性损失及第二视差一致性损失。第一视差一致性损失及第二视差一致性损失，可以基于生成的视差互相生成左右预测视差，再与原预测视差进行损失计算。
在本实施方式中，可以根据各层次的第一左视差图及第一右视差图，通过视差图重建，得到各层次的第二左视差图及第二右视差图。可以采用线性插值的方式获得各层次的第二左视差图及第二右视差图。在采用一维线性插值的情况下，上述过程可以表示为：
Gen_Left_DispMapi＝LinearInter(Right_DispMapi,Left_DispMapi)
Gen_Right_DispMapi＝LinearInter(Left_DispMapi,Right_DispMapi)
其中，Gen_Left_DispMapi表示层次i的第二左视差图，Gen_Right_DispMapi表示层次i的第二右视差图。
之后，可根据各层次的第一左视差图及第二左视差图，计算得到所述第一视差一致性损失；并根据根据各层次的第一右视差图及第二右视差图，计算得到所述第二视差一致性损失。其中，可以设置的损失函数(比如，MSE函数)计算得到第一视差一致性损失及第二视差一致性损失。
在采用MSE函数计算第一视差一致性损失及第二视差一致性损失时，该过程可表示为：
Figure BDA0002963909430000121
Figure BDA0002963909430000122
其中，Lleft_disp表示第一视差一致性损失，Lright_disp表示第二视差一致性损失。
可选地，在计算得到第一光度损失及第二光度损失、最小化损失和第一风格损失及第二风格损失、第一视差一致性损失及第二视差一致性损失中至少任意一项之后，可根据各损失对应的设置好的权重，计算得到当前损失，然后根据该当前损失及预设损失，对双目视差匹配网络中的参数进行调整，以进行训练。进而得到训练好的双目视差匹配网络，并通过该双目视差匹配网络得到需要的左视差图和右视差图。
基于得到的时差，可获得相应的距离信息，进而进行三维重建，达到带有像素颜色信息的三维重建效果，或应用在其他方面。由此，可代替其他距离传感器(比如，激光雷达或RGB-D)感知的三维物体点云信息。
由此，利用神经网络算法，提升稠密视差匹配的精度和时效性。同时，通过将特征提取网络提取的融合语义特征作为约束，结合风格损失，使得能够匹配出具有少量纹理的纯色块区域，从而提高双目视差匹配网络的性能。并且，通过设置最小化缺失，使得能剔除无法匹配的区域。
请参照图4，图4为本申请实施例提供的训练方法的流程示意图。所述方法可以包括步骤S210～步骤S240。
步骤S210，对作为训练样本的左图像进行特征提取，得到所述左图像对应的至少一个层次的第一左特征图。
步骤S220，对作为训练样本的右图像进行特征提取，得到所述右图像对应的至少一个层次的第一右特征图。
步骤S230，将所述左图像及右图像输入未训练好的双目视差匹配网络中，获得左视差图及右视差图，并根据所述左视差图及右视差图得到至少一个层次的第一左视差图及至少一个层次的第一右视差图。
其中，一个层次的视差图中包括该视差图对应的同一层次的特征图中各点的视差。
步骤S240，根据所述第一左特征图、第一右特征图、第一左视差图及第一右视差图，计算当前损失，并根据预设损失及当前损失对未训练好的双目视差匹配网络进行训练，直到得到训练好的双目视差匹配网络。
在本实施例中，关于步骤S210～步骤S240的具体描述可以参照上文对步骤S110～步骤S140的描述，在此不再赘述。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种视差图获取装置200的实现方式，可选地，该视差图获取装置200可以采用上述图1所示的电子设备100的器件结构。进一步地，请参照图5，图5为本申请实施例提供的视差图获取装置的方框示意图。需要说明的是，本实施例所提供的视差图获取装置200，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。所述视差图获取装置200可以包括：第一获得模块210及第二获得模块220。
所述第一获得模块210，用于获得目标左图像及目标右图像。
所述第二获得模块220，用于将所述目标左图像及目标右图像输入训练好的双目视差匹配网络中，得到目标左视差图和目标右视差图。其中，训练好的双目视差匹配网络根据作为训练样本的左图像、右图像、左图像对应的至少一个层次的第一左特征图、右图像对应的至少一个层次的第一右特征图训练得到，所述第一左特征图与第一右特征图获取方式相同。
请参照图6，图6为本申请实施例提供的训练装置300的方框示意图。所述训练装置300可应用于电子设备100。所述训练装置300可以包括：特征提取模块310、视差图获取模块320及训练模块330。
所述特征提取模块310，用于对作为训练样本的左图像进行特征提取，得到所述左图像对应的至少一个层次的第一左特征图。
所述特征提取模块310，还用于对作为训练样本的右图像进行特征提取，得到所述右图像对应的至少一个层次的第一右特征图。
所述视差图获取模块320，用于将所述左图像及右图像输入未训练好的双目视差匹配网络中，获得左视差图及右视差图，并根据所述左视差图及右视差图得到至少一个层次的第一左视差图及至少一个层次的第一右视差图。其中，一个层次的视差图中包括该视差图对应的同一层次的特征图中各点的视差。
所述训练模块330，用于根据所述第一左特征图、第一右特征图、第一左视差图及第一右视差图，计算当前损失，并根据预设损失及当前损失对未训练好的双目视差匹配网络进行训练，直到得到训练好的双目视差匹配网络。
在本实施例中，关于所述训练装置300的具体描述，可以参照上文对双目视差匹配网络的训练过程的说明，在此不再赘述。
可选地，上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器110中或固化于电子设备100的操作系统(Operating System，OS)中，并可由图1中的处理器120执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器110中。
本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的视差图获取方法或训练方法。
综上所述，本申请实施例提供的一种视差图获取方法、装置、训练方法、电子设备和介质，通过将目标左图像及目标图像图像输入训练好的双目视差匹配网络，可获得该目标左图像及目标右图像的目标左视差图和目标右视差图。其中，该双目视差网络根据作为训练样本的左图像、右图像、左图像对应的至少一个层次的第一左特征图、右图像对应的至少一个层次的第一右特征图训练得到，第一左特征图与第一右特征图获取方式相同。由于使用的双目视差匹配网络是基于左右图像及其对应的特征图训练得到的，并不是仅根据左右图像训练得到的，因此可减少左右图像像素层面的噪音影响以及左右图像中单个像素的片面性影响，从而使得通过该双目视差匹配网络可获得准确性高的左右视差图；并且，时效性相较于传统算法的特征点匹配，速度较快且视差信息稠密。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种视差图获取方法，其特征在于，包括：
获得目标左图像及目标右图像；
将所述目标左图像及目标右图像输入训练好的双目视差匹配网络中，得到目标左视差图和目标右视差图，其中，训练好的双目视差匹配网络根据作为训练样本的左图像、右图像、左图像对应的至少一个层次的第一左特征图、右图像对应的至少一个层次的第一右特征图训练得到，所述第一左特征图与第一右特征图获取方式相同。
2.根据权利要求1所述的方法，其特征在于，训练好的双目视差匹配网络通过如下方式训练得到：
对作为训练样本的左图像进行特征提取，得到所述左图像对应的至少一个层次的第一左特征图；
对作为训练样本的右图像进行特征提取，得到所述右图像对应的至少一个层次的第一右特征图；
将所述左图像及右图像输入未训练好的双目视差匹配网络中，获得左视差图及右视差图，并根据所述左视差图及右视差图得到至少一个层次的第一左视差图及至少一个层次的第一右视差图，其中，一个层次的视差图中包括该视差图对应的同一层次的特征图中各点的视差；
根据所述第一左特征图、第一右特征图、第一左视差图及第一右视差图，计算当前损失，并根据预设损失及当前损失对未训练好的双目视差匹配网络进行训练，直到得到训练好的双目视差匹配网络。
3.根据权利要求2所述的方法，其特征在于，所述当前损失包括第一光度损失及第二光度损失，所述根据所述第一左特征图、第一右特征图、第一左视差图及第一右视差图，计算当前损失，包括：
分别根据各层次的第一右特征图及第一左视差图，进行特征图重建，得到各层次对应的第二左特征图；
分别根据各层次的第一左特征图及第一右视差图，进行特征图重建，得到各层次对应的第二右特征图；
根据各层次的第一左特征图及第二左特征图中各点的像素值，计算得到所述第一光度损失；
根据各层次的第一右特征图及第二右特征图中各点的像素值，计算得到所述第二光度损失。
4.根据权利要求3所述的方法，其特征在于，所述当前损失还包括最小化损失，所述根据所述第一左特征图、第一右特征图、第一左视差图及第一右视差图，计算当前损失，还包括：
根据各层次的第一左视差图及第一右视差图中各点的像素值，计算得到各层次的第一左视差图的像素值总和及各层次的第一右视差图的像素值总和，并根据所述像素值总和计算得到所述最小化损失。
5.根据权利要求3或4所述的方法，其特征在于，所述当前损失还包括第一风格损失及第二风格损失，所述根据所述第一左特征图、第一右特征图、第一左视差图及第一右视差图，计算当前损失，还包括：
根据各层次的第一左特征图及第二左特征图中各点的像素值，计算得到所述第一风格损失；
根据各层次的第一右特征图及第二右特征图中各点的像素值，计算得到所述第二风格损失。
6.根据权利要求3或4所述的方法，其特征在于，所述当前损失还包括第一视差一致性损失及第二视差一致性损失，所述根据所述第一左特征图、第一右特征图、第一左视差图及第一右视差图，计算当前损失，还包括：
根据各层次的第一左视差图及第一右视差图，得到各层次的第二左视差图及第二右视差图；
根据各层次的第一左视差图及第二左视差图，计算得到所述第一视差一致性损失；
根据根据各层次的第一右视差图及第二右视差图，计算得到所述第二视差一致性损失。
7.一种训练方法，其特征在于，所述方法包括：
对作为训练样本的左图像进行特征提取，得到所述左图像对应的至少一个层次的第一左特征图；
对作为训练样本的右图像进行特征提取，得到所述右图像对应的至少一个层次的第一右特征图；
将所述左图像及右图像输入未训练好的双目视差匹配网络中，获得左视差图及右视差图，并根据所述左视差图及右视差图得到至少一个层次的第一左视差图及至少一个层次的第一右视差图，其中，一个层次的视差图中包括该视差图对应的同一层次的特征图中各点的视差；
根据所述第一左特征图、第一右特征图、第一左视差图及第一右视差图，计算当前损失，并根据预设损失及当前损失对未训练好的双目视差匹配网络进行训练，直到得到训练好的双目视差匹配网络。
8.一种视差图获取装置，其特征在于，包括：
第一获得模块，用于获得目标左图像及目标右图像；
第二获得模块，用于将所述目标左图像及目标右图像输入训练好的双目视差匹配网络中，得到目标左视差图和目标右视差图，其中，训练好的双目视差匹配网络根据作为训练样本的左图像、右图像、左图像对应的至少一个层次的第一左特征图、右图像对应的至少一个层次的第一右特征图训练得到，所述第一左特征图与第一右特征图获取方式相同。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-7中任意一项所述的方法。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的方法。
CN202110245398.5A 2021-03-05 2021-03-05 视差图获取方法、装置、训练方法、电子设备和介质 Active CN112907645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110245398.5A CN112907645B (zh) 2021-03-05 2021-03-05 视差图获取方法、装置、训练方法、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110245398.5A CN112907645B (zh) 2021-03-05 2021-03-05 视差图获取方法、装置、训练方法、电子设备和介质

Publications (2)

Publication Number Publication Date
CN112907645A true CN112907645A (zh) 2021-06-04
CN112907645B CN112907645B (zh) 2022-08-26

Family

ID=76107030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110245398.5A Active CN112907645B (zh) 2021-03-05 2021-03-05 视差图获取方法、装置、训练方法、电子设备和介质

Country Status (1)

Country Link
CN (1) CN112907645B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113838110A (zh) * 2021-09-08 2021-12-24 重庆紫光华山智安科技有限公司 目标检测结果的校验方法、装置、存储介质和电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919993A (zh) * 2019-03-12 2019-06-21 腾讯科技（深圳）有限公司 视差图获取方法、装置和设备及控制系统
CN109934307A (zh) * 2019-05-08 2019-06-25 北京奇艺世纪科技有限公司 视差图预测模型训练方法、预测方法、装置及电子设备
CN109978936A (zh) * 2019-03-28 2019-07-05 腾讯科技（深圳）有限公司 视差图获取方法、装置、存储介质及设备
CN110060236A (zh) * 2019-03-27 2019-07-26 天津大学 基于深度卷积神经网络的立体图像质量评价方法
US10380753B1 (en) * 2018-05-30 2019-08-13 Aimotive Kft. Method and apparatus for generating a displacement map of an input dataset pair
CN110148179A (zh) * 2019-04-19 2019-08-20 北京地平线机器人技术研发有限公司 一种训练用于估计图像视差图的神经网络模型方法、装置及介质
WO2019182974A2 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
US20200074661A1 (en) * 2018-08-30 2020-03-05 Samsung Electronics Co., Ltd. Method for training convolutional neural network to reconstruct an image and system for depth map generation from an image
CN111047634A (zh) * 2019-11-13 2020-04-21 杭州飞步科技有限公司 场景深度的确定方法、装置、设备及存储介质
US20200160533A1 (en) * 2018-11-15 2020-05-21 Samsung Electronics Co., Ltd. Foreground-background-aware atrous multiscale network for disparity estimation
CN111626927A (zh) * 2020-04-09 2020-09-04 上海交通大学 采用视差约束的双目图像超分辨率方法、系统及装置
CN111915660A (zh) * 2020-06-28 2020-11-10 华南理工大学 基于共享特征和注意力上采样的双目视差匹配方法及系统
US20210065393A1 (en) * 2019-08-28 2021-03-04 Research & Business Foundation Sungkyunkwan University Method for stereo matching using end-to-end convolutional neural network

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019182974A2 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
US10380753B1 (en) * 2018-05-30 2019-08-13 Aimotive Kft. Method and apparatus for generating a displacement map of an input dataset pair
US20200074661A1 (en) * 2018-08-30 2020-03-05 Samsung Electronics Co., Ltd. Method for training convolutional neural network to reconstruct an image and system for depth map generation from an image
US20200160533A1 (en) * 2018-11-15 2020-05-21 Samsung Electronics Co., Ltd. Foreground-background-aware atrous multiscale network for disparity estimation
CN109919993A (zh) * 2019-03-12 2019-06-21 腾讯科技（深圳）有限公司 视差图获取方法、装置和设备及控制系统
WO2020182117A1 (zh) * 2019-03-12 2020-09-17 腾讯科技（深圳）有限公司 视差图获取方法、装置和设备及控制系统和存储介质
CN110060236A (zh) * 2019-03-27 2019-07-26 天津大学 基于深度卷积神经网络的立体图像质量评价方法
CN109978936A (zh) * 2019-03-28 2019-07-05 腾讯科技（深圳）有限公司 视差图获取方法、装置、存储介质及设备
CN110148179A (zh) * 2019-04-19 2019-08-20 北京地平线机器人技术研发有限公司 一种训练用于估计图像视差图的神经网络模型方法、装置及介质
CN109934307A (zh) * 2019-05-08 2019-06-25 北京奇艺世纪科技有限公司 视差图预测模型训练方法、预测方法、装置及电子设备
US20210065393A1 (en) * 2019-08-28 2021-03-04 Research & Business Foundation Sungkyunkwan University Method for stereo matching using end-to-end convolutional neural network
CN111047634A (zh) * 2019-11-13 2020-04-21 杭州飞步科技有限公司 场景深度的确定方法、装置、设备及存储介质
CN111626927A (zh) * 2020-04-09 2020-09-04 上海交通大学 采用视差约束的双目图像超分辨率方法、系统及装置
CN111915660A (zh) * 2020-06-28 2020-11-10 华南理工大学 基于共享特征和注意力上采样的双目视差匹配方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GUORUN YANG等: "End-to-End Disparity Estimation with Multi-granularity Fully Convolutional Network", 《ICONIP 2017: NEURAL INFORMATION PROCESSING》 *
WEN-NUNG LIE等: "Disparity Map Estimation From Stereo Image Pair Using Deep Convolutional Network", 《2020 INTERNATIONAL COMPUTER SYMPOSIUM (ICS)》 *
程佳尧: "基于深度学习的实时立体匹配算法及应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
黎式南: "基于双通道卷积神经网络的立体匹配算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113838110A (zh) * 2021-09-08 2021-12-24 重庆紫光华山智安科技有限公司 目标检测结果的校验方法、装置、存储介质和电子设备
CN113838110B (zh) * 2021-09-08 2023-09-05 重庆紫光华山智安科技有限公司 目标检测结果的校验方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN112907645B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN108961327B (zh) 一种单目深度估计方法及其装置、设备和存储介质
Dai et al. Mvs2: Deep unsupervised multi-view stereo with multi-view symmetry
US20200372660A1 (en) Image salient object segmentation method and apparatus based on reciprocal attention between foreground and background
Sayed et al. Simplerecon: 3d reconstruction without 3d convolutions
US11308576B2 (en) Visual stylization on stereoscopic images
CN109300151B (zh) 图像处理方法和装置、电子设备
EP3872760B1 (en) Method and apparatus of training depth estimation network, and method and apparatus of estimating depth of image
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
US11443481B1 (en) Reconstructing three-dimensional scenes portrayed in digital images utilizing point cloud machine-learning models
CN115205150A (zh) 图像的去模糊方法、装置、设备、介质及计算机程序产品
CN112288788A (zh) 单目图像深度估计方法
JP2024507727A (ja) 潜在変数で条件付けた幾何学的形状認識ニューラルネットワークを使用した、シーンの新規画像のレンダリング
CN115937442A (zh) 基于隐式神经表达的路面重建方法、车辆及存储介质
CN112907645B (zh) 视差图获取方法、装置、训练方法、电子设备和介质
CN116977531A (zh) 三维纹理图像的生成方法、装置、计算机设备和存储介质
Spencer et al. Deconstructing self-supervised monocular reconstruction: The design decisions that matter
CN111582437A (zh) 一种视差回归深度神经网络的构造方法
CN108986210B (zh) 三维场景重建的方法和设备
CN109087344B (zh) 三维重建中的图像选择方法及装置
Hamzah et al. Improvement of stereo matching algorithm based on sum of gradient magnitude differences and semi‐global method with refinement step
CN115330803B (zh) 一种表面缺陷数据增强方法、装置、电子设备及存储介质
US20230145498A1 (en) Image reprojection and multi-image inpainting based on geometric depth parameters
CN112995433B (zh) 一种时序视频生成方法、装置、计算设备及存储介质
Jayageetha et al. Medical image quality assessment using CSO based deep neural network
CN114140488A (zh) 视频目标分割方法及装置、视频目标分割模型的训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant