CN114819109A - 双目图像的超分辨率处理方法、装置、设备及介质 - Google Patents

双目图像的超分辨率处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN114819109A
CN114819109A CN202210712157.1A CN202210712157A CN114819109A CN 114819109 A CN114819109 A CN 114819109A CN 202210712157 A CN202210712157 A CN 202210712157A CN 114819109 A CN114819109 A CN 114819109A
Authority
CN
China
Prior art keywords
feature
image
hierarchy
resolution
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210712157.1A
Other languages
English (en)
Other versions
CN114819109B (zh
Inventor
李艾瑾
李�根
孙磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210712157.1A priority Critical patent/CN114819109B/zh
Publication of CN114819109A publication Critical patent/CN114819109A/zh
Application granted granted Critical
Publication of CN114819109B publication Critical patent/CN114819109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种双目图像的超分辨率处理方法、装置、设备及介质；其中，方法包括：按照尺度逐层减小的第一层次顺序，基于第一分辨率的双目图像进行级联的多个层次的特征提取处理，得到多个层次特征；按照尺度逐层增加的第二层次顺序，执行以下处理：基于层次对应的层次特征进行特征融合处理，得到层次对应的特征偏移，以及基于层次对应的特征偏移进行特征对齐处理，得到层次对应的对齐特征；基于最大尺度的层次对应的对齐特征进行注意力融合处理，得到双目图像的融合图像特征；基于融合图像特征进行特征重建处理，得到第二分辨率的双目图像；第二分辨率大于第一分辨率。通过本申请能够基于不同低分辨率的图像生成质量稳定的高分辨率图像。

Description

双目图像的超分辨率处理方法、装置、设备及介质
技术领域
本申请涉及人工智能技术，尤其涉及一种双目图像的超分辨率处理方法、装置、设备及介质。
背景技术
人工智能（Artificial Intelligence，AI）是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
随着人工智能的飞速发展，人工智能在图像处理领域的应用日渐增多。相关技术中，基于人工智能的双目图像的超分辨率处理方法，通常是针对单一尺度下的低分辨率左右视图的视差进行匹配融合，从而得到高分辨率图像，申请人发现，由于不同尺度下的低分辨率左右视图的视差的不一致性，导致相关技术基于不同低分辨率的图像进行超分辨率处理时，所生成的高分辨率图像的质量不稳定。
发明内容
本申请实施例提供一种双目视图的超分辨率处理方法、装置、电子设备及计算机可读存储介质，能够基于不同低分辨率的图像生成质量稳定的高分辨率图像。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种双目图像的超分辨率处理方法，包括：
按照尺度逐层减小的第一层次顺序，基于第一分辨率的双目图像进行级联的多个层次的特征提取处理，得到所述尺度逐层减小的多个层次特征；
按照所述尺度逐层增加的第二层次顺序，依次在每个所述层次执行以下处理：基于所述层次对应的所述层次特征进行特征融合处理，得到所述层次对应的特征偏移，以及
基于所述层次对应的所述特征偏移进行特征对齐处理，得到所述层次对应的对齐特征；
基于最大尺度的所述层次对应的所述对齐特征进行注意力融合处理，得到所述双目图像的融合图像特征；
基于所述融合图像特征进行特征重建处理，得到第二分辨率的双目图像；其中，所述第二分辨率大于所述第一分辨率。
本申请实施例提供一种双目图像的超分辨率处理装置，包括：
特征提取处理模块，用于按照尺度逐层减小的第一层次顺序，基于第一分辨率的双目图像进行级联的多个层次的特征提取处理，得到所述尺度逐层减小的多个层次特征；
特征融合处理模块，用于按照所述尺度逐层增加的第二层次顺序，依次在每个所述层次执行以下处理：基于所述层次对应的所述层次特征进行特征融合处理，得到所述层次对应的特征偏移；
特征对齐处理模块，用于基于所述层次对应的所述特征偏移进行特征对齐处理，得到所述层次对应的对齐特征；
注意力融合处理模块，用于基于最大尺度的所述层次对应的所述对齐特征进行注意力融合处理，得到所述双目图像的融合图像特征；
特征重建处理模块，用于基于所述融合图像特征进行特征重建处理，得到第二分辨率的双目图像；其中，所述第二分辨率大于所述第一分辨率。
本申请实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的双目图像的超分辨率处理方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，所述可执行指令用于被处理器执行时，实现本申请实施例提供的双目图像的超分辨率处理方法。
本申请实施例具有以下有益效果：
通过在不同尺度下对低分辨率的双目图像的层次特征进行融合以及特征对齐，从而能够逐步消除不同尺度下的双目图像的左右视图之间的视差，借助注意力机制来融合对齐特征，由于注意力机制能够实现左右视图之间跨视图的信息交互，因而使得得到的融合图像特征能够充分融合来自另一视图的信息，并能够充分学习左右视图在全局范围内的对应关系，从而基于融合图像特征进行特征重建处理，能够得到质量较高且稳定的高分辨率的双目图像。
附图说明
图1是本申请实施例提供的双目图像的超分辨处理系统100的架构示意图；
图2是本申请实施例提供的电子设备的结构示意图；
图3A是本申请实施例提供的神经网络模型的训练过程的流程示意图；
图3B是本申请实施例提供的双目图像的超分辨率处理方法中步骤101-105的流程示意图；
图3C是本申请实施例提供的双目图像的超分辨率处理方法中步骤1011-1012的流程示意图；
图3D是本申请实施例提供的双目图像的超分辨率处理方法中步骤1021A和步骤1021B-1023B的流程示意图；
图3E是本申请实施例提供的双目图像的超分辨率处理方法中步骤1031A和步骤1031B的流程示意图；
图3F是本申请实施例提供的双目图像的超分辨率处理方法中步骤10311A和步骤10312A-10314A的流程示意图；
图3G是本申请实施例提供的双目图像的超分辨率处理方法中步骤10311B和步骤10312B-10314B的流程示意图；
图3H是本申请实施例提供的双目图像的超分辨率处理方法中步骤1041-1044的流程示意图；
图4A是本申请实施例提供的神经网络模型的结构示意图；
图4B是本申请实施例提供的双向金字塔对齐模块的结构示意图；
图5是本申请实施例提供的神经网络模型的原理示意图；
图6A是本申请实施例提供的双向金字塔对齐模块的原理示意图；
图6B是本申请实施例提供的双向视差注意力模块的原理示意图；
图7是本申请实施例提供的神经网络模型的训练以及应用过程的流程示意图；
图8是本申请实施例提供的神经网络模型的处理结果与其他模型的处理结果的对比示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
可以理解的是，在本申请实施例中，涉及到用户信息等相关的数据，当本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1）双目立体图像：即双目图像，通过两个相机同时同步对同一场景进行采集，获取左右两个相机对一个场景的成像图，这些成像图称之为左视图和右视图。
2）可变形卷积（Deformable Convolutional Network）：指二维卷积核在每一个元素上额外增加了方向参数，这样同一个卷积核能在训练过程中扩展到很大的范围。
3）亚像素：面阵摄像机的成像面以像素为最小单位。摄像机拍摄时，将物理世界中连续的图像进行了离散化处理，像素之间存在5.2微米的距离。在宏观上可以看作像素是连在一起的，但是在微观上，像素之间还有无限的更小的东西存在。这个更小的东西称之为“亚像素”。
4）残差密集模块：为密集残差超分辨网络（Residual Dense Network for ImageSuper-Resolution，RDN）中的骨干网络模型，RDN除了包含残差密集模块之外，还包含隐藏特征提取网络、密集特征融合网络、上采样网络。
5）双线性插值：即，双线性内插，在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。
6）双三次插值（Bicubic）：是一种线性插值方法，某一点的值可以通过以该点为中心的矩形网格中最近的十六个采样点的加权平均得到。
7）峰值信噪比（Peak Signal to Noise Ratio，PSNR）：是一个度量信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值的图像质量指标。
8）结构相似性（Structural Similarity，SSIM）：是一种衡量两幅图像相似度的指标。用于计算SSIM的两张图像中，一张为未经压缩的无失真图像，另一张为失真后的图像。SSIM的取值范围为[-1，1]。当两张图像一模一样时，SSIM的值等于1。
9）尺度，即空间维度，由图像特征的高度（例如用高度方向的像素数量表示）和宽度（例如用宽度方向的像素数量表示）决定，图像特征的高度和宽度越大，则尺度越大；图像特征的高度和宽度越小，则尺度越小。
申请人发现，相关技术中，在第一种双目图像的超分辨率处理方式中，主要是通过双向视差注意力模块来实现左右视图的信息交互，进而提升高分辨率的图片的质量。然而，这种方式是针对单一尺度下的左右视图的遮挡区域计算视差注意力图，未考虑不同尺度下左右视图的特征表征的差异性，导致生成的高分辨率图像的质量不稳定。
在相关技术的第二种双目图像的超分辨率处理方式中，主要是通过计算左右视图的视差注意力，将对应的视差注意力分别与左右视图的特征向量融合，从而学习左右视图的全局范围内的对应关系。然而，这种方式只计算了单一映射方向的视差注意力（即，从左视图到右视图），并未考虑左右视图的不一致性；此外，这种方式针对的是单一尺度下的左右视图的视差注意力图，未考虑不同尺度下左右视图的特征表征的差异性，导致生成的高分辨率图像的质量不稳定。
在相关技术的第三种双目图像的超分辨率处理方式中，主要通过提取尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）特征，对左右灰度图进行位置匹配，然后利用拉普拉斯算子对两个图片进行超分辨率融合。然而，这种方式的计算复杂较大，通用性较差，在实际应用场景中的易用性较差；此外，这种方式未考虑低分辨率图像与高分辨率图像的左右视图的映射关系是否一致的问题，从而无法保证高分辨率的双目图像不改变原始双目图像的映射关系。
本申请实施例提供一种双目图像的超分辨率处理方法、装置、电子设备以及计算机可读存储介质，能够基于不同低分辨率的图像生成质量稳定的高分辨率图像。
下面说明本申请实施例提供的用于进行双目图像的超分辨率处理的电子设备的示例性应用，本申请实施例提供的进行双目图像的超分辨率处理的电子设备可以实施为终端，也可以实施为服务器。下面，将说明电子设备实施为服务器时的示例性应用。
本申请实施例提供的双目图像的超分辨率处理方法可以由终端或服务器单独执行，也可以由终端和服务器协同执行，参见图1，图1是本申请实施例提供的双目图像的超分辨率处理系统100的架构示意图，包括服务器200、终端400。终端400通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。
在一些实施例中，用户通过操作终端400的人机交互界面，选择低分辨率的双目图像，终端400通过网络300将用户选中的低分辨率的双目图像上传至服务器200，服务器200根据终端400上传的低分辨率的双目图像，对低分辨率的双目图像进行超分辨率处理，得到高分辨率的双目图像。接着，服务器200通过网络300，将低分辨率的双目图像对应的高分辨率的双目图像返回给终端400，终端400可以在人机交互界面显示高分辨率的双目图像，以供用户使用或保存。
在另一些实施例中，用户通过操作终端400的人机交互界面，选择低分辨率的双目视频，终端400通过网络300将用户选中的低分辨率的双目视频上传至服务器200，服务器200根据终端400上传的低分辨率的双目视频，按照双目视频的视频帧的时间轴，对低分辨率的双目视频中的每一帧对应的双目图像进行超分辨率处理，得到高分辨率的双目图像，然后，服务器对得到的高分辨率的双目图像按照视频帧的时间轴进行组合，得到高分辨率的双目视频。最后，服务器200通过网络300，将低分辨率的双目视频对应的高分辨率的双目视频返回给终端400，终端400可以在人机交互界面显示高分辨率的双目视频，以供用户播放或保存。
在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能电视、车载终端等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
下面，参见图2，图2是本申请实施例提供的电子设备的结构示意图，该电子设备可以是终端或服务器，在本申请实施例中，以该电子设备是服务器为例进行说明。图2所示的电子设备包括：至少一个处理器210、存储器230、至少一个网络接口220。服务器200中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
存储器230可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器230可选地包括在物理位置上远离处理器 210的一个或多个存储设备。
存储器230包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器（ROM，Read Only Memory），易失性存储器可以是随机存取存储器（RAM，Random Access Memory）。本申请实施例描述的存储器230旨在包括任意适合类型的存储器。
在一些实施例中，存储器230能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统231，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。
网络通信模块232，用于经由一个或多个（有线或无线）网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证（WiFi）、和通用串行总线（USB，Universal Serial Bus）等。
在一些实施例中，本申请实施例提供的双目图像的超分辨率处理装置可以采用软件方式实现，图2示出了存储在存储器230中的双目图像的超分辨率处理装置233，其可以是程序和插件等形式的软件，包括以下软件模块：特征提取处理模块2331、特征融合处理模块2332、特征对齐处理模块2333、注意力融合处理模块2334和特征重建处理模块2334，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。
下面将结合本申请实施例提供的电子设备的示例性应用和实施，说明本申请实施例提供的双目图像的超分辨率处理方法。可以理解地，下述的方法可以由上文所述的终端或服务器单独执行或协同执行。
在说明本申请实施例提供的双目图像的超分辨率处理方法之前，首先说明本申请实施例涉及的用于进行超分辨率处理的神经网络模型的结构。作为示例，参见图4A，图4A是本申请实施例提供的神经网络模型的结构示意图，神经网络模型包括特征提取模块、双向金字塔对齐模块、双向视差注意力模块以及特征重建模块四个部分。在使用神经网络模型进行超分辨率处理之前，需要先对神经网络模型进行训练，下面将结合附图说明神经网络模型的训练方法。
参见图3A，图3A是本申请实施例提供的神经网络模型的训练过程的流程示意图，将结合图3A示出的步骤201-步骤204进行说明。该训练过程可以由终端或服务器单独执行，也可以由终端和服务器协同执行，下面将以该训练过程由服务器执行为例进行说明。
在步骤201中，确定第一分辨率的第一样本双目图像、以及第二分辨率的第一真实双目图像。
作为示例，通过以下方式确定第一分辨率的第一样本双目图像、以及第二分辨率的第一真实双目图像：获取多个第二分辨率的第二样本双目图像；其中，每个第二样本双目图像包括一个第二样本左视图和一个第二样本右视图；对每个第二分辨率的第二样本双目图像进行下采样处理，得到第一分辨率的第二样本双目图像；对第一分辨率的第二样本双目图像、以及第二分辨率的第二样本双目图像进行裁剪处理，分别得到第一分辨率的第二样本双目图像块、以及第二分辨率的第二样本双目图像块；将第一分辨率的第二样本双目图像块确定为第一分辨率的第一样本双目图像，并将第二分辨率的第二样本双目图像块确定为第二分辨率的第一真实双目图像。
作为示例，为了得到用于训练初始化的神经网络模型的训练数据以及标签数据，首先，获取多个第二分辨率的第二样本双目图像，其中，每个第二样本双目图像中包括一个第二样本左视图和一个第二样本右视图。
其次，对每个第二分辨率的第二样本双目图像进行下采样处理（即，降采样处理），例如，采用双三次插值法实现下采样处理，双三次插值法利用待采样点周围16个点的灰度值作三次插值，不仅考虑到待采样点周围4个直接相邻点的灰度影响，而且考虑到各相邻点间灰度值的变化率的影响，进行下采样处理后，得到第一分辨率的第二样本双目图像。
最后，随机对第一分辨率的第二样本双目图像、以及第二分辨率的第二样本双目图像进行裁剪处理，将得到第一分辨率的第二样本双目图像块，作为第一分辨率的第一样本双目图像，即，训练数据；并将得到的第二分辨率的第二样本双目图像块，作为第二分辨率的第一真实双目图像，即，训练数据对应的标签数据。其中，针对同一场景的第二样本左右视图的分辨率是相同的，针对不同场景的第二样本左右视图的分辨率可能不同。这里进行随机裁剪处理，得到的第二样本左右视图的图像块的分辨率是一样的。
通过上述方式，可以快速获得有效、准确的训练数据和标签数据，便于基于准确的训练数据和标签数据，提高训练得到的神经网络模型的精度。
在步骤202中，基于第一分辨率的第一样本双目图像，调用初始化的神经网络模型进行超分辨率处理，得到第二分辨率的第一预测双目图像。
作为示例，基于第一分辨率的第一样本双目图像，调用初始化的神经网络模型进行超分辨率处理，从而得到第二分辨率的第一预测双目图像。其中，第二分辨率大于第一分辨率。
作为示例，参见图4A，初始化的神经网络模型的超分辨率处理过程如下：通过特征提取模块对第一分辨率的双目图像包括的左视图
Figure DEST_PATH_IMAGE001
进行特征提取处理，得到左视图
Figure 825712DEST_PATH_IMAGE001
的整体图像特征
Figure 703539DEST_PATH_IMAGE002
，通过特征提取模块对第一分辨率的双目图像包括的右视图
Figure DEST_PATH_IMAGE003
进行特征提取处理，得到右视图
Figure 397956DEST_PATH_IMAGE003
的整体图像特征
Figure 691534DEST_PATH_IMAGE004
；通过双向金字塔对齐模块对左视图
Figure 76379DEST_PATH_IMAGE001
和右视图
Figure 125107DEST_PATH_IMAGE003
进行对齐处理，分别得到左视图
Figure 290509DEST_PATH_IMAGE001
对应的对齐特征
Figure DEST_PATH_IMAGE005
、右视图
Figure 424597DEST_PATH_IMAGE003
对应的对齐特征
Figure 726266DEST_PATH_IMAGE006
；通过双向视差注意力模块，基于左视图
Figure 821261DEST_PATH_IMAGE001
的整体图像特征
Figure 270696DEST_PATH_IMAGE002
和对齐特征
Figure 906077DEST_PATH_IMAGE005
、以及右视图
Figure 531094DEST_PATH_IMAGE003
的整体图像特征
Figure 406777DEST_PATH_IMAGE004
和对齐特征
Figure 281192DEST_PATH_IMAGE006
进行注意力融合处理，得到左视图
Figure 657947DEST_PATH_IMAGE001
对应的融合图像特征
Figure DEST_PATH_IMAGE007
、右视图
Figure 262103DEST_PATH_IMAGE003
对应的融合图像特征
Figure 433322DEST_PATH_IMAGE008
；通过特征重建模块基于左视图
Figure 873661DEST_PATH_IMAGE001
对应的融合图像特征
Figure 54107DEST_PATH_IMAGE007
进行特征重建处理，得到左视图
Figure 450453DEST_PATH_IMAGE001
对应的第二分辨率的左视图
Figure DEST_PATH_IMAGE009
，通过特征重建模块基于右视图
Figure 651627DEST_PATH_IMAGE003
对应的融合图像特征
Figure 48105DEST_PATH_IMAGE008
进行特征重建处理，得到右视图
Figure 32241DEST_PATH_IMAGE003
对应的第二分辨率的右视图
Figure 610990DEST_PATH_IMAGE010
。
在步骤203中，将第二分辨率的第一预测双目图像以及对应的第二分辨率的第一真实双目图像分别对应的特征向量，代入损失函数进行计算，得到损失值。
作为示例，在得到第二分辨率的第一预测双目图像之后，对第一预测双目图像中的第一预测左视图和第一预测右视图分别进行特征提取处理，获得第一预测左视图和第一预测右视图分别对应的特征向量。并且，获得第一样本双目图像对应的第一真实双目图像，并对第一真实双目图像中的第一真实左视图和第一真实右视图分别进行特征提取处理，获得第一真实左视图和第一真实右视图分别对应的特征向量。
在得到这4个特征向量之后，将这4个特征向量代入损失函数进行计算，得到损失值。作为示例，损失函数可以为均方绝对误差（Mean Absolute Error，MAE）损失函数，用于计算神经网络模型的预测值和真实值之间的距离的均值。MAE损失函数的计算公式如下：
Figure DEST_PATH_IMAGE011
+
Figure 655170DEST_PATH_IMAGE012
公式1
其中，
Figure DEST_PATH_IMAGE013
表示损失值，
Figure 270434DEST_PATH_IMAGE014
表示第一预测左视图对应的特征向量，
Figure DEST_PATH_IMAGE015
表示第一真实左视图对应的特征向量，
Figure 386158DEST_PATH_IMAGE016
表示第一预测右视图对应的特征向量，
Figure DEST_PATH_IMAGE017
表示第一真实右视图对应的特征向量，
Figure 773408DEST_PATH_IMAGE018
表示均值绝对误差计算处理。
在步骤204中，在反向传播过程中，基于损失值更新神经网络模型的参数。
作为示例，在通过上述公式1计算得出损失值之后，在神经网络模型的反向传播过程中，基于损失值更新神经网络模型的参数。
迭代执行上述步骤201-步骤204，当损失值小于特定阈值，或者达到设定的迭代次数后停止训练，得到训练后的神经网络模型。
通过上述方式对神经网络模型进行训练，可以提高训练得到的神经网络模型的预测精度，从而提高基于训练得到的神经网络模型确定出的第二分辨率的双目图像的准确性。在得到训练后的神经网络模型之后，可以使用训练后的神经网络模型进行超分辨率处理，以得到第二分辨率的双目图像。
下面将结合附图说明本申请实施例提供的双目图像的超分辨率处理方法。
参见图3B，图3B是本申请实施例提供的双目图像的超分辨率处理方法中步骤101-105的流程示意图，将结合图3B示出的步骤进行说明。
在步骤101中，按照尺度逐层减小的第一层次顺序，基于第一分辨率的双目图像进行级联的多个层次的特征提取处理，得到尺度逐层减小的多个层次特征。
作为示例，参见图4B，图4B是本申请实施例提供的双向金字塔对齐模块的结构示意图。如图4B所示，第一层次顺序为从
Figure DEST_PATH_IMAGE019
层到
Figure 316385DEST_PATH_IMAGE020
层的层次顺序，从
Figure 139984DEST_PATH_IMAGE019
层对应的层次特征
Figure DEST_PATH_IMAGE021
和
Figure 278973DEST_PATH_IMAGE022
至
Figure 504418DEST_PATH_IMAGE020
层对应的层次特征
Figure DEST_PATH_IMAGE023
和
Figure 952716DEST_PATH_IMAGE024
，层次特征对应的高度和宽度逐层减小，也即是层次特征的尺度逐层减小。
作为示例，按照从
Figure 998033DEST_PATH_IMAGE019
层到
Figure 737450DEST_PATH_IMAGE020
层的层次顺序，基于第一分辨率的双目图像进行级联的多个层次的特征提取处理，也就是进行从
Figure 755084DEST_PATH_IMAGE019
层到
Figure 171022DEST_PATH_IMAGE020
层的3个层次的特征提取处理，从而得到尺度逐层减小的多个层次特征。
参见图3C，图3C是本申请实施例提供的双目图像的超分辨率处理方法中步骤1011-1012的流程示意图。基于图3B，图3C示出的步骤101可以通过步骤1011-步骤1012实现。下面将结合图3C示出的步骤1011-步骤1012进行说明。
在步骤1011中，依次将双目图像中的一个视图作为待对齐图像，将另一个视图作为参考图像，针对待对齐图像和参考图像的每种组合，执行以下处理：通过第一层次顺序中的第一层次，对待对齐图像以及参考图像进行特征提取处理，得到第一层次对应的待对齐图像层次特征以及参考图像层次特征。
作为示例，双目图像包括左视图
Figure 703635DEST_PATH_IMAGE001
和右视图
Figure 105797DEST_PATH_IMAGE003
，依次将双目图像中的一个视图作为待对齐图像
Figure DEST_PATH_IMAGE025
，将另一个视图作为参考图像
Figure 584796DEST_PATH_IMAGE026
，可以得到左视图为待对齐图像、右视图为参考图像的第一种组合，也可以得到右视图为待对齐图像、左视图为参考图像的第二种组合。
针对第一种组合和第二种组合中的每种组合，通过第一层次顺序中的第一层次，即
Figure 843739DEST_PATH_IMAGE019
层，对待对齐图像
Figure 925964DEST_PATH_IMAGE025
以及参考图像
Figure 194134DEST_PATH_IMAGE026
进行特征提取处理，得到
Figure 186361DEST_PATH_IMAGE019
层对应的待对齐图像层次特征
Figure 429255DEST_PATH_IMAGE022
、参考图像层次特征
Figure 936460DEST_PATH_IMAGE021
。
这里，特征提取处理可以通过两个二维卷积层Conv1_nbh和Conv1_ref实现，也就是说，通过二维卷积层Conv1_nbh对待对齐图像
Figure 946004DEST_PATH_IMAGE025
进行特征提取处理，从而得到
Figure 651792DEST_PATH_IMAGE019
层对应的待对齐图像层次特征
Figure 721379DEST_PATH_IMAGE022
；对应地，通过二维卷积层Conv1_ref对参考图像
Figure 528929DEST_PATH_IMAGE026
进行特征提取处理，从而得到
Figure 342164DEST_PATH_IMAGE019
层对应的参考图像层次特征
Figure 168038DEST_PATH_IMAGE021
。
在步骤1012中，将第一层次对应的待对齐图像层次特征、以及参考图像层次特征输出到后续层次，以在后续层次中继续进行特征提取处理，并输出后续层次对应的待对齐图像层次特征以及参考图像层次特征。
作为示例，在得到
Figure 408526DEST_PATH_IMAGE019
层对应的待对齐图像层次特征
Figure 703373DEST_PATH_IMAGE022
、参考图像层次特征
Figure 54719DEST_PATH_IMAGE021
之后，将
Figure 679DEST_PATH_IMAGE019
层对应的待对齐图像层次特征
Figure 208806DEST_PATH_IMAGE022
、参考图像层次特征
Figure 115582DEST_PATH_IMAGE021
输出到
Figure DEST_PATH_IMAGE027
层，通过
Figure 611898DEST_PATH_IMAGE027
层的二维卷积层Conv2_nbh对
Figure 412364DEST_PATH_IMAGE022
进行特征提取处理，从而得到
Figure 729076DEST_PATH_IMAGE027
层对应的待对齐图像层次特征
Figure 998514DEST_PATH_IMAGE028
；对应地，通过
Figure 488401DEST_PATH_IMAGE027
层的二维卷积层Conv2_ref对
Figure 284319DEST_PATH_IMAGE021
进行特征提取处理，从而得到
Figure 630987DEST_PATH_IMAGE027
层对应的参考图像层次特征
Figure DEST_PATH_IMAGE029
。
类似地，在得到
Figure 777934DEST_PATH_IMAGE027
层对应的待对齐图像层次特征
Figure 150141DEST_PATH_IMAGE028
、参考图像层次特征
Figure 800565DEST_PATH_IMAGE029
之后，将
Figure 583713DEST_PATH_IMAGE027
层对应的待对齐图像层次特征
Figure 686799DEST_PATH_IMAGE028
、参考图像层次特征
Figure 597117DEST_PATH_IMAGE029
输出到第一层次顺序中的最后一个层次，即
Figure 367627DEST_PATH_IMAGE020
层，通过
Figure 587256DEST_PATH_IMAGE020
层的二维卷积层Conv3_nbh对
Figure 177637DEST_PATH_IMAGE028
进行特征提取处理，从而得到
Figure 888716DEST_PATH_IMAGE020
层对应的待对齐图像层次特征
Figure 513733DEST_PATH_IMAGE024
；对应地，通过
Figure 904263DEST_PATH_IMAGE020
层的二维卷积层Conv3_ref对
Figure 981940DEST_PATH_IMAGE029
进行特征提取处理，从而得到
Figure 155433DEST_PATH_IMAGE020
层对应的参考图像层次特征
Figure 244743DEST_PATH_IMAGE023
。
需要说明的是，在通过每一层的二维卷积层进行特征提取处理得到特征后，需要先对得到的特征中的所有偶数行以及偶数列进行去除，将去除掉所有偶数行和偶数列的特征确定为二维卷积层输出的层次特征。由于每一层的二维卷积层都会进行上述处理，所以，从
Figure 681540DEST_PATH_IMAGE019
层到
Figure 43251DEST_PATH_IMAGE020
层，每一层输出的层次特征的行和列逐渐减小，即层次特征对应的高度和宽度逐渐减小，从而层次特征对应的尺度逐渐减小。
需要说明的是，二维卷积层输出的层次特征的通道数量，与二维卷积层使用的卷积核的数量相同。由于按照从
Figure 82752DEST_PATH_IMAGE019
层到
Figure 416781DEST_PATH_IMAGE020
层的第一层次顺序，从Conv1_nbh-Conv3_nbh，每个二维卷积层使用的卷积核的个数逐层增加，因此，Conv1_nbh-Conv3_nbh分别输出的
Figure 821217DEST_PATH_IMAGE022
-
Figure 748853DEST_PATH_IMAGE024
的通道数量也逐层增加；同样的，由于从Conv1_ref-Conv3_ref，每个二维卷积层使用的卷积核的个数逐层增加，因此，Conv1_ref-Conv3_ref分别输出的
Figure 467411DEST_PATH_IMAGE021
-
Figure 780580DEST_PATH_IMAGE023
的通道数量也逐层增加，由于同一层次的二维卷积层使用的卷积核的个数相同，因此，同一层次对应的待对齐图像层次特征和参考图像层次特征的通道数量相同。所以，按照第一层次顺序，多个层次分别输出的待对齐图像层次特征以及参考图像层次特征具有以下特性：所对应的通道数量逐层增加。
通过上述方式，可以从较大尺度到较小尺度，逐层获取每个层次的待对齐图像层次特征和参考图像层次特征，从而可以全面、准确获得不同尺度下的双目图像的层次特征。
在步骤102中，按照尺度逐层增加的第二层次顺序，依次在每个层次执行以下处理：基于层次对应的层次特征进行特征融合处理，得到层次对应的特征偏移。
作为示例，参见图4B，第二层次顺序为从
Figure 559180DEST_PATH_IMAGE020
层到
Figure 895484DEST_PATH_IMAGE019
层的层次顺序，从
Figure 27519DEST_PATH_IMAGE020
层对应的特征偏移
Figure 336141DEST_PATH_IMAGE030
和对齐特征
Figure DEST_PATH_IMAGE031
至
Figure 410276DEST_PATH_IMAGE019
层对应的特征偏移
Figure 437138DEST_PATH_IMAGE032
和对齐特征
Figure DEST_PATH_IMAGE033
，特征偏移和对齐特征对应的高度和宽度逐层增加，也即是特征偏移和对齐特征的尺度逐层增加。按照从
Figure 635513DEST_PATH_IMAGE020
层到
Figure 533062DEST_PATH_IMAGE019
层的层次顺序，依次在每个层次执行以下处理：基于该层次对应的层次特征进行特征融合处理，得到该层次对应的特征偏移。
参见图3D，图3D是本申请实施例提供的双目图像的超分辨率处理方法中步骤1021A和步骤1021B-1023B的流程示意图。基于图3B，图3D示出的步骤102可以通过步骤1021A实现，或通过步骤1021B-步骤1023B实现。下面将结合图3D示出的步骤1021A、步骤1021B-步骤1023B进行说明。
在步骤1021A中，在当前待处理的层次是第二层次顺序中的第一层次的情况下，对层次对应的待对齐图像层次特征与参考图像层次特征按照所包括的通道进行合并，得到层次对应的特征偏移。
作为示例，如果当前待处理的层次是第二层次顺序中的第一层次，即为
Figure 43678DEST_PATH_IMAGE020
层时，将
Figure 88994DEST_PATH_IMAGE020
层对应的待对齐图像层次特征
Figure 953045DEST_PATH_IMAGE024
、以及参考图像层次特征
Figure 111625DEST_PATH_IMAGE023
按照所包括的通道进行合并，从而得到
Figure 402929DEST_PATH_IMAGE020
层对应的特征偏移
Figure 997859DEST_PATH_IMAGE030
。
Figure 665600DEST_PATH_IMAGE030
的计算公式如下：
Figure 678687DEST_PATH_IMAGE034
公式2
其中，
Figure DEST_PATH_IMAGE035
表示特征融合计算函数。
由于
Figure 734367DEST_PATH_IMAGE020
层对应的特征偏移
Figure 957538DEST_PATH_IMAGE030
，是将
Figure 960129DEST_PATH_IMAGE024
和
Figure 827722DEST_PATH_IMAGE023
按照所包括的通道进行合并得到的，所以，
Figure 54304DEST_PATH_IMAGE020
层对应的特征偏移
Figure 561509DEST_PATH_IMAGE030
的通道数量为以下两者的加和：待对齐图像层次特征
Figure 305474DEST_PATH_IMAGE024
的通道数量，参考图像层次特征
Figure 290223DEST_PATH_IMAGE023
对应的通道数量。
通过上述方式，可以准确确定第二层次顺序中的第一层次对应的特征偏移，便于根据准确的特征偏移准确确定出第一层次对应的对齐特征。
在步骤1021B中，在当前待处理的层次不是第二层次顺序中的第一层次的情况下，对层次的上一层次对应的特征偏移进行上采样处理，得到第一上采样特征。
作为示例，如果当前待处理的层次不是第二层次顺序中的第一层次，即该层次为
Figure 94231DEST_PATH_IMAGE027
层或
Figure 151049DEST_PATH_IMAGE019
层时，对该层次的上一层次对应的特征偏移进行上采样处理，得到第一上采样特征。
例如，在当前待处理的层次为
Figure 698705DEST_PATH_IMAGE027
层时，在第二层次顺序中，
Figure 462262DEST_PATH_IMAGE027
层的上一层次为
Figure 578116DEST_PATH_IMAGE020
层，因此，对
Figure 732017DEST_PATH_IMAGE020
层对应的特征偏移
Figure 207998DEST_PATH_IMAGE030
进行上采样处理，得到第一上采样特征
Figure 29323DEST_PATH_IMAGE036
。这里，可以通过双线性插值法实现上采样处理，双线性插值法需要在两个方向分别进行一次线性插值处理。
在步骤1022B中，对层次对应的待对齐图像层次特征与参考图像层次特征按照所包括的通道进行合并，得到第一融合特征。
作为示例，在得到
Figure 237451DEST_PATH_IMAGE027
层对应的待对齐图像层次特征
Figure 19593DEST_PATH_IMAGE028
与参考图像层次特征
Figure 909052DEST_PATH_IMAGE029
之后，对
Figure 975097DEST_PATH_IMAGE028
与
Figure 291808DEST_PATH_IMAGE029
按照所包括的通道进行合并，得到第一融合特征。其中，第一融合特征的通道数量为以下两者的加和：待对齐图像层次特征
Figure 482618DEST_PATH_IMAGE028
的通道数量，参考图像层次特征
Figure 51134DEST_PATH_IMAGE029
的通道数量。
在步骤1023B中，对第一上采样特征与第一融合特征按照所包括的通道进行合并，得到层次对应的特征偏移。
作为示例，在得到第一上采样特征
Figure 315893DEST_PATH_IMAGE036
和第一融合特征之后，对
Figure 865823DEST_PATH_IMAGE036
和第一融合特征按照所包括的通道进行合并，得到
Figure 606246DEST_PATH_IMAGE027
层对应的特征偏移
Figure DEST_PATH_IMAGE037
。其中，
Figure 368666DEST_PATH_IMAGE027
层对应的特征偏移
Figure 891527DEST_PATH_IMAGE037
的通道数量为以下两者的加和：第一上采样特征
Figure 284462DEST_PATH_IMAGE036
的通道数量，第一融合特征的通道数量。
需要说明的是，
Figure 449864DEST_PATH_IMAGE019
层对应的特征偏移的确定方式，与
Figure 609450DEST_PATH_IMAGE027
层对应的特征偏移的确定方式类似，在此不再赘述。
通过上述方式，可以准确确定第二层次顺序中除第一层次之外的其他层次对应的特征偏移，便于根据准确的特征偏移准确确定出其他层次分别对应的对齐特征。
在步骤103中，基于层次对应的特征偏移进行特征对齐处理，得到层次对应的对齐特征。
作为示例，按照从
Figure 114381DEST_PATH_IMAGE020
层到
Figure 740534DEST_PATH_IMAGE019
层的第二层次顺序，依次在每个层次执行以下处理：在获得该层次对应的特征偏移之后，基于该层次对应的特征偏移进行特征对齐处理，得到该层次对应的对齐特征。
参见图3E，图3E是本申请实施例提供的双目图像的超分辨率处理方法中步骤1031A和步骤1031B的流程示意图。基于图3B，图3E示出的步骤103可以通过步骤1031A实现，或通过步骤1031B实现。下面将结合图3E示出的步骤1031A与步骤1031B进行说明。
在步骤1031A中，在特征对齐处理的待对齐图像为左视图的情况下，基于层次对应的特征偏移、以及层次对应的左视图层次特征进行特征对齐处理，得到左视图在层次对应的对齐特征。
作为示例，双目图像包括左视图和右视图，在特征对齐处理的待对齐图像
Figure 206281DEST_PATH_IMAGE025
为左视图的情况下，特征对齐处理对应的待对齐图像层次特征为左视图层次特征，所以，基于该层次对应的特征偏移、以及该层次对应的待对齐图像层次特征（即，左视图层次特征），进行特征对齐处理，得到左视图在该层次对应的对齐特征。
参见图3F，图3F是本申请实施例提供的双目图像的超分辨率处理方法中步骤10311A和步骤10312A-10314A的流程示意图。基于图3E，图3F示出的步骤1031A可以通过步骤10311A实现，或通过步骤10312A-步骤10314A实现。下面将结合图3F示出的步骤10311A、步骤10312A-步骤10314A进行说明。
在步骤10311A中，在当前待处理的层次是第二层次顺序中的第一层次的情况下，通过层次对应的特征偏移，对层次对应的左视图层次特征进行重采样处理，得到左视图在层次对应的对齐特征。
作为示例，如果当前待处理的层次是第二层次顺序中的第一层次，即为
Figure 44924DEST_PATH_IMAGE020
层时，通过
Figure 201099DEST_PATH_IMAGE020
层对应的特征偏移
Figure 326050DEST_PATH_IMAGE030
，对
Figure 403728DEST_PATH_IMAGE020
层对应的待对齐图像层次特征
Figure 842799DEST_PATH_IMAGE024
（即，左视图层次特征）进行重采样处理，将重采样结果确定为左视图在
Figure 932109DEST_PATH_IMAGE020
层对应的对齐特征
Figure 165644DEST_PATH_IMAGE031
。
这里，重采样处理可以通过可变形卷积层DConv3实现，其中，可变形卷积层的二维卷积核在每一个元素上额外增加了方向参数，使得二维卷积核可以变更为任意形状，这样，二维卷积核能在训练过程中扩展到较大的范围。当然，重采样处理还可以通过其他的卷积形式实现，本申请实施例对此不做限定。在重采样处理是通过可变形卷积层DConv3实现的情况下，左视图在
Figure 730618DEST_PATH_IMAGE020
层对应的对齐特征
Figure 770118DEST_PATH_IMAGE031
的计算公式如下：
Figure 104147DEST_PATH_IMAGE038
公式3
其中，
Figure DEST_PATH_IMAGE039
表示可变形卷积层的函数。
在步骤10312A中，在当前待处理的层次不是第二层次顺序中的第一层次的情况下，对左视图在上一层次对应的对齐特征进行上采样处理，得到第二上采样特征。
作为示例，如果当前待处理的层次不是第二层次顺序中的第一层次，即该层次为
Figure 852792DEST_PATH_IMAGE027
层或
Figure 905061DEST_PATH_IMAGE019
层时，对左视图在上一层次的对齐特征进行上采样处理，得到第二上采样特征。例如，在该层次为
Figure 748252DEST_PATH_IMAGE027
层时，在第二层次顺序中，
Figure 202367DEST_PATH_IMAGE027
层的上一层次为
Figure 876842DEST_PATH_IMAGE020
层，因此，对左视图在
Figure 150828DEST_PATH_IMAGE020
层对应的对齐特征
Figure 797710DEST_PATH_IMAGE031
进行上采样处理，得到第二上采样特征。
在步骤10313A中，通过层次对应的特征偏移，对层次对应的左视图层次特征进行重采样处理，得到第一重采样特征。
作为示例，通过
Figure 903069DEST_PATH_IMAGE027
层对应的特征偏移
Figure 852571DEST_PATH_IMAGE037
，对
Figure 489220DEST_PATH_IMAGE027
层对应的左视图层次特征
Figure 815159DEST_PATH_IMAGE028
进行重采样处理，得到第一重采样特征。这里，重采样处理可以通过可变形卷积层DConv2实现。
在步骤10313A中，对第二上采样特征与第一重采样特征按照所包括的通道进行合并，得到左视图在层次对应的对齐特征。
作为示例，在得到第二上采样特征和第一重采样特征之后，对第二上采样特征与第一重采样特征按照所包括的通道进行合并，得到左视图在
Figure 837341DEST_PATH_IMAGE027
层对应的对齐特征
Figure 754482DEST_PATH_IMAGE040
。其中，左视图在
Figure 268640DEST_PATH_IMAGE027
层对应的对齐特征
Figure 742478DEST_PATH_IMAGE040
的通道数量为以下两者的加和：第二上采样特征的通道数量，第一重采样特征的通道数量。
需要说明的是，左视图在
Figure 556850DEST_PATH_IMAGE019
层对应的对齐特征的确定方式，与左视图在
Figure 848154DEST_PATH_IMAGE027
层对应的对齐特征的确定方式类似，在此不再赘述。
需要说明的是，由于按照从
Figure 708663DEST_PATH_IMAGE020
层到
Figure 173142DEST_PATH_IMAGE019
层的第二层次顺序，从DConv3-DConv1，每个可变形卷积层使用的卷积核的个数逐层减小，因此，DConv3-DConv1分别输出的重采样特征的通道数量也逐层减小。
通过上述方式，可以针对不同层次采用不同的计算方式来确定左视图对应的对齐特征，从而可以准确确定左视图在第二层次顺序中的每个层次分别对应的对齐特征。
在步骤1031B中，在特征对齐处理的待对齐图像为右视图的情况下，基于层次对应的特征偏移、以及层次对应的右视图层次特征进行特征对齐处理，得到右视图在层次对应的对齐特征。
作为示例，在特征对齐处理的待对齐图像
Figure 45283DEST_PATH_IMAGE025
为右视图的情况下，特征对齐处理对应的待对齐图像层次特征为右视图层次特征。所以，基于该层次对应的特征偏移、以及该层次对应的待对齐图像层次特征（即，右视图层次特征），进行特征对齐处理，得到右视图在该层次对应的对齐特征。
参见图3G，图3G是本申请实施例提供的双目图像的超分辨率处理方法中步骤10311B和步骤10312B-10314B的流程示意图。基于图3E，图3G示出的步骤1031B可以通过步骤10311B实现，或通过步骤10312B-步骤10314B实现。下面将结合图3G示出的步骤10311B、步骤10312B-步骤10314B进行说明。
在步骤10311B中，在当前待处理的层次是第二层次顺序中的第一层次的情况下，通过层次对应的特征偏移，对层次对应的右视图层次特征进行重采样处理，得到右视图在层次对应的对齐特征。
作为示例，如果当前待处理的层次是第二层次顺序中的第一层次，即为
Figure 382855DEST_PATH_IMAGE020
层时，通过
Figure 402763DEST_PATH_IMAGE020
层对应的特征偏移
Figure 608617DEST_PATH_IMAGE030
，对
Figure 459898DEST_PATH_IMAGE020
层对应的待对齐图像层次特征
Figure 155321DEST_PATH_IMAGE024
（即，右视图层次特征）进行重采样处理，将重采样结果确定为右视图在
Figure 334630DEST_PATH_IMAGE020
层对应的对齐特征
Figure 216611DEST_PATH_IMAGE031
。
在步骤10312B中，在当前待处理的层次不是第二层次顺序中的第一层次的情况下，对右视图在上一层次对应的对齐特征进行上采样处理，得到第三上采样特征。
作为示例，如果当前待处理的层次不是第二层次顺序中的第一层次，即该层次为
Figure 125661DEST_PATH_IMAGE027
层或
Figure 664090DEST_PATH_IMAGE019
层时，对右视图在上一层次的对齐特征进行上采样处理，得到第三上采样特征。例如，在该层次为
Figure 658591DEST_PATH_IMAGE027
层时，在第二层次顺序中，
Figure 330880DEST_PATH_IMAGE027
层的上一层次为
Figure 32120DEST_PATH_IMAGE020
层，因此，对右视图在
Figure 803767DEST_PATH_IMAGE020
层对应的对齐特征
Figure 364193DEST_PATH_IMAGE031
进行上采样处理，得到第三上采样特征。
在步骤10313B中，通过层次对应的特征偏移，对层次对应的右视图层次特征进行重采样处理，得到第二重采样特征。
作为示例，通过
Figure 449960DEST_PATH_IMAGE027
层对应的特征偏移
Figure 68023DEST_PATH_IMAGE037
，对
Figure 604047DEST_PATH_IMAGE027
层对应的右视图层次特征
Figure 245244DEST_PATH_IMAGE028
进行重采样处理，得到第二重采样特征。这里，重采样处理可以通过可变形卷积层DConv2实现。
在步骤10314B中，对第三上采样特征与第二重采样特征按照所包括的通道进行合并，得到右视图在层次对应的对齐特征。
作为示例，在得到第三上采样特征和第二重采样特征之后，对第三上采样特征与第二重采样特征按照所包括的通道进行合并，得到右视图在
Figure 931440DEST_PATH_IMAGE027
层对应的对齐特征
Figure 748218DEST_PATH_IMAGE040
。其中，右视图在
Figure 799350DEST_PATH_IMAGE027
层对应的对齐特征
Figure 990160DEST_PATH_IMAGE040
的通道数量为以下两者的加和：第三上采样特征的通道数量，第二重采样特征的通道数量。
需要说明的是，右视图在
Figure 807943DEST_PATH_IMAGE019
层对应的对齐特征的确定方式，与右视图在
Figure 338282DEST_PATH_IMAGE027
层对应的对齐特征的确定方式类似，在此不再赘述。
通过上述方式，可以针对不同层次采用不同的计算方式来确定右视图对应的对齐特征，从而准确确定右视图在第二层次顺序中的每个层次分别对应的对齐特征。
在步骤104中，基于最大尺度的层次对应的对齐特征进行注意力融合处理，得到双目图像的融合图像特征。
作为示例，参见图4B，由于尺度逐渐增加的第二层次顺序为从
Figure 888212DEST_PATH_IMAGE020
层到
Figure 644946DEST_PATH_IMAGE019
层的层次顺序，所以，最大尺度的层次为
Figure 610628DEST_PATH_IMAGE019
层，基于
Figure 57790DEST_PATH_IMAGE019
层对应的对齐特征进行注意力融合处理，从而得到双目图像的融合图像特征。
这里，由于待对齐图像可以为左视图，也可以为右视图，所以待对齐图像在
Figure 106518DEST_PATH_IMAGE019
层对应的对齐特征包括左视图在
Figure 550881DEST_PATH_IMAGE019
层对应的对齐特征、以及右视图在
Figure 585833DEST_PATH_IMAGE019
层对应的对齐特征，基于左视图在
Figure 887501DEST_PATH_IMAGE019
层对应的对齐特征、以及右视图在
Figure 107130DEST_PATH_IMAGE019
层对应的对齐特征，进行注意力融合处理，得到左视图的融合图像特征以及右视图的融合图像特征。
参见图3H，图3H是本申请实施例提供的双目图像的超分辨率处理方法中步骤1041-1044的流程示意图。基于图3B，图3H示出的步骤104可以通过步骤1041-步骤1044实现。下面将结合图3H示出的步骤1041-步骤1044进行说明。
在步骤1041中，对双目图像进行特征提取处理，得到双目图像中的左视图和右视图分别对应的整体图像特征。
作为示例，在进行注意力融合处理时，首先对双目图像中的左视图
Figure 963091DEST_PATH_IMAGE001
和右视图
Figure 145941DEST_PATH_IMAGE003
分别进行特征提取处理，以得到左视图对应的整体图像特征
Figure 770958DEST_PATH_IMAGE002
、以及右视图对应的整体图像特征
Figure 161488DEST_PATH_IMAGE004
。这里，作为示例，特征提取处理可以通过超分辨模型的骨干网络模型如残差密集模块实现，其中，残差密集模块包括密集卷积层和带有局部残差学习的局部特征融合层，残差密集模块通过密集卷积层可以充分提取图像的局部特征，通过局部特征融合层可以自适应地学习来自先前和当前的局部特征的更有效特征，最后通过特征融合处理得到更为准确的整体图像特征。为了减少模型的参数数量，使用相同的权重参数分别对左视图
Figure 35903DEST_PATH_IMAGE001
和右视图
Figure 412658DEST_PATH_IMAGE003
进行特征提取处理。
在步骤1042中，对左视图对应的整体图像特征、以及左视图在最大尺度的层次对应的对齐特征进行求和处理，得到第一求和结果。
作为示例，在得到左视图的整体图像特征
Figure 767547DEST_PATH_IMAGE002
以及左视图在
Figure 1082DEST_PATH_IMAGE019
层对应的对齐特征
Figure 566056DEST_PATH_IMAGE005
（即，左视图在
Figure 339977DEST_PATH_IMAGE019
层对应的对齐特征
Figure 939585DEST_PATH_IMAGE033
）之后，对左视图的整体图像特征
Figure 422650DEST_PATH_IMAGE002
、以及左视图在
Figure 271658DEST_PATH_IMAGE019
层对应的对齐特征
Figure 990215DEST_PATH_IMAGE005
进行求和处理，得到第一求和结果
Figure DEST_PATH_IMAGE041
。
在步骤1043中，对右视图对应的整体图像特征、以及右视图在最大尺度的层次对应的对齐特征进行求和处理，得到第二求和结果。
作为示例，在得到右视图的整体图像特征
Figure 772226DEST_PATH_IMAGE004
以及右视图在
Figure 347564DEST_PATH_IMAGE019
层对应的对齐特征
Figure 759566DEST_PATH_IMAGE006
（即，右视图在
Figure 16235DEST_PATH_IMAGE019
层对应的对齐特征
Figure 449490DEST_PATH_IMAGE033
）之后，对右视图的整体图像特征
Figure 195730DEST_PATH_IMAGE004
、以及右视图在
Figure 691433DEST_PATH_IMAGE019
层对应的对齐特征
Figure 892738DEST_PATH_IMAGE006
进行求和处理，得到第二求和结果
Figure 852604DEST_PATH_IMAGE042
。
在一些实施例中，通过以下方式确定左视图和右视图分别对应的注意力权重：对第一求和结果进行归一化处理，得到第一归一化处理结果；对第二求和结果进行归一化处理，得到第二归一化处理结果；对第一归一化处理结果和第二归一化处理结果进行相乘处理，得到注意力图；基于注意力图确定左视图和右视图分别对应的注意力权重。
作为示例，在得到第一求和结果
Figure 973007DEST_PATH_IMAGE041
和第二求和结果
Figure 346219DEST_PATH_IMAGE042
之后，对第一求和结果
Figure 210270DEST_PATH_IMAGE041
进行归一化处理，由于第一求和结果
Figure 24642DEST_PATH_IMAGE041
是对左视图的整体图像特征
Figure 191313DEST_PATH_IMAGE002
、以及左视图在
Figure 927188DEST_PATH_IMAGE019
层对应的对齐特征
Figure 126088DEST_PATH_IMAGE005
进行求和处理得到的，所以第一求和结果
Figure 388442DEST_PATH_IMAGE041
本身为一个特征，因此，按照第一求和结果
Figure 116226DEST_PATH_IMAGE041
的宽度进行归一化处理，得到第一归一化处理结果
Figure DEST_PATH_IMAGE043
。第一归一化处理结果
Figure 152447DEST_PATH_IMAGE043
的计算公式如下：
Figure 420617DEST_PATH_IMAGE044
公式4
其中，
Figure 537477DEST_PATH_IMAGE043
表示第一归一化处理结果，
Figure DEST_PATH_IMAGE045
分别表示第一求和结果
Figure 170584DEST_PATH_IMAGE041
的高度、宽度、通道数量。
类似地，对第二求和结果
Figure 753488DEST_PATH_IMAGE042
进行归一化处理，由于第二求和结果
Figure 497453DEST_PATH_IMAGE042
是对右视图的整体图像特征
Figure 140924DEST_PATH_IMAGE004
、以及右视图在
Figure 335145DEST_PATH_IMAGE019
层对应的对齐特征
Figure 1749DEST_PATH_IMAGE006
进行求和处理得到的，所以第二求和结果
Figure 690351DEST_PATH_IMAGE042
本身为一个特征，因此，按照第二求和结果
Figure 453907DEST_PATH_IMAGE042
的宽度进行归一化处理，得到第二归一化处理结果
Figure 163237DEST_PATH_IMAGE046
。第二归一化处理结果
Figure 972930DEST_PATH_IMAGE046
的计算公式如下：
Figure DEST_PATH_IMAGE047
公式5
其中，
Figure 324277DEST_PATH_IMAGE046
表示第二归一化处理结果，
Figure 942341DEST_PATH_IMAGE045
分别表示第二求和结果
Figure 963517DEST_PATH_IMAGE042
的高度、宽度、通道数量。
在得到第一归一化处理结果
Figure 604714DEST_PATH_IMAGE043
和第二归一化处理结果
Figure 556490DEST_PATH_IMAGE046
之后，对第一归一化处理结果
Figure 356955DEST_PATH_IMAGE043
和第二归一化处理结果
Figure 673667DEST_PATH_IMAGE046
进行相乘处理，得到注意力图M。
在得到注意力图M之后，基于注意力图M分别确定左视图对应的注意力权重、以及右视图对应的注意力权重。
在上述方式中，由于注意力图是基于左视图对应的第一归一化处理结果和右视图对应的第二归一化处理结果确定出的，所以注意力图融合了左视图和右视图的信息，基于注意力图确定出注意力权重，基于注意力权重确定左视图的融合图像特征和右视图的融合图像特征，使得确定出的融合图像特征享有跨视图的交互信息，从而使得确定出的融合图像特征更加准确。
在一些实施例中，基于注意力图确定左视图和右视图分别对应的注意力权重，通过以下方式实现：对注意力图进行转置运算，通过激活函数对得到的转置运算结果进行激活计算处理，得到左视图对应的注意力权重；通过激活函数对注意力图进行激活计算处理，得到右视图对应的注意力权重。
作为示例，在得到注意力图M之后，对注意力图M进行转置运算，并通过激活函数（例如，softmax函数）对得到的转置运算结果进行激活计算处理，得到左视图对应的注意力权重
Figure 864477DEST_PATH_IMAGE048
。左视图对应的注意力权重
Figure 167414DEST_PATH_IMAGE048
的计算公式如下：
Figure DEST_PATH_IMAGE049
公式6
其中，softmax函数表示激活函数，
Figure 228911DEST_PATH_IMAGE050
表示转置运算结果。
作为示例，在得到注意力图M之后，通过激活函数（例如，softmax函数）对注意力图M进行激活计算处理，得到右视图对应的注意力权重
Figure DEST_PATH_IMAGE051
。右视图对应的注意力权重
Figure 309999DEST_PATH_IMAGE051
的计算公式如下：
Figure 722526DEST_PATH_IMAGE052
公式7
其中，softmax函数表示激活函数，M表示注意力图。其中，
Figure 91803DEST_PATH_IMAGE048
和
Figure 476648DEST_PATH_IMAGE051
的取值范围为（0，1）。
通过上述方式，可以对应确定出左视图和右视图分别对应的注意力权重，便于基于准确的注意力权重，准确确定出左视图的融合图像特征和右视图的融合图像特征。
在步骤1044中，基于第一求和结果、第二求和结果以及分别对应的注意力权重进行注意力融合处理，得到左视图和右视图分别对应的融合图像特征。
作为示例，在得到第一求和结果
Figure 197479DEST_PATH_IMAGE041
、第二求和结果
Figure 690777DEST_PATH_IMAGE042
以及分别对应的注意力权重
Figure 460150DEST_PATH_IMAGE048
、
Figure 840447DEST_PATH_IMAGE051
之后，基于第一求和结果
Figure 732180DEST_PATH_IMAGE041
以及对应的注意力权重
Figure 56982DEST_PATH_IMAGE048
进行注意力融合处理，得到左视图对应的融合图像特征。基于第二求和结果
Figure 20259DEST_PATH_IMAGE042
以及对应的注意力权重
Figure 442013DEST_PATH_IMAGE051
进行注意力融合处理，得到右视图的对应的融合图像特征。
通过上述方式，可以基于注意力权重加强特征融合效果，从而可以准确确定出左视图的融合图像特征和右视图的融合图像特征。
在一些实施例中，基于第一求和结果、第二求和结果以及分别对应的注意力权重进行注意力融合处理，得到左视图和右视图分别对应的融合图像特征，通过以下方式实现：对第一求和结果与左视图对应的注意力权重进行相乘处理，得到第一相乘结果，对第一求和结果与第一相乘结果进行求和处理，得到左视图对应的融合图像特征；对第二求和结果与右视图对应的注意力权重进行相乘处理，得到第二相乘结果，对第二求和结果与第二相乘结果进行求和处理，得到右视图对应的融合图像特征。
作为示例，对第一求和结果
Figure 442330DEST_PATH_IMAGE041
与左视图对应的注意力权重
Figure 316745DEST_PATH_IMAGE048
进行相乘处理，得到第一相乘结果，即
Figure 568866DEST_PATH_IMAGE041
*
Figure 782809DEST_PATH_IMAGE048
；对第一求和结果
Figure 16345DEST_PATH_IMAGE041
与第一相乘结果
Figure 705952DEST_PATH_IMAGE041
*
Figure 620818DEST_PATH_IMAGE048
进行求和处理，得到左视图对应的融合图像特征
Figure 17165DEST_PATH_IMAGE007
。左视图对应的融合图像特征
Figure 500230DEST_PATH_IMAGE007
的计算公式如下：
Figure DEST_PATH_IMAGE053
公式8
其中，
Figure 614816DEST_PATH_IMAGE048
表示左视图对应的注意力权重，
Figure 395690DEST_PATH_IMAGE041
表示第一求和结果。
作为示例，对第二求和结果
Figure 849806DEST_PATH_IMAGE042
与右视图对应的注意力权重
Figure 235263DEST_PATH_IMAGE051
进行相乘处理，得到第二相乘结果，即
Figure 509250DEST_PATH_IMAGE042
*
Figure 828235DEST_PATH_IMAGE051
；对第二求和结果
Figure 995912DEST_PATH_IMAGE042
与第二相乘结果
Figure 945413DEST_PATH_IMAGE042
*
Figure 769013DEST_PATH_IMAGE051
进行求和处理，得到右视图对应的融合图像特征
Figure 439159DEST_PATH_IMAGE008
。右视图对应的融合图像特征
Figure 664604DEST_PATH_IMAGE008
的计算公式如下：
Figure 785007DEST_PATH_IMAGE054
公式9
其中，
Figure 892640DEST_PATH_IMAGE051
表示右视图对应的注意力权重，
Figure 553429DEST_PATH_IMAGE042
表示第二求和结果。
通过上述方式，可以准确确定出左视图的融合图像特征和右视图的融合图像特征。
在步骤105中，基于融合图像特征进行特征重建处理，得到第二分辨率的双目图像。
作为示例，在得到左视图对应的融合图像特征和右视图对应的融合图像特征之后，基于左视图对应的融合图像特征和右视图对应的融合图像特征分别进行特征重建处理，分别得到第二分辨率的左视图和右视图。其中，第二分辨率大于第一分辨率。
作为示例，第二分辨率的双目图像，可以基于第一分辨率的双目图像调用训练后的神经网络模型进行超分辨处理得到。
在一些实施例中，基于融合图像特征进行特征重建处理，得到第二分辨率的双目图像，通过以下方式实现：对双目图像的融合图像特征进行特征重建处理，将得到的重建处理结果直接作为第二分辨率的双目图像。在另一些实施例中，可以对双目图像的融合图像特征进行特征重建处理，对得到的重建处理结果进行卷积处理，得到双目图像的卷积特征；对双目图像进行上采样处理，得到双目图像的第四上采样特征；对卷积特征与第四上采样特征进行求和处理，得到第二分辨率的双目图像。
作为示例，在一些情况下，可以对左视图对应的融合图像特征
Figure 836643DEST_PATH_IMAGE007
进行特征重建处理，将重建结果直接确定为左视图对应的第二分辨率的左视图。其中，特征重建处理可以通过超分辨模型的骨干网络模型如残差密集模块实现。
类似地，可以对右视图对应的融合图像特征
Figure 737734DEST_PATH_IMAGE008
进行特征重建处理，将重建结果直接确定为右视图对应的第二分辨率的右视图。
作为示例，在另一些情况下，可以对左视图对应的融合图像特征
Figure 473609DEST_PATH_IMAGE007
进行特征重建处理，对得到的重建处理结果
Figure DEST_PATH_IMAGE055
进行卷积处理，得到左视图的卷积特征
Figure 265984DEST_PATH_IMAGE056
，这里，可以通过二维卷积层来实现卷积处理，其中二维卷积层的卷积核数可以为3，卷积核大小为3*3，步长为1。对左视图进行上采样处理，得到左视图的第四上采样特征
Figure DEST_PATH_IMAGE057
，这里，可以通过亚像素层来实现上采样处理；对卷积特征
Figure 669284DEST_PATH_IMAGE056
与第四上采样特征
Figure 741276DEST_PATH_IMAGE057
进行求和处理，得到第二分辨率的左视图。
类似地，可以对右视图对应的融合图像特征
Figure 964447DEST_PATH_IMAGE008
进行特征重建处理，对得到的重建处理结果
Figure 232617DEST_PATH_IMAGE058
进行卷积处理，得到右视图的卷积特征
Figure DEST_PATH_IMAGE059
，这里，可以通过二维卷积层来实现卷积处理，其中二维卷积层的卷积核数可以为3，卷积核大小为3*3，步长为1。对右视图进行上采样处理，得到右视图的第四上采样特征
Figure 552740DEST_PATH_IMAGE060
，这里，可以通过亚像素层来实现上采样处理；对卷积特征
Figure 982584DEST_PATH_IMAGE059
与第四上采样特征
Figure 565488DEST_PATH_IMAGE060
进行求和处理，得到第二分辨率的右视图。
在本申请实施例中，通过在不同尺度下对低分辨率的双目图像的层次特征进行融合以及特征对齐，从而能够逐步消除不同尺度下的双目图像的左右视图之间的视差，借助注意力机制来融合对齐特征，由于注意力机制能够实现左右视图之间跨视图的信息交互，因而使得得到的融合图像特征能够充分融合来自另一视图的信息，并能够充分学习左右视图在全局范围内的对应关系，从而基于融合图像特征进行特征重建处理，能够得到质量较高且稳定的高分辨率的双目图像。
下面，将说明本申请实施例在一个实际的双目图像的超分辨率处理的应用场景中的示例性应用。
本申请实施例提供的双目图像的超分辨率处理方法可以通过神经网络模型来实现。下面将结合附图说明本申请实施例提供的神经网络模型。
参见图5，图5是本申请实施例提供的神经网络模型的原理示意图。
如图5所示，神经网络模型主要包括特征提取模块、双向金字塔对齐模块、双向视差注意力模块以及特征重建模块、二维卷积层、亚像素层6个部分。
下面将结合附图说明神经网络模型的每个部分的数据处理过程。
1）特征提取模块
基于第一分辨率的双目图像中的左视图
Figure DEST_PATH_IMAGE061
和右视图
Figure 575032DEST_PATH_IMAGE062
，分别调用特征提取模块进行特征提取处理，分别得到左视图
Figure 546399DEST_PATH_IMAGE061
对应的整体图像特征
Figure DEST_PATH_IMAGE063
、右视图
Figure 694615DEST_PATH_IMAGE062
对应的整体图像特征
Figure 423537DEST_PATH_IMAGE064
。其中，特征提取模块可为超分辨模型的骨干网络模型，比如残差密集模块等。为了减少模型的参数量，在对左视图和右视图分别进行特征提取处理时，特征提取模块使用的是相同的权重参数。
2）双向金字塔对齐模块
参见图6A，图6A是本申请实施例提供的双向金字塔对齐模块的原理示意图。
对左视图
Figure 971193DEST_PATH_IMAGE001
和右视图
Figure 797066DEST_PATH_IMAGE003
分别进行特征对齐。例如，对左视图
Figure 834292DEST_PATH_IMAGE001
进行特征对齐时，将左视图
Figure 253772DEST_PATH_IMAGE001
作为待对齐图像
Figure 214906DEST_PATH_IMAGE025
、右视图
Figure 36232DEST_PATH_IMAGE003
作为参考图像
Figure 244359DEST_PATH_IMAGE026
，然后执行以下处理：
提取
Figure 275769DEST_PATH_IMAGE019
层对应的层次特征。分别基于参考图像
Figure 165228DEST_PATH_IMAGE026
和待对齐图像
Figure 637797DEST_PATH_IMAGE025
，分别调用二维卷积层Conv1_ref和Conv1_nbh进行特征提取处理，得到
Figure 95455DEST_PATH_IMAGE019
层对应的参考图像层次特征
Figure 223948DEST_PATH_IMAGE021
和待对齐图像层次特征
Figure 713835DEST_PATH_IMAGE022
。
提取
Figure 634386DEST_PATH_IMAGE027
层对应的层次特征。分别基于
Figure 856420DEST_PATH_IMAGE019
层对应的参考图像层次特征
Figure 633663DEST_PATH_IMAGE021
和待对齐图像层次特征
Figure 927241DEST_PATH_IMAGE022
，分别调用二维卷积层Conv2_ref和Conv2_nbh进行特征提取处理，得到
Figure 312086DEST_PATH_IMAGE027
层对应的参考图像层次特征
Figure 360813DEST_PATH_IMAGE029
和待对齐图像层次特征
Figure 260636DEST_PATH_IMAGE028
。
提取
Figure 30009DEST_PATH_IMAGE020
层对应的层次特征。分别基于
Figure 597256DEST_PATH_IMAGE027
层对应的参考图像层次特征
Figure 567618DEST_PATH_IMAGE029
和待对齐图像层次特征
Figure 892420DEST_PATH_IMAGE028
，分别调用二维卷积层Conv3_ref和Conv3_nbh进行特征提取处理，得到
Figure 855696DEST_PATH_IMAGE020
层对应的参考图像层次特征
Figure 277451DEST_PATH_IMAGE023
和待对齐图像层次特征
Figure 277768DEST_PATH_IMAGE024
。
接着，按照金字塔顺序逐层生成特征偏移以及对齐特征。
确定
Figure 152183DEST_PATH_IMAGE020
层对应的特征偏移。将
Figure 404304DEST_PATH_IMAGE020
层的层次特征
Figure 618247DEST_PATH_IMAGE023
和
Figure 179679DEST_PATH_IMAGE024
，按通道进行拼接融合处理，得到
Figure 541390DEST_PATH_IMAGE020
层的特征偏移
Figure 721835DEST_PATH_IMAGE030
。
确定
Figure 665652DEST_PATH_IMAGE020
层对应的对齐特征
Figure 70088DEST_PATH_IMAGE031
。基于
Figure 856779DEST_PATH_IMAGE020
层的特征偏移
Figure 965549DEST_PATH_IMAGE030
和待对齐图像层次特征
Figure 950823DEST_PATH_IMAGE024
，调用可变形卷积层DConv3，通过可变形卷积层DConv3实现根据特征偏移
Figure 729423DEST_PATH_IMAGE030
对待对齐图像层次特征
Figure 875846DEST_PATH_IMAGE024
进行特征重采样处理，得到
Figure 194832DEST_PATH_IMAGE020
层对应的对齐特征
Figure 503453DEST_PATH_IMAGE031
。
确定
Figure 312009DEST_PATH_IMAGE027
层对应的特征偏移。首先，通过双线性插值法对
Figure 135609DEST_PATH_IMAGE020
层对应的特征偏移
Figure 195969DEST_PATH_IMAGE030
进行上采样处理，例如上采样2倍，得到上采样特征
Figure 968884DEST_PATH_IMAGE036
。接着，将
Figure 151603DEST_PATH_IMAGE027
层的层次特征
Figure 400182DEST_PATH_IMAGE029
和
Figure 123287DEST_PATH_IMAGE028
按通道进行拼接融合，得到拼接特征。最后，将拼接特征与上采样特征
Figure 203239DEST_PATH_IMAGE036
进行拼接融合，得到
Figure 494543DEST_PATH_IMAGE027
层对应的特征偏移
Figure 105784DEST_PATH_IMAGE037
。
确定
Figure 507946DEST_PATH_IMAGE027
层对应的对齐特征
Figure 442404DEST_PATH_IMAGE040
。首先，基于
Figure 29244DEST_PATH_IMAGE027
层对应的特征偏移
Figure 986835DEST_PATH_IMAGE037
和
Figure 989426DEST_PATH_IMAGE028
，调用可变形卷积层DConv2，通过可变形卷积层DConv2实现根据特征偏移
Figure 857019DEST_PATH_IMAGE037
对待对齐图像层次特征
Figure 628142DEST_PATH_IMAGE028
进行特征重采样处理，得到重采样特征。其次，对
Figure 666505DEST_PATH_IMAGE020
层对应的对齐特征
Figure 207208DEST_PATH_IMAGE031
进行上采样处理，将得到的上采样特征与重采样处理特征进行特征融合处理，得到
Figure 194886DEST_PATH_IMAGE027
层对应的对齐特征
Figure 733315DEST_PATH_IMAGE040
。
确定
Figure 55712DEST_PATH_IMAGE019
层对应的特征偏移。首先，通过双线性插值法对
Figure 400106DEST_PATH_IMAGE027
层对应的特征偏移
Figure 101345DEST_PATH_IMAGE037
进行上采样处理，例如上采样2倍，得到上采样特征
Figure DEST_PATH_IMAGE065
。接着，将
Figure 482779DEST_PATH_IMAGE019
层的层次特征
Figure 902259DEST_PATH_IMAGE021
和
Figure 112661DEST_PATH_IMAGE022
按通道进行拼接融合，得到拼接特征。最后，将拼接特征与上采样特征
Figure 933986DEST_PATH_IMAGE065
进行拼接融合，得到
Figure 142114DEST_PATH_IMAGE019
层对应的特征偏移
Figure 658677DEST_PATH_IMAGE032
。
确定
Figure 344873DEST_PATH_IMAGE019
层对应的对齐特征
Figure 286284DEST_PATH_IMAGE040
。首先，基于
Figure 727630DEST_PATH_IMAGE019
层对应的特征偏移
Figure 918440DEST_PATH_IMAGE032
和
Figure 611589DEST_PATH_IMAGE022
，调用可变形卷积层DConv1，通过可变形卷积层DConv1实现根据特征偏移
Figure 14364DEST_PATH_IMAGE032
对待对齐图像层次特征
Figure 501978DEST_PATH_IMAGE022
进行特征重采样处理，得到重采样特征。其次，对
Figure 507980DEST_PATH_IMAGE027
层对齐特征向量
Figure 801558DEST_PATH_IMAGE040
进行上采样处理，将得到的上采样特征与重采样处理特征进行特征融合处理，得到
Figure 451982DEST_PATH_IMAGE019
层对应的对齐特征
Figure 720283DEST_PATH_IMAGE033
，即左视图在
Figure 88948DEST_PATH_IMAGE019
层对应的对齐特征。
对右视图
Figure 248534DEST_PATH_IMAGE003
进行特征对齐时，将左视图
Figure 815781DEST_PATH_IMAGE001
作为参考图像
Figure 645197DEST_PATH_IMAGE026
，右视图
Figure 110945DEST_PATH_IMAGE003
作为待对齐图像
Figure 746325DEST_PATH_IMAGE025
，获得右视图在
Figure 105762DEST_PATH_IMAGE019
层对应的对齐特征的过程，与上述获得左视图
Figure 230713DEST_PATH_IMAGE019
层对应的对齐特征的过程类似，在此不再赘述。
通过上述方式，得到左视图
Figure 308391DEST_PATH_IMAGE001
对应的对齐特征
Figure 747462DEST_PATH_IMAGE005
（即，左视图在
Figure 836772DEST_PATH_IMAGE019
层对应的对齐特征
Figure 273570DEST_PATH_IMAGE033
）、和右视图对应的对齐特征
Figure 635281DEST_PATH_IMAGE006
（即，右视图在
Figure 674781DEST_PATH_IMAGE019
层对应的对齐特征
Figure 8810DEST_PATH_IMAGE033
）。
3）双向视差注意力模块
参见图6B，图6B是本申请实施例提供的双向视差注意力模块的原理示意图。
在得到左视图对应的对齐特征
Figure 413247DEST_PATH_IMAGE005
和右视图对应的对齐特征
Figure 337953DEST_PATH_IMAGE006
之后，将
Figure 790931DEST_PATH_IMAGE005
与1）中得到的
Figure 41784DEST_PATH_IMAGE002
进行逐像素相加融合，得到融合特征
Figure 679439DEST_PATH_IMAGE041
；将
Figure 219004DEST_PATH_IMAGE006
与1）中得到的
Figure 537990DEST_PATH_IMAGE004
进行逐像素相加融合，得到融合特征
Figure 721978DEST_PATH_IMAGE042
。接着，基于融合特征
Figure 405900DEST_PATH_IMAGE041
和
Figure 963921DEST_PATH_IMAGE042
，调用双向视差注意力模块进行注意力特征融合处理，实现跨视图的信息交互，从而得到左视图和右视图分别对应的融合图像特征
Figure 414494DEST_PATH_IMAGE007
和
Figure 312042DEST_PATH_IMAGE008
。
作为示例，左视图和右视图分别对应的融合图像特征
Figure 229183DEST_PATH_IMAGE007
和
Figure 618707DEST_PATH_IMAGE008
可以通过以下方式得到：首先，进行特征归一化处理。对融合特征
Figure 217179DEST_PATH_IMAGE041
和
Figure 359447DEST_PATH_IMAGE042
分别按照对应的特征宽度
Figure 713068DEST_PATH_IMAGE066
进行归一化处理，得到归一化特征
Figure 448943DEST_PATH_IMAGE043
和
Figure 726471DEST_PATH_IMAGE046
。其次，计算注意力图M。对归一化特征
Figure 598612DEST_PATH_IMAGE043
和
Figure 123135DEST_PATH_IMAGE046
进行逐像素相乘处理，得到注意力图M。接着，计算左视图和右视图分别对应的注意力权重。对注意力图M进行转置运算，基于转置运算结果调用softmax层进行计算处理，得到左视图注意力权重
Figure 470939DEST_PATH_IMAGE048
；基于注意力图M调用softmax层进行计算处理，得到右视图注意力权重
Figure 411214DEST_PATH_IMAGE051
。其中，
Figure DEST_PATH_IMAGE067
和
Figure 541456DEST_PATH_IMAGE068
的取值范围为（0，1）。最后，进行残差融合处理。对于左视图，将
Figure 174563DEST_PATH_IMAGE067
与融合特征
Figure 744084DEST_PATH_IMAGE041
相乘，得到相乘结果，为了进一步加强特征融合效果，将相乘结果与融合特征
Figure 550366DEST_PATH_IMAGE041
进行逐项素相加处理，得到左视图的融合图像特征
Figure 662679DEST_PATH_IMAGE007
（即，
Figure DEST_PATH_IMAGE069
）。通过类似的方式确定右视图的融合图像特征
Figure 545315DEST_PATH_IMAGE008
（即，
Figure 867712DEST_PATH_IMAGE070
）。
4）特征重建模块
基于3）中得到的左视图的融合图像特征
Figure 212106DEST_PATH_IMAGE007
、以及右视图的融合图像特征
Figure 178925DEST_PATH_IMAGE008
，分别调用特征重建模块进行特征重建处理，得到左视图对应的重建特征
Figure 29200DEST_PATH_IMAGE055
、右视图对应的重建特征
Figure 714260DEST_PATH_IMAGE058
。这里，特征重建模块可以为超分辨模型的骨干网络模型，如残差密集模块。
5）二维卷积层
基于4）中的得到的左视图对应的重建特征
Figure 924661DEST_PATH_IMAGE055
、右视图对应的重建特征
Figure 745987DEST_PATH_IMAGE058
，分别调用对应的二维卷积层进行卷积处理，得到左视图对应的卷积特征
Figure 32743DEST_PATH_IMAGE056
、右视图对应的卷积特征
Figure 736256DEST_PATH_IMAGE059
。其中，每个二维卷积层的卷积核的数量可以为3，卷积核大小为3*3，步长为1。
6）亚像素层
基于左视图和右视图分别调用对应的亚像素层进行上采样处理，分别得到左视图对应的上采样特征
Figure 625715DEST_PATH_IMAGE057
和右视图对应的上采样特征
Figure 691760DEST_PATH_IMAGE060
。将左视图对应的卷积特征
Figure 742893DEST_PATH_IMAGE056
与左视图对应的上采样特征
Figure 9401DEST_PATH_IMAGE057
进行求和处理，得到第二分辨率的左视图
Figure 702551DEST_PATH_IMAGE009
；将右视图对应的卷积特征
Figure 295206DEST_PATH_IMAGE059
与右视图对应的上采样特征
Figure 907453DEST_PATH_IMAGE060
进行求和处理，得到第二分辨率的右视图
Figure 788822DEST_PATH_IMAGE010
。其中，第二分辨率大于第一分辨率。
在使用神经网络模型进行超分辨率处理之前，需要先对神经网络模型进行训练，下面将结合附图说明神经网络模型的训练方法。
参见图7，图7是本申请实施例提供的神经网络模型的训练以及应用过程的流程示意图，将结合图7示出的步骤701-步骤704进行说明。该训练以及应用过程可以由终端或服务器单独执行，也可以由终端和服务器协同执行，下面将以该训练以及应用过程由服务器执行为例进行说明。
在步骤701中，获取多个第二分辨率的双目图像。
在步骤702中，对第二分辨率的双目图像进行下采样处理，得到第一分辨率的双目图像，随机在图像中裁剪图像块，得到训练数据和标签数据。
作为示例，可以采用双三次插值法实现下采样处理。将对第一分辨率的双目图像进行裁剪得到的图像块，作为训练数据；将对第二分辨率的双目图像进行裁剪得到的图像块，作为训练数据对应的标签数据。其中，第二分辨率大于第一分辨率。
在步骤703中，基于第一分辨率的双目图像调用神经网络网络模型进行迭代训练，当损失值小于特定阈值，或者达到设定的迭代次数后停止训练，得到训练后的模型。
需要说明的是，神经网络模型的训练过程与上文所述的步骤201-步骤204类似，在此不再赘述。
在得到训练后的神经网络模型之后，对训练后的神经网络模型进行性能评估。
下面的表1记录了本申请提供的训练后的神经网络模型与相关技术中的模型分别在KITTI2015数据集和Flickr1024数据集上的PSNR指标和SSIM指标。
表1 不同模型在不同数据集上的PSNR指标和SSIM指标
Figure 895449DEST_PATH_IMAGE072
如表1所示，对于KITTI2015数据集，本申请提供的模型在PSNR和SSIM指标上，相较于相关技术中的模型C有0.36和0.008的提升。对于Flickr1024数据集，本申请提供的模型在PSNR和SSIM指标上，相较于相关技术的模型C有1.0和0.0129的提升。
参见图8，图8是本申请实施例提供的神经网络模型的处理结果与其他模型的处理结果的对比示意图。
可见，相较于相关技术中的其他模型处理得到的高分辨率的双目图像，本申请提供的神经网络模型处理得到的高分辨率的双目图像，具有更高的清晰度，如车轮胎和条纹纹理处的清晰度，显著高于其它模型得到的图像的车轮胎和条纹纹理处的清晰度。
在步骤704中，基于第一分辨率的双目图像，调用训练后的神经网络模型进行超分辨率处理，得到第二分辨率的双目图像。
作为示例，在对训练后的神经网络模型进行测试之后，可以使用训练后的神经网络模型进行超分辨率处理，以得到第二分辨率的双目图像。
需要说明的是，训练后的神经网络模型的超分辨率处理过程与上文所述的6个部分的数据处理过程相同，在此不再赘述。
在本申请实施例中，与相关技术中基于深度学习的双目图像的超分辨率处理模型相比，本申请实施例提供的基于可变形卷积的神经网络模型，可以从粗到精进行多尺度的特征对齐处理，能够处理复杂的左右视图不一致的情况，也能够使得得到的高分辨率的左右视图的质量更加稳定。
下面继续说明本申请实施例提供的双目图像的超分辨率处理装置233的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器230的双目图像的超分辨率处理装置233中的软件模块可以包括：特征提取处理模块2331，用于按照尺度逐层减小的第一层次顺序，基于第一分辨率的双目图像进行级联的多个层次的特征提取处理，得到尺度逐层减小的多个层次特征；特征融合处理模块2332，用于按照尺度逐层增加的第二层次顺序，依次在每个层次执行以下处理：基于层次对应的层次特征进行特征融合处理，得到层次对应的特征偏移；特征对齐处理模块2333，用于基于层次对应的特征偏移进行特征对齐处理，得到层次对应的对齐特征；注意力融合处理模块2334，用于基于最大尺度的层次对应的对齐特征进行注意力融合处理，得到双目图像的融合图像特征；特征重建处理模块2335，用于基于融合图像特征进行特征重建处理，得到第二分辨率的双目图像；其中，第二分辨率大于第一分辨率。
上述方案中，双目图像包括左视图和右视图；特征提取处理模块2331，用于依次将双目图像中的一个视图作为待对齐图像，将另一个视图作为参考图像，针对待对齐图像和参考图像的每种组合，执行以下处理：通过第一层次顺序中的第一层次，对待对齐图像以及参考图像进行特征提取处理，得到第一层次对应的待对齐图像层次特征以及参考图像层次特征；将第一层次对应的待对齐图像层次特征、以及参考图像层次特征输出到后续层次，以在后续层次中继续进行特征提取处理，并输出后续层次对应的待对齐图像层次特征以及参考图像层次特征；其中，按照第一层次顺序，多个层次分别输出的待对齐图像层次特征以及参考图像层次特征具有以下特性：所对应的通道数量逐层增加。
上述方案中，在当前待处理的层次是第二层次顺序中的第一层次的情况下，特征融合处理模块2332，用于对层次对应的待对齐图像层次特征与参考图像层次特征按照所包括的通道进行合并，得到层次对应的特征偏移；其中，层次对应的特征偏移的通道数量为以下两者的加和：待对齐图像层次特征的通道数量，参考图像层次特征对应的通道数量。
上述方案中，在当前待处理的层次不是第二层次顺序中的第一层次的情况下，特征融合处理模块2332，用于对层次的上一层次对应的特征偏移进行上采样处理，得到第一上采样特征；对层次对应的待对齐图像层次特征与参考图像层次特征按照所包括的通道进行合并，得到第一融合特征；对第一上采样特征与第一融合特征按照所包括的通道进行合并，得到层次对应的特征偏移；其中，层次对应的特征偏移的通道数量为以下两者的加和：第一上采样特征的通道数量，第一融合特征的通道数量。
上述方案中，双目图像包括左视图和右视图，在特征对齐处理的待对齐图像为左视图的情况下，特征对齐处理对应的待对齐图像层次特征为左视图层次特征，在特征对齐处理的待对齐图像为右视图的情况下，特征对齐处理对应的待对齐图像层次特征为右视图层次特征；特征对齐处理模块2333，用于在特征对齐处理的待对齐图像为左视图的情况下，基于层次对应的特征偏移、以及层次对应的左视图层次特征进行特征对齐处理，得到左视图在层次对应的对齐特征；在特征对齐处理的待对齐图像为右视图的情况下，基于层次对应的特征偏移、以及层次对应的右视图层次特征进行特征对齐处理，得到右视图在层次对应的对齐特征。
上述方案中，特征对齐处理模块2333，用于在当前待处理的层次是第二层次顺序中的第一层次的情况下，通过层次对应的特征偏移，对层次对应的左视图层次特征进行重采样处理，得到左视图在层次对应的对齐特征；在当前待处理的层次不是第二层次顺序中的第一层次的情况下，对左视图在上一层次对应的对齐特征进行上采样处理，得到第二上采样特征；通过层次对应的特征偏移，对层次对应的左视图层次特征进行重采样处理，得到第一重采样特征；对第二上采样特征与第一重采样特征按照所包括的通道进行合并，得到左视图在层次对应的对齐特征；其中，左视图在层次对应的对齐特征的通道数量为以下两者的加和：第二上采样特征的通道数量，第一重采样特征的通道数量。
上述方案中，特征对齐处理模块2333，用于在当前待处理的层次是第二层次顺序中的第一层次的情况下，通过层次对应的特征偏移，对层次对应的右视图层次特征进行重采样处理，得到右视图在层次对应的对齐特征；在当前待处理的层次不是第二层次顺序中的第一层次的情况下，对右视图在上一层次对应的对齐特征进行上采样处理，得到第三上采样特征；通过层次对应的特征偏移，对层次对应的右视图层次特征进行重采样处理，得到第二重采样特征；对第三上采样特征与第二重采样特征按照所包括的通道进行合并，得到右视图在层次对应的对齐特征；其中，右视图在层次对应的对齐特征的通道数量为以下两者的加和：第三上采样特征的通道数量，第二重采样特征的通道数量。
上述方案中，注意力融合处理模块2334，用于对双目图像进行特征提取处理，得到双目图像中的左视图和右视图分别对应的整体图像特征；对左视图对应的整体图像特征、以及左视图在最大尺度的层次对应的对齐特征进行求和处理，得到第一求和结果；对右视图对应的整体图像特征、以及右视图在最大尺度的层次对应的对齐特征进行求和处理，得到第二求和结果；基于第一求和结果、第二求和结果以及分别对应的注意力权重进行注意力融合处理，得到左视图和右视图分别对应的融合图像特征。
上述方案中，注意力融合处理模块2334，用于对第一求和结果进行归一化处理，得到第一归一化处理结果；对第二求和结果进行归一化处理，得到第二归一化处理结果；对第一归一化处理结果和第二归一化处理结果进行相乘处理，得到注意力图；基于注意力图确定左视图和右视图分别对应的注意力权重。
上述方案中，注意力融合处理模块2334，用于对注意力图进行转置运算，通过激活函数对得到的转置运算结果进行激活计算处理，得到左视图对应的注意力权重；通过激活函数对注意力图进行激活计算处理，得到右视图对应的注意力权重。
上述方案中，注意力融合处理模块2334，用于对第一求和结果与左视图对应的注意力权重进行相乘处理，得到第一相乘结果，对第一求和结果与第一相乘结果进行求和处理，得到左视图对应的融合图像特征；对第二求和结果与右视图对应的注意力权重进行相乘处理，得到第二相乘结果，对第二求和结果与第二相乘结果进行求和处理，得到右视图对应的融合图像特征。
上述方案中，特征重建处理模块2335，用于对双目图像的融合图像特征进行特征重建处理，将得到的重建处理结果直接作为第二分辨率的双目图像；或者，对双目图像的融合图像特征进行特征重建处理，对得到的重建处理结果进行卷积处理，得到双目图像的卷积特征；对双目图像进行上采样处理，得到双目图像的第四上采样特征；对卷积特征与第四上采样特征进行求和处理，得到第二分辨率的双目图像。
上述方案中，第二分辨率的双目图像是基于第一分辨率的双目图像调用训练后的神经网络模型进行超分辨率处理得到的；上述装置还包括训练模块，用于基于第一分辨率的第一样本双目图像，调用初始化的神经网络模型进行超分辨率处理，得到第二分辨率的第一预测双目图像；将第二分辨率的第一预测双目图像以及对应的第二分辨率的第一真实双目图像分别对应的特征向量，代入损失函数进行计算，得到损失值；在反向传播过程中，基于损失值更新神经网络模型的参数。
上述方案中，通过以下方式确定第一分辨率的第一样本双目图像、以及第二分辨率的第一真实双目图像：获取多个第二分辨率的第二样本双目图像；其中，每个第二样本双目图像包括一个第二样本左视图和一个第二样本右视图；对每个第二分辨率的第二样本双目图像进行下采样处理，得到对应的第一分辨率的第二样本双目图像；对第一分辨率的第二样本双目图像、以及第二分辨率的第二样本双目图像进行裁剪处理，分别得到第一分辨率的第二样本双目图像块、以及第二分辨率的第二样本双目图像块；将第一分辨率的第二样本双目图像块确定为第一分辨率的第一样本双目图像，并将第二分辨率的第二样本双目图像块确定为第二分辨率的第一真实双目图像。
本申请实施例提供了一种计算机程序产品，该计算机程序产品包括可执行指令，该可执行指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该可执行指令，处理器执行该可执行指令，使得该电子设备执行本申请实施例上述的双目图像的超分辨率处理方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的双目图像的超分辨率处理方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可被部署为在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行。
综上所述，本申请实施例通过在不同尺度下对低分辨率的双目图像的层次特征进行融合以及特征对齐，从而能够逐步消除不同尺度下的双目图像的左右视图之间的视差，借助注意力机制来融合对齐特征，由于注意力机制能够实现左右视图之间跨视图的信息交互，因而使得得到的融合图像特征能够充分融合来自另一视图的信息，并能够充分学习左右视图在全局范围内的对应关系，从而基于融合图像特征进行特征重建处理，能够得到质量较高且稳定的高分辨率的双目图像。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (17)

1.一种双目图像的超分辨率处理方法，其特征在于，所述方法包括：
按照尺度逐层减小的第一层次顺序，基于第一分辨率的双目图像进行级联的多个层次的特征提取处理，得到所述尺度逐层减小的多个层次特征；
按照所述尺度逐层增加的第二层次顺序，依次在每个所述层次执行以下处理：基于所述层次对应的所述层次特征进行特征融合处理，得到所述层次对应的特征偏移，以及
基于所述层次对应的所述特征偏移进行特征对齐处理，得到所述层次对应的对齐特征；
基于最大尺度的所述层次对应的所述对齐特征进行注意力融合处理，得到所述双目图像的融合图像特征；
基于所述融合图像特征进行特征重建处理，得到第二分辨率的双目图像；其中，所述第二分辨率大于所述第一分辨率。
2.根据权利要求1所述的方法，其特征在于，
所述双目图像包括左视图和右视图；
所述基于第一分辨率的双目图像进行级联的多个层次的特征提取处理，得到所述尺度逐层减小的多个层次特征，包括：
依次将所述双目图像中的一个视图作为待对齐图像，将另一个视图作为参考图像，针对所述待对齐图像和所述参考图像的每种组合，执行以下处理：
通过所述第一层次顺序中的第一层次，对所述待对齐图像以及所述参考图像进行特征提取处理，得到所述第一层次对应的待对齐图像层次特征以及参考图像层次特征；
将所述第一层次对应的所述待对齐图像层次特征、以及所述参考图像层次特征输出到后续层次，以在所述后续层次中继续进行特征提取处理，并输出所述后续层次对应的待对齐图像层次特征以及参考图像层次特征；
其中，按照所述第一层次顺序，所述多个层次分别输出的所述待对齐图像层次特征以及所述参考图像层次特征具有以下特性：所对应的通道数量逐层增加。
3.根据权利要求2所述的方法，其特征在于，
在当前待处理的所述层次是所述第二层次顺序中的第一层次的情况下，所述基于所述层次对应的所述层次特征进行特征融合处理，得到所述层次对应的特征偏移，包括：
对所述层次对应的所述待对齐图像层次特征与所述参考图像层次特征按照所包括的通道进行合并，得到所述层次对应的特征偏移；
其中，所述层次对应的特征偏移的通道数量为以下两者的加和：所述待对齐图像层次特征的通道数量，所述参考图像层次特征对应的通道数量。
4.根据权利要求2所述的方法，其特征在于，
在当前待处理的所述层次不是所述第二层次顺序中的第一层次的情况下，所述基于所述层次对应的所述层次特征进行特征融合处理，得到所述层次对应的特征偏移，包括：
对所述层次的上一层次对应的特征偏移进行上采样处理，得到第一上采样特征；
对所述层次对应的所述待对齐图像层次特征与所述参考图像层次特征按照所包括的通道进行合并，得到第一融合特征；
对所述第一上采样特征与所述第一融合特征按照所包括的通道进行合并，得到所述层次对应的特征偏移；其中，所述层次对应的特征偏移的通道数量为以下两者的加和：所述第一上采样特征的通道数量，所述第一融合特征的通道数量。
5.根据权利要求1所述的方法，其特征在于，
所述双目图像包括左视图和右视图，在所述特征对齐处理的待对齐图像为所述左视图的情况下，所述特征对齐处理对应的待对齐图像层次特征为左视图层次特征，在所述特征对齐处理的待对齐图像为所述右视图的情况下，所述特征对齐处理对应的所述待对齐图像层次特征为右视图层次特征；
所述基于所述层次对应的所述特征偏移进行特征对齐处理，得到所述层次对应的对齐特征，包括：
在所述特征对齐处理的待对齐图像为所述左视图的情况下，基于所述层次对应的特征偏移、以及所述层次对应的所述左视图层次特征进行特征对齐处理，得到所述左视图在所述层次对应的对齐特征；
在所述特征对齐处理的待对齐图像为所述右视图的情况下，基于所述层次对应的特征偏移、以及所述层次对应的所述右视图层次特征进行特征对齐处理，得到所述右视图在所述层次对应的对齐特征。
6.根据权利要求5所述的方法，其特征在于，
所述基于所述层次对应的特征偏移、以及所述层次对应的所述左视图层次特征进行特征对齐处理，得到所述左视图在所述层次对应的对齐特征，包括：
在当前待处理的所述层次是所述第二层次顺序中的第一层次的情况下，通过所述层次对应的所述特征偏移，对所述层次对应的所述左视图层次特征进行重采样处理，得到所述左视图在所述层次对应的对齐特征；
在当前待处理的所述层次不是所述第二层次顺序中的第一层次的情况下，对所述左视图在上一层次对应的所述对齐特征进行上采样处理，得到第二上采样特征；
通过所述层次对应的所述特征偏移，对所述层次对应的所述左视图层次特征进行重采样处理，得到第一重采样特征；
对所述第二上采样特征与所述第一重采样特征按照所包括的通道进行合并，得到所述左视图在所述层次对应的对齐特征；其中，所述左视图在所述层次对应的对齐特征的通道数量为以下两者的加和：所述第二上采样特征的通道数量，所述第一重采样特征的通道数量。
7.根据权利要求5所述的方法，其特征在于，
所述基于所述层次对应的特征偏移、以及所述层次对应的所述右视图层次特征进行特征对齐处理，得到所述右视图在所述层次对应的对齐特征，包括：
在当前待处理的所述层次是所述第二层次顺序中的第一层次的情况下，通过所述层次对应的所述特征偏移，对所述层次对应的所述右视图层次特征进行重采样处理，得到所述右视图在所述层次对应的对齐特征；
在当前待处理的所述层次不是所述第二层次顺序中的第一层次的情况下，对所述右视图在上一层次对应的所述对齐特征进行上采样处理，得到第三上采样特征；
通过所述层次对应的所述特征偏移，对所述层次对应的所述右视图层次特征进行重采样处理，得到第二重采样特征；
对所述第三上采样特征与所述第二重采样特征按照所包括的通道进行合并，得到所述右视图在所述层次对应的对齐特征；其中，所述右视图在所述层次对应的对齐特征的通道数量为以下两者的加和：所述第三上采样特征的通道数量，所述第二重采样特征的通道数量。
8.根据权利要求1所述的方法，其特征在于，
所述基于最大尺度的所述层次对应的所述对齐特征进行注意力融合处理，得到所述双目图像的融合图像特征，包括：
对所述双目图像进行特征提取处理，得到所述双目图像中的左视图和右视图分别对应的整体图像特征；
对所述左视图对应的整体图像特征、以及所述左视图在最大尺度的所述层次对应的所述对齐特征进行求和处理，得到第一求和结果；
对所述右视图对应的整体图像特征、以及所述右视图在最大尺度的所述层次对应的所述对齐特征进行求和处理，得到第二求和结果；
基于所述第一求和结果、所述第二求和结果以及分别对应的注意力权重进行注意力融合处理，得到所述左视图和所述右视图分别对应的融合图像特征。
9.根据权利要求8所述的方法，其特征在于，
在所述基于所述第一求和结果、所述第二求和结果以及分别对应的注意力权重进行注意力融合处理，得到所述左视图和所述右视图分别对应的融合图像特征之前，所述方法还包括：
对所述第一求和结果进行归一化处理，得到第一归一化处理结果；
对所述第二求和结果进行归一化处理，得到第二归一化处理结果；
对所述第一归一化处理结果和所述第二归一化处理结果进行相乘处理，得到注意力图；
基于所述注意力图确定所述左视图和所述右视图分别对应的注意力权重。
10.根据权利要求9所述的方法，其特征在于，
所述基于所述注意力图确定所述左视图和所述右视图分别对应的注意力权重，包括：
对所述注意力图进行转置运算，通过激活函数对得到的转置运算结果进行激活计算处理，得到所述左视图对应的注意力权重；
通过所述激活函数对所述注意力图进行激活计算处理，得到所述右视图对应的注意力权重。
11.根据权利要求8所述的方法，其特征在于，
所述基于所述第一求和结果、所述第二求和结果以及分别对应的注意力权重进行注意力融合处理，得到所述左视图和所述右视图分别对应的融合图像特征，包括：
对所述第一求和结果与所述左视图对应的注意力权重进行相乘处理，得到第一相乘结果，对所述第一求和结果与所述第一相乘结果进行求和处理，得到所述左视图对应的融合图像特征；
对所述第二求和结果与所述右视图对应的注意力权重进行相乘处理，得到第二相乘结果，对所述第二求和结果与所述第二相乘结果进行求和处理，得到所述右视图对应的融合图像特征。
12.根据权利要求1所述的方法，其特征在于，
所述基于所述融合图像特征进行特征重建处理，得到第二分辨率的双目图像，包括：
对所述双目图像的融合图像特征进行特征重建处理，将得到的重建处理结果直接作为所述第二分辨率的双目图像；或者，
对所述双目图像的融合图像特征进行特征重建处理，对得到的重建处理结果进行卷积处理，得到所述双目图像的卷积特征；对所述双目图像进行上采样处理，得到所述双目图像的第四上采样特征；对所述卷积特征与所述第四上采样特征进行求和处理，得到所述第二分辨率的双目图像。
13.根据权利要求1至12任一项所述的方法，其特征在于，
所述第二分辨率的双目图像是基于所述第一分辨率的双目图像调用训练后的神经网络模型进行超分辨率处理得到的；
在所述基于所述第一分辨率的双目图像调用训练后的神经网络模型进行超分辨率处理之前，所述方法还包括：
通过以下方式训练所述神经网络模型：
基于所述第一分辨率的第一样本双目图像，调用初始化的所述神经网络模型进行超分辨率处理，得到所述第二分辨率的第一预测双目图像；
将所述第二分辨率的第一预测双目图像以及所述第二分辨率的第一真实双目图像分别对应的特征向量，代入损失函数进行计算，得到损失值；
在反向传播过程中，基于所述损失值更新所述神经网络模型的参数。
14.根据权利要求13所述的方法，其特征在于，所述方法还包括：
通过以下方式确定所述第一分辨率的第一样本双目图像、以及所述第二分辨率的第一真实双目图像：
获取多个所述第二分辨率的第二样本双目图像；其中，每个所述第二样本双目图像包括一个第二样本左视图和一个第二样本右视图；
对每个所述第二分辨率的第二样本双目图像进行下采样处理，得到所述第一分辨率的第二样本双目图像；
对所述第一分辨率的第二样本双目图像、以及所述第二分辨率的第二样本双目图像进行裁剪处理，分别得到所述第一分辨率的第二样本双目图像块、以及所述第二分辨率的第二样本双目图像块；
将所述第一分辨率的第二样本双目图像块确定为所述第一分辨率的第一样本双目图像，并将所述第二分辨率的第二样本双目图像块确定为所述第二分辨率的第一真实双目图像。
15.一种双目图像的超分辨率处理装置，其特征在于，所述装置包括：
特征提取处理模块，用于按照尺度逐层减小的第一层次顺序，基于第一分辨率的双目图像进行级联的多个层次的特征提取处理，得到所述尺度逐层减小的多个层次特征；
特征融合处理模块，用于按照所述尺度逐层增加的第二层次顺序，依次在每个所述层次执行以下处理：基于所述层次对应的所述层次特征进行特征融合处理，得到所述层次对应的特征偏移；
特征对齐处理模块，用于基于所述层次对应的所述特征偏移进行特征对齐处理，得到所述层次对应的对齐特征；
注意力融合处理模块，用于基于最大尺度的所述层次对应的所述对齐特征进行注意力融合处理，得到所述双目图像的融合图像特征；
特征重建处理模块，用于基于所述融合图像特征进行特征重建处理，得到第二分辨率的双目图像；其中，所述第二分辨率大于所述第一分辨率。
16.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至14任一项所述的双目图像的超分辨率处理方法。
17.一种计算机可读存储介质，其特征在于，存储有可执行指令，所述可执行指令用于被处理器执行时实现权利要求1至14任一项所述的双目图像的超分辨率处理方法。
CN202210712157.1A 2022-06-22 2022-06-22 双目图像的超分辨率处理方法、装置、设备及介质 Active CN114819109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210712157.1A CN114819109B (zh) 2022-06-22 2022-06-22 双目图像的超分辨率处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210712157.1A CN114819109B (zh) 2022-06-22 2022-06-22 双目图像的超分辨率处理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114819109A true CN114819109A (zh) 2022-07-29
CN114819109B CN114819109B (zh) 2022-09-16

Family

ID=82520951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210712157.1A Active CN114819109B (zh) 2022-06-22 2022-06-22 双目图像的超分辨率处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114819109B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019051464A1 (en) * 2017-09-11 2019-03-14 Lang Philipp K INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT
WO2019148154A1 (en) * 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
CN110689061A (zh) * 2019-09-19 2020-01-14 深动科技（北京）有限公司 一种基于对齐特征金字塔网络的图像处理方法、装置及系统
US20200025931A1 (en) * 2018-03-14 2020-01-23 Uber Technologies, Inc. Three-Dimensional Object Detection
US20200160559A1 (en) * 2018-11-16 2020-05-21 Uatc, Llc Multi-Task Multi-Sensor Fusion for Three-Dimensional Object Detection
CN111524068A (zh) * 2020-04-14 2020-08-11 长安大学 一种基于深度学习的变长输入超分辨率视频重建方法
CN111861888A (zh) * 2020-07-27 2020-10-30 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及存储介质
WO2020220517A1 (zh) * 2019-04-30 2020-11-05 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
WO2021043273A1 (zh) * 2019-09-04 2021-03-11 华为技术有限公司 图像增强方法和装置
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质
CN113052210A (zh) * 2021-03-11 2021-06-29 北京工业大学 一种基于卷积神经网络的快速低光照目标检测方法
US20210326656A1 (en) * 2020-04-15 2021-10-21 Adobe Inc. Panoptic segmentation
CN113902623A (zh) * 2021-11-22 2022-01-07 天津大学 引入尺度信息的任意倍视频超分辨率方法
CN114202457A (zh) * 2021-09-18 2022-03-18 北京旷视科技有限公司 低分辨率图像的处理方法、电子设备及计算机程序产品

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019051464A1 (en) * 2017-09-11 2019-03-14 Lang Philipp K INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT
WO2019148154A1 (en) * 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
US20200025931A1 (en) * 2018-03-14 2020-01-23 Uber Technologies, Inc. Three-Dimensional Object Detection
US20200160559A1 (en) * 2018-11-16 2020-05-21 Uatc, Llc Multi-Task Multi-Sensor Fusion for Three-Dimensional Object Detection
WO2020220517A1 (zh) * 2019-04-30 2020-11-05 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
WO2021043273A1 (zh) * 2019-09-04 2021-03-11 华为技术有限公司 图像增强方法和装置
CN110689061A (zh) * 2019-09-19 2020-01-14 深动科技（北京）有限公司 一种基于对齐特征金字塔网络的图像处理方法、装置及系统
CN111524068A (zh) * 2020-04-14 2020-08-11 长安大学 一种基于深度学习的变长输入超分辨率视频重建方法
US20210326656A1 (en) * 2020-04-15 2021-10-21 Adobe Inc. Panoptic segmentation
CN111861888A (zh) * 2020-07-27 2020-10-30 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及存储介质
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质
CN113052210A (zh) * 2021-03-11 2021-06-29 北京工业大学 一种基于卷积神经网络的快速低光照目标检测方法
CN114202457A (zh) * 2021-09-18 2022-03-18 北京旷视科技有限公司 低分辨率图像的处理方法、电子设备及计算机程序产品
CN113902623A (zh) * 2021-11-22 2022-01-07 天津大学 引入尺度信息的任意倍视频超分辨率方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YING X等: "A Stereo Attention Module for Stereo Image Super-Resolution", 《IEEE SIGNAL PROCESSING LETTERS》 *
吴宇峰: "基于特征处理的视频超分辨率关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN114819109B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
Sun et al. Learned image downscaling for upscaling using content adaptive resampler
CN111047516B (zh) 图像处理方法、装置、计算机设备和存储介质
Cheng et al. Zero-shot image super-resolution with depth guided internal degradation learning
Wang et al. Enhanced deep blind hyperspectral image fusion
CN108960345A (zh) 一种遥感图像的融合方法、系统及相关组件
CN111683269A (zh) 视频处理方法、装置、计算机设备和存储介质
CN110717851A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
Ghassab et al. Light field super-resolution using edge-preserved graph-based regularization
CN110517352B (zh) 一种物体的三维重建方法、存储介质、终端及系统
CN112750201B (zh) 三维重建方法及相关装置、设备
CN115082322B (zh) 图像处理方法和装置、图像重建模型的训练方法和装置
CN110880162A (zh) 基于深度学习的快照光谱深度联合成像方法及系统
Jin et al. Light field super-resolution via attention-guided fusion of hybrid lenses
CN116071279A (zh) 图像处理方法、装置、计算机设备和存储介质
CN115496654A (zh) 基于自注意力机制的图像超分辨率重建方法、设备及介质
CN110335228B (zh) 一种图像视差的确定方法、装置及系统
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
CN116912148B (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
CN114219900A (zh) 基于混合现实眼镜的三维场景重建方法、重建系统和应用
CN114359041A (zh) 一种光场图像空间超分辨率重建方法
CN117576292A (zh) 三维场景渲染方法及装置、电子设备、存储介质
Lu et al. Low-rank constrained super-resolution for mixed-resolution multiview video
CN116630152A (zh) 图像分辨率重建方法、装置、存储介质及电子设备
CN114819109B (zh) 双目图像的超分辨率处理方法、装置、设备及介质
CN115205112A (zh) 一种真实复杂场景图像超分辨率的模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40070801

Country of ref document: HK