CN120070281A - 双目火星图像的质量增强方法、装置、设备、介质及产品 - Google Patents

双目火星图像的质量增强方法、装置、设备、介质及产品 Download PDF

Info

Publication number
CN120070281A
CN120070281A CN202510135795.5A CN202510135795A CN120070281A CN 120070281 A CN120070281 A CN 120070281A CN 202510135795 A CN202510135795 A CN 202510135795A CN 120070281 A CN120070281 A CN 120070281A
Authority
CN
China
Prior art keywords
eye
feature
enhancement
image
mars
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202510135795.5A
Other languages
English (en)
Inventor
徐迈
朱英琳
幸群亮
杨晶
邹昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202510135795.5A priority Critical patent/CN120070281A/zh
Publication of CN120070281A publication Critical patent/CN120070281A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及计算机视觉技术领域，尤其涉及一种双目火星图像的质量增强方法、装置、设备、介质及产品。包括：获取双目火星图像对，双目火星图像对包括左目压缩火星图像和右目压缩火星图像；将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，增强图像对包括左目火星增强图像和右目火星增强图像；其中，预训练图像质量增强模型基于预建的双目火星图像数据集训练优化得到，预训练图像质量增强模型包括特征提取组件、基于注意力的跨视角网络和图像重建组件。

Description

双目火星图像的质量增强方法、装置、设备、介质及产品
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种双目火星图像的质量增强方法、装置、设备、介质及产品。
背景技术
在火星探测快速发展的推动下，毅力号和祝融号等漫游车成功登陆火星，并拍摄了珍贵的火星表面图像。这些图像为科学研究提供了宝贵的数据。而传回地球的火星图像通常经过了有损压缩，这不可避免地会引入压缩伪影并降低图像质量。
目前，关于火星图像质量增强的方案一种是利用了火星图像之间的语义相似性进行质量增强，另一种是直接利用地球图像质量增强的方法对火星图像进行质量增强。但是这两种方法都都属于单目方法，仅依赖于单视角图像，而火星探测器配备了立体相机来拍摄双目图像，通过单目图像质量增强方法对双目图像进行增强存在信息利用不充分、左右视图差异处理不当，计算复杂，效率低下等问题。因此，亟需一种用于增强双目火星图像质量的方案。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种双目火星图像的质量增强方法、装置、设备、介质及产品，可以提高双目火星图像质量增强任务的性能，提高增强双目火星图像质量时的效率和效果。
为了实现上述目的，本申请实施例提供的技术方案如下：
第一方面，本申请提供一种双目火星图像的质量增强方法，包括：获取双目火星图像对，双目火星图像对包括左目压缩火星图像和右目压缩火星图像；将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，增强图像对包括左目火星增强图像和右目火星增强图像；其中，预训练图像质量增强模型基于预建的双目火星图像数据集训练优化得到，预训练图像质量增强模型包括特征提取组件、基于注意力的跨视角网络和图像重建组件。
作为本申请实施例中提供的一种可选实施方式，将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，包括：将左目压缩火星图像和右目压缩火星图像输入特征提取组件，得到特征提取组件输出的左目特征和右目特征；将左目特征和右目特征输入基于注意力的跨视角网络，得到基于注意力的跨视角网络输出的左目增强特征和右目增强特征；将左目增强特征和右目增强特征输入图像重建组件，得到图像重建组件输出的左目火星增强图像和右目火星增强图像。
作为本申请实施例中提供的一种可选实施方式，基于注意力的跨视角网络包括第一块级注意力模块、像素级注意力模块和第二块级注意力模块；将左目特征和右目特征输入基于注意力的跨视角网络，得到基于注意力的跨视角网络输出的左目增强特征和右目增强特征，包括：将左目特征和右目特征输入第一块级注意力模块，得到第一块级注意力模块输出的第一左目增强特征和第一右目增强特征；将第一左目增强特征和第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征；将左目匹配特征和右目匹配特征输入第二块级注意力模块，得到第二块级注意力模块输出的第二左目增强特征和第二右目增强特征。
作为本申请实施例中提供的一种可选实施方式，第一块级注意力模块包括第一视角内块注意力单元、视角间块注意力单元和第二视角内块注意力单元；将左目特征和右目特征输入第一块级注意力模块，得到第一块级注意力模块输出的第一左目增强特征和第一右目增强特征，包括：将左目特征和右目特征输入第一视角内块注意力单元，得到第一视角内块注意力单元输出的视角内块增强特征；将视角内块增强特征输入视角间块注意力单元，得到视角间块注意力单元输出的视角间块增强特征；将视角间块增强特征输入第二视角内块注意力单元，得到第二视角内块注意力单元输出的第一左目增强特征和第一右目增强特征。
作为本申请实施例中提供的一种可选实施方式，将第一左目增强特征和第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征，包括：将第一左目增强特征与左目特征进行拼接得到左目拼接特征，以及将第一右目增强特征和右目特征进行拼接得到右目拼接特征；将左目拼接特征和右目拼接特征分别通过通道注意力层、卷积层和逻辑函数层后，输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征。
作为本申请实施例中提供的一种可选实施方式，像素级注意力模块包括视角间像素注意力单元和视角内像素注意力单元；将第一左目增强特征和第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征，包括：将第一左目增强特征和第一右目增强特征输入视角间像素注意力单元，得到视角间像素注意力单元输出的视角间像素注意力；将视角间像素注意力输入视角内像素注意力单元，得到视角内像素注意力单元输出的左目匹配特征和右目匹配特征。
第二方面，本申请提供一种双目火星图像的质量增强装置，该装置包括：
获取模块，用于获取双目火星图像对，双目火星图像对包括左目压缩火星图像和右目压缩火星图像；
质量增强模块，用于将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，增强图像对包括左目火星增强图像和右目火星增强图像；
其中，预训练图像质量增强模型基于预建的双目火星图像数据集训练优化得到，预训练图像质量增强模型包括特征提取组件、基于注意力的跨视角网络和图像重建组件。
第三方面，本申请提供一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面或其任意一种可选的实施方式所述的双目火星图像的质量增强方法。
第四方面，本申请提供一种计算机可读存储介质，包括：所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面或其任意一种可选的实施方式所述的双目火星图像的质量增强方法。
第五方面，本申请提供一种计算机程序产品，包括：该计算机程序产品包括计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机实现如第一方面或其任意一种可选的实施方式所述的双目火星图像的质量增强方法。
本申请实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例提供双目火星图像的质量增强方法、装置、设备、介质及产品，其中该方法首先获取双目火星图像对，包括左目压缩火星图像和右目压缩火星图像；将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，增强图像对包括左目火星增强图像和右目火星增强图像；其中，预训练图像质量增强模型基于预建的双目火星图像数据集训练优化得到，预训练图像质量增强模型包括特征提取组件、基于注意力的跨视角网络和图像重建组件。如此，本申请通过挖掘和利用双目火星图像对中左右视图各自的信息以及它们之间的关系，从而提高双目火星图像质量增强任务的性能。充分利用双目火星图像的特点，提高增强双目火星图像质量时的效率和效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种双目火星图像的质量增强方法的流程示意图；
图2为本申请实施例提供的预训练图像质量增强模型的结构示意图；
图3为本申请实施例提供的双目火星图像数据集中四种不同地貌的示意图；
图4为本申请实施例提供的块级注意力模块和像素级注意力模块的结构示意图；
图5为本申请实施例提供的一种双目火星图像的质量增强装置的结构示意图；
图6为本申请实施例所述的一种电子设备的结构示意图。
具体实施方式
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的技术名词作简单地介绍：
Flickr1024数据集包含地球图像，是一个大规模的用于立体图像超分辨率研究的数据集。
相关系数(Correlation Coefficient，CC)是衡量两个变量之间线性相关程度的统计量，常见的是皮尔逊相关系数(Pearson correlation coefficient)。
互信息(Mutual Information，MI)是信息论中的一个概念，用于衡量两个随机变量之间的相互依赖程度。
发明人将双目火星图像数据集与Flickr1024数据集进行了比较，然后计算了相关系数和互信息。具体是，针对同一火星图像的块进行配对，计算视角内相似度；针对左目图像和右目图像进行配对，计算视角间相似度。结果显示，火星图像的CC结果明显高于地球图像，这表明火星图像视角内和视角间的相关性均强于地球图像。此外，火星图像视角内MI结果比地球图像高21.66％，视角间MI结果比地球图像高出20.61％，这表明火星图像在这两种情况下的信息增益均更大。这些结果突出了双目质量增强范式对火星图像的重要性，因为它利用互补的立体信息来提高图像质量。因此发明人利用火星图像视角内和视角间的相关性，提出了一种双目火星图像的质量增强方法。
为了能够更清楚地理解本申请的上述目的、特征和优点，下面将对本申请的方案进行进一步描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但本申请还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本申请的一部分实施例，而不是全部的实施例。
本申请实施例中提供的一种双目火星图像的质量增强方法，可以通过双目火星图像的质量增强装置或电子设备实现，电子设备包括但不限于个人电脑、笔记本电脑、平板电脑、智能手机等。电子设备的操作系统可以包括安卓(Android)、苹果公司开发的移动操作系统(iOS)、美国微软公司研发的操作系统(Windows)等等，本申请实施例对此不加以限制。电子设备可单独运行来实现本申请，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本申请。其中，电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用(Virtual Private Network，VPN)网络等。
需要说明的是，本申请实施例所述的一种双目火星图像的质量增强方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本申请的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本申请的保护范围内。
如图1所示，图2为本申请实施例的一种双目火星图像的质量增强方法的流程示意图，该方法可以由双目火星图像的质量增强装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。该方法主要包括如下步骤S101～S102：
S101、获取双目火星图像对。
双目火星图像对包括左目压缩火星图像(Compressed left image，IL)和右目压缩火星图像(Compressed right image，IR)。
S102、将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对。
增强图像对包括左目火星增强图像(Enhanced left image，)和右目火星增强图像(Enhanced right image，)。
其中，预训练图像质量增强模型基于预建的双目火星图像数据集训练优化得到，预训练图像质量增强模型包括特征提取组件(Feature extraction)、基于注意力的跨视角网络(Bi-level cross-view attention)和图像重建组件(Image reconstruction)。
如图2所示，特征提取组件包括：卷积层(Convolutional Layer，Conv.)和残差密集块(Residual Dense Blocks，RDBs)。基于注意力的跨视角网络包括：第一块级注意力模块(Patch-level attention)、像素级注意力模块(Pixel-level attention)和第二块级注意力模块。图像重建组件包括残差密集块和卷积层。
其中，RDBs包括两个残差密集块(RDB)，拼接层(Concat)以及Conv.。
一些实施例中，在执行步骤S101(获取双目火星图像对)之前，还包括构建双目火星数据集，然后基于该双目火星图像数据集训练图像质量增强模型。
具体地，构建用于质量增强任务的双目火星图像数据集，该数据集包括由火星车成像系统拍摄的1,350对双目火星图像。这些图像对都是双目的，分辨率为1152×1600，图像质量很高甚至无损，没有明显的伪影。示例性的，火星车成像系统可以是Mastcam-Z(安装在毅力号火星车上的成像系统，包含一对RGB相机)。
双目火星图像数据集涵盖了四种主要的火星地貌：岩石(Rock)、土壤(Soil)、沙地(Sand)和天空(Sky)，如图3所示。
使用JPEG对双目火星图像数据集进行压缩，以模拟火星到地球实际的图像传输过程，从而产生压缩的双目火星图像。利用压缩的双目火星图像训练图像质量增强模型，调整模型参数直至收敛，得到预训练图像质量增强模型。
应用预训练图像质量增强模型，执行步骤S102(将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对)。一些实施例中，将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，包括：将左目压缩火星图像和右目压缩火星图像输入特征提取组件，得到特征提取组件输出的左目特征和右目特征；将左目特征和右目特征输入基于注意力的跨视角网络，得到基于注意力的跨视角网络输出的左目增强特征和右目增强特征；将左目增强特征和右目增强特征输入图像重建组件，得到图像重建组件输出的左目火星增强图像和右目火星增强图像。
如图2所示，将左目压缩火星图像IL输入特征提取组件，得到特征提取组件输出的左目特征FL，将右目压缩火星图像IR输入特征提取组件，得到特征提取组件输出的右目特征FR。然后将左目特征FL输入基于注意力的跨视角网络，得到基于注意力的跨视角网络输出的左目增强特征，将右目特征FR输入基于注意力的跨视角网络，得到基于注意力的跨视角网络输出的右目增强特征。之后，将左目增强特征输入图像重建组件，得到图像重建组件输出的左目火星增强图像将右目增强特征输入图像重建组件，得到图像重建组件输出的右目火星增强图像
针对特征提取组件，如图2所示。左目压缩火星图像IL和右目压缩火星图像IR首先都进入卷积层(Conv.)。卷积层通过卷积核在图像上滑动进行卷积操作，用于提取图像的初步特征，如边缘、纹理等。经过卷积层处理后的数据进入残差密集块(RDBs)。残差密集块内部包含多个卷积层，层与层之间采用密集连接方式，即每一层的输入是前面所有层的输出特征图的拼接，这样可以让每一层都能直接获取到前面所有层的特征信息，充分利用不同层次的特征，增强特征的传播和复用。同时，残差密集块还引入了残差连接，从输入到输出有一条直接的路径，将输入特征与经过密集连接层处理后的特征进行相加，这种方式可以有效解决梯度消失问题，使得网络能够更轻松地训练，并且有助于保留原始图像的信息，提高模型的性能。对于左目压缩火星图像IL先经过卷积层变成初步特征，再经过残差密集块处理后得到左目特征FL；对于右目压缩火星图像IR先经过卷积层变成初步特征，再经过残差密集块处理后得到右目特征FR。
考虑到火星表面是高度非结构化的，具有不规则的砾石、岩石、土壤和沙丘，本申请设计了块级注意力与像素级注意力相结合的基于注意力的跨视角网络，以在两个视角之间捕获更广泛的上下文信息，提升像素级匹配精度。基于注意力的跨视角网络用于增强，如图2所示，包括两个块级注意力模块和一个像素级注意力模块。一些实施例中，将左目特征FL和右目特征FR输入基于注意力的跨视角网络，得到基于注意力的跨视角网络输出的左目增强特征和右目增强特征，包括：将左目特征和右目特征输入第一块级注意力模块，得到第一块级注意力模块输出的第一左目增强特征和第一右目增强特征；将第一左目增强特征和第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征；将左目匹配特征和右目匹配特征输入第二块级注意力模块，得到第二块级注意力模块输出的第二左目增强特征和第二右目增强特征。
将左目特征FL输入第一块级注意力模块，得到第一块级注意力模块输出的第一左目增强特征。将右目特征FR输入第一块级注意力模块，得到第一块级注意力模块输出的第一右目增强特征。然后，将第一左目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征。将第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的右目匹配特征。进一步，将左目匹配特征输入第二块级注意力模块，得到第二块级注意力模块输出的第二左目增强特征。将右目匹配特征输入第二块级注意力模块，得到第二块级注意力模块输出的第二右目增强特征。
如图4所示，第一块级注意力模块包括第一视角内块注意力单元(Intra-viewpatch attention)、视角间块注意力单元(Cross-view patch attention)和第二视角内块注意力单元。一些实施例中，将左目特征FL和右目特征FR输入第一块级注意力模块，得到第一块级注意力模块输出的第一左目增强特征和第一右目增强特征，包括：将左目特征FL和右目特征FR输入第一视角内块注意力单元，得到第一视角内块注意力单元输出的视角内块增强特征；将视角内块增强特征输入视角间块注意力单元，得到视角间块注意力单元输出的视角间块增强特征；将视角间块增强特征输入第二视角内块注意力单元，得到第二视角内块注意力单元输出的第一左目增强特征和第一右目增强特征。
第一视角内块注意力单元包括：分块(Partition)、注意力(Attention)、层归一化(Layer norm)和多层感知机(MLP)等子模块。第一视角内块注意力单元满足如下公式(1)：
将左目特征FL输入第一视角内块注意力单元，得到第一视角内块注意力单元输出的视角内块增强特征F′L。将右目特征FR输入第一视角内块注意力单元，得到第一视角内块注意力单元输出的视角内块增强特征F′R。
以对左目压缩火星图像的增强为例，假设FL∈RB×C×H×W，输入特征FL被划分成大小为Ph×Pw的不重叠块。在视角内块注意力单元中，自注意力分别应用于每个块，为每个视角生成
视角间块注意力单元包括：分块(Partition)、注意力(Attention)、层归一化(Layer norm)和多层感知机(MLP)等子模块。视角间块注意力单元满足如下公式(2)：
将视角内块增强特征F′L和视角内块增强特征F′R输入视角间块注意力单元，得到视角间块注意力单元输出的视角间块增强特征F″L和视角间块增强特征F″R。
在视角间块注意力的计算过程中，左目QL和右目KR,VR进行如下式(3)所示运算:
如图4所示，视角内块增强特征F′L和视角内块增强特征F′R首先都进入分块模块。该模块将输入数据划分为不重叠的子块。经过分块后的数据，接着进入层归一化模块，在层的维度上对数据进行归一化，使每层的输入数据具有相似的分布。层归一化后的数据进入注意力机制模块。注意力机制模块会根据输入数据的特征，为不同的部分分配不同的注意力权重，突出重要的特征信息，抑制不太重要的信息。注意力机制模块的输出与原始输入(经过分块和层归一化后的数据)进行相加操作，形成残差连接，有助于信息的传递和网络的训练。上述残差连接的结果再次进入层归一化模块，进一步调整数据分布。然后进入多层感知机(MLP)，多层感知机由多个全连接层组成，能够对输入数据进行非线性变换，进一步提取和融合特征，增强模型对数据的理解和处理能力。多层感知机的输出与经过前面处理步骤(分块、层归一化和注意力机制)的数据进行相加操作，得到最终的输出视角间块增强特征F″L和视角间块增强特征F″R。
上述视角间块注意力单元通过对视角内块增强特征F′L和视角内块增强特征F′R分别进行上述一系列的处理，能够更好地挖掘和利用左右视图各自的信息，同时通过相似的处理流程保证了左右视图处理的一致性和协调性，有助于提高后续任务的准确性和性能，更好地增强双目图像的质量和特征表达。
第二视角内块注意力单元满足如下公式(4)：
将视角间块增强特征F″L输入第二视角内块注意力单元，得到第二视角内块注意力单元输出的第一左目增强特征F″′L。将视角间块增强特征F″R输入第二视角内块注意力单元，得到第二视角内块注意力单元输出的第一左目增强特征F″′R。
一些实施例中，在得到第一块级注意力模块输出的第一左目增强特征和第一右目增强特征之后，将第一左目增强特征和第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征，包括：将第一左目增强特征与左目特征进行拼接得到左目拼接特征，以及将第一右目增强特征和右目特征进行拼接得到右目拼接特征；将左目拼接特征和右目拼接特征分别通过通道注意力层、卷积层和逻辑函数层后，输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征。
如图2所示，将第一左目增强特征与左目特征进行拼接(Concat)得到左目拼接特征，然后将左目拼接特征通过通道注意力层(CALayer，CA)、卷积层(Conv.)和逻辑函数层(Sigmoid)后，输入像素级注意力模块。将第一右目增强特征和右目特征进行拼接得到右目拼接特征，然后将右目拼接特征通过CALayer、Conv.和Sigmoid后，输入像素级注意力模块。分别得到像素级注意力模块输出的左目匹配特征和右目匹配特征。
具体地，经过第一块级注意力模块处理后的左右视图特征进行拼接(Concat)操作。拼接可以将左右视图的特征信息组合在一起，为后续处理提供更丰富的信息。拼接后的特征进入通道注意力层(CALayer)。通道注意力层会根据不同通道的重要性分配权重，增强重要通道的信息，抑制不太重要的通道，从而进一步优化特征表示。经过通道注意力层处理后的特征接着进入大小为1×1卷积层以及大小为3×3的卷积层。卷积层通过卷积核在特征图上滑动进行卷积操作，用于提取更高级的特征，进一步融合和变换特征信息。卷积层的输出进入Sigmoid。Sigmoid可以将输出值映射到0到1之间，用于生成注意力权重，这些权重可以用于后续的像素级注意力操作，以突出重要的像素信息。
一些实施例中，像素级注意力模块包括：视角间像素注意力单元(Cross-viewpixel attention)和视角内像素注意力单元(Intra-view pixel attention)。将第一左目增强特征和第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征，包括：将第一左目增强特征和第一右目增强特征输入视角间像素注意力单元，得到视角间像素注意力单元输出的视角间像素注意力；将视角间像素注意力输入视角内像素注意力单元，得到视角内像素注意力单元输出的左目匹配特征和右目匹配特征。
视角间像素注意力单元满足如下公式(5)：
视角内像素注意力单元满足如下公式(6)：
像素级注意力模块首先对第一左目增强特征和第一右目增强特征应用视角间像素注意力，再对每一个视角应用视角内像素注意力，由此得到增强后的特征F″L和F″R。
如图4所示，这里第一左目增强特征是与左目特征进行拼接并通过CALayer、Conv.和Sigmoid后的新的第一左目增强特征，图中标记为FL。类似的，第一右目增强特征是与右目特征进行拼接并通过CALayer、Conv.和Sigmoid后的新的第一右目增强特征，图中标记为FR。
视角间像素注意力单元包括注意力机制模块(Attention)、Layer norm、Concat和MLP等子模块。将第一左目增强特征FL和第一右目增强特征FR输入视角间像素注意力单元，计算视角间像素注意力。具体地，首先都进入注意力机制模块。注意力机制模块会根据输入数据的特征，为不同的像素或特征分配不同的注意力权重，突出重要的信息，抑制不太重要的信息。经过注意力机制模块处理后的数据，接着进入层归一化模块，在层的维度上对数据进行归一化，使每层的输入数据具有相似的分布，有助于稳定网络训练和提高模型的泛化能力。层归一化后的数据进行拼接操作(Concat)。拼接可以将不同的特征信息组合在一起，丰富数据的表示，为后续处理提供更多的信息。拼接后的数据进入多层感知机(MLP)，多层感知机由多个全连接层组成，能够对输入数据进行非线性变换，进一步提取和融合特征，增强模型对数据的理解和处理能力。多层感知机的输出再次进入层归一化模块，进一步调整数据分布。然后与原始输入进行相加操作，形成残差连接，有助于信息的传递和网络的训练，避免在深度网络中出现性能退化的问题。
上述像素级注意力模块通过对第一左目增强特征FL和第一右目增强特征FR进行上述一系列的处理，能够更好地挖掘和利用左右视图各自的像素级信息，提升特征的表达能力和模型对关键信息的捕捉能力，为后续的视角内像素注意力单元提供更优质的输入。再将视角间像素注意力输入视角内像素注意力单元。视角内像素注意力单元包括：Attention、Layer norm、Concat、MLP。得到视角内像素注意力单元输出的左目匹配特征F″L和右目匹配特征F″R。从而提高整个系统在双目火星图像质量增强任务中的性能。
如图2所示，像素级注意力模块输出的左目匹配特征和右目匹配特征经过大小为1×1的卷积层(Conv.)进行初步的特征提取和变换，卷积层通过卷积核在数据上滑动进行卷积操作，提取局部特征。然后进入两个依次连接的残差密集块(RDBs)。经过残差密集块处理后的数据进入第二块级注意力模块，第二块级注意力模块的处理操作与第一块级注意力模块相同。对第二块级注意力模块的输出进行拼接(Concat)操作，将不同部分的特征信息组合在一起。拼接后的特征进入通道注意力层(CALayer)。最后经过一个卷积层(Conv.)进行特征的融合和变换。从而发现了火星图像在当前视角中消失但在另一视角中保留的细节。
上述基于注意力的跨视角网络通过视图内的块注意力和像素注意力机制，更好地挖掘和利用双目图像中左右视图各自的信息以及它们之间的关系，从而提高双目火星图像质量增强任务的性能。分别关注视图内的不同块和像素，更精细地处理图像信息，充分利用双目图像的特点，提高模型在处理双目图像时的效率和效果，增强对复杂场景的适应性和鲁棒性。
如图2所示，图像重建组件包括RDBs和Conv.，将左目增强特征和右目增强特征输入图像重建组件，得到图像重建组件输出的左目火星增强图像和右目火星增强图像，这其中图像重建组件在处理左目增强特征和右目增强特征时共享权重(Shared weights)，得到左目火星增强图像和右目火星增强图像共享权重意味着上下两部分中对应的残差密集块和卷积层使用相同的权重参数。这种设计可以减少模型的参数数量，降低计算量，同时也有助于保证左右图像在处理过程中的一致性和对称性，使得模型在处理双目火星图像质量增强任务时能够更好地协同工作，提高整体性能。
具体地，左目增强特征和右目增强特征都先进入残差密集块(RDBs)。经过残差密集块处理后的数据进入两个卷积层(Conv.)。对特征进行变换和调整，以适应后续的图像重建任务。两个卷积层的输出与左目压缩火星图像IL和右目压缩火星图像IR进行相加操作，形成残差连接。这种残差连接方式有助于信息的传递，使得网络能够更容易地学习到恒等映射，避免在深度网络中出现性能退化的问题，同时也有助于加快网络的收敛速度。经过上述处理后，分别输出左目火星增强图像和右目火星增强图像
上述图像重建组件通过残差密集块和卷积层的组合，以及共享权重的设计，可以有效地提取和利用图像特征，增强图像的质量和细节，同时减少计算资源的消耗，提高模型的训练和推理效率。
综上，本申请提供的一种双目火星图像的质量增强方法首先获取双目火星图像对，包括左目压缩火星图像和右目压缩火星图像；将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，增强图像对包括左目火星增强图像和右目火星增强图像；其中，预训练图像质量增强模型基于预建的双目火星图像数据集训练优化得到，预训练图像质量增强模型包括特征提取组件、基于注意力的跨视角网络和图像重建组件。如此，本申请通过挖掘和利用双目火星图像对中左右视图各自的信息以及它们之间的关系，从而提高双目火星图像质量增强任务的性能。充分利用双目火星图像的特点，提高增强双目火星图像质量时的效率和效果。
如图5所示，图5为本申请实施例提供的一种双目火星图像的质量增强装置的结构示意图，该装置包括：
获取模块501，用于获取双目火星图像对，双目火星图像对包括左目压缩火星图像和右目压缩火星图像；
质量增强模块502，用于将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，增强图像对包括左目火星增强图像和右目火星增强图像；
其中，预训练图像质量增强模型基于预建的双目火星图像数据集训练优化得到，预训练图像质量增强模型包括特征提取组件、基于注意力的跨视角网络和图像重建组件。
作为本申请实施例中提供的一种可选实施方式，质量增强模块502，将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，具体用于：将左目压缩火星图像和右目压缩火星图像输入特征提取组件，得到特征提取组件输出的左目特征和右目特征；将左目特征和右目特征输入基于注意力的跨视角网络，得到基于注意力的跨视角网络输出的左目增强特征和右目增强特征；将左目增强特征和右目增强特征输入图像重建组件，得到图像重建组件输出的左目火星增强图像和右目火星增强图像。
作为本申请实施例中提供的一种可选实施方式，基于注意力的跨视角网络包括第一块级注意力模块、像素级注意力模块和第二块级注意力模块；质量增强模块502，将左目特征和右目特征输入基于注意力的跨视角网络，得到基于注意力的跨视角网络输出的左目增强特征和右目增强特征，具体用于：将左目特征和右目特征输入第一块级注意力模块，得到第一块级注意力模块输出的第一左目增强特征和第一右目增强特征；将第一左目增强特征和第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征；将左目匹配特征和右目匹配特征输入第二块级注意力模块，得到第二块级注意力模块输出的第二左目增强特征和第二右目增强特征。
作为本申请实施例中提供的一种可选实施方式，第一块级注意力模块包括第一视角内块注意力单元、视角间块注意力单元和第二视角内块注意力单元；质量增强模块502，将左目特征和右目特征输入第一块级注意力模块，得到第一块级注意力模块输出的第一左目增强特征和第一右目增强特征，具体用于：将左目特征和右目特征输入第一视角内块注意力单元，得到第一视角内块注意力单元输出的视角内块增强特征；将视角内块增强特征输入视角间块注意力单元，得到视角间块注意力单元输出的视角间块增强特征；将视角间块增强特征输入第二视角内块注意力单元，得到第二视角内块注意力单元输出的第一左目增强特征和第一右目增强特征。
作为本申请实施例中提供的一种可选实施方式，质量增强模块502，将第一左目增强特征和第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征，具体用于：将第一左目增强特征与左目特征进行拼接得到左目拼接特征，以及将第一右目增强特征和右目特征进行拼接得到右目拼接特征；将左目拼接特征和右目拼接特征分别通过通道注意力层、卷积层和逻辑函数层后，输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征。
作为本申请实施例中提供的一种可选实施方式，像素级注意力模块包括视角间像素注意力单元和视角内像素注意力单元；质量增强模块502，将第一左目增强特征和第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征，具体用于：将第一左目增强特征和第一右目增强特征输入视角间像素注意力单元，得到视角间像素注意力单元输出的视角间像素注意力；将视角间像素注意力输入视角内像素注意力单元，得到视角内像素注意力单元输出的左目匹配特征和右目匹配特征。
关于双目火星图像的质量增强装置的具体限定可以参见上文中对于双目火星图像的质量增强方法的限定，在此不再赘述。上述双目火星图像的质量增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，本申请提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图6所示。该电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该计算机程序被处理器执行时以实现一种卡顿检测方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的双目火星图像的质量增强装置可以实现为一种计算机程序的形式，计算机程序可在如图6所示的电子设备上运行。电子设备的存储器中可存储组成该双目火星图像的质量增强装置的各个程序模块，比如，图5所示的获取模块501和质量增强模块502。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的双目火星图像的质量增强方法中的步骤。
例如，图6所示的电子设备可以通过如图5所示的双目火星图像的质量增强装置中的获取模块501执行获取双目火星图像对，双目火星图像对包括左目压缩火星图像和右目压缩火星图像；电子设备可通过质量增强模块502执行将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，增强图像对包括左目火星增强图像和右目火星增强图像；其中，预训练图像质量增强模型基于预建的双目火星图像数据集训练优化得到，预训练图像质量增强模型包括特征提取组件、基于注意力的跨视角网络和图像重建组件。
在一个实施例中，本申请提供了一种电子设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取双目火星图像对，双目火星图像对包括左目压缩火星图像和右目压缩火星图像；将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，增强图像对包括左目火星增强图像和右目火星增强图像；其中，预训练图像质量增强模型基于预建的双目火星图像数据集训练优化得到，预训练图像质量增强模型包括特征提取组件、基于注意力的跨视角网络和图像重建组件。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，包括：将左目压缩火星图像和右目压缩火星图像输入特征提取组件，得到特征提取组件输出的左目特征和右目特征；将左目特征和右目特征输入基于注意力的跨视角网络，得到基于注意力的跨视角网络输出的左目增强特征和右目增强特征；将左目增强特征和右目增强特征输入图像重建组件，得到图像重建组件输出的左目火星增强图像和右目火星增强图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于注意力的跨视角网络包括第一块级注意力模块、像素级注意力模块和第二块级注意力模块；将左目特征和右目特征输入基于注意力的跨视角网络，得到基于注意力的跨视角网络输出的左目增强特征和右目增强特征，包括：将左目特征和右目特征输入第一块级注意力模块，得到第一块级注意力模块输出的第一左目增强特征和第一右目增强特征；将第一左目增强特征和第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征；将左目匹配特征和右目匹配特征输入第二块级注意力模块，得到第二块级注意力模块输出的第二左目增强特征和第二右目增强特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：第一块级注意力模块包括第一视角内块注意力单元、视角间块注意力单元和第二视角内块注意力单元；将左目特征和右目特征输入第一块级注意力模块，得到第一块级注意力模块输出的第一左目增强特征和第一右目增强特征，包括：将左目特征和右目特征输入第一视角内块注意力单元，得到第一视角内块注意力单元输出的视角内块增强特征；将视角内块增强特征输入视角间块注意力单元，得到视角间块注意力单元输出的视角间块增强特征；将视角间块增强特征输入第二视角内块注意力单元，得到第二视角内块注意力单元输出的第一左目增强特征和第一右目增强特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将第一左目增强特征和第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征，包括：将第一左目增强特征与左目特征进行拼接得到左目拼接特征，以及将第一右目增强特征和右目特征进行拼接得到右目拼接特征；将左目拼接特征和右目拼接特征分别通过通道注意力层、卷积层和逻辑函数层后，输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：像素级注意力模块包括视角间像素注意力单元和视角内像素注意力单元；将第一左目增强特征和第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征，包括：将第一左目增强特征和第一右目增强特征输入视角间像素注意力单元，得到视角间像素注意力单元输出的视角间像素注意力；将视角间像素注意力输入视角内像素注意力单元，得到视角内像素注意力单元输出的左目匹配特征和右目匹配特征。
本申请提供的电子设备中处理器执行计算机程序时，首先获取双目火星图像对，包括左目压缩火星图像和右目压缩火星图像；将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，增强图像对包括左目火星增强图像和右目火星增强图像；其中，预训练图像质量增强模型基于预建的双目火星图像数据集训练优化得到，预训练图像质量增强模型包括特征提取组件、基于注意力的跨视角网络和图像重建组件。如此，本申请通过挖掘和利用双目火星图像对中左右视图各自的信息以及它们之间的关系，从而提高双目火星图像质量增强任务的性能。充分利用双目火星图像的特点，提高增强双目火星图像质量时的效率和效果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被计算机程序执行时实现以下步骤：
获取双目火星图像对，双目火星图像对包括左目压缩火星图像和右目压缩火星图像；将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，增强图像对包括左目火星增强图像和右目火星增强图像；其中，预训练图像质量增强模型基于预建的双目火星图像数据集训练优化得到，预训练图像质量增强模型包括特征提取组件、基于注意力的跨视角网络和图像重建组件。
在一个实施例中，计算机程序执行计算机程序时还实现以下步骤：将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，包括：将左目压缩火星图像和右目压缩火星图像输入特征提取组件，得到特征提取组件输出的左目特征和右目特征；将左目特征和右目特征输入基于注意力的跨视角网络，得到基于注意力的跨视角网络输出的左目增强特征和右目增强特征；将左目增强特征和右目增强特征输入图像重建组件，得到图像重建组件输出的左目火星增强图像和右目火星增强图像。
在一个实施例中，计算机程序执行计算机程序时还实现以下步骤：基于注意力的跨视角网络包括第一块级注意力模块、像素级注意力模块和第二块级注意力模块；将左目特征和右目特征输入基于注意力的跨视角网络，得到基于注意力的跨视角网络输出的左目增强特征和右目增强特征，包括：将左目特征和右目特征输入第一块级注意力模块，得到第一块级注意力模块输出的第一左目增强特征和第一右目增强特征；将第一左目增强特征和第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征；将左目匹配特征和右目匹配特征输入第二块级注意力模块，得到第二块级注意力模块输出的第二左目增强特征和第二右目增强特征。
在一个实施例中，计算机程序执行计算机程序时还实现以下步骤：第一块级注意力模块包括第一视角内块注意力单元、视角间块注意力单元和第二视角内块注意力单元；将左目特征和右目特征输入第一块级注意力模块，得到第一块级注意力模块输出的第一左目增强特征和第一右目增强特征，包括：将左目特征和右目特征输入第一视角内块注意力单元，得到第一视角内块注意力单元输出的视角内块增强特征；将视角内块增强特征输入视角间块注意力单元，得到视角间块注意力单元输出的视角间块增强特征；将视角间块增强特征输入第二视角内块注意力单元，得到第二视角内块注意力单元输出的第一左目增强特征和第一右目增强特征。
在一个实施例中，计算机程序执行计算机程序时还实现以下步骤：将第一左目增强特征和第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征，包括：将第一左目增强特征与左目特征进行拼接得到左目拼接特征，以及将第一右目增强特征和右目特征进行拼接得到右目拼接特征；将左目拼接特征和右目拼接特征分别通过通道注意力层、卷积层和逻辑函数层后，输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征。
在一个实施例中，计算机程序执行计算机程序时还实现以下步骤：像素级注意力模块包括视角间像素注意力单元和视角内像素注意力单元；将第一左目增强特征和第一右目增强特征输入像素级注意力模块，得到像素级注意力模块输出的左目匹配特征和右目匹配特征，包括：将第一左目增强特征和第一右目增强特征输入视角间像素注意力单元，得到视角间像素注意力单元输出的视角间像素注意力；将视角间像素注意力输入视角内像素注意力单元，得到视角内像素注意力单元输出的左目匹配特征和右目匹配特征。
本申请提供的计算机可读存储介质中计算机程序执行计算机程序时，首先获取双目火星图像对，包括左目压缩火星图像和右目压缩火星图像；将双目火星图像对输入预训练图像质量增强模型，得到预训练图像质量增强模型输出的增强图像对，增强图像对包括左目火星增强图像和右目火星增强图像；其中，预训练图像质量增强模型基于预建的双目火星图像数据集训练优化得到，预训练图像质量增强模型包括特征提取组件、基于注意力的跨视角网络和图像重建组件。如此，本申请通过挖掘和利用双目火星图像对中左右视图各自的信息以及它们之间的关系，从而提高双目火星图像质量增强任务的性能。充分利用双目火星图像的特点，提高增强双目火星图像质量时的效率和效果。
本领域技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本申请中，处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请中，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
本申请中，计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种双目火星图像的质量增强方法，其特征在于，包括：
获取双目火星图像对，所述双目火星图像对包括左目压缩火星图像和右目压缩火星图像；
将所述双目火星图像对输入预训练图像质量增强模型，得到所述预训练图像质量增强模型输出的增强图像对，所述增强图像对包括左目火星增强图像和右目火星增强图像；
其中，所述预训练图像质量增强模型基于预建的双目火星图像数据集训练优化得到，所述预训练图像质量增强模型包括特征提取组件、基于注意力的跨视角网络和图像重建组件。
2.根据权利要求1所述的方法，其特征在于，所述将所述双目火星图像对输入预训练图像质量增强模型，得到所述预训练图像质量增强模型输出的增强图像对，包括：
将所述左目压缩火星图像和右目压缩火星图像输入所述特征提取组件，得到所述特征提取组件输出的左目特征和右目特征；
将所述左目特征和所述右目特征输入所述基于注意力的跨视角网络，得到所述基于注意力的跨视角网络输出的左目增强特征和右目增强特征；
将所述左目增强特征和所述右目增强特征输入所述图像重建组件，得到所述图像重建组件输出的所述左目火星增强图像和所述右目火星增强图像。
3.根据权利要求2所述的方法，其特征在于，所述基于注意力的跨视角网络包括第一块级注意力模块、像素级注意力模块和第二块级注意力模块；
所述将所述左目特征和所述右目特征输入所述基于注意力的跨视角网络，得到所述基于注意力的跨视角网络输出的左目增强特征和右目增强特征，包括：
将所述左目特征和所述右目特征输入所述第一块级注意力模块，得到所述第一块级注意力模块输出的第一左目增强特征和第一右目增强特征；
将所述第一左目增强特征和所述第一右目增强特征输入所述像素级注意力模块，得到所述像素级注意力模块输出的左目匹配特征和右目匹配特征；
将所述左目匹配特征和右目匹配特征输入所述第二块级注意力模块，得到所述第二块级注意力模块输出的第二左目增强特征和第二右目增强特征。
4.根据权利要求3所述的方法，其特征在于，所述第一块级注意力模块包括第一视角内块注意力单元、视角间块注意力单元和第二视角内块注意力单元；
所述将所述左目特征和所述右目特征输入所述第一块级注意力模块，得到所述第一块级注意力模块输出的第一左目增强特征和第一右目增强特征，包括：
将所述左目特征和所述右目特征输入所述第一视角内块注意力单元，得到所述第一视角内块注意力单元输出的视角内块增强特征；
将所述视角内块增强特征输入所述视角间块注意力单元，得到所述视角间块注意力单元输出的视角间块增强特征；
将所述视角间块增强特征输入所述第二视角内块注意力单元，得到所述第二视角内块注意力单元输出的所述第一左目增强特征和所述第一右目增强特征。
5.根据权利要求3所述的方法，其特征在于，所述将所述第一左目增强特征和所述第一右目增强特征输入所述像素级注意力模块，得到所述像素级注意力模块输出的左目匹配特征和右目匹配特征，包括：
将所述第一左目增强特征与所述左目特征进行拼接得到左目拼接特征，以及将所述第一右目增强特征和所述右目特征进行拼接得到右目拼接特征；
将所述左目拼接特征和所述右目拼接特征分别通过通道注意力层、卷积层和逻辑函数层后，输入所述像素级注意力模块，得到所述像素级注意力模块输出的左目匹配特征和右目匹配特征。
6.根据权利要求3所述的方法，其特征在于，所述像素级注意力模块包括视角间像素注意力单元和视角内像素注意力单元；
所述将所述第一左目增强特征和所述第一右目增强特征输入所述像素级注意力模块，得到所述像素级注意力模块输出的左目匹配特征和右目匹配特征，包括：
将所述第一左目增强特征和所述第一右目增强特征输入视角间像素注意力单元，得到所述视角间像素注意力单元输出的视角间像素注意力；
将所述视角间像素注意力输入所述视角内像素注意力单元，得到所述视角内像素注意力单元输出的所述左目匹配特征和右目匹配特征。
7.一种双目火星图像的质量增强装置，其特征在于，包括：
获取模块，用于获取双目火星图像对，所述双目火星图像对包括左目压缩火星图像和右目压缩火星图像；
质量增强模块，用于将所述双目火星图像对输入预训练图像质量增强模型，得到所述预训练图像质量增强模型输出的增强图像对，所述增强图像对包括左目火星增强图像和右目火星增强图像；
其中，所述预训练图像质量增强模型基于预建的双目火星图像数据集训练优化得到，所述预训练图像质量增强模型包括特征提取组件、基于注意力的跨视角网络和图像重建组件。
8.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的双目火星图像的质量增强方法。
9.一种计算机可读存储介质，其特征在于，包括：所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的双目火星图像的质量增强方法。
10.一种计算机程序产品，其特征在于，包括：所述计算机程序产品包括计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机实现如权利要求1至6中任一项所述的双目火星图像的质量增强方法。
CN202510135795.5A 2025-02-07 2025-02-07 双目火星图像的质量增强方法、装置、设备、介质及产品 Pending CN120070281A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202510135795.5A CN120070281A (zh) 2025-02-07 2025-02-07 双目火星图像的质量增强方法、装置、设备、介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202510135795.5A CN120070281A (zh) 2025-02-07 2025-02-07 双目火星图像的质量增强方法、装置、设备、介质及产品

Publications (1)

Publication Number Publication Date
CN120070281A true CN120070281A (zh) 2025-05-30

Family

ID=95803434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202510135795.5A Pending CN120070281A (zh) 2025-02-07 2025-02-07 双目火星图像的质量增强方法、装置、设备、介质及产品

Country Status (1)

Country Link
CN (1) CN120070281A (zh)

Similar Documents

Publication Publication Date Title
US10991150B2 (en) View generation from a single image using fully convolutional neural networks
EP3816929B1 (en) Method and apparatus for restoring image
Zhang et al. High capacity data hiding based on interpolated image
US10652577B2 (en) Method and apparatus for encoding and decoding light field based image, and corresponding computer program product
CN114067007A (zh) 图像处理方法与装置、神经网络训练的方法与装置
GB2523149A (en) Method, apparatus and computer program product for image-driven cost volume aggregation
US12347177B2 (en) Method and device for 3D object detection
US10785502B2 (en) Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
CN114936984B (zh) 毫米波退化图像去噪去模糊方法、装置、设备及介质
Chen et al. Block-based reversible data hiding with multi-round estimation and difference alteration
WO2023206343A1 (zh) 一种基于图像预训练策略的图像超分辨率方法
Jin et al. Light field super-resolution via attention-guided fusion of hybrid lenses
Chen et al. Deep light field spatial super-resolution using heterogeneous imaging
CN114742703A (zh) 双目立体全景图像的生成方法、装置、设备和存储介质
Guo et al. Real-time dense-view imaging for three-dimensional light-field display based on image color calibration and self-supervised view synthesis
CN113610031A (zh) 视频处理方法和视频处理装置
Zhang et al. Light field super-resolution using complementary-view feature attention
WO2024199543A1 (zh) 图像编解码方法、装置、设备及存储介质
CN118570069A (zh) 一种低照度彩色偏振图像增强方法、系统及设备
CN119273546A (zh) 基于Mamba的跨视图双目图像超分辨重建方法及系统
Lin et al. Pixel-based fragile image watermarking based on absolute moment block truncation coding
CN114998694B (zh) 图像处理模型的训练方法、装置、设备、介质和程序产品
CN120070281A (zh) 双目火星图像的质量增强方法、装置、设备、介质及产品
Weng et al. High-fidelity reversible data hiding based on PVO and median preserving
Ni et al. Unsupervised dense light field reconstruction with occlusion awareness

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination