CN117011131A - 图像重建方法、装置、设备、存储介质及计算机程序产品 - Google Patents

图像重建方法、装置、设备、存储介质及计算机程序产品 Download PDF

Info

Publication number
CN117011131A
CN117011131A CN202211324288.9A CN202211324288A CN117011131A CN 117011131 A CN117011131 A CN 117011131A CN 202211324288 A CN202211324288 A CN 202211324288A CN 117011131 A CN117011131 A CN 117011131A
Authority
CN
China
Prior art keywords
image data
target
reference image
fine
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211324288.9A
Other languages
English (en)
Inventor
徐东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211324288.9A priority Critical patent/CN117011131A/zh
Publication of CN117011131A publication Critical patent/CN117011131A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像重建方法、装置、设备、存储介质及计算机程序产品，涉及计算机技术领域。该方法包括：获取目标时刻对应的目标粗略图像数据、第一时刻的第一参考图像数据和第二参考图像数据，以及第二时刻的第三参考图像数据和第四参考图像数据；对所述第一参考图像数据、所述第二参考图像数据和所述目标粗略图像数据进行第一分支编码，得到第一编码结果；以及，对所述第三参考图像数据、所述第四参考图像数据和所述目标粗略图像数据进行第二分支编码，得到第二编码结果；基于所述第一编码结果和所述第二编码结果的融合结果，对所述目标粗略图像数据进行重建，得到目标精细图像数据，提高了图像重建的效率和准确性。

Description

图像重建方法、装置、设备、存储介质及计算机程序产品
技术领域
本申请涉及计算机技术领域，特别涉及一种图像重建方法、装置、设备、存储介质及计算机程序产品。
背景技术
图像超分辨率重建技术在一定条件下，可以克服图像系统内在分辨率的限制，提高被处理图像的分辨率，在视频、遥感、医学和安全监测等领域具都有十分重要的应用，在游戏领域，也使用图像超分辨率重建技术追求更高分辨率的画质，使用户获得更加流畅的体验。
相关技术中，使用神经网络对目标图像进行统一优化，基于神经网络，使用基于插值，或基于正则化，或基于学习的方法，从多张给定的低分辨率目标图像中重建出相应的高分辨率图像。
然而，上述方法中的神经网络往往基于全局对所有目标图像进行无差别的统一优化，该过程计算量庞大，需要消耗大量CPU(中央处理器，Central Processing Unit)或GPU(图形处理器，Graphics Processing Unit)资源，降低了硬件性能。
发明内容
本申请实施例提供了一种图像重建方法、装置、设备、存储介质及计算机程序产品，能够对低分辨率的粗略图像进行重建得到对应的精细图像。所述技术方案如下。
一方面，提供了一种图像重建方法，所述方法包括：
获取目标时刻对应的纹理资源数据，所述纹理资源数据对应所述目标时刻的目标粗略图像数据；
获取所述目标时刻之前的第一时刻的第一参考图像数据和第二参考图像数据，所述第一参考图像数据对应的分辨率与所述第二参考图像数据对应的分辨率不同；以及，获取所述目标时刻之后的第二时刻的第三参考图像数据和第四参考图像数据，所述第三参考图像数据对应的分辨率与所述第四参考图像数据对应的分辨率不同；
对所述第一参考图像数据、所述第二参考图像数据和所述目标粗略图像数据进行第一分支编码，得到第一编码结果；以及，对所述第三参考图像数据、所述第四参考图像数据和所述目标粗略图像数据进行第二分支编码，得到第二编码结果；
基于所述第一编码结果和所述第二编码结果的融合结果，对所述目标粗略图像数据进行重建，得到目标精细图像数据，所述目标精细图像数据对应的分辨率高于所述目标粗略图像数据对应的分辨率。
另一方面，提供了一种图像重建装置，所述装置包括：
纹理资源获取模块，用于获取目标时刻对应的纹理资源数据，所述纹理资源数据对应所述目标时刻的目标粗略图像数据；
参考图像获取模块，用于获取所述目标时刻之前的第一时刻的第一参考图像数据和第二参考图像数据，所述第一参考图像数据对应的分辨率与所述第二参考图像数据对应的分辨率不同；以及，获取所述目标时刻之后的第二时刻的第三参考图像数据和第四参考图像数据，所述第三参考图像数据对应的分辨率与所述第四参考图像数据对应的分辨率不同；
双分支编码模块，用于对所述第一参考图像数据、所述第二参考图像数据和所述目标粗略图像数据进行第一分支编码，得到第一编码结果；以及，对所述第三参考图像数据、所述第四参考图像数据和所述目标粗略图像数据进行第二分支编码，得到第二编码结果；
精细图像重建模块，用于基于所述第一编码结果和所述第二编码结果的融合结果，对所述目标粗略图像数据进行重建，得到目标精细图像数据，所述目标精细图像数据对应的分辨率高于所述目标粗略图像数据对应的分辨率。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述的图像重建方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的图像重建方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的图像重建方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过获取目标粗略图像对应目标时刻前后的参考图像，并分别确定目标时刻前后时刻参考图像中的精细图像作为第一时刻的第一精细图像和第二时刻的第二精细图像，通过编码融合，将第一精细图像和第二精细图像中包含的对应时刻与目标粗略图像相似的高分辨率图像特征，用于目标粗略图像的重建，使重建过程高效且准确，从而降低了CPU或GPU资源的消耗，提高了硬件性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的实施环境示意图；
图2是本申请一个示例性实施例提供的图像重建方法流程图；
图3是本申请一个示例性实施例提供的双分支图像重建结构示意图；
图4是本申请一个示例性实施例提供的编码融合的流程图；
图5是本申请一个示例性实施例提供的融合编码模型示意图；
图6是本申请一个示例性实施例提供的融合编码模型结构示意图；
图7是本申请一个示例性实施例提供的融合特征提取的流程图；
图8是本申请一个示例性实施例提供的反馈机制流程图；
图9是本申请一个示例性实施例提供的损失度计算流程图；
图10是本申请一个示例性实施例提供的反馈机制模型示意图；
图11是本申请一个示例性实施例提供的图像重建装置的结构框图；
图12是本申请一个示例性实施例提供的图像重建装置模块的结构框图；
图13是本申请一个示例性实施例提供的终端的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
应当理解，尽管在本公开可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一参数也可以被称为第二参数，类似地，第二参数也可以被称为第一参数。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图像超分辨率重建技术在一定条件下，可以克服图像系统内在分辨率的限制，提高被处理图像的分辨率，在视频、遥感、医学和安全监测等领域具都有十分重要的应用，在游戏领域，也使用图像超分辨率重建技术追求更高分辨率的画质，使用户获得更加流畅的体验。相关技术中，使用神经网络对目标图像进行统一优化，基于神经网络，使用基于插值，或基于正则化，或基于学习的方法，从多张或单张给定的低分辨率目标图像中重建出相应的高分辨率图像。然而，上述方法中的神经网络往往基于全局对所有目标图像进行无差别的统一优化，该过程计算量庞大，需要消耗大量CPU或GPU资源，降低了硬件性能。
本申请提供的图像重建方法，通过获取目标粗略图像对应目标时刻前后的参考图像，并分别确定目标时刻前后时刻参考图像中的精细图像作为第一时刻的第一精细图像和第二时刻的第二精细图像，通过编码融合，将第一精细图像和第二精细图像中包含的对应时刻与目标粗略图像相似的高分辨率图像特征，用于目标粗略图像的重建，使图像重建过程高效且准确，从而降低了CPU或GPU资源的消耗，提高了硬件性能。
首先，对本申请实施环境进行介绍。请参考图1，其示出了本申请一个示例性实施例提供的实施环境示意图，该实施环境中包括：终端110。
终端110中安装具有纹理优化需求的应用程序111，该应用程序111可实现为单机版应用程序，也可以实现为联网应用程序，对此不加以限定。
在一些实施例中，当终端110中安装的应用程序111实现为单机版应用程序时，当应用程序111符合纹理优化条件的情况下，终端110利用调试(debug)工具获取应用程序111对应的纹理资源，其中包括待优化的目标图像数据和用于优化的参考图像数据，终端110通过预设的编码部分对纹理资源进行处理，将得到的编码结果进行特征融合得到融合特征表示，基于得到的融合特征表示重建目标精细图像作为优化后的纹理图像，终端110用重建得到的目标精细图像替换应用程序111中待优化的目标图像。
在一些实施例中，当终端110中安装的应用程序111实现为联网应用程序时，实施环境中还包括服务器120和通信网络130，其中，终端110和服务器120通过通信网络130连接。服务器120中存储有对应的纹理资源，当应用程序111符合纹理优化条件的情况下，终端110通过通信网络130向服务器120发送纹理优化请求和待优化的目标图像数据，服务器120接收到该请求和相关数据后，利用调试工具获取纹理资源，该纹理资源包括用于优化的参考图像数据，服务器120通过预设的编码部分对纹理资源和目标图像数据进行处理，将得到的编码结果进行特征融合得到融合特征表示，基于得到的融合特征表示重建目标精细图像数据作为优化后的纹理图像数据，服务器120将优化后的纹理图像数据通过通信网络130传输至终端110，终端110使用接收到的目标精细图像数据替换应用程序111中待优化的目标图像数据。
上述终端是可选的，终端可以是台式计算机、膝上型便携计算机、手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层4)播放、智能电视、智能车载等多种形式的终端设备，本申请实施例对此不加以限定。
值得注意的是，上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云安全、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，云技术(Cloud Technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
在一些实施例中，上述服务器还可以实现为区块链系统中的节点。
需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
示意性的，请参考图2，其示出了本申请一个示例性实施例提供的图像重建方法的流程图，该方法可以应用于终端，也可以应用于服务器，也可以同时应用于终端和服务器，本申请实施例以该方法应用于终端为例进行说明，如图2所示，该方法包括如下步骤：
步骤210，获取目标时刻对应的纹理资源数据。
其中，纹理资源数据对应目标时刻的目标粗略图像数据，目标粗略图像数据是待优化的图像数据，是图像重建的原始图像。
在一些实施例中，使用调试工具获取T1时刻对应的粗略图像数据作为目标粗略图像数据，T1时刻为目标时刻，目标粗略图像数据为应用程序中有图像重建需求的图像数据，如T1时刻低分辨率模式下产生的图像中包含模糊或失真的高频信息的图像数据。图像的高频信息是指图像的噪声和细节，高频信息对应图像频率变化快的部分，图像的频率是灰度值变化剧烈程度的指标，是灰度在平面空间上的梯度，因此，图像边缘的灰度值变化快，就对应着频率高，即高频显示图像边缘。图像的细节处也属于灰度值急剧变化的区域。
步骤220，获取目标时刻之前的第一时刻的第一参考图像数据和第二参考图像数据；以及，获取目标时刻之后的第二时刻的第三参考图像数据和第四参考图像数据。
其中，第一参考图像数据对应的分辨率与第二参考图像数据对应的分辨率不同，第三参考图像数据对应的分辨率与第四参考图像数据对应的分辨率不同。
在一些实施例中，第一参考图像数据、第二参考图像数据、第三参考图像数据和第四参考图像数据是与目标粗略图像数据符合相似关系的数据，如同一场景下的图像数据。
示意性的，使用调试工具获取T0时刻对应的粗略图像数据作为第一参考图像数据，获取T0时刻对应的精细图像数据作为第二参考图像数据，获取T2时刻对应的粗略图像数据作为第三参考图像数据，获取T2时刻对应的精细图像数据作为第四参考图像数据，T1时刻为目标时刻，T0时刻为T1时刻之前的第一时刻，T2时刻为T1时刻之后的第二时刻，其中，粗略图像数据对应的分辨率不同于精细图像对应的分辨率。
步骤230，对第一参考图像数据、第二参考图像数据和目标粗略图像数据进行第一分支编码，得到第一编码结果；以及，对第三参考图像数据、第四参考图像数据和目标粗略图像数据进行第二分支编码，得到第二编码结果。
其中，第一分支编码用于获取目标时刻之前的第一时刻的参考图像中分辨率高的参考图像，第二分支编码用于获取目标时刻之后的第二时刻的参考图像中分辨率高的参考图像。
可选地，步骤230中第一分支编码部分，即对第一参考图像数据、第二参考图像数据和目标粗略图像数据进行第一分支编码，得到第一编码结果，可实现为以下两步：
第一步，对第一参考图像数据和第二参考图像数据进行编码过滤，从第一参考图像数据和第二参考图像数据中确定分辨率高的第一精细图像数据。
第一精细图像数据用于提供第一时刻与目标粗略图像符合相似关系的高分辨率图像特征。
示意性的，对步骤220中获取的T0时刻对应的粗略图像数据和精细图像数据，即第一参考图像数据和第二参考图像数据，进行编码过滤，其中，精细图像数据对应的分辨率高于粗略图像对应的分辨率，从中确定分辨率高的精细图像数据，即第二参考图像数据，作为第一精细图像数据。
第二步，对第一精细图像数据和目标粗略图像数据进行融合编码，得到第一编码结果。
第一编码结果用于对目标粗略图像数据的重建，即从第一时刻获取的参考图像中的图像特征用于图像重建，进而使重建的目标精细图像具有第一时刻与目标粗略图像符合相似关系的高分辨率图像特征。
示意性的，对T0时刻对应的第一精细图像数据和T1时刻对应的目标粗略图像数据进行融合编码，得到第一编码结果。
在一些实施例中，步骤230中第二分支编码部分，即对第三参考图像数据、第四参考图像数据和目标粗略图像数据进行第二分支编码，得到第二编码结果，与上述第一分支编码部分的实现步骤相同，可实现为以下两个步骤：
第一步，对第三参考图像数据和第四参考图像数据进行编码过滤，从第三参考图像数据和第四参考图像数据中确定分辨率高的第二精细图像数据。
第二精细图像数据用于提供第二时刻与目标粗略图像符合相似关系的高分辨率图像特征。
第二步，对第二精细图像数据和目标粗略图像数据进行融合编码，得到第二编码结果。
第二编码结果用于对目标粗略图像数据的重建，即从第二时刻获取的参考图像中的图像特征用于图像重建，进而使重建的目标精细图像具有第二时刻与目标粗略图像符合相似关系的高分辨率图像特征。
示意性的，请参考图3，图3是本申请一个示例性实施例提供的双分支图像重建结构示意图，如图3所示，终端或服务器通过双分支图像重建模型300执行图像重建过程将目标粗略图像数据M1重建为目标精细图像数据H1，双分支图像重建模型300包括编码部分310，融合部分320和解码部分330，编码部分310包括结构相同的第一分支311和第二分支312，第一分支311和第二分支312由编码器和滤波器构成，将步骤210和步骤220获取的图像数据输入编码部分310，即将目标粗略图像数据M1、第一参考图像数据M0和第二参考图像数据L0输入第一分支311，将目标粗略图像数据M1、第三参考图像数据M2和第四参考图像数据L2输入第二分支312，输出第一编码结果和第二编码结果。
步骤240，基于第一编码结果和第二编码结果的融合结果，对目标粗略图像数据进行重建，得到目标精细图像数据。
其中，目标精细图像数据对应的分辨率高于目标粗略图像数据对应的分辨率。融合结果用于提供第一时刻和第二时刻都与目标粗略图像符合相似关系的高分辨率图像特征。
示意性的，如图3所示，执行图像重建过程的终端或服务器将第一编码结果和第二编码结果的融合结果输入预设的解码部分330，解码部分330包括卷积层和标准化处理层，通过解码部分330对图像数据进行整流、过滤后，将融合结果中包含的高分辨率图像特征还原到目标粗略图像数据M1对应的像素空间，实现对目标粗略图像数据M1的重建，得到目标精细图像数据H1。
在一些实施例中，在最后的融合重建过程，使用损失函数进行超分辨率融合，主要使用融合规则将提取的相同维度和大小的特征组合起来得到高级特征，并将这些高级特征还原到原始像素空间，得到最终的高质量重建图像。
综上所述，本申请实施例提供的方法，提供了一种图像重建方法，通过获取目标粗略图像对应目标时刻前后的参考图像，并分别确定目标时刻前后时刻参考图像中的精细图像作为第一时刻的第一精细图像和第二时刻的第二精细图像，通过编码融合，将第一精细图像和第二精细图像中包含的对应时刻与目标粗略图像相似的高分辨率图像特征，用于目标粗略图像的重建，使重建过程高效且准确，从而降低了CPU或GPU资源的消耗，提高了硬件性能。
本申请实施例提供的方法，明确了双分支编码结构，将目标时刻前后时刻的精细参考图像用于图像重建，提供了第一时刻和第二时刻都与目标粗略图像相似的高分辨率图像特征，使重建得到的目标精细图像获得高分辨率图像特征提高图像质量的同时，保证了与目标粗略图像的相似度，提高了图像重建的准确性。
示意性的，请参考图4，图4是本申请一个示例性实施例提供的编码融合的流程图，如图4所示，在一些实施例中，上述步骤230中分支编码部分的第二步融合编码，即对第一精细图像数据和目标粗略图像数据进行融合编码，得到第一编码结果，可实现为步骤410至步骤430：
步骤410，对目标粗略图像数据进行特征提取，得到目标纹理特征表示。
示意性的，请参考图5，图5是本申请一个示例性实施例提供的融合编码模型示意图，如图5所示，融合编码模型包括特征提取模块510、KVE网络特征提取模块520、相关性嵌入模块530、强注意力模块540和软注意力模块550。在一些实施例中，通过由卷积层和标准处理化层构成的特征提取模块510对目标粗略图像数据M1进行特征提取，得到目标纹理特征F，其中，目标纹理特征F表示用于进行特征融合，即在融合结果中保留目标粗略图像数据对应的低分辨率图像特征。
示意性的，请参考图6，图6是本申请一个示例性实施例提供的融合编码模型结构示意图，上述融合编码模型实现为如图6所示的结构，其中，KVE网络610、KVE网络620和KVE网络630结构相同，由指定卷积模块、标准化处理模块和最大池化模块构成，残差网络640由指定卷积模块和标准化处理模块构成。
在一些实施例中，上述融合编码模型实现为纹理转换器，使用高分辨率图像作为参考图像。通过这种方式，相关纹理被转移到低分辨率纹理图像，传输相应且准确的纹理特征。纹理转换器可以重叠使用并跨尺度集成特征信息，以便从参考图像中提取更多纹理信息并应用于不同阶段的纹理恢复。该纹理转换器模型由四个部分组成：可学习纹理提取器、关系嵌入模块、强注意力模块和软注意力模块。其中，可学习纹理提取器主要用于端到端过程中的参数更新，同时嵌入低分辨率纹理和参考图像的联合特征，确保注意力机制在算法中有初步的基础重建。关系嵌入模块主要用于计算低分辨率纹理和参考图像之间的相关性。本质上，从低分辨率纹理和参考图像中提取的特征可以用作转换器，形成长串珠和键的模式，从中获得强注意力图和软注意力图。强注意力关注点，同时强注意力是一个随机的预测过程，强调动态变化，软注意力关注区域或者通道，且软注意力是确定性的注意力，学习完成后直接可以通过网络生成。强注意力模块和软注意力模块，主要用于将参考图像中的高分辨率特征通过注意力图融合到从主干中提取的低分辨率纹理特征中。
步骤420，对目标粗略图像数据和第一精细图像数据进行融合特征关系提取，得到融合特征表示。
其中，融合特征表示包括目标粗略图像数据对应的部分低分辨率图像特征和第一精细图像数据对应的部分高分辨率图像特征。
示意性的，请参考图7，图7是本申请一个示例性实施例提供的融合特征提取的流程图，如图7所示，步骤420可实现为步骤421至步骤424。
步骤421，对目标粗略图像数据进行上采样后特征提取，得到目标上采样特征表示。
示意性的，对目标粗略图像数据M1进行上采样得到目标上采样图像数据M1↑后，如图5所示，通过KVE网络特征提取模块520对目标上采样图像数据M1↑进行特征提取，得到目标上采样特征表示Q，目标上采样特征表示Q用于进行纹理搜索，在本申请实施例中，Q的特征提取公式为Q＝KVE(M1↑)。
步骤422，对第一精细图像数据进行特征提取，得到精细纹理特征表示。
示意性的，如图5所示，通过KVE网络特征提取模块520对第一精细图像数据L0进行特征提取，得到精细纹理特征表示V，精细纹理特征表示V用于进行纹理迁移，在本申请实施例中，V的特征提取公式为V＝KVE(L0)。
步骤423，对第一精细图像数据进行下采样和上采样后特征提取，得到采样纹理特征表示。
示意性的，对第一精细图像数据L0进行下采样和上采样得到第一采样图像数据L0↓↑后，如图5所示，通过KVE网络特征提取模块520对第一采样图像数据L0↓↑进行特征提取，得到采样纹理特征表示K，目标上采样特征表示K用于进行纹理搜索，在本申请实施例中，K的特征提取公式为K＝KVE(L0↓↑)。
步骤424，提取目标上采样特征表示、精细纹理特征表示和采样纹理特征表示之间的相关性，得到融合特征表示。
在一些可选的实施例中，步骤424可实现为如下两步：
第一步，对采样纹理特征表示和目标上采样特征表示进行相关性嵌入，得到嵌入特征表示。
示意性的，如图5所示，通过相关性嵌入模块530对采样纹理特征表示K和目标上采样特征表示Q进行相关性嵌入，得到嵌入特征表示R，嵌入特征表示R计算公式为：其中q和k是采样纹理特征表示K和目标上采样特征表示Q提取的向量元素。
第二步，对精细纹理特征表示和嵌入特征表示进行注意力分析，得到融合特征表示。
示意性的，如图5所示，通过强注意力模块540，对精细纹理特征表示V和嵌入特征表示R进行注意力分析，得到融合特征表示T。注意力分析过程中需要确定强注意力图H和软注意力图S，在强注意力机制中使用如下公式：
hi＝argj max Ri,j，
其中，hi是一个硬索引，表示在第一精细图像数据中与第i个位置最相关的目标粗略图像数据对应的纹理数据。软注意力机制中使用如下公式：
si＝argj max Ri,j，
其中，si表示hi与目标粗略图像数据中对应的纹理数据的相关性。
步骤430，对目标纹理特征表示和融合特征表示进行融合，得到第一编码结果。
示意性的，如图5所示，对目标纹理特征表示F和融合特征表示T进行融合，得到第一编码结果F1，第一编码结果F1的计算公式为：
F1＝F+Conv(Concat(F,T))*Ws+Conv(Concat(F,T))*Wh。
其中，s代表软注意力图，h代表强注意力图，Ws即软注意力模块权重，Wh即强注意力模块权重。
综上所述，本申请实施例提供的方法，明确了分支编码中融合编码的步骤，通过融合编码模型得到目标纹理特征表示和融合特征表示，并进行融合得到编码结果，目标纹理特征指示目标粗略图像的原有纹理特征，融合特征表示指示参考图像中高度相似于目标粗略图像的高分辨率纹理特征，将两者进行融合能够传输相应且准确的纹理特征，提高重建图像的质量。
本申请实施例提供的方法，提供了提取融合特征的方法，通过对目标粗略图像和精细图像的采样处理，使从精细图像中提取到的图像纹理信息与低分辨率的目标粗略图像分布一致，从而提高图像重建的准确性。
本申请实施例提供的方法，提供了纹理特征相关性提取方法，通过对采样纹理特征表示和目标上采样特征表示进行相关性嵌入提取嵌入特征表示，基于嵌入特征表示，判断目标粗略图像中低分辨率纹理特征和精细图像中高分辨率纹理特征的相关性，再通过注意力分析，确定精细图像中部分位置与目标粗略图像最相关的纹理图像，进而用于进行纹理特征迁移得到融合特征表示，提高了图像重建的效率和准确性。
在一些实施例中，使用如图5所示的融合编码模型执行上述步骤230中分支编码部分的第二步融合编码，即使用融合编码模型对第一精细图像数据和目标粗略图像数据进行融合编码，得到第一编码结果。示意性的，请参考图8，图8是本申请一个示例性实施例提供的反馈机制流程图，如图8所示，融合编码还包括步骤810至步骤830。
步骤810，基于目标粗略图像数据，计算融合编码模型的损失度。
在一些实施例中，损失度计算方式实现为一个复合损失函数Lcompound，包括内容损失、特征损失和视觉损失，在本申请实施例中还包括重建损失，主要目的是增强目标精细图像的清晰度，示意性的，请参考图9，图9是本申请一个示例性实施例提供的损失度计算流程图，如图9所示，上述步骤810可实现为步骤811至步骤814。
步骤811，基于目标粗略图像数据对应的图像特征和目标精细图像数据对应的图像特征，计算特征损失。
示意性的，特征损失Lfeature计算公式为：Lfeature＝1/(N(|FLt1|-FLt-1)b)，其中，N表示正太分布函数，b为指定的参数，FLt1表示处理后的图像对应的特征，即目标精细图像数据对应的图像特征，FLt-1表示处理前的图像对应的特征，即目标粗略图像数据对应的图像特征，通过做差值计算损失。
步骤812，基于目标精细图像数据，计算视觉损失。
视觉损失，起辅助作用，目的是从计算机视觉的角度提高整体图像质量。
示意性的，视觉损失Lvision计算公式为：Lvision＝It H1+∏i＝1 N[Hi(ti-ti-1)]a[Si(ti-ti-1)]b。其中，It H1表示第t次迭代中重建得到的目标精细图像，Hi表示在第一精细图像数据中与第i个位置最相关的目标粗略图像数据对应的纹理数据，Si表示Hi与目标粗略图像数据中对应的纹理数据之间的相关性，N、a、b、ti和ti-1是预设的参数。
步骤813，基于第一精细图像数据和目标精细图像数据，计算重建损失。
重建损失，是从低分辨率图像到高分辨率图像的损失函数。
示意性的，重建损失Lreconstruction计算公式为：Lreconstruction＝1/(H*W||It L0-IH1||)，其中，H表示目标粗略图像数据对应的高，W表示目标粗略图像数据对应的宽，It L0表示第t次迭代中的第一精细图像，IH1表示重建得到的目标精细图像。
步骤814，对特征损失、视觉损失和重建损失进行融合，得到融合编码模型的损失度。
示意性的，损失度计算方式实现为一个复合损失函数Lcompound，Lcompound计算公式为：Lcompound＝Lcontent+Lfeature+Lvision+Lreconstruction，其中，Lcontent是内容损失，内容损失的主要作用是保证图像内容的完整性，如纹理和色调，在一些实施例中，内容损失计算方式实现为平均绝对误差(MAE)或均方误差(MSE)，基于目标粗略图像数据和目标精细图像数据之间的差值进行计算。
步骤820，基于损失度对融合编码模型的权重进行调整，得到更新权重。
在一些实施例中，根据如下公式对权重进行调整：
NET＝sigmod(WhX-LcompoundF1)。
其中，NET代表神经网络，Wh是强注意力分析权重，F1是编码结果，X是指定的参数。
步骤830，基于更新权重，对目标纹理特征表示和融合特征表示进行融合，得到第一编码结果。
示意性的，基于优化权重Ws和Wh，对目标纹理特征表示F和融合特征表示T进行融合，得到所述第一编码结果F1，使用如下公式表示第一编码结果F1：
F1＝F+Conv(Concat(F,T))*Ws+Conv(Concat(F,T))*Wh。
其中，s代表软注意力图，h代表强注意力图，Ws即软注意力模块权重，Wh即强注意力模块权重。
综上所述，本申请实施例提供的方法，提供了融合编码中反馈机制的执行方法，通过反馈机制确定损失度，从而根据损失度调整模型权重，增强了目标精细图像的清晰度，保证了图像内容的完整性，提高了整体图像质量。
本申请实施例提供的方法，提供了损失计算方法，将通过多重损失融合，多方面衡量图像重建质量，提升重建图像中的纹理性能。
在一些实施例中，上述反馈机制实现为反馈机制模型，在融合阶段，参与对双分支的图像特征的融合，示意性的，请参考图10，图10是本申请一个示例性实施例提供的反馈机制模型示意图，如图所示，M表示低分辨率纹理图像数据，H1、H2、H3和H4表示不同阶段的重建图像，在各个特征提取块(即粗略图像的特征提取)的过程中，滤波器由滤波网络中的网络层组成，反馈机制部分的结构包括卷积模块、反卷积模块、上采样模块和反馈网络，图10中4个分支结构相同，都由卷积模块、反卷积模块、上采样模块和反馈网络构成，基于该结构进行迭代实现反馈机制，通过反馈网络得到输入的低分辨率纹理图像数据对应的浅层特征Ft in，的计算公式为：Ft in＝fLRFB(IM)，t代表迭代次数，fLRFB表示右分支反馈网络，IM表示输入的低分辨率纹理图像，FB表示反馈网络，公式为FB＝conv(IM+Loss)(LR)+conv(IRes+Loss)(RB)，RB表示重构块的连接操作，It Res是根据M产生的残差块，根据反馈机制的原理将浅层特征F1 in作为反馈网络FB的输入，F1 in被视为F0 out的初始隐藏状态。在第t次迭代中，FB接收到上一次迭代F(t-1)的隐藏状态，F(t-1)通过反馈连接接收浅层特征Ft in。FB的输出表示结合F0 out表示，如公式：F0 out＝FB(Ft-1 out,F1 in)，在重构阶段，经过t次迭代后实现为如下公式：It Res＝RB(Ft out)，It H1＝It Res+fup(IM)，fup表示上采样的操作。在重建网络中，连接皮层视觉区域的反馈连接可以将响应信号从高阶区域传输到低阶区域，高低阶表示编码复杂度，一般也是视觉复杂度。反馈机制自上而下地工作，将高级信息传递到前一级并细化低级编码信息。为了从粗糙的图像中恢复更详细的信息，即为了从低分辨率纹理图像中恢复更好的超分辨率图像，该模型在两个分支中都使用了反馈机制。反馈机制可以使每个网络输出迭代地修正之前的状态。该反馈机制在迭代过程中由三部分组成：在每次迭代中提供低分辨率纹理输入特征提取块，即低分辨率反馈块，用于保证低层信息的可用性，反馈块和重建块，其中每个块的权重是跨顺序共享的。
综上所述，本申请实施例提供的方法，明确了反馈机制模型在图像重建过程中的作用，实现了多重特征融合，提高了重建图像的质量。
图11是本申请一个示例性实施例提供的图像重建装置的结构框图，如图11所示，该装置包括如下部分：
纹理资源获取模块1110，用于获取目标时刻对应的纹理资源数据，所述纹理资源数据对应所述目标时刻的目标粗略图像数据；
参考图像获取模块1120，用于获取所述目标时刻之前的第一时刻的第一参考图像数据和第二参考图像数据，所述第一参考图像数据对应的分辨率与所述第二参考图像数据对应的分辨率不同；以及，获取所述目标时刻之后的第二时刻的第三参考图像数据和第四参考图像数据，所述第三参考图像数据对应的分辨率与所述第四参考图像数据对应的分辨率不同；
双分支编码模块1130，用于对所述第一参考图像数据、所述第二参考图像数据和所述目标粗略图像数据进行第一分支编码，得到第一编码结果；以及，对所述第三参考图像数据、所述第四参考图像数据和所述目标粗略图像数据进行第二分支编码，得到第二编码结果；
精细图像重建模块1140，用于基于所述第一编码结果和所述第二编码结果的融合结果，对所述目标粗略图像数据进行重建，得到目标精细图像数据，所述目标精细图像数据对应的分辨率高于所述目标粗略图像数据对应的分辨率。
在一些可选的实施例中，所述双分支编码模块1130，包括：
编码过滤单元1131，用于对所述第一参考图像数据和所述第二参考图像数据进行编码过滤，从所述第一参考图像数据和所述第二参考图像数据中确定分辨率高的第一精细图像数据；
融合编码单元1132，用于对所述第一精细图像数据和所述目标粗略图像数据进行融合编码，得到所述第一编码结果。
在一些可选的实施例中，所述融合编码单元1132，包括：
目标特征提取子单元3210，用于对所述目标粗略图像数据进行特征提取，得到目标纹理特征表示；
融合特征提取子单元3220，用于对所述目标粗略图像数据和所述第一精细图像数据进行融合特征关系提取，得到融合特征表示；
特征融合子单元3230，用于对所述目标纹理特征表示和所述融合特征表示进行融合，得到所述第一编码结果。
在一些可选的实施例中，所述融合特征提取子单元3220，包括：
目标特征提取子子单元3221，用于对所述目标粗略图像数据进行上采样后特征提取，得到目标上采样特征表示；
精细特征提取子子单元3222，用于对所述第一精细图像数据进行特征提取，得到精细纹理特征表示；
采样特征提取子子单元3223，对所述第一精细图像数据进行下采样和上采样后特征提取，得到采样纹理特征表示；
相关性提取子子单元3224，提取所述目标上采样特征表示、所述精细纹理特征表示和所述采样纹理特征表示之间的相关性，得到所述融合特征表示。
在一些可选的实施例中，所述相关性提取子子单元3224，用于对所述采样纹理特征表示和所述目标上采样特征表示进行相关性嵌入，得到嵌入特征表示；对所述精细纹理特征表示和所述嵌入特征表示进行注意力分析，得到所述融合特征表示。
在一些可选的实施例中，所述融合编码单元1132，用于使用融合编码模型对所述第一精细图像数据和所述目标粗略图像数据进行融合编码，得到所述第一编码结果；所述特征融合子单元3230，还包括：
损失度计算子子单元3231，用于基于所述目标粗略图像数据、第一精细图像数据和目标精细图像数据，计算所述融合编码模型的损失度；
权重更新子子单元3232，用于基于所述损失度对所述融合编码模型的权重进行调整，得到更新权重；
特征融合子子单元3233，用于基于所述更新权重，对所述目标纹理特征表示和所述融合特征表示进行融合，得到所述第一编码结果。
在一些可选的实施例中，所述损失度计算子子单元3231，用于基于所述目标粗略图像数据对应的图像特征和所述目标精细图像数据对应的图像特征，计算特征损失；基于所述目标精细图像数据，计算视觉损失；基于所述第一精细图像数据和所述目标精细图像数据，计算重建损失；对所述特征损失、所述视觉损失和所述重建损失进行融合，得到所述融合编码模型的损失度。
综上所述，本申请实施例提供的图像重建装置，通过获取目标粗略图像对应目标时刻前后的参考图像，并分别确定目标时刻前后时刻参考图像中的精细图像作为第一时刻的第一精细图像和第二时刻的第二精细图像，通过编码融合，将第一精细图像和第二精细图像中包含的对应时刻与目标粗略图像相似的高分辨率图像特征，用于目标粗略图像的重建，使重建过程高效且准确，从而降低了CPU或GPU资源的消耗，提高了硬件性能。
需要说明的是：上述实施例提供的图像重建装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
图13示出了本申请一个示例性实施例提供的终端1300的结构框图。该终端1300可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1300还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1300包括有：处理器1301和存储器1302。
处理器1301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1301所执行以实现本申请中方法实施例提供的图像重建方法。
在一些实施例中，终端1300还包括其他组件，本领域技术人员可以理解，图13中示出的结构并不构成对终端1300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请的实施例还提供了一种计算机设备，该计算机设备可以实现为如图1所示的终端或者服务器。该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的图像重建方法。
本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的图像重建方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的图像重建方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM，Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像重建方法，其特征在于，所述方法包括：
获取目标时刻对应的纹理资源数据，所述纹理资源数据对应所述目标时刻的目标粗略图像数据；
获取所述目标时刻之前的第一时刻的第一参考图像数据和第二参考图像数据，所述第一参考图像数据对应的分辨率与所述第二参考图像数据对应的分辨率不同；以及，获取所述目标时刻之后的第二时刻的第三参考图像数据和第四参考图像数据，所述第三参考图像数据对应的分辨率与所述第四参考图像数据对应的分辨率不同；
对所述第一参考图像数据、所述第二参考图像数据和所述目标粗略图像数据进行第一分支编码，得到第一编码结果；以及，对所述第三参考图像数据、所述第四参考图像数据和所述目标粗略图像数据进行第二分支编码，得到第二编码结果；
基于所述第一编码结果和所述第二编码结果的融合结果，对所述目标粗略图像数据进行重建，得到目标精细图像数据，所述目标精细图像数据对应的分辨率高于所述目标粗略图像数据对应的分辨率。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一参考图像数据、所述第二参考图像数据和所述目标粗略图像数据进行第一分支编码，得到第一编码结果，包括：
对所述第一参考图像数据和所述第二参考图像数据进行编码过滤，从所述第一参考图像数据和所述第二参考图像数据中确定分辨率高的第一精细图像数据；
对所述第一精细图像数据和所述目标粗略图像数据进行融合编码，得到所述第一编码结果。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一精细图像数据和所述目标粗略图像数据进行融合编码，得到所述第一编码结果，包括：
对所述目标粗略图像数据进行特征提取，得到目标纹理特征表示；
对所述目标粗略图像数据和所述第一精细图像数据进行融合特征关系提取，得到融合特征表示；
对所述目标纹理特征表示和所述融合特征表示进行融合，得到所述第一编码结果。
4.根据权利要求3所述的方法，其特征在于，所述对所述目标粗略图像数据和所述第一精细图像数据进行融合特征关系提取，得到融合特征表示，包括：
对所述目标粗略图像数据进行上采样后特征提取，得到目标上采样特征表示；
对所述第一精细图像数据进行特征提取，得到精细纹理特征表示；
对所述第一精细图像数据进行下采样和上采样后特征提取，得到采样纹理特征表示；
提取所述目标上采样特征表示、所述精细纹理特征表示和所述采样纹理特征表示之间的相关性，得到所述融合特征表示。
5.根据权利要求4所述的方法，其特征在于，所述提取所述目标上采样特征表示、所述精细纹理特征表示和所述采样纹理特征表示之间的相关性，得到所述融合特征表示，包括：
对所述采样纹理特征表示和所述目标上采样特征表示进行相关性嵌入，得到嵌入特征表示；
对所述精细纹理特征表示和所述嵌入特征表示进行注意力分析，得到所述融合特征表示。
6.根据权利要求5所述的方法，其特征在于，所述对所述第一精细图像数据和所述目标粗略图像数据进行融合编码，得到所述第一编码结果，包括：
使用融合编码模型对所述第一精细图像数据和所述目标粗略图像数据进行融合编码，得到所述第一编码结果；
所述对所述目标纹理特征表示和所述融合特征表示进行融合，得到所述第一编码结果，还包括：
基于所述目标粗略图像数据、第一精细图像数据和目标精细图像数据，计算所述融合编码模型的损失度；
基于所述损失度对所述融合编码模型的权重进行调整，得到更新权重；
基于所述更新权重，对所述目标纹理特征表示和所述融合特征表示进行融合，得到所述第一编码结果。
7.根据权利要求6所述的方法，其特征在于，所述基于所述目标粗略图像数据、第一精细图像数据和目标精细图像数据，计算所述融合编码模型的损失度，包括：
基于所述目标粗略图像数据对应的图像特征和所述目标精细图像数据对应的图像特征，计算特征损失；
基于所述目标精细图像数据，计算视觉损失；
基于所述第一精细图像数据和所述目标精细图像数据，计算重建损失；
对所述特征损失、所述视觉损失和所述重建损失进行融合，得到所述融合编码模型的损失度。
8.一种图像重建装置，其特征在于，所述装置包括：
纹理资源获取模块，用于获取目标时刻对应的纹理资源数据，所述纹理资源数据对应所述目标时刻的目标粗略图像数据；
参考图像获取模块，用于获取所述目标时刻之前的第一时刻的第一参考图像数据和第二参考图像数据，所述第一参考图像数据对应的分辨率与所述第二参考图像数据对应的分辨率不同；以及，获取所述目标时刻之后的第二时刻的第三参考图像数据和第四参考图像数据，所述第三参考图像数据对应的分辨率与所述第四参考图像数据对应的分辨率不同；
双分支编码模块，用于对所述第一参考图像数据、所述第二参考图像数据和所述目标粗略图像数据进行第一分支编码，得到第一编码结果；以及，对所述第三参考图像数据、所述第四参考图像数据和所述目标粗略图像数据进行第二分支编码，得到第二编码结果；
精细图像重建模块，用于基于所述第一编码结果和所述第二编码结果的融合结果，对所述目标粗略图像数据进行重建，得到目标精细图像数据，所述目标精细图像数据对应的分辨率高于所述目标粗略图像数据对应的分辨率。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至7任一所述的图像重建方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至7任一所述的图像重建方法。
11.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一所述的图像重建方法。
CN202211324288.9A 2022-10-27 2022-10-27 图像重建方法、装置、设备、存储介质及计算机程序产品 Pending CN117011131A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211324288.9A CN117011131A (zh) 2022-10-27 2022-10-27 图像重建方法、装置、设备、存储介质及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211324288.9A CN117011131A (zh) 2022-10-27 2022-10-27 图像重建方法、装置、设备、存储介质及计算机程序产品

Publications (1)

Publication Number Publication Date
CN117011131A true CN117011131A (zh) 2023-11-07

Family

ID=88562472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211324288.9A Pending CN117011131A (zh) 2022-10-27 2022-10-27 图像重建方法、装置、设备、存储介质及计算机程序产品

Country Status (1)

Country Link
CN (1) CN117011131A (zh)

Similar Documents

Publication Publication Date Title
Li et al. Survey of single image super‐resolution reconstruction
CN112001914A (zh) 深度图像补全的方法和装置
KR20210074360A (ko) 이미지 처리 방법, 디바이스 및 장치, 그리고 저장 매체
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
CN108734653B (zh) 图像风格转换方法及装置
CN112950471A (zh) 视频超分处理方法、装置、超分辨率重建模型、介质
CN114511576B (zh) 尺度自适应特征增强深度神经网络的图像分割方法与系统
CN116205962B (zh) 基于完整上下文信息的单目深度估计方法及系统
WO2021139351A1 (zh) 图像分割方法、装置、介质及电子设备
CN118570054B (zh) 图像生成模型的训练方法、相关装置和介质
CN116958325A (zh) 图像处理模型的训练方法、装置、电子设备及存储介质
Khan et al. Sparse to dense depth completion using a generative adversarial network with intelligent sampling strategies
CN117094362B (zh) 一种任务处理方法及相关装置
Han Texture Image Compression Algorithm Based on Self‐Organizing Neural Network
CN117851632A (zh) 基于人工智能的图像检索方法、装置、设备及存储介质
CN117576483A (zh) 基于多尺度卷积自编码器的多源数据融合地物分类方法
CN116630152A (zh) 图像分辨率重建方法、装置、存储介质及电子设备
CN114493971B (zh) 媒体数据转换模型训练、数字水印嵌入方法和装置
CN117011131A (zh) 图像重建方法、装置、设备、存储介质及计算机程序产品
CN115311152A (zh) 图像处理方法、装置、电子设备以及存储介质
CN112052863B (zh) 一种图像检测方法及装置、计算机存储介质、电子设备
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN115965839A (zh) 图像识别方法、存储介质及设备
CN113240589A (zh) 一种多尺度特征融合的图像去雾方法及系统
CN112580772A (zh) 卷积神经网络的压缩方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination