CN113658283B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113658283B
CN113658283B CN202110950125.0A CN202110950125A CN113658283B CN 113658283 B CN113658283 B CN 113658283B CN 202110950125 A CN202110950125 A CN 202110950125A CN 113658283 B CN113658283 B CN 113658283B
Authority
CN
China
Prior art keywords
image
feature
weight
decoding
kth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110950125.0A
Other languages
English (en)
Other versions
CN113658283A (zh
Inventor
方轲
宋丛礼
郑文
郭益林
万鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110950125.0A priority Critical patent/CN113658283B/zh
Publication of CN113658283A publication Critical patent/CN113658283A/zh
Application granted granted Critical
Publication of CN113658283B publication Critical patent/CN113658283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开是关于一种图像处理方法、装置、电子设备及存储介质，属于计算机技术领域。方法包括：对第一尺寸的原始图像进行分割，得到第二尺寸的多个第一图像块，第一尺寸大于第二尺寸；将每个第一图像块输入到图像处理模型，得到每个第一图像块对应的第二图像块，每个第二图像块的图像尺寸为第二尺寸；对得到的多个第二图像块进行拼接，得到第一尺寸的目标图像。本公开实施例提供的方法，通过将第一尺寸的原始图像分割成多个小尺寸的图像块，对每个图像块进行图像处理后，将处理后的图像块重新拼接为与原始图像的图像尺寸相同的目标图像，在此过程中，无需直接对大尺寸的原始图像进行图像处理，从而降低了对设备性能的需求，增强了适用范围。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的发展，图像的显示样式越来越丰富多样。通过多种图像处理模型，例如，美颜模型、人脸更换模型等，对图像进行处理，能够实现图像的多种显示样式。相关技术中，基于电子设备中的网络模型对图像进行处理的过程中，运算量大，对电子设备的性能需求高。
发明内容
本公开提供了一种图像处理方法、装置、电子设备及存储介质，能够降低对电子设备的性能的需求。
根据本公开实施例的一方面，提供一种图像处理方法，所述方法包括：
对第一尺寸的原始图像进行分割，得到第二尺寸的多个第一图像块，所述第一尺寸大于所述第二尺寸；
将每个第一图像块输入到图像处理模型，得到所述每个第一图像块对应的第二图像块，每个第二图像块的图像尺寸为所述第二尺寸；
对得到的多个第二图像块进行拼接，得到所述第一尺寸的目标图像。
在一些实施例中，所述图像处理模型包括编码子模型及解码子模型；
所述编码子模型包括n个编码层，每个编码层用于基于输入的图像块或图像特征进行编码，其中，对于任一第一图像块，第1个编码层的输入为所述第一图像块，第i个编码层的输入为第i-1个编码层输出的第i-1个编码图像特征，i为大于1且不大于n的任一整数；
所述解码子模型包括n个解码层，每个解码层用于基于输入的图像特征进行解码。
在一些实施例中，n为2；所述图像处理模型中的解码过程，包括：
将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
将第1个融合图像特征输入到第n个解码层，得到所述第一图像块对应的第二图像块。
在一些实施例中，n为大于2的整数；所述图像处理模型中的解码过程，包括：
将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
对于第k个解码层，将第k-1个融合图像特征输入到所述第k个解码层，得到第k个解码图像特征；将所述第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，直至得到第n-1个融合图像特征，k为大于1且小于n的任一整数；
将所述第n-1个融合图像特征输入到第n个解码层，得到所述第一图像块对应的第二图像块。
在一些实施例中，n为2；所述图像处理模型中的解码过程，包括：
将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
将第1个融合图像特征输入到第n个解码层，得到第三图像块；
将所述第三图像块与所述第一图像块进行融合，得到所述第一图像块对应的第二图像块。
在一些实施例中，n为大于2的整数；所述图像处理模型中的解码过程，包括：
将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
对于第k个解码层，将第k-1个融合图像特征输入到所述第k个解码层，得到第k个解码图像特征；将所述第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，直至得到第n-1个融合图像特征，k为大于1且小于n的任一整数；
将所述第n-1个融合图像特征输入到第n个解码层，得到第三图像块；
将所述第三图像块与所述第一图像块进行融合，得到所述第一图像块对应的第二图像块。
在一些实施例中，所述图像处理模型包括至少一个权重获取层；
所述将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征，包括：
将所述第1个解码图像特征及所述第n-1个编码图像特征输入到第1个权重获取层，得到所述第n-1个编码图像特征的第一权重特征；
将目标数值与所述第一权重特征之间的差值，确定为所述第1个解码图像特征的第二权重特征；
基于所述第二权重特征及所述第一权重特征，对所述第1个解码图像特征与所述第n-1个编码图像特征进行加权融合，得到所述第1个融合图像特征。
在一些实施例中，所述将所述第1个解码图像特征及所述第n-1个编码图像特征输入到第1个权重获取层，得到所述第n-1个编码图像特征的第一权重特征，包括：
将所述第1个解码图像特征与所述第n-1个编码图像特征进行拼接，得到第一拼接特征；
将所述第一拼接特征输入到所述第1个权重获取层，得到所述第一权重特征。
在一些实施例中，所述图像处理模型包括至少两个权重获取层，所述将所述第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，包括：
将所述第k个解码图像特征及所述第n-k个编码图像特征输入到第k个权重获取层，得到第三权重特征；
将所述第三权重特征与第n-k+1个编码图像特征的权重特征进行融合，得到所述第n-k个编码图像特征的第四权重特征；
将所述目标数值与所述第四权重特征之间的差值，确定为所述第k个解码图像特征的第五权重特征；
基于所述第五权重特征及所述第四权重特征，对所述第k个解码图像特征与所述第n-k个编码图像特征进行加权融合，得到所述第k个融合图像特征。
在一些实施例中，所述将所述第k个解码图像特征及所述第n-k个编码图像特征输入到第k个权重获取层，得到第三权重特征，包括：
将所述第k个解码图像特征与所述第n-k个编码图像特征进行拼接，得到第二拼接特征；
将所述第二拼接特征输入到所述第k个权重获取层，得到所述第三权重特征。
在一些实施例中，所述n个编码层输出的编码图像特征的特征尺寸逐渐变小，所述n个解码层输出的解码图像特征的特征尺寸逐渐变大，且所述第j个解码图像特征的特征尺寸与第n-j个编码图像特征的特征尺寸相同，j为不大于n的正整数；
所述将所述第三权重特征与第n-k+1个编码图像特征的权重特征进行融合，得到所述第n-k个编码图像特征的第四权重特征，包括：
将所述第n-k+1个编码图像特征的权重特征进行尺寸变换，得到与所述第三权重特征的特征尺寸相同的权重特征；
将所述第三权重特征与尺寸变换后的权重特征进行融合，得到所述第四权重特征。
在一些实施例中，所述图像处理模型包括n个权重获取层；
所述将所述第三图像块与所述第一图像块进行融合，得到所述第一图像块对应的第二图像块，包括：
将所述第三图像块及所述第一图像块输入到第n个权重获取层，得到所述第一图像块的权重特征；
将目标数值与所述第一图像块的权重特征之间的差值，确定为所述第三图像块的权重特征；
基于所述第一图像块的权重特征及所述第三图像块的权重特征，对所述第三图像块及所述第一图像块进行加权融合，得到所述第一图像块对应的第二图像块。
在一些实施例中，所述第一图像块包括多个第一像素点的像素值，所述第二图像块包括多个第二像素点的像素值，且每个第一像素点与一个第二像素点对应，所述第一图像块的权重特征包括多个权重值；
所述将所述第三图像块及所述第一图像块输入到第n个权重获取层，得到所述第一图像块的权重特征，包括：
基于所述第n个权重获取层，将所述第一图像块与所述第三图像块中位于相同位置上的第一像素点的像素值与第二像素点的像素值进行融合，得到多个位置对应的权重值；
按照所述多个位置的排列顺序，将所述多个位置对应的权重值构成所述第一图像块的权重特征。
在一些实施例中，所述对得到的多个第二图像块进行拼接，得到所述第一尺寸的目标图像，包括：
按照所述多个第一图像块在所述原始图像中的位置，对所述多个第二图像块进行拼接，得到所述目标图像。
根据本公开实施例的再一方面，提供一种图像处理装置，所述装置包括：
分割单元，被配置为执行对第一尺寸的原始图像进行分割，得到第二尺寸的多个第一图像块，所述第一尺寸大于所述第二尺寸；
处理单元，被配置为执行将每个第一图像块输入到图像处理模型，得到所述每个第一图像块对应的第二图像块，每个第二图像块的图像尺寸为所述第二尺寸；
拼接单元，被配置为执行对得到的多个第二图像块进行拼接，得到所述第一尺寸的目标图像。
在一些实施例中，所述图像处理模型包括编码子模型及解码子模型；
所述编码子模型包括n个编码层，每个编码层用于基于输入的图像块或图像特征进行编码，其中，对于任一第一图像块，第1个编码层的输入为所述第一图像块，第i个编码层的输入为第i-1个编码层输出的第i-1个编码图像特征，i为大于1且不大于n的任一整数；
所述解码子模型包括n个解码层，每个解码层用于基于输入的图像特征进行解码。
在一些实施例中，n为2；所述处理单元，包括：
解码子单元，被配置为执行将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
融合子单元，被配置为执行将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
所述解码子单元，还被配置为执行将第1个融合图像特征输入到第n个解码层，得到所述第一图像块对应的第二图像块。
在一些实施例中，n为大于2的整数；所述处理单元，包括：
解码子单元，被配置为执行将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
融合子单元，被配置为执行将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
所述融合子单元，还被配置为执行对于第k个解码层，将第k-1个融合图像特征输入到所述第k个解码层，得到第k个解码图像特征；将所述第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，直至得到第n-1个融合图像特征，k为大于1且小于n的任一整数；
所述解码子单元，还被配置为执行将所述第n-1个融合图像特征输入到第n个解码层，得到所述第一图像块对应的第二图像块。
在一些实施例中，n为2；所述处理单元，包括：
解码子单元，被配置为执行将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
融合子单元，被配置为执行将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
所述解码子单元，还被配置为执行将第1个融合图像特征输入到第n个解码层，得到第三图像块；
所述融合子单元，还被配置为执行将所述第三图像块与所述第一图像块进行融合，得到所述第一图像块对应的第二图像块。
在一些实施例中，n为大于2的整数；所述处理单元，包括：
解码子单元，被配置为执行将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
融合子单元，被配置为执行将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
所述融合子单元，还被配置为执行对于第k个解码层，将第k-1个融合图像特征输入到所述第k个解码层，得到第k个解码图像特征；将所述第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，直至得到第n-1个融合图像特征，k为大于1且小于n的任一整数；
所述解码子单元，还被配置为执行将所述第n-1个融合图像特征输入到第n个解码层，得到第三图像块；
所述融合子单元，还被配置为执行将所述第三图像块与所述第一图像块进行融合，得到所述第一图像块对应的第二图像块。
在一些实施例中，所述图像处理模型包括至少一个权重获取层；
所述融合子单元，被配置为执行将所述第1个解码图像特征及所述第n-1个编码图像特征输入到第1个权重获取层，得到所述第n-1个编码图像特征的第一权重特征；将目标数值与所述第一权重特征之间的差值，确定为所述第1个解码图像特征的第二权重特征；基于所述第二权重特征及所述第一权重特征，对所述第1个解码图像特征与所述第n-1个编码图像特征进行加权融合，得到所述第1个融合图像特征。
在一些实施例中，所述融合子单元，被配置为执行将所述第1个解码图像特征与所述第n-1个编码图像特征进行拼接，得到第一拼接特征；将所述第一拼接特征输入到所述第1个权重获取层，得到所述第一权重特征。
在一些实施例中，所述图像处理模型包括至少两个权重获取层，所述融合子单元，被配置为执行将所述第k个解码图像特征及所述第n-k个编码图像特征输入到第k个权重获取层，得到第三权重特征；将所述第三权重特征与第n-k+1个编码图像特征的权重特征进行融合，得到所述第n-k个编码图像特征的第四权重特征；将所述目标数值与所述第四权重特征之间的差值，确定为所述第k个解码图像特征的第五权重特征；基于所述第五权重特征及所述第四权重特征，对所述第k个解码图像特征与所述第n-k个编码图像特征进行加权融合，得到所述第k个融合图像特征。
在一些实施例中，所述融合子单元，被配置为执行将所述第k个解码图像特征与所述第n-k个编码图像特征进行拼接，得到第二拼接特征；将所述第二拼接特征输入到所述第k个权重获取层，得到所述第三权重特征。
在一些实施例中，所述n个编码层输出的编码图像特征的特征尺寸逐渐变小，所述n个解码层输出的解码图像特征的特征尺寸逐渐变大，且所述第j个解码图像特征的特征尺寸与第n-j个编码图像特征的特征尺寸相同，j为不大于n的正整数；
所述融合子单元，被配置为执行将所述第n-k+1个编码图像特征的权重特征进行尺寸变换，得到与所述第三权重特征的特征尺寸相同的权重特征；将所述第三权重特征与尺寸变换后的权重特征进行融合，得到所述第四权重特征。
在一些实施例中，所述图像处理模型包括n个权重获取层；
所述融合子单元，被配置为执行将所述第三图像块及所述第一图像块输入到第n个权重获取层，得到所述第一图像块的权重特征；将目标数值与所述第一图像块的权重特征之间的差值，确定为所述第三图像块的权重特征；基于所述第一图像块的权重特征及所述第三图像块的权重特征，对所述第三图像块及所述第一图像块进行加权融合，得到所述第一图像块对应的第二图像块。
在一些实施例中，所述第一图像块包括多个第一像素点的像素值，所述第二图像块包括多个第二像素点的像素值，且每个第一像素点与一个第二像素点对应，所述第一图像块的权重特征包括多个权重值；
所述融合子单元，被配置为执行基于所述第n个权重获取层，将所述第一图像块与所述第三图像块中位于相同位置上的第一像素点的像素值与第二像素点的像素值进行融合，得到多个位置对应的权重值；按照所述多个位置的排列顺序，将所述多个位置对应的权重值构成所述第一图像块的权重特征。
在一些实施例中，所述拼接单元，被配置为执行按照所述多个第一图像块在所述原始图像中的位置，对所述多个第二图像块进行拼接，得到所述目标图像。
根据本公开实施例的再一方面，提供了一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现第一方面所述的图像处理方法。
根据本公开实施例的再一方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述方面所述的图像处理方法。
根据本公开实施例的再一方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行上述方面所述的图像处理方法。
本公开实施例提供的图像处理方法、装置、电子设备及存储介质，通过将第一尺寸的原始图像分割成多个小尺寸的图像块，对每个图像块进行图像处理后，将处理后的图像块重新拼接为与原始图像的图像尺寸相同的目标图像，在此过程中，无需直接对大尺寸的原始图像进行图像处理，从而降低了对设备性能的需求，增强了适用范围。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种实施环境的示意图。
图2是根据一示例性实施例示出的一种图像处理模型的结构示意图。
图3是根据一示例性实施例示出的一种图像处理方法的流程图。
图4是根据一示例性实施例示出的一种图像处理方法的流程图。
图5是根据一示例性实施例示出的一种对图像特征进行加权融合的流程图。
图6是根据一示例性实施例示出的一种图像处理方法的流程图。
图7是根据一示例性实施例示出的一种图像处理装置的框图。
图8是根据一示例性实施例示出的一种图像处理装置的框图。
图9是根据一示例性实施例示出的一种终端的框图。
图10是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图说明中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所使用的术语“至少一个”、“多个”、“每个”、“任一”，至少一个包括一个、两个或两个以上，多个包括两个或两个以上，而每个是指对应的多个中的每一个，任一是指多个中的任意一个。举例来说，多个第一图像块包括3个第一图像块，而每个是指这3个第一图像块中的每一个第一图像块，任一是指这3个第一图像块中的任意一个，能够是第一个，或者，是第二个，或者是第三个。
需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)，均为经用户授权或者经过各方充分授权的信息。
本公开实施例提供的图像处理方法由电子设备执行，在一些实施例中，该电子设备为终端，例如，该终端为手机、平板电脑、计算机等多种类型的终端。在一些实施例中，该电子设备为服务器，例如，该服务器为一台服务器，或者，是由若干服务器组成的服务器集群，或者，是一个云计算服务中心。
图1是根据一示例性实施例提供的一种实施环境的示意图，该实施环境包括：终端101和服务器102，终端101与服务器102通过网络连接能够进行交互。
终端101上安装由服务器102提供服务的目标应用，终端101能够通过该目标应用实现例如数据传输、消息交互等功能。例如，目标应用为视频分享应用，该视频分享应用具有视频分享的功能，当然，该视频分享应用还能够具有其他功能，例如，点评功能、购物功能、导航功能、游戏功能等。在一些实施例中，服务器102为该目标应用的后台服务器或者为提供云计算以及云存储等服务的云服务器。
在一些实施例中，终端101能够获取到原始图像，基于安装的目标应用，能够对原始图像进行处理，得到目标图像。
本公开实施例提供了一种图像处理模型，该图像处理模型用于对图像块进行处理。
在一些实施例中，该图像处理模型包括编码子模型和解码子模型。其中，编码子模型用于获取图像块的图像特征，解码子模型用于对编码子模型输出的图像特征进行解码输出图像块。
在一些实施例中，n为大于1的整数，编码子模型包括n个编码层，每个编码层用于基于输入的图像块或图像特征进行编码，解码子模型包括n个解码层，每个解码层用于基于输入的图像特征进行解码，第n-j个解码层与第j个编码层对应，即第n-j个解码层中输出的解码图像特征的特征尺寸，与第j个编码层中输入的编码图像特征的特征尺寸相同，j为不大于n的正整数。
在对第一图像块进行编码的过程中，第1个编码层的输入是任一第一图像块，基于第1个编码层，对该第一图像块进行编码处理，输出该第一图像块的第1个编码图像特征，之后n个编码层中除第1个编码层外的其他编码层，将上一个编码层输出的编码图像特征作为输入，对输入的编码图像特征处理，输出一个新的编码图像特征，直至得到第n个编码图像特征。例如，将第1个编码图像特征输入至第2个编码层中，基于第2个编码层对第1个编码图像特征进行编码处理，得到第2个编码图像特征，将第2个编码图像特征输入至第2个编码层中，基于第3个编码层对第1个编码图像特征进行编码处理，得到第3个编码图像特征。
在解码过程中，第1个解码层的输入是第n个编码图像特征，基于第1个解码层，对第n个编码图像特征进行解码处理，得到第1个解码图像特征，将第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；按照上述方式，在第1个解码层之后的解码层，将基于前一个解码层输出的解码图像特征得到的融合图像特征为输入，输出一个新的解码图像特征，并将与该新的解码图像特征的特征尺寸相同的编码图像特征，与该新的解码图像特征进行融合，来生成新的融合图像特征，直至得到第n-1个融合图像特征，将第n-1个融合图像特征输入到第n个解码层，输出一个图像块。
在上述实施例的一种可能实现方式中，图像处理模型还包括至少一个权重获取层，第m个权重获取层与第m个解码层对应，m为大于0的整数。
将第1个解码图像特征及第n-1个编码图像特征输入到第1个权重获取层，得到第n-1个编码图像特征的第一权重特征，将目标数值与第一权重特征之间的差值，确定为第1个解码图像特征的第二权重特征，基于第一权重特征和第二权重特征，对第1个解码图像特征及第n-1个编码图像特征进行加权融合，得到第1个融合图像特征；之后，将第k个解码图像特征及第n-k个编码图像特征输入到第k个权重获取层，得到第三权重特征；将第三权重特征与第n-k+1个编码图像特征的权重特征进行融合，得到第n-k个编码图像特征的第四权重特征，将目标数值与第四权重特征之间的差值，确定为第k个解码图像特征的第五权重特征，基于第五权重特征及第四权重特征，对第k个解码图像特征与第n-k个编码图像特征进行加权融合，得到第k个融合图像特征，直至得到第n-1个融合图像特征。
在上述实施例的一种可能实现方式中，第n个解码层输出的图像块为第三图像块，将第三图像块与第一图像块进行融合，得到第二图像块。在此种情况下，图像处理模型包括n个权重获取层，第j个权重获取层与第j个解码层对应，j为不大于n的正整数。按照上述方式，基于第n个权重获取层来获取第一图像块的权重特征，并将目标数值与第一图像块的权重特征之间的差值，得到第三图像块的权重特征，基于得到的权重特征，将第三图像块与第一图像块进行加权融合，得到第二图像块。
在上述实施例的一种可能实现方式中，第n个解码层输出的图像块为第二图像块。在此种情况下，图像处理模型包括n-1个权重获取层，按照上述方式，通过第n-1个权重获取层，来获取第n-1个融合图像特征。
基于上述说明，本公开实施例提供了一种图像处理模型的结构示意图，图2中的图像处理模型是以n为大于3的整数为例，且图像处理模型中包括n个权重获取层。
本公开实施例提供的方法能够应用于多种场景下。
例如，美颜场景下。
终端安装有目标应用，终端获取到包含用户的图像后，采用本公开实施例提供的图像处理方法，利用该目标应用中的美颜模型，对获取到的图像进行处理，得到美颜后的图像，此过程中对电子设备的性能要求低，从而保证了终端能够得到美颜后的图像。
再例如，人脸变老场景下。
终端安装有目标应用，终端获取到包含人脸的图像后，采用本公开实施例提供的图像处理方法，利用该目标应用中的人脸更换模型，对获取到的图像进行处理，得到处理后的图像中的人脸变老，从而实现图像的人脸变老的显示效果。
图2是根据一示例性实施例示出的一种图像处理方法的流程图，参见图2，该图像处理方法由电子设备执行，包括以下步骤：
301、对第一尺寸的原始图像进行分割，得到第二尺寸的多个第一图像块。
其中，第一尺寸大于第二尺寸，每个第一图像块中包含的信息少于原始图像中包含的信息。
302、将每个第一图像块输入到图像处理模型，得到每个第一图像块对应的第二图像块。
其中，每个第二图像块的图像尺寸为第二尺寸，该图像处理模型用于对第二尺寸的图像块进行处理。
303、对得到的多个第二图像块进行拼接，得到第一尺寸的目标图像。
在得到每个第一图像块对应的第二图像块后，相当于得到多个第二图像块，将多个第二图像块进行拼接，使拼接得到的目标图像与原始图像相对应，保证了目标图像的准确性。
本公开实施例提供的方法，通过将第一尺寸的原始图像分割成多个小尺寸的图像块，对每个图像块进行图像处理后，将处理后的图像块重新拼接为与原始图像的图像尺寸相同的目标图像，在此过程中，无需直接对大尺寸的原始图像进行图像处理，从而降低了对设备性能的需求，增强了适用范围。
在一些实施例中，图像处理模型包括编码子模型及解码子模型；
编码子模型包括n个编码层，每个编码层用于基于输入的图像块或图像特征进行编码，其中，对于任一第一图像块，第1个编码层的输入为第一图像块，第i个编码层的输入为第i-1个编码层输出的第i-1个编码图像特征，i为大于1且不大于n的任一整数；
解码子模型包括n个解码层，每个解码层用于基于输入的图像特征进行解码。
在本公开实施例中，图像图像模型包括编码子模型及解码子模型，编码子模型包括n个编码层，解码子模型包括n个解码层，通过n个编码层及n个解码层对输入的图像块进行处理，以保证得到的每个图像块的处理效果。
在一些实施例中，n为2；图像处理模型中的解码过程，包括：
将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
将第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
将第1个融合图像特征输入到第n个解码层，得到第一图像块对应的第二图像块。
在解码过程中，采用融合的方式来获取第1个融合图像特征，以保证第1个融合图像特征的特征尺寸，与第1个解码图像特征和第n-1个编码图像特征的特征尺寸均相同，以避免由于融合图像特征的特征尺寸增大而造成计算量增大的问题，从而降低了对设备性能的需求。并且，由于第1个融合图像特征中包含了编码图像特征及解码图像特征，丰富了融合图像特征中包含的信息量，以保证图像处理模型的处理效果。
在一些实施例中，n为大于2的整数；图像处理模型中的解码过程，包括：
将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
将第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
对于第k个解码层，将第k-1个融合图像特征输入到第k个解码层，得到第k个解码图像特征；将第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，直至得到第n-1个融合图像特征，k为大于1且小于n的任一整数；
将第n-1个融合图像特征输入到第n个解码层，得到第一图像块对应的第二图像块。
在解码过程中，获取第k个融合图像特征时，采用融合的方式来获取第k个融合图像特征，以保证第k个融合图像特征的特征尺寸，与第k个解码图像特征和第n-k个编码图像特征的特征尺寸均相同，以避免由于融合图像特征的特征尺寸增大而造成计算量增大的问题，从而降低了对设备性能的需求。因此，按照上述多个解码层，在获取第n-1个融合图像特征的过程中，计算量小，对设备性能的需求低，在一些性能差的设备上也可能实现，适应范围广。并且，通过多个编码层及多个解码层来获取图像，以丰富获取到的第n-1个融合图像特征包含的信息量，以保证图像处理模型的处理效果。
在一些实施例中，n为2；图像处理模型中的解码过程，包括：
将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
将第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
将第1个融合图像特征输入到第n个解码层，得到第三图像块；
将第三图像块与第一图像块进行融合，得到第一图像块对应的第二图像块。
由于第三图像块是经过图像处理后的图像块，而第一图像块为图像处理之前的图像块，通过将图像处理后的第三图像块，与原来的第一图像块进行融合，以保证得到的第二图像块中既原来的第一图像块中的特征信息，还包括图像处理后的特征信息，丰富了第二图像块中包含的信息，从而实现了在第一图像块的基础上增加某种显示效果的方式，以便后续将多个第二图像块进行拼接后的目标图像与原始图像相比，呈现出某种显示效果，从而保证图像处理的准确性。
并且，采用融合的方式来获取第二图像块，以保证得到的第二图像块的图像尺寸，与第三图像块和第一图像块的图像尺寸均相同，以避免由于生成的新的图像块的图像尺寸增大而造成计算量增大的问题，从而降低了对设备性能的需求。
在一些实施例中，n为大于2的整数；图像处理模型中的解码过程，包括：
将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
将第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
对于第k个解码层，将第k-1个融合图像特征输入到第k个解码层，得到第k个解码图像特征；将第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，直至得到第n-1个融合图像特征，k为大于1且小于n的任一整数；
将第n-1个融合图像特征输入到第n个解码层，得到第三图像块；
将第三图像块与第一图像块进行融合，得到第一图像块对应的第二图像块。
由于第三图像块是经过图像处理后的图像块，而第一图像块为图像处理之前的图像块，通过将图像处理后的第三图像块，与原来的第一图像块进行融合，以保证得到的第二图像块中既原来的第一图像块中的特征信息，还包括图像处理后的特征信息，丰富了第二图像块中包含的信息，从而实现了在第一图像块的基础上增加某种显示效果的方式，以便后续将多个第二图像块进行拼接后的目标图像与原始图像相比，呈现出某种显示效果，从而保证图像处理的准确性。
并且，在解码过程中，获取第k个融合图像特征时，采用融合的方式来获取第k个融合图像特征，以保证第k个融合图像特征的特征尺寸，与第k个解码图像特征和第n-k个编码图像特征的特征尺寸均相同，以避免由于融合图像特征的特征尺寸增大而造成计算量增大的问题，从而降低了对设备性能的需求。通过采用融合的方式，将第三图像块与第一图像块进行融合，以保证得到的第二图像块的图像尺寸，与第三图像块和第一图像块的图像尺寸相同，以避免由于生成的新的图像块的图像尺寸增大而造成计算量增大的问题，从而降低了对设备性能的需求。
在一些实施例中，图像处理模型包括至少一个权重获取层；将第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征，包括：
将第1个解码图像特征及第n-1个编码图像特征输入到第1个权重获取层，得到第n-1个编码图像特征的第一权重特征；
将目标数值与第一权重特征之间的差值，确定为第1个解码图像特征的第二权重特征；
基于第二权重特征及第一权重特征，对第1个解码图像特征与第n-1个编码图像特征进行加权融合，得到第1个融合图像特征。
利用第二权重特征和第一权重特征，将第1个解码图像特征与第n-1个编码图像特征进行加权融合，以丰富第1个融合图像特征所包含的特征，保证了第1个融合图像特征的准确性。并且，采用融合的方式来获取第1个融合图像特征，以使第1个融合图像特征的特征尺寸，与第1个解码图像特征和第n-1个编码图像特征的特征尺寸均相同，以避免由于融合图像特征的特征尺寸增大而造成计算量增大的问题，从而降低了对设备性能的需求。
在一些实施例中，将第1个解码图像特征及第n-1个编码图像特征输入到第1个权重获取层，得到第n-1个编码图像特征的第一权重特征，包括：
将第1个解码图像特征与第n-1个编码图像特征进行拼接，得到第一拼接特征；
将第一拼接特征输入到第1个权重获取层，得到第一权重特征。
在将第1个解码图像特征与第n-1个编码图像特征拼接后，基于第1个权重获取层对拼接后的第一拼接特征进行处理，以便能够确定出与第1个解码图像特征相比，第n-1个编码图像特征的重要性，从而保证了第一权重特征的准确性。
在一些实施例中，图像处理模型包括至少两个权重获取层，将第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，包括：
将第k个解码图像特征及第n-k个编码图像特征输入到第k个权重获取层，得到第三权重特征；
将第三权重特征与第n-k+1个编码图像特征的权重特征进行融合，得到第n-k个编码图像特征的第四权重特征；
将目标数值与第四权重特征之间的差值，确定为第k个解码图像特征的第五权重特征；
基于第五权重特征及第四权重特征，对第k个解码图像特征与第n-k个编码图像特征进行加权融合，得到第k个融合图像特征。
对于任一权重获取层，仅输出与该权重获取层对应的编码图像特征相关的权重特征即可，并将该权重获取层输出的权重特征与该权重获取层之前的权重获取层输出的权重特征融合，作为该权重获取层对应的编码图像特征的权重特征，在此过程中，避免了多个权重获取层中输出的权重特征的重复性，减少了重复计算，从而减少了图像处理模型的计算量，从而降低了对设备的性能的需求。
并且，基于第五权重特征及第四权重特征，将第k个解码图像特征与第n-k个编码图像特征进行加权融合，以丰富第k个融合图像特征所包含的特征，保证了第k个融合图像特征的准确性。并且，采用融合的方式来获取第k个融合图像特征，以使第k个融合图像特征的特征尺寸，与第k个解码图像特征和第n-k个编码图像特征的特征尺寸均相同，以避免由于融合图像特征的特征尺寸增大而造成计算量增大的问题，从而降低了对设备性能的需求。
在一些实施例中，将第k个解码图像特征及第n-k个编码图像特征输入到第k个权重获取层，得到第三权重特征，包括：
将第k个解码图像特征与第n-k个编码图像特征进行拼接，得到第二拼接特征；
将第二拼接特征输入到第k个权重获取层，得到第三权重特征。
在将第k个解码图像特征与第n-k个编码图像特征拼接后，基于第k个权重获取层对拼接后的第二拼接特征进行处理，以便能够确定出与第k个解码图像特征相比，第n-k个编码图像特征的重要性，从而保证了第三权重特征的准确性。
在一些实施例中，n个编码层输出的编码图像特征的特征尺寸逐渐变小，n个解码层输出的解码图像特征的特征尺寸逐渐变大，且第j个解码图像特征的特征尺寸与第n-j个编码图像特征的特征尺寸相同，j为不大于n的正整数；
将第三权重特征与第n-k+1个编码图像特征的权重特征进行融合，得到第n-k个编码图像特征的第四权重特征，包括：
将第n-k+1个编码图像特征的权重特征进行尺寸变换，得到与第三权重特征的特征尺寸相同的权重特征；
将第三权重特征与尺寸变换后的权重特征进行融合，得到第四权重特征。
由于不同的权重获取层输出的权重特征的尺寸不同，采用尺寸变换的方式，将不同的权重特征的尺寸变换为相同尺寸，以保证权重特征能够进行融合，以保证融合到的第四权重特征的准确性。
在一些实施例中，图像处理模型包括n个权重获取层；将第三图像块与第一图像块进行融合，得到第一图像块对应的第二图像块，包括：
将第三图像块及第一图像块输入到第n个权重获取层，得到第一图像块的权重特征；
将目标数值与第一图像块的权重特征之间的差值，确定为第三图像块的权重特征；
基于第一图像块的权重特征及第三图像块的权重特征，对第三图像块及第一图像块进行加权融合，得到第一图像块对应的第二图像块。
利用第一图像块的权重特征及第三图像块的权重特征，将第三图像块及第一图像块进行加权融合，以丰富第二图像块所包含的特征，保证了第二图像块的准确性。并且，采用融合的方式来获取第二图像块，以使融合后的第二图像块的图像尺寸，与第三图像块及第一图像块的图像尺寸相同，以避免由于第二图像块的图像尺寸增大而造成计算量增大的问题，从而降低了对设备性能的需求。
在一些实施例中，第一图像块包括多个第一像素点的像素值，第二图像块包括多个第二像素点的像素值，且每个第一像素点与一个第二像素点对应，第一图像块的权重特征包括多个权重值；
将第三图像块及第一图像块输入到第n个权重获取层，得到第一图像块的权重特征，包括：
基于第n个权重获取层，将第一图像块与第三图像块中位于相同位置上的第一像素点的像素值与第二像素点的像素值进行融合，得到多个位置对应的权重值；
按照多个位置的排列顺序，将多个位置对应的权重值构成第一图像块的权重特征。
在获取第一图像块的权重特征时，在将第一图像块与第三图像块中位于相同位置上的第一像素点的像素值与第二像素点的像素值进行融合，以使每个权重值是结合第一图像块和第二图像块中的像素点的像素值得到的，以保证得到的多个权重值的准确性，从而保证了第一图像块的权重特征的准确性。
在一些实施例中，对得到的多个第二图像块进行拼接，得到第一尺寸的目标图像，包括：
按照多个第一图像块在原始图像中的位置，对多个第二图像块进行拼接，得到目标图像。
在得到每个第一图像块对应的第二图像块后，相当于得到多个第二图像块，按照多个第一图像块在原始图像中的位置，将多个第二图像块进行拼接，使拼接得到的目标图像与原始图像相对应，保证了目标图像的准确性。
图4是根据一示例性实施例示出的一种图像处理方法的流程图，参见图4，该图像处理方法由电子设备执行，包括以下步骤：
401、对第一尺寸的原始图像进行分割，得到第二尺寸的多个第一图像块。
其中，第一尺寸大于第二尺寸，每个第一图像块中包含的信息少于原始图像中包含的信息。在一些实施例中，每个图像块包含原始图像中的部分区域的图像信息。
在一些实施例中，该步骤401包括：按照该第二尺寸，对第一尺寸的原始图像进行分割，得到该多个第一图像块。按照该第二尺寸，对原始图像分割，将原始图像分割成多个第一图像块，且每个第一图像块的图像尺寸为第二尺寸，以便后续对第二尺寸的第一图像块进行图像处理。
在一些实施例中，原始图像及第一图像块均是以矩阵的形式表示，原始图像以第一矩阵表示，每个第一图像块以第二矩阵表示，该第一尺寸为第一矩阵的尺寸，该第二尺寸为第二矩阵的尺寸，则该步骤401包括：对第一矩阵进行分割，得到多个第二矩阵。
例如，第一矩阵的尺寸为512×512，将第一矩阵分割成的多个第二矩阵的尺寸为256×256。
在上述实施例的一种可能实现方式中，第一矩阵包括原始图像中的多个像素点的像素值，每个第二矩阵包括对应的第一图像块中包含的像素点的像素值。
在上述实施例的一种可能实现方式中，第一矩阵包括原始图像中的多个像素点的像素值，每个像素点的像素值以3个通道的数值表示，即该第一矩阵是一个三维矩阵，每个第二矩阵包括对应的第一图像块中包含的像素点在任一个通道上的数值，即每个第二矩阵是一个二维矩阵。
例如，每个像素点的像素值是以3个通道的数值表示，如红色通道、绿色通道、蓝色通道，则原始图像中多个像素点的像素值构成的第一矩阵是一个三维矩阵，如用于表示原始图像的第一矩阵的尺寸为512×512×3，其中，3用于表示3个通道，该第一矩阵是由3个二维矩阵组成的，每个二维矩阵的尺寸为512×512，任一二维矩阵用于表示原始图像中的多个像素点在该任一二维矩阵对应通道上的像素值。则在对第一矩阵进行分割时，分割别每个二维矩阵进行分割，得到多个第二矩阵，即每个第二矩阵是一个二维矩阵，多个第二矩阵构成一个三维矩阵，如每个第二矩阵的尺寸为256×256，则对于第一矩阵中的任一二维矩阵，该任一二维矩阵的尺寸为512×512，对该任一二维矩阵进行分割，得到4个第二矩阵，即对第一矩阵中的每个二维矩阵进行分割，得到12个第二矩阵，12个第二矩阵构成的三维矩阵的尺寸为256×256×12。
402、对于任一第一图像块，将该第一图像块输入到编码子模型包含的n个编码层中的第1个编码层，得到第1个编码图像特征。
在本公开实施例中，图像处理模型包括编码子模型及解码子模型，编码子模型用于对图像块进行编码处理，解码子模型用于对编码子模型输出的编码图像特征进行解码处理。例如，该图像处理模型为U-Net(一种U型网络模型)。
其中，编码子模型包括n个解码层，解码子模型包括n个解码层，n为大于1的整数。例如，每个编码层为一个卷积层，每个解码层为一个卷积层。在本公开实施例中，编码子模型中的第1个编码层用于对第一图像块进行编码处理。
403、对于第i个编码层，将i-1个编码图像特征输入到第i个编码层，得到第i个编码图像特征，直至得到第n个编码图像特征。
其中，i为大于1且不大于n的任一整数。在得到第1个编码图像特征后，将第1个编码图像特征输入至第2个编码层中，基于第2个编码层，对输入的第1个编码图像特征进行处理，输出第2个编码图像特征，即在该n个编码层中，除第1个编码层外，其他的编码层以上一个编码层输出的编码图像特征为输入，对输入的编码图像特征进行编码，输出一个新的编码图像特征，按照上述方式，基于该n个编码层，依次对输入的图像块或图像特征进行编码，直至第n个编码层输出编码图像特征，即第n个编码图像特征。
在一些实施例中，按照n个编码层的排列顺序，n个编码层输出的编码图像特征的特征尺寸逐渐变小。
通过n个编码层，对第一图像块进行编码，且输出的编码图像特征的特征尺寸逐渐变小，即以下采样的方式，对第一图像块进行多次编码处理，以获取在不同特征尺寸下的编码图像特征，不同特征尺寸下的编码图像特征包含的信息可能不同。
在上述实施例的一种可能实现方式中，每个编码图像特征是以矩阵的形式表示，每个编码图像特征的特征尺寸以矩阵的行数和列数表示，且任一编码图像特征的特征尺寸所对应的行数和列数相同；对于n个编码层中相邻的任两个编码层，第一个编码层输出的编码图像特征的特征尺寸所对应的行数，是第二个编码层输出的编码图像特征的特征尺寸所对应的行数的2倍。
例如，用于表示第一图像块的矩阵的尺寸为256×256，即该矩阵的行数为256，列数为256；第1个编码层输出的第1个编码图像特征的特征尺寸为128×128，即256是128的两倍；以此类推，第2个编码层输出的第2个编码图像特征的尺寸为64×64，第3个编码层输出的第3个编码图像特征的尺寸为32×32。
404、基于图像处理模型中的解码子模型包括的n个解码层，对第一图像块对应的编码图像特征进行处理，得到第一图像块对应的第二图像块。
其中，第二图像块的图像尺寸与第一图像块的图像尺寸相同，均为第二尺寸。
基于编码子模型中的多个编码层，获取到该第一图像块对应的n个编码图像特征后，基于解码子模型包括的n个解码层，对第一图像块对应的编码图像特征进行处理，以生成第二图像块，使得第二图像块中包含的信息得到了更新，实现了对第二图像块的图像处理，以便后续基于得到的第二图像块来获取目标图像，使得目标图像呈现某种显示效果。
在一些实施例中，该步骤404包括以下四种方式：
第一种方式包括以下步骤4401-4403：
4401、将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征。
在本公开实施例中，解码子模型包括n个解码层，n为2，即该解码子模型包括2个解码层，编码子模型也包括2个编码层。第j个解码层与第n-j+1个编码层对应，j为不大于n的正整数，即每个解码层与一个编码层对应。即在本公开实施例中，第1个解码层与第2个编码层对应，第2个解码层与第1个编码层对应。在一些实施例中，每个解码层为一个卷积层。
在一些实施例中，图像处理模型还包括转换层，该步骤4401包括：将第n个编码图像特征输入到转换层，得到转换后的图像特征，将转换后的图像特征输入到第1个解码层，得到第1个解码图像特征。
4402、将第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征。
在本公开实施例中，每个解码层输出的解码图像特征的特征尺寸，与对应的编码层中输入的编码图像特征的特征尺寸相同，即第1个解码图像特征的特征尺寸与第n个编码层中输入的第n-1个编码图像特征的特征尺寸相同。并且，第1个融合图像特征的特征尺寸与第1个解码图像特征的特征尺寸相同。
采用融合的方式，将第1个解码图像特征与第n-1个编码图像特征进行融合，以保证第1个融合图像特征的特征尺寸，与第1个解码图像特征和第n-1个编码图像特征的特征尺寸相同，以避免由于融合图像特征的特征尺寸增大而造成计算量增大的问题，从而降低了对设备性能的需求。
由于第1个解码图像特征是通过对第n个编码图像特征进行解码得到的，即第1个解码图像特征相当于是对第n-1个编码图像特征进行编码再进行解码得到的，使得第1个解码图像特征与第n-1个编码图像特征中包含的特征信息可能不同，因此，通过将第1个解码图像特征与第n-1个编码图像特征进行融合，以丰富在第1个融合图像特征中包含的信息，以便保证后续得到的第二图像块的准确性。
在一些实施例中，图像处理模型包括至少一个权重获取层；该步骤4402包括以下步骤4421-4423：
4421、将第1个解码图像特征及第n-1个编码图像特征输入到第1个权重获取层，得到第n-1个编码图像特征的第一权重特征。
其中，权重获取层用于获取权重特征，每个权重获取层包括至少一个卷积层。第一权重特征的特征尺寸与第1个解码图像特征的特征尺寸相同，也即是与第n-1个编码图像特征的特征尺寸相同。例如，第1个解码图像特征、第n-1个编码图像特征及第一权重特征以矩阵形式表示，用于表示第1个解码图像特征的矩阵、用于表示第n-1个编码图像特征的矩阵及用于表示第一权重特征的矩阵的尺寸均是64×64。在本公开实施例中，n为2，即解码子模型包括2个解码层，该图像处理模型包括1个权重获取层。
基于第1个权重获取层、第1个解码图像特征及第n-1个编码图像特征，获取第n-1个编码图像特征的权重特征，以便后续基于得到的权重特征将第1个解码图像特征及第n-1个编码图像特征进行融合。
在一些实施例中，该步骤4421包括：将第1个解码图像特征与第n-1个编码图像特征进行拼接，得到第一拼接特征，将第一拼接特征输入到第1个权重获取层，得到第一权重特征。
在将第1个解码图像特征与第n-1个编码图像特征拼接后，基于第1个权重获取层对拼接后的第一拼接特征进行处理，以便能够确定出与第1个解码图像特征相比，第n-1个编码图像特征的重要性，从而保证了第一权重特征的准确性。
在上述实施例的一种可能实现方式中，第1个解码图像特征与第n-1个编码图像特征均为相同尺寸的二维特征矩阵，每个二维特征矩阵包括多个特征值，该第一拼接特征是以三维特征矩阵表示的，且该三维特征矩阵是由用于表示第1个解码图像特征和第n-1个编码图像特征的两个二维特征矩阵构成的；则获取第一权重特征的过程包括：基于第1个权重获取层，将三维特征矩阵包含的两个二维特征矩阵中相同位置的特征值进行融合，得到多个位置对应的融合特征值，将多个位置对应的融合特征值构成第一权重特征。
其中，第一权重特征也是以一个二维特征矩阵表示，且第一权重特征的特征尺寸、第1个解码图像特征的特征尺寸及第n-1个编码图像特征的特征尺寸均相同。例如，用于表示第1个解码图像特征的二维特征矩阵的尺寸为64×64，用于表示第n-1个编码图像特征的二维特征矩阵的尺寸也为64×64，用于表示第一拼接特征的三维特征矩阵的尺寸为64×64×2，用于表示第一权重特征的矩阵的尺寸为64×64。
例如，在上述获取第一权重特征的过程中，将三维特征矩阵包含的两个二维特征矩阵中相同位置的特征值进行融合时，对于任一位置，将两个二维特征矩阵在该位置上的两个特征值的平均值，确定为该位置对应的融合特征值；或者，将两个二维特征矩阵在该位置上的两个特征值的和值，确定为该位置对应的融合特征值；或者，将两个二维特征矩阵在该位置上的两个特征值之间的差值，确定为该位置对应的融合特征值。
4422、将目标数值与第一权重特征之间的差值，确定为第1个解码图像特征的第二权重特征。
其中，目标数值为任意的数值，例如，目标数值为1。第一权重特征的特征尺寸与第二权重特征的特征尺寸相同。例如，第一权重特征的特征尺寸为64×64，则第二权重特征的特征尺寸为64×64。在一些实施例中，第一权重特征和第二权重特征均以矩阵的形式表示。
在一些实施例中，第一权重特征包括多个第一权重值，则获取第二权重特征的过程包括：将目标数值与每个第一权重值之间的差值，确定为一个第二权重值，将得到的多个第二权重值构成该第二权重特征。
在上述实施例的一种可能实现方式中，第一权重特征为第一权重特征矩阵，第二权重特征为第二权重特征矩阵，将目标数值与第一权重特征矩阵中多个位置上的第一权重值之间的差值，确定为多个位置对应的第二权重值，按照多个位置在第一权重特征矩阵中排列顺序，将得到的多个第二权重值构成该第二权重特征矩阵。其中，在第一权重特征矩阵和第二权重特征矩阵中，相同位置上的第一权重值和第二权重值之和为目标数值。
4423、基于第二权重特征及第一权重特征，对第1个解码图像特征与第n-1个编码图像特征进行加权融合，得到第1个融合图像特征。
利用第二权重特征和第一权重特征，将第1个解码图像特征与第n-1个编码图像特征进行加权融合，以丰富第1个融合图像特征所包含的特征，保证了第1个融合图像特征的准确性。并且，采用融合的方式，将第1个解码图像特征与第n-1个编码图像特征进行融合，以使融合后的第1个融合图像特征的特征尺寸，与第1个解码图像特征和第n-1个编码图像特征的特征尺寸相同，以避免由于融合图像特征的特征尺寸增大而造成计算量增大的问题，从而降低了对设备性能的需求。基于第二权重及第一权重，获取第1个融合权重特征的过程如图5所示。
在一些实施例中，该步骤4423包括：将第一权重特征与第1个解码图像特征的乘积，与第二权重特征与第n-1个编码图像特征的乘积之和，确定为第1个融合图像特征。
在上述实施例的一种可能实现方式中，第一权重特征包括多个第一权重值，第二权重特征包括多个第二权重值，第n-1个编码图像特征包括多个第一特征值，第1个解码图像特征包括多个第二特征值，且多个第一权重值与多个第一特征值一一对应，多个第二权重值与多个第二特征值一一对应，且多个第一特征值与多个第二特征值一一对应；则获取第1个融合图像特征的过程包括：确定每个第一特征值与对应的第一权重值的第一乘积，及每个第二特征值与对应的第二权重值的第二乘积，将每个第一乘积与对应的第二乘积之和，确定为一个融合特征值，将得到的多个融合特征值构成该第1个融合图像特征。
由于多个第一特征值与多个第二特征值一一对应，任一第一乘积对应的第二乘积，是该第一乘积对应的第一特征值所对应的第二特征值对应第二乘积。
例如，第一权重特征、第二权重特征、第n-1个编码图像特征及第1个解码图像特征均以矩阵的形式表示，且第一权重特征、第二权重特征、第n-1个编码图像特征及第1个解码图像特征对应的四个矩阵的尺寸相同，在获取多个第一乘积时，按照矩阵中的位置，将用于表示第一权重特征的矩阵及用于表示第n-1个编码图像特征的矩阵中相同位置的第一权重值及第一特征值的乘积，确定为第一乘积，多个第一乘积构成一个第一矩阵。在获取多个第二乘积时，按照矩阵中的位置，将用于表示第二权重特征的矩阵及用于表示第1个解码图像特征的矩阵中相同位置的第二权重值及第二特征值的乘积，确定为第二乘积，多个第二乘积构成一个第二矩阵，将第一矩阵和第二矩阵中相同位置的第一乘积与第二乘积之和，确定为融合特征值，得到的多个融合特征值构成第1个融合图像特征。
4403、将第1个融合图像特征输入到第n个解码层，得到第一图像块对应的第二图像块。
在本公开实施例中，n为2，第n个解码层即为第2个解码层，即基于第2个解码层，对第1个融合图像特征进行解码处理，得到第二图像块，即该第二图像块为已经处理完成的图像块。
在一些实施例中，第1融合图像特征以矩阵的形式表示，第二图像块也以矩阵的形式表示，且用于表示第二图像块的矩阵的尺寸以矩阵的行数和列数表示，用于表示第1融合图像特征的矩阵的尺寸以矩阵的行数和列数表示，且用于表示第二图像块的矩阵的尺寸的行数和列数相同，用于表示第1融合图像特征的矩阵的尺寸的行数和列数相同；且用于表示第二图像块的矩阵的行数为用于表示第1融合图像特征的矩阵的行数的2倍。
第二种方式包括以下步骤4404-4407：
4404、将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征。
在本公开实施例中，解码子模型包括n个解码层，n为大于2的整数，即该解码子模型包括3个或3个以上的解码层，编码子模型也包括3个或3个以上的编码层。第j个解码层与第n-j+1个编码层对应，j为不大于n的正整数，即每个解码层与一个编码层对应。在一些实施例中，每个解码层为一个卷积层。
该步骤4404与上述步骤4401同理，在此不再赘述。
4405、将第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征。
该步骤与上述步骤4402同理，在此不再赘述。
4406、对于第k个解码层，将第k-1个融合图像特征输入到第k个解码层，得到第k个解码图像特征；将第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，直至得到第n-1个融合图像特征。
其中，k为大于1且小于n的任一整数。第k个解码图像特征的特征尺寸与第n-k个编码图像特征的特征尺寸相同，且第k个融合图像特征的特征尺寸也相同，与第k个解码图像特征的特征尺寸。
在得到第1个融合图像特征后，将第1个融合图像特征输入到第2解码层，得到第2个解码图像特征，将第2个解码图像特征与第n-2个编码图像特征进行融合，得到第2个融合图像特征，将第2个融合图像特征输入到第3个解码层，得到第3个解码图像特征，将第3个解码图像特征与第n-3个编码图像特征进行融合，得到第3个融合图像特征，重复上述过程，直至得到第n-1个融合图像特征。
在获取第k个融合图像特征时，采用融合的方式，将第k个解码图像特征与第n-k个编码图像特征进行融合，以保证第k个融合图像特征的特征尺寸，与第k个解码图像特征和第n-k个编码图像特征的特征尺寸相同，以避免由于融合图像特征的特征尺寸增大而造成计算量增大的问题，从而降低了对设备性能的需求。因此，按照上述多个解码层，在获取第n-1个融合图像特征的过程中，计算量小，对设备性能的需求低，在一些性能差的设备上也可能实现，适应范围广。
由于第k个解码图像特征是对第n-k个编码图像特征进行编码、解码得到的，使得第k个解码图像特征与第n-k个编码图像特征中包含的特征信息可能不同，因此，通过将第k个解码图像特征与第n-k个编码图像特征进行融合，以丰富在第k个融合图像特征中包含的信息，以便保证后续得到的第二图像块的准确性。
在一些实施例中，图像处理模型包括至少两个权重获取层；该步骤4406中获取第k个融合图像特征的过程，包括以下步骤4461-4464：
4461、将第k个解码图像特征及第n-k个编码图像特征输入到第k个权重获取层，得到第三权重特征。
在本公开实施例中，该图像处理模型包括n-1个权重获取层，即该图像处理模型包括2个或2个以上的权重获取层，不同的权重获取层输出的权重特征的特征尺寸不同。
该步骤4461与上述步骤4421同理，在此不再赘述。
在一些实施例中，步骤4465，包括：将第k个解码图像特征与第n-k个编码图像特征进行拼接，得到第二拼接特征，将第二拼接特征输入到第k个权重获取层，得到第三权重特征。
该步骤4465与上述步骤4421同理，在此不再赘述。
4462、将第三权重特征与第n-k+1个编码图像特征的权重特征进行融合，得到第n-k个编码图像特征的第四权重特征。
在公开实施例中，在图像处理模型包括多个权重获取层的情况下，任一权重获取层对应的编码图像特征，为与该权重获取层输出的权重特征的特征尺寸相同的编码图像特征，任一权重获取层对应的解码图像特征，为与该权重获取层输出的权重特征的特征尺寸相同的解码图像特征。对于任一权重获取层，将该权重获取层对应的编码图像特征及解码图像特征输入到该权重获取层，得到一个权重特征，该权重获取层对应的编码图像特征的权重特征是由该权重获取层输出的权重特征及该权重获取层之前的权重获取层输出的权重特征融合而成。
例如，第1个权重获取层对应的编码图像特征为第n-1个编码特征，该n-1个编码图像特征的权重特征为第1个权重获取层输出的第一权重特征；第2个权重获取层对应的编码图像特征为第n-2个编码特征，该n-2个编码图像特征的权重特征为第1个权重获取层输出的第一权重特征与第2个权重获取层输出的权重特征融合后的权重特征；第3个权重获取层对应的编码图像特征为第n-3个编码特征，该n-3个编码图像特征的权重特征为第n-2个编码图像特征的权重特征与第3个权重获取层输出的权重特征融合后的权重特征，即该第n-3个编码图像特征的权重特征相当于是第1个权重获取层输出的第一权重特征、第2个权重获取层输出的权重特征及第3个权重获取层输出的权重特征融合后的权重特征；第4个权重获取层对应的编码图像特征为第n-4个编码特征，该n-4个编码图像特征的权重特征为第n-3个编码图像特征的权重特征与第4个权重获取层输出的权重特征融合后的权重特征，即该第n-4个编码图像特征的权重特征相当于是第1个权重获取层输出的第一权重特征、第2个权重获取层输出的权重特征、第3个权重获取层输出的权重特征融合后的权重特征及第4个权重获取层输出的权重特征融合后的权重特征。
由于编码图像特征、解码图像特征均是用于表示第一图像块中所包含的特征，不同的编码图像特征所包含的特征信息具有相似性，例如，在不同的解码图像特征中，用于描述第一图像块中的背景信息的特征是相似的，在不同的编码图像特征的权重特征中，对于相似的部分图像特征的权重特征也是相似的。因此，如果每个权重获取层用于获取对应的编码图像特征的权重特征，任一权重获取层对应的编码图像特征，为与该权重获取层输出的权重特征的特征尺寸相同的编码图像特征，则不同的权重获取层会存在大量的重复计算，因此，为了减少至少两个权重获取层的计算量，对于任一权重获取层，仅输出与该权重获取层对应的编码图像特征相关的权重特征即可，并将该权重获取层输出的权重特征与该权重获取层之前的权重获取层输出的权重特征融合，作为该权重获取层对应的编码图像特征的权重特征，在此过程中，避免了多个权重获取层中输出的权重特征的重复性，减少了重复计算，从而减少了图像处理模型的计算量，从而降低了对设备的性能的需求。
在一些实施例中，n个编码层输出的编码图像特征的特征尺寸逐渐变小，n个解码层输出的解码图像特征的特征尺寸逐渐变大，则该至少两个权重获取层输出的权重特征的特征尺寸逐渐变大，且第j个解码图像特征的特征尺寸与第n-j个编码图像特征的特征尺寸相同，j为不大于n的正整数；则该步骤4462包括：将第n-k+1个编码图像特征的权重特征进行尺寸变换，得到与第三权重特征的特征尺寸相同的权重特征，将第三权重特征与尺寸变换后的权重特征进行融合，得到第四权重特征。
其中，第四权重特征的特征尺寸与第三权重特征的特征尺寸相同，且第四权重特征的特征尺寸与第n-k个编码图像特征的特征尺寸相同，第n-k+1个编码图像特征的权重特征的特征尺寸小于第四权重特征的特征尺寸。
例如，该第n-k+1个编码图像特征的权重特征的特征尺寸为32×32，第三权重特征的特征尺寸为64×64，则采用上采样的方式，对第n-k+1个编码图像特征的权重特征进行尺寸变换，使尺寸变换后的权重特征的特征尺寸为64×64，与该第三权重特征的特征尺寸相同。
在上述实施例的一种可能实现方式中，尺寸变换后的权重特征及第三权重特征均以矩阵的形式表示，尺寸变换后的权重特征包括多个权重值，第三权重特征包括多个权重值，则在将尺寸变换后的权重特征及第三权重特征融合的过程中，将尺寸变换后的权重特征和第三权重特征所对应的两个权重特征矩阵中相同位置的权重进行的平均值，确定为该位置对应的融合权重值；或者，将两个权重特征矩阵中相同位置的权重的和值，确定为该位置对应的融合权重值；或者，将两个权重特征矩阵中相同位置的权重之间的差值，确定为该位置对应的融合权重值。之后，将得到的多个位置对应的融合权重值构成第四权重特征。
4463、将目标数值与第四权重特征之间的差值，确定为第k个解码图像特征的第五权重特征。
该步骤4463与上述步骤4422同理，在此不再赘述。
4464、基于第五权重特征及第四权重特征，对第k个解码图像特征与第n-k个编码图像特征进行加权融合，得到第k个融合图像特征。
该步骤4464与上述步骤4423同理，在此不再赘述。
4407、将第n-1个融合图像特征输入到第n个解码层，得到第一图像块对应的第二图像块。
在本公开实施例中，n为大于2的整数，基于第n个解码层，对第n-1个融合图像特征进行解码处理，得到第二图像块，即该第二图像块为已经处理完成的图像块。
在一些实施例中，第n-1融合图像特征以矩阵的形式表示，第二图像块也以矩阵的形式表示，且用于表示第二图像块的矩阵的尺寸以矩阵的行数和列数表示，用于表示第n-1融合图像特征的矩阵的尺寸以矩阵的行数和列数表示，且用于表示第二图像块的矩阵的尺寸的行数和列数相同，用于表示第1融合图像特征的矩阵的尺寸的行数和列数相同；且用于表示第二图像块的矩阵的行数为用于表示第n-1融合图像特征的矩阵的行数的2倍。
第三种方式，包括以下步骤4408-4411：
4408、将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征。
在本公开实施例中，解码子模型包括n个解码层，n为2，即该解码子模型包括2个解码层，编码子模型也包括2个编码层。
该步骤4408与上述步骤4401同理，在此不再赘述。
4409、将第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征。
该步骤4409与上述步骤4402同理，在此不再赘述。
4410、将第1个融合图像特征输入到第n个解码层，得到第三图像块。
该步骤与上述步骤4403同理，在此不再赘述。
4411、将第三图像块与第一图像块进行融合，得到第一图像块对应的第二图像块。
其中，第三图像块、第一图像块及第二图像块的图像尺寸相同。
由于第三图像块是经过图像处理后的图像块，而第一图像块为图像处理之前的图像块，通过将图像处理后的第三图像块，与原来的第一图像块进行融合，以保证得到的第二图像块中既原来的第一图像块中的特征信息，还包括图像处理后的特征信息，丰富了第二图像块中包含的信息，从而实现了在第一图像块的基础上增加某种显示效果的方式，以便后续将多个第二图像块进行拼接后的目标图像与原始图像相比，呈现出某种显示效果，从而保证图像处理的准确性。
采用融合的方式，将第三图像块与第一图像块进行融合，以保证得到的第二图像块的图像尺寸，与第三图像块和第一图像块的图像尺寸相同，以避免由于生成的新的图像块的图像尺寸增大而造成计算量增大的问题，从而降低了对设备性能的需求。
在一些实施例中，该步骤4411包括以下步骤44111-44113：
44111、将第三图像块及第一图像块输入到第n个权重获取层，得到第一图像块的权重特征。
在本公开实施例中，图像处理模型包括n个权重获取层，即每个解码层与1个权重获取层对应，即第j个解码层与第j个权重获取层对应。每个权重获取层包括至少一个卷积层，每个权重获取层输出的权重特征的尺寸，与对应的解码层输出的解码图像特征的特征尺寸相同。
在第n个解码层输出第三图像块后，基于第n个权重获取层，对第三图像块及第一图像块进行融合，以得到第一图像块的权重特征，以便后续基于得到的第一图像块的权重特征将第三图像块及第一图像块进行融合。
在一些实施例中，第一图像块包括多个第一像素点的像素值，第二图像块包括多个第二像素点的像素值，且每个第一像素点与一个第二像素点对应，第一图像块的权重特征包括多个权重值；该步骤44111包括：基于第n个权重获取层，将第一图像块与第三图像块中位于相同位置上的第一像素点的像素值与第二像素点的像素值进行融合，得到多个位置对应的权重值，按照多个位置的排列顺序，将多个位置对应的权重值构成第一图像块的权重特征。
由于第一图像块与第二图像块的图像尺寸相同，第一图像块中包含的多个第一像素点与第二图像块中包含的多个第二像素点一一对应，任一第一像素点在第一图像块中的位置，与该任一第一像素点对应的第二像素点在第二图像块中的位置相同。通过将第一图像块和第二图像块中，每个相同位置上的第一像素点的像素值与第二像素点的像素值进行融合，得到每个位置上的权重值，即得到多个位置上的权重值，按照多个位置的排列顺序，将多个位置对应的权重值构成第一图像块的权重特征后，该第一图像块的权重特征中任一权重值所处的位置，与对应的第一像素点在第一图像块中所处的位置相同，也与对应的第二像素点在第二图像块中所处的位置相同。
在上述实施例的一种可能实现方式中，第一图像块和第三图像块均为相同尺寸的矩阵表示，用于表示第一图像块的矩阵中包括多个第一像素点的像素值，用于表示第二图像块的矩阵中包括多个第二像素点的像素值，第一图像块的权重特征也以矩阵的形式表示，用于表示第一图像块的权重特征的矩阵中包括多个权重值。
在上述实施例的一种可能实现方式中，将第一图像块与第三图像块中位于相同位置上的第一像素点的像素值与第二像素点的像素值进行融合时，对于任一位置，将该位置上的第一像素点的像素值和第二像素点的像素值的平均值，确定为该位置对应的权重值；或者，将该位置上的第一像素点的像素值和第二像素点的像素值的和值，确定为该位置对应的权重值；或者，将该位置上的第一像素点的像素值和第二像素点的像素值的差值，确定为该位置对应的权重值。
在一些实施例中，该步骤44111包括：将第三图像块及第一图像块进行拼接，得到拼接图像块，将拼接图像块输入到第n个权重获取层，得到第一图像块的权重特征。
在将第三图像块及第一图像块拼接后，基于第n个权重获取层对拼接后的拼接图像块进行处理，以便能够确定出与第三图像块相比，第一图像块的重要性，从而保证了第一图像块的权重特征的准确性。
44112、将目标数值与第一图像块的权重特征之间的差值，确定为第三图像块的权重特征。
该步骤44112与上述步骤4422同理，在此不再赘述。
44113、基于第一图像块的权重特征及第三图像块的权重特征，对第三图像块及第一图像块进行加权融合，得到第一图像块对应的第二图像块。
该步骤44113与上述步骤4423同理，在此不再赘述。
第四种方式，包括以下步骤4412-4416：
4412、将第n个编码图像特征输入到第1个解码层，输出第1个解码图像特征。
本公开实施例中，解码子模型包括n个解码层，n为大于2的整数，即该解码子模型包括3个或3个以上的解码层，编码子模型也包括3个或3个以上的编码层。每个解码层与一个编码层对应，即第j个对应层与第n-j+1个编码层对应，j为不大于n的正整数。
该步骤4412与上述步骤4401同理，在此不再赘述。
4413、将第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征。
该步骤与上述步骤4413同理，在此不再赘述。
4414、对于第k个解码层，将第k-1个融合图像特征输入到第k个解码层，得到第k个解码图像特征；将第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，直至得到第n-1个融合图像特征。
其中，k为大于1且小于n的任一整数，第k个解码图像特征的特征尺寸与第n-k个编码图像特征的特征尺寸相同，且第k个融合图像特征的特征尺寸也相同，与第k个解码图像特征的特征尺寸。
该步骤4414与上述步骤4406同理，在此不再赘述。
4415、将第n-1个融合图像特征输入到第n个解码层，得到第三图像块。
该步骤4415与上述步骤4403同理，在此不再赘述。
4416、将第三图像块与第一图像块进行融合，得到第一图像块对应的第二图像块。
该步骤4416与上述步骤4411同理，在此不再赘述。
需要说明的是，上述步骤402-404仅是以任一第一图像块为例，对获取该第一图像块对应的第二图像块的过程进行说明，按照上述步骤402-404，能够获取每个第一图像块对应的第二图像块。
需要说明的是，本公开实施例是以图像处理模型包括编码子模型和解码子模型为例进行说明的，而在另一实施例中，无需执行402-404，能够采取其他方式，将每个第一图像块输入到图像处理模型，得到每个第一图像块对应的第二图像块。
405、按照多个第一图像块在原始图像中的位置，对得到的多个第二图像块进行拼接，得到目标图像。
在得到每个第一图像块对应的第二图像块后，相当于得到多个第二图像块，按照多个第一图像块在原始图像中的位置，将多个第二图像块进行拼接，使拼接得到的目标图像与原始图像相对应，保证了目标图像的准确性。并且，由于多个第二图像块是经过图像处理模型处理后的图像块，则拼接后的目标图像相对于原始图像，能够呈现出某种显示效果。例如，图像处理模型为美颜模型，即目标图像能够呈现美颜效果；图像处理模型为人脸更换模型，即目标图像中包含的人脸与原始图像中包含的人脸不同，达到了人脸更换的显示效果；图像处理模型为人脸变老模型，即目标图像中包含的人脸与原始图像中包含的人脸相比，目标图像中包含的人脸的年龄偏大的人脸，从而实现了人脸变老的显示效果。
需要说明的是，本公开实施例是按照多个第一图像块在原始图像中的位置，来拼接得到目标图像的，而在另一实施例中，无需执行步骤404，能够采取其他方式，对得到的多个第二图像块进行拼接，得到第一尺寸的目标图像。
图6是本公开实施例提供的一种图像处理方法的流程图，在获取到第一尺寸的原始图像后，对第一尺寸的原始图像进行分割，得到多个第一图像块，基于图像处理模型中的编码层、解码层及权重获取层，对每个第一图像块进行处理，得到每个第一图像块对应的第二图像块，并将得到的多个第二图像块进行拼接，得到第一尺寸的目标图像，实现了对原始图像的处理，以使目标图像中增添了某种显示效果。
本公开实施例提供的方法，通过将第一尺寸的原始图像分割成多个小尺寸的图像块，对每个图像块进行图像处理后，将处理后的图像块重新拼接为与原始图像的图像尺寸相同的目标图像，在此过程中，无需直接对大尺寸的原始图像进行图像处理，从而降低了对设备性能的需求，增强了适用范围。
并且，通过将第一尺寸的原始图像分割成多个小尺寸的图像块，基于该图像处理模型对小尺寸的图像块处理即可，无需基于图像处理模型直接对大尺寸的原始图像进行处理，使得图像处理模型中无需配置更多的模型参数，减少了图像处理模型中的计算量，从而降低了对设备性能的需求。
在本公开实施例提供的方法中的图像处理模型中，按照该图像处理模型中配置的多个权重获取层来获取每个编码图像特征的权重特征，每个权重获取层输入的权重特征，仅是该权重获取层之前的权重获取层输出的权重特征的残差权重特征，避免了每个权重获取层存在重复计算的过程，无需每个权重获取层耗费较大计算量来获取权重特征，减少了多个权重获取层的计算量，即减少了图像处理模型的计算量，从而降低了对设备的性能的需求，使得该图像处理模型能够在性能差的电子设备上实时运行，增强了使用范围。
另外，在训练本公开实施例提供的图像处理模型时，能够以32位浮点型数据类型的数据进行训练，并在训练图像处理模型后，对训练后的图像处理模型进行微调，使得微调后的图像处理模型能够对16位的数据格式表示的图像块进行处理，从而减少了图像处理模型的计算量，使得在基于图像处理模型对图像块进行处理的过程中，降低了内存消耗，从而降低了对设备的性能的需求。
并且，在同一个电子设备上分别配置能够对16位的数据格式表示的图像块进行处理的图像处理模型和能够对32位的数据格式表示的图像块进行处理的图像处理模型，并基于两个图像处理模型分别对图像块进行处理，得到两个图像处理模型的处理速度，如表1所示，通过对比可知，能够对16位的数据格式表示的图像块进行处理的图像处理模型的处理速度更快。
表1
32位的数据格式 16位的数据格式
处理速度 8.4 13.8
图7是根据一示例性实施例示出的一种图像处理装置的框图。参见图7，该图像处理装置包括：
分割单元701，被配置为执行对第一尺寸的原始图像进行分割，得到第二尺寸的多个第一图像块，第一尺寸大于第二尺寸；
处理单元702，被配置为执行将每个第一图像块输入到图像处理模型，得到每个第一图像块对应的第二图像块，每个第二图像块的图像尺寸为第二尺寸；
拼接单元703，被配置为执行对得到的多个第二图像块进行拼接，得到第一尺寸的目标图像。
在一些实施例中，图像处理模型包括编码子模型及解码子模型；
编码子模型包括n个编码层，每个编码层用于基于输入的图像块或图像特征进行编码，其中，对于任一第一图像块，第1个编码层的输入为第一图像块，第i个编码层的输入为第i-1个编码层输出的第i-1个编码图像特征，i为大于1且不大于n的任一整数；
解码子模型包括n个解码层，每个解码层用于基于输入的图像特征进行解码。
在一些实施例中，n为2；如图8所示，处理单元702，包括：
解码子单元7021，被配置为执行将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
融合子单元7022，被配置为执行将第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
解码子单元7021，还被配置为执行将第1个融合图像特征输入到第n个解码层，得到第一图像块对应的第二图像块。
在一些实施例中，n为大于2的整数；如图8所示，处理单元702，包括：
解码子单元7021，被配置为执行将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
融合子单元7022，被配置为执行将第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
融合子单元7022，还被配置为执行对于第k个解码层，将第k-1个融合图像特征输入到第k个解码层，得到第k个解码图像特征；将第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，直至得到第n-1个融合图像特征，k为大于1且小于n的任一整数；
解码子单元7021，还被配置为执行将第n-1个融合图像特征输入到第n个解码层，得到第一图像块对应的第二图像块。
在一些实施例中，n为2；如图8所示，处理单元702，包括：
解码子单元7021，被配置为执行将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
融合子单元7022，被配置为执行将第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
解码子单元7021，还被配置为执行将第1个融合图像特征输入到第n个解码层，得到第三图像块；
融合子单元7022，还被配置为执行将第三图像块与第一图像块进行融合，得到第一图像块对应的第二图像块。
在一些实施例中，n为大于2的整数；如图8所示，处理单元702，包括：
解码子单元7021，被配置为执行将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
融合子单元7022，被配置为执行将第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
融合子单元7022，还被配置为执行对于第k个解码层，将第k-1个融合图像特征输入到第k个解码层，得到第k个解码图像特征；将第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，直至得到第n-1个融合图像特征，k为大于1且小于n的任一整数；
解码子单元7021，还被配置为执行将第n-1个融合图像特征输入到第n个解码层，得到第三图像块；
融合子单元7022，还被配置为执行将第三图像块与第一图像块进行融合，得到第一图像块对应的第二图像块。
在一些实施例中，图像处理模型包括至少一个权重获取层；
融合子单元7022，被配置为执行将第1个解码图像特征及第n-1个编码图像特征输入到第1个权重获取层，得到第n-1个编码图像特征的第一权重特征；将目标数值与第一权重特征之间的差值，确定为第1个解码图像特征的第二权重特征；基于第二权重特征及第一权重特征，对第1个解码图像特征与第n-1个编码图像特征进行加权融合，得到第1个融合图像特征。
在一些实施例中，融合子单元7022，被配置为执行将第1个解码图像特征与第n-1个编码图像特征进行拼接，得到第一拼接特征；将第一拼接特征输入到第1个权重获取层，得到第一权重特征。
在一些实施例中，图像处理模型包括至少两个权重获取层，融合子单元7022，被配置为执行将第k个解码图像特征及第n-k个编码图像特征输入到第k个权重获取层，得到第三权重特征；将第三权重特征与第n-k+1个编码图像特征的权重特征进行融合，得到第n-k个编码图像特征的第四权重特征；将目标数值与第四权重特征之间的差值，确定为第k个解码图像特征的第五权重特征；基于第五权重特征及第四权重特征，对第k个解码图像特征与第n-k个编码图像特征进行加权融合，得到第k个融合图像特征。
在一些实施例中，融合子单元7022，被配置为执行将第k个解码图像特征与第n-k个编码图像特征进行拼接，得到第二拼接特征；将第二拼接特征输入到第k个权重获取层，得到第三权重特征。
在一些实施例中，n个编码层输出的编码图像特征的特征尺寸逐渐变小，n个解码层输出的解码图像特征的特征尺寸逐渐变大，且第j个解码图像特征的特征尺寸与第n-j个编码图像特征的特征尺寸相同，j为不大于n的正整数；
融合子单元7022，被配置为执行将第n-k+1个编码图像特征的权重特征进行尺寸变换，得到与第三权重特征的特征尺寸相同的权重特征；将第三权重特征与尺寸变换后的权重特征进行融合，得到第四权重特征。
在一些实施例中，图像处理模型包括n个权重获取层；
融合子单元7022，被配置为执行将第三图像块及第一图像块输入到第n个权重获取层，得到第一图像块的权重特征；将目标数值与第一图像块的权重特征之间的差值，确定为第三图像块的权重特征；基于第一图像块的权重特征及第三图像块的权重特征，对第三图像块及第一图像块进行加权融合，得到第一图像块对应的第二图像块。
在一些实施例中，第一图像块包括多个第一像素点的像素值，第二图像块包括多个第二像素点的像素值，且每个第一像素点与一个第二像素点对应，第一图像块的权重特征包括多个权重值；
融合子单元7022，被配置为执行基于第n个权重获取层，将第一图像块与第三图像块中位于相同位置上的第一像素点的像素值与第二像素点的像素值进行融合，得到多个位置对应的权重值；按照多个位置的排列顺序，将多个位置对应的权重值构成第一图像块的权重特征。
在一些实施例中，拼接单元703，被配置为执行按照多个第一图像块在原始图像中的位置，对多个第二图像块进行拼接，得到目标图像。
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在示例性实施例中，还提供了一种电子设备，其特征在于，电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现上述图像处理方法中电子设备所执行的步骤。
在一些实施例中，电子设备为终端。图9是根据一示例性实施例示出的一种终端900的结构框图。该终端900可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
终端900包括有：处理器901和存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一条程序代码，该至少一条程序代码用于被处理器901所执行以实现本公开中方法实施例提供的图像处理方法。
在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置在终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在另一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测终端900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在终端900的侧边框和/或显示屏905的下层。当压力传感器913设置在终端900的侧边框时，可以检测用户对终端900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时，由处理器901根据用户对显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置在终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制显示屏905的显示亮度。具体地，当环境光强度较高时，调高显示屏905的显示亮度；当环境光强度较低时，调低显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。
接近传感器916，也称距离传感器，设置在终端900的前面板。接近传感器916用于采集用户与终端900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端900的正面之间的距离逐渐变小时，由处理器901控制显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端900的正面之间的距离逐渐变大时，由处理器901控制显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种非临时性计算机可读存储介质，当存储介质中的程序代码由终端的处理器执行时，使得终端能够执行上述图像处理方法中终端所执行的步骤。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在一些实施例中，电子设备为终端。图10是根据一示例性实施例示出的一种服务器的结构示意图，该服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)1001和一个或一个以上的存储器1002，其中，存储器1002中存储有至少一条程序代码，该至少一条程序代码由处理器1001加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种非临时性计算机可读存储介质，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述图像处理方法中电子设备所执行的步骤。
在示例性实施例中，还提供了一种计算机程序产品，当计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行上述图像处理方法中的步骤。
本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (24)

1.一种图像处理方法，其特征在于，所述方法包括：
对第一尺寸的原始图像进行分割，得到第二尺寸的多个第一图像块，所述第一尺寸大于所述第二尺寸；
将每个第一图像块输入到图像处理模型，得到所述每个第一图像块对应的第二图像块，每个第二图像块的图像尺寸为所述第二尺寸；
对得到的多个第二图像块进行拼接，得到所述第一尺寸的目标图像；
其中，所述图像处理模型包括编码子模型及解码子模型；所述编码子模型包括n个编码层，每个编码层用于基于输入的图像块或图像特征进行编码，其中，对于任一第一图像块，第1个编码层的输入为所述第一图像块，第i个编码层的输入为第i-1个编码层输出的第i-1个编码图像特征，i为大于1且不大于n的任一整数；所述解码子模型包括n个解码层，每个解码层用于基于输入的图像特征进行解码；
n为2，将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
将所述第1个融合图像特征输入到第n个解码层，得到所述第一图像块对应的第二图像块；或者，
n为大于2的整数，将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；对于第k个解码层，将第k-1个融合图像特征输入到所述第k个解码层，得到第k个解码图像特征；将所述第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，直至得到第n-1个融合图像特征，k为大于1且小于n的任一整数；将所述第n-1个融合图像特征输入到第n个解码层，得到所述第一图像块对应的第二图像块。
2.根据权利要求1所述的方法，其特征在于，n为2；所述图像处理模型中的解码过程，还包括：
将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
将所述第1个融合图像特征输入到第n个解码层，得到第三图像块；
将所述第三图像块与所述第一图像块进行融合，得到所述第一图像块对应的第二图像块。
3.根据权利要求1所述的方法，其特征在于，n为大于2的整数；所述图像处理模型中的解码过程，还包括：
将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
对于第k个解码层，将第k-1个融合图像特征输入到所述第k个解码层，得到第k个解码图像特征；将所述第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，直至得到第n-1个融合图像特征，k为大于1且小于n的任一整数；
将所述第n-1个融合图像特征输入到第n个解码层，得到第三图像块；
将所述第三图像块与所述第一图像块进行融合，得到所述第一图像块对应的第二图像块。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述图像处理模型包括至少一个权重获取层；
所述将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征，包括：
将所述第1个解码图像特征及所述第n-1个编码图像特征输入到第1个权重获取层，得到所述第n-1个编码图像特征的第一权重特征；
将目标数值与所述第一权重特征之间的差值，确定为所述第1个解码图像特征的第二权重特征；
基于所述第二权重特征及所述第一权重特征，对所述第1个解码图像特征与所述第n-1个编码图像特征进行加权融合，得到所述第1个融合图像特征。
5.根据权利要求4所述的方法，其特征在于，所述将所述第1个解码图像特征及所述第n-1个编码图像特征输入到第1个权重获取层，得到所述第n-1个编码图像特征的第一权重特征，包括：
将所述第1个解码图像特征与所述第n-1个编码图像特征进行拼接，得到第一拼接特征；
将所述第一拼接特征输入到所述第1个权重获取层，得到所述第一权重特征。
6.根据权利要求1或3所述的方法，其特征在于，所述图像处理模型包括至少两个权重获取层，所述将所述第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，包括：
将所述第k个解码图像特征及所述第n-k个编码图像特征输入到第k个权重获取层，得到第三权重特征；
将所述第三权重特征与第n-k+1个编码图像特征的权重特征进行融合，得到所述第n-k个编码图像特征的第四权重特征；
将目标数值与所述第四权重特征之间的差值，确定为所述第k个解码图像特征的第五权重特征；
基于所述第五权重特征及所述第四权重特征，对所述第k个解码图像特征与所述第n-k个编码图像特征进行加权融合，得到所述第k个融合图像特征。
7.根据权利要求6所述的方法，其特征在于，所述将所述第k个解码图像特征及所述第n-k个编码图像特征输入到第k个权重获取层，得到第三权重特征，包括：
将所述第k个解码图像特征与所述第n-k个编码图像特征进行拼接，得到第二拼接特征；
将所述第二拼接特征输入到所述第k个权重获取层，得到所述第三权重特征。
8.根据权利要求6所述的方法，其特征在于，所述n个编码层输出的编码图像特征的特征尺寸逐渐变小，所述n个解码层输出的解码图像特征的特征尺寸逐渐变大，且第j个解码图像特征的特征尺寸与第n-j个编码图像特征的特征尺寸相同，j为不大于n的正整数；
所述将所述第三权重特征与第n-k+1个编码图像特征的权重特征进行融合，得到所述第n-k个编码图像特征的第四权重特征，包括：
将所述第n-k+1个编码图像特征的权重特征进行尺寸变换，得到与所述第三权重特征的特征尺寸相同的权重特征；
将所述第三权重特征与尺寸变换后的权重特征进行融合，得到所述第四权重特征。
9.根据权利要求2或3所述的方法，其特征在于，所述图像处理模型包括n个权重获取层；
所述将所述第三图像块与所述第一图像块进行融合，得到所述第一图像块对应的第二图像块，包括：
将所述第三图像块及所述第一图像块输入到第n个权重获取层，得到所述第一图像块的权重特征；
将目标数值与所述第一图像块的权重特征之间的差值，确定为所述第三图像块的权重特征；
基于所述第一图像块的权重特征及所述第三图像块的权重特征，对所述第三图像块及所述第一图像块进行加权融合，得到所述第一图像块对应的第二图像块。
10.根据权利要求9所述的方法，其特征在于，所述第一图像块包括多个第一像素点的像素值，所述第二图像块包括多个第二像素点的像素值，且每个第一像素点与一个第二像素点对应，所述第一图像块的权重特征包括多个权重值；
所述将所述第三图像块及所述第一图像块输入到第n个权重获取层，得到所述第一图像块的权重特征，包括：
基于所述第n个权重获取层，将所述第一图像块与所述第三图像块中位于相同位置上的第一像素点的像素值与第二像素点的像素值进行融合，得到多个位置对应的权重值；
按照所述多个位置的排列顺序，将所述多个位置对应的权重值构成所述第一图像块的权重特征。
11.根据权利要求1所述的方法，其特征在于，所述对得到的多个第二图像块进行拼接，得到所述第一尺寸的目标图像，包括：
按照所述多个第一图像块在所述原始图像中的位置，对所述多个第二图像块进行拼接，得到所述目标图像。
12.一种图像处理装置，其特征在于，所述图像处理装置包括：
分割单元，被配置为执行对第一尺寸的原始图像进行分割，得到第二尺寸的多个第一图像块，所述第一尺寸大于所述第二尺寸；
处理单元，被配置为执行将每个第一图像块输入到图像处理模型，得到所述每个第一图像块对应的第二图像块，每个第二图像块的图像尺寸为所述第二尺寸；
拼接单元，被配置为执行对得到的多个第二图像块进行拼接，得到所述第一尺寸的目标图像；
其中，所述图像处理模型包括编码子模型及解码子模型；所述编码子模型包括n个编码层，每个编码层用于基于输入的图像块或图像特征进行编码，其中，对于任一第一图像块，第1个编码层的输入为所述第一图像块，第i个编码层的输入为第i-1个编码层输出的第i-1个编码图像特征，i为大于1且不大于n的任一整数；所述解码子模型包括n个解码层，每个解码层用于基于输入的图像特征进行解码；
在n为2的情况下，所述处理单元，包括：解码子单元，被配置为执行将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；融合子单元，被配置为执行将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
所述解码子单元，还被配置为执行将所述第1个融合图像特征输入到第n个解码层，得到所述第一图像块对应的第二图像块；或者，
在n为大于2的整数的情况下，所述处理单元，包括：解码子单元，被配置为执行将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；融合子单元，被配置为执行将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；所述融合子单元，还被配置为执行对于第k个解码层，将第k-1个融合图像特征输入到所述第k个解码层，得到第k个解码图像特征；将所述第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，直至得到第n-1个融合图像特征，k为大于1且小于n的任一整数；所述解码子单元，还被配置为执行将所述第n-1个融合图像特征输入到第n个解码层，得到所述第一图像块对应的第二图像块。
13.根据权利要求12所述的装置，其特征在于，n为2；所述处理单元，包括：
解码子单元，被配置为执行将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
融合子单元，被配置为执行将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
所述解码子单元，还被配置为执行将所述第1个融合图像特征输入到第n个解码层，得到第三图像块；
所述融合子单元，还被配置为执行将所述第三图像块与所述第一图像块进行融合，得到所述第一图像块对应的第二图像块。
14.根据权利要求12所述的装置，其特征在于，n为大于2的整数；所述处理单元，包括：
解码子单元，被配置为执行将第n个编码图像特征输入到第1个解码层，得到第1个解码图像特征；
融合子单元，被配置为执行将所述第1个解码图像特征与第n-1个编码图像特征进行融合，得到第1个融合图像特征；
所述融合子单元，还被配置为执行对于第k个解码层，将第k-1个融合图像特征输入到所述第k个解码层，得到第k个解码图像特征；将所述第k个解码图像特征与第n-k个编码图像特征进行融合，得到第k个融合图像特征，直至得到第n-1个融合图像特征，k为大于1且小于n的任一整数；
所述解码子单元，还被配置为执行将所述第n-1个融合图像特征输入到第n个解码层，得到第三图像块；
所述融合子单元，还被配置为执行将所述第三图像块与所述第一图像块进行融合，得到所述第一图像块对应的第二图像块。
15.根据权利要求12-14任一项所述的装置，其特征在于，所述图像处理模型包括至少一个权重获取层；
所述融合子单元，被配置为执行将所述第1个解码图像特征及所述第n-1个编码图像特征输入到第1个权重获取层，得到所述第n-1个编码图像特征的第一权重特征；将目标数值与所述第一权重特征之间的差值，确定为所述第1个解码图像特征的第二权重特征；基于所述第二权重特征及所述第一权重特征，对所述第1个解码图像特征与所述第n-1个编码图像特征进行加权融合，得到所述第1个融合图像特征。
16.根据权利要求15所述的装置，其特征在于，所述融合子单元，被配置为执行将所述第1个解码图像特征与所述第n-1个编码图像特征进行拼接，得到第一拼接特征；将所述第一拼接特征输入到所述第1个权重获取层，得到所述第一权重特征。
17.根据权利要求12或14所述的装置，其特征在于，所述图像处理模型包括至少两个权重获取层，所述融合子单元，被配置为执行将所述第k个解码图像特征及所述第n-k个编码图像特征输入到第k个权重获取层，得到第三权重特征；将所述第三权重特征与第n-k+1个编码图像特征的权重特征进行融合，得到所述第n-k个编码图像特征的第四权重特征；将目标数值与所述第四权重特征之间的差值，确定为所述第k个解码图像特征的第五权重特征；基于所述第五权重特征及所述第四权重特征，对所述第k个解码图像特征与所述第n-k个编码图像特征进行加权融合，得到所述第k个融合图像特征。
18.根据权利要求17所述的装置，其特征在于，所述融合子单元，被配置为执行将所述第k个解码图像特征与所述第n-k个编码图像特征进行拼接，得到第二拼接特征；将所述第二拼接特征输入到所述第k个权重获取层，得到所述第三权重特征。
19.根据权利要求17所述的装置，其特征在于，所述n个编码层输出的编码图像特征的特征尺寸逐渐变小，所述n个解码层输出的解码图像特征的特征尺寸逐渐变大，且第j个解码图像特征的特征尺寸与第n-j个编码图像特征的特征尺寸相同，j为不大于n的正整数；
所述融合子单元，被配置为执行将所述第n-k+1个编码图像特征的权重特征进行尺寸变换，得到与所述第三权重特征的特征尺寸相同的权重特征；将所述第三权重特征与尺寸变换后的权重特征进行融合，得到所述第四权重特征。
20.根据权利要求13或14所述的装置，其特征在于，所述图像处理模型包括n个权重获取层；
所述融合子单元，被配置为执行将所述第三图像块及所述第一图像块输入到第n个权重获取层，得到所述第一图像块的权重特征；将目标数值与所述第一图像块的权重特征之间的差值，确定为所述第三图像块的权重特征；基于所述第一图像块的权重特征及所述第三图像块的权重特征，对所述第三图像块及所述第一图像块进行加权融合，得到所述第一图像块对应的第二图像块。
21.根据权利要求20所述的装置，其特征在于，所述第一图像块包括多个第一像素点的像素值，所述第二图像块包括多个第二像素点的像素值，且每个第一像素点与一个第二像素点对应，所述第一图像块的权重特征包括多个权重值；
所述融合子单元，被配置为执行基于所述第n个权重获取层，将所述第一图像块与所述第三图像块中位于相同位置上的第一像素点的像素值与第二像素点的像素值进行融合，得到多个位置对应的权重值；按照所述多个位置的排列顺序，将所述多个位置对应的权重值构成所述第一图像块的权重特征。
22.根据权利要求12所述的装置，其特征在于，所述拼接单元，被配置为执行按照所述多个第一图像块在所述原始图像中的位置，对所述多个第二图像块进行拼接，得到所述目标图像。
23.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至权利要求11任一项所述的图像处理方法。
24.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至权利要求11任一项所述的图像处理方法。
CN202110950125.0A 2021-08-18 2021-08-18 图像处理方法、装置、电子设备及存储介质 Active CN113658283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110950125.0A CN113658283B (zh) 2021-08-18 2021-08-18 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110950125.0A CN113658283B (zh) 2021-08-18 2021-08-18 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113658283A CN113658283A (zh) 2021-11-16
CN113658283B true CN113658283B (zh) 2023-11-28

Family

ID=78492286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110950125.0A Active CN113658283B (zh) 2021-08-18 2021-08-18 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113658283B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404773A (zh) * 2008-11-25 2009-04-08 江苏大学 一种基于dsp的图像编码方法
CN103380620A (zh) * 2011-01-13 2013-10-30 佳能株式会社 图像编码装置、图像编码方法和程序以及图像解码装置、图像解码方法和程序
CN105096249A (zh) * 2014-05-23 2015-11-25 北京大学 图像处理方法和装置
CN110189336A (zh) * 2019-05-30 2019-08-30 上海极链网络科技有限公司 图像生成方法、系统、服务器及存储介质
CN110933436A (zh) * 2019-12-17 2020-03-27 展讯通信（上海）有限公司 图像编码方法、装置、计算机设备及存储介质
CN112183507A (zh) * 2020-11-30 2021-01-05 北京沃东天骏信息技术有限公司 图像分割方法、装置、设备、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404773A (zh) * 2008-11-25 2009-04-08 江苏大学 一种基于dsp的图像编码方法
CN103380620A (zh) * 2011-01-13 2013-10-30 佳能株式会社 图像编码装置、图像编码方法和程序以及图像解码装置、图像解码方法和程序
CN105096249A (zh) * 2014-05-23 2015-11-25 北京大学 图像处理方法和装置
CN110189336A (zh) * 2019-05-30 2019-08-30 上海极链网络科技有限公司 图像生成方法、系统、服务器及存储介质
CN110933436A (zh) * 2019-12-17 2020-03-27 展讯通信（上海）有限公司 图像编码方法、装置、计算机设备及存储介质
CN112183507A (zh) * 2020-11-30 2021-01-05 北京沃东天骏信息技术有限公司 图像分割方法、装置、设备、存储介质

Also Published As

Publication number Publication date
CN113658283A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
US11244170B2 (en) Scene segmentation method and device, and storage medium
CN110097019B (zh) 字符识别方法、装置、计算机设备以及存储介质
CN110992493B (zh) 图像处理方法、装置、电子设备及存储介质
CN108304265B (zh) 内存管理方法、装置及存储介质
CN112907725B (zh) 图像生成、图像处理模型的训练、图像处理方法和装置
CN110675412B (zh) 图像分割方法、图像分割模型的训练方法、装置及设备
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN110796248A (zh) 数据增强的方法、装置、设备及存储介质
CN112565806B (zh) 虚拟礼物赠送方法、装置、计算机设备及介质
CN111586444B (zh) 视频处理方法、装置、电子设备及存储介质
CN110705614A (zh) 模型训练方法、装置、电子设备及存储介质
CN111105474B (zh) 字体绘制方法、装置、计算机设备及计算机可读存储介质
CN113556481B (zh) 视频特效的生成方法、装置、电子设备及存储介质
CN111083554A (zh) 直播礼物显示的方法和装置
CN113032590B (zh) 特效展示方法、装置、计算机设备及计算机可读存储介质
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN113822916B (zh) 图像匹配方法、装置、设备及可读存储介质
CN113658283B (zh) 图像处理方法、装置、电子设备及存储介质
CN111369434B (zh) 拼接视频封面生成的方法、装置、设备和存储介质
CN109040753B (zh) 预测模式选择方法、装置及存储介质
CN112560903A (zh) 图像美学信息的确定方法、装置、设备及存储介质
CN112487162A (zh) 确定文本语义信息的方法、装置、设备以及存储介质
CN112399080A (zh) 视频处理方法、装置、终端及计算机可读存储介质
CN113763486B (zh) 主色调提取方法、装置、电子设备及存储介质
CN113409235B (zh) 一种灭点估计的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant