CN117274043A - 一种数据处理方法、装置、计算机设备以及可读存储介质 - Google Patents

一种数据处理方法、装置、计算机设备以及可读存储介质 Download PDF

Info

Publication number
CN117274043A
CN117274043A CN202211102420.1A CN202211102420A CN117274043A CN 117274043 A CN117274043 A CN 117274043A CN 202211102420 A CN202211102420 A CN 202211102420A CN 117274043 A CN117274043 A CN 117274043A
Authority
CN
China
Prior art keywords
image
pixel
sample
cell
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211102420.1A
Other languages
English (en)
Inventor
何盛烽
吴宗威
王君乐
王巨宏
荆彦青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Tencent Technology Shenzhen Co Ltd
Original Assignee
South China University of Technology SCUT
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Tencent Technology Shenzhen Co Ltd filed Critical South China University of Technology SCUT
Priority to CN202211102420.1A priority Critical patent/CN117274043A/zh
Publication of CN117274043A publication Critical patent/CN117274043A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/12—Indexing scheme for image data processing or generation, in general involving antialiasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种数据处理方法、装置、计算机设备以及可读存储介质，该方法可以应用于云技术、人工智能、智慧交通、辅助驾驶、图像、像素化处理、去像素化处理等场景，方法包括：获取目标单元格尺寸对应的单元格尺寸向量；单元格尺寸向量是由目标单元格尺寸所对应的参考像素图像生成的；根据单元格尺寸向量对目标图像进行单元格像素化处理，得到目标图像对应的单元格图像；单元格图像为具备像素风格的图像；对单元格图像进行单元格像素修复处理，得到目标图像对应的像素化图像；像素化图像是指具有目标单元格尺寸所指示的像素化边缘连续效果的图像。采用本申请，可以提高像素化处理的灵活性，且提高像素化图像的准确度。

Description

一种数据处理方法、装置、计算机设备以及可读存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、计算机设备以及可读存储介质。
背景技术
目前在对输入图像(例如，目标图像)进行像素化处理时，一般是采用通过配对数据训练得到的模型，实现对输入图像的像素化处理，该配对数据是用于训练模型的样本及标签(即对样本进行像素化处理后理论上应该得到的图像)，然而像素化图像与非像素图像组成的配对数据集较难收集，可能导致由于样本数量不足，造成模型的性能较差，准确性不高，使得通过该模型对输入图像进行像素化处理后得到的图像，具有反锯齿效果，从而导致像素化处理效果较差。而且，通过配对数据对模型进行训练时，由于配对数据的数量以及配对数据自身中的单元格大小的影响，会导致训练好的模型只能将目标图像进行像素化处理，转换为指定单元格大小的像素化图像，降低了像素化处理的灵活性。
发明内容
本申请实施例提供一种数据处理方法、装置、计算机设备以及可读存储介质，可以提高像素化处理的灵活性，且提高像素化图像的准确度。
本申请实施例一方面提供了一种数据处理方法，包括：
获取目标单元格尺寸对应的单元格尺寸向量；单元格尺寸向量是由目标单元格尺寸所对应的参考像素图像生成的；参考像素图像包括目标单元格尺寸所指示的多个单元格，每个单元格中的像素值相同；
根据单元格尺寸向量对目标图像进行单元格像素化处理，得到目标图像对应的单元格图像；单元格图像为具备像素风格的图像；
对单元格图像进行单元格像素修复处理，得到目标图像对应的像素化图像；像素化图像是指具有目标单元格尺寸所指示的像素化边缘连续效果的图像。
本申请实施例一方面提供了一种数据处理装置，包括：
向量化模块，用于获取目标单元格尺寸对应的单元格尺寸向量；单元格尺寸向量是由目标单元格尺寸所对应的参考像素图像生成的；参考像素图像包括目标单元格尺寸所指示的多个单元格，每个单元格中的像素值相同；
像素化模块，用于根据单元格尺寸向量对目标图像进行单元格像素化处理，得到目标图像对应的单元格图像；单元格图像为具备像素风格的图像；
像素修复模块，用于对单元格图像进行单元格像素修复处理，得到目标图像对应的像素化图像；像素化图像是指具有目标单元格尺寸所指示的像素化边缘连续效果的图像。
其中，向量化模块包括：
第一输入单元，用于对目标单元格尺寸对应的参考像素图像进行图像灰度化，得到灰度化像素图像；
第一输入单元，用于将灰度化像素图像输入至目标网络模型中的单元格编码子网络；单元格编码子网络包括结构提取网络层、卷积网络层、池化网络层和多层感知网络层；
特征提取单元，用于通过结构提取网络层和卷积网络层对灰度化像素图像进行特征提取，得到参考结构特征；
池化操作单元，用于通过池化网络层对参考结构特征进行池化操作，得到参考池化特征；
全连接处理单元，用于通过多层感知网络层对参考池化特征进行全连接处理，得到目标单元格尺寸对应的单元格尺寸向量。
其中，结构提取网络层包括R个结构卷积子网络层；卷积网络层包括N个像素卷积子网络层；R为正整数；N为小于或等于R的正整数；
特征提取单元包括：
第一输入子单元，用于将灰度化像素图像输入至结构提取网络层，得到结构提取网络层中的R个结构卷积子网络层分别输出的结构卷积特征；
第一输入子单元，用于从R个结构卷积特征中获取N个像素卷积子网络层分别对应的结构卷积特征；N个结构卷积特征具有不同特征尺寸；
第二输入子单元，用于将N个结构卷积特征和灰度化像素图像输入至卷积网络层，得到卷积网络层中的N个像素卷积子网络层分别输出的像素卷积特征；N个像素卷积特征具有不同特征尺寸；
特征融合子单元，用于对N个像素卷积特征中的目标像素卷积特征和N个结构卷积特征中的目标结构卷积特征进行特征融合，得到参考结构特征；目标像素卷积特征为N个像素卷积特征中的最后一个像素卷积特征；目标结构卷积特征为N个结构卷积特征中的最后一个结构卷积特征。
其中，R个结构卷积子网络层包括结构卷积子网络层Ui，i为小于或等于R的正整数；
第一输入子单元，具体用于将灰度化像素图像输入至结构提取网络层；
第一输入子单元，具体用于若结构卷积子网络层Ui为R个结构卷积子网络层中的第一个结构卷积子网络层，则通过结构卷积子网络层Ui对灰度化像素图像进行卷积操作，得到结构卷积子网络层Ui输出的结构卷积特征；
第一输入子单元，具体用于若结构卷积子网络层Ui不为R个结构卷积子网络层中的第一个结构卷积子网络层，则通过结构卷积子网络层Ui对结构卷积子网络层Ui-1输出的结构卷积特征进行卷积操作，得到结构卷积子网络层Ui输出的结构卷积特征；结构卷积子网络层Ui-1为结构卷积子网络层Ui的上一个结构卷积子网络层。
其中，N个像素卷积子网络层包括像素卷积子网络层Mj，j为小于或等于N的正整数；
第二输入子单元，具体用于将N个结构卷积特征和灰度化像素图像输入至卷积网络层；
第二输入子单元，具体用于若像素卷积子网络层Mj为N个像素卷积子网络层中的第一个像素卷积子网络层，则通过像素卷积子网络层Mj对灰度化像素图像进行卷积操作，得到像素卷积子网络层Mj输出的像素卷积特征；
第二输入子单元，具体用于若像素卷积子网络层Mj不为N个像素卷积子网络层中的第一个像素卷积子网络层，则从N个结构卷积特征中获取像素卷积子网络层Mj-1对应的结构卷积特征，对像素卷积子网络层Mj-1对应的结构卷积特征和像素卷积子网络层Mj-1输出的像素卷积特征进行特征融合，得到像素卷积子网络层Mj-1对应的融合卷积特征，通过像素卷积子网络层Mj对像素卷积子网络层Mj-1对应的融合卷积特征进行卷积操作，得到像素卷积子网络层Mj输出的像素卷积特征；像素卷积子网络层Mj-1为像素卷积子网络层Mj的上一个像素卷积子网络层；像素卷积子网络层Mj-1对应的结构卷积特征和像素卷积子网络层Mj-1输出的像素卷积特征具有相同特征尺寸。
其中，像素化模块包括：
第二输入单元，用于将单元格尺寸向量和目标图像输入至目标网络模型中的像素图转换子网络；像素图转换子网络包括像素编码网络层、单元格尺寸嵌入网络层和像素解码网络层；
编码处理单元，用于通过像素编码网络层对目标图像进行像素编码处理，得到像素编码特征；
权重调整单元，用于通过单元格尺寸向量对单元格尺寸嵌入网络层中的卷积核权重进行调整，得到调整后的卷积核权重，基于调整后的卷积核权重和像素编码特征，生成单元格嵌入特征；
解码处理单元，用于通过像素解码网络层对单元格嵌入特征进行像素解码处理，得到目标图像对应的单元格图像。
其中，单元格尺寸嵌入网络层包括L个嵌入卷积子网络层，L为正整数；
权重调整单元，具体用于将单元格尺寸向量划分为L个嵌入卷积子网络层分别对应的划分尺寸向量；L个嵌入卷积子网络层包括嵌入卷积子网络层Hk，k为小于或等于L的正整数；
权重调整单元，具体用于通过嵌入卷积子网络层Hk对应的划分尺寸向量，对嵌入卷积子网络层Hk中的卷积核权重进行调整，得到嵌入卷积子网络层Hk对应的调整后的卷积核权重；
权重调整单元，具体用于若嵌入卷积子网络层Hk为L个嵌入卷积子网络层中的第一个嵌入卷积子网络层，则在嵌入卷积子网络层Hk中，基于嵌入卷积子网络层Hk对应的调整后的卷积核权重，对像素编码特征进行卷积操作，得到嵌入卷积子网络层Hk输出的编码卷积特征；
权重调整单元，具体用于若嵌入卷积子网络层Hk不为L个嵌入卷积子网络层中的第一个嵌入卷积子网络层，则在嵌入卷积子网络层Hk中，基于嵌入卷积子网络层Hk对应的调整后的卷积核权重，对嵌入卷积子网络层Hk-1输出的编码卷积特征进行卷积操作，得到嵌入卷积子网络层Hk输出的编码卷积特征；嵌入卷积子网络层Hk-1为嵌入卷积子网络层Hk的上一个嵌入卷积子网络层；
权重调整单元，具体用于将L个嵌入卷积子网络层中的最后一个嵌入卷积子网络层所输出的编码卷积特征作为单元格嵌入特征。
其中，像素修复模块，具体用于将单元格图像输入至目标网络模型中的单元格像素修复子网络；单元格像素修复子网络包括修复编码网络层和修复解码网络层；
像素修复模块，具体用于通过修复编码网络层对单元格图像进行单元格编码处理，得到单元格编码特征；
像素修复模块，具体用于通过修复解码网络层对单元格编码特征进行单元格解码处理，得到目标图像对应的像素化图像。
其中，装置还包括：
图像输入模块，用于响应针对像素化图像的去像素化请求，将像素化图像输入至目标网络模型；目标网络模型包括单元格像素还原子网络；
去像素化模块，用于通过单元格像素还原子网络对像素化图像进行单元格去像素化处理，得到像素化图像对应的去像素化图像；
去像素化模块，用于输出去像素化图像。
本申请实施例一方面提供了一种数据处理方法，包括：
在初始网络模型中，获取样本单元格尺寸对应的样本单元格尺寸向量；样本单元格尺寸向量是由样本单元格尺寸所对应的样本参考像素图像生成的；样本参考像素图像包括样本单元格尺寸所指示的多个样本单元格，每个样本单元格中的像素值相同；
根据样本单元格尺寸向量对样本图像进行单元格像素化处理，得到样本图像对应的样本单元格图像；样本单元格图像为具备像素风格的图像；
对样本单元格图像进行单元格像素修复处理，得到样本图像对应的样本像素化图像；样本像素化图像是指具有样本单元格尺寸所指示的像素化边缘连续效果的图像；
基于样本参考像素图像、样本图像和样本像素化图像，确定初始网络模型的模型损失值；
根据模型损失值对初始网络模型中的模型参数进行调整，当调整后的初始网络模型满足模型收敛条件时，将调整后的初始网络模型确定为目标网络模型；目标网络模型用于生成目标图像对应的像素化图像。
本申请实施例一方面提供了一种数据处理装置，包括：
样本向量化模块，用于在初始网络模型中，获取样本单元格尺寸对应的样本单元格尺寸向量；样本单元格尺寸向量是由样本单元格尺寸所对应的样本参考像素图像生成的；样本参考像素图像包括样本单元格尺寸所指示的多个样本单元格，每个样本单元格中的像素值相同；
样本像素化模块，用于根据样本单元格尺寸向量对样本图像进行单元格像素化处理，得到样本图像对应的样本单元格图像；样本单元格图像为具备像素风格的图像；
样本像素修复模块，用于对样本单元格图像进行单元格像素修复处理，得到样本图像对应的样本像素化图像；样本像素化图像是指具有样本单元格尺寸所指示的像素化边缘连续效果的图像；
损失确定模块，用于基于样本参考像素图像、样本图像和样本像素化图像，确定初始网络模型的模型损失值；
模型调整模块，用于根据模型损失值对初始网络模型中的模型参数进行调整，当调整后的初始网络模型满足模型收敛条件时，将调整后的初始网络模型确定为目标网络模型；目标网络模型用于生成目标图像对应的像素化图像。
其中，初始网络模型包括初始单元格像素还原子网络、单元格像素修复子网络、第一初始判别器和第二初始判别器；
损失确定模块，具体用于将样本参考像素图像输入至初始单元格像素还原子网络，通过初始单元格像素还原子网络对样本参考像素图像进行单元格去像素化处理，得到样本参考像素图像对应的样本去像素化图像；
损失确定模块，具体用于将样本参考像素图像和样本像素化图像输入至第一初始判别器，通过第一初始判别器输出样本参考像素图像对应的第一像素判别概率、以及样本像素化图像对应的第二像素判别概率；
损失确定模块，具体用于将样本图像和样本去像素化图像输入至第二初始判别器，通过第二初始判别器输出样本图像对应的第三像素判别概率、以及样本去像素化图像对应的第四像素判别概率；
损失确定模块，具体用于根据第一像素判别概率、第二像素判别概率、第三像素判别概率、第四像素判别概率和对抗损失函数，生成初始单元格像素还原子网络、单元格像素修复子网络、第一初始判别器和第二初始判别器的对抗损失值；
损失确定模块，具体用于将对抗损失值作为初始网络模型的模型损失值。
其中，初始网络模型包括初始单元格像素还原子网络、单元格像素修复子网络和初始像素图转换子网络；
损失确定模块，具体用于将样本像素化图像输入至初始单元格像素还原子网络，通过初始单元格像素还原子网络对样本像素化图像进行单元格去像素化处理，得到样本像素化图像对应的像素化循环图像；
损失确定模块，具体用于将样本参考像素图像输入至初始单元格像素还原子网络，通过初始单元格像素还原子网络对样本参考像素图像进行单元格去像素化处理，得到样本参考像素图像对应的样本去像素化图像；
损失确定模块，具体用于将样本去像素化图像输入至初始像素图转换子网络，在初始像素图转换子网络中，根据样本单元格尺寸向量对样本去像素化图像进行单元格像素化处理，得到样本去像素化图像对应的样本候选图像；
损失确定模块，具体用于将样本候选图像输入至单元格像素修复子网络，通过单元格像素修复子网络对样本候选图像进行单元格像素修复处理，得到样本去像素化图像对应的去像素化循环图像；
损失确定模块，具体用于根据样本图像和像素化循环图像，生成第一循环特征，根据样本参考像素图像和去像素化循环图像，生成第二循环特征；
损失确定模块，具体用于根据第一循环特征和第二循环特征，生成初始网络模型的循环一致损失，将循环一致损失作为初始网络模型的模型损失值。
其中，损失确定模块，具体用于根据样本图像和样本像素化图像，生成初始网络模型的绝对值损失；
损失确定模块，具体用于将绝对值损失作为初始网络模型的模型损失值。
其中，初始网络模型包括初始单元格像素还原子网络、单元格像素修复子网络和初始像素图转换子网络；
损失确定模块，具体用于将样本图像输入至初始单元格像素还原子网络，通过初始单元格像素还原子网络对样本图像进行单元格去像素化处理，得到样本图像对应的第一重建图像；
损失确定模块，具体用于将样本参考像素图像输入至初始像素图转换子网络，在初始像素图转换子网络中，根据样本单元格尺寸向量对样本参考像素图像进行单元格像素化处理，得到样本参考像素图像对应的第二重建图像；
损失确定模块，具体用于将第二重建图像输入至单元格像素修复子网络，通过单元格像素修复子网络对第二重建图像进行单元格像素修复处理，得到样本参考像素图像对应的第三重建图像；
损失确定模块，具体用于根据样本图像和第一重建图像，生成第一身份特征，根据样本参考像素图像和第三重建图像，生成第二身份特征；
损失确定模块，具体用于根据第一身份特征和第二身份特征，生成初始网络模型的身份损失，将身份损失作为初始网络模型的模型损失值。
其中，初始网络模型包括第一初始判别器；
损失确定模块，具体用于将样本参考像素图像和样本像素化图像输入至第一初始判别器，通过第一初始判别器输出样本参考像素图像对应的第一像素特征、以及样本像素化图像对应的第二像素特征；
损失确定模块，具体用于对第一像素特征和第二像素特征分别进行池化操作，得到第一像素特征对应的第一池化特征、以及第二像素特征对应的第二池化特征；
损失确定模块，具体用于对第一池化特征和第二池化特征分别进行卷积操作，得到第一池化特征对应的第一单元格特征向量和第二池化特征对应的第二单元格特征向量；
损失确定模块，具体用于获取样本单元格尺寸对应的初始权重向量，根据第一单元格特征向量和初始权重向量，生成第一距离损失，根据第二单元格特征向量和初始权重向量，生成第二距离损失；
损失确定模块，具体用于根据第一距离损失和第二距离损失，生成初始网络模型的大边距余弦损失，将大边距余弦损失作为初始网络模型的模型损失值。
其中，初始网络模型包括单元格像素修复子网络；
装置还包括：
第一样本输入模块，用于将第一样本图像输入至初始单元格像素修复子网络，通过初始单元格像素修复子网络对第一样本图像进行单元格像素修复处理，得到预测参考像素图像；第一样本图像是指具有像素化边缘模糊效果的图像；
第一损失确定模块，用于根据第一样本图像对应的样本上采样参考图像和预测参考像素图像，确定初始单元格像素修复子网络的第一损失值；
第一损失确定模块，用于将样本上采样参考图像和预测参考像素图像分别输入至初始边缘判别器，通过初始边缘判别器输出样本上采样参考图像对应的样本判别概率、以及预测参考像素图像对应的预测判别概率；
第一损失确定模块，用于根据样本判别概率、预测判别概率和对抗损失函数，生成初始单元格像素修复子网络和初始边缘判别器的第二损失值；
第一损失确定模块，用于根据第一损失值和第二损失值，确定初始单元格像素修复子网络和初始边缘判别器的第一模型损失；
第一训练模块，用于根据第一模型损失对初始单元格像素修复子网络和初始边缘判别器中的模型参数进行调整，得到单元格像素修复子网络和边缘判别器。
其中，第一样本图像的数量为Q个，Q为正整数；
装置还包括：
第一样本生成模块，用于对候选像素图像进行上采样处理，得到样本上采样参考图像；
第一样本生成模块，用于对样本上采样参考图像进行下采样处理，得到Q个样本下采样参考图像；Q个样本下采样参考图像具有不同图像尺寸；Q个样本下采样参考图像是指具有像素化边缘模糊效果的图像；
第一样本生成模块，用于对每个样本下采样参考图像进行上采样处理，得到Q个第一样本图像。
其中，初始网络模型包括结构提取网络层；
装置还包括：
第二样本输入模块，用于对第二样本图像进行图像灰度化，得到样本灰度化图像；第二样本图像为具备像素风格的图像；
第二损失确定模块，用于将样本灰度化图像输入至初始结构提取网络层，通过初始结构提取网络层对样本灰度化图像进行特征提取，得到辅助结构特征；
第二损失确定模块，用于将辅助结构特征输入至初始结构提取网络层中的分类器，通过分类器输出辅助结构特征对应的辅助结构向量；
第二损失确定模块，用于获取与第二样本图像对应的单元格尺寸相关联的标准结构向量，根据辅助结构向量和标准结构向量确定初始结构提取网络层的第二模型损失；
第二训练模块，用于根据第二模型损失对初始结构提取网络层中的模型参数进行调整，得到结构提取网络层。
其中，装置还包括：
第二样本生成模块，用于确定样本像素图像的样本尺寸，基于目标尺寸对样本像素图像进行尺寸调整，得到样本像素图像对应的辅助像素图像；
第二样本生成模块，用于对辅助像素图像进行上采样处理，得到辅助像素图像对应的第二样本图像；第二样本图像对应的单元格尺寸是根据上采样处理所确定的。
本申请实施例一方面提供了一种计算机设备，包括：处理器和存储器；
处理器与存储器相连，其中，存储器用于存储计算机程序，计算机程序被处理器执行时，使得该计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行本申请实施例提供的方法。
在本申请实施例中，计算机设备可以获取目标单元格尺寸对应的单元格尺寸向量。其中，单元格尺寸向量是由目标单元格尺寸所对应的参考像素图像生成的，参考像素图像包括目标单元格尺寸所指示的多个单元格，每个单元格中的像素值相同。进一步地，计算机设备可以根据单元格尺寸向量对目标图像进行单元格像素化处理，得到目标图像对应的单元格图像，这里的单元格图像为具备像素风格的图像。进一步地，计算机设备可以对单元格图像进行单元格像素修复处理，得到目标图像对应的像素化图像，这里的像素化图像是指具有目标单元格尺寸所指示的像素化边缘连续效果的图像。由此可见，本申请实施例提出了一种数据驱动的像素化方法，该方法可以使用参考像素图像对应的单元格尺寸向量作为辅助输入，通过单元格尺寸向量控制生成具有目标单元格尺寸的像素图像(即目标图像对应的单元格图像)，从而实现对单元格大小的控制，提高像素化处理的灵活性。其中，这里的目标图像和参考像素图像为未配对数据。此外，由于单元格图像仍然受到外观模糊和颜色偏移的抗锯齿效果的影响，通过对单元格图像进行单元格像素修复处理，可以在确保单元格尺寸不变的同时，进一步去除抗锯齿效果，并生成清晰的锯齿单元格效果的最终结果(即像素化图像)，从而提高像素化图像的准确度。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构的结构示意图；
图2是本申请实施例提供的一种进行数据交互的场景示意图；
图3是本申请实施例提供的一种数据处理方法的流程示意图；
图4是本申请实施例提供的一种结构提取网络层和卷积网络层的结构示意图；
图5是本申请实施例提供的一种像素图转换子网络的结构示意图；
图6是本申请实施例提供的一种单元格像素修复子网络的结构示意图；
图7是本申请实施例提供的一种网络模型的结构示意图；
图8是本申请实施例提供的一种数据处理方法的流程示意图；
图9是本申请实施例提供的一种像素图像的场景示意图；
图10是本申请实施例提供的一种非像素图像的场景示意图；
图11是本申请实施例提供的一种第一样本图像的场景示意图；
图12是本申请实施例提供的一种训练单元格像素修复子网络的场景示意图；
图13是本申请实施例提供的一种第二样本图像的场景示意图；
图14是本申请实施例提供的一种结构提取网络层比较的场景示意图；
图15是本申请实施例提供的一种数据处理方法的流程示意图；
图16是本申请实施例提供的一种像素化比较的场景示意图；
图17是本申请实施例提供的一种消除反锯齿比较的场景示意图；
图18是本申请实施例提供的一种游戏像素化比较的场景示意图；
图19a是本申请实施例提供的一种单元格尺寸影响的场景示意图；
图19b是本申请实施例提供的一种单元格尺寸影响的场景示意图；
图20是本申请实施例提供的一种单元格尺寸像素化比较的场景示意图；
图21是本申请实施例提供的一种去像素化比较的场景示意图；
图22是本申请实施例提供的一种数据处理装置的结构示意图；
图23是本申请实施例提供的一种数据处理装置的结构示意图；
图24是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，人工智能(Artificial Intelligence，简称AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
其中，本申请实施例所提供的方案主要涉及人工智能的计算机视觉(ComputerVision，简称CV)技术和机器学习(Machine Learning，简称ML)技术。
其中，计算机视觉(Computer Vision)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术。
其中，机器学习(Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。其中，深度学习技术是一种利用深层神经网络系统，进行机器学习的技术。
具体的，请参见图1，图1是本申请实施例提供的一种网络架构的结构示意图。如图1所示，该网络架构可以包括服务器2000和终端设备集群。其中，终端设备集群具体可以包括一个或者多个终端设备，这里将不对终端设备集群中的终端设备的数量进行限定。如图1所示，多个终端设备具体可以包括终端设备3000a、终端设备3000b、终端设备3000c、…、终端设备3000n；终端设备3000a、终端设备3000b、终端设备3000c、…、终端设备3000n可以分别与服务器2000通过有线或无线通信方式进行直接或间接地网络连接，以便于每个终端设备可以通过该网络连接与服务器2000之间进行数据交互。
其中，终端设备集群中的每个终端设备均可以包括：智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备、智能家电(例如，智能电视)、可穿戴设备、车载终端、飞行器等具有数据处理功能的智能终端。为便于理解，本申请实施例可以在图1所示的多个终端设备中选择一个终端设备作为目标终端设备。例如，本申请实施例可以将图1所示的终端设备3000a作为目标终端设备。
其中，服务器2000可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
为便于理解，本申请实施例可以将图像划分为像素图像(pixel art)和非像素图像(non-pixel art image)，像素图像和非像素图像均为像素所构成的图像。像素图像是一种具有低有效分辨率图像外观的艺术风格，可以认为类似于位图，由点(一个点就是一个像素)构成，如同用马赛克去拼贴图案一样，每个马赛克相当于一个点，若干个点以矩阵排列成图案，正常的情况下看得到像素点，非像素图像是一种具有高分辨率图像外观的艺术风格，正常的情况下看不到像素点，换言之，像素图像是具有像素风格的图像，像素图像具有分辨率低的特点，非像素图像是由连续光滑线条、纹理所组成、且具有非像素风格的图像，非像素图像具有分辨率高的特征、且分辨率可以无限大。像素化(即像素化处理)表示将非像素图像转换成像素图像(即将非像素图像转换成像素图像的风格)，去像素化(即去像素化处理)表示将像素图像转换成非像素图像(即将像素图像转换成非像素图像的风格)。其中，像素化是风格化的一种形式。
可以理解的是，像素图像可以被视为正方形单元格构成的网格，其中，每个网格(即单元格)可以包含相同颜色的N×N个像素，即像素图像的单元格大小(即单元格尺寸)为N×，换言之，像素图像包括单元格尺寸所指示的多个单元格，每个单元格中的像素值相同。应当理解，本申请实施例不对这里的N的具体取值进行限定，N为小于或等于像素图像的高的正整数、且N为小于或等于像素图像的宽的正整数。在最简单的情况下，每个单元格可以包含一个像素(即单元格大小为1×(N＝1))，此类像素图像为“一个单元一个像素”。一方面，通过最近邻插值法可以将单元格大小为N×(N＝1)的像素图像放大为单元格大小为N×(N>1)的形式；另一方面，通过最近邻插值法可以将单元格大小为N×(N>1)的像素图像缩小为单元格大小为N×(N＝1)的形式。此外，像素图像主要与80年代的视频游戏的艺术风格相关，由于其独特的风格和怀旧，像素图像可以应用于视频游戏、广告等领域。
应当理解，本申请实施例可以将高分辨率的非像素图像转换为低分辨率的像素图像，具体的，计算机设备(例如，服务器2000)可以获取单元格大小为目标单元格大小(例如，目标单元格大小为2，即N等于2)的像素图像(即参参考像素图像)，进而获取参考像素图像对应的单元格尺寸向量。进一步地，服务器2000可以获取待进行像素化的非像素图像(即目标图像)，根据单元格尺寸向量对目标图像进行单元格像素化处理，得到目标图像对应的单元格图像，进而对单元格图像进行单元格像素修复处理，得到目标图像对应的像素化图像。其中，参考像素图像、单元格图像和像素化图像为具有像素风格的图像，单元格图像是指具有目标单元格尺寸所指示的像素化边缘连续效果的图像，像素化图像是指具有目标单元格尺寸所指示的像素化边缘模糊效果的图像。
其中，单元格图像包括目标单元格尺寸所指示的多个单元格，每个单元格中的像素值相同、或不同；同理，像素化图像包括目标单元格尺寸所指示的多个单元格，每个单元格中的像素值相同、或不同。在理想情况下，单元格图像的每个单元格中的像素值相同，像素化图像的每个单元格中的像素值相同。可选的，单元格图像的每个单元格中的像素值大部分相同，像素化图像的每个单元格中的像素值大部分相同，其他像素的像素值与大部分的像素值相似，换言之，目标单元格尺寸所指示的各个单元格内的像素值之间的差值属于一定范围。比如，若目标单元格尺寸等于2，则单元格大小为2×的像素化图像的每个单元格可以包括2×2个像素，2×2个像素中的3个像素具有相同的像素值(例如，(255,255,255))，1个像素与3个像素的像素值相似(例如，(255,252,255))。
可以理解的是，像素风格的图像是指由单元格所构成的图像，本申请实施例不对像素风格的图像中的单元格尺寸进行限定。像素化边缘连续效果的图像是指具有尖锐的(sharp)锯齿边缘的图像(即锯齿图像，又称为走样图像)，像素化边缘模糊效果的图像是指不具有尖锐的锯齿边缘的图像(即反锯齿图像，又称为反走样图像)，这里的像素化边缘是由目标单元格尺寸所确定的。
此外，本申请实施例可以将输入图像(即目标图像)转换为具有相同像素分辨率、且单元格大小为N×的像素图像(即像素化图像)，其中参数N可以指定不同值。换言之，目标图像和像素化图像具有相同像素分辨率，像素化图像的单元格尺寸是由参考像素图像的单元格尺寸所确定的。这样，本申请实施例生成的像素图像(即像素化图像)的有效分辨率(即单元格的分辨率)减少了N×，而像素化图像的像素分辨率与输入图像相同。因此，本申请实施例可以通过单元格尺寸向量实现单元格可控(即控制像素图中单元格的大小)的像素化过程，参考像素图像的单元格结构特征(即单元格尺寸向量)可以用于像素化过程的辅助输入，并用于测量生成结果(即单元格图像)与参考像素图像之间的风格相似度，即单元格尺寸向量可以用于生成与参考像素图像风格相似的单元格图像。
为便于理解，进一步地，请参见图2，图2是本申请实施例提供的一种进行数据交互的场景示意图。如图2所示的服务器20a可以为上述图1所对应实施例中的服务器2000，如图2所示的终端设备20b可以为上述图1所对应实施例中的目标终端设备，服务器20a和终端设备20b可以共同实现像素化过程和非像素化过程。应当理解，本申请实施例可以将用户称之为对象，终端设备20b对应的用户可以为对象20c。
如图2所示，若对象20c需要对目标图像进行像素化处理，则可以通过终端设备20b将目标图像和像素化处理所对应的目标单元格尺寸发送至服务器20a，这样，服务器20a在接收到目标图像和目标单元格尺寸之后，可以获取目标单元格尺寸对应的单元格尺寸向量，进而基于单元格尺寸向量对目标图像进行像素化处理。其中，目标图像可以为对象20c感兴趣的、需要进行像素化处理的图像。
其中，如图2所示，服务器20a可以从图像数据库20d中获取目标单元格尺寸对应的参考像素图像，图像数据库20d可以单独设置，也可以集成在服务器20a上，或者集成在其他设备或云上，这里不做限定。图像数据库20d中可以包括多个数据库，多个数据库具体可以包括：数据库21a，数据库21b，…，数据库21c；数据库21a，数据库21b，…，数据库21c可以用于存储不同单元格大小的像素图像，例如，数据库21a可以用于存储单元格大小等于1的像素图像，数据库21b可以用于存储单元格大小等于2的像素图像，数据库21c可以用于存储单元格大小等于3的像素图像。因此，若目标单元格尺寸等于2，则服务器20a可以从数据库21b中获取目标单元格尺寸对应的参考像素图像，进而获取参考像素图像对应的单元格尺寸向量。其中，这里的参考像素图像可以为数据库21b中的任意一个图像，可以理解的是，基于数据库21b中的不同图像可以生成不同的单元格尺寸向量，不同的单元格尺寸向量是相似的，在基于不同的单元格尺寸向量对目标图像进行像素化处理时，可以生成相似的像素化结果。
可选的，服务器20a可以从向量数据库20d中获取目标单元格尺寸对应的单元格尺寸向量，向量数据库20d可以单独设置，也可以集成在服务器20a上，或者集成在其他设备或云上，这里不做限定。向量数据库20d中可以包括多个数据库，多个数据库具体可以包括：数据库21a，数据库21b，…，数据库21c；数据库21a，数据库21b，…，数据库21c可以用于存储不同单元格大小对应的单元格尺寸向量，例如，数据库21a可以用于存储单元格大小等于1对应的单元格尺寸向量，数据库21b可以用于存储单元格大小等于2对应的单元格尺寸向量，数据库21c可以用于存储单元格大小等于3对应的单元格尺寸向量。因此，若目标单元格尺寸等于2，则服务器20a可以从数据库21b中获取目标单元格尺寸对应的单元格尺寸向量。其中，这里的单元格尺寸向量可以为数据库21b中的任意一个单元格尺寸向量，数据库21b中不同的单元格尺寸向量是相似的，在基于不同的单元格尺寸向量对目标图像进行像素化处理时，可以生成相似的像素化结果。其中，数据库21b中的单元格尺寸向量是由目标单元格尺寸所对应的参考像素图像生成。
进一步地，如图2所示，服务器20a可以根据单元格尺寸向量对目标图像进行单元格像素化处理，得到目标图像对应的单元格图像，进而对单元格图像进行单元格像素修复处理，得到目标图像对应的像素化图像。其中，目标图像为具有非像素风格的图像(即不具有像素风格的图像)，单元格图像和像素化图像为具有像素风格的图像，单元格像素化处理可以实现非像素风格到像素风格的转换；单元格图像是指具有目标单元格尺寸所指示的像素化边缘模糊效果的图像，像素化图像是指具有目标单元格尺寸所指示的像素化边缘连续效果的图像，单元格像素修复处理可以实现像素化边缘模糊效果到像素化边缘连续效果的转换。其中，单元格图像、像素化图像和目标图像具有相同的分辨率，像素化图像的单元格尺寸与参考像素图像的单元格尺寸相同，单元格图像的单元格尺寸与参考像素图像的单元格尺寸相同。
进一步地，服务器20a可以将像素化图像返回至终端设备20b，这样，终端设备20b可以输出像素化图像。其中，可以理解的是，服务器对目标图像进行像素化处理得到像素化图像的具体过程是通过目标网络模型实现的，同理，服务器可以通过目标网络模型对像素化图像进行去像素化处理得到去像素化图像，这里的去像素化图像和目标图像可以为相似的图像，在理想情况下，目标图像和去像素化图像完全相同。
同理，若对象20c需要对像素化图像进行去像素化处理，则可以通过终端设备20b将像素化图像发送至服务器20a，这样，服务器20a在接收到像素化图像之后可以响应针对像素化图像的去像素化请求，将像素化图像输入至目标网络模型中的单元格像素还原子网络，通过单元格像素还原子网络对像素化图像进行单元格去像素化处理，得到像素化图像对应的去像素化图像，进而将去像素化图像返回至终端设备20b，以使终端设备20b输出去像素化图像。其中，像素化图像可以为对象20c感兴趣的、需要进行去像素化处理的图像，对像素化图像之外的其他像素图像进行去像素化处理的具体过程，可以参见对像素化图像进行去像素化处理的描述，这里将不再进行赘述。
应当理解，上述像素化过程和非像素化过程可以应用于风格转换APP(Application)，风格转换APP可以为安装在终端设备20b中的应用客户端。目标图像可以为对象20c在风格转换APP中所提供的动漫形象、游戏海报、游戏画面、卡通头像、艺术图等图片，风格转换APP可以通过服务器20a产生具有像素化风格的结果(即像素化图像)，这个结果具有尖锐的边缘和清晰的单元格，并且单元格的大小是由对象20c所指定的(即目标单元格尺寸)。此外，风格转换APP的一个附加功能是去像素化，即通过服务器20a将对象20c所输入的像素化图像去除像素化的效果，得到去像素化图像。
可选的，风格转换APP还可以应用于游戏视频，对象20c可以通过终端设备20b中的风格转换APP上传游戏视频，这样，风格转换APP可以通过服务器20a对游戏视频中的每一帧视频帧进行像素化处理，得到每一帧视频帧分别对应的具有像素化风格的结果，从而对每一帧视频帧分别对应的具有像素化风格的结果进行拼接，生成拼接后的游戏视频(即具有像素化风格的游戏视频)，从而实现游戏视频像素化(即将连续的游戏视频转换为像素图风格)。
由此可见，本申请实施例可以使用具有目标单元格尺寸的参考像素图像作为参考，以提供结构信息指导输入图像(即目标图像)生成具有规则单元格的像素图像(即单元格图像)，进而通过单元格像素修复处理去除单元格图像的抗锯齿效果，得到具有目标单元格尺寸、且具有清晰的锯齿单元格效果的像素化图像，从而提高像素化处理的灵活性，且提高像素化图像的准确度。此外，为了控制生成的像素化图像的单元格尺寸，本申请实施例可以将不同的单元格尺寸视为不同的图像风格，借鉴风格迁移思想将参考像素图的作为参考的风格，实现图像内容和风格分离。
进一步地，请参见图3，图3是本申请实施例提供的一种数据处理方法的流程示意图。该方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备共同执行，该服务器可以为上述图2所对应实施例中的服务器20a，该终端设备可以为上述图2所对应实施例的终端设备20b。为便于理解，本申请实施例以该方法由服务器执行为例进行说明。其中，该数据处理方法可以包括以下步骤S101-步骤S103：
步骤S101，获取目标单元格尺寸对应的单元格尺寸向量；
其中，单元格尺寸向量是由目标单元格尺寸所对应的参考像素图像生成的；参考像素图像包括目标单元格尺寸所指示的多个单元格，每个单元格中的像素值相同。可以理解的是，服务器可以将参考像素图像输入至目标网络模型中的单元格编码子网络，通过单元格编码子网络生成参考像素图像对应的单元格尺寸向量，可选的，服务器可以直接从向量数据库中获取目标单元格尺寸对应的单元格尺寸向量。其中，向量数据库中所存储的单元格尺寸向量是对单元格编码子网络进行训练时所生成的，服务器可以将目标网络模型收敛时单元格编码子网络所生成的向量存储至向量数据库。
应当理解，服务器通过单元格编码子网络生成参考像素图像对应的单元格尺寸向量的具体过程可以描述为：服务器可以对目标单元格尺寸对应的参考像素图像进行图像灰度化，得到灰度化像素图像，进而将灰度化像素图像输入至目标网络模型中的单元格编码子网络。其中，单元格编码子网络可以包括结构提取网络层、卷积网络层、池化网络层和多层感知网络层。进一步地，服务器可以通过结构提取网络层和卷积网络层对灰度化像素图像进行特征提取，得到参考结构特征。其中，结构提取网络层包括R个结构卷积子网络层，卷积网络层包括N个像素卷积子网络层；这里的R可以为正整数，这里的N可以为小于或等于R的正整数。进一步地，服务器可以通过池化网络层对参考结构特征进行池化操作，得到参考池化特征。进一步地，服务器可以通过多层感知网络层对参考池化特征进行全连接处理，得到目标单元格尺寸对应的单元格尺寸向量。
其中，池化网络层可以为全局平均池化(global average pooling，简称GAP)层，多层感知网络层可以为多层感知器(Multilayer Perceptron，简称MLP)。应当理解，本申请实施例不对池化网络层和多层感知网络层的具体类型进行限定。
应当理解，服务器通过结构提取网络层和卷积网络层对灰度化像素图像进行特征提取的具体过程可以描述为：服务器可以将灰度化像素图像输入至结构提取网络层，得到结构提取网络层中的R个结构卷积子网络层分别输出的结构卷积特征。进一步地，服务器可以从R个结构卷积特征中获取N个像素卷积子网络层分别对应的结构卷积特征。其中，N个结构卷积特征具有不同特征尺寸。进一步地，服务器可以将N个结构卷积特征和灰度化像素图像输入至卷积网络层，得到卷积网络层中的N个像素卷积子网络层分别输出的像素卷积特征。其中，N个像素卷积特征具有不同特征尺寸。进一步地，服务器可以对N个像素卷积特征中的目标像素卷积特征和N个结构卷积特征中的目标结构卷积特征进行特征融合，得到参考结构特征。其中，目标像素卷积特征为N个像素卷积特征中的最后一个像素卷积特征，目标结构卷积特征为N个结构卷积特征中的最后一个结构卷积特征。
可选的，结构提取网络层可以为VGG(Visual Geometry Group)19模型等，例如，VGG19模型可以包括16个卷积层(即结构提取网络层可以包括16个结构卷积子网络层)，此时R的取值为16。R个卷积层可以包括多类卷积层，如(卷积层1-1、卷积层1-2等)，(卷积层2-1、卷积层2-2等)，(卷积层3-1、…、卷积层3-4等)，(卷积层4-1、…、卷积层4-4等)和(卷积层5-1、…、卷积层5-4等)，每一类卷积层输出的结构卷积特征具有相同特征尺寸，不同类卷积层输出的结构卷积特征具有不同特征尺寸，每一类卷积层可以对应一个或多个卷积层。其中，服务器可以从R个结构卷积特征中获取具有不同特征尺寸的N个结构卷积特征，比如，服务器可以从R个结构卷积特征中获取4个结构卷积特征，此时N的取值为4。例如，服务器可以将卷积层1-1、卷积层2-1、卷积层3-1和卷积层4-1分别输出的结构卷积特征作为获取到的N个结构卷积特征。应当理解，本申请实施例不对结构提取网络层的具体类型进行限定，例如，结构提取网络层还可以为VGG16模型等。
其中，R个结构卷积子网络层包括结构卷积子网络层Ui，这里的i可以为小于或等于R的正整数，服务器生成结构卷积子网络层Ui输出的结构卷积特征的具体过程可以描述为：服务器可以将灰度化像素图像输入至结构提取网络层，若结构卷积子网络层Ui为R个结构卷积子网络层中的第一个结构卷积子网络层，则通过结构卷积子网络层Ui对灰度化像素图像进行卷积操作，得到结构卷积子网络层Ui输出的结构卷积特征。可选的，若结构卷积子网络层Ui不为R个结构卷积子网络层中的第一个结构卷积子网络层，则通过结构卷积子网络层Ui对结构卷积子网络层Ui-1输出的结构卷积特征进行卷积操作，得到结构卷积子网络层Ui输出的结构卷积特征。其中，结构卷积子网络层Ui-1为结构卷积子网络层Ui的上一个结构卷积子网络层。
其中，N个像素卷积子网络层包括像素卷积子网络层Mj，这里的j可以为小于或等于N的正整数，服务器生成像素卷积子网络层Mj输出的像素卷积特征的具体过程可以描述为：服务器可以将N个结构卷积特征和灰度化像素图像输入至卷积网络层，若像素卷积子网络层Mj为N个像素卷积子网络层中的第一个像素卷积子网络层，则通过像素卷积子网络层Mj对灰度化像素图像进行卷积操作，得到像素卷积子网络层Mj输出的像素卷积特征。可选的，若像素卷积子网络层Mj不为N个像素卷积子网络层中的第一个像素卷积子网络层，则从N个结构卷积特征中获取像素卷积子网络层Mj-1对应的结构卷积特征，对像素卷积子网络层Mj-1对应的结构卷积特征和像素卷积子网络层Mj-1输出的像素卷积特征进行特征融合，得到像素卷积子网络层Mj-1对应的融合卷积特征，通过像素卷积子网络层Mj对像素卷积子网络层Mj-1对应的融合卷积特征进行卷积操作，得到像素卷积子网络层Mj输出的像素卷积特征。其中，像素卷积子网络层Mj-1为像素卷积子网络层Mj的上一个像素卷积子网络层；像素卷积子网络层Mj-1对应的结构卷积特征和像素卷积子网络层Mj-1输出的像素卷积特征具有相同特征尺寸。
可以理解的是，特征融合的方式可以为特征拼接的方式，也可以为加权平均的方式，本申请实施例不对特征融合的具体方式进行限定，为便于理解，本申请实施例以特征融合为特征拼接的方式为例进行说明。此外，本申请实施例不对像素卷积特征和结构卷积特征的特征尺寸进行限定。
为便于理解，请参见图4，图4是本申请实施例提供的一种结构提取网络层和卷积网络层的结构示意图。为便于理解，本申请实施例以N等于4为例进行说明。如图4所示，可选的，结构提取网络层40a中可以包括4个结构卷积子网络层，卷积网络层40b中可以包括4个像素卷积子网络层，结构提取网络层40a还可以包括除图4所示的4个结构卷积子网络层之外的其他结构卷积子网络层(未在图上示出)。
其中，如图4所示，结构提取网络层40a中的4个结构卷积子网络层可以包括结构卷积子网络层43a、结构卷积子网络层43b、结构卷积子网络层43c和结构卷积子网络层43d，卷积网络层40b中的4个像素卷积子网络层可以包括像素卷积子网络层42a、像素卷积子网络层42b、像素卷积子网络层42c和像素卷积子网络层42d。
如图4所示，服务器可以将灰度化像素图像41a输入至结构提取网络层40a，得到N个结构卷积子网络层分别输出的结构卷积特征，服务器可以将N个结构卷积特征和灰度化像素图像41a输入至卷积网络层40b，得到N个像素卷积子网络层分别输出的像素卷积特征。其中，灰度化像素图像41a为单通道图像，灰度化像素图像41a的图像尺寸可以为256×256，服务器可以将灰度化像素图像41a重复三通道后(即256×256×3)输入至结构提取网络层40a和卷积网络层40b。
可以理解的是，如图4所示，服务器可以通过像素卷积子网络层42a对灰度化像素图像41a进行卷积操作，得到像素卷积子网络层42a输出的像素卷积特征；服务器可以对像素卷积子网络层42a对应的结构卷积特征(即结构卷积子网络层43a输出的结构卷积特征)和像素卷积子网络层42a输出的像素卷积特征进行特征融合，得到像素卷积子网络层42a对应的融合卷积特征，通过像素卷积子网络层42b对像素卷积子网络层42a对应的融合卷积特征进行卷积操作，得到像素卷积子网络层42b输出的像素卷积特征；像素卷积子网络层42c和像素卷积子网络层42d分别输出像素卷积特征的具体过程可以参见像素卷积子网络层42b输出像素卷积特征的描述，这里将不再进行赘述。
进一步地，如图4所示，服务器可以对N个结构卷积特征中的最后一个结构卷积特征(即结构卷积子网络层43d输出的结构卷积特征)和N个像素卷积特征中的最后一个像素卷积特征(即像素卷积子网络层42d输出的像素卷积特征)进行特征融合，得到参考结构特征41b。其中，参考结构特征41b还可以称之为像素卷积子网络层42d对应的融合卷积特征，参考结构特征41b封装了参考像素图像在不同尺度上的结构特征。
比如，结构卷积子网络层43a输出的结构卷积特征的特征尺寸可以为256×256×64，像素卷积子网络层42a输出的像素卷积特征的特征尺寸可以为256×256×64，像素卷积子网络层42a对应的融合卷积特征的特征尺寸可以为256×256×128维。又比如，结构卷积子网络层43d输出的结构卷积特征的特征尺寸可以为32×32×512，像素卷积子网络层42d输出的像素卷积特征的特征尺寸可以为32×32×512，像素卷积子网络层42d对应的融合卷积特征的特征尺寸可以为32×32×1024维。
可选的，结构提取网络层40a中可以包括1个结构卷积子网络层，卷积网络层40b中可以包括1个像素卷积子网络层，其中，这里以1个结构卷积子网络层为结构卷积子网络层43a，1个像素卷积子网络层为像素卷积子网络层42a为例进行说明。因此，服务器可以将灰度化像素图像41a输入至结构提取网络层40a，得到结构卷积子网络层43a输出的结构卷积特征，服务器可以将灰度化像素图像41a输入至卷积网络层40b，通过像素卷积子网络层42a对灰度化像素图像41a进行卷积操作，得到像素卷积子网络层42a输出的像素卷积特征。进一步地，服务器可以对结构卷积子网络层43a输出的结构卷积特征和像素卷积子网络层42a输出的像素卷积特征进行特征融合，得到参考结构特征41b。
可选的，结构提取网络层40a中可以包括图4所示的4个结构卷积子网络层，服务器可以直接将N个(即4个)结构卷积特征中的最后一个结构卷积特征(即结构卷积子网络层43d输出的结构卷积特征)作为参考结构特征41b。可选的，卷积网络层40b中可以包括图4所示的4个像素卷积子网络层，服务器可以将N个(即4个)像素卷积特征中的最后一个像素卷积特征(即像素卷积子网络层42d输出的像素卷积特征)作为参考结构特征41b。
应当理解，单元格编码子网络还可以称之为单元格大小编码器(Cell SizeEncoder，简称CSEnc)，单元格编码子网络的目标是从参考像素图像的灰度形式(即灰度化像素图像)中提取特征向量(即单元格尺寸向量，又称为单元格尺寸代码)，以便可以使用单元格尺寸向量作为步骤S102中的像素图转换子网络的辅助输入，以指示所需的单元格大小并指导像素化过程。
步骤S102，根据单元格尺寸向量对目标图像进行单元格像素化处理，得到目标图像对应的单元格图像；
具体的，服务器可以将单元格尺寸向量和目标图像输入至目标网络模型中的像素图转换子网络。其中，像素图转换子网络可以包括像素编码网络层、单元格尺寸嵌入网络层和像素解码网络层。进一步地，服务器可以通过像素编码网络层对目标图像进行像素编码处理，得到像素编码特征。进一步地，服务器可以通过单元格尺寸向量对单元格尺寸嵌入网络层中的卷积核权重进行调整，得到调整后的卷积核权重，基于调整后的卷积核权重和像素编码特征，生成单元格嵌入特征。进一步地，服务器可以通过像素解码网络层对单元格嵌入特征进行像素解码处理，得到目标图像对应的单元格图像。其中，单元格图像为具备像素风格的图像。
应当理解，在像素编码网络层中，服务器可以对目标图像进行卷积操作，得到编码卷积特征。进一步地，服务器可以对编码卷积特征进行残差处理，得到像素编码特征。
应当理解，在像素解码网络层中，服务器可以对单元格嵌入特征进行上采样处理，得到上采样嵌入特征。进一步地，服务器可以对上采样嵌入特征进行卷积操作，得到卷积嵌入特征。进一步地，服务器可以对上采样卷积特征进行上采样处理，得到上采样卷积特征。进一步地，服务器可以对上采样卷积特征进行卷积操作，得到目标图像对应的单元格图像。
其中，单元格尺寸嵌入网络层包括L个嵌入卷积子网络层，这里的L可以为正整数。应当理解，服务器可以将单元格尺寸向量划分为L个嵌入卷积子网络层分别对应的划分尺寸向量。其中，L个嵌入卷积子网络层包括嵌入卷积子网络层Hk，这里的k可以为小于或等于L的正整数。进一步地，服务器可以通过嵌入卷积子网络层Hk对应的划分尺寸向量，对嵌入卷积子网络层Hk中的卷积核权重进行调整，得到嵌入卷积子网络层Hk对应的调整后的卷积核权重。其中，嵌入卷积子网络层Hk中的卷积核的数量为至少一个，服务器可以通过嵌入卷积子网络层Hk对应的划分尺寸向量，对嵌入卷积子网络层Hk的至少一个卷积核中的卷积核权重进行调整。进一步地，若嵌入卷积子网络层Hk为L个嵌入卷积子网络层中的第一个嵌入卷积子网络层，则服务器可以在嵌入卷积子网络层Hk中，基于嵌入卷积子网络层Hk对应的调整后的卷积核权重，对像素编码特征进行卷积操作，得到嵌入卷积子网络层Hk输出的编码卷积特征。可选的，若嵌入卷积子网络层Hk不为L个嵌入卷积子网络层中的第一个嵌入卷积子网络层，则服务器可以在嵌入卷积子网络层Hk中，基于嵌入卷积子网络层Hk对应的调整后的卷积核权重，对嵌入卷积子网络层Hk-1输出的编码卷积特征进行卷积操作，得到嵌入卷积子网络层Hk输出的编码卷积特征。其中，嵌入卷积子网络层Hk-1为嵌入卷积子网络层Hk的上一个嵌入卷积子网络层。进一步地，服务器可以将L个嵌入卷积子网络层中的最后一个嵌入卷积子网络层(即嵌入卷积子网络层HL)所输出的编码卷积特征作为单元格嵌入特征。
可以理解的是，嵌入卷积子网络层Hk对应的划分尺寸向量可以为划分尺寸向量Mk，服务器可以通过划分尺寸向量Mk中的W个向量参数分别对嵌入卷积子网络Hk的卷积核的W个卷积核通道中的权重参数(即卷积核权重)进行调整，得到W个卷积核通道分别对应的调整后的权重参数，这里的W可以为正整数。应当理解，本申请实施例不对嵌入卷积子网络Hk中的卷积核的数量进行限定。比如，划分尺寸向量Mk的W个向量参数包括向量参数Og，嵌入卷积子网络Hk的卷积核的W个卷积核通道包括卷积核通道Fg，这里的g可以为小于或等于W的正整数；卷积核通道Fg为卷积核中的与向量参数Og相匹配的卷积核通道；卷积核通道Fg中的权重参数的数量为至少一个。此时，服务器可以通过向量参数Og对卷积核通道Fg中的权重参数进行调整，得到卷积核通道Fg中的调整后的权重参数。
其中，通过划分尺寸向量Mk对嵌入卷积子网络层Hk中的卷积核权重进行调整的过程可以参见公式(1)：
其中，x是输入通道数(即输入特征图通道的索引)，y是输出通道数(即输出特征图通道的索引)，z表示空间位置，l的取值即为上述k。其中，若嵌入卷积子网络层Hk为第一个嵌入卷积子网络层，则输入特征图可以理解为像素编码特征，输出特征图可以理解为嵌入卷积子网络层Hk输出的编码卷积特征；可选的，若嵌入卷积子网络层Hk不为第一个嵌入卷积子网络层，则输入特征图可以理解为嵌入卷积子网络层Hk-1输出的编码卷积特征，输出特征图可以理解为嵌入卷积子网络层Hk输出的编码卷积特征。换言之，x的取值即为上述g(即向量参数的索引、或卷积核通道的索引)，y可以表示卷积核的数量，z可以表示卷积核通道中的权重参数的具体位置。sl即为上述划分尺寸向量Mk，表示嵌入卷积子网络层Hl、第y个卷积核、卷积核通道Fx、空间位置z上的卷积核权重，/>表示嵌入卷积子网络层Hl、第y个卷积核、卷积核通道Fx、空间位置z上的调整后的卷积核权重。ε是一个小常数，以避免公式(1)被零除(即避免公式(1)的分母等于0)，例如，ε＝10-15。比如，卷积核的大小可以为3×3×256(即256(即x)个卷积核通道中的卷积核权重的数量为3×3个，z可以表示3×3个卷积核权重中的某个卷积核权重)，卷积核的数量可以为256(即y)个，即256个3×3×256的卷积核(即3×3×256×256)；单元格尺寸向量的维度可以为2048维，若L等于8，则划分尺寸向量的维度可以为256维(即W等于256)，即sl中的l＝1，…，8。
为便于理解，请参见图5，图5是本申请实施例提供的一种像素图转换子网络的结构示意图。如图5所示的像素图转换子网络为编码器-解码器网络，可选的，像素图转换子网络可以包括像素编码网络层50a、单元格尺寸嵌入网络层50b和像素解码网络层50c，单元格尺寸嵌入网络层50b可以包括嵌入卷积子网络层52a、…、嵌入卷积子网络层52b中的一个或多个，像素编码网络层50a可以包括候选卷积子网络层51a、候选卷积子网络层51b、候选卷积子网络层51c、残差子网络层51d、…、残差子网络层51f中的一个或多个，像素解码网络层50c可以包括插值子网络层53a、候选卷积子网络层53b、插值子网络层53c、候选卷积子网络层53d和候选卷积子网络层53e中的一个或多个。
如图5所示，可选的，服务器可以通过候选卷积子网络层51a、候选卷积子网络层51b和候选卷积子网络层51c对目标图像进行卷积操作，得到编码卷积特征。进一步地，可选的，服务器可以通过残差子网络层51d、…、残差子网络层51f对编码卷积特征进行残差处理，得到像素编码特征。其中，残差子网络层可以为Res-Block(即残差块)结构，本申请实施例不对残差子网络层的数量进行限定，例如，残差子网络的数量可以为4个。其中，服务器可以将候选卷积子网络层51a的输出作为候选卷积子网络层51b的输入，将候选卷积子网络层51b的输出作为候选卷积子网络层51c的输入。
进一步地，如图5所示，可选的，服务器可以使用单元格尺寸向量50d作为辅助指导，通过单元格尺寸嵌入网络层50b将单元格尺寸向量50d与像素编码网络层50a输出的像素编码特征合并。此时，服务器可以将单元格尺寸向量50d划分为L个嵌入卷积子网络层(即中间卷积层)分别对应的划分尺寸向量，通过单元格尺寸向量50d划分得到的划分尺寸向量调制卷积层的输入，得到单元格尺寸嵌入网络层50b输出的单元格嵌入特征。
进一步地，如图5所示，可选的，服务器可以通过插值子网络层53a对单元格嵌入特征进行上采样处理，得到上采样嵌入特征，进而通过候选卷积子网络层53b对上采样嵌入特征进行卷积操作，得到卷积嵌入特征。进一步地，可选的，服务器可以通过插值子网络层53c对上采样卷积特征进行上采样处理，得到上采样卷积特征，进而通过候选卷积子网络层53d和候选卷积子网络层53e对上采样卷积特征进行卷积操作，得到目标图像对应的单元格图像。其中，插值子网络层可以为最近邻插值。其中，服务器可以将候选卷积子网络层53d的输出作为候选卷积子网络层53e的输入。
比如，目标图像的图像尺寸可以为W×H×3，候选卷积子网络层51a的输出的特征尺寸可以为W×H×64，候选卷积子网络层51b的输出的特征尺寸可以(W/2)×(H/2)×128，候选卷积子网络层51c、残差子网络层51d、…、残差子网络层51f的输出的特征尺寸可以为(W/4)×(H/4)×256；嵌入卷积子网络层52a、…、嵌入卷积子网络层52b的输出的特征尺寸可以为(W/4)×(H/4)×256；插值子网络层53a的输出的特征尺寸可以为(W/2)×(H/2)×256，候选卷积子网络层53b的输出的特征尺寸可以(W/2)×(H/2)×128，插值子网络层53c的输出的特征尺寸可以为W×H×128，候选卷积子网络层53d的输出的特征尺寸可以为W×H×64，候选卷积子网络层53e的输出的特征尺寸可以为W×H×3。
应当理解，像素图转换子网络还可以称之为图像到像素图网络(Image-to-Pixel-Art Network，简称I2PNet)或者代码调制图像转换网络模块，像素图转换子网络的中间卷积层(即嵌入卷积子网络层)中的卷积核权重，可以引导从非像素图像(即目标图像)到具有指定单元格样式的中间像素化结果(即单元格图像)的转换，单元格图像为具有规则单元格外观和所需单元格大小的像素图像。
可选的，本申请实施例还可以为每个单元格大小训练一个单独的像素图转换子网络，不同的单元格大小对应不同的像素图转换子网络，即服务器可以根据目标单元格尺寸将目标图像和单元格尺寸向量输入至目标单元格尺寸对应的像素图转换子网络。在所有单元格尺寸均对应一个像素图转换子网络时具有一些好处：首先，尽管各种单元格大小的像素图像在视觉上有所不同，但底层的低级特征(边缘、角落、纹理等)是相似的，使用跨不同单元格大小的单个网络可以促进对这些共同特征的学习并获得更好的结果；其次，单个网络可以节省训练时间，因为不需要重新学习不同单元格大小的共同特征；最后，在实践中可以更容易地部署单个网络。
步骤S103，对单元格图像进行单元格像素修复处理，得到目标图像对应的像素化图像；像素化图像是指具有目标单元格尺寸所指示的像素化边缘连续效果的图像。
具体的，服务器可以将单元格图像输入至目标网络模型中的单元格像素修复子网络。其中，单元格像素修复子网络可以包括修复编码网络层和修复解码网络层。进一步地，服务器可以通过修复编码网络层对单元格图像进行单元格编码处理，得到单元格编码特征。进一步地，服务器可以通过修复解码网络层对单元格编码特征进行单元格解码处理，得到目标图像对应的像素化图像。
其中，在修复编码网络层中，服务器可以对单元格图像进行卷积操作，得到单元格卷积特征。进一步地，服务器可以对单元格卷积特征进行残差处理，得到单元格编码特征。
其中，在修复解码网络层中，服务器可以对所述单元格编码特征进行残差处理，得到单元格残差特征。进一步地，服务器可以对单元格残差特征进行上采样处理，得到第一单元格上采样特征。进一步地，服务器可以对第一单元格上采样特征进行卷积操作，得到上采样单元格特征。进一步地，服务器可以对上采样单元格特征进行上采样处理，得到第二单元格上采样特征。进一步地，服务器可以对第二单元格上采样特征进行卷积操作，得到目标图像对应的像素化图像。
为便于理解，请参见图6，图6是本申请实施例提供的一种单元格像素修复子网络的结构示意图。如图6所示的单元格像素修复子网络为编码器-解码器网络，可选的，单元格像素修复子网络可以包括修复编码网络层60a和修复解码网络层60b，修复编码网络层60a可以包括候选卷积子网络层61a、候选卷积子网络层61b、候选卷积子网络层61c、…、残差子网络层61d中的一个或多个，修复解码网络层60b可以包括残差子网络层62a、插值子网络层62b、候选卷积子网络层62c、插值子网络层62d、候选卷积子网络层62e、…、候选卷积子网络层62f中的一个或多个。其中，残差子网络层可以为Res-Block(即残差块)结构，本申请实施例不对残差子网络层的数量进行限定，例如，残差子网络的数量可以为6个，修复编码网络层60a中可以包括3个残差子网络，修复解码网络层60b中可以包括3个残差子网络。
如图6所示，可选的，服务器可以通过候选卷积子网络层61a、候选卷积子网络层61b和候选卷积子网络层61c对单元格图像进行卷积操作，得到单元格卷积特征，进而通过残差子网络层61d对单元格卷积特征进行残差处理，得到单元格编码特征。其中，服务器可以将候选卷积子网络层61a的输出作为候选卷积子网络层61b的输入，将候选卷积子网络层61b的输出作为候选卷积子网络层61c的输入。
进一步地，如图6所示，可选的，服务器可以通过残差子网络层62a对所述单元格编码特征进行残差处理，得到单元格残差特征，进而通过插值子网络层62b对单元格残差特征进行上采样处理，得到第一单元格上采样特征。进一步地，可选的，服务器可以通过候选卷积子网络层62c对第一单元格上采样特征进行卷积操作，得到上采样单元格特征，进而通过插值子网络层62d对上采样单元格特征进行上采样处理，得到第二单元格上采样特征。进一步地，可选的，服务器可以通过候选卷积子网络层62e和候选卷积子网络层62f对第二单元格上采样特征进行卷积操作，得到目标图像对应的像素化图像。其中，服务器可以将候选卷积子网络层62e的输出作为候选卷积子网络层62f的输入。
应当理解，单元格像素修复子网络还可以称之为锯齿网络(Alias Network，简称AliasNet)，由于中间像素化结果(即单元格图像)可能受到抗锯齿效果的影响，本申请实施例可以通过单元格像素修复子网络恢复具有所需锯齿外观的最终像素图像(即像素化图像)。
此外，目标网络模型还可以包括单元格像素还原子网络，单元格像素还原子网络还可以称之为像素图到图像网络(Pixel-Art-to-Image Network，简称P2INet)，单元格像素还原子网络可以将像素图像转换回非像素图像。其中，在测试期间，单元格像素还原子网络可以用于对像素图像(即像素化图像)进行去像素化，得到非像素图像(即去像素化图像)。应当理解，本申请实施例不对单元格像素还原子网络的模型类型进行限定，单元格像素还原子网络可以与单元格像素修复子网络的结构相同，可选的，单元格像素还原子网络可以与单元格像素修复子网络的结构不同，为便于理解，本申请实施例以单元格像素还原子网络与单元格像素修复子网络的结构相同为例进行说明，因此这里将不对单元格像素还原子网络的模型进行描述，针对单元格像素还原子网络的模型细节，可以参见上述图6所对应实施例中针对单元格像素修复子网络的模型细节的描述，这里将不再进行赘述。
为便于理解，请参见图7，图7是本申请实施例提供的一种网络模型的结构示意图。如图7所示的网络模型可以为初始网络模型和目标网络模型的结构示意图，初始网络模型和目标网络模型可以统称为像素风格转换网络模型，初始网络模型和目标网络模型属于像素风格转换网络模型在不同时刻的名称，目标网络模型是对初始网络模型进行训练所得到的，在训练阶段，像素风格转换网络模型可以称之为初始网络模型，在预测阶段，像素风格转换网络模型可以称之为目标网络模型。其中，若图7所示的像素风格转换网络模型为初始网络模型，则单元格像素修复子网络和结构提取网络层为预训练的结构。
为便于理解，本申请实施例可以将包含初始单元格像素修复子网络和初始结构提取网络层的像素风格转换网络模型称之为原始网络模型，初始网络模型是对原始网络模型进行训练所得到的，单元格像素修复子网络是对初始单元格像素修复子网络进行训练所得到的，结构提取网络层是对初始结构提取网络层进行训练所得到的。因此，换言之，原始网络模型、初始网络模型和目标网络模型可以统称为像素风格转换网络模型，原始网络模型、初始网络模型和目标网络模型属于像素风格转换网络模型在不同时刻的名称，在训练阶段，像素风格转换网络模型可以称之为原始网络模型和初始网络模型，在预测阶段，像素风格转换网络模型可以称之为目标网络模型。
如图7所示，目标网络模型可以包括单元格编码子网络72a、像素图转换子网络72b、单元格像素修复子网络72c和单元格像素还原子网络72d。其中，单元格像素修复子网络72c和单元格编码子网络72a中的结构提取网络层73a为预训练的结构。可以理解的是，服务器可以包括但不限于上述子网络，还可以包括其他子网络，这里将不进行限定，此外，单元格编码子网络72a、像素图转换子网络72b、单元格像素修复子网络72c和单元格像素还原子网络72d的模型结构不限定于图7所示的结构。
如图7所示，服务器可以将参考像素图像70a对应的灰度化像素图像70b输入至单元格编码子网络72a，通过单元格编码子网络72a输出目标单元格尺寸对应的单元格尺寸向量74a，这里的目标单元格尺寸可以为灰度化像素图像70b或参考像素图像70a的单元格尺寸。
进一步地，如图7所示，服务器可以将单元格尺寸向量74a和目标图像71a输入至像素图转换子网络72b，在像素图转换子网络72b中，根据单元格尺寸向量74a对目标图像71a进行单元格像素化处理，得到目标图像71a对应的单元格图像71b。进一步地，服务器可以将单元格图像71b输入至单元格像素修复子网络72c，通过单元格像素修复子网络72c对单元格图像71b进行单元格像素修复处理，得到目标图像71a对应的像素化图像71c。
如图7所示，服务器可以将像素化图像71c输入至单元格像素还原子网络72d，通过单元格像素还原子网络72d对像素化图像71c进行单元格去像素化处理，得到像素化图像71c对应的去像素化图像(未在图上示出)，像素化图像71c对应的去像素化图像与目标图像71a相似。
由此可见，本申请实施例提出了一种数据驱动的像素化方法，该方法可以使用参考像素图像对应的单元格尺寸向量作为辅助输入，通过单元格尺寸向量控制生成具有目标单元格尺寸的像素图像(即目标图像对应的单元格图像)，从而实现对单元格大小的控制，提高像素化处理的灵活性。其中，这里的目标图像和参考像素图像为未配对数据。此外，由于单元格图像仍然受到外观模糊和颜色偏移的抗锯齿效果的影响，通过对单元格图像进行单元格像素修复处理，可以在确保单元格尺寸不变的同时，进一步去除抗锯齿效果，并生成清晰的锯齿单元格效果的最终结果(即像素化图像)，从而提高像素化图像的准确度。
进一步地，请参见图8，图8是本申请实施例提供的一种数据处理方法的流程示意图。该方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备共同执行，该服务器可以为上述图2所对应实施例中的服务器20a，该终端设备可以为上述图2所对应实施例的终端设备20b。为便于理解，本申请实施例以该方法由服务器执行为例进行说明。其中，该数据处理方法可以包括以下步骤S201-步骤S203：
步骤S201，获取样本像素图像；
可以理解的是，本申请实施例可以对初始网络模型进行训练，得到目标网络模型，初始网络模型的训练需要非像素图像和像素图像，非像素图像可以构成非像素图数据集，像素图像可以构成基础像素图数据集。其中，基础像素图数据集可以包括样本像素图像，非像素图数据集可以包括下述图15所对应实施例中的样本图像。比如，非像素图数据集可以包括4235张非像素图像，其中790张图像来自CartoonSet数据集，277张图像来自AbstractScene数据集，其余来自互联网，这些图像均被缩放到512×512的分辨率(例如，这里可以通过双三次插值对非像素图像进行缩放)。比如，基本像素图数据集包含“一个单元一个像素”形式的4033张像素图像，4033张图像均来自互联网，其中一些单元格大小大于1×的图像可以通过最近邻下采样缩小到“一个单元一个像素”的形式，使得基本像素图数据集中的像素图像的分辨率在1847×1701到11×9之间。
应当理解，本申请实施例不对非像素图数据集中的非像素图像的数量进行限定，本申请实施例不对基础像素图数据集中的像素图像的数量进行限定。此外，非像素图数据集还可以包括除上述4235张非像素图像之外的其他非像素图像，基本像素图数据集还可以包括除上述4033张像素图像之外的其他像素图像，非像素图数据集也可以包括上述4235张非像素图像中的部分非像素图像，基本像素图数据集也可以包括上述4033张像素图像中的部分像素图像，这里将不进行限定。
为便于理解，请参见图9和图10，图9是本申请实施例提供的一种像素图像的场景示意图，图10是本申请实施例提供的一种非像素图像的场景示意图。如图9所示为本申请实施例所提供的基本像素图数据集中的6个像素图像，如图10所示为本申请实施例所提供的非像素图数据集中的6个非像素图像。
其中，6个像素图像具体可以包括图像90a、图像90b、图像90c、图像90d、图像90e和图像90f，6个非像素图像具体可以包括图像100a、图像100b、图像100c、图像100d、图像100e和图像100f。如图9所示，图像90a、图像90b、图像90c、图像90d、图像90e和图像90f具有不同的图像分辨率；如图10所示，图像100a、图像100b、图像100c、图像100d、图像100e和图像100f具有相同的图像分辨率。此外，如图9所示的6个像素图像和如图10所示的6个非像素图像均是由像素所构成的图像。
步骤S202，基于样本像素图像生成第一样本图像；
具体的，服务器可以从样本像素图像中获取候选像素图像，对候选像素图像进行上采样处理，得到样本上采样参考图像。进一步地，服务器可以对样本上采样参考图像进行下采样处理(例如，这里可以通过Lanczos过滤器(即Lanczos滤波器)对样本上采样参考图像进行下采样处理，Lanczos过滤器可以用于引入抗锯齿效果(即减小锯齿))，得到Q个样本下采样参考图像。其中，Q个样本下采样参考图像具有不同图像尺寸；Q个样本下采样参考图像是指具有像素化边缘模糊效果的图像。进一步地，服务器可以对每个样本下采样参考图像进行上采样处理(例如，这里可以通过最近邻插值对每个样本下采样参考图像进行上采样处理)，得到Q个第一样本图像。其中，一个样本下采样参考图像对应一个第一样本图像，因此，第一样本图像的数量为Q个，这里的Q可以为正整数。
其中，候选像素图像可以为样本像素图像中分辨率不高于样本分辨率(例如，样本分辨率可以为128×128)的像素图，样本上采样参考图像和样本上采样参考图像对应的Q个第一样本图像可以构成锯齿像素图数据集，锯齿像素图数据集中的图像可以用于训练上述图3所对应实施例的步骤S103中的单元格像素修复子网络，用以消除抗锯齿效果。
因此，本申请实施例可以在基础像素图数据集中合成图像的抗锯齿版本，得到具有抗锯齿效果和不具有抗锯齿效果的固定分辨率的像素图，具有抗锯齿效果的像素图即为Q个第一样本图像，不具有抗锯齿效果的像素图即为样本上采样参考图像。比如，样本上采样参考图像的图像分辨率可以为256×256，Q个样本下采样参考图像的图像分辨率可以为80×80、64×64、48×48、32×32和16×16，第一样本图像的图像分辨率可以为256×256。此时Q等于5，本申请实施例不对Q的具体取值进行限定。此时，锯齿像素图数据集可以包括一组分辨率为256×256的像素图像(即样本上采样参考图像)、以及一系列具有相同分辨率和内容但抗锯齿程度不同的图像(即Q个第一样本图像)，若候选像素图像的数量为2500张，则锯齿像素图数据集可以包括2500张直接从基础像素图数据集派生的像素图像(即样本上采样参考图像)、以及12500张作为抗锯齿版本的图像(即Q个第一样本图像)。
为便于理解，请参见图11，图11是本申请实施例提供的一种第一样本图像的场景示意图。如图11所示的图像110a可以为不具有抗锯齿效果的样本上采样参考图像，图像110b、图像110c、图像110d、图像110e和图像110f可以为具有不同抗锯齿效果的第一样本图像。其中，图像110a可以为矩形框110a中的任意一个图像，即图像110a可以为图11所示的花或人，图像110b、图像110c、图像110d、图像110e和图像110f同理。
如图11所示，图像110b、图像110c、图像110d、图像110e和图像110f的抗锯齿程度依次递增，图像110b的抗锯齿程度低于图像110c的抗锯齿程度、…、图像110e的抗锯齿程度低于图像110f的抗锯齿程度。其中，抗锯齿(anti-aliasing，简称AA)还可以称之为抗锯齿或边缘柔化、消除混叠、抗图像折叠有损等，抗锯齿是一种消除显示器输出的画面中图物边缘出现凹凸锯齿的技术，那些凹凸的锯齿通常因为高分辨率的信号以低分辨率表示或无法准确运算出3D(3-dimensional)图形坐标定位时所导致的图形混叠(aliasing)而产生的。
其中，初始网络模型包括单元格像素修复子网络，服务器对初始单元格像素修复子网络进行训练，得到单元格像素修复子网络的具体过程可以描述为：服务器可以将第一样本图像输入至初始单元格像素修复子网络，通过初始单元格像素修复子网络对第一样本图像进行单元格像素修复处理，得到预测参考像素图像。其中，第一样本图像是指具有像素化边缘模糊效果的图像。进一步地，服务器可以根据第一样本图像对应的样本上采样参考图像和预测参考像素图像，确定初始单元格像素修复子网络的第一损失值。进一步地，服务器可以将样本上采样参考图像和预测参考像素图像分别输入至初始边缘判别器，通过初始边缘判别器输出样本上采样参考图像对应的样本判别概率、以及预测参考像素图像对应的预测判别概率。进一步地，服务器可以根据样本判别概率、预测判别概率和对抗损失函数，生成初始单元格像素修复子网络和初始边缘判别器的第二损失值。进一步地，服务器可以根据第一损失值和第二损失值，确定初始单元格像素修复子网络和初始边缘判别器的第一模型损失。进一步地，服务器可以根据第一模型损失对初始单元格像素修复子网络和初始边缘判别器中的模型参数进行调整，得到单元格像素修复子网络和边缘判别器。
可以理解的是，本申请实施例可以使用锯齿像素图数据集对初始单元格像素修复子网络进行预训练，初始单元格像素修复子网络的输入为具有不同抗锯齿程度的第一样本图像，初始单元格像素修复子网络的输出目标为样本上采样参考图像，初始单元格像素修复子网络的实际输出为预测参考像素图像。
其中，可以理解的是，服务器可以根据第一样本图像对应的样本上采样参考图像和预测参考像素图像，确定初始单元格像素修复子网络的感知损失和L1损失(即最小绝对值偏差、绝对值损失函数)，这里的感知损失和L1损失可以统称为第一损失值。可选的，第一损失值还可以包括除感知损失和L1损失之外的其他损失值，本申请对此不进行限定，例如，第一损失值还可以包括L2损失(即最小平方误差)。进一步地，服务器可以对感知损失、L1损失和第二损失值进行加权求和，得到初始单元格像素修复子网络的第一模型损失。可选的，服务器也可以根据感知损失、L1损失或第二损失值中的至少一个，生成初始单元格像素修复子网络的第一模型损失，例如，服务器可以将感知损失作为初始单元格像素修复子网络的第一模型损失。
应当理解，本申请实施例不对初始边缘判别器的模型类型进行限定，此外，服务器根据样本判别概率、预测判别概率和对抗损失函数，生成初始单元格像素修复子网络和初始边缘判别器的第二损失值的具体过程，可以参见下述图15所对应实施例中根据第一像素判别概率、第二像素判别概率、第三像素判别概率、第四像素判别概率和对抗损失函数，生成对抗损失值的描述，这里将不再进行赘述。
为便于理解，请参见图12，图12是本申请实施例提供的一种训练单元格像素修复子网络的场景示意图。如图12所示的图像120a可以为锯齿像素图数据集中的第一样本图像，图像120b可以为锯齿像素图数据集中的样本上采样参考图像；如图12所示的初始修复编码网络层121a可以与上述图6所对应实施例中的修复编码网络层60a具有相同模型结构，初始修复解码网络层121b可以与上述图6所对应实施例中的修复解码网络层60b具有相同模型结构。
其中，初始修复编码网络层121a和初始修复解码网络层121b可以构成初始单元格像素修复子网络，修复编码网络层60a和修复解码网络层60b可以构成单元格像素修复子网络，初始单元格像素修复子网络和单元格像素修复子网络为同一模型在不同时刻的名称，在训练阶段，该模型可以称之为初始单元格像素修复子网络，在预测阶段，该模型可以称之为单元格像素修复子网络。
应当理解，服务器通过初始修复编码网络层121a生成初始单元格编码特征的具体过程，可以参见上述通过修复编码网络层生成单元格编码特征的描述，这里将不再进行赘述；服务器通过初始修复解码网络层121b生成预测参考像素图像的具体过程，可以参见上述通过修复解码网络层生成像素化图像的描述，这里将不再进行赘述。
步骤S203，基于样本像素图像生成第二样本图像。
具体的，服务器可以确定样本像素图像的样本尺寸(即样本像素图像的图像尺寸)，基于目标尺寸对样本像素图像进行尺寸调整，得到样本像素图像对应的辅助像素图像。进一步地，服务器可以对辅助像素图像进行上采样处理(例如，这里可以通过最近邻插值对辅助像素图像进行上采样处理)，得到辅助像素图像对应的第二样本图像。其中，第二样本图像对应的单元格尺寸是根据上采样处理所确定的。可选的，可以获取该上采样处理所对应的采样尺寸(即缩放因子)，将该采样尺寸确定为第二样本图像对应的单元格尺寸，例如，该采样尺寸为2×，则该第二样本图像对应的单元格尺寸可以认为是2×2。
可以理解的是，若样本尺寸大于目标尺寸，则服务器可以对样本像素图像进行裁切(例如，将非恒定颜色区域裁剪)，得到裁切样本图像；可选的，若样本尺寸小于目标尺寸，则服务器可以对样本像素图像进行填充(例如，使用背景颜色的像素填充)，得到填充样本图像；可选的，若样本尺寸等于目标尺寸，则服务器可以无需对样本像素图像进行处理。进一步地，服务器将样本像素图像、裁切样本图像或者填充样本图像作为样本像素图像对应的辅助像素图像。其中，通过对样本像素图像进行填充或裁切，可以在后续上采样处理时明确第二样本图像的单元格大小，实现整数缩放比例、以及水平和垂直方向上的相同缩放比例。
其中，目标尺寸(即目标分辨率)的数量为至少一个，本申请实施例不对目标尺寸的数量和目标尺寸的大小(即分辨率)进行限定，例如，目标尺寸可以为128×128、86×86、64×64、52×52、43×43、37×37和32×32，相应的，辅助像素图像的图像分辨率可以为128×128、86×86、64×64、52×52、43×43、37×37和32×32。进一步地，通过最近邻插值可以将辅助像素图像放大2×、3×、4×、5×、6×、7×和8×，并裁剪到图像分辨率为256×256的第二样本图像。比如，将图像分辨率为86×86的辅助像素图像放大3倍后可以得到258×258的图像，对258×258的图像进行裁剪可以得到图像分辨率为256×256的第二样本图像。其中，由于样本像素图像都是“一个单元一个像素”的形式，因此缩放和裁剪操作之后会导致第二样本图像的单元格大小等于缩放因子(即2×、3×、4×、5×、6×、7×和8×)。
其中，第二样本图像可以构成多单元格大小的像素图数据集(即多单元格大小数据集)，多单元格大小的像素图数据集中的图像可以用于训练上述图3所对应实施例的步骤S101中的结构提取网络层，用以学习各种单元格大小的特征。因此，本申请实施例可以在基础像素图数据集中合成图像的多单元格大小版本，得到具有多单元格大小的像素图，具有多单元格大小的像素图即为第二样本图像。样本像素图像对应的辅助像素图像的数量为至少一个，第二样本图像的数量和辅助像素图像的数量相同，一个辅助像素图像可以用于生成一个第二样本图像，至少一个第二样本图像具有相同的图像分辨率(例如，256×256)，本申请实施例不对第二样本图像的图像分辨率进行限定。此时，多单元格大小的像素图数据集可以包括具有相同分辨率和不同单元格大小的像素图像(即第二样本图像)，即本申请实施例获得了一个固定的256×256分辨率、从2×到8×的不同单元格大小的多单元格数据集，此外，多单元格大小的像素图数据集可以包括7000张图像，2×到8×的每个单元格大小有1000张图像。
为便于理解，请参见图13，图13是本申请实施例提供的一种第二样本图像的场景示意图。如图13所示的图像130a、图像130b、图像130c、图像130d、图像130e、图像130f和图像130g可以为具有不同单元格大小的第二样本图像。其中，图像130a的单元格大小为2×，图像130b的单元格大小为3×，图像130c的单元格大小为4×，图像130d的单元格大小为5×，图像130e的单元格大小为6×，图像130f的单元格大小为7×，图像130g的单元格大小为8×。
如图13所示，图像130a、图像130b、图像130c、图像130d、图像130e、图像130f和图像130g的清晰程度依次递减，图像130a的清晰程度高于图像130b的清晰程度、…、图像130f的清晰程度高于图像130g的清晰程度。
其中，初始网络模型包括结构提取网络层，服务器对初始结构提取网络层进行训练，得到结构提取网络层的具体过程可以描述为：服务器可以对第二样本图像进行图像灰度化，得到样本灰度化图像。其中，第二样本图像为具备像素风格的图像。进一步地，服务器可以将样本灰度化图像输入至初始结构提取网络层，通过初始结构提取网络层对样本灰度化图像进行特征提取，得到辅助结构特征。进一步地，服务器可以将辅助结构特征输入至初始结构提取网络层中的分类器(例如，这里的分类器可以为softmax函数，即归一化指数函数)，通过分类器输出辅助结构特征对应的辅助结构向量。进一步地，服务器可以获取与第二样本图像对应的单元格尺寸相关联的标准结构向量，根据辅助结构向量和标准结构向量确定初始结构提取网络层的第二模型损失。进一步地，服务器可以根据第二模型损失对初始结构提取网络层中的模型参数进行调整，得到结构提取网络层。
可以理解的是，本申请实施例可以使用多单元格大小的像素图数据集对初始结构提取网络层进行预训练，通过交叉熵损失函数确定初始结构提取网络层的第二模型损失。其中，辅助结构向量中的向量参数可以表示初始结构提取网络层所预测的第二样本图像的单元格大小，标准结构向量中的向量参数可以表示第二样本图像的实际单元格大小。比如，若单元格大小的范围为2×到8×、第二样本图像的实际单元格大小为2×，则标准结构向量可以表示为(1,0,0,0,0,0,0)，辅助结构向量中的向量参数可以分别表示第二样本图像的单元格大小为2×到8×的概率、且辅助结构向量中的向量参数之和等于1。
可以理解的是，初始结构提取网络层可以包括R个初始结构卷积子网络层，此外，初始结构提取网络层还可以包括初始全连接子网络层，服务器可以通过R个初始结构卷积子网络层，生成R个初始结构卷积子网络层分别输出的初始结构卷积特征，进而将R个初始结构卷积子网络层中的最后一个初始结构卷积子网络层所输出的初始结构卷积特征输入至初始全连接子网络层，通过初始全连接子网络层生成辅助结构特征。应当理解，初始全连接子网络层的数量可以为至少一个，本申请实施例不对初始结构提取网络层中的初始全连接子网络层的数量进行限定；服务器通过R个初始结构卷积子网络层分别输出初始结构卷积特征的具体过程，可以参见上述图3所对应实施例中通过R个结构卷积子网络层分别输出结构卷积特征的描述，这里将不再进行赘述。
为便于理解，本申请实施例以结构提取网络层为VGG19模型为例进行说明，VGG19模型使用ImageNet数据集进行预训练，预训练的VGG19模型即为初始结构提取网络层。由于ImageNet数据集由非像素图像组成，所以通过ImageNet数据集预训练所得到的VGG19模型在提取像素图像特征方面效率较低。可以理解的是，在初始结构提取网络层和结构提取网络层(即结构提取器)上应用类激活热力图的对比可以参见图14，图14是本申请实施例提供的一种结构提取网络层比较的场景示意图。
如图14所示的图像140a可以为初始结构提取网络层的输入，图像141a可以为结构提取网络层的输入，图像140b、图像140c、图像140d、图像140e和图像140f可以为通过XGrad-CAM为初始结构提取网络层的中间层生成的类激活图，图像141b、图像141c、图像141d、图像141e和图像141f可以为通过XGrad-CAM(Axiom-based Grad-CAM)为结构提取网络层的中间层生成的类激活图。其中，图像140b和图像141b可以为卷积层1-1的输出，图像140c和图像141c可以为卷积层2-1的输出，图像140d和图像141d可以为卷积层3-1的输出，图像140e和图像141e可以为卷积层4-1的输出，图像140f和图像141f可以为卷积层5-4的输出。
如图14所示，图像140b、图像140c、图像140d、图像140e和图像140f颜色发散，而图像141b、图像141c、图像141d、图像141e和图像141f专注于局部到全局的颜色，因此，结构提取网络层可以专注于每一层的单元格结构，从而产生有效的单元格特征表示。
由此可见，本申请实施例可以获取非像素图像构成的非像素图数据集和像素图像构成的基础像素图数据集，进而将基础像素图数据集扩展为两个数据集，一个为具有不同单元格大小的像素图像所构成的数据集(即多单元格大小的像素图数据集)，另一个为具有不同程度的抗锯齿效果的像素图像所构成的数据集(即锯齿像素图数据集)。其中，两个数据集可以用于训练初始网络模型中的不同模块，以使目标网络模型生成的像素图像的单元格可控和锯齿感知(即自动生成具有指定单元格尺寸和尖锐的锯齿边缘的像素化图像，这里的像素化图像保留有图像重要的细节)。
进一步地，请参见图15，图15是本申请实施例提供的一种数据处理方法的流程示意图。该方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备共同执行，该服务器可以为上述图2所对应实施例中的服务器20a，该终端设备可以为上述图2所对应实施例的终端设备20b。为便于理解，本申请实施例以该方法由服务器执行为例进行说明。其中，该数据处理方法可以包括以下步骤S301-步骤S305：
步骤S301，在初始网络模型中，获取样本单元格尺寸对应的样本单元格尺寸向量；
其中，样本单元格尺寸向量是由样本单元格尺寸所对应的样本参考像素图像生成的；样本参考像素图像包括样本单元格尺寸所指示的多个样本单元格，每个样本单元格中的像素值相同。可以理解的是，服务器可以将样本参考像素图像输入至初始网络模型中的初始单元格编码子网络，通过初始单元格编码子网络生成样本参考像素图像对应的样本单元格尺寸向量。
其中，服务器通过初始网络模型中的初始单元格编码子网络获取样本单元格尺寸对应的样本单元格尺寸向量的具体过程，可以参见上述图3所对应实施例中通过目标网络模型中的单元格编码子网络获取目标单元格尺寸对应的单元格尺寸向量的描述，这里将不再进行赘述。其中，初始单元格编码子网络和单元格编码子网络属于同一结构在不同网络模型中的不同称呼。
步骤S302，根据样本单元格尺寸向量对样本图像进行单元格像素化处理，得到样本图像对应的样本单元格图像；
其中，样本单元格图像为具备像素风格的图像。可以理解的是，服务器可以将样本单元格尺寸向量和样本图像输入至初始网络模型中的初始像素图转换子网络，通过初始像素图转换子网络生成样本图像对应的样本单元格图像。
其中，服务器通过初始网络模型中的初始像素图转换子网络获取样本图像对应的样本单元格图像的具体过程，可以参见上述图3所对应实施例中通过目标网络模型中的像素图转换子网络获取目标图像对应的单元格图像的描述，这里将不再进行赘述。其中，初始像素图转换子网络和像素图转换子网络属于同一结构在不同网络模型中的不同称呼。
步骤S303，对样本单元格图像进行单元格像素修复处理，得到样本图像对应的样本像素化图像；
其中，样本像素化图像是指具有样本单元格尺寸所指示的像素化边缘连续效果的图像。可以理解的是，服务器可以将样本单元格图像输入至初始网络模型中的单元格像素修复子网络，通过单元格像素修复子网络生成样本图像对应的样本像素化图像。
其中，服务器通过初始网络模型中的单元格像素修复子网络获取样本图像对应的样本像素化图像的具体过程，可以参见上述图3所对应实施例中通过目标网络模型中的单元格像素修复子网络获取目标图像对应的像素化图像的描述，这里将不再进行赘述。
应当理解，本申请实施例可以利用未配对的数据(即样本参考像素图像和样本图像，配对的数据表示具有不同风格、相同内容的图像，样本参考像素图像和样本图像具有不同内容、不同风格)，以双向和循环的方式对初始网络模型进行训练。其中，双向和循环可以表示非像素图→像素图→非像素图和像素图→非像素图→像素图的转换。其中，在训练期间，初始单元格像素还原子网络可以将像素图像转换回非像素图像，初始单元格像素还原子网络和单元格像素还原子网络属于同一结构在不同网络模型中的不同称呼。
一方面，给定一个非像素图像(即样本图像)和一个参考像素图(即样本参考像素图像)的灰度形式(即样本灰度化像素图像)，训练遵循初始单元格编码子网络→初始像素图转换子网络→单元格像素修复子网络→初始单元格像素还原子网络的数据流：首先通过初始单元格编码子网络生成样本灰度化像素图像的样本单元格尺寸向量，然后通过初始像素图转换子网络和单元格像素修复子网络从样本图像和样本单元格尺寸向量产生样本像素化图像，最后通过初始单元格像素还原子网络将样本像素化图像恢复为非像素图像(即像素化循环图像)。另一方面，给定参考像素图(即样本参考像素图像)及其灰度形式(即样本灰度化像素图像)，训练遵循初始单元格像素还原子网络→初始单元格编码子网络→初始像素图转换子网络→单元格像素修复子网络的数据流：首先通过初始单元格像素还原子网络将样本参考像素图像转换为非像素图像(即样本去像素化图像)，然后在通过初始单元格编码子网络所生成的样本灰度化像素图像的样本单元格尺寸向量的帮助下，通过使用初始像素图转换子网络和单元格像素修复子网络将样本去像素化图像恢复为像素图像(即去像素化循环图像)。
步骤S304，基于样本参考像素图像、样本图像和样本像素化图像，确定初始网络模型的模型损失值；
可以理解的是，初始网络模型可以包括结构提取网络层和单元格像素修复子网络，结构提取网络层和单元格像素修复子网络是预先训练的，而所有其他组件(例如，初始单元格像素还原子网络)都是联合训练的，联合训练所使用的损失函数可以包括对抗损失值、循环一致损失、绝对值损失、身份损失或大边距余弦损失中的至少一个，本申请实施例不对确定初始网络模型的模型损失值的损失函数的数量进行限定。例如，服务器可以根据对抗损失值和循环一致损失，确定初始网络模型的模型损失值。
其中，初始网络模型包括初始单元格像素还原子网络、单元格像素修复子网络、第一初始判别器和第二初始判别器。应当理解，服务器基于样本参考像素图像、样本图像和样本像素化图像，确定初始网络模型的模型损失值的具体过程可以描述为：服务器可以将样本参考像素图像输入至初始单元格像素还原子网络，通过初始单元格像素还原子网络对样本参考像素图像进行单元格去像素化处理，得到样本参考像素图像对应的样本去像素化图像。进一步地，服务器可以将样本参考像素图像和样本像素化图像输入至第一初始判别器，通过第一初始判别器输出样本参考像素图像对应的第一像素判别概率、以及样本像素化图像对应的第二像素判别概率。进一步地，服务器可以将样本图像和样本去像素化图像输入至第二初始判别器，通过第二初始判别器输出样本图像对应的第三像素判别概率、以及样本去像素化图像对应的第四像素判别概率。进一步地，服务器可以根据第一像素判别概率、第二像素判别概率、第三像素判别概率、第四像素判别概率和对抗损失函数，生成初始单元格像素还原子网络、单元格像素修复子网络、第一初始判别器和第二初始判别器的对抗损失值。进一步地，服务器可以将对抗损失值作为初始网络模型的模型损失值。
其中，服务器可以通过第一初始判别器输出样本参考像素图像对应的第一像素特征、以及样本像素化图像对应的第二像素特征，进而根据第一像素特征生成样本参考像素图像对应的第一像素判别概率，根据第二像素特征生成样本像素化图像对应的第二像素判别概率。其中，服务器可以将第一像素特征中的特征值的均值作为第一像素判别概率，将第二像素特征中的特征值的均值作为第二像素判别概率。同理，服务器可以通过第二初始判别器输出样本图像对应的第三像素特征、以及样本去像素化图像对应的第四像素特征，进而根据第三像素特征生成样本图像对应的第三像素判别概率，根据第四像素特征生成样本去像素化图像对应的第四像素判别概率。其中，服务器可以将第三像素特征中的特征值的均值作为第三像素判别概率，将第四像素特征中的特征值的均值作为第四像素判别概率。比如，第一像素特征为3×3的矩阵，服务器可以将3×3个特征值的均值作为第一像素判别概率。
可以理解的是，第一初始判别器可以作为像素图像输出的判别器，第二初始判别器可以作为非像素图像输出的判别器；单元格像素修复子网络可以作为像素图像输出的生成器，初始单元格像素还原子网络可以作为非像素图像输出的生成器。此外，第一初始判别器和单元格像素修复子网络、以及第二初始判别器和初始单元格像素还原子网络分别构成了生成对抗网络(GAN，Generative Adversarial Networks)。因此，对抗损失值还可以称之为生成对抗损失，生成对抗损失形成了一个最小-最大博弈，引导单元格像素修复子网络和初始单元格像素还原子网络生成期望的结果。
其中，第一初始判别器还可以称之为数值编码器(Numerical Encoder，简称NumEnc)，第一初始判别器用于确保单元格像素修复子网络生成的样本像素化图像具有像素图像外观(即确保样本像素化图像为具备像素风格的图像)。其中，第二初始判别器还可以称之为非像素图判别器(Discriminator for Non-Pixel Art Image)，第二初始判别器用于确保初始单元格像素还原子网络生成的样本去像素化图像具有非像素图像外观(即确保样本去像素化图像为不具备像素风格的图像)。应当理解，本申请实施例可以将PatchGAN(即马尔可夫判别器)作为第一初始判别器和第二初始判别器的架构，第一初始判别器的架构和第二初始判别器的架构可以相同、也可以不同，本申请实施例不对第一初始判别器的架构和第二初始判别器的架构进行限定。
其中，对抗损失函数可以包括生成器(即单元格像素修复子网络和初始单元格像素还原子网络)对应的生成对抗损失函数和判别器(即第一初始判别器和第二初始判别器)对应的判别对抗损失函数，生成对抗损失函数和判别对象损失函数是不同的，生成对抗损失函数和判别对象损失函数整体上可以采用二进制交叉熵函数。可以理解的是，通过第一像素判别概率、第二像素判别概率、第三像素判别概率、第四像素判别概率和判别对抗损失函数，可以生成针对判别器的判别损失值；通过第二像素判别概率、第四像素判别概率和生成对抗损失函数，可以生成针对生成器的生成损失值。其中，判别损失值和生成损失值可以用于确定对抗损失值，换言之，判别损失值和生成损失值可以统称为对抗损失值。其中，服务器可以根据判别损失值对判别器进行约束，根据生成损失值对生成器进行约束。
其中，通过第一初始判别器可以处理样本参考像素图像和样本像素化图像(即通过第一初始判别器来区分样本参考像素图像和样本像素化图像是否为真或伪造)，并评估第一初始判别器的对抗性损失；通过第二初始判别器可以处理样本图像和样本去像素化图像(即通过第二初始判别器来区分样本图像和样本去像素化图像是否为真或伪造)，并评估第二初始判别器的对抗性损失。第一初始判别器的对抗性损失和第二初始判别器的对抗性损失的计算可以参见下述公式(2)：
其中，ci表示样本图像，pj表示样本参考像素图像，表示样本去像素化图像，/>表示样本像素化图像，因此，/>表示第三像素判别概率(/>表示第一初始判别器输出的样本图像为真的概率)，/>表示第一像素判别概率(/>表示第二初始判别器输出的样本参考像素图像为真的概率)，/>表示第四像素判别概率(/>表示第一初始判别器输出的样本去像素化图像为真的概率)，/>表示第二像素判别概率(/>表示第二初始判别器输出的样本像素化图像为真的概率)。C表示样本图像构成的集合(即非像素图数据集)，P表示样本参考像素图像构成的集合(即多单元格大小的像素图数据集)，DP表示第一初始判别器，DC表示第一初始判别器，/>表示判别器的判别损失值，公式(2)的第一项和第三项可以表示第一初始判别器的对抗性损失，公式(2)的第二项和第四项可以表示第二初始判别器的对抗性损失。其中，服务器可以将第一初始判别器的对抗性损失和第二初始判别器的对抗性损失之和，作为判别器的判别损失值。
相应的，单元格像素修复子网络的对抗性损失和初始单元格像素还原子网络的对抗性损失的计算可以参见下述公式(3)：
其中，表示样本去像素化图像，/>表示样本像素化图像，因此，/>表示第四像素判别概率，/>表示第二像素判别概率。/>表示生成器的生成损失值。其中，服务器可以将单元格像素修复子网络的对抗性损失和初始单元格像素还原子网络的对抗性损失之和，作为生成器的生成损失值。
其中，初始网络模型包括初始单元格像素还原子网络、单元格像素修复子网络和初始像素图转换子网络。应当理解，服务器基于样本参考像素图像、样本图像和样本像素化图像，确定初始网络模型的模型损失值的具体过程可以描述为：服务器可以将样本像素化图像输入至初始单元格像素还原子网络，通过初始单元格像素还原子网络对样本像素化图像进行单元格去像素化处理，得到样本像素化图像对应的像素化循环图像。进一步地，服务器可以将样本参考像素图像输入至初始单元格像素还原子网络，通过初始单元格像素还原子网络对样本参考像素图像进行单元格去像素化处理，得到样本参考像素图像对应的样本去像素化图像。进一步地，服务器可以将样本去像素化图像输入至初始像素图转换子网络，在初始像素图转换子网络中，根据样本单元格尺寸向量对样本去像素化图像进行单元格像素化处理，得到样本去像素化图像对应的样本候选图像。进一步地，服务器可以将样本候选图像输入至单元格像素修复子网络，通过单元格像素修复子网络对样本候选图像进行单元格像素修复处理，得到样本去像素化图像对应的去像素化循环图像。进一步地，服务器可以根据样本图像和像素化循环图像，生成第一循环特征，根据样本参考像素图像和去像素化循环图像，生成第二循环特征。进一步地，服务器可以根据第一循环特征和第二循环特征，生成初始网络模型的循环一致损失，将循环一致损失作为初始网络模型的模型损失值。
可以理解的是，循环一致损失可以使用未配对的数据(即样本图像和像素化循环图像，以及样本参考像素图像和去像素化循环图像)完成无监督的图像到图像的转换。循环一致损失要求在前向循环中恢复的非像素图像(即像素化循环图像)与样本图像一致，且要求在后向循环中恢复的像素图像(即去像素化循环图像)与样本参考像素图像一致。
其中，循环一致损失的计算可以参见下述公式(4)：
其中，ci表示样本图像，c'i表示像素化循环图像，pj表示样本参考像素图像，p'j表示去像素化循环图像，因此，||ci-c'i||表示第一循环特征，||pj-p'j||表示第二循环特征。Lcyc表示循环一致损失，S是训练样本集，|S|是训练样本集中图像对的数量。其中，||ci-c'i||1可以表示第一循环特征的1范数(即样本图像和像素化循环图像中各个特征值的绝对值之和)，||pj-p'j||1可以表示第二循环特征的1范数(即样本参考像素图像和去像素化循环图像中各个特征值的绝对值之和)。
应当理解，服务器基于样本图像和样本像素化图像，确定初始网络模型的模型损失值的具体过程可以描述为：服务器可以根据样本图像和样本像素化图像，生成初始网络模型的绝对值损失。其中，服务器可以根据样本图像和样本像素化图像，生成绝对值特征，进而根据绝对值特征生成初始网络模型的绝对值损失。进一步地，服务器可以将绝对值损失作为初始网络模型的模型损失值。
可以理解的是，绝对值损失还可以称之为L1损失，绝对值损失可以确保在将非像素图像(即样本图像)转换为像素图像结果(即样本像素化图像)时保持正确的颜色，因此，这里可以应用L1损失来惩罚样本图像和样本像素化图像的差异。
其中，绝对值损失的计算可以参见下述公式(5)：
其中，ci表示样本图像，表示样本像素化图像，因此，/>表示绝对值特征。LL1表示绝对值损失，S是训练样本集，|S|是训练样本集中图像对的数量。其中，/>可以表示绝对值特征的1范数(即样本图像和样本像素化图像中各个特征值的绝对值之和)。
其中，初始网络模型包括初始单元格像素还原子网络、单元格像素修复子网络和初始像素图转换子网络。应当理解，服务器基于样本参考像素图像和样本图像，确定初始网络模型的模型损失值的具体过程可以描述为：服务器可以将样本图像输入至初始单元格像素还原子网络，通过初始单元格像素还原子网络对样本图像进行单元格去像素化处理，得到样本图像对应的第一重建图像。进一步地，服务器可以将样本参考像素图像输入至初始像素图转换子网络，在初始像素图转换子网络中，根据样本单元格尺寸向量对样本参考像素图像进行单元格像素化处理，得到样本参考像素图像对应的第二重建图像。进一步地，服务器可以将第二重建图像输入至单元格像素修复子网络，通过单元格像素修复子网络对第二重建图像进行单元格像素修复处理，得到样本参考像素图像对应的第三重建图像。进一步地，服务器可以根据样本图像和第一重建图像，生成第一身份特征，根据样本参考像素图像和第三重建图像，生成第二身份特征。进一步地，服务器可以根据第一身份特征和第二身份特征，生成初始网络模型的身份损失，将身份损失作为初始网络模型的模型损失值。
可以理解的是，在不同域(例如，非像素图像到像素图像)之间的无监督图像转换中重建真实的颜色是具有挑战性的，身份损失可以确保像素化模块(即初始像素图转换子网络后跟单元格像素修复子网络)和去像素化模块(即初始单元格像素还原子网络)在使用来自其目标域的图像作为输入时接近于恒等映射，即防止网络过度改变输出图像的颜色。
其中，身份损失的计算可以参见下述公式(6)：
其中，ci表示样本图像，pj表示样本参考像素图像，GP(ci)表示第一重建图像，GI(pj)表示第二重建图像，GA(GI(pj))表示第三重建图像，因此，||GP(ci)-ci表示第一身份特征，||GA(GI(pj))-pj||表示第二身份特征。Lidt表示身份损失，GP表示初始单元格像素还原子网络，GA表示单元格像素修复子网络，GI表示初始像素图转换子网络，S是训练样本集，|S|是训练样本集中图像对的数量。其中，||GP(ci)-ci||1可以表示第一身份特征的1范数(即样本图像和第一重建图像中各个特征值的绝对值之和)，||GA(GI(pj))-pj||1可以表示第二身份特征的1范数(即样本参考像素图像和第三重建图像中各个特征值的绝对值之和)。
其中，初始网络模型包括第一初始判别器。应当理解，服务器基于样本参考像素图像和样本像素化图像，确定初始网络模型的模型损失值的具体过程可以描述为：服务器可以将样本参考像素图像和样本像素化图像输入至第一初始判别器，通过第一初始判别器输出样本参考像素图像对应的第一像素特征、以及样本像素化图像对应的第二像素特征。进一步地，服务器可以对第一像素特征和第二像素特征分别进行池化操作，得到第一像素特征对应的第一池化特征、以及第二像素特征对应的第二池化特征。进一步地，服务器可以对第一池化特征和第二池化特征分别进行卷积操作，得到第一池化特征对应的第一单元格特征向量和第二池化特征对应的第二单元格特征向量。进一步地，服务器可以获取样本单元格尺寸对应的初始权重向量，根据第一单元格特征向量和初始权重向量(即样本单元格尺寸对应的初始权重向量)，生成第一距离损失，根据第二单元格特征向量和初始权重向量(即样本单元格尺寸对应的初始权重向量)，生成第二距离损失。进一步地，服务器可以根据第一距离损失和第二距离损失，生成初始网络模型的大边距余弦损失，将大边距余弦损失作为初始网络模型的模型损失值。
其中，服务器可以通过全局平均池化分别对第一像素特征和第二像素特征分别进行池化操作，服务器可以通过卷积核对第一池化特征和第二池化特征分别进行卷积操作。应当理解，本申请实施例不对池化操作的具体类型进行限定，本申请实施例不对卷积核的大小进行限定，例如，卷积核的大小可以为1×1。
可以理解的是，大边距余弦损失还可以称之为大余量余弦损失，第一初始判别器(即数值编码器NumEnc)不仅用于对抗训练，还用于在生成的像素图像(即样本像素化图像)和样本参考像素图像之间强制衡量相同的单元格大小。为了最大化类间方差和最小化类内方差，本申请实施例可以使用大边距余弦损失(Large Margin Cosine Loss，简称LMCL)来衡量样本参考像素图像和样本像素化图像之间的差异。大边距余弦损失有助于扩大单元格特征向量(即第一单元格特征向量和第二单元格特征向量)在角空间中单元格大小分类的决策余量，为网络提供更有效的指导，单元格特征向量可以用于表征像素图像的单元格大小，即第一单元格特征向量可以用于表征样本参考像素图像的单元格大小，第二单元格特征向量可以用于表征样本像素化图像的单元格大小，因此，这里可以应用大边距余弦损失来惩罚预测单元格大小(即样本像素化图像的单元格大小)和预期单元格大小(即样本参考像素图像的单元格大小)之间的偏差。
其中，大边距余弦损失的计算可以参见下述公式(7)：
其中，表示第一单元格特征向量，/>表示第二单元格特征向量，/>表示第一距离损失，/>表示第二距离损失，S是训练样本集，|S|是训练样本集中图像对的数量，Llmc表示大边距余弦损失。其中，第一距离损失和第二距离损失的计算可以参见下述公式(8)：
其中，v可以为或/>若v等于/>则公式(8)用于计算/>表示第一距离损失；若v等于/>则公式(8)用于计算/>表示第二距离损失。m是边距参数(例如，m等于0.4，本申请不对m的具体取值进行限定)，s是缩放因子(例如，s等于30，本申请不对s的具体取值进行限定)。
可以理解的是，服务器可以根据第一单元格特征向量和初始权重向量(即样本单元格尺寸对应的初始权重向量)，生成第一向量距离；服务器可以根据第一单元格特征向量和候选单元格尺寸(即除样本单元格尺寸之外的其他单元格尺寸)对应的初始权重向量，生成第一候选向量距离，进而根据第一向量距离和第一候选向量距离生成第一距离损失；服务器可以根据第二单元格特征向量和初始权重向量(即样本单元格尺寸对应的初始权重向量)，生成第二向量距离；服务器可以根据第二单元格特征向量和候选单元格尺寸对应的初始权重向量，生成第二候选向量距离，进而根据第二向量距离和第二候选向量距离生成第二距离损失。其中，第一候选向量距离的数量为至少一个，第二候选向量距离的数量为至少一个。
其中，第一向量距离、第二向量距离、第一候选向量距离和第二候选向量距离的计算可以参见下述公式(9)：
其中，t可以为tj或k，tj表示样本单元格尺寸，k表示候选单元格尺寸，Wt是与不同单元格尺寸相关联的初始权重向量，是与样本单元格尺寸相关联的初始权重向量，Wk是与候选单元格尺寸相关联的初始权重向量，初始权重向量可以在联合训练的过程中不断更新，本申请不对初始权重向量中的向量参数的初始值进行限定。v可以为/>或/>Ct(v)是特定单元格大小的权重向量的余弦距离函数，/>是样本单元格尺寸的权重向量的余弦距离函数，/>表示第一向量距离，/>表示第二向量距离，Ck(pj)表示第一候选向量距离，/>表示第二候选向量距离。
可选的，服务器可以基于样本参考像素图像、样本图像和样本像素化图像，确定初始网络模型的对抗损失值、循环一致损失、绝对值损失、身份损失和大边距余弦损失，进而根据对抗损失值、循环一致损失、绝对值损失、身份损失和大边距余弦损失，确定初始网络模型的模型损失值。此时，初始网络模型的模型损失值可以为上述损失函数的加权和，总体损失函数(即模型损失值)的计算可以参见下述公式(10)：
其中，λGAN是对抗损失值对应的权重，λcyc是循环一致损失对应的权重，λL1是绝对值损失对应的权重，λidt是身份损失对应的权重，λlmc是大边距余弦损失对应的权重，应当理解，本申请实施例不对λGAN、λcyc、λL1、λidt和λlmc的具体取值进行限定。比如，λGAN、λcyc、λidt和λlmc可以分别为1、10、10和1，λL1在前80轮迭代中可以设置为8、之后可以设置为10。
可选的，服务器还可以获取样本参考像素图像对应的标准单元格特征向量，根据标准单元格特征向量和第二单元格特征向量，生成初始网络模型的交叉熵损失值，进而将交叉熵损失值作为初始网络模型的模型损失值。可选的，服务器可以将交叉熵损失值作为确定模型损失值的损失函数之一。然而，由于不同单元格大小之间的视觉差异可能不明显，因此交叉熵损失值在产生清晰的决策边界方面并不是那么有效。其中，第二单元格特征向量中的向量参数可以表示初始网络模型所预测的样本像素化图像的单元格大小，标准单元格特征向量中的向量参数可以表示样本参考像素图像的实际单元格大小。比如，若单元格大小的范围为2×到8×、样本参考像素图像的实际单元格大小为2×，则标准单元格特征向量可以表示为(1,0,0,0,0,0,0)，第二单元格特征向量中的向量参数可以分别表示样本像素化图像的单元格大小为2×到8×的概率、且第二单元格特征向量中的向量参数之和等于1。
步骤S305，根据模型损失值对初始网络模型中的模型参数进行调整，当调整后的初始网络模型满足模型收敛条件时，将调整后的初始网络模型确定为目标网络模型。
可以理解的是，目标网络模型用于生成目标图像对应的像素化图像。其中，服务器通过目标网络模型生成目标对象对应的像素化图像的具体过程，可以参见上述图3所对应实施例中对步骤S101-步骤S103的描述，这里将不再进行赘述。
其中，可以理解的是，当初始网络模型的模型损失值不满足模型收敛条件时，服务器可以基于不满足模型收敛条件的模型损失值对初始网络模型中的模型参数进行调整。进一步地，服务器可以将调整模型参数后的初始网络模型确定为过渡网络模型，对过渡网络模型进行迭代训练，直到迭代训练后的过渡网络模型的模型损失值满足模型收敛条件时，将满足模型收敛条件的过渡网络模型作为目标网络模型。
为便于理解，请再参见图7，如图7所示，初始网络模型可以包括初始单元格编码子网络72a、初始像素图转换子网络72b、单元格像素修复子网络72c、初始单元格像素还原子网络72d和第一初始判别器72e。其中，单元格像素修复子网络72c和初始单元格编码子网络72a中的结构提取网络层73a为预训练的结构。此外，初始网络模型还可以包括第二初始判别器，第二初始判别器未在图上示出。
如图7所示，服务器可以将样本参考像素图像70a对应的样本灰度化像素图像70b输入至初始单元格编码子网络72a，通过初始单元格编码子网络72a输出样本单元格尺寸对应的样本单元格尺寸向量74a，这里的样本单元格尺寸可以为样本灰度化像素图像70b或样本参考像素图像70a的单元格尺寸，样本单元格尺寸向量74a用于指导生成与样本参考像素图像70a具有相同单元格尺寸的像素图像。
进一步地，如图7所示，服务器可以将样本单元格尺寸向量74a和样本图像71a输入至初始像素图转换子网络72b，在初始像素图转换子网络72b中，根据样本单元格尺寸向量74a对样本图像71a进行单元格像素化处理，得到样本图像71a对应的样本单元格图像71b。进一步地，服务器可以将样本单元格图像71b输入至单元格像素修复子网络72c，通过单元格像素修复子网络72c对样本单元格图像71b进行单元格像素修复处理，得到样本图像71a对应的样本像素化图像71c。
如图7所示，服务器可以将样本像素化图像71c输入至初始单元格像素还原子网络72d，通过初始单元格像素还原子网络72d对样本像素化图像71c进行单元格去像素化处理，得到样本像素化图像71c对应的像素化循环图像(未在图上示出)，样本像素化图像71c对应的像素化循环图像(未在图上示出)与样本图像71a相似。同理，服务器可以将样本参考像素图像70a输入至初始单元格像素还原子网络72d，通过初始单元格像素还原子网络72d输出样本参考像素图像70a对应的样本去像素化图像(未在图上示出)，进而将样本参考像素图像70a对应的样本去像素化图像(未在图上示出)依次输入至初始像素图转换子网络72b和单元格像素修复子网络72c，通过单元格像素修复子网络72c输出样本参考像素图像70a对应的去像素化循环图像(未在图上示出)。此时，服务器可以基于样本参考像素图像70a、样本图像71a、样本像素化图像71c对应的像素化循环图像(未在图上示出)和样本参考像素图像70a对应的样本去像素化图像(未在图上示出)，生成循环一致损失。此时，服务器可以基于样本图像71a和样本像素化图像71c，生成绝对值损失。
如图7所示，服务器可以将样本图像71a输入至初始单元格像素还原子网络72d，通过初始单元格像素还原子网络72d输出样本图像71a对应的第一重建图像(未在图上示出)。同理，服务器可以将样本参考像素图像70a依次输入至初始像素图转换子网络72b和单元格像素修复子网络72c，通过单元格像素修复子网络72c输出样本参考像素图像70a对应的第三重建图像(未在图上示出)。此时，服务器可以基于样本图像71a、样本图像71a对应的第一重建图像(未在图上示出)、样本参考像素图像70a和样本参考像素图像70a对应的第三重建图像(未在图上示出)，生成身份损失。
此外，本申请实施例引入了第一初始判别器72e作为生成对抗网络训练的鉴别器(即判别器)，以确保单元格像素修复子网络72c生成的像素化结果(即样本像素化图像)具有像素图像外观；本申请引入了第二初始判别器(未在图上示出)作为生成对抗网络训练的鉴别器(即判别器)，以确保初始单元格像素还原子网络72d生成的非像素化结果(即样本去像素化图像)具有非像素图像外观。此时，服务器可以基于样本图像71a、样本参考像素图像70a、样本像素化图像(未在图上示出)和样本去像素化图像(未在图上示出)，生成对抗损失值。
如图7所示，为了进一步确保样本像素化图像具有所需的单元格大小，本申请实施例可以将第一初始判别器72e分别应用于样本像素化图像(未在图上示出)和样本参考像素图像70a，以对样本像素化图像(未在图上示出)和样本参考像素图像70a的单元格大小进行分类并惩罚差异。此时，服务器可以获取样本参考像素图像70a对应的第一单元格特征向量和样本像素化图像(未在图上示出)对应的第二单元格特征向量，这里的第一单元格特征向量和第二单元格特征向量即为图7所示单元格特征向量74b，进一步地，服务器可以基于单元格特征向量74b和样本参考像素图像70a的单元格尺寸74c，生成大边距余弦损失。
在训练的过程中，初始网络模型可以使用非像素图数据集中4235张图像作为非像素图和7000张来自多单元格像素图数据集(即多单元格大小的像素图数据集)中的像素图进行训练，换言之，样本图像的数量为4235张，样本参考像素图像的数量为7000张，4235张样本图像和7000张样本参考像素图像可以构成训练样本集，训练样本集中图像对(即一个样本图像和一个样本参考像素图像，(ci,pj))的数量可以为4235*7000个，其中，初始网络模型的训练集不限定与此，还可以为其他图像对。为了测试目标网络模型的性能，本申请实施例额外收集了1000张与训练集不同的非像素图像作为测试集。除了训练集中已经存在的样式(例如，卡通剪贴画)外，测试集还涵盖了其他类型的内容，例如，艺术肖像画、视频游戏场景、海报和动漫场景。此外，本申请实施例可以通过对原始视频(例如，游戏视频)中的每一帧进行转换，得到具有像素图像风格的视频，因此，我们还收集了几个游戏视频并测试了超过3000帧，实验结果证明本申请实施例可以在测试过程中有效地将图像转换为像素图像：平均而言，处理192×192的图像需要0.052秒，处理1280×720的视频帧需要0.344秒。
由此可见，本申请实施例提出了第一种基于深度学习的锯齿感知和单元格可控的像素图像生成方法，可以通过目标网络模型将非像素图像(即目标图像)转换为具有指定单元格大小和尖锐的锯齿边缘的像素图像(即像素化图像)。其中，目标网络模型是对初始网络模型进行训练所得到的，目标网络模型是一种将颜色外观和单元格结构的学习分离的模型，可以同时实现单元格规则性、锯齿外观和颜色保真度，目标网络模型的像素化过程分解为特定的单元格大小控制和锯齿感知阶段，从而减轻联合学习单元格大小、锯齿效果和颜色分配的模糊性，进而提高像素化处理的灵活性，且提高像素化图像的准确度。
为便于理解，请参见表1，表1是本申请实施例提供的一种定量实验列表，该定量实验列表中可以存储有方法(包括本申请实施例所提供的方法)和方法在两个指标下的定量评价。如表1所示：
表1
方法 评价指标1 评价指标2
方法1 217.04 9.20
方法2 181.66 5.99
方法3 169.46 5.24
方法4 189.54 6.64
方法5 181.63 5.73
方法6 165.87 4.24
其中，方法6为本申请实施例所提供的方法，方法1-方法5为除本申请之外的其他方法，评价指标1可以为FID(Fréchet Inception Distance)，评价指标2可以为KID(KernelInception Distance)。如表1所示，通过方法6与其他方法的定量对比，可以确定方法6具有更小的FID值(即165.87)和KID值(即4.24)，这意味着本申请实施例所提供的方法产生的像素图与真实的像素图更为接近。为了定性验证目标网络模型的性能，本申请实施例通过图16-图21来证明本申请实施例所生成的结果在单元格尖锐度和感知表达方面的优异性。
为便于理解，请参见图16，图16是本申请实施例提供的一种像素化比较的场景示意图。如图16所示，图像160a可以为目标图像，图像160b可以为6种其他方法所生成的像素化图像，图像160c可以为本申请实施例所提供的目标网络模型生成的像素化图像。其中，图像160a可以为矩形框160a中的任意一个图像，图像160b和160c同理。
图16展示了目标网络模型与其他像素化方法在艺术画作、卡通形象上的定性比较，可以确定目标网络模型可以保持细节和颜色、不受抗锯齿困扰、具有连续边缘以及单元格清晰的特点。
为便于理解，请参见图17，图17是本申请实施例提供的一种消除反锯齿比较的场景示意图。如图17所示，图像170a可以为目标图像，图像170b可以为6种其他方法所生成的像素化图像，图像170c可以为本申请实施例所提供的目标网络模型生成的像素化图像。其中，图像170a可以为矩形框170a中的任意一个图像，图像170b和170c同理。
图17展示了其他方法产生的像素图会受到反锯齿的困扰，而通过目标网络模型中的单元格像素修复子网络作为后处理步骤消除反锯齿，使得目标网络模型可以消除反锯齿。
为便于理解，请参见图18，图18是本申请实施例提供的一种游戏像素化比较的场景示意图。如图18所示，图像180a可以为目标图像，图像180b可以为3种其他方法所生成的像素化图像，图像180c可以为本申请实施例所提供的目标网络模型生成的像素化图像。其中，图像180a可以为矩形框180a中的任意一个图像，图像180b和180c同理。
图18展示了目标网络模型和其他3种方法在游戏画面、游戏海报上的像素化效果，可以确定目标网络模型可以产生保持局部细节和全局颜色、不受抗锯齿困扰、具有连续边缘以及单元格清晰的结果。因此，本申请实施例可以应用到游戏视频中。
为便于理解，请参见图19a和图19b，图19a和图19b是本申请实施例提供的一种单元格尺寸影响的场景示意图。如图19a所示，图像190a可以为目标图像，图像191a、图像191b、图像191c和图像191d可以为参考像素图像，图像191a和图像191b的单元格大小为4×，图像191c和图像191d的单元格大小为8×。
图19a展示了使用不同参考像素图像控制单元格大小，在将图像191a作为参考像素图像时，图像190b为目标图像190a对应的像素化图像，此时图像190b的单元格大小为4×；在将图像191b作为参考像素图像时，图像190c为目标图像190a对应的像素化图像，此时图像190c的单元格大小为4×；在将图像191c作为参考像素图像时，图像190d为目标图像190a对应的像素化图像，此时图像190d的单元格大小为8×；在将图像191d作为参考像素图像时，图像190e为目标图像190a对应的像素化图像，此时图像190e的单元格大小为8×。
如图19b所示，图像192a可以为目标图像，图像192b可以为基于单元格大小为2×的参考像素图像所生成的像素化图像，图像192c可以为基于单元格大小为3×的参考像素图像所生成的像素化图像，图像192d可以为基于单元格大小为4×的参考像素图像所生成的像素化图像，图像192e可以为基于单元格大小为5×的参考像素图像所生成的像素化图像，图像192f可以为基于单元格大小为6×的参考像素图像所生成的像素化图像，图像192g可以为基于单元格大小为7×的参考像素图像所生成的像素化图像，图像192h可以为基于单元格大小为8×的参考像素图像所生成的像素化图像。其中，图像192a可以为矩形框192a中的任意一个图像，图像192b、图像192c、图像192d、图像192e、图像192f、图像192g和图像192h同理。
为便于理解，请参见图20，图20是本申请实施例提供的一种单元格尺寸像素化比较的场景示意图。如图20所示，图像200a、图像200b、图像200c、图像201a、图像201b和图像201c可以为3种其他方法基于不同单元格大小所生成的像素化图像，图像200d和图像201d可以为本申请实施例所提供的目标网络模型生成的像素化图像。其中，图像200a和图像201a为同一种方法，图像200b和图像201b为同一种方法，图像200c和图像201c为同一种方法。
图19a、图19b和图20展示了目标网络模型在单元格大小控制上的效果，并且与其他像素化方法进行了对比，可以确定目标网络模型生成的像素化图像的局部细节和全局颜色更加一致、单元格更加清晰、边缘也不受反锯齿的困扰。另外，这里测试的图片包含了艺术图、动漫形象、卡通形象、游戏画面，这说明目标网络模型能够泛化应用到多样的输入图片样式中。
为便于理解，请参见图21，图21是本申请实施例提供的一种去像素化比较的场景示意图。目标网络模型采用双向循环的设计方式，因此，服务器可以通过目标网络模型对输入的像素图(例如，像素化图像)进行去像素化。图21展示了与目标网络模型与其他去像素化方法进行对比的结果，图像210a、图像210b和图像210c可以为输入的像素图，图像211a、图像211b和图像211c可以为目标网络模型输出的非像素图(例如，像素化循环图像)，图像212a、图像212b和图像212c可以为其他去像素化方法输出的非像素图，目标网络模型可以产生具有平滑和清晰细节的更高质量的结果。
进一步地，请参见图22，图22是本申请实施例提供的一种数据处理装置的结构示意图，该数据处理装置1可以包括：向量化模块11，像素化模块12，像素修复模块13；进一步地，该数据处理装置1还可以包括：图像输入模块14，去像素化模块15；
向量化模块11，用于获取目标单元格尺寸对应的单元格尺寸向量；单元格尺寸向量是由目标单元格尺寸所对应的参考像素图像生成的；参考像素图像包括目标单元格尺寸所指示的多个单元格，每个单元格中的像素值相同；
其中，向量化模块11包括：第一输入单元111，特征提取单元112，池化操作单元113，全连接处理单元114；
第一输入单元111，用于对目标单元格尺寸对应的参考像素图像进行图像灰度化，得到灰度化像素图像；
第一输入单元111，用于将灰度化像素图像输入至目标网络模型中的单元格编码子网络；单元格编码子网络包括结构提取网络层、卷积网络层、池化网络层和多层感知网络层；
特征提取单元112，用于通过结构提取网络层和卷积网络层对灰度化像素图像进行特征提取，得到参考结构特征；
其中，结构提取网络层包括R个结构卷积子网络层；卷积网络层包括N个像素卷积子网络层；R为正整数；N为小于或等于R的正整数；
特征提取单元112包括：第一输入子单元1121，第二输入子单元1122，特征融合子单元1123；
第一输入子单元1121，用于将灰度化像素图像输入至结构提取网络层，得到结构提取网络层中的R个结构卷积子网络层分别输出的结构卷积特征；
其中，R个结构卷积子网络层包括结构卷积子网络层Ui，i为小于或等于R的正整数；
第一输入子单元1121，具体用于将灰度化像素图像输入至结构提取网络层；
第一输入子单元1121，具体用于若结构卷积子网络层Ui为R个结构卷积子网络层中的第一个结构卷积子网络层，则通过结构卷积子网络层Ui对灰度化像素图像进行卷积操作，得到结构卷积子网络层Ui输出的结构卷积特征；
第一输入子单元1121，具体用于若结构卷积子网络层Ui不为R个结构卷积子网络层中的第一个结构卷积子网络层，则通过结构卷积子网络层Ui对结构卷积子网络层Ui-1输出的结构卷积特征进行卷积操作，得到结构卷积子网络层Ui输出的结构卷积特征；结构卷积子网络层Ui-1为结构卷积子网络层Ui的上一个结构卷积子网络层。
第一输入子单元1121，用于从R个结构卷积特征中获取N个像素卷积子网络层分别对应的结构卷积特征；N个结构卷积特征具有不同特征尺寸；
第二输入子单元1122，用于将N个结构卷积特征和灰度化像素图像输入至卷积网络层，得到卷积网络层中的N个像素卷积子网络层分别输出的像素卷积特征；N个像素卷积特征具有不同特征尺寸；
其中，N个像素卷积子网络层包括像素卷积子网络层Mj，j为小于或等于N的正整数；
第二输入子单元1122，具体用于将N个结构卷积特征和灰度化像素图像输入至卷积网络层；
第二输入子单元1122，具体用于若像素卷积子网络层Mj为N个像素卷积子网络层中的第一个像素卷积子网络层，则通过像素卷积子网络层Mj对灰度化像素图像进行卷积操作，得到像素卷积子网络层Mj输出的像素卷积特征；
第二输入子单元1122，具体用于若像素卷积子网络层Mj不为N个像素卷积子网络层中的第一个像素卷积子网络层，则从N个结构卷积特征中获取像素卷积子网络层Mj-1对应的结构卷积特征，对像素卷积子网络层Mj-1对应的结构卷积特征和像素卷积子网络层Mj-1输出的像素卷积特征进行特征融合，得到像素卷积子网络层Mj-1对应的融合卷积特征，通过像素卷积子网络层Mj对像素卷积子网络层Mj-1对应的融合卷积特征进行卷积操作，得到像素卷积子网络层Mj输出的像素卷积特征；像素卷积子网络层Mj-1为像素卷积子网络层Mj的上一个像素卷积子网络层；像素卷积子网络层Mj-1对应的结构卷积特征和像素卷积子网络层Mj-1输出的像素卷积特征具有相同特征尺寸。
特征融合子单元1123，用于对N个像素卷积特征中的目标像素卷积特征和N个结构卷积特征中的目标结构卷积特征进行特征融合，得到参考结构特征；目标像素卷积特征为N个像素卷积特征中的最后一个像素卷积特征；目标结构卷积特征为N个结构卷积特征中的最后一个结构卷积特征。
其中，第一输入子单元1121，第二输入子单元1122和特征融合子单元1123的具体实现方式，可以参见上述图3所对应实施例中对步骤S101的描述，这里将不再进行赘述。
池化操作单元113，用于通过池化网络层对参考结构特征进行池化操作，得到参考池化特征；
全连接处理单元114，用于通过多层感知网络层对参考池化特征进行全连接处理，得到目标单元格尺寸对应的单元格尺寸向量。
其中，第一输入单元111，特征提取单元112，池化操作单元113和全连接处理单元114的具体实现方式，可以参见上述图3所对应实施例中对步骤S101的描述，这里将不再进行赘述。
像素化模块12，用于根据单元格尺寸向量对目标图像进行单元格像素化处理，得到目标图像对应的单元格图像；单元格图像为具备像素风格的图像；
其中，像素化模块12包括：第二输入单元121，编码处理单元122，权重调整单元123，解码处理单元124；
第二输入单元121，用于将单元格尺寸向量和目标图像输入至目标网络模型中的像素图转换子网络；像素图转换子网络包括像素编码网络层、单元格尺寸嵌入网络层和像素解码网络层；
编码处理单元122，用于通过像素编码网络层对目标图像进行像素编码处理，得到像素编码特征；
权重调整单元123，用于通过单元格尺寸向量对单元格尺寸嵌入网络层中的卷积核权重进行调整，得到调整后的卷积核权重，基于调整后的卷积核权重和像素编码特征，生成单元格嵌入特征；
其中，单元格尺寸嵌入网络层包括L个嵌入卷积子网络层，L为正整数；
权重调整单元123，具体用于将单元格尺寸向量划分为L个嵌入卷积子网络层分别对应的划分尺寸向量；L个嵌入卷积子网络层包括嵌入卷积子网络层Hk，k为小于或等于L的正整数；
权重调整单元123，具体用于通过嵌入卷积子网络层Hk对应的划分尺寸向量，对嵌入卷积子网络层Hk中的卷积核权重进行调整，得到嵌入卷积子网络层Hk对应的调整后的卷积核权重；
权重调整单元123，具体用于若嵌入卷积子网络层Hk为L个嵌入卷积子网络层中的第一个嵌入卷积子网络层，则在嵌入卷积子网络层Hk中，基于嵌入卷积子网络层Hk对应的调整后的卷积核权重，对像素编码特征进行卷积操作，得到嵌入卷积子网络层Hk输出的编码卷积特征；
权重调整单元123，具体用于若嵌入卷积子网络层Hk不为L个嵌入卷积子网络层中的第一个嵌入卷积子网络层，则在嵌入卷积子网络层Hk中，基于嵌入卷积子网络层Hk对应的调整后的卷积核权重，对嵌入卷积子网络层Hk-1输出的编码卷积特征进行卷积操作，得到嵌入卷积子网络层Hk输出的编码卷积特征；嵌入卷积子网络层Hk-1为嵌入卷积子网络层Hk的上一个嵌入卷积子网络层；
权重调整单元123，具体用于将L个嵌入卷积子网络层中的最后一个嵌入卷积子网络层所输出的编码卷积特征作为单元格嵌入特征。
解码处理单元124，用于通过像素解码网络层对单元格嵌入特征进行像素解码处理，得到目标图像对应的单元格图像。
其中，第二输入单元121，编码处理单元122，权重调整单元123和解码处理单元124的具体实现方式，可以参见上述图3所对应实施例中对步骤S102的描述，这里将不再进行赘述。
像素修复模块13，用于对单元格图像进行单元格像素修复处理，得到目标图像对应的像素化图像；像素化图像是指具有目标单元格尺寸所指示的像素化边缘连续效果的图像。
其中，像素修复模块13，具体用于将单元格图像输入至目标网络模型中的单元格像素修复子网络；单元格像素修复子网络包括修复编码网络层和修复解码网络层；
像素修复模块13，具体用于通过修复编码网络层对单元格图像进行单元格编码处理，得到单元格编码特征；
像素修复模块13，具体用于通过修复解码网络层对单元格编码特征进行单元格解码处理，得到目标图像对应的像素化图像。
可选的，图像输入模块14，用于响应针对像素化图像的去像素化请求，将像素化图像输入至目标网络模型；目标网络模型包括单元格像素还原子网络；
去像素化模块15，用于通过单元格像素还原子网络对像素化图像进行单元格去像素化处理，得到像素化图像对应的去像素化图像；
去像素化模块15，用于输出去像素化图像。
其中，向量化模块11，像素化模块12，像素修复模块13，图像输入模块14和去像素化模块15的具体实现方式，可以参见上述图3所对应实施例中对步骤S101-步骤S103的描述，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
进一步地，请参见图23，图23是本申请实施例提供的一种数据处理装置的结构示意图，该数据处理装置2可以包括：样本向量化模块21，样本像素化模块22，样本像素修复模块23，损失确定模块24，模型调整模块25；进一步地，该数据处理装置2还可以包括：第一样本输入模块26，第一损失确定模块27，第一训练模块28，第一样本生成模块29，第二样本输入模块30，第二损失确定模块31，第二训练模块32，第二样本生成模块33；
样本向量化模块21，用于在初始网络模型中，获取样本单元格尺寸对应的样本单元格尺寸向量；样本单元格尺寸向量是由样本单元格尺寸所对应的样本参考像素图像生成的；样本参考像素图像包括样本单元格尺寸所指示的多个样本单元格，每个样本单元格中的像素值相同；
样本像素化模块22，用于根据样本单元格尺寸向量对样本图像进行单元格像素化处理，得到样本图像对应的样本单元格图像；样本单元格图像为具备像素风格的图像；
样本像素修复模块23，用于对样本单元格图像进行单元格像素修复处理，得到样本图像对应的样本像素化图像；样本像素化图像是指具有样本单元格尺寸所指示的像素化边缘连续效果的图像；
损失确定模块24，用于基于样本参考像素图像、样本图像和样本像素化图像，确定初始网络模型的模型损失值；
其中，初始网络模型包括初始单元格像素还原子网络、单元格像素修复子网络、第一初始判别器和第二初始判别器；
损失确定模块24，具体用于将样本参考像素图像输入至初始单元格像素还原子网络，通过初始单元格像素还原子网络对样本参考像素图像进行单元格去像素化处理，得到样本参考像素图像对应的样本去像素化图像；
损失确定模块24，具体用于将样本参考像素图像和样本像素化图像输入至第一初始判别器，通过第一初始判别器输出样本参考像素图像对应的第一像素判别概率、以及样本像素化图像对应的第二像素判别概率；
损失确定模块24，具体用于将样本图像和样本去像素化图像输入至第二初始判别器，通过第二初始判别器输出样本图像对应的第三像素判别概率、以及样本去像素化图像对应的第四像素判别概率；
损失确定模块24，具体用于根据第一像素判别概率、第二像素判别概率、第三像素判别概率、第四像素判别概率和对抗损失函数，生成初始单元格像素还原子网络、单元格像素修复子网络、第一初始判别器和第二初始判别器的对抗损失值；
损失确定模块24，具体用于将对抗损失值作为初始网络模型的模型损失值。
其中，初始网络模型包括初始单元格像素还原子网络、单元格像素修复子网络和初始像素图转换子网络；
损失确定模块24，具体用于将样本像素化图像输入至初始单元格像素还原子网络，通过初始单元格像素还原子网络对样本像素化图像进行单元格去像素化处理，得到样本像素化图像对应的像素化循环图像；
损失确定模块24，具体用于将样本参考像素图像输入至初始单元格像素还原子网络，通过初始单元格像素还原子网络对样本参考像素图像进行单元格去像素化处理，得到样本参考像素图像对应的样本去像素化图像；
损失确定模块24，具体用于将样本去像素化图像输入至初始像素图转换子网络，在初始像素图转换子网络中，根据样本单元格尺寸向量对样本去像素化图像进行单元格像素化处理，得到样本去像素化图像对应的样本候选图像；
损失确定模块24，具体用于将样本候选图像输入至单元格像素修复子网络，通过单元格像素修复子网络对样本候选图像进行单元格像素修复处理，得到样本去像素化图像对应的去像素化循环图像；
损失确定模块24，具体用于根据样本图像和像素化循环图像，生成第一循环特征，根据样本参考像素图像和去像素化循环图像，生成第二循环特征；
损失确定模块24，具体用于根据第一循环特征和第二循环特征，生成初始网络模型的循环一致损失，将循环一致损失作为初始网络模型的模型损失值。
其中，损失确定模块24，具体用于根据样本图像和样本像素化图像，生成初始网络模型的绝对值损失；
损失确定模块24，具体用于将绝对值损失作为初始网络模型的模型损失值。
其中，初始网络模型包括初始单元格像素还原子网络、单元格像素修复子网络和初始像素图转换子网络；
损失确定模块24，具体用于将样本图像输入至初始单元格像素还原子网络，通过初始单元格像素还原子网络对样本图像进行单元格去像素化处理，得到样本图像对应的第一重建图像；
损失确定模块24，具体用于将样本参考像素图像输入至初始像素图转换子网络，在初始像素图转换子网络中，根据样本单元格尺寸向量对样本参考像素图像进行单元格像素化处理，得到样本参考像素图像对应的第二重建图像；
损失确定模块24，具体用于将第二重建图像输入至单元格像素修复子网络，通过单元格像素修复子网络对第二重建图像进行单元格像素修复处理，得到样本参考像素图像对应的第三重建图像；
损失确定模块24，具体用于根据样本图像和第一重建图像，生成第一身份特征，根据样本参考像素图像和第三重建图像，生成第二身份特征；
损失确定模块24，具体用于根据第一身份特征和第二身份特征，生成初始网络模型的身份损失，将身份损失作为初始网络模型的模型损失值。
其中，初始网络模型包括第一初始判别器；
损失确定模块24，具体用于将样本参考像素图像和样本像素化图像输入至第一初始判别器，通过第一初始判别器输出样本参考像素图像对应的第一像素特征、以及样本像素化图像对应的第二像素特征；
损失确定模块24，具体用于对第一像素特征和第二像素特征分别进行池化操作，得到第一像素特征对应的第一池化特征、以及第二像素特征对应的第二池化特征；
损失确定模块24，具体用于对第一池化特征和第二池化特征分别进行卷积操作，得到第一池化特征对应的第一单元格特征向量和第二池化特征对应的第二单元格特征向量；
损失确定模块24，具体用于获取样本单元格尺寸对应的初始权重向量，根据第一单元格特征向量和初始权重向量，生成第一距离损失，根据第二单元格特征向量和初始权重向量，生成第二距离损失；
损失确定模块24，具体用于根据第一距离损失和第二距离损失，生成初始网络模型的大边距余弦损失，将大边距余弦损失作为初始网络模型的模型损失值。
模型调整模块25，用于根据模型损失值对初始网络模型中的模型参数进行调整，当调整后的初始网络模型满足模型收敛条件时，将调整后的初始网络模型确定为目标网络模型；目标网络模型用于生成目标图像对应的像素化图像。
可选的，初始网络模型包括单元格像素修复子网络；
第一样本输入模块26，用于将第一样本图像输入至初始单元格像素修复子网络，通过初始单元格像素修复子网络对第一样本图像进行单元格像素修复处理，得到预测参考像素图像；第一样本图像是指具有像素化边缘模糊效果的图像；
第一损失确定模块27，用于根据第一样本图像对应的样本上采样参考图像和预测参考像素图像，确定初始单元格像素修复子网络的第一损失值；
第一损失确定模块27，用于将样本上采样参考图像和预测参考像素图像分别输入至初始边缘判别器，通过初始边缘判别器输出样本上采样参考图像对应的样本判别概率、以及预测参考像素图像对应的预测判别概率；
第一损失确定模块27，用于根据样本判别概率、预测判别概率和对抗损失函数，生成初始单元格像素修复子网络和初始边缘判别器的第二损失值；
第一损失确定模块27，用于根据第一损失值和第二损失值，确定初始单元格像素修复子网络和初始边缘判别器的第一模型损失；
第一训练模块28，用于根据第一模型损失对初始单元格像素修复子网络和初始边缘判别器中的模型参数进行调整，得到单元格像素修复子网络和边缘判别器。
可选的，第一样本图像的数量为Q个，Q为正整数；
第一样本生成模块29，用于对候选像素图像进行上采样处理，得到样本上采样参考图像；
第一样本生成模块29，用于对样本上采样参考图像进行下采样处理，得到Q个样本下采样参考图像；Q个样本下采样参考图像具有不同图像尺寸；Q个样本下采样参考图像是指具有像素化边缘模糊效果的图像；
第一样本生成模块29，用于对每个样本下采样参考图像进行上采样处理，得到Q个第一样本图像。
可选的，初始网络模型包括结构提取网络层；
第二样本输入模块30，用于对第二样本图像进行图像灰度化，得到样本灰度化图像；第二样本图像为具备像素风格的图像；
第二损失确定模块31，用于将样本灰度化图像输入至初始结构提取网络层，通过初始结构提取网络层对样本灰度化图像进行特征提取，得到辅助结构特征；
第二损失确定模块31，用于将辅助结构特征输入至初始结构提取网络层中的分类器，通过分类器输出辅助结构特征对应的辅助结构向量；
第二损失确定模块31，用于获取与第二样本图像对应的单元格尺寸相关联的标准结构向量，根据辅助结构向量和标准结构向量确定初始结构提取网络层的第二模型损失；
第二训练模块32，用于根据第二模型损失对初始结构提取网络层中的模型参数进行调整，得到结构提取网络层。
可选的，第二样本生成模块33，用于确定样本像素图像的样本尺寸，基于目标尺寸对样本像素图像进行尺寸调整，得到样本像素图像对应的辅助像素图像；
第二样本生成模块33，用于对辅助像素图像进行上采样处理，得到辅助像素图像对应的第二样本图像；第二样本图像对应的单元格尺寸是根据上采样处理所确定的。
其中，样本向量化模块21，样本像素化模块22，样本像素修复模块23，损失确定模块24和模型调整模块25的具体实现方式，可以参见上述图15所对应实施例中对步骤S301-步骤S305的描述，这里将不再进行赘述。其中，第一样本输入模块26，第一损失确定模块27，第一训练模块28，第一样本生成模块29，第二样本输入模块30，第二损失确定模块31，第二训练模块32和第二样本生成模块33的具体实现方式，可以参见上述图8所对应实施例中对步骤S201-步骤S203的描述，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
进一步地，请参见图24，图24是本申请实施例提供的一种计算机设备的结构示意图，该计算机设备可以是终端设备或服务器。如图24所示，该计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，在一些实施例中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。可选的，网络接口1004可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器1005还可以是至少一个位于远离前述处理器1001的存储装置。如图24所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在如图24所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序。
应当理解，本申请实施例中所描述的计算机设备1000可执行前文图3、图8或图15所对应实施例中对数据处理方法的描述，也可执行前文图22所对应实施例中对数据处理装置1或图23所对应实施例中对数据处理装置2的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本申请实施例还提供了一种计算机可读存储介质，且计算机可读存储介质中存储有前文提及的数据处理装置1或数据处理装置2所执行的计算机程序，当处理器执行计算机程序时，能够执行前文图3、图8或图15所对应实施例中对数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。
此外，需要说明的是：本申请实施例还提供了一种计算机程序产品，该计算机程序产品可以包括计算机程序，该计算机程序可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器可以执行该计算机程序，使得该计算机设备执行前文图3、图8或图15所对应实施例中对数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机程序产品实施例中未披露的技术细节，请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (20)

1.一种数据处理方法，其特征在于，包括：
获取目标单元格尺寸对应的单元格尺寸向量；所述单元格尺寸向量是由所述目标单元格尺寸所对应的参考像素图像生成的；所述参考像素图像包括所述目标单元格尺寸所指示的多个单元格，每个单元格中的像素值相同；
根据所述单元格尺寸向量对目标图像进行单元格像素化处理，得到所述目标图像对应的单元格图像；所述单元格图像为具备像素风格的图像；
对所述单元格图像进行单元格像素修复处理，得到所述目标图像对应的像素化图像；所述像素化图像是指具有所述目标单元格尺寸所指示的像素化边缘连续效果的图像。
2.根据权利要求1所述的方法，其特征在于，所述获取目标单元格尺寸对应的单元格尺寸向量，包括：
对目标单元格尺寸对应的参考像素图像进行图像灰度化，得到灰度化像素图像；
将所述灰度化像素图像输入至目标网络模型中的单元格编码子网络；所述单元格编码子网络包括结构提取网络层、卷积网络层、池化网络层和多层感知网络层；
通过所述结构提取网络层和所述卷积网络层对所述灰度化像素图像进行特征提取，得到参考结构特征；
通过所述池化网络层对所述参考结构特征进行池化操作，得到参考池化特征；
通过所述多层感知网络层对所述参考池化特征进行全连接处理，得到所述目标单元格尺寸对应的单元格尺寸向量。
3.根据权利要求2所述的方法，其特征在于，所述结构提取网络层包括R个结构卷积子网络层；所述卷积网络层包括N个像素卷积子网络层；所述R为正整数；所述N为小于或等于所述R的正整数；
所述通过所述结构提取网络层和所述卷积网络层对所述灰度化像素图像进行特征提取，得到参考结构特征，包括：
将所述灰度化像素图像输入至所述结构提取网络层，得到所述结构提取网络层中的所述R个结构卷积子网络层分别输出的结构卷积特征；
从R个结构卷积特征中获取所述N个像素卷积子网络层分别对应的结构卷积特征；N个结构卷积特征具有不同特征尺寸；
将所述N个结构卷积特征和所述灰度化像素图像输入至所述卷积网络层，得到所述卷积网络层中的所述N个像素卷积子网络层分别输出的像素卷积特征；N个像素卷积特征具有不同特征尺寸；
对所述N个像素卷积特征中的目标像素卷积特征和所述N个结构卷积特征中的目标结构卷积特征进行特征融合，得到参考结构特征；所述目标像素卷积特征为所述N个像素卷积特征中的最后一个像素卷积特征；所述目标结构卷积特征为所述N个结构卷积特征中的最后一个结构卷积特征。
4.根据权利要求3所述的方法，其特征在于，所述R个结构卷积子网络层包括结构卷积子网络层Ui，所述i为小于或等于所述R的正整数；
所述将所述灰度化像素图像输入至所述结构提取网络层，得到所述结构提取网络层中的所述R个结构卷积子网络层分别输出的结构卷积特征，包括：
将所述灰度化像素图像输入至所述结构提取网络层；
若所述结构卷积子网络层Ui为所述R个结构卷积子网络层中的第一个结构卷积子网络层，则通过所述结构卷积子网络层Ui对所述灰度化像素图像进行卷积操作，得到所述结构卷积子网络层Ui输出的结构卷积特征；
若所述结构卷积子网络层Ui不为所述R个结构卷积子网络层中的第一个结构卷积子网络层，则通过所述结构卷积子网络层Ui对结构卷积子网络层Ui-1输出的结构卷积特征进行卷积操作，得到所述结构卷积子网络层Ui输出的结构卷积特征；所述结构卷积子网络层Ui-1为所述结构卷积子网络层Ui的上一个结构卷积子网络层。
5.根据权利要求3所述的方法，其特征在于，所述N个像素卷积子网络层包括像素卷积子网络层Mj，所述j为小于或等于所述N的正整数；
所述将所述N个结构卷积特征和所述灰度化像素图像输入至所述卷积网络层，得到所述卷积网络层中的所述N个像素卷积子网络层分别输出的像素卷积特征，包括：
将所述N个结构卷积特征和所述灰度化像素图像输入至所述卷积网络层；
若所述像素卷积子网络层Mj为所述N个像素卷积子网络层中的第一个像素卷积子网络层，则通过所述像素卷积子网络层Mj对所述灰度化像素图像进行卷积操作，得到所述像素卷积子网络层Mj输出的像素卷积特征；
若所述像素卷积子网络层Mj不为所述N个像素卷积子网络层中的第一个像素卷积子网络层，则从所述N个结构卷积特征中获取像素卷积子网络层Mj-1对应的结构卷积特征，对所述像素卷积子网络层Mj-1对应的结构卷积特征和像素卷积子网络层Mj-1输出的像素卷积特征进行特征融合，得到所述像素卷积子网络层Mj-1对应的融合卷积特征，通过所述像素卷积子网络层Mj对所述像素卷积子网络层Mj-1对应的融合卷积特征进行卷积操作，得到所述像素卷积子网络层Mj输出的像素卷积特征；所述像素卷积子网络层Mj-1为所述像素卷积子网络层Mj的上一个像素卷积子网络层；所述像素卷积子网络层Mj-1对应的结构卷积特征和所述像素卷积子网络层Mj-1输出的像素卷积特征具有相同特征尺寸。
6.根据权利要求1所述的方法，其特征在于，所述根据所述单元格尺寸向量对目标图像进行单元格像素化处理，得到所述目标图像对应的单元格图像，包括：
将所述单元格尺寸向量和目标图像输入至目标网络模型中的像素图转换子网络；所述像素图转换子网络包括像素编码网络层、单元格尺寸嵌入网络层和像素解码网络层；
通过所述像素编码网络层对所述目标图像进行像素编码处理，得到像素编码特征；
通过所述单元格尺寸向量对所述单元格尺寸嵌入网络层中的卷积核权重进行调整，得到调整后的卷积核权重，基于所述调整后的卷积核权重和所述像素编码特征，生成单元格嵌入特征；
通过所述像素解码网络层对所述单元格嵌入特征进行像素解码处理，得到所述目标图像对应的单元格图像。
7.根据权利要求6所述的方法，其特征在于，所述单元格尺寸嵌入网络层包括L个嵌入卷积子网络层，所述L为正整数；
所述通过所述单元格尺寸向量对所述单元格尺寸嵌入网络层中的卷积核权重进行调整，得到调整后的卷积核权重，基于所述调整后的卷积核权重和所述像素编码特征，生成单元格嵌入特征，包括：
将所述单元格尺寸向量划分为所述L个嵌入卷积子网络层分别对应的划分尺寸向量；所述L个嵌入卷积子网络层包括嵌入卷积子网络层Hk，所述k为小于或等于所述L的正整数；
通过所述嵌入卷积子网络层Hk对应的划分尺寸向量，对所述嵌入卷积子网络层Hk中的卷积核权重进行调整，得到所述嵌入卷积子网络层Hk对应的调整后的卷积核权重；
若所述嵌入卷积子网络层Hk为所述L个嵌入卷积子网络层中的第一个嵌入卷积子网络层，则在所述嵌入卷积子网络层Hk中，基于所述嵌入卷积子网络层Hk对应的调整后的卷积核权重，对所述像素编码特征进行卷积操作，得到所述嵌入卷积子网络层Hk输出的编码卷积特征；
若所述嵌入卷积子网络层Hk不为所述L个嵌入卷积子网络层中的第一个嵌入卷积子网络层，则在所述嵌入卷积子网络层Hk中，基于所述嵌入卷积子网络层Hk对应的调整后的卷积核权重，对嵌入卷积子网络层Hk-1输出的编码卷积特征进行卷积操作，得到所述嵌入卷积子网络层Hk输出的编码卷积特征；所述嵌入卷积子网络层Hk-1为所述嵌入卷积子网络层Hk的上一个嵌入卷积子网络层；
将所述L个嵌入卷积子网络层中的最后一个嵌入卷积子网络层所输出的编码卷积特征作为单元格嵌入特征。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应针对所述像素化图像的去像素化请求，将所述像素化图像输入至目标网络模型；所述目标网络模型包括单元格像素还原子网络；
通过所述单元格像素还原子网络对所述像素化图像进行单元格去像素化处理，得到所述像素化图像对应的去像素化图像；
输出所述去像素化图像。
9.一种数据处理方法，其特征在于，包括：
在初始网络模型中，获取样本单元格尺寸对应的样本单元格尺寸向量；所述样本单元格尺寸向量是由所述样本单元格尺寸所对应的样本参考像素图像生成的；所述样本参考像素图像包括所述样本单元格尺寸所指示的多个样本单元格，每个样本单元格中的像素值相同；
根据所述样本单元格尺寸向量对样本图像进行单元格像素化处理，得到所述样本图像对应的样本单元格图像；所述样本单元格图像为具备像素风格的图像；
对所述样本单元格图像进行单元格像素修复处理，得到所述样本图像对应的样本像素化图像；所述样本像素化图像是指具有所述样本单元格尺寸所指示的像素化边缘连续效果的图像；
基于所述样本参考像素图像、所述样本图像和所述样本像素化图像，确定所述初始网络模型的模型损失值；
根据所述模型损失值对所述初始网络模型中的模型参数进行调整，当调整后的初始网络模型满足模型收敛条件时，将调整后的初始网络模型确定为目标网络模型；所述目标网络模型用于生成目标图像对应的像素化图像。
10.根据权利要求9所述的方法，其特征在于，所述初始网络模型包括初始单元格像素还原子网络、单元格像素修复子网络、第一初始判别器和第二初始判别器；
所述基于所述样本参考像素图像、所述样本图像和所述样本像素化图像，确定所述初始网络模型的模型损失值，包括：
将所述样本参考像素图像输入至所述初始单元格像素还原子网络，通过所述初始单元格像素还原子网络对所述样本参考像素图像进行单元格去像素化处理，得到所述样本参考像素图像对应的样本去像素化图像；
将所述样本参考像素图像和所述样本像素化图像输入至所述第一初始判别器，通过所述第一初始判别器输出所述样本参考像素图像对应的第一像素判别概率、以及所述样本像素化图像对应的第二像素判别概率；
将所述样本图像和所述样本去像素化图像输入至所述第二初始判别器，通过所述第二初始判别器输出所述样本图像对应的第三像素判别概率、以及所述样本去像素化图像对应的第四像素判别概率；
根据所述第一像素判别概率、所述第二像素判别概率、所述第三像素判别概率、所述第四像素判别概率和对抗损失函数，生成所述初始单元格像素还原子网络、所述单元格像素修复子网络、所述第一初始判别器和所述第二初始判别器的对抗损失值；
将所述对抗损失值作为所述初始网络模型的模型损失值。
11.根据权利要求9所述的方法，其特征在于，所述初始网络模型包括初始单元格像素还原子网络、单元格像素修复子网络和初始像素图转换子网络；
所述基于所述样本参考像素图像、所述样本图像和所述样本像素化图像，确定所述初始网络模型的模型损失值，包括：
将所述样本像素化图像输入至所述初始单元格像素还原子网络，通过所述初始单元格像素还原子网络对所述样本像素化图像进行单元格去像素化处理，得到所述样本像素化图像对应的像素化循环图像；
将所述样本参考像素图像输入至所述初始单元格像素还原子网络，通过所述初始单元格像素还原子网络对所述样本参考像素图像进行单元格去像素化处理，得到所述样本参考像素图像对应的样本去像素化图像；
将所述样本去像素化图像输入至所述初始像素图转换子网络，在所述初始像素图转换子网络中，根据所述样本单元格尺寸向量对所述样本去像素化图像进行单元格像素化处理，得到所述样本去像素化图像对应的样本候选图像；
将所述样本候选图像输入至所述单元格像素修复子网络，通过所述单元格像素修复子网络对所述样本候选图像进行单元格像素修复处理，得到所述样本去像素化图像对应的去像素化循环图像；
根据所述样本图像和所述像素化循环图像，生成第一循环特征，根据所述样本参考像素图像和所述去像素化循环图像，生成第二循环特征；
根据所述第一循环特征和所述第二循环特征，生成所述初始网络模型的循环一致损失，将所述循环一致损失作为所述初始网络模型的模型损失值。
12.根据权利要求9所述的方法，其特征在于，所述初始网络模型包括初始单元格像素还原子网络、单元格像素修复子网络和初始像素图转换子网络；
所述基于所述样本参考像素图像、所述样本图像和所述样本像素化图像，确定所述初始网络模型的模型损失值，包括：
将所述样本图像输入至所述初始单元格像素还原子网络，通过所述初始单元格像素还原子网络对所述样本图像进行单元格去像素化处理，得到所述样本图像对应的第一重建图像；
将所述样本参考像素图像输入至所述初始像素图转换子网络，在所述初始像素图转换子网络中，根据所述样本单元格尺寸向量对所述样本参考像素图像进行单元格像素化处理，得到所述样本参考像素图像对应的第二重建图像；
将所述第二重建图像输入至所述单元格像素修复子网络，通过所述单元格像素修复子网络对所述第二重建图像进行单元格像素修复处理，得到所述样本参考像素图像对应的第三重建图像；
根据所述样本图像和所述第一重建图像，生成第一身份特征，根据所述样本参考像素图像和所述第三重建图像，生成第二身份特征；
根据所述第一身份特征和所述第二身份特征，生成所述初始网络模型的身份损失，将所述身份损失作为所述初始网络模型的模型损失值。
13.根据权利要求9所述的方法，其特征在于，所述初始网络模型包括第一初始判别器；
所述基于所述样本参考像素图像、所述样本图像和所述样本像素化图像，确定所述初始网络模型的模型损失值，包括：
将所述样本参考像素图像和所述样本像素化图像输入至所述第一初始判别器，通过所述第一初始判别器输出所述样本参考像素图像对应的第一像素特征、以及所述样本像素化图像对应的第二像素特征；
对所述第一像素特征和所述第二像素特征分别进行池化操作，得到所述第一像素特征对应的第一池化特征、以及所述第二像素特征对应的第二池化特征；
对所述第一池化特征和所述第二池化特征分别进行卷积操作，得到所述第一池化特征对应的第一单元格特征向量和所述第二池化特征对应的第二单元格特征向量；
获取所述样本单元格尺寸对应的初始权重向量，根据所述第一单元格特征向量和所述初始权重向量，生成第一距离损失，根据所述第二单元格特征向量和所述初始权重向量，生成第二距离损失；
根据所述第一距离损失和所述第二距离损失，生成所述初始网络模型的大边距余弦损失，将所述大边距余弦损失作为所述初始网络模型的模型损失值。
14.根据权利要求9所述的方法，其特征在于，所述初始网络模型包括单元格像素修复子网络；
所述方法还包括：
将第一样本图像输入至初始单元格像素修复子网络，通过所述初始单元格像素修复子网络对所述第一样本图像进行单元格像素修复处理，得到预测参考像素图像；所述第一样本图像是指具有像素化边缘模糊效果的图像；
根据所述第一样本图像对应的样本上采样参考图像和所述预测参考像素图像，确定所述初始单元格像素修复子网络的第一损失值；
将所述样本上采样参考图像和所述预测参考像素图像分别输入至初始边缘判别器，通过所述初始边缘判别器输出所述样本上采样参考图像对应的样本判别概率、以及所述预测参考像素图像对应的预测判别概率；
根据所述样本判别概率、所述预测判别概率和对抗损失函数，生成所述初始单元格像素修复子网络和所述初始边缘判别器的第二损失值；
根据所述第一损失值和所述第二损失值，确定所述初始单元格像素修复子网络和所述初始边缘判别器的第一模型损失；
根据所述第一模型损失对所述初始单元格像素修复子网络和所述初始边缘判别器中的模型参数进行调整，得到所述单元格像素修复子网络和边缘判别器。
15.根据权利要求9所述的方法，其特征在于，所述初始网络模型包括结构提取网络层；
所述方法还包括：
对第二样本图像进行图像灰度化，得到样本灰度化图像；所述第二样本图像为具备像素风格的图像；
将所述样本灰度化图像输入至初始结构提取网络层，通过所述初始结构提取网络层对所述样本灰度化图像进行特征提取，得到辅助结构特征；
将所述辅助结构特征输入至所述初始结构提取网络层中的分类器，通过所述分类器输出所述辅助结构特征对应的辅助结构向量；
获取与所述第二样本图像对应的单元格尺寸相关联的标准结构向量，根据所述辅助结构向量和所述标准结构向量确定所述初始结构提取网络层的第二模型损失；
根据所述第二模型损失对所述初始结构提取网络层中的模型参数进行调整，得到所述结构提取网络层。
16.一种数据处理装置，其特征在于，包括：
向量化模块，用于获取目标单元格尺寸对应的单元格尺寸向量；所述单元格尺寸向量是由所述目标单元格尺寸所对应的参考像素图像生成的；所述参考像素图像包括所述目标单元格尺寸所指示的多个单元格，每个单元格中的像素值相同；
像素化模块，用于根据所述单元格尺寸向量对目标图像进行单元格像素化处理，得到所述目标图像对应的单元格图像；所述单元格图像为具备像素风格的图像；
像素修复模块，用于对所述单元格图像进行单元格像素修复处理，得到所述目标图像对应的像素化图像；所述像素化图像是指具有所述目标单元格尺寸所指示的像素化边缘连续效果的图像。
17.一种数据处理装置，其特征在于，包括：
样本向量化模块，用于在初始网络模型中，获取样本单元格尺寸对应的样本单元格尺寸向量；所述样本单元格尺寸向量是由所述样本单元格尺寸所对应的样本参考像素图像生成的；所述样本参考像素图像包括所述样本单元格尺寸所指示的多个样本单元格，每个样本单元格中的像素值相同；
样本像素化模块，用于根据所述样本单元格尺寸向量对样本图像进行单元格像素化处理，得到所述样本图像对应的样本单元格图像；所述样本单元格图像为具备像素风格的图像；
样本像素修复模块，用于对所述样本单元格图像进行单元格像素修复处理，得到所述样本图像对应的样本像素化图像；所述样本像素化图像是指具有所述样本单元格尺寸所指示的像素化边缘连续效果的图像；
损失确定模块，用于基于所述样本参考像素图像、所述样本图像、所述样本单元格图像和所述样本像素化图像，确定所述初始网络模型的模型损失值；
模型调整模块，用于根据所述模型损失值对所述初始网络模型中的模型参数进行调整，当调整后的初始网络模型满足模型收敛条件时，将调整后的初始网络模型确定为目标网络模型；所述目标网络模型用于生成目标图像对应的像素化图像。
18.一种计算机设备，其特征在于，包括：处理器和存储器；
所述处理器与所述存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以使得所述计算机设备执行权利要求1-15任一项所述的方法。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行权利要求1-15任一项所述的方法。
20.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，且适于由处理器读取并执行，以使得具有所述处理器的计算机设备执行权利要求1-15任一项所述的方法。
CN202211102420.1A 2022-09-09 2022-09-09 一种数据处理方法、装置、计算机设备以及可读存储介质 Pending CN117274043A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211102420.1A CN117274043A (zh) 2022-09-09 2022-09-09 一种数据处理方法、装置、计算机设备以及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211102420.1A CN117274043A (zh) 2022-09-09 2022-09-09 一种数据处理方法、装置、计算机设备以及可读存储介质

Publications (1)

Publication Number Publication Date
CN117274043A true CN117274043A (zh) 2023-12-22

Family

ID=89213007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211102420.1A Pending CN117274043A (zh) 2022-09-09 2022-09-09 一种数据处理方法、装置、计算机设备以及可读存储介质

Country Status (1)

Country Link
CN (1) CN117274043A (zh)

Similar Documents

Publication Publication Date Title
Liu et al. Robust single image super-resolution via deep networks with sparse prior
CN111047548B (zh) 姿态变换数据处理方法、装置、计算机设备和存储介质
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN113240580A (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
KR102289045B1 (ko) 멀티 스케일 객체 이미지 복원 방법 및 장치
CN112446835B (zh) 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN113674146A (zh) 图像超分辨率
CN112581370A (zh) 人脸图像的超分辨率重建模型的训练及重建方法
CN113066034A (zh) 人脸图像的修复方法与装置、修复模型、介质和设备
CN110570375B (zh) 一种图像处理方法、装置、电子设置以及存储介质
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN117635418B (zh) 生成对抗网络的训练方法、双向图像风格转换方法和装置
CN114694074A (zh) 一种使用图像生成视频的方法、装置以及存储介质
CN114972016A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
Tang et al. SRARNet: A unified framework for joint superresolution and aircraft recognition
Liu et al. Facial image inpainting using multi-level generative network
CN113837941A (zh) 图像超分模型的训练方法、装置及计算机可读存储介质
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
CN113762117A (zh) 一种图像处理模型的训练方法、图像处理模型及计算机设备
Bricman et al. CocoNet: A deep neural network for mapping pixel coordinates to color values
CN114119428B (zh) 一种图像去模糊方法和装置
CN115311152A (zh) 图像处理方法、装置、电子设备以及存储介质
CN117274043A (zh) 一种数据处理方法、装置、计算机设备以及可读存储介质
CN114862699A (zh) 基于生成对抗网络的人脸修复方法、装置及存储介质
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination