CN115526775B - 图像数据处理方法及装置 - Google Patents
图像数据处理方法及装置 Download PDFInfo
- Publication number
- CN115526775B CN115526775B CN202210023541.0A CN202210023541A CN115526775B CN 115526775 B CN115526775 B CN 115526775B CN 202210023541 A CN202210023541 A CN 202210023541A CN 115526775 B CN115526775 B CN 115526775B
- Authority
- CN
- China
- Prior art keywords
- image data
- image
- resolution
- dimension
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 90
- 238000013507 mapping Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims description 131
- 230000006870 function Effects 0.000 claims description 93
- 238000012549 training Methods 0.000 claims description 89
- 238000000034 method Methods 0.000 claims description 64
- 230000004913 activation Effects 0.000 claims description 60
- 238000000605 extraction Methods 0.000 claims description 41
- 238000009877 rendering Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 36
- 230000009467 reduction Effects 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 2
- 230000008602 contraction Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像数据处理方法及装置，包括：获得第一图像在第一分辨率下的图像数据；对第一图像在第一分辨率下的图像数据进行维度转换和线性插值，得到第一图像的第一图像数据，第一图像数据与第一图像在第二分辨率下的图像数据中像素值总数相同，第一图像数据与第一图像在第二分辨率下的图像数据的维度不同，第二分辨率大于第一分辨率；对第一图像数据进行特征提取，得到第一图像的第二图像数据；对第二图像数据进行非线性映射，得到第一图像的第三图像数据，第三图像数据与第一图像在第二分辨率下的图像数据中像素值总数相同，第三图像数据与第一图像数据的维度相同；对第三图像数据进行维度逆转换，得到第一图像在第二分辨率下的图像数据。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像数据处理方法及装置。
背景技术
随着显示技术的发展，图像的分辨率向更高分辨率发展，如图像的分辨率从720P发展到1080P，又从1080P发展到2k，其中P表示像素总行数，如720P表示有720行像素；k表示像素总列数，如2k表示有2000列像素。电子设备在渲染高分辨率图像过程中，保证高分辨率图像的图像质量是一个亟需解决的问题。
发明内容
本申请提供了一种图像数据处理方法，目的在于解决图像质量的问题。
为了实现上述目的，本申请提供了以下技术方案：
第一方面，本申请提供一种图像数据处理方法，方法包括：获得第一图像在第一分辨率下的图像数据；对第一图像在第一分辨率下的图像数据进行维度转换和线性插值，得到第一图像的第一图像数据，第一图像数据中像素值总数大于第一图像在第一分辨率下的图像数据，第一图像数据中像素值总数与第一图像在第二分辨率下的图像数据中像素值总数相同，第一图像数据的维度与第一图像在第二分辨率下的图像数据的维度不同，第二分辨率大于第一分辨率；对第一图像数据进行特征提取，得到第一图像的第二图像数据；对第二图像数据进行非线性映射，得到第一图像的第三图像数据，第三图像数据中像素值总数与第一图像在第二分辨率下的图像数据中像素值总数相同，第三图像数据的维度与第一图像数据的维度相同；对第三图像数据进行维度逆转换，得到第一图像在第二分辨率下的图像数据。
第一图像在第一分辨率下的图像数据经过维度转换和线性插值处理后，得到第一图像数据，第一图像数据中像素值总数与第一图像在第二分辨率下的图像数据中像素值总数相同；再次经过特征提取和非线性映射后，第三图像数据中像素值总数也与第一图像在第二分辨率下的图像数据中像素值总数相同，基于第三图像数据生成的第一图像在第二分辨率下的图像数据与具有第二分辨率的第一图像的真实图像数据相近或尽可能相同，提高第一图像在第二分辨率下的图像数据的数据质量，从而可以提高渲染出的具有第二分辨率的第一图像的图像质量。
可选的，在对第一图像数据进行特征提取，得到第一图像的第二图像数据之后，方法还包括：对第二图像数据进行降通道数处理，降通道数处理使第二图像数据的维度降低，第二图像数据的维度降低，使得第二图像数据中的数据量降低，可以缩短非线性映射的处理时间，降低功耗。
可选的，对第三图像数据进行维度逆转换，得到第一图像在第二分辨率下的图像数据包括：对第一图像数据和第三图像数据进行融合处理，得到融合后的图像数据，融合后的图像数据的维度与第三图像数据的维度相同，融合后的图像数据中像素值总数与第一图像在第二分辨率下的图像数据中像素值总数相同；对融合后的图像数据进行维度逆转换，得到第一图像在第二分辨率下的图像数据。第一图像数据是通过维度转换和线性插值，使得第一图像数据可以记录具有第二分辨率的第一图像的低频信息；第三图像数据是经过特征提取和非线性映射得到，使得第三图像数据可以记录具有第二分辨率的第一图像的高频信息，第一图像数据和第三图像数据融合后使图像数据可记录具有第二分辨率的第一图像的高频信息和低频信息，图像数据精度损失降低，由此可提高渲染出的具有第二分辨率的第一图像的图像质量。其中，低频信息可以是图像数据中变化不明显的信息，如除图像边缘之外的图像信息；高频信息可以是图像数据中变化明显的信息，如图像边缘的图像信息。
可选的，对第一图像数据和第三图像数据进行融合处理，得到融合后的图像数据包括：对第一图像数据和第三图像数据进行相加操作，得到融合后的图像数据；或者，对第一图像数据和第三图像数据进行拼接操作，对拼接后的图像数据进行卷积处理，得到融合后的图像数据；其中，融合后的图像数据的维度是(w/r)*(h/r)*(c*r*r*t*t)，w是第一图像的宽度，h是第一图像的高度，c是第一图像的通道数，r是维度转换的倍数，r是大于1的自然数，维度转换将宽度和高度转换为通道数，t表示第二分辨率和第一分辨率的分辨率倍数关系。
相加操作可以是是第一图像数据和第三图像数据中相同位置的元素的取值求和，相加处理后图像数据的维度维持不变，通过一个简单的相加操作融合第一图像数据和第三图像数据，提高效率；拼接操作是将第一图像数据和第三图像数据连接，如将第一图像数据横向连接在第三图像数据之后。采用拼接方式融合第一图像数据和第三图像数据后，得到的图像数据的维度增大，那么在拼接操作之后调用卷积层对拼接得到的图像数据进行卷积处理，以输出一个维度是(w/r)*(h/r)*(c*r*r*t*t)的图像数据。
可选的，第一图像数据的维度和第一图像在第二分辨率下的图像数据的维度之间的关系是，第一图像数据对应的宽度小于第一图像在第二分辨率下的图像数据对应的宽度、第一图像数据对应的高度小于第一图像在第二分辨率下的图像数据对应的高度、第一图像数据对应的通道数大于第一图像在第二分辨率下的图像数据对应的通道数，实现将对宽度和高度的处理转换为对通道数的处理，对通道数的处理速度大于对宽度和高度的处理速度，因此通过维度转换可以缩短处理时间，降低功耗。
可选的，第一图像在第一分辨率下的图像数据的维度是w*h*c，其中w是第一图像的宽度，h是第一图像的高度，c是第一图像的通道数；第一图像数据和第三图像数据的维度是(w/r)*(h/r)*(c*r*r*t*t)，r是维度转换的倍数，r是大于1的自然数，维度转换将宽度和高度转换为通道数，t表示第二分辨率和第一分辨率的分辨率倍数关系；第一图像在第二分辨率下的图像数据的维度是(w*t)*(h*t)*(c)。
可选的，第二图像数据的维度是(w/r)*(h/r)*n，n是第二图像数据对应的通道数，n大于(c*r*r*t*t)，说明第一图像数据经过特征提取后可以得到维度增加的第二图像数据，例如第二图像数据对应的通道数增加，从而能够从第一图像数据中提取到较为丰富的图像特征。
可选的，对第一图像在第一分辨率下的图像数据进行维度转换和线性插值，得到第一图像的第一图像数据包括：对第一图像在第一分辨率下的图像数据进行维度转换，得到维度转换后的图像数据，维度转换后的图像数据中像素值总数与第一图像在第一分辨率下的图像数据中像素值总数相同，维度转换后的图像数据的维度是(w/r)*(h/r)*(c*r*r)，w是第一图像的宽度，h是第一图像的高度，c是第一图像的通道数，r是维度转换的倍数，r是大于1的自然数；基于预先设置的卷积核参数，对维度转换后的图像数据进行线性插值，得到第一图像数据，第一图像数据的维度是(w/r)*(h/r)*(c*r*r*t*t)，t表示第二分辨率和第一分辨率的分辨率倍数关系。
经过维度转换处理后，维度转换后图像数据对应的宽度和高度降低，对应的通道数增加，一般来说，对通道数的处理速度大于对宽度和高度的处理速度，因此通过维度转换可以缩短处理时间，降低功耗。为了加快线性插值的处理速度，通过卷积处理实现线性插值，通过卷积处理插值出一个维度是(w/r)*(h/r)*(c*r*r*t*t)的第一图像数据，满足第一图像数据中像素值总数与第一图像在第二分辨率下的图像数据中像素值总数相同的条件。
可选的，基于预先设置的卷积核参数，对维度转换后的图像数据进行线性插值，得到第一图像数据包括：基于预先设置的卷积核2*2*(r*r)对维度转换后的图像数据进行(r*r*t*t)次卷积，得到维度是(w/r)*(h/r)*(c*r*r*t*t)的第一图像数据。卷积处理过程中使用的卷积核参数可以根据第二分辨率和第一分辨率图像之间的分辨率倍数关系得到，如卷积核个数或卷积次数可根据第二分辨率和第一分辨率图像之间的分辨率倍数关系得到，例如卷积核个数可以是(r*r*t*t)个或卷积次数可以是(r*r*t*t)次，从而能够对维度转换后的图像数据进行(r*r*t*t)次卷积。线性插值是基于四个像素点的取值进行插值，所以卷积核的维度可以是2*2*(r*r)，卷积核的维度可以维持不变，卷积核中的各元素取值也可以维持不变。
可选的，对第一图像在第一分辨率下的图像数据进行维度转换和线性插值，得到第一图像的第一图像数据包括：基于第一图像在第一分辨率下的图像数据中每四个像素点的像素值，对第一图像在第一分辨率下的图像数据进行线性插值，得到线性插值后的图像数据，线性插值后的图像数据中像素值总数与第一图像在第二分辨率下的图像数据中像素值总数相同，线性插值后的图像数据的维度是(w*t)*(h*t)*(c)，w是第一图像的宽度，h是第一图像的高度，c是第一图像的通道数，t表示第二分辨率和第一分辨率的分辨率倍数关系；对线性插值后的图像数据进行(r*t)倍的维度转换，得到第一图像数据，第一图像数据的维度是(w/r)*(h/r)*(c*r*r*t*t)，r是维度转换的倍数，r是大于1的自然数。虽然线性插值是基于每四个像素点的像素值处理，在一定程度上增加了处理时间，但是经过线性插值后图像数据中像素值总数与第一图像在第二分辨率下的图像数据中像素值总数相同，使得第一图像数据与第一图像在第二分辨率下的图像数据相匹配，从而可以有效地提升具有第二分辨率的第一图像的图像质量。
可选的，对第三图像数据进行维度逆转换，得到第一图像在第二分辨率下的图像数据包括：对第三图像数据进行r*t倍的维度逆转换，得到第一图像在第二分辨率下的图像数据，第三图像数据的维度是(w/r)*(h/r)*(c*r*r*t*t)，第一图像在第二分辨率下的图像数据的维度是(w*t)*(h*t)*(c)，w是第一图像的宽度，h是第一图像的高度，c是第一图像的通道数，r是维度转换的倍数，r是大于1的自然数，维度逆转换将通道数转换为宽度和高度，t表示第二分辨率和第一分辨率的分辨率倍数关系。经过维度逆转换可以得到第一图像在第二分辨率下的图像数据，完成图像数据从第一分辨率至第二分辨率的转换。
可选的，对第一图像数据进行特征提取，得到第一图像的第二图像数据包括：调用至少一个卷积层和至少一个激活函数层，对第一图像数据进行特征提取，得到第一图像的第二图像数据；其中，卷积层对输入的图像数据进行卷积处理，激活函数层对卷积层的输出进行非线性映射，至少一个激活函数层中的最后一个激活函数层输出第二图像数据，卷积层包括多个卷积核，卷积核的个数和卷积核的维度基于第一图像数据对应的通道数确定。
每个卷积层中卷积核的个数可以大于第一图像数据对应的通道数，这样经过卷积层和激活函数层处理后可以提取到较为丰富且有效的图像特征。例如卷积核的个数可以是n，n大于(c*r*r*t*t)，通过n次卷积处理，从第一图像数据中提取到较为丰富且有效的图像特征。卷积核可以是一个3*3*(c*r*r*t*t)的卷积核，也可以是一个5*5*(c*r*r*t*t)的卷积核。
相对应的降通道数处理的一种方式是，调用卷积层对第二图像数据进行卷积处理，卷积层中卷积核的个数小于特征提取时调用的卷积层中卷积核的个数。降通道数处理采用的卷积核可以是一个3*3*n的卷积核，也可以采用一个5*5*n的卷积核，n是第二图像数据对应的通道数。为了防止图像数据呈线性映射，在对第二图像数据进行卷积处理后，可以调用激活函数层进行非线性映射。
可选的，对第二图像数据进行非线性映射，得到第一图像的第三图像数据包括：调用多个卷积层和多个激活函数层，对第二图像数据进行非线性映射，得到第一图像的第三图像数据；其中，卷积层对输入的图像数据进行卷积处理，激活函数层对卷积层的输出进行非线性映射，多个激活函数层中的最后一个激活函数层输出第三图像数据，最后一个卷积层中卷积核的个数基于第三图像数据对应的通道数确定，卷积核的维度基于第二图像数据对应的通道数确定。例如卷积核可以是一个3*3*p的卷积核，p是第二图像数据对应的通道数，如果第二图像数据进行降通道数处理，则p是降通道数处理后的图像数据对应的通道数。为了输出维度是(w/r)*(h/r)*(c*r*r*t*t)的第三图像数据，最后一个卷积层可以使用c*r*r*t*t个卷积核，第一个卷积层至倒数第二个卷积层使用的卷积核可以相同也可以不同，第一个卷积层至倒数第二个卷积层使用的卷积核的个数可以大于c*r*r*t*t，也可以小于c*r*r*t*t。
非线性映射过程中使用的卷积层和激活函数层堆叠的层数越多，能够拟合越复杂的非线性映射，使得第三图像数据越接近具有第二分辨率的第一图像的真实图像数据，提高具有第二分辨率的第一图像的图像质量。无论堆叠层数是多少，非线性映射得到的第三图像数据的维度是(w/r)*(h/r)*(c*r*r*t*t)，使得第三图像数据中像素值总数与第一图像在第二分辨率下的图像数据中像素值总数相同。
可选的，第一图像在第一分辨率下的图像数据输入到超分辨率网络模型中；调用超分辨率网络模型中的第一处理层对第一图像在第一分辨率下的图像数据进行维度转换和线性插值，得到第一图像的第一图像数据；调用超分辨率网络模型中的第二处理层对第一图像数据进行特征提取，得到第一图像的第二图像数据；调用超分辨率网络模型中的第三处理层对第二图像数据进行非线性映射，得到第一图像的第三图像数据，第三图像数据中像素值总数与第一图像在第二分辨率下的图像数据中像素值总数相同，第三图像数据的维度与第一图像数据的维度相同；调用超分辨率网络模型中的第四处理层对第三图像数据进行维度逆转换，输出第一图像在第二分辨率下的图像数据；超分辨率网络模型是基于多个图像数据对和至少一个损失函数训练得到，多个图像数据对包括训练图像在第一分辨率下的图像数据和在第二分辨率下的真实图像数据，至少一个损失函数中的每个损失函数从不同方面对超分辨率网络模型进行约束。
可选的，至少一个损失函数从像素信息、图像特征和高频信息上约束超分辨率网络模型。从像素信息上约束超分辨率网络模型，使超分辨率网络模型渲染出的第一图像在第二分辨率下的图像数据与真实图像数据接近，如像素值接近；从图像特征上约束超分辨率网络模型，超分辨率网络模型输出第一图像在第二分辨率下的图像数据后，基于该图像数据渲染出的具有第二分辨率的第一图像较清晰；从高频信息上约束超分辨率网络模型，超分辨率网络模型输出第一图像在第二分辨率下的图像数据后，基于该图像数据渲染出的具有第二分辨率的第一图像的图像边缘较平滑。
例如L1损失函数：L1损失函数可以从像素值上进行约束，使与真实图像数据中的像素值相接近，渲染出的具有第二分辨率的第一图像与真实的具有第二分辨率的第一图像也较为相似。
感知(Perceptual)损失函数：Perceptual损失函数可以从图像特征上约束，在用户感知上渲染出的具有第二分辨率的第一图像较清晰；
边缘损失函数：边缘损失函数从图像边缘上约束，渲染出的具有第二分辨率的第一图像的图像边缘较平滑。
上述计算公式中，h、w和c为图像的宽度、高度和通道数，(I)i,j,k为真实图像数据中(i,j,k)处的像素值，(I′)i,j,k为超分辨率网络模型输出的图像数据中(i,j,k)处的像素值，I为真实图像数据，I′为超分辨率网络模型输出的图像数据；VGG为一个ImageNet数据集上预训练的图像分类网络，VGGm说明利用VGG网络的前m层，如前5层。sobel是图像处理中常用的索贝尔算子，用于提取图像边缘。
总的损失函数是：L＝L1+w1*Lperceptual+w2*Lsobel，w1和w2是权重，w1和w2的取值可以在训练过程中由用户指定，基于总的损失函数可以得到超分辨率网络模型的损失值，然后基于超分辨率网络模型的损失值，对超分辨率网络模型的模型参数进行调整直至超分辨率网络模型收敛。模型参数可以是特征提取、降通道数处理和非线性映射过程中使用的卷积核参数，基于从像素信息、图像特征和高频信息等方面计算出的损失值调整卷积核参数，以提高卷积核参数的准确度，保证超分辨率网络模型的准确度。
此外，特征提取、降通道数处理和非线性映射可以学习图像在第二分辨率下的高频信息，省去学习图像在第二分辨率下的低频信息，学习的任务/工作量降低，因此超分辨率网络模型在训练时可以提高收敛速度。并且超分辨率网络模型的量化误差主要针对高频信息，使得超分辨率网络模型量化后精度损失较少，推理结果的稳定性得到提升。
可选的，训练图像在第二分辨率下的真实图像数据的获得过程包括：获取训练图像在第二分辨率下的图像数据；将训练图像在第二分辨率下的图像数据输入至第一超分辨率模型中，由第一超分辨率模型得到并输出训练图像在第三分辨率下的图像数据；第三分辨率大于第二分辨率；第一超分辨率模型通过多个样本图像的图像数据对，对神经网络模型进行训练得到；样本图像的图像数据对包括：样本图像在第二分辨率下的图像数据和样本图像在第三分辨率下的图像数据；对训练图像在第三分辨率下的图像数据进行锐化处理，得到训练图像在第三分辨率下的锐化后图像数据；对训练图像在第三分辨率下的锐化后图像数据进行下采样，得到训练图像在第二分辨率下的锐化后图像数据，训练图像在第二分辨率下的锐化后图像数据为训练图像在第二分辨率下的真实图像数据。
通过将训练图像在第二分辨率下的图像数据输入至第一超分辨率模型中，由第一超分辨率模型得到并输出训练图像在第三分辨率下的图像数据的方式，提高训练图像的分辨率，然后对训练图像在第三分辨率下的图像数据进行锐化处理，得到训练图像在第三分辨率下的锐化后图像数据，进一步提高训练图像的清晰度，最后对训练图像在第三分辨率下的锐化后图像数据进行下采样，得到训练图像在第二分辨率下的锐化后图像数据，通过下采样的方式降低分辨率，使得锐化后图像的边缘变得平滑，进而基于训练图像在第二分辨率下的锐化后图像数据可以使得训练图像的清晰度较高，且边缘光滑，具有较高的画质，提高训练图像在第二分辨率下的锐化后图像数据的数据质量，那么基于训练图像在第二分辨率下的锐化后图像数据训练超分辨率网络模型时，超分辨率网络模型输出的图像数据可以使渲染出的图像的清晰度较高，边缘光滑，具有较高的画质。
训练图像在第二分辨率下的图像数据和在第一分辨率下的图像数据的生成过程包括：对训练图像进行第一分辨率渲染处理，同时对训练图像进行第二分辨率渲染处理；在第一分辨率渲染处理的主场景渲染之后，且在第一分辨率渲染处理的抗锯齿处理之前进行第一分辨率数据采集，以获取训练图像在第一分辨率下的图像数据；在第二分辨率渲染处理的抗锯齿处理之后进行第二分辨率数据采集，以获取训练图像在第二分辨率下的图像数据。
通过同时进行第一分辨率渲染处理和第二分辨率渲染处理，得到了真实渲染的在第二分辨率下的图像数据和真实渲染的在第一分辨率下的图像数据，相较于异步采样方式中在第一分辨率下的图像数据不是根据真实渲染处理得到的，确保了图像数据的准确性，且与测试场景在数据上没有偏差，并且同时渲染获取在第二分辨率下的图像数据和在第一分辨率下的图像数据，而不是先获取在第二分辨率下的图像数据，再对在第二分辨率下的图像数据使用双三次线性插值降采样得到在第一分辨率下的图像数据，因此还提升了图像数据的获取效率。
第二方面，本申请提供一种电子设备，电子设备包括：一个或多个处理器存储器；其中，存储器用于存储一个或多个计算机程序代码，计算机程序代码包括计算机指令，当处理器执行计算机指令时，处理器执行上述图像数据处理方法。
第三方面，本申请提供一种计算机存储介质，计算机存储介质包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备中的处理器执行上述图像数据处理方法。
附图说明
图1为本申请提供的一种图像数据处理方法的信令图；
图2为本申请提供的另一种图像数据处理方法的时序图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在用户使用电子设备的过程中，电子设备可以通过显示屏向用户显示一帧帧图像。以视频流为例，一个视频流可以包括多帧图像，电子设备可以在显示屏上依次显示每帧图像，实现在显示屏上显示视频流。其中图像显示可以由电子设备中的应用程序触发，应用程序可以向电子设备发出针对不同图像的渲染命令，电子设备响应渲染命令进行图像的渲染，并基于图像的渲染结果进行显示。
在一些示例中，电子设备可以包括中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-networkProcessing Unit，NPU)、内部存储器和显示屏，内部存储器也可以称为内存。GPU可以渲染低分辨率图像，节省GPU算力。算力更高、能耗更低的NPU辅助完成高分辨率图像渲染，通过主动调用NPU算力，降低电子设备的功耗。并且NPU可以分担GPU的计算量，缩短渲染过程所花费的时间，从而提高度渲染流畅度。
其中高分辨率图像渲染过程包括：CPU将图像分辨率从高分辨率降低至低分辨率，指示GPU生成低分辨率图像的图像数据，GPU将低分辨率图像的图像数据发送给NPU。NPU对低分辨率图像的图像数据进行超分渲染，得到高分辨率图像的图像数据，低分辨率图像和高分辨率图像是同一图像在不同分辨率下的图像，低分辨率图像的图像数据和高分辨率图像的图像数据是同一图像在不同分辨率下的图像数据，每个图像数据的维度可以以图像的宽度、图像的高度和图像的通道数表示。GPU可以基于高分辨率图像的图像数据，在显示屏上渲染出高分辨率图像，NPU得到的高分辨率图像的图像数据决定了高分辨率图像的图像质量，因此保证高分辨率图像的图像质量、满足处理时间要求和功耗要求，是亟需解决的一个问题，处理时间要求可以是处理时间较短、功耗要求可以是功耗低。
针对上述问题，本申请提供一种图像数据处理方法，获得低分辨率图像的图像数据，基于低分辨率图像的图像数据，得到第一图像数据。一种示例中，对低分辨率图像的图像数据进行维度转换，然后对维度转换后的图像数据进行线性插值处理，得到第一图像数据。另一种示例中，对低分辨率图像的图像数据进行线性插值处理，然后对线性插值处理后的图像数据进行维度转换，得到第一图像数据，两个示例中线性插值处理方式不同。其中第一图像数据中像素值总数大于低分辨率图像的图像数据中像素值总数，第一图像数据中像素值总数与高分辨率图像的图像数据中像素值总数相同，但第一图像数据的维度与高分辨率图像的图像数据的维度不同，两者满足的关系是：第一图像数据对应的宽度小于高分辨率图像的图像数据对应的宽度、第一图像数据对应的高度小于高分辨率图像的图像数据对应的高度、第一图像数据对应的通道数大于高分辨率图像的图像数据对应的通道数，图像的高度和宽度用于表示图像的分辨率。
对第一图像数据进行特征提取，得到第二图像数据；对第二图像数据进行非线性映射，得到第三图像数据，其中第三图像数据中像素值总数与第一图像数据中像素值总数相同，第三图像数据的维度和第一图像数据的维度相同。对第三图像数据进行维度逆转换，得到高分辨率图像的图像数据，高分辨率图像的图像数据用于渲染出高分辨率图像，相对于低分辨率图像来说，图像的分辨率从低分辨率提升至高分辨率，使得电子设备可以渲染出高分辨率图像。
低分辨率图像的图像数据经过维度转换和线性插值处理后，得到第一图像数据，第一图像数据中像素值总数与高分辨率图像的图像数据中像素值总数相同；再次经过特征提取和非线性映射后，第三图像数据中像素值总数也与高分辨率图像的图像数据中像素值总数相同，基于第三图像数据生成的高分辨率图像的图像数据与高分辨率图像的真实数据相近或尽可能相同，提高度高分辨率图像的图像数据的数据质量，从而可以提高高分辨率图像的图像质量。
并且第三图像数据的维度与第一图像数据的维度相同，第一图像数据的维度与高分辨率图像的图像数据的维度之间的关系是：第一图像数据对应的宽度小于高分辨率图像的图像数据对应的宽度、第一图像数据对应的高度小于高分辨率图像的图像数据对应的高度、第一图像数据对应的通道数大于高分辨率图像的图像数据对应的通道数，即对宽度和高度的处理转换为对通道数的处理，对通道数的处理速度大于对宽度和高度的处理速度，因此通过维度转换可以缩短处理时间，降低功耗。
此外，本申请提供的图像数据处理方法在得到第二图像数据之后，对第二图像数据进行非线性映射之前，对第二图像数据进行降通道数处理，降低数据量，以加快非线性映射的速度，由此通过降通道数处理可以缩短处理时间，降低功耗。
本申请提供的图像数据处理方法在对第三图像数据进行维度逆转换之前，将第一图像数据和第三图像数据进行融合，然后对融合后的图像数据进行维度逆转换。其中第一图像数据是通过维度转换和线性插值，使得第一图像数据可以记录高分辨率图像的低频信息；第三图像数据是经过特征提取和非线性映射得到，使得第三图像数据可以记录高分辨率图像的高频信息，第一图像数据和第三图像数据融合后使图像数据可记录高分辨率图像的高频信息和低频信息，图像数据精度损失降低，由此可提高高分辨率图像的图像质量。其中，低频信息可以是图像数据中变化不明显的信息，如除图像边缘之外的图像信息；高频信息可以是图像数据中变化明显的信息，如图像边缘的图像信息。
下面对本申请提供的图像数据处理方法进行示例性说明。首先介绍图像处理方法涉及的卷积层和激活函数层进行说明。
卷积层(Convolution Layer)是指对图像数据进行卷积处理的神经元层，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个卷积核，每个卷积核可以由一些矩形排列的神经单元组成。图像数据可以是低分辨率图像中各像素点的取值组成的矩阵或是低分辨率图像的图像数据经过处理后的图像数据，图像数据可以共享一组神经单元，这里共享的神经单元就是卷积核。
在本实施例中，卷积核可以是一个3*3的卷积核，也可以是一个2*2的卷积核，也可以是一个5*5的卷积核等等，不同处理阶段采用的卷积核可能不同，不同处理阶段采用的卷积核的个数也可能不同。卷积层中卷积核的个数可以确定图像数据对应的通道数。卷积层的步长可以确定是否改变图像数据对应的宽度和高度，如果卷积层的步长为1，图像数据经过卷积层处理后，图像数据对应的宽度和高度没有变化；如果卷积层的步长大于1，图像数据经过卷积层处理后，图像数据对应的宽度和高度发生变化。在本实施例中，卷积层的步长可以为1。
激活函数层是对图像数据进行非线性映射的层，激活函数层可以调用激活函数，完成对图像数据的非线性映射。激活函数可以使用线性整流函数(Rectified LinearUnit，ReLU)函数或者ReLU函数的变形函数，如使用leaky ReLU函数。图像数据经过激活函数层的非线性映射后，图像数据对应的通道数、宽度和高度不变。
以NPU实施图像数据处理方法为例进行说明，NPU可以包括S-D(Space To Depth)模块、线性插值模块、特征提取模块、收缩模块、非线性映射模块、残差连接模块和D-S(Depth To Space)模块。NPU在获得低分辨率图像的图像数据后，NPU调用S-D模块、线性插值模块、特征提取模块、收缩模块、非线性映射模块、残差连接模块和D-S模块对低分辨率图像的图像数据进行处理，得到高分辨率图像的图像数据，其过程如图1所示，可以包括以下步骤：
S101、S-D模块获得低分辨率图像的图像数据，对低分辨率图像的图像数据进行维度转换。低分辨率图像的图像数据可以由GPU生成，GPU在生成低分辨率图像的图像数据后，发送给S-D模块，由S-D模块对低分辨率图像的图像数据进行维度转换。
维度转换也可以称为S-D转换，是将图像的宽度和高度转移到图像的通道数上。例如低分辨率图像的图像数据是以张量(矩阵)形式表示，低分辨率图像的图像数据的维度是w*h*c，其中w是图像的宽度，h是图像的高度，c是图像的通道数，那么通过S-D模块的S-D转换后，图像数据的维度发生变化，从w*h*c变为(w/r)*(h/r)*(c*r*r)，其中r表示对低分辨率图像的图像数据进行r倍S-D转换。
以进行2倍S-D转换为例，输入的低分辨率图像的图像数据是一个维度是w*h*c的张量，在经过S-D模块的2倍S-D转换后，S-D模块输出的图像数据是一个维度是(w/2)*(h/2)*(c*2*2)的张量，即输出一个维度是(w/2)*(h/2)*(c*4)的张量。若进行3倍S-D转换，S-D模块对w*h*c的张量进行3倍S-D转换后，输出一个维度是(w/3)*(h/3)*(c*9)的张量。经过S-D模块处理后，图像数据对应的图像的宽度和图像的高度降低，图像的通道数增加，图像的高度和图像的宽度可以表示图像的分辨率，高度和宽度降低也意味着分辨率降低。对于NPU来说，对通道数的处理速度大于对宽度和高度的处理速度，因此通过S-D转换可以缩短处理时间，降低功耗。
S102、线性插值模块对维度转换后的图像数据进行线性插值，得到第一图像数据。其中线性插值的目的是，第一图像数据中像素值总数与高分辨率图像的图像数据中像素值总数相同。
高分辨率图像和低分辨率图像是同一图像在不同分辨率下的图像，假如高分辨率图像和低分辨率图像的分辨率关系是，高分辨率图像的分辨率是低分辨率图像的分辨率的t倍，在低分辨率图像的图像数据的维度是w*h*c时，高分辨率图像的图像数据的维度是(t*w)*(t*h)*c，相对应的像素值总数是(t*w)*(t*h)*c。
若满足第一图像数据中像素值总数与高分辨率图像的图像数据中像素值总数相同，第一图像数据中像素值总数也是(t*w)*(t*h)*c。基于这点，线性插值模块得到的第一图像数据的维度可以是(w/r)*(h/r)*(c*r*r*t*t)。虽然第一图像数据的维度和高分辨率图像的图像数据的维度不同，但是第一图像数据中像素值总数与高分辨率图像的图像数据中像素值总数相同，使得第一图像数据与高分辨率图像的图像数据相匹配，从而可以有效地提升高分辨率图像的图像质量。
在本实施例中，为了加快线性插值的处理速度，线性插值模块可以通过卷积处理实现线性插值。卷积处理过程中使用的卷积核参数可以根据高分辨率图像和低分辨率图像之间的分辨率倍数关系得到，分辨率倍数关系用于指示高分辨率图像的分辨率是低分辨率图像的分辨率的多少倍，分辨率倍数也可以称为线性插值的倍数。
卷积核参数包括卷积核的维度和卷积次数，因为线性插值模块是对维度转换后的图像数据进行线性插值，线性插值是基于四个像素点的取值进行插值，所以卷积核的维度可以是2*2*(r*r)。经过2*2*(r*r)的一次处理后，图像数据的维度从(w/r)*(h/r)*(c*r*r)变为(w/r)*(h/r)*(c)。若得到一个维度是(w/r)*(h/r)*(c*r*r*t*t)，线性插值可基于2*2*(r*r)进行(r*r*t*t)次卷积。
以低分辨率图像的图像数据w*h*c，经过S-D模块的2倍S-D转换为例，经过2倍S-D转换后，输出维度是(w/2)*(h/2)*(c*4)的图像数据。线性插值模块可以基于2*2*4的卷积核对维度是(w/2)*(h/2)*(c*4)的图像数据进行卷积处理，一次卷积处理后得到维度是(w/2)*(h/2)*(c)的图像数据。假如高分辨率图像的分辨率是低分辨率图像的分辨率的1.5倍，线性插值模块可以基于2*2*4的卷积核进行2*2*1.5*1.5＝9次的卷积处理，输出维度是(w/2)*(h/2)*(c*9)的图像数据。假如高分辨率图像的分辨率是低分辨率图像的分辨率的3倍，线性插值模块可以基于2*2*4的卷积核进行2*2*3*3＝36次的卷积处理，输出维度是(w/2)*(h/2)*(c*36)的图像数据。
如果w*h*c经过S-D模块的3倍S-D转换，输出维度是(w/2)*(h/2)*(c*9)的图像数据，线性插值模块可以基于2*2*9的卷积核对维度是(w/2)*(h/2)*(c*9)的图像数据进行卷积处理，一次卷积处理后得到维度是(w/2)*(h/2)*(c)的图像数据。如果高分辨率图像的分辨率是低分辨率图像的分辨率的3倍，线性插值模块可以基于2*2*9的卷积核进行3*3*3*3＝81次的卷积处理。
在本实施例中，线性插值模块可以使用(r*r*t*t)个卷积核完成(r*r*t*t)次卷积。(r*r*t*t)满足一个条件，(r*r*t*t)是整数，这样在还原高分辨率图像的图像数据时便于对通道数进行整数倍的拆分。
S103、特征提取模块对第一图像数据进行特征提取，得到第二图像数据。其中特征提取是为了完成像素空间到图像特征空间的映射。第一图像数据经过特征提取模块处理后，输出的第二图像数据的维度增加，尤其是第二图像数据对应的通道数增加，从而特征提取模块可以从第一图像数据中提取到较为丰富的图像特征。
在本实施例中，特征提取模块可以包括至少一个卷积层和至少一个激活函数层。每个卷积层对图像数据进行卷积处理，激活函数层用于对图像数据进行非线性映射，每个卷积层中卷积核的个数大于第一图像数据对应的通道数，这样经过卷积层和激活函数层处理后可以提取到较为丰富且有效的图像特征。如果特征提取模块包括多个卷积层，两个卷积层通过一个激活函数层连接，最后一个卷积层连接一个激活函数层，由该激活函数层输出图像数据。卷积层输出的图像数据可经过激活函数层的再次处理；激活函数层输出的图像数据可输入到与其连接的下一个卷积层，由下一个卷积层对图像数据继续进行卷积处理。其中卷积核可以是一个3*3*(c*r*r*t*t)的卷积核，也可以是一个5*5*(c*r*r*t*t)的卷积核。
例如第一图像数据是维度是(w/2)*(h/2)*(c*9)的图像数据，特征提取模块使用的卷积核可以是一个3*3*(c*9)的卷积核。假如低分辨率图像是一个RGB图像，低分辨率图像的通道数c＝3，那么第一图像数据是维度是(w/2)*(h/2)*(3*9)的图像数据，通道数是27。特征提取模块为了提取到更多的图像特征，特征提取模块中卷积核的个数可以大于27。例如一种示例中，特征提取模块包括一个卷积层和一个激活函数层，卷积核可以是3*3*(c*9)的卷积核，在c＝3时，卷积核的个数可以是64，特征提取模块输出维度是(w/2)*(h/2)*64的第二图像数据，特征提取模块输出的第二图像数据对应的通道数与卷积核的个数相同。
S104、收缩模块对第二图像数据进行降通道数处理。在经过降通道数处理后，图像数据对应的通道数降低，说明图像数据的维度降低，图像数据的数据量减少，非线性映射模块接收到的数据量减少，从而减少非线性映射模块的处理时间，提高非线性映射模块的处理速度。
降通道数处理的一种方式是，收缩模块调用卷积层对第二图像数据进行卷积处理，收缩模块调用的卷积层中卷积核的个数小于特征提取模块调用的卷积层中卷积核的个数。收缩模块调用的卷积层中卷积核可以是一个3*3*n的卷积核，n是第二图像数据对应的通道数。
例如特征提取模块输出维度是(w/2)*(h/2)*64的第二图像数据，收缩模块可以调用32个3*3*64的卷积核对(w/2)*(h/2)*64的第二图像数据进行卷积处理，输出维度是(w/2)*(h/2)*32的图像数据。
为了防止图像数据呈线性映射，收缩模块在对第二图像数据进行卷积处理后，收缩模块可以调用激活函数层进行非线性映射。即收缩模块可以包括至少一个卷积层和至少一个激活函数层。每个卷积层对图像数据进行卷积处理，激活函数层用于对图像数据进行非线性映射，每个卷积层中卷积核的个数小于第二图像数据对应的通道数，这样经过卷积层和激活函数层处理后可以降低通道数，以降低图像数据的维度。如果特征提取模块包括多个卷积层，两个卷积层通过一个激活函数层连接，最后一个卷积层连接一个激活函数层，由该激活函数层输出图像数据。卷积层输出的图像数据可经过激活函数层的再次处理；激活函数层输出的图像数据可输入到与其连接的下一个卷积层，由下一个卷积层对图像数据继续进行卷积处理。其中，卷积核可以是一个3*3*n的卷积核，n是第二图像数据对应的通道数。卷积核也可以是一个5*5*n的卷积核，对卷积核的形式不进行限定。
S105、非线性映射模块对降通道数处理后的图像数据进行非线性映射，得到第三图像数据。非线性映射模块的非线性映射可以将收缩模块输出的图像数据映射到高分辨率图像的图像数据。
其中映射到高分辨率图像的图像数据的一种实现方式可以是，非线性映射得到的第三图像数据中像素值总数与高分辨率图像的图像数据中像素值总数相同，但第三图像数据的维度与高分辨率图像的图像数据的维度不同，如两者维度满足的关系是：第三图像数据对应的宽度小于高分辨率图像的图像数据对应的宽度、第三图像数据对应的高度小于高分辨率图像的图像数据对应的高度、第三图像数据对应的通道数大于高分辨率图像的图像数据对应的通道数。如一种示例中，第三图像数据的维度是(w/r)*(h/r)*(c*r*r*t*t)，第三图像数据的维度与第一图像数据的维度相同。
在本实施例中，非线性映射模块可以包括多个卷积层和多个激活函数层，多个卷积层和多个激活函数层通过堆叠方式设置，即两个卷积层通过一个激活函数层连接，最后一个卷积层连接一个激活函数层，由最后一个卷积层连接的激活函数层输出第三图像数据。卷积层输出的图像数据可经过激活函数层的再次处理；激活函数层输出的图像数据可输入到与其连接的下一个卷积层，由下一个卷积层对图像数据继续进行卷积处理，通过多个卷积层和多个激活函数层处理得到一个维度是(w/r)*(h/r)*(c*r*r*t*t)的第三图像数据。
其中卷积层可以使用一个3*3*p的卷积核，p是降通道数处理后的图像数据对应的通道数，激活函数层是对图像数据进行非线性映射，激活函数层输出的图像数据的维度与输入到激活函数层的图像数据的维度，因此第三图像数据的维度由多个卷积层控制。
为了输出维度是(w/r)*(h/r)*(c*r*r*t*t)的第三图像数据，最后一个卷积层可以使用c*r*r*t*t个卷积核，第一个卷积层至倒数第二个卷积层使用的卷积核可以相同也可以不同，第一个卷积层至倒数第二个卷积层使用的卷积核的个数可以大于c*r*r*t*t，也可以小于c*r*r*t*t，本实施例不进行限定。
非线性映射模块堆叠的层数越多，能够拟合越复杂的非线性映射，使得第三图像数据越接近高分辨率图像的真实图像数据，提高高分辨率图像的图像质量。无论堆叠层数是多少，非线性映射模块输出的第三图像数据的维度是(w/r)*(h/r)*(c*r*r*t*t)，使得第三图像数据中像素值总数与高分辨率图像的图像数据中像素值总数相同。
例如收缩模块输出维度是(w/2)*(h/2)*32的图像数据。非线性映射模块包括四个卷积层和四个激活函数层，四个卷积层中的前三个卷积层可以使用32个3*3*32的卷积核，最后一个卷积层可以使用9*c个卷积核，这样非线性映射模块输出维度是(w/2)*(h/2)*(9*c)的第三图像数据。假如c＝3，则最后一个卷积层可以使用27个卷积核，输出维度是(w/2)*(h/2)*27的第三图像数据。
S106、残差连接模块对第一图像数据和第三图像数据进行融合。其中第一图像数据是通过维度转换和线性插值，使得第一图像数据可以记录高分辨率图像的低频信息；第三图像数据是经过特征提取和非线性映射得到，使得第三图像数据可以记录高分辨率图像的高频信息，第一图像数据和第三图像数据融合后使图像数据可记录高分辨率图像的高频信息和低频信息，图像数据精度损失降低，由此可提高高分辨率图像的图像质量。
在一种示例中，残差连接模块可以将第一图像数据和第三图像数据相加，相加是第一图像数据和第三图像数据中相同位置的元素的取值求和，相加处理后图像数据的维度维持不变，因此残差连接模块可以输出一个维度是(w/r)*(h/r)*(c*r*r*t*t)的图像数据。
在另一种示例中，残差连接模块可以将第一图像数据和第三图像数据拼接，拼接是将第一图像数据和第三图像数据连接，如将第一图像数据横向连接在第三图像数据之后。残差连接模块采用拼接方式融合第一图像数据和第三图像数据后，得到的图像数据的维度增大，那么残差连接模块还可以调用卷积层对拼接得到的图像数据进行卷积处理，使残差连接模块输出一个维度是(w/r)*(h/r)*(c*r*r*t*t)的图像数据。
S107、D-S模块对融合后的图像数据进行维度逆转换，得到高分辨率图像的图像数据。维度逆转换是维度转换的逆操作，也可以称为D-S转换。D-S转换是将图像的通道数转移到图像的宽度和高度上，相当于是对一个图像数据的维度进行转换。
图像数据经过D-S模式的D-S转换(维度逆转换)后，得到的高分辨率图像的图像数据对应的通道数可以与低分辨率图像的图像数据对应的通道数相同，但是高分辨率图像的图像数据对应的宽度大于低分辨率图像的图像数据对应的宽度、高分辨率图像的图像数据对应的高度大于低分辨率图像的图像数据对应的高度，宽度和高度增大后，图像分辨率也增大，由此通过上述步骤S101至步骤107处理后，得到一个高分辨率图像的图像数据，基于高分辨率图像的图像数据，渲染出高分辨率图像，完成从低分辨率图像到高分辨率图像的转换。
低分辨率图像的图像数据的维度是w*h*c，D-S模块处理的图像数据的维度是(w/r)*(h/r)*(c*r*r*t*t)，D-S模块输出的高分辨率图像的图像数据对应的通道数为c，在D-S转换时，将r*r*t*t转移到宽度和高度上，如D-S模块可以进行r*t倍(整数倍)的D-S转换，经过r*t倍的D-S转换，D-S模块可以将r*t转移到宽度上，将r*t转移到高度上，那么D-S模块输出的高分辨率图像的图像数据的维度是(w*t)*(h*t)*(c)，t表示高分辨率图像和低分辨率图像之间的分辨率倍数关系，基于维度是(w*t)*(h*t)*(c)的图像数据可以生成宽度是(w*t)、高度是(h*t)的图像，相对于宽度是w、高度是h的图像来说分辨率增大t倍，完成从低分辨率图像到高分辨率图像的转换。
以低分辨率图像的图像数据的维度是w*h*c为例，S-D模块对低分辨率图像的图像数据进行2倍S-D转换，输出一个维度是(w/2)*(h/2)*(c*4)的图像数据。高分辨率图像的分辨率是低分辨率图像的分辨率的1.5倍，高分辨率图像的图像数据的维度是(1.5*w)*(1.5*h)*c，像素值总数也是(1.5*w)*(1.5*h)*c，那么线性插值模块输出的第一图像数据中像素值总数为(1.5*w)*(1.5*h)*c时，线性插值模块可以输出一个维度是(w/2)*(h/2)*(c*9)的第一图像数据，(w/2)*(h/2)*(c*9)＝(1.5*w)*(1.5*h)*c。
特征提取模块包括一个卷积层和一个激活函数层，卷积层可以使用64个3*3*(c*9)的卷积核，维度是(w/2)*(h/2)*(c*9)的第一图像数据经过卷积层的卷积处理后，再经过激活函数层的非线性映射处理，输出维度是(w/2)*(h/2)*64的第二图像数据。第二图像数据的通道数是64个，收缩模块可以降低通道数，以减少数据量。例如收缩模块可以包括一个卷积层和一个激活函数层，卷积层可以使用32个3*3*64的卷积核，维度是(w/2)*(h/2)*64的第二图像数据经过卷积层的卷积处理后，再经过激活函数层的非线性映射处理，输出维度是(w/2)*(h/2)*32的图像数据，相对于维度是(w/2)*(h/2)*64的第二图像数据，数据量明显降低。
非线性映射模块可以包括四个卷积层和四个激活函数层，四个卷积层中的前三个卷积层可以使用32个3*3*32的卷积核，最后一个卷积层可以使用9*c个卷积核，这样非线性映射模块输出维度是(w/2)*(h/2)*(9*c)的第三图像数据。残差连接模块对第一图像数据和第三图像数据进行相加，输出维度是(w/2)*(h/2)*(9*c)的图像数据。维度是(w/2)*(h/2)*(9*c)的图像数据由D-S模块进行2*1.5倍(3倍)的D-S转换，输出维度是(1.5*w)*(1.5*h)*c的图像数据，即高分辨率图像的图像数据，基于维度是(1.5*w)*(1.5*h)*c的图像数据可以生成通道数是c、宽度是1.5w、高度是1.5h的图像，相对应通道数是c、宽度是w、高度是h的图像来说，分辨率增加1.5倍，完成从低分辨率图像到高分辨率图像的转换。
上述S-D模块和线性插值模块对图像数据进行处理后，得到的第一图像数据中像素值总数与高分辨率图像的图像数据中像素值总数相同；再次经过特征提取和非线性映射后，第三图像数据中像素值总数也与高分辨率图像的图像数据中像素值总数相同，基于第三图像数据生成的高分辨率图像的图像数据与高分辨率图像的真实数据相近或尽可能相同，提高度高分辨率图像的图像数据的数据质量，从而可以提高高分辨率图像的图像质量。
S-D模块对图像数据进行维度转换后，可以将对宽度和高度的处理转换为对通道数的处理，对通道数的处理速度大于对宽度和高度的处理速度，因此通过维度转换可以缩短处理时间，降低功耗。收缩模块可以对第二图像数据进行降通道数处理，降低数据量，以加快非线性映射的速度，由此通过降通道数处理可以缩短处理时间，降低功耗。
残差连接模块可以将第一图像数据和第三图像数据进行融合，然后对融合后的图像数据进行维度逆转换。其中第一图像数据是通过维度转换和线性插值，使得第一图像数据可以记录高分辨率图像的低频信息；第三图像数据是经过特征提取和非线性映射得到，使得第三图像数据可以记录高分辨率图像的高频信息，第一图像数据和第三图像数据融合后使图像数据可记录高分辨率图像的高频信息和低频信息，图像数据精度损失降低，由此可提高高分辨率图像的图像质量。
图2示出了另一种图像数据处理方法的信令图，图2所示图像数据处理方法可以由NPU实施可以包括以下步骤：
S201、线性插值模块获得低分辨率图像的图像数据，对低分辨率图像的图像数据进行线性插值。线性插值是基于四个像素点的取值进行插值，对低分辨率图像的图像数据进行上采样，以增加图像数据中像素点的个数，通过像素点的个数增加来增加像素值总数。例如基于图像数据中相邻四个像素点的取值插值出一个像素点的取值，使线性插值后图像数据中像素值总数与高分辨率图像的图像数据中像素值总数相同，以保证高分辨率图像的图像质量。
S202、S-D模块对线性插值后的图像数据进行维度转换，得到第一图像数据。
第一图像数据中像素值总数与高分辨率图像的图像数据中像素值总数相同，如果高分辨率图像的图像数据的维度是(t*w)*(t*h)*c，相对应的像素值总数是(t*w)*(t*h)*c，那么S-D模块输出的第一图像数据的维度可以是(w/r)*(h/r)*(c*r*r*t*t)。虽然第一图像数据的维度和高分辨率图像的图像数据的维度不同，但是第一图像数据中像素值总数与高分辨率图像的图像数据中像素值总数相同，使得第一图像数据于高分辨率图像的图像数据相匹配，从而可以有效地提升高分辨率图像的图像质量。
S203、特征提取模块对第一图像数据进行特征提取，得到第二图像数据。
S204、收缩模块对第二图像数据进行降通道数处理。
S205、非线性映射模块对降通道数处理后的图像数据进行非线性映射，得到第三图像数据。
S206、残差连接模块对第一图像数据和第三图像数据进行融合。
S207、D-S模块对融合后的图像数据进行维度逆转换，得到高分辨率图像的图像数据。
在一些示例中，NPU可以调用超分辨率网络模型实施本申请提供的图像数据处理方法，图1所示图像数据处理方法涉及的各个模块作为超分辨率网络模型中的功能模块或网络层，在超分辨率网络模型中输入了低分辨率图像的图像数据后，超分辨率网络模型可以参照图1所示图像数据处理方法，调用超分辨率网络模型中的功能模块或网络层进行处理，输出一个高分辨率图像的图像数据。
当然超分辨率模型中的功能模块或网络层可以是图2所示图像数据处理方法涉及的各个模块，在超分辨率网络模型中输入了低分辨率图像的图像数据后，超分辨率网络模型可以参照图1所示图像数据处理方法，调用超分辨率网络模型中的功能模块或网络层进行处理，输出一个高分辨率图像的图像数据。
其中，超分辨率网络模型利用多个图像数据对训练得到，一个图像数据对包括训练图像在低分辨率下的图像数据和在高分辨率下的图像数据，简称为一个图像数据对包括低分辨率图像的图像数据和高分辨率图像的图像数据，为了与超分辨率网络模型输出的高分辨率图像的图像数据进行区分，图像数据对中的高分辨率图像的图像数据称为高分辨率图像的真实图像数据。
超分辨率网络模型的训练过程是：向超分辨率网络模型输入一个图像数据对中的低分辨率图像的图像数据，超分辨率网络模型输出高分辨率图像的图像数据；基于输出的高分辨率图像的图像数据和图像数据对中的真实图像数据，使用至少一个损失函数计算损失值，基于损失值对超分辨率网络模型的模型参数进行调整，例如对超分辨率模型中卷积层的模型参数(如卷积核)进行调整。
在一种示例中，超分辨率网络模型使用多个损失函数，多个损失函数分别从不同方面对超分辨率网络模型进行约束。例如一个损失函数从像素信息上约束超分辨率网络模型，使超分辨率网络模型渲染出的高分辨率图像的图像数据与真实图像数据接近，如像素值接近；一个损失函数从图像特征上约束超分辨率网络模型，超分辨率网络模型输出高分辨率图像的图像数据后，基于该图像数据渲染出的高分辨率图像较清晰；一个损失函数可以从高频信息上约束超分辨率网络模型，超分辨率网络模型输出高分辨率图像的图像数据后，基于该图像数据渲染出的高分辨率图像的图像边缘较平滑。如多个损失函数的计算公式如下：
L1损失函数：L1损失函数可以从像素值上进行约束，使与真实图像数据中的像素值相接近，渲染出的高分辨率图像与真实的高分辨率图像也较为相似。
感知(Perceptual)损失函数：Perceptual损失函数可以从图像特征上约束，在用户感知上渲染出的高分辨率图像较清晰；
边缘损失函数：边缘损失函数从图像边缘上约束，渲染出的高分辨率图像的图像边缘较平滑。
上述计算公式中，h、w和c为图像的宽度、高度和通道数，(I)i,j,k为真实图像数据中(i,j,k)处的像素值，(I′)i,j,k为超分辨率网络模型输出的图像数据中(i,j,k)处的像素值，I为真实图像数据，I′为超分辨率网络模型输出的图像数据；VGG为一个ImageNet数据集上预训练的图像分类网络，VGGm说明利用VGG网络的前m层，如前5层。sobel是图像处理中常用的索贝尔算子，用于提取图像边缘。
总的损失函数是：L＝L1+w1*Lperceptual+w2*Lsobel，w1和w2是权重，w1和w2的取值可以在训练过程中由用户指定，基于总的损失函数可以得到超分辨率网络模型的损失值，然后基于超分辨率网络模型的损失值，对超分辨率网络模型的模型参数进行调整直至超分辨率网络模型收敛。模型参数可以是特征提取模块、收缩模块和非线性映射模块中卷积核参数。
此外，超分辨率网络模型中的残差连接模块的输入包括第一图像数据和第三图像数据，第一图像数据可以记录高分辨率图像的低频信息；第三图像数据可以记录高分辨率图像的高频信息，那么特征提取模块至非线性映射模块可以学习高分辨率图像的高频信息，省去学习高分辨率图像的低频信息，学习的任务/工作量降低，因此超分辨率网络模型在训练时可以提高收敛速度。并且超分辨率网络模型的量化误差主要针对高频信息，使得超分辨率网络模型量化后精度损失较少，推理结果的稳定性得到提升。
在对超分辨率网络模型进行训练过程中利用了多个图像数据，一个图像数据对包括训练图像在低分辨率下的图像数据和在高分辨率下的真实图像数据，训练图像在高分辨率下的真实图像数据可以是通过一系列处理得到，训练图像是训练样本。一种得到高分辨率下的真实图像数据的过程如下：
1)预配置第一超高分辨率模型，其中，第一超分辨率模型用于对训练图像在高分辨率下的图像数据进行超分辨率渲染，得到训练图像在超高分辨率下的图像数据；训练图像是对超分辨率网络模型进行训练时使用到的一张图像。
2)对第一超分辨率模型进行初始化，通过初始化操作确定是否运行第一超分辨率模型以及如果运行确保第一超分辨率模型可以正常运行。
3)获取训练图像在高分辨率下的图像数据，训练图像在高分辨率下的图像数据是对训练图像进行解析得到。
4)将训练图像在高分辨率下的图像数据输入到运行的第一超分辨率模型中，由第一超分辨率模型对训练图像在高分辨率下的图像数据进行超分辨率渲染，输出训练图像在超高分辨率下的图像数据。
5)对训练图像在超高分辨率下的图像数据进行锐化处理，得到训练图像在超高分辨率下的锐化后图像数据；其中，训练图像在超高分辨率下的锐化后图像数据，分辨率与第一超分辨率模型输出的图像数据一致，但使用锐化处理后，清晰度得到提高。示例性的，训练图像在超高分辨率下的图像数据进行锐化处理的过程可以是：使用锐化算法，对训练图像在超高分辨率下的图像数据进行锐化处理，得到训练图像在超高分辨率下的锐化后图像数据。训练图像在超高分辨率下的图像数据可以理解为是训练图像在超高分辨率下的每一个像素点的数据。像素点的数据包括像素点的位置以及像素点的像素值。锐化算法的具体表达式有很多种，在一些实施例中，可以使用空域的拉普拉斯算子作为锐化算法中的二阶微分算子，基于拉普拉斯算子完成锐化处理。
6)对训练图像在超高分辨率下的锐化后图像数据进行下采样，得到训练图像在高分辨率下的真实图像数据。在一些实施例中，使用下采样算法，对训练图像在超高分辨率下的锐化后图像数据进行下采样，得到训练图像在高分辨率下的高质量图像数据。其中，下采样算法有很多种，例如可以是二次插值下采样、双三次插值下采样等等。在本申请实施例中，可以使用下采样效果较好的双三次插值下采样算法，对训练图像在超高分辨率下的锐化后图像数据进行特定倍数下采样，得到训练图像在高分辨率下的高质量图像数据。使用双三次插值下采样算法，计算点(x，y)下采样后的像素值时，是通过点(x，y)在矩形网格中最近的十六个采样点的像素值加权平均得到。本申请实施例对于下采样算法的具体算法类型不作限制。
其中，训练图像在第二分辨率下的图像数据和在第一分辨率下的图像数据的生成过程包括：对训练图像进行第一分辨率渲染处理，同时对训练图像进行第二分辨率渲染处理；在第一分辨率渲染处理的主场景渲染之后，且在第一分辨率渲染处理的抗锯齿处理之前进行第一分辨率数据采集，以获取训练图像在第一分辨率下的图像数据；在第二分辨率渲染处理的抗锯齿处理之后进行第二分辨率数据采集，以获取训练图像在第二分辨率下的图像数据。
通过同时进行第一分辨率渲染处理和第二分辨率渲染处理，得到了真实渲染的在第二分辨率下的图像数据和真实渲染的在第一分辨率下的图像数据，相较于异步采样方式中在第一分辨率下的图像数据不是根据真实渲染处理得到的，确保了图像数据的准确性，且与测试场景在数据上没有偏差，并且同时渲染获取在第二分辨率下的图像数据和在第一分辨率下的图像数据，而不是先获取在第二分辨率下的图像数据，再对在第二分辨率下的图像数据使用双三次线性插值降采样得到在第一分辨率下的图像数据，因此还提升了图像数据的获取效率。
本实施例还提供一种电子设备，电子设备包括：一个或多个处理器存储器；其中，存储器用于存储一个或多个计算机程序代码，计算机程序代码包括计算机指令，当处理器执行计算机指令时，处理器执行上述图像数据处理方法。
本实施例还提供一种计算机存储介质，计算机存储介质包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备中的处理器执行上述图像数据处理方法。
本实施例还提供了一种控制设备，所述控制设备包括处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述控制设备执行上述图像数据处理方法。该控制设备可以是一个集成电路IC，也可以是一个片上系统SOC。其中集成电路可以是通用集成电路，也可以是一个现场可编程门阵列FPGA，也可以是一个专用集成电路ASIC。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (19)
1.一种图像数据处理方法，其特征在于，所述方法包括：
获得第一图像在第一分辨率下的图像数据；
对所述第一图像在所述第一分辨率下的图像数据进行维度转换和线性插值，得到所述第一图像的第一图像数据，所述第一图像数据中像素值总数大于所述第一图像在所述第一分辨率下的图像数据中像素值总数，所述第一图像数据中像素值总数与所述第一图像在第二分辨率下的图像数据中像素值总数相同，所述第一图像数据的维度与所述第一图像在所述第二分辨率下的图像数据的维度不同，所述第二分辨率大于所述第一分辨率，所述维度转换包括对所述第一图像的宽度、所述第一图像的高度和所述第一图像的通道数的处理，以使得对所述第一图像的宽度和所述第一图像的高度的处理转移到对所述第一图像的通道数的处理；
对所述第一图像数据进行特征提取，得到所述第一图像的第二图像数据；
对所述第二图像数据进行非线性映射，得到所述第一图像的第三图像数据，所述第三图像数据中像素值总数与所述第一图像在所述第二分辨率下的图像数据中像素值总数相同，所述第三图像数据的维度与所述第一图像数据的维度相同；
对所述第三图像数据进行维度逆转换，得到所述第一图像在所述第二分辨率下的图像数据。
2.根据权利要求1所述的方法，其特征在于，在对所述第一图像数据进行特征提取，得到所述第一图像的第二图像数据之后，所述方法还包括：
对所述第二图像数据进行降通道数处理，所述降通道数处理使所述第二图像数据的维度降低。
3.根据权利要求2所述的方法，其特征在于，所述对所述第三图像数据进行维度逆转换，得到所述第一图像在所述第二分辨率下的图像数据包括：
对所述第一图像数据和所述第三图像数据进行融合处理，得到融合后的图像数据，所述融合后的图像数据的维度与所述第三图像数据的维度相同，所述融合后的图像数据中像素值总数与所述第一图像在所述第二分辨率下的图像数据中像素值总数相同；
对所述融合后的图像数据进行维度逆转换，得到所述第一图像在所述第二分辨率下的图像数据。
4.根据权利要求3所述的方法，其特征在于，所述对所述第一图像数据和所述第三图像数据进行融合处理，得到融合后的图像数据包括：
对所述第一图像数据和所述第三图像数据进行相加操作，得到所述融合后的图像数据；
或者
对所述第一图像数据和所述第三图像数据进行拼接操作，对拼接后的图像数据进行卷积处理，得到所述融合后的图像数据；
其中，所述融合后的图像数据的维度是(w/r)*(h/r)*(c*r*r*t*t)，w是所述第一图像的宽度，h是所述第一图像的高度，c是所述第一图像的通道数，r是维度转换的倍数，r是大于1的自然数，所述维度转换将所述宽度和所述高度转换为所述通道数，t表示所述第二分辨率和所述第一分辨率的分辨率倍数关系。
5.根据权利要求1所述的方法，其特征在于，所述第一图像数据的维度和所述第一图像在所述第二分辨率下的图像数据的维度之间的关系是，所述第一图像数据对应的宽度小于所述第一图像在所述第二分辨率下的图像数据对应的宽度、第一图像数据对应的高度小于所述第一图像在所述第二分辨率下的图像数据对应的高度、第一图像数据对应的通道数大于所述第一图像在所述第二分辨率下的图像数据对应的通道数。
6.根据权利要求5所述的方法，其特征在于，所述第一图像在所述第一分辨率下的图像数据的维度是w*h*c，其中w是所述第一图像的宽度，h是所述第一图像的高度，c是所述第一图像的通道数；
所述第一图像数据和所述第三图像数据的维度是(w/r)*(h/r)*(c*r*r*t*t)，r是维度转换的倍数，r是大于1的自然数，所述维度转换将所述宽度和所述高度转换为所述通道数，t表示所述第二分辨率和所述第一分辨率的分辨率倍数关系；
所述第一图像在所述第二分辨率下的图像数据的维度是(w*t)*(h*t)*(c)。
7.根据权利要求6所述的方法，其特征在于，所述第二图像数据的维度是(w/r)*(h/r)*n，n是所述第二图像数据对应的通道数，n大于(c*r*r*t*t)。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述对所述第一图像在所述第一分辨率下的图像数据进行维度转换和线性插值，得到所述第一图像的第一图像数据包括：
对所述第一图像在所述第一分辨率下的图像数据进行维度转换，得到维度转换后的图像数据，所述维度转换后的图像数据中像素值总数与所述第一图像在所述第一分辨率下的图像数据中像素值总数相同，所述维度转换后的图像数据的维度是(w/r)*(h/r)*(c*r*r)，w是所述第一图像的宽度，h是所述第一图像的高度，c是所述第一图像的通道数，r是维度转换的倍数，r是大于1的自然数；
基于预先设置的卷积核参数，对维度转换后的图像数据进行线性插值，得到所述第一图像数据，所述第一图像数据的维度是(w/r)*(h/r)*(c*r*r*t*t)，t表示所述第二分辨率和所述第一分辨率的分辨率倍数关系。
9.根据权利要求8所述的方法，其特征在于，所述基于预先设置的卷积核参数，对维度转换后的图像数据进行线性插值，得到所述第一图像数据包括：
基于预先设置的卷积核2*2*(r*r)对所述维度转换后的图像数据进行(r*r*t*t)次卷积，得到维度是(w/r)*(h/r)*(c*r*r*t*t)的所述第一图像数据。
10.根据权利要求1至7中任一项所述的方法，其特征在于，所述对所述第一图像在所述第一分辨率下的图像数据进行维度转换和线性插值，得到所述第一图像的第一图像数据包括：
基于所述第一图像在所述第一分辨率下的图像数据中每四个像素点的像素值，对所述第一图像在所述第一分辨率下的图像数据进行线性插值，得到线性插值后的图像数据，所述线性插值后的图像数据中像素值总数与所述第一图像在所述第二分辨率下的图像数据中像素值总数相同，所述线性插值后的图像数据的维度是(w*t)*(h*t)*(c)，w是所述第一图像的宽度，h是所述第一图像的高度，c是所述第一图像的通道数，t表示所述第二分辨率和所述第一分辨率的分辨率倍数关系；
对所述线性插值后的图像数据进行(r*t)倍的维度转换，得到所述第一图像数据，所述第一图像数据的维度是(w/r)*(h/r)*(c*r*r*t*t)，r是维度转换的倍数，r是大于1的自然数。
11.根据权利要求1至7中任一项所述的方法，其特征在于，所述对所述第三图像数据进行维度逆转换，得到所述第一图像在所述第二分辨率下的图像数据包括：
对所述第三图像数据进行r*t倍的维度逆转换，得到所述第一图像在所述第二分辨率下的图像数据，所述第三图像数据的维度是(w/r)*(h/r)*(c*r*r*t*t)，所述第一图像在所述第二分辨率下的图像数据的维度是(w*t)*(h*t)*(c)，w是所述第一图像的宽度，h是所述第一图像的高度，c是所述第一图像的通道数，r是所述维度转换的倍数，r是大于1的自然数，所述维度逆转换将所述通道数转换为所述宽度和所述高度，t表示所述第二分辨率和所述第一分辨率的分辨率倍数关系。
12.根据权利要求1至7中任一项所述的方法，其特征在于，所述对所述第一图像数据进行特征提取，得到所述第一图像的第二图像数据包括：
调用至少一个卷积层和至少一个激活函数层，对所述第一图像数据进行特征提取，得到所述第一图像的第二图像数据；
其中，所述卷积层对输入的图像数据进行卷积处理，所述激活函数层对所述卷积层的输出进行非线性映射，所述至少一个激活函数层中的最后一个激活函数层输出所述第二图像数据，所述卷积层包括多个卷积核，所述卷积核的个数和所述卷积核的维度基于所述第一图像数据对应的通道数确定。
13.根据权利要求1至7中任一项所述的方法，其特征在于，所述对所述第二图像数据进行非线性映射，得到所述第一图像的第三图像数据包括：
调用多个卷积层和多个激活函数层，对所述第二图像数据进行非线性映射，得到所述第一图像的第三图像数据；
其中，所述卷积层对输入的图像数据进行卷积处理，所述激活函数层对所述卷积层的输出进行非线性映射，所述多个激活函数层中的最后一个激活函数层输出所述第三图像数据，最后一个卷积层中卷积核的个数基于所述第三图像数据对应的通道数确定，所述卷积核的维度基于所述第二图像数据对应的通道数确定。
14.根据权利要求1至7中任一项所述的方法，其特征在于，所述第一图像在第一分辨率下的图像数据输入到超分辨率网络模型中；
调用所述超分辨率网络模型中的第一处理层对所述第一图像在所述第一分辨率下的图像数据进行维度转换和线性插值，得到所述第一图像的第一图像数据；
调用所述超分辨率网络模型中的第二处理层对所述第一图像数据进行特征提取，得到所述第一图像的第二图像数据；
调用所述超分辨率网络模型中的第三处理层对所述第二图像数据进行非线性映射，得到所述第一图像的第三图像数据，所述第三图像数据中像素值总数与所述第一图像在所述第二分辨率下的图像数据中像素值总数相同，所述第三图像数据的维度与第一图像数据的维度相同；
调用所述超分辨率网络模型中的第四处理层对所述第三图像数据进行维度逆转换，输出所述第一图像在所述第二分辨率下的图像数据；
所述超分辨率网络模型是基于多个图像数据对和至少一个损失函数训练得到，所述多个图像数据对包括训练图像在所述第一分辨率下的图像数据和在所述第二分辨率下的真实图像数据，所述至少一个损失函数中的每个损失函数从不同方面对所述超分辨率网络模型进行约束。
15.根据权利要求14所述的方法，其特征在于，所述至少一个损失函数从像素信息、图像特征和高频信息上约束所述超分辨率网络模型。
16.根据权利要求14所述的方法，其特征在于，所述训练图像在所述第二分辨率下的真实图像数据的获得过程包括：
获取训练图像在第二分辨率下的图像数据；
将所述训练图像在第二分辨率下的图像数据输入至第一超分辨率模型中，由所述第一超分辨率模型得到并输出所述训练图像在第三分辨率下的图像数据；所述第三分辨率大于所述第二分辨率；所述第一超分辨率模型通过多个样本图像的图像数据对，对神经网络模型进行训练得到；所述样本图像的图像数据对包括：样本图像在第二分辨率下的图像数据和所述样本图像在第三分辨率下的图像数据；
对所述训练图像在第三分辨率下的图像数据进行锐化处理，得到所述训练图像在第三分辨率下的锐化后图像数据；
对所述训练图像在第三分辨率下的锐化后图像数据进行下采样，得到所述训练图像在第二分辨率下的锐化后图像数据，所述训练图像在第二分辨率下的锐化后图像数据为所述训练图像在所述第二分辨率下的真实图像数据。
17.根据权利要求16所述的方法，其特征在于，所述训练图像在第二分辨率下的图像数据和在第一分辨率下的图像数据的生成过程包括：
对训练图像进行第一分辨率渲染处理，同时对所述训练图像进行第二分辨率渲染处理；
在所述第一分辨率渲染处理的主场景渲染之后，且在所述第一分辨率渲染处理的抗锯齿处理之前进行第一分辨率数据采集，以获取所述训练图像在第一分辨率下的图像数据；
在所述第二分辨率渲染处理的抗锯齿处理之后进行第二分辨率数据采集，以获取所述训练图像在第二分辨率下的图像数据。
18.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器、一个或多个存储器；其中，所述存储器用于存储一个或多个计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述处理器执行如权利要求1至17中任一项所述的图像数据处理方法。
19.一种计算机存储介质，其特征在于，所述计算机存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备中的处理器执行如权利要求1至17中任一项所述的图像数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210023541.0A CN115526775B (zh) | 2022-01-10 | 2022-01-10 | 图像数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210023541.0A CN115526775B (zh) | 2022-01-10 | 2022-01-10 | 图像数据处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115526775A CN115526775A (zh) | 2022-12-27 |
| CN115526775B true CN115526775B (zh) | 2023-09-22 |
Family
ID=84693854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210023541.0A Active CN115526775B (zh) | 2022-01-10 | 2022-01-10 | 图像数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115526775B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992265A (zh) * | 2019-12-02 | 2020-04-10 | 北京数码视讯科技股份有限公司 | 图像处理方法及模型、模型的训练方法及电子设备 |
| CN112734646A (zh) * | 2021-01-19 | 2021-04-30 | 青岛大学 | 一种基于特征通道划分的图像超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8983177B2 (en) * | 2013-02-01 | 2015-03-17 | Mitsubishi Electric Research Laboratories, Inc. | Method for increasing resolutions of depth images |
-
2022
- 2022-01-10 CN CN202210023541.0A patent/CN115526775B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992265A (zh) * | 2019-12-02 | 2020-04-10 | 北京数码视讯科技股份有限公司 | 图像处理方法及模型、模型的训练方法及电子设备 |
| CN112734646A (zh) * | 2021-01-19 | 2021-04-30 | 青岛大学 | 一种基于特征通道划分的图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115526775A (zh) | 2022-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11734851B2 (en) | Face key point detection method and apparatus, storage medium, and electronic device | |
| US11954822B2 (en) | Image processing method and device, training method of neural network, image processing method based on combined neural network model, constructing method of combined neural network model, neural network processor, and storage medium | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN112396115B (zh) | 基于注意力机制的目标检测方法、装置及计算机设备 | |
| EP3716198A1 (en) | Image reconstruction method and device | |
| EP4105877A1 (en) | Image enhancement method and image enhancement apparatus | |
| EP3923233A1 (en) | Image denoising method and apparatus | |
| CN113066017B (zh) | 一种图像增强方法、模型训练方法及设备 | |
| CN112991171B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| EP4207051A1 (en) | Image super-resolution method and electronic device | |
| CN113066018A (zh) | 一种图像增强方法及相关装置 | |
| CN114049491A (zh) | 指纹分割模型训练、指纹分割方法、装置、设备及介质 | |
| CN114037678A (zh) | 一种基于深度学习的尿液有形成分检测方法及装置 | |
| CN115526775B (zh) | 图像数据处理方法及装置 | |
| WO2020224244A1 (zh) | 一种景深图获取方法及装置 | |
| US20230060988A1 (en) | Image processing device and method | |
| CN113256556A (zh) | 一种图像选择方法及装置 | |
| CN113674383A (zh) | 生成文本图像的方法及装置 | |
| CN115631115B (zh) | 基于递归Transformer的动态图像复原方法 | |
| US12008797B2 (en) | Image segmentation method and image processing apparatus | |
| CN114708144B (zh) | 图像数据处理方法及装置 | |
| WO2022183325A1 (zh) | 视频块处理方法及装置、神经网络的训练方法和存储介质 | |
| US20210350168A1 (en) | Image segmentation method and image processing apparatus | |
| WO2023028866A1 (zh) | 图像处理方法、装置和车辆 | |
| Jasti | Multi-frame Video Prediction with Learnable Temporal Motion Encodings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |