CN109255390B - 训练图像的预处理方法及模块、鉴别器、可读存储介质 - Google Patents

训练图像的预处理方法及模块、鉴别器、可读存储介质 Download PDF

Info

Publication number
CN109255390B
CN109255390B CN201811155252.6A CN201811155252A CN109255390B CN 109255390 B CN109255390 B CN 109255390B CN 201811155252 A CN201811155252 A CN 201811155252A CN 109255390 B CN109255390 B CN 109255390B
Authority
CN
China
Prior art keywords
image
pixels
training
characteristic
equal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811155252.6A
Other languages
English (en)
Other versions
CN109255390A (zh
Inventor
那彦波
朱丹
刘瀚文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201811155252.6A priority Critical patent/CN109255390B/zh
Publication of CN109255390A publication Critical patent/CN109255390A/zh
Priority to AU2019350918A priority patent/AU2019350918B2/en
Priority to JP2020529196A priority patent/JP7415251B2/ja
Priority to MX2020013580A priority patent/MX2020013580A/es
Priority to KR1020207037174A priority patent/KR102661434B1/ko
Priority to PCT/CN2019/083872 priority patent/WO2020062846A1/en
Priority to US16/604,410 priority patent/US11615505B2/en
Priority to BR112020022560-6A priority patent/BR112020022560A2/pt
Priority to EP19850782.4A priority patent/EP3857447A4/en
Priority to RU2020136214A priority patent/RU2762144C1/ru
Priority to EP19850805.3A priority patent/EP3857504A4/en
Priority to JP2020528242A priority patent/JP7463643B2/ja
Priority to US16/614,558 priority patent/US11348005B2/en
Priority to PCT/CN2019/092113 priority patent/WO2020062958A1/en
Priority to US16/614,547 priority patent/US11361222B2/en
Priority to PCT/CN2019/092042 priority patent/WO2020062957A1/en
Priority to EP19850757.6A priority patent/EP3857503A4/en
Priority to JP2020528931A priority patent/JP7446997B2/ja
Priority to PCT/CN2019/107761 priority patent/WO2020063648A1/zh
Priority to US16/759,669 priority patent/US11449751B2/en
Priority to KR1020207014462A priority patent/KR102389173B1/ko
Priority to EP19864756.2A priority patent/EP3859655A4/en
Application granted granted Critical
Publication of CN109255390B publication Critical patent/CN109255390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种训练图像的预处理方法,包括:获取训练图像的第一特征图像;对第一特征图像进行多次图像平移,以得到多个移位图像;移位图像中像素的行、列数与第一特征图像中像素的行、列数对应相同;根据第一特征图像与每个移位图像之间的相关性,生成多个相关性图像,相关性图像中像素的行、列数与第一特征图像中像素的行、列数对应相同;将所述多个相关性图像提供给鉴别网络。本发明还提供一种训练图像的预处理模块、鉴别器、计算机可读存储介质。本发明能够使鉴别器更准确地区分原始的高分辨率样本图像和生成器的输出结果,从而促使生成器能够训练得到更优的参数。

Description

训练图像的预处理方法及模块、鉴别器、可读存储介质
技术领域
本发明涉及图像处理领域,具体涉及一种训练图像的预处理方法方法、训练图像的预处理模块、鉴别器和计算机可读存储介质。
背景技术
在生成式对抗神经网络(Generative Adversarial Networks,GAN)中,生成网络和鉴别网络进行交替训练。生成网络对低分辨率样本图像进行分辨率放大并输出放大结果,鉴别网络可以接收生成网络的输出图像,并输出生成网络的输出图像与原始高分辨率样本图像的匹配度。如果输出为0,则鉴别网络认为其接收到的图像为生成网络的输出结果;若鉴别网络输出为1,则鉴别网络认为其接收到的图像为原始的高分辨率样本图像。通过训练生成网络来使鉴别网络的输出最大化,以使生成网络输出结果更加真实;并且对鉴别网络进行训练,以准确区分原始的高分辨率样本图像和生成网络的输出结果。通过二者的交替训练,从而相互竞争,获得最佳模型。
如何使鉴别网络更准确地区分原始的高分辨率样本图像和生成网络的输出结果,从而促使生成网络能够训练得到更优的参数,成为本领域亟待解决的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一,提出了一种训练图像的预处理方法及模块、鉴别器、计算机可读存储介质。
为了实现上述目的,本发明提供一种训练图像的预处理方法,用于生成式对抗网络的训练过程中,所述生成式对抗网络包括鉴别网络,所述训练图像的预处理方法包括:
获取训练图像的第一特征图像;
对所述第一特征图像进行多次图像平移,以得到多个移位图像;所述移位图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同;
根据所述第一特征图像与每个移位图像之间的相关性,生成多个相关性图像,所述相关性图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同;
将所述多个相关性图像提供给鉴别网络;
其中,所述移位图像的一部分区域中各像素的值与所述第一特征图像的相同大小的区域中各像素的值一一对应相同,所述移位图像的其余区域中的各像素值均为零;或者,所述移位图像的所有像素的值与所述第一特征图像的所有像素的值一一对应相同。
可选地,所述相关性图像中,第i行第j列像素的值为所述第一特征图像中第i行第j列像素的值与所述移位图像中第i行第j列像素的值的乘积;
其中,1≤i≤X,1≤j≤Y,i、j均为整数,X为所述第一特征图像中像素的总行数,Y为所述第一特征图像中像素的总列数。
可选地,每次所述图像平移包括:
将所述第一特征图像的后a列像素沿行方向平移至其余像素之前,得到中间图像;
将所述中间图像的后b行像素沿列方向平移至其余像素之前,得到所述移位图像;
其中,0≤a<Y,0≤b<X,a、b均为整数,X为所述第一特征图像中像素的总行数,Y为所述第一特征图像中像素的总列数;并且,在任意两次图像平移过程中,a、b中至少一者的取值发生改变。
可选地,所述获取训练图像的第一特征图像,包括:
根据所述训练图像的亮度特征生成训练图像的亮度特征图像;
对所述亮度特征图像进行归一化,以得到所述训练图像的第一特征图像。
可选地,所述训练图像为彩色图像,所述亮度特征图像中第i行第j列的像素值P根据以下公式计算:
P=0.299R+0.587G+0.114B
其中,R为训练图像中第i行第j列像素的红色分量值;G为训练图像中第i行第j列像素的绿色分量值;B为训练图像中第i行第j列像素的蓝色分量值;1≤i≤X,1≤j≤Y,i、j均为整数,X为所述训练图像中像素的总行数,Y为所述训练图像中像素的总列数。
可选地,根据以下公式得到所述训练图像的第一特征图像:
Figure BDA0001818813110000031
其中,N为所述训练图像的第一特征图像,I为所述训练图像的亮度特征图像;Blur为高斯模糊运算。
相应地,本发明还提供一种训练图像的预处理模块,用于生成式对抗网络的鉴别器中,所述鉴别器包括鉴别模块,所述训练图像的预处理模块包括:
特征获取单元,用于获取训练图像的第一特征图像;
平移相关单元,用于对所述第一特征图像进行多次图像平移,以得到多个移位图像;并根据所述第一特征图像与每个移位图像之间的相关性,生成多个相关性图像;并将所述多个相关性图像提供给所述鉴别模块;
其中,所述移位图像的一部分区域中各像素的值与所述第一特征图像的相同大小的区域中各像素的值一一对应相同,所述移位图像的其余区域中的各像素值均为零;或者,所述移位图像的所有像素的值与所述第一特征图像的所有像素的值一一对应相同;所述相关性图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同。
可选地,所述相关性图像中,第i行第j列像素的值为所述第一特征图像中第i行第j列像素的值与所述移位图像中第i行第j列像素的值的乘积;
其中,1≤i≤X,1≤j≤Y,i、j均为整数,X为所述第一特征图像中像素的总行数,Y为所述第一特征图像中像素的总列数。
可选地,每次所述图像平移包括:
将所述第一特征图像的后a列像素沿行方向平移至其余像素之前,得到中间图像;
将所述中间图像的后b行像素沿列方向平移至其余像素之前,得到所述移位图像;
其中,0≤a<Y,0≤b<X,a、b均为整数,X为所述第一特征图像中像素的总行数,Y为所述第一特征图像中像素的总列数;并且,在任意两次图像平移过程中,a、b中至少一者的取值发生改变。
可选地,所述特征获取单元包括:
亮度特征获取子单元,用于根据所述训练图像的亮度特征生成训练图像的亮度特征图像;
归一化子单元,用于对所述亮度特征图像进行归一化,以得到所述训练图像的第一特征图像。
可选地,所述训练图像为彩色图像,所述亮度特征图像中第i行第j列的像素值P根据以下公式计算:
P=0.299R+0.587G+0.114B
其中,R为训练图像中第i行第j列像素的红色分量值;G为训练图像中第i行第j列像素的绿色分量值;B为训练图像中第i行第j列像素的蓝色分量值;1≤i≤X,1≤j≤Y,i、j均为整数,X为所述训练图像中像素的总行数,Y为所述训练图像中像素的总列数。
可选地,所述归一化子单元根据以下公式得到所述训练图像的第一特征图像:
Figure BDA0001818813110000041
其中,N为所述训练图像的第一特征图像,I为所述亮度特征图像;Blur为高斯模糊运算。
相应地,本发明还提供一种鉴别器,包括鉴别模块和上述训练图像的预处理模块,
所述鉴别模块具有至少一个输入端,所述鉴别模块用于输出其输入端接收到的图像与相同分辨率的预设标准图像之间的匹配度;
所述训练图像的预处理模块与所述鉴别模块的输入端一一对应,所述训练图像的预处理模块输出的图像提供至所述鉴别模块相应的输入端。
相应地,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述训练图像的预处理方法。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。在附图中:
图1为本发明实施例中提供的训练图像的预处理模块的结构示意图;
图2为一个3*3的第一特征图像中的像素值分布示意图;
图3为对图2的图像进行图像平移后得到的9个移位图像中的每个图像的像素值分布示意图;
图4为采用另一种方式对图2的图像进行图像平移后得到的9个移位图像中的每个图像的像素值分布示意图;
图5为本发明实施例提供的一种训练图像的预处理方法流程图;
图6为本发明实施例提供的另一种训练图像的预处理方法流程图;
图7为本发明实施例提供的一种鉴别器的结构示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
生成式对抗神经网络(Generative Adversarial Networks,GAN网络)是产生真实图像的最先进的技术,在GAN网络中,生成器和鉴别器进行交替训练,从而相互竞争,获得最佳模型。
具体地,在GAN网络中,生成网络用于将输入该生成网络的低分辨率图像进行分辨率提升,得到高分辨率图像。鉴别网络用于确定生成网络的输出结果与预设标准图像的匹配度。其中,鉴别网络可以看作具有打分功能的分类器,其可以对接收到的待鉴别图像进行打分,输出的分数则表示分辨率最高的待鉴别图像为预设标准图像的概率,即,上述匹配度。其中,匹配度可以在0~1之间,当鉴别网络的输出为0或接近0时,表示其接收到的待鉴别图像是由生成网络输出的;当鉴别网络的输出为1或接近1时,表示其接收到的待鉴别图像为预设标准图像。
鉴别网络的打分功能可以利用预先确定分数的“真”样本和“假”样本进行训练。其中,“假”样本为生成网络生成的高分辨率图像,“真”样本为预设标准图像。鉴别网络的训练过程即:通过调整鉴别网络的参数,使得鉴别网络接收到“真”样本时输出接近1的分数;接收到“假”样本时输出接近0的分数。在生成网络的训练过程中,通过调整生成网络的参数,以使生成网络的输出结果输入鉴别网络后,鉴别网络输出尽量接近1的匹配度。通过生成网络和鉴别网络的交替训练,使得鉴别网络不断优化,以尽量鉴别区分开生成网络的输出结果与预设标准图像,而生成网络不断优化,以使输出结果尽可能接近预设标准图像。这种方法使得两个相互“对抗”的模型在每次训练中基于另一模型越来越好的结果而进行竞争和不断改进,以得到越来越优的网络模型。
图1为本发明实施例中提供的训练图像的预处理模块的结构示意图,训练图像的预处理模块用于生成式对抗网络的鉴别器中,所述鉴别器包括鉴别模块。其中,所述鉴别模块为存储有鉴别网络的结构或器件,用于实现上述鉴别网络的功能,即,输出其输入端接收到的图像与相同分辨率的预设标准图像之间的匹配度。而下文提到的生成器则为存储有生成网络的结构或器件,用于实现上文所述的对图像进行分辨率提升。
如图1所示,训练图像的预处理模块100包括特征获取单元110和平移相关单元120。
其中,特征获取单元110用于获取输入至预处理模块100中的训练图像的第一特征图像。所述训练图像为生成网络生成的图像或预设标准图像,所述第一特征图像用于表征训练图像的一种或多种特征。
平移相关单元120用于对所述训练图像的第一特征图像进行多次图像平移,以得到多个移位图像;并根据所述训练图像的第一特征图像与每个移位图像之间的相关性,生成多个相关性图像;并将所述多个相关性图像提供给所述鉴别模块。
其中,图像平移可以看作将第一特征图像基于其初始所在区域进行沿行和/或列方向进行平移,将超出初始所在区域的部分去除;初始所在区域被空出的部分补充为0;或者将超出初始所在区域的部分平移至初始所在区域中被空出的部分。
由此,经过图像平移得到的所述移位图像中,像素的行数与所述训练图像的第一特征图像中像素的行数相同;所述移位图像中像素的列数与所述训练图像的第一特征图像中像素的列数相同。所述移位图像的一部分区域中各像素的值与所述第一特征图像中的相同大小的区域中各像素的值一一对应相同;所述移位图像中其余区域的各像素值均为零。例如,所述移位图像前两行的各像素的值与所述第一特征图像中后两行的各像素的值一一对应相同,移位图像其余行的各像素值均为0。
或者,移位图像中所有像素的值与第一特征图像的所有像素的值一一对应相同。需要注意的是,所谓的“一一对应相同”并不一定是两个图像中相同位置的像素的值相同,也可以是两个图像中不同位置的像素的值相同。
应当理解的是,在进行图像处理时,各图像均以矩阵的形式进行处理,矩阵中各元素值即为图像中相应位置的像素值。两个图像之间的相关性可以为两个图像的矩阵之间进行点对点的相乘,即,相关性图像中第i行第j列像素的值可以为训练图像的第一特征图像第i行第j列的像素值和移位图像中第i行第j列像素的值的乘积。
所述预处理模块100设置在鉴别器的前端位置,使得鉴别器并不直接对生成器的输出图像或原始的高分辨率样本图像进行鉴别、判断,而是对生成器的输出图像或原始的高分辨率样本图像经过预处理模块100后的输出结果进行鉴别、判断。
现有技术在生成式对抗网络的训练中,鉴别器直接对生成器的输出图像和原始的高分辨率样本图像进行鉴别,这样,鉴别器在进行鉴别时,只是考虑了接收到的图像本身的信息;而生成器的输出图像或原始的高分辨率样本图像经过本申请中的平移相关模块的处理后,均会产生更多的图像(即相关性图像),并且,多个相关性图像中,不但携带了图像本身的信息,而且还携带了图像本身与变换后的图像的相关性信息,这样,鉴别器可以判断生成器的输出图像与其变换后的多个图像之间的相关性是否和原始高分辨率样本图像与其变换后的多个图像之间的相关性相同,并且,根据无参考图像质量评价(natural imagequality evaluator,NIQE)指标可知,图像与其变换后的图像之间的相关性会影响主观视觉效果,因此,鉴别器根据预处理模块的输出结果进行鉴别能够使得鉴别结果更加严格,进而促使生成器的参数向更优的方向训练,以使生成器输出结果在视觉上更真实。
在一个实施例中,如图1所示,特征获取单元110包括亮度特征获取子单元111和归一化子单元112。
亮度特征获取子单元111用于根据所述训练图像的亮度特征生成训练图像的亮度特征图像。由于人眼对图像的亮度特征比较敏感,而对其他特征并不敏感,因此,通过提取训练图像的亮度特征,能够去除一些不必要的信息,从而减少运算量。
具体地,所述训练图像为彩色图像,所述亮度特征图像中像素的行、列数与所述训练图像中像素的行、列数对应相同。所述亮度特征图像中第i行第j列的像素值P根据以下公式(1)计算:
P=0.299R+0.587G+0.114B (1)
其中,R为训练图像中第i行第j列像素的红色分量值;G为训练图像中第i行第j列像素的绿色分量值;B为训练图像中第i行第j列像素的蓝色分量值;1≤i≤X,1≤j≤Y,i、j均为整数,X为所述第一特征图像中像素的总行数,Y为所述第一特征图像中像素的总列数。
归一化子单元112用于对所述亮度特征图像进行归一化,归一化后的图像即为所述训练图像的第一特征图像。通过归一化处理后,能够将图像的像素值统一在比较小的数值范围内,防止某些像素值过大或过小,从而更便于相关性的计算。
具体地,归一化子单元112根据以下公式(2)进行所述归一化,以得到所述训练图像的第一特征图像。
Figure BDA0001818813110000091
其中,N为所述第一特征图像,I为所述训练图像的亮度特征图像;Blur为高斯模糊运算。即,Blur(I)表示对第一特征图像进行高斯模糊运算,Blur(I2)表示将第一特征图像中各像素值进行平方得到新的图像,对该新的图像进行高斯模糊运算。μ为经过高斯模糊运算后得到的图像,σ2为局部方差图像(variance normalized image)。
在一个实施例中,每次所述图像平移包括:将所述训练图像的第一特征图像的后a列像素沿行方向平移至其余像素之前,得到中间图像;然后,将所述中间图像的后b行像素沿列方向平移至其余像素之前,得到所述移位图像。其中,0≤a<Y,0≤b<X,a、b均为整数,X为所述训练图像的第一特征图像中像素的总行数,Y为所述第一特征图像中像素的总列数;并且,在任意两次图像平移过程中,a、b中至少一者的取值发生改变。经过这种方式的图像平移,得到的移位图像中,各像素的值与所述第一特征图像的各像素的值一一对应相同;并且,所有移位图像中第i行第j列的像素的值分别来自于第一特征图像中不同位置的像素。
需要说明的是,当a和b同时为0时,则移位图像即为所述训练图像的第一特征图像本身。另外,每次图像平移也可以先将第一特征图像的后b行像素沿列方向平移至其余像素之前,得到中间图像,然后再将中间图像的后a列像素沿行方向平移至其余像素之前,得到移位图像。优选地,图像平移次数为X*Y次(其中,a和b同时为0时也算一次),从而获得X*Y个相关性图像。
图2为一个3*3的第一特征图像中的像素值分布示意图,p1~p9分别表示9个像素的像素值。图3为对图2的图像进行图像平移后得到的9个移位图像中的每个图像的像素值分布示意图。其中,将图2中最上方的一行作为第一行,将图2中最左边的一列作为第一列。以a=1,b=1为例,经过图像平移后得到的移位图像即相当于将最后一列(最右列)的像素移动至第一列像素之前(即,最左侧);之后将最后一行(最下行)的像素移动至第一行像素之前(即,最上方),从而得到如图3中第二行第二列所示的移位图像。
如图2和图3所示,经过平移后,每个像素在各位置出现的可能性在图3的9个移位图像中均有体现,那么,第一特征图像中每个像素与自身的相关性以及与其他各像素的相关性都能够在9个相关性图像中有所体现,那么,一旦生成器的输出图像某个位置的像素值出现偏差,则每张相关性图像与原始高分辨率样本图像相对应的相关性图像都会有误差,这时,鉴别器就会输出较低的匹配度,从而促使生成器朝更优的方向训练,以使得生成器所输出的图像与原始高分辨率样本图像处处一致。
需要说明的是,本发明中的图像平移不限于上述方式,图4为采用另一种方式对图2的图像进行图像平移后得到的9个移位图像中的每个图像的像素值分布示意图。结合图2和图4所示,所述图像平移也可以为:
将所述第一特征图像中后a列像素去除,并在第一列像素之前补a列像素值为0的像素,得到中间图像;将该中间像素的后b行像素去除,并在第一行像素之前补b行像素值0的像素,从而得到移位图像。其中,0≤a<Y,0≤b<X,a、b均为整数,X为所述训练图像的第一特征图像中像素的总行数,Y为所述第一特征图像中像素的总列数;并且,在任意两次图像平移过程中,a、b中至少一者的取值发生改变。
平移相关单元120具体通过将两个图像点对点相乘的方式得到相关性图像,即,相关性图像中,第i行第j列像素的值为所述训练图像的第一特征图像中第i行第j列像素的值与所述移位图像中第i行第j列像素的值的乘积;其中,1≤i≤X,1≤j≤Y,i、j均为整数,X为所述训练图像的第一特征图像中像素的总行数,Y为所述训练图像的第一特征图像中像素的总列数。
图5为本发明实施例提供的一种训练图像的预处理方法流程图,如图5所示,所述训练图像的预处理方法包括:
S1、获取训练图像的第一特征图像。
S2、对所述第一特征图像进行多次图像平移,以得到多个移位图像。所述移位图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同。所述移位图像的一部分区域中各像素的值与所述第一特征图像的相同大小的区域中各像素的值一一对应相同,所述移位图像的其余区域中的各像素值均为零;或者,所述移位图像的所有像素的值与所述第一特征图像的所有像素的值一一对应相同。
S3、根据所述第一特征图像与每个移位图像之间的相关性,生成多个相关性图像,所述相关性图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同。
S4、将所述多个相关性图像提供给鉴别网络。
如上所述,现有技术中鉴别器在进行鉴别时,只是考虑了接收到的图像本身的信息;而本申请中,经过平移和相关性处理后,基于生成器的输出图像或原始的高分辨率样本图像,均会产生更多的图像(即相关性图像),并且,多个相关性图像中,不但携带了图像本身的信息,而且还携带了图像本身与变换后的图像的相关性信息,这样,鉴别器可以判断生成器的输出图像与其变换后的多个图像之间的相关性是否和原始高分辨率样本图像与其变换后的多个图像之间的相关性相同,并且,根据无参考图像质量评价(natural imagequality evaluator,NIQE)指标可知,图像与其变换后的图像之间的相关性会影响主观视觉效果,因此,根据预处理后的输出结果进行鉴别能够使得鉴别结果更加严格,进而促使生成网络的参数向更优的方向训练,以使生成网络输出结果在视觉上更真实。
图6为本发明实施例提供的另一种训练图像的预处理方法流程图,如图6所示,所述训练图像的预处理方法包括步骤S1~S3:
S1、获取训练图像的第一特征图像。具体地,该步骤S1包括:
S11、根据所述训练图像的亮度特征生成训练图像的亮度特征图像。其中,所述训练图像为彩色图像,所述亮度特征图像中第i行第j列的像素值P根据以下公式(1)计算:
I=0.299R+0.587G+0.114B (1)
其中,R为训练图像中第i行第j列像素的红色分量值;G为训练图像中第i行第j列像素的绿色分量值;B为训练图像中第i行第j列像素的蓝色分量值;1≤i≤X,1≤j≤Y,i、j均为整数,X为所述训练图像中像素的总行数,Y为所述训练图像中像素的总列数。
S12、对所述亮度特征图像进行归一化,以得到所述训练图像的第一特征图像。步骤S12具体根据以下公式(2)进行所述归一化:
Figure BDA0001818813110000121
其中,N为所述训练图像的第一特征图像,I为所述训练图像的亮度特征图像;Blur为高斯模糊运算。
S2、对所述第一特征图像进行多次图像平移,以得到多个移位图像。其中,每次图像平移包括:
将所述第一特征图像的后a列像素沿行方向平移至其余像素之前,得到中间图像;之后将所述中间图像的后b行像素沿列方向平移至其余像素之前,得到所述移位图像。其中,0≤a<Y,0≤b<X,a、b均为整数,X为所述第一特征图像中像素的总行数,Y为所述第一特征图像中像素的总列数;并且,在任意两次图像平移过程中,a、b中至少一者的取值发生改变。
如上文所述,每次图像平移也可以为:将所述第一特征图像中后a列像素去除,并在第一列像素之前补a列像素值为0的像素,得到中间图像;将该中间像素的后b行像素去除,并在第一行像素之前补b行像素值0的像素,从而得到移位图像。其中,0≤a<Y,0≤b<X,a、b均为整数,X为所述训练图像的第一特征图像中像素的总行数,Y为所述第一特征图像中像素的总列数;并且,在任意两次图像平移过程中,a、b中至少一者的取值发生改变。
S3、根据所述第一特征图像与每个移位图像之间的相关性,生成多个相关性图像,所述相关性图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同。其中,所述相关性图像中,第i行第j列像素的值为所述第一特征图像中第i行第j列像素的值与所述移位图像中第i行第j列像素的值的乘积;其中,1≤i≤X,1≤j≤Y,i、j均为整数,X为所述第一特征图像中像素的总行数,Y为所述第一特征图像中像素的总列数。
S4、将所述多个相关性图像提供给鉴别网络。
上文已结合训练图像的预处理模块对所述训练图像的预处理方法的原理和过程进行了描述,这里不再赘述。
图7为本发明实施例提供的一种鉴别器的结构示意图,如图7所示,所述鉴别器包括鉴别模块200和上述训练图像的预模块100。所述鉴别模块200具有至少一个输入端In,鉴别模块200用于输出其输入端接收到的图像与相同分辨率的预设标准图像之间的匹配度。训练图像的预处理模块100与鉴别模块200的输入端In一一对应,训练图像的预模块100输出的图像提供至与训练图像的预模块100所对应的输入端In。
如上所述,在生成式对抗网络的训练中,鉴别器并不直接对生成器的输出图像或原始的高分辨率样本图像进行鉴别、判断,而是对生成器的输出图像或原始的高分辨率样本图像经过上述预处理后的输出结果进行鉴别、判断。而生成器的输出图像或原始的高分辨率样本图像经过上述预处理后,均会产生更多的图像(即相关性图像),并且,多个相关性图像中,不但携带了图像本身的信息,而且还携带了图像本身与变换后的图像的相关性信息,从而使得鉴别器的鉴别更加严格,进而促使生成器的参数向更优的方向训练,以使生成器输出结果在视觉上更真实。
图7中示意出了鉴别模块200具有一个输入端In、训练图像的预处理模块100的数量为一个的情况,当然,当生成器基于一个低分辨率图像生成多个分辨率不同的高分辨率图像时,也可以将鉴别模块设置为具有多个输入端,将训练图像的预处理模块100的数量设置为多个,并与鉴别模块的输入端一一对应。这种情况下,生成器输出的多个图像一一对应地提供给训练图像的预处理模块100,训练图像的预处理模块100将生成的多个相关性图像提供给鉴别模块200中与训练图像的预处理模块100相对应的输入端,同一预处理模块100所输出的多个相关性图像可以看做同一个待鉴别图像的各通道的特征图像。鉴别模块200则根据各输入端接收到的图像判断分辨率最高的待鉴别图像与相同分辨率的预设标准图像之间的匹配度。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述训练图像的预处理方法。所述计算机可读存储介质包括但不限于以下可读介质:诸如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、闪存、磁或光数据存储、寄存器、磁盘或磁带、诸如光盘(CD)或DVD(数字通用盘)的光存储介质以及其它非暂时性介质。处理器的示例包括但不限于通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。

Claims (14)

1.一种训练图像的预处理方法,用于生成式对抗网络的训练过程中,所述生成式对抗网络包括鉴别网络,其特征在于,所述训练图像的预处理方法包括:
获取训练图像的第一特征图像;
对所述第一特征图像进行多次图像平移,以得到多个移位图像;所述移位图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同;
根据所述第一特征图像与每个移位图像之间的相关性,生成多个相关性图像,所述相关性图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同;
将所述多个相关性图像提供给鉴别网络;
其中,所述移位图像的一部分区域中各像素的值与所述第一特征图像的相同大小的区域中各像素的值一一对应相同,所述移位图像的其余区域中的各像素值均为零;或者,所述移位图像的所有像素的值与所述第一特征图像的所有像素的值一一对应相同。
2.根据权利要求1所述的训练图像的预处理方法,其特征在于,所述相关性图像中,第i行第j列像素的值为所述第一特征图像中第i行第j列像素的值与所述移位图像中第i行第j列像素的值的乘积;
其中,1≤i≤X,1≤j≤Y,i、j均为整数,X为所述第一特征图像中像素的总行数,Y为所述第一特征图像中像素的总列数。
3.根据权利要求1所述的训练图像的预处理方法,其特征在于,每次所述图像平移包括:
将所述第一特征图像的后a列像素沿行方向平移至其余像素之前,得到中间图像;
将所述中间图像的后b行像素沿列方向平移至其余像素之前,得到所述移位图像;
其中,0≤a<Y,0≤b<X,a、b均为整数,X为所述第一特征图像中像素的总行数,Y为所述第一特征图像中像素的总列数;并且,在任意两次图像平移过程中,a、b中至少一者的取值发生改变。
4.根据权利要求1所述的训练图像的预处理方法,其特征在于,所述获取训练图像的第一特征图像,包括:
根据所述训练图像的亮度特征生成训练图像的亮度特征图像;
对所述亮度特征图像进行归一化,以得到所述训练图像的第一特征图像。
5.根据权利要求4所述的训练图像的预处理方法,其特征在于,所述训练图像为彩色图像,所述亮度特征图像中第i行第j列的像素值P根据以下公式计算:
P=0.299R+0.587G+0.114B
其中,R为训练图像中第i行第j列像素的红色分量值;G为训练图像中第i行第j列像素的绿色分量值;B为训练图像中第i行第j列像素的蓝色分量值;1≤i≤X,1≤j≤Y,i、j均为整数,X为所述训练图像中像素的总行数,Y为所述训练图像中像素的总列数。
6.根据权利要求1所述训练图像的预处理方法,其特征在于,根据以下公式得到所述训练图像的第一特征图像:
Figure FDA0002777407960000021
其中,N为所述训练图像的第一特征图像,I为所述训练图像的亮度特征图像;Blur为高斯模糊运算。
7.一种训练图像的预处理模块,用于生成式对抗网络的鉴别器中,所述鉴别器包括鉴别模块,其特征在于,所述训练图像的预处理模块包括:
特征获取单元,用于获取训练图像的第一特征图像;
平移相关单元,用于对所述第一特征图像进行多次图像平移,以得到多个移位图像;并根据所述第一特征图像与每个移位图像之间的相关性,生成多个相关性图像;并将所述多个相关性图像提供给所述鉴别模块;
其中,所述移位图像的一部分区域中各像素的值与所述第一特征图像的相同大小的区域中各像素的值一一对应相同,所述移位图像的其余区域中的各像素值均为零;或者,所述移位图像的所有像素的值与所述第一特征图像的所有像素的值一一对应相同;所述相关性图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同。
8.根据权利要求7所述的训练图像的预处理模块,其特征在于,所述相关性图像中,第i行第j列像素的值为所述第一特征图像中第i行第j列像素的值与所述移位图像中第i行第j列像素的值的乘积;
其中,1≤i≤X,1≤j≤Y,i、j均为整数,X为所述第一特征图像中像素的总行数,Y为所述第一特征图像中像素的总列数。
9.根据权利要求7所述的训练图像的预处理模块,其特征在于,每次所述图像平移包括:
将所述第一特征图像的后a列像素沿行方向平移至其余像素之前,得到中间图像;
将所述中间图像的后b行像素沿列方向平移至其余像素之前,得到所述移位图像;
其中,0≤a<Y,0≤b<X,a、b均为整数,X为所述第一特征图像中像素的总行数,Y为所述第一特征图像中像素的总列数;并且,在任意两次图像平移过程中,a、b中至少一者的取值发生改变。
10.根据权利要求7所述的训练图像的预处理模块,其特征在于,所述特征获取单元包括:
亮度特征获取子单元,用于根据所述训练图像的亮度特征生成训练图像的亮度特征图像;
归一化子单元,用于对所述亮度特征图像进行归一化,以得到所述训练图像的第一特征图像。
11.根据权利要求10所述的训练图像的预处理模块,其特征在于,所述训练图像为彩色图像,所述亮度特征图像中第i行第j列的像素值P根据以下公式计算:
P=0.299R+0.587G+0.114B
其中,R为训练图像中第i行第j列像素的红色分量值;G为训练图像中第i行第j列像素的绿色分量值;B为训练图像中第i行第j列像素的蓝色分量值;1≤i≤X,1≤j≤Y,i、j均为整数,X为所述训练图像中像素的总行数,Y为所述训练图像中像素的总列数。
12.根据权利要求10所述的训练图像的预处理模块,其特征在于,所述归一化子单元根据以下公式得到所述训练图像的第一特征图像:
Figure FDA0002777407960000041
其中,N为所述训练图像的第一特征图像,I为所述亮度特征图像;Blur为高斯模糊运算。
13.一种鉴别器,其特征在于,包括鉴别模块和权利要求7至12中任意一项所述的训练图像的预处理模块,
所述鉴别模块具有至少一个输入端,所述鉴别模块用于输出其输入端接收到的图像与相同分辨率的预设标准图像之间的匹配度;
所述训练图像的预处理模块与所述鉴别模块的输入端一一对应,所述训练图像的预处理模块输出的图像提供至所述鉴别模块相应的输入端。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任意一项所述的训练图像的预处理方法。
CN201811155252.6A 2018-09-30 2018-09-30 训练图像的预处理方法及模块、鉴别器、可读存储介质 Active CN109255390B (zh)

Priority Applications (22)

Application Number Priority Date Filing Date Title
CN201811155252.6A CN109255390B (zh) 2018-09-30 2018-09-30 训练图像的预处理方法及模块、鉴别器、可读存储介质
AU2019350918A AU2019350918B2 (en) 2018-09-30 2019-04-23 Apparatus and method for image processing, and system for training neural network
JP2020529196A JP7415251B2 (ja) 2018-09-30 2019-04-23 画像処理用の装置及び方法、並びにニューラルネットワークトをトレーニングするシステム
MX2020013580A MX2020013580A (es) 2018-09-30 2019-04-23 Aparato y metodo para procesamiento de imagenes y sistema para entrenamiento de red neuronal.
KR1020207037174A KR102661434B1 (ko) 2018-09-30 2019-04-23 이미지 처리를 위한 장치 및 방법, 및 신경 네트워크를 트레이닝하기 위한 시스템
PCT/CN2019/083872 WO2020062846A1 (en) 2018-09-30 2019-04-23 Apparatus and method for image processing, and system for training neural network
US16/604,410 US11615505B2 (en) 2018-09-30 2019-04-23 Apparatus and method for image processing, and system for training neural network
BR112020022560-6A BR112020022560A2 (pt) 2018-09-30 2019-04-23 aparelho e método para processamento de imagens e sistema para rede neural de treinamento
EP19850782.4A EP3857447A4 (en) 2018-09-30 2019-04-23 Apparatus and method for image processing, and system for training neural network
RU2020136214A RU2762144C1 (ru) 2018-09-30 2019-04-23 Устройство и способ для обработки изображения и система для обучения нейроной сети
US16/614,558 US11348005B2 (en) 2018-09-30 2019-06-20 Apparatus, method, and computer-readable medium for image processing, and system for training a neural network
JP2020528242A JP7463643B2 (ja) 2018-09-30 2019-06-20 画像処理用の装置、方法及びコンピュータ読み取り可能媒体、並びにニューラルネットワークトレーニングシステム
EP19850805.3A EP3857504A4 (en) 2018-09-30 2019-06-20 APPARATUS, METHOD AND COMPUTER READABLE MEDIUM FOR IMAGE PROCESSING, AND NETWORK TRAINING SYSTEM
PCT/CN2019/092113 WO2020062958A1 (en) 2018-09-30 2019-06-20 Apparatus, method, and computer-readable medium for image processing, and system for training a neural network
US16/614,547 US11361222B2 (en) 2018-09-30 2019-06-20 System, method, and computer-readable medium for image classification
PCT/CN2019/092042 WO2020062957A1 (en) 2018-09-30 2019-06-20 System, method, and computer-readable medium for image classification
EP19850757.6A EP3857503A4 (en) 2018-09-30 2019-06-20 SYSTEM, METHOD AND COMPUTER READABLE MEDIA FOR IMAGE CLASSIFICATION
JP2020528931A JP7446997B2 (ja) 2018-09-30 2019-09-25 敵対的生成ネットワークのトレーニング方法、画像処理方法、デバイスおよび記憶媒体
PCT/CN2019/107761 WO2020063648A1 (zh) 2018-09-30 2019-09-25 生成对抗网络训练方法、图像处理方法、设备及存储介质
US16/759,669 US11449751B2 (en) 2018-09-30 2019-09-25 Training method for generative adversarial network, image processing method, device and storage medium
KR1020207014462A KR102389173B1 (ko) 2018-09-30 2019-09-25 생성 적대 네트워크를 위한 트레이닝 방법, 이미지 처리 방법, 디바이스 및 저장 매체
EP19864756.2A EP3859655A4 (en) 2018-09-30 2019-09-25 TRAINING METHOD, IMAGE PROCESSING METHOD, DEVICE AND STORAGE MEDIUM FOR GENERATIVE ADVERSARY NETWORK

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811155252.6A CN109255390B (zh) 2018-09-30 2018-09-30 训练图像的预处理方法及模块、鉴别器、可读存储介质

Publications (2)

Publication Number Publication Date
CN109255390A CN109255390A (zh) 2019-01-22
CN109255390B true CN109255390B (zh) 2021-01-29

Family

ID=65045253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811155252.6A Active CN109255390B (zh) 2018-09-30 2018-09-30 训练图像的预处理方法及模块、鉴别器、可读存储介质

Country Status (1)

Country Link
CN (1) CN109255390B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112020022560A2 (pt) 2018-09-30 2021-06-01 Boe Technology Group Co., Ltd. aparelho e método para processamento de imagens e sistema para rede neural de treinamento
JP7268368B2 (ja) * 2019-01-30 2023-05-08 富士通株式会社 学習装置、学習方法および学習プログラム
CN110910315B (zh) * 2019-04-12 2020-08-11 上海宣宇企业管理有限公司 智能化数据信息匹配系统及方法
CN111340819B (zh) * 2020-02-10 2023-09-12 腾讯科技(深圳)有限公司 图像分割方法、装置和存储介质
CN112613495B (zh) * 2021-03-05 2021-06-01 北京世纪好未来教育科技有限公司 真人视频生成方法、装置、可读存储介质及设备
CN113554606B (zh) * 2021-07-14 2023-04-18 电子科技大学 一种深度学习的图像分析方法
CN115170552A (zh) * 2022-08-02 2022-10-11 京东方科技集团股份有限公司 一种图像质量评估方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9865036B1 (en) * 2015-02-05 2018-01-09 Pixelworks, Inc. Image super resolution via spare representation of multi-class sequential and joint dictionaries
CN108052940A (zh) * 2017-12-17 2018-05-18 南京理工大学 基于深度学习的sar遥感图像水面目标检测方法
CN108416428A (zh) * 2018-02-28 2018-08-17 中国计量大学 一种基于卷积神经网络的机器人视觉定位方法
CN108476291A (zh) * 2017-09-26 2018-08-31 深圳市大疆创新科技有限公司 图像生成方法、图像生成装置和机器可读存储介质
CN108596830A (zh) * 2018-04-28 2018-09-28 国信优易数据有限公司 一种图像风格迁移模型训练方法以及图像风格迁移方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10319076B2 (en) * 2016-06-16 2019-06-11 Facebook, Inc. Producing higher-quality samples of natural images
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9865036B1 (en) * 2015-02-05 2018-01-09 Pixelworks, Inc. Image super resolution via spare representation of multi-class sequential and joint dictionaries
CN108476291A (zh) * 2017-09-26 2018-08-31 深圳市大疆创新科技有限公司 图像生成方法、图像生成装置和机器可读存储介质
CN108052940A (zh) * 2017-12-17 2018-05-18 南京理工大学 基于深度学习的sar遥感图像水面目标检测方法
CN108416428A (zh) * 2018-02-28 2018-08-17 中国计量大学 一种基于卷积神经网络的机器人视觉定位方法
CN108596830A (zh) * 2018-04-28 2018-09-28 国信优易数据有限公司 一种图像风格迁移模型训练方法以及图像风格迁移方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Improved techniques for training gans;SALIMANS T等;《arXiv》;20161231;全文 *
生成式对抗网络研究进展;王万良等;《通信学报》;20180228;第39卷(第2期);全文 *

Also Published As

Publication number Publication date
CN109255390A (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN109255390B (zh) 训练图像的预处理方法及模块、鉴别器、可读存储介质
AU2019350918B2 (en) Apparatus and method for image processing, and system for training neural network
CN108091033B (zh) 一种纸币的识别方法、装置、终端设备和存储介质
CN110969046B (zh) 人脸识别方法、设备及计算机可读存储介质
CN108108753A (zh) 一种基于支持向量机的复选框选择状态的识别方法及装置
CN112528998A (zh) 证件图像处理方法、装置、电子设备及可读存储介质
CN110705531A (zh) 缺失字符检测、缺失字符检测模型的建立方法及装置
CN115035518A (zh) 细胞核图像中荧光染色信号点的识别方法和装置
CN111553290A (zh) 文本识别方法、装置、设备及存储介质
CN113221601A (zh) 字符识别方法、装置及计算机可读存储介质
CN110942067A (zh) 文本识别方法、装置、计算机设备和存储介质
CN105022746B (zh) 一种字库生成的方法、服务器及系统
CN113903041A (zh) 文本识别方法、装置、车辆及存储介质
CN116385443B (zh) 基于图像的样本质量确定方法和装置
CN111311573B (zh) 枝条确定方法、装置及电子设备
CN113239738B (zh) 一种图像的模糊检测方法及模糊检测装置
CN112990225B (zh) 一种复杂环境下的图像目标识别方法及装置
CN116091400A (zh) 一种证件检测方法、装置、电子设备和存储介质
CN111935480B (zh) 一种用于图像获取装置的检测方法及相关装置
CN113132397B (zh) 一种基于深度学习的网络加密流量识别方法、装置及设备
CN111489289B (zh) 一种图像处理方法、图像处理装置及终端设备
CN113326893A (zh) 车牌识别模型的训练、识别方法、装置及电子设备
CN113409278A (zh) 图像质量检测方法、装置、设备及介质
CN116433671B (zh) 一种基于图像识别的胶体金检测方法、系统和存储介质
CN110458024B (zh) 活体检测方法及装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant