CN112258392A - 一种超分辨图像训练方法、装置、介质及设备 - Google Patents

一种超分辨图像训练方法、装置、介质及设备 Download PDF

Info

Publication number
CN112258392A
CN112258392A CN202011133213.3A CN202011133213A CN112258392A CN 112258392 A CN112258392 A CN 112258392A CN 202011133213 A CN202011133213 A CN 202011133213A CN 112258392 A CN112258392 A CN 112258392A
Authority
CN
China
Prior art keywords
definition image
super
low
resolution model
definition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011133213.3A
Other languages
English (en)
Inventor
姚志强
周曦
蔡舒啸
徐亮
蒋韵雯
王彦添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yuncongkaifeng Technology Co Ltd
Original Assignee
Guangzhou Yuncongkaifeng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yuncongkaifeng Technology Co Ltd filed Critical Guangzhou Yuncongkaifeng Technology Co Ltd
Priority to CN202011133213.3A priority Critical patent/CN112258392A/zh
Publication of CN112258392A publication Critical patent/CN112258392A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明的一种超分辨图像训练方法，包括：获取低清图像集；从高清图像库中获取与低清图像匹配的高清图像；其中，匹配指从高清图库中找到与低清图像的相似度最高的高清图像；以从高清图像库中获取的与低清图像匹配的高清图像组成数据对，并以若干所述数据对构成的数据集训练得到超分辨模型。本发明地克服了非成对地低清人脸图像和高清人脸图像难以训练地问题，使用最相似的低清人脸图像和高清人脸图像作为输入，训练超分辨模型。

Description

一种超分辨图像训练方法、装置、介质及设备
技术领域
本发明涉及图像处理领域，具体涉及一种超分辨图像训练方法、装置、介质及设备。
背景技术
由于各种原因，数据库中存在着大量低分辨率图像。并且伴随着锯齿、图像压缩、模糊、颜色失真。如图1所示。
一方面，这些低质量的图像用来训练人脸识别等计算机视觉模型时效果很差；另一方面，高质量的图像获得非常困难，因此还是希望能利用这些低质量图像。
一个解决方法是训练一个超分辨模型将这些低质量图像进行超分辨重建，使其质量接近高分辨率图像。但是超分辨模型的训练需要一组成对的高清与低清图像，但是低质量的图像没有对应的高质量人脸图像，例如，只有图2所示的低分辨率图像，没有图1所示的高分辨率图像。
由于无法获得成对输入，因此无法训练超分辨模型。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种超分辨图像训练方法、装置、机器可读介质及设备，用于解决现有技术存在的问题。
为实现上述目的及其他相关目的，本发明提供一种超分辨模型训练方法，包括：
获取低清图像集；
从高清图像库中获取与低清图像匹配的高清图像；其中，匹配指从高清图库中找到与低清图像的相似度最高的高清图像；
以从高清图像库中获取的与低清图像匹配的高清图像组成数据对，并以若干所述数据对构成的数据集训练得到超分辨模型。
可选地，所述从高清图像库中获取与低清图像匹配的高清图像，包括：
生成低清图像的哈希码与高清图像的哈希码；
根据所述低清图像的哈希码与所述高清图像的哈希码从高清图像库中获取与低清图像匹配的高清图像。
可选地，通过dhash算法、AHash算法、PHash算法或SimHash算法计算低清图像的哈希码和高清图像的哈希码。
可选地，所述超分辨模型包括：依次连接的多个超分辨模块、上采样模块；所述超分辨模块包括依次连接的多个卷积层，每个卷积层具有激活函数。
可选地，以若干所述数据对构成的数据集训练得到超分辨模型，包括：
以低清图像以及与所述低清图像匹配的高清图像作为输入，反复迭代训练超分辨模型，直到超分辨模型的损失小于阈值。
可选地，在超分辨模型的训练过程中，输入低清图像，通过超分辨模型前向传播得到模拟高清图像；通过模拟高清图像和真实高清图像，计算超分辨模型的损失Loss，然后反向传播，更新超分辨模型的参数。
可选地，所述超分辨模型的损失Loss为：
L＝wganLgan+wpixelLpixel
其中，wgan和wpixel表示设定的系数，Lpixel表示像素损失，Lgan表示对抗损失，
Figure RE-GDA0002836878960000021
Figure RE-GDA0002836878960000022
其中，N是像素数量，p1i是模拟高清图像每个RGB像素的值，p2i是真实高清图像每个 RGB像素的值，x是输入图像，G是超分辨模型，D是判别模型，其中，模拟高清图像与相应的真实高清图像为判别模型的输入。
为实现上述目的及其他相关目的，本发明提供一种超分辨模型训练装置，包括：
图像获取模块，用于获取低清图像集；
图像匹配模块，用于从高清图像库中获取与低清图像匹配的高清图像；其中，匹配指从高清图库中找到与低清图像的相似度最高的高清图像；
训练模块，用于以从高清图像库中获取的与低清图像匹配的高清图像组成数据对，并以若干所述数据对构成的数据集训练得到超分辨模型。
可选地，所述图像匹配模块包括：
哈希码生成子模块，用于生成低清图像的哈希码与高清图像的哈希码；
匹配子模块，用于根据所述低清图像的哈希码与所述高清图像的哈希码从高清图像库中获取与低清图像匹配的高清图像。
可选地，所述超分辨模型包括：依次连接的多个超分辨模块、上采样模块；所述超分辨模块包括依次连接的多个卷积层，每个卷积层具有激活函数。
可选地，所述训练模块以低清图像以及与所述低清图像匹配的高清图像作为输入，反复迭代训练超分辨模型，直到超分辨模型的损失小于阈值。
可选地，所述训练模块在超分辨模型的训练过程中，输入低清图像，通过超分辨模型前向传播得到模拟高清图像；通过模拟高清图像和对应的真实高清图像，计算超分辨模型的损失 Loss，然后反向传播，更新超分辨模型的参数。
可选地，所述超分辨模型的损失Loss为：
L＝wganLgan+wpixelLpixel
其中，wgan和wpixel表示设定的系数，Lpixel表示像素损失，Lgan表示对抗损失，
Figure RE-GDA0002836878960000031
Figure RE-GDA0002836878960000032
其中，N是像素数量，p1i是模拟高清图像每个RGB像素的值，p2i是真实高清图像每个 RGB像素的值，x是输入图像，G是超分辨模型，D是判别模型；其中，模拟高清图像与相应的真实高清图像为判别模型的输入。
为实现上述目的及其他相关目的，本发明还提供一种设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。
为实现上述目的及其他相关目的，本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。
如上所述，本发明提供的一种基于人脸相似度的超分辨图像训练方法、装置、机器可读介质及设备、装置、介质及设备，具有以下有益效果：
本发明利用人脸相似性，可以为每一个低质量人脸都找到一个相似的高清人脸，100％地利用了现有低质量人脸图像。
由于使用的哈希码，计算效率高，并且使用了索引，在训练超分辨模型的过程中，寻找最相似人脸导致的性能损失几乎可以忽略不计。
利用人脸的相似性，即使没有同一个人脸的高清、低清成对数据，可以从高清人脸库中匹配一个最相似的人脸组成伪成对数据，因此该方法对任意低质量人脸均有效。
附图说明
图1为高分辨率图像；
图2为低分辨率图像，其中，a为缩放的图像；b为压缩的图像；c为模糊的图像；d为颜色失真的图像；
图3为本发明一实施例一种超分辨图像训练方法的流程图；
图4为本发明一实施例dhash值计算过程；
图5为本发明一实施例超分辨模型网络结构；
图6为本发明一实施例超分辨模型单次迭代的流程；
图7为本发明一实施例超分辨模型完整训练流程图；
图8为本发明一实施例一种超分辨图像训练装置的结构示意图；
图9为本发明一实施例中终端设备的硬件结构示意图；
图10为本发明一实施例中终端设备的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
低清图像：分辨率通常小于或等于128像素x128像素的人脸图像，可能伴随着锯齿、图像压缩、模糊、颜色失真等现象。通常无法用来训练模型。
高清图像：分辨率通常大于或等于512像素x512像素的人脸图像，并且没有锯齿、图像压缩、模糊、颜色失真，人眼看上去自然、清晰。
超分辨模型：一类深度神经网络模型，通常以低清图像、高清图像对作为输入，反复迭代学习低清图像到高清图像的变化规律。训练完成后，能够输入任意低清图像，输出高清图像。
相似度：通常为0-1之间的数值，0表示完全不像，1表示同一个目标。
dhash算法：一种被广泛使用的图像向量化算法，输入图像输出一串01的二进制值。
dhash值：对图像采用dhash算法，得到的值，可以认为是图像的唯一标识，也就是图像的“指纹”，通过比较两幅图像的dhash值，就能判断两幅图像之间的相似度。
如图3所示，一种超分辨模型训练方法，包括：
S31获取低清图像集；
S32从高清图像库中获取与低清图像匹配的高清图像；其中，匹配指从高清图库中找到与低清图像的相似度最高的高清图像；
S33以从高清图像库中获取的与低清图像匹配的高清图像组成数据对，并以若干所述数据对构成的数据集训练得到超分辨模型。
根据高清图像的定义：分辨率通常大于或等于512像素x512像素的图像，并且没有锯齿、图像压缩、模糊、颜色失真，人眼看上去自然、清晰。寻找符合条件的公开图像数据集，构成高清图像库。其中，低清图像可以是低清人脸图像，高清图像可以是高清人脸图像。以人脸图像为例，高清人脸图像库涵盖了各种各样的肤色、性别、年龄。因此几乎总能找到与低清人脸图像最相似的高清人脸图像。
在一实施例中，所述从高清图像库中获取与低清图像匹配的高清图像，包括：
生成低清图像的哈希码与高清图像的哈希码；
根据所述低清图像的哈希码与所述高清图像的哈希码从高清图像库中获取与低清图像匹配的高清图像。
可选地，通过dhash算法、AHash算法、PHash算法或SimHash算法计算低清图像的哈希码和高清图像的哈希码。
下面以dhash算法为例对计算哈希码进行说明，在本实施例中，哈希码为dhash算法计算出的dhash值。
具体的，计算dhash值的过程如图4所示：
将输入图像缩放到8x8像素大小，如果输入图像是RGB彩色图，就转化成灰度图，逐行扫描，计算每一行像素与上一行像素的差。如果差大于0，就置为1，否则置为0。最后得到8x8一共64位的二进制01串，这个就是该图像的dhash值。
其中，低清图像与高清图像相匹配可以理解为，低清图像与该高清图像最相似，即相似最大。两个图像越相似，哈希码的差异就越小。因此以哈希码作为索引可以大大加快相似图像的检索过程。根据数据库索引的原理，理论上不管数据库有多大，都能够在O(1)的时间复杂度内检索出哈希码最相似的高清图像。
因此，可以通过哈希码来匹配高清图像和低清图像。
在高清图像库中找到与低清图像匹配的高清图像后，将高清图像与相应的低清图像构成数据对，以若干所述数据对构成的数据集训练得到超分辨模型，包括：
以低清图像以及与所述低清图像匹配的高清图像作为输入，反复迭代训练超分辨模型，直到超分辨模型的损失小于阈值。
在一实施例中，所述超分辨模型包括：依次连接的多个超分辨模块、上采样模块；所述超分辨模块包括依次连接的多个卷积层，每个卷积层具有激活函数。
具体地，如图5所示，所述超分辨模型包括依次连接的23个超分辨模块和一个上采样模块组成，单个超分辨模块由5个卷积层和5个LeakyRelu层组成。其中，5个卷积层的参数分别是：
卷积层1的输入通道的数量为64、输出通道的数量为64、步长为1；
卷积层2的输入通道的数量为64、输出通道的数量为64、步长为1；
卷积层3的输入通道的数量为64、输出通道的数量为64、步长为1；
卷积层4的输入通道的数量为64、输出通道的数量为128、步长为1；
卷积层5的输入通道的数量为128、输出通道的数量为64、步长为1；
5个LeakyRelu层的参数均为0.2。
在一实施例中，在超分辨模型的训练过程中，输入低清图像，通过超分辨模型前向传播得到模拟高清图像；通过模拟高清图像和真实高清图像，计算超分辨模型的损失Loss，然后反向传播，更新超分辨模型的参数。
在一实施例中，所述超分辨模型的损失Loss为：
L＝wganLgan+wpixelLpixel
其中，wgan和wpixel表示设定的系数，Lpixel表示像素损失，Lgan表示对抗损失，
Figure RE-GDA0002836878960000071
Figure RE-GDA0002836878960000072
其中，N是像素数量，p1i是模拟高清图像每个RGB像素的值，p2i是真实高清图像每个 RGB像素的值，x是输入图像，G是超分辨模型，D是判别模型；
判别模型为一个剔除了全连接层后的VGG19模型，其中，模拟高清图像与相应的真实高清图像为判别模型的输入。VGG19模型结构是公开的，因此这里不再赘述。
图6显示了超分辨模型训练过程中单次迭代的流程，网络在训练过程中，输入低清图像，通过模型前向传播得到模拟高清图像。用模拟高清图像和真实高清图像，计算Loss，然后反向传播，更新模型的参数。如图7所示，反复进行上述操作，直到超分辨模型的损失函数小于指定阈值，超分辨模型训练结束。
将训练好的超分辨模型部署到线上环境输入低清图像，输出高清图像。
本发明基于相似度，以低清图像和最相似的高清图像作为输入，训练超分辨模型。由于采用了高清人脸dhash索引技术，在时间复杂度上，接近传统的成对低清、高清图像训练。同时，超分辨模型的效果也能接近传统的成对低清、高清图像训练的效果。
因此，本发明中的方法能够利用现有数据库中的低清图像，生成高清图像。考虑到高清人脸图像能够提升几乎所有下游模型的性能，如人脸识别，人脸比对，行人重识别的，本申请提出的方法将具有巨大的商业价值。
如图8所示，一种超分辨模型训练装置，包括：
图像获取模块81，用于获取低清图像集；
图像匹配模块82，用于从高清图像库中获取与低清图像匹配的高清图像；其中，匹配指从高清图库中找到与低清图像的相似度最高的高清图像；
训练模块83，用于以从高清图像库中获取的与低清图像匹配的高清图像组成数据对，并以若干所述数据对构成的数据集训练得到超分辨模型。
在一实施例中，所述图像匹配模块包括：
哈希码生成子模块，用于生成低清图像的哈希码与高清图像的哈希码；
匹配子模块，用于根据所述低清图像的哈希码与所述高清图像的哈希码从高清图像库中获取与低清图像匹配的高清图像。
在一实施例中，所述超分辨模型包括：依次连接的多个超分辨模块、上采样模块；所述超分辨模块包括依次连接的多个卷积层，每个卷积层具有激活函数。
在一实施例中，所述训练模块以低清图像以及与所述低清图像匹配的高清图像作为输入，反复迭代训练超分辨模型，直到超分辨模型的损失小于阈值。
在一实施例中，所述训练模块在超分辨模型的训练过程中，输入低清图像，通过超分辨模型前向传播得到模拟高清图像；通过模拟高清图像和对应的真实高清图像，计算超分辨模型的损失Loss，然后反向传播，更新超分辨模型的参数。
在一实施例中，所述超分辨模型的损失Loss为：
L＝wganLgan+wpixelLpixel
其中，wgan和wpixel表示设定的系数，Lpixel表示像素损失，Lgan表示对抗损失，
Figure RE-GDA0002836878960000081
Figure RE-GDA0002836878960000082
其中，N是像素数量，p1i是模拟高清图像每个RGB像素的值，p2i是真实高清图像每个 RGB像素的值，x是输入图像，G是超分辨模型，D是判别模型；其中，模拟高清图像与相应的真实高清图像为判别模型的输入。
在本实施例中，该装置实施例与前述的方法实施例相对应，具体功能和技术效果参照上述实施例即可，此处不再赘述。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1 所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3， Moving Picture Experts GroupAudio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4， Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块 (programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。
图5为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线 1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图6为本申请的一个实施例提供的终端设备的硬件结构示意图。图6是对图5在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1 所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件 1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200 可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200 可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风 (MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录 GPRS网络，通过互联网与服务器建立通信。
由上可知，在图6实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口 1207、传感器组件1208均可以作为图5实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (15)

1.一种超分辨模型训练方法，其特征在于，包括：
获取低清图像集；
从高清图像库中获取与低清图像匹配的高清图像；其中，匹配指从高清图库中找到与低清图像的相似度最高的高清图像；
以从高清图像库中获取的与低清图像匹配的高清图像组成数据对，并以若干所述数据对构成的数据集训练得到超分辨模型。
2.根据权利要求1所述的超分辨模型训练方法，其特征在于，所述从高清图像库中获取与低清图像匹配的高清图像，包括：
生成低清图像的哈希码与高清图像的哈希码；
根据所述低清图像的哈希码与所述高清图像的哈希码从高清图像库中获取与低清图像匹配的高清图像。
3.根据权利要求2所述的超分辨模型训练方法，其特征在于，通过dhash算法、AHash算法、PHash算法或SimHash算法计算低清图像的哈希码和高清图像的哈希码。
4.根据权利要求1所述的超分辨模型训练方法，其特征在于，所述超分辨模型包括：依次连接的多个超分辨模块、上采样模块；所述超分辨模块包括依次连接的多个卷积层，每个卷积层具有激活函数。
5.根据权利要求1所述的超分辨模型训练方法，其特征在于，以若干所述数据对构成的数据集训练得到超分辨模型，包括：
以低清图像以及与所述低清图像匹配的高清图像作为输入，反复迭代训练超分辨模型，直到超分辨模型的损失小于阈值。
6.根据权利要求5所述的超分辨模型训练方法，其特征在于，在超分辨模型的训练过程中，输入低清图像，通过超分辨模型前向传播得到模拟高清图像；通过模拟高清图像和真实高清图像，计算超分辨模型的损失Loss，然后反向传播，更新超分辨模型的参数。
7.根据权利要求6所述的超分辨模型训练方法，其特征在于，所述超分辨模型的损失Loss为：
L＝wganLgan+wpixelLpixel
其中，wgan和wpixel表示设定的系数，Lpixel表示像素损失，Lgan表示对抗损失，
Figure FDA0002735827310000021
Figure FDA0002735827310000022
其中，N是像素数量，p1i是模拟高清图像每个RGB像素的值，p2i是真实高清图像每个RGB像素的值，x是输入图像，G是超分辨模型，D是判别模型，其中，模拟高清图像与相应的真实高清图像为判别模型的输入。
8.一种超分辨模型训练装置，其特征在于，包括：
图像获取模块，用于获取低清图像集；
图像匹配模块，用于从高清图像库中获取与低清图像匹配的高清图像；其中，匹配指从高清图库中找到与低清图像的相似度最高的高清图像；
训练模块，用于以从高清图像库中获取的与低清图像匹配的高清图像组成数据对，并以若干所述数据对构成的数据集训练得到超分辨模型。
9.根据权利要求8所述的超分辨模型训练装置，其特征在于，所述图像匹配模块包括：
哈希码生成子模块，用于生成低清图像的哈希码与高清图像的哈希码；
匹配子模块，用于根据所述低清图像的哈希码与所述高清图像的哈希码从高清图像库中获取与低清图像匹配的高清图像。
10.根据权利要求8所述的超分辨模型训练装置，其特征在于，所述超分辨模型包括：依次连接的多个超分辨模块、上采样模块；所述超分辨模块包括依次连接的多个卷积层，每个卷积层具有激活函数。
11.根据权利要求8所述的超分辨模型训练装置，其特征在于，所述训练模块以低清图像以及与所述低清图像匹配的高清图像作为输入，反复迭代训练超分辨模型，直到超分辨模型的损失小于阈值。
12.根据权利要求11所述的超分辨模型训练装置，其特征在于，所述训练模块在超分辨模型的训练过程中，输入低清图像，通过超分辨模型前向传播得到模拟高清图像；通过模拟高清图像和对应的真实高清图像，计算超分辨模型的损失Loss，然后反向传播，更新超分辨模型的参数。
13.根据权利要求12所述的超分辨模型训练装置，其特征在于，所述超分辨模型的损失Loss为：
L＝wganLgan+wpixelLpixel
其中，wgan和wpixel表示设定的系数，Lpixel表示像素损失，Lgan表示对抗损失，
Figure FDA0002735827310000031
Figure FDA0002735827310000032
其中，N是像素数量，p1i是模拟高清图像每个RGB像素的值，p2i是真实高清图像每个RGB像素的值，x是输入图像，G是超分辨模型，D是判别模型；其中，模拟高清图像与相应的真实高清图像为判别模型的输入。
14.一种设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-7中一个或多个所述的方法。
15.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-7中一个或多个所述的方法。
CN202011133213.3A 2020-10-21 2020-10-21 一种超分辨图像训练方法、装置、介质及设备 Pending CN112258392A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011133213.3A CN112258392A (zh) 2020-10-21 2020-10-21 一种超分辨图像训练方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011133213.3A CN112258392A (zh) 2020-10-21 2020-10-21 一种超分辨图像训练方法、装置、介质及设备

Publications (1)

Publication Number Publication Date
CN112258392A true CN112258392A (zh) 2021-01-22

Family

ID=74263061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011133213.3A Pending CN112258392A (zh) 2020-10-21 2020-10-21 一种超分辨图像训练方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN112258392A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022143921A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 一种图像重建方法、相关装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973111A (en) * 1988-09-14 1990-11-27 Case Western Reserve University Parametric image reconstruction using a high-resolution, high signal-to-noise technique
CN105701515A (zh) * 2016-01-18 2016-06-22 武汉大学 一种基于双层流形约束的人脸超分辨率处理方法及系统
CN110870283A (zh) * 2017-05-10 2020-03-06 Pq解决方案有限公司 数据验证
CN111507900A (zh) * 2020-04-09 2020-08-07 上海云从汇临人工智能科技有限公司 一种图像处理方法、系统、机器可读介质及设备
CN111626932A (zh) * 2020-05-07 2020-09-04 Tcl华星光电技术有限公司 图像的超分辨率重建方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973111A (en) * 1988-09-14 1990-11-27 Case Western Reserve University Parametric image reconstruction using a high-resolution, high signal-to-noise technique
CN105701515A (zh) * 2016-01-18 2016-06-22 武汉大学 一种基于双层流形约束的人脸超分辨率处理方法及系统
CN110870283A (zh) * 2017-05-10 2020-03-06 Pq解决方案有限公司 数据验证
CN111507900A (zh) * 2020-04-09 2020-08-07 上海云从汇临人工智能科技有限公司 一种图像处理方法、系统、机器可读介质及设备
CN111626932A (zh) * 2020-05-07 2020-09-04 Tcl华星光电技术有限公司 图像的超分辨率重建方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨思琦: "基于生成对抗网络的超分辨率重建算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022143921A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 一种图像重建方法、相关装置及系统

Similar Documents

Publication Publication Date Title
CN107633218B (zh) 用于生成图像的方法和装置
US20210241498A1 (en) Method and device for processing image, related electronic device and storage medium
CN112052792B (zh) 一种跨模型人脸识别方法、装置、设备及介质
CN112200318B (zh) 一种目标检测方法、装置、机器可读介质及设备
CN111047509A (zh) 一种图像特效处理方法、装置及终端
CN108898549A (zh) 图片处理方法、图片处理装置及终端设备
CN112734910A (zh) 基于rgb单图实时人脸三维图像重建方法、装置及电子设备
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
CN108985215B (zh) 一种图片处理方法、图片处理装置及终端设备
CN112101252B (zh) 一种基于深度学习的图像处理方法、系统、设备及介质
CN114399814A (zh) 一种基于深度学习的遮挡物移除和三维重建方法
CN112258392A (zh) 一种超分辨图像训练方法、装置、介质及设备
CN115984949B (zh) 一种带有注意力机制的低质量人脸图像识别方法及设备
CN112115954A (zh) 一种特征提取方法、装置、机器可读介质及设备
CN107221019B (zh) 图表转换方法及装置
CN111383289A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN111818364B (zh) 视频融合方法、系统、设备及介质
CN110929767B (zh) 一种字形处理方法、系统、设备和介质
CN113240780B (zh) 生成动画的方法和装置
CN112257561B (zh) 一种人脸活体检测方法、装置、机器可读介质及设备
WO2022178975A1 (zh) 基于噪声场的图像降噪方法、装置、设备及存储介质
CN111507900A (zh) 一种图像处理方法、系统、机器可读介质及设备
CN115937338B (zh) 图像处理方法、装置、设备及介质
CN111710011B (zh) 一种漫画生成方法、系统、电子设备及介质
CN115714888B (zh) 视频生成方法、装置、设备与计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122

RJ01 Rejection of invention patent application after publication