CN109727201A - 信息处理设备、图像处理方法以及存储介质 - Google Patents
信息处理设备、图像处理方法以及存储介质 Download PDFInfo
- Publication number
- CN109727201A CN109727201A CN201711041648.3A CN201711041648A CN109727201A CN 109727201 A CN109727201 A CN 109727201A CN 201711041648 A CN201711041648 A CN 201711041648A CN 109727201 A CN109727201 A CN 109727201A
- Authority
- CN
- China
- Prior art keywords
- image
- deblurring
- model
- training
- training set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 40
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 222
- 238000012545 processing Methods 0.000 claims abstract description 68
- 230000009977 dual effect Effects 0.000 claims abstract description 60
- 230000033001 locomotion Effects 0.000 claims description 39
- 238000013527 convolutional neural network Methods 0.000 claims description 33
- 238000009792 diffusion process Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 description 28
- 238000000034 method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 14
- 230000004069 differentiation Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006854 communication Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本公开提供了信息处理设备、图像处理方法以及存储介质。该信息处理设备包括处理器，所述处理器被配置为进行将目标图像输入到训练后的去模糊模型、以及利用去模糊模型对目标图像进行去模糊处理的操作，其中，训练后的去模糊模型经由下述对抗训练得到：通过判别模型对清晰图像训练集中的图像以及由去模糊模型对模糊图像训练集中的图像进行去模糊处理得到的生成图像进行区分，而对去模糊模型和判别模型进行对抗训练，其中，模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合。
Description
技术领域
本公开总体上涉及图像处理领域，具体而言，涉及能够实现图像去模糊处理的信息处理设备、图像处理方法以及存储介质。
背景技术
随着诸如移动电话或个人计算机及其应用的发展，导致诸如数字文档图像等大量图像的产生。由于多种原因，图像中可能存在模糊的现象。例如，在获取图像的装置为手持摄像装置时，由于抖动可能造成获取的图像的散焦。又例如，在拍摄图像时，如果图像拍摄装置与拍摄对象之间存在相对运动，也可能造成图像的模糊，这在光照水平较低以及曝光时间较长的情况下尤为严重。此外，可能还存在其他类型的模糊。以拍摄的文档图像为例，即使是轻微的模糊都会给后续的文本分割和字符识别带来很多困难。因此，去除模糊从而恢复清晰的图像具有重要的应用价值。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于对从模糊图像恢复清晰图像的需求，本发明的目的之一是提供一种能够实现图像去模糊处理的信息处理设备、图像处理方法以及存储介质，其可以从模糊图像恢复清晰图像。
根据本公开的一个方面，提供了一种信息处理设备，其包括处理器，所述处理器被配置为进行将目标图像输入到训练后的去模糊模型、以及利用去模糊模型对目标图像进行去模糊处理的操作，其中，训练后的去模糊模型经由下述对抗训练得到：通过判别模型对清晰图像训练集中的图像以及由去模糊模型对模糊图像训练集中的图像进行去模糊处理得到的生成图像进行区分，而对去模糊模型和判别模型进行对抗训练，其中，模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合。
根据本公开的另一方面，提供了一种图像处理方法，该图像处理方法包括将目标图像输入到训练后的去模糊模型、以及利用去模糊模型对目标图像进行去模糊处理，其中，训练后的去模糊模型经由下述对抗训练得到：通过判别模型对清晰图像训练集中的图像以及由去模糊模型对模糊图像训练集中的图像进行去模糊处理得到的生成图像进行区分，而对去模糊模型和判别模型进行对抗训练，其中，模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合。
根据本公开的又一方面，提供了一种图像处理设备，该图像处理设备包括输入单元和去模糊处理单元，输入单元用于将目标图像输入到训练后的去模糊模型，去模糊处理单元用于利用去模糊模型对目标图像进行去模糊处理，其中，训练后的去模糊模型经由下述对抗训练得到：通过判别模型对清晰图像训练集中的图像以及由去模糊模型对模糊图像训练集中的图像进行去模糊处理得到的生成图像进行区分，而对去模糊模型和判别模型进行对抗训练，其中，模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合。
依据本公开的其它方面，还提供了一种使得计算机实现如上所述的图像处理方法的程序。
依据本公开的又一方面，还提供了相应的存储介质，其存储有机器可读取的指令代码，所述指令代码在由机器读取并执行时，能够使得机器执行上述图像处理方法。所述指令代码包括指令代码部分，用于将目标图像输入到训练后的去模糊模型、以及利用去模糊模型对目标图像进行去模糊处理，其中，训练后的去模糊模型经由下述对抗训练得到：通过判别模型对清晰图像训练集中的图像以及由去模糊模型对模糊图像训练集中的图像进行去模糊处理得到的生成图像进行区分，而对去模糊模型和判别模型进行对抗训练，其中，模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合。
上述根据本公开实施例的各个方面，至少能够获得以下益处：利用本公开所提供的信息处理设备、图像处理方法以及存储介质，能够对图像进行去模糊处理，而无需在去模糊模型内部精确估计导致图像模糊的模糊核。
通过以下结合附图对本公开的最佳实施例的详细说明，本公开的这些以及其他优点将更加明显。
附图说明
本公开可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：
图1是示意性地示出根据本公开实施例的信息处理设备的处理器所执行的操作的示例流程的流程图。
图2是用于说明如何获得在本公开实施例的信息处理设备的处理器的操作中所利用的去模糊模型的对抗训练的原理的示意图。
图3A和图3B示意性地示出了去模糊模型和判别模型的对抗训练中所使用的示例清晰图像集和示例模糊图像集。
图4是用于说明对去模糊模型和判别模型进行对抗训练的示例处理的示意图。
图5是示意性地示出对去模糊模型和判别模型进行对抗训练的示例处理的流程图。
图6A和图6B示意性地示出了由根据本公开实施例的信息处理设备进行处理之前的模糊图像以及进行处理之后得到的清晰图像的示例。
图7是示意性地示出根据本公开实施例的图像处理设备的示例结构的示意性框图。
图8是示出了可用来实现根据本公开实施例的信息处理设备以及图像处理方法和设备的一种可能的硬件配置的结构简图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
根据本公开的一个方面，提供了一种信息处理设备，其包括处理器，该处理器可以被配置为进行与图像去模糊处理相关的一系列操作。
图1是示意性地示出根据本公开实施例的信息处理设备的处理器所执行的操作100的示例流程的流程图。
如图1所示，处理器所执行的操作100可以包括：目标图像输入操作S101，将目标图像输入到训练后的去模糊模型；以及去模糊处理操作S103，利用去模糊模型对目标图像进行去模糊处理。在操作S103中所使用的训练后的去模糊模型是经由下述对抗训练得到的：通过判别模型对清晰图像训练集中的图像以及由去模糊模型对模糊图像训练集中的图像进行去模糊处理得到的生成图像进行区分，而对去模糊模型和判别模型进行对抗训练，其中，模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合。
利用上述构成“生成对抗式网络”的去模糊模型(也可称为“生成模型”)和判别模型，能够对图像进行去模糊处理，而无需在去模糊模型内精确估计导致图像模糊的模糊核等。
在一个优选实施例中，在完成对抗训练之后，判别模型难以区分清晰图像训练集中的图像和生成图像。
参照图2，可以更好地理解如何获得在根据本公开实施例的信息处理设备的处理器的操作中所利用的去模糊模型。图2是用于说明如何获得在根据本公开实施例的信息处理设备的处理器的操作中所利用的去模糊模型的对抗训练的示意图。
如图2所示，一方面，模糊图像训练集中的图像z被输入到去模糊模型G，经由去模糊模型G的去模糊处理后，得到生成图像G(z)，其输入到判别模型D中。上述模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合，例如使用至少一种模糊核对清晰图像进行卷积而得到的模糊图像的集合，其中清晰图像可以采用清晰图像训练集中的图像，也可以使用其他的清晰图像。另一方面，清晰图像训练集中的清晰图像x也输入到判别模型D中。判别模型D在输入的生成图像G(z)和清晰图像x之间进行区分。
在对抗训练过程中，优化去模糊模型G和判别模型D的参数，使得去模糊模型G试图把输入的模糊图像恢复成清晰的生成图像G(z)以使判别模型D发生误判；而判别模型D则努力区分来自清晰图像训练集中的、真实的清晰图像和经由去模糊模型G对模糊图像的去模糊处理而获得的生成图像G(z)。经过这样的对抗训练，可以得到具有良好去模糊效果的去模糊模型G。
在一个优选实施例中，在完成对抗训练之后，判别模型难以区分清晰图像训练集中的图像和生成图像。
作为示例，清晰图像训练集、模糊图像训练集、以及目标图像可以各自包括文档图像。图3A和图3B分别示意性地示出了在根据本公开实施例的信息处理设备的处理器的操作中所利用的去模糊模型的对抗训练中所使用的示例清晰图像训练集和示例模糊图像训练集，其各自包括文档图像。
注意，出于处理速度和训练效率等考量，在对抗训练中可以使用分别从清晰图像训练集和模糊图像训练集中获得的、预定尺寸的图像块。换言之，图3A和图3B分别示出了来自示例清晰图像训练集和示例模糊图像训练集的图像块。以清晰图像训练集和模糊图像训练集各自均包括文档图像为例，考虑到字符在不同文档中的尺寸不同等因素，图像块的尺寸可选取为m*n，例如100*100。作为示例，可以考虑图像中梯度较大的图像区域作为所选图像块。
在一个优选实施例中，去模糊模型可以包括基于卷积神经网络(CNN)的图像生成器。
作为示例，以下表1示出了作为去模糊模型的基于CNN的图像生成器的示例结构。表1示出了8层的卷积神经网络结构，其中每一行示出了卷积神经网络中的一层的配置。
表1
表1的CNN图像生成器包括8层，其中，第1层至第7层均为“卷积+修正线性单元(ReLu)+批归一化(BN)”结构，用于特征提取，而第8层为“卷积+双曲正切(TanH)”结构，用于基于前面提取的特征获得生成图像。在第2层至第6层中，使用了CNN对于图像处理常用3*3的卷积核，但在第1、7、8层使用了7*7的卷积核，以覆盖更大的视野。在全部8层中，步长(Stride)均为1，以保持原始输入图像的大小。另外，在第1层到第5层中，特征图的数量愈来愈大，以实现对输入图像的渐进抽象过程；在第6层到第8层中，特征图数量逐渐减小，最后减小为3，以得到3通道(RGB)的输出图像作为生成图像。
此外，在一个优选实施例中，判别模型可以包括基于卷积神经网络CNN的分类器。对输入的生成图像和来自清晰图像训练集的图像的区分可以视为该分类器进行的二分类问题。参照图2的示例，在判别模型D为基于CNN的分类器的情况下，其可以针对输入的生成图像G(z)和清晰图像训练集中的图像x分别输出D(G(z))和D(x)作为判别结果，该输出为0到1之间的概率值，概率值小于0.5的判别结果表示来自去模糊模型的生成图像，而概率值大于0.5的判别结果表示来自清晰图像训练集的图像。
作为示例，以下表2示出了作为判别模型的基于CNN的分类器的示例结构。表2示出了8层的卷积神经网络结构，其中每一行示出了卷积神经网络中的一层的配置。
表2
表2的CNN分类器包括8层，其中，第1层为输入图像层；第2层至第5层均为“卷积(conv)+修正线性单元(Laeaky ReLu)+池化(stride2)+批归一化(BN)”结构，用于特征提取；第6层为全连接层，其用于特征拟合；第7层为平整化(Flatten)层，用于将全连接层获得的特征展开；而第8层为逻辑回归损失(LR loss)层，用于基于平整化层展开的特征来预测每个类的可能性。在第2层到第5层中，特征图数量愈来愈大，以实现对输入图像的高层抽象。在第6层中，特征图数量为1，以实现全连接。另外，在第2层至第5层中，均使用了常规的4*4的卷积核，并且使用了步长(Stride)为2的配置，以实现池化(即下采样，以减少针对上层的计算)。
注意，尽管以上参照表1、表2描述了基于CNN的图像生成器和分类器的示例结构，但本领域技术人员可以理解，可以采用任意其他合适结构的基于CNN的图像生成器和分类器，或者可以采用并非基于CNN的图像生成器和分类器，只要其能够分别实现对图像进行去模糊处理以及对输入图像进行分类的功能即可。
利用例如表1、表2所示的基于CNN的图像生成器和分类器，经由例如图2所示的对抗训练，可以获得能够对模糊图像进行良好去模糊处理的图像生成器作为去模糊模型。
如此前所说明的，在对抗训练中使用的模糊图像训练集中的图像可以用至少一种模糊核对清晰图像进行卷积得到。
在一个优选实施例中，上述至少一种模糊核可以包括与运动模糊相对应的模糊核、与散焦模糊相对应的模糊核、和/或与不规则模糊相对应的模糊核。
更具体地，与运动模糊相对应的模糊核(以下也可称为运动模糊核)可以包括与第一预定范围内随机选择的运动长度以及第二预定范围内随机选择的运动角度相对应的模糊核，而与散焦模糊相对应的模糊核(以下也可称为散焦模糊核)可以包括与第三预定范围内随机选择的散焦半径相对应的模糊核。
在一个示例中，运动模糊核的运动长度l∈(0,14]像素的第一范围，运动角度θ∈[0°,180°]的第二预定范围；散焦模糊核的散焦半径r∈[0,6]像素的第三预定范围。可以分别基于相应的预定范围来随机生成运动模糊核和/或散焦模糊核。
此外，与不规则模糊相对应的模糊核可以包括：与第四预定范围内随机选择的方差相对应的高斯点扩散函数的模糊核(以下也可称为高斯点扩散模糊核)；和/或将与第一预定范围内随机选择的运动长度以及第二预定范围内随机选择的运动角度相对应的模糊核、与第三预定范围内随机选择的散焦半径相对应的模糊核、以及与第四预定范围内随机选择的方差相对应的高斯点扩散函数的模糊核当中的两个或更多个相同种类或不同种类的模糊核叠加而获得的模糊核(以下也可称为叠加模糊核)。
在一个示例中，假设高斯点扩散模糊核的方差δ∈[0,1]的第四预定范围。可以基于第四预定范围内随机取值的方差来随机生成高斯点扩散模糊核。另外，可以将按以上描述的方式随机生成的运动模糊核、散焦模糊核、高斯点扩散模糊核中的两个或更多个相同种类或不同种类的模糊核进行叠加，以获得叠加模糊核。
可以从清晰图像训练集中随机选择清晰图像或以其他方式获得所需的清晰图像，并利用上述随机生成的运动模糊核、散焦模糊核、高斯点扩散模糊核、叠加模糊核中的一种或更多种的模糊核对清晰图像进行卷积，以获得模糊训练集中的图像。所获得的模糊训练集中的图像被输入到判别模型中。另一方面，清晰图像训练集中的清晰图像也输入到判别模型中。
通过对去模糊模型和判别模型进行对抗训练之后，去模糊模型能够对相应种类的模糊核导致的模糊进行良好的去模糊处理，而无需分辨输入的目标图像是由哪种模糊核导致的模糊(即无需复杂的精确估计模糊核的过程)，并且也无需一般去模糊处理中所需要的由粗略到精细的迭代清晰化过程，因而简化了去模糊模型的处理，同时能够实现对目标图像的良好去模糊效果。
作为示例，以下将参照图4和图5描述对抗训练的示例处理。图4是用于说明对去模糊模型和判别模型进行的对抗训练的示例处理的示意图，图5是示意性地示出对去模糊模型和判别模型进行对抗训练的示例处理的流程图。
与图2类似地，图4中示出清晰图像训练集中的图像x直接输入到判别模型D，模糊图像训练集中的图像z经由去模糊模型G的处理得到生成图像G(z)，并输入到判别模型D中，由判别模型D对所输入的两种图像进行区分。
在本示例中，去模糊模型G和判别模型D例如可以分别是此前讨论的基于卷积神经网络的图像生成器和分类器，诸如此前参照表1和表2描述的图像生成器和分类器。这样，判别模型D对图像x和生成图像G(z)的区分可以视为二分类问题，并且输出0到1之间的概率值作为分类结果D(x)或D(G(z))，其中，小于0.5的概率值表示分类结果为生成图像，而大于0.5的概率值表示分类结果为清晰图像训练集中的图像。
为了进行对抗训练，可以构建损失函数l1和l2来表示判别模型D对两种图像进行分类的逻辑回归损失(也可称为LR损失，即Logistic Regression Loss)，即，l1＝log(D(x))，l2＝log(1-D(G(z)))。基于l1和l2来构建判别模型D的损失函数lD＝l1+l2＝log(D(x))+log(1-D(G(z)))以及去模糊模型G的损失函数lG＝l2＝log(1-D(G(z)))，并基于损失函数lD和lG来优化两个模型的参数。
如图5所示，在进行对抗训练的处理500中，交替进行去模糊模型的训练和判别模型的训练，直到判别模型难以区分利用去模糊模型所得到的生成图像与清晰图像训练集中的图像为止。
具体地，首先，如图5中的步骤S501所示，单独训练判别模型D。作为示例，当首次进入步骤S501时，判别模型D和去模糊模型G的初始参数可以是随机设置的；在此后的迭代中，以上一次迭代获得的优化参数作为模型的初始参数。步骤S501中的训练可认为是对二分类的分类器的有监督训练，而不涉及去模糊模型G的参数的任何改变。即，在步骤S501的处理中，将清晰图像训练集中的图像x和利用去模糊模型G对模糊训练图像的处理得到的生成图像G(z)分别标记以“1”、“0”的标签，再将这些带有标签的图像输入到判别模型D中进行分类。
由于D(x)表示对真正的清晰图像x(“真样本”)的分类概率值，D(G(z))表示利用去模糊模型得到的生成图像G(z)(“假样本”)的分类概率值，因此D(x)越大、D(G(z))越小表示分类结果越准确。相应地，在步骤S501中，以使得判别模型D的损失函数lD＝log(D(x))+log(1-D(G(z)))获得最大值为目标，对判别模型D进行训练，并在损失函数lD获得最大值时获得判别模型D的优化参数，例如表2所示示例中CNN各层的卷积核的参数等，即获得优化的判别模型D。这里，可以使用任意的训练基于CNN网络的分类器的现有方法来实现对判别模型D的上述训练，在此不再赘述。
在获得优化的判别模型D之后，图5中的处理500进入到下一步骤S503，在此进行去模糊模型G和判别模型D的串接网络的训练，以在判别模型D的参数保持不变(即保持为步骤S501中获得的优化参数)的情况下，更新去模糊模型G的参数。由于此时的训练仅更新去模糊模型G的参数，因此也可如图5的步骤S503所示，简称为对去模糊模型G的训练。
在步骤S503的处理中，将经由去模糊模型G对模糊训练图像的处理之后的生成图像G(z)(“假样本”)的标签也标记为“1”，并将生成图像G(z)输入到判别模型D中。为了优化去模糊模型G使得其能够迷惑判别模型D，希望判别模型D输出的概率值D(G(z))越大越好，即希望去模糊模型G的损失函数lG＝log(1-D(G(z)))越小越好。相应地，在步骤S503中，以使得去模糊模型G的损失函数lG＝log(1-D(G(z)))获得最小值为目标，对去模糊模型G和判别模型D的串接网络进行训练，并在lG获得最小值时获得去模糊模型G的优化参数，即获得优化的去模糊模型G。
由于上述对去模糊模型G和判别模型D的串接网络的训练可以认为是一个串接起来的“长网络”分类器的训练、只是此时仅基于损失函数lG来更新该“长网络”中构成去模糊模型G的那些部分的参数(该“长网络”中构成判别模型D的那些部分的参数保持不变)，因而也可以视为对基于CNN的二分类器的训练。因此，在步骤S503的处理中可以采用任意的训练基于CNN网络的二分类器的现有方法来实现对去模糊模型G和判别模型D的串接网络的上述训练，在此不再赘述。
在得到优化的去模糊模型G之后，图5中的处理500可以进入到下一步骤S505，在此利用步骤S503中获得的优化的去模糊模型G对模糊图像训练集中的图像进行处理，得到新的生成图像G(z)。
接着，在步骤S507中，基于步骤S501中获得的优化的判别模型D，对利用优化的去模糊模型G所得到的生成图像G(z)和清晰图像训练集中的图像x进行区分，例如分别对这两种图像输出作为分类结果的概率值。
然后，在步骤S509中，判断优化的判别模型D是否已难以区分生成图像G(z)和清晰图像x。例如，当判别模型D对于这两种图像均输出接近0.5的概率值作为分类结果时，则认为判别模型D已难以区分两种图像，此时，对抗训练的处理500结束。
另一方面，当优化的判别模型D仍可在生成图像G(z)和图像x之间进行区分时，则处理500返回到步骤S501，并以上一次迭代中得到优化参数作为初始参数来进行步骤S501至S509的处理，直到在步骤S509中判断判别模型G难以区分生成图像G(z)和清晰图像x为止，处理500结束。
在完成例如参照处理500所描述的对抗训练之后，可以实现去模糊模型G的良好的去模糊效果。
利用诸如经由上述对抗训练得到的去模糊模型，对模糊的目标图像进行处理之后，可以得到恢复后的清晰图像。图6A和图6B分别示意性地示出了由根据本公开实施例的信息处理设备进行处理之前的模糊图像(目标体系)以及进行处理之后得到的清晰图像的示例。
在一个优选实施例中，可选地，为了更好地训练去模糊模型G和判别模型D，可以在训练时使用具有对应关系的模糊图像训练集和清晰图像训练集，并利用这种对应关系而构建去模糊模型G的新的损失函数。
更具体地，模糊图像训练集可以包括利用至少一种模糊核对清晰图像训练集中的图像进行卷积而得到的模糊图像，并且，在对抗训练中，可以基于由去模糊模型对所得到的模糊图像的去模糊处理而获得的生成图像与清晰图像训练集中的对应图像之间的差异、以及判别模型对所获得的生成图像的分类结果而构建去模糊模型的损失函数，并且以使该损失函数最小化为目的来更新去模糊模型的参数。
例如，可以基于清晰图像训练集中的图像x，利用如以上描述的随机生成的运动模糊核、散焦模糊核、高斯点扩散模糊核、叠加模糊核等进行卷积，得到模糊图像z(x)，作为模糊图像训练集中的图像。在训练时，以清晰图像训练集中的清晰图像x和对应的模糊图像z(x)作为一个训练图像对，前者直接输入到判别模型D，后者经由去模糊模型G处理得到生成图像G(z(x))再输入到判别模型D；相应地，设置分别表示判别模型D对这两种图像进行分类的LR损失的损失函数l1＝log(D(x))，l2＝log(1-D(G(z(x))))。
此外，为了使得生成图像更逼近真实的清晰图像，可以另外地设置表示经由去模糊模型对模糊图像的处理得到的生成图像与清晰图像训练集中的对应图像之间的差异的损失函数。例如，可以按照下述公式(1)、(2)设置表示两个图像之间的像素级差异的欧式距离损失函数lEculid和表示两个图像之间的特征级差异的感知损失(perception loss)函数lper，来辅助更新去模糊模型G。
lper＝||φ(x)-φ(G(z(x)))||1…公式(2)
公式(1)中的lEculid表示清晰图像x与利用去模糊模型G对基于该清晰图像获得的模糊图像z(x)进行去模糊处理得到的生成图像G(z(x))之间的欧式距离，其中，xn、G(z(x))n分别表示两个图像中第n个像素的像素值，N为每个图像中的总像素个数。
公式(2)中的lper表示清晰图像x与对应于该清晰图像的生成图像G(z(x))之间的感知损失，其中，φ(x)和φ(G(z(x)))分别表示从两个图像中提取的特征向量(例如，可以是以上参照表1描述的基于CNN的去模糊模型的第三层所提取的特征，也可以是以其他方式从这两个图像中提取的特征)，lper为这两个特征的L1范数，即，两个特征向量之差的各个元素的绝对值之和。
此时，去模糊模型G的新的损失函数可以设置为lGnew＝l2+αlEculid+βlper,其中，α、β是根据经验设置的系数，以将lEculid和lper调整为与l2对应的数量级。通过适当地设置α、β，可以获得更好的训练效果。在对去模糊模型G和判别模型D的串接网络进行训练的过程中，以lGnew＝log(1-D(G(z(x))))+αlEculid+βlper取代lG＝log(1-D(G(z))),并以使得lGnew获得最小值为目标训练去模糊模型G的参数，在lGnew获得最小值时获得去模糊模型G的优化参数。
对于本优选实施例的训练过程，除了在训练时使用具有上述对应关系的模糊图像训练集和清晰图像训练集、并利用这种对应关系而构建新的损失函数lGnew＝l2+αlEculid+βlper以取代lG＝l2外，训练的其他方面没有区别，因此不再赘述。
以上参照图1至图6B描述了根据本公开实施例的信息处理设备及该信息处理设备的处理器所进行的各种操作。利用该信息处理设备，能够对图像进行去模糊处理，而无需在去模糊模型内部精确估计导致图像模糊的模糊核等。
在以上说明中，以基于CNN的图像生成器和分类器作为示例进行了描述，但本领域技术人员可以理解，可以采用任意其他合适结构的基于CNN的图像生成器和分类器，或者可以采用并非基于CNN的图像生成器和分类器，只要其能够分别实现对图像进行去模糊处理以及对输入图像进行分类的功能即可。
根据根本公开的另一方面，提供了一种图像处理方法，其可以包括以上参照图1至图6B描述的根据本公开实施例的信息处理设备的处理器所实现的各种操作、处理和/或步骤。例如，该图像处理方法可以包括：如图1中所示的操作S101的步骤，用于将目标图像输入到训练后的去模糊模型；以及如图1中所示的操作S103的步骤，利用去模糊模型对目标图像进行去模糊处理，其中，训练后的去模糊模型经由下述对抗训练得到：通过判别模型对清晰图像训练集中的图像以及由去模糊模型对模糊图像训练集中的图像进行去模糊处理得到的生成图像进行区分，而对去模糊模型和判别模型进行对抗训练，其中，模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合。
上述图像处理方法及其各个步骤例如可以进行以上参照图1至图6B描述的信息处理设备的处理器所实现的各种操作、处理和/或步骤并实现类似的效果，在此不再进行重复说明。
在一个优选实施例中，在完成对抗训练之后，判别模型难以区分清晰图像训练集中的图像和生成图像。
作为示例，清晰图像训练集、模糊图像训练集、以及目标图像可以各自包括文档图像。
在一个优选实施例中，去模糊模型包括基于卷积神经网络的图像生成器。
在一个优选实施例中，判别模型包括基于卷积神经网络的分类器。
在一个优选实施例中，上述至少一种模糊核包括与运动模糊相对应的模糊核、与散焦模糊相对应的模糊核、和/或与不规则模糊相对应的模糊核。
在一个优选实施例中，与运动模糊相对应的模糊核包括与第一预定范围内随机选择的运动长度以及第二预定范围内随机选择的运动角度相对应的模糊核；与散焦模糊相对应的模糊核包括与第三预定范围内随机选择的散焦半径相对应的模糊核。
在一个优选实施例中，与不规则模糊相对应的模糊核包括：与第四预定范围内随机选择的方差相对应的高斯点扩散函数的模糊核；和/或将与第一预定范围内随机选择的运动长度以及第二预定范围内随机选择的运动角度相对应的模糊核、与第三预定范围内随机选择的散焦半径相对应的模糊核、以及与第四预定范围内随机选择的方差相对应的高斯点扩散函数的模糊核当中的两个或更多个相同种类或不同种类的模糊核叠加而获得的模糊核。
在一个优选实施例中，模糊图像训练集可以包括利用至少一种模糊核对清晰图像训练集中的图像进行卷积而生成的模糊图像，并且，在对抗训练中，可以基于由去模糊模型对所得到的模糊图像的去模糊处理而获得的生成图像与清晰图像训练集中的对应图像之间的差异、以及判别模型对所获得的生成图像的分类结果而构建去模糊模型的损失函数，并且以使该损失函数最小化为目的来更新去模糊模型的参数。
根据根本公开的又一方面，提供了一种图像处理设备。图7是示意性地示出根据本公开实施例的图像处理设备的示例结构的示意性框图。
如图7所示，图像处理设备700包括输入单元701和去模糊处理单元702，输入单元701用于将目标图像输入到训练后的去模糊模型，去模糊处理单元702用于利用去模糊模型对目标图像进行去模糊处理，其中，训练后的去模糊模型经由下述对抗训练得到：通过判别模型对清晰图像训练集中的图像以及由去模糊模型对模糊图像训练集中的图像进行去模糊处理得到的生成图像进行区分，而对去模糊模型和判别模型进行对抗训练，其中，模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合。
上述图像处理设备及其各个单元例如可以进行以上参照图1至图6B描述的信息处理设备的处理器所实现的各种操作、处理和/或步骤并实现类似的效果，在此不再进行重复说明。
图8是示出了可用来实现根据本公开实施例的信息处理设备以及图像处理方法和设备的一种可能的硬件配置800的结构简图。
在图8中，中央处理单元(CPU)801根据只读存储器(ROM)802中存储的程序或从存储部分808加载到随机存取存储器(RAM)803的程序执行各种处理。在RAM 803中，还根据需要存储当CPU 801执行各种处理等等时所需的数据。CPU 801、ROM 802和RAM 803经由总线804彼此连接。输入/输出接口805也连接到总线804。
下述部件也连接到输入/输出接口805：输入部分806(包括键盘、鼠标等等)、输出部分807(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分808(包括硬盘等)、通信部分809(包括网络接口卡例如LAN卡、调制解调器等)。通信部分809经由网络例如因特网执行通信处理。根据需要，驱动器810也可连接到输入/输出接口805。可拆卸介质811例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器810上，使得从中读出的计算机程序可根据需要被安装到存储部分808中。
此外，本公开还提出了一种存储有机器可读取的指令代码的程序产品。上述指令代码由机器读取并执行时，可执行上述根据本公开实施例的图像处理方法。相应地，用于承载这种程序产品的例如磁盘、光盘、磁光盘、半导体存储器等的各种存储介质也包括在本公开的公开中。
即，本公开还提出了一种存储介质，其存储有机器可读取的指令代码，所述指令代码在由机器读取并执行时，能够使得机器执行上述根据本公开实施例的图像处理方法。所述指令代码包括指令代码部分，用于将目标图像输入到训练后的去模糊模型、以及利用去模糊模型对目标图像进行去模糊处理，其中，训练后的去模糊模型经由下述对抗训练得到：通过判别模型对清晰图像训练集中的图像以及由去模糊模型对模糊图像训练集中的图像进行去模糊处理得到的生成图像进行区分，而对去模糊模型和判别模型进行对抗训练，其中，模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合。
上述存储介质例如可以包括但不限于磁盘、光盘、磁光盘、半导体存储器等。
在上面对本公开具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
此外，本公开的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本公开的技术范围构成限制。
此外，显然，根据本公开的上述方法的各个操作过程也可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。
而且，本公开的目的也可以通过下述方式实现：将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。
此时，只要该系统或者设备具有执行程序的功能，则本公开的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。
上述这些机器可读存储介质包括但不限于：各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。
另外，客户信息处理终端通过连接到因特网上的相应网站，并且将依据本公开的计算机程序代码下载和安装到信息处理终端中然后执行该程序，也可以实现本公开的各实施例。
综上，根据本公开实施例，本公开提供了如下方案，但不限于此：
方案1.一种信息处理设备，包括：
处理器，所述处理器被配置为进行下述操作：
将目标图像输入到训练后的去模糊模型；以及
利用去模糊模型对目标图像进行去模糊处理，
其中，训练后的去模糊模型经由下述对抗训练得到：通过判别模型对清晰图像训练集中的图像以及由去模糊模型对模糊图像训练集中的图像进行去模糊处理得到的生成图像进行区分，而对去模糊模型和判别模型进行对抗训练，其中，模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合。
方案2.根据方案1所述的信息处理设备，其中，在完成对抗训练之后，判别模型难以区分清晰图像训练集中的图像和生成图像。
方案3.根据方案1所述的信息处理设备，其中，去模糊模型包括基于卷积神经网络的图像生成器。
方案4.根据方案1所述的信息处理设备，其中，判别模型包括基于卷积神经网络的分类器。
方案5.根据方案1所述的信息处理设备，其中，至少一种模糊核包括与运动模糊相对应的模糊核、与散焦模糊相对应的模糊核、和/或与不规则模糊相对应的模糊核。
方案6.根据方案5所述的信息处理设备，其中，
与运动模糊相对应的模糊核包括与第一预定范围内随机选择的运动长度以及第二预定范围内随机选择的运动角度相对应的模糊核；以及
与散焦模糊相对应的模糊核包括与第三预定范围内随机选择的散焦半径相对应的模糊核。
方案7.根据方案6所述的信息处理设备，其中，与不规则模糊相对应的模糊核包括：
与第四预定范围内随机选择的方差相对应的高斯点扩散函数的模糊核；和/或
将与第一预定范围内随机选择的运动长度以及第二预定范围内随机选择的运动角度相对应的模糊核、与第三预定范围内随机选择的散焦半径相对应的模糊核、以及与第四预定范围内随机选择的方差相对应的高斯点扩散函数的模糊核当中的两个或更多个相同种类或不同种类的模糊核叠加而获得的模糊核。
方案8.根据方案4所述的信息处理设备，其中，
模糊图像训练集包括利用至少一种模糊核对清晰图像训练集中的图像进行卷积而得到的模糊图像的集合，以及，
在对抗训练中，基于由去模糊模型对所得到的模糊图像的去模糊处理而获得的生成图像与清晰图像训练集中的对应图像之间的差异、以及判别模型对所获得的生成图像的分类结果而构建去模糊模型的损失函数，并且以使该损失函数最小化为目的来更新去模糊模型的参数。
方案9.根据方案1至8中任一项所述的信息处理设备，其中，清晰图像训练集、模糊图像训练集、以及目标图像各自包括文档图像。
方案10.一种图像处理方法，包括:
将目标图像输入到训练后的去模糊模型；以及
利用去模糊模型对目标图像进行去模糊处理，
其中，训练后的去模糊模型经由下述对抗训练得到：通过判别模型对清晰图像训练集中的图像以及由去模糊模型对模糊图像训练集中的图像进行去模糊处理得到的生产图像进行区分，而对去模糊模型和判别模型进行对抗训练，其中，模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合。
方案11.根据方案10所述的图像处理方法，其中，在完成对抗训练之后，判别模型难以区分清晰图像训练集中的图像和生成图像。
方案12.根据方案10所述的图像处理方法，其中，去模糊模型包括基于卷积神经网络的图像生成器。
方案13.根据方案10所述的图像处理方法，其中，判别模型包括基于卷积神经网络的分类器。
方案14.根据方案10所述的图像处理方法，其中，至少一种模糊核包括与运动模糊相对应的模糊核、与散焦模糊相对应的模糊核、和/或与不规则模糊相对应的模糊核。
方案15.根据方案14所述的图像处理方法，其中，
与运动模糊相对应的模糊核包括与第一预定范围内随机选择的运动长度以及第二预定范围内随机选择的运动角度相对应的模糊核；以及
与散焦模糊相对应的模糊核包括与第三预定范围内随机选择的散焦半径相对应的模糊核。
方案16.根据方案15所述的图像处理方法，其中，与不规则模糊相对应的模糊核包括：
与第四预定范围内随机选择的方差相对应的高斯点扩散函数的模糊核；和/或
将与第一预定范围内随机选择的运动长度以及第二预定范围内随机选择的运动角度相对应的模糊核、与第三预定范围内随机选择的散焦半径相对应的模糊核、以及与第四预定范围内随机选择的方差相对应的高斯点扩散函数的模糊核当中的两个或更多个相同种类或不同种类的模糊核叠加而获得的模糊核。
方案17.根据方案13所述的图像处理方法，其中，
模糊图像训练集包括利用至少一种模糊核对清晰图像训练集中的图像进行卷积而得到的模糊图像的集合，以及，
在对抗训练中，基于由去模糊模型对所得到的模糊图像的去模糊处理而获得的生成图像与清晰图像训练集中的对应图像之间的差异、以及判别模型对所获得的生成图像的分类结果而构建去模糊模型的损失函数，并且以使该损失函数最小化为目的来更新去模糊模型的参数。
方案18.根据方案10至17中任一项所述的图像处理方法，其中，清晰图像训练集、模糊图像训练集、以及目标图像各自包括文档图像。
方案19.一种存储介质，其存储有机器可读取的指令代码，所述指令代码在由机器读取并执行时，能够使得机器执行一种图像处理方法，所述指令代码包括：
指令代码部分，用于进行下述操作：
将目标图像输入到训练后的去模糊模型；以及
利用去模糊模型对目标图像进行去模糊处理，
其中，训练后的去模糊模型经由下述对抗训练得到：通过判别模型对清晰图像训练集中的图像以及由去模糊模型对模糊图像训练集中的图像进行去模糊处理得到的生成图像进行区分，而对去模糊模型和判别模型进行对抗训练，其中，模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合。
最后，还需要说明的是，在本公开中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备可能不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管上面已经通过本公开的具体实施例的描述对本公开进行了披露，但是，应该理解，本领域技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开所要求保护的范围内。
Claims (10)
1.一种信息处理设备，包括：
处理器，所述处理器被配置为进行下述操作：
将目标图像输入到训练后的去模糊模型；以及
利用去模糊模型对目标图像进行去模糊处理，
其中，训练后的去模糊模型经由下述对抗训练得到：通过判别模型对清晰图像训练集中的图像以及由去模糊模型对模糊图像训练集中的图像进行去模糊处理得到的生成图像进行区分，而对去模糊模型和判别模型进行对抗训练，其中，模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合。
2.根据权利要求1所述的信息处理设备，其中，在完成对抗训练之后，判别模型难以区分清晰图像训练集中的图像和生成图像。
3.根据权利要求1所述的信息处理设备，其中，去模糊模型包括基于卷积神经网络的图像生成器。
4.根据权利要求1所述的信息处理设备，其中，判别模型包括基于卷积神经网络的分类器。
5.根据权利要求1所述的信息处理设备，其中，至少一种模糊核包括与运动模糊相对应的模糊核、与散焦模糊相对应的模糊核、和/或与不规则模糊相对应的模糊核。
6.根据权利要求5所述的信息处理设备，其中，
与运动模糊相对应的模糊核包括与第一预定范围内随机选择的运动长度以及第二预定范围内随机选择的运动角度相对应的模糊核；以及
与散焦模糊相对应的模糊核包括与第三预定范围内随机选择的散焦半径相对应的模糊核。
7.根据权利要求6所述的信息处理设备，其中，与不规则模糊相对应的模糊核包括：
与第四预定范围内随机选择的方差相对应的高斯点扩散函数的模糊核；和/或
将与第一预定范围内随机选择的运动长度以及第二预定范围内随机选择的运动角度相对应的模糊核、与第三预定范围内随机选择的散焦半径相对应的模糊核、以及与第四预定范围内随机选择的方差相对应的高斯点扩散函数的模糊核当中的两个或更多个相同种类或不同种类的模糊核叠加而获得的模糊核。
8.根据权利要求4所述的信息处理设备，其中，
模糊图像训练集包括利用至少一种模糊核对清晰图像训练集中的图像进行卷积而得到的模糊图像的集合，以及，
在对抗训练中，基于由去模糊模型对所得到的模糊图像的去模糊处理而获得的生成图像与清晰图像训练集中的对应图像之间的差异、以及判别模型对所获得的生成图像的分类结果而构建去模糊模型的损失函数，并且以使该损失函数最小化为目的来更新去模糊模型的参数。
9.一种图像处理方法，包括:
将目标图像输入到训练后的去模糊模型；以及
利用去模糊模型对目标图像进行去模糊处理，
其中，训练后的去模糊模型经由下述对抗训练得到：通过判别模型对清晰图像训练集中的图像以及由去模糊模型对模糊图像训练集中的图像进行去模糊处理得到的生成图像进行区分，而对去模糊模型和判别模型进行对抗训练，其中，模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合。
10.一种存储介质，其存储有机器可读取的指令代码，所述指令代码在由机器读取并执行时，能够使得机器执行一种图像处理方法，所述指令代码包括：
指令代码部分，用于进行下述操作：
将目标图像输入到训练后的去模糊模型；以及
利用去模糊模型对目标图像进行去模糊处理，
其中，训练后的去模糊模型经由下述对抗训练得到：通过判别模型对清晰图像训练集中的图像以及由去模糊模型对模糊图像训练集中的图像进行去模糊处理得到的生成图像进行区分，而对去模糊模型和判别模型进行对抗训练，其中，模糊图像训练集包括针对至少一种模糊核生成的模糊图像集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711041648.3A CN109727201A (zh) | 2017-10-30 | 2017-10-30 | 信息处理设备、图像处理方法以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711041648.3A CN109727201A (zh) | 2017-10-30 | 2017-10-30 | 信息处理设备、图像处理方法以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109727201A true CN109727201A (zh) | 2019-05-07 |
Family
ID=66293054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711041648.3A Pending CN109727201A (zh) | 2017-10-30 | 2017-10-30 | 信息处理设备、图像处理方法以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109727201A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189251A (zh) * | 2019-06-04 | 2019-08-30 | 厦门美图之家科技有限公司 | 一种模糊图像生成方法及装置 |
| CN110570375A (zh) * | 2019-09-06 | 2019-12-13 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、电子设置以及存储介质 |
| CN110705328A (zh) * | 2019-09-27 | 2020-01-17 | 江苏提米智能科技有限公司 | 一种基于二维码图像采集电力数据的方法 |
| CN110782402A (zh) * | 2019-09-27 | 2020-02-11 | 深圳市华付信息技术有限公司 | 一种发票文本去模糊的方法 |
| CN110874826A (zh) * | 2019-11-18 | 2020-03-10 | 北京邮电大学 | 应用于离子束精准镀膜的工件图像去雾化方法及装置 |
| CN110895801A (zh) * | 2019-11-15 | 2020-03-20 | 北京金山云网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN111462005A (zh) * | 2020-03-30 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 处理显微图像的方法、装置、计算机设备及存储介质 |
| US20200372618A1 (en) * | 2018-05-09 | 2020-11-26 | Tencent Technology (Shenzhen) Company Limited | Video deblurring method and apparatus, storage medium, and electronic apparatus |
| CN112102205A (zh) * | 2020-10-15 | 2020-12-18 | 平安科技（深圳）有限公司 | 图像去模糊方法、装置、电子设备及存储介质 |
| CN112487440A (zh) * | 2019-09-11 | 2021-03-12 | 百度（美国）有限责任公司 | 用于数据处理（dp）加速器的使用模糊处理的数据传输 |
| CN112581382A (zh) * | 2019-09-27 | 2021-03-30 | 佳能株式会社 | 图像处理方法、装置及系统、存储介质和学习模型制造方法 |
| CN112837240A (zh) * | 2021-02-02 | 2021-05-25 | 北京百度网讯科技有限公司 | 模型训练方法、分数提升方法、装置、设备、介质和产品 |
| CN112950496A (zh) * | 2021-02-08 | 2021-06-11 | Oppo广东移动通信有限公司 | 图像样本集的生成方法、生成装置及非易失性计算机可读存储介质 |
| CN112991212A (zh) * | 2021-03-16 | 2021-06-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113807246A (zh) * | 2021-09-16 | 2021-12-17 | 平安普惠企业管理有限公司 | 人脸识别方法、装置、设备及存储介质 |
| CN114092520A (zh) * | 2021-11-19 | 2022-02-25 | 电子科技大学长三角研究院(湖州) | 基于生成对抗网络的地面运动目标重聚焦方法及系统 |
| CN115115530A (zh) * | 2022-01-14 | 2022-09-27 | 长城汽车股份有限公司 | 一种图像去模糊的方法、装置、终端设备及介质 |
| CN115439375A (zh) * | 2022-11-02 | 2022-12-06 | 国仪量子(合肥)技术有限公司 | 图像去模糊模型的训练方法和装置以及应用方法和装置 |
| CN116468613A (zh) * | 2023-06-20 | 2023-07-21 | 深圳市景创科技电子股份有限公司 | 超高清虚拟显示及控制方法、装置、设备及计算机介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140307950A1 (en) * | 2013-04-13 | 2014-10-16 | Microsoft Corporation | Image deblurring |
| CN104112252A (zh) * | 2013-04-19 | 2014-10-22 | 杭州海康威视数字技术股份有限公司 | 一种图像去模糊的方法和装置 |
| CN105741243A (zh) * | 2016-01-27 | 2016-07-06 | 北京航空航天大学 | 一种模糊图像复原方法 |
| CN106097256A (zh) * | 2016-05-31 | 2016-11-09 | 南京邮电大学 | 一种基于图像盲去模糊的视频图像模糊度检测方法 |
| CN106373107A (zh) * | 2016-12-06 | 2017-02-01 | 四川长虹电器股份有限公司 | 智能手机自动图像去模糊系统及方法 |
| CN106952239A (zh) * | 2017-03-28 | 2017-07-14 | 厦门幻世网络科技有限公司 | 图像生成方法和装置 |
-
2017
- 2017-10-30 CN CN201711041648.3A patent/CN109727201A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140307950A1 (en) * | 2013-04-13 | 2014-10-16 | Microsoft Corporation | Image deblurring |
| CN104112252A (zh) * | 2013-04-19 | 2014-10-22 | 杭州海康威视数字技术股份有限公司 | 一种图像去模糊的方法和装置 |
| CN105741243A (zh) * | 2016-01-27 | 2016-07-06 | 北京航空航天大学 | 一种模糊图像复原方法 |
| CN106097256A (zh) * | 2016-05-31 | 2016-11-09 | 南京邮电大学 | 一种基于图像盲去模糊的视频图像模糊度检测方法 |
| CN106373107A (zh) * | 2016-12-06 | 2017-02-01 | 四川长虹电器股份有限公司 | 智能手机自动图像去模糊系统及方法 |
| CN106952239A (zh) * | 2017-03-28 | 2017-07-14 | 厦门幻世网络科技有限公司 | 图像生成方法和装置 |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11688043B2 (en) * | 2018-05-09 | 2023-06-27 | Tencent Technology (Shenzhen) Company Limited | Video deblurring method and apparatus, storage medium, and electronic apparatus |
| US20200372618A1 (en) * | 2018-05-09 | 2020-11-26 | Tencent Technology (Shenzhen) Company Limited | Video deblurring method and apparatus, storage medium, and electronic apparatus |
| CN110189251B (zh) * | 2019-06-04 | 2022-11-01 | 厦门美图之家科技有限公司 | 一种模糊图像生成方法及装置 |
| CN110189251A (zh) * | 2019-06-04 | 2019-08-30 | 厦门美图之家科技有限公司 | 一种模糊图像生成方法及装置 |
| CN110570375A (zh) * | 2019-09-06 | 2019-12-13 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、电子设置以及存储介质 |
| CN110570375B (zh) * | 2019-09-06 | 2022-12-09 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、电子设置以及存储介质 |
| CN112487440A (zh) * | 2019-09-11 | 2021-03-12 | 百度（美国）有限责任公司 | 用于数据处理（dp）加速器的使用模糊处理的数据传输 |
| CN112581382A (zh) * | 2019-09-27 | 2021-03-30 | 佳能株式会社 | 图像处理方法、装置及系统、存储介质和学习模型制造方法 |
| CN110705328A (zh) * | 2019-09-27 | 2020-01-17 | 江苏提米智能科技有限公司 | 一种基于二维码图像采集电力数据的方法 |
| CN110782402A (zh) * | 2019-09-27 | 2020-02-11 | 深圳市华付信息技术有限公司 | 一种发票文本去模糊的方法 |
| CN110895801A (zh) * | 2019-11-15 | 2020-03-20 | 北京金山云网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN110874826A (zh) * | 2019-11-18 | 2020-03-10 | 北京邮电大学 | 应用于离子束精准镀膜的工件图像去雾化方法及装置 |
| CN110874826B (zh) * | 2019-11-18 | 2020-07-31 | 北京邮电大学 | 应用于离子束精准镀膜的工件图像去雾化方法及装置 |
| CN111462005A (zh) * | 2020-03-30 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 处理显微图像的方法、装置、计算机设备及存储介质 |
| CN112102205A (zh) * | 2020-10-15 | 2020-12-18 | 平安科技（深圳）有限公司 | 图像去模糊方法、装置、电子设备及存储介质 |
| CN112102205B (zh) * | 2020-10-15 | 2024-02-09 | 平安科技（深圳）有限公司 | 图像去模糊方法、装置、电子设备及存储介质 |
| CN112837240A (zh) * | 2021-02-02 | 2021-05-25 | 北京百度网讯科技有限公司 | 模型训练方法、分数提升方法、装置、设备、介质和产品 |
| CN112837240B (zh) * | 2021-02-02 | 2023-08-04 | 北京百度网讯科技有限公司 | 模型训练方法、分数提升方法、装置、设备、介质和产品 |
| CN112950496A (zh) * | 2021-02-08 | 2021-06-11 | Oppo广东移动通信有限公司 | 图像样本集的生成方法、生成装置及非易失性计算机可读存储介质 |
| CN112991212A (zh) * | 2021-03-16 | 2021-06-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113807246A (zh) * | 2021-09-16 | 2021-12-17 | 平安普惠企业管理有限公司 | 人脸识别方法、装置、设备及存储介质 |
| CN114092520A (zh) * | 2021-11-19 | 2022-02-25 | 电子科技大学长三角研究院(湖州) | 基于生成对抗网络的地面运动目标重聚焦方法及系统 |
| CN114092520B (zh) * | 2021-11-19 | 2023-12-26 | 电子科技大学长三角研究院(湖州) | 基于生成对抗网络的地面运动目标重聚焦方法及系统 |
| CN115115530A (zh) * | 2022-01-14 | 2022-09-27 | 长城汽车股份有限公司 | 一种图像去模糊的方法、装置、终端设备及介质 |
| CN115115530B (zh) * | 2022-01-14 | 2024-07-12 | 长城汽车股份有限公司 | 一种图像去模糊的方法、装置、终端设备及介质 |
| CN115439375A (zh) * | 2022-11-02 | 2022-12-06 | 国仪量子(合肥)技术有限公司 | 图像去模糊模型的训练方法和装置以及应用方法和装置 |
| CN115439375B (zh) * | 2022-11-02 | 2023-03-24 | 国仪量子(合肥)技术有限公司 | 图像去模糊模型的训练方法和装置以及应用方法和装置 |
| CN116468613A (zh) * | 2023-06-20 | 2023-07-21 | 深圳市景创科技电子股份有限公司 | 超高清虚拟显示及控制方法、装置、设备及计算机介质 |
| CN116468613B (zh) * | 2023-06-20 | 2023-10-27 | 深圳市景创科技电子股份有限公司 | 超高清虚拟显示及控制方法、装置、设备及计算机介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109727201A (zh) | 信息处理设备、图像处理方法以及存储介质 | |
| Jiang et al. | Scfont: Structure-guided chinese font generation via deep stacked networks | |
| US8369653B1 (en) | System and method for image upsampling using natural image statistics of first and second derivatives | |
| US8411948B2 (en) | Up-sampling binary images for segmentation | |
| Kyprianidis et al. | State of the" art”: A taxonomy of artistic stylization techniques for images and video | |
| US9058699B2 (en) | System and method for image composition using non-destructive editing model and fast gradient solver | |
| Pickup et al. | Bayesian methods for image super-resolution | |
| CN109711481A (zh) | 用于画作多标签识别的神经网络、相关方法、介质和设备 | |
| US20110216976A1 (en) | Updating Image Segmentation Following User Input | |
| CN105765624B (zh) | 内容感知图像旋转 | |
| CN109377445A (zh) | 模型训练方法、替换图像背景的方法、装置和电子系统 | |
| US12002289B2 (en) | Expression recognition method and apparatus, computer device, and readable storage medium | |
| US8121407B1 (en) | Method and apparatus for localized labeling in digital images | |
| Joshi | OpenCV with Python by example | |
| Ansari | Building Computer Vision Applications Using Artificial Neural Networks | |
| CN111563563A (zh) | 一种手写体识别的联合数据的增强方法 | |
| CN104992407B (zh) | 一种图像超分辨方法 | |
| US11126788B2 (en) | Font capture from images of target decorative character glyphs | |
| Groleau et al. | Augraphy: A data augmentation library for document images | |
| CN112839185B (zh) | 用于处理图像的方法、装置、设备和介质 | |
| CN110490951A (zh) | 一种图像绘制方法和装置 | |
| Wan et al. | Dense feature pyramid network for cartoon dog parsing | |
| CN115457555A (zh) | 通用场景文字识别数据的自动生成方法及系统 | |
| GB2585722A (en) | Image manipulation | |
| Akhtar et al. | Unsupervised generative adversarial network for style transfer using multiple discriminators |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190507 |