CN109410239A - 一种基于条件生成对抗网络的文本图像超分辨率重建方法 - Google Patents
一种基于条件生成对抗网络的文本图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN109410239A CN109410239A CN201811320070.XA CN201811320070A CN109410239A CN 109410239 A CN109410239 A CN 109410239A CN 201811320070 A CN201811320070 A CN 201811320070A CN 109410239 A CN109410239 A CN 109410239A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- text
- super
- text image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 53
- 230000011218 segmentation Effects 0.000 claims abstract description 26
- 230000003044 adaptive effect Effects 0.000 claims abstract description 4
- 239000011248 coating agent Substances 0.000 claims description 21
- 238000000576 coating method Methods 0.000 claims description 21
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 4
- 230000003466 anti-cipated effect Effects 0.000 claims description 3
- 230000006378 damage Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims 1
- 239000012141 concentrate Substances 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 15
- 230000013016 learning Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002073 mitogenetic effect Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于条件生成对抗网络的文本图像超分辨率重建方法。该方法修改了普通的条件生成对抗网络的结构，使其更加适应于文本图像的超分辨率重建任务，另外引入并利用了文本‑非文本二值分割图像作为超分辨率重建模型的额外训练监督信息，并结合文本‑非文本二值分割信息构造模型的损失函数以约束模型的训练，使得超分辨率重建模型更加集中于图像中的文本部分。相比一般图像超分辨率方法，本发明公开的文本图像超分辨率重建方法更加充分和针对性地利用了文本自身信息，有效提高了文本图像超分辨率重建的质量。
Description
技术领域
本发明属于图像处理技术领域，具体涉及文本图像超分辨率重建方法。
背景技术
随着各种具备拍照/摄像功能的智能设备如手机、数码相机/摄像机和监控设备等的日益广泛使用以及作为信息共享与传播载体的互联网的快速发展，在人们的日常生活中可接触到大量的图像数据，如何从这些图像数据中高效提取有用的语义信息，对图像数据资源的有效利用具有重要的意义。其中，图像中的文本对象携带有关于图像和场景的丰富语义内容，对其进行有效提取可以在图像分析、理解、分类、检索、推荐等应用中起到重要的作用。另一方面，由于受到自然场景中图像采集设备的分辨率、场景光照强弱、文字距离远近等诸多因素的影响，很多时候实际获得的文本图像分辨率相对较低，为进一步进行文字的检测、识别等处理造成了相当大的困难。因此，通过使用超分辨率方法在获得的低分辨率文本图像的基础上，重建出高分辨率文本图像的技术具有十分重要的应用价值。
区别于传统基于多图像融合的超分辨率方法，近年来在许多领域已经获得成功的深度学习技术被引入到基于单个图像的超分辨率重建问题中，取得了优于传统方法的结果。此类方法一般采用低分辨率/高分辨率图像样本对作为训练数据，构建并使用深度神经网络从中学习低分辨率图像到高分辨率图像的映射，进而利用训练得到的网络对输入的低分辨率图像进行超分辨率重建处理，获得高分辨率的输出结果图像。
在用于图像超分辨率重建的深度神经网络模型中，生成对抗网络是最近新兴的一种深度学习网络结构，其由生成器和判别器两部分网络模块组成。其中，生成器网络从训练样本中学习生成以假乱真的目标图像样本，而判别器则学习区分生成器生成的图像样本和真实的图像样本，两者互相对抗博弈，以此学习到真实图像样本的潜在分布。在图像超分辨率重建任务中，生成对抗网络被用来基于低分辨率图像生成与真实高分辨率图像高度相似的超分辨率重建结果图像。
发明内容
目前，基于生成对抗网络进行图像超分辨率重建的方法很少，并且均未特别针对文本图像的超分辨率重建目标。由于文本图像的特殊性，文本图像的超分辨率重建任务往往更关注于提高其中文本部分而不是整个图像的分辨率，从而有助于后续对文本信息的有效提取。因此，相比于一般的图像超分辨率重建任务，文本图像的超分辨率重建需要针对性的处理模型和方法，以获得令人满意的超分辨率重建结果。
本发明公开了一种基于条件生成对抗网络的文本图像超分辨率重建方法，该方法在一般该方法在一般条件生成对抗网络的基础上，去除了生成器网络的残差块中的BN(Batch Normalization)层以保留图像中文本细节特征并加入了Inception模块以扩展网络的宽度和提取多尺度文本特征，并在判别器网络中加入了Dropout层帮助减少过拟合、提高训练的稳定性，使模型更加适合文本图像超分辨率重建目标。另一方面，该方法引入并利用了文本-非文本二值分割图像作为超分辨率重建模型的额外训练监督信息，并结合文本-非文本二值分割信息构造模型的损失函数以约束模型的训练，使得超分辨率重建模型更加集中于图像中的文本部分。相比一般图像超分辨率方法，本发明公开的文本图像超分辨率重建方法更加充分和针对性地利用了文本自身信息，有效提高了文本图像超分辨率重建的质量。
本发明公开了一种基于条件生成对抗网络的文本图像超分辨率重建方法，包括以下步骤：
(1)构建训练图像样本数据集，包括以下子步骤：
(1.1)对训练用高分辨率文本图像进行自适应阈值分割，生成与原图像相同尺寸的文本-非文本二值分割图像，其中对应文字的像素值设为1而对应非文字的像素值设为0。
(1.2)在包含RGB(Red红色，Green绿色，Blue蓝色)3个通道的文本图像的基础上，将二值分割图像作为文本图像的一个额外通道，拼接生成附带分割信息的4通道文本图像。
(1.3)在步骤(1.2)生成的4通道文本图像的基础上，分别对其使用Bicubic(双三次插值法)进行1/2比例、1/4比例分辨率缩小，生成分辨率逐级以2倍率减少的一组图像。
(1.4)将原始尺寸、1/2比例、1/4比例不同分辨率的文本图像分别切割为相同数量、位置对应、大小分别为n×n、n/2×n/2、n/4×n/4像素的图像块，其中n是原始尺寸图像切割成的图像块的边长。
(1.5)按照超分辨率重建的目标图像比率，选择切割自原始尺寸文本图像和按对应分辨率比例缩小后图像的对应相同位置的两个图像块作为高分辨率/低分辨率图像样本对，以此构成超分辨率重建模型的训练样本数据集。
(2)训练基于条件生成对抗网络的文本图像超分辨率重建模型，包括以下子步骤：
(2.1)构建生成器网络和判别器网络，相应设计模型损失函数。
(2.2)将训练样本中的低分辨率文本图像作为生成器网络的输入，将训练样本中对应的高分辨率文本图像样本作为生成器网络的预期输出，使用反向传播(BackPropagation，BP)算法训练生成器网络。
(2.3)将训练样本中的低分辨率和高分辨率文本图像作为正例图像对，训练样本中的低分辨率文本图像和生成器网络相应输出图像作为反例图像对，使用反向传播算法训练判别器网络。
(2.4)迭代步骤(2.2)和步骤(2.3)，使得生成器在与判别器的对抗训练过程中最终学习得到高分辨率文本图像的样本分布。
(3)对一幅待重建的低分辨率文本图像，将其与对应的二值分割图像一同输入训练后的文本图像超分辨率重建模型中的生成器网络，网络输出即为超分辨率重建后的高分辨率文本图像。
优选地，所述生成器网络以低分辨率文本图像作为输入，先通过卷积核为3×3的卷积层以及LRelu激活层，再依次通过16个去除BN层的残差块，然后将最后一个残差块的输出特征图与输入第一个残差块的特征图拼接后，输入Inception模块；Inception模块的输出特征图依次经过LRelu激活层、卷积核为3×3的反卷积层和Tanh激活层后，得到最终输出的超分辨率重建后的文本图像。
优选地，判别器网络以一对“低分辨率文本图像+对应训练高分辨率图像”或“低分辨率文本图像+对应超分辨率重建文本图像”作为输入，输入图像先依次经过卷积核为3×3、卷积步长为2的卷积层和LRelu激活层；接着依次经过卷积核为3×3、卷积步长为2的卷积层、LRelu激活层、BN层和Dropout层；随后依次经过卷积核为3×3的卷积层、LRelu激活层、BN层和Dropout层；最终经过卷积核为3×3的卷积层、Sigmoid激活层后，得到将作为网络输入的高分辨率图像判别为来自训练数据或来自生成器的概率。
本发明公开的一种基于条件生成对抗网络的文本图像超分辨率重建方法具有以下优点：
1.本发明公开的文本图像超分辨率重建模型引入并利用了文本-非文本二值分割图像作为超分辨率重建网络模型额外的输入和输出，相比于其他普通的超分辨率网络模型，增加了额外的监督信息，能够在文本图像的超分辨率重建问题上有效引导模型的训练，提高模型的训练效率和重建质量。
2.在本发明进一步的技术方案中，利用文本-非文本分割信息设计了侧重于文本部分的损失函数。相比于一般超分辨率方法所使用的损失函数，本发明的损失函数更加关注图像中的文本部分，有助于模型在训练过程中更集中于文本部分的学习和优化，从而生成文本部分更加清晰的图像。
3.在本发明进一步的技术方案中，超分辨率重建模型中的生成器网络中去除了一般残差块中的BN层，以保留图像中文本细节特征，避免了BN层对图像原始细节特征的破坏，使网络模型更加适合超分辨率重建任务，有助于提高文本图像的超分辨率重建质量。
4.在本发明进一步的技术方案中，超分辨率重建模型中的生成器网络中引入了Inception模块，有效扩展了网络的宽度，并能够在多个尺度学习和提取文本特征，使得生成的文本图像更加真实。
5.在本发明进一步的技术方案中，超分辨率重建模型中的判别器网络中加入了Dropout层，有助于减少模型的过拟合情况，增强了模型训练的稳定性，使模型更加适合文本图像的超分辨率重建目标。
附图说明
图1为本发明实施例中基于条件生成对抗网络的文本图像超分辨率方法的流程图
图2为生成器网络结构图
图3为去掉BN层的残差块结构图
图4为判别器网络结构图
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
一种基于条件生成对抗网络的文本图像超分辨率重建方法，如图1所示，包括以下步骤：
(1)构建训练图像样本数据集，包括以下子步骤：
(1.1)对训练用高分辨率文本图像进行自适应阈值分割，生成与原图像相同尺寸的文本-非文本二值分割图像，其中对应文字的像素值设为1而对应非文字的像素值设为0。
(1.2)在包含RGB 3个通道的文本图像的基础上，将二值分割图像作为文本图像的一个额外通道，拼接生成附带分割信息的4通道文本图像。
(1.3)在步骤(1.2)生成的4通道文本图像的基础上，分别对其使用Bicubic(双三次插值法)进行1/2比例、1/4比例分辨率缩小，生成分辨率逐级以2倍率减少的一组文本图像。
(1.4)将原始尺寸、1/2比例、1/4比例不同分辨率的文本图像分别切割为相同数量、位置对应、大小分别为32×32、16×16、8×8像素的图像块。
(1.5)按照超分辨率重建的目标图像比率，选择切割自原始尺寸文本图像和按对应分辨率比例缩小后图像的对应相同位置的两个图像块作为高分辨率/低分辨率图像样本对，以此构成超分辨率重建模型的训练样本数据集。
(2)训练基于条件生成对抗网络的文本图像超分辨率重建模型，包括以下子步骤：
(2.1)构建生成器网络和判别器网络，相应设计模型损失函数，包括以下子步骤：
(2.1.1)构建生成器网络，其组成结构如图1所示。网络以低分辨率文本图像作为输入，先通过卷积核为3×3的卷积(Conv)层以及LRelu(Leaky Relu)激活层，再依次通过16个去除BN(Batch Normalization)层的残差块，然后将最后一个残差块的输出特征图与输入第一个残差块的特征图拼接(Concatenation)后，输入Inception模块。Inception模块的输出特征图依次经过LRelu激活层、卷积核为3×3的反卷积(DeConv)层和Tanh激活层后，得到最终输出的超分辨率重建后的文本图像。
去除BN层的残差块的结构如图2所示：输入特征图依次经过卷积核为3×3的卷积层、Relu激活层、卷积核为3×3的卷积层，其结果特征图与输入特征图相加作为残差块的输出。
Inception模块来自于GoogLeNet网络模型，通过使用不同卷积核在不同的感受野下提取不同尺度的特征，并将得到的多个特征图拼接融合后作为输出。
LRelu函数定义为：输入x，当x＞0时，输出x；当x≤0时，输出mx(0＜m＜1，通常取较小值)。
Relu函数定义为：输入x，输出max(0，x)。
(2.1.2)构建判别器网络，其组成结构如图3所示。网络以一对“低分辨率文本图像+对应训练高分辨率图像”或“低分辨率文本图像+对应超分辨率重建文本图像”作为输入。输入图像先依次经过卷积核为3×3、卷积步长(Stride)为2的卷积层和LRelu激活层；接着依次经过卷积核为3×3、卷积步长为2的卷积层、LRelu激活层、BN层和Dropout层；随后依次经过卷积核为3×3的卷积层、LRelu激活层、BN层和Dropout层；最终经过卷积核为3×3的卷积层、Sigmoid激活层后，得到将作为网络输入的高分辨率图像判别为来自训练数据或来自生成器的概率。
(2.1.3)文本图像超分辨率重建模型中的条件生成对抗网络的总损失函数计算为：
L＝LcGAN(G，D)+λLcontent(G) (1)
其中，G代表生成器，D代表判别器，LcGAN(G，D)是约束生成器和判别器之间互相对抗的损失函数，Lcontent(G)是用于约束生成器G进行超分辨率重建后所得结果图像与训练高分辨率图像之间相似性的损失函数，λ为约束两个损失函数比例的超参数(设为100)。
LcGAN(G，D)对抗损失计算为：
其中，E代表数学期望，I代表文本图像，LR，HR分别代表低分辨率和高分辨率，G(ILR)代表生成器G对低分辨率文本图像ILR进行超分辨率重建后生成的文本图像。
Lcontent(G)相似性损失计算如下：
其中Lcontent(G)相似性损失进一步包括在图像颜色通道上的聚焦文本区域的L1相似性损失和在二值分割图像通道上的L1相似性损失L1相似性损失指比较的两者在各个维度上的差的绝对值的平均值，λ(r)和λ(m)分别代表约束两部分损失相对比例的超参数，分别设为1和0.5。两部分损失计算如下：
其中，M代表文本图像I对应的文本-非文本二值分割图像，W代表I和M的宽度，H代表I和M的高度，下标x，y表示I和M中某一像素的坐标，LR，片R分别代表低分辨率和高分辨率，代表高分辨率文本图像在像素(x，y)处的值，代表高分辨率文本-非文本二值分割图像在像素(x，y)处的值，G(ILR)代表生成器G对低分辨率文本图像ILR进行超分辨率重建后生成的文本图像，G(MLR)代表生成器G对低分辨率文本-非文本二值分割图像MLR进行超分辨率重建后生成的文本-非文本二值分割图像。
文本图像超分辨率重建模型中的条件生成对抗网络训练过程中的总体优化目标为：
(2.2)将步骤(1)得到的训练样本中的低分辨率文本图像作为生成器网络的输入，对应的高分辨率文本图像样本作为生成器网络的预期输出，基于步骤(2.1.3)中定义的损失函数，使用反向传播算法训练生成器网络。
(2.3)将步骤(1)得到的训练样本中的低分辨率和高分辨率文本图像作为正例图像对，训练样本中的低分辨率文本图像和生成器网络相应输出图像作为反例图像对，基于步骤(2.1.3)中定义的损失函数，使用反向传播算法训练判别器网络。
(2.4)迭代步骤(2.2)和步骤(2.3)，使得生成器在与判别器的对抗训练过程中最终学习得到高分辨率文本图像的样本分布。
(3)对一幅待重建的低分辨率文本图像，将其与对应的二值分割图像一同输入训练后的文本图像超分辨率重建模型中的生成器网络，网络输出即为超分辨率重建后的高分辨率文本图像。
本实施例在64位Ubuntu 16.04.4操作系统平台上，基于TensorFlow-GPU 1.4.0深度学习框架并使用Python 3.5.2脚本语言构建文本图像超分辨率重建模型，使用一块NVIDIAGTX 1070Ti GPU完成模型的训练。训练过程使用Adam优化器并将学习率设置为10e-4，训练迭代总次数为60次，总训练时间约为4小时。
Claims (5)
1.一种基于条件生成对抗网络的文本图像超分辨率重建方法，该方法包括以下步骤：
(1)构建训练图像样本数据集，具体方法为：
(1.1)对训练用高分辨率文本图像进行自适应阈值分割，生成与原图像相同尺寸的文本-非文本二值分割图像，其中对应文字的像素值设为1而对应非文字的像素值设为0；
(1.2)在包含RGB三个通道的文本图像的基础上，将二值分割图像作为文本图像的一个额外通道，拼接生成附带分割信息的4通道文本图像；
(1.3)在步骤(1.2)生成的4通道文本图像的基础上，分别对其使用Bicubic进行1/2比例、1/4比例分辨率缩小，生成分辨率逐级以2倍率减少的一组图像；
(1.4)将原始尺寸、1/2比例、1/4比例不同分辨率的文本图像分别切割为相同数量、位置对应、大小分别为n×n、n/2×n/2、n/4×n/4像素的图像块，其中n是原始尺寸图像切割成的图像块的边长；
(1.5)按照超分辨率重建的目标图像比率，选择切割自原始尺寸文本图像和按对应分辨率比例缩小后图像的对应相同位置的两个图像块作为高分辨率/低分辨率图像样本对，以此构成超分辨率重建模型的训练样本数据集；
(2)训练基于条件生成对抗网络的文本图像超分辨率重建模型，具体方法是：
(2.1)构建生成器网络和判别器网络，并结合文本-非文本二值图构造模型损失函数；
(2.2)将步骤(1)得到的训练样本中的低分辨率文本图像作为生成器网络的输入，对应的高分辨率文本图像样本作为生成器网络的预期输出，使用反向传播算法训练生成器网络；
(2.3)将步骤(1)得到的训练样本中的低分辨率文本图像和对应的高分辨率文本图像作为正例图像对，训练样本中的低分辨率文本图像和生成器网络相应输出图像作为反例图像对，使用反向传播算法训练判别器网络；
(2.4)迭代步骤(2.2)和步骤(2.3)，使得生成器在与判别器的对抗训练过程中最终学习得到高分辨率文本图像的样本分布；
(3)将待重建的低分辨率文本图像作为训练得到的文本图像超分辨率重建模型中生成器网络的输入，模型输出的图像即超分辨率重建后的高分辨率文本图像。
2.根据权利要求1所述基于条件生成对抗网络的文本图像超分辨率重建方法，其特征在于生成器网络的结构为：
生成器网络以步骤(1)得到的训练样本中的低分辨率文本图像作为输入，先通过卷积核为3×3的卷积层以及LRelu激活层，再依次通过16个去除BN层的残差块，然后将最后一个残差块的输出特征图与输入第一个残差块的特征图拼接后，输入Inception模块；Inception模块的输出特征图依次经过LRelu激活层、卷积核为3×3的反卷积层和Tanh激活层后，得到最终输出的超分辨率重建后的文本图像。
3.根据权利要求2所述基于条件生成对抗网络的文本图像超分辨率重建方法，其特征在于去除BN层的残差块的结构为：
输入残差块的特征图依次经过卷积核为3×3的卷积层、Relu激活层、卷积核为3×3的卷积层，其结果特征图与输入特征图相加作为残差块的输出。
4.根据权利要求1所述基于条件生成对抗网络的文本图像超分辨率重建方法，其特征在于，判别器网络结构为：
判别器网络以一对“低分辨率文本图像+对应训练高分辨率图像”或“低分辨率文本图像+对应超分辨率重建文本图像”作为输入，输入图像先依次经过卷积核为3×3、卷积步长为2的卷积层和LRelu激活层；接着依次经过卷积核为3×3、卷积步长为2的卷积层、LRelu激活层、BN层和Dropout层；随后依次经过卷积核为3×3的卷积层、LRelu激活层、BN层和Dropout层；最终经过卷积核为3×3的卷积层、Sigmoid激活层后，得到将作为网络输入的高分辨率图像判别为来自训练数据或来自生成器的概率。
5.根据权利要求1所述基于条件生成对抗网络的文本图像超分辨率重建方法，其特征在于，文本图像超分辨率重建模型中的条件生成对抗网络的总损失函数为：
L＝LcGAN(G,D)+λLcontent(G) (1)
其中，G代表生成器，D代表判别器，LcGAN(G,D)是约束生成器和判别器之间互相对抗的损失函数，Lcontent(G)是用于约束生成器G进行超分辨率重建后所得结果图像与训练高分辨率图像之间相似性的损失函数，λ为约束两个损失函数比例的超参数；
LcGAN(G,D)对抗损失计算如下：
其中，E表示数学期望，I代表文本图像，LR,HR分别代表低分辨率和高分辨率，G(ILR)代表生成器G对低分辨率文本图像ILR进行超分辨率重建后生成的文本图像；
Lcontent(G)相似性损失计算如下：
其中，相似性损失Lcontent(G)进一步包括在图像颜色通道上的聚焦文本区域的L1相似性损失和在二值分割图像通道上的L1相似性损失L1相似性损失指比较的两者在各个维度上的差的绝对值的平均值，λ(r)和λ(m)分别代表约束两部分损失相对比例的超参数；两部分损失计算如下：
其中，M代表文本图像I对应的文本-非文本二值分割图像，W代表I和M的宽度，H代表I和M的高度，下标x,y表示I和M中某一像素的坐标，LR,HR分别代表低分辨率和高分辨率，代表高分辨率文本图像在像素(x,y)处的值，代表高分辨率文本-非文本二值分割图像在像素(x,y)处的值，G(ILR)代表生成器G对低分辨率文本图像ILR进行超分辨率重建后生成的文本图像，G(MLR)代表生成器G对低分辨率文本-非文本二值分割图像MLR进行超分辨率重建后生成的文本-非文本二值分割图像；
文本图像超分辨率重建模型中的条件生成对抗网络训练过程中的总体优化目标为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811320070.XA CN109410239B (zh) | 2018-11-07 | 2018-11-07 | 一种基于条件生成对抗网络的文本图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811320070.XA CN109410239B (zh) | 2018-11-07 | 2018-11-07 | 一种基于条件生成对抗网络的文本图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109410239A true CN109410239A (zh) | 2019-03-01 |
| CN109410239B CN109410239B (zh) | 2021-11-16 |
Family
ID=65472385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811320070.XA Active CN109410239B (zh) | 2018-11-07 | 2018-11-07 | 一种基于条件生成对抗网络的文本图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109410239B (zh) |
Cited By (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871902A (zh) * | 2019-03-08 | 2019-06-11 | 哈尔滨工程大学 | 一种基于超分辨率对抗生成级联网络的sar小样本识别方法 |
| CN109903299A (zh) * | 2019-04-02 | 2019-06-18 | 中国矿业大学 | 一种条件式生成对抗网络的异源遥感图像配准方法及装置 |
| CN109993698A (zh) * | 2019-03-29 | 2019-07-09 | 西安工程大学 | 一种基于生成对抗网络的单幅图像超分辨纹理增强方法 |
| CN109993702A (zh) * | 2019-04-10 | 2019-07-09 | 大连民族大学 | 基于生成对抗网络的满文图像超分辨率重建方法 |
| CN110097085A (zh) * | 2019-04-03 | 2019-08-06 | 阿里巴巴集团控股有限公司 | 歌词文本生成方法、训练方法、装置、服务器及存储介质 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110197468A (zh) * | 2019-06-06 | 2019-09-03 | 天津工业大学 | 一种基于多尺度残差学习网络的单图像超分辨重建算法 |
| CN110415176A (zh) * | 2019-08-09 | 2019-11-05 | 北京大学深圳研究生院 | 一种文本图像超分辨率方法 |
| CN110490818A (zh) * | 2019-07-24 | 2019-11-22 | 西安理工大学 | 基于cgan的计算鬼成像重建恢复方法 |
| CN110610458A (zh) * | 2019-04-30 | 2019-12-24 | 北京联合大学 | 一种基于岭回归的gan图像增强交互处理方法及系统 |
| CN110827201A (zh) * | 2019-11-05 | 2020-02-21 | 广东三维家信息科技有限公司 | 用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置 |
| CN111028153A (zh) * | 2019-12-09 | 2020-04-17 | 南京理工大学 | 图像处理和神经网络训练方法、装置及计算机设备 |
| CN111210007A (zh) * | 2020-01-02 | 2020-05-29 | 国家电网有限公司 | 基于改进srgan模型的超分辨率螺栓图像生成方法 |
| CN111325660A (zh) * | 2020-02-20 | 2020-06-23 | 中国地质大学（武汉） | 一种基于文本数据的遥感图像风格转换方法 |
| CN111368790A (zh) * | 2020-03-18 | 2020-07-03 | 北京三快在线科技有限公司 | 细粒度人脸识别模型的构建方法、识别方法以及构建装置 |
| CN111383173A (zh) * | 2020-02-12 | 2020-07-07 | 山东师范大学 | 一种基于基线的图像超分辨率重建方法及系统 |
| CN111429350A (zh) * | 2020-03-24 | 2020-07-17 | 安徽工业大学 | 一种手机拍照快速超分辨处理方法 |
| CN111563841A (zh) * | 2019-11-13 | 2020-08-21 | 南京信息工程大学 | 一种基于生成对抗网络的高分辨率图像生成方法 |
| CN111784581A (zh) * | 2020-07-03 | 2020-10-16 | 苏州兴钊防务研究院有限公司 | 基于自归一化生成对抗网络的sar图像超分辨率重建方法 |
| CN111861949A (zh) * | 2020-04-21 | 2020-10-30 | 北京联合大学 | 一种基于生成对抗网络的多曝光图像融合方法及系统 |
| CN111951164A (zh) * | 2020-08-11 | 2020-11-17 | 哈尔滨理工大学 | 一种图像超分辨率重建网络结构及图像重建效果分析方法 |
| CN112001847A (zh) * | 2020-08-28 | 2020-11-27 | 徐州工程学院 | 相对生成对抗超分辨率重建模型生成高质量图像的方法 |
| CN112330541A (zh) * | 2020-11-11 | 2021-02-05 | 广州博冠信息科技有限公司 | 直播视频处理方法、装置、电子设备和存储介质 |
| CN112633287A (zh) * | 2020-12-25 | 2021-04-09 | 中国矿业大学 | 一种面向矿井多源异构图文信息的文本识别方法及装置 |
| CN112733716A (zh) * | 2021-01-11 | 2021-04-30 | 杭州电子科技大学 | 基于srocrn网络的低分辨率文本图像识别方法 |
| CN112801878A (zh) * | 2021-02-08 | 2021-05-14 | 广东三维家信息科技有限公司 | 渲染图像超分辨率纹理增强方法、装置、设备及存储介质 |
| CN112819695A (zh) * | 2021-01-26 | 2021-05-18 | 北京小米移动软件有限公司 | 图像超分辨率重建方法、装置、电子设备及介质 |
| CN112950464A (zh) * | 2021-01-25 | 2021-06-11 | 西安电子科技大学 | 一种不包含正则化层的二值超分辨率重建方法 |
| CN112991168A (zh) * | 2021-02-08 | 2021-06-18 | 上海电力大学 | 一种基于目标检测和超分辨率的文本检测方法 |
| CN113033542A (zh) * | 2021-04-25 | 2021-06-25 | 中国电子系统技术有限公司 | 一种文本识别模型的生成方法以及装置 |
| CN113129214A (zh) * | 2021-04-21 | 2021-07-16 | 北京工业大学 | 一种基于生成对抗网络的超分辨率重建方法 |
| CN113140020A (zh) * | 2021-05-13 | 2021-07-20 | 电子科技大学 | 一种基于伴随监督生成对抗网络的文本生成图像的方法 |
| CN113140019A (zh) * | 2021-05-13 | 2021-07-20 | 电子科技大学 | 一种基于融合弥补生成对抗网络的文本生成图像的方法 |
| CN113239961A (zh) * | 2021-04-09 | 2021-08-10 | 苏州科技大学 | 基于生成对抗网络的文本生成序列图像的方法 |
| CN113361689A (zh) * | 2021-06-09 | 2021-09-07 | 上海联影智能医疗科技有限公司 | 超分辨率重建网络模型的训练方法和扫描图像处理方法 |
| CN113361251A (zh) * | 2021-05-13 | 2021-09-07 | 山东师范大学 | 一种基于多阶段生成对抗网络的文本生成图像方法及系统 |
| CN113409191A (zh) * | 2021-06-02 | 2021-09-17 | 广东工业大学 | 一种基于注意力反馈机制的轻量级图像超分方法及系统 |
| CN113421188A (zh) * | 2021-06-18 | 2021-09-21 | 广东奥普特科技股份有限公司 | 一种图像均衡增强的方法、系统、装置及存储介质 |
| CN113486925A (zh) * | 2021-06-07 | 2021-10-08 | 北京鹰瞳科技发展股份有限公司 | 模型训练方法、眼底图像生成方法、模型评估方法及装置 |
| CN113591798A (zh) * | 2021-08-23 | 2021-11-02 | 京东科技控股股份有限公司 | 文档文字的重建方法及装置、电子设备、计算机存储介质 |
| CN113688927A (zh) * | 2021-08-31 | 2021-11-23 | 中国平安人寿保险股份有限公司 | 一种图片样本生成方法、装置、计算机设备及存储介质 |
| CN113706379A (zh) * | 2021-07-29 | 2021-11-26 | 山东财经大学 | 一种基于医学图像处理的层间插值方法及系统 |
| CN114037843A (zh) * | 2021-11-10 | 2022-02-11 | 南宁桂电电子科技研究院有限公司 | 一种基于改进生成对抗网络的提高水下图像分辨率方法 |
| CN114724144A (zh) * | 2022-05-16 | 2022-07-08 | 北京百度网讯科技有限公司 | 文本识别方法、模型的训练方法、装置、设备及介质 |
| CN115829837A (zh) * | 2022-11-15 | 2023-03-21 | 深圳市新良田科技股份有限公司 | 一种文本图像超分重建的方法及系统 |
| CN116681604A (zh) * | 2023-04-24 | 2023-09-01 | 吉首大学 | 一种基于条件生成对抗网络的秦简文字修复方法 |
| US12008732B2 (en) | 2020-04-02 | 2024-06-11 | Sony Group Corporation | Super-resolution of block-compressed texture for texture mapping applications |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070177476A1 (en) * | 2006-02-02 | 2007-08-02 | Hiroki Yamamoto | Optical information recording and reproducing apparatus |
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN108171654A (zh) * | 2017-11-20 | 2018-06-15 | 西北大学 | 带干扰抑制的汉字图像超分辨率重建方法 |
| CN108416734A (zh) * | 2018-02-08 | 2018-08-17 | 西北大学 | 基于边缘驱动的文本图像超分辨率重建方法和装置 |
-
2018
- 2018-11-07 CN CN201811320070.XA patent/CN109410239B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070177476A1 (en) * | 2006-02-02 | 2007-08-02 | Hiroki Yamamoto | Optical information recording and reproducing apparatus |
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN108171654A (zh) * | 2017-11-20 | 2018-06-15 | 西北大学 | 带干扰抑制的汉字图像超分辨率重建方法 |
| CN108416734A (zh) * | 2018-02-08 | 2018-08-17 | 西北大学 | 基于边缘驱动的文本图像超分辨率重建方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 王雨阳等: "Super-Resolution of Text Image Based on Conditional Generative Adversarial Network", 《HTTPS://LINK.SPRINGER.COM/CHAPTER/10.1007/978-3-030-00764-5_25》 * |
Cited By (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871902A (zh) * | 2019-03-08 | 2019-06-11 | 哈尔滨工程大学 | 一种基于超分辨率对抗生成级联网络的sar小样本识别方法 |
| CN109993698A (zh) * | 2019-03-29 | 2019-07-09 | 西安工程大学 | 一种基于生成对抗网络的单幅图像超分辨纹理增强方法 |
| CN109903299A (zh) * | 2019-04-02 | 2019-06-18 | 中国矿业大学 | 一种条件式生成对抗网络的异源遥感图像配准方法及装置 |
| CN110097085A (zh) * | 2019-04-03 | 2019-08-06 | 阿里巴巴集团控股有限公司 | 歌词文本生成方法、训练方法、装置、服务器及存储介质 |
| CN110097085B (zh) * | 2019-04-03 | 2023-04-14 | 阿里巴巴集团控股有限公司 | 歌词文本生成方法、训练方法、装置、服务器及存储介质 |
| CN109993702A (zh) * | 2019-04-10 | 2019-07-09 | 大连民族大学 | 基于生成对抗网络的满文图像超分辨率重建方法 |
| CN109993702B (zh) * | 2019-04-10 | 2023-09-26 | 大连民族大学 | 基于生成对抗网络的满文图像超分辨率重建方法 |
| CN110610458A (zh) * | 2019-04-30 | 2019-12-24 | 北京联合大学 | 一种基于岭回归的gan图像增强交互处理方法及系统 |
| CN110610458B (zh) * | 2019-04-30 | 2023-10-20 | 北京联合大学 | 一种基于岭回归的gan图像增强交互处理方法及系统 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110136063B (zh) * | 2019-05-13 | 2023-06-23 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110197468A (zh) * | 2019-06-06 | 2019-09-03 | 天津工业大学 | 一种基于多尺度残差学习网络的单图像超分辨重建算法 |
| CN110490818A (zh) * | 2019-07-24 | 2019-11-22 | 西安理工大学 | 基于cgan的计算鬼成像重建恢复方法 |
| CN110490818B (zh) * | 2019-07-24 | 2022-03-25 | 西安理工大学 | 基于cgan的计算鬼成像重建恢复方法 |
| CN110415176A (zh) * | 2019-08-09 | 2019-11-05 | 北京大学深圳研究生院 | 一种文本图像超分辨率方法 |
| CN110827201A (zh) * | 2019-11-05 | 2020-02-21 | 广东三维家信息科技有限公司 | 用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置 |
| CN111563841A (zh) * | 2019-11-13 | 2020-08-21 | 南京信息工程大学 | 一种基于生成对抗网络的高分辨率图像生成方法 |
| CN111028153A (zh) * | 2019-12-09 | 2020-04-17 | 南京理工大学 | 图像处理和神经网络训练方法、装置及计算机设备 |
| CN111028153B (zh) * | 2019-12-09 | 2024-05-07 | 南京理工大学 | 图像处理和神经网络训练方法、装置及计算机设备 |
| CN111210007A (zh) * | 2020-01-02 | 2020-05-29 | 国家电网有限公司 | 基于改进srgan模型的超分辨率螺栓图像生成方法 |
| CN111383173B (zh) * | 2020-02-12 | 2023-04-18 | 山东师范大学 | 一种基于基线的图像超分辨率重建方法及系统 |
| CN111383173A (zh) * | 2020-02-12 | 2020-07-07 | 山东师范大学 | 一种基于基线的图像超分辨率重建方法及系统 |
| CN111325660A (zh) * | 2020-02-20 | 2020-06-23 | 中国地质大学（武汉） | 一种基于文本数据的遥感图像风格转换方法 |
| CN111368790A (zh) * | 2020-03-18 | 2020-07-03 | 北京三快在线科技有限公司 | 细粒度人脸识别模型的构建方法、识别方法以及构建装置 |
| CN111429350A (zh) * | 2020-03-24 | 2020-07-17 | 安徽工业大学 | 一种手机拍照快速超分辨处理方法 |
| CN111429350B (zh) * | 2020-03-24 | 2023-02-24 | 安徽工业大学 | 一种手机拍照快速超分辨处理方法 |
| US12008732B2 (en) | 2020-04-02 | 2024-06-11 | Sony Group Corporation | Super-resolution of block-compressed texture for texture mapping applications |
| CN111861949A (zh) * | 2020-04-21 | 2020-10-30 | 北京联合大学 | 一种基于生成对抗网络的多曝光图像融合方法及系统 |
| CN111861949B (zh) * | 2020-04-21 | 2023-07-04 | 北京联合大学 | 一种基于生成对抗网络的多曝光图像融合方法及系统 |
| CN111784581A (zh) * | 2020-07-03 | 2020-10-16 | 苏州兴钊防务研究院有限公司 | 基于自归一化生成对抗网络的sar图像超分辨率重建方法 |
| CN111951164A (zh) * | 2020-08-11 | 2020-11-17 | 哈尔滨理工大学 | 一种图像超分辨率重建网络结构及图像重建效果分析方法 |
| CN112001847A (zh) * | 2020-08-28 | 2020-11-27 | 徐州工程学院 | 相对生成对抗超分辨率重建模型生成高质量图像的方法 |
| CN112330541A (zh) * | 2020-11-11 | 2021-02-05 | 广州博冠信息科技有限公司 | 直播视频处理方法、装置、电子设备和存储介质 |
| CN112633287B (zh) * | 2020-12-25 | 2024-04-26 | 中国矿业大学 | 一种面向矿井多源异构图文信息的文本识别方法及装置 |
| CN112633287A (zh) * | 2020-12-25 | 2021-04-09 | 中国矿业大学 | 一种面向矿井多源异构图文信息的文本识别方法及装置 |
| CN112733716A (zh) * | 2021-01-11 | 2021-04-30 | 杭州电子科技大学 | 基于srocrn网络的低分辨率文本图像识别方法 |
| CN112950464A (zh) * | 2021-01-25 | 2021-06-11 | 西安电子科技大学 | 一种不包含正则化层的二值超分辨率重建方法 |
| CN112950464B (zh) * | 2021-01-25 | 2023-09-01 | 西安电子科技大学 | 一种不包含正则化层的二值超分辨率重建方法 |
| CN112819695B (zh) * | 2021-01-26 | 2024-04-26 | 北京小米移动软件有限公司 | 图像超分辨率重建方法、装置、电子设备及介质 |
| CN112819695A (zh) * | 2021-01-26 | 2021-05-18 | 北京小米移动软件有限公司 | 图像超分辨率重建方法、装置、电子设备及介质 |
| CN112991168A (zh) * | 2021-02-08 | 2021-06-18 | 上海电力大学 | 一种基于目标检测和超分辨率的文本检测方法 |
| CN112801878A (zh) * | 2021-02-08 | 2021-05-14 | 广东三维家信息科技有限公司 | 渲染图像超分辨率纹理增强方法、装置、设备及存储介质 |
| CN113239961A (zh) * | 2021-04-09 | 2021-08-10 | 苏州科技大学 | 基于生成对抗网络的文本生成序列图像的方法 |
| CN113239961B (zh) * | 2021-04-09 | 2023-10-20 | 苏州科技大学 | 基于生成对抗网络的文本生成序列图像的方法 |
| CN113129214A (zh) * | 2021-04-21 | 2021-07-16 | 北京工业大学 | 一种基于生成对抗网络的超分辨率重建方法 |
| CN113033542B (zh) * | 2021-04-25 | 2024-03-01 | 中国电子系统技术有限公司 | 一种文本识别模型的生成方法以及装置 |
| CN113033542A (zh) * | 2021-04-25 | 2021-06-25 | 中国电子系统技术有限公司 | 一种文本识别模型的生成方法以及装置 |
| CN113140019A (zh) * | 2021-05-13 | 2021-07-20 | 电子科技大学 | 一种基于融合弥补生成对抗网络的文本生成图像的方法 |
| CN113140020B (zh) * | 2021-05-13 | 2022-10-14 | 电子科技大学 | 一种基于伴随监督生成对抗网络的文本生成图像的方法 |
| CN113140020A (zh) * | 2021-05-13 | 2021-07-20 | 电子科技大学 | 一种基于伴随监督生成对抗网络的文本生成图像的方法 |
| CN113361251A (zh) * | 2021-05-13 | 2021-09-07 | 山东师范大学 | 一种基于多阶段生成对抗网络的文本生成图像方法及系统 |
| CN113409191A (zh) * | 2021-06-02 | 2021-09-17 | 广东工业大学 | 一种基于注意力反馈机制的轻量级图像超分方法及系统 |
| CN113486925A (zh) * | 2021-06-07 | 2021-10-08 | 北京鹰瞳科技发展股份有限公司 | 模型训练方法、眼底图像生成方法、模型评估方法及装置 |
| CN113361689A (zh) * | 2021-06-09 | 2021-09-07 | 上海联影智能医疗科技有限公司 | 超分辨率重建网络模型的训练方法和扫描图像处理方法 |
| CN113421188B (zh) * | 2021-06-18 | 2024-01-05 | 广东奥普特科技股份有限公司 | 一种图像均衡增强的方法、系统、装置及存储介质 |
| CN113421188A (zh) * | 2021-06-18 | 2021-09-21 | 广东奥普特科技股份有限公司 | 一种图像均衡增强的方法、系统、装置及存储介质 |
| CN113706379B (zh) * | 2021-07-29 | 2023-05-26 | 山东财经大学 | 一种基于医学图像处理的层间插值方法及系统 |
| CN113706379A (zh) * | 2021-07-29 | 2021-11-26 | 山东财经大学 | 一种基于医学图像处理的层间插值方法及系统 |
| CN113591798A (zh) * | 2021-08-23 | 2021-11-02 | 京东科技控股股份有限公司 | 文档文字的重建方法及装置、电子设备、计算机存储介质 |
| CN113591798B (zh) * | 2021-08-23 | 2023-11-03 | 京东科技控股股份有限公司 | 文档文字的重建方法及装置、电子设备、计算机存储介质 |
| CN113688927A (zh) * | 2021-08-31 | 2021-11-23 | 中国平安人寿保险股份有限公司 | 一种图片样本生成方法、装置、计算机设备及存储介质 |
| CN114037843A (zh) * | 2021-11-10 | 2022-02-11 | 南宁桂电电子科技研究院有限公司 | 一种基于改进生成对抗网络的提高水下图像分辨率方法 |
| CN114724144B (zh) * | 2022-05-16 | 2024-02-09 | 北京百度网讯科技有限公司 | 文本识别方法、模型的训练方法、装置、设备及介质 |
| CN114724144A (zh) * | 2022-05-16 | 2022-07-08 | 北京百度网讯科技有限公司 | 文本识别方法、模型的训练方法、装置、设备及介质 |
| CN115829837A (zh) * | 2022-11-15 | 2023-03-21 | 深圳市新良田科技股份有限公司 | 一种文本图像超分重建的方法及系统 |
| CN116681604B (zh) * | 2023-04-24 | 2024-01-02 | 吉首大学 | 一种基于条件生成对抗网络的秦简文字修复方法 |
| CN116681604A (zh) * | 2023-04-24 | 2023-09-01 | 吉首大学 | 一种基于条件生成对抗网络的秦简文字修复方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109410239B (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410239A (zh) | 一种基于条件生成对抗网络的文本图像超分辨率重建方法 | |
| Zhao et al. | DIDFuse: Deep image decomposition for infrared and visible image fusion | |
| CN112288658B (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| CN111127308B (zh) | 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法 | |
| CN112653899B (zh) | 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法 | |
| CN112801040B (zh) | 嵌入高阶信息的轻量级无约束人脸表情识别方法及系统 | |
| CN113392711B (zh) | 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统 | |
| CN114596608B (zh) | 一种基于多线索的双流视频人脸伪造检测方法及系统 | |
| CN109753984A (zh) | 视频分类方法、装置和计算机可读存储介质 | |
| CN114821058A (zh) | 一种图像语义分割方法、装置、电子设备及存储介质 | |
| CN114627034A (zh) | 一种图像增强方法、图像增强模型的训练方法及相关设备 | |
| CN115359534A (zh) | 基于多特征融合和双流网络的微表情识别方法 | |
| CN115482529A (zh) | 近景色水果图像识别方法、设备、存储介质及装置 | |
| CN116188859A (zh) | 一种基于超分和检测网络的茶叶病害无人机遥感监测方法 | |
| Li et al. | A lightweight improved YOLOv5s model and its deployment for detecting pitaya fruits in daytime and nighttime light-supplement environments | |
| Bugeau et al. | Influence of color spaces for deep learning image colorization | |
| Liu et al. | “Is this blueberry ripe?”: a blueberry ripeness detection algorithm for use on picking robots | |
| CN116935045B (zh) | 一种基于混合注意力和多尺度级联的视网膜血管分割方法和系统 | |
| Huang et al. | Temporally-aggregating multiple-discontinuous-image saliency prediction with transformer-based attention | |
| CN112132253B (zh) | 3d动作识别方法、装置、计算机可读存储介质及设备 | |
| CN110110651B (zh) | 基于时空重要性和3d cnn的视频中行为识别方法 | |
| Wang et al. | Exposure fusion using a relative generative adversarial network | |
| CN114882405B (zh) | 一种基于时空双流金字塔网络架构的视频显著性检测方法 | |
| CN111861877A (zh) | 视频超分变率的方法和装置 | |
| Liu et al. | Learning an optical filter for green pepper automatic picking in agriculture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |