CN112785599A - 图像扩展方法及装置 - Google Patents

图像扩展方法及装置 Download PDF

Info

Publication number
CN112785599A
CN112785599A CN202011563974.2A CN202011563974A CN112785599A CN 112785599 A CN112785599 A CN 112785599A CN 202011563974 A CN202011563974 A CN 202011563974A CN 112785599 A CN112785599 A CN 112785599A
Authority
CN
China
Prior art keywords
image data
expanded
image
labeled
labeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011563974.2A
Other languages
English (en)
Other versions
CN112785599B (zh
Inventor
陈海波
李亦超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenlan Industrial Intelligent Innovation Research Institute Ningbo Co ltd
Original Assignee
Shenlan Industrial Intelligent Innovation Research Institute Ningbo Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenlan Industrial Intelligent Innovation Research Institute Ningbo Co ltd filed Critical Shenlan Industrial Intelligent Innovation Research Institute Ningbo Co ltd
Priority to CN202011563974.2A priority Critical patent/CN112785599B/zh
Publication of CN112785599A publication Critical patent/CN112785599A/zh
Application granted granted Critical
Publication of CN112785599B publication Critical patent/CN112785599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及图像技术领域，提供了一种图像扩展方法及装置，所述方法包括：对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据；使用训练样本和所述训练样本的标注图像数据输入进WGAN模型进行训练，得到训练好的WGAN模型；其中，所述标注图像数据为通过对所述训练样本中的周边区域进行标注生成；将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据。本申请实施例实现将用于图像修复的WGAN模型应用于图像扩展中，计算速度快，可以将待扩展图像扩展至任意大小，而且扩展的边界圆滑自然。

Description

图像扩展方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像扩展方法及装置。
背景技术
图像扩展技术在很多领域具备潜在的应用价值。例如将长宽比不一致的艺术画填补至统一的长宽比以适应固定大小的画集；又或者在虚拟现实(Virtual Reality，VR)中经常需要模拟不同的摄像机并填补超出原图的内容。
现有的图像扩展方法分为传统算法和基于深度学习的生成对抗网络模型。其中，传统算法先找到与原图边缘相似的图片，然后使用裁切及缝合算法将它们拼接起来。基于深度学习的生成对抗网络直接对原图缺失的部分进行修复。
传统算法只能从有限的数据集中找出合适的图像进行缝合，运算缓慢，且无法处理风格不一致的图像。而基于深度学习的生成对抗网络用于修复有随机噪点或缺损的原图，不能将原图扩展至任意所需大小。
发明内容
本申请提供一种图像扩展方法及装置，以实现使用条件生成对抗网络补全图像需要扩展的部分，计算速度快，可将原图扩展至任意大小。
本申请提供一种图像扩展方法，包括：
对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据；
使用训练样本和所述训练样本的标注图像数据输入进WGAN模型进行训练，得到训练好的WGAN模型；其中，所述标注图像数据为通过对所述训练样本中的周边区域进行标注生成；
将所述标注后的待扩展图像数据输入所述训练好的WGAN(WassersteinGenerative Adversarial Nets，Wasserstein生成对抗网络)模型中，输出第一扩展图像数据。
根据本申请提供的一种图像扩展方法，所述对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据，之前还包括：
截取所述待扩展图像数据的部分区域；
将截取的所述部分区域上采样或下采样至预设尺寸；
相应地，所述将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，之后还包括：
根据所述第一扩展图像数据和所述待扩展图像数据中未截取的区域，获取第二扩展图像数据。
根据本申请提供的一种图像扩展方法，所述根据所述第一扩展图像数据和所述待扩展图像数据中未截取的区域，获取第二扩展图像数据，包括：
将所述第一扩展图像数据输入ESRGAN(Enhanced Super-Resolution GenerativeAdversarial Networks，增强型超分辨率生成对抗网络)模型中，输出还原图像数据；
其中，所述还原图像数据的尺寸等于截取的所述部分区域与所述待扩展区域的尺寸之和，所述还原图像数据的分辨率等于所述待扩展图像数据的分辨率；
将所述还原图像数据与所述待扩展图像数据中未截取的区域进行拼接，获取第二扩展图像数据。
根据本申请提供的一种图像扩展方法，所述待扩展区域在所述待扩展图像数据中的位置与所述训练样本所被标注处理的位置相同；
所述训练样本的风格与所述待扩展图像数据的风格相同；
所述标注图像数据的标注比例与所述标注后的待扩展图像数据的标注比例相同。
根据本申请提供的一种图像扩展方法，所述对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据，之前还包括：
若所述待扩展区域位于所述待扩展图像数据的一侧，且与所述训练样本所被标注处理的位置相反，则将所述待扩展图像数据进行镜像翻转；
相应地，所述将所述标注后的待扩展图像数据的缺损图像输入所述训练好的WGAN模型中，输出第一扩展图像数据，之后还包括：
将所述第一扩展图像数据进行镜像翻转，获取第三扩展图像数据。
根据本申请提供的一种图像扩展方法，所述对待扩展图像数据周边的待扩展区域标注，包括：
若所述待扩展区域位于所述待扩展图像数据的两侧，且其中一侧与所述训练样本所被标注处理的位置相同，则对所述其中一侧的待扩展区域标注；
相应地，所述将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，之后还包括：
将所述第一扩展图像数据进行镜像翻转，获取翻转图像数据；
对所述翻转图像数据一侧的待扩展区域标注，获取标注后的翻转图像数据；
其中，所述待扩展区域位于所述翻转图像数据的一侧和所述训练样本所被标注处理的位置相同；
将所述标注后的翻转图像数据输入所述训练好的WGAN模型中，输出第四扩展图像数据；
将所述第四扩展图像数据进行镜像翻转，获取第五扩展图像数据。
根据本申请提供的一种图像扩展方法，所述将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，之前还包括：
对所述训练样本中的周边区域分别进行多种标注比例的标注，生成所述标注图像数据；
分别使用每种标注比例的所述标注图像数据对所述WGAN模型进行训练，获取每种标注比例对应的训练好的WGAN模型；
相应地，所述将所述标注后的待扩展图像数据输入所述WGAN模型中，输出第一扩展图像数据，包括：
计算所述待扩展区域在所述标注后的待扩展图像数据中的占比；
根据所述占比和所述标注比例，选择所述标注比例对应的训练好的WGAN模型；
将所述标注后的待扩展图像数据输入选择的训练好的WGAN模型，输出第一扩展图像数据。
本申请还提供一种图像扩展装置，包括：
第一标注模块，用于对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据；
训练模块，用于使用训练样本和所述训练样本的标注图像数据输入进WGAN模型进行训练，得到训练好的WGAN模型；其中，所述标注图像数据为通过对所述训练样本中的周边区域进行标注生成；
第一扩展模块，用于将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据。
根据本申请提供的一种图像扩展装置，还包括截取模块和采样模块；
所述截取模块用于截取所述待扩展图像数据的部分区域；
所述采样模块用于将截取的所述部分区域上采样或下采样至预设尺寸；
相应地，还包括获取模块，用于：
根据所述第一扩展图像数据和所述待扩展图像数据中未截取的区域，获取第二扩展图像数据。
根据本申请提供的一种图像扩展装置，所述获取模块包括还原模块和拼接模块；
所述还原模块用于将所述第一扩展图像数据输入ESRGAN模型中，输出还原图像数据；
其中，所述还原图像数据的尺寸等于截取的所述部分区域与所述待扩展区域的尺寸之和，所述还原图像数据的分辨率等于所述待扩展图像数据的分辨率；
所述拼接模块用于将所述还原图像数据与所述待扩展图像数据中未截取的区域进行拼接，获取第二扩展图像数据。
根据本申请提供的一种图像扩展装置，所述待扩展区域在所述待扩展图像数据中的位置与所述训练样本所被标注处理的位置相同；
所述训练样本的风格与所述待扩展图像数据的风格相同；
所述标注图像数据的标注比例与所述标注后的待扩展图像数据的标注比例相同。
根据本申请提供的一种图像扩展装置，还包括第一翻转模块，用于：
若所述待扩展区域位于所述待扩展图像数据的一侧，且与所述训练样本所被标注处理的位置相反，则将所述待扩展图像数据进行镜像翻转；
相应地，还包括第二翻转模块，用于：
将所述第一扩展图像数据进行镜像翻转，获取第三扩展图像数据。
根据本申请提供的一种图像扩展装置，所述第一标注模块用于：
若所述待扩展区域位于所述待扩展图像数据的两侧，且其中一侧与所述训练样本所被标注处理的位置相同，则对所述其中一侧的待扩展区域标注；
相应地，还包括：
第三翻转模块，用于将所述第一扩展图像数据进行镜像翻转，获取翻转图像数据；
其中，所述待扩展区域位于所述翻转图像数据的一侧和位于所述待扩展图像数据的一侧相同；
第二扩展模块，用于将所述标注后的翻转图像数据输入所述训练好的WGAN模型中，输出第四扩展图像数据；
第四翻转模块，用于将所述第四扩展图像数据进行镜像翻转，获取第五扩展图像数据。
根据本申请提供的一种图像扩展装置，还包括：
生成模块，用于对所述训练样本中的周边区域分别进行多种标注比例的标注，生成所述标注图像数据；
训练模块，用于分别使用每种标注比例的所述标注图像对所述WGAN模型进行训练，获取每种标注比例对应的训练好的WGAN模型；
相应地，所述第一扩展模块包括计算子模块、选择子模块和第一扩展子模块；
所述计算子模块用于计算所述待扩展区域在所述标注后的待扩展图像数据中的占比；
所述选择子模块用于根据所述占比和所述标注比例，选择所述标注比例对应的训练好的WGAN模型；
所述第一扩展子模块用于将所述标注后的待扩展图像数据输入选择的训练好的WGAN模型，输出第一扩展图像数据。
本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述图像扩展方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像扩展方法的步骤。
本申请提供的图像扩展方法及装置，通过对待扩展图像周边的待扩展区域标注，使用WGAN模型对标注后的待扩展图像数据中的标注部分进行修复，获取到扩展图像，从而实现将用于图像修复的WGAN模型应用于图像扩展中，计算速度快，可以将待扩展图像扩展至任意大小，而且扩展的边界圆滑自然。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的图像扩展方法的流程示意图之一；
图2是本申请提供的图像扩展方法的流程示意图之二；
图3是本申请提供的图像扩展方法中待扩展图像的预处理示意图；
图4是本申请提供的图像扩展方法中步骤130的实施方式的流程示意图；
图5是本申请提供的图像扩展方法中ESRGAN模型的还原效果示意图；
图6是本申请提供的图像扩展方法中扩展效果示意图；
图7是本申请提供的图像扩展方法的流程示意图之三；
图8是本申请提供的图像扩展方法的流程示意图之四；
图9是本申请提供的图像扩展方法中步骤120的实施方式的流程示意图；
图10是本申请提供的图像扩展装置的结构示意图之一；
图11是本申请提供的图像扩展装置的结构示意图之二；
图12是本申请提供的图像扩展装置的结构示意图中获取模块的实施方式的流程示意图；
图13是本申请提供的图像扩展装置的结构示意图之三；
图14是本申请提供的图像扩展装置的结构示意图之四；
图15是本申请提供的图像扩展装置中第一扩展模块的实施方式的流程示意图；
图16是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合图1描述本申请的一种图像扩展方法，该方法包括：步骤110，对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据；
其中，待扩展图像数据为需要进行扩展的图像数据。待扩展区域为需要为待扩展图像数据扩展的区域，待扩展区域与待扩展图像数据之间的比例根据需要确定。本实施例根据需要在待扩展图像数据的周边进行扩展。如当待扩展图像数据为矩形时，在矩形的一侧或多侧进行扩展，如左侧、右侧、上侧和下侧中的一种或多种。对待扩展区域进行标注，以方便WGAN模型能识别出待扩展区域。例如，以掩膜(Mask)处理的方式对待扩展区域进行标注，即将待扩展区域的所有像素乘以一个系数0，用于区分扩展区和非扩展区。将待扩展图像数据和其周边区域的标注作为标注后的待扩展图像数据。
步骤110’，使用训练样本和所述训练样本的标注图像数据输入进WGAN模型进行训练，得到训练好的WGAN模型，其中，所述标注图像数据为通过对所述训练样本中的周边区域进行标注生成；
在使用WGAN模型之前，先对其进行训练。在训练的过程中，基于WGAN模型中的生成器根据标注图像数据中未所述周边区域的图像生成所述周边区域的图像；基于WGAN模型中的判别器，计算训练样本中所述周边区域的实际图像和生成的所述周边区域的图像之间的相似度；根据相似度对生成器和判别器中的权重参数进行调整，直到相似度大于预设阈值。通过训练对WGAN模型的权重参数进行优化，在使用WGAN模型进行图像扩展时，WGAN模型的权重参数为优化后的权重参数。
步骤120，将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据。
现有技术中WGAN模型用于修复图像中不规则的缺损。而本申请中将标注后的待扩展图像数据中的标注部分视为缺损部分，从而使用WGAN模型对缺损图像中的填充部分进行修复，实现对待扩展图像的扩展。
本实施例通过对待扩展图像周边的待扩展区域标注，使用WGAN模型对标注后的待扩展图像中的标注部分进行修复，获取到扩展图像，从而实现将用于图像修复的WGAN模型应用于图像扩展中，计算速度快，可以将待扩展图像扩展至任意大小，而且扩展的边界圆滑自然。
在上述实施例的基础上，如图2所示，本实施例中步骤110，对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据，之前还包括：
步骤010，截取所述待扩展图像数据的部分区域；
由于运行WGAN模型的计算机硬件中内存的限制，需要对WGAN模型输入图像的分辨率和尺寸进行限制。为了满足尺寸限制，截取待扩展图像数据周边的部分区域。当对待扩展图像数据的一侧进行扩展时，截取区域和待扩展区域位于待扩展图像数据的同一侧。例如，当需要将待扩展图像数据向左侧扩展时，待扩展区域位于待扩展图像数据的左侧，截取待扩展图像数据左侧的部分区域。
为了满足分辨率限制，对截取区域进行上采样或采样。上采样可采用插值函数方法。
步骤020，将截取的所述部分区域上采样或下采样至预设尺寸；
例如，图3中左边的原图尺寸为1024*768，需要对原图左侧进行扩展。截取待扩展图像数据的左侧部分，并将其下采样至512*512。并将截取部分的左侧进行白色填充，用斜线部分表示。将图3中的右图输入GAN模型，输出的原图的第一扩展图像数据。
本实施例对于运行WGAN模型的计算机硬件中内存的限制，通过裁剪和采样对待扩展图像进行预处理，使用预处理后的待扩展图像进行后续扩展，减小了内存计算量，提高了运行速度。
相应地，步骤120，将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，之后还包括：步骤130，根据所述第一扩展图像数据和所述待扩展图像数据中未截取的区域，获取第二扩展图像数据。
在上述实施例的基础上，如图4所示，本实施例中步骤130，根据所述第一扩展图像数据和所述待扩展图像数据中未截取的区域，获取第二扩展图像数据，包括：步骤131，将所述第一扩展图像数据输入ESRGAN模型中，输出还原图像数据；其中，所述还原图像数据的尺寸等于截取的所述部分区域与所述待扩展区域的尺寸之和，所述还原图像数据的分辨率等于所述待扩展图像数据的分辨率；
由于运行WGAN模型的计算机硬件中内存的限制，限制WGAN模型的输入图像和生成图像的分辨率过低。如果仅仅使用插值函数对生成的第一扩展图像数据进行上采样，强行增大第一扩展图像数据的分辨率，会使得第一扩展图像数据过于模糊。
本实施例将WGAN模型输出的第一扩展图像数据输入至ESRGAN模型中，经过ESRGAN模型处理后得到与待扩展图像数据相同分辨率的图像数据。ESRGAN模型不仅对第一扩展图像数据的分辨率进行还原，还对第一扩展图像的尺寸进行还原。使用ESRGAN模型对第一扩展图像数据进行还原的效果图如图5所示。
步骤132，将所述还原图像与所述待扩展图像中未截取的区域进行拼接，获取所述待扩展图像的第二扩展图像。
将ESRGAN模型处理后得到的还原图像数据与待扩展图像数据中未处理的区域进行拼接，得到待扩展图像数据的第二扩展图像，即最终扩展图像数据，效果图如图6所示。
本实施例将WGAN模型得到的扩展图像数据输入至ESRGAN模型中，处理后得到与待扩展图像数据相同分辨率的图像数据，从而实现对图像数据进行扩展的同时，保证和原图像数据相同的高分辨率。
在上述各实施例的基础上，本实施例中所述待扩展区域在所述待扩展图像数据中的位置与所述训练样本所被标注处理的位置相同；
为了对WGAN模型进行更好地训练，使得WGAN模型能更好地对待扩展图像数据进行扩展，待扩展区域位于待扩展图像数据的位置与所述训练样本所被标注处理的位置相同。例如，当待扩展图像向左侧扩展时，使用左侧标注的训练样本对WGAN模型进行训练。
所述训练样本的风格与所述待扩展图像数据的风格相同；
例如，当待扩展图像数据为油画时，选择油画风格的训练样本构建数据集。同样，待扩展图像数据为风景照时，选择数千张风景画作为数据集。
所述标注图像数据的标注比例与所述标注后的待扩展图像数据的标注比例相同。
例如，标注图像数据的标注比例与标注后的待扩展图像数据的标注比例均为四分之一。
此外，训练样本的数量要适中，太少导致训练的WGAN模型扩展效果差，太多导致训练速度慢。可以挑选500至1000张训练样本对WGAN模型进行训练。
本实施例通过对训练样本的风格、训练样本的标注图像数据的标注比例和标注位置进行限定，实现对WGAN模型的权重参数进行精细调节，使得训练的WGAN模型对待扩展图像数据的扩展将更加逼真。
在上述各实施例的基础上，如图7所示，本实施例中步骤110，对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据，之前还包括：步骤000，若所述待扩展区域位于所述待扩展图像数据的一侧，且与所述训练样本所被标注处理的位置相反，则将所述待扩展图像数据进行镜像翻转；
为了获取更好的扩展效果，当对待扩展图像数据的一侧进行扩展时，在待扩展区域位于待扩展图像数据的一侧与训练样本所被标注处理的位置时，例如需要对扩展区域的左侧区域进行扩展，而WGAN模型是使用右侧标注的标注图像数据进行训练的。此时，只需要将对待扩展图像数据进行镜像翻转。使得镜像翻转的待扩展图像数据的扩展位置与标注图像数据的标注位置一致，如都位于右侧。对镜像翻转的待扩展图像数据进行后续扩展。
相应地，步骤120，将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，之后还包括：步骤140，将所述第一扩展图像数据进行镜像翻转，获取第三扩展图像数据。
在对镜像翻转的待扩展图像扩展后，对扩展的第一扩展图像数据再次进行镜像翻转，从而获得正常的扩展图像数据，即第三扩展图像数据。
本实施例在在待扩展区域位于待扩展图像数据的一侧与所述周边区域位于标注图像数据的一侧相反时，为了获取更好的扩展效果，不需要重新对WGAN模型进行训练，只需将待扩展图像数据进行镜像扩展即可。
在上述各实施例的基础上，如图8所示，本实施例中步骤110，所述对待扩展图像数据周边的待扩展区域标注，包括：若所述待扩展区域位于所述待扩展图像数据的两侧，且其中一侧与所述训练样本所被标注处理的位置相同，则对所述其中一侧的待扩展区域标注；
如果需要对待扩展图像数据的两侧进行扩展，则先标注一侧的待扩展区域，对一侧进行扩展，而且该侧与训练样本所标注处理的位置相同。然后将一侧扩展获得的第一扩展图像数据进行翻转，对另一侧的待扩展区域进行标注后扩展。
步骤120，将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，之后还包括：步骤150，将所述第一扩展图像数据进行镜像翻转，获取翻转图像数据；
由于一侧的待扩展区域过大会影响扩展效果，并且有时需要同时对两侧进行扩展。在需要对两侧进行扩展时，对待扩展图像数据与标注图像标注同侧的一侧进行扩展时，直接使用待扩展图像进行扩展；对待扩展图像与标注图像标注侧相反的一侧进行扩展时，对先获得的第一扩展图像进行镜像翻转后再进行扩展。
步骤160，对所述翻转图像数据一侧的待扩展区域标注，获取标注后的翻转图像数据；其中，所述待扩展区域位于所述翻转图像数据的一侧和位于所述待扩展图像数据的一侧相同；步骤170，将所述标注后的翻转图像数据输入所述训练好的WGAN模型中，输出第四扩展图像数据；步骤180，将所述第四扩展图像数据进行镜像翻转，获取第五扩展图像数据。
对第一扩展图像数据进行镜像翻转后再进行扩展的方法与对待扩展图像数据进行扩展的方法相同。
在上述各实施例的基础上，如图9所示，本实施例中步骤120，将所述待扩展图像的缺损图像输入训练好的WGAN模型中，输出所述待扩展图像的第一扩展图像，之前还包括：步骤011，对所述训练样本中的周边区域分别进行多种标注比例的标注，生成所述标注图像数据；步骤012，分别使用每种标注比例的所述标注图像数据对所述WGAN模型进行训练，获取每种标注比例对应的训练好的WGAN模型；
在使用WGAN模型对待扩展图像进行扩展前，使用多种标注比例的标注图像分别对WGAN模型进行训练，从而获取每种比例的标注图像训练得到的WGAN模型的最优权重参数。如1/4比例、1/2比例和3/4比例三种。
相应地，步骤120，将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，包括：步骤121，计算所述待扩展区域在所述标注后的待扩展图像数据中的占比；步骤122，根据所述占比和所述标注比例，选择所述标注比例对应的训练好的WGAN模型；步骤123，将所述标注后的待扩展图像数据输入选择的训练好的WGAN模型，输出第一扩展图像数据。
其中，标注后的待扩展图像数据中的标注比例与标注图像中的标注比例越相近，使用该标注比例的标注图像训练的WGAN模型进行图像扩展的效果越好。本实施例计算标注后的待扩展图像数据中的标注比例，即待扩展区域在标注后的待扩展图像数据中的占比。将标注后的待扩展图像数据的标注比例与标注图像数据的多种标注比例进行比较，从中选择与标注后的待扩展图像数据的标注比例最相近的标注比例对应的WGAN模型进行图像扩展。
本实施例的完整流程为：首先输入原图，对原图进行裁剪，并对截取的部分进行采样，对采用结果的待扩展区域进行填充。之后根据待扩展区域的占比选择训练好的WGAN模型进行图像扩展。将扩展结果输入训练好的ESRGAN模型进行超分辨率处理。最后与原图中未处理的部分拼接。若需要对图像的另一侧进行扩展，则将ESRGAN模型的输出结果作为原图继续对图像的另一侧进行扩展。
下面对本申请提供的图像扩展装置进行描述，下文描述的图像扩展装置与上文描述的图像扩展方法可相互对应参照。
如图10所示，该装置包括第一标注模块210、训练模块210’和第一扩展模块220，其中：
第一标注模块210用于对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据；
其中，待扩展图像数据为需要进行扩展的图像数据。待扩展区域为需要为待扩展图像数据扩展的区域，待扩展区域与待扩展图像数据之间的比例根据需要确定。本实施例根据需要在待扩展图像数据的周边进行扩展。如当待扩展图像数据为矩形时，在矩形的一侧或多侧进行扩展，如左侧、右侧、上侧和下侧中的一种或多种。对待扩展区域进行标注，以方便WGAN模型能识别出待扩展区域。例如，将待扩展区域进行填充，如白色填充，但不限于这种填充颜色和填充形式。将待扩展图像数据和其周边区域的标注作为标注后的待扩展图像数据。
训练模块210’用于使用训练样本和所述训练样本的标注图像数据输入进WGAN模型进行训练，得到训练好的WGAN模型，其中，所述标注图像数据为通过对所述训练样本中的周边区域进行标注生成；
在使用WGAN模型之前，先对其进行训练。在训练的过程中，基于WGAN模型中的生成器根据标注图像数据中未所述周边区域的图像生成所述周边区域的图像；基于WGAN模型中的判别器，计算训练样本中所述周边区域的实际图像和生成的所述周边区域的图像之间的相似度；根据相似度对生成器和判别器中的权重参数进行调整，直到相似度大于预设阈值。
第一扩展模块220用于将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据。
现有技术中WGAN模型用于修复图像中不规则的缺损。而本申请中将标注后的待扩展图像数据中的标注部分视为缺损部分，从而使用WGAN模型对缺损图像中的填充部分进行修复，实现对待扩展图像的扩展。
本实施例通过对待扩展图像周边的待扩展区域标注，使用WGAN模型对标注后的待扩展图像中的标注部分进行修复，获取到扩展图像，从而实现将用于图像修复的WGAN模型应用于图像扩展中，计算速度快，可以将待扩展图像扩展至任意大小，而且扩展的边界圆滑自然。
在上述实施例的基础上，如图11所示，本实施例还包括截取模块201和采样模块202；所述截取模块201用于截取所述待扩展图像数据的部分区域；所述采样模块202用于将截取的所述部分区域上采样或下采样至预设尺寸；相应地，还包括获取模块230，用于：根据所述第一扩展图像数据和所述待扩展图像数据中未截取的区域，获取第二扩展图像数据。
在上述实施例的基础上，如图12所示，本实施例所述获取模块包括还原模块231和拼接模块232；所述还原模块231用于将所述第一扩展图像数据输入ESRGAN模型中，输出还原图像数据；其中，所述还原图像数据的尺寸等于截取的所述部分区域与所述待扩展区域的尺寸之和，所述还原图像数据的分辨率等于所述待扩展图像数据的分辨率；所述拼接模块232用于将所述还原图像数据与所述待扩展图像数据中未截取的区域进行拼接，获取第二扩展图像数据。
在上述实施例的基础上，本实施例中所述待扩展区域在所述待扩展图像数据中的位置与所述训练样本所被标注处理的位置相同；
所述训练样本的风格与所述待扩展图像数据的风格相同；
所述标注图像数据的标注比例与所述标注后的待扩展图像数据的标注比例相同。
在上述实施例的基础上，如图13所示，本实施例还包括第一翻转模块200，用于：若所述待扩展区域位于所述待扩展图像数据的一侧，且与所述训练样本所被标注处理的位置相反，则将所述待扩展图像数据进行镜像翻转；相应地，还包括第二翻转模块240用于：将所述第一扩展图像数据进行镜像翻转，获取第三扩展图像数据。
在上述实施例的基础上，如图14所示，本实施例所述第一标注模块用于：若所述待扩展区域位于所述待扩展图像数据的两侧，且其中一侧与所述训练样本所被标注处理的位置相同，则对所述其中一侧的待扩展区域标注；相应地，还包括：第三翻转模块250用于将所述第一扩展图像数据进行镜像翻转，获取翻转图像数据；第二标注模块260用于对所述翻转图像数据一侧的待扩展区域标注，获取标注后的翻转图像数据；其中，所述待扩展区域位于所述翻转图像数据的一侧和位于所述待扩展图像数据的一侧相同；第二扩展模块270用于将将所述标注后的翻转图像数据输入所述WGAN模型中，输出第四扩展图像数据；第四翻转模块280用于将所述第四扩展图像数据进行镜像翻转，获取第五扩展图像数据。
在上述各实施例的基础上，如图15所示，本实施例还包括生成模块201用于对所述训练样本中的周边区域分别进行多种标注比例的标注，生成所述标注图像数据；训练模块202用于分别使用每种标注比例的所述标注图像对所述WGAN模型进行训练，获取每种标注比例对应的训练好的WGAN模型；相应地，所述第一扩展模块包括计算子模块221、选择子模块222和第一扩展子模块223；计算子模块221用于计算所述待扩展区域在所述标注后的待扩展图像数据中的占比；选择子模块222用于根据所述占比和所述标注比例，选择所述标注比例对应的训练好的WGAN模型；第一扩展子模块223用于将所述标注后的待扩展图像数据输入选择的训练好的WGAN模型，输出第一扩展图像数据。
本申请实施例提供的图像扩展装置用于执行上述图像扩展方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
图16示例了一种电子设备的实体结构示意图，如图16所示，该电子设备可以包括：处理器(processor)161、通信接口(Communications Interface)162、存储器(memory)163和通信总线164，其中，处理器161，通信接口162，存储器163通过通信总线164完成相互间的通信。处理器161可以调用存储器163中的逻辑指令，以执行图像扩展方法，该方法包括：对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据；使用训练样本和所述训练样本的标注图像数据输入进WGAN模型进行训练，得到训练好的WGAN模型；其中，所述标注图像数据为通过对所述训练样本中的周边区域进行标注生成；将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据。
此外，上述的存储器163中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器161可以调用存储器163中的逻辑指令，实现上述图像扩展方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本申请还提供一种计算机程序产品，下面对本申请提供的计算机程序产品进行描述，下文描述的计算机程序产品与上文描述的图像扩展方法可相互对应参照。
所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的图像扩展方法，该方法包括：对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据；使用训练样本和所述训练样本的标注图像数据输入进WGAN模型进行训练，得到训练好的WGAN模型；其中，所述标注图像数据为通过对所述训练样本中的周边区域进行标注生成；将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据。
本申请实施例提供的计算机程序产品被执行时，实现上述图像扩展方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的图像扩展方法可相互对应参照。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的图像扩展方法，该方法包括：对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据；使用训练样本和所述训练样本的标注图像数据输入进WGAN模型进行训练，得到训练好的WGAN模型；其中，所述标注图像数据为通过对所述训练样本中的周边区域进行标注生成；将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述图像扩展方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (16)

1.一种图像扩展方法，其特征在于，包括：
对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据；
使用训练样本和所述训练样本的标注图像数据输入进WGAN模型进行训练，得到训练好的WGAN模型；其中，所述标注图像数据通过对所述训练样本中的周边区域进行掩膜生成；
将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据。
2.根据权利要求1所述的图像扩展方法，其特征在于，所述对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据，之前还包括：
截取所述待扩展图像数据的部分区域；
将截取的所述部分区域上采样或下采样至预设尺寸；
相应地，所述将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，之后还包括：
根据所述第一扩展图像数据和所述待扩展图像数据中未截取的区域，获取第二扩展图像数据。
3.根据权利要求2所述的图像扩展方法，其特征在于，所述根据所述第一扩展图像数据和所述待扩展图像数据中未截取的区域，获取第二扩展图像数据，包括：
将所述第一扩展图像数据输入ESRGAN模型中，输出还原图像数据；
其中，所述还原图像数据的尺寸等于截取的所述部分区域与所述待扩展区域的尺寸之和，所述还原图像数据的分辨率等于所述待扩展图像数据的分辨率；
将所述还原图像数据与所述待扩展图像数据中未截取的区域进行拼接，获取第二扩展图像数据。
4.根据权利要求1-3任一所述的图像扩展方法，其特征在于，所述待扩展区域在所述待扩展图像数据中的位置与所述训练样本所被标注处理的位置相同；
所述训练样本的风格与所述待扩展图像数据的风格相同；
所述标注图像数据的标注比例与所述标注后的待扩展图像数据的标注比例相同。
5.根据权利要求1-3任一所述的图像扩展方法，其特征在于，所述对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据，之前还包括：
若所述待扩展区域位于所述待扩展图像数据的一侧，且与所述训练样本所被标注处理的位置相反，则将所述待扩展图像数据进行镜像翻转；
相应地，所述将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，之后还包括：
将所述第一扩展图像数据进行镜像翻转，获取第三扩展图像数据。
6.根据权利要求1-3任一所述的图像扩展方法，其特征在于，所述对待扩展图像数据周边的待扩展区域标注，包括：若所述待扩展区域位于所述待扩展图像数据的两侧，且其中一侧与所述训练样本所被标注处理的位置相同，则对所述其中一侧的待扩展区域标注；
相应地，所述将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，之后还包括：
将所述第一扩展图像数据进行镜像翻转，获取翻转图像数据；
对所述翻转图像数据一侧的待扩展区域标注，获取标注后的翻转图像数据；
其中，所述待扩展区域位于所述翻转图像数据的一侧和所述训练样本所被标注处理的位置相同；
将所述标注后的翻转图像数据输入所述训练好的WGAN模型中，输出第四扩展图像数据；
将所述第四扩展图像数据进行镜像翻转，获取第五扩展图像数据。
7.根据权利要求1-3任一所述的图像扩展方法，其特征在于，所述将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，之前还包括：
对所述训练样本中的周边区域分别进行多种标注比例的标注，生成所述标注图像数据；
分别使用每种标注比例的所述标注图像数据对所述WGAN模型进行训练，获取每种标注比例对应的训练好的WGAN模型；
相应地，所述将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，包括：
计算所述待扩展区域在所述标注后的待扩展图像数据中的占比；
根据所述占比和所述标注比例，选择所述标注比例对应的训练好的WGAN模型；
将所述标注后的待扩展图像数据输入选择的训练好的WGAN模型，输出第一扩展图像数据。
8.一种图像扩展装置，其特征在于，包括：
第一标注模块，用于对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据；
训练模块，用于使用训练样本和所述训练样本的标注图像数据输入进WGAN模型进行训练，得到训练好的WGAN模型；其中，所述标注图像数据为通过对所述训练样本中的周边区域进行标注生成；
第一扩展模块，用于将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据。
9.根据权利要求8所述的图像扩展装置，其特征在于，还包括截取模块和采样模块；
所述截取模块用于截取所述待扩展图像数据的部分区域；
所述采样模块用于将截取的所述部分区域上采样或下采样至预设尺寸；
相应地，还包括获取模块，用于：
根据所述第一扩展图像数据和所述待扩展图像数据中未截取的区域，获取第二扩展图像数据。
10.根据权利要求9所述的图像扩展装置，其特征在于，所述获取模块包括还原模块和拼接模块；
所述还原模块用于将所述第一扩展图像数据输入ESRGAN模型中，输出还原图像数据；
其中，所述还原图像数据的尺寸等于截取的所述部分区域与所述待扩展区域的尺寸之和，所述还原图像数据的分辨率等于所述待扩展图像数据的分辨率；
所述拼接模块用于将所述还原图像数据与所述待扩展图像数据中未截取的区域进行拼接，获取第二扩展图像数据。
11.根据权利要求8-10任一所述的图像扩展装置，其特征在于，所述待扩展区域在所述待扩展图像数据中的位置与所述训练样本所被标注处理的位置相同；
所述训练样本的风格与所述待扩展图像数据的风格相同；
所述标注图像数据的标注比例与所述标注后的待扩展图像数据的标注比例相同。
12.根据权利要求8-10任一所述的图像扩展装置，其特征在于，还包括第一翻转模块，用于：
若所述待扩展区域位于所述待扩展图像数据的一侧，且与所述训练样本所被标注处理的位置相反，则将所述待扩展图像数据进行镜像翻转；
相应地，还包括第二翻转模块，用于：
将所述第一扩展图像数据进行镜像翻转，获取第三扩展图像数据。
13.根据权利要求8-10任一所述的图像扩展装置，其特征在于，所述第一标注模块用于：
若所述待扩展区域位于所述待扩展图像数据的两侧，且其中一侧与所述训练样本所被标注处理的位置相同，则对所述其中一侧的待扩展区域标注；
相应地，还包括：
第三翻转模块，用于将所述第一扩展图像数据进行镜像翻转，获取翻转图像数据；
第二标注模块，用于对所述翻转图像数据一侧的待扩展区域标注，获取标注后的翻转图像数据；
其中，所述待扩展区域位于所述翻转图像数据的一侧和所述训练样本所被标注处理的位置相同；
第二扩展模块，用于将所述标注后的翻转图像数据输入所述训练好的WGAN模型中，输出第四扩展图像数据；
第四翻转模块，用于将所述第四扩展图像数据进行镜像翻转，获取第五扩展图像数据。
14.根据权利要求8-10任一所述的图像扩展装置，其特征在于，还包括：
生成模块，用于对所述训练样本中的周边区域分别进行多种标注比例的标注，生成所述标注图像数据；
训练模块，用于分别使用每种标注比例的所述标注图像对所述WGAN模型进行训练，获取每种标注比例对应的训练好的WGAN模型；
相应地，所述第一扩展模块包括计算子模块、选择子模块和第一扩展子模块；
所述计算子模块用于计算所述待扩展区域在所述标注后的待扩展图像数据中的占比；
所述选择子模块用于根据所述占比和所述标注比例，选择所述标注比例对应的训练好的WGAN模型；
所述第一扩展子模块用于将所述标注后的待扩展图像数据输入选择的训练好的WGAN模型，输出第一扩展图像数据。
15.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述图像扩展方法的步骤。
16.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像扩展方法的步骤。
CN202011563974.2A 2020-12-25 2020-12-25 图像扩展方法及装置 Active CN112785599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011563974.2A CN112785599B (zh) 2020-12-25 2020-12-25 图像扩展方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011563974.2A CN112785599B (zh) 2020-12-25 2020-12-25 图像扩展方法及装置

Publications (2)

Publication Number Publication Date
CN112785599A true CN112785599A (zh) 2021-05-11
CN112785599B CN112785599B (zh) 2024-05-28

Family

ID=75752544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011563974.2A Active CN112785599B (zh) 2020-12-25 2020-12-25 图像扩展方法及装置

Country Status (1)

Country Link
CN (1) CN112785599B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120275718A1 (en) * 2011-04-27 2012-11-01 Tetsuya Takamori Image compression apparatus, image expansion apparatus, and methods and programs thereof
CN110070124A (zh) * 2019-04-15 2019-07-30 广州小鹏汽车科技有限公司 一种基于生成式对抗网络的图像扩增方法及系统
CN110176015A (zh) * 2019-05-22 2019-08-27 招商局金融科技有限公司 基于深度学习的图像处理方法、装置及存储介质
CN111047508A (zh) * 2019-12-16 2020-04-21 北京奇艺世纪科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN111666994A (zh) * 2020-05-28 2020-09-15 平安科技（深圳）有限公司 样本图像数据增强方法、装置、电子设备及存储介质
CN111814810A (zh) * 2020-08-11 2020-10-23 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质
WO2020215682A1 (zh) * 2019-09-17 2020-10-29 平安科技（深圳）有限公司 眼底图像样本扩展方法、装置、电子设备及计算机非易失性可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120275718A1 (en) * 2011-04-27 2012-11-01 Tetsuya Takamori Image compression apparatus, image expansion apparatus, and methods and programs thereof
CN110070124A (zh) * 2019-04-15 2019-07-30 广州小鹏汽车科技有限公司 一种基于生成式对抗网络的图像扩增方法及系统
CN110176015A (zh) * 2019-05-22 2019-08-27 招商局金融科技有限公司 基于深度学习的图像处理方法、装置及存储介质
WO2020215682A1 (zh) * 2019-09-17 2020-10-29 平安科技（深圳）有限公司 眼底图像样本扩展方法、装置、电子设备及计算机非易失性可读存储介质
CN111047508A (zh) * 2019-12-16 2020-04-21 北京奇艺世纪科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN111666994A (zh) * 2020-05-28 2020-09-15 平安科技（深圳）有限公司 样本图像数据增强方法、装置、电子设备及存储介质
CN111814810A (zh) * 2020-08-11 2020-10-23 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112785599B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
JP7542156B2 (ja) 人物画像修復方法、装置、電子機器、記憶媒体及びプログラム製品
Shan et al. Fast image/video upsampling
US6999101B1 (en) System and method for providing vector editing of bitmap images
CN112184585B (zh) 一种基于语义边缘融合的图像补全方法及系统
CN111667410B (zh) 图像分辨率提升方法、装置及电子设备
US20220392025A1 (en) Restoring degraded digital images through a deep learning framework
JP2008083820A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN112801911B (zh) 一种去除自然图像中文字类噪声的方法及装置、存储介质
CN112991165B (zh) 一种图像的处理方法及装置
CN114041163A (zh) 修复高分辨率图像的方法、处理系统和计算机程序产品
CN112700460A (zh) 图像分割方法及系统
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN113592720B (zh) 图像的缩放处理方法、装置、设备、存储介质
CN116628250A (zh) 图像生成方法、装置、电子设备及计算机可读取存储介质
WO2023207741A1 (zh) 一种元宇宙场景素材的建模方法及相关装置
CN112785599B (zh) 图像扩展方法及装置
CN116703777A (zh) 一种图像处理方法、系统、存储介质及电子设备
Dey Image Processing Masterclass with Python: 50+ Solutions and Techniques Solving Complex Digital Image Processing Challenges Using Numpy, Scipy, Pytorch and Keras (English Edition)
CN116542837A (zh) 交互式的图像去水印方法、装置、设备及存储介质
CN115115538A (zh) 视频处理方法、装置、设备及存储介质
AT&T
CN117351032B (zh) 一种印章去除方法和系统
CN112734647A (zh) 图像处理方法和装置
CN115115537B (zh) 一种基于掩码训练的图像修复方法
JP7545782B2 (ja) 撮影写真補正プログラム及び撮影写真補正装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant