CN113506207A - 一种图片增强方法及装置 - Google Patents

一种图片增强方法及装置 Download PDF

Info

Publication number
CN113506207A
CN113506207A CN202110630620.3A CN202110630620A CN113506207A CN 113506207 A CN113506207 A CN 113506207A CN 202110630620 A CN202110630620 A CN 202110630620A CN 113506207 A CN113506207 A CN 113506207A
Authority
CN
China
Prior art keywords
picture
background
foreground
pixels
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110630620.3A
Other languages
English (en)
Inventor
张景鹏
郭佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weimeng Chuangke Network Technology China Co Ltd
Original Assignee
Weimeng Chuangke Network Technology China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weimeng Chuangke Network Technology China Co Ltd filed Critical Weimeng Chuangke Network Technology China Co Ltd
Priority to CN202110630620.3A priority Critical patent/CN113506207A/zh
Publication of CN113506207A publication Critical patent/CN113506207A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种图片增强方法及装置，包括：确定原图片的前景特性和背景特征，将原图片内的前景特性和背景特征进行分离，分别形成相应的前景图片和背景图片；其中，所述前景特征为原图片的目标图像对应的特征，背景特征为原图片的非目标图像对应的特征；随机变换背景图片的像素生成背景变换图片，通过多次随机变换背景图片的像素生成多张相应的背景变换图片；将各背景变换图片分别与前景图片融合，重新生成对应的增强图片，所述增强图片用于图像分类。分离图片的前景和背景，重要特征保持不变，对背景图片的像素进行随机像素替换改变次要特，提升模型进行主要特征的识别和提取。

Description

一种图片增强方法及装置
技术领域
本发明涉及图片处理领域，具体涉及一种图片增强方法及装置。
背景技术
在待识别或者分类的图片之前，对训练图片随机添加噪声来丰富样本使模型能更好的学习到主要特征和增加模型的泛化性。在实现本发明过程中，申请人发现现有技术中至少存在如下问题：但是现有的数据增强算法对图片整体进行随机添加噪声，噪声会对主要特征结构上产生破坏性影响。
发明内容
本发明实施例提供一种图片增强方法及装置，分离图片的前景和背景，重要特征保持不变，对背景特征的像素进行随机像素替换改变次要特，提升模型进行主要特征的识别和提取。
为达上述目的，一方面，本发明实施例提供一种图片增强方法，包括：
确定原图片的前景特性和背景特征，将原图片内的前景特性和背景特征进行分离，分别形成相应的前景图片和背景图片；其中，所述前景特征为原图片的目标图像对应的特征，背景特征为原图片的非目标图像对应的特征；
随机变换背景图片的像素生成背景变换图片，通过多次随机变换背景图片的像素生成多张相应的背景变换图片；
将各背景变换图片分别与前景图片融合，重新生成对应的增强图片，所述增强图片用于图像分类。
另一方面，本发明实施例提供一种图片增强装置，包括：
重要特征分离模块，用于确定原图片的前景特性和背景特征，将原图片内的前景特性和背景特征进行分离，分别形成相应的前景图片和背景图片；其中，所述前景特征为原图片的目标图像对应的特征，背景特征为原图片的非目标图像对应的特征；
背景特征变换模块，用于随机变换背景图片的像素生成背景变换图片，通过多次随机变换背景图片的像素生成多张相应的背景变换图片；
融合模块，用于将各背景变换图片分别与前景图片融合，重新生成对应的增强图片，所述增强图片用于图像分类。
上述技术方案具有如下有益效果：对于给定样本中的一张图片，通过重要特征分离模块得到图片的前景图片和背景图片，对背景图片的像素进行随机像素替换并与前景图片进行融合，得到增强图片，然后将增强图片作为深度学习模型的新样本，能通过这种重要特征保持不变，改变次要特征的样本增强，可以很好的提升模型进行主要特征的识别和提取。采用增强图片训练时使训练模型时具有更高的准确性和泛化性，具有非常高的实用提升效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种图片增强方法的流程图；
图2是本发明实施例的一种图片增强装置的结构图；
图3是本发明实施例的图片增强方法的原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，结合本发明的实施例，提供一种图片增强方法，包括：
S101：确定原图片的前景特性和背景特征，将原图片内的前景特性和背景特征进行分离，分别形成相应的前景图片和背景图片；其中，所述前景特征为原图片的目标图像对应的特征，背景特征为原图片的非目标图像对应的特征；
S102：随机变换背景图片的像素生成背景变换图片，通过多次随机变换背景图片的像素生成多张相应的背景变换图片；
S103：将各背景变换图片分别与前景图片融合，重新生成对应的增强图片，所述增强图片用于图像分类。
优选地，步骤101具体包括：
S1011：通过图片分割模型对原图片进行分割，得到该原图片的前景特征，将前景特征保存成图片形成前景图片，所述前景图片内除前景特征所在区域外的其他区域为空白区域，所述前景图片的空白区域与原图片的背景特征所在区域重合；
S1012：设置一个空矩阵mask，所述空矩阵mask与前景图片具有相同的宽和相同的高；
S1013：将空矩阵mask内的每个点通过坐标(u,v)表示，并通过将空矩阵mask内特定点的坐标(u,v)值赋值为1对空矩阵mask进行调整，得到mask调整矩阵，所述特定点是指前景图片的空白区域所对应的点；
S1014：所述mask调整矩阵内值为1的特定点代表原图片相应位置处的像素是背景像素，将mask调整矩阵作为背景图片mask矩阵；
S1015：通过背景图片mask矩阵对原图片进行处理得到背景特征，将原图片内与背景图片mask矩阵内值为1的相应位置处的像素保留，以及将原图片内与背景图片mask矩阵内值为0的相应位置处的像素赋值为0，得到原图片的背景特征的背景图片；其中，背景图片中像素赋值为0的位置为该背景图片的空白区域。
优选地，所述步骤102具体包括：
通过背景图片mask矩阵确定背景图片内背景特征的像素，通过随机变换背景图片内的背景特征的像素实现变换背景图片得到背景变换图片。
优选地，所述步骤103具体包括：
S1031：将前景图片与背景变换图片对齐，使得前景图片内的前景特征与背景变换图片的空白区域完全吻合；
S1032：将各背景变换图片的像素与前景图片的相应位置处的像素相加融合生成增强图片；其中，将前景图片的空白区域的像素设置为0。
优选地，所述图片分割模型是指采用UNet网络对rembg背景移除工具进行训练所形成的模型。
如图2所示，结合本发明的实施例，提供一种图片增强装置，包括：
重要特征分离模块21，用于确定原图片的前景特性和背景特征，将原图片内的前景特性和背景特征进行分离，分别形成相应的前景图片和背景图片；其中，所述前景特征为原图片的目标图像对应的特征，背景特征为原图片的非目标图像对应的特征；
背景特征变换模块22，用于随机变换背景图片的像素生成背景变换图片，通过多次随机变换背景图片的像素生成多张相应的背景变换图片；
融合模块23，用于将各背景变换图片分别与前景图片融合，重新生成对应的增强图片，所述增强图片用于图像分类。
优选地，所述重要特征分离模块21包括：
前景分离子模块211，用于通过图片分割模型对原图片进行分割，得到该原图片的前景特征，将前景特征保存成图片形成前景图片，所述前景图片内除前景特征所在区域外的其他区域为空白区域，所述前景图片的空白区域与原图片的背景特征所在区域重合；
空矩阵构建子模块212，用于设置一个空矩阵mask，所述空矩阵mask与前景图片具有相同的宽和相同的高；将空矩阵mask内的每个点通过坐标(u,v)表示，并通过将空矩阵mask内特定点的坐标(u,v)值赋值为1对空矩阵mask进行调整，得到mask调整矩阵，所述特定点是指前景图片的空白区域所对应的点；
背景构建子模块213，所述mask调整矩阵内值为1的特定点代表原图片相应位置处的像素是背景像素，将mask调整矩阵作为背景图片mask矩阵；通过背景图片mask矩阵对原图片进行处理得到背景特征，将原图片内与背景图片mask矩阵内值为1的相应位置处的像素保留，以及将原图片内与背景图片mask矩阵内值为0的相应位置处的像素赋值为0，得到原图片的背景特征的背景图片；其中，背景图片中像素赋值为0的位置为该背景图片的空白区域。
优选地，所述背景特征变换模块22，具体用于：
通过背景图片mask矩阵确定背景图片内背景特征的像素，通过随机变换背景图片内的背景特征的像素实现变换背景图片得到背景变换图片。
优选地，所述融合模块23包括：
对齐子模块231，用于将前景图片与背景变换图片对齐，使得前景图片内的前景特征与背景变换图片的空白区域完全吻合；
融合子模块232，用于将各背景变换图片的像素与前景图片的相应位置处的像素相加融合生成增强图片；其中，将前景图片的空白区域的像素设置为0。
优选地，所述图片分割模型是指采用UNet网络对rembg背景移除工具进行训练所形成的模型。
本发明所带来的有益效果为：
对于给定样本中的一张图片X，通过重要特征分离模块，得到图片X的前景图片和背景图片，对背景图片的像素进行随机像素替换并与前景图片进行融合，得到新样本(增强图片)图片X1，然后将X1作为深度学习模型的新样本，能通过这种重要特征保持不变，改变次要特征的样本增强，可以很好的提升模型进行主要特征的识别和提取。采用增强图片训练时使训练模型时具有更高的准确性和泛化性，技术看似不太复杂但是具有非常高的实用提升效果。
下面结合具体的应用实例对本发明实施例上述技术方案进行详细说明，实施过程中没有介绍到的技术细节，可以参考前文的相关描述。
本发明为一种深度学习训练样本图片增强方法，通过一种新型的图片增强方法来增强图片样本，采用增强图片训练时使训练模型时具有更高的准确性和泛化性，技术看似不太复杂但是具有非常高的实用提升效果。属于机器学习算法领域，可用于营销图片分类识别。
本发明的原理图如图3所示，首先图片是由像素组成的，对于任何像素我们都可以用RGB表示，R、G、B的每个取值范围是0-255，也就是说(0-255，0-255，0-255)。其次，在图像分类中，往往图像前景为目标对象，作为图像分类的重要特征，图像背景为次要特征，本发明把图片的前景作为主要特征提取出来，由于该特征(前景特征)是模型学习的主要部分，所以该特征的像素保持不变，对于次要特征(图像背景)的像素值进行随机变换。最后，把不变的主要特征和随机变换的次要特征进行融合，生成增强图片，从而达到主要特征不变，背景一直变化的图片样本增强效果。具体操作如下：
一、重要特征分离
通过重要特征分离模块实现，该过程分离了图片的前景和背景，前景作为图片的重要特征，背景作为图片的次要特征，具体案例如图3中图片分离模块所示。
1、使用rembg背景移除工具，其采用了UNet网络(UNet神经网络)进行训练得到了分割模型。通过该工具训练后的分割模型得到图片的前景，并保存成图片(如图3中的重要特征图片)形成前景图片。
2、通过分析前景图片，可知该前景图片的空白区域(像素点小于10)与原图片的背景重合，这里定义一个与前景图片宽和高一样大小的空矩阵mask，在mask中把与前景图片空白区域对应位置上的值赋值为1，形成mask调整矩阵；这时mask矩阵中(u,v)位置上的值为1，则代表原图片在(u,v)位置上的像素是背景像素，将mask调整矩阵作为背景图片mask矩阵。
3、通过背景图片mask矩阵和原图片进行处理，记背景图片mask矩阵中值为1的位置为(u,v)，并保留原图片中(u,v)的像素，其他像素赋值为0，则可生成图3中背景图片backgound。逻辑代码片段如下：
Figure BDA0003103276590000061
二、次要特征随机变换
通过背景特征变换模块实现，该过程结合mask矩阵(背景图片mask矩阵)和backgound(背景图片)按照一定的逻辑可生成随机变换后的背景图片记为backgoundRandom(背景变换图片)，结果如图3中次要特征随机变换模块的图片所示，逻辑代码片段如下：
Figure BDA0003103276590000062
Figure BDA0003103276590000071
三、增强图片生成
通过重要特征分离模块和次要特征随机变换模块后，生成了前景图片(包含有重要特征)和随机变换后的背景图片(backgoundRandom)。分析该两个模块的过程易知，前景图片和背景图片backgoundRandom，大小和位置是对齐的，且前景图片中的物体(特征结构)跟backgoundRandom中黑色区域(或空白区域，像素为0，像素为0时显示出来的为白色或者黑色)正好吻合。二者像素相加进行融合即可生成新的图片。其中，前景图片中空白区域的像素在相加过程中置为0，其他不变。
本发明针对现有数据增强算法可能导致重要特征丢失的问题，结合图片的特性(前景特征更为重要)，通过分离图片的前后景，保持前景不变，随机变换后景的像素，从而能缓解数据增强丢失重要特征的问题，重要特征不变性能提高模型对图片主要特征的识别能力，并实现对样本数据的增强，从而提高模型泛化能力。
本发明所带来的有益效果为：
对于给定样本中的一张图片X，通过重要特征分离模块，得到图片X的前景图片和背景图片，对背景图片的像素进行随机像素替换并与前景图片进行融合，得到新样本图片X1，然后将X1作为深度学习模型的新样本，能通过这种重要特征保持不变，改变次要特征的样本增强，可以很好的提升模型进行主要特征的识别和提取。避免“对图片前后景不加区分的进行随机添加噪声，导致把噪声添加到主要特征的结构上，破坏主要特征”情况的发生。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图片增强方法，其特征在于，包括：
确定原图片的前景特性和背景特征，将原图片内的前景特性和背景特征进行分离，分别形成相应的前景图片和背景图片；其中，所述前景特征为原图片的目标图像对应的特征，背景特征为原图片的非目标图像对应的特征；
随机变换背景图片的像素生成背景变换图片，通过多次随机变换背景图片的像素生成多张相应的背景变换图片；
将各背景变换图片分别与前景图片融合，重新生成对应的增强图片，所述增强图片用于图像分类。
2.根据权利要求1所述的图片增强方法，其特征在于，所述将原图片内的前景特性和背景特征进行分离，分别形成相应的前景图片和背景图片，具体包括：
通过图片分割模型对原图片进行分割，得到该原图片的前景特征，将前景特征保存成图片形成前景图片，所述前景图片内除前景特征所在区域外的其他区域为空白区域，所述前景图片的空白区域与原图片的背景特征所在区域重合；
设置一个空矩阵mask，所述空矩阵mask与前景图片具有相同的宽和相同的高；
将空矩阵mask内的每个点通过坐标(u,v)表示，并通过将空矩阵mask内特定点的坐标(u,v)值赋值为1对空矩阵mask进行调整，得到mask调整矩阵，所述特定点是指前景图片的空白区域所对应的点；
所述mask调整矩阵内值为1的特定点代表原图片相应位置处的像素是背景像素，将mask调整矩阵作为背景图片mask矩阵；
通过背景图片mask矩阵对原图片进行处理得到背景特征，将原图片内与背景图片mask矩阵内值为1的相应位置处的像素保留，以及将原图片内与背景图片mask矩阵内值为0的相应位置处的像素赋值为0，得到原图片的背景特征的背景图片；其中，背景图片中像素赋值为0的位置为该背景图片的空白区域。
3.根据权利要求2所述的图片增强方法，其特征在于，所述随机变换背景图片的像素生成背景变换图片，通过多次随机变换背景图片的像素生成多张相应的背景变换图片，具体包括：
通过背景图片mask矩阵确定背景图片内背景特征的像素，通过随机变换背景图片内的背景特征的像素实现变换背景图片得到背景变换图片。
4.根据权利要求3所述的图片增强方法，其特征在于，所述将各背景变换图片分别与前景图片融合，重新生成对应的增强图片，具体包括：
将前景图片与背景变换图片对齐，使得前景图片内的前景特征与背景变换图片的空白区域完全吻合；
将各背景变换图片的像素与前景图片的相应位置处的像素相加融合生成增强图片；其中，将前景图片的空白区域的像素设置为0。
5.根据权利要求2所述的图片增强方法，其特征在于，所述图片分割模型是指采用UNet网络对rembg背景移除工具进行训练所形成的模型。
6.一种图片增强装置，其特征在于，包括：
重要特征分离模块，用于确定原图片的前景特性和背景特征，将原图片内的前景特性和背景特征进行分离，分别形成相应的前景图片和背景图片；其中，所述前景特征为原图片的目标图像对应的特征，背景特征为原图片的非目标图像对应的特征；
背景特征变换模块，用于随机变换背景图片的像素生成背景变换图片，通过多次随机变换背景图片的像素生成多张相应的背景变换图片；
融合模块，用于将各背景变换图片分别与前景图片融合，重新生成对应的增强图片，所述增强图片用于图像分类。
7.根据权利要求6所述的图片增强装置，其特征在于，所述重要特征分离模块包括：
前景分离子模块，用于通过图片分割模型对原图片进行分割，得到该原图片的前景特征，将前景特征保存成图片形成前景图片，所述前景图片内除前景特征所在区域外的其他区域为空白区域，所述前景图片的空白区域与原图片的背景特征所在区域重合；
空矩阵构建子模块，用于设置一个空矩阵mask，所述空矩阵mask与前景图片具有相同的宽和相同的高；将空矩阵mask内的每个点通过坐标(u,v)表示，并通过将空矩阵mask内特定点的坐标(u,v)值赋值为1对空矩阵mask进行调整，得到mask调整矩阵，所述特定点是指前景图片的空白区域所对应的点；
背景构建子模块，所述mask调整矩阵内值为1的特定点代表原图片相应位置处的像素是背景像素，将mask调整矩阵作为背景图片mask矩阵；通过背景图片mask矩阵对原图片进行处理得到背景特征，将原图片内与背景图片mask矩阵内值为1的相应位置处的像素保留，以及将原图片内与背景图片mask矩阵内值为0的相应位置处的像素赋值为0，得到原图片的背景特征的背景图片；其中，背景图片中像素赋值为0的位置为该背景图片的空白区域。
8.根据权利要求7所述的图片增强装置，其特征在于，所述背景特征变换模块，具体用于：
通过背景图片mask矩阵确定背景图片内背景特征的像素，通过随机变换背景图片内的背景特征的像素实现变换背景图片得到背景变换图片。
9.根据权利要求8所述的图片增强装置，其特征在于，所述融合模块包括：
对齐子模块，用于将前景图片与背景变换图片对齐，使得前景图片内的前景特征与背景变换图片的空白区域完全吻合；
融合子模块，用于将各背景变换图片的像素与前景图片的相应位置处的像素相加融合生成增强图片；其中，将前景图片的空白区域的像素设置为0。
10.根据权利要求7所述的图片增强装置，其特征在于，所述图片分割模型是指采用UNet网络对rembg背景移除工具进行训练所形成的模型。
CN202110630620.3A 2021-06-07 2021-06-07 一种图片增强方法及装置 Pending CN113506207A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110630620.3A CN113506207A (zh) 2021-06-07 2021-06-07 一种图片增强方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110630620.3A CN113506207A (zh) 2021-06-07 2021-06-07 一种图片增强方法及装置

Publications (1)

Publication Number Publication Date
CN113506207A true CN113506207A (zh) 2021-10-15

Family

ID=78009026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110630620.3A Pending CN113506207A (zh) 2021-06-07 2021-06-07 一种图片增强方法及装置

Country Status (1)

Country Link
CN (1) CN113506207A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024040767A1 (zh) * 2022-08-22 2024-02-29 天翼数字生活科技有限公司 一种图像数据增强方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373339A (ja) * 2001-06-15 2002-12-26 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
CN109215047A (zh) * 2018-08-16 2019-01-15 中国科学院深海科学与工程研究所 基于深海视频的运动目标检测方法和装置
WO2019114571A1 (zh) * 2017-12-11 2019-06-20 腾讯科技（深圳）有限公司 图像处理方法及相关装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373339A (ja) * 2001-06-15 2002-12-26 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
WO2019114571A1 (zh) * 2017-12-11 2019-06-20 腾讯科技（深圳）有限公司 图像处理方法及相关装置
CN109215047A (zh) * 2018-08-16 2019-01-15 中国科学院深海科学与工程研究所 基于深海视频的运动目标检测方法和装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
WEIXIN_39715907: "java 抠图开源_谁说抠图要会 PS？这个开源神器还能批量抠，效果拔群！", pages 1 - 5, Retrieved from the Internet <URL:https://blog.csdn.net/weixin_39715907/article/details/115041458> *
周旺: "基于卷积神经网络的人脸年龄估计算", 中国优秀硕士学位论文全文数据库（电子期刊）, no. 08, 15 August 2017 (2017-08-15), pages 3 - 4 *
周旺: "基于卷积神经网络的人脸年龄估计算法", 中国优秀硕士学位论文全文数据库（电子期刊）, no. 08, 15 August 2017 (2017-08-15), pages 3 - 4 *
戚骏: "自然图像抠图算法研究与优化", 中国优秀硕士学位论文全文数据库（电子期刊）, no. 03, 15 March 2019 (2019-03-15), pages 138 - 711 *
陈海燕 等: "基于数据增强的高原鼠兔目标检测", 湖南农业大学学报(自然科学版), vol. 48, no. 04, 25 August 2022 (2022-08-25), pages 496 - 500 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024040767A1 (zh) * 2022-08-22 2024-02-29 天翼数字生活科技有限公司 一种图像数据增强方法及装置

Similar Documents

Publication Publication Date Title
CN110032926B (zh) 一种基于深度学习的视频分类方法以及设备
CN110717470B (zh) 一种场景识别方法、装置、计算机设备和存储介质
JP5775225B2 (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
CN102667810B (zh) 数字图像中的面部识别
US20230086552A1 (en) Image processing method and apparatus, device, storage medium, and computer program product
CN103455542B (zh) 多类识别器以及多类识别方法
US20200090007A1 (en) System and method for recognizing logos
CN112818862A (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
WO2021110174A1 (zh) 图像识别方法、装置、电子设备和存储介质
Niloy et al. CFL-Net: image forgery localization using contrastive learning
CN110956081B (zh) 车辆与交通标线位置关系的识别方法、装置及存储介质
CN112052834A (zh) 一种基于隐私保护的面部识别方法、装置及设备
CN114238904B (zh) 身份识别方法、双通道超分模型的训练方法及装置
CN112686247A (zh) 一种身份证号码检测方法、装置、可读存储介质和终端
CN113506207A (zh) 一种图片增强方法及装置
CN110399912B (zh) 一种字符识别的方法、系统、设备及计算机可读存储介质
CN112383824A (zh) 视频广告过滤方法、设备及存储介质
CN115797948A (zh) 一种文字识别方法、装置及设备
US9710703B1 (en) Method and apparatus for detecting texts included in a specific image
CN112651417A (zh) 车牌识别方法、装置、设备及存储介质
KR20200073967A (ko) 인터랙티브 입력에 기반하여 이미지에서 목표 오브젝트를 결정하는 방법 및 장치
CN112508000A (zh) 一种用于ocr图像识别模型训练数据生成的方法及设备
CN116721315A (zh) 活体检测模型的训练方法、装置、介质及电子设备
CN112101135A (zh) 一种运动目标检测方法、装置及终端设备
CN110659648A (zh) 一种字符识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination