CN111860387B - 扩充数据的方法、装置和计算机设备 - Google Patents
扩充数据的方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN111860387B CN111860387B CN202010733099.1A CN202010733099A CN111860387B CN 111860387 B CN111860387 B CN 111860387B CN 202010733099 A CN202010733099 A CN 202010733099A CN 111860387 B CN111860387 B CN 111860387B
- Authority
- CN
- China
- Prior art keywords
- picture
- face
- background
- data
- affine transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请涉及大数据技术，揭示了扩充数据的方法，包括：获取人脸图片集和背景图片集，其中，背景图片集中的背景图片无人脸图像；将人脸图片集和背景图片集通过笛卡尔积运算，得到组合数据集，其中，组合数据集中的每个数据元素，均包括一张人脸图片和一张背景图片；将组合数据集中的每个数据元素中包括的人脸图片和背景图片，分别融合为一张新图片；将每个数据元素对应的新图片组合为数据扩充集。通过在融合过程中保持人脸图片中对应的人脸框标签值不变，仅通过替换不同的背景图片，完成原始人脸图片实质内容的改变，增加图片数据的多样性和丰富度，实现图片数据的数量扩充。
Description
技术领域
本申请涉及大数据领域，特别是涉及到扩充数据的方法、装置和计算机设备。
背景技术
深度神经网络的训练需要大量的标签数据，使深度神经网络在大量数据中学习和提取数据中的隐藏模式，并通过学习到的隐藏模式对新数据做出推理。当把深度神经网络应用到人脸检测领域时，最常用的开源人脸检测数据集WiderFace，只包含了12880张图片，就算是按照人脸数量来算，也只有约17万个人脸，且数据还不均衡。人脸检测数据集的标签值是人脸位置的矩形框的坐标值。为获得更多的数据量，提高深度神经网络的训练效果，现常用的数据扩充方式包括：对图片和矩形框做相同的仿射变换产生新数据，比如旋转、缩放、平移等。但是这种数据扩充方式只是使图片产生了几何形变，并没有改变图片上内容，比如图片中的人还是处于同样的背景下，并没有解决数据多样性的问题。
发明内容
本申请的主要目的为提供数据处理方法，旨在解决现有数据扩充方式不能解决数据多样性的技术问题。
本申请提出一种扩充数据的方法，包括：
获取人脸图片集和背景图片集，其中，所述背景图片集中的背景图片无人脸图像；
将所述人脸图片集和所述背景图片集通过笛卡尔积运算，得到组合数据集，其中，所述组合数据集中的每个数据元素，均包括一张人脸图片和一张背景图片；
将所述组合数据集中的每个数据元素中包括的人脸图片和背景图片，分别融合为一张新图片；
将每个所述数据元素对应的新图片组合为数据扩充集。
优选地，所述将所述组合数据集中的每个数据元素中的人脸图片和背景图片，分别融合为一张新图片的步骤，包括：
计算所述人脸图片的面积区域和背景图片的面积区域的并集面积区域；
在所述并集面积区域上生成空白图片；
将所述人脸图片和背景图片，按照左上角对齐的方式，覆盖于所述空白图片上；
在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片上，形成所述新图片。
优选地，所述在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片上，形成所述新图片的步骤，包括：
根据将所述背景图片的像素点融合到所述空白图片上，生成第一融合图片，其中，(x,y)表示所述空白图片上的像素位置，b(i)表示所述背景图片，p(e,x,y)表示所述空白图片上的像素位置(x,y)的像素值，p(b(i),x,y)表示所述背景图片上的像素位置(x,y)的像素值，p`(e,x,y)表示所述第一融合图片上的像素位置(x,y)的像素值；
根据将所述人脸图片的像素点融合至所述第一融合图片中，生成第二融合图片，其中，r表示所述指定融合比，数值范围属于[0.5,1]，a(m)表示所述人脸图片，p(a(m),x,y)表示所述人脸图片上的像素位置(x,y)的像素值，p``(e,x,y)表示所述第二融合图片上的像素位置(x,y)的像素值。
优选地，所述在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片，形成所述新图片的步骤之前，包括：
获取随机生成的范围为[0,1]的随机数r`；
根据将所述随机数r`，调整为所述指定融合比r。
优选地，所述获取人脸图片集和背景图片集的步骤，包括：
获取人脸检测数据集WiderFace，其中，所述人脸检测数据集WiderFace包括人脸图片集M和人脸框标签集F；
抽取所述人脸检测数据集WiderFace中的每一张人脸图片m，其中，所述人脸图片m的人脸框标签集为Fm，单个人脸框标签值为f，Fm＝{f|f∈F且f在所述人脸图片m中}，F＝{Fm|m∈M}，
对每一张所述人脸图片m进行仿射变换，得到所述人脸图片m对应的仿射变换集合A；
根据所述人脸图片m对应的仿射变换集合A的生成过程，对所述人脸检测数据集WiderFace中的每一张人脸图片m进行仿射变换，以及A(M)＝{a(m)|m∈M,a∈A}，a(Fm)＝{a(f)|a∈A,f∈Fm}，
得到所述人脸检测数据集WiderFace对应的仿射变换人脸图片集A(M)，以及所述人脸检测数据集WiderFace对应的仿射变换人脸标签集为A(F)，其中，a(m)为每一张仿射变换人脸图片，a(Fm)表示仿射变换人脸图片a(m)的人脸框标签集，a(f)表示仿射变换人脸图片a(m)中的单个人脸框标签值。
优选地，所述获取人脸图片集和背景图片集的步骤，还包括：
获取背景数据集ImageNet；
剔除掉所述背景数据集ImageNet中的含有人脸图像的指定背景图片，得到背景图片集I；
抽取所述背景图片集I中的每一张背景图片i；
对每一张所述背景图片i进行仿射变换，得到所述背景图片i对应的仿射变换集合B；
根据所述背景图片i对应的仿射变换过程，对所述背景图片集I中的每一张背景图片i进行仿射变换，以及B(I)＝{b(i)|i∈I,b∈B}，得到所述背景图片集I对应的仿射变换背景图片集B(I)，其中，b(i)为每一张仿射变换背景图片，b表示单个的仿射变换。
优选地，所述将所述人脸图片集和所述背景图片集通过笛卡尔积运算，得到组合数据集的步骤，包括：
根据A(M)×B(I)＝{(a(m),b(i))|m∈M,a∈A且i∈I,b∈B}，得到所述组合数据集A(M)×B(I)，其中，所述组合数据集A(M)×B(I)中每个数据元素(a(m),b(i))的人脸框标签值，为所述仿射变换人脸图片a(m)对应的人脸框标签值a(Fm)。
本申请还提供了一种扩充数据的装置，包括：
获取模块，用于获取人脸图片集和背景图片集，其中，所述背景图片集中的背景图片无人脸图像；
运算模块，用于将所述人脸图片集和所述背景图片集通过笛卡尔积运算，得到组合数据集，其中，所述组合数据集中的每个数据元素，均包括一张人脸图片和一张背景图片；
融合模块，用于将所述组合数据集中的每个数据元素中包括的人脸图片和背景图片，分别融合为一张新图片；
组合模块，用于将每个所述数据元素对应的新图片组合为数据扩充集。
本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
本申请通过在融合过程中保持人脸图片中对应的人脸框标签值不变，通过不改变对人脸识别模型精准度有影响的人脸框标签值，仅通过替换不同的背景图片，完成原始人脸图片实质内容的改变，增加图片数据的多样性和丰富度，实现图片数据的数量扩充，且扩充后的图片数据极大地促进了基于深度学习的人脸检测模型的训练，提升了深度学习的人脸检测模型的精度和泛化性能。
附图说明
图1本申请一实施例的扩充数据的方法流程示意图；
图2本申请一实施例的扩充数据的装置结构示意图；
图3本申请一实施例的计算机设备内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例的扩充数据的方法，包括：
S1：获取人脸图片集和背景图片集，其中，所述背景图片集中的背景图片无人脸图像。
上述人脸图片集指由人脸图片组成的图片数据集合，上述人脸图片指一张图片中至少包括一个人脸头像的图片。上述背景背景图片集指由背景图片组成的图片数据集合，上述背景图片中不包括任何人脸头像。本申请可通过链接上述图片数据集合的存储地址，得到上述人脸图片集和背景图片集。
S2：将所述人脸图片集和所述背景图片集通过笛卡尔积运算，得到组合数据集，其中，所述组合数据集中的每个数据元素，均包括一张人脸图片和一张背景图片。
本实施例的笛卡尔积运算是指，从两个图片数据集合中分别抽取一个图片组成图片组合，所有的图片组合形成组合数据集，每个图片组合作为数据元素。本实施例的笛卡尔积运算过程为，从人脸图片集中抽取一张人脸图片m，然后从背景图片集中依次有序地抽取一张背景图片in，n属于正整数，人脸图片m对应的数据元素表示为(m，in)，所有的人脸图片mn和背景图片in，形成的数据元素的集合，为上述组合数据集。上述笛卡尔积运算中人脸图片中对应的人脸框标签值不变，且通过一张人脸图片m对应n张背景图片in，实现一组人脸框标签值的多次复制使用。本申请实施例中人脸图片集为WiderFace数据集，背景图片集为ImageNet数据集，融合后的数据元素的数量为上述两个数据集中数据数量的乘积。比如，WiderFace的图片数量为12880，筛选后的ImageNet图片数量为830000，得到的组合数据集的数据元素的数量为12880×830000＝10690400000＝106亿，数据量上得到了极大扩充，比原始的人脸检测数据集WiderFace图片数量增加了83万倍。
S3：将所述组合数据集中的每个数据元素中包括的人脸图片和背景图片，分别融合为一张新图片。
本申请通过像素融合的方式，将两张或两张以上的图片的像素点，通过指定融合比融合于一张图片中，使两张或两张以上的图片的像素点同时显示在同一张图片中。上述融合过程不改变原始人脸图片中的人脸框标签值，即人脸框对应的矩形框的坐标范围不变。
S4：将每个所述数据元素对应的新图片组合为数据扩充集。
本申请的数据扩充集，不仅使数据量的级别显著增加，而且通过上述凡是进行数据扩充，使得融合后的每张图片既包含人脸图片的数据内容，也包含了背景图片的数据内容，近似于得到了同一个人出现在不同背景、不同场景的图片数据。本申请的数据扩充集，通过在融合过程中保持人脸图片中对应的人脸框标签值不变，通过不改变对人脸识别模型精准度有影响的人脸框标签值，仅通过替换不同的背景图片，完成原始人脸图片实质内容的改变，增加图片数据的多样性和丰富度，实现图片数据的数量扩充，且扩充后的图片数据极大地促进了基于深度学习的人脸检测模型的训练，提升了深度学习的人脸检测模型的精度和泛化性能。
进一步地，所述将所述组合数据集中的每个数据元素中的人脸图片和背景图片，分别融合为一张新图片的步骤S3，包括：
S31：计算所述人脸图片的面积区域和背景图片的面积区域的并集面积区域；
S32：在所述并集面积区域上生成空白图片；
S33：将所述人脸图片和背景图片，按照左上角对齐的方式，覆盖于所述空白图片上；
S34：在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片上，形成所述新图片。
本实施例通过将人脸图片的面积区域和背景图片的面积区域做并集计算，得到并集面积区域。上述面积区域可通过图片的四个顶点的坐标数据表示，并集计算取面积区域较大的图片的坐标数据，作为并集面积区域，使上述并集面积区域可同时容纳当前需要融合的人脸图片和背景图片。上述并集面积区域大于或等于人脸图片的面积区域，即融合过程中或许会增大原始人脸图片的大小，但融合时图片没有做平移、旋转等任何改变位置坐标的改变，即图片的原点坐标没有改变，所以融合后的图片的人脸框标签值还是等于对应的融合前人脸图片的人脸框标签值，不改变原始人脸图片中的人脸框标签值。通过以并集面积区域的大小为限，生成同样大小尺寸的空白图片，以逐步融合上述人脸图片和背景图片。在融合前，先将人脸图片和背景图片按照左上角对齐的方式覆盖堆叠，即使各图片从左上角的坐标数据相同，并作为起始点，按照像素坐标位置一一对应对齐，以符合图片数据的处理习惯，更方便数据处理。本申请其他实施例也可通过改变图片数据的读取规则，以右上角对齐，或左下角对齐，或右下角对齐的方式进行。然后将覆盖堆叠的多张图片的相同像素坐标位置上的像素点按照指定融合比进行融合，使被融合的多张图片的像素点同时显示在同一张图片中。融合后的人脸图片区域既包含了原始人脸图片的像素内容，也包含了背景图片的像素内容，是两者的半透明叠加/混合。上述半透明的程度取决于指定融合比的取值，上述指定融合比的取值范围，为[0,1]之间的任何数。本申请实施例中，通过融合将人脸图片的像素点和背景图片的像素点均显示于该空白图片上，实现对同一张人脸图片与不同背景图片的融合，实现对不同背景、不同场景下人脸图片的数量扩充，增加数据丰富度。
进一步地，所述在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片上，形成所述新图片的步骤S34，包括：
S341：根据将所述背景图片的像素点融合到所述空白图片上，生成第一融合图片，其中，(x,y)表示所述空白图片上的像素位置，b(i)表示所述背景图片，p(e,x,y)表示所述空白图片上的像素位置(x,y)的像素值，p(b(i),x,y)表示所述背景图片上的像素位置(x,y)的像素值，p`(e,x,y)表示所述第一融合图片上的像素位置(x,y)的像素值；
S342：根据将所述人脸图片的像素点融合至所述第一融合图片中，生成第二融合图片，其中，r表示所述指定融合比，数值范围属于[0.5,1]，a(m)表示所述人脸图片，p(a(m),x,y)表示所述人脸图片上的像素位置(x,y)的像素值，p``(e,x,y)表示所述第二融合图片上的像素位置(x,y)的像素值。
本实施例的图片融合过程中，根据图片的数据区域特点，实现区分式融合，即不同数据区域的融合方式不同。如上述第一融合图片中，会识别背景图片对应的像素位置，位于背景图片中的像素位置的像素值为背景图片对应的像素值，背景图片之外的像素位置的像素值为空白图片的像素值。然后在第一融合图片的基础上，再将人脸图片的所有像素值融合进来，形成第二融合图片。本实施例中以左上角对齐的方式，自下往上依次堆叠空白图片、背景图片以及人脸图片。在第二融合图片中，会优先识别人脸图片的像素值，如果当前像素值是人脸图片中的像素值，则按照融合比同时显示人脸图片的像素值和背景图片的像素值，对于人脸图片之外的像素值，则以第一融合图片的像素值显示值，以保证融合后的图片中依然以人脸图片的像素值为主要考量因素，以确保扩充的数据能用于人脸检测模型的训练。
进一步地，所述在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片，形成所述新图片的步骤S34之前，包括：
S3401：获取随机生成的范围为[0,1]的随机数r`。
S3402：根据将所述随机数r`，调整为所述指定融合比r。
本实施例中，人脸区域的像素融合，依然以人脸图片中的像素值为主，而人脸区域之外的像素融合，以背景图片中的像素值为主。为了确保融合图片的人脸区域中，原来人脸图片的像素值比例大于等于0.5，即确保人脸区域的像素值是主要成分，以确保训练人脸检测模型的精度更高。本申请通过控制指定融合比的取值范围为[0.5,1]，以确保原来人脸图片的像素值比例大于等于0.5。本申请实施例对随机生成的随机数进行范围调整后，作为指定融合比使用。
进一步地，所述获取人脸图片集和背景图片集的步骤S1，包括：
S11：获取人脸检测数据集WiderFace，其中，所述人脸检测数据集WiderFace包括人脸图片集M和人脸框标签集F；
S12：抽取所述人脸检测数据集WiderFace中的每一张人脸图片m，其中，所述人脸图片m的人脸框标签集为Fm，单个人脸框标签值为f，Fm＝{f|f∈F且f在所述人脸图片m中}，F＝{Fm|m∈M}，
S13：对每一张所述人脸图片m进行仿射变换，得到所述人脸图片m对应的仿射变换集合A；
S14：根据所述人脸图片m对应的仿射变换集合A的生成过程，对所述人脸检测数据集WiderFace中的每一张人脸图片m进行仿射变换，以及A(M)＝{a(m)|m∈M,a∈A}，a(Fm)＝{a(f)|a∈A,f∈Fm}，
得到所述人脸检测数据集WiderFace对应的仿射变换人脸图片集A(M)，以及所述人脸检测数据集WiderFace对应的仿射变换人脸标签集为A(F)，其中，a(m)为每一张仿射变换人脸图片，a(Fm)表示仿射变换人脸图片a(m)的人脸框标签集，a(f)表示仿射变换人脸图片a(m)中的单个人脸框标签值。
本实施例中，为了进一步扩充图片数据，将人脸检测数据集WiderFace经过仿射变换后的图片集作为人脸图片集，将背景数据集ImageNet作为背景图片集。在图片融合前先对原始的人脸检测数据集WiderFace中的图片进行了仿射变换，进一步提高用于融合的人脸图片的数量。本实施例的仿射变换的过程为：每张人脸检测数据集WiderFace中的原始图片经过仿射变换后，得到一张结果图片。上述仿射变换包括旋转、缩放、平移三种方式，仿射变换通过乘以2×3的仿射变换矩阵实现，2×3的仿射变换矩阵中通过随机赋予参数，将上述三种方式随机组合后同时执行仿射变换。仿射变换过程中，人脸图片中的人脸框的矩形坐标值会跟随发生变化，也是把矩形坐标值乘以仿射变换矩阵得到新的坐标值。
进一步地，所述获取人脸图片集和背景图片集的步骤S1，还包括：
S101：获取背景数据集ImageNet；
S102：剔除掉所述背景数据集ImageNet中的含有人脸图像的指定背景图片，得到背景图片集I；
S103：抽取所述背景图片集I中的每一张背景图片i；
S104：对每一张所述背景图片i进行仿射变换，得到所述背景图片i对应的仿射变换集合B；
S105：根据所述背景图片i对应的仿射变换过程，对所述背景图片集I中的每一张背景图片i进行仿射变换，以及B(I)＝{b(i)|i∈I,b∈B}，得到所述背景图片集I对应的仿射变换背景图片集B(I)，其中，b(i)为每一张仿射变换背景图片，b表示单个的仿射变换。
本申请实施例中，不仅将人脸检测数据集WiderFace经过仿射变换后的图片集作为人脸图片集，而且将背景数据集ImageNet经过仿射变换后的图片集作为背景图片集，以进一步扩充图片的数据量。
进一步地，所述将所述人脸图片集和所述背景图片集通过笛卡尔积运算，得到组合数据集的步骤S2，包括：
S21：根据A(M)×B(I)＝{(a(m),b(i))|m∈M,a∈A且i∈I,b∈B}，得到所述组合数据集A(M)×B(I)，其中，所述组合数据集A(M)×B(I)中每个数据元素(a(m),b(i))的人脸框标签值，为所述仿射变换人脸图片a(m)对应的人脸框标签值a(Fm)。
本申请实施例中，通过将人脸检测数据集WiderFace经过仿射变换后的图片集作为人脸图片集，与背景数据集ImageNet经过仿射变换后的背景图片集，进行笛卡尔积运算，得到的组合数据集的数据量，相比于人脸检测数据集WiderFace与背景数据集ImageNet进行笛卡尔积运算后的数据量，又扩充百万倍，进一步提高了数据扩充的数量。
参照图2，本申请一实施例的扩充数据的装置，包括：
获取模块1，用于获取人脸图片集和背景图片集，其中，所述背景图片集中的背景图片无人脸图像。
上述人脸图片集指由人脸图片组成的图片数据集合，上述人脸图片指一张图片中至少包括一个人脸头像的图片。上述背景背景图片集指由背景图片组成的图片数据集合，上述背景图片中不包括任何人脸头像。本申请可通过链接上述图片数据集合的存储地址，得到上述人脸图片集和背景图片集。
运算模块2，用于将所述人脸图片集和所述背景图片集通过笛卡尔积运算，得到组合数据集，其中，所述组合数据集中的每个数据元素，均包括一张人脸图片和一张背景图片。
本实施例的笛卡尔积运算是指，从两个图片数据集合中分别抽取一个图片组成图片组合，所有的图片组合形成组合数据集，每个图片组合作为数据元素。本实施例的笛卡尔积运算过程为，从人脸图片集中抽取一张人脸图片m，然后从背景图片集中依次有序地抽取一张背景图片in，n属于正整数，人脸图片m对应的数据元素表示为(m，in)，所有的人脸图片mn和背景图片in，形成的数据元素的集合，为上述组合数据集。上述笛卡尔积运算中人脸图片中对应的人脸框标签值不变，且通过一张人脸图片m对应n张背景图片in，实现一组人脸框标签值的多次复制使用。本申请实施例中人脸图片集为WiderFace数据集，背景图片集为ImageNet数据集，融合后的数据元素的数量为上述两个数据集中数据数量的乘积。比如，WiderFace的图片数量为12880，筛选后的ImageNet图片数量为830000，得到的组合数据集的数据元素的数量为12880×830000＝10690400000＝106亿，数据量上得到了极大扩充，比原始的人脸检测数据集WiderFace图片数量增加了83万倍。
融合模块3，用于将所述组合数据集中的每个数据元素中包括的人脸图片和背景图片，分别融合为一张新图片。
本申请通过像素融合的方式，将两张或两张以上的图片的像素点，通过指定融合比融合于一张图片中，使两张或两张以上的图片的像素点同时显示在同一张图片中。上述融合过程不改变原始人脸图片中的人脸框标签值，即人脸框对应的矩形框的坐标范围不变。
组合模块4，用于将每个所述数据元素对应的新图片组合为数据扩充集。
本申请的数据扩充集，不仅使数据量的级别显著增加，而且通过上述凡是进行数据扩充，使得融合后的每张图片既包含人脸图片的数据内容，也包含了背景图片的数据内容，近似于得到了同一个人出现在不同背景、不同场景的图片数据。本申请的数据扩充集，通过在融合过程中保持人脸图片中对应的人脸框标签值不变，通过不改变对人脸识别模型精准度有影响的人脸框标签值，仅通过替换不同的背景图片，完成原始人脸图片实质内容的改变，增加图片数据的多样性和丰富度，实现图片数据的数量扩充，且扩充后的图片数据极大地促进了基于深度学习的人脸检测模型的训练，提升了深度学习的人脸检测模型的精度和泛化性能。
进一步地，融合模块3，包括：
计算单元，用于计算所述人脸图片的面积区域和背景图片的面积区域的并集面积区域；
生成单元，用于在所述并集面积区域上生成空白图片；
覆盖单元，用于将所述人脸图片和背景图片，按照左上角对齐的方式，覆盖于所述空白图片上；
融合单元，用于在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片上，形成所述新图片。
本实施例通过将人脸图片的面积区域和背景图片的面积区域做并集计算，得到并集面积区域。上述面积区域可通过图片的四个顶点的坐标数据表示，并集计算取面积区域较大的图片的坐标数据，作为并集面积区域，使上述并集面积区域可同时容纳当前需要融合的人脸图片和背景图片。上述并集面积区域大于或等于人脸图片的面积区域，即融合过程中或许会增大原始人脸图片的大小，但融合时图片没有做平移、旋转等任何改变位置坐标的改变，即图片的原点坐标没有改变，所以融合后的图片的人脸框标签值还是等于对应的融合前人脸图片的人脸框标签值，不改变原始人脸图片中的人脸框标签值。通过以并集面积区域的大小为限，生成同样大小尺寸的空白图片，以逐步融合上述人脸图片和背景图片。在融合前，先将人脸图片和背景图片按照左上角对齐的方式覆盖堆叠，即使各图片从左上角的坐标数据相同，并作为起始点，按照像素坐标位置一一对应对齐，以符合图片数据的处理习惯，更方便数据处理。本申请其他实施例也可通过改变图片数据的读取规则，以右上角对齐，或左下角对齐，或右下角对齐的方式进行。然后将覆盖堆叠的多张图片的相同像素坐标位置上的像素点按照指定融合比进行融合，使被融合的多张图片的像素点同时显示在同一张图片中。融合后的人脸图片区域既包含了原始人脸图片的像素内容，也包含了背景图片的像素内容，是两者的半透明叠加/混合。上述半透明的程度取决于指定融合比的取值，上述指定融合比的取值范围，为[0,1]之间的任何数。本申请实施例中，通过融合将人脸图片的像素点和背景图片的像素点均显示于该空白图片上，实现对同一张人脸图片与不同背景图片的融合，实现对不同背景、不同场景下人脸图片的数量扩充，增加数据丰富度。
进一步地，融合单元，包括：
第一融合子单元，用于根据将所述背景图片的像素点融合到所述空白图片上，生成第一融合图片，其中，(x,y)表示所述空白图片上的像素位置，b(i)表示所述背景图片，p(e,x,y)表示所述空白图片上的像素位置(x,y)的像素值，p(b(i),x,y)表示所述背景图片上的像素位置(x,y)的像素值，p`(e,x,y)表示所述第一融合图片上的像素位置(x,y)的像素值；
第二融合子单元，用于根据将所述人脸图片的像素点融合至所述第一融合图片中，生成第二融合图片，其中，r表示所述指定融合比，数值范围属于[0.5,1]，a(m)表示所述人脸图片，p(a(m),x,y)表示所述人脸图片上的像素位置(x,y)的像素值，p``(e,x,y)表示所述第二融合图片上的像素位置(x,y)的像素值。
本实施例的图片融合过程中，根据图片的数据区域特点，实现区分式融合，即不同数据区域的融合方式不同。如上述第一融合图片中，会识别背景图片对应的像素位置，位于背景图片中的像素位置的像素值为背景图片对应的像素值，背景图片之外的像素位置的像素值为空白图片的像素值。然后在第一融合图片的基础上，再将人脸图片的所有像素值融合进来，形成第二融合图片。本实施例中以左上角对齐的方式，自下往上依次堆叠空白图片、背景图片以及人脸图片。在第二融合图片中，会优先识别人脸图片的像素值，如果当前像素值是人脸图片中的像素值，则按照融合比同时显示人脸图片的像素值和背景图片的像素值，对于人脸图片之外的像素值，则以第一融合图片的像素值显示值，以保证融合后的图片中依然以人脸图片的像素值为主要考量因素，以确保扩充的数据能用于人脸检测模型的训练。
进一步地，融合模块3，包括：
第一获取单元，用于获取随机生成的范围为[0,1]的随机数r`。
调整单元，用于根据将所述随机数r`，调整为所述指定融合比r。
本实施例中，人脸区域的像素融合，依然以人脸图片中的像素值为主，而人脸区域之外的像素融合，以背景图片中的像素值为主。为了确保融合图片的人脸区域中，原来人脸图片的像素值比例大于等于0.5，即确保人脸区域的像素值是主要成分，以确保训练人脸检测模型的精度更高。本申请通过控制指定融合比的取值范围为[0.5,1]，以确保原来人脸图片的像素值比例大于等于0.5。本申请实施例对随机生成的随机数进行范围调整后，作为指定融合比使用。
进一步地，获取模块1，包括：
第二获取单元，用于获取人脸检测数据集WiderFace，其中，所述人脸检测数据集WiderFace包括人脸图片集M和人脸框标签集F；
第一抽取单元，用于抽取所述人脸检测数据集WiderFace中的每一张人脸图片m，其中，所述人脸图片m的人脸框标签集为Fm，单个人脸框标签值为f，Fm＝{f|f∈F且f在所述人脸图片m中}，F＝{Fm|m∈M}，
第一变换单元，用于对每一张所述人脸图片m进行仿射变换，得到所述人脸图片m对应的仿射变换集合A；
第一得到单元，用于根据所述人脸图片m对应的仿射变换集合A的生成过程，对所述人脸检测数据集WiderFace中的每一张人脸图片m进行仿射变换，以及A(M)＝{a(m)|m∈M,a∈A}，a(Fm)＝{a(f)|a∈A,f∈Fm}，得到所述人脸检测数据集WiderFace对应的仿射变换人脸图片集A(M)，以及所述人脸检测数据集WiderFace对应的仿射变换人脸标签集为A(F)，其中，a(m)为每一张仿射变换人脸图片，a(Fm)表示仿射变换人脸图片a(m)的人脸框标签集，a(f)表示仿射变换人脸图片a(m)中的单个人脸框标签值。
本实施例中，为了进一步扩充图片数据，将人脸检测数据集WiderFace经过仿射变换后的图片集作为人脸图片集，将背景数据集ImageNet作为背景图片集。在图片融合前先对原始的人脸检测数据集WiderFace中的图片进行了仿射变换，进一步提高用于融合的人脸图片的数量。本实施例的仿射变换的过程为：每张人脸检测数据集WiderFace中的原始图片经过仿射变换后，得到一张结果图片。上述仿射变换包括旋转、缩放、平移三种方式，仿射变换通过乘以2×3的仿射变换矩阵实现，2×3的仿射变换矩阵中通过随机赋予参数，将上述三种方式随机组合后同时执行仿射变换。仿射变换过程中，人脸图片中的人脸框的矩形坐标值会跟随发生变化，也是把矩形坐标值乘以仿射变换矩阵得到新的坐标值。
进一步地，获取模块1，还包括：
第三获取单元，用于获取背景数据集ImageNet；
剔除单元，用于剔除掉所述背景数据集ImageNet中的含有人脸图像的指定背景图片，得到背景图片集I；
第二抽取单元，用于抽取所述背景图片集I中的每一张背景图片i；
第二变换单元，用于对每一张所述背景图片i进行仿射变换，得到所述背景图片i对应的仿射变换集合B；
第二得到单元，用于根据所述背景图片i对应的仿射变换过程，对所述背景图片集I中的每一张背景图片i进行仿射变换，以及B(I)＝{b(i)|i∈I,b∈B}，得到所述背景图片集I对应的仿射变换背景图片集B(I)，其中，b(i)为每一张仿射变换背景图片，b表示单个的仿射变换。
本申请实施例中，不仅将人脸检测数据集WiderFace经过仿射变换后的图片集作为人脸图片集，而且将背景数据集ImageNet经过仿射变换后的图片集作为背景图片集，以进一步扩充图片的数据量。
进一步地，运算模块2，包括：
第三得到单元，用于根据A(M)×B(I)＝{(a(m),b(i))|m∈M,a∈A且i∈I,b∈B}，得到所述组合数据集A(M)×B(I)，其中，所述组合数据集A(M)×B(I)中每个数据元素(a(m),b(i))的人脸框标签值，为所述仿射变换人脸图片a(m)对应的人脸框标签值a(Fm)。
本申请实施例中，通过将人脸检测数据集WiderFace经过仿射变换后的图片集作为人脸图片集，与背景数据集ImageNet经过仿射变换后的背景图片集，进行笛卡尔积运算，得到的组合数据集的数据量，相比于人脸检测数据集WiderFace与背景数据集ImageNet进行笛卡尔积运算后的数据量，又扩充百万倍，进一步提高了数据扩充的数量。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储扩充数据的过程需要的所有数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现扩充数据的方法。
上述处理器执行上述扩充数据的方法，包括：获取人脸图片集和背景图片集，其中，所述背景图片集中的背景图片无人脸图像；将所述人脸图片集和所述背景图片集通过笛卡尔积运算，得到组合数据集，其中，所述组合数据集中的每个数据元素，均包括一张人脸图片和一张背景图片；将所述组合数据集中的每个数据元素中包括的人脸图片和背景图片，分别融合为一张新图片；将每个所述数据元素对应的新图片组合为数据扩充集。
上述计算机设备，通过在融合过程中保持人脸图片中对应的人脸框标签值不变，通过不改变对人脸识别模型精准度有影响的人脸框标签值，仅通过替换不同的背景图片，完成原始人脸图片实质内容的改变，增加图片数据的多样性和丰富度，实现图片数据的数量扩充，且扩充后的图片数据极大地促进了基于深度学习的人脸检测模型的训练，提升了深度学习的人脸检测模型的精度和泛化性能。
在一个实施例中，上述处理器将所述组合数据集中的每个数据元素中的人脸图片和背景图片，分别融合为一张新图片的步骤，包括：计算所述人脸图片的面积区域和背景图片的面积区域的并集面积区域；在所述并集面积区域上生成空白图片；将所述人脸图片和背景图片，按照左上角对齐的方式，覆盖于所述空白图片上；在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片上，形成所述新图片。
在一个实施例中，上述处理器在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片上，形成所述新图片的步骤，包括：根据将所述背景图片的像素点融合到所述空白图片上，生成第一融合图片，其中，(x,y)表示所述空白图片上的像素位置，b(i)表示所述背景图片，p(e,x,y)表示所述空白图片上的像素位置(x,y)的像素值，p(b(i),x,y)表示所述背景图片上的像素位置(x,y)的像素值，p`(e,x,y)表示所述第一融合图片上的像素位置(x,y)的像素值；根据/>将所述人脸图片的像素点融合至所述第一融合图片中，生成第二融合图片，其中，r表示所述指定融合比，数值范围属于[0.5,1]，a(m)表示所述人脸图片，p(a(m),x,y)表示所述人脸图片上的像素位置(x,y)的像素值，p``(e,x,y)表示所述第二融合图片上的像素位置(x,y)的像素值。
在一个实施例中，上述处理器在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片，形成所述新图片的步骤之前，包括：获取随机生成的范围为[0,1]的随机数r`；根据将所述随机数r`，调整为所述指定融合比r。
在一个实施例中，上述处理器获取人脸图片集和背景图片集的步骤，包括：获取人脸检测数据集WiderFace，其中，所述人脸检测数据集WiderFace包括人脸图片集M和人脸框标签集F；抽取所述人脸检测数据集WiderFace中的每一张人脸图片m，其中，所述人脸图片m的人脸框标签集为Fm，单个人脸框标签值为f，Fm＝{f|f∈F且f在所述人脸图片m中}，F＝{Fm|m∈M}，对每一张所述人脸图片m进行仿射变换，得到所述人脸图片m对应的仿射变换集合A；根据所述人脸图片m对应的仿射变换集合A的生成过程，对所述人脸检测数据集WiderFace中的每一张人脸图片m进行仿射变换，以及A(M)＝{a(m)|m∈M,a∈A}，a(Fm)＝{a(f)|a∈A,f∈Fm}，/>得到所述人脸检测数据集WiderFace对应的仿射变换人脸图片集A(M)，以及所述人脸检测数据集WiderFace对应的仿射变换人脸标签集为A(F)，其中，a(m)为每一张仿射变换人脸图片，a(Fm)表示仿射变换人脸图片a(m)的人脸框标签集，a(f)表示仿射变换人脸图片a(m)中的单个人脸框标签值。
在一个实施例中，上述处理器获取人脸图片集和背景图片集的步骤，还包括：获取背景数据集ImageNet；剔除掉所述背景数据集ImageNet中的含有人脸图像的指定背景图片，得到背景图片集I；抽取所述背景图片集I中的每一张背景图片i；对每一张所述背景图片i进行仿射变换，得到所述背景图片i对应的仿射变换集合B；根据所述背景图片i对应的仿射变换过程，对所述背景图片集I中的每一张背景图片i进行仿射变换，以及B(I)＝{b(i)|i∈I,b∈B}，得到所述背景图片集I对应的仿射变换背景图片集B(I)，其中，b(i)为每一张仿射变换背景图片，b表示单个的仿射变换。
在一个实施例中，上述处理器将所述人脸图片集和所述背景图片集通过笛卡尔积运算，得到组合数据集的步骤，包括：根据A(M)×B(I)＝{(a(m),b(i))|m∈M,a∈A且i∈I,b∈B}，得到所述组合数据集A(M)×B(I)，其中，所述组合数据集A(M)×B(I)中每个数据元素(a(m),b(i))的人脸框标签值，为所述仿射变换人脸图片a(m)对应的人脸框标签值a(Fm)。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现扩充数据的方法，包括：获取人脸图片集和背景图片集，其中，所述背景图片集中的背景图片无人脸图像；将所述人脸图片集和所述背景图片集通过笛卡尔积运算，得到组合数据集，其中，所述组合数据集中的每个数据元素，均包括一张人脸图片和一张背景图片；将所述组合数据集中的每个数据元素中包括的人脸图片和背景图片，分别融合为一张新图片；将每个所述数据元素对应的新图片组合为数据扩充集。
上述计算机可读存储介质，通过在融合过程中保持人脸图片中对应的人脸框标签值不变，通过不改变对人脸识别模型精准度有影响的人脸框标签值，仅通过替换不同的背景图片，完成原始人脸图片实质内容的改变，增加图片数据的多样性和丰富度，实现图片数据的数量扩充，且扩充后的图片数据极大地促进了基于深度学习的人脸检测模型的训练，提升了深度学习的人脸检测模型的精度和泛化性能。
在一个实施例中，上述处理器将所述组合数据集中的每个数据元素中的人脸图片和背景图片，分别融合为一张新图片的步骤，包括：计算所述人脸图片的面积区域和背景图片的面积区域的并集面积区域；在所述并集面积区域上生成空白图片；将所述人脸图片和背景图片，按照左上角对齐的方式，覆盖于所述空白图片上；在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片上，形成所述新图片。
在一个实施例中，上述处理器在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片上，形成所述新图片的步骤，包括：根据将所述背景图片的像素点融合到所述空白图片上，生成第一融合图片，其中，(x,y)表示所述空白图片上的像素位置，b(i)表示所述背景图片，p(e,x,y)表示所述空白图片上的像素位置(x,y)的像素值，p(b(i),x,y)表示所述背景图片上的像素位置(x,y)的像素值，p`(e,x,y)表示所述第一融合图片上的像素位置(x,y)的像素值；根据将所述人脸图片的像素点融合至所述第一融合图片中，生成第二融合图片，其中，r表示所述指定融合比，数值范围属于[0.5,1]，a(m)表示所述人脸图片，p(a(m),x,y)表示所述人脸图片上的像素位置(x,y)的像素值，p``(e,x,y)表示所述第二融合图片上的像素位置(x,y)的像素值。
在一个实施例中，上述处理器在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片，形成所述新图片的步骤之前，包括：获取随机生成的范围为[0,1]的随机数r`；根据将所述随机数r`，调整为所述指定融合比r。
在一个实施例中，上述处理器获取人脸图片集和背景图片集的步骤，包括：获取人脸检测数据集WiderFace，其中，所述人脸检测数据集WiderFace包括人脸图片集M和人脸框标签集F；抽取所述人脸检测数据集WiderFace中的每一张人脸图片m，其中，所述人脸图片m的人脸框标签集为Fm，单个人脸框标签值为f，Fm＝{f|f∈F且f在所述人脸图片m中}，F＝{Fm|m∈M}，对每一张所述人脸图片m进行仿射变换，得到所述人脸图片m对应的仿射变换集合A；根据所述人脸图片m对应的仿射变换集合A的生成过程，对所述人脸检测数据集WiderFace中的每一张人脸图片m进行仿射变换，以及A(M)＝{a(m)|m∈M,a∈A}，a(Fm)＝{a(f)|a∈A,f∈Fm}，/>得到所述人脸检测数据集WiderFace对应的仿射变换人脸图片集A(M)，以及所述人脸检测数据集WiderFace对应的仿射变换人脸标签集为A(F)，其中，a(m)为每一张仿射变换人脸图片，a(Fm)表示仿射变换人脸图片a(m)的人脸框标签集，a(f)表示仿射变换人脸图片a(m)中的单个人脸框标签值。
在一个实施例中，上述处理器获取人脸图片集和背景图片集的步骤，还包括：获取背景数据集ImageNet；剔除掉所述背景数据集ImageNet中的含有人脸图像的指定背景图片，得到背景图片集I；抽取所述背景图片集I中的每一张背景图片i；对每一张所述背景图片i进行仿射变换，得到所述背景图片i对应的仿射变换集合B；根据所述背景图片i对应的仿射变换过程，对所述背景图片集I中的每一张背景图片i进行仿射变换，以及B(I)＝{b(i)|i∈I,b∈B}，得到所述背景图片集I对应的仿射变换背景图片集B(I)，其中，b(i)为每一张仿射变换背景图片，b表示单个的仿射变换。
在一个实施例中，上述处理器将所述人脸图片集和所述背景图片集通过笛卡尔积运算，得到组合数据集的步骤，包括：根据A(M)×B(I)＝{(a(m),b(i))|m∈M,a∈A且i∈I,b∈B}，得到所述组合数据集A(M)×B(I)，其中，所述组合数据集A(M)×B(I)中每个数据元素(a(m),b(i))的人脸框标签值，为所述仿射变换人脸图片a(m)对应的人脸框标签值a(Fm)。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (8)
1.一种扩充数据的方法，其特征在于，包括：
获取人脸图片集和背景图片集，其中，所述背景图片集中的背景图片无人脸图像；
将所述人脸图片集和所述背景图片集通过笛卡尔积运算，得到组合数据集，其中，所述组合数据集中的每个数据元素，均包括一张人脸图片和一张背景图片；
将所述组合数据集中的每个数据元素中包括的人脸图片和背景图片，分别融合为一张新图片；
将每个所述数据元素对应的新图片组合为数据扩充集；
所述将所述组合数据集中的每个数据元素中的人脸图片和背景图片，分别融合为一张新图片的步骤，包括：
计算所述人脸图片的面积区域和背景图片的面积区域的并集面积区域；
在所述并集面积区域上生成空白图片；
将所述人脸图片和背景图片，按照左上角对齐的方式，覆盖于所述空白图片上；
在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片上，形成所述新图片；
所述在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片上，形成所述新图片的步骤，包括：
根据将所述背景图片的像素点融合到所述空白图片上，生成第一融合图片，其中，(x,y)表示所述空白图片上的像素位置，b(i)表示所述背景图片，p(e,x,y)表示所述空白图片上的像素位置(x,y)的像素值，p(b(i),x,y)表示所述背景图片上的像素位置(x,y)的像素值，p`(e,x,y)表示所述第一融合图片上的像素位置(x,y)的像素值；
根据将所述人脸图片的像素点融合至所述第一融合图片中，生成第二融合图片，其中，r表示所述指定融合比，数值范围属于[0.5,1]，a(m)表示所述人脸图片，p(a(m),x,y)表示所述人脸图片上的像素位置(x,y)的像素值，p``(e,x,y)表示所述第二融合图片上的像素位置(x,y)的像素值。
2.根据权利要求1所述的扩充数据的方法，其特征在于，所述在指定融合比下，将所述人脸图片和背景图片，融合于所述空白图片，形成所述新图片的步骤之前，包括：
获取随机生成的范围为[0,1]的随机数r`；
根据将所述随机数r`，调整为所述指定融合比r。
3.根据权利要求1所述的扩充数据的方法，其特征在于，所述获取人脸图片集和背景图片集的步骤，包括：
获取人脸检测数据集WiderFace，其中，所述人脸检测数据集WiderFace包括人脸图片集M和人脸框标签集F；
抽取所述人脸检测数据集WiderFace中的每一张人脸图片m，其中，所述人脸图片m的人脸框标签集为Fm，单个人脸框标签值为f，Fm＝{f|f∈F且f在所述人脸图片m中}，F＝{Fm|m∈M}，
对每一张所述人脸图片m进行仿射变换，得到所述人脸图片m对应的仿射变换集合A；
根据所述人脸图片m对应的仿射变换集合A的生成过程，对所述人脸检测数据集WiderFace中的每一张人脸图片m进行仿射变换，以及A(M)＝{a(m)|m∈M,a∈A}，a(Fm)＝{a(f)|a∈A,f∈Fm}， 得到所述人脸检测数据集WiderFace对应的仿射变换人脸图片集A(M)，以及所述人脸检测数据集WiderFace对应的仿射变换人脸标签集为A(F)，其中，a(m)为每一张仿射变换人脸图片，a(Fm)表示仿射变换人脸图片a(m)的人脸框标签集，a(f)表示仿射变换人脸图片a(m)中的单个人脸框标签值。
4.根据权利要求3所述的扩充数据的方法，其特征在于，所述获取人脸图片集和背景图片集的步骤，还包括：
获取背景数据集ImageNet；
剔除掉所述背景数据集ImageNet中的含有人脸图像的指定背景图片，得到背景图片集I；
抽取所述背景图片集I中的每一张背景图片i；
对每一张所述背景图片i进行仿射变换，得到所述背景图片i对应的仿射变换集合B；
根据所述背景图片i对应的仿射变换过程，对所述背景图片集I中的每一张背景图片i进行仿射变换，以及B(I)＝{b(i)|i∈I,b∈B}，得到所述背景图片集I对应的仿射变换背景图片集B(I)，其中，b(i)为每一张仿射变换背景图片，b表示单个的仿射变换。
5.根据权利要求4所述的扩充数据的方法，其特征在于，所述将所述人脸图片集和所述背景图片集通过笛卡尔积运算，得到组合数据集的步骤，包括：
根据A(M)×B(I)＝{(a(m),b(i))|m∈M,a∈A且i∈I,b∈B}，得到所述组合数据集A(M)×B(I)，其中，所述组合数据集A(M)×B(I)中每个数据元素(a(m),b(i))的人脸框标签值，为所述仿射变换人脸图片a(m)对应的人脸框标签值a(Fm)。
6.一种扩充数据的装置，用于执行权利要求1-5中任一项所述的方法，其特征在于，包括：
获取模块，用于获取人脸图片集和背景图片集，其中，所述背景图片集中的背景图片无人脸图像；
运算模块，用于将所述人脸图片集和所述背景图片集通过笛卡尔积运算，得到组合数据集，其中，所述组合数据集中的每个数据元素，均包括一张人脸图片和一张背景图片；
融合模块，用于将所述组合数据集中的每个数据元素中包括的人脸图片和背景图片，分别融合为一张新图片；
组合模块，用于将每个所述数据元素对应的新图片组合为数据扩充集。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010733099.1A CN111860387B (zh) | 2020-07-27 | 2020-07-27 | 扩充数据的方法、装置和计算机设备 |
| PCT/CN2020/124728 WO2021139340A1 (zh) | 2020-07-27 | 2020-10-29 | 扩充数据的方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010733099.1A CN111860387B (zh) | 2020-07-27 | 2020-07-27 | 扩充数据的方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111860387A CN111860387A (zh) | 2020-10-30 |
| CN111860387B true CN111860387B (zh) | 2023-08-25 |
Family
ID=72947876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010733099.1A Active CN111860387B (zh) | 2020-07-27 | 2020-07-27 | 扩充数据的方法、装置和计算机设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111860387B (zh) |
| WO (1) | WO2021139340A1 (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492343A (zh) * | 2018-03-28 | 2018-09-04 | 东北大学 | 一种扩充目标识别的训练数据的图像合成方法 |
| WO2019015522A1 (zh) * | 2017-07-18 | 2019-01-24 | 腾讯科技（深圳）有限公司 | 表情图片生成方法、装置、电子设备及存储介质 |
| CN109920538A (zh) * | 2019-03-07 | 2019-06-21 | 中南大学 | 一种基于数据增强的零样本学习方法 |
| CN110276779A (zh) * | 2019-06-04 | 2019-09-24 | 华东师范大学 | 一种基于前后景分割的密集人群图像生成方法 |
| CN110852172A (zh) * | 2019-10-15 | 2020-02-28 | 华东师范大学 | 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法 |
| CN111415293A (zh) * | 2020-03-12 | 2020-07-14 | 上海数川数据科技有限公司 | 基于图像目标-背景变换的数据集增强方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020015536A1 (en) * | 2000-04-24 | 2002-02-07 | Warren Penny G. | Apparatus and method for color image fusion |
| US20170161592A1 (en) * | 2015-12-04 | 2017-06-08 | Pilot Ai Labs, Inc. | System and method for object detection dataset application for deep-learning algorithm training |
| CN110287988B (zh) * | 2019-05-16 | 2024-03-22 | 平安科技（深圳）有限公司 | 数据增强方法、装置及计算机可读存储介质 |
-
2020
- 2020-07-27 CN CN202010733099.1A patent/CN111860387B/zh active Active
- 2020-10-29 WO PCT/CN2020/124728 patent/WO2021139340A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019015522A1 (zh) * | 2017-07-18 | 2019-01-24 | 腾讯科技（深圳）有限公司 | 表情图片生成方法、装置、电子设备及存储介质 |
| CN108492343A (zh) * | 2018-03-28 | 2018-09-04 | 东北大学 | 一种扩充目标识别的训练数据的图像合成方法 |
| CN109920538A (zh) * | 2019-03-07 | 2019-06-21 | 中南大学 | 一种基于数据增强的零样本学习方法 |
| CN110276779A (zh) * | 2019-06-04 | 2019-09-24 | 华东师范大学 | 一种基于前后景分割的密集人群图像生成方法 |
| CN110852172A (zh) * | 2019-10-15 | 2020-02-28 | 华东师范大学 | 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法 |
| CN111415293A (zh) * | 2020-03-12 | 2020-07-14 | 上海数川数据科技有限公司 | 基于图像目标-背景变换的数据集增强方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021139340A1 (zh) | 2021-07-15 |
| CN111860387A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107358262B (zh) | 一种高分辨率图像的分类方法及分类装置 | |
| CN111723860A (zh) | 一种目标检测方法及装置 | |
| CN111091167B (zh) | 标志识别训练数据合成方法、装置、电子设备及存储介质 | |
| CN111814794A (zh) | 文本检测方法、装置、电子设备及存储介质 | |
| CN111192278B (zh) | 语义分割方法、装置、计算机设备和计算机可读存储介质 | |
| CN111968134B (zh) | 目标分割方法、装置、计算机可读存储介质及计算机设备 | |
| CN111275051A (zh) | 字符识别方法、装置、计算机设备和计算机可读存储介质 | |
| CN111127668A (zh) | 一种角色模型生成方法、装置、电子设备和存储介质 | |
| CN112348116A (zh) | 利用空间上下文的目标检测方法、装置和计算机设备 | |
| CN111860387B (zh) | 扩充数据的方法、装置和计算机设备 | |
| CN112418033B (zh) | 基于mask rcnn神经网络的滑坡坡面分割识别方法 | |
| CN115131803A (zh) | 文档字号的识别方法、装置、计算机设备和存储介质 | |
| CN114332895A (zh) | 文本图像合成方法、装置、设备、存储介质和程序产品 | |
| CN113255289A (zh) | 一种文案排版布局的方法及系统 | |
| CN111767054A (zh) | 生成智能大屏的方法、装置和计算机设备 | |
| CN112767239A (zh) | 一种样本自动生成方法、系统、设备和存储介质 | |
| CN112580499A (zh) | 文本识别方法、装置、设备及存储介质 | |
| CN112464860A (zh) | 手势识别方法、装置、计算机设备及存储介质 | |
| CN116167910B (zh) | 文本编辑方法、装置、计算机设备及计算机可读存储介质 | |
| CN110689063A (zh) | 一种基于神经网络的证件识别的训练方法及装置 | |
| CN113191942A (zh) | 生成图像的方法、训练人物检测模型的方法、程序及装置 | |
| CN115705758A (zh) | 活体识别方法、装置、电子设备和存储介质 | |
| CN112200774A (zh) | 图像识别设备 | |
| CN112633266A (zh) | 染色体簇分割方法、系统和存储介质 | |
| CN112163992A (zh) | 人像液化背景保持方法、系统及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |