CN108256473A - 用于数据扩增的方法、装置和系统、计算机可读存储介质 - Google Patents

用于数据扩增的方法、装置和系统、计算机可读存储介质 Download PDF

Info

Publication number
CN108256473A
CN108256473A CN201810044176.5A CN201810044176A CN108256473A CN 108256473 A CN108256473 A CN 108256473A CN 201810044176 A CN201810044176 A CN 201810044176A CN 108256473 A CN108256473 A CN 108256473A
Authority
CN
China
Prior art keywords
characteristic
original image
data
random perturbation
characteristic pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810044176.5A
Other languages
English (en)
Inventor
曾玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Blooming Era Technology Co Ltd
Original Assignee
Beijing Blooming Era Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Blooming Era Technology Co Ltd filed Critical Beijing Blooming Era Technology Co Ltd
Priority to CN201810044176.5A priority Critical patent/CN108256473A/zh
Publication of CN108256473A publication Critical patent/CN108256473A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

实施例公开一种用于数据扩增的方法,包括:接收原始图像信息,所述原始图像信息为一数据集合中的训练样本;获得所述原始图像的多张特征图;其中,每张特征图都包括所述原始图像的深度特征信息;对每张特征图进行扩展,获得每张特征图的多张扩展图;并,将所述多张特征图的所有扩展图作为训练样本加入所述数据集合。该实施例提出一种基于深度特征信息的数据扩增方式,由于在图像的深度特征信息的基础上进行的数据扩增,因此能从物体的深度特征出发找到物体本质信息。将基于深度特征信息的数据扩增技术和人脸识别网络相结合,能够更加有效地实现对识别分类器的训练。实施例还公开一种用于数据扩增的装置和系统,及计算机可读存储介质。

Description

用于数据扩增的方法、装置和系统、计算机可读存储介质
技术领域
本发明涉及人工智能技术领域,特别涉及一种用于数据扩增的方法、装置和系统,及计算机可读存储介质。
背景技术
人脸识别技术是计算机视觉应用中的一个重要环节,在很多实际应用场景中有着广泛的使用前景。人脸识别技术主要可以分成两种任务:人脸验证技术和人脸归类技术。验证技术需要输入两张人脸,通过运算判断两张人脸是否为同一个人。归类技术和验证技术有一定的区别,其先对一张图片进行特征提取,然后将该图片的特征和数据库中所有图片特征进行比对,选出该照片是数据库中的哪一个人。随着深度学习的不断发展,针对人脸识别的深层神经网络结构越来越多。随之而来的是关于训练数据集的需求不断增大。
当前在用于训练人脸识别模型的公开数据集中,不可避免的存在一些样本含有的人脸数量比较少的问题。这会对人脸识别归类问题的训练过程造成很大的影响。在归类问题的训练过程中,会根据每一个人划分成不同的分类。只有每一个分类中有充分的数据,才能够保证该分类具有良好的区分性。数据集合不平衡会造成如果在训练集合中该人的照片特别少,会使得在该类别的训练不准确,从而不具有很好的区分性。这种存在某个样本类人脸数目过少的情况被称做数据集合的不平衡。
只有能够很好的解决数据集合不平衡的问题,才能够保证我们在训练过程中,充分地训练出具有较好区分性的人脸识别模型。因此提出了融合扩增技术的人脸识别算法,在进行人脸识别模型训练前,利用扩增技术平衡数据集合,然后在进行识别任务的训练和处理。
随着扩增技术对人脸识别任务的积极作用被证实,越来越多的扩增方式开始使用在识别过程中。其中广泛应用在人脸识别技术中的数据扩增方式包括:镜像(mirroring)、随机裁剪(random cropping)、旋转(rotating)等。镜像扩增方式,将输入的原图进行水平的镜像处理。新生成的图片作为扩增后的数据送入数据集合之中进行训练。裁剪扩增对图像边界上的像素进行随机的裁剪。旋转扩增在原图的基础上,选定一个旋转角度,对该图按照定的方向进行旋转。
含有传统数据扩增的人脸识别算法主要分成两个过程,第一个过程是数据扩增,第二个过程是识别网络的训练。数据扩增阶段对输入算法中的原图进行处理,通过镜像、随机裁剪或旋转之后得到图片。识别网络训练中,将扩增好的数据送入到神经网络中进行特征提取(Feature extraction),得到特征(Feature)信息之后再进行分类器(classifier)的训练。
这种含有传统方式数据扩增技术的人脸识别方案,能够一定程度上实现对数据规模上的增加,缓解数据不平衡的问题。但是在该识别算法的数据扩增技术中,增加了数据规模的同时,真正处于有效扩增范围内的数据有限,同时由于没能很好的结合数据的深层语义信息,很容易引起训练过程的收敛过慢等问题。下面将具体介绍现有结合数据扩增技术的人脸识别技术的局限性:
对输入原图进行操作,没有能够很好的结合出图片的深度特征信息。深度卷积神经网络中,原图信息会在之后的深度学习过程中转换成为深度特征信息。只对原图进行简单的变换处理作为数据扩增方式,忽略了图像本质的深度特征信息,在收敛速度和效果上都有一定的影响。
在数据扩增过程中,对图像的数据扩增尺度不稳定。深度卷积神经网络在实际操作过程中主要关注深度特征信息的提取。有一些传统扩增方式,在原图的基础上改动很大,但是对具体的核心深度特征信息改动比较小,使得不能起到真正的数据扩增目的;而另一些方式对深度特征信息改动过大,导致了原数据和改动后的数据之间的距离较远,给训练造成困难,降低训练效率和收敛时间。
发明内容
本发明实施例提供了一种用于数据扩增的方法、装置、系统和程序,及计算机可读存储介质。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
根据本发明实施例的第一方面,提供了一种用于数据扩增的方法。
在一些可选实施例中,所述用于数据扩增的方法包括:接收原始图像信息,所述原始图像信息为一数据集合中的训练样本;获得所述原始图像的多张特征图;其中,每张特征图都包括所述原始图像的深度特征信息;对每张特征图进行扩展,获得每张特征图的多张扩展图;并,将所述多张特征图的所有扩展图作为训练样本加入所述数据集合。
根据本发明实施例的第二方面,提供一种用于数据扩增的装置。
在一些可选实施例中,所述用于数据扩增的装置包括:接收单元,用于接收原始图像信息;其中,所述原始图像信息为一数据集合中的训练样本;第一单元,用于获得所述原始图像的多张特征图;其中,每张特征图都包括所述原始图像的深度特征信息;第二单元,用于对每张特征图进行扩展,获得每张特征图的多张扩展图;和,第三单元,用于将所述多张特征图的所有扩展图作为训练样本加入所述数据集合。
在一些可选实施例中,所述卷积神经网络包括GoogLeNet,或ResNet,或VGGNet,或AlexNet。
根据本发明实施例的第三方面,提供一种用于数据扩增的系统。
在一些可选实施例中,所述用于数据扩增的系统包括存储设备和神经卷积网络,还包括前述的用于数据扩增的装置;其中,所述存储设备用于存储数据集合中的训练样本。
在一些可选实施例中,所述第二单元被配置在单一处理器中,或,被配置在多个处理器中;所述第三单元被配置在单一处理器中,或,被配置在多个处理器中。
根据本发明实施例的第四方面,提供一种计算机可读存储介质,用于存储程序,所述程序包括一条或多条指令,所述一条或多条指令被运行时,执行所述的用于数据扩增的方法。
在一些可选实施例中,所述一条或多条指令在单一处理器中被运行,或者,在多个处理器中被并行运行。
上述可选实施例中,提出一种基于深度特征信息的数据扩增方式,该扩增方式和现有的数据扩展方式不同,是一种更接近图像本质特征的一种数据扩增方式。由于在图像的深度特征信息的基础上进行的数据扩增,因此能从物体的深度特征出发找到物体本质信息。将基于深度特征信息的数据扩增技术和人脸识别网络相结合,能够更加有效地实现对识别分类器的训练。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据可选实施例示出的用于数据扩增的方法流程示意图;
图2是根据可选实施例示出的用于数据扩增的结果示意图;
图3根据可选实施例示出的特征图的平均值和标准差的示意图;
图4是测试对比结果的示意图;
图5是根据一示例性实施例示出的一种用于数据扩增的装置的框图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。在本文中,各实施方案可以被单独地或总地用术语“发明”来表示,这仅仅是为了方便,并且如果事实上公开了超过一个的发明,不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中,诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来,而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言,由于其与实施例公开的方法部分相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
图1示出一个可选的用于数据扩增的方法实施例。
该可选实施例中,用于数据扩增的方法包括:接收原始图像信息(步骤101),并获得原始图像的多张特征图(步骤102)。对每张特征图进行扩展,获得每张特征图的多张扩展图(步骤103)。将多张特征图的所有扩展图作为训练样本加入数据集合(步骤104),用于图像识别网络的训练。其中,每张特征图都包括原始图像的深度特征信息。
可选实施例提出一种基于深度特征信息的数据扩增方式,该扩增方式和现有的数据扩展方式不同,是一种更接近图像本质特征的一种数据扩增方式。由于在图像的深度特征信息的基础上进行的数据扩增,因此能从物体的深度特征出发找到物体本质信息。将基于深度特征信息的数据扩增技术和人脸识别网络相结合,能够更加有效地实现对识别分类器的训练。
在步骤102中,一种可选的获得特征图的方法包括:将原始图像输入卷积神经网络(Convolutional Neural Network,CNN),并在卷积神经网络的设定层输出获得原始图像的m张特征图,m为大于1的整数。
该可选获得特征图的方法中,对于卷积神经网络的要求并没有特定的要求或常规的做法。在一些可选实施例中,卷积神经网络可以是GoogLeNet,或者是ResNet,或者是VGGNet,或者是AlexNet。
在不同的卷积神经网络结构中,可以根据需求选择不同的层的特征进行数据扩增,选择具体哪个层并没有一种通用的做法,需要根据需求来设定。一种可选的方式是,可以设定某一个或多个初始层(inception layer),或者,可以设定其它的特征层,而不仅仅是inception layer。
在诸如GoogLeNet和ResNet这些卷积神经网络中,都具有多个inception layer,具体获得哪个inception layer输出的特征图并没有通用的做法可供参考。在实际应用中可根据不同的需求和目的,获得某一个或多个inception layer的特征图。
在步骤103中,一种可选的对每张特征图进行扩展的方法包括:用n组随机扰动因子rj对m张特征图进行扩展,获得m×n张扩展图;其中,n为大于1的整数,j=1,…,n。
其中,每张特征图的像素矩阵用G表示,其中,GXY表示特征图中位置为(X,Y)的像素的值。其中,X为像素的横坐标位置,Y为像素的纵坐标位置。
用Gi表示第i张特征图的像素矩阵,其中,GXY_i表示第i张特征图中位置为(X,Y)的像素的值。i=1,…,m。
可选地,每组随机扰动因子rj都包括对应于特征图中每个像素的随机扰动因子rXY_j。可选地,每组随机扰动因子rj为一个随机扰动因子矩阵。
其中,rXY_j表示对应于各特征图中位置为(X,Y)的像素的第j个干扰因子,j=1,…,n。
使用新型的随机扰动因子(random noise)计算方式,保证深度特征和随机扰动因子相加得到的扩展样本,能够适当的保留原有信息,并进行适度的扩增。不会出现传统方法中扩增尺度不稳定的现象,从而有利于训练的收敛,提高扩增数据的有效性。
可选地,所有特征图中相同位置像素所对应的n个随机扰动因子满足高斯分布。也即,对应于各特征图中位置为(X,Y)的像素的n个随机扰动因子rXY_j满足高斯分布,j=1,…,n。
目前尚没有常规的或者公知的用n组随机扰动因子rj对m张特征图进行扩展的方法,一种可选的用n组随机扰动因子rj对m张特征图进行扩展的方法包括:通过下述运算获得m×n张扩展图;
其中,为第i张特征图的像素矩阵,为第j组随机扰动因子rj对应的随机扰动因子矩阵,GXY_i表示第i张特征图中位置为(X,Y)的像素的值,rXY_j表示对应于各特征图中位置为(X,Y)的像素的第j个干扰因子,i=1,…,m;j=1,…,n。
另一种可选的对每张特征图进行扩展的方法包括:用n组随机扰动因子rj及随机扰动因子的权重系数aj对m张特征图进行扩展,获得m×n张扩展图;其中,n为大于1的整数,j=1,…,n。为随机扰动因子配置权重系数,并用随机扰动因子和权重系数共同对特征图进行扩展,能够达到更好的结果。
目前尚没有常规的或者公知的用n组随机扰动因子rj及随机扰动因子的权重系数aj对m张特征图进行扩展的方法,一种可选的用n组随机扰动因子rj及随机扰动因子的权重系数aj对m张特征图进行扩展的方法包括:通过下述运算获得m×n张扩展图;
其中,为第i张特征图的像素矩阵,为第j组随机扰动因子rj对应的随机扰动因子矩阵,GXY_i表示第i张特征图中位置为(X,Y)的像素的值,rXY_j表示对应于各特征图中位置为(X,Y)的像素的第j个干扰因子,aXY_j为rXY_j的权重系数,i=1,…,m;j=1,…,n。
其中,随机扰动因子的权重系数的获得方式可以有多种,在一些可选实施例中,随机扰动因子rXY_j的权重系数aXY_j为设定的固定值,或者,为通过多次训练挑选出来的值。
为随机扰动因子配置权重系数,并用随机扰动因子和权重系数共同对特征图进行扩展,能够达到更好的结果。
可选地,各特征图中同一位置像素GXY的n个随机扰动因子rXY_j的权重系数之和是1,j=1,…,n。即,
其中,n组随机扰动因子的生成方式可以有多种,在一些可选实施例中,可以基于m张特征图生成n组随机扰动因子。可选地,基于m张特征图的平均值图和标准差图生成n组随机扰动因子。
其中,m张特征图的平均值图和标准差图如图3所示。
平均值图中的cXY表示特征图中位置为(X,Y)的像素的平均值,更具体地,标准差图中的bXY表示特征图中位置为(X,Y)的像素的标准差,更具体地,其中,GXY_i表示第i张特征图中位置为(X,Y)的像素的值。
在一些可选实施例中,各特征图中同一位置像素的n个随机扰动因子rXY_j的平均值为cXY,j=1,…,n。即,
在一些可选实施例中,各特征图中同一位置像素的n个随机扰动因子rXY_j的标准差为bXY,j=1,…,n。即,
在一些可选实施例中,对应于各特征图中同一位置像素的n个随机扰动因子rXY_j满足高斯分布,j=1,…,n。
一种可选的方式是,利用Box_and_Muller算法生成满足高斯分布的随机扰动因子rXY_j,j=1,…,n。关于利用Box_and_Muller算法生成满足高斯分布的随机数的说明可参阅已公开的文章和书籍,此不赘述。
在一些应用实施例中,先在包含大量人脸图像的数据集合(例如可以是MSRA-CFA数据集合)中,采用GoogLeNet预训练人脸识别模型,并在训练的损失值和测试的损失值都达到阈值的时候,也即在训练的损失值和测试的损失值都达到比较小的范围的时候,停止训练。在训练的数据集合中,对图片数量较少的图像样本进行标记,或,对指定的图像样本进行标记。对被标记的图像样本进行扩增,从而实现数据集合的平衡性。实现应用实施例的部分程序代码如下:
输入:
首先,选取训练的数据集合中被标记的图像样本,将每张图像样本输入GoogLeNet,并提取获得初始层(inception layer)的inception(5a)层的多张特征图作为扩展样本。然后,计算多张特征图中各位置像素的平均值和方差,生成随机扰动因子。然后,将随机扰动因子以一定的权重加入到各特征图中,得到各特征图的扩展图。最后,将新生成的所有扩展图作为扩增后的数据加入数据集合,连同原始图像一同进行分类器的训练。其中,GoogLeNet的参数如表1所示,更多关于GoogLeNet的说明可参阅已发表的文章,此不赘述。
表1
通过在公开人脸识别数据集合进行的测试,将可选实施例提供的数据扩展方法和其他现有数据扩增技术的人脸识别研究方案进行了对比。
基于传统数据扩增与基于深度特征信息扩增的人脸识别算法结果比对。首先选择一张样本图片进行特征提取,剩下三张图片用于测试。在测试过程中,对测试图片先进行特征的获取,然后分别使用传统扩增后训练的分类器以及深度特征信息数据扩增后训练的分类器进行测试和比对,结果如图4所示。通过对比结果中可以明显的看出,使用基于深度特征的扩增方式训练的人脸识别模型(包括特征提取和分类器训练)结果要优于传统数据扩增方式。
表2给出了在公开测试集合LFW上的表现结果,关于公开测试集合L FW的说明可参阅已公开的文章,此不赘述。
表2
误识率0.0001 误识率0.001 误识率0.01 平均准确度
GoogLeNet+传统数据扩增技术 0.7283 0.8617 0.9017 0.9822
GoogLeNet+本文数据扩增技术 0.8153 0.8994 0.9342 0.9901
通过表2也可以看出,使用基于深度特征的扩增方式训练的人脸识别模型(包括特征提取和分类器训练)结果要优于传统数据扩增方式。
图5示出一个可选的用于数据扩增的装置实施例。
该可选的用于数据扩增的装置包括:接收原始图像信息的接收单元S0,获得原始图像的多张特征图的第一单元S1,对每张特征图进行扩展获得每张特征图的多张扩展图的第二单元S2,和,将多张特征图的所有扩展图作为训练样本加入数据集合的第三单元S3。其中,原始图像信息为数据集合中的训练样本。其中,每张特征图都包括原始图像的深度特征信息。
使用新型的随机扰动因子计算方式,保证深度特征和随机扰动因子相加得到的扩展样本,能够适当的保留原有信息,并进行适度的扩增。不会出现传统方法中扩增尺度不稳定的现象,从而有利于训练的收敛,提高扩增数据的有效性。
在一些可选实施例中,第一单元S1被配置为将原始图像输入卷积神经网络,并在卷积神经网络的设定层输出获得原始图像的m张特征图;其中,m为大于1的整数。
在一些可选实施例中,第二单元S2被配置为用n组随机扰动因子及各随机扰动因子的权重系数对m张特征图进行扩展,获得m×n张扩展图;其中,n为大于1的整数。
在另一些可选实施例中,第二单元S2被配置为用n组随机扰动因子对所述m张特征图进行扩展,获得m×n张扩展图;其中,n为大于1的整数。
可选地,每组随机扰动因子rj都包括对应于特征图中每个像素的随机扰动因子rXY_j。可选地,每组随机扰动因子rj为一个随机扰动因子矩阵。
其中,rXY_j表示对应于各特征图中位置为(X,Y)的像素的第j个干扰因子,j=1,…,n。
使用新型的随机扰动因子计算方式,保证深度特征和随机扰动因子相加得到的扩展样本,能够适当的保留原有信息,并进行适度的扩增。不会出现传统方法中扩增尺度不稳定的现象,从而有利于训练的收敛,提高扩增数据的有效性。
可选地,所有特征图中相同位置像素所对应的n个随机扰动因子满足高斯分布。即,对应于各特征图中位置为(X,Y)的像素的n个随机扰动因子rXY_j满足高斯分布,j=1,…,n。
目前尚没有常规的或者公知的用n组随机扰动因子rj对m张特征图进行扩展的方法,一种可选的用n组随机扰动因子rj对m张特征图进行扩展的方法包括:通过下述运算获得m×n张扩展图;
其中,为第i张特征图的像素矩阵,为第j组随机扰动因子rj对应的随机扰动因子矩阵,GXY_i表示第i张特征图中位置为(X,Y)的像素的值,rXY_j表示对应于各特征图中位置为(X,Y)的像素的第j个干扰因子,i=1,…,m;j=1,…,n。
另一种可选的对每张特征图进行扩展的方式是,第二单元S2被配置为用n组随机扰动因子rj及随机扰动因子的权重系数aj对m张特征图进行扩展,获得m×n张扩展图;其中,n为大于1的整数,j=1,…,n。为随机扰动因子配置权重系数,并用随机扰动因子和权重系数共同对特征图进行扩展,能够达到更好的结果。
目前尚没有常规的或者公知的用n组随机扰动因子rj及随机扰动因子的权重系数aj对m张特征图进行扩展的方式,一种可选的用n组随机扰动因子rj及随机扰动因子的权重系数aj对m张特征图进行扩展的方式包括:第二单元S2被配置为通过下述运算获得m×n张扩展图;
其中,为第i张特征图的像素矩阵,为第j组随机扰动因子rj对应的随机扰动因子矩阵,GXY_i表示第i张特征图中位置为(X,Y)的像素的值,rXY_j表示对应于各特征图中位置为(X,Y)的像素的第j个干扰因子,aXY_j为rXY_j的权重系数,i=1,…,m;j=1,…,n。
其中,随机扰动因子的权重系数的获得方式可以有多种,在一些可选实施例中,随机扰动因子rj的权重系数aj为设定的固定值,或者,为通过多次训练挑选出来的值。
可选地,各特征图中同一位置像素GXY的n个随机扰动因子rXYj的权重系数之和是1,j=1,…,n。即,
其中,n组随机扰动因子的生成方式可以有多种,在一些可选实施例中,可以基于m张特征图生成n组随机扰动因子。可选地,基于m张特征图的平均值图和标准差图生成n组随机扰动因子。
在一些可选实施例中,m张特征图中同一位置的m个像素的n个随机扰动因子的平均值为该m个像素的平均值cXY。即,其中,cXY为m个像素的平均值,即,
在一些可选实施例中,m张特征图中同一位置的m个像素的n个随机扰动因子的标准差为该m个像素的标准bXY。即,其中,
其中,GXY_i表示第i张特征图中位置为(X,Y)的像素的值,i=1,…,m;rXY_j表示对应于各特征图中位置均为(X,Y)的像素的第j个干扰因子,j=1,…,n。
在一些可选实施例中,对应于各特征图中同一位置像素的n个随机扰动因子满足高斯分布。
一种可选的方式是,利用Box_and_Muller算法生成满足高斯分布的随机扰动因子。
在一些可选实施例中,所述卷积神经网络包括GoogLeNet,或ResNet,或VGGNet,或AlexNet。
在一些可选实施例中,第二单元S2被配置在单一处理器中,或,被配置在多个处理器中。在一些可选实施例中,第三单元S3被配置在单一处理器中,或,被配置在多个处理器中。
在一些可选实施例中,还公开一种用于数据扩增的系统,包括存储设备和神经卷积网络,该系统还包括前文公开的用于数据扩增的装置。其中,存储设备用于存储数据集合中的训练样本。
在一些可选实施例中,还公开一种用于数据扩增的程序,该程序包括一条或多条指令,该程序被运行时可执行前文公开的用于数据扩增的方法。在一些可选实施例中,该程序在单一处理器中被运行,或者,在多个处理器中被并行运行。
在一些可选实施例中,还公开一种计算机可读存储介质,用于存储前文公开的用于数据扩增的程序。该程序包括一条或多条指令,上述指令可由处理器执行以完成前文所述的方法。上述计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁带和光存储设备等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。所属技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本文所披露的实施例中,应该理解到,所揭露的方法、产品(包括但不限于装置、设备等),可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的流程及结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种用于数据扩增的方法,其特征在于,包括:
接收原始图像信息,所述原始图像信息为一数据集合中的训练样本;
获得所述原始图像的多张特征图;其中,每张特征图都包括所述原始图像的深度特征信息;
对每张特征图进行扩展,获得每张特征图的多张扩展图;并,
将所述多张特征图的所有扩展图作为训练样本加入所述数据集合。
2.如权利要求1所述的方法,其特征在于,所述获得所述原始图像的多张特征图,包括:
将原始图像输入卷积神经网络;
在所述卷积神经网络的设定层输出获得所述原始图像的m张特征图;其中,m为大于1的整数。
3.如权利要求2所述的方法,其特征在于,用n组随机扰动因子及各组随机扰动因子的权重系数对所述m张特征图进行扩展,获得m×n张扩展图;其中,n为大于1的整数。
4.如权利要求2所述的方法,其特征在于,用n组随机扰动因子对所述m张特征图进行扩展,获得m×n张扩展图;其中,n为大于1的整数。
5.一种用于数据扩增的装置,其特征在于,包括:
接收单元,用于接收原始图像信息;其中,所述原始图像信息为一数据集合中的训练样本;
第一单元,用于获得所述原始图像的多张特征图;其中,每张特征图都包括所述原始图像的深度特征信息;
第二单元,用于对每张特征图进行扩展,获得每张特征图的多张扩展图;和,
第三单元,用于将所述多张特征图的所有扩展图作为训练样本加入所述数据集合。
6.如权利要求5所述的装置,其特征在于,所述第一单元被配置为将原始图像输入卷积神经网络,并在所述卷积神经网络的设定层输出获得所述原始图像的m张特征图;其中,m为大于1的整数。
7.如权利要求6所述的装置,其特征在于,所述第二单元被配置为用n组随机扰动因子及各随机扰动因子的权重系数对所述m张特征图进行扩展,获得m×n张扩展图;其中,n为大于1的整数。
8.如权利要求6所述的装置,其特征在于,所述第二单元被配置为用n组随机扰动因子对所述m张特征图进行扩展,获得m×n张扩展图;其中,n为大于1的整数。
9.一种用于数据扩增的系统,包括存储设备和神经卷积网络,其特征在于,还包括如权利要求7至10任一项所述的用于数据扩增的装置;其中,所述存储设备用于存储数据集合中的训练样本。
10.一种计算机可读存储介质,用于存储包括一条或多条指令的程序,其特征在于,所述一条或多条指令被运行时,执行如权利要求1至5任一项所述的用于数据扩增的方法。
CN201810044176.5A 2018-01-17 2018-01-17 用于数据扩增的方法、装置和系统、计算机可读存储介质 Pending CN108256473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810044176.5A CN108256473A (zh) 2018-01-17 2018-01-17 用于数据扩增的方法、装置和系统、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810044176.5A CN108256473A (zh) 2018-01-17 2018-01-17 用于数据扩增的方法、装置和系统、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN108256473A true CN108256473A (zh) 2018-07-06

Family

ID=62726456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810044176.5A Pending CN108256473A (zh) 2018-01-17 2018-01-17 用于数据扩增的方法、装置和系统、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108256473A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503146A (zh) * 2019-08-21 2019-11-26 杭州比智科技有限公司 数据增强方法、装置、计算设备及计算机存储介质
CN112101294A (zh) * 2020-09-29 2020-12-18 支付宝(杭州)信息技术有限公司 针对图像识别模型的增强训练方法及装置
CN112215202A (zh) * 2020-10-30 2021-01-12 上海禾儿盟智能科技有限公司 近红外图像数据离线增广装置、系统及方法
CN112257805A (zh) * 2020-10-30 2021-01-22 东北大学 一种数据扩充方法
CN114444690A (zh) * 2022-01-27 2022-05-06 厦门大学 一种基于任务扩增的迁移攻击方法
CN114444690B (zh) * 2022-01-27 2024-06-07 厦门大学 一种基于任务扩增的迁移攻击方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503146A (zh) * 2019-08-21 2019-11-26 杭州比智科技有限公司 数据增强方法、装置、计算设备及计算机存储介质
CN110503146B (zh) * 2019-08-21 2021-12-14 杭州比智科技有限公司 数据增强方法、装置、计算设备及计算机存储介质
CN112101294A (zh) * 2020-09-29 2020-12-18 支付宝(杭州)信息技术有限公司 针对图像识别模型的增强训练方法及装置
US11403487B2 (en) 2020-09-29 2022-08-02 Alipay (Hangzhou) Information Technology Co., Ltd. Enhanced training method and apparatus for image recognition model
CN112215202A (zh) * 2020-10-30 2021-01-12 上海禾儿盟智能科技有限公司 近红外图像数据离线增广装置、系统及方法
CN112257805A (zh) * 2020-10-30 2021-01-22 东北大学 一种数据扩充方法
CN112257805B (zh) * 2020-10-30 2023-06-27 东北大学 一种数据扩充方法
CN112215202B (zh) * 2020-10-30 2023-06-30 上海禾儿盟智能科技有限公司 近红外图像数据离线增广装置、系统及方法
CN114444690A (zh) * 2022-01-27 2022-05-06 厦门大学 一种基于任务扩增的迁移攻击方法
CN114444690B (zh) * 2022-01-27 2024-06-07 厦门大学 一种基于任务扩增的迁移攻击方法

Similar Documents

Publication Publication Date Title
CN109801256B (zh) 一种基于感兴趣区域和全局特征的图像美学质量评估方法
CN108596329B (zh) 基于端到端深度集成学习网络的三维模型分类方法
CN104657718B (zh) 一种基于人脸图像特征极限学习机的人脸识别方法
CN100472556C (zh) 特定被摄体检测装置及方法
CN108256473A (zh) 用于数据扩增的方法、装置和系统、计算机可读存储介质
CN102521656B (zh) 非平衡样本分类的集成迁移学习方法
CN100492399C (zh) 利用降维方法进行人脸姿态估计的方法
CN109934293A (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
CN101667245B (zh) 基于支持向量新颖检测分类器级联的人脸检测方法
CN106709754A (zh) 一种用基于文本挖掘的电力用户分群方法
CN110163258A (zh) 一种基于语义属性注意力重分配机制的零样本学习方法及系统
CN106295506A (zh) 一种基于集成卷积神经网络的年龄识别方法
CN107871100A (zh) 人脸模型的训练方法和装置、人脸认证方法和装置
CN110930387A (zh) 基于深度可分离卷积神经网络的织物疵点检测方法
CN108898620A (zh) 基于多重孪生神经网络与区域神经网络的目标跟踪方法
CN106446754A (zh) 图像识别方法、度量学习方法、图像来源识别方法及装置
Yilmaz et al. A vehicle detection approach using deep learning methodologies
CN103020582A (zh) 计算机通过视频图像识别车辆类型的方法
CN108960015A (zh) 一种基于深度学习的车系自动识别方法及装置
CN105956570B (zh) 基于唇部特征和深度学习的笑脸识别方法
US7296020B2 (en) Automatic evaluation of categorization system quality
CN110490052A (zh) 基于级联多任务学习的人脸检测及人脸属性分析方法及系统
CN110147833A (zh) 人像处理方法、装置、系统和可读存储介质
CN104598920A (zh) 基于Gist特征与极限学习机的场景分类方法
CN108595558A (zh) 一种数据均衡策略和多特征融合的图像标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180706

WD01 Invention patent application deemed withdrawn after publication