CN110287988B - 数据增强方法、装置及计算机可读存储介质 - Google Patents
数据增强方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110287988B CN110287988B CN201910416659.8A CN201910416659A CN110287988B CN 110287988 B CN110287988 B CN 110287988B CN 201910416659 A CN201910416659 A CN 201910416659A CN 110287988 B CN110287988 B CN 110287988B
- Authority
- CN
- China
- Prior art keywords
- picture
- picture set
- extended
- merged
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 171
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 abstract description 21
- 230000002708 enhancing effect Effects 0.000 abstract description 4
- 230000001965 increasing effect Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种数据增强方法，该方法包括：获取原始图片；对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集；对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集；对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集；将所述第三扩充图片集作为增强后的图片集。本发明还提出一种数据增强装置以及一种计算机可读存储介质。本发明，增加数据的多样性，增强数据使得训练样本更为充分。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据增强方法、装置及计算机可读存储介质。
背景技术
目前为止的OCR业务基本上都是数据驱动的，这些业务依赖于大量的数据进行深度学习(例如神经网络)模型的训练并用之于对目标字段的检测和识别。绝大部分应用的深度学习结构尤其是有监督的神经网络，需要大量的训练数据来进行学习。训练数据需要人工标注出所需要的字段在图片上的位置和对应的真实的文本值以后，才能够进行检测和识别模型的训练。
在实际业务中，经常会出现人工搜集的图片难以覆盖全部场景，人工标注的速度赶不上工期，导致最终标注的数据量不能够很好的让检测和识别模型达到最佳效果的情况。在以上这种标注的数据十分有限的情况下训练出来的模型准确率通常不是很高，即深度学习依赖大量的标注数据，在缺少足够的数据支持下，深度学习训练出来的模型效果一般。为了改善这种情况，需要对现有的标注数据进行一些处理，扩增数据总量。
发明内容
本发明提供一种数据增强方法、装置及计算机可读存储介质，其主要目的在于增加训练数据的多样性，从而更真实的贴近实际场景。
为实现上述目的，本发明还提供一种数据增强方法，所述方法包括：
获取原始图片；
对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集，其中所述第一处理操作包括以下至少一种：模糊处理，噪声处理；
对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集，其中第二处理操作包括以下至少一种：移动操作、旋转操作、填充操作；
对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集，其中第三处理操作包括以下至少一种：对比度处理操作、颜色处理操作；
将所述第三扩充图片集作为增强后的图片集。
优选地，所述对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集包括：
分别使用不同的窗口尺寸对原始图片进行均值模糊处理，得到各个窗口尺寸对应的图片，将各个窗口尺寸对应的图片与原始图片进行合并，得到第一合并图片集；
对第一合并图片集中各个图片进行高斯模糊处理，得到第一合并图片集中各个图片对应的高斯模糊处理的图片，并将第一合并图片集中各个图片对应的高斯模糊处理的图片与第一合并图片集合并得到第二合并图片集；
对第二合并图片集中各个图片进行高斯噪声处理，得到第二合并图片集中各个图片对应的高斯噪声处理的图片，并将第二合并图片集中各个图片对应的高斯噪声处理的图片与第二合并图片集合并得到第一扩充图片集。
优选地，所述对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集包括：
对第一扩充图片集中的各个图片进行移动处理，得到第一扩充图片集中的各个图片对应的移动图片，将第一扩充图片集中的各个图片对应的移动图片与第一扩充图片集中的各个图片进行合并，得到第三合并图片集；
对第三合并图片集中各个图片旋转预设角度，得到第三合并图片集中各个图片对应的旋转后的图片，将第三合并图片集中各个图片对应的旋转后的图片与第三合并图片集合并，得到第四合并图片集；
对第四合并图片集进行填充处理，得到第二扩充图片集。
优选地，其中第二处理操作还包括缩放操作及剪裁操作，所述对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集还包括：
对第四合并图片集中各个图片进行随机缩放操作，得到第四合并图片集中各个图片对应的缩放后的图片，将第四合并图片集中各个图片对应的缩放后的图片与第四合并图片集合并，得到第五合并图片集；
对第五合并图片集中各个图片进行随机剪裁操作，得到第五合并图片集中各个图片对应的剪裁后的图片，将第五合并图片集中各个图片对应的剪裁后的图片与第五合并图片集合并，得到第二扩充图片集。
优选地，所述对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集包括：
对第二扩充图片集中各个图片进行对比度变换操作，得到第二扩充图片集中各个图片对应的对比度变换后的图片，将第二扩充图片集中各个图片对应的对比度变换后的图片与第二扩充集中各个图片进行合并，得到第六合并图片集；
对第六合并图片集中各个图片进行颜色变换操作，得到第六合并图片集中各个图片对应的颜色变换后的图片，将第六合并图片集中各个图片对应的颜色变换后的图片与第六合并图片集合并，得到第三扩充图片集。
此外，为实现上述目的，本发明还提供一种数据增强装置，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的数据增强程序，所述数据增强程序被所述处理器执行时实现如下步骤：
获取原始图片；
对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集，其中所述第一处理操作包括以下至少一种：模糊处理，噪声处理；
对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集，其中第二处理操作包括以下至少一种：移动操作、旋转操作、填充操作；
对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集，其中第三处理操作包括以下至少一种：对比度处理操作、颜色处理操作；
将所述第三扩充图片集作为增强后的图片集。
优选地，所述对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集包括：
分别使用不同的窗口尺寸对原始图片进行均值模糊处理，得到各个窗口尺寸对应的图片，将各个窗口尺寸对应的图片与原始图片进行合并，得到第一合并图片集；
对第一合并图片集中各个图片进行高斯模糊处理，得到第一合并图片集中各个图片对应的高斯模糊处理的图片，并将第一合并图片集中各个图片对应的高斯模糊处理的图片与第一合并图片集合并得到第二合并图片集；
对第二合并图片集中各个图片进行高斯噪声处理，得到第二合并图片集中各个图片对应的高斯噪声处理的图片，并将第二合并图片集中各个图片对应的高斯噪声处理的图片与第二合并图片集合并得到第一扩充图片集。
优选地，所述对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集包括：
对第一扩充图片集中的各个图片进行移动处理，得到第一扩充图片集中的各个图片对应的移动图片，将第一扩充图片集中的各个图片对应的移动图片与第一扩充图片集中的各个图片进行合并，得到第三合并图片集；
对第三合并图片集中各个图片旋转预设角度，得到第三合并图片集中各个图片对应的旋转后的图片，将第三合并图片集中各个图片对应的旋转后的图片与第三合并图片集合并，得到第四合并图片集；
对第四合并图片集进行填充处理，得到第二扩充图片集。
优选地，所述对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集包括：
对第二扩充图片集中各个图片进行对比度变换操作，得到第二扩充图片集中各个图片对应的对比度变换后的图片，将第二扩充图片集中各个图片对应的对比度变换后的图片与第二扩充集中各个图片进行合并，得到第六合并图片集；
对第六合并图片集中各个图片进行颜色变换操作，得到第六合并图片集中各个图片对应的颜色变换后的图片，将第六合并图片集中各个图片对应的颜色变换后的图片与第六合并图片集合并，得到第三扩充图片集。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据增强程序，所述数据增强程序可被一个或者多个处理器执行，以实现如上所述的数据增强方法的步骤。
本发明获取原始图片；对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集，其中所述第一处理操作包括以下至少一种：模糊处理，噪声处理；对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集，其中第二处理操作包括以下至少一种：移动操作、旋转操作、填充操作；对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集，其中第三处理操作包括以下至少一种：对比度处理操作、颜色处理操作；将所述第三扩充图片集作为增强后的图片集，增加数据的多样性，增强数据使得训练样本更为充分。
附图说明
图1为本发明一实施例提供的数据增强方法的流程示意图；
图2为本发明一实施例提供的数据增强装置的内部结构示意图；
图3为本发明一实施例提供的数据增强装置中数据增强程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种数据增强方法。参照图1所示，为本发明一实施例提供的数据增强方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，数据增强方法包括：
S10、获取原始图片。
在本实施例中，所述原始图片来自于训练集中的图片，对于训练集中的每张图片，都可以执行数据增加方法，得到训练集中的每张训练图片对应的多种样式的图片，从而增加训练数据量，提高训练模型的准确性。
S11、对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集。
在一实施例中，其中所述第一处理操作包括以下至少一种：模糊处理，噪声处理。
在一具体实现中，所述对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集包括：
分别使用不同的窗口尺寸对原始图片进行均值模糊处理，得到各个窗口尺寸对应的图片，将各个窗口尺寸对应的图片与原始图片进行合并，得到第一合并图片集；
对第一合并图片集中各个图片进行高斯模糊处理，得到第一合并图片集中各个图片对应的高斯模糊处理的图片，并将第一合并图片集中各个图片对应的高斯模糊处理的图片与第一合并图片集合并得到第二合并图片集；
对第二合并图片集中各个图片进行高斯噪声处理，得到第二合并图片集中各个图片对应的高斯噪声处理的图片，并将第二合并图片集中各个图片对应的高斯噪声处理的图片与第二合并图片集合并得到第一扩充图片集。
其中分别使用不同的窗口尺寸对原始图片进行均值模糊处理，得到各个窗口尺寸对应的图片，使用不同的窗口尺寸值来得到不同的图片，，从而实现数据增强。
S12、对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集。
在一实施例中，其中第二处理操作包括以下至少一种：移动操作、旋转操作、填充操作。
在一具体实现中，所述对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集包括：
对第一扩充图片集中的各个图片进行移动处理，得到第一扩充图片集中的各个图片对应的移动图片，将第一扩充图片集中的各个图片对应的移动图片与第一扩充图片集中的各个图片进行合并，得到第三合并图片集；
对第三合并图片集中各个图片旋转预设角度，得到第三合并图片集中各个图片对应的旋转后的图片，将第三合并图片集中各个图片对应的旋转后的图片与第三合并图片集合并，得到第四合并图片集；
对第四合并图片集进行填充处理，得到第二扩充图片集。
其中本实施例中在图像旋转之前，执行坐标平移操作，可以避免信息的丢失。图像旋转之后，会出现许多空洞点。对这些空洞点必须进行填充处理，否则画面效果不好，一般也称这种操作为插值处理。
具体地，对所述移动操作包括对图片进行水平方向和垂直方向移动处理。其中水平方向和垂直方向移动是指在x坐标和y坐标上分别随机选择一个值(这个值可以是正数也可以是负数，符号表示移动方向)，然后分别对x坐标和y坐标进行平移。这种操作分为两种，一种是图像大小不改变，这样最后原始图片中会有一部分不在图像中。还有一种就是图像大小改变。这样可以保全原始图片的内容。其公式如下：
其中矩阵[x0 y0 1]T为原始图片坐标，[x y 1]T为平移过后的坐标。设置不同的参数dx和dy来对图像进行水平方向和垂直方向移动。将上述增强数据和该步处理后的图片合并，从而实现数据增强。
在一实施例中，其中第二处理操作还包括缩放操作及剪裁操作，所述对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集还包括：
对第四合并图片集中各个图片进行随机缩放操作，得到第四合并图片集中各个图片对应的缩放后的图片，将第四合并图片集中各个图片对应的缩放后的图片与第四合并图片集合并，得到第五合并图片集；
对第五合并图片集中各个图片进行随机剪裁操作，得到第五合并图片集中各个图片对应的剪裁后的图片，将第五合并图片集中各个图片对应的剪裁后的图片与第五合并图片集合并，得到第二扩充图片集。
S13、对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集。
在一实施例中，其中第三处理操作包括以下至少一种：对比度处理操作、颜色处理操作；
在一具体实现中，所述对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集包括：
对第二扩充图片集中各个图片进行对比度变换操作，得到第二扩充图片集中各个图片对应的对比度变换后的图片，将第二扩充图片集中各个图片对应的对比度变换后的图片与第二扩充集中各个图片进行合并，得到第六合并图片集；
对第六合并图片集中各个图片进行颜色变换操作，得到第六合并图片集中各个图片对应的颜色变换后的图片，将第六合并图片集中各个图片对应的颜色变换后的图片与第六合并图片集合并，得到第三扩充图片集。
S14、将所述第三扩充图片集作为增强后的图片集。
本发明获取原始图片；对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集，其中所述第一处理操作包括以下至少一种：模糊处理，噪声处理；对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集，其中第二处理操作包括以下至少一种：移动操作、旋转操作、填充操作；对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集，其中第三处理操作包括以下至少一种：对比度处理操作、颜色处理操作；将所述第三扩充图片集作为增强后的图片集。本案采用模糊、高斯噪声、水平方向和垂直方向移动、旋转图片、随机缩放、对比度变换、颜色变换、随机裁剪这八种数据增强的方法可以在一定程度上增加数据的多样性，将他们混合使用(例如随机选取任意一种或几种方法、按照不同的顺序将若干种方法叠加使用等)能够生成各式各样的输出。，增强了数据，使得训练样本更为充分。
本发明还提供一种数据增强装置。参照图2所示，为本发明一实施例提供的数据增强装置的内部结构示意图。
在本实施例中，数据增强装置1可以是个人电脑(Personal Computer，PC)，也可以是智能手机、平板电脑、便携计算机等终端设备。该数据增强装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是数据增强装置1的内部存储单元，例如该数据增强装置1的硬盘。存储器11在另一些实施例中也可以是数据增强装置1的外部存储设备，例如数据增强装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括数据增强装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于数据增强装置1的应用软件及各类数据，例如数据增强程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行数据增强程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在数据增强装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-14以及数据增强程序01的数据增强装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对数据增强装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，存储器11中存储有数据增强程序01；处理器12执行存储器11中存储的数据增强程序01时实现如下步骤：
获取原始图片。
在本实施例中，所述原始图片来自于训练集中的图片，对于训练集中的每张图片，都可以执行数据增加方法，得到训练集中的每张训练图片对应的多种样式的图片，从而增加训练数据量，提高训练模型的准确性。
对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集。
在一实施例中，其中所述第一处理操作包括以下至少一种：模糊处理，噪声处理。
在一具体实现中，所述对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集包括：
分别使用不同的窗口尺寸对原始图片进行均值模糊处理，得到各个窗口尺寸对应的图片，将各个窗口尺寸对应的图片与原始图片进行合并，得到第一合并图片集；
对第一合并图片集中各个图片进行高斯模糊处理，得到第一合并图片集中各个图片对应的高斯模糊处理的图片，并将第一合并图片集中各个图片对应的高斯模糊处理的图片与第一合并图片集合并得到第二合并图片集；
对第二合并图片集中各个图片进行高斯噪声处理，得到第二合并图片集中各个图片对应的高斯噪声处理的图片，并将第二合并图片集中各个图片对应的高斯噪声处理的图片与第二合并图片集合并得到第一扩充图片集。
其中分别使用不同的窗口尺寸对原始图片进行均值模糊处理，得到各个窗口尺寸对应的图片，使用不同的窗口尺寸值来得到不同的图片，，从而实现数据增强。
对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集。
在一实施例中，其中第二处理操作包括以下至少一种：移动操作、旋转操作、填充操作。
在一具体实现中，所述对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集包括：
对第一扩充图片集中的各个图片进行移动处理，得到第一扩充图片集中的各个图片对应的移动图片，将第一扩充图片集中的各个图片对应的移动图片与第一扩充图片集中的各个图片进行合并，得到第三合并图片集；
对第三合并图片集中各个图片旋转预设角度，得到第三合并图片集中各个图片对应的旋转后的图片，将第三合并图片集中各个图片对应的旋转后的图片与第三合并图片集合并，得到第四合并图片集；
对第四合并图片集进行填充处理，得到第二扩充图片集。
其中本实施例中在图像旋转之前，执行坐标平移操作，可以避免信息的丢失。图像旋转之后，会出现许多空洞点。对这些空洞点必须进行填充处理，否则画面效果不好，一般也称这种操作为插值处理。
具体地，对所述移动操作包括对图片进行水平方向和垂直方向移动处理。其中水平方向和垂直方向移动是指在x坐标和y坐标上分别随机选择一个值(这个值可以是正数也可以是负数，符号表示移动方向)，然后分别对x坐标和y坐标进行平移。这种操作分为两种，一种是图像大小不改变，这样最后原始图片中会有一部分不在图像中。还有一种就是图像大小改变。这样可以保全原始图片的内容。其公式如下：
其中矩阵[x0 y0 1]T为原始图片坐标，[x y 1]T为平移过后的坐标。设置不同的参数dx和dy来对图像进行水平方向和垂直方向移动。将上述增强数据和该步处理后的图片合并，从而实现数据增强。
在一实施例中，其中第二处理操作还包括缩放操作及剪裁操作，所述对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集还包括：
对第四合并图片集中各个图片进行随机缩放操作，得到第四合并图片集中各个图片对应的缩放后的图片，将第四合并图片集中各个图片对应的缩放后的图片与第四合并图片集合并，得到第五合并图片集；
对第五合并图片集中各个图片进行随机剪裁操作，得到第五合并图片集中各个图片对应的剪裁后的图片，将第五合并图片集中各个图片对应的剪裁后的图片与第五合并图片集合并，得到第二扩充图片集。
对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集。
在一实施例中，其中第三处理操作包括以下至少一种：对比度处理操作、颜色处理操作；
在一具体实现中，所述对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集包括：
对第二扩充图片集中各个图片进行对比度变换操作，得到第二扩充图片集中各个图片对应的对比度变换后的图片，将第二扩充图片集中各个图片对应的对比度变换后的图片与第二扩充集中各个图片进行合并，得到第六合并图片集；
对第六合并图片集中各个图片进行颜色变换操作，得到第六合并图片集中各个图片对应的颜色变换后的图片，将第六合并图片集中各个图片对应的颜色变换后的图片与第六合并图片集合并，得到第三扩充图片集。
将所述第三扩充图片集作为增强后的图片集。
本发明获取原始图片；对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集，其中所述第一处理操作包括以下至少一种：模糊处理，噪声处理；对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集，其中第二处理操作包括以下至少一种：移动操作、旋转操作、填充操作；对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集，其中第三处理操作包括以下至少一种：对比度处理操作、颜色处理操作；将所述第三扩充图片集作为增强后的图片集。本案采用模糊、高斯噪声、水平方向和垂直方向移动、旋转图片、随机缩放、对比度变换、颜色变换、随机裁剪这八种数据增强的方法可以在一定程度上增加数据的多样性，将他们混合使用(例如随机选取任意一种或几种方法、按照不同的顺序将若干种方法叠加使用等)能够生成各式各样的输出。，增强了数据，使得训练样本更为充分。
可选地，在其他实施例中，数据增强程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述数据增强程序在数据增强装置中的执行过程。
例如，参照图3所示，为本发明数据增强装置一实施例中的数据增强程序的程序模块示意图，该实施例中，数据增强程序可以被分割为获取模块10、处理模块20及确定模块30，示例性地：
获取模块10获取原始图片；
处理模块20对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集，其中所述第一处理操作包括以下至少一种：模糊处理，噪声处理；
所述处理模块20对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集，其中第二处理操作包括以下至少一种：移动操作、旋转操作、填充操作；
所述处理模块20对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集，其中第三处理操作包括以下至少一种：对比度处理操作、颜色处理操作；
确定模块30将所述第三扩充图片集作为增强后的图片集。
上述获取模块10、处理模块20及确定模块30等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据增强程序，所述数据增强程序可被一个或多个处理器执行，以实现如下操作：
获取原始图片；
对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集，其中所述第一处理操作包括以下至少一种：模糊处理，噪声处理；
对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集，其中第二处理操作包括以下至少一种：移动操作、旋转操作、填充操作；
对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集，其中第三处理操作包括以下至少一种：对比度处理操作、颜色处理操作；
将所述第三扩充图片集作为增强后的图片集。
本发明计算机可读存储介质具体实施方式与上述数据增强装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种数据增强方法，其特征在于，所述方法包括：
获取原始图片；
对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集，包括：分别使用不同的窗口尺寸对原始图片进行均值模糊处理，得到各个窗口尺寸对应的图片，将各个窗口尺寸对应的图片与原始图片进行合并，得到第一合并图片集，对第一合并图片集中各个图片进行高斯模糊处理，得到第一合并图片集中各个图片对应的高斯模糊处理的图片，并将第一合并图片集中各个图片对应的高斯模糊处理的图片与第一合并图片集合并得到第二合并图片集，对第二合并图片集中各个图片进行高斯噪声处理，得到第二合并图片集中各个图片对应的高斯噪声处理的图片，并将第二合并图片集中各个图片对应的高斯噪声处理的图片与第二合并图片集合并得到第一扩充图片集，其中所述第一处理操作包括以下至少一种：模糊处理，噪声处理；
对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，对第一扩充图片集中的各个图片进行移动处理，得到第一扩充图片集中的各个图片对应的移动图片，将第一扩充图片集中的各个图片对应的移动图片与第一扩充图片集中的各个图片进行合并，得到第三合并图片集，对第三合并图片集中各个图片旋转预设角度，得到第三合并图片集中各个图片对应的旋转后的图片，将第三合并图片集中各个图片对应的旋转后的图片与第三合并图片集合并，得到第四合并图片集，对第四合并图片集进行填充处理，得到第二扩充图片集，其中第二处理操作包括以下至少一种：移动操作、旋转操作、填充操作、缩放操作及剪裁操作，所述移动操作包括对图片进行水平方向和垂直方向移动处理；
对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集，其中第三处理操作包括以下至少一种：对比度处理操作、颜色处理操作；
将所述第三扩充图片集作为增强后的图片集。
2.如权利要求1所述的数据增强方法，其特征在于，其中第二处理操作还包括缩放操作及剪裁操作，所述对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，并将处理后的第一扩充图片集与第一扩充图片集合并得到第二扩充图片集还包括：
对第四合并图片集中各个图片进行随机缩放操作，得到第四合并图片集中各个图片对应的缩放后的图片，将第四合并图片集中各个图片对应的缩放后的图片与第四合并图片集合并，得到第五合并图片集；
对第五合并图片集中各个图片进行随机剪裁操作，得到第五合并图片集中各个图片对应的剪裁后的图片，将第五合并图片集中各个图片对应的剪裁后的图片与第五合并图片集合并，得到第二扩充图片集。
3.如权利要求1所述的数据增强方法，其特征在于，所述对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集包括：
对第二扩充图片集中各个图片进行对比度变换操作，得到第二扩充图片集中各个图片对应的对比度变换后的图片，将第二扩充图片集中各个图片对应的对比度变换后的图片与第二扩充集中各个图片进行合并，得到第六合并图片集；
对第六合并图片集中各个图片进行颜色变换操作，得到第六合并图片集中各个图片对应的颜色变换后的图片，将第六合并图片集中各个图片对应的颜色变换后的图片与第六合并图片集合并，得到第三扩充图片集。
4.一种数据增强装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的数据增强程序，所述数据增强程序被所述处理器执行时实现如下步骤：
获取原始图片；
对原始图片执行第一处理操作，得到第一处理图片，并将第一处理图片与所述原始图片合并得到第一扩充图片集，包括：分别使用不同的窗口尺寸对原始图片进行均值模糊处理，得到各个窗口尺寸对应的图片，将各个窗口尺寸对应的图片与原始图片进行合并，得到第一合并图片集，对第一合并图片集中各个图片进行高斯模糊处理，得到第一合并图片集中各个图片对应的高斯模糊处理的图片，并将第一合并图片集中各个图片对应的高斯模糊处理的图片与第一合并图片集合并得到第二合并图片集，对第二合并图片集中各个图片进行高斯噪声处理，得到第二合并图片集中各个图片对应的高斯噪声处理的图片，并将第二合并图片集中各个图片对应的高斯噪声处理的图片与第二合并图片集合并得到第一扩充图片集，其中所述第一处理操作包括以下至少一种：模糊处理，噪声处理；
对第一扩充图片集执行第二处理操作，得到处理后的第一扩充图片集，对第一扩充图片集中的各个图片进行移动处理，得到第一扩充图片集中的各个图片对应的移动图片，将第一扩充图片集中的各个图片对应的移动图片与第一扩充图片集中的各个图片进行合并，得到第三合并图片集，对第三合并图片集中各个图片旋转预设角度，得到第三合并图片集中各个图片对应的旋转后的图片，将第三合并图片集中各个图片对应的旋转后的图片与第三合并图片集合并，得到第四合并图片集，对第四合并图片集进行填充处理，得到第二扩充图片集，其中第二处理操作包括以下至少一种：移动操作、旋转操作、填充操作、缩放操作及剪裁操作，所述移动操作包括对图片进行水平方向和垂直方向移动处理；
对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集，其中第三处理操作包括以下至少一种：对比度处理操作、颜色处理操作；
将所述第三扩充图片集作为增强后的图片集。
5.如权利要求4所述的数据增强装置，其特征在于，所述对第二扩充图片集执行第三处理操作，得到处理后的第二扩充图片集，并将处理后的第二扩充图片集与第二扩充图片集合并得到第三扩充图片集包括：
对第二扩充图片集中各个图片进行对比度变换操作，得到第二扩充图片集中各个图片对应的对比度变换后的图片，将第二扩充图片集中各个图片对应的对比度变换后的图片与第二扩充集中各个图片进行合并，得到第六合并图片集；
对第六合并图片集中各个图片进行颜色变换操作，得到第六合并图片集中各个图片对应的颜色变换后的图片，将第六合并图片集中各个图片对应的颜色变换后的图片与第六合并图片集合并，得到第三扩充图片集。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据增强程序，所述数据增强程序可被一个或者多个处理器执行，以实现如权利要求1至3中任一项所述的数据增强方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910416659.8A CN110287988B (zh) | 2019-05-16 | 2019-05-16 | 数据增强方法、装置及计算机可读存储介质 |
| PCT/CN2019/102195 WO2020228171A1 (zh) | 2019-05-16 | 2019-08-23 | 数据增强方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910416659.8A CN110287988B (zh) | 2019-05-16 | 2019-05-16 | 数据增强方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110287988A CN110287988A (zh) | 2019-09-27 |
| CN110287988B true CN110287988B (zh) | 2024-03-22 |
Family
ID=68002361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910416659.8A Active CN110287988B (zh) | 2019-05-16 | 2019-05-16 | 数据增强方法、装置及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110287988B (zh) |
| WO (1) | WO2020228171A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860387B (zh) * | 2020-07-27 | 2023-08-25 | 平安科技（深圳）有限公司 | 扩充数据的方法、装置和计算机设备 |
| CN113807335B (zh) * | 2021-01-05 | 2024-05-24 | 北京沃东天骏信息技术有限公司 | 一种进行数据增强的方法、装置和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08190626A (ja) * | 1995-01-12 | 1996-07-23 | Hitachi Ltd | データ処理装置 |
| CN109325532A (zh) * | 2018-09-18 | 2019-02-12 | 成都网阔信息技术股份有限公司 | 一种小样本下扩充数据集的图像处理方法 |
| CN109583302A (zh) * | 2018-10-29 | 2019-04-05 | 杭州电子科技大学 | 一种移动机器人可行区域训练数据集扩充方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060013503A1 (en) * | 2004-07-16 | 2006-01-19 | Samsung Electronics Co., Ltd. | Methods of preventing noise boost in image contrast enhancement |
| CN101615245A (zh) * | 2009-07-30 | 2009-12-30 | 上海交通大学 | 基于avr和增强lbp的表情识别方法 |
| US9063954B2 (en) * | 2012-10-15 | 2015-06-23 | Google Inc. | Near duplicate images |
| US9412162B2 (en) * | 2013-08-21 | 2016-08-09 | Sectra Ab | Methods, systems and circuits for generating magnification-dependent images suitable for whole slide images |
| CN107133943B (zh) * | 2017-04-26 | 2018-07-06 | 贵州电网有限责任公司输电运行检修分公司 | 一种防震锤缺陷检测的视觉检测方法 |
| CN108388833A (zh) * | 2018-01-15 | 2018-08-10 | 阿里巴巴集团控股有限公司 | 一种图像识别方法、装置及设备 |
-
2019
- 2019-05-16 CN CN201910416659.8A patent/CN110287988B/zh active Active
- 2019-08-23 WO PCT/CN2019/102195 patent/WO2020228171A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08190626A (ja) * | 1995-01-12 | 1996-07-23 | Hitachi Ltd | データ処理装置 |
| CN109325532A (zh) * | 2018-09-18 | 2019-02-12 | 成都网阔信息技术股份有限公司 | 一种小样本下扩充数据集的图像处理方法 |
| CN109583302A (zh) * | 2018-10-29 | 2019-04-05 | 杭州电子科技大学 | 一种移动机器人可行区域训练数据集扩充方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020228171A1 (zh) | 2020-11-19 |
| CN110287988A (zh) | 2019-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476227B (zh) | 基于ocr的目标字段识别方法、装置及存储介质 | |
| CN108229470B (zh) | 文字图像处理方法、装置、设备及存储介质 | |
| CN110738203B (zh) | 字段结构化输出方法、装置及计算机可读存储介质 | |
| CN111160434B (zh) | 目标检测模型的训练方法、装置及计算机可读存储介质 | |
| US9104261B2 (en) | Method and apparatus for notification of input environment | |
| CN110853047A (zh) | 智能图像分割及分类方法、装置及计算机可读存储介质 | |
| CN111325104B (zh) | 文本识别方法、装置及存储介质 | |
| CN110321788B (zh) | 训练数据处理方法、装置、设备及计算机可读存储介质 | |
| CN110675940A (zh) | 病理图像标注方法、装置、计算机设备及存储介质 | |
| CN109035370B (zh) | 一种图片标注方法与系统 | |
| WO2021147219A1 (zh) | 基于图像的文本识别方法、装置、电子设备及存储介质 | |
| CN110008997B (zh) | 图像纹理相似度识别方法、装置及计算机可读存储介质 | |
| CN109685059B (zh) | 文字图像标注方法、装置及计算机可读存储介质 | |
| CN110942004A (zh) | 基于神经网络模型的手写识别方法、装置及电子设备 | |
| CN110197238B (zh) | 一种字体类别的识别方法、系统及终端设备 | |
| CN110287988B (zh) | 数据增强方法、装置及计算机可读存储介质 | |
| CN112686243A (zh) | 智能识别图片文字的方法、装置、计算机设备及存储介质 | |
| CN111709414A (zh) | Ar设备及其文字识别方法、装置和计算机可读存储介质 | |
| CN110751146A (zh) | 文本区域检测方法、装置、电子终端和计算机可读存储介质 | |
| CN110705547B (zh) | 图像内文字识别方法、装置及计算机可读存储介质 | |
| CN111553334A (zh) | 问卷图像识别方法、电子装置及存储介质 | |
| CN105551044B (zh) | 一种图片对比方法和装置 | |
| CN110717060B (zh) | 图像mask的过滤方法、装置及存储介质 | |
| CN110969641A (zh) | 图像处理方法和装置 | |
| CN110929561B (zh) | 表格文本智能过滤方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |