CN111932479A - 数据增强方法、系统以及终端 - Google Patents
数据增强方法、系统以及终端 Download PDFInfo
- Publication number
- CN111932479A CN111932479A CN202010796180.4A CN202010796180A CN111932479A CN 111932479 A CN111932479 A CN 111932479A CN 202010796180 A CN202010796180 A CN 202010796180A CN 111932479 A CN111932479 A CN 111932479A
- Authority
- CN
- China
- Prior art keywords
- enhancement
- local
- enhanced
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012216 screening Methods 0.000 claims abstract description 32
- 230000015654 memory Effects 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 abstract description 18
- 230000007547 defect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明的数据增强方法、系统以及终端，包括：输入待增强图像；筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域；基于数据打乱标准，分别对各局部增强区域中的一或多个像素进行数据打乱，获得对应于所述待增强图像的增强样本。解决了现有技术中数据增强方式不能满足现如今逐渐对于模型的大量输入数据的高性能的训练的需求，以及数据增强工作复杂进而导致工作效率不高的问题。本发明通过对训练样本中满足一定条件的区域内的像素在一定范围内进行位置上的扰动，来获得增强样本，进而提高了模型的性能与泛化能力以及增加了工作效率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
Description
技术领域
本发明涉及计算机视觉领域，特别是涉及一种数据增强方法、系统以及终端。
背景技术
机器学习的算法离不开数据来对模型进行训练。近些年随着深度学习技术的不断发展，模型变得越来越复杂，参数量也不断增加，对训练数据量的要求越来越大。人工标注费时费力。这是时通过数据增强的方法就可以生成更多的训练数据，一定程度上减少模型发生过拟合的可能，提升模型的准确性和泛化性能。到现在为止，已经存在多种对数据进行增强的方法。具体的，如在计算机视觉领域，对图像的增强的方法比如镜像、随机旋转、滤波等，但是以上的数据增强方式不能满足现如今逐渐对于模型的大量输入数据的高性能的训练的需求，以及数据增强工作复杂进而导致工作效率不高。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种数据增强方法、系统以及终端，用于解决现有技术中数据增强方式不能满足现如今逐渐对于模型的大量输入数据的高性能的训练的需求，以及数据增强工作复杂进而导致工作效率不高的问题。
为实现上述目的及其他相关目的，本发明提供一种数据增强方法，包括：输入待增强图像；筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域；基于数据打乱标准，分别对各局部增强区域中的一或多个像素进行数据打乱，获得对应于所述待增强图像的增强样本库。
于本发明的一实施例中，所述筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域的方式包括：基于筛选像素条件筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域；其中，所述筛选像素条件与所述待增强图像的边缘信息相关。
于本发明的一实施例中，所述边缘信息包括：像素梯度位置边缘信息、语义边缘信息以及像素块分割边缘信息中的一种或多种。
于本发明的一实施例中，所述若筛选成功，所述增强区域选择条件包括：图像分辨率选择条件和/或图像纹理丰富程度选择条件。
于本发明的一实施例中，所述数据打乱标准包括：打乱区域位置设定标准和/或打乱模式标准。
于本发明的一实施例中，所述打乱区域位置设定标准包括：由像素网格位置确定打乱范围确定的标准、设定打乱区域是否重叠的标准以及由所述局部像素区域的边缘位置确定区域的标准中的一种或多种。
于本发明的一实施例中，所述打乱模式标准包括：位置随机交换模式和/或像素值随机替换模式。
于本发明的一实施例中，所述各属性包括：基于一或多个分类规则分类的子类属性。
为实现上述目的及其他相关目的，本发明提供一种数据增强系统，所述系统包括：输入模块，用于输入待增强图像；局部增强区域模块，连接所述输入模块，用于筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域；数据打乱模块，连接所述局部增强区域模块，用于基于数据打乱标准，分别对各局部增强区域中的一或多个像素进行数据打乱，获得对应于所述待增强图像的增强样本。
于本发明的一实施例中，所述筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域的方式包括：基于筛选像素条件筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域；其中，所述筛选像素条件与所述待增强图像的边缘信息的像素梯度位置边缘信息、语义边缘信息以及像素块分割边缘信息中的一种或多种相关。
为实现上述目的及其他相关目的，本发明提供一种数据增强终端，包括：存储器，用于存储计算机程序；处理器，用于执行所述的数据增强方法。
如上所述，本发明的一种数据增强方法、系统以及终端，具有以下有益效果：本发明通过对训练样本中满足一定条件的区域内的像素在一定范围内进行位置上的扰动，来获得增强样本，进而提高了模型的性能与泛化能力以及增加了工作效率。
附图说明
图1显示为本发明一实施例中的数据增强方法的流程示意图。
图2显示为本发明一实施例中的位置随机交换模式示意图。
图3显示为本发明一实施例中的像素值随机替换模式示意图。
图4显示为本发明一实施例中的数据增强方法的结构示意图。
图5显示为本发明一实施例中的数据增强终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本发明的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本发明的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本发明。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在通篇说明书中，当说某部分与另一部分“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素，排除在外，而是意味着可以还包括其它构成要素。
其中提到的第一、第二及第三等术语是为了说明多样的部分、成份、区域、层及/或段而使用的，但并非限定于此。这些术语只用于把某部分、成份、区域、层或段区别于其它部分、成份、区域、层或段。因此，以下叙述的第一部分、成份、区域、层或段在不超出本发明范围的范围内，可以言及到第二部分、成份、区域、层或段。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
本发明实施例中提供一种数据增强方法，解决了现有技术中数据增强方式不能满足现如今逐渐对于模型的大量输入数据的高性能的训练的需求，以及数据增强工作复杂进而导致工作效率不高的问题。本发明通过对训练样本中满足一定条件的区域内的像素在一定范围内进行位置上的扰动，来获得增强样本，进而提高了模型的性能与泛化能力以及增加了工作效率。
下面以附图为参考，针对本发明的实施例进行详细说明，以便本发明所述技术领域的技术人员能够容易地实施。本发明可以以多种不同形态体现，并不限于此处说明的实施例。
所述数据增强方法包括但不限于应用在目标跟踪、目标检测和目标分割视觉任务的模型训练过程中，因此可以在多种任务上被用来当作数据增强方案。
如图1所示，展示本发明实施例中的数据增强方法的流程示意图。
所述方法包括：
步骤S11：输入待增强图像。
可选的，所述待增强图像可以为原输入图像也可以为已经经过数据增强的图像，例如经过过翻转、滤波后的图像。
可选的，所述待增强图像为在深度学习中神经网络提取到的特征图。
步骤S12：筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域。
可选的，根据不同的样本训练任务筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域。例如，需要训练语义模型的训练样本时，则需要筛选所述待增强图像中处于语义值边缘的一或多个局部像素。
可选的，基于筛选像素条件筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域；其中，所述筛选像素条件与所述待增强图像的边缘信息相关。
具体的，基于筛选与所述待增强图像的边缘信息相关像素条件筛选所述待增强图像中的一或多个局部像素，根据预设的增强区域选择条件获得筛选出的所述局部像素周边的增强区域，其中，所述增强区域的范围及大小与预设的增强区域选择条件。
可选的，所述筛选像素条件可以为自行输入设定也可以通过建立筛选像素算法，根据该算法自动获得局部像素，具体得方式在本申请中不作限定。
可选的，所述边缘信息包括：像素梯度位置边缘信息、用于语义模型训练的语义边缘信息以及像素块分割边缘信息中的一种或多种。
其中，所述像素梯度位置边缘信息包括但不限于表示像素值梯度位置的边缘信息和/或像素点疏密位置的边缘信息。所述像素块分割边缘信息包括但不限于表示像素块值梯度位置的边缘信息和/或像素块疏密位置的边缘信息。
可选的，所述增强区域选择条件与待增强图像的具体信息相关，通过调节该条件决定局部增强区域的大小和形状。
可选的，所述增强区域选择条件包括：图像分辨率选择条件和/或图像纹理丰富程度选择条件。
可选的，所述增强区域选择条件可以为自行输入设定也可以通过建立增强区域选择算法，根据该算法自动获得局部像素的局部增强区域，具体得方式在本申请中不作限定。
步骤S13：基于数据打乱标准，分别对各局部增强区域中的一或多个像素进行数据打乱，获得对应于所述待增强图像的增强样本。
可选的，可以以像素为单位进行打乱，也可以以像素块为单位进行打乱。
可选的，所述数据打乱标准包括：打乱区域位置设定标准和/或打乱模式标准。
具体的，所述打乱区域位置设定决定在所述局部增强区域中局部像素的数量以及位置；所述打乱模式与具体的任务相关，例如，若任务需要打乱的力度大一些，则选择打乱力度大的打乱模式，相反则选择打乱力度小的打乱模式。
可选的，所述打乱区域位置设定标准包括：由像素网格位置确定打乱范围确定的标准、设定打乱区域是否重叠的标准以及由所述局部像素区域的边缘位置确定区域的标准中的一种或多种。
具体的，所述由像素网格位置确定打乱范围确定的标准是由对需要打乱的增强区域进行网格位置设定，或者在进行数据增强流程前对待增强图像进行像素网格位置预设定，根据设定需要打乱的范围选取打乱区域的标准。例如，扰乱区域大小依次设置为2ⅹ2、3ⅹ3、4ⅹ4。所述设定打乱区域是否重叠的标准包括有相互重叠或者没有相互重叠的标准。所述由所述局部像素区域的边缘位置确定区域的标准根据边缘位置来确定打乱区域。
可选的，所述打乱模式标准可以根据具体任务设计具体的打乱模式。
可选的，所述打乱模式标准包括：位置随机交换模式和/或像素值随机替换模式。具体的，所述位置随机交换模式包括：对各局部增强区域内的像素只是位置打乱，但所有像素值都保留；所述像素值随机替换模式包括：对各局部增强区域内的某个位置像素的值用区域内其他位置像素的值替代，不保证所有像素值都能被保留。
举例来说，采用两种模式进行打乱的过程包括：
位置随机交换模式：如图2所示，图中的黑点和灰色点都代表待增强图像中的每个像素，获得与各局部像素分别对应的局部增强区域为边缘区域，最左边的图表示原图输入，竖线边缘区域。经过位置随机交换模式的增强后，边缘处的像素分布被打乱，如箭头右侧所示，但像素之间只是随机交换了位置，所有像素值都予以保留。
像素值随机替换模式：如图3所示，图中的黑点和灰色点都代表待增强图像中的每个像素，获得与各局部像素分别对应的局部增强区域为边缘区域，最左边的图表示原图输入，竖线边缘区域。为某一区域的像素值随机由其相邻区域的像素值替换的方式，经过位置随机交换模式的增强后，边缘处的像素分布被打乱，如箭头右侧所示，所以不能保证变换后所有像素值都仍然存在。
为了更好的解释所述数据增强方法，提供一实施例来对该方法的应用过程进行具体说明。
实施例1：一种应用在目标跟踪任务上的数据增强方法。
所述方法包括：
获取待跟踪视频序列的第一帧图片和接下来要跟踪目标的具体位置大小信息；
筛选所述图片边缘中的一或多个局部像素，并获得与各局部像素分别对应的边缘区域；
设定局部扰乱区域大小依次为2ⅹ2、3ⅹ3、4ⅹ4，区域模式为不重叠，扰乱模式选取为局部区域内像素位置随机互换，即所有像素值都予以保留；对边缘区域中的像素进行数据打乱，获得对应于所述待增强图像的增强样本，以输入跟踪模型进行跟踪器的初始化并在接下来的视频序列中对目标进行跟踪。
其中，跟踪器采用ECO和Super_DiMP，在GOT-10以及LaSOT数据集上分别进行了测试,获得跟踪指标比较比较列表，如表1所示。(EH_前缀代表使用了所述应用在目标跟踪任务上的数据增强方法)
表1跟踪指标比较
实施例2：一种应用在目标检测和目标分割任务上的数据增强方法。
所述方法包括：
获取待目标检测和目标分割视频序列的第一帧图片；
筛选所述图片边缘中的一或多个局部像素，并获得与各局部像素分别对应的边缘区域；
设定局部扰乱区域大小为2ⅹ2，区域模式为不重叠，扰乱模式选取为局部区域内像素位置随机互换；对边缘区域中的像素进行数据打乱，获得对应于所述待增强图像的增强样本；以输入目标检测以及目标分割模型对目标进行检测以及跟踪。
其中所述目标分割与检测模型采用Mask R-CNN(Backbone:ResNet+FPN)和PointRend，在COCO数据集上进行了测试,获得目标检测与分割指标比较列表，如表2所示。(EH_前缀代表使用了所述应用在目标检测和目标分割任务上的数据增强方法)
表2目标检测与分割指标比较
与上述实施例原理相似的是，本发明提供一种数据增强系统。
以下结合附图提供具体实施例：
如图4展示本发明实施例中的一种数据增强方法的系统的结构示意图。
所述系统包括：
输入模块41，用于输入待增强图像；
局部增强区域模块42，连接所述输入模块41，用于筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域；
数据打乱模块43，连接所述局部增强区域模块42，用于基于数据打乱标准，分别对各局部增强区域中的一或多个像素进行数据打乱，获得对应于所述待增强图像的增强样本。
可选的，所述输入模块41输入的待增强图像可以为原输入图像也可以为已经经过数据增强的图像，例如经过过翻转、滤波后的图像。
可选的，所述待增强图像为在深度学习中神经网络提取到的特征图。
可选的，所述局部增强区域模块42用于根据不同的样本训练任务筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域。例如，需要训练语义模型的训练样本时，则需要筛选所述待增强图像中处于语义值边缘的一或多个局部像素。
可选的，所述局部增强区域模块42用于基于筛选像素条件筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域；其中，所述筛选像素条件与所述待增强图像的边缘信息相关。
具体的，所述局部增强区域模块42用于基于筛选与所述待增强图像的边缘信息相关像素条件筛选所述待增强图像中的一或多个局部像素，根据预设的增强区域选择条件获得筛选出的所述局部像素周边的增强区域，其中，所述增强区域的范围及大小与预设的增强区域选择条件。所述边缘信息包括：像素梯度位置边缘信息、用于语义模型训练的语义边缘信息以及像素块分割边缘信息中的一种或多种。
其中，所述像素梯度位置边缘信息包括但不限于表示像素值梯度位置的边缘信息和/或像素点疏密位置的边缘信息。所述像素块分割边缘信息包括但不限于表示像素块值梯度位置的边缘信息和/或像素块疏密位置的边缘信息。
可选的，所述筛选像素条件可以为自行输入设定也可以通过建立筛选像素算法，根据该算法自动获得局部像素，具体得方式在本申请中不作限定。
可选的，所述增强区域选择条件与待增强图像的具体信息相关，通过调节该条件决定局部增强区域的大小和形状。
可选的，所述增强区域选择条件包括：图像分辨率选择条件和/或图像纹理丰富程度选择条件。
可选的，数据打乱模块43可以以像素为单位进行打乱，也可以以像素块为单位进行打乱。
可选的，所述数据打乱标准包括：打乱区域位置设定标准和/或打乱模式标准。
具体的，所述打乱区域位置设定决定数据打乱模块33在所述局部增强区域中局部像素的数量以及位置；所述打乱模式与具体的任务相关，例如，若任务需要打乱的力度大一些，则选择打乱力度大的打乱模式，相反则选择打乱力度小的打乱模式。
可选的，所述打乱区域位置设定标准包括：由像素网格位置确定打乱范围确定的标准、设定打乱区域是否重叠的标准以及由所述局部像素区域的边缘位置确定区域的标准中的一种或多种。
具体的，所述由像素网格位置确定打乱范围确定的标准是由对需要打乱的增强区域进行网格位置设定，或者在进行数据增强流程前对待增强图像进行像素网格位置预设定，根据设定需要打乱的范围选取打乱区域的标准。例如，扰乱区域大小依次设置为2ⅹ2、3ⅹ3、4ⅹ4。所述设定打乱区域是否重叠的标准包括有相互重叠或者没有相互重叠的标准。所述由所述局部像素区域的边缘位置确定区域的标准根据边缘位置来确定打乱区域。
可选的，所述打乱模式标准可以根据具体任务设计具体的打乱模式。
可选的，所述打乱模式标准包括：位置随机交换模式和/或像素值随机替换模式。具体的，所述位置随机交换模式包括：对各局部增强区域内的像素只是位置打乱，但所有像素值都保留；所述像素值随机替换模式包括：对各局部增强区域内的某个位置像素的值用区域内其他位置像素的值替代，不保证所有像素值都能被保留。
可选的，所述增强区域选择条件可以为自行输入设定也可以通过建立增强区域选择算法，根据该算法自动获得局部像素的局部增强区域，具体得方式在本申请中不作限定。
如图5展示本发明实施例中的数据增强终端50的结构示意图。
所述数据增强终端50包括：存储器51及处理器52所述存储器51用于存储计算机程序；所述处理器52运行计算机程序实现如图1所述的数据增强方法。
可选的，所述存储器51的数量均可以是一或多个，所述处理器52的数量均可以是一或多个，而图5中均以一个为例。
可选的，所述数据增强终端50中的处理器52会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器51中，并由处理器52来运行存储在第一存储器51中的应用程序，从而实现如图1所述数据增强方法中的各种功能。
可选的，所述存储器51，可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备；所述处理器52，可能包括但不限于中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的，所述处理器52可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明还提供计算机可读存储介质，存储有计算机程序，所述计算机程序运行时实现如图1所示的数据增强方法。所述计算机可读存储介质可包括，但不限于，软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品，也可以是已接入计算机设备使用的部件。
综上所述，本发明数据增强方法、系统以及终端，用于解决了现有技术中数据增强方式不能满足现如今逐渐对于模型的大量输入数据的高性能的训练的需求，以及数据增强工作复杂进而导致工作效率不高的问题。本发明通过对训练样本中满足一定条件的区域内的像素在一定范围内进行位置上的扰动，来获得增强样本，进而提高了模型的性能与泛化能力以及增加了工作效率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种数据增强方法，其特征在于，包括：
输入待增强图像；
筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域；
基于数据打乱标准，分别对各局部增强区域中的一或多个像素进行数据打乱，获得对应于所述待增强图像的增强样本。
2.根据权利要求1中所述的数据增强方法，其特征在于，所述筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域的方式包括：
基于筛选像素条件筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域；
其中，所述筛选像素条件与所述待增强图像的边缘信息相关。
3.根据权利要求1中所述的数据增强方法，其特征在于，所述边缘信息包括：像素梯度位置边缘信息、语义边缘信息以及像素块分割边缘信息中的一种或多种。
4.根据权利要求1中所述的数据增强方法，其特征在于，所述增强区域选择条件包括：图像分辨率选择条件和/或图像纹理丰富程度选择条件。
5.根据权利要求1中所述的数据增强方法，其特征在于，所述数据打乱标准包括：打乱区域位置设定标准和/或打乱模式标准。
6.根据权利要求1中所述的数据增强方法，其特征在于，所述打乱区域位置设定标准包括：由像素网格位置确定打乱范围确定的标准、设定打乱区域是否重叠的标准以及由所述局部像素区域的边缘位置确定区域的标准中的一种或多种。
7.根据权利要求1中所述的数据增强方法，其特征在于，所述打乱模式标准包括：位置随机交换模式和/或像素值随机替换模式。
8.一种数据增强系统，其特征在于，所述系统包括：
输入模块，用于输入待增强图像；
局部增强区域模块，连接所述输入模块，用于筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域；
数据打乱模块，连接所述局部增强区域模块，用于基于数据打乱标准，分别对各局部增强区域中的一或多个像素进行数据打乱，获得对应于所述待增强图像的增强样本。
9.根据权利要求1中所述的数据增强系统，其特征在于，所述筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域的方式包括：
基于筛选像素条件筛选所述待增强图像中的一或多个局部像素，以根据预设的增强区域选择条件获得与各局部像素分别对应的局部增强区域；
其中，所述筛选像素条件与所述待增强图像的边缘信息的像素梯度位置边缘信息、语义边缘信息以及像素块分割边缘信息中的一种或多种相关。
10.一种数据增强终端，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行如权利要求1至7任一项所述的数据增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010796180.4A CN111932479A (zh) | 2020-08-10 | 2020-08-10 | 数据增强方法、系统以及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010796180.4A CN111932479A (zh) | 2020-08-10 | 2020-08-10 | 数据增强方法、系统以及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111932479A true CN111932479A (zh) | 2020-11-13 |
Family
ID=73307871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010796180.4A Pending CN111932479A (zh) | 2020-08-10 | 2020-08-10 | 数据增强方法、系统以及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111932479A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686913A (zh) * | 2021-01-11 | 2021-04-20 | 天津大学 | 基于边界注意力一致性的目标边界检测和目标分割模型 |
| CN113256621A (zh) * | 2021-06-25 | 2021-08-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090228412A1 (en) * | 2008-03-07 | 2009-09-10 | Kddi Corporation | Re-learning method for support vector machine |
| CN101707708A (zh) * | 2009-11-06 | 2010-05-12 | 山东大学 | 一种基于一维小波变换的数字视频水印方法 |
| CN102804203A (zh) * | 2009-06-11 | 2012-11-28 | 惠普开发有限公司 | 对物理图像进行解码 |
| CN105303543A (zh) * | 2015-10-23 | 2016-02-03 | 努比亚技术有限公司 | 图像增强方法及移动终端 |
| CN107301647A (zh) * | 2017-06-02 | 2017-10-27 | 西安石油大学 | 基于灰色B型关联改进Prewitt的秦岭金丝猴图像边缘检测方法 |
| WO2018176938A1 (zh) * | 2017-04-01 | 2018-10-04 | 深圳市欢创科技有限公司 | 红外光斑中心点提取方法、装置和电子设备 |
| CN109035228A (zh) * | 2018-07-18 | 2018-12-18 | 中北大学 | 一种非等厚构件的x射线图像处理方法 |
| CN110889823A (zh) * | 2019-10-08 | 2020-03-17 | 山东天岳先进材料科技有限公司 | 一种SiC缺陷的检测方法和系统 |
| CN110929512A (zh) * | 2018-09-19 | 2020-03-27 | 北京京东尚科信息技术有限公司 | 一种数据增强方法和装置 |
| CN111275055A (zh) * | 2020-01-21 | 2020-06-12 | 北京市商汤科技开发有限公司 | 网络训练方法及装置、图像处理方法及装置 |
| CN111460733A (zh) * | 2020-04-01 | 2020-07-28 | 成都卡普数据服务有限责任公司 | 一种基于深度学习的山火预警方法 |
-
2020
- 2020-08-10 CN CN202010796180.4A patent/CN111932479A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090228412A1 (en) * | 2008-03-07 | 2009-09-10 | Kddi Corporation | Re-learning method for support vector machine |
| CN102804203A (zh) * | 2009-06-11 | 2012-11-28 | 惠普开发有限公司 | 对物理图像进行解码 |
| CN101707708A (zh) * | 2009-11-06 | 2010-05-12 | 山东大学 | 一种基于一维小波变换的数字视频水印方法 |
| CN105303543A (zh) * | 2015-10-23 | 2016-02-03 | 努比亚技术有限公司 | 图像增强方法及移动终端 |
| WO2018176938A1 (zh) * | 2017-04-01 | 2018-10-04 | 深圳市欢创科技有限公司 | 红外光斑中心点提取方法、装置和电子设备 |
| CN107301647A (zh) * | 2017-06-02 | 2017-10-27 | 西安石油大学 | 基于灰色B型关联改进Prewitt的秦岭金丝猴图像边缘检测方法 |
| CN109035228A (zh) * | 2018-07-18 | 2018-12-18 | 中北大学 | 一种非等厚构件的x射线图像处理方法 |
| CN110929512A (zh) * | 2018-09-19 | 2020-03-27 | 北京京东尚科信息技术有限公司 | 一种数据增强方法和装置 |
| CN110889823A (zh) * | 2019-10-08 | 2020-03-17 | 山东天岳先进材料科技有限公司 | 一种SiC缺陷的检测方法和系统 |
| CN111275055A (zh) * | 2020-01-21 | 2020-06-12 | 北京市商汤科技开发有限公司 | 网络训练方法及装置、图像处理方法及装置 |
| CN111460733A (zh) * | 2020-04-01 | 2020-07-28 | 成都卡普数据服务有限责任公司 | 一种基于深度学习的山火预警方法 |
Non-Patent Citations (5)
| Title |
|---|
| 吴小博;刘荻;: "基于像素-位水平联合扩散的图像加密算法", 计算机工程与设计, no. 012 * |
| 吴芳，芮国胜: ""一种用于版权认证的数字图像水印算法"", 《海军航空工程学院学报》, vol. 20, no. 4, pages 429 - 472 * |
| 徐牧;王雪松;肖顺平;: "基于改善极化相似性的极化SAR目标增强新方法", 电子与信息学报, no. 05 * |
| 徐牧;肖顺平;王雪松;: "一种基于样本筛选的极化SAR图像目标对比增强新方法", 中国图象图形学报, no. 11 * |
| 杨福才;杨德东;毛宁;李雪晴: "基于稀疏编码直方图的稳健红外目标跟踪", 光学学报, no. 011 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686913A (zh) * | 2021-01-11 | 2021-04-20 | 天津大学 | 基于边界注意力一致性的目标边界检测和目标分割模型 |
| CN113256621A (zh) * | 2021-06-25 | 2021-08-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN113256621B (zh) * | 2021-06-25 | 2021-11-02 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109389129B (zh) | 一种图像处理方法、电子设备及存储介质 | |
| CN111612781B (zh) | 一种屏幕缺陷检测方法、装置及头戴显示设备 | |
| US20210118144A1 (en) | Image processing method, electronic device, and storage medium | |
| JP5854802B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
| CN107945111B (zh) | 一种基于surf特征提取结合cs-lbp描述符的图像拼接方法 | |
| CN108830319B (zh) | 一种图像分类方法和装置 | |
| CN111932479A (zh) | 数据增强方法、系统以及终端 | |
| US20140153817A1 (en) | Patch Size Adaptation for Image Enhancement | |
| US20160027152A1 (en) | Scalable Massive Parallelization of Overlapping Patch Aggregation | |
| Xu et al. | CUR transformer: A convolutional unbiased regional transformer for image denoising | |
| CN113506305A (zh) | 三维点云数据的图像增强方法、语义分割方法及装置 | |
| CN117058554A (zh) | 电力设备目标检测方法、模型训练方法和装置 | |
| CN115880362B (zh) | 码区定位方法、装置、计算机设备及计算机可读存储介质 | |
| Svensson | Aspects on the reverse fuzzy distance transform | |
| Han et al. | Recognition and segmentation of complex texture images based on superpixel algorithm and deep learning | |
| Zhou et al. | Unsupervised saliency detection via knn mechanism and object-biased prior | |
| CN108389162B (zh) | 一种基于自适应邻域形状的图像边缘保持滤波方法 | |
| Chen et al. | Candidate region acquisition optimization algorithm based on multi-granularity data enhancement | |
| CN115294235A (zh) | 基于位图的图形填充方法、终端以及存储介质 | |
| CN115719314A (zh) | 一种去拖影方法、去拖影装置及电子设备 | |
| CN114550062A (zh) | 图像中运动对象的确定方法、装置、电子设备和存储介质 | |
| CN114627456A (zh) | 一种票据文本信息检测方法、装置及系统 | |
| CN111739025A (zh) | 一种图像处理方法、装置、终端及存储介质 | |
| CN114581448B (zh) | 图像检测方法、装置、终端设备以及存储介质 | |
| CN113011441B (zh) | 一种目标检测方法、系统、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |