CN112561881B - 基于评价模型的红外图像自适应数据增强方法 - Google Patents
基于评价模型的红外图像自适应数据增强方法 Download PDFInfo
- Publication number
- CN112561881B CN112561881B CN202011489331.8A CN202011489331A CN112561881B CN 112561881 B CN112561881 B CN 112561881B CN 202011489331 A CN202011489331 A CN 202011489331A CN 112561881 B CN112561881 B CN 112561881B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- variable
- enhancement
- foreground image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000013210 evaluation model Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000011156 evaluation Methods 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000009466 transformation Effects 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000003491 array Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000005530 etching Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 238000000926 separation method Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001595 contractor effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Biology (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于评价模型的红外图像自适应数据增强方法，方法包括：建立和训练目标检测模型，并根据模型准确度计算得到基准评价值；建立数据增强评价模型；依次对红外图像样本进行前景背景分离、根据调整变量值后的样本增强方法处理前景图像、背景与前景叠加、将叠加图像填入阵列得到红外图像增强样本；将红外图像增强样本输入目标检测模型，并计算新评价值；以样本增强方法的变量和新评价值作为输入数据增强评价模型进行训练；判断输出是否满预设条件，满足结束迭代，不满足继续迭代；将待增强红外图像按最优值对应方法进行处理，得到增强后图像。采用本发明增强后的图像进行目标检测，可以防止训练过拟合。
Description
技术领域
本发明涉及图像处理技术，尤其涉及一种基于评价模型的红外图像自适应数据增强方法。
背景技术
在实际模型训练时，经常会遇到数据不足的情况，当遇到一个任务时，目前的数据只有几百，而现有最先进的神经网络都是使用成千上万的数据集，这些网络通常需要大量数据才能避免过度拟合，成功的模型数以百万计的参数除了对模型的优化措施外，更加关注模型相关的数据，模型参数数量与数据集数量是呈正比的，现实存在无法有效获得大量符合要去的数据集，数据增强是防止神经网络模型训练过拟合的重要手段，对于小样本数据在深度学习中训练难的问题。
发明内容
发明目的：本发明为解决图像数据量小、种类单一、使得神经网络模型训练易过拟合的问题，提出一种基于评价模型的红外图像自适应数据增强方法，该方法计算复杂度低且易于工程上实现。
技术方案：本发明所述的基于评价模型的红外图像自适应数据增强方法包括：
(1)将若干已知检测目标的红外图像样本划分为训练集和测试集，采用训练集训练yolov4网络，并将训练好的yolov4网络作为目标检测模型，再使用测试集测试目标检测模型，根据模型的准确度计算得到评价值，作为基准评价值；
(2)建立以样本增强方法的变量为输入、以数据增强评价值为输出的BP神经网络作为数据增强评价模型；
(3)获取一个红外图像样本，并采用分水岭算法从红外图像样本中提取前景图像和背景图像；
(4)基于上次样本增强方法的变量值采用控制变量法调整变量值，并根据调整变量值后的样本增强方法处理前景图像，得到增强后的前景图像，其中，样本增强方法的变量的初始值为0向量；
(5)计算背景图像与步骤(4)得到的前景图像的分辨率差异，根据分辨率差异以预设比例进行随机叠加，生成叠加图像；
(6)随机生成多尺度随机阵列，将叠加图像随机填入阵列中进行拼接，得到红外图像增强样本；
(7)将红外图像增强样本输入目标检测模型，并根据目标检测模的输出的准确度计算得到一个新的评价值；
(8)以步骤(4)调整后的样本增强方法的变量和步骤(7)得到的新的评价值作为一个训练样本，输入数据增强评价模型进行训练，通过BP反向传播方法调整数据增强评价模型参数；
(9)判断调整后数据增强评价模型的损失L＝||yeva-y||2是否小于预设阈值，yeva为数据增强评价模型实际输出的评价值，y表示基准评价值，如果小于则停止迭代，将此时样本增强方法的变量作为最终样本增强方法变量最优值，并执行步骤(10)，如果不小于则返回执行步骤(3)～(8)；
(10)将待增强红外图像按照样本增强方法变量最优值对应的增强方法进行处理，得到数据增强后的图像。
进一步的，步骤(1)具体包括：
(1-1)获取若干已知检测目标的红外图像样本，划分为训练集和测试集；
(1-2)采用训练集训练yolov4网络，将训练好的yolov4网络作为目标检测模型；
(1-3)使用测试集测试目标检测模型，根据测试的准确度按照下式计算得到基准评价值：
式中，PJ为基准评价值，QR为模型的准确度与召回率曲线的面积，AP()表示求平均值，q表示每个准确度值乘以召回率变化情况的积分。
进一步的，步骤(2)具体包括：
建立以样本增强方法的变量为输入的BP神经网络yeva＝w·x+b，作为数据增强评价模型，BP神经网络中以relu6做为激活函数，yeva为数据增强评价模型的评价值，w、b为模型参数，w为多层感知机权重，b为偏移量，x为样本增强方法的变量所形成的向量，具体为红外图像加噪、空间变换、信息檫除和变换四种样本增强方法的变量所形成的向量。
进一步的，步骤(3)具体包括：
(3-1)获取一个红外图像样本，通过开运算对待增强红外图像进行去噪；
(3-2)对去噪后的图像进行腐蚀操作；
(3-3)使用距离变换函数对腐蚀操作后的图像进行变换；
(3-4)使用分水岭算法对距离变换后的图像进行分割，并将分割过细的区域进行合并，从而提取出前景图像和背景图像；其中，合并时每个因分水岭算法产生的集水盆C的合并规则为：
式中，B为集水盆C的边界点集合，T为阈值。
进一步的，步骤(4)具体包括：
(4-1)设置样本增强方法的变量所形成的向量为x＝{(ai，bi,λ,μ,σ),(r,d,δx,δy),(α,θ),(γ)}，其中，(ai，bi,λ,μ,σ)为样本增强方法中加噪的变量、(r,d,δx,δy)为空间变换的变量、(α,θ)是信息檫除的变量，(γ)是变换的变量；基于控制变量法逐一调整样本增强方法的变量值，其中，所有变量的初始值为0，每次调整样本增强方法变量时，通过设定随机标签的方式冻结其他变量确保只修改单一变量，并在该变量的值域范围内随机生成变量值；
(4-2)根据调整变量值后的样本增强方法处理前景图像，得到增强后的前景图像，其中，根据调整变量值后的样本增强方法处理前景图像具体包括：
(4-2-1)加噪：采用ni＝ai×Ii+bi生成非均匀性噪声，其中，ni表示针对前景图像的第i个像素Ii生成的非均匀噪声，ai表示像素增益因子，bi表示偏移因子；以泊松参数λ生成泊松噪声；以μ为噪声期望以σ为噪声均方差生成高斯白噪声；采用以上三种噪声中任意一种添加到前景图像中，生成带有噪声的前景图像；
(4-2-2)空间变换：生成一个和带有噪声的前景图像相同分辨率的遮盖mask，并将该遮盖mask对带有噪声的前景图像进行信息檫除，得到信息檫除后的前景图像，其中，檫除时使用参数(r,d,δx,δy)确定遮盖mask的分布，r是相邻两块擦除区域单元的距离，d是一个擦除区域单元的长度，通过d＝random(dmin,dmax)获取，dmin、dmax为通过图像分辨率确定的长度最大值和最小值，δx和δy是第一个完整的擦除区域单元与图像边界之间的起始距离，且δx,δy＝random(0,d-1)；
(4-2-3)信息檫除：对于信息檫除后的前景图像进行空间变换，具体为依次进行裁剪、翻转和旋转，具体方式为：
裁剪：C(D)为裁剪后的图像，D为信息檫除后的前景图像，G为背景图像，D.x、D.y分别表示D的宽和高，G.x、G.y分别表示G的宽和高；
翻转：以翻转角度ɑ对图像进行翻转；
旋转：将图像分块后乘以旋转矩阵进行图像旋转，θ表示旋转角度；
(4-2-4)变换：对于空间变换后的前景图像进行自适应计算，自适应计算通过使用Gamma变换公式实现，式中，A表示常数，Vin表示空间转换后的前景图像，γ表示Gamma指数；
对于自适应计算后的前景图像按照下式进行Laplace变换：
式中，F(S)表示Laplace变换后的前景图像，即增强后的前景图像。
进一步的，步骤(5)具体包括：
(5-1)计算背景图像与步骤(4)得到的前景图像的分辨率差异，所述分辨率差异为背景图像分辨率和前景图像分辨率的比值；
(5-2)当分辨率差异大于0.7时或小于0.3时，调整分辨率差异为预设比例，如果位于(0.3-0.7)范围内，则直接将步骤(4)得到的前景图像和背景图像以预设比例进行随机叠加，得到叠加图像；叠加时对于擦除部分使用背景图像覆盖，并使用交并比限制图像叠加位置，式中，Z表示背景图像中的前景图像所在区域，E表示前景图像，在IOU值大于0.1时，此区域禁止叠加，所述预设比例为(0.3-0.7)中随机数。
进一步的，步骤(6)具体包括：
(6-1)随机生成尺度分别为2、4、6的随机阵列；
(6-2)将叠加图像分别划分为2、4、6份，并填入对应的随机阵列中，并按照下列(c1,u,c2,v)拼接参数进行拼接，得到红外图像增强样本：
式中，c1为非零时表示进行竖直拼接，为零时表示不进行竖直拼接，u表示竖直拼接比例，c2为非零时表示进行横向拼接，为零时表示不进行竖直拼接，v表达横向拼接比例，r1、r2分别表示(0.3-0.7)中的一个随机数。
有益效果：本发明与现有技术相比，其显著优点是：本发明通过原始样本训练目标检测网络模型，得到标准评价值；创新地建立以红外图像噪声、空间变换、信息丢弃等样本增强方法的变量为输入参数的BP神经网络作为数据增强评价模型，提高了数据增强的质量；创新地利用分水岭算法提取红外图像的前景和背景信息，提高了提取前景数据的效率；创新地基于控制变量法调整样本增强方法系列变量，得到处理后的前景图像，减少未知量对误差的影响；创新地根据前景图像与背景图像的分辨率差异，以特定比例进行随机叠加，计算前景目标与背景图像叠加目标的交并比选择叠加区域，生成叠加图像，提高了目标特征描述的鲁棒性；创新地将叠加图像嵌入到随机阵列中进行拼接，得到增强样本集，增加了训练过程一批样本的数量，同时使网络模型对小目标有良好的敏感度；创新地利用增强样本集训练的网络模型进行验证，根据输出评价值与基准评价值的差异，更新基准评价值，并调整评价模型参数；经过多次迭代，得到数据增强的最终结果。本发明在使用通用的检测神经网络进行训练测试，在使用了本发明使用的增强方法后，充分验证了本发明的有效性。
附图说明
图1是本发明提供的基于评价模型的红外图像自适应数据增强方法的流程示意示意图；
图2是本发明的效果图。
具体实施方式
本发明提供了一种基于评价模型的红外图像自适应数据增强方法，如图1所示，包括如下步骤：
(1)将若干已知检测目标的红外图像样本划分为训练集和测试集，采用训练集训练yolov4网络，并将训练好的yolov4网络作为目标检测模型，再使用测试集测试目标检测模型，根据模型的准确度计算得到评价值，作为基准评价值。
该步骤具体包括：
(1-1)获取若干已知检测目标的红外图像样本，划分为训练集和测试集；
(1-2)采用训练集训练yolov4网络，将训练好的yolov4网络作为目标检测模型；
(1-3)使用测试集测试目标检测模型，根据测试的准确度按照下式计算得到基准评价值：
式中，PJ为基准评价值，QR为模型的准确度与召回率曲线的面积，AP()表示求平均值，q表示每个准确度值乘以召回率变化情况的积分。
(2)建立以样本增强方法的变量为输入、以数据增强评价值为输出的BP神经网络作为数据增强评价模型。
其中，BP神经网络为yeva＝w·x+b，作为数据增强评价模型，BP神经网络中以relu6做为激活函数，yeva为数据增强评价模型的评价值，w、b为模型参数，w为多层感知机权重，b为偏移量，x为样本增强方法的变量所形成的向量，具体为红外图像加噪、空间变换、信息檫除和变换四种样本增强方法的变量所形成的向量。
(3)获取一个红外图像样本，并采用分水岭算法从红外图像样本中提取前景图像和背景图像。
该步骤具体包括：
(3-1)获取一个红外图像样本，通过开运算对待增强红外图像进行去噪；
(3-2)对去噪后的图像进行腐蚀操作；
(3-3)使用距离变换函数对腐蚀操作后的图像进行变换；
(3-4)使用分水岭算法对距离变换后的图像进行分割，并将分割过细的区域进行合并，以避免图像分割过细，减少无效区域。从而提取出前景图像和背景图像；其中，合并时每个因分水岭算法产生的集水盆C的合并规则为：
式中，B为集水盆C的边界点集合，T为阈值。
(4)基于上次样本增强方法的变量值采用控制变量法调整变量值，并根据调整变量值后的样本增强方法处理前景图像，得到增强后的前景图像，其中，样本增强方法的变量的初始值为0向量。
该步骤具体包括：
(4-1)设置样本增强方法的变量所形成的向量为x＝{(ai，bi,λ,μ,σ),(r,d,δx,δy),(α,θ),(γ)}，其中，(ai，bi,λ,μ,σ)为样本增强方法中加噪的变量、(r,d,δx,δy)为空间变换的变量、(α,θ)是信息檫除的变量，(γ)是变换的变量；基于控制变量法逐一调整样本增强方法的变量值，其中，所有变量的初始值为0，每次调整样本增强方法变量时，通过设定随机标签的方式冻结其他变量确保只修改单一变量，并在该变量的值域范围内随机生成变量值；
(4-2)根据调整变量值后的样本增强方法处理前景图像，得到增强后的前景图像，其中，根据调整变量值后的样本增强方法处理前景图像具体包括：
(4-2-1)加噪：采用ni＝ai×Ii+bi生成非均匀性噪声，其中，ni表示针对前景图像的第i个像素Ii生成的非均匀噪声，ai表示像素增益因子，bi表示偏移因子；以泊松参数λ生成泊松噪声；以μ为噪声期望以σ为噪声均方差生成高斯白噪声；采用以上三种噪声中任意一种添加到前景图像中，生成带有噪声的前景图像；
(4-2-2)空间变换：生成一个和带有噪声的前景图像相同分辨率的遮盖mask，并将该遮盖mask对带有噪声的前景图像进行信息檫除，得到信息檫除后的前景图像，其中，檫除时使用参数(r,d,δx,δy)确定遮盖mask的分布，r是相邻两块擦除区域单元的距离，d是一个擦除区域单元的长度，通过d＝random(dmin,dmax)获取，dmin、dmax为通过图像分辨率确定的长度最大值和最小值，δx和δy是第一个完整的擦除区域单元与图像边界之间的起始距离，且δx,δy＝random(0,d-1)；
(4-2-3)信息檫除：对于信息檫除后的前景图像进行空间变换，具体为依次进行裁剪、翻转和旋转，具体方式为：
裁剪：C(D)为裁剪后的图像，D为信息檫除后的前景图像，G为背景图像，D.x、D.y分别表示D的宽和高，G.x、G.y分别表示G的宽和高；
翻转：以翻转角度ɑ对图像进行翻转；
旋转：将图像分块后乘以旋转矩阵进行图像旋转，θ表示旋转角度；
(4-2-4)变换：对于空间变换后的前景图像进行自适应计算，自适应计算通过使用Gamma变换公式实现，式中，A表示常数，Vin表示空间转换后的前景图像，γ表示Gamma指数；将灰度过高或者灰度过低的图片进行修正，增强对比度。变换公式就是对图像上每一个像素值做乘积运算，γ>1时，对图像的灰度分布直方图具有拉伸作用(使灰度向高灰度值延展)，而γ<1，对图像的灰度分布直方图具有收缩作用(是使灰度向低灰度值方向靠拢)；
对于自适应计算后的前景图像按照下式进行Laplace变换，产生描述灰度突变的图像：
式中，F(S)表示Laplace变换后的前景图像，即增强后的前景图像。
(5)计算背景图像与步骤(4)得到的前景图像的分辨率差异，根据分辨率差异以预设比例进行随机叠加，生成叠加图像。
步骤(5)具体包括：
(5-1)计算背景图像与步骤(4)得到的前景图像的分辨率差异，所述分辨率差异为背景图像分辨率和前景图像分辨率的比值；
(5-2)当分辨率差异大于0.7时或小于0.3时，调整分辨率差异为预设比例，如果位于(0.3-0.7)范围内，则直接将步骤(4)得到的前景图像和背景图像以预设比例进行随机叠加，得到叠加图像；叠加时对于擦除部分使用背景图像覆盖，并使用交并比限制图像叠加位置，式中，Z表示背景图像中的前景图像所在区域，E表示前景图像，在IOU值大于0.1时，此区域禁止叠加，所述预设比例为(0.3-0.7)中随机数。
(6)随机生成多尺度随机阵列，将叠加图像随机填入阵列中进行拼接，得到红外图像增强样本。
该步骤具体包括：
(6-1)随机生成尺度分别为2、4、6的随机阵列；
(6-2)将叠加图像分别划分为2、4、6份，并填入对应的随机阵列中，并按照下列(c1,u,c2,v)拼接参数进行拼接，得到红外图像增强样本：
式中，c1为非零时表示进行竖直拼接，为零时表示不进行竖直拼接，u表示竖直拼接比例，c2为非零时表示进行横向拼接，为零时表示不进行竖直拼接，v表达横向拼接比例，r1、r2分别表示(0.3-0.7)中的一个随机数。
(7)将红外图像增强样本输入目标检测模型，并根据目标检测模的输出的准确度计算得到一个新的评价值。
(8)以步骤(4)调整后的样本增强方法的变量和步骤(7)得到的新的评价值作为一个训练样本，输入数据增强评价模型进行训练，通过BP反向传播方法调整数据增强评价模型参数。
(9)判断调整后数据增强评价模型的损失L＝||yeva-y||2是否小于预设阈值，yeva为数据增强评价模型实际输出的评价值，y表示基准评价值，如果小于则停止迭代，将此时样本增强方法的变量作为最终样本增强方法变量最优值，并执行步骤(10)，如果不小于则返回执行步骤(3)～(8)。
(10)将待增强红外图像按照样本增强方法变量最优值对应的增强方法进行处理，得到数据增强后的图像。
采用本实施例进行数据增强，效果如图2所示，可以看出，图像得到了增强。
以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (7)
1.一种基于评价模型的红外图像自适应数据增强方法，其特征在于包括：
(1)将若干已知检测目标的红外图像样本划分为训练集和测试集，采用训练集训练yolov4网络，并将训练好的yolov4网络作为目标检测模型，再使用测试集测试目标检测模型，根据模型的准确度计算得到评价值，作为基准评价值；
(2)建立以样本增强方法的变量为输入、以数据增强评价值为输出的BP神经网络作为数据增强评价模型；
(3)获取一个红外图像样本，并采用分水岭算法从红外图像样本中提取前景图像和背景图像；
(4)基于上次样本增强方法的变量值采用控制变量法调整变量值，并根据调整变量值后的样本增强方法处理前景图像，得到增强后的前景图像，其中，样本增强方法的变量的初始值为0向量；
(5)计算背景图像与步骤(4)得到的前景图像的分辨率差异，根据分辨率差异以预设比例进行随机叠加，生成叠加图像；
(6)随机生成多尺度随机阵列，将叠加图像随机填入阵列中进行拼接，得到红外图像增强样本；
(7)将红外图像增强样本输入目标检测模型，并根据目标检测模的输出的准确度计算得到一个新的评价值；
(8)以步骤(4)调整后的样本增强方法的变量和步骤(7)得到的新的评价值作为一个训练样本，输入数据增强评价模型进行训练，通过BP反向传播方法调整数据增强评价模型参数；
(9)判断调整后数据增强评价模型的损失L＝||yeva-y||2是否小于预设阈值，yeva为数据增强评价模型实际输出的评价值，y表示基准评价值，如果小于则停止迭代，将此时样本增强方法的变量作为最终样本增强方法变量最优值，并执行步骤(10)，如果不小于则返回执行步骤(3)～(8)；
(10)将待增强红外图像按照样本增强方法变量最优值对应的增强方法进行处理，得到数据增强后的图像。
2.根据权利要求1所述的基于评价模型的红外图像自适应数据增强方法，其特征在于：步骤(1)具体包括：
(1-1)获取若干已知检测目标的红外图像样本，划分为训练集和测试集；
(1-2)采用训练集训练yolov4网络，将训练好的yolov4网络作为目标检测模型；
(1-3)使用测试集测试目标检测模型，根据测试的准确度按照下式计算得到基准评价值：
式中，PJ为基准评价值，QR为模型的准确度与召回率曲线的面积，AP()表示求平均值，q表示每个准确度值乘以召回率变化情况的积分。
3.根据权利要求1所述的基于评价模型的红外图像自适应数据增强方法，其特征在于：步骤(2)具体包括：
建立以样本增强方法的变量为输入的BP神经网络yeva＝w·x+b，作为数据增强评价模型，BP神经网络中以relu6做为激活函数，yeva为数据增强评价模型的评价值，w、b为模型参数，w为多层感知机权重，b为偏移量，x为样本增强方法的变量所形成的向量，具体为红外图像加噪、空间变换、信息檫除和变换四种样本增强方法的变量所形成的向量。
4.根据权利要求1所述的基于评价模型的红外图像自适应数据增强方法，其特征在于：步骤(3)具体包括：
(3-1)获取一个红外图像样本，通过开运算对待增强红外图像进行去噪；
(3-2)对去噪后的图像进行腐蚀操作；
(3-3)使用距离变换函数对腐蚀操作后的图像进行变换；
(3-4)使用分水岭算法对距离变换后的图像进行分割，并将分割过细的区域进行合并，从而提取出前景图像和背景图像；其中，合并时每个因分水岭算法产生的集水盆C的合并规则为：
式中，B为集水盆C的边界点集合，T为阈值。
5.根据权利要求3所述的基于评价模型的红外图像自适应数据增强方法，其特征在于：步骤(4)具体包括：
(4-1)设置样本增强方法的变量所形成的向量为x＝{(ai，bi,λ,μ,σ),(r,d,δx,δy),(α,θ),(γ)}，其中，(ai，bi,λ,μ,σ)为样本增强方法中加噪的变量、(r,d,δx,δy)为空间变换的变量、(α,θ)是信息檫除的变量，(γ)是变换的变量；基于控制变量法逐一调整样本增强方法的变量值，其中，所有变量的初始值为0，每次调整样本增强方法变量时，通过设定随机标签的方式冻结其他变量确保只修改单一变量，并在该变量的值域范围内随机生成变量值；
(4-2)根据调整变量值后的样本增强方法处理前景图像，得到增强后的前景图像，其中，根据调整变量值后的样本增强方法处理前景图像具体包括：
(4-2-1)加噪：采用ni＝ai×Ii+bi生成非均匀性噪声，其中，ni表示针对前景图像的第i个像素Ii生成的非均匀噪声，ai表示像素增益因子，bi表示偏移因子；以泊松参数λ生成泊松噪声；以μ为噪声期望以σ为噪声均方差生成高斯白噪声；采用以上三种噪声中任意一种添加到前景图像中，生成带有噪声的前景图像；
(4-2-2)空间变换：生成一个和带有噪声的前景图像相同分辨率的遮盖mask，并将该遮盖mask对带有噪声的前景图像进行信息檫除，得到信息檫除后的前景图像，其中，檫除时使用参数(r,d,δx,δy)确定遮盖mask的分布，r是相邻两块擦除区域单元的距离，d是一个擦除区域单元的长度，通过d＝random(dmin,dmax)获取，dmin、dmax为通过图像分辨率确定的长度最大值和最小值，δx和δy是第一个完整的擦除区域单元与图像边界之间的起始距离，且δx,δy＝random(0,d-1)；
(4-2-3)信息檫除：对于信息檫除后的前景图像进行空间变换，具体为依次进行裁剪、翻转和旋转，具体方式为：
裁剪：C(D)为裁剪后的图像，D为信息檫除后的前景图像，G为背景图像，D.x、D.y分别表示D的宽和高，G.x、G.y分别表示G的宽和高；
翻转：以翻转角度ɑ对图像进行翻转；
旋转：将图像分块后乘以旋转矩阵进行图像旋转，θ表示旋转角度；
(4-2-4)变换：对于空间变换后的前景图像进行自适应计算，自适应计算通过使用Gamma变换公式实现，式中，A表示常数，Vin表示空间转换后的前景图像，γ表示Gamma指数；
对于自适应计算后的前景图像按照下式进行Laplace变换：
式中，F(S)表示Laplace变换后的前景图像，即增强后的前景图像。
6.根据权利要求1所述的基于评价模型的红外图像自适应数据增强方法，其特征在于：步骤(5)具体包括：
(5-1)计算背景图像与步骤(4)得到的前景图像的分辨率差异，所述分辨率差异为背景图像分辨率和前景图像分辨率的比值；
(5-2)当分辨率差异大于0.7时或小于0.3时，调整分辨率差异为预设比例，如果位于(0.3-0.7)范围内，则直接将步骤(4)得到的前景图像和背景图像以预设比例进行随机叠加，得到叠加图像；叠加时对于擦除部分使用背景图像覆盖，并使用交并比限制图像叠加位置，式中，Z表示背景图像中的前景图像所在区域，E表示前景图像，在IOU值大于0.1时，此区域禁止叠加，所述预设比例为(0.3-0.7)中随机数。
7.根据权利要求1所述的基于评价模型的红外图像自适应数据增强方法，其特征在于：步骤(6)具体包括：
(6-1)随机生成尺度分别为2、4、6的随机阵列；
(6-2)将叠加图像分别划分为2、4、6份，并填入对应的随机阵列中，并按照下列(c1,u,c2,v)拼接参数进行拼接，得到红外图像增强样本：
式中，c1为非零时表示进行竖直拼接，为零时表示不进行竖直拼接，u表示竖直拼接比例，c2为非零时表示进行横向拼接，为零时表示不进行竖直拼接，v表达横向拼接比例，r1、r2分别表示(0.3-0.7)中的一个随机数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011489331.8A CN112561881B (zh) | 2020-12-16 | 2020-12-16 | 基于评价模型的红外图像自适应数据增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011489331.8A CN112561881B (zh) | 2020-12-16 | 2020-12-16 | 基于评价模型的红外图像自适应数据增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112561881A CN112561881A (zh) | 2021-03-26 |
| CN112561881B true CN112561881B (zh) | 2023-09-05 |
Family
ID=75064821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011489331.8A Active CN112561881B (zh) | 2020-12-16 | 2020-12-16 | 基于评价模型的红外图像自适应数据增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112561881B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113361378B (zh) * | 2021-06-02 | 2023-03-10 | 合肥工业大学 | 一种运用适应性数据增强的人体姿态估计方法 |
| CN113673541B (zh) * | 2021-10-21 | 2022-02-11 | 广州微林软件有限公司 | 一种用于目标检测的图像样本生成方法及应用 |
| CN114926657B (zh) * | 2022-06-09 | 2023-12-19 | 山东财经大学 | 显著性目标检测方法及系统 |
| CN116091748B (zh) * | 2023-04-10 | 2023-06-16 | 环球数科集团有限公司 | 一种基于aigc的图像识别系统及装置 |
| CN117111164B (zh) * | 2023-10-17 | 2024-01-26 | 杭州海康威视数字技术股份有限公司 | 基于毫米波的异物检测方法、装置及电子设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111105371A (zh) * | 2019-12-10 | 2020-05-05 | 南京莱斯电子设备有限公司 | 一种低对比度红外图像的增强方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753978B (zh) * | 2017-11-01 | 2023-02-17 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置以及计算机可读存储介质 |
| CN107679525B (zh) * | 2017-11-01 | 2022-11-29 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置及计算机可读存储介质 |
| KR20200095873A (ko) * | 2019-02-01 | 2020-08-11 | 한국전자통신연구원 | 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템 |
-
2020
- 2020-12-16 CN CN202011489331.8A patent/CN112561881B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111105371A (zh) * | 2019-12-10 | 2020-05-05 | 南京莱斯电子设备有限公司 | 一种低对比度红外图像的增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于U-Net模型的含杂水稻籽粒图像分割;陈进;韩梦娜;练毅;张帅;;农业工程学报(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112561881A (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112561881B (zh) | 基于评价模型的红外图像自适应数据增强方法 | |
| WO2023015743A1 (zh) | 病灶检测模型的训练方法及识别图像中的病灶的方法 | |
| CN108596818B (zh) | 一种基于多任务学习卷积神经网络的图像隐写分析方法 | |
| CN108399625B (zh) | 一种基于深度卷积生成对抗网络的sar图像定向生成方法 | |
| CN111563473A (zh) | 基于密集特征融合和像素级注意力的遥感舰船识别方法 | |
| CN109712149B (zh) | 一种基于小波能量和模糊c均值的图像分割方法 | |
| CN107808138A (zh) | 一种基于FasterR‑CNN的通信信号识别方法 | |
| CN108428236B (zh) | 基于特征公平集成的多目标sar图像分割方法 | |
| CN114565594A (zh) | 基于软掩膜对比损失的图像异常检测方法 | |
| CN114444679A (zh) | 二值化输入模型的量化方法及系统、计算机可读存储介质 | |
| CN116500611A (zh) | 一种基于深度学习的雷达波面图像海浪参数反演方法 | |
| CN113223098B (zh) | 图像颜色分类的预处理优化方法 | |
| CN104239903A (zh) | 一种基于qpso算法的图像边缘检测方法 | |
| CN113850335B (zh) | 一种用于卫浴陶瓷缺陷检测的数据增广方法 | |
| CN115223033A (zh) | 一种合成孔径声呐图像目标分类方法及系统 | |
| CN104063874A (zh) | 基于权值模型的灰度图像二值化算法定量评估方法 | |
| CN114529730A (zh) | 一种基于lbp特征的卷积神经网络地面材质图像分类方法 | |
| CN113962928A (zh) | 一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质 | |
| CN113920391A (zh) | 一种基于生成尺度自适应真值图的目标计数方法 | |
| CN113947723A (zh) | 基于尺寸平衡fcos的高分辨率遥感场景目标检测方法 | |
| Srinark et al. | A microarray image analysis system based on multiple snakes | |
| CN111047570A (zh) | 一种基于纹理分析法的自动云检测方法 | |
| CN116310276B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN110148155A (zh) | 一种多特征与自适应标准对冲相结合的目标跟踪方法 | |
| CN117152622B (zh) | 边界优化模型训练、边界优化方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |