CN115423723A - 自适应铁路货车异常检测训练集图像增强方法 - Google Patents

Abstract

自适应铁路货车异常检测训练集图像增强方法，解决了铁路货车异常检测训练集图像亮度的问题，属于铁路货车检测技术领域。本发明包括：S1、读取铁路货车异常检测训练集中的一张图像；S2、进行灰度处理；S3、计算灰度处理后图像的中像素平均亮度值，根据平均亮度值判断是否符合亮度需求，若否，将灰度处理后图像作为原始图像，对原始图像进行亮度增强，将亮度增强后的图像补充到训练集中，转入S4，若是，转入S4；S4、读取训练集中的下一张图像，转入S2，直至处理完训练集中需要亮度增强的图像。亮度增强的方法采用亮度提升、直方图均衡化、高斯亮度变化或随机亮度调整方法，本发明还可以对亮度增强后的图像进行缩放，扩充训练集。

Description

自适应铁路货车异常检测训练集图像增强方法

技术领域

本发明涉及一种图像增强方法，属于铁路货车检测技术领域。

背景技术

基于深度学习的铁路货车异常检测方法代替人工车辆安全检测，能够提高车辆安检效率，降低人力成本，消除人为因素对于检测结果的影响。深度学习是一种数据驱动的模式分析算法。铁路货车异常检测使用线阵相机采集铁路货车图像，传统的线阵相机采集到的铁路货车图像具有整体较黑、亮度较低的特点；且由于部分部件材质、拍摄角度等原因造成图像部分区域亮度较高，整体图像亮度方差较大；在不同地点、不同光照、不同天气等情况下拍摄得到的图像数据亮度多变等问题。

发明内容

针对铁路货车异常检测训练集图像亮度的问题，本发明提供一种自适应铁路货车异常检测训练集图像增强方法。

本发明的一种自适应铁路货车异常检测训练集图像增强方法，包括：

S1、读取铁路货车异常检测训练集中的一张图像；

S2、对图像进行灰度处理；

S3、计算灰度处理后图像的中像素平均亮度值，根据平均亮度值判断是否符合亮度需求，若否，将灰度处理后图像作为原始图像，对原始图像进行亮度增强，将亮度增强后的图像补充到训练集中，转入S4，若是，转入S4；

S4、读取训练集中的下一张图像，转入S2，直至处理完训练集中需要亮度增强的图像。

作为优选，S3中，进行亮度增强的方法包括：将原始图像中每一像素值的亮度提升为原来的

倍，b为预设亮度值，mean为像素平均亮度值。

作为优选，S3中，进行亮度增强的方法包括：

S31、依次扫描原始图像中的每一个像素，计算出灰度直方图；

S32、计算灰度直方图的累积分布函数；

S33、获取符合亮度需求的目标图像像素的累积分布函数；

S34、根据S32和S33的累积分布函数确定原始图像与目标图像之间的映射关系；

S35、根据映射关系对原始图像进行增强，得到亮度增强后的图像。

作为优选，S3中，进行亮度增强的方法包括：

根据标注区域，选取原始图像中的目标区域，对目标区域进行高斯亮度变化：

其中，A为变换后的目标区域，I为原始图像，

为对于目标区域中像素点(x,y)的高斯变换结果，T为图像变换方式；

作为优选，

x_c,y_c,w,h分别为目标区域检测框的中心点横坐标、中心点纵坐标、检测框的长度、检测框的高度；b为预设亮度值，mean为像素平均亮度值，

H、W分别为原始图像的高、宽，r表示检测框的面积与原始图像面积的比值。

作为优选，S3中，进行亮度增强的方法包括：

随机确定一个亮度系数a，对原始图像中的像素进行依次亮度调整，调整后的像素亮度为p_new＝p×a，p为原始图像中的像素值；如果调整后的像素亮度值p_new>255，则令p_new＝255，如果调整后的像素亮度值p_new<1，则令p_new＝0。

作为优选，0.5≤a≤1.5。

作为优选，S4中，直至处理完训练集中需要亮度增强的图像，转入S5；

S5、对训练集中的图像进行缩放，包括：

根据标注区域，选取亮度增强后的图像中的目标区域，计算目标区域占原始图像整体的面积比例z，

Area_bbox表示目标区域的面积，Area_image表示原始图像的面积；

若z≥t，则将目标区域缩小至原有的p倍，0＜p≤0.5，图像尺寸不变，缩小后周围用0填充，将图像中标注区域的坐标信息做相应的变化，保证缩小前后的标注区域不变；

若z＜t，则将目标区域放大至原有的p倍，1＜p≤k，其中k为原始图像尺寸的长与目标区域尺寸的长的比值与原始图像尺寸的宽与目标区域尺寸的宽的比值中的最大值，将图像中标注区域的坐标信息做相应的变化，保证放大前后的标注区域不变。

本发明的有益效果，本发明可以自适应的实现数据增强，无需人工加入先验信息。处理过程中首先对图像数据进行条件判断，对满足亮度等条件的图像不进行处理，避免将正常数据增强后得到不符合真实分布的数据噪点。本发明通过亮度增强的方式解决了图像质量差的问题，又通过自适应缩放、自适应亮度调整和随机亮度调整的方式让训练集更加拟合真实数据分布，提高了深度学习模型的鲁棒性以及下游任务的准确率。

附图说明

图1为本发明的原理示意图；

图2为图1中亮度增强采用亮度提升的流程图；

图3为图1中亮度增强采用直方图均衡化的流程图；

图4为图1中亮度增强采用高斯亮度变化的流程图；

图5为图1中亮度增强采用随机亮度变化流程图；

图6为目标区域缩放的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

如图1所示，本实施方式的自适应铁路货车异常检测训练集图像增强方法，包括：

步骤1、读取铁路货车异常检测训练集中的一张图像；

步骤2、对图像进行灰度处理；

步骤3、计算灰度处理后图像的中像素平均亮度值，根据平均亮度值判断是否符合亮度需求，若否，将灰度处理后图像作为原始图像，对原始图像进行亮度增强，将亮度增强后的图像补充到训练集中，转入步骤4，若是，转入步骤4；

步骤4、读取训练集中的下一张图像，转入步骤2，直至处理完训练集中需要亮度增强的图像。

本实施方式可以自适应的判断铁路货车异常检测领域内的图像数据是否符合亮度需求，如不符合则进行亮度增强，该方法即解决了铁路货车异常检测训练集中由于亮度原因造成的图像质量问题，扩充了训练集，提高了深度学习模型的鲁棒性以及下游任务的准确率。

优选实施例中，如图2所示，步骤3中，进行亮度增强的方法包括：将原始图像中每一像素值的亮度提升为原来的

倍，b为预设亮度值，mean为像素平均亮度值。

输入的铁路货车异常检测图像，记为输入图像。输入图像为灰度图，即把白色与黑色之间按对数关系分为256个等级，纯白色为255，纯黑色为0，认为纯白色为“亮”，纯黑色为“暗”，因此将图像亮度量化即为该通道像素值越大则该像素点越亮，该通道像素值越小则该像素点越暗。对输入的铁路货车异常检测图像计算平均亮度值。判断平均亮度值是否低于预设阈值c：若高于阈值c则认为图像整体亮度正常，无需进行亮度增强；若低于阈值则认为图像整体亮度偏暗，此时将图像内每一像素值乘以一个系数，即：预设亮度值b，将原始图像中每一像素值的亮度提升为：

I为原始图像。

针对步骤3亮度增强，本实施方式还提供一种实施例，步骤3中可采用直方图均衡化进行亮度增强；直方图反映了图像中的灰度分布规律。它描述每个灰度级具有的像素个数，但不包含这些像素在图像中的位置信息。图像直方图不关心像素所处的空间位置，因此不受图像旋转和平移变化的影响，可以作为图像的特征。直方图均衡化是一种增强图像对比度的方法，其主要思想是将一副图像的直方图分布通过累积分布函数变成近似均匀分布，从而增强图像的对比度。首先读取灰度图像，计算平均亮度值，判断平均亮度值是否低于预设阈值a：若高于阈值则认为图像整体亮度正常，无需进行直方图均衡化；若低于阈值则认为图像整体亮度偏暗，需要进行直方图均衡化使图像内像素亮暗分布均匀。如图3所示，直方图均衡化的步骤包括：

步骤31、依次扫描原始图像中的每一个像素，计算出灰度直方图；

步骤32、计算灰度直方图的累积分布函数；

步骤33、获取符合亮度需求的目标图像像素的累积分布函数；

步骤34、根据步骤32和步骤33的累积分布函数确定原始图像与目标图像之间的映射关系；

步骤35、根据映射关系对原始图像进行增强，得到亮度增强后的图像。

针对步骤3亮度增强，本实施方式还提供一种实施例，步骤3中可采用基于高斯变换的亮度调整，由于车辆图像的拍摄角度、天气、部件新旧程度等因素，车辆部分金属部件(如螺栓等)的区域图像亮度与图像背景区域亮度相差过大。训练集很难收集此类图像，且自然情况下的亮度分布方差较大，手动制作训练集时很难覆盖所有亮度种类。因此我们选择基于目标区域亮度变化的方法来模拟真实数据分布。传统增强方法基于边界框对区域进行亮度增强，这种方法会给图像带来明显的梯度变化，导致模型在训练的时候更容易捕获这部分特征信息，而在真实情况下的图像是不存在这种显著的梯度变化的，因此模型在实际应用中的准确率会极大地下降，模型的鲁棒性变低。为了避免这种显著的梯度变化，我们使用高斯变换来对目标区域进行亮度增强。高斯变换可以使目标区域内的亮度变换呈高斯分布，有效的平滑了变换后的梯度变换，使目标图像的亮度更接近于真实情况，有效避免了由于显著的梯度变化带来的模型鲁棒性降低。如图4所示，基于高斯变换的亮度调整的方法包括：

根据标注区域，选取原始图像中的目标区域，对目标区域进行高斯亮度变化：

其中，A为变换后的目标区域，I为原始图像，

为对于目标区域中像素点(x,y)的高斯变换结果，T为图像变换方式；

x_c,y_c,w,h分别为目标区域检测框的中心点横坐标、中心点纵坐标、检测框的长度、检测框的高度；b为预设亮度值，mean为像素平均亮度值，

H、W分别为原始图像的高、宽，r表示检测框的面积与原始图像面积的比值。

针对步骤3亮度增强，本实施方式还提供一种实施例，如图5所示，步骤3中可采用随机亮度调整方法，具体包括：

随机确定一个亮度系数a，对原始图像中的像素进行依次亮度调整，调整后的像素亮度为p_new＝p×a，p为原始图像中的像素值；如果调整后的像素亮度值p_new>255，则令p_new＝255，如果调整后的像素亮度值p_new<1，则令p_new＝0。

优选实施例，0.5≤a≤1.5。

优选实施例中，本实施方式还包括步骤5，步骤4中直至处理完训练集中需要亮度增强的图像，转入步骤5；步骤5、对训练集中的图像进行缩放，要处理比例变化，目前主流的方法通常使用图像金字塔进行训练。然而，这些比例设置高度依赖于手工选择，并且对全部特征图进行图像金字塔缩放也会导致模型在训练和推理过程中的计算量变大。在此方法中，我们使用带有标注信息的原始图像自适应的对标注区域进行随机缩放来实现训练集的多尺寸特征。如图6所示，缩放的步骤包括：

根据标注区域，选取亮度增强后的图像中的目标区域，计算目标区域占原始图像整体的面积比例z，

Area_bbox表示目标区域的面积，Area_image表示原始图像的面积；

判断z与预设阈值t的关系：若z≥t，则认为该区域属于较大区域，则将目标区域缩小至原有的p倍，0＜p≤0.5，图像尺寸不变，缩小后周围用0填充，将图像中标注区域的坐标信息做相应的变化，保证缩小前后的标注区域不变；

若z＜t，则认为该区域属于较小区域，则将目标区域放大至原有的p倍，1＜p≤k，其中k为原始图像尺寸的长与目标区域尺寸的长的比值与原始图像尺寸的宽与目标区域尺寸的宽的比值中的最大值，将图像中标注区域的坐标信息做相应的变化，保证放大前后的标注区域不变。

本实施方式可以自适应的判断铁路货车异常检测领域内的图像数据是否符合亮度需求，如不符合则进行亮度增强；该方法可以自适应的判断铁路货车异常检测领域内的图像数据是否在亮度误差允许范围内，如不符合则进行直方图均衡化；该方法可以自适应地对标注图像内的目标区域进行缩放，在训练集内完善多尺度检测数据；该方法可以自适应地对标注区域进行基于高斯变换的亮度调整，在训练集内模拟由于部分部件材质、拍摄角度等原因造成图像部分区域亮度较高的真实数据分布；该方法可以对整体图像进行随机亮度调整，在训练集内模拟真实分布下的不同亮度情况。该方法即解决了铁路货车异常检测训练集中由于亮度原因造成的图像质量问题，又解决了训练集与真实分布间相似性低的问题，提高了深度学习模型的鲁棒性以及下游任务的准确率。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他实施例中。

Claims (10)

1.自适应铁路货车异常检测训练集图像增强方法，其特征在于，所述方法包括：

S1、读取铁路货车异常检测训练集中的一张图像；

S2、对图像进行灰度处理；

S3、计算灰度处理后图像的中像素平均亮度值，根据平均亮度值判断是否符合亮度需求，若否，将灰度处理后图像作为原始图像，对原始图像进行亮度增强，将亮度增强后的图像补充到训练集中，转入S4，若是，转入S4；

S4、读取训练集中的下一张图像，转入S2，直至处理完训练集中需要亮度增强的图像。

2.根据权利要求1所述的自适应铁路货车异常检测训练集图像增强方法，其特征在于，S3中，进行亮度增强的方法包括：将原始图像中每一像素值的亮度提升为原来的

倍，b为预设亮度值，mean为像素平均亮度值。

3.根据权利要求1所述的自适应铁路货车异常检测训练集图像增强方法，其特征在于，S3中，进行亮度增强的方法包括：

S31、依次扫描原始图像中的每一个像素，计算出灰度直方图；

S32、计算灰度直方图的累积分布函数；

S33、获取符合亮度需求的目标图像像素的累积分布函数；

S34、根据S32和S33的累积分布函数确定原始图像与目标图像之间的映射关系；

S35、根据映射关系对原始图像进行增强，得到亮度增强后的图像。

4.根据权利要求1所述的自适应铁路货车异常检测训练集图像增强方法，其特征在于，S3中，进行亮度增强的方法包括：

根据标注区域，选取原始图像中的目标区域，对目标区域进行高斯亮度变化：

其中，A为变换后的目标区域，I为原始图像，

为对于目标区域中像素点(x,y)的高斯变换结果，T为图像变换方式。

5.根据权利要求4所述的自适应铁路货车异常检测训练集图像增强方法，其特征在于，

x_c,y_c,w,h分别为目标区域检测框的中心点横坐标、中心点纵坐标、检测框的长度、检测框的高度；b为预设亮度值，mean为像素平均亮度值，

H、W分别为原始图像的高、宽，r表示检测框的面积与原始图像面积的比值。

6.根据权利要求1所述的自适应铁路货车异常检测训练集图像增强方法，其特征在于，S3中，进行亮度增强的方法包括：

随机确定一个亮度系数a，对原始图像中的像素进行依次亮度调整，调整后的像素亮度为p_new＝p×a，p为原始图像中的像素值；如果调整后的像素亮度值p_new>255，则令p_new＝255，如果调整后的像素亮度值p_new<1，则令p_new＝0。

7.根据权利要求6所述的自适应铁路货车异常检测训练集图像增强方法，其特征在于，0.5≤a≤1.5。

8.根据权利要求1所述的自适应铁路货车异常检测训练集图像增强方法，其特征在于，所述S4中，直至处理完训练集中需要亮度增强的图像，转入S5；

S5、对训练集中的图像进行缩放，包括：

根据标注区域，选取亮度增强后的图像中的目标区域，计算目标区域占原始图像整体的面积比例z，

Area_bbox表示目标区域的面积，Area_image表示原始图像的面积；

若z≥t，则将目标区域缩小至原有的p倍，0＜p≤0.5，图像尺寸不变，缩小后周围用0填充，将图像中标注区域的坐标信息做相应的变化，保证缩小前后的标注区域不变；

若z＜t，则将目标区域放大至原有的p倍，1＜p≤k，其中k为原始图像尺寸的长与目标区域尺寸的长的比值与原始图像尺寸的宽与目标区域尺寸的宽的比值中的最大值，将图像中标注区域的坐标信息做相应的变化，保证放大前后的标注区域不变。

9.一种计算机可读的存储设备，所述存储设备存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至8任一所述自适应铁路货车异常检测训练集图像增强方法。

10.一种自适应铁路货车异常检测训练集图像增强装置，包括存储设备、处理器以及存储在所述存储设备中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1至8任一所述自适应铁路货车异常检测训练集图像增强方法。

Images