CN110390673B - 一种监控场景下基于深度学习的香烟自动检测方法 - Google Patents

Abstract

本发明涉及一种监控场景下基于深度学习的香烟自动检测方法，首先将拍摄以及网络下载的香烟数据集通过翻转、缩放、平滑处理得到更大的数据集，将数据集训练基于YOLOv3深度学习网络，形成模板库；使用图像增强方法对待检测的图像或视频帧进行相应的图像增强处理；对大尺寸图像进行图像分割，将图像中香烟或带香烟的人分离出来，缩短检测所需时间；然后在待检测的图像上进行预生成预测框，将每个预测框与预先训练的模板库对比；最后在所有的预测框的检测置信度中选择高于预先设定阈值的预测框将其认定为是目标物体。对当前帧的整张图像进行扫描后，标注出所有检测到的目标显示在图像上，完成对香烟的检测。本发明能有效提高检测准确率并且缩短检测时间。

Description

一种监控场景下基于深度学习的香烟自动检测方法

技术领域

本发明涉及深度学习与计算机视觉领域，特别是一种监控场景下基于深度学习的香烟自动检测方法。

背景技术

随着现代人生活水平地不断提升，观念不断地进步。人们对吸烟的危害性关注也越来越多。近来，不断有因为吸烟而引起事故被人们熟知，如：高铁上吸烟导致高铁停运，致使数百旅客滞留；因未远离加油站吸烟，导致加油站起火，导致人员伤亡、财产损失；更有甚者因吸烟导致森林大火，祖国大好河山遭到破坏。因此，在高铁、动车组上严禁吸烟，近几年更是加大惩罚力度，上升至法律层面；在加油站、特殊场所等公共区域更是对违规进行吸烟的人进行大力度的惩罚，甚至追究法律责任。

计算机视觉领域的相关技术发展日新月异，并呈现稳步增长的势头。我国在这一领域虽然相较世界一些发达的国家或地区起步较晚，但发展势头迅猛，人工智能在计算机数据的领域内的运用更是越来越多。据相关数据统计，从2015年来我国的计算机市场规模增速位居全球第一，人工智能相关研究数量的增长率也稳居世界前列。如何利用好计算机技术进行研究与探索便显得意义非凡。

基于此类问题与现状，便有了利用深度学习和计算机视觉技术进行对香烟自动识别的想法。现如今，对公共场所或禁烟场所的吸烟如何制止的问题，大多数使用的是“烟雾报警器”，且都只能在已经有人开始吸烟，即吸烟已成既定事实的情况下才会发出警报。不仅需要额外的开销进行相关设备的安装，且无法在吸烟这一事件发生后给出一定的警示。

发明内容

有鉴于此，本发明的目的是提出一种监控场景下基于深度学习的香烟自动检测方法，能够对香烟这一小目标进行检测，并且在检测的准确率与效率上进行提升。

本发明采用以下方案实现：一种监控场景下基于深度学习的香烟自动检测方法，包括以下步骤：

步骤S1：获取数据集，并分别采用翻转、滤波、平滑技术对原始香烟数据集进行处理，得到最终香烟训练数据集；

步骤S2：使用步骤S1中所述的最终香烟训练数据集训练基于YOLOv3的深度学习网络，生成香烟模板库；

步骤S3：进行香烟检测：提供待检测的香烟图片或者视频，以识别所述待检测的香烟图片或者视频的后缀名判断是图片或视频，若是.PNG、.JPG、.JEPG、.GIF、.BMP则认为是图片，对图像进行图像增强处理，否则若是.AVI、.MOV、.MP4的后缀名，则认为是视频，并以OpenCV中的VideoCapture类获取当前视频的视频帧并对当前帧采用自适应图像增强方法进行增强，对增强后的图像将其分为7*7的网格，每个网格在进行检测前预选随机生成两个预测框，执行步骤S5；

步骤S4：判断步骤S3中进行图像增强后的图像像素是否大于500*500，若是则采用图像分割方法将香烟目标在图像中分割出来，对分割出来的香烟图像将其分为7*7的网格，每个网格在进行检测前随机生成两个预测框，执行步骤S5；否则直接在未分割的原图像上分为7*7的网格，每个网格在进行预测前随机生成两个预测框，执行步骤S5；

步骤S5：将步骤S2中生成的香烟模板库分别与步骤S3和步骤S4中生成的预测框进行对比，判断经过S3步骤中的图像增强、S4步骤中的图像分割处理后的图片中检测到的香烟目标的置信度是否超过设定阈值，所述设定的阈值为0.25；若是则框选出目标，图片输出检测结果，检测结束；否则跳出此预测框。

进一步地，步骤S3中对图像进行图像增强的方法包括但不限于直方图均衡化、拉普拉斯算子、对数log变换、伽马变换四种图像增加方法进行图像增强。

进一步地，所述步骤S5还可替换为以下内容：将步骤S2中生成的香烟模板库与步骤S5中生成的预测框进行对比，判断经过S3步骤中的图像增强、S4步骤中的图像分割处理后的图片中检测到的香烟目标的置信度是否超过设定阈值；若是则框选出目标，输出结果；若为视频帧，则实时输出视频帧，并判断能否获取下一帧，若是则继续执行视频帧输出，实时检测，否则检测结束；若置信度没有超过设定阈值则跳过此预测框。

进一步地，所述步骤S1具体包括以下步骤：

步骤S11：获取香烟数据集；所述香烟数据集的获取是通过拍摄的图像以及网络资源图像下载；

步骤S12：将步骤S11中收集的数据集进行划分，其中80％的为训练集，10％的验证集以及10％的测试集；对数据集中的训练集进行翻转变化，翻转变换通过改变图像的坐标，用以将图像呈现不同角度，增大训练集；对图像的翻转主要通过对图像矩阵的坐标变换实现，包括上下翻转以及左右翻转，其中上下翻转原理公式为：

x＝a-x₁+1；

y＝y₁；

左右翻转的原理公式为：

x＝x₁

y＝b-y₁+1

上两式中，x与y图像翻转后某一像素点所在横坐标与纵坐标，a、b分别为图像二维矩阵的行数与列数，x₁与y₁是翻转前的图像某一像素点所在的横坐标与纵坐标。

步骤S13：对数据集中的原始训练集，既步骤S11中获取的训练集进行滤波处理，对滤波后的图像进行均值滤波的平滑操作用以消除噪声。

进一步地，步骤S13所述的滤波处理采用的是高斯滤波，用卷积扫描训练集图像中的每一个像素点，用模板确定的领域内像素的加权平均灰度值去替代模板中心像素点的值；高斯滤波原理公式为：

式中，A为二维高斯分布的幅值，(t，s)为中心点坐标，σ_t、σ_s是分布的概率的方差。

进一步地，所述步骤S2具体包括以下内容：对YOLOv3网络，调制参数，包括打开多尺度学习、在训练过程中调整学习率达到最佳效果以及将类别标签数改为1，所述类别标签即为将训练的类别标签设置为香烟这一单标签；利用Labelimg图片标注工具对S1步骤后经过翻转、滤波、平滑处理图像进行标注，标注出图像中香烟的位置与形状，用于训练，得到香烟模板库。

进一步地，当图像的整体对比度低，则采用基于直方图均衡化的图像增强方法进行图像细节的增强，通过对原图像通道分离后的RGB每个通道的像素灰度值进行映射性变换，使得经过变换后的像素灰度值在分布角度上更加均匀，然后将通道合并，使得图像像素灰度的动态范围得到提升，用以提升了图像的对比度与细节，使得香烟这一目标在图像中更加突出，容易检测；

当需要将图像中的中低灰度部分进行扩展与增强而高灰度部分保持不变的，则采用基于对数Log变换的图像增强方法，将图像通过二值化处理，读取出图像的矩阵掩码，经过Log变换处理后输出最终的图像，其原理公式为：

S＝c₁·log_v+1(1+v·r)r∈[0，1]

式中S为最终输出图像的灰度值，c₁为设定的常数，v是此变化中最重要的参数，由高到低与r乘积得到不同的底数，底数越大对低灰度部分的扩展就越强，对高灰度部分的压缩也就越强；

当图像边缘灰暗、目标与背景区分不太明显的，则采用基于拉普拉斯算子的图像增强方法，将香烟目标的浅色边缘线与突变点叠加，一起添加到暗色背景中产生图片，将拉普拉斯变换产生的图片与原图像叠加在一起，用以实现复原背景并保持拉普拉斯锐化处理的效果，使得香烟目标与背景之间的边缘清晰，其原理公式为：

式中，g为输出函数，d为源图像，c₂是系数，c₂代表加上细节的多少；

为拉普拉斯算子中的卷积核操作系数，采取中心点为5的8邻居拉普拉斯算子与图像进行卷积，用以锐化图像和增强图像，使得检测香烟目标有更好的准确率与置信度；

当图像的灰度值高，既曝光过度的图像，则采取基于Gamma变换的图像增强方法，用以使其整体灰度值降低；Gamma变换对每个像素值进行乘积运算达到改变像素灰度值的效果，其原理公式为：

w＝c₃l^γ l∈[0，1]

式中，γ值为指数，是整个函数的指标，以1为分界；当γ值小于1时，该值越小，对目标图像的低灰度部分的扩展和增强效果越大；当γ的值大于1时，该值越大，对目标图像的高灰度部分的压缩和衰减效果越大；利用不同的伽马值，可以通过伽马变换实现两种不同效果的图像处理。

进一步地，步骤S3中对当前帧进行图像增强的具体内容为：

若读入的为视频帧，并非当一图像时，则采用彩色图像自适应对比度增强方法，对于图像的每一个像素，分别计算其局部均值与局部标准差，其公式为：

上述式中，f(s，k)代表左边为(s，k)的点的像素值；M(i，j)为以点(i，j)为中心，窗口大小为(2n+1)，(2m+1)的区域局部均值；对应的τ²(i，j)为局部方差，τ(i，j)为局部图像的标准差；在取得局部均值与标准差后对图像进行增强。

进一步地，步骤S4中所述采用图像分割方法，，对像素大于500*500的图像，将图像中的香烟目标分割出来的具体内容是：

首先用户通过在图像上利用鼠标交互框选出香烟目标或带有香烟的人，得到一个初始的前景；

之后在被选定的目标区域范围内，即由人工交互框选的方框内，将像素初始化为1，即作为可能是目标；对人工交互框选的方框外的，将初始像素设为0，即外部的背景区域；

然后，采用一个K个的高斯分量的全协方差GMM，高斯混合模型对图像的目标和背景进行建模；整个图像的能量公式为：

E(α，p，θ，o)＝U(α，p，θ，o)+V(α，o)

公式中p就是P个高斯分量产生的一个向量k＝{P₁，P₂，..........，P_n}，其中P_n代表的是图像中第n个像素对应于哪个的高斯分量；对于每个像素为目标混合模型的某个高斯分量或背景的某个高斯分量；其中，函数中的U是区域项，表示像素被分类为目标或背景丢失，即像素被分类为背景的前景或负对数；根据高斯模型，利用像素样本集、RGB值得到协方差和参数均值；

最后，在高斯模型的建立完成后，进行不断的迭代，每次迭代会交互地优化模型和分割结果，一次保证迭代过程到最后是收敛的，最后输出分割后的前景，既香烟目标图像。

与现有技术相比，本发明有以下有益效果：

1、本发明能够有效地对图像中或视频中的香烟进行检测并及时的给出反馈。

2、本发明能够在保证跟踪效果的同时对视频中的人脸进行实时的检测。

3、针对检测过程中的图像或视频帧在不同环境下会受到的不同程度的影响，本发明针对图像提出了四种不同方面的增强技术，用以解决图像整体灰度值较低、部分灰度值较低、边缘模糊以及灰度值较高的问题；针对图像帧，本发明提出了一种自适应的图像增强技术，有效的提升的检测的检测率。

4、针对香烟检测过程中大图像出现的检测时间过长问题，本发明提出一种图像分割技术，将大图像中的香烟前进分离出来再进行检测，在不影响检测准确率的情况下大大提升了检测的效率。

附图说明

图1为本发明实施例的流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种监控场景下基于深度学习的香烟自动检测方法，包括以下步骤：

步骤S1：获取数据集，并分别采用翻转、滤波、平滑技术对原始香烟数据集进行处理，得到最终香烟训练数据集

步骤S2：使用步骤S1中所述的最终香烟训练数据集训练基于YOLOv3的深度学习网络，生成香烟模板库；

步骤S3：进行香烟检测：提供待检测的香烟图片或者视频，以所述识别待检测的香烟图片或视频的后缀名判断是图片或视频，若是.PNG、.JPG、.JEPG、.GIF、.BMP则认为是图片，对图像进行图像增强处理，否则若是.AVI、.MOV、.MP4的后缀名，则认为是视频，并以OpenCV中的VideoCapture类获取当前视频的视频帧并对当前帧采用自适应图像增强方法进行增强，对增强后的图像将其分为7*7的网格，每个网格在进行检测前预选随机生成两个预测框，执行步骤S5；

步骤S4：判断步骤S3中进行图像增强后的图像像素是否大于500*500，若是则采用图像分割方法将香烟目标在图像中分割出来，对分割出来的香烟图像将其分为7*7的网格，每个网格在进行检测前随机生成两个预测框，执行步骤S5；否则直接在未分割的原图像上分为7*7的网格，每个网格在进行预测前随机生成两个预测框，执行步骤S5；

步骤S5：将步骤S2中生成的香烟模板库分别与步骤S3和步骤S4中生成的预测框进行对比，判断经过S3步骤中的图像增强、S4步骤中的图像分割处理后的图片中检测到的香烟目标的置信度是否超过设定阈值，阈值设定为0.25；若是则框选出目标，图片输出检测结果，检测结束；否则跳出此预测框。

在本实施例中，步骤S3中对图像进行图像增强的方法包括但不限于直方图均衡化、拉普拉斯算子、对数log变换、伽马变换四种图像增加方法进行图像增强。

在本实施例中，所述步骤S5还可替换为以下内容：将步骤S2中生成的香烟模板库与步骤S5中生成的预测框进行对比，判断经过S3步骤中的图像增强、S4步骤中的图像分割处理后的图片中检测到的香烟目标的置信度是否超过设定阈值，阈值设定为.25；若是则框选出目标，输出结果；若为视频帧，则实时输出视频帧，并判断能否获取下一帧，若是则继续执行视频帧输出，实时检测，否则检测结束；若置信度没有超过设定阈值则跳过此预测框。

在本实施例中，所述步骤S1具体包括以下步骤：

步骤S11：获取香烟数据集；所述香烟数据集的获取是通过拍摄的图像以及网络资源图像下载；

步骤S12：将步骤S11中收集的数据集进行划分，其中80％的为训练集，10％的验证集以及10％的测试集，进行翻转变化，翻转变换通过改变图像的坐标，用以将图像呈现不同角度，以此达到增大训练集的目的；对图像的翻转主要通过对图像矩阵的坐标变换实现，包括上下翻转以及左右翻转，其中上下翻转原理公式为：

x＝a-x₁+1；

y＝y₁；

左右翻转的原理公式为：

x＝x₁

y＝b-y₁+1

上两式中，x与y为图像翻转后某一像素点所在横坐标与纵坐标，a、b分别为图像二维矩阵的行数与列数，x₁与y₁是翻转前的图像某一像素点所在的横坐标与纵坐标。上下翻转通过对图像像素点横坐标的变换实现，左右翻转则通过纵坐标的变换实现，通过翻转变换使得数据集扩大，使有更大的数据量。

步骤S13：对数据集中的原始训练集，即步骤S11中获取的训练集进行滤波处理，对滤波后的图像进行均值滤波的平滑操作用以消除噪声。

滤波处理在尽可能保留图像的细节特征的前提下对目标图像的噪声进行抑制，其中消除噪声的操作被称为平滑操作。通过滤波操作，可使训练集图像产生模糊化，其视觉效果如经过一个半透明屏幕观察头像，以此模拟恶劣条件下的情况对网络进行训练，使得后续检测对质量较差的图像也有较好的结果。

在本实施例中，步骤S13所述的滤波处理采用的是高斯滤波，用卷积扫描训练集图像中的每一个像素点，用模板确定的领域内像素的加权平均灰度值去替代模板中心像素点的值；高斯滤波原理公式为：

式中，A为二维高斯分布的幅值，(t，s)为中心点坐标，σ_t、σ_s是分布的概率的方差。通过对图像或视频帧的每一点像素点运用上述公式进行加权平均，每一个像素点变换后的值，都是由本身和领域内的其他像素值经过加权平均后得到。通过此使得数据集进一步扩大，使得后续对网络有更好的训练效果。

在本实施例中，所述步骤S2具体包括以下内容：对YOLOv3网络，包括打开多尺度学习、在训练过程中调整学习率达到最佳效果以及将类别标签数改为1，所述类别标签即为将训练的类别标签设置为香烟这一单标签；利用Labelimg图片标注工具对S1步骤后经过翻转、滤波、平滑处理图像进行标注，标注出图像中香烟的位置与形状，用于训练，得到香烟模板库

在本实施例中，当图像的整体对比度低，则采用基于直方图均衡化的图像增强方法进行图像细节的增强，通过对原图像通道分离后的RGB每个通道的像素灰度值进行映射性变换，使得经过变换后的像素灰度值在分布角度上更加均匀，然后将通道合并，使得图像像素灰度的动态范围得到提升，用以提升了图像的对比度与细节，使得香烟这一目标在图像中更加突出，容易检测；

当需要将图像中中低灰度部分进行扩展与增强而高灰度部分保持不变的，则采用基于对数Log变换的图像增强方法，将图像通过二值化处理，读取出图像的矩阵掩码，经过Log变换处理后输出最终的图像，其原理公式为：

S＝c₁·log_v+1(1+v·r) r∈[0，1]

式中S为最终输出图像的灰度值，c₁为设定的常数，v是此变化中最重要的参数，由高到低与r乘积得到不同的底数，底数越大对低灰度部分的扩展就越强，对高灰度部分的压缩也就越强；

当图像边缘灰暗、目标与背景区分不太明显的，则采用基于拉普拉斯算子的图像增强方法，将香烟目标的浅色边缘线与突变点叠加，一起添加到暗色背景中产生图片，将拉普拉斯变换产生的图片与原图像叠加在一起，用以实现复原背景并保持拉普拉斯锐化处理的效果，使得香烟目标与背景之间的边缘清晰，其原理公式为：

式中，g为输出函数，d为源图像，c₂是系数，代表加上细节的多少；

为拉普拉斯算子中的卷积核操作系数，采取中心点为5的8邻居拉普拉斯算子与图像进行卷积，用以锐化图像和增强图像，使得检测香烟目标有更好的准确率与置信度；

当图像的灰度值高，既曝光过度的图像，则采取基于Gamma变换的图像增强方法，用以使其整体灰度值降低；Gamma变换对每个像素值进行乘积运算达到改变像素灰度值的效果，其原理公式为：

w＝c₃l^γ l∈[0，1]

式中，γ值为指数，是整个函数的指标，以1为分界；当γ值小于1时，该值越小，对目标图像的低灰度部分的扩展和增强效果越大；当γ的值大于1时，该值越大，对目标图像的高灰度部分的压缩和衰减效果越大；利用不同的伽马值，可以通过伽马变换实现两种不同效果的图像处理。本实施例采取的为γ为2.5的变换，降低在高光照前强度下的图像灰度。

在本实施例中，步骤S3中对当前帧进行图像增强的具体内容为：

若读入的为视频帧，并非当一图像时，则采用彩色图像自适应对比度增强方法，对于图像的每一个像素，分别计算其局部均值与局部标准差，其公式为：

上述式中，f(s，k)代表左边为(s，k)的点的像素值；M(i，j)为以点(i，j)为中心，窗口大小为(2n+1)，(2m+1)的区域局部均值；对应的τ²(i，j)为局部方差，τ(i，j)为局部图像的标准差；在取得局部均值与标准差后对图像进行增强。

在本实施例中，步骤S4中所述采用图像分割方法，对像素值大于500*500的图像，将图像中的香烟目标分割出来的具体内容是：

首先用户通过在图像上利用鼠标交互框选出香烟目标或带有香烟的人，得到一个初始的前景；

之后在被选定的目标区域范围内，即由人工交互框选的方框内，将像素初始化为1，即作为可能是目标；对人工交互框选的方框外的，将初始像素设为0，即外部的背景区域；

然后，采用一个K个的高斯分量的全协方差GMM，高斯混合模型对图像的目标和背景进行建模；整个图像的能量公式为：

E(α，p，θ，o)＝U(α，p，θ，o)+V(α，o)

公式中p就是P个高斯分量产生的一个向量k＝{P₁，P₂，..........，P_n}，其中P_n代表的是图像中第n个像素对应于哪个的高斯分量；对于每个像素为目标混合模型的某个高斯分量或背景的某个高斯分量；其中，函数中的U是区域项，表示像素被分类为目标或背景丢失，即像素被分类为背景的前景或负对数；根据高斯模型，利用像素样本集、RGB值得到协方差和参数均值；

最后，在高斯模型的建立完成后，进行不断的迭代，每次迭代会交互地优化模型和分割结果，一次保证迭代过程到最后是收敛的，最后输出分割后的前景，既香烟目标图像。在进行检测时就会大大缩短检测的时间，对分辨率越大图像的效果尤为明显。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (9)

1.一种监控场景下基于深度学习的香烟自动检测方法，其特征在于：包括以下步骤：

步骤S1：获取数据集，并分别采用翻转、滤波、平滑方法对原始香烟数据集进行处理，得到最终香烟训练数据集；

步骤S2：使用步骤S1中所述的最终香烟训练数据集训练基于YOLOv3的深度学习网络，生成香烟模板库；

步骤S3：进行香烟检测：提供待检测的香烟图片或者视频，识别所述待检测的香烟图片或视频的后缀名来判断其是图片或视频，若是.PNG、.JPG、.JEPG、.GIF、.BMP则认为是图片，对图像进行图像增强处理，否则若是.AVI、.MOV、.MP4的后缀名，则认为是视频，并以OpenCV中的VideoCapture类获取当前视频的视频帧并对当前帧采用自适应图像增强方法进行增强，对增强后的图像将其分为7*7的网格，每个网格在进行检测前随机生成两个预测框，执行步骤S5；

步骤S4：判断步骤S3中进行图像增强后的图像像素是否大于500*500，若是则采用图像分割方法将香烟目标在图像中分割出来,对分割出来的香烟图像将其分为7*7的网格，每个网格在进行检测前随机生成两个预测框，执行步骤S5；否则直接在未分割的原图像上分为7*7的网格，每个网格在进行检测前随机生成两个预测框，执行步骤S5；

步骤S5：将步骤S2中生成的香烟模板库分别与步骤S3和步骤S4中生成的预测框进行对比，判断经过S3步骤中的图像增强、S4步骤中的图像分割处理后的图片中检测到的香烟目标的置信度是否超过设定阈值，所述阈值为0.25；若是则框选出目标，图片输出检测结果，检测结束；否则跳出此预测框。

2.根据权利要求1所述的一种监控场景下基于深度学习的香烟自动检测方法，其特征在于：步骤S3中对图像进行图像增强的方法包括直方图均衡化、拉普拉斯算子、对数log变换、伽马变换四种图像增加方法进行图像增强。

3.根据权利要求1所述的一种监控场景下基于深度学习的香烟自动检测方法，其特征在于：所述步骤S5还可替换为以下内容：将步骤S2中生成的香烟模板库与步骤S4中生成的预测框进行对比，判断经过S3步骤中的图像增强、S4步骤中的图像分割处理后的图片中检测到的香烟目标的置信度是否超过设定阈值；若是则框选出目标，输出结果；若为视频帧，则实时输出视频帧，并判断能否获取下一帧，若是则继续执行视频帧输出，实时检测，否则检测结束；若置信度没有超过设定阈值则跳过此预测框。

4.根据权利要求1所述的一种监控场景下基于深度学习的香烟自动检测方法，其特征在于：所述步骤S1具体包括以下步骤：

步骤S11：获取香烟数据集；所述香烟数据集的获取是通过拍摄的图像以及网络资源图像下载；

步骤S12：将步骤S11中收集的数据集进行划分，其中80％为训练集，10％为验证集，10％为测试集；对数据集中的训练集进行翻转变化，翻转变换通过改变图像的坐标，用以将图像呈现不同角度，增大训练集；对图像的翻转主要通过对图像矩阵的坐标变换实现，包括上下翻转以及左右翻转，其中上下翻转原理公式为：

x＝a-x₁+1；

y＝y₁；

左右翻转的原理公式为：

x＝x₁

y＝b-y₁+1

上两式中，x与y为图像翻转后某一像素点所在横坐标与纵坐标，a、b分别为图像二维矩阵的行数与列数，x₁与y₁是翻转前的图像某一像素点所在的横坐标与纵坐标；

步骤S13：对数据集中的原始训练集，即步骤S11中获取的训练集进行滤波处理，对滤波后的图像进行均值滤波的平滑操作用以消除噪声。

5.根据权利要求4所述的一种监控场景下基于深度学习的香烟自动检测方法，其特征在于：步骤S13所述的滤波处理采用的是高斯滤波，用卷积扫描训练集图像中的每一个像素点，用模板确定的领域内像素的加权平均灰度值去替代模板中心像素点的值；高斯滤波原理公式为：

式中，A为二维高斯分布的幅值，(t，s)为中心点坐标，σ_t、σ_s是分布的概率的方差。

6.根据权利要求1所述的一种监控场景下基于深度学习的香烟自动检测方法，其特征在于：所述步骤S2具体包括以下内容：对YOLOv3网络调制参数，所述调制参数为打开多尺度学习、在训练过程中调整学习率达到最佳效果以及将类别标签数改为1，所述类别标签即为将训练的类别标签设置为香烟这一单标签；利用Labelimg图片标注工具对步骤S1后经过翻转、滤波、平滑处理后的图像进行标注，标注出图像中香烟的位置与形状，用于训练，得到香烟模板库。

7.根据权利要求2所述的一种监控场景下基于深度学习的香烟自动检测方法，其特征在于：

当图像的整体对比度低时，则采用基于直方图均衡化的图像增强方法进行图像细节的增强，对原图像通道分离后的RGB每个通道的像素灰度值进行映射性变换，然后将通道合并；

当需要将图像中的中低灰度部分进行扩展与增强而高灰度部分保持不变时，则采用基于对数Log变换的图像增强方法，将图像通过二值化处理，读取出图像的矩阵掩码，经过对数Log变换处理后输出最终的图像，其原理公式为：

S＝c₁·log_v+1(1+v·r)，r∈[0，1]

式中S为最终输出图像的灰度值，c₁为设定的常数，v是此变化中最重要的参数，由高到低与r乘积得到不同的底数；

当图像边缘灰暗、目标与背景区分不太明显时，则采用基于拉普拉斯算子的图像增强方法，将香烟目标的浅色边缘线与突变点叠加，一起添加到暗色背景中产生图片，即将拉普拉斯变换产生的图片与原图像叠加在一起，其原理公式为：

式中，g为输出函数，d为源图像，c₂是系数，c₂代表加上细节的多少；

为拉普拉斯算子中的卷积核操作系数，采取中心点为5的8邻居拉普拉斯算子与图像进行卷积；

当图像的灰度值高时，即曝光过度的图像，则采取基于伽马变换的图像增强方法，降低整体灰度值；伽马变换对每个像素值进行乘积运算来改变像素灰度值，其原理公式为：

w＝c₃l^γ，l∈[0，1]

式中，γ值为指数，是整个函数的指标，以1为分界；利用不同的伽马值，通过伽马变换实现两种不同效果的图像处理。

8.根据权利要求1所述的一种监控场景下基于深度学习的香烟自动检测方法，其特征在于：步骤S3中对当前帧进行图像增强的具体内容为：

若读入的为视频帧，并非单一图像时，则采用彩色图像自适应对比度增强方法，对于图像的每一个像素，分别计算其局部均值与局部标准差，其公式为：

上述式中，f(s，k)代表左边为(s，k)的点的像素值；M(i，j)为以点(i，j)为中心，窗口大小为(2n+1)，(2m+1)的区域局部均值；对应的τ²(i，j)为局部方差，τ(i，j)为局部图像的标准差；在取得局部均值与标准差后对图像进行增强。

9.根据权利要求1所述的一种监控场景下基于深度学习的香烟自动检测方法，其特征在于：步骤S4中所述采用图像分割方法，对像素大于500*500的图像，将图像中的香烟目标分割出来的具体内容是：

首先用户通过在图像上利用鼠标交互框选出香烟目标或带有香烟的人，得到一个初始的前景；

之后在被选定的目标区域范围内，即由人工交互框选的方框内，将像素初始化为1，即作为可能是目标；对人工交互框选的方框外的，将初始像素设为0，即外部的背景区域；

然后，采用一个包含P个的高斯分量的全协方差高斯混合模型对图像的目标和背景进行建模；整个图像的能量公式为：

E(α，p，θ，o)＝U(α，p，θ，o)+V(α，o)

公式中p就是P个高斯分量产生的一个向量k＝{P₁，P₂，………，P_n}，其中P_n代表的是图像中第n个像素对应的高斯分量；对于图像中每个像素，其为目标混合模型的某个高斯分量或背景的某个高斯分量；其中，函数中的U是区域项，表示像素被分类为目标或背景丢失，即像素被分类为背景的前景或负对数；根据高斯混合模型，利用像素样本集、RGB值得到协方差和参数均值；

最后，在高斯混合模型的建立完成后，进行不断的迭代，每次迭代会交互地优化模型和分割结果，以此保证迭代过程到最后是收敛的，最后输出分割后的前景，即香烟目标图像。

Images