CN113239860A - 一种基于视频的烟火检测方法 - Google Patents
一种基于视频的烟火检测方法 Download PDFInfo
- Publication number
- CN113239860A CN113239860A CN202110589355.9A CN202110589355A CN113239860A CN 113239860 A CN113239860 A CN 113239860A CN 202110589355 A CN202110589355 A CN 202110589355A CN 113239860 A CN113239860 A CN 113239860A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- algorithm
- channel
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 239000000779 smoke Substances 0.000 title claims abstract description 34
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 95
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 230000006872 improvement Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 10
- 125000004122 cyclic group Chemical group 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000011176 pooling Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，具体地说，涉及一种基于视频的烟火检测方法。包括图像获取、图像预处理、图像组合、烟火目标检测、深度学习等步骤。本发明设计通过结合烟、火运动信息与深度学习的优点，将深度学习目标检测的三通道彩色图像输入修改为同一摄像头不同时间点的图像组合成的多通道图像，并通过多种目标检测算法或两种以上的联合算法对图像中可能存在的运动的烟火目标进行检测跟踪，可以有效降低误报的概率，降低方法对图像质量的要求，提高检测准确率，扩大烟火检测方法的应用场景，可以有效应用于环境的安全监控。
Description
技术领域
本发明涉及图像处理技术领域，具体地说，涉及一种基于视频的烟火检测方法。
背景技术
目前，烟火检测深度学习方法基本上采用样本标注、模型训练的方式，该方法在大多出场景中是适用的，但其对图像质量要求比较高，比如画面内不能有类似于烟、火的物品，或者相近颜色的东西，否则会出现检测准确率较低的情况，还可能将静止物体或运动过于缓慢的物体当成目标误判。
发明内容
本发明的目的在于提供一种基于视频的烟火检测方法，以解决上述背景技术中提出的问题。
为实现上述技术问题的解决，本发明的目的之一在于，提供了一种基于视频的烟火检测方法，包括如下步骤：
S1、图像获取，获取同一摄像头不同时间点的若干图像信息；
S2、图像预处理，对获取的图像进行预处理，使图像增强；
S3、图像组合，合成同一画面间隔一定时间的多帧图像组合，包括单通道灰度图堆叠的三通图像及n张三通道彩色图堆叠的3*n通道图像；
S4、烟火目标检测，通过YOLO、SSD、Camshift、KCF等目标检测算法或联合算法进行目标检测和目标跟踪；
S5、深度学习，通过深度学习算法，扩展方法的应用场景。
其中，图像获取设备不限于摄像头、摄像机、视频采集卡等，且图像获取设备优选为位置固定的设备；对图像进行处理的设备可以为服务器或FPGA。
其中，S4中，该方法的实现不限于Yolo、SSD等目标检测算法。
作为本技术方案的进一步改进，所述S2中，图像预处理的方法包括如下步骤：
S2.1、对获取的原始图像进行提升亮度及高通滤波处理，突出图像边缘；
S2.2、对彩色平衡处理后的图像进行均值滤波处理，实现降噪，使图像增强；
S2.3、对彩色图像进行灰度化处理，并分别保存每张图片的单通道灰度图像。
其中，图像预处理的目的使减少冗余信息、去除噪点；具体地，常见的图像增强的方法按照不同作用域分为空域和频域增强，空域的方法有灰度变换、直方图均衡化和空域滤波等，频域增强有高通、低通和同态滤波等。本实施例中，图像增强的方法不限于高通滤波和均值滤波。
其中，高通滤波处理用于提高图像的清晰度，锐化图像边缘，便于更好识别烟火目标。
其中，均值滤波的实现过程为：在图像目标像素上给定一个模板，该模板周围包括其周围临近的像素，将模板中的全体像素进行求平均值，用均值代替原像素值，以实现像素的平滑，突出细节信息、忽略边缘，达到去噪的目的。
此外，S2.3中，彩色图转灰度图的表达公式为：
。
作为本技术方案的进一步改进，所述S3中，图像组合的的方法包括如下步骤：
S3.1、针对单通道灰度图像的组合，将前一帧时间点tb的R单通道灰度图、当前帧时间点tn的B单通道灰度图、G单通道灰度图按顺序依次堆叠形成三通道图像；
S3.2、针对彩色图像的组合，先将不同时间点的视频帧图像分别转换为三通道彩色图像，再将n张不同时间点的三通道彩色图像按时间顺序依次堆叠成3*n通道图像，相邻两张视频帧图像之间的时间间隔相同。
作为本技术方案的进一步改进，所述S4中，通过YOLO与KCF算法联合对图像进行烟火目标检测的方法包括如下步骤：
S4.1、将上述组合的三通道图像或3*n通道图像导入YOLO算法模型中，通过YOLO算法进行目标检测；
S4.2、通过YOLO算法初始化YCF算法跟踪窗口；
S4.3、通过KCF算法进行目标跟踪；
S4.4、将KCF算法预测的目标位置与YOLO算法目标检测位置在x轴方向上的数值进行比较，通过二者的比值偏移误差率OER来判断目标是否发生偏移；
S4.5、若目标发生偏移，则利用此时YOLO算法检测位置作为观测值；若目标未发生偏移，则以KCF算法计算值作为观测值；
S4.6、若目标丢失，则返回S4.2，通过YOLO算法再次进行初始化来重新实现目标跟踪；
S4.7、最后在图像上更新检测的目标位置，并输出烟火目标运动的跟踪结果。
作为本技术方案的进一步改进，所述S4.4中，偏移误差率OER的计算表达式如下：
其中，x为YOLO算法目标检测的目标位置（x，y）在x轴方向上的坐标值，kx为KCF算法预测的目标位置（kx，ky）在x轴方向上的坐标值，OER为两种算法在x轴方向上的比值。
其中，利用KCF算法跟踪目标，通过OER判断是否发生偏移或丢失目标现象，若OER≥β，其中β为偏移阈值，则认为目标跟踪发生偏移，在判断出目标发生偏移后，将此时的YOLO算法目标边框赋值KCF算法重新跟踪；若OER＜β，则认为此时目标被跟踪，用KCF算法继续跟踪；若OER=0，此时KCF算法丢失目标，则通过YOLO算法对KCF算法再次进行初始化来再次实现目标跟踪。
其中，YOLO算法与KCF算法联合，可以有效提高目标跟踪的准确率和鲁棒性，且在视频摄像头发生偏转时，也能有效识别并跟踪目标。
作为本技术方案的进一步改进，所述S4.1中，通过YOLO算法进行目标检测的方法包括如下步骤：
S4.1.1、将三通道图像或3*n通道图像导入YOLO算法模型中，将输入的图像划分为S*S的网格，同时通过卷积运算获取特征图；
S4.1.2、分别检测每个网格中是否存在目标，若否则直接结束检测，若是，则获取目标类别和目标边框；
S4.1.3、目标边框由中心点偏移（x，y）、宽高（w，h）和置信度五维预测参数组成，获取目标边框的五维参数值，计算目标类的置信度；
S4.1.4、使用两个全连接层将多维数据“拉伸”成为一维向量，并将全连接层数据分类输出相似，输出的特征图个数为目标的分类数，最后通过统一的方式对该向量进行解码并在原图像中绘制出检测结果。
其中，YOLO算法的原理为：在目标检测过程中采用针对目标检测任务设计的CNN进行特征提取，通过全连接层对识别出来的目标进行位置预测和分类。
其中，YOLO算法的网络模型由输入层、池化层、全连接层及输出层构成。
具体地，因全连接层要求固定大小的向量作为输入，则YOLO算法的输入层需将输入的图像剪切成S*S的固定大小；输入层之后是24层卷积层，通过对输入图像进行卷积运算获得特征图，记录特征数据方便后续的分类和目标定位；池化层与卷积神经网络池化层功能相同，即为用一个值代替对应区域像素点；再使用两个全连接层将卷积池化后多维数据拉伸成为一维向量，为后面的分类和位置确定做铺垫；YOLO网络模型的最后一层输出层与CNN算法中的SoftMax分类器实现将全连接层数据分类输出相似的过程。
作为本技术方案的进一步改进，所述S4.1.3中，置信度的计算表达式如下：
式中，
表示网格目标边框中目标存在的可能性，
代表目标对象，
用于展示当前模型预测到的目标边框位置的准确性，其表达式为：
其中，
表示预测的目标边框，
表示真实目标边框。
作为本技术方案的进一步改进，所述S4.3中，通过KCF算法进行目标跟踪的方法包括如下步骤：
S4.3.1、先在追踪过程中训练一个目标检测器，使用所需的目标检测器去检测下一帧视频图像来预测该位置是否是所需的目标，再使用新的检测结果去更新训练集；
S4.3.2、在当前帧选取与前一帧目标所在位置的目标区域坐标，提取基本候选样本，建立目标区域模型；
S4.3.3、将目标区域作为正样本、周围不包括目标的区域视为负样本，选定的目标区域和周围区域的循环矩阵进行水平、垂直的循环移位来产生大量的样本，实现目标检测器的训练，依次来进行目标跟踪。
作为本技术方案的进一步改进，所述S4.3.1中，训练目标检测器的计算表达式如下：
设训练样本集为
，则其线性回归函数如下所示：
其中，w代表列向量的权重系数，为了降低损失函数，优化算法，进而采用最小二乘法来求解：
其矩阵形式为：
其中，上式称为脊回归，
是最小化风险参数，又称为惩罚项，λ是正则化参数，
可以防止过拟合，计算权值w，求解公式如下：
其中，行向量矩阵表示为
，y表示回归值，yi是列向量，因考
虑到傅立叶变化中有负数的存在，所以要计算复数矩阵，则将上式转化为复数形式如下：
其中，X的共轭复数转置矩阵为XH。
作为本技术方案的进一步改进，所述S4.3.2中，建立目标区域模型的过程包括如下步骤：
设样本大小为w*h的图像块，通过循环移位获取一系列样本集合，设为
，对每个候选样本进行权值系数计算，在根据
计算检测样本与目标相似度进行加权求和，得到下一帧的响应值，为了提
高运行速度，则求解转换为频域公式，如下所示：
本发明的目的之二在于，提供了一种基于视频的烟火检测方法的运行装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述任一的基于视频的烟火检测方法的步骤。
本发明的目的之三在于，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一的基于视频的烟火检测方法的步骤。
与现有技术相比，本发明的有益效果：该基于视频的烟火检测方法中，通过结合烟、火运动信息与深度学习的优点，将深度学习目标检测的三通道彩色图像输入修改为同一摄像头不同时间点的图像组合成的多通道图像，并通过多种目标检测算法或两种以上的联合算法对图像中可能存在的运动的烟火目标进行检测跟踪，可以有效降低误报的概率，降低方法对图像质量的要求，提高检测准确率，扩大烟火检测方法的应用场景，可以有效应用于环境的安全监控。
附图说明
图1为本发明的示例性局部网络结构架构图；
图2为本发明的整体方法流程框图；
图3为本发明的局部方法流程框图之一；
图4为本发明的局部方法流程框图之二；
图5为本发明的局部方法流程框图之三；
图6为本发明的局部方法流程框图之四；
图7为本发明的局部方法流程框图之五。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1-图7所示，本实施例提供了一种基于视频的烟火检测方法，包括如下步骤：
S1、图像获取，获取同一摄像头不同时间点的若干图像信息；
S2、图像预处理，对获取的图像进行预处理，使图像增强；
S3、图像组合，合成同一画面间隔一定时间的多帧图像组合，包括单通道灰度图堆叠的三通图像及n张三通道彩色图堆叠的3*n通道图像；
S4、烟火目标检测，通过YOLO、SSD、Camshift、KCF等目标检测算法或联合算法进行目标检测和目标跟踪；
S5、深度学习，通过深度学习算法，扩展方法的应用场景。
其中，图像获取设备不限于摄像头、摄像机、视频采集卡等，且图像获取设备优选为位置固定的设备；对图像进行处理的设备可以为服务器或FPGA。
其中，S4中，该方法的实现不限于Yolo、SSD等目标检测算法。
本实施例中，S2中，图像预处理的方法包括如下步骤：
S2.1、对获取的原始图像进行提升亮度及高通滤波处理，突出图像边缘；
S2.2、对彩色平衡处理后的图像进行均值滤波处理，实现降噪，使图像增强；
S2.3、对彩色图像进行灰度化处理，并分别保存每张图片的单通道灰度图像。
其中，图像预处理的目的使减少冗余信息、去除噪点；具体地，常见的图像增强的方法按照不同作用域分为空域和频域增强，空域的方法有灰度变换、直方图均衡化和空域滤波等，频域增强有高通、低通和同态滤波等。本实施例中，图像增强的方法不限于高通滤波和均值滤波。
其中，高通滤波处理用于提高图像的清晰度，锐化图像边缘，便于更好识别烟火目标。
其中，均值滤波的实现过程为：在图像目标像素上给定一个模板，该模板周围包括其周围临近的像素，将模板中的全体像素进行求平均值，用均值代替原像素值，以实现像素的平滑，突出细节信息、忽略边缘，达到去噪的目的。
此外，S2.3中，彩色图转灰度图的表达公式为：
。
3.根据权利要求1的基于视频的烟火检测方法，其特征在于：S3中，图像组合的的方法包括如下步骤：
S3.1、针对单通道灰度图像的组合，将前一帧时间点tb的R单通道灰度图、当前帧时间点tn的B单通道灰度图、G单通道灰度图按顺序依次堆叠形成三通道图像；
S3.2、针对彩色图像的组合，先将不同时间点的视频帧图像分别转换为三通道彩色图像，再将n张不同时间点的三通道彩色图像按时间顺序依次堆叠成3*n通道图像，相邻两张视频帧图像之间的时间间隔相同。
本实施例中，S4中，通过YOLO与KCF算法联合对图像进行烟火目标检测的方法包括如下步骤：
S4.1、将上述组合的三通道图像或3*n通道图像导入YOLO算法模型中，通过YOLO算法进行目标检测；
S4.2、通过YOLO算法初始化YCF算法跟踪窗口；
S4.3、通过KCF算法进行目标跟踪；
S4.4、将KCF算法预测的目标位置与YOLO算法目标检测位置在x轴方向上的数值进行比较，通过二者的比值偏移误差率OER来判断目标是否发生偏移；
S4.5、若目标发生偏移，则利用此时YOLO算法检测位置作为观测值；若目标未发生偏移，则以KCF算法计算值作为观测值；
S4.6、若目标丢失，则返回S4.2，通过YOLO算法再次进行初始化来重新实现目标跟踪；
S4.7、最后在图像上更新检测的目标位置，并输出烟火目标运动的跟踪结果。
具体地，S4.4中，偏移误差率OER的计算表达式如下：
其中，x为YOLO算法目标检测的目标位置（x，y）在x轴方向上的坐标值，kx为KCF算法预测的目标位置（kx，ky）在x轴方向上的坐标值，OER为两种算法在x轴方向上的比值。
其中，利用KCF算法跟踪目标，通过OER判断是否发生偏移或丢失目标现象，若OER≥β，其中β为偏移阈值，则认为目标跟踪发生偏移，在判断出目标发生偏移后，将此时的YOLO算法目标边框赋值KCF算法重新跟踪；若OER＜β，则认为此时目标被跟踪，用KCF算法继续跟踪；若OER=0，此时KCF算法丢失目标，则通过YOLO算法对KCF算法再次进行初始化来再次实现目标跟踪。
其中，YOLO算法与KCF算法联合，可以有效提高目标跟踪的准确率和鲁棒性，且在视频摄像头发生偏转时，也能有效识别并跟踪目标。
进一步地，S4.1中，通过YOLO算法进行目标检测的方法包括如下步骤：
S4.1.1、将三通道图像或3*n通道图像导入YOLO算法模型中，将输入的图像划分为S*S的网格，同时通过卷积运算获取特征图；
S4.1.2、分别检测每个网格中是否存在目标，若否则直接结束检测，若是，则获取目标类别和目标边框；
S4.1.3、目标边框由中心点偏移（x，y）、宽高（w，h）和置信度五维预测参数组成，获取目标边框的五维参数值，计算目标类的置信度；
S4.1.4、使用两个全连接层将多维数据“拉伸”成为一维向量，并将全连接层数据分类输出相似，输出的特征图个数为目标的分类数，最后通过统一的方式对该向量进行解码并在原图像中绘制出检测结果。
其中，YOLO算法的原理为：在目标检测过程中采用针对目标检测任务设计的CNN进行特征提取，通过全连接层对识别出来的目标进行位置预测和分类。
其中，YOLO算法的网络模型由输入层、池化层、全连接层及输出层构成。
具体地，因全连接层要求固定大小的向量作为输入，则YOLO算法的输入层需将输入的图像剪切成S*S的固定大小；输入层之后是24层卷积层，通过对输入图像进行卷积运算获得特征图，记录特征数据方便后续的分类和目标定位；池化层与卷积神经网络池化层功能相同，即为用一个值代替对应区域像素点；再使用两个全连接层将卷积池化后多维数据拉伸成为一维向量，为后面的分类和位置确定做铺垫；YOLO网络模型的最后一层输出层与CNN算法中的SoftMax分类器实现将全连接层数据分类输出相似的过程。
具体地，S4.1.3中，置信度的计算表达式如下：
式中，
表示网格目标边框中目标存在的可能性，
代表目标对象，
用于展示当前模型预测到的目标边框位置的准确性，其表达式为：
其中，
表示预测的目标边框， QUOTE 
表示真实目标边
框。
进一步地，S4.3中，通过KCF算法进行目标跟踪的方法包括如下步骤：
S4.3.1、先在追踪过程中训练一个目标检测器，使用所需的目标检测器去检测下一帧视频图像来预测该位置是否是所需的目标，再使用新的检测结果去更新训练集；
S4.3.2、在当前帧选取与前一帧目标所在位置的目标区域坐标，提取基本候选样本，建立目标区域模型；
S4.3.3、将目标区域作为正样本、周围不包括目标的区域视为负样本，选定的目标区域和周围区域的循环矩阵进行水平、垂直的循环移位来产生大量的样本，实现目标检测器的训练，依次来进行目标跟踪。
具体地，S4.3.1中，训练目标检测器的计算表达式如下：
设训练样本集为
，则其线性回归函数如下所示：
其中，w代表列向量的权重系数，为了降低损失函数，优化算法，进而采用最小二乘法来求解：
其矩阵形式为：
其中，上式称为脊回归，
是最小化风险参数，又称为惩罚项，λ是正则化参数，
可以防止过拟合，计算权值w，求解公式如下：
其中，行向量矩阵表示为
，y表示回归值，yi是列向量，因考
虑到傅立叶变化中有负数的存在，所以要计算复数矩阵，则将上式转化为复数形式如下：
其中，X的共轭复数转置矩阵为XH。
具体地，S4.3.2中，建立目标区域模型的过程包括如下步骤：
设样本大小为w*h的图像块，通过循环移位获取一系列样本集合，设为
，对每个候选样本进行权值系数计算，在根据
计算检测样本与目标相似度进行加权求和，得到下一帧的响应值，为了提
高运行速度，则求解转换为频域公式，如下所示：
本实施例还提供一种基于视频的烟火检测方法的运行装置，该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。
处理器包括一个或一个以上处理核心，处理器通过总线与处理器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的基于视频的烟火检测方法。
可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于视频的烟火检测方法的步骤。
可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面基于视频的烟火检测方法的步骤。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储与一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种基于视频的烟火检测方法，其特征在于：包括如下步骤：
S1、图像获取，获取同一摄像头不同时间点的若干图像信息；
S2、图像预处理，对获取的图像进行预处理，使图像增强；
S3、图像组合，合成同一画面间隔一定时间的多帧图像组合，包括单通道灰度图堆叠的三通图像及n张三通道彩色图堆叠的3*n通道图像；
S4、烟火目标检测，通过YOLO、SSD、Camshift、KCF等目标检测算法或联合算法进行目标检测和目标跟踪；
S5、深度学习，通过深度学习算法，扩展方法的应用场景。
2.根据权利要求1所述的基于视频的烟火检测方法，其特征在于：所述S2中，图像预处理的方法包括如下步骤：
S2.1、对获取的原始图像进行提升亮度及高通滤波处理，突出图像边缘；
S2.2、对彩色平衡处理后的图像进行均值滤波处理，实现降噪，使图像增强；
S2.3、对彩色图像进行灰度化处理，并分别保存每张图片的单通道灰度图像。
3.根据权利要求1所述的基于视频的烟火检测方法，其特征在于：所述S3中，图像组合的的方法包括如下步骤：
S3.1、针对单通道灰度图像的组合，将前一帧时间点tb的R单通道灰度图、当前帧时间点tn的B单通道灰度图、G单通道灰度图按顺序依次堆叠形成三通道图像；
S3.2、针对彩色图像的组合，先将不同时间点的视频帧图像分别转换为三通道彩色图像，再将n张不同时间点的三通道彩色图像按时间顺序依次堆叠成3*n通道图像，相邻两张视频帧图像之间的时间间隔相同。
4.根据权利要求1所述的基于视频的烟火检测方法，其特征在于：所述S4中，通过YOLO与KCF算法联合对图像进行烟火目标检测的方法包括如下步骤：
S4.1、将上述组合的三通道图像或3*n通道图像导入YOLO算法模型中，通过YOLO算法进行目标检测；
S4.2、通过YOLO算法初始化YCF算法跟踪窗口；
S4.3、通过KCF算法进行目标跟踪；
S4.4、将KCF算法预测的目标位置与YOLO算法目标检测位置在x轴方向上的数值进行比较，通过二者的比值偏移误差率OER来判断目标是否发生偏移；
S4.5、若目标发生偏移，则利用此时YOLO算法检测位置作为观测值；若目标未发生偏移，则以KCF算法计算值作为观测值；
S4.6、若目标丢失，则返回S4.2，通过YOLO算法再次进行初始化来重新实现目标跟踪；
S4.7、最后在图像上更新检测的目标位置，并输出烟火目标运动的跟踪结果。
5.根据权利要求4所述的基于视频的烟火检测方法，其特征在于：所述S4.4中，偏移误差率OER的计算表达式如下：
其中，x为YOLO算法目标检测的目标位置（x，y）在x轴方向上的坐标值，kx为KCF算法预测的目标位置（kx，ky）在x轴方向上的坐标值，OER为两种算法在x轴方向上的比值。
6.根据权利要求4所述的基于视频的烟火检测方法，其特征在于：所述S4.1中，通过YOLO算法进行目标检测的方法包括如下步骤：
S4.1.1、将三通道图像或3*n通道图像导入YOLO算法模型中，将输入的图像划分为S*S的网格，同时通过卷积运算获取特征图；
S4.1.2、分别检测每个网格中是否存在目标，若否则直接结束检测，若是，则获取目标类别和目标边框；
S4.1.3、目标边框由中心点偏移（x，y）、宽高（w，h）和置信度五维预测参数组成，获取目标边框的五维参数值，计算目标类的置信度；
S4.1.4、使用两个全连接层将多维数据“拉伸”成为一维向量，并将全连接层数据分类输出相似，输出的特征图个数为目标的分类数，最后通过统一的方式对该向量进行解码并在原图像中绘制出检测结果。
7.根据权利要求6所述的基于视频的烟火检测方法，其特征在于：所述S4.1.3中，置信度的计算表达式如下：
式中， 
表示网格目标边框中目标存在的可能性， 
代表目标对象， 
用于展示当前模型预测到的目标边框位置的准确性，其表达式为：
其中， 
表示预测的目标边框，
表示真实目标边框。
8.根据权利要求4所述的基于视频的烟火检测方法，其特征在于：所述S4.3中，通过KCF算法进行目标跟踪的方法包括如下步骤：
S4.3.1、先在追踪过程中训练一个目标检测器，使用所需的目标检测器去检测下一帧视频图像来预测该位置是否是所需的目标，再使用新的检测结果去更新训练集；
S4.3.2、在当前帧选取与前一帧目标所在位置的目标区域坐标，提取基本候选样本，建立目标区域模型；
S4.3.3、将目标区域作为正样本、周围不包括目标的区域视为负样本，选定的目标区域和周围区域的循环矩阵进行水平、垂直的循环移位来产生大量的样本，实现目标检测器的训练，依次来进行目标跟踪。
9.根据权利要求8所述的基于视频的烟火检测方法，其特征在于：所述S4.3.1中，训练目标检测器的计算表达式如下：
设训练样本集为 
，则其线性回归函数如下所示：
其中，w代表列向量的权重系数，为了降低损失函数，优化算法，进而采用最小二乘法来求解：
其矩阵形式为：
其中，上式称为脊回归， 
是最小化风险参数，又称为惩罚项，λ是正则化参数，可
以防止过拟合，计算权值w，求解公式如下：
其中，行向量矩阵表示为 
，y表示回归值，yi是列向量，因考虑
到傅立叶变化中有负数的存在，所以要计算复数矩阵，则将上式转化为复数形式如下：
其中，X的共轭复数转置矩阵为XH。
10.根据权利要求8所述的基于视频的烟火检测方法，其特征在于：所述S4.3.2中，建立目标区域模型的过程包括如下步骤：
设样本大小为w*h的图像块，通过循环移位获取一系列样本集合，设为 
，对每个候选样本进行权值系数计算，在根据 
计算检测样本与目标相似度进行加权求和，得到下一帧的响应值，为了
提高运行速度，则求解转换为频域公式，如下所示：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110589355.9A CN113239860B (zh) | 2021-05-28 | 2021-05-28 | 一种基于视频的烟火检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110589355.9A CN113239860B (zh) | 2021-05-28 | 2021-05-28 | 一种基于视频的烟火检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113239860A true CN113239860A (zh) | 2021-08-10 |
| CN113239860B CN113239860B (zh) | 2024-05-24 |
Family
ID=77139371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110589355.9A Active CN113239860B (zh) | 2021-05-28 | 2021-05-28 | 一种基于视频的烟火检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113239860B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993626A (zh) * | 2023-09-26 | 2023-11-03 | 成都市晶林科技有限公司 | 一种基于时空域的红外图像降噪方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090251482A1 (en) * | 2008-04-03 | 2009-10-08 | Sony Corporation | Image processing apparatus, display control method, program, and storage medium |
| US20110081043A1 (en) * | 2009-10-07 | 2011-04-07 | Sabol Bruce M | Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background |
| CN107341820A (zh) * | 2017-07-03 | 2017-11-10 | 郑州轻工业学院 | 一种融合Cuckoo搜索和KCF的突变运动目标跟踪方法 |
| US20200065976A1 (en) * | 2018-08-23 | 2020-02-27 | Seoul National University R&Db Foundation | Method and system for real-time target tracking based on deep learning |
| CN111259742A (zh) * | 2020-01-09 | 2020-06-09 | 南京理工大学 | 基于深度学习的异常人群检测方法 |
| CN111582074A (zh) * | 2020-04-23 | 2020-08-25 | 安徽海德瑞丰信息科技有限公司 | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 |
-
2021
- 2021-05-28 CN CN202110589355.9A patent/CN113239860B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090251482A1 (en) * | 2008-04-03 | 2009-10-08 | Sony Corporation | Image processing apparatus, display control method, program, and storage medium |
| US20110081043A1 (en) * | 2009-10-07 | 2011-04-07 | Sabol Bruce M | Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background |
| CN107341820A (zh) * | 2017-07-03 | 2017-11-10 | 郑州轻工业学院 | 一种融合Cuckoo搜索和KCF的突变运动目标跟踪方法 |
| US20200065976A1 (en) * | 2018-08-23 | 2020-02-27 | Seoul National University R&Db Foundation | Method and system for real-time target tracking based on deep learning |
| CN111259742A (zh) * | 2020-01-09 | 2020-06-09 | 南京理工大学 | 基于深度学习的异常人群检测方法 |
| CN111582074A (zh) * | 2020-04-23 | 2020-08-25 | 安徽海德瑞丰信息科技有限公司 | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| QUN LIJINYAN NIESHAOCHENG QU: ""A small target detection algorithm in infrared image by combining multi-response fusion and local contrast enhancement"", 《OPTIK》, 30 April 2021 (2021-04-30) * |
| 来文豪，周孟然，胡锋，卞凯，宋红萍: ""基于多光谱成像和改进YOLO v4的煤矸石检测"", 《光学学报》, 31 December 2020 (2020-12-31) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993626A (zh) * | 2023-09-26 | 2023-11-03 | 成都市晶林科技有限公司 | 一种基于时空域的红外图像降噪方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113239860B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109241913B (zh) | 结合显著性检测和深度学习的船只检测方法及系统 | |
| CN107358623B (zh) | 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法 | |
| CN108053419B (zh) | 基于背景抑制和前景抗干扰的多尺度目标跟踪方法 | |
| CN108986140B (zh) | 基于相关滤波和颜色检测的目标尺度自适应跟踪方法 | |
| CN107423702B (zh) | 基于tld跟踪系统的视频目标跟踪方法 | |
| CN110120064B (zh) | 一种基于互强化与多注意机制学习的深度相关目标跟踪算法 | |
| CN111260738A (zh) | 基于相关滤波和自适应特征融合的多尺度目标跟踪方法 | |
| CN113591968A (zh) | 一种基于非对称注意力特征融合的红外弱小目标检测方法 | |
| CN108320306B (zh) | 融合tld和kcf的视频目标跟踪方法 | |
| CN106815576B (zh) | 基于连续时空置信图和半监督极限学习机的目标追踪方法 | |
| CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
| CN110147768B (zh) | 一种目标跟踪方法及装置 | |
| CN114419151A (zh) | 一种基于对比学习的多目标跟踪方法 | |
| CN111626090A (zh) | 一种基于深度帧差卷积神经网络的运动目标检测方法 | |
| CN111144220B (zh) | 适于大数据的人员检测方法、装置、设备和介质 | |
| CN115147418A (zh) | 缺陷检测模型的压缩训练方法和装置 | |
| CN112258403A (zh) | 一种在动态烟雾中提取疑似烟雾区域的方法 | |
| CN110751671B (zh) | 一种基于核相关滤波与运动估计的目标跟踪方法 | |
| CN113033356B (zh) | 一种尺度自适应的长期相关性目标跟踪方法 | |
| CN117765363A (zh) | 一种基于轻量型记忆库的图像异常检测方法及系统 | |
| CN113239860B (zh) | 一种基于视频的烟火检测方法 | |
| CN111402185B (zh) | 一种图像检测方法及装置 | |
| CN108985216B (zh) | 一种基于多元logistic回归特征融合的行人头部检测方法 | |
| CN113240611B (zh) | 一种基于图片序列的异物检测方法 | |
| CN114724175A (zh) | 行人图像的检测网络、检测方法、训练方法、电子设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |