CN110427825A - 基于关键帧与快速支持向量机融合的视频火焰识别方法 - Google Patents
基于关键帧与快速支持向量机融合的视频火焰识别方法 Download PDFInfo
- Publication number
- CN110427825A CN110427825A CN201910583743.9A CN201910583743A CN110427825A CN 110427825 A CN110427825 A CN 110427825A CN 201910583743 A CN201910583743 A CN 201910583743A CN 110427825 A CN110427825 A CN 110427825A
- Authority
- CN
- China
- Prior art keywords
- video
- support vector
- frame
- frames
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012706 support-vector machine Methods 0.000 title claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 52
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 230000003068 static effect Effects 0.000 claims abstract description 18
- 238000003064 k means clustering Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000000513 principal component analysis Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 12
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 abstract description 15
- 239000000284 extract Substances 0.000 abstract description 4
- 238000010191 image analysis Methods 0.000 abstract description 3
- 230000003542 behavioural effect Effects 0.000 abstract 2
- 238000010223 real-time analysis Methods 0.000 abstract 1
- 238000003466 welding Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000010304 firing Methods 0.000 description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 229910052786 argon Inorganic materials 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005097 cold rolling Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 208000037805 labour Diseases 0.000 description 1
- 239000010687 lubricating oil Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于关键帧与快速支持向量机融合的视频火焰识别方法，本方法采集视频并提取视频帧的图像特征作为分类依据；运用PCA算法获取视频图像的主要特征并对视频帧采用k均值聚类算法聚类，根据计算帧间的相似程度对数据对象进行分类，选择不同类别的类中心对应的视频帧作为该类别的关键帧；获取视频的m个关键帧之和，采用加权方式融合m个关键帧的特征，提取视频的静态特征以及动态特征；将静态特征和动态特征作为快速支持向量机的输入向量，快速支持向量机进行分类识别，得到最终的视频火焰识别结果。本方法利用图像处理技术对动火过程进行全程实时自动监视和图像分析，提高监测的准确率和可靠性，确保动火作业的安全。
Description
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种基于关键帧与快速支持向量机融合的视频火焰识别方法。
背景技术
动火作业是设备检修中非常重要的一个环节，对保障连续性生产、工艺性修补等现场作业工序具有重要的意义。动火作业包括电焊、气焊、氩弧焊等操作，在其实施过程中通常伴随大量火花四溅。钢铁企业作业现场环境较为复杂，现场角落中经常遗落回丝、角布等易燃物，地面随处可见润滑油/脂，在进行动火作业时，存在较多的安全隐患。针对此类问题，目前，各大钢铁企业积极推出各种安全监护方法，其中最常用方法主要分为两类：(1)在动火作业工作人员身边配置安全监护人员，实时人工监测火灾隐患的发生；(2)安装感温、感烟等传感器进行环境监测。人工监测方式劳动危险性高，且工作强度大，可靠性较差；传感器的监测范围小，且容易丢失监测的数据信息，对于大空间的厂房来说并不适用。随着图像处理及模式识别技术在工业领域的广泛应用，企业生产逐步从人工化向自动化、智能化方向进行发展，因此，实现对动火作业过程的智能监护势在必行，也对企业的安全管理及智能化发展具有重要的意义。
发明内容
本发明所要解决的技术问题是提供一种基于关键帧与快速支持向量机融合的视频火焰识别方法，本方法克服传统动火作业监测的缺陷，利用图像处理技术对动火过程进行全程实时自动监视和图像分析，提高监测的准确率和可靠性，确保动火作业的安全。
为解决上述技术问题，本发明基于关键帧与快速支持向量机融合的视频火焰识别方法包括如下步骤：
步骤一、采集分别含有明火、阴燃和动火作业区域的视频，提取视频帧的图像特征作为分类依据，采用HSV颜色空间获取视频帧的颜色特征；
步骤二、运用主成分分析PCA算法获取视频图像的主要特征，对PCA处理后的视频帧采用聚类方法聚类；
步骤三、采用k均值聚类算法聚类，根据计算帧间的相似程度对数据对象进行分类，选择不同类别的类中心对应的视频帧作为该类别的关键帧；
步骤四、获取视频的m个关键帧之和，采用加权方式融合m个关键帧的特征，提取视频的HOG静态特征；
步骤五、在获得关键帧的基础上提取图像的LBP-TOP特征，获得视频的动态特征；
步骤六、将获取的HOG静态特征和动态特征作为快速支持向量机的输入向量，输入快速支持向量机中进行分类识别，得到最终的视频火焰识别结果。
进一步，步骤一中视频帧的图像特征以RGB颜色空间提取颜色直方图作为图像的颜色特征，根据式(1)～式(3)：
其中：R、G、B分别为RGB颜色空间中红、绿、蓝的颜色值，H、S、V分别为HSV颜色空间中色调、饱和度、明度值，
将RGB颜色空间映射到HSV颜色空间，对HSV颜色空间的颜色特征分量进行非等间隔量化，合成一维特征矢量，计算其颜色直方图作为图像的HSV颜色空间的颜色特征。
进一步，步骤三中k均值聚类算法采用下式计算平均视频帧信息，
其中，n是视频帧个数，Xi是第i视频帧的视频信息；
将式(4)代入式(5)计算协方差矩阵，
其中，W＝{w1,w2,…,wd}为假定投影变换后得到的坐标系，
计算协方差矩阵M的d个特征值{λ1,λ2,…，,λd}和对应的特征向量{p1,p2,…，,pd}，将求得的特征值排序，提取前c个特征值对应的特征向量即为第c帧视频图像对应的主要特征信息，同时对余下视频帧运用PCA算法求取主要特征信息，其中主成分特征个数d根据具体实验需求选择；
帧间相似程度采用式(6)的欧氏距离表示，
其中，分别为PCA算法处理后的两个视频帧，
获取k帧图像作为初始的聚类簇中心，计算当前帧Xi与k个聚类簇中心的欧氏距离，求得最小距离Dmin，若Dmin小于设定的阈值T,判定该视频帧属于距离最近的簇中心的类别，否则单独成簇，根据式(7)重新计算聚类簇中心，
其中，mi为第1簇中第i个视频帧，Sl为第1簇中所有的视频帧，Ct为新的簇中心，
不断加入新的视频帧，更新聚类簇中心，直到簇中心不再改变，聚类结束，聚类完成后，选取与聚类中心最邻近的一帧作为关键帧，选取每个聚类中心的一帧图像组成多序列图像，即为关键帧。
进一步，步骤四中获取视频的m个关键帧X'＝{X1'，X2'，…Xm'}，利用PCA算法处理这些关键帧得到的特征值，特征值越大，该关键帧包含的图像信息越大，所获权值越大，采用式(8)求得关键帧对应权值，
其中，λi'为每个关键帧中的特征值，qi为第i个关键帧所对应的权重，对关键帧加权求和，得到视频的HOG静态特征。
进一步，步骤五中LBP-TOP是LBP从二维空间到三维空间的拓展，在LBP中引入时间轴T变量，图像存在有X-Y、X-T和Y-T三个正交平面，对三个正交平面提取LBP特征，将三个正交平面的LBP特征连接起来构成LBP-TOP特征，获得视频的动态特征。
进一步，步骤六中将提取视频的静态特征和动态特征构成训练样本数据送入快速支持向量机训练，设样本训练后产生N个支持向量sj，构成支持向量集S，即S＝{sj|sj∈S,j＝1,2,...,N}，利用二分法将S划分为两个支持向量子集P和Q,分别包含m、n个支持向量；确定核函数类型并选择训练样本，引入一个满足Mercer定理的核函数K(xi,sj)＝Φ(xi)Φ(sj)，其中，xi为样本数，通过计算原空间的内积间接得到高维特征空间中的内积，令Kij＝Φ(xi)Φ(sj)，则P和Q在特征空间中的内积矩阵Km和Kn由式(9)计算得出，
选择好训练样本，给定每个样本对应的期望输出，将其代入式(10)中求得不为零的拉格朗日乘子ai，得到支持向量信息，
其中，N是支持向量数，ai是拉格朗日乘子，满足ai>0，b是阈值，yi是sj的类标记，满足-1<yi<1，x是样本；
根据支持向量子集P和Q对式(10)的求和项进行分解，并构造变换矩阵WT,利用变换矩阵WT将式(10)转换成式(11)的形式，
其中，Kt＝(Kt1,Kt2,...,Ktm)T，Kt是匹配内积矩阵Km变换后的列矩阵；
由式(10)和式(11)得到精简的分类函数式(12)，
在保证精度要求的条件下使式(12)包含的支持向量最少，并精简优化为式(13)，
Kn＝WTKm||Θ'-Θ||≤ε (13)
其中，Θ＝(θ1,θ2,...,θl)，Θ'＝(θ1',θ2',...,θl')，ε是分类误差，θ是转换后的支持向量信息，其中下标l是设置的d维样本xi构成样本集x的数目，下标j的取值为1至l；
得到精简的优化分类函数后，将测试数据送入训练好的快速支持向量机，经分析识别得到最终的火焰分类识别结果。
由于本发明基于关键帧与快速支持向量机融合的视频火焰识别方法采用了上述技术方案，即本方法采集视频并提取视频帧的图像特征作为分类依据，采用HSV颜色空间获取视频帧的颜色特征；运用PCA算法获取视频图像的主要特征并对视频帧采用k均值聚类算法聚类，根据计算帧间的相似程度对数据对象进行分类，选择不同类别的类中心对应的视频帧作为该类别的关键帧；获取视频的m个关键帧之和，采用加权方式融合m个关键帧的特征，提取视频的静态特征；在获得关键帧的基础上提取图像的LBP-TOP特征，获得视频的动态特征；将静态特征和动态特征作为快速支持向量机的输入向量，输入快速支持向量机中进行分类识别，得到最终的视频火焰识别结果。本方法克服传统动火作业监测的缺陷，利用图像处理技术对动火过程进行全程实时自动监视和图像分析，提高监测的准确率和可靠性，确保动火作业的安全。
附图说明
下面结合附图和实施方式对本发明作进一步的详细说明：
图1为本发明基于关键帧与快速支持向量机融合的视频火焰识别方法原理框图；
图2为图像序列的三个正交平面的纹理示意图；
图3为LBP-TOP特征提取过程示意图；
图4为本方法明火图像识别示意图；
图5为本方法阴燃图像识别示意图；
图6为本方法电焊图像识别示意图。
具体实施方式
实施例如图1所示，本发明基于关键帧与快速支持向量机融合的视频火焰识别方法包括如下步骤：
步骤一、采集分别含有明火、阴燃和动火作业区域的视频，提取视频帧的图像特征作为分类依据，采用HSV颜色空间获取视频帧的颜色特征；
步骤二、运用主成分分析PCA算法获取视频图像的主要特征，对PCA处理后的视频帧采用聚类方法聚类；在获得视频帧的颜色特征信息后，运用PCA算法获得图像的主要特征，降低其特征维数，减少运算量；
步骤三、采用k均值聚类算法聚类，根据计算帧间的相似程度对数据对象进行分类，选择不同类别的类中心对应的视频帧作为该类别的关键帧；
步骤四、获取视频的m个关键帧之和，采用加权方式融合m个关键帧的特征，提取视频的HOG静态特征；
步骤五、在获得关键帧的基础上提取图像的LBP-TOP特征，获得视频的动态特征；
步骤六、将获取的HOG静态特征和动态特征作为快速支持向量机的输入向量，输入快速支持向量机中进行分类识别，得到最终的视频火焰识别结果。
优选的，步骤一中视频帧的图像特征以RGB颜色空间提取颜色直方图作为图像的颜色特征，根据式(1)～式(3)：
其中：R、G、B分别为RGB颜色空间中红、绿、蓝的颜色值，H、S、V分别为HSV颜色空间中色调、饱和度、明度值，
将RGB颜色空间映射到HSV颜色空间，对HSV颜色空间的颜色特征分量进行非等间隔量化，合成一维特征矢量，计算其颜色直方图作为图像的HSV颜色空间的颜色特征。
优选的，步骤三中k均值聚类算法采用下式计算平均视频帧信息，
其中，n是视频帧个数，Xi是第i视频帧的视频信息；
将式(4)代入式(5)计算协方差矩阵，
其中，W＝{w1,w2,…,wd}为假定投影变换后得到的坐标系，
计算协方差矩阵M的d个特征值{λ1,λ2,…，,λd}和对应的特征向量{p1,p2,…，,pd}，将求得的特征值排序，提取前c个特征值对应的特征向量即为第c帧视频图像对应的主要特征信息，同时对余下视频帧运用PCA算法求取主要特征信息，其中主成分特征个数d根据具体实验需求选择；
帧间相似程度采用式(6)的欧氏距离表示，
其中，分别为PCA算法处理后的两个视频帧，
获取k帧图像作为初始的聚类簇中心，计算当前帧Xi与k个聚类簇中心的欧氏距离，求得最小距离Dmin，若Dmin小于设定的阈值T,判定该视频帧属于距离最近的簇中心的类别，否则单独成簇，根据式(7)重新计算聚类簇中心，
其中，mi为第1簇中第i个视频帧，Sl为第1簇中所有的视频帧，Ct为新的簇中心，
不断加入新的视频帧，更新聚类簇中心，直到簇中心不再改变，聚类结束，聚类完成后，选取与聚类中心最邻近的一帧作为关键帧，选取每个聚类中心的一帧图像组成多序列图像，即为关键帧。
优选的，步骤四中获取视频的m个关键帧X'＝{X1'，X2'，…Xm'}，利用PCA算法处理这些关键帧得到的特征值，特征值越大，该关键帧包含的图像信息越大，所获权值越大，采用式(8)求得关键帧对应权值，
其中，λi'为每个关键帧中的特征值，qi为第i个关键帧所对应的权重，对关键帧加权求和，得到视频的HOG静态特征。
如图2和图3所示，优选的，步骤五中LBP-TOP是LBP从二维空间到三维空间的拓展，在LBP中引入时间轴T变量，图像存在有X-Y、X-T和Y-T三个正交平面，对三个正交平面提取LBP特征，将三个正交平面的LBP特征连接起来构成LBP-TOP特征，获得视频的动态特征。
优选的，步骤六中将提取视频的静态特征和动态特征构成训练样本数据送入快速支持向量机训练，设样本训练后产生N个支持向量sj，构成支持向量集S，即S＝{sj|sj∈S,j＝1,2,...,N}，利用二分法将S划分为两个支持向量子集P和Q,分别包含m、n个支持向量；确定核函数类型并选择训练样本，引入一个满足Mercer定理的核函数K(xi,sj)＝Φ(xi)Φ(sj)，其中，xi为样本数，通过计算原空间的内积间接得到高维特征空间中的内积，令Kij＝Φ(xi)Φ(sj)，则P和Q在特征空间中的内积矩阵Km和Kn由式(9)计算得出，
选择好训练样本，给定每个样本对应的期望输出，将其代入式(10)中求得不为零的拉格朗日乘子ai，得到支持向量信息，
其中，N是支持向量数，ai是拉格朗日乘子，满足ai>0，b是阈值，yi是sj的类标记，满足-1<yi<1，x是样本；
根据支持向量子集P和Q对式(10)的求和项进行分解，并构造变换矩阵WT,利用变换矩阵WT将式(10)转换成式(11)的形式，
其中，Kt＝(Kt1,Kt2,...,Ktm)T，Kt是匹配内积矩阵Km变换后的列矩阵；
由式(10)和式(11)得到精简的分类函数式(12)，
在保证精度要求的条件下使式(12)包含的支持向量最少，并精简优化为式(13)，
Kn＝WTKm||Θ'-Θ||≤ε (13)
其中，Θ＝(θ1,θ2,...,θl)，Θ'＝(θ1',θ2',...,θl')，ε是分类误差，θ是转换后的支持向量信息，其中下标l是设置的d维样本xi构成样本集x的数目，下标j的取值为1至l；
得到精简的优化分类函数后，将测试数据送入训练好的快速支持向量机，经分析识别得到最终的火焰分类识别结果。
本方法结合主成分分析算法(PCA)和聚类算法对视频进行关键帧采样，减少视频帧间的冗余信息，建立视频的静态特征HOG和动态特征LBP-TOP，提取出明火、阴燃以及动火作业区域的特征信息。将特征信息送入快速支持向量机进行训练，在选择训练样本时，应尽可能多地模拟监控场景中不同光线、不同燃烧材料的情况，考虑尽可能多的干扰源，使得训练样本具有多样性，且选取的样本需具有典型性。选择好训练样本后，给定每个样本对应的期望输出，得到支持向量信息，进而得到精简的优化分类函数；将测试数据送入训练好的快速支持向量机，经分析识别得到最终的火焰分类识别结果。本方法将关键帧与快速支持向量机相融合，使得快速支持向量机选择的支持向量数目减少，且分类函数简化，并且在不损失分类精度的情况下，分类识别速度明显提高，分类准确率明显增强。
本方法针对冷轧设备检修中动火作业的安全监护需求，考虑到动火作业中存在明火、阴燃及电焊等多种形式，利用图像处理技术对动火过程进行全程实时自动监视和图像分析，实现对动火作业过程中明火、阴燃及电焊的智能判断与分析。如图4、图5和图6所示，分别为利用本方法对明火、阴燃及电焊的图像识别。
本方法克服传统火焰识别方式单一、检测准确率低、识别时间较长等缺陷，相比于传统火焰识别手段具有更好的鲁棒性。且通过提取视频静态特征HOG和动态特征LBP-TOP,采用关键帧与快速支持向量机相融合的视频火焰识别方式，克服了神经网络过学习、易于陷入局部极小点等不足，同时克服了人为设定特征量识别阈值时需要做大量实验和统计的复杂性。本方法不仅能够有效检测出火焰区域，并且可有效区分明火、阴燃和电焊等多种状态，且识别效果达到理想状态。
Claims (6)
1.一种基于关键帧与快速支持向量机融合的视频火焰识别方法，其特征在于本方法包括如下步骤：
步骤一、采集分别含有明火、阴燃和动火作业区域的视频，提取视频帧的图像特征作为分类依据，采用HSV颜色空间获取视频帧的颜色特征；
步骤二、运用主成分分析PCA算法获取视频图像的主要特征，对PCA处理后的视频帧采用聚类方法聚类；
步骤三、采用k均值聚类算法聚类，根据计算帧间的相似程度对数据对象进行分类，选择不同类别的类中心对应的视频帧作为该类别的关键帧；
步骤四、获取视频的m个关键帧之和，采用加权方式融合m个关键帧的特征，提取视频的HOG静态特征；
步骤五、在获得关键帧的基础上提取图像的LBP-TOP特征，获得视频的动态特征；
步骤六、将获取的HOG静态特征和动态特征作为快速支持向量机的输入向量，输入快速支持向量机中进行分类识别，得到最终的视频火焰识别结果。
2.根据权利要求1所述的基于关键帧与快速支持向量机融合的视频火焰识别方法，其特征在于：步骤一中视频帧的图像特征以RGB颜色空间提取颜色直方图作为图像的颜色特征，根据式(1)～式(3)：
其中：R、G、B分别为RGB颜色空间中红、绿、蓝的颜色值，H、S、V分别为HSV颜色空间中色调、饱和度、明度值，
将RGB颜色空间映射到HSV颜色空间，对HSV颜色空间的颜色特征分量进行非等间隔量化，合成一维特征矢量，计算其颜色直方图作为图像的HSV颜色空间的颜色特征。
3.根据权利要求1所述的基于关键帧与快速支持向量机融合的视频火焰识别方法，其特征在于：步骤三中k均值聚类算法采用下式计算平均视频帧信息，
其中，n是视频帧个数，Xi是第i视频帧的视频信息；
将式(4)代入式(5)计算协方差矩阵，
其中，W＝{w1,w2,…,wd}为假定投影变换后得到的坐标系，
计算协方差矩阵M的d个特征值{λ1,λ2,…，,λd}和对应的特征向量{p1,p2,…，,pd}，将求得的特征值排序，提取前c个特征值对应的特征向量即为第c帧视频图像对应的主要特征信息，同时对余下视频帧运用PCA算法求取主要特征信息，其中主成分特征个数d根据具体实验需求选择；
帧间相似程度采用式(6)的欧氏距离表示，
其中，分别为PCA算法处理后的两个视频帧，
获取k帧图像作为初始的聚类簇中心，计算当前帧Xi与k个聚类簇中心的欧氏距离，求得最小距离Dmin，若Dmin小于设定的阈值T,判定该视频帧属于距离最近的簇中心的类别，否则单独成簇，根据式(7)重新计算聚类簇中心，
其中，mi为第1簇中第i个视频帧，Sl为第1簇中所有的视频帧，Ct为新的簇中心，
不断加入新的视频帧，更新聚类簇中心，直到簇中心不再改变，聚类结束，聚类完成后，选取与聚类中心最邻近的一帧作为关键帧，选取每个聚类中心的一帧图像组成多序列图像，即为关键帧。
4.根据权利要求1所述的基于关键帧与快速支持向量机融合的视频火焰识别方法，其特征在于：步骤四中获取视频的m个关键帧X'＝{X1'，X2'，…Xm'}，利用PCA算法处理这些关键帧得到的特征值，特征值越大，该关键帧包含的图像信息越大，所获权值越大，采用式(8)求得关键帧对应权值，
其中，λi'为每个关键帧中的特征值，qi为第i个关键帧所对应的权重，对关键帧加权求和，得到视频的HOG静态特征。
5.根据权利要求1所述的基于关键帧与快速支持向量机融合的视频火焰识别方法，其特征在于：步骤五中LBP-TOP是LBP从二维空间到三维空间的拓展，在LBP中引入时间轴T变量，图像存在有X-Y、X-T和Y-T三个正交平面，对三个正交平面提取LBP特征，将三个正交平面的LBP特征连接起来构成LBP-TOP特征，获得视频的动态特征。
6.根据权利要求1所述的基于关键帧与快速支持向量机融合的视频火焰识别方法，其特征在于：步骤六中，将提取视频的静态特征和动态特征构成训练样本数据送入快速支持向量机训练，设样本训练后产生N个支持向量sj，构成支持向量集S，即S＝{sj|sj∈S,j＝1,2,...,N}，利用二分法将S划分为两个支持向量子集P和Q,分别包含m、n个支持向量；确定核函数类型并选择训练样本，引入一个满足Mercer定理的核函数K(xi,sj)＝Φ(xi)Φ(sj)，其中，xi为样本数，通过计算原空间的内积间接得到高维特征空间中的内积，令Kij＝Φ(xi)Φ(sj)，则P和Q在特征空间中的内积矩阵Km和Kn由式(9)计算得出，
选择好训练样本，给定每个样本对应的期望输出，将其代入式(10)中求得不为零的拉格朗日乘子ai，得到支持向量信息，
其中，N是支持向量数，ai是拉格朗日乘子，满足ai>0，b是阈值，yi是sj的类标记，满足-1<yi<1，x是样本；
根据支持向量子集P和Q对式(10)的求和项进行分解，并构造变换矩阵WT,利用变换矩阵WT将式(10)转换成式(11)的形式，
其中，Kt＝(Kt1,Kt2,...,Ktm)T，Kt是匹配内积矩阵Km变换后的列矩阵；
由式(10)和式(11)得到精简的分类函数式(12)，
在保证精度要求的条件下使式(12)包含的支持向量最少，并精简优化为式(13)，
Kn＝WTKm||Θ'-Θ||≤ε (13)
其中，Θ＝(θ1,θ2,...,θl)，Θ'＝(θ1',θ2',...,θl')，ε是分类误差，θ是转换后的支持向量信息，其中下标l是设置的d维样本xi构成样本集x的数目，下标j的取值为1至l；
得到精简的优化分类函数后，将测试数据送入训练好的快速支持向量机，经分析识别得到最终的火焰分类识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910583743.9A CN110427825B (zh) | 2019-07-01 | 2019-07-01 | 基于关键帧与快速支持向量机融合的视频火焰识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910583743.9A CN110427825B (zh) | 2019-07-01 | 2019-07-01 | 基于关键帧与快速支持向量机融合的视频火焰识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110427825A true CN110427825A (zh) | 2019-11-08 |
| CN110427825B CN110427825B (zh) | 2023-05-12 |
Family
ID=68409897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910583743.9A Active CN110427825B (zh) | 2019-07-01 | 2019-07-01 | 基于关键帧与快速支持向量机融合的视频火焰识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110427825B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145185A (zh) * | 2019-12-17 | 2020-05-12 | 天津市肿瘤医院 | 一种基于聚类关键帧提取ct图像的肺实质分割方法 |
| CN111242019A (zh) * | 2020-01-10 | 2020-06-05 | 腾讯科技（深圳）有限公司 | 视频内容的检测方法、装置、电子设备以及存储介质 |
| CN111310566A (zh) * | 2020-01-16 | 2020-06-19 | 国网山西省电力公司电力科学研究院 | 一种静动态多特征融合的山火检测方法及系统 |
| CN112163120A (zh) * | 2020-09-04 | 2021-01-01 | Oppo（重庆）智能科技有限公司 | 一种分类方法、终端及计算机存储介质 |
| CN112528893A (zh) * | 2020-12-15 | 2021-03-19 | 南京中兴力维软件有限公司 | 异常状态的识别方法、装置及计算机可读存储介质 |
| CN112800968A (zh) * | 2021-01-29 | 2021-05-14 | 江苏大学 | 一种基于hog分块的特征直方图融合对饮水区域猪的身份识别办法 |
| CN112950601A (zh) * | 2021-03-11 | 2021-06-11 | 成都微识医疗设备有限公司 | 用于食管癌模型训练的图片的筛选方法、系统及存储介质 |
| CN113095295A (zh) * | 2021-05-08 | 2021-07-09 | 广东工业大学 | 一种基于改进关键帧提取的跌倒检测方法 |
| CN113222009A (zh) * | 2021-05-10 | 2021-08-06 | 天津大学 | 一种基于甲状腺超声视频估算结节纵横比的方法 |
| CN113297685A (zh) * | 2021-07-27 | 2021-08-24 | 中汽研（天津）汽车工程研究院有限公司 | 一种车辆运行工况模式识别方法 |
| CN113792658A (zh) * | 2021-09-15 | 2021-12-14 | 江苏迪赛司自动化工程有限公司 | 一种全过程智能监测的动火作业闭环自动管控方法及系统 |
| CN116824641A (zh) * | 2023-08-29 | 2023-09-29 | 卡奥斯工业智能研究院(青岛)有限公司 | 姿态分类方法、装置、设备和计算机存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942778A (zh) * | 2014-03-20 | 2014-07-23 | 杭州禧颂科技有限公司 | 一种主成分特征曲线分析的快速视频关键帧提取方法 |
| CN104331904A (zh) * | 2014-10-30 | 2015-02-04 | 大连大学 | 基于融合改进的lle和pca的三维人体运动关键帧提取方法 |
| CN106997461A (zh) * | 2017-03-28 | 2017-08-01 | 浙江大华技术股份有限公司 | 一种烟火检测方法及装置 |
| CN108446601A (zh) * | 2018-02-27 | 2018-08-24 | 东南大学 | 一种基于动静特征融合的人脸识别方法 |
| CN109165577A (zh) * | 2018-08-07 | 2019-01-08 | 东北大学 | 一种基于视频图像的早期森林火灾检测方法 |
-
2019
- 2019-07-01 CN CN201910583743.9A patent/CN110427825B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942778A (zh) * | 2014-03-20 | 2014-07-23 | 杭州禧颂科技有限公司 | 一种主成分特征曲线分析的快速视频关键帧提取方法 |
| CN104331904A (zh) * | 2014-10-30 | 2015-02-04 | 大连大学 | 基于融合改进的lle和pca的三维人体运动关键帧提取方法 |
| CN106997461A (zh) * | 2017-03-28 | 2017-08-01 | 浙江大华技术股份有限公司 | 一种烟火检测方法及装置 |
| CN108446601A (zh) * | 2018-02-27 | 2018-08-24 | 东南大学 | 一种基于动静特征融合的人脸识别方法 |
| CN109165577A (zh) * | 2018-08-07 | 2019-01-08 | 东北大学 | 一种基于视频图像的早期森林火灾检测方法 |
Non-Patent Citations (6)
| Title |
|---|
| AHLAM MALLAK: "Effect of PCA on SVM classfier and k-means Clustering for Alzheimer"s Disease Diagnosis", 《RESEARCHGATE》 * |
| 严云洋等: "维度加权模式动态纹理特征的火焰检测", 《智能系统学报》 * |
| 吴静丽等: "基于视频关键帧的水印嵌入算法研究", 《电脑知识与技术》 * |
| 张杰等: "基于PCA的关键帧相似度核聚类检索算法", 《控制工程》 * |
| 陈俊周等: "基于级联卷积神经网络的视频动态烟雾检测", 《电子科技大学学报》 * |
| 马宗方等: "基于快速支持向量机的图像型火灾探测算法", 《计算机应用研究》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145185A (zh) * | 2019-12-17 | 2020-05-12 | 天津市肿瘤医院 | 一种基于聚类关键帧提取ct图像的肺实质分割方法 |
| CN111145185B (zh) * | 2019-12-17 | 2023-12-22 | 天津市肿瘤医院 | 一种基于聚类关键帧提取ct图像的肺实质分割方法 |
| CN111242019A (zh) * | 2020-01-10 | 2020-06-05 | 腾讯科技（深圳）有限公司 | 视频内容的检测方法、装置、电子设备以及存储介质 |
| CN111242019B (zh) * | 2020-01-10 | 2023-11-14 | 腾讯科技（深圳）有限公司 | 视频内容的检测方法、装置、电子设备以及存储介质 |
| CN111310566A (zh) * | 2020-01-16 | 2020-06-19 | 国网山西省电力公司电力科学研究院 | 一种静动态多特征融合的山火检测方法及系统 |
| CN112163120A (zh) * | 2020-09-04 | 2021-01-01 | Oppo（重庆）智能科技有限公司 | 一种分类方法、终端及计算机存储介质 |
| CN112528893A (zh) * | 2020-12-15 | 2021-03-19 | 南京中兴力维软件有限公司 | 异常状态的识别方法、装置及计算机可读存储介质 |
| CN112800968B (zh) * | 2021-01-29 | 2024-05-14 | 江苏大学 | 一种基于hog分块的特征直方图融合对饮水区域猪的身份识别办法 |
| CN112800968A (zh) * | 2021-01-29 | 2021-05-14 | 江苏大学 | 一种基于hog分块的特征直方图融合对饮水区域猪的身份识别办法 |
| CN112950601A (zh) * | 2021-03-11 | 2021-06-11 | 成都微识医疗设备有限公司 | 用于食管癌模型训练的图片的筛选方法、系统及存储介质 |
| CN112950601B (zh) * | 2021-03-11 | 2024-01-09 | 成都微识医疗设备有限公司 | 用于食管癌模型训练的图片的筛选方法、系统及存储介质 |
| CN113095295A (zh) * | 2021-05-08 | 2021-07-09 | 广东工业大学 | 一种基于改进关键帧提取的跌倒检测方法 |
| CN113095295B (zh) * | 2021-05-08 | 2023-08-18 | 广东工业大学 | 一种基于改进关键帧提取的跌倒检测方法 |
| CN113222009A (zh) * | 2021-05-10 | 2021-08-06 | 天津大学 | 一种基于甲状腺超声视频估算结节纵横比的方法 |
| CN113297685A (zh) * | 2021-07-27 | 2021-08-24 | 中汽研（天津）汽车工程研究院有限公司 | 一种车辆运行工况模式识别方法 |
| CN113792658B (zh) * | 2021-09-15 | 2023-09-01 | 江苏迪赛司自动化工程有限公司 | 一种全过程智能监测的动火作业闭环自动管控方法及系统 |
| CN113792658A (zh) * | 2021-09-15 | 2021-12-14 | 江苏迪赛司自动化工程有限公司 | 一种全过程智能监测的动火作业闭环自动管控方法及系统 |
| CN116824641A (zh) * | 2023-08-29 | 2023-09-29 | 卡奥斯工业智能研究院(青岛)有限公司 | 姿态分类方法、装置、设备和计算机存储介质 |
| CN116824641B (zh) * | 2023-08-29 | 2024-01-09 | 卡奥斯工业智能研究院(青岛)有限公司 | 姿态分类方法、装置、设备和计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110427825B (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427825B (zh) | 基于关键帧与快速支持向量机融合的视频火焰识别方法 | |
| CN107832672B (zh) | 一种利用姿态信息设计多损失函数的行人重识别方法 | |
| CN108171184B (zh) | 基于Siamese网络的用于行人重识别的方法 | |
| Martins et al. | Automatic detection of surface defects on rolled steel using computer vision and artificial neural networks | |
| CN111898514B (zh) | 一种基于目标检测与动作识别的多目标视觉监管方法 | |
| CN108269250A (zh) | 基于卷积神经网络评估人脸图像质量的方法和装置 | |
| CN111488804A (zh) | 基于深度学习的劳保用品佩戴情况检测和身份识别的方法 | |
| EP1862941A2 (en) | Method and apparatus for identifying properties of an object detected by a video surveillance camera | |
| CN108416968A (zh) | 火灾预警方法和装置 | |
| CN111739067A (zh) | 一种遥感影像变化检测方法及装置 | |
| CN106610969A (zh) | 基于多模态信息的视频内容审查系统及方法 | |
| CN110057820B (zh) | 在线检测氯化氢合成炉氯氢配比的方法、系统及存储介质 | |
| CN104077605A (zh) | 一种基于颜色拓扑结构的行人搜索识别方法 | |
| CN107688830B (zh) | 一种用于案件串并的现勘视觉信息关联图层生成方法 | |
| Mofaddel et al. | Adult image content filtering: A statistical method based on Multi-Color Skin Modeling | |
| Irawan et al. | A survey: Effect of the number of GLCM features on classification accuracy of lasem batik images using K-nearest neighbor | |
| CN112613454A (zh) | 一种电力基建施工现场违章识别方法及系统 | |
| CN112616023A (zh) | 复杂环境下的多摄像机视频目标追踪方法 | |
| Alvarado-Robles et al. | An approach for shadow detection in aerial images based on multi-channel statistics | |
| Kai et al. | Wearing safety helmet detection in substation | |
| CN115294109A (zh) | 基于人工智能的实木板材生产缺陷识别系统、电子设备 | |
| CN111368756A (zh) | 一种基于可见光的明火烟雾快速识别方法和系统 | |
| CN109214467B (zh) | 考虑分类器输出敏感度的变电作业人员着装鲁棒识别方法 | |
| CN112561989B (zh) | 一种建造场景下吊装对象的识别方法 | |
| CN111583171B (zh) | 融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |