发明内容
根据本发明的第一个方面,本发明提供了一种基于支持向量机的烟雾检测方法,所述烟雾检测方法包括以下步骤:
步骤101:建立背景图像,对连续的帧图像按照W*H的大小进行分成子块,然后对每个子块建立背景图像;优选地,W∈[15,30],H∈[15,30]且W、H均为整数;
步骤102:获取前景检测区域,从所述子块中提取候选初始区域,然后计算所述子块的积分值,根据积分值将积分值大于第三阈值T3的子块作为当前帧图像的初始区域,最后计算当前帧图像的初始区域与所述初始区域对应的背景图像的相关系数,并根据该系数获取前景检测区域;优选地,T3∈[150,200]且为整数;
步骤103:计算所述前景检测区域的特征,所述特征包括图像的对比度特征、图像的共生矩阵特征、图像的梯度特征、图像的梯度变化量特征和LBP特征(即Local Binary Patterns的简称,局部二进位模式);和
步骤104:根据特征采用支持向量机识别烟雾区域,首先分别选择N1个烟雾区域样本和N2个非烟雾区域样本,计算所述N1个烟雾区域样本和所述N2个非烟雾区域样本的所述特征,然后采用支持向量机的分类器对所述特征进行样本训练(参见《支持向量机导论》,克里斯特安尼等著,电子工业出版社,2004.04),以获得烟雾和非烟雾的分类机制,最后将步骤103中得到的前景检测区域的特征输入到支持向量机的分类器中,根据支持向量机的分类器中的烟雾和非烟雾的分类机制来识别所述前景检测区域是否为烟雾区域,若是则输出。优选地,N1≥5000,N2≥5000且为整数,且N1、N2均为整数。
优选地,在步骤101中,输入第一帧图像时,建立背景图像
其中
表示第k块子块的背景图像,
表示第k块子块的当前帧图像,从第二帧图像开始,计算当前帧图像与前一帧图像的差值
其中
表示第k块子块的前一帧图像,统计所述差值
大于第一阈值T1的像素点的个数NUM1,计算所述NUM1与所述子块的面积的比值R1,如果比值R1大于第二阈值T2,则将下一帧图像的背景图像更新为
优选地,T1∈[10,20],T2∈[0.2,0.4],且T1、T2均为整数。
优选地,在步骤102中,提取候选初始区域包括:计算每个子块的当前帧图像与当前帧图像的背景图像的差值
其中
表示第k块子块的当前帧图像,
表示第k块子块的当前帧图像的背景图像,统计所述差值
大于第一阈值T1的像素点的个数NUM2,计算所述NUM2与所述子块的面积的比值R2,如果所述比值R2大于第二阈值T2,则将所述子块设定为候选初始区域。优选地,T1∈[10,20],T2∈[0.2,0.4],且T1、T2均为整数。
优选地,在步骤102中,计算所述子块的积分值包括:假设当前帧图像的子块的积分值为m(x,y),并设定接收的第一帧图像内的所有子块的所述积分值m(x,y)为0,将属于所述候选初始区域的子块的积分值m(x,y)都加上第一固定值D1,如果子块的积分值m(x,y)大于250,则令所述子块的积分值m(x,y)为250;将不属于所述候选初始区域的子块的积分值m(x,y)都减去第二固定值D2,如果子块的积分值m(x,y)小于0,则令所述子块的积分值m(x,y)为0。优选地,D1∈[8,20],D2∈[8,20],且D1、D2均为整数。
优选地,在步骤102中,计算当前帧图像的初始区域与所述初始区域对应的背景图像的相关系数包括:设定当前帧图像内的初始区域的像素值为Icur,所述初始区域对应的背景图像的像素值为IBack,当前帧图像内的初始区域与所述初始区域对应的背景图像的相关系数Cor为:
其中,Icuravg(x,y)表示所述初始区域内所有像素点的像素值的平均值,IBackavg(x,y)表示所述初始区域对应的背景图像内所有像素点的像素值的平均值;
若相关系数>第四阈值T4,则该初始区域设为非初始区域,则将其滤除;若将相关系数≤第四阈值T4,则该初始区域设为初始区域,将其提取出来。优选地,T4∈[0.8,0.9]。
优选地,所述图像的对比度特征的计算方法包括:首先计算对应于所述前景检测区域的当前帧图像的灰度直方图(参见《数字图像处理》,冈萨雷斯,电子工业出版社,2006.03),然后计算所述灰度直方图内中间80%部分的图像像素值的最大值与最小值的差值。
优选地,所述图像的共生矩阵特征的计算方法包括:对于对应于所述前景检测区域的当前帧图像内的一点(x,y),首先分别计算所述点(x,y)与邻边点(x-2,y+1)、(x-1,y+2)、(x,y+2)、(x+1,y+2)、(x+2,y+1)、(x+2,y)的像素值的差值的绝对值,从而获得所述点(x,y)与所述邻边点的6个灰度差值(该灰度差值等于所述像素值的差值的绝对值),将所述前景检测区域内所有点的6个灰度差值汇聚成灰度直方图,然后计算所述灰度直方图所围成的面积。(即,将前景检测区域内所有点的6个灰度差值进行灰度直方图统计,计算灰度直方图所围成的面积,该灰度直方图所围成的面积即为图像的共生矩阵特征。灰度直方图参见《数字图像处理》,冈萨雷斯,电子工业出版社,2006.03)
优选地,所述图像的梯度特征的计算方法包括:通过采用sobel算子对所述前景检测区域进行运算后,统计梯度小于第五阈值T5的像素点的个数。优选地,T5∈[5,15]且为整数。
优选地,所述图像的梯度变化量特征的计算方法包括:计算所述前景检测区域对应的当前帧图像的梯度与背景图像的梯度的差值(参见《数字图像处理》,冈萨雷斯,电子工业出版社,2006.03),统计所述差值小于0的像素点的个数NUM3,并计算该个数NUM3与所述前景检测区域内全部像素点的个数的比值。
优选地,所述LBP特征的计算方法包括:对于所述前景检测区域内的每个像素点,以所述像素点为中心像素点搜索对应的3*3邻域,分别计算8个邻域像素点的灰度值与所述中心像素点的灰度值的差值,如果所述差值小于第六阈值T6,则将所述差值对应的邻域像素点的值设置为1,否则将所述差值对应的邻域像素点的值设置为0,统计每个像素点对应的3*3邻域内值为1的领域像素点的个数,所述个数为LBP值,统计所述前景检测区域内的像素点的LBP值的直方图特征。LBP特征是根据前景检测区域内所有像素点的LBP值统计而成的直方图特征。直方图统计可以参考《数字图像处理》,冈萨雷斯,电子工业出版社,2006.03。优选地,T6∈[1,3]且为整数。
按照本发明的另一份方面,提供了一种基于支持向量机的烟雾检测装置,该装置包括:
分块和背景图像建立单元,用于对连续的帧图像按照W*H的大小进行分成子块,然后对每个子块建立背景图像;
前景检测区域获取单元,用于获取前景检测区域;
前景检测区域的特征计算单元,用于计算所述前景检测区域的特征,所述特征包括:图像的对比度特征、图像的共生矩阵特征、图像的梯度特征、图像的梯度变化量特征和LBP特征;和
烟雾区域识别单元,用于根据特征采用支持向量机识别烟雾区域,首先分别选择N1个烟雾区域样本和N2个非烟雾区域样本,计算所述N1个烟雾区域样本和所述N2个非烟雾区域样本的所述特征,然后采用支持向量机的分类器对所述特征进行样本训练,以获得烟雾和非烟雾的分类机制,最后将步骤103中得到的前景检测区域的特征输入到支持向量机的分类器中,根据支持向量机的分类器中的烟雾和非烟雾的分类机制来识别所述前景检测区域是否为烟雾区域,若是则输出。
其中,所述前景检测区域获取单元包括:
候选初始区域获取模块,用于从所述子块中提取候选初始区域;
子块积分值计算模块,用于计算子块的积分值;
初始区域获取模块,用于将积分值大于第三阈值T3的子块作为当前帧图像的初始区域;和
前景检测区域获取模块,用于计算当前帧图像的初始区域与所述初始区域对应的背景图像的相关系数,并根据该系数获取前景检测区域。
本发明所提供的方法和装置能够简单地、有效地检测缓慢变化的烟雾,特别适合用于诸如仓库、大型实验室等大型室内场景中。
具体实施方式
为使贵审查员能进一步了解本发明的结构、特征及其他目的,现结合所附较佳实施例详细说明如下,所说明的较佳实施例仅用于说明本发明的技术方案,并非限定本发明。
图1为本发明的基于支持向量机的烟雾检测方法的流程图。如图1所示,本发明的基于支持向量机的烟雾检测方法包括以下步骤:
步骤101,建立背景图像,对连续的帧图像按照W*H的大小进行分块,然后对每个子块建立背景图像;
步骤102:获取前景检测区域,从全部所述子块中提取候选初始区域,然后计算所述子块的积分值,并将所述积分值大于第三阈值T3的所述子块作为当前帧图像的初始区域,最后计算当前帧图像的初始区域与所述初始区域对应的背景图像的相关系数,将所述相关系数大于第四阈值T4的初始区域设置为非初始区域,并将所述相关系数小于等于所述第四阈值T4的初始区域提取出来作为前景检测区域;
步骤103:计算所述前景检测区域的特征,所述特征包括图像的对比度特征、图像的共生矩阵特征、图像的梯度特征、图像的梯度变化量特征和LBP特征;
步骤104:,根据特征采用支持向量机识别烟雾区域,首先分别选择N1个烟雾区域样本和N2个非烟雾区域样本,计算所述N1个烟雾区域样本和所述N2个非烟雾区域样本的特征,所述特征包括:图像的对比度特征、图像的共生矩阵特征、图像的梯度特征、图像的梯度变化量特征和LBP特征,然后采用支持向量机的分类器对所述特征进行样本训练,以获得烟雾和非烟雾的分类机制,最后将步骤103中得到的前景检测区域的特征输入到所述支持向量机的分类器中,根据所述支持向量机的分类器中的所述烟雾和非烟雾的分类机制来识别所述前景检测区域是否为烟雾区域,并输出是烟雾区域的前景检测区域。支持向量机的分类器的样本训练参考《支持向量机导论》,克里斯特安尼等著,电子工业出版社,2004.04。
下面对本发明的基于支持向量机的烟雾检测方法的各个步骤进行详细描述。
步骤101:
在步骤101中首先对连续的帧图像按照W*H的大小进行分块,其中W∈[15,30],H∈[15,30],且W和H均为整数。W和H可以根据场景和实际需要进行选择,例如在仓库场景中可以选择W为20,H为20。
分块后对每个子块建立背景图像。可以采用以下方法对每个子块建立背景图像:
输入第一帧图像时,建立背景图像
其中
表示第k块子块的当前帧图像的背景图像,
表示第k块子块的当前帧图像,从第二帧图像开始,计算当前帧图像与前一帧图像的差值
其中
表示第k块子块的前一帧图像,统计该差值
大于第一阈值T1的像素点的个数NUM1,计算该NUM1与该子块的面积的比值R1,如果该比值R1大于第二阈值T2,则将下一帧图像的背景图像更新为
子块的面积可以通过统计该子块内像素点的总数得到。其中,第一阈值T1∈[10,20],第二阈值T2∈[0.2,0.4],且第一阈值T1为整数。例如,在仓库场景中,第一阈值T1可以选取15,第二阈值T2可以选取0.3。
步骤102:
图2为本发明的基于支持向量机的烟雾检测方法的步骤102的流程图。如图2所示,步骤102包括以下步骤:
步骤1021:提取候选初始区域,即从全部子块中提取候选初始区域;
步骤1022:计算子块的积分值;
步骤1023:根据积分值获取当前帧图像的初始区域,即将积分值大于第三阈值T3的子块作为当前帧图像的初始区域;
步骤1024,计算当前帧图像的初始区域与该初始区域对应的背景图像的相关系数,并根据该系数获取前景检测区域,即将相关系数大于第四阈值T4的初始区域设置为非初始区域,并将相关系数小于等于所述第四阈值T4的初始区域提取出来作为前景检测区域。
其中,在步骤1021中采用以下方法提取候选初始区域:计算每个子块的当前帧图像与当前帧图像的背景图像的差值
其中
表示第k块子块的当前帧图像,
表示第k块子块的当前帧图像的背景图像,统计该差值
大于第一阈值T1的像素点的个数NUM2,计算该NUM2与该子块的面积的比值R2,如果该比值R2大于第二阈值T2,则将该子块设定为候选初始区域。其中,子块的面积可以通过统计该子块内像素点的总数得到,第一阈值T1∈[10,20],第二阈值T2∈[0.2,0.4],且第一阈值T1为整数。例如,在仓库场景中,第一阈值T1可以选取15,第二阈值T2可以选取0.3。T1和T2没有联系。
在步骤1022中采用以下方法计算子块的积分值:假设当前帧图像的子块的积分值为m(x,y),并设定接收的第一帧图像内的所有子块的积分值m(x,y)为0,即所有子块的积分值m(x,y)的初始值为0。将属于候选初始区域的子块的积分值m(x,y)都加上第一固定值D1,如果加上该第一固定值D1后子块的积分值m(x,y)大于250,则令该子块(即积分值m(x,y)大于250的子块)的积分值m(x,y)为250;将不属于候选初始区域的子块的积分值m(x,y)都减去第二固定值D2,如果减去该第二固定值D2后子块的积分值m(x,y)小于0,则令该子块(即积分值m(x,y)小于0的子块)的积分值m(x,y)为0。其中,第一固定值D1∈[8,20],第二固定值D2∈[8,20],且第一固定值D1和第二固定值D2均为整数。例如,在仓库场景中,D1可以选为14,D2可以选为14。
在步骤1023中将积分值大于第三阈值T3的子块作为当前帧图像的初始区域。其中,第三阈值T3∈[150,200],且第三阈值T3为整数。例如,在仓库场景中,T3可以选为180。
在步骤1024中采用以下方法计算当前帧图像的初始区域与该初始区域对应的背景图像的相关系数:设定当前帧图像内的初始区域的像素值为Icur,该初始区域对应的背景图像的像素值为IBack,当前帧图像内的初始区域与该初始区域对应的背景图像的相关系数Cor则为:
其中,Icuravg(x,y)表示该初始区域内所有像素点的像素值的平均值,IBackavg(x,y)表示该初始区域对应的背景图像内所有像素点的像素值的平均值。将该相关系数大于第四阈值T4的初始区域设置为非初始区域,这是因为如果该相关系数大于第四阈值T4,则认为该初始区域为光照引起的干扰,将其滤除。将该相关系数小于等于第四阈值T4的初始区域提取出来作为前景检测区域。其中,第四阈值T4∈[0.8,0.9]。例如,在仓库场景中,T4可以选为0.85。
步骤103:
在步骤103中计算该前景检测区域的特征,所计算的特征包括:图像的对比度特征、图像的共生矩阵特征、图像的梯度特征、图像的梯度变化量特征和LBP(即Local Binary Patterns的简称)特征。下面描述上述各特征的计算方法。
图像的对比度特征的计算方法如下:首先计算对应于该前景检测区域的当前帧图像的灰度直方图,然后计算该灰度直方图内中间80%部分的像素值的跨度值,该跨度值也就是指该灰度直方图内中间80%部分的像素值的最大值与最小值的差值。该灰度直方图内中间80%部分的像素值的最大值与最小值的差值即为图像的对比度特征。
图像的共生矩阵特征的计算方法如下:对于对应于该前景检测区域的当前帧图像内的一点(x,y),首先分别计算该点(x,y)与邻边点(x-2,y+1)、(x-1,y+2)、(x,y+2)、(x+1,y+2)、(x+2,y+1)、(x+2,y)的像素值的差的绝对值,从而获得该点(x,y)与邻边点的6个灰度差值,将该前景检测区域内所有点的6个灰度差值汇聚成灰度直方图,然后计算该灰度直方图所围成的面积。该灰度直方图所围成的面积即为图像的共生矩阵特征。
图像的梯度特征的计算方法如下:通过采用sobel算子对该前景检测区域作相关运算后,统计梯度小于第五阈值T5的像素点的个数,该个数即为图像的梯度特征。其中,第五阈值T5∈[5,15],且第五阈值T5为整数。例如,在仓库场景中,T5可以选为10。
图像的梯度变化量特征的计算方法如下:计算该前景检测区域对应的当前帧图像的梯度与背景图像的梯度的差值,统计该差值小于0的像素点的个数NUM3,并计算该个数NUM3与该前景检测区域内全部像素点的个数的比值。该比值即为图像的梯度变化量特征。
LBP特征的计算方法如下:对于该前景检测区域内的每个像素点,以该像素点为中心像素点搜索对应的3*3邻域,分别计算8个邻域像素点的灰度值与该中心像素点的灰度值的差值,如果该差值小于第六阈值T6,则将该差值对应的邻域像素点的值设置为1,否则将该差值对应的邻域像素点的值设置为0,统计每个像素点对应的3*3邻域内值为1的领域像素点的个数,该个数即为LBP值,统计该前景检测区域内的像素点的LBP值的直方图特征。其中,第六阈值T6∈[1,3],且第六阈值T6为整数。例如,在仓库场景中,T6可以选为2。
步骤104:
在步骤104中根据特征采用支持向量机识别烟雾区域。首先分别选择N1个烟雾区域样本和N2个非烟雾区域样本,计算这N1个烟雾区域样本和N2个非烟雾区域样本的特征,所计算的特征包括:图像的对比度特征、图像的共生矩阵特征、图像的梯度特征、图像的梯度变化量特征和LBP特征。然后采用支持向量机的分类器对所计算的这些特征进行样本训练,以获得烟雾和非烟雾的分类机制。然后将步骤103中计算得到的前景检测区域的特征输入到该支持向量机的分类器中,根据该支持向量机的分类器中训练好的烟雾和非烟雾的分类机制来识别该前景检测区域是否为烟雾区域,并输出是烟雾区域的前景检测区域。其中,该支持向量机选择高斯核函数为核函数,N1≥5000,N2≥5000,且N1和N2均为整数。例如,在仓库场景中,N1、N2可以选为5500、5500。
本发明还提供了一种基于支持向量机的烟雾检测装置。图3为本发明的基于支持向量机的烟雾检测装置的结构图,由图3可以看出,本发明的基于支持向量机的烟雾检测装置包括:
分块和背景建立单元1,用于对连续的帧图像按照W*H的大小进行分块,然后对每个子块建立背景图像;
前景检测区域获取单元2,用于获取前景检测区域;
前景检测区域的特征计算单元3,用于计算所述前景检测区域的特征,所述特征包括:图像的对比度特征、图像的共生矩阵特征、图像的梯度特征、图像的梯度变化量特征和LBP特征;
烟雾区域识别单元4,用于根据特征采用支持向量机识别烟雾区域,首先分别选择N1个烟雾区域样本和N2个非烟雾区域样本,计算所述N1个烟雾区域样本和所述N2个非烟雾区域样本的特征,所述特征包括:图像的对比度特征、图像的共生矩阵特征、图像的梯度特征、图像的梯度变化量特征和LBP特征,然后采用支持向量机的分类器对所述特征进行样本训练,以获得烟雾和非烟雾的分类机制,最后将步骤103中得到的前景检测区域的特征输入到所述支持向量机的分类器中,根据所述支持向量机的分类器中的所述烟雾和非烟雾的分类机制来识别所述前景检测区域是否为烟雾区域,并输出是烟雾区域的前景检测区域。
图4为本发明的基于支持向量机的烟雾检测装置的前景检测区域获取单元2的结构图。如图4所示,本发明的基于支持向量机的烟雾检测装置的前景检测区域获取单元2包括:
候选初始区域获取模块21,用于从全部所述子块中提取候选初始区域;
子块积分值计算模块22,用于计算子块的积分值;
初始区域获取模块23,用于将所述积分值大于第三阈值T3的所述子块作为当前帧图像的初始区域;
前景检测区域获取模块24,用于计算当前帧图像的初始区域与所述初始区域对应的背景图像的相关系数,将所述相关系数大于第四阈值T4的初始区域设置为非初始区域,并将所述相关系数小于等于所述第四阈值T4的初始区域提取出来作为前景检测区域。
与现有技术相比,本发明的基于支持向量机的烟雾检测方法和装置能够有效地检测出缓慢变化的烟雾,从而解决了对于诸如仓库、大型实验室等大型室内场景中的缓慢烟雾无法识别的实际问题。
需要声明的是,上述发明内容及具体实施方式意在证明本发明所提供技术方案的实际应用,不应解释为对本发明保护范围的限定。本领域技术人员在本发明的精神和原理内,当可作各种修改、等同替换、或改进。本发明的保护范围以所附权利要求书为准。