发明内容
(一)要解决的技术问题
本发明要解决的技术问题是如何实现从温室蔬菜监控视频中获取包含病害信息的关键帧图像。
(二)技术方案
为了解决上述技术问题,本发明提供了一种温室蔬菜病害监控视频关键帧提取方法,所述方法包括以下步骤:
S1、将监控视频解析为帧序列,并对每一帧进行增强处理;
S2、识别摄像头的运动状态;
S3、将步骤S1所述的帧序列中每一帧图像从RGB颜色空间转为HSV颜色空间;
S4、计算步骤S3得到的HSV帧图像的视觉显著图,并提取显著性区域;
S5、将步骤S4得到的所述显著性区域进行在线聚类;
S6、根据步骤S5的聚类结果,选择每一类中的关键帧。
优选地,所述步骤S2中,采用X2直方图法计算每一帧图像与第一帧图像的相似度,识别摄像头运动状态。
优选地,所述步骤S4中计算步骤S3得到的HSV帧图像的视觉显著图的具体方法为:
S401、结合温室蔬菜监控视频的特点,利用两个参数a和b修正IG算法,修正后的模型为公式(9)
S(x,y)=a*||IS-IS(x,y)||+b*||IH-IH(x,y)|| (9)
其中,IH、IS分别表示步骤S3得到的HSV图像模型的H通道的平均值和S通道平均值,IH(x,y)、IS(x,y)表示所述H通道经过高斯滤波后的对应值和所述S通道经过高斯滤波后的对应值,||||为欧氏距离,a的值小于零,b的值小于或等于1;
S402、利用HSV帧图像的显著性区域与背景之间的显著性比率来确定参数a和b的数值,计算公式为公式(10),然后利用公式(9)计算步骤S3得到的HSV帧图像的视觉显著图;
其中,R为显著性比率,M为显著性区域中像素点个数,N为背景中像素点的个数,S(x,y)为对应点的显著性值;
所述步骤S4中,提取显著性区域具体方法为:
S403、在所述步骤S402中计算出的HSV帧图像的视觉显著图的基础上选择自适应阈值,实现初步显著性区域的提取;
S404、用组和形态学方法在步骤S403得到的初步显著性区域的基础上进行丢失病斑信息的恢复,实现完整的显著性区域的提取。
优选地,步骤S5中,采用H分量直方图信息作为描述特征,对所述步骤S4计算出的显著性区域进行在线聚类,实现显著性区域的分类。
优选地,步骤S6中,采用像素帧平均的方法,选择每一类中的关键帧。
一种温室蔬菜病害监控视频关键帧提取系统,所述系统包括:
视频解析模块,对输入的视频数据进行解析,将其分解为帧序列,并对每一帧图像进行小波增强处理;
摄像头运动状态识别模块,将帧序列的每一帧与第一帧图像做相似性计算,识别摄像头的运动状态,剔除摄像头处于静止状态时获取的多余帧图像;
显著图计算模块,利用HSV帧图像的显著性区域与背景之间的显著性比率来确定参数的数值,从而利用修正的IG显著性计算模型,计算HSV帧图像的视觉显著图;
显著性区域提取模块,在HSV帧图像的视觉显著图的基础上,利用自适应阈值提取初始显著性区域,利用组和形态学运算,修复初始显著性区域中丢失的病斑信息,形成完整的显著性区域。
在线聚类模块,对完整的显著性区域进行聚类运算,输出聚类的结果;
关键帧选择模块,采用像素帧平均算法,从每一类中选择关键帧。
优选地,所述显著性区域提取模块包括:
初始显著性区域提取模块,在计算出的HSV帧图像的视觉显著图的基础上选择自适应阈值,实现初步显著性区域的提取;
病斑信息修复模块,用组和形态学方法在步显著性区域的基础上进行丢失病斑信息的恢复,实现完整显著性区域的提取。
(三)有益效果
本发明提供了一种温室蔬菜病害监控视频关键帧提取方法及提取系统,本发明的方法和系统,充分考虑到了温室蔬菜监控视频的特点,针对特点对传统算法进行了修正,因此实现了更准确的从温室蔬菜监控视频中提取包含病害信息的关键帧图像,为蔬菜病害的识别奠定坚实的基础。
具体实施方式
下面结合附图和实施例对本发明作进一步详细描述。以下实施例用于说明本发明,但不能用来限制本发明的范围。
本发明提出了一种温室蔬菜病害监控视频关键帧提取方法及提取系统,本发明的方法融合了视觉显著性与聚类算法,其流程如图1所示:
第一步:将监控视频解析为帧序列,并对每一帧进行增强处理;
第二步:摄像头运动状态识别
摄像头运动状态识别采用帧间差异度量的方法。帧间差异度量就是计算两幅帧图像的相似程度,直方图信息是图像的一种统计特征,可以忽略目标对象形式变化所产生的影响,是目前最应用最广泛的方法之一。假设两幅图片为I1,I2,为相应的直方图为,则帧差D(I1,I2)计算方法如下:
N为图像帧像素的总数,为了进一步放大最大帧差,增强算法比较稳定,本研究采用X2直方图的方法来计算帧差,其计算方法如下:
通过相似性曲线识别摄像头运动状态,当曲线走势处于平缓状态时,说明摄像头处于静止状态;当曲线走势产生波动时,说明摄像头处于运动状态;
第三步:将视频帧图像转为HSV颜色空间
HSV图像中H分量和S分量对对光照变化不敏感,可以在一定程度上减弱由于光照变化对目标分割产生的影响,因此本发明首先将图像转换为HSV图像。HSV空间有两个重要特点:一是人眼能独立感知该空间各颜色分量的变化;二是在这种颜色空间上的颜色三元组之间的欧几里德距离与人眼感觉到的相应的颜色差具有线性关系,是一种符合人类视觉感觉特性的颜色模型将图像颜色从RGB空间转化到HSV空间的基本流程如下:
给定RGB颜色空间中的值(r,g,b),r,g,b∈[0,255],设v'=max(r,g,b),定义r',g',b'为:
定义h'为:
则RGB空间到HSV空间的转换为:
第四步:计算视觉显著图,提取显著性区域
H分量和S分量图像明显的把图像的主体和背景进行了分离,并且基本不受光照的影响。H分量图像能够呈现整个植株的信息,但背景略为复杂,S分量图像背景简单,但是过度反映了呈现病斑的信息。
结合温室蔬菜监控视频的特点,本发明对Achanta.R等提出的IG算法进行修改。IG算法是基于Lab颜色模型的,算法基于图像空间频域分析,通过叠加多个带通滤波器得到,采用了DOG带通滤波器:
滤波器的叠加过程为:
其显著性数学模型为:
S(x,y)=||Iμ-ILab(x,y)|| (8)
其中,Iμ表示表示图像Lab颜色模型的L、a、b的3个通道的平均值,ILab(x,y)表示图像Lab颜色模型的L、a、b的3个通道经过高斯滤波后的对应值。||||为欧氏距离。在本发明分析可知,H分量图像和S分量图像能够明显的把图像的主体和背景进行分离,因此本发明将该模型改为HSV颜色空间,利用H、S分量构建视觉显著图,其数学模型如下:
S(x,y)=a*||IS-IS(x,y)||+b*||IH-IH(x,y)|| (9)
其中,IH、IS分别表示图像HSV颜色模型的H通道的平均值和S通道平均值,IH(x,y)、IS(x,y)表示图像HSV颜色模型的H通道和S通道经过高斯滤波后的对应值。||||为欧氏距离。0<a,b≤1是2个待定参数。利用显著性区域与背景之间的显著性比率来确定参数a,b的值:
式中,R为显著性比率,M为显著性区域中像素点个数,N为背景中像素点的个数,S(x,y)为对应点的显著性值。a,b结果如图2所示,公式(9)可以修正为:
S(x,y)=||Is一IS(x,y)||+0.1*||IH-IH(x,y)|| (11)
利用上式生成视觉显著图,选取自适应阈值为HSV帧图像显著图的平均显著性的五分之四,从而提取初步显著性区域;
病斑信息修复
如果初步显著性区域含有病斑,则病斑区域很可能被误作为背景,造成了信息的丢失,本发明利用形态学方法对二值图像进行处理。利用结构元素B对图像A的膨胀记作,定义为:
其中,A(s-x,t-y)+B(x,y)表示表示用图像中像素的四元数值和结构元素值相加;dΩ(A(s-x,t-y)+B(x,y),qt)表示表示计算相加的结果与参考点的欧几里得距离,然后取最大值;DA,DB分别表示图像A和结构元素B的定义域。
利用结构元素B对图像A的腐蚀记作,定义为:
其中,A(s-x,t-y)-B(x,y)表示表示用图像中像素的四元数值和结构元素值相加;dΩ(A(s-x,t-y)-B(x,y)表示表示计算相加的结果与参考点的欧几里得距离,然后取最小值;DA,DB分别表示图像A和结构元素B的定义域。
本发明中为对初步显著性区域中丢失的病斑信息进行恢复,采用的形态学方法表达式为:
其中,⊕,Θ分别为膨胀和腐蚀运算,bw为二值图像,S1,S2是形态学中的结构元素;
通过以上计算得到完整的显著性区域的提取。
第五步:在线聚类
(1)利用得到的HSV颜色空间中的H分量作为聚类的描述特征,假设i为当前帧的数量,j为当前类的数量,T为聚类的阈值;
(2)以第一帧图像f1的显著性区域SR1的H分量直方图H1作为第一类的质心C1,从第二帧图像开始,计算第i帧图像fi的显著性区域SRi,并计算其直方图Hi。计算Hi与当前每一类质心Cj之间的巴氏距离D(Hi,Cj),Hi(l),Cj(l)表示相应直方图的第l列:
(3)当D(Hi,Cj)<T时,把SRi聚类为第k类中,并且将其更新为该类的质心;否则,建立一个新的类,以Hi为该类的质心Cj+1,j=j+1;
(4)重复(2)-(3)过程,将得到的显著性区域进行分类;
第六步:基于像素帧平均的关键帧提取
假设显著性区域SRi内含有M×N个像素点,其坐标为(Xp,Yq),p=1,2,3...M,q=1,2,3...N,则显著性区域SRi像素平均值的计算公式为:
其中,A(Li)为第i帧图像叶片区域像素平均值,f(Xp,Yq)为点(Xp,Yq)处的灰度值;
n帧图像的显著性区域像素平均值的平均值,即标准值计算公式如下:
计算每一帧图像叶片区域像素平均值A(Li)与标准值之间的差值,其计算公式如下:
Di=|A(Li)-MEANn(L)| (18)
当Di取最小值时,则第i帧即为该视频片段的关键帧。
本发明还公开了一种温室蔬菜病害监控视频关键帧提取系统,所述系统包括:
视频解析模块,对输入的视频数据进行解析,将其分解为帧序列,并对每一帧图像进行小波增强处理;
摄像头运动状态识别模块,将帧序列的每一帧与第一帧图像做相似性计算,识别摄像头的运动状态,剔除摄像头处于静止状态时获取的多余帧图像;
显著图计算模块,利用HSV帧图像的显著性区域与背景之间的显著性比率来确定参数的数值,从而利用修正的IG显著性计算模型,计算HSV帧图像的视觉显著图;
显著性区域提取模块,在HSV帧图像的视觉显著图的基础上,利用自适应阈值提取初始显著性区域,利用组和形态学运算,修复初始显著性区域中丢失的病斑信息,形成完整的显著性区域。
在线聚类模块,对完整的显著性区域进行聚类运算,输出聚类的结果;
关键帧选择模块,采用像素帧平均算法,从每一类中选择关键帧。
所述显著性区域提取模块包括:
初始显著性区域提取模块,在计算出的HSV帧图像的视觉显著图的基础上选择自适应阈值,实现初步显著性区域的提取;
病斑信息修复模块,用组和形态学方法在步显著性区域的基础上进行丢失病斑信息的恢复,实现完整显著性区域的提取。
本发明提供的一种温室蔬菜病害监控视频关键帧提取方法及提取系统,充分考虑到了温室蔬菜监控视频的特点,针对特点对传统算法进行了修正,因此实现了更准确的从温室蔬菜监控视频中提取包含病害信息的关键帧图像,为蔬菜病害的识别奠定坚实的基础。
以上实施方式仅用于说明本发明,而非对本发明的限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行各种组合、修改或者等同替换,都不脱离本发明技术方案的精神和范围,均应涵盖在本发明的权利要求范围当中。