一种基于数字视频的快速铁谱分析方法
技术领域
本发明属于磨损状态在线监测和磨损机理研究领域,特别涉及一种基于数字视频的快速铁谱分析方法,用于机械系统的状态监测与分析。
背景技术
铁谱分析作为机械设备磨损状态监测和故障诊断的一个重要手段,在工业领域获得了近50年的发展,已经成为装备监测和检测标准化技术,并且由于可实现直接磨损机理分析,在商业分析领域得到越来越广泛的应用。
传统的铁谱分析技术通过分析式铁谱仪利用高梯度磁场将油液中磨粒分离出来,按规则排列沉积在铁谱基片上,然后借助铁谱显微镜获取清晰的磨粒图像,用以分析磨粒的数量、尺寸、类型等,进而分析机械设备的磨损状况。离线铁谱分析技术,可获取高放大倍数和高分辨率的磨粒图像,分析结果较为准确。同时,这种分析方法也存在三点不足:第一,制谱过程需要大量的人工操作,制谱质量依赖操作人员的经验,自动化程度低;第二,分析式铁谱仪本身没有分析能力,需要借助铁谱显微镜等其他仪器进行分析,增加了成本;第三,由于采用磁场采集磨粒,因而几乎采集不到非磁性磨粒,应用受到限制。尽管颗粒计数器(PQ)等自动分析仪开始被大量采用以降低人为依赖性,但是分析铁谱技术以其可以直观分析图像,深入理解磨损机理的优势,成为油液分析必不可少的环节之一。
数字铁谱图像处理技术的出现,使得磨粒的自动识别成为了可能,并将铁谱分析技术从原来的定性分析转向定量分析:针对特征磨粒开展多特征提取、磨粒分类、磨损机理辨识和磨损阶段评估等。但由于:1)制谱流程依然需要;2)需要人工指定特征磨粒;3)只能获得光反射表面的特征而不是空间特征。所以,当前的铁谱图像分析技术只能实现半自动化分析:
美国海军研究所开发的LNF自动磨粒分析仪实现了磨粒的自动识别,但是只给出了静态图像及单视角磨粒的特征;
西安交通大学研究的“在线监测铁谱仪”(专利号:01240347.4)、“在线数字图像型电磁永磁混合励磁铁谱传感器”(公开号:CN1673733)、“一种短沉积距离图像型在线铁谱装置与方法”(公开号:CN100365413C)和“在线图像可视铁谱无堆叠沉积磨粒浓度指数监测方法”(公开号:CN102288524A)等解决了自动采样和自动识别的问题,但是仍然存在两个问题:1)只提供静态图像;2)由于在线使用,分辨率低,只能给出模糊等效特征,而无法给出单个磨粒的精确特征。
为了适应现代工业监测的需求,铁谱分析技术需要解决2个技术瓶颈:自动化采样和三维特征提取。
发明内容
为了克服上述现有技术的缺陷,本发明的目的在于提供一种基于数字视频的快速铁谱分析方法,基于数字视频图像获取和计算机快速自动分析,将离线与在线分析技术的优势技术相结合,并提出了基于动态视频提取磨粒特征的新方法,实现了设备磨损状况的实时性和连续性的高精度和高效率的在线监测。
为实现上述目的,本发明的技术方案为:
一种基于数字视频的快速铁谱分析方法,包括以下步骤:
步骤一、通过微流道3框架的进出油口采用油管和管接头将微流道3和数字微量泵4进行连接,并与待测的润滑油油样5组成油液回路,微流道3置于铁谱显微镜2的物镜正下方,通过数字成像系统的USB连接线将铁谱显微镜2与计算机1连接;数字微量泵4将油液输送至微流道3中;调节铁谱显微镜2焦距获取到磨粒图像;打开计算机1软件控制系统,在软件界面上显示磨粒图像;调节数字微量泵4的转速,同时调节铁谱显微镜2的焦距和光源,获取到清晰的磨粒动态图像;通过软件控制进行运动磨粒视频图像采集;
步骤二、基于视频进行运动目标检测,包括以下步骤:
(1)提取视频中的第一帧图像I1作为背景图像B0,并进行灰度化处理;
(2)对背景图像进行扫描,获取每个像素点的灰度值N,计算每一行的像素点的灰度平均值M,若N>(M+20)或N<(M-20),则将该点灰度值重新赋值为N=M,得到新的背景图像B1;
(3)基于surendra算法对背景进行更新;包括以下步骤:
①获取视频后续帧图像Ii,进行灰度化处理;
②将当前帧图像与背景图像的进行差分运算,得到差分图像Di,公式如下:
式中,T为设定的阈值,i≥2;
③由差分图像对背景图像进行更新,公式如下:
式中,Bi(x,y)、Ii(x,y)分别为背景图像和当前帧图像在(x,y)处的灰度值;α为更新速度权值;此时,将Bi视为新的背景图像;
④i=i+1,返回②;当i=K(K为设置的最大更新帧数)时,更新结束,得到的最终背景图像为B。
(4)背景更新完成之后,从第K+1帧图像开始,进行运动磨粒检测,运用上述②所述方法获取到差分图像后,并对差分图像进行二值化处理,得到目标二值化图像Gi,公式如下:
式中,F为分割阈值,i≤W(W为视频采集的最大图像帧数);这样,在二值图像中灰度值为255的像素点则被视为运动磨粒;
步骤三、进行磨粒跟踪与空间特征提取,分为单磨粒跟踪与单磨粒特征提取以及多目标跟踪与磨粒的统计学特征提取;
所述的单磨粒跟踪与单磨粒特征提取,包括以下步骤:
(1)设定目标跟踪条件;
(2)基于目标检测,对二值化图像Gi进行扫描获取磨粒的轮廓信息;
(3)根据所设定的跟踪条件寻找到符合条件的磨粒,基于磨粒轮廓信息按照以下公式计算得出该磨粒的形心位置坐标(xC,yC)并进行存储,然后用矩形框将磨粒进行标记;
式中,xj、yj分别为单个像素点所对应的横纵坐标值;N为该磨粒对应的像素点总数;
(4)对后续帧图像磨粒进行轮廓信息提取,寻找到符合跟踪条件的磨粒并获取每一个磨粒的形心位置坐标,并与标记磨粒的形心坐标进行目标匹配,匹配磨粒同样以矩形框进行标记;
(5)当没有匹配目标时,返回步骤(3)重新标记;
(6)根据所标记的目标坐标值,在对应的彩色图像上获取每一帧被标记的单磨粒图像;
(7)对单磨粒图像提取单磨粒特征:面积、周长和长径比,然后对数据进行存储。
所述的多目标跟踪与磨粒的统计学特征提取,包括以下步骤:
(1)设定目标跟踪条件;
(2)基于目标检测,对二值化图像Gi进行扫描获取磨粒的轮廓信息;
(3)根据所设定的跟踪条件寻找到符合条件的磨粒,符合条件的按目标出现的时间顺序将矩形框依次按序列进行标记,记为1,2,…,n;
(4)对后续帧图像磨粒进行轮廓信息提取,寻找到符合跟踪条件的磨粒并获取每一个磨粒的形心位置坐标,并与标记磨粒的形心坐标进行目标匹配,匹配磨粒同样以矩形框进行标记;
(5)根据所标记的目标坐标值,对其所对应的彩色获取每一帧被标记的目标磨粒图像;
(6)对目标磨粒图像提取每个磨粒的单磨粒特征,然后以每一个特征向量的最大参数值作为该磨粒的统计特征值并绘制参数跟踪曲线,建立油样磨粒的统计分布。
所述的微流道3包括流道框架7、上玻璃片11、下玻璃片12、密封垫13,用强力胶将下玻璃片12与流道框架7紧密贴合组成油液流动下平面,密封垫13通过强力胶粘在流道框架7上,上玻璃11作为油液流动上平面,通过强力胶粘在密封垫13与下玻璃片12形成封闭的油液通道10。
所述的微流道3中油液通道10的深度在0.1mm-0.2mm范围之内,在流道的出入口8、9处均设置凹槽6,设置的流道的入口9高于油液通道10,出口8与油液通道10平齐。
本发明设计的微流道3,通过控制数字微量泵4的流量可以实现磨粒运动速度的调节,以适合数字摄像机的帧率与图像质量之间的匹配,从而获得高质量的磨粒运动视频图像;在获取到运动磨粒视频图像之后,本发明根据磨粒在流体中的翻滚运动,提出了在动态效果下跟踪特征磨粒的不同视角图像的方法,用以进行运动目标检测、磨粒跟踪,并基于多视角图像提取磨粒的空间特征。本发明具有以下技术优势:
1、简化了流程,降低了成本:无需通过繁琐、经验性要求高的铁谱仪制谱过程,通过微流道装置和铁谱显微镜直接、自动地从稀释好的样品瓶中采集油液,获取磨粒视频图像,大大降低了制谱工作量、时间、和人为依赖性;同时免除了昂贵的铁谱仪购置成本(30%的设备成本)。
2、降低了风险成本:通过铁谱显微镜的数字摄像系统,将清晰的视频图像直接送入计算机,通过磨粒分析软件直接将统计分析结果显示给用户,改变了传统铁谱分析依赖人眼在显微镜上观察和经验分析的方式,降低了分析人员的健康风险和企业的人才流失风险。
3、提供了磨粒的空间信息:利用磨粒的翻滚运动,给出磨粒的多视角图像,进而空间特征,相对于传统谱片分析方式具有巨大优势:谱片分析采用将磨粒固定和静态观察方法,只能获得投射面的信息,即使所谓的立体显微镜也无法看到被磨粒背面(被遮挡面)的图像信息,而磨粒多视角图像采用磨粒运动实现不同视角观察图像,全方位的提供了磨粒的空间信息,可以提供更多的知识。
4、采用全油样和多目标提高了结果可信度:由于采用无人值守的动态采样、分析方法,可以实现油样的全部检测及循环检测,极大提高了分析的置信度;另外,采用多目标自动选择、跟踪、分析,降低了图像中特征磨粒的漏检率;上述两种手段保证了统计分析结果的可重复性。
5、采用计算机分析实现统计分析:由于采用了计算机分析手段,可以实现大采样量、多目标分析、多特征提取,由此产生的海量数据是人工方式无法获得的,采用统计分析可以实现快速判断,采用数据量的优势弥补了相对于人工精确判断的不足,可以提供更高、可靠的故障判断依据。
附图说明
图1是本发明的系统布局图。
图2是本发明的微流道结构图。
图3是本发明的流道框架X处的局部放大图。
图4是本发明的微流道的三维结构示意图。
图5是本发明的系统实物图。
图6是目标检测过程示意图,其中图6(a)为初始背景B0,图6(b)为第一次背景更新B1,图6(c)为最终背景B,图6(d)二值化差分图像Gi。
图7是提取的单磨粒图像,其中图7(a)为第30帧图像,图7(b)为第50帧图像,图7(c)为第70帧图像,图7(d)为第90帧图像,图7(e)为第110帧图像,图7(f)为第130帧图像。
图8是提取的多目标磨粒图像,其中图8(a)为第110帧图像,图8(b)为第170帧图像,图8(c)为第200帧图像,图8(d)为第240帧图像,图8(e)为第280帧图像,图8(f)为第340帧图像。
图9是基于多视角的磨粒统计学特征提取结果,其中图9(a)为基本轮廓信息分布,图9(b)为磨粒形态学特征分布。
具体实施方式
下面结合附图对本发明的内容作进一步说明。
一种基于数字视频的快速铁谱分析方法,包括以下步骤:
参照图1和图5,步骤一、通过微流道3框架的进出油口采用油管和管接头将微流道3和数字微量泵4进行连接,并与待测的润滑油油样5组成油液回路,微流道3置于铁谱显微镜2的物镜正下方,通过数字成像系统的USB连接线将铁谱显微镜2与计算机1连接;数字微量泵4将油液输送至微流道3中;调节铁谱显微镜2焦距获取到磨粒图像;打开计算机1软件控制系统,在软件界面上显示磨粒图像;调节数字微量泵4的转速,同时调节铁谱显微镜2的焦距和光源,获取到清晰的磨粒动态图像;通过软件控制进行运动磨粒视频图像采集。
参照图2、图3和图4,所述的微流道3包括流道框架7、上玻璃片11、下玻璃片12、密封垫13,用强力胶将下玻璃片12与流道框架7紧密贴合组成油液流动下平面,密封垫13通过强力胶粘在流道框架7上,上玻璃11作为油液流动上平面,通过强力胶粘在密封垫13与下玻璃片12形成封闭的油液通道10。
参照图2、图3和图4,所述的微流道3中油液通道10的深度在0.1mm-0.2mm范围之内,是为配合显微镜的焦距获取清晰的图像,为使得磨粒均匀流动,在流道的出入口8、9处均设置凹槽6,起到油液内部压力的缓冲作用;为避免磨粒在油液进出口沉积,设置的流道的入口9高于油液通道10,出口8与油液通道10平齐。
步骤二、基于视频进行运动目标检测,包括以下步骤:
(1)提取视频中的第一帧图像I1作为背景图像B0,并进行灰度化处理;如图6(a)所示;
(2)对背景图像进行扫描,获取每个像素点的灰度值N,计算每一行的像素点的灰度平均值M,若N>(M+20)或N<(M-20),则将该点灰度值重新赋值为N=M,得到新的背景图像B1,如图6(b)所示;
(3)基于surendra算法对背景进行更新;包括以下步骤:
①获取视频后续帧图像Ii,进行灰度化处理;
②将当前帧图像与背景图像的进行差分运算,得到差分图像Di,公式如下:
式中,T为设定的阈值,i≥2;
③由差分图像对背景图像进行更新,公式如下:
式中,Bi(x,y)、Ii(x,y)分别为背景图像和当前帧图像在(x,y)处的灰度值;α为更新速度权值;此时,将Bi视为新的背景图像;
④i=i+1,返回②;当i=K(K为设置的最大更新帧数)时,更新结束,得到的最终背景图像为B,如图6(c)所示。
(4)背景更新完成之后,从第K+1帧图像开始,进行运动磨粒检测,运用上述②所述方法获取到差分图像后,并对差分图像进行二值化处理,得到目标二值化图像Gi,公式如下:
式中,F为分割阈值,i≤W(W为视频采集的最大图像帧数);这样,参照图6(d),在二值图像中灰度值为255的像素点则被视为运动磨粒。
步骤三、进行磨粒跟踪与空间特征提取,分为单磨粒跟踪与单磨粒特征提取以及多目标跟踪与磨粒的统计学特征提取;
所述的单磨粒跟踪与单磨粒特征提取,包括以下步骤:
(1)设定目标跟踪条件,如长轴尺寸达到设定值时进行跟踪;
(2)基于目标检测,对二值化图像Gi进行扫描获取磨粒的轮廓信息;
(3)根据所设定的跟踪条件寻找到符合条件的磨粒,基于磨粒轮廓信息计算得出该磨粒的形心位置坐标并进行存储,然后用矩形框将磨粒进行标记;计算公式为:
式中,xj、yj分别为单个像素点所对应的横纵坐标值;N为该磨粒对应的像素点总数;
(4)对后续帧图像磨粒进行轮廓信息提取,寻找到符合跟踪条件的磨粒并获取每一个磨粒的形心位置坐标,并与标记磨粒的形心坐标进行目标匹配,匹配磨粒同样以矩形框进行标记;
(5)当没有匹配目标时,返回步骤(3)重新标记;
(6)根据所标记的目标坐标值,在对应的彩色图像上获取每一帧被标记的单磨粒图像;如图7所示;
(7)对单磨粒图像提取单磨粒特征:面积、周长和长径比等,然后对数据进行存储。如下表所示。
所述的多目标跟踪与磨粒的统计学特征提取,包括以下步骤:
(1)设定目标跟踪条件,如长轴尺寸达到设定值时进行跟踪;
(2)基于目标检测,对二值化图像Gi进行扫描获取磨粒的轮廓信息;
(3)根据所设定的跟踪条件寻找到符合条件的磨粒,符合条件的按目标出现的时间顺序将矩形框依次按序列进行标记,记为1,2,…,n;
(4)对后续帧图像磨粒进行轮廓信息提取,寻找到符合跟踪条件的磨粒并获取每一个磨粒的形心位置坐标,并与标记磨粒的形心坐标进行目标匹配,匹配磨粒同样以矩形框进行标记;
(5)根据所标记的目标坐标值,对其所对应的彩色获取每一帧被标记的目标磨粒图像;如图8所示;
(6)对目标磨粒图像提取每个磨粒的单磨粒特征,然后以每一个特征向量的最大参数值作为该磨粒的统计特征值并绘制参数跟踪曲线,建立油样磨粒的统计分布。如图9所示,其中图9(a)为基本轮廓信息分布,图9(b)为磨粒形态学特征分布。