CN100470578C - 基于计算机视觉的科学仪器工作状态监测方法 - Google Patents

Abstract

本发明涉及计算机应用技术领域，公开了一种基于计算机视觉的科学仪器工作状态监测方法，由图像采集、图像分析、状态数据传输三个步骤组成，图像传感装置将采集到的科学仪器工作状态指示灯的图像送入嵌入式处理模块中进行图像分析处理，得出仪器的工作状态，通过互联网络传输至远程服务器。所述图像分析过程使用特征点标记、基于圆检测的特征点定位、模板匹配、颜色匹配四种方法共同确定仪器的工作状态。所述的特征点定位采用基于圆内接直角三角形的圆检测算法实现。所述圆检测算法构建了基于有效像素位置的数组存储空间。本发明将计算机视觉检测技术应用于科学仪器的监测中，实现了对科学仪器工作状态的可靠、实时的远程监测。

Description

基于计算机视觉的科学仪器工作状态监测方法

技术领域

本发明属于计算机应用技术领域，涉及一种科学仪器工作状态监测方法，尤其是基于计算机视觉的科学仪器工作状态远程监测方法。

背景技术

现有的科学仪器工作状态监测的方法主要有三类。

其一：部分科学仪器本身自带自动记录激发源开关等工作状态，如Thermo Finnigan公司的MAT-251稳定同位素气体质谱仪，JEOL公司的JSM-6700F等等。这类方法通过码盘装置、控制软件的信息显示指示仪器工作状态，只支持本地化的数据查看，仪器本身不提供数据网络接口，无法实现仪器状态的网络化实时监测。

其二：某些实验室信息管理系统(LIMS)与科学仪器相结合，能够支持仪器工作状态的记录以及相关技术参数的统计、查询，如Thermo公司的SampleManager LIMS，北京泰立化-TLLAB2000。这类方法需要仪器本身具有记录工作状态的功能，并提供数据提交接口，监测的仪器的种类和数量有限，从监测范围上看，往往局限于某一个实验室或者单位内部系统。

其三：通过添加硬件监测装置的形式对仪器的工作状态进行监测。如中国专利CN 1308984C公开了一种指示设备工作状态的发明，该方法仅仅提供工作状态的指示，并无详细工作时间、状态记录，并且不能实现网络化监测；如中国发明专利(公开号CN 1801238A)公开了一种硬件方式的仪器工作状态监测装置，从仪器外围的状态指示部件采集工作状态信息，其接触式检测方式直接从科学仪器引出电流信号，具有一定的风险性；其不接触方式为防止外界光线对光敏三极管的影响，需要采用胶皮管等遮光装置密封住科学仪器上的状态指示灯，导致仪器操作人员无法查看对应的状态指示灯，以获取必要的状态信息。

发明内容

针对上述现有技术的不足，本发明考虑采用基于计算机视觉的监测方法，为了准确可靠的监测状态指示灯，必须克服外界环境引入噪声(如光线强弱、目标体移动、外界颜色干扰等)的影响，单一使用颜色匹配以及模板匹配的方式无法实现可靠检测；由于仪器外围常常多个状态指示灯并排放置，造成无法单一的使用特征点定位的方法完成对感兴趣特征点的状态的监测。

综上所述，本发明的技术方案如下：

一种基于计算机视觉的科学仪器工作状态监测方法，由图像采集、图像分析、状态数据传输三个步骤组成。系统框架参见图1，图像传感装置(2)通过PCI总线或者USB等接口与嵌入式处理模块(6)连接，嵌入式处理模块(6)中带有网络接口，将最终的处理结果，即仪器的工作状态传输至远程服务器。

图像分析步骤中使用特征点标记、基于圆检测的特征点定位、模板匹配、颜色匹配四种方法进行联合监测，共同确定仪器工作状态，参见图2。在模板获取阶段，为了提高模板匹配的准确度，对感兴趣的状态指示灯进行特征点标记；在状态监测阶段，综合考虑特征点定位、模板匹配、颜色匹配方法的运算复杂度以及他们的检测可靠性，首先采用基于圆检测的特征点定位方法，对状态指示灯进行定位，然后根据定位的结果，对检测到的每个状态指示灯区域进行模板匹配，以得到感兴趣的状态指示灯位置以及指示灯的状态，最后由颜色匹配校验以上检测结果，得出最终的仪器工作状态。

状态指示灯使用基于圆内接直角三角形的圆检测算法进行特征点定位，其方法执行如下：

1)对图像传感装置采集的图像进行边缘检测；

2)对边缘检测的结果进行形态学滤波，降低噪声；

3)构建基于有效像素位置的数组存储空间：

记图像大小为M×N，^*pImg[m][n]表示边缘检测图像中第n行m列的像素灰度值(0≤n<N；0≤m<M)，在图像边缘检测之后，有：

$*\mathrm{pImg}\left[m\right]\left[n\right]=\left\{\begin{array}{cc}255& \mathrm{if\; edged}\\ 0& \mathrm{else}\end{array}\right.$

创建数组aPointPosition[N][M]，对于第n行边缘像素，从左往右依次扫描整行边缘像素，随着m增加，如果^*pImg[m][n]＝＝255，则：

$\mathrm{aPointPosition}\left[n\right]\left[i\right]=\left\{\begin{array}{cc}m& 0<i<M\\ M& i=0\end{array}\right.---\left(3\right)$

然后i+1，继续依次扫描，m增加，待到第n行扫描结束，继续扫描第n+1行，直至边缘图像全部扫描完毕。

最终，有效像素位置数组中压缩存储了所有边缘像素点的位置信息；

4)对于每个边缘检测点A_i，在边缘检测图像中分别搜索其水平方向的边缘像素点B_i，以及垂直方向的边缘像素点C_i，此三点构成一个直角三角形A_iB_iC_i(i＝1...N)，N为边缘检测图像中满足要求的直角三角形的总数，参见图3；

5)根据每个搜索得到的直角三角形的三个顶点的坐标值，求取圆心坐标、圆半径的候选值。记三个顶点的坐标分别为(X_Ai，Y_Ai)、(X_Bi，Y_Bi)、(X_Ci，Y_Ci)，圆心坐标为(X_Pi，Y_Pi)，圆半径值为r_Pi，则圆参数的候选值为：

X_Pi＝(X_Bi+X_Ai)/2

Y_Pi＝(Y_Ai+Y_Ci)/2

$r_{\mathrm{Pi}}=\frac{1}{2}\sqrt{{(X_{\mathrm{Bi}}-X_{\mathrm{Ai}})}^2+{(Y_{\mathrm{Ai}}-Y_{\mathrm{Ci}})}^2}$

6)剔除无效的候选值。根据图像中状态指示灯圆轮廓的真实半径值r，确定两个阈值r_HT、r_LT，阈值满足r_LT≤r<r_HT。对于候选圆半径r_Pi，如果符合如下规则之一，则定义为无效的候选值，从搜索到的直角三角形中剔除此候选值。

|X_Bi-X_Ai|+|Y_Ci-Y_Ai|≤2*r_LT

|X_Bi-X_Ai|≥2*r_HT

|Y_Ci-Y_Ai|≥2*r_HT

7)对有效的圆参数进行聚合，最终确定图像中的圆的位置。记fXcenter和fYcenter分别表示同一类圆参数的圆心坐标；dRadii则给出此类圆的半径值，CenterDiff为圆心坐标误差限、RadiiDiff表示圆半径误差限，如果所求取的圆参数同时满足以下公式：

$\left\{\begin{array}{c}|X_{\mathrm{Pi}}-\mathrm{fXcenter}|<\mathrm{CenterDiff}\\ |Y_{\mathrm{Pi}}-\mathrm{fYcenter}|<\mathrm{CenterDiff}\\ |r_{\mathrm{Pi}}-\mathrm{dRadii}|<\mathrm{RadiiDiff}\end{array}\right.$

则表示所求圆参数属于该类圆，使用下面三式进行同类圆的聚合：

$\mathrm{fXcenter}=\frac{\mathrm{lSameCircleVotes}*\mathrm{fXcenter}+X_{\mathrm{Pi}}}{\mathrm{lSameCircleVotes}+1}$

$\mathrm{fYcenter}=\frac{\mathrm{lSameCircleVotes}*\mathrm{fYcenter}+Y_{\mathrm{Pi}}}{\mathrm{lSameCircleVotes}+1}$

$\mathrm{dRadii}=\frac{\mathrm{lSameCircleVotes}*\mathrm{dRadii}+r_{\mathrm{Pi}}}{\mathrm{lSameCircleVotes}+1}$

其中lSameCircleVotes表示圆参数属于同一类的三角形的总个数；

8)根据各类圆lSameCircleVotes值的大小，得出圆检测结果。

本发明具有如下优点和积极效果：

1  通过对特征点加以标记的方法，提高了图像匹配检测的准确度。

2  通过使用多种方法联合检测特征点，能够有效抑制噪声，确保检测的稳定可靠，图像采集不需要采用高精度CCD作为图像传感装置，使用普通图像传感器即可完成工作状态的监测。

3  使用图像传感装置监测工作状态，与科学仪器硬件、软件完全隔离，不影响仪器的日常操作。

4  首次将计算机视觉检测技术应用于科学仪器的监测中，实现了对科学仪器工作状态的可靠、实时的远程监测。

附图说明

图1为基于计算机视觉的科学仪器工作状态监测方法的结构框图。

图2为多种方法联合的图像分析组成框图。

图3为基于圆内接直角三角形的圆检测示意图。

图4为图像分析处理流程。

具体实施方式

下面以日本岛津公司的EMX-SM7型电子探针的工作状态监测为例说明具体的实施方法。

1  电子探针仪器面板上有多个状态指示灯，首先与仪器操作人员商定哪个状态指示灯能够科学的反映仪器抽真空的状态，该指示灯就定义为感兴趣的状态指示灯。

2  将图像传感装置对准感兴趣的状态指示灯，图像传感装置与嵌入式处理模块相连，嵌入式处理模块提供网络接口，连接至互联网络。

3  对科学仪器上的状态指示灯进行特征点标记。人为在感兴趣的状态指示灯的下方描绘具有特征图案的标记，截取状态指示灯亮、灭的图像作为亮模板和灭模板。

4  图像采集。利用图像传感装置采集状态指示灯所在的图像画面，大小为640×480，色深为24bit位图。

5  图像分析处理。图像分析处理的流程参见图4：

(1)对采集到的图像(当前帧)进行高斯滤波。

(2)当前帧与上一帧图像相减，确定图像是否有变化，变化的像素数目大于阈值TL小于TH，则转(3)；如果变化的像素数目不大于阈值TL，则认为没有变化，转4；如果变化的像素数目大于等于阈值TH，则认为图像在抖动，转4重新进行当前帧的采集。

(3)在当前帧中进行基于圆内接直角三角形的圆检测，对状态指示灯进行特征点定位。

(4)对找到的各个圆区域分别使用亮、灭模板做模板匹配，模板中已经包含人为绘制的特征点标记。

(5)对于匹配可信度最高的区域作颜色匹配验证。当使用亮模板寻找到了最佳匹配点，则将原有的RGB空间转化到HSI空间，如果匹配区域的像素色调值处于橙色色调范围内的像素数目大于一定的阈值Tc，转6；否则，认为是误匹配，转4重新获取图像帧。

6  根据得到的最终判断结果，如果状态发生改变，那么将科学仪器的状态数据打包成一定格式的数据报，利用互联网络上传至远程服务器。至此一次监测结束，转3继续下一次监测。

Claims (3)

1、一种基于计算机视觉的科学仪器工作状态监测方法，由图像采集(3)、图像分析(4)、状态数据传输(5)三个步骤组成，图像传感装置(2)采集科学仪器(1)上状态指示灯的图像，在嵌入式处理模块(6)中进行分析处理，最终将处理结果，即仪器的工作状态传输至远程服务器(7)，其特征在于，在图像分析步骤中，对科学仪器(1)上的状态指示灯使用特征点标记、基于圆检测的特征点定位、模板匹配、颜色匹配四种方法共同确定仪器工作状态。

2、如权利要求1所述的基于计算机视觉的科学仪器工作状态监测方法，其特征在于，采用了基于圆内接直角三角形的圆检测方法对具有圆形轮廓特征的状态指示灯进行特征点定位，圆检测方法分为以下几步：

1)对图像传感装置采集的图像进行边缘检测；

2)对边缘检测的结果进行形态学滤波，降低噪声；

3)构建数组空间存储边缘检测图像；

4)对于每个边缘检测点A_i，在边缘检测图像中分别搜索其水平方向的边缘像素点B_i，以及垂直方向的边缘像素点C_i，此三点构成一个直角三角形A_iB_iC_i，i＝1...N，N为边缘检测图像中满足要求的直角三角形的总数；

5)根据每个搜索得到的直角三角形的三个顶点的坐标值，求取圆心坐标、圆半径的候选值，记三个顶点的坐标分别为(X_Ai，Y_Ai)、(X_Bi，Y_Bi)、(X_Ci，Y_Ci)，圆心坐标为(X_Pi，Y_Pi)，圆半径值为r_Pi，则圆参数的候选值为：

X_Pi＝(X_Bi+X_Ai)/2

Y_Pi＝(Y_Ai+Y_Ci)/2

$r_{\mathrm{Pi}}=\frac{1}{2}\sqrt{{(X_{\mathrm{Bi}}-X_{\mathrm{Ai}})}^2+{(Y_{\mathrm{Ai}}-Y_{\mathrm{Ci}})}^2}$

6)剔除无效的候选值，根据图像中状态指示灯圆轮廓的真实半径值r，确定两个阈值r_HT、r_LT，阈值满足r_LT≤r<r_HT，对于候选圆半径r_Pi，如果符合如下规则之一，则定义为无效的候选值，从搜索到的直角三角形中剔除此候选值：

|X_Bi-X_Ai|+|Y_Ci-Y_Ai|≤2*r_LT

|X_Bi-X_Ai|≥2*r_HT

|Y_Ci-Y_Ai|≥2*r_HT

7)对有效的圆参数进行聚合，最终确定图像中的圆的位置，记fXcenter和fYcenter分别表示同一类圆参数的圆心坐标；dRadii则给出此类圆的半径值，CenterDiff为圆心坐标误差限、RadiiDiff表示圆半径误差限，如果所求取的圆参数同时满足以下公式：

$\left\{\begin{array}{c}|X_{\mathrm{Pi}}-\mathrm{fXcenter}|<\mathrm{CenterDiff}\\ |Y_{\mathrm{Pi}}-\mathrm{fYcenter}|<\mathrm{CenterDiff}\\ |r_{\mathrm{Pi}}-\mathrm{dRadii}|<\mathrm{RadiiDiff}\end{array}\right.$

则表示所求圆参数属于该类圆，使用下面三式进行同类圆的聚合：

$\mathrm{fXcenter}=\frac{\mathrm{lSameCircleVotes}*\mathrm{fXcenter}+X_{\mathrm{Pi}}}{\mathrm{lSameCircleVotes}+1}$

$\mathrm{fYcenter}=\frac{\mathrm{lSameCircleVotes}*\mathrm{fYcenter}+Y_{\mathrm{Pi}}}{\mathrm{lSameCircleVotes}+1}$

$\mathrm{dRadii}=\frac{\mathrm{lSameCircleVotes}*\mathrm{dRadii}+r_{\mathrm{Pi}}}{\mathrm{lSameCircleVotes}+1}$

其中lSameCircleVotes表示圆参数属于同一类的三角形的总个数；

8)根据各类圆lSameCircleVotes值的大小，得出圆检测结果。

3、如权利要求2所述的基于计算机视觉的科学仪器工作状态监测方法，其特征在于，构建基于有效像素位置的数组存储空间，记图像大小为M×N，^*pImg[m][n]表示边缘检测图像中第n行m列的像素灰度值，0≤n<N，0≤m<M，在图像边缘检测之后，有：

$*\mathrm{pImg}\left[m\right]\left[n\right]=\left\{\begin{array}{cc}255& \mathrm{if\; edged}\\ 0& \mathrm{else}\end{array}\right.$

创建数组aPointPosition[N][M]，对于第n行边缘像素，从左往右依次扫描整行边缘像素，随着m增加，如果^*pImg[m][n]＝＝255，则：

$\mathrm{aPointPosition}\left[n\right]\left[i\right]=\left\{\begin{array}{cc}m& 0<i<M\\ M& i=0\end{array}\right.$

然后i+1，继续执行从左到右扫描，待到第n行扫描结束，继续扫描第n+1行，直至边缘图像全部扫描完毕；

最终，有效像素位置数组中压缩存储了所有边缘像素点的位置信息。

Images