CN103049737A - 基于fpga的人员闸门视觉识别控制方法及系统 - Google Patents

Abstract

本发明公开了一种基于FPGA的人员闸门视觉识别控制方法及系统，该方法首先获取人员闸门动作功能区域的黑白背景图像并提取背景图像的背景图像特征数据，之后采集人员闸门动作功能区域的实时图像和测量数据，并提取所采集到的实时图像的特征，最后将所提取的实时图像的特征与预存的背景图像特征数据进行对比，计算所提取的实时图像的特征与背景图像特征数据的相似度，通过查看相似度是否小于设定值来判断人员闸门动作功能区域是否存在阻挡物，并根据判断结果来决定是否联锁人员闸门的动作。该方法及系统可灵活有效地控制人员闸门的动作，避免发生设备或人身伤害，提高了人员闸门控制的可靠性和安全性。

Description

基于FPGA的人员闸门视觉识别控制方法及系统

技术领域

本发明属于核电站人员闸门控制领域，具体涉及一种基于话FPGA技术的人员闸门视觉识别控制方法及系统。

背景技术

人员闸门是核电站人员和小型设备在反应堆运行或热停堆时通过，而不损坏安全壳密封功能的特殊设备。在事故情况下，作为人员紧急撤离的出口。在冷停堆时，人员闸门解除内门与外门的联锁，可同时打开内门和外门，作为人员和小型设备进出安全壳的通道。在安全壳进行密封盒强度试验时，作为加压或者减压舱。

目前国内外核电站的人员闸门控制系统大都采用PLC控制器进行控制，实现人员闸门的开关门动作和联锁功能，但未对人员闸门的动作功能区域进行监测和判断，无法预知动作功能区域内是否有阻挡物体，存在造成设备损坏和人身伤害的可能性。

基于人员闸门控制系统的上述不足，本发明采用一种全新的设计思路进行人员闸门控制系统的研发，通过识别人员闸门动作功能区域中可能出现的物体，预先判断，决定是否联锁人员闸门的动作，避免发生设备或人身伤害。将人员闸门的控制与机器视觉识别整合在同一控制平台下，提供灵活有效的控制功能，实现了在危险发生前及时采取必要措施，确保人身和设备安全。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于FPGA的人员闸门视觉识别控制方法及系统，通过该方法及系统提高人员闸门控制的可靠性和安全性。

为实现上述目的，本发明采用的技术方案如下：

一种基于FPGA的人员闸门视觉识别控制方法，包括以下步骤：

（1）获取人员闸门动作功能区域的黑白背景图像并预存，提取背景图像的灰度特征数据，建立背景图像灰度特征矩阵；

（2）采集人员闸门动作功能区域的实时图像，并提取所采集到的实时图像的灰度特征，建立实时图像灰度特征矩阵；

（3）将所提取的实时图像的灰度特征与预存的背景图像灰度特征数据进行对比，计算所提取的实时图像的灰度特征与背景图像灰度特征的相似度；

（4）查看所述的相似度是否小于设定值，若是则说明人员闸门动作功能区域存在阻挡物；若否则说明不存在阻挡物，可执行人员闸门开门动作。

进一步，如上所述的一种基于FPGA的人员闸门视觉识别控制方法，当人员闸门动作功能区域存在阻挡物时，该方法还包括以下步骤：

（5）计算阻挡物的高度，查看阻挡物的高度是否大于高度设定值，若是则控制人员闸门不动作，若否则执行人员闸门开门动作。

进一步，如上所述的一种基于FPGA的人员闸门视觉识别控制方法，步骤（1）中，预存N张人员闸门动作区域的黑白背景图像，并分别提取每张背景图像的背景图像特征数据，建立背景图像灰度特征矩阵；N为大于等于1的整数。

进一步，如上所述的一种基于FPGA的人员闸门视觉识别控制方法，步骤（3）中，将提取到的实时图像的灰度特征分别与预存的N张背景图像的背景图像灰度特征进行比对，计算每一帧实时图像与背景图像的相似度，得到N个相似度。

进一步，如上所述的一种基于FPGA的人员闸门视觉识别控制方法，步骤（3）中，将N个相似度进行加权平均，得到实时图像与背景图像的最终相似度，将计算实时图像的灰度特征与背景图像灰度特征的相似度的计算公式为：

$s=1-\frac{1}{n\×m}\underset{0\≤j\≤m-1}{\underset{0\≤i\≤n-1}{\mathrm{\Σ}}}\left|\frac{x_{\mathrm{ij}}-y_{\mathrm{ij}}}{255}\right|$

其中，s表示相似度，s的取值范围为[0,1]、x_ij表示背景图像灰度特征矩阵的矩阵元素，y_ij表示实时图像灰度特征矩阵的矩阵元素，背景图像和实时图像的大小均为n×m个像素点。

进一步，如上所述的一种基于FPGA的人员闸门视觉识别控制方法，步骤（2）中，利用图像采集卡通过PCI、PXI、TCP/IP或者RS-232串口总线采集人员闸门动作功能区域的实时图像，采集时设定图像采集卡的设定采集速率。

再进一步，如上所述的一种基于FPGA的人员闸门视觉识别控制方法，步骤（2）中，提取所采集到的图像数据的灰度特征前，对采集到的图像数据进行预处理；所述预处理包括滤波、去噪声和图像平滑处理。

更进一步，如上所述的一种基于FPGA的人员闸门视觉识别控制方法，步骤（4）中，所述的设定值为0.95。

一种基于FPGA的人员闸门视觉识别控制系统，包括：

图像预存模块：用于获取人员闸门动作功能区域的黑白背景图像并预存，提取背景图像的灰度特征数据，建立背景图像灰度特征矩阵；

图像采集模块：用于采集人员闸门动作功能区域的实时图像，并提取所采集到的实时图像的灰度特征，建立实时图像灰度特征矩阵；

相似度计算模块：用于将所提取的实时图像的灰度特征与预存的背景图像灰度特征数据进行对比，计算所提取的实时图像的灰度特征与背景图像灰度特征的相似度；

检测结果获取模块：用于根据相似度计算模块的结果确认人员闸门动作功能区域是否存在阻挡物，若相似度小于设定值是则说明人员闸门动作功能区域存在阻挡物，反之则说明不存在阻挡物，可执行人员闸门开门动作。

进一步，如上所述的一种基于FPGA的人员闸门视觉识别控制系统，当检测结果获取模块检测出人员闸门动作功能区域存在阻挡物时，该系统还包括以下模块：

人员闸门开/关控制模块：用于根据阻挡物的高度确定是否执行开门动作，若阻挡物大于高度设定值，则控制人员闸门不动作，反之则可执行人员闸门开门动作；

所述的人员闸门开/关控制模块是基于FPGA控制技术实现的。

本发明的有益效果在于：本发明所述的方法及系统通过预先判断人员闸门动作功能区域中是否存在阻拦物来决定是否联锁人员闸门的动作，灵活有效地控制人员闸门的动作，避免发生设备或人身伤害，提高了人员闸门控制的可靠性和安全性。

附图说明

图1为具体实施方式中一种基于FPGA的人员闸门视觉识别控制系统的结构框图；

图2为具体实施方式中一种基于FPGA的人员闸门视觉识别控制方法的流程图。

具体实施方式

下面结合说明书附图与具体实施方式对本发明做进一步的详细说明。

图1示出了本具体实施方式中一种基于FPGA的人员闸门视觉识别控制系统的结构框图，该系统包括图像预存模块11、图像采集模块12、相似度计算模块13、检测结果获取模块14和人员闸门开/关控制模块15，其中，

图像预存模块11用于获取人员闸门动作功能区域的黑白背景图像并预存，提取背景图像的灰度特征数据，建立背景图像灰度特征矩阵；

图像采集模块12用于采集人员闸门动作功能区域的实时图像，并提取所采集到的实时图像的灰度特征，建立实时图像灰度特征矩阵；

相似度计算模块13用于将所提取的实时图像的灰度特征与预存的背景图像灰度特征数据进行对比，计算所提取的实时图像的灰度特征与背景图像灰度特征的相似度；

检测结果获取模块14用于根据相似度计算模块的结果确认人员闸门动作功能区域是否存在阻挡物，若相似度小于设定值是则说明人员闸门动作功能区域存在阻挡物，反之则说明不存在阻挡物，可执行人员闸门开门动作；

当检测结果获取模块14检测出人员闸门动作功能区域存在阻挡物时，人员闸门开/关控制模块15用于根据阻挡物的高度确定是否执行开门动作，若阻挡物大于高度设定值，则控制人员闸门不动作，反之则可执行人员闸门开门动作。

本实施方式中的人员闸门开/关控制模块15是基于FPGA（现场可编程门阵列）控制技术实现的，在实际应用中，利用FPGA技术可通过软件实现定制复杂的纯硬件控制电路，将人员闸门的控制与机器视觉识别整合在同一基于FPGA的控制平台下，通过采集、检测和识别人员闸门动作功能区域中的实时图像，预先判断该区域中是否存在阻挡物，根据视觉识别结果决定是否联锁人员闸门的动作。

图2示出了基于图1中人员闸门视觉识别控制系统的一种基于FPGA的人员闸门视觉识别控制方法的流程图，该方法主要包括以下步骤：

步骤S21：提取背景图像的背景图像灰度特征数据；

在进行人员闸门动作功能区域内的物体检测前，首先获取人员闸门动作功能区域的黑白背景图像并预存在图像预存模块11中，提取背景图像的背景图像灰度特征数据。预存N张人员闸门动作区域的黑白背景图像，每一张背景图像都利用图像处理算法进行灰度特征提取，从而得到每一张背景图像的背景图像灰度特征数据，建立背景图像灰度特征数据库；N为大于等于1的整数。

步骤S22：提取所采集到的实时图像的特征；

采集人员闸门动作功能区域的实时图像，并提取所采集到的实时图像的灰度特征。本实施方式中图像采集模块12利用图像采集卡通过PCI、PXI、TCP/IP或者RS-232串口等总线采集人员闸门动作功能区域的实时图像和测量数据，采集时设定图像采集卡的设定采集速率。图像采集卡与基于FPGA的运动控制器共享时钟信号，实现实时图像和测量数据的同步采集，并与运动控制器协同工作，实现基于视觉识别的运动控制系统。设定模块的采集速率，即每秒采集n帧图像。提取所采集到的图像数据的特征前，对采集到的实时图像数据进行预处理；所述预处理包括滤波、去噪声和图像平滑处理，以有效的消除人员闸门动作功能区域内照明对于图像质量的影响，处理结果可输出至控制系统的上位机显示屏上，使人员闸门的操作员进行直观的操作参考，预处理完毕后，对处理后的实时图像数据进行分析，根据图像采集卡的设定采集速率，对采集到的实时图像的每一帧图像数据进行灰度特征提取。

步骤S23：计算所提取的实时图像的灰度特征与背景图像灰度特征数据的相似度；

将所提取的实时图像的灰度特征与步骤S21中预存的背景图像灰度特征数据进行对比，利用预设的相似度计算公式，计算所提取的实时图像的特征与背景图像特征数据的相似度。该步骤中将步骤S22中所提取到的实时图像的灰度特征分别与预存的N张背景图像的背景图像灰度特征数据进行比对，利用预设的相似度计算公示，计算得出每一帧实时图像与背景图像的相似度，即将实时图像分别与N张背景图像进行相似度计算，得到N个相似度，然后将N个相似度进行加权平局，得到最终相似度，计算实时图像与每一张灰度图像相似度的计算公式为：

$s=1-\frac{1}{n\×m}\underset{0\≤j\≤m-1}{\underset{0\≤i\≤n-1}{\mathrm{\Σ}}}\left|\frac{x_{\mathrm{ij}}-y_{\mathrm{ij}}}{255}\right|$

其中，s表示相似度，s的取值范围为[0,1]、x_ij表示背景图像灰度特征矩阵的矩阵元素，y_ij表示实时图像灰度特征矩阵的矩阵元素，背景图像和实时图像的大小均为n×m个像素点。

步骤S24：根据计算的相似度结果确定是否存在阻挡物。

查看步骤S23中计算得到的实时图像与背景图像的最终相似度是否小于设定值，若是则说明人员闸门动作功能区域存在阻挡物；若否则说明不存在阻挡物，可以控制人员闸门动作。本实施方式中的设定值为0.95。

步骤S25：存在阻挡物时计算阻挡物高度。

当步骤S24确定出人员闸门动作功能区域存在阻挡物时，该步骤需要对阻挡物的高度进行估计，根据阻挡物的高度来决定是否执行开门动作，若物体高度不影响人员闸门开门，则执行人员闸门开门动作，反之则控制人员闸门不动作。

将对人员闸门动作区域内的阻挡物进行高度估计，首先针对采集到的实时图像进行光源参数估计，然后进行物体表面方向计算，最后利用辛普森公式计算物体表面高度，通过计算结果来决定是否联锁人员闸门的开门动作。在实时图像中，若有阻挡物且影响人员闸门开门，则用红色矩形框标识出来，否则用绿框标识出来。阻挡物高度的估计方法是基于现有技术计算的，进行阻挡物高度的具体方式如下：

首先在观察者坐标系下，计算所采集到的实时图像的光源参数，具体如下：设光源的倾角为γ，偏角为τ，阻挡物物体表面有一个点A(x₀，y₀，z(x₀，y₀))，A的法向量倾角为α，偏角为β；同时设向量

为光照在点(x₀，y₀)沿某个方向的局部估计值，则有偏角

$\mathrm{\τ}=\arctan \frac{E_{x_0,y_0}\left\{\frac{{\hat{y}}_l}{\sqrt{{{\hat{x}}_l}^2+{{\hat{y}}_l}^2}}\right\}}{E_{x_0,y_0}\left\{\frac{{\hat{x}}_l}{\sqrt{{{\hat{x}}_l}^2+{{\hat{y}}_l}^2}}\right\}}$

其中，是对实时图像中所有的像素点的数学期望；

倾角γ的函数

$f\left(\mathrm{\γ}\right)=\frac{\frac{\mathrm{\π}\cos \mathrm{\γ}}{4}}{\sqrt{\frac{{\sin }^2\mathrm{\γ}}{6}+\frac{2{\cos }^2\mathrm{\γ}}{3}}}=\frac{E_{x,y}\left\{I\right\}}{\sqrt{E_{x,y}\left\{I^2\right\}}}$

其中，E_x，y{·}是对实时图像中所有的像素点的数学期望，I表示图像中像素点的亮度（即灰度），E(I)表示图像的一阶矩，E(I²)表示图像的二阶矩，f(γ)是

的单调递减函数，当f(γ)＞0.9619时，γ＝0；当当f(γ)＜0.9619，γ有唯一解；

物体表面方向计算是指以光源方向为Z轴建立坐标系，即光源坐标系，假设阻挡物物体表面有一点，且该点的法向量倾角为α′，偏角为β′，图像中最亮的点为I_max，则计算方法如下：

倾角 ${\mathrm{\α}}^{\′}=\arccos \frac{I}{I_{\max }},$ 偏角 ${\mathrm{\β}}^{\′}=\arctan \frac{I_x\cos \mathrm{\τ}-I_x\sin \mathrm{\τ}}{I_x\cos \mathrm{\τ}\cos \mathrm{\γ}+I_y\sin \mathrm{\τ}\cos \mathrm{\γ}},$

其中I_x，I_y是图像强度对x，y的一阶偏导；

设物体坐标系中的单位法向量为(n_x，n_y，n_z)′，将光源坐标系下计算得到的倾角α′，偏角β′通过旋转矩阵R旋转到物体坐标系中，计算公式如下：

$\left(\begin{array}{c}{n}_x\\ n_y\\ n_z\end{array}\right)=R\left(\begin{array}{c}\sin {\mathrm{\α}}^{\′}\cos {\mathrm{\β}}^{\′}\\ \sin {\mathrm{\α}}^{\′}\sin {\mathrm{\β}}^{\′}\\ \sin {\mathrm{\α}}^{\′}\end{array}\right),$ $R=\left(\begin{array}{ccc}-\cos \mathrm{\τ}\cos \mathrm{\γ}& \sin \mathrm{\γ}& \sin \mathrm{\γ}\cos \mathrm{\τ}\\ \sin \mathrm{\τ}\cos \mathrm{\γ}& \cos \mathrm{\τ}& -\sin \mathrm{\γ}\cos \mathrm{\τ}\\ \sin \mathrm{\γ}& 0& \cos \mathrm{\γ}\end{array}\right)$

物体表面高度计算是指假设物体表面的高度表示为z＝z(x，y)，梯度

则物体表面高度的计算公式如下：

物体表面高度 $z(x,y)=z_0(x_0,y_0)+{\∫}_{A(x_0,y_0)}^{B(x,y)}\mathrm{pdx}+\mathrm{qdy}$

其中A(x₀，y₀)为物体坐标系下的参考点，z₀为参考点的物体表面高度值，故B(x，y，z(x，y))点处的物体表面高度可利用辛普森公式求出。

最后，将计算出的物体表面高度与高度设定值进行比较，如果阻挡物高度大于高度设低估值，则说明物体高度影响人员闸门开门，不执行人员闸门动作，反之则说明物体高度不影响人员闸门动作，可以执行人员你闸门开门动作。将步骤S24和步骤S25中得出的结果传送至人员闸门开/关控制模块，实现人员闸门的开关门动作和相关的联锁动作，至此，基于FPGA的人员闸门视觉控制过程结束。

本发明所述的方法及系统通过识别闸门动作功能区域中可能出现的物体，通过预先判断，决定是否联锁闸门动作，避免发生设备或人身伤害。本发明将人员闸门的控制系统与机器视觉识别整合在同一控制平台下，提供灵活有效的控制功能，实现了在危险发生前及时采取必要措施，确保人身和设备安全。采用这种全新的设计思路研发的人员闸门控制系统与过去的人员闸门控制系统相比具有更好的可靠性和安全性，可应用在各种核电站堆型对于安全系数要求较高的门类设备控制过程中。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于FPGA的人员闸门视觉识别控制方法，包括以下步骤：

（1）获取人员闸门动作功能区域的黑白背景图像并预存，提取背景图像的灰度特征数据，建立背景图像灰度特征矩阵；

（2）采集人员闸门动作功能区域的实时图像，并提取所采集到的实时图像的灰度特征，建立实时图像灰度特征矩阵；

（3）将所提取的实时图像的灰度特征与预存的背景图像灰度特征数据进行对比，计算所提取的实时图像的灰度特征与背景图像灰度特征的相似度；

（4）查看所述的相似度是否小于设定值，若是则说明人员闸门动作功能区域存在阻挡物；若否则说明不存在阻挡物，可执行人员闸门开门动作。

2.如权利要求1所述的一种基于FPGA的人员闸门视觉识别控制方法，其特征在于，当人员闸门动作功能区域存在阻挡物时，该方法还包括以下步骤：

（5）确定阻挡物的高度，查看阻挡物的高度是否大于高度设定值，若是则控制人员闸门不动作，若否则执行人员闸门开门动作。

3.如权利要求1或2所述的一种基于FPGA的人员闸门视觉识别控制方法，其特征在于：步骤（1）中，预存N张人员闸门动作区域的黑白背景图像，并分别提取每张背景图像的背景图像特征数据，建立背景图像灰度特征矩阵；N为大于等于1的整数。

4.如权利要求3所述的一种基于FPGA的人员闸门视觉识别控制方法，其特征在于：步骤（3）中，将提取到的实时图像的灰度特征分别与预存的N张背景图像的背景图像灰度特征进行比对，计算每一帧实时图像与背景图像的相似度，得到N个相似度。

5.如权利要求4所述的一种基于FPGA的人员闸门视觉识别控制方法，其特征在于：步骤（3）中，将N个相似度进行加权平均，得到实时图像与背景图像的最终相似度，将计算实时图像的灰度特征与背景图像灰度特征的相似度的计算公式为：

$s=1-\frac{1}{n\×m}\underset{0\≤j\≤m-1}{\underset{0\≤i\≤n-1}{\mathrm{\Σ}}}\left|\frac{x_{\mathrm{ij}}-y_{\mathrm{ij}}}{255}\right|$

其中，s表示相似度，s的取值范围为[0,1]、x_ij表示背景图像灰度特征矩阵的矩阵元素，y_ij表示实时图像灰度特征矩阵的矩阵元素，背景图像和实时图像的大小均为n×m个像素点。

6.如权利要求5所述的一种基于FPGA的人员闸门视觉识别控制方法，其特征在于：步骤（2）中，利用图像采集卡通过PCI、PXI、TCP/IP或者RS-232串口总线采集人员闸门动作功能区域的实时图像，采集时设定图像采集卡的设定采集速率。

7.如权利要求6所述的一种基于FPGA的人员闸门视觉识别控制方法，其特征在于：步骤（2）中，提取所采集到的图像数据的灰度特征前，对采集到的图像数据进行预处理；所述预处理包括滤波、去噪声和图像平滑处理。

8.如权利要求1所述的一种基于FPGA的人员闸门视觉识别控制方法，其特征在于：步骤（4）中，所述的设定值为0.95。

9.一种基于FPGA的人员闸门视觉识别控制系统，包括：

图像预存模块：用于获取人员闸门动作功能区域的黑白背景图像并预存，提取背景图像的灰度特征数据，建立背景图像灰度特征矩阵；

图像采集模块：用于采集人员闸门动作功能区域的实时图像，并提取所采集到的实时图像的灰度特征，建立实时图像灰度特征矩阵；

相似度计算模块：用于将所提取的实时图像的灰度特征与预存的背景图像灰度特征数据进行对比，计算所提取的实时图像的灰度特征与背景图像灰度特征的相似度；

检测结果获取模块：用于根据相似度计算模块的结果确认人员闸门动作功能区域是否存在阻挡物，若相似度小于设定值是则说明人员闸门动作功能区域存在阻挡物，反之则说明不存在阻挡物，可执行人员闸门开门动作。

10.如权利要求9所述的一种基于FPGA的人员闸门视觉识别控制系统，其特征在于：当检测结果获取模块检测出人员闸门动作功能区域存在阻挡物时，该系统还包括以下模块：

人员闸门开/关控制模块：用于根据阻挡物的高度确定是否执行开门动作，若阻挡物大于高度设定值，则控制人员闸门不动作，反之则可执行人员闸门开门动作；

所述的人员闸门开/关控制模块是基于FPGA控制技术实现的。

Images