CN101470935B - 关键岗位职守人员状态监控与信息提示方法及其实现装置 - Google Patents

Abstract

本发明公开了关键岗位职守人员状态监控与信息提示方法及其实现装置。其方法是给职守人员佩戴一个带有摄像头和扩音器的头盔，从摄像头中获取职守人员的脸部图像，传送给佩戴在职守人员腰间的自带电源的处理器；处理器通过图像处理和模式识别的技术，获取职守人员的眼睛睁闭情况，从而判断职守人员是否处于分神或困倦等状态；一旦发现职守人员处于困倦等状态，处理器将通过安装在头盔上的扩音器来对职守人员进行信息提示。本发明能够保证关键岗位职守人员在其工作期间始终保持高度清醒和警惕的状态，从而发挥职守工作的最大功能。装置与人体处于非接触状态，安全性高；适合多种职守场所。

Description

关键岗位职守人员状态监控与信息提示方法及其实现装置

技术领域

本发明属于安全防控技术领域，特别是一种关键岗位职守人员状态监控与信息提示方法及其实现装置。

背景技术

随着经济的发展，人们的安全意识不断提升，以及安全防护的使用成本与其产生的效益拉开距离，整个社会对安防的需求在不断增加。随着技术的成熟及互联网的大范围普及，安全监控已经渗透到教育、医疗、政府、娱乐场所、道路交通、城市治安等多种领域。例如，银行位于城市的各个角落，属于国家的重点安全防范单位，监控系统必须保证24小时全天候不间断地工作，且需要实时的监控。对于银行金库门口、钞票点算地点等一些重要的地点，需要对其进行完全的监控；在银行的营业场所，如：营业大厅、柜台、自助银行和ATM机等地点，人员较多，也有可能发生突发情况，保安人员难以对所有现场的所有情况进行实时的监控，必须有专门职守人员通过监控系统实施监控。

监控产品发展到现在，已经有了二十多年的历史，它伴随着中国的安防产业一起成长。不过目前也存在着一些问题，如有的地方和时候监控设备形同虚设。国家要建设平安城市，监控设备在其中将要起着举足轻重的地位，但是这些产品一旦成了摆设，那么它原有的价值也就大打了折扣。监控产品的应用，如果是为了加快事后破案的速度，那么安装监控系统的意义也就不再重要。安装监控装备，最重要还是防患于未然。纵然监控产品有再多只眼睛，最后都要进入人眼，如果庞大的系统摆在面前，却没有人员管理，或是人员管理散漫，那么该解决的问题依旧解决不了，人们的安居乐业依旧还是纸上谈兵，那么建设平安城市也就成了一纸空文。出现监控设备形同虚设的重要原因之一，就是负责监控的职守人员玩忽职守。但是，光从制度和教育等方面很难解决这个问题，如很多单位都已经规定了值班人员在工作期间不得睡觉、饮酒、看杂志报纸、玩游戏。“人在曹营心在汉”的情况在这些关键岗位中极易造成非常严重的后果，所以必须通过技术手段来保证职守人员始终处于非常好的工作状态。

发明内容

本发明的目的在于提供一种用于多种职守场所，安全性高的关键岗位职守人员状态监控与信息提示方法及其实现装置，保证关键岗位职守人员在其工作期间始终保持高度清醒和警惕的状态，从而发挥职守工作的最大功能。

实现本发明目的的技术解决方案为：一种关键岗位职守人员状态监控与信息提示方法，步骤如下：

(1)通过安装在职守人员头盔上的摄像头获取脸部图像；

(2)通过垂直灰度投影定位眉毛与眼睛整体区域的大致位置；

(3)根据眉毛与眼睛的相对位置信息对眼睛精确定位；

(4)使用变尺寸模板技术检测人眼瞳孔，即：

第一步，设定一个环形模板，其中a1表示外环区域，物理意义为人眼瞳孔的周围区域，高灰度显示，a2表示环形内圆区域，物理意义为人眼瞳孔区域，低灰度显示；

第二步，计算外环区域与内圆区域的灰度差值，记为

$M(a1,a2)=\underset{p,q\∈a1}{\mathrm{\Σ}}f(p,q)-\underset{p,q\∈a2}{\mathrm{\Σ}}f(p,q);$

第三步，在通过垂直灰度投影方法得到的眼睛大致位置周围搜索最大的M(a1，a2)值，便可以得到在当前模板尺寸下的瞳孔检测结果，有(a1，a2)^max＝arg max M(a1，a2)，相应的灰度差值记为M^max(a1，a2)；

第四步，多次改变模板尺寸，重新执行第二步和第三步，得到新的(a1，a2)^max；

第五步，对所有的(a1，a2)^max，进行灰度差值归一化，并取归一化后的最大灰度差值对应的瞳孔位置作为最终的瞳孔检测结果，记为 ${(a1,a2)}^{\mathrm{final}}=\arg \max \frac{M^{\max }(a1,a2)}{\#\left(a1\right)+\#\left(a2\right)},$ 其中#(a1)和#(a2)分别表示外环区域和内圆区域的面积；

(5)利用职守人员精神高度集中状态下的瞳孔检测结果对瞳孔模板尺寸进行训练；

(6)根据训练出来的定尺寸模板进行快速人眼瞳孔检测；

(7)判断是否检测出人眼瞳孔；

(8)如果人眼瞳孔检测成功，意味着人眼处于睁开状态，对闭合人眼图像帧数清零，并进行下一帧图像的快速人眼瞳孔检测；

(9)如果人眼瞳孔检测失败，意味着人眼处于闭合状态，累加闭合人眼图像帧数；

(10)判断闭合人眼图像帧数是否达到一定的阈值；

(11)如果闭合人眼图像帧数没有达到预设阈值，进行下一帧图像的快速人眼瞳孔检测；

(12)如果闭合人眼图像帧数达到预设阈值，则可以判断职守人员处于困倦状态，并使用语音提示将其从困倦状态中解脱出来。

一种关键岗位职守人员状态监控与信息提示装置，包括摄像头、可穿戴式计算模块和扩音器，其特征在于：摄像头安装在职守人员的头盔前沿，通过USB接口与可穿戴式计算模块连接；摄像头的精度只与视频聊天摄像头相当，摄像头分辨率320x240便可满足要求；考虑到职守环境光的变化和成本控制问题，在头盔摄像头附近安装4个红外灯；可穿戴式计算模块佩戴在职守人员的腰间，配置移动式电源模块；扩音器安装在头盔靠近职守人员两侧耳部的位置，如果装置判断职守人员出现困倦现象，那么装置会通过扩音器对职守人员进行语音提示；可穿戴式计算模块由CPU模块、电源模块、存储模块、音频播放模块和视频捕捉模块组成，通过PC/104总线连接起来；该计算模块为嵌入式系统，负责对职守人员进行状态监控和信息提示工作，其根据上述的状态监控和信息提示方法步骤进行处理计算；其中，CPU模块、电源模块和存储模块属于通用模块，视频捕捉模块负责与摄像头进行交互，音频播放模块负责与扩音器进行交互。

下面结合附图对本发明作进一步详细说明。

附图说明

图1是本发明关键岗位职守人员状态监控与信息提示方法的流程图。

图2是本发明人眼瞳孔检测所使用的环形模板。

图3是本发明关键岗位职守人员状态监控与信息提示装置的示意图。

图4是本发明关键岗位职守人员状态监控与信息提示装置的计算模块组成示意图。

具体实施方式

结合图1，本发明关键岗位职守人员状态监控与信息提示方法，主要包括图像获取、困倦检测和信息提示等步骤。给职守人员佩戴一个带有摄像头和扩音器的头盔，从摄像头中获取职守人员的脸部图像，传送给佩戴在职守人员腰间的自带电源的处理器；处理器通过图像处理和模式识别的技术，获取职守人员的眼睛睁闭情况，从而判断职守人员是否处于分神或困倦等状态；一旦发现职守人员处于困倦等状态，处理器将通过安装在头盔上的扩音器来对职守人员进行信息提示。具体步骤如下：

(1)通过安装在职守人员头盔上的摄像头获取脸部图像。

(2)通过垂直投影定位眉毛与眼睛整体区域的大致位置，即第一步，给定原始脸部灰度图像f(x，y)，其高度和宽度分别为H(f)和W(f)；

第二步，对f(x，y)统计垂直投影直方图，记为p_v(y)，有 $p_v\left(y\right)=\underset{x=0}{\overset{W\left(f\right)}{\mathrm{\Σ}}}f(x,y);$

第三步，为了减少噪声的影响，对p_v(y)缩短两倍，缩短后的垂直投影直方图记为p_V ^z(y)，有 $p_V^z\left(y\right)=p_V(2*y)+p_V(2*y+1),$ 其维数为H(f)/2；

第四步，基于眉毛与眼睛在脸部图像中呈现出灰度值相对较低的考虑，垂直投影直方图p_V ^z(y)中两个最低的波谷位置分别对应眉毛和眼睛的中心位置，记为h_t和h_b，其中0＜h_t＜h_b＜H(f)/2；

第五步，设眉毛中心相对于眉毛上边缘的距离为ε_t，眼睛中心相对于眼睛下边缘的距离为ε_b，那么眉毛与眼睛整体区域在f(x，y)中的大致位置就可以表示为一个矩形R(0，2*h_t-ε_t，W(f)，2*h_b+ε_b)。

(3)根据眉毛与眼睛的相对位置信息对眼睛精确定位。存在着很多人眉毛的灰度分布与眼睛非常的接近，如果仅仅考虑眼睛的灰度分布信息，那么很容易在人眼发生闭合的时候出现人眼瞳孔检测定位到眉毛上的错误。这样，就很难在人眼闭合的状态下进行职守人员是否困倦的判断。所以，首先对眉毛与眼睛整体区域进行大致定位，然后利用眉毛总是在眼睛上方的先验知识排除掉将人眼瞳孔错检至眉毛的可能。

(4)使用变尺寸模板技术检测人眼瞳孔，即第一步，设定一个环形模板，如图2所示，其中a1表示外环区域(物理意义为人眼瞳孔的周围区域，高灰度显示)，a2表示环形内圆区域(物理意义为人眼瞳孔区域，低灰度显示)；

第二步，计算外环区域与内圆区域的灰度差值，记为

$M(a1,a2)=\underset{p,q\∈a1}{\mathrm{\Σ}}f(p,q)-\underset{p,q\∈a2}{\mathrm{\Σ}}f(p,q);$

第三步，在通过灰度投影方法得到的眼睛精确位置周围搜索最大的M(a1，a2)值，便可以得到在当前模板尺寸下的瞳孔检测结果，有(a1，a2)^max＝arg max M(a1，a2)，相应的灰度差值记为M^max(a1，a2)；

第四步，多次改变模板尺寸，重新执行第二步和第三步，得到新的(a1，a2)^max；

第五步，对所有的(a1，a2)^max，进行灰度差值归一化，并取归一化后的最大灰度差值对应的瞳孔位置作为最终的瞳孔检测结果，记为 ${(a1,a2)}^{\mathrm{final}}=\arg \max \frac{M^{\max }(a1,a2)}{\#\left(a1\right)+\#\left(a2\right)},$ 其中#(a1)和#(a2)分别表示外环区域和内圆区域的面积。

(5)利用职守人员精神高度集中状态下的瞳孔检测结果对瞳孔模板尺寸进行训练。

(6)根据训练出来的定尺寸模板进行快速人眼瞳孔检测。

(7)判断是否检测出人眼瞳孔。

(8)如果人眼瞳孔检测成功，意味着人眼处于睁开状态，对闭合人眼图像帧数清零，并进行下一帧图像的快速人眼瞳孔检测。

(9)如果人眼瞳孔检测失败，意味着人眼处于闭合状态，累加闭合人眼图像帧数。

(10)判断闭合人眼图像帧数是否达到一定的阈值。

(11)如果闭合人眼图像帧数没有达到预设阈值，进行下一帧图像的快速人眼瞳孔检测。

(12)如果闭合人眼图像帧数达到预设阈值，则可以判断职守人员处于困倦状态，并使用语音提示将其从困倦状态中解脱出来。

为了保证上述关键岗位职守人员状态监控与信息提示方法得以顺利实现，关键岗位职守人员状态监控与信息提示装置包括摄像头、可穿戴式计算模块和扩音器，如图3所示，其中1为摄像头，2和3为扩音器，4为可穿戴式计算模块。摄像头安装在职守人员的头盔前沿，通过USB接口与可穿戴式计算模块连接，其获取的图像为职守人员的整个面部信息。摄像头的精度只与当前的视频聊天摄像头相当，因为只需要获取职守人员的面部信息，其对图像分辨率的要求是非常低的，一般的摄像头分辨率320x240便可满足要求。为了对职守人员的注意力不造成任何影响，所以摄像头的制作尺寸要尽可能的小，目前一般便携式电脑所自带的摄像头安装方法便可满足。考虑到职守环境光的变化，摄像头要具有红外夜视功能，再加上成本控制问题，选择在头盔摄像头附近安装4个红外灯。红外灯的安装，既解决了职守人员的脸部光照不稳定的问题，又不会对职守人员造成干扰，因为它提供的是非可见光。

可穿戴式计算模块佩戴在职守人员的腰间，配置移动式电源模块，主要负责图像处理和模式识别等功能的实现。扩音器安装在头盔靠近职守人员两侧耳部的位置，如果系统判断职守人员出现困倦现象，那么系统会通过扩音器对职守人员进行语音提示，将其从困倦状态中解脱出来。可穿戴式计算模块由CPU模块、电源模块、存储模块、音频播放模块和视频捕捉模块组成，通过PC/104总线连接起来，如图4所示。该计算模块为嵌入式系统，负责对职守人员进行状态监控和信息提示等工作，其根据上述的状态监控和信息提示方法步骤进行处理计算。其中，CPU模块、电源模块和存储模块属于相对通用模块，视频捕获模块负责与摄像机进行交互，音频播放模块负责与扩音器进行交互。

Claims (3)

1.一种关键岗位职守人员状态监控与信息提示方法，步骤如下：

(1)通过安装在职守人员头盔上的摄像头获取脸部图像；

(2)通过垂直灰度投影定位眉毛与眼睛整体区域的大致位置；

(3)根据眉毛与眼睛的相对位置信息对眼睛精确定位；

(4)使用变尺寸模板技术检测人眼瞳孔，即：

第一步，设定一个环形模板，其中a1表示外环区域，物理意义为人眼瞳孔的周围区域，高灰度显示，a2表示环形内圆区域，物理意义为人眼瞳孔区域，低灰度显示；

第二步，计算外环区域与内圆区域的灰度差值，记为

$M(a1,a2)=\underset{p,q\∈a1}{\mathrm{\Σ}}(p,q)\underset{p,q\∈a2}{\mathrm{\Σ}}(p,q);$

第三步，在通过垂直灰度投影方法得到的眼睛大致位置周围搜索最大的M(a1，a2)值，便可以得到在当前模板尺寸下的瞳孔检测结果，有(a1，a2)^max＝arg max M(a1，a2)，相应的灰度差值记为M^max(a1，a2)；

第四步，多次改变模板尺寸，重新执行第二步和第三步，得到新的(a1，a2)^max；

第五步，对所有的(a1，a2)^max，进行灰度差值归一化，并取归一化后的最大灰度差值对应的瞳孔位置作为最终的瞳孔检测结果，记为 ${(a1,a2)}^{\mathrm{final}}=\arg \max \frac{M^{\max }(a1,a2)}{\#\left(a1\right)+\#\left(a2\right)},$ 其中#(a1)和#(a2)分别表示外环区域和内圆区域的面积；

(5)利用职守人员精神高度集中状态下的瞳孔检测结果对瞳孔模板尺寸进行训练；

(6)根据训练出来的定尺寸模板进行快速人眼瞳孔检测；

(7)判断是否检测出人眼瞳孔；

(8)如果人眼瞳孔检测成功，意味着人眼处于睁开状态，对闭合人眼图像帧数清零，并进行下一帧图像的快速人眼瞳孔检测；

(9)如果人眼瞳孔检测失败，意味着人眼处于闭合状态，累加闭合人眼图像帧数；

(10)判断闭合人眼图像帧数是否达到一定的阈值；

(11)如果闭合人眼图像帧数没有达到预设阈值，进行下一帧图像的快速人眼瞳孔检测；

(12)如果闭合人眼图像帧数达到预设阈值，则可以判断职守人员处于困倦状态，并使用语音提示将其从困倦状态中解脱出来。

2.根据权利要求1所述关键岗位职守人员状态监控与信息提示方法，其特征在于使用垂直投影定位眉毛与眼睛整体区域大致位置的步骤为：

第一步，给定原始脸部灰度图像f(x，y)，其高度和宽度分别为H(f)和W(f)；

第二步，对f(x，y)统计垂直投影直方图，记为p_V(y)，有 $p_V\left(y\right)=\underset{x=0}{\overset{W\left(f\right)}{\mathrm{\Σ}}}f(x,y);$

第三步，为了减少噪声的影响，对p_V(y)缩短两倍，缩短后的垂直投影直方图记为p_V ^z(y)，有 $p_V^z\left(y\right)=p_V(2*y)+p_V(2*y+1),$ 其维数为H(f)/2；

第四步，基于眉毛与眼睛在脸部图像中呈现出灰度值相对较低的考虑，垂直投影直方图p_V ^z(y)中两个最低的波谷位置分别对应眉毛和眼睛的中心位置，记为h_t和h_b，其中0＜h_t＜h_b＜H(f)/2；

第五步，设眉毛中心相对于眉毛上边缘的距离为ε_t，眼睛中心相对于眼睛下边缘的距离为ε_b，那么眉毛与眼睛整体区域在f(x，y)中的大致位置就可以表示为一个矩形R(0，2*h_t-ε_t，W(f)，2*h_b+ε_b)。

3.一种实现权利要求1至2任一项所述关键岗位职守人员状态监控与信息提示方法的装置，包括摄像头、可穿戴式计算模块和扩音器，其特征在于：摄像头安装在职守人员的头盔前沿，通过USB接口与可穿戴式计算模块连接；摄像头的精度只与视频聊天摄像头相当，摄像头分辨率320x240便可满足要求；考虑到职守环境光的变化和成本控制问题，在头盔摄像头附近安装4个红外灯；可穿戴式计算模块佩戴在职守人员的腰间，配置移动式电源模块；扩音器安装在头盔靠近职守人员两侧耳部的位置，如果装置判断职守人员出现困倦现象，那么装置会通过扩音器对职守人员进行语音提示；可穿戴式计算模块由CPU模块、电源模块、存储模块、音频播放模块和视频捕捉模块组成，通过PC/104总线连接起来；该计算模块为嵌入式系统，负责对职守人员进行状态监控和信息提示工作，其根据上述的状态监控和信息提示方法步骤进行处理计算；其中，CPU模块、电源模块和存储模块属于通用模块，视频捕捉模块负责与摄像头进行交互，音频播放模块负责与扩音器进行交互。

Images