CN102542727A - 船舶值班人员打盹监控系统及其监控方法 - Google Patents

Abstract

本发明公开了一种船舶值班人员打盹监控系统，包括船基监控装置和岸基监控装置。船基监控装置包括船基无线通信装置、视频图像采集装置、船基服务器和船基报警装置，岸基监控装置包括岸基无线通信装置、岸基服务器和岸基报警装置。其中，船基服务器对从视频图像采集装置接收的船舶值班人员的面部视频图像进行分析，判断船舶值班人员是否打盹；如果判断值班人员打盹，则向船基报警装置发送报警触发信号；并且，根据从船基报警装置发送的岸基报警启动信号，通过船基无线通信装置向岸基无线通信装置发送报警提示信息。本发明还公开了一种船舶值班人员打盹监控方法。本发明可有效制止船舶值班人员打盹，避免由于值班人员注意力不集中导致的各种事故。

Description

船舶值班人员打盹监控系统及其监控方法

技术领域

本发明涉及对船舶值班人员进行监控的装置。

背景技术

目前，在船舶工程技术领域广泛采用了CCTV系统对值班人员的工作现场进行视频监控，但是缺少专门针对船舶值班人员的打盹行为进行监控及报警的技术手段。尽管远程CCTV系统将海洋工程船舶上的值班人员视频图像传输到岸上的中央控制室，岸基值班人员可实时浏览船舶值班人员的现场图像，但是，岸基值班人员由于工作性质、业务繁忙等原因，难以对海洋工程船舶值班人员的工作状态进行全时段的跟踪和监视，很容易出现船舶值班人员打盹而未被岸基值班人员察觉的情况，从而导致灾难的发生。事实上，针对海洋工程船舶值班人员的监控更为重要。据统计，由于船舶值班人员注意力不集中、打盹导致的误操作所引起的灾难性事故在海洋工程船舶所有事故中占有很高的比例。因此，迫切需要一种便于岸基值班人员对船舶值班人员打盹进行监控的技术手段。

发明内容

本发明所要解决的技术问题在于提供能够监控船舶值班人员的打盹并发出报警的打盹监控装置及其监控方法。

本发明公开了一种船舶值班人员打盹监控系统，包括船基监控装置和岸基监控装置；船基监控装置包括船基无线通信装置、视频图像采集装置、船基服务器和船基报警装置，岸基监控装置包括岸基无线通信装置、岸基服务器和岸基报警装置；其中：

视频图像采集装置；用于采集船舶值班人员的面部视频图像，并将该面部视频图像传送给所述的船基服务器；

船基服务器，对从视频图像采集装置接收的船舶值班人员的面部视频图像进行分析，判断船舶值班人员是否处于打盹状态；如果判断船舶值班人员处于打盹状态，则向所述船基报警装置发送报警触发信号；并且，根据从船基报警装置发送的岸基报警启动信号，通过船基无线通信装置向岸基无线通信装置发送报警提示信息；

船基报警装置，根据从船基服务器接收的报警触发信号，向处于打盹状态的船舶值班人员发出报警；如果该船基报警装置在预定的时间内未收到取消报警的报警复位信号，则向船基服务器发送岸基报警启动信号；

岸基无线通信装置，用于与船基无线通信装置双向通信，在接收到船基无线通信装置发送的报警提示信息后转发给岸基服务器；

岸基服务器，根据报警提示信息向岸基报警装置输出报警触发信号；

岸基报警装置，根据从岸基服务器接收的报警触发信号，向岸基人员发出报警。

本发明还公开了一种船舶值班人员打盹监控方法，包括以下步骤：

利用视频图像采集装置采集船舶值班人员的面部视频图像，并将该面部视频图像传送给船基服务器；

船基服务器分析从视频图像采集装置接收的船舶值班人员的面部视频图像，判断船舶值班人员是否处于打盹状态；如果判断船舶值班人员处于打盹状态，则向所述船基报警装置发送报警触发信号；

船基报警装置在接收到船基服务器发送的报警触发信号时，向处于打盹状态的船舶值班人员发出报警；

如果船基报警装置在预定的时间内未收到取消报警的报警复位信号，则向船基服务器发送岸基报警启动信号，

船基服务器在收到岸基报警启动信号后，通过船基无线通信装置向岸基无线通信装置发送报警提示信息；

岸基无线通信装置在接收到船基无线通信装置发送的报警提示信息后转发给岸基服务器，岸基服务器根据该报警提示信息，向岸基报警装置输出报警触发信号；

岸基报警装置在接收到岸基服务器发送的报警触发信号后，向岸基人员发出报警。

采用上述技术方案后，如果船舶值班人员由于工作疲劳而处于打盹状态，该打盹监控装置能够及时监测到，并由船基报警装置首先发出报警以提醒打盹的值班人员增加注意力。一旦船基报警装置未能起到提醒效果，船舶值班人员未能恢复到正常的工作状态时，在一定的时间延迟后，则该值班人员的打盹报警信息将被传到岸基监控装置，并发出报警，岸上的管理者可以采用远程呼叫方式通知打盹值班人员或由其他值班人员代为转告，以保证船舶值班人员处于正常工作状态。本发明可有效制止船舶值班人员打盹，避免由于值班人员注意力不集中导致的各种事故。

附图说明

图1是本发明的船舶值班人员打盹监控系统一实施例的原理框图。

图2是本发明的船基服务器的一实施例的原理框图。

图3是本发明的特征值提取单元的一实施例的原理框图。

图4是肤色正规化值r和g 的分布示意图。

具体实施方式

下面结合附图对本发明做出进一步说明。

参考图1。根据本发明一实施例的船舶值班人员打盹监控系统包括船基监控装置和岸基监控装置。其中，船基监控装置包括视频图像采集装置1、船基服务器2、船基报警装置3和船基无线通信装置4；岸基监控装置包括岸基无线通信装置6、岸基服务器7和岸基报警装置8。

视频图像采集装置1用于采集船舶值班人员的面部视频图像，并将该面部视频图像传送给船基服务器2。船基服务器2对从视频图像采集装置1接收的船舶值班人员的面部视频图像进行分析，判断船舶值班人员是否处于打盹状态；如果判断船舶值班人员处于打盹状态，则向船基报警装置3发送报警触发信号。船基报警装置3根据从船基服务器2接收的报警触发信号，向处于打盹状态的船舶值班人员发出报警。该船基报警装置3例如可以是音频报警装置，通过发出声音来提醒打盹的值班人员。船基报警装置3上设有取消报警的输入按钮，值班人员如果按下该输入按钮，船基报警装置3会停止报警。如果船基报警装置3在预定的时间内（例如30秒）未收到取消报警的报警复位信号，则向船基服务器2发送岸基报警启动信号。船基服务器2根据该岸基报警启动信号，通过船基无线通信装置4向岸基无线通信装置6发送报警提示信息。岸基无线通信装置6用于与船基无线通信装置4双向通信，其在接收到船基无线通信装置4发送的报警提示信息后转发给岸基服务器7。该报警提示信息包括该处于打盹状态的船舶值班人员的面部视频图像。岸基服务器7根据该报警提示信息向岸基报警装置8输出报警触发信号。岸基报警装置8根据从岸基服务器接收的报警触发信号，向岸基人员发出报警。该岸基报警装置8可以是音频报警装置。岸基人员可以根据岸基服务器7接收到的报警提示信息，了解到是哪位船舶值班人员处于打盹状态，从而采用远程呼叫方式通知打盹的船舶值班人员或由其他船舶值班人员代为转告，以保证船舶值班人员处于正常工作状态。

在一种优选实施方式中，视频图像采集装置1包括分别拍摄处于不同岗位的多个船舶值班人员的多个网络摄像头11。该多个网络摄像头11、船基报警装置3通过一交换机5与船基服务器2通信连接。

如图2所示，船基服务器2包括特征值存储单元21、特征值提取单元22和比对单元23。特征值存储单元21存储有船舶值班人员的打盹状态特征值和正常状态特征值。特征值提取单元22根据接收的船舶值班人员的面部视频图像，确定值班人员的面部中心位置，旋转面部图像并确定值班人员的眼部区域，提取船舶值班人员的当前状态特征值，并将该船舶值班人员的当前状态特征值发送给比对单元23。比对单元23将船舶值班人员的当前状态特征值与存储在特征存储单元22中的打盹状态特征值和正常状态特征值进行距离度量，如果船舶值班人员的当前状态特征值与打盹状态特征值的距离小于船舶值班人员的当前状态特征值与正常状态特征值的距离，则判断当前值班人员处于打盹状态，并通过交换机5向船基报警装置3发送报警触发信号。

如图3所示，特征值提取单元22包括肤色区域标记子单元221、头部确定子单元222、脸部确定子单元223、眼睛区域确定子单元224和眼部矩形灰度建模子单元225。

肤色区域标记子单元221用于从接收的船舶值班人员的面部视频图像中截取肤色区域。头部确定子单元222用于从截取的肤色区域中确定头部区域。脸部确定子单元223用于从确定的头部区域中确定脸部区域，从而可确定值班人员的面部中心位置。眼睛区域确定子单元224用于从确定的脸部区域中确定眼睛区域，其可对面部图像进行旋转。眼部矩形灰度建模子单元225用于从确定的眼睛区域中提取船舶值班人员的当前状态特征值。

根据本发明一实施例的船舶值班人员打盹监控方法，包括以下步骤：

步骤1，利用视频图像采集装置1采集船舶值班人员的面部视频图像，并将该面部视频图像传送给船基服务器2；

步骤2，船基服务器2分析从视频图像采集装置1接收的船舶值班人员的面部视频图像，判断船舶值班人员是否处于打盹状态；如果判断船舶值班人员处于打盹状态，则向船基报警装置3发送报警触发信号。

船基服务器2判断船舶值班人员是否处于打盹状态进一步包括以下步骤：

步骤2-1，特征值提取单元22根据接收的船舶值班人员的面部视频图像，确定值班人员的面部中心位置，旋转面部图像并确定值班人员的眼部区域，提取船舶值班人员的当前状态特征值，并将该船舶值班人员的当前状态特征值发送给比对单元23；

特征值提取单元22提取当前状态特征值的过程是：从接收的船舶值班人员的面部视频图像中进行肤色区域标记，截取肤色区域，确定当前图像中是否有人头存在；如果有人头存在，从截取的肤色区域中确定头部区域；从确定的头部区域中确定脸部区域；从确定的脸部区域中确定眼睛区域；从确定的眼睛区域，根据眼部矩形灰度建模，提取船舶值班人员的当前状态特征值。其具体的步骤如下：

a. 肤色区域标记

该步骤由肤色区域标记子单元221实现。肤色区域标记子单元221采用Maricor Soriano肤色模型（注：Maricor Soriano肤色模型是依次取图像中每一个像素，按以下公式将像素点进行二值化，即满足以下条件的像素点为肤色点，置为1，不满足的像素点，置为0，则可得到图像的肤色二值图像），判断视频图像中的肤色区域：

将图像中红色值与绿色值正规化，公式如下：

其中：R、G、B分别对应彩色图像像素点的红、绿、蓝三色的灰度值；

r、g为红色与绿色的正规化值。

根据Maricor Soriano的统计调查，红色正规化值r和绿色正规化值g 的分布如图4所示。

确定肤色分布范围，将r值的范围限制在[0.2,0.6]区间，用两个曲线公式来表示g值的上限和下限，曲线公式如下：

因为白点（r=0.33, g=0.33）在范围内，需要将其排除。

W＜0.0004时，像素点的颜色为近白色，不符合人的肤色特征。

根据下列公式判断图像中肤色区域：

s为根据人体的肤色特征，像素点的二值化函数，1为肤色，0为非肤色。

b.头部确定

截取肤色区域中，最大的连续矩形块，如果此矩形块的宽高都大于50像素，并且宽高比在1：1到2：1之间，则头部确定子单元222将此矩形区域作为头部区域。

c.脸部确定

脸部确定子单元223将头部区域中所有像素中的R、G、B值取平均值，并计平均值大于110的点为白点小于110的为白点，将RGB图像转换为二值化图像。然后，从图像的中间区域开始寻找连续的白色像素块，向左右方向查找，确定额头的宽度与额宽线。以额宽线最左面的点为起点，向右下截取一个宽高比为1：1.5的矩形区域作为脸部区域。

d.眼睛矩形区域确定

眼睛区域确定子单元224利用上面取得的二值化图像，从额宽线向下1/2宽度区域内搜索连续的两块黑色区域作为眼部区域，并截取双眼区域部分矩形块作为后续建模需要的素材。

e.眼部矩形灰度建模

眼部矩形灰度建模子单元225将提取的眼部区域二值化矩形，在宽度上等分为100份，并将纵座标上所有点的灰度值取平均值作为该点值的像素值，如此便产生一个维数为100的特征矢量。此即为船舶值班人员的当前状态特征值。

步骤2-2，比对单元23将船舶值班人员的当前状态特征值与存储在特征存储单元22中的该船舶值班人员的打盹状态特征值和正常状态特征值进行欧氏距离度量，即矢量每一维误差平方和的方根值，如果船舶值班人员的当前状态特征值与打盹状态特征值的距离小于船舶值班人员的当前状态特征值与正常状态特征值的距离，则判断当前值班人员处于打盹状态；否则判断当前值班人员处于正常状态。

上述的存储在特征值存储单元21中的打盹状态特征值和正常状态特征值是通过以下步骤获取：

利用视频图像采集装置1采集船舶值班人员打盹时的面部视频图像和正常工作时的视频图像，组成训练样本集；

根据该训练样本集建模，得到船舶值班人员的打盹状态和正常状态；

提取船舶值班人员的打盹状态特征值和正常状态特征值，并存入船基服务器2中。

该建模的过程是：首先对采集到船舶值班人员的面部视频图像进行肤色区域标记，确定当前图像中是否有人头（面部）的存在，如果有人脸存在，则确定头部位置，然后寻找眼睛，确定眼睛矩形区域，根据眼部矩形灰度建模，提取特征向量。这些过程与上述的特征值提取单元21提取当前状态特征值的过程相类似，从而可以针对船舶值班人员的睁眼、闭眼动作建立向量库，作为正常状态特征值和打盹状态特征值保存在船基服务器2中。

步骤3，船基报警装置3在接收到船基服务器2发送的报警触发信号时，向处于打盹状态的船舶值班人员发出报警；

步骤4，如果船基报警装置在预定的时间内未收到取消报警的报警复位信号，则向船基服务器2发送岸基报警启动信号；

步骤5，船基服务器2在收到岸基报警启动信号后，通过船基无线通信装置4向岸基无线通信装置6发送报警提示信息；

步骤6，岸基无线通信装置6在接收到船基无线通信装置4发送的报警提示信息后转发给岸基服务器7，岸基服务器7根据该报警提示信息，向岸基报警装置8输出报警触发信号；

步骤7，岸基报警装置8在接收到岸基服务器7发送的报警触发信号后，向岸基人员发出报警。

Claims (10)

1.一种船舶值班人员打盹监控系统，其特征在于，包括船基监控装置和岸基监控装置；所述船基监控装置包括船基无线通信装置、视频图像采集装置、船基服务器和船基报警装置，所述岸基监控装置包括岸基无线通信装置、岸基服务器和岸基报警装置；其中：

视频图像采集装置；用于采集船舶值班人员的面部视频图像，并将该面部视频图像传送给所述的船基服务器；

船基服务器，对从视频图像采集装置接收的船舶值班人员的面部视频图像进行分析，判断船舶值班人员是否处于打盹状态；如果判断船舶值班人员处于打盹状态，则向所述船基报警装置发送报警触发信号；并且，根据从所述船基报警装置发送的岸基报警启动信号，通过所述船基无线通信装置向所述岸基无线通信装置发送报警提示信息；

船基报警装置，根据从船基服务器接收的报警触发信号，向处于打盹状态的船舶值班人员发出报警；如果该船基报警装置在预定的时间内未收到取消报警的报警复位信号，则向船基服务器发送所述的岸基报警启动信号；

岸基无线通信装置，用于与所述船基无线通信装置双向通信，在接收到所述船基无线通信装置发送的报警提示信息后转发给所述岸基服务器；

岸基服务器，根据所述报警提示信息向所述岸基报警装置输出报警触发信号；

岸基报警装置，根据从岸基服务器接收的报警触发信号，向岸基人员发出报警。

2.如权利要求1所述的船舶值班人员打盹监控系统，其特征在于，所述船基服务器包括特征值存储单元、特征值提取单元和比对单元，其中：

特征值存储单元，存储有船舶值班人员的打盹状态特征值和正常状态特征值；

特征值提取单元，根据接收的船舶值班人员的面部视频图像，确定值班人员的面部中心位置，旋转面部图像并确定值班人员的眼部区域，提取船舶值班人员的当前状态特征值，并将该船舶值班人员的当前状态特征值发送给比对单元；

比对单元，将船舶值班人员的当前状态特征值与存储在特征存储单元中的打盹状态特征值和正常状态特征值进行距离度量，如果船舶值班人员的当前状态特征值与打盹状态特征值的距离小于船舶值班人员的当前状态特征值与正常状态特征值的距离，则判断当前值班人员处于打盹状态，并向所述船基报警装置发送报警触发信号。

3.如权利要求1所述的船舶值班人员打盹监控系统，其特征在于，所述的特征值提取单元包括：

肤色区域标记子单元，用于从接收的船舶值班人员的面部视频图像中截取肤色区域；

头部确定子单元，用于从截取的肤色区域中确定头部区域；

脸部确定子单元，用于从确定的头部区域中确定脸部区域；

眼睛区域确定子单元，用于从确定的脸部区域中确定眼睛区域；

眼部矩形灰度建模子单元，用于从确定的眼睛区域中提取船舶值班人员的当前状态特征值。

4.如权利要求1所述的船舶值班人员打盹监控系统，其特征在于，所述视频图像采集装置包括分别拍摄处于不同岗位的多个船舶值班人员的多个网络摄像头。

5.如权利要求4所述的船舶值班人员打盹监控系统，其特征在于，所述船基监控装置还包括一交换机，所述多个网络摄像头及所述船基报警装置通过该交换机与所述船基服务器通信连接。

6.一种船舶值班人员打盹监控方法，其特征在于，包括以下步骤：

利用视频图像采集装置采集船舶值班人员的面部视频图像，并将该面部视频图像传送给船基服务器；

船基服务器分析从视频图像采集装置接收的船舶值班人员的面部视频图像，判断船舶值班人员是否处于打盹状态；如果判断船舶值班人员处于打盹状态，则向所述船基报警装置发送报警触发信号；

船基报警装置在接收到船基服务器发送的报警触发信号时，向处于打盹状态的船舶值班人员发出报警；

如果船基报警装置在预定的时间内未收到取消报警的报警复位信号，则向船基服务器发送岸基报警启动信号，

船基服务器在收到岸基报警启动信号后，通过船基无线通信装置向岸基无线通信装置发送报警提示信息；

岸基无线通信装置在接收到船基无线通信装置发送的报警提示信息后转发给岸基服务器，岸基服务器根据该报警提示信息，向岸基报警装置输出报警触发信号；

岸基报警装置在接收到岸基服务器发送的报警触发信号后，向岸基人员发出报警。

7.如权利要求6所述的船舶值班人员打盹监控方法，其特征在于，所述的船基服务器分析从视频图像采集装置接收的船舶值班人员的面部视频图像、判断船舶值班人员是否处于打盹状态进一步包括以下步骤：

特征值提取单元根据接收的船舶值班人员的面部视频图像，确定值班人员的面部中心位置，旋转面部图像并确定值班人员的眼部区域，提取船舶值班人员的当前状态特征值，并将该船舶值班人员的当前状态特征值发送给比对单元；

比对单元将船舶值班人员的当前状态特征值与存储在特征存储单元中的该船舶值班人员的打盹状态特征值和正常状态特征值进行距离度量，如果船舶值班人员的当前状态特征值与打盹状态特征值的距离小于船舶值班人员的当前状态特征值与正常状态特征值的距离，则判断当前值班人员处于打盹状态。

8.如权利要求7所述的船舶值班人员打盹监控方法，其特征在于，特征值提取单元提取船舶值班人员的当前状态特征值包括以下步骤：

从接收的船舶值班人员的面部视频图像中截取肤色区域；

从截取的肤色区域中确定头部区域；

从确定的头部区域中确定脸部区域；

从确定的脸部区域中确定眼睛区域；

从确定的眼睛区域中提取船舶值班人员的当前状态特征值。

9.如权利要求7所述的船舶值班人员打盹监控方法，其特征在于，所述的打盹状态特征值和正常状态特征值是通过以下步骤获取：

利用视频图像采集装置采集船舶值班人员打盹时的面部视频图像和正常工作时的视频图像，组成训练样本集；

根据该训练样本集建模，得到船舶值班人员的打盹状态和正常状态；

提取船舶值班人员的打盹状态特征值和正常状态特征值，并存入船基服务器中。

10.如权利要求6所述的船舶值班人员打盹监控方法，其特征在于，所述的报警提示信息包括处于打盹状态的船舶值班人员的面部视频图像。

Images