CN104720759A - 吊车操作员状态综合检测系统 - Google Patents

吊车操作员状态综合检测系统 Download PDF

Info

Publication number
CN104720759A
CN104720759A CN201510181063.6A CN201510181063A CN104720759A CN 104720759 A CN104720759 A CN 104720759A CN 201510181063 A CN201510181063 A CN 201510181063A CN 104720759 A CN104720759 A CN 104720759A
Authority
CN
China
Prior art keywords
lip
threshold value
image
opening degree
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510181063.6A
Other languages
English (en)
Other versions
CN104720759B (zh
Inventor
张小磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Hongtu Rubble and Plastic Co., Ltd.
Original Assignee
张小磊
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 张小磊 filed Critical 张小磊
Priority to CN201510181063.6A priority Critical patent/CN104720759B/zh
Publication of CN104720759A publication Critical patent/CN104720759A/zh
Application granted granted Critical
Publication of CN104720759B publication Critical patent/CN104720759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种吊车操作员状态综合检测系统,包括第一检测子系统、第二检测子系统和综合判定子系统,所述第一检测子系统对操作员的脑电波进行检测以获得脑电波特征,所述第二检测子系统对操作员的嘴唇进行检测以获得嘴唇特征,所述综合判定子系统与所述第一检测子系统和所述第二检测子系统分别连接,基于所述脑电波特征和所述嘴唇特征确定操作员的当前状态。通过本发明,能够基于脑电波检测和嘴唇检测综合对吊车操作员的当前状态进行准确判断,避免在吊车操作员疲倦情况下的事故发生。

Description

吊车操作员状态综合检测系统
技术领域
本发明涉及电子检测领域,尤其涉及一种吊车操作员状态综合检测系统。
背景技术
吊车是一种广泛用于港口、车间、电力、工地等地方的起吊搬运机械。吊车这个名称是起重机械统一的称号。频繁叫吊车的主要还是汽车吊、履带吊和轮胎吊。吊车的用处在与吊装设备、抢险、起重、机械、救援。由此可见,吊车的应用领域广泛,但因为涉及到各种重型设备的操作,具有一定的危险性。
对于吊车操作这种需要人为操控的高危行业,需要操作员一直保持着高度的注意力集中,如果稍有走神,很容易造成不可想象的后果,例如,提起的重型设备突然坠下或放错位置等。为了保障操作员在吊车行业的工作状态,需要一种操作员状态电子检测机制,在操作员处于清醒时不进行任何操作,在操作员由于长时间作业而进入疲惫或睡眠状态时,及时将这些疲惫或睡眠状态检测出来,并报警或者上报给有关管理部门,以提醒这些操作员,甚至另派其他操作员进行替换。
然而,现有技术中的吊车操作员状态电子检测机制的都基于单一模式进行检测,由于每一种检测模式都存在一些固有的缺陷,这些过于单一的检测模式,不可避免带来一些内在的误差,影响了检测的效率。因此,需要一种新的吊车操作员状态电子检测机制,能够有机结合两个以上的检测模式,提高检测性能,避免检测误差发生。
发明内容
为了解决上述问题,本发明提供了一种吊车操作员状态综合检测系统,替换了原有的单一检测机制,将基于脑电波检测和基于嘴唇检测的两种机制有机地结合起来,更重要的是,使用了一些经过实验室多次试验而确定无误的数据,保障了检测系统的检测精度和可靠性。
根据本发明的一方面,提供了一种吊车操作员状态综合检测系统,所述检测系统包括第一检测子系统、第二检测子系统和综合判定子系统,所述第一检测子系统对操作员的脑电波进行检测以获得脑电波特征,所述第二检测子系统对操作员的嘴唇进行检测以获得嘴唇特征,所述综合判定子系统与所述第一检测子系统和所述第二检测子系统分别连接,基于所述脑电波特征和所述嘴唇特征确定操作员的当前状态。
更具体地,在所述吊车操作员状态综合检测系统中,还包括:供电子系统,用于为所述第一检测子系统、所述第二检测子系统和所述综合判定子系统提供电力供应;所述供电子系统包括太阳能供电器件、蓄电池、切换开关和电压转换器,所述切换开关与所述太阳能供电器件和所述蓄电池分别连接,根据蓄电池剩余电量决定是否切换到所述太阳能供电器件以由所述太阳能供电器件供电,所述电压转换器与所述切换开关连接,以将通过切换开关输入的5V电压转换为3.3V电压;所述第一检测子系统包括:接地电极,放置于操作员的头前部中点,用于排除干扰;参考电极,作为操作员身体相对零电位点的电极,采用双耳垂接法放置于操作员的耳垂上;作用电极,放置于操作员的头皮上;信号接收器,与所述接地电极、所述参考电极和所述作用电极分别连接,将所述作用电极接收到的信号减去所述参考电极接收到的信号以作为脑电波信号输出,所述脑电波信号的采样频率为256Hz;AT89C51单片机,与所述信号接收器连接,从所述脑电波信号中解析出其中的α波、β波和θ波,所述α波的频率范围为8-14Hz,所述β波的频率范围为14-30Hz,所述θ波的频率范围为4-8Hz,分别计算功率以获得α波功率、β波功率和θ波功率,将α波功率和θ波功率相加后除以β波功率获得的除值作为脑电波状态检测因子;所述第二检测子系统包括:CMOS视觉传感设备,用于对操作员的面部进行拍摄,以获得面部图像,所述面部图像的分辨率为3840×2160;自适应递归滤波设备,与所述CMOS视觉传感设备连接,用于对所述面部图像执行自适应递归滤波处理,以获得滤波面部图像;颜色空间转换设备,与所述自适应递归滤波设备连接,用于将所述滤波面部图像转换为RGB颜色空间下的图像,获得RGB面部图像;嘴唇区域分割设备,与颜色空间转换设备和移动硬盘分别连接,对于所述RGB面部图像的每一个像素,分别计算其RGB三颜色通道的像素值,获得R像素值、G像素值和B像素值,将G像素值减去B像素值以获得第一差值,将R像素值减去G像素值以获得第二差值,将第一差值除以第二差值后的除值取绝对值以获得颜色特征值,当所述颜色特征值小于等于颜色特征值阈值时,则认定该像素为嘴唇像素,否则则认定该像素为非嘴唇像素,将所述RGB面部图像中的所有嘴唇像素组成嘴唇图像;嘴唇开合度确定设备,与所述嘴唇区域分割设备连接,基于所述嘴唇图像计算所述嘴唇图像的高度和宽度,将所述高度除以所述宽度以获得嘴唇开合度;所述综合判定子系统包括:USB接口,用于插接外部U盘,以自动读取外部U盘所预先存储的颜色特征值阈值、开合度阈值、第一检测因子阈值和第二检测因子阈值,所述第一检测因子阈值大于所述第二检测因子阈值;移动硬盘,与所述USB接口连接,用于接收并存储所述颜色特征值阈值、所述开合度阈值、所述第一检测因子阈值和所述第二检测因子阈值;数字信号处理器,与所述AT89C51单片机、所述嘴唇开合度确定设备和所述移动硬盘分别连接,在当前面部图像的嘴唇开合度大于等于所述开合度阈值且脑电波状态检测因子大于等于所述第一检测因子阈值时,输出睡眠状态信号,在当前面部图像的嘴唇开合度大于等于所述开合度阈值且脑电波状态检测因子小于所述第一检测因子阈值但大于等于所述第二检测因子阈值时,输出疲倦状态信号,在当前面部图像的嘴唇开合度小于所述开合度阈值且脑电波状态检测因子小于所述第二检测因子阈值时,输出清醒状态信号;无线通信接口,与所述数字信号处理器连接,用于将与所述睡眠状态信号、所述疲倦状态信号或所述清醒状态信号分别对应的提示文字无线发送到操作员所在单位局域网和操作员所在单位负责人的移动终端;语音播放设备,与所述数字信号处理器连接,用于实时播放与所述睡眠状态信号、所述疲倦状态信号或所述清醒状态信号分别对应的语音播放文件;其中,所述自适应递归滤波设备、所述颜色空间转换设备、所述嘴唇区域分割设备和所述嘴唇开合度确定设备分别采用不同的FPGA芯片实现,所述分别采用的FPGA芯片均为XILINX公司的XC3S1000FT256。
更具体地,在所述吊车操作员状态综合检测系统中:所述综合判定子系统还包括显示设备,所述显示设备与所述数字信号处理器连接,用于实时显示与所述睡眠状态信号、所述疲倦状态信号或所述清醒状态信号分别对应的提示文字。
更具体地,在所述吊车操作员状态综合检测系统中:所述显示设备为液晶显示屏。
更具体地,在所述吊车操作员状态综合检测系统中:所述开合度阈值取值为0.68。
更具体地,在所述吊车操作员状态综合检测系统中:所述语音播放设备包括双声道扬声器和语音播放芯片。
附图说明
以下将结合附图对本发明的实施方案进行描述,其中:
图1为根据本发明实施方案示出的吊车操作员状态综合检测系统的结构方框图。
图2为根据本发明实施方案示出的吊车操作员状态综合检测系统的第一检测子系统的结构方框图。
具体实施方式
下面将参照附图对本发明的吊车操作员状态综合检测系统的实施方案进行详细说明。
吊车主要包括起升机构、运行机构、变幅机构、回转机构和金属结构等。起升机构是起重机的基本工作机构,大多是由吊挂系统和绞车组成,也有通过液压系统升降重物的。运行机构用以纵向水平运移重物或调整起重机的工作位置,一般是由电动机、减速器、制动器和车轮组成。变幅机构只配备在臂架型起重机上,臂架仰起时幅度减小,俯下时幅度增大,分平衡变幅和非平衡变幅两种。回转机构用以使臂架回转,是由驱动装置和回转支承装置组成。金属结构是起重机的骨架,主要承载件如桥架、臂架和门架可为箱形结构或桁架结构,也可为腹板结构,有的可用型钢作为支承梁。
吊车行业由于其行业特殊性,需要对操作员的状态进行重点监控。现有技术中的吊车操作员状态检测的技术方案,虽然都是采用了电子检测的手段,替换了费时费力的人工检测手段,但所使用的电子检测手段比较单一,或者仅仅基于面部特征的识别,或者仅仅基于脑电波特征的识别等,单一的电子检测手段必然会带来检测的误差,容易造成误报警或者没有及时报警的情况发生,而这两种情况都是相关管理部门不愿意看到的。
为了克服上述不足,本发明搭建了一种吊车操作员状态综合检测系统,采用脑电波特征检测和嘴唇特征检测相结合的方式进行综合检测,替换原有的单一检测机制,减少判断误差,提高检测系统的各项性能。
图1为根据本发明实施方案示出的吊车操作员状态综合检测系统的结构方框图,所述检测系统包括第一检测子系统1、第二检测子系统2和综合判定子系统3,所述第一检测子系统1对操作员的脑电波进行检测以获得脑电波特征,所述第二检测子系统2对操作员的嘴唇进行检测以获得嘴唇特征,所述综合判定子系统3与所述第一检测子系统1和所述第二检测子系统2分别连接,基于所述脑电波特征和所述嘴唇特征确定操作员的当前状态。
接着,继续对本发明的吊车操作员状态综合检测系统的具体结构进行进一步的说明。
所述检测系统还包括:供电子系统,用于为所述第一检测子系统1、所述第二检测子系统2和所述综合判定子系统3提供电力供应。
所述供电子系统包括太阳能供电器件、蓄电池、切换开关和电压转换器,所述切换开关与所述太阳能供电器件和所述蓄电池分别连接,根据蓄电池剩余电量决定是否切换到所述太阳能供电器件以由所述太阳能供电器件供电,所述电压转换器与所述切换开关连接,以将通过切换开关输入的5V电压转换为3.3V电压。
如图2所示,所述第一检测子系统1包括以下部件:
接地电极11,放置于操作员的头前部中点,用于排除干扰;
参考电极12,作为操作员身体相对零电位点的电极,采用双耳垂接法放置于操作员的耳垂上;
作用电极13,放置于操作员的头皮上;
信号接收器14,与所述接地电极11、所述参考电极12和所述作用电极13分别连接,将所述作用电极13接收到的信号减去所述参考电极12接收到的信号以作为脑电波信号输出,所述脑电波信号的采样频率为256Hz;
AT89C51单片机15,与所述信号接收器14连接,从所述脑电波信号中解析出其中的α波、β波和θ波,所述α波的频率范围为8-14Hz,所述β波的频率范围为14-30Hz,所述θ波的频率范围为4-8Hz,分别计算功率以获得α波功率、β波功率和θ波功率,将α波功率和θ波功率相加后除以β波功率获得的除值作为脑电波状态检测因子。
所述第二检测子系统2包括以下部件:
CMOS视觉传感设备,用于对操作员的面部进行拍摄,以获得面部图像,所述面部图像的分辨率为3840×2160;
自适应递归滤波设备,与所述CMOS视觉传感设备连接,用于对所述面部图像执行自适应递归滤波处理,以获得滤波面部图像;
颜色空间转换设备,与所述自适应递归滤波设备连接,用于将所述滤波面部图像转换为RGB颜色空间下的图像,获得RGB面部图像;
嘴唇区域分割设备,与颜色空间转换设备和移动硬盘分别连接,对于所述RGB面部图像的每一个像素,分别计算其RGB三颜色通道的像素值,获得R像素值、G像素值和B像素值,将G像素值减去B像素值以获得第一差值,将R像素值减去G像素值以获得第二差值,将第一差值除以第二差值后的除值取绝对值以获得颜色特征值,当所述颜色特征值小于等于颜色特征值阈值时,则认定该像素为嘴唇像素,否则则认定该像素为非嘴唇像素,将所述RGB面部图像中的所有嘴唇像素组成嘴唇图像;
嘴唇开合度确定设备,与所述嘴唇区域分割设备连接,基于所述嘴唇图像计算所述嘴唇图像的高度和宽度,将所述高度除以所述宽度以获得嘴唇开合度。
所述综合判定子系统3包括以下部件:
USB接口,用于插接外部U盘,以自动读取外部U盘所预先存储的颜色特征值阈值、开合度阈值、第一检测因子阈值和第二检测因子阈值,所述第一检测因子阈值大于所述第二检测因子阈值;
移动硬盘,与所述USB接口连接,用于接收并存储所述颜色特征值阈值、所述开合度阈值、所述第一检测因子阈值和所述第二检测因子阈值;
数字信号处理器,与所述AT89C51单片机、所述嘴唇开合度确定设备和所述移动硬盘分别连接,在当前面部图像的嘴唇开合度大于等于所述开合度阈值且脑电波状态检测因子大于等于所述第一检测因子阈值时,输出睡眠状态信号,在当前面部图像的嘴唇开合度大于等于所述开合度阈值且脑电波状态检测因子小于所述第一检测因子阈值但大于等于所述第二检测因子阈值时,输出疲倦状态信号,在当前面部图像的嘴唇开合度小于所述开合度阈值且脑电波状态检测因子小于所述第二检测因子阈值时,输出清醒状态信号;
无线通信接口,与所述数字信号处理器连接,用于将与所述睡眠状态信号、所述疲倦状态信号或所述清醒状态信号分别对应的提示文字无线发送到操作员所在单位局域网和操作员所在单位负责人的移动终端;
语音播放设备,与所述数字信号处理器连接,用于实时播放与所述睡眠状态信号、所述疲倦状态信号或所述清醒状态信号分别对应的语音播放文件。
其中,所述自适应递归滤波设备、所述颜色空间转换设备、所述嘴唇区域分割设备和所述嘴唇开合度确定设备分别采用不同的FPGA芯片实现,所述分别采用的FPGA芯片均为XILINX公司的XC3S1000FT256。
可选地,在所述吊车操作员状态综合检测系统中:所述综合判定子系统3还可以包括显示设备,所述显示设备与所述数字信号处理器连接,用于实时显示与所述睡眠状态信号、所述疲倦状态信号或所述清醒状态信号分别对应的提示文字;所述显示设备可选择为液晶显示屏;所述开合度阈值取值选为0.68;以及,所述语音播放设备可以包括双声道扬声器和语音播放芯片。
另外,CMOS(Complementary Metal-Oxide-Semiconductor),中文学名为互补金属氧化物半导体,他本是计算机系统内一种重要的芯片,保存了系统引导最基本的资料。CMOS的制造技术和一般计算机芯片没什么差别,主要是利用硅和锗这两种元素所做成的半导体,使其在CMOS上共存着带N(带-电)和P(带+电)级的半导体,这两个互补效应所产生的电流即可被处理芯片纪录和解读成影像。后来发现CMOS经过加工也可以作为数码摄影中的图像传感器。
CMOS视觉传感器也可细分为被动式像素传感器(Passive Pixel SensorCMOS)与主动式像素传感器(Active Pixel Sensor CMOS)。最新CMOS视觉传感器获得广泛应用的一个前提是其所拥有的较高灵敏度、较短曝光时间和日渐缩小的像素尺寸。像素灵敏度的一个衡量尺度是填充因子(感光面积与整个像素面积之比)与量子效率(由轰击屏幕的光子所生成的电子的数量)的乘积。CCD视觉传感器因其技术的固有特性而拥有一个很大的填充因子。而在CMOS图像传感器中,为了实现堪与CCD转换器相媲美的噪声指标和灵敏度水平,人们给CMOS视觉传感器装配上了有源像素传感器(APS),并且导致填充因子降低,原因是像素表面相当大的一部分面积被放大器晶体管所占用,留给光电二极管的可用空间较小。所以,当今CMOS传感器的一个重要的开发目标就是扩大填充因子。
赛普拉斯(Fill Factory)通过其获得专利授权的一项技术,可以大幅度地提高填充因子,这种技术可以把一颗标准CMOS硅芯片最大的一部分面积变为一块感光区域。随着像素尺寸的变小,提高填充因子所来越困难,目前最流行的技术是从传统的前感光式(FSI,Front Side Illumination)变为背部感光式(BSI,Back Side Illumination),放大器等晶体管以及互联电路置于背部,前部全部留给光电二极管,这样就实现了100%的填充因子。另外,对于一个典型的工业用图象传感器而言,由于许多场景的拍摄都是在照明条件很差的情况下进行的,因此拥有较大的动态范围将是十分有益的。
CMOS视觉传感器通过多斜率操作实现了这一目标:转换曲线由倾度不同的直线部分所组成,他们共同形成了一个非线性特征曲线。因此,一幅场景的黑暗部分有可能占据集成模拟-数字转换器转换范围的很大一部分:转换特征曲线在这里最为陡峭,以实现高灵敏度和对比度。特征曲线上半部分的平整化将在图像的明亮部分捕获几个数量级的过度曝光,并以一个更加细致的标度来表现他们。采用多斜率的方式来运作LUPA-4000将使高达90dB的光动态范围与一个10位A/D转换范围相匹配。具有VGA分辨率的IM-001系列CMOS视觉传感器在此基础上更进一步;他们是专为汽车应用而设计的。其像素由光电二极管组成,可提供高达120dB的自适应动态范围。面向汽车应用的ACM 100相机模块就采用了这些传感器,这种相机模块据称是同类产品中率先面市的全集成化相机解决方案:该视觉解决方案被看作是面向驾驶者保护、防撞、夜视支持和轮胎跟踪导向的未来汽车安全系统的关键元件。
采用本发明的吊车操作员状态综合检测系统,针对现有的各种电子检测机制因为检测模式的内在缺陷而带来检测误差的技术问题,将基于嘴唇特征的检测模式和基于脑电波特征的检测模式进行有机的结合,依靠有效的实验室数据,提供了两种检测模式结合的具体方式,有效地为相关吊车管理部门和操作员本人提供操作员的当前状态,以在危情发生之前及时获得通知,从而减少事故发生的概率。
可以理解的是,虽然本发明已以较佳实施例披露如上,然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言,在不脱离本发明技术方案范围情况下,都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。

Claims (6)

1.一种吊车操作员状态综合检测系统,其特征在于,所述检测系统包括第一检测子系统、第二检测子系统和综合判定子系统,所述第一检测子系统对操作员的脑电波进行检测以获得脑电波特征,所述第二检测子系统对操作员的嘴唇进行检测以获得嘴唇特征,所述综合判定子系统与所述第一检测子系统和所述第二检测子系统分别连接,基于所述脑电波特征和所述嘴唇特征确定操作员的当前状态。
2.如权利要求1所述的吊车操作员状态综合检测系统,其特征在于,所述检测系统还包括:
供电子系统,用于为所述第一检测子系统、所述第二检测子系统和所述综合判定子系统提供电力供应;
所述供电子系统包括太阳能供电器件、蓄电池、切换开关和电压转换器,所述切换开关与所述太阳能供电器件和所述蓄电池分别连接,根据蓄电池剩余电量决定是否切换到所述太阳能供电器件以由所述太阳能供电器件供电,所述电压转换器与所述切换开关连接,以将通过切换开关输入的5V电压转换为3.3V电压;
所述第一检测子系统包括:
接地电极,放置于操作员的头前部中点,用于排除干扰;
参考电极,作为操作员身体相对零电位点的电极,采用双耳垂接法放置于操作员的耳垂上;
作用电极,放置于操作员的头皮上;
信号接收器,与所述接地电极、所述参考电极和所述作用电极分别连接,将所述作用电极接收到的信号减去所述参考电极接收到的信号以作为脑电波信号输出,所述脑电波信号的采样频率为256Hz;
AT89C51单片机,与所述信号接收器连接,从所述脑电波信号中解析出其中的α波、β波和θ波,所述α波的频率范围为8-14Hz,所述β波的频率范围为14-30Hz,所述θ波的频率范围为4-8Hz,分别计算功率以获得α波功率、β波功率和θ波功率,将α波功率和θ波功率相加后除以β波功率获得的除值作为脑电波状态检测因子;
所述第二检测子系统包括:
CMOS视觉传感设备,用于对操作员的面部进行拍摄,以获得面部图像,所述面部图像的分辨率为3840×2160;
自适应递归滤波设备,与所述CMOS视觉传感设备连接,用于对所述面部图像执行自适应递归滤波处理,以获得滤波面部图像;
颜色空间转换设备,与所述自适应递归滤波设备连接,用于将所述滤波面部图像转换为RGB颜色空间下的图像,获得RGB面部图像;
嘴唇区域分割设备,与颜色空间转换设备和移动硬盘分别连接,对于所述RGB面部图像的每一个像素,分别计算其RGB三颜色通道的像素值,获得R像素值、G像素值和B像素值,将G像素值减去B像素值以获得第一差值,将R像素值减去G像素值以获得第二差值,将第一差值除以第二差值后的除值取绝对值以获得颜色特征值,当所述颜色特征值小于等于颜色特征值阈值时,则认定该像素为嘴唇像素,否则则认定该像素为非嘴唇像素,将所述RGB面部图像中的所有嘴唇像素组成嘴唇图像;
嘴唇开合度确定设备,与所述嘴唇区域分割设备连接,基于所述嘴唇图像计算所述嘴唇图像的高度和宽度,将所述高度除以所述宽度以获得嘴唇开合度;
所述综合判定子系统包括:
USB接口,用于插接外部U盘,以自动读取外部U盘所预先存储的颜色特征值阈值、开合度阈值、第一检测因子阈值和第二检测因子阈值,所述第一检测因子阈值大于所述第二检测因子阈值;
移动硬盘,与所述USB接口连接,用于接收并存储所述颜色特征值阈值、所述开合度阈值、所述第一检测因子阈值和所述第二检测因子阈值;
数字信号处理器,与所述AT89C51单片机、所述嘴唇开合度确定设备和所述移动硬盘分别连接,在当前面部图像的嘴唇开合度大于等于所述开合度阈值且脑电波状态检测因子大于等于所述第一检测因子阈值时,输出睡眠状态信号,在当前面部图像的嘴唇开合度大于等于所述开合度阈值且脑电波状态检测因子小于所述第一检测因子阈值但大于等于所述第二检测因子阈值时,输出疲倦状态信号,在当前面部图像的嘴唇开合度小于所述开合度阈值且脑电波状态检测因子小于所述第二检测因子阈值时,输出清醒状态信号;
无线通信接口,与所述数字信号处理器连接,用于将与所述睡眠状态信号、所述疲倦状态信号或所述清醒状态信号分别对应的提示文字无线发送到操作员所在单位局域网和操作员所在单位负责人的移动终端;
语音播放设备,与所述数字信号处理器连接,用于实时播放与所述睡眠状态信号、所述疲倦状态信号或所述清醒状态信号分别对应的语音播放文件;
其中,所述自适应递归滤波设备、所述颜色空间转换设备、所述嘴唇区域分割设备和所述嘴唇开合度确定设备分别采用不同的FPGA芯片实现,所述分别采用的FPGA芯片均为XILINX公司的XC3S1000FT256。
3.如权利要求2所述的吊车操作员状态综合检测系统,其特征在于:
所述综合判定子系统还包括显示设备,所述显示设备与所述数字信号处理器连接,用于实时显示与所述睡眠状态信号、所述疲倦状态信号或所述清醒状态信号分别对应的提示文字。
4.如权利要求3所述的吊车操作员状态综合检测系统,其特征在于:
所述显示设备为液晶显示屏。
5.如权利要求1-4任一所述的吊车操作员状态综合检测系统,其特征在于:
所述开合度阈值取值为0.68。
6.如权利要求1-4任一所述的吊车操作员状态综合检测系统,其特征在于:
所述语音播放设备包括双声道扬声器和语音播放芯片。
CN201510181063.6A 2015-04-16 2015-04-16 吊车操作员状态综合检测系统 Active CN104720759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510181063.6A CN104720759B (zh) 2015-04-16 2015-04-16 吊车操作员状态综合检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510181063.6A CN104720759B (zh) 2015-04-16 2015-04-16 吊车操作员状态综合检测系统

Publications (2)

Publication Number Publication Date
CN104720759A true CN104720759A (zh) 2015-06-24
CN104720759B CN104720759B (zh) 2017-01-11

Family

ID=53445600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510181063.6A Active CN104720759B (zh) 2015-04-16 2015-04-16 吊车操作员状态综合检测系统

Country Status (1)

Country Link
CN (1) CN104720759B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105092593A (zh) * 2015-08-27 2015-11-25 张小磊 一种基于高强度照明的钢板缺陷检测方法
CN105893980A (zh) * 2016-04-26 2016-08-24 北京科技大学 一种注意力专注度评价方法及系统
CN109464266A (zh) * 2018-12-28 2019-03-15 辽宁科技大学 一种基于脑机交互的康复装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2465439A (en) * 2008-11-24 2010-05-26 Dan Avidan Driver awareness monitoring system
CN103198617A (zh) * 2013-03-26 2013-07-10 无锡商业职业技术学院 一种疲劳驾驶警示系统
CN104127195A (zh) * 2014-07-29 2014-11-05 杭州电子科技大学 一种融合脑电和心电信号的疲劳驾驶检测方法
US20150015400A1 (en) * 2013-07-11 2015-01-15 L&P Property Management Company Computer-Aided System Detecting Operator Fatigue (CASDOF)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2465439A (en) * 2008-11-24 2010-05-26 Dan Avidan Driver awareness monitoring system
CN103198617A (zh) * 2013-03-26 2013-07-10 无锡商业职业技术学院 一种疲劳驾驶警示系统
US20150015400A1 (en) * 2013-07-11 2015-01-15 L&P Property Management Company Computer-Aided System Detecting Operator Fatigue (CASDOF)
CN104127195A (zh) * 2014-07-29 2014-11-05 杭州电子科技大学 一种融合脑电和心电信号的疲劳驾驶检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105092593A (zh) * 2015-08-27 2015-11-25 张小磊 一种基于高强度照明的钢板缺陷检测方法
CN105893980A (zh) * 2016-04-26 2016-08-24 北京科技大学 一种注意力专注度评价方法及系统
CN105893980B (zh) * 2016-04-26 2019-02-26 北京科技大学 一种注意力专注度评价方法及系统
CN109464266A (zh) * 2018-12-28 2019-03-15 辽宁科技大学 一种基于脑机交互的康复装置

Also Published As

Publication number Publication date
CN104720759B (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
CN102976210B (zh) 电力施工装备的安全距离检测预警装置和方法
CN104720759A (zh) 吊车操作员状态综合检测系统
CN210192475U (zh) 一种垃圾分类式垃圾车
US20140347530A1 (en) Image processing device
CN109187564B (zh) 一种狭长型构筑物实时变形监测系统
CN207703262U (zh) 一种智慧工地环境监测系统
CN111170161B (zh) 基于场景检测的模式设定系统
US10175091B2 (en) Remote sensor control system
CN105060039A (zh) 一种电梯轿厢内儿童识别方法
CN205646636U (zh) 一种安全防护检修装置
CN104464297A (zh) 一种高速公路安全监控装置
CN105060051A (zh) 电梯内激烈搏斗场景检测平台
CN110728212A (zh) 一种基于计算机视觉的道路井盖监控装置及监控方法
CN102344093A (zh) 一种塔吊防倾斜智能监控系统
CN105129566A (zh) 一种智能化检测电梯安全的方法
CN105016163A (zh) 基于无线通信的电梯内角落危情报警平台
CN211181062U (zh) 一种货车超限超载非现场执法违规行驶检测系统
CN107432793A (zh) 安全型双轮驱动轮椅
CN203037330U (zh) 一种基于单片机的车辆超载检测装置
CN105139577A (zh) 一种基于无线通信的电梯内角落危情报警方法
CN102542241A (zh) 嵌入式图像处理辨识系统与方法
CN105151933A (zh) 基于无线通信的电梯可疑人物报警平台
CN105110114A (zh) 电梯轿厢内儿童识别系统
CN110838218A (zh) 高压架空电线智能警示保护系统
CN212766550U (zh) 一种多功能混凝土检测仪器运载装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20161114

Address after: Our Village West Town 210000 Haian County of Jiangsu city of Nantong Province in twenty-one groups

Applicant after: Nantong Hongtu Rubble and Plastic Co., Ltd.

Address before: No. 9 Jiangning Road, Nanjing District hirokage 210000 cities in Jiangsu Province

Applicant before: Zhang Xiaolei

GR01 Patent grant
GR01 Patent grant