CN101655907A - 机车司机行车状态监控智能报警系统 - Google Patents
机车司机行车状态监控智能报警系统 Download PDFInfo
- Publication number
- CN101655907A CN101655907A CN 200910013562 CN200910013562A CN101655907A CN 101655907 A CN101655907 A CN 101655907A CN 200910013562 CN200910013562 CN 200910013562 CN 200910013562 A CN200910013562 A CN 200910013562A CN 101655907 A CN101655907 A CN 101655907A
- Authority
- CN
- China
- Prior art keywords
- people
- face
- detection
- center
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 5
- 230000003137 locomotive effect Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 210000001061 forehead Anatomy 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 7
- 206010041349 Somnolence Diseases 0.000 abstract description 4
- 208000032140 Sleepiness Diseases 0.000 abstract 1
- 230000001788 irregular Effects 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 230000037321 sleepiness Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Emergency Alarm Devices (AREA)
Abstract
本发明公开了一种机车司机行车状态监控智能报警系统，其特征在于利用数码技术获取图像信息，后通过处理器进行实时特征检测技术对人脸检测，以此确定人脸活动区域检测方法，并连同与之配合的利用人脸检测、跟踪、识别计算等方法对司机行车状态进行监测，识别出不规范行为(如瞌睡、疲劳、间断瞭望、离开座位等)时，本地发出警示提醒信息，并向远程地面系统或接收终端发出报警信息。该报警系统采用红外技术，可自动调整光线，准确识别人脸，避免了自然强光，逆光的影响；另外，该报警系统也克服其它同类产品针对人为差异的影响，如高矮胖瘦等；人脸与摄像头夹角成30度以内时，仍然可以识别。其结构简单、便于生产，而且成本低廉适于广泛推广。
Description
技术领域
本发明涉及一种涉及监测驾驶员行为的视频图象处理技术，尤其一种当驾驶员行为超出正常允许的范围时，采取适当的措施，规范驾驶员行为的机车司机行车状态监控智能报警系统。
背景技术
驾驶员由于长时间驾驶，并且一直进行重复性劳动，在加上夜间，各种路况等因素，驾驶员往往不能集中精神，甚至有时会出现不注意前方，坐姿不端正，瞌睡等疲劳行为，铁路表现的尤其明显。而驾驶员身处户外，缺乏有效的监督机制，给人民生命和财产带来很大的安全隐患。
目前，市场上也有一些产品来解决这个问题，但是大都受到光线的影响，如自然强光的照射、逆光的影响等造成误判率的居高不下；另外，现有的报警系统大都是统一标配产品，其中的参数都已经设定好，在针对高矮胖瘦的不同人，需要在使用前将其位置调好，但是，通常人的标准坐姿和人平常的坐姿往往有一定的不同，这种不同需要人不断调整设备的位置和角度来克服，以便设备能够有效地对机车司机行车状态进行监控；这样费时又费力，所以一种使用方便和误报率低的监控系统急需被研制。
发明内容
本发明针对以上问题的提出，而研制一种智能型机车司机行车状态监控智能报警系统，可以规范驾驶员行为，敦促其安全驾驶。本发明所采用的技术手段如下：
一种机车司机行车状态监控方法，其特征在于包括人脸活动区域检测方法和人脸检测/跟踪方法；
所述人脸活动区域检测方法包括如下步骤：
(1)通过摄像头获取外部图像信息；
(2)通过实时特征检测技术对人脸进行检测；
(3)对上步骤中所检测到的人脸部信息进行人脸中心的检测；
(4)当上述步骤中检测到的人脸的中心在获取连续几帧图像中的处于稳定状态，并且这个连续稳定状态的图像帧数大于设定阈值后，进行下一步骤，否则返回步骤(2)；
(5)以上述步骤获取的人脸中心为参考，确定人脸活动境界内区Ri和人脸活动境界外区Ro；
即人脸活动区域检测方法之后，利用人脸检测/跟踪方法对司机行车状态进行监测，在此过程中利用跟踪算法和检测算法配合监测，具体包括如下步骤：
(6)首先判定该检测是否为确定人脸中心之后的第一次检测；
(7)在确定是确定人脸中心之后的第一次检测，则对存储前帧图像检测队列和跟踪区域中心的队列进行清空，同时记录入队时刻；
(8)在确定不是确定人脸中心之后的第一次检测，则判定当前帧图像检测的方法是跟踪算法获取？还是检测算法获取？如是跟踪算法获取，不对当前帧图像做进一步处理；如是检测算法获取，将其存储到缓存中待下一步处理；
(9)对步骤(7)或步骤(8)中需进一步判断的当前N帧图像进行人脸区域中心的再次检测；然后根据人脸中心的在人脸活动频繁境界内区Ri和人脸活动略少境界外区Ro中的具体位置进行如下处理：
a、当人脸中心在人脸活动境界外区Ro之外进行如下步骤：
①首先记录当前时刻；
②计算具连续帧图像检测人脸中心都在人脸活动境界外区Ro之外中的首次帧图像的时刻；
③判断上述时刻是否大于设定阈值；
④当不大于设定阈值则返回步骤(6)中；
⑤当上述时刻大于设定阈值，进行语音报警提示司机回到原位置，并记录此次报警；
⑥统计连续报警的次数，当连续报警的次数大于设定阈值则发信息给司机监控总台，同时清空队列返回步骤(1)；
b、当人脸中心在人脸活动境界内区Ri和人脸活动境界外区Ro之间进行如下步骤：
①首先根据人眼特征识别算法，检测人眼的特征；
②利用组合分离器统计上述各人眼特征，统计出一个统计值；
③将上述统计值和设定阈值进行比较；
④当上述统计值大于阈值则返回步骤(6)中；
⑤当上述统计值小于阈值则进行人眼长度的检测；
⑥当步骤⑤中检测到的人眼长度大于设定阈值返回步骤(6)中；
⑦当人眼长度小于设定阈值，进行语音报警提示司机注意瞭望，并记录此次报警；
⑧统计连续报警的次数，当连续报警的次数大于设定阈值则发信息给司机监控总台，后清空队列返回步骤(6)；
c、当人脸中心在人脸活动境界内区Ri内进行如下步骤：
①首先根据人眼特征识别算法进行人眼长度的检测；
②当上述步骤中检测到的人眼长度大于设定阈值返回步骤(6)中；
③当人眼长度小于设定阈值，进行语音报警提示司机注意瞭望，并记录此次报警；
④统计连续报警的次数，当连续报警的次数大于设定阈值则发信息给司机监控总台，后清空队列返回步骤(6)。
所述跟踪算法和检测算法是利用Adaboost算法进行示例学习，频域特征提取，在JPEG图象的DCT系数中提取出额头、眼睛、嘴、鼻子和下巴面部特征，用小波变换的方法滤掉高额信息，采用低频图象的频谱来表达图象，使用人脸图象的Harr小波系数作为特征矢量，通过SVM机制实现人的脸部检测和跟踪，同时不必考虑宽度为一个像素的矩形特征，同时减少边缘的矩形特征，采用直方图归一化处理样本：
在已经检测到人脸，抓取特征值情况下，检测是抓取的特征值在一定范围内小幅度移动即为检测算法；
跟踪是抓取的特征值在一定范围内较大幅度移动，在一个平面动态的时时对比，跟踪特征值即为跟踪算法。
上述步骤⑤中所述人脸活动境界内区Ri和人脸活动境界外区Ro，是通过将检测到的人脸中心图像形成二维像素矩阵，然后利用区域分类器根据设定参数进行划分的。
所述人脸活动境界内区Ri和人脸活动境界外区Ro的中心，由前几帧图像检测到的人脸中心自适应动态统计确定。
所述人脸活动境界外区Ro的左右下警戒区相对小于上警戒区。
所述步骤(9)-b-①还包括在检测前对人眼部特征学习过程，利用组合分离器这对不同人设定人眼特征阈值。
一种采用机车司机行车状态监控方法的报警装置，其特征在于包括：
摄像头，用于获取外部图像信息，尤其人脸图像信息；
存储单元，用于存储上述监控方法中的各设定阈值；
信息报警单元，用于向司机监控总台发送报警信息；
声音报警单元，用于发出报警声音提醒司机；
处理单元，由DSP和ARM两部分构成：
DSP，用于对上述监控方法中的各图像信息进行运算处理，利用实时特征检测技术对人脸部特征进行检测，同时对所检测到的人脸部信息进行人脸中心的检测；
ARM，用于对上述监控方法中的各逻辑判断进行运算处理，还用于接收机车发布的行车信号，以控制装置的开启，同时控制信息报警单元向司机监控总台发送报警信息，以及控制声音报警单元发出报警声音信号；
所述摄像头通过数据线连接到处理单元上将图像信息传给处理单元的ARM中，所述ARM通过内部总线同DSP相连接并将图像信息交于DSP进行处理，所述存储单元通过数据总线同存储单元相连接并将相应阈值信息发送到处理单元的ARM中进行处理；所述ARM通过内部总线接收DSP处理的结果，当需报警时通过与处理单元相连接的信息报警单元向司机监控总台发送报警信息，或通过同处理单元相连接的声音报警单元报警声音。
所述摄像头为红外摄像头。所述信息报警单元向司机监控总台发送报警信息包括文字信息、图片信息或视频信息。
由于采用了上述技术方案，本发明提供的报警系统采用红外技术，可自动调整光线，准确识别人脸，同时在算法中考虑到了强光，逆光对抓取的特征值的影响，通过提取关键参数，略掉边缘特征的方法处理，避免了自然强光，逆光的影响；另外，该报警系统也克服其它同类产品针对人为差异的影响，如高矮胖瘦等；此外，人脸与摄像头夹角成30度以内时，仍然可以识别。由于其结构简单、便于生产，而且成本低廉适于广泛推广。
附图说明
图1为本发明所述报警系统的装置结构示意图；
图2为本发明所述报警系统中人脸检测的方法的流程图；
图3为本发明实施例中进入人脸检测判断处理时人脸中心在RO之外的处理流程图；
图4为本发明实施例中进入人脸检测判断处理时人脸中心在RO之内Ri之外的处理流程图；
图5为本发明实施例中进入人脸检测判断处理时人脸中心在Ri之内的处理流程图；
具体实施方式
如图1所示，机车司机行车状态监控报警装置，包括：摄像头，用于获取外部图像信息，尤其人脸图像信息；存储单元，用于存储下述监控方法中的各设定阈值；信息报警单元，用于向司机监控总台发送报警信息(该报警信息包括文字信息、图片信息或视频信息)；声音报警单元，用于发出报警声音提醒司机；处理单元，由DSP和ARM两部分构成：DSP，用于对本发明下述的各图像信息进行运算处理，利用实时特征检测技术对人脸部特征进行检测，同时对所检测到的人脸部信息进行人脸中心的检测；ARM，用于对上述监控方法中的各逻辑判断进行运算处理，还用于接收机车发布的行车信号，以控制装置的开启，同时控制信息报警单元向司机监控总台发送报警信息，以及控制声音报警单元发出报警声音信号；
其中摄像头可为常规摄像头，在算法中考虑到了强光，逆光对抓取的特征值的影响，通过提取关键参数，略掉边缘特征的方法处理，可有效地避免自然强光，逆光的影响；通过数据线将图像信息传给处理单元的ARM中，经过ARM的处理分配后交于DSP进行图像信息的运算处理，ARM通过内部总线同DSP相连接；存储单元通过数据总线同存储单元相连接并将相应阈值信息发送到处理单元的ARM中进行处理；ARM通过内部总线接收DSP处理的结果同存储单元中存储的阈值进行比较，此处作为逻辑判断的依据，并最终将处理结果以信息报警和声音报警的形式发出(当需报警时通过与处理单元相连接的信息报警单元向司机监控总台发送报警信息，或通过同处理单元相连接的声音报警单元报警声音)。
其基本原理是根据处理器进行人脸识别技术，在一定允许的范围内，驾驶员疲劳累积时间或者坐姿不端超过设定的累积时间时，有相应的语音提示，提醒司机规范驾驶行为，如果语音提示超过规定的次数，驾驶员仍未规范坐姿的，将抓拍驾驶员当前状态，并以彩信息的形式发送到地面工作站，由地面工作人员提醒，规范其驾驶行为。
如图2、图3、图4及图5所示流程图对机车司机行车状态监控方法进行详细描述。
如图2所示其监测方法包括人脸活动区域检测方法和人脸检测/跟踪方法；
A、所述人脸活动区域检测方法包括如下步骤：
(1)通过摄像头获取外部图像信息；
(2)通过实时特征检测技术对人脸进行检测；
(3)对上步骤中所检测到的人脸部信息进行人脸中心的检测(实时特征检测技术，实现一个快速人脸检测的系统；通过训练，尽可能优化分类器参数，从而获得高检测速率和正确率的人脸检测系统；人脸检测就是在图像中获取人脸位置和大小的全部特征，提取到模板中，组成二维像素矩阵，开启自动示例识别算法功能，获取整个人脸的频域描述特征量来作为分类决策器的输入；取得最终结果，以此确定人的脸部；根据眼部区域亮度低于脸部和双眼亮度低于眉心，以此来确定人的面部中心，在加上眼睛的一些具体特征如线装特征，眨眼频率对亮度的影响等，判断眼睛的位置和状态)；
(4)当上述步骤中检测到的人脸的中心在获取连续几帧图像中的处于稳定状态，并且这个连续稳定状态的图像帧数大于设定阈值后，进行下一步骤，否则返回步骤(2)；
(5)以上述步骤获取的人脸中心为参考，确定人脸活动境界内区Ri和人脸活动境界外区Ro；人脸活动境界内区Ri和人脸活动境界外区Ro，是通过将检测到的人脸中心图像形成二维像素矩阵，然后利用区域分类器根据设定参数进行划分的人脸活动境界内区Ri和人脸活动境界外区Ro的中心，由前几帧图像检测到的人脸中心自适应动态统计确定。Ri与Ro的中心由前几帧图像检测到的人脸中心自适应动态统计确定(求平均值)，为防止频繁点头型瞌睡和侧面倒型瞌睡，Ro的左右下警戒区应设小点人脸活动境界外区Ro的左右下警戒区相对小于上警戒区。
B、即人脸活动区域检测方法之后，利用人脸检测/跟踪方法对司机行车状态进行监测(所述跟踪算法和检测算法是利用Adaboost算法进行示例学习，频域特征提取，在JPEG图象的DCT系数中提取出额头、眼睛、嘴、鼻子和下巴面部特征，用小波变换的方法滤掉高额信息，采用低频图象的频谱来表达图象，使用人脸图象的Harr小波系数作为特征矢量，通过SVM机制实现人的脸部检测和跟踪，同时不必考虑宽度为一个像素的矩形特征，同时减少边缘的矩形特征，采用直方图归一化处理样本：
在已经检测到人脸，抓取特征值情况下，检测是抓取的特征值在一定范围内小幅度移动即为检测算法；
跟踪是抓取的特征值在一定范围内较大幅度移动，在一个平面动态的时时对比，跟踪特征值即为跟踪算法。)，在此过程中利用跟踪算法和检测算法配合监测，具体包括如下步骤：
(6)首先判定该检测是否为确定人脸中心之后的第一次检测；
(7)在确定是确定人脸中心之后的第一次检测，则对存储前帧图像检测队列和跟踪区域中心的队列进行清空(如果是第一次检测，则以前存储的内容没有可比性；如果不是第一次，证明存储的内容没有被清空，以前的状态是有效的；通常在发送彩信报警后，将存储记录清空；)，同时记录入队时刻；
(8)在确定不是确定人脸中心之后的第一次检测，则判定当前帧图像检测的方法是跟踪算法获取？还是检测算法获取？(跟踪算法处理，证明人脸移动范围超过了幅度限制，表明人脸在移动，此时司机没有在睡觉；检测算法证明人脸的移动幅度已经在一定范围内，有可能盹睡，需要进一步处理)如是跟踪算法获取，不对当前帧图像做进一步处理；如是检测算法获取，将其存储到缓存中待下一步处理；
(9)对步骤(7)或步骤(8)中需进一步判断的当前N帧图像进行人脸区域中心的再次检测(先找人的面部位置，即人脸中心的查找，原理已阐明过；在找人的眼睛，这样速度会提高很多，)；然后根据人脸中心的在人脸活动频繁境界内区Ri和人脸活动略少境界外区Ro中的具体位置进行处理，此过程是依据实际需求，即机车驾驶员实际工作环境制定，依据驾驶员的面部在图象中所占的比例划分，超出RO后，司机此时即使没有处于疲劳状态，也没有按照行车规定瞭望，注视前方，所以划分此区域；Ri是驾驶员面部经常出现的区域；RO和Ri之间的区域是驾驶员做出改变坐姿，操作机车，查看仪表等动作时，人脸经常出现的区域；按照各个区域划分后，整个过程便于检测和捕捉，精确度大大提高；具体的分割数值没有具体的需求，根据各个机车的环境，参数可调整。
具体处理过程如下：
如图3所示当人脸中心在人脸活动境界外区Ro之外进行如下步骤：
①首先记录当前时刻；
②计算具连续帧图像检测人脸中心都在人脸活动境界外区Ro之外中的首次帧图像的时刻；
③判断上述时刻是否大于设定阈值；
④当不大于设定阈值则返回步骤(6)中；
⑤当上述时刻大于设定阈值，进行语音报警提示司机回到原位置，并记录此次报警；
⑥统计连续报警的次数，当连续报警的次数大于设定阈值则发信息给司机监控总台，同时清空队列返回步骤(1)；
如图4所示当人脸中心在人脸活动境界内区Ri和人脸活动境界外区Ro之间进行如下步骤：
①首先根据人眼特征识别算法，检测人眼的特征；其中在检测前对人眼部特征学习过程，好利用组合分离器这对不同人设定人眼特征阈值(因为每个人的眼部特征值都是不一样的)。
②利用组合分离器统计上述各人眼特征，统计出一个统计值；
③将上述统计值和设定阈值进行比较；
④当上述统计值大于阈值则返回步骤(6)中；
⑤当上述统计值小于阈值则进行人眼长度的检测；
⑥当步骤⑤中检测到的人眼长度大于设定阈值返回步骤(6)中；
⑦当人眼长度小于设定阈值，进行语音报警提示司机注意瞭望，并记录此次报警；
⑧统计连续报警的次数，当连续报警的次数大于设定阈值则发信息给司机监控总台，后清空队列返回步骤(6)；
如图5所示当人脸中心在人脸活动境界内区Ri内进行如下步骤：
①首先根据人眼特征识别算法进行人眼长度的检测；
②当上述步骤中检测到的人眼长度大于设定阈值返回步骤(6)中；
③当人眼长度小于设定阈值，进行语音报警提示司机注意瞭望，并记录此次报警；
④统计连续报警的次数，当连续报警的次数大于设定阈值则发信息给司机监控总台，后清空队列返回步骤(6)。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (9)
1、一种机车司机行车状态监控方法，其特征在于包括人脸活动区域检测方法和人脸检测/跟踪方法；
所述人脸活动区域检测方法包括如下步骤：
(1)通过摄像头获取外部图像信息；
(2)通过实时特征检测技术对人脸进行检测；
(3)对上步骤中所检测到的人脸部信息进行人脸中心的检测；
(4)当上述步骤中检测到的人脸的中心在获取连续几帧图像中的处于稳定状态，并且这个连续稳定状态的图像帧数大于设定阈值后，进行下一步骤，否则返回步骤(2)；
(5)以上述步骤获取的人脸中心为参考，确定人脸活动境界内区Ri和人脸活动境界外区Ro；
既人脸活动区域检测方法之后，利用人脸检测/跟踪方法对司机行车状态进行监测，在此过程中利用跟踪算法和检测算法配合监测，具体包括如下步骤：
(6)首先判定该检测是否为确定人脸中心之后的第一次检测；
(7)在确定是确定人脸中心之后的第一次检测，则对存储前帧图像检测队列和跟踪区域中心的队列进行清空，同时记录入队时刻；
(8)在确定不是确定人脸中心之后的第一次检测，则判定当前帧图像检测的方法是跟踪算法获取？还是检测算法获取？如是跟踪算法获取，不对当前帧图像做进一步处理；如是检测算法获取，将其存储到缓存中待下一步处理；
(9)对步骤(7)或步骤(8)中需进一步判断的当前N帧图像进行人脸区域中心的再次检测；然后根据人脸中心的在人脸活动频繁境界内区Ri和人脸活动略少境界外区Ro中的具体位置进行如下处理：
a、当人脸中心在人脸活动境界外区Ro之外进行如下步骤：
①首先记录当前时刻；
②计算具连续帧图像检测人脸中心都在人脸活动境界外区Ro之外中的首次帧图像的时刻；
③判断上述时刻是否大于设定阈值；
④当不大于设定阈值则返回步骤(6)中；
⑤当上述时刻大于设定阈值，进行语音报警提示司机回到原位置，并记录此次报警；
⑥统计连续报警的次数，当连续报警的次数大于设定阈值则发信息给司机监控总台，同时清空队列返回步骤(1)；
b、当人脸中心在人脸活动境界内区Ri和人脸活动境界外区Ro之间进行如下步骤：
①首先根据人眼特征识别算法，检测人眼的特征；
②利用组合分离器统计上述各人眼特征，统计出一个统计值；
③将上述统计值和设定阈值进行比较；
④当上述统计值大于阈值则返回步骤(6)中；
⑤当上述统计值小于阈值则进行人眼长度的检测；
⑥当步骤⑤中检测到的人眼长度大于设定阈值返回步骤(6)中；
⑦当人眼长度小于设定阈值，进行语音报警提示司机注意瞭望，并记录此次报警；
⑧统计连续报警的次数，当连续报警的次数大于设定阈值则发信息给司机监控总台，后清空队列返回步骤(6)；
c、当人脸中心在人脸活动境界内区Ri内进行如下步骤：
①首先根据人眼特征识别算法进行人眼长度的检测；
②当上述步骤中检测到的人眼长度大于设定阈值返回步骤(6)中；
③当人眼长度小于设定阈值，进行语音报警提示司机注意瞭望，并记录此次报警；
④统计连续报警的次数，当连续报警的次数大于设定阈值则发信息给司机监控总台，后清空队列返回步骤(6)。
2、根据权利要求1所述的一种机车司机行车状态监控方法，其特征在于所述跟踪算法和检测算法是利用Adaboost算法进行示例学习，频域特征提取，在JPEG图象的DCT系数中提取出额头、眼睛、嘴、鼻子和下巴面部特征，用小波变换的方法滤掉高额信息，采用低频图象的频谱来表达图象，使用人脸图象的Harr小波系数作为特征矢量，通过SVM机制实现人的脸部检测和跟踪，同时不必考虑宽度为一个像素的矩形特征，同时减少边缘的矩形特征，采用直方图归一化处理样本：
在已经检测到人脸，抓取特征值情况下，检测是抓取的特征值在一定范围内小幅度移动即为检测算法；
跟踪是抓取的特征值在一定范围内较大幅度移动，在一个平面动态的时时对比，跟踪特征值即为跟踪算法。
3、根据权利要求1所述的一种机车司机行车状态监控方法，其特征在于上述步骤⑤中所述人脸活动境界内区Ri和人脸活动境界外区Ro，是通过将检测到的人脸中心图像形成二维像素矩阵，然后利用区域分类器根据设定参数进行划分的。
4、根据权利要求1或3所述的一种机车司机行车状态监控方法，其特征在于所述人脸活动境界内区Ri和人脸活动境界外区Ro的中心，由前几帧图像检测到的人脸中心自适应动态统计确定。
5、根据权利要求1或3所述的一种机车司机行车状态监控方法，其特征在于所述人脸活动境界外区Ro的左右下警戒区相对小于上警戒区。
6、根据权利要求1所述的一种机车司机行车状态监控方法，其特征在于所述步骤(9)-b-①还包括在检测前对人眼部特征学习过程，利用组合分离器这对不同人设定人眼特征阈值。
7、一种采用权利要求1所述机车司机行车状态监控方法的报警装置，其特征在于包括：
摄像头，用于获取外部图像信息，尤其人脸图像信息；
存储单元，用于存储上述监控方法中的各设定阈值；
信息报警单元，用于向司机监控总台发送报警信息；
声音报警单元，用于发出报警声音提醒司机；
处理单元，由DSP和ARM两部分构成：
DSP，用于对上述监控方法中的各图像信息进行运算处理，利用实时特征检测技术对人脸部特征进行检测，同时对所检测到的人脸部信息进行人脸中心的检测；
ARM，用于对上述监控方法中的各逻辑判断进行运算处理，还用于接收机车发布的行车信号，以控制装置的开启，同时控制信息报警单元向司机监控总台发送报警信息，以及控制声音报警单元发出报警声音信号；
所述摄像头通过数据线连接到处理单元上将图像信息传给处理单元的ARM中，所述ARM通过内部总线同DSP相连接并将图像信息交于DSP进行处理，所述存储单元通过数据总线同存储单元相连接并将相应阈值信息发送到处理单元的ARM中进行处理；所述ARM通过内部总线接收DSP处理的结果，当需报警时通过与处理单元相连接的信息报警单元向司机监控总台发送报警信息，或通过同处理单元相连接的声音报警单元报警声音。
8、根据权利要求7所述的报警装置，其特征在于所述摄像头为红外摄像头。
9、根据权利要求7所述的报警装置，其特征在于所述信息报警单元向司机监控总台发送报警信息包括文字信息、图片信息或视频信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100135629A CN101655907B (zh) | 2009-08-28 | 2009-08-28 | 机车司机行车状态监控智能报警系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100135629A CN101655907B (zh) | 2009-08-28 | 2009-08-28 | 机车司机行车状态监控智能报警系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101655907A true CN101655907A (zh) | 2010-02-24 |
| CN101655907B CN101655907B (zh) | 2013-03-20 |
Family
ID=41710193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100135629A Expired - Fee Related CN101655907B (zh) | 2009-08-28 | 2009-08-28 | 机车司机行车状态监控智能报警系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101655907B (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101902619A (zh) * | 2010-06-22 | 2010-12-01 | 浙江天鸿汽车用品有限公司 | 车载智能身份识别与监视系统 |
| CN102542727A (zh) * | 2011-12-08 | 2012-07-04 | 中国船舶重工集团公司第七一一研究所 | 船舶值班人员打盹监控系统及其监控方法 |
| CN102610057A (zh) * | 2011-01-25 | 2012-07-25 | 深圳市高斯贝尔家居智能电子有限公司 | 车载信息智能处理系统和方法 |
| CN102760053A (zh) * | 2012-06-20 | 2012-10-31 | 东南大学 | 基于cuda并行计算及wcf架构的人体检测方法 |
| CN103150545A (zh) * | 2011-09-02 | 2013-06-12 | 沃尔沃汽车公司 | 用于对闭眼归类的方法 |
| CN103324158A (zh) * | 2013-05-14 | 2013-09-25 | 浙江大学 | 一种带人脸检测的工程机械机载视频监控系统 |
| CN104483907A (zh) * | 2013-08-02 | 2015-04-01 | 维米尔制造公司 | 远程控制系统 |
| CN104660990A (zh) * | 2015-01-30 | 2015-05-27 | 深圳市浩科电子有限公司 | 智能监控处理方法及系统 |
| CN104794438A (zh) * | 2015-04-08 | 2015-07-22 | 天脉聚源（北京）教育科技有限公司 | 一种人物状态监测方法及装置 |
| CN105787438A (zh) * | 2016-02-03 | 2016-07-20 | 郑州畅想高科股份有限公司 | 一种基于视频的机车司机值乘状态检测方法及系统 |
| CN105938543A (zh) * | 2016-03-30 | 2016-09-14 | 乐视控股（北京）有限公司 | 一种基于防沉迷的终端运行控制方法、设备及系统 |
| CN106080380A (zh) * | 2016-06-29 | 2016-11-09 | 上汽通用五菱汽车股份有限公司 | 电动汽车驾驶员离开提醒方法及系统 |
| CN106297190A (zh) * | 2016-10-31 | 2017-01-04 | 广州杰赛科技股份有限公司 | 一种手表 |
| CN106476830A (zh) * | 2016-09-30 | 2017-03-08 | 张家港长安大学汽车工程研究院 | 一种高铁多功能旋转座椅 |
| CN106652356A (zh) * | 2016-12-22 | 2017-05-10 | 深圳市元征科技股份有限公司 | 驾驶员疲劳判断方法以及装置 |
| CN107248262A (zh) * | 2017-06-07 | 2017-10-13 | 上海储翔信息科技有限公司 | 用于运营车辆的驾驶员管理平台 |
| CN107809952A (zh) * | 2015-06-22 | 2018-03-16 | 罗伯特·博世有限公司 | 用于在使用眼睛张开度的情况下对眨眼事件和仪表察看进行区分的方法和装置 |
| CN105184244B (zh) * | 2015-08-28 | 2018-10-19 | 深圳英飞拓科技股份有限公司 | 视频人脸检测方法及装置 |
| CN109583681A (zh) * | 2018-10-10 | 2019-04-05 | 刘培富 | 一种远程多功能值班监控系统及操作方法 |
| CN110176127A (zh) * | 2018-02-19 | 2019-08-27 | 德尔福技术有限公司 | 警报系统 |
| CN111016846A (zh) * | 2019-12-31 | 2020-04-17 | 深圳市思博慧数据科技有限公司 | 一种安全驾驶主动防范管理方法及系统 |
| CN111147821A (zh) * | 2020-01-02 | 2020-05-12 | 朔黄铁路发展有限责任公司 | 机车车载视频智能监控方法及其装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1830389A (zh) * | 2006-04-21 | 2006-09-13 | 太原理工大学 | 疲劳驾驶状态监控装置及方法 |
| JP4811255B2 (ja) * | 2006-12-04 | 2011-11-09 | トヨタ自動車株式会社 | 状態推定装置 |
| CN101470951B (zh) * | 2008-01-08 | 2010-09-08 | 徐建荣 | 汽车安全驾驶监控系统 |
-
2009
- 2009-08-28 CN CN2009100135629A patent/CN101655907B/zh not_active Expired - Fee Related
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101902619A (zh) * | 2010-06-22 | 2010-12-01 | 浙江天鸿汽车用品有限公司 | 车载智能身份识别与监视系统 |
| CN102610057A (zh) * | 2011-01-25 | 2012-07-25 | 深圳市高斯贝尔家居智能电子有限公司 | 车载信息智能处理系统和方法 |
| CN102610057B (zh) * | 2011-01-25 | 2016-08-03 | 深圳市高斯贝尔家居智能电子有限公司 | 车载信息智能处理系统和方法 |
| CN103150545B (zh) * | 2011-09-02 | 2017-04-12 | 沃尔沃汽车公司 | 用于对闭眼归类的方法 |
| CN103150545A (zh) * | 2011-09-02 | 2013-06-12 | 沃尔沃汽车公司 | 用于对闭眼归类的方法 |
| CN102542727A (zh) * | 2011-12-08 | 2012-07-04 | 中国船舶重工集团公司第七一一研究所 | 船舶值班人员打盹监控系统及其监控方法 |
| CN102760053A (zh) * | 2012-06-20 | 2012-10-31 | 东南大学 | 基于cuda并行计算及wcf架构的人体检测方法 |
| CN103324158A (zh) * | 2013-05-14 | 2013-09-25 | 浙江大学 | 一种带人脸检测的工程机械机载视频监控系统 |
| CN104483907A (zh) * | 2013-08-02 | 2015-04-01 | 维米尔制造公司 | 远程控制系统 |
| CN104660990A (zh) * | 2015-01-30 | 2015-05-27 | 深圳市浩科电子有限公司 | 智能监控处理方法及系统 |
| CN104794438A (zh) * | 2015-04-08 | 2015-07-22 | 天脉聚源（北京）教育科技有限公司 | 一种人物状态监测方法及装置 |
| CN107809952A (zh) * | 2015-06-22 | 2018-03-16 | 罗伯特·博世有限公司 | 用于在使用眼睛张开度的情况下对眨眼事件和仪表察看进行区分的方法和装置 |
| CN107809952B (zh) * | 2015-06-22 | 2022-05-27 | 罗伯特·博世有限公司 | 用于在使用眼睛张开度的情况下对眨眼事件和仪表察看进行区分的方法和装置 |
| CN105184244B (zh) * | 2015-08-28 | 2018-10-19 | 深圳英飞拓科技股份有限公司 | 视频人脸检测方法及装置 |
| CN105787438A (zh) * | 2016-02-03 | 2016-07-20 | 郑州畅想高科股份有限公司 | 一种基于视频的机车司机值乘状态检测方法及系统 |
| CN105938543A (zh) * | 2016-03-30 | 2016-09-14 | 乐视控股（北京）有限公司 | 一种基于防沉迷的终端运行控制方法、设备及系统 |
| CN106080380A (zh) * | 2016-06-29 | 2016-11-09 | 上汽通用五菱汽车股份有限公司 | 电动汽车驾驶员离开提醒方法及系统 |
| CN106476830A (zh) * | 2016-09-30 | 2017-03-08 | 张家港长安大学汽车工程研究院 | 一种高铁多功能旋转座椅 |
| CN106297190B (zh) * | 2016-10-31 | 2019-02-19 | 广州杰赛科技股份有限公司 | 一种手表 |
| CN106297190A (zh) * | 2016-10-31 | 2017-01-04 | 广州杰赛科技股份有限公司 | 一种手表 |
| CN106652356A (zh) * | 2016-12-22 | 2017-05-10 | 深圳市元征科技股份有限公司 | 驾驶员疲劳判断方法以及装置 |
| CN107248262A (zh) * | 2017-06-07 | 2017-10-13 | 上海储翔信息科技有限公司 | 用于运营车辆的驾驶员管理平台 |
| CN110176127A (zh) * | 2018-02-19 | 2019-08-27 | 德尔福技术有限公司 | 警报系统 |
| CN109583681A (zh) * | 2018-10-10 | 2019-04-05 | 刘培富 | 一种远程多功能值班监控系统及操作方法 |
| CN111016846A (zh) * | 2019-12-31 | 2020-04-17 | 深圳市思博慧数据科技有限公司 | 一种安全驾驶主动防范管理方法及系统 |
| CN111147821A (zh) * | 2020-01-02 | 2020-05-12 | 朔黄铁路发展有限责任公司 | 机车车载视频智能监控方法及其装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101655907B (zh) | 2013-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101655907B (zh) | 机车司机行车状态监控智能报警系统 | |
| CN108009473B (zh) | 基于目标行为属性视频结构化处理方法、系统及存储装置 | |
| CN101593425B (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
| Tipprasert et al. | A method of driver’s eyes closure and yawning detection for drowsiness analysis by infrared camera | |
| CN104637246B (zh) | 一种驾驶员多种行为预警系统及危险评估方法 | |
| CN104732251A (zh) | 一种基于视频的机车司机驾驶状态检测方法 | |
| CN106022235B (zh) | 基于人体探测的遗漏孩童检测方法 | |
| CN103714631B (zh) | 基于人脸识别的atm取款机智能监控系统 | |
| CN106331605B (zh) | 一种基于视频的水灾检测系统及方法 | |
| CN109040693B (zh) | 智能告警系统及方法 | |
| CN108583592A (zh) | 一种地铁乘务作业信息采集智能检测方法 | |
| CN103530912A (zh) | 一种具有情绪识别功能的考勤系统及方法 | |
| CN110795963A (zh) | 一种基于人脸识别的监控方法、装置及设备 | |
| CN110618635A (zh) | 一种基于ai技术的列车驾驶室作业规范监测系统 | |
| CN102426757A (zh) | 基于模式识别的安全驾驶监控系统和方法 | |
| CN202771441U (zh) | 人脸识别监控系统 | |
| CN111540152A (zh) | 一种智能安防预警系统 | |
| CN105227918B (zh) | 一种智能监控方法 | |
| CN108108651B (zh) | 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 | |
| CN112819068A (zh) | 一种基于深度学习的船舶作业违章行为实时侦测方法 | |
| CN107463887A (zh) | 列车驾驶员手势智能检查系统及智能检查方法 | |
| CN107133611A (zh) | 一种课堂学生点头率识别与统计方法及装置 | |
| CN107516076A (zh) | 人像识别方法及装置 | |
| CN201600783U (zh) | 机车司机行车状态监控智能报警装置 | |
| CN106325514A (zh) | 一种手持智能终端的防掉落方法、装置及其电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: LIAONING QIHUI SUBSYSTEM ENGINEERING CO., LTD. Free format text: FORMER OWNER: DALIAN XINQIHUI TECHNOLOGY CO., LTD. Effective date: 20141125 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 116021 DALIAN, LIAONING PROVINCE TO: 110030 SHENYANG, LIAONING PROVINCE |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20141125 Address after: 110030 No. 1 middle Qishan Road, Huanggu District, Liaoning, Shenyang Patentee after: LIAONING QUICKHIGH ELECTRONIC SYSTEM ENGINEERING CO.,LTD. Address before: 116021 D-8-3, five South 1 Street, Shahekou District, Liaoning, Dalian Patentee before: DALIAN XINQIHUI TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address |
Address after: No.52a, Beiyi West Road, Tiexi District, Shenyang City, Liaoning Province (1001) Patentee after: LIAONING DINGHAN QIHUI ELECTRONIC SYSTEM ENGINEERING Co.,Ltd. Address before: 110030 No. 1 middle Qishan Road, Huanggu District, Liaoning, Shenyang Patentee before: LIAONING QUICKHIGH ELECTRONIC SYSTEM ENGINEERING Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200401 Address after: Room 1007, block a, Jingu project, No. 52 A, Beiyi West Road, Tiexi District, Shenyang, Liaoning Patentee after: Door to door Information Technology Co.,Ltd. Address before: No.52a, Beiyi West Road, Tiexi District, Shenyang City, Liaoning Province (1001) Patentee before: LIAONING DINGHAN QIHUI ELECTRONIC SYSTEM ENGINEERING Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130320 Termination date: 20210828 |