CN204087490U

CN204087490U - 一种基于机器视觉的疲劳预警系统

Info

Publication number: CN204087490U
Application number: CN201420539330.3U
Authority: CN
Inventors: 张伟; 成波; 童小鸣; 屠江平
Original assignee: Suzhou Tsingtech Microvision Electronic Science & Technology Co Ltd
Current assignee: Suzhou Tsingtech Microvision Electronic Science & Technology Co Ltd
Priority date: 2014-09-19
Filing date: 2014-09-19
Publication date: 2015-01-07
Anticipated expiration: 2024-09-19

Abstract

本实用新型公开了一种基于机器视觉的疲劳预警系统，包括疲劳监控车载终端和远程监控中心，所述疲劳监控车载终端包括：用于采集驾驶员的面部图像的信息采集模块；用于对采集的面部图像进行处理，并采用基于机器视觉分析方法计算疲劳状态判别指标的数据处理控制模块；包括至少一种由数据处理控制模块驱动的预警装置的系统交互模块；所述远程监控中心包括服务控制器和至少一个显示器平台。其能够通过机器视觉技术准确高效地进行疲劳监测，一旦发现驾驶员发生疲劳，会及时有效的进行语音和振动提醒，及时唤醒驾驶员，并且可以通过无线通信网络将驾驶员的疲劳状态信息推送到远程监控中心，监控中心对疲劳信息进行联动监控管理。

Description

一种基于机器视觉的疲劳预警系统

技术领域

本实用新型涉及于智能交通技术领域，具体涉及一种基于机器视觉的疲劳预警系统。

背景技术

在全球范围内，疲劳驾驶是交通死亡事故的主要诱因之一。国内外多项研究表明，造成人身伤害甚至死亡的事故中20％以上是由疲劳驾驶导致的。驾驶人在疲劳时，其对周围环境的感知能力、形势判断能力和对车辆的操控能力都将大幅度降低，极易发生交通事故。特别对从事长途客货运驾驶、铁路机车驾驶、工程车辆驾驶等的职业驾驶人，由于长时间、超强度行车任务，更容易发生疲劳驾驶事故。因此如何主动的检测驾驶员的疲劳状态并进行有效的报警提醒，是一个亟待解决的问题。

目前疲劳预警系统主要包括两大类，第一类是接触式监测系统，即通过监测驾驶员的生理信号来检测驾驶员的疲劳状态，比如在头部贴放电极监测驾驶员的心电信号、脑电信号等等。这种检测系统容易受到外界环境的干扰，检测准确率不高，另外这种直接接触驾驶员身体的方式也影响了驾驶员的正常驾驶行为。第二类是人脸识别疲劳检测系统。公开号CN202920216U的中国专利文献，公开了一种司机驾驶疲劳检测仪，主要由信息输入设备红外摄像头、主机（包括信息处理装置TMS320DM624开发板和报警装置即语音芯片）组成，通过红外摄像头将驾驶员的眼部信息采集进入主机的TMS320DM624开发板中，通过对驾驶员的眼部信息处理和分析，判断驾驶员是否出现疲劳状态，当判定驾驶员出现疲劳时，通过主控单元报警装置提醒驾驶员注意行车安全。这种系统设计中存在许多难点：首先，这种检测方法多数没有考虑到疲劳特征的隐匿性和个体差异性问题，仅涉及具有统计学均值意义的共性特征。然而每个人在实际驾驶过程中的疲劳表现不尽相同，在诸如眨眼频率，闭眼过程等方面存在着一定的差异，如何保证系统对不同人的适应性是需要解决的关键问题。其次，这些系统多数只对驾驶员预警，没有考虑通过远程监控的方式对驾驶员进行管控，尽管已有的一些远程管理系统能够实时监测行驶车辆的路径、驾驶员的操作时间等一些行驶参数，但是在如何有效、及时的与发生异常状态的驾驶员进行联动方面（诸如包括与驾驶员交互、补偿与限制措施等）仍然缺乏一套完整的管理策略与管理机制。这使得目前疲劳驾驶仍然处于一种较为简单的管控模式，没有证据保存机制，难以成为车队疲劳驾驶的防范和管理提供有效手段。

发明内容

为了减少因疲劳驾驶引发的交通事故，保障客货运营市场的安全运营秩序，本实用新型提供一种基于机器视觉的疲劳预警系统，实现即使在光照、姿态变化等复杂的行车环境下也能高效准确的检测驾驶员的疲劳状态并预警，同时通过无线通信网络实现与远程监控中心的联动，构建全方位的监控体系。

本实用新型的技术方案是：一种基于机器视觉的疲劳预警系统，包括疲劳监控车载终端，所述疲劳监控车载终端包括：用于采集驾驶员的面部图像的信息采集模块；用于对采集的面部图像进行处理，并采用基于机器视觉分析方法计算疲劳状态判别指标的数据处理控制模块，还包括与疲劳监控车载终端通信的远程监控中心，所述数据处理控制模块连接系统交互模块；所述远程监控中心包括服务控制器和至少一个显示器平台。

进一步的，所述信息采集模块包括摄像头和补光LED，所述补光LED设置在镜头的下端，所述摄像头下端设有LED报警指示灯和麦克风，所述镜头的背面设置有扬声器和视频输出端。

进一步的，所述的数据处理控制模块包括用于基于机器视觉分析方法计算疲劳状态判别指标的DSP处理器和用于控制疲劳预警的输出的ARM处理器。

进一步的，所述数据处理控制模块还包括GPS模块和与远程监控中心进行数据通信的3G/GPRS模块。

进一步的，所述数据处理控制模块还包括用于为ARM固件和DSP固件升级的以太网接口。

进一步的，所述系统交互模块包含听觉预警装置、视觉预警装置和触觉预警装置。

本实用新型的优点是：

（1）该系统采用对驾驶人不产生干扰的非接触测试方式，基于机器视觉的疲劳状态识别方法，结合对驾驶员的个体适应性，并且能够有效克服光照不均匀以及驾驶员头部姿态变化对驾驶员面部图像的干扰，实现对疲劳状态高精度、高鲁棒性、高可靠性的判别；

（2）当驾驶员疲劳时可以及时的发出语音、振动、视觉等报警提醒，有助于减少由于疲劳驾驶行为造成的交通事故；

（3）与远程监控中心进行通信，有助于促进道路监管系统的完善，系统能够将驾驶员疲劳发生的时间、地点、次数以及当时的视频影像实时推送到后台或本地存储，方便车队进行集中管理，并可为管理提供证据资料；

（4）疲劳监控车载终端的结构设计有利于产品的使用和安装。LED报警指示灯、麦克风和扬声器集成到摄像头，这样方便使用，报警效果好。

附图说明

下面结合附图及实施例对本实用新型作进一步描述：

图1为本实用新型基于机器视觉的疲劳预警系统的原理框图；

图2为本实用新型基于机器视觉的疲劳预警系统的摄像头的结构示意图；

图3为本实用新型基于机器视觉的疲劳预警系统的数据处理控制模块的电路结构示意图。

具体实施方式

为使本实用新型的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本实用新型进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本实用新型的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本实用新型的概念。

实施例：

如图1所示，一种基于机器视觉的疲劳预警系统，主要包括疲劳监控车载终端和远程监控中心两大部分，其中疲劳监控车载终端由信息采集模块、数据处理与控制模块、系统交互模块组成。该系统主要利用现有的基于机器视觉分析方法计算疲劳状态判别指标的技术，从而判断驾驶人是否疲劳。该技术是目前人脸识别疲劳检测系统中常用的技术，如公开号为CN101593425A的中国发明专利就提出了该类疲劳检测技术。

信息采集模块在硬件结构上包括摄像头和补光LED，其中摄像头是用于采集驾驶员的面部图像，补光LED是用于在低照度情况下（夜晚/进入山洞等）确保摄像头对驾驶员面部图像的有效采集。

数据处理控制模块主要是一个基于DSP和ARM双处理器的PCB板卡，其主要功能包括：（1）对采集的驾驶员面部图像进行图像处理，并基于机器视觉分析的方法进行疲劳状态判别指标的计算，确保在复杂道路环境下识别结果的可靠性和鲁棒性；（2）驱动所述系统交互模块中的各项预警装置；（3）与远程控制中心建立通信，并进行信息交互。

系统交互模块在硬件结构上包含听觉预警装置（例如扬声器等）、视觉预警装置（例如屏幕或LED指示灯等)以及触觉预警装置（例如振动电机等）和各类插头与线束。该模块根据所述数据处理控制模块的驱动信息为驾驶人提供适宜的预警信息（包括视觉、听觉和触觉预警），同时还对系统的开闭、预警灵敏性、预警类型等进行设置。

所述疲劳监控终端可以基于CAN总线与其他车载系统进行双向通信，包括获取车速、制动等行车信息，发送驾驶员疲劳状态情况等。

远程监控中心包括服务控制器和多个显示器平台，其主要功能包括：（1）接收所述疲劳车载终端推送的疲劳预警等信息（包括疲劳发生的时间、地点、速度等），进行处理保存；（2）可以向疲劳车载终端发送交互指令，请求疲劳历史视频上传以及实施实时视频监控；（3）可以对驾驶员的疲劳驾驶信息进行报表统计等管控。

图2为摄像头的结构示意图，包括镜头101、补光LED102、LED报警指示灯103、麦克风104、扬声器105、视频输出106、电源和总线接口。补光LED102设置在镜头101的下端，摄像头的下端设有LED报警指示灯103和麦克风104，镜头101的背面设置有扬声器105和视频输出端106。其中镜头101用于采集驾驶员的面部图像；补光LED102是用于在低照度情况下（夜晚/进入山洞等）确保镜头对驾驶员面部图像的有效采集；LED报警指示灯103用于当驾驶员疲劳时进行闪光报警提醒；麦克风104用于语音通话；扬声器105用于当驾驶员疲劳时进行语音报警提醒；视频输出106、电源和总线接口分别与图3中的视频输入1接口301（或视频输入2接口302）和电源和总线接口304连接，一方面用于将摄像头采集的面部图像输出给数据处理控制模块进行处理，另一方面通过电源线给摄像头供电并通过总线接收数据处理控制模块的疲劳预警信号，以驱动LED报警指示灯103和扬声器105工作。

图3为数据处理控制模块的电路结构示意图，主要包括视频输入1接口301、视频输入2接口302、视频输出接口303、电源和总线接口304、3G接口305、GPS接口306、菜单按键307、以太网接口308、SD卡接口309、USB接口310、DSP处理器311、ARM处理器312。其中视频输入1接口301和视频输入2接口302与摄像头连接，一方面用于输入摄像头采集的面部图像，另一方面用于输出疲劳预警信号；视频输出接口303与显示屏连接，用于显示采集的视频等；电源和总线接口304用于为数据处理控制模块供电，以及与外部进行CAN、RS485或I/O通信；3G接口305与3G/GPRS模块连接，以实现数据处理控制模块与所述的远程监控中心建立无线数据通信；GPS接口306与GPS模块连接，实现对车辆的定位监控功能；菜单按键307用于选择和控制系统相关工作方式，如控制疲劳报警语音内容，选择内部存储视频的拷贝路径（拷贝至SD卡或者拷贝至U盘）；以太网接口308用于为ARM固件和DSP固件升级；SD卡接口309用于将内部存储视频拷贝至SD卡；USB接口310用于将内部存储视频拷贝至USB；DSP处理器311主要用于基于机器视觉分析的方法进行疲劳状态判别指标的计算；ARM处理器312主要用于控制疲劳预警的输出，GPS定位数据分析处理，3G/GPRS无线数据通信，以及控制视频拷贝等。

远程监控中心在结构上包括服务控制器和显示器平台，其主要功能包括：（1）接收所述疲劳车载终端推送的疲劳预警等信息（包括疲劳发生的时间、地点、速度等），进行处理保存；（2）可以向所述的疲劳车载终端发送交互指令，请求疲劳历史视频上传以及建立实时视频监控；（3）可以对驾驶员的疲劳状态信息进行报表统计等管控。

下面给出本实用新型的一种基于机器视觉的疲劳预警系统的工作流程：

（1）数据处理控制模块分别与摄像头、GPS模块3G模块、显示屏连接，通过电源与总线接口304供电后即可正常工作。摄像头通过镜头101采集驾驶员的面部图像，如果在光线昏暗情况下，则用补光LED102进行补光处理。然后通过视频接口106将面部图像发给所述的控制器。

（2）数据处理控制模块通过视频输入1接口301（或视频输入2接口302）获取来自所述的摄像头的面部图像信息，并传给DSP处理器311进行基于机器视觉分析方法的疲劳状态判别指标计算，然后将计算结果发给ARM处理器312进行分析处理。如果发生疲劳，ARM处理器312则通过电源和总线接口304中的总线向摄像头输出疲劳报警驱动指令，并将一段时间（如一分钟）之内的疲劳视频进行记录存储，同时通过3G接口305连接的3G/GPRS模块向所述的远程监控中心发送疲劳预警信息（包括时间、地点、疲劳状态、速度等等），其中的地点和速度信息来自GPS接口306连接的GPS模块。

（3）摄像头通过视频输出106、电源和总线接口中的总线获得疲劳报警驱动指令后，一方面通过扬声器105进行语音提醒（诸如“您已疲劳，请小心驾驶！”），另一方面通过LED报警指示灯103闪光提醒。显示器通过视频输出接口303获得疲劳报警驱动指令后，在屏幕上显示疲劳报警文字预警信息。

（4）远程监控中心接收疲劳预警信息后，进行解析处理并保存到数据库，同时在显示器平台上弹出文字提醒并发出语音报警，监控人员发现后可以通过3G/GPRS无线通信网络向所述的疲劳车载终端发送疲劳历史视频上传请求信息和建立语音通话请求信息。根据疲劳历史视频监控人员可以直观的判断驾驶员的疲劳状态，并通过语音通话提醒驾驶员注意安全驾驶。同时历史视频数据也可以作为驾驶员疲劳的证据便于后期追溯。另外监控人员还可以通过3G/GPRS无线通信网络向所述的疲劳车载终端请求建立实时视频监控，实时的观察驾驶员的行车状态。远程监控中心还可以对车辆或驾驶员的疲劳状态信息进行整理汇总并生成统计报表。

（5）数据处理控制模块接收建立语音通话请求信息后，通过ARM处理器312控制与监控后台指定手机号码建立语音通话，驾驶员可以通过摄像头的麦克风104和扬声器105实现通话功能。

应当理解的是，本实用新型的上述具体实施方式仅仅用于示例性说明或解释本实用新型的原理，而不构成对本实用新型的限制。因此，在不偏离本实用新型的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。此外，本实用新型所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims

1. 一种基于机器视觉的疲劳预警系统，包括疲劳监控车载终端，所述疲劳监控车载终端包括：用于采集驾驶员的面部图像的信息采集模块；用于对采集的面部图像进行处理，并采用基于机器视觉分析方法计算疲劳状态判别指标的数据处理控制模块，其特征在于，还包括与疲劳监控车载终端通信的远程监控中心，所述数据处理控制模块连接系统交互模块；所述远程监控中心包括服务控制器和至少一个显示器平台。

2.根据权利要求1所述的基于机器视觉的疲劳预警系统，其特征在于，所述信息采集模块包括摄像头和补光LED，所述补光LED设置在镜头的下端，所述摄像头下端设有LED报警指示灯和麦克风，所述镜头的背面设置有扬声器和视频输出端。

3.根据权利要求1所述的基于机器视觉的疲劳预警系统，其特征在于，所述的数据处理控制模块包括用于基于机器视觉分析方法计算疲劳状态判别指标的DSP处理器和用于控制疲劳预警的输出的ARM处理器。

4.根据权利要求1或3所述的基于机器视觉的疲劳预警系统，其特征在于，所述数据处理控制模块还包括GPS模块和与远程监控中心进行数据通信的3G/GPRS模块。

5.根据权利要求1或3所述的基于机器视觉的疲劳预警系统，其特征在于，所述数据处理控制模块还包括用于为ARM固件和DSP固件升级的以太网接口。

6.根据权利要求1所述的基于机器视觉的疲劳预警系统，其特征在于，所述系统交互模块包含听觉预警装置、视觉预警装置和触觉预警装置。