CN105046885A - 一种穿戴眼镜式疲劳预警设备及工作方法 - Google Patents

Abstract

本发明公开了一种穿戴眼镜式疲劳预警设备及工作方法，其中的一种穿戴眼镜式疲劳预警设备，包括眼镜框架和检测部分；所述检测部分设置在眼镜框架上；所述检测部分包括FPGA处理器系统整体、可重构单元、处理器系统、SD卡、DDR3外部存储单元、LED、扬声器、SPK报警器、前景摄像头及广角摄像头；本发明基于FPGA架构，采用软硬件协同设计的方法对系统进行设计。对计算量大的算法采用硬件IP核加速，对于随机访问像素的算法调用软件库实现。在保证系统实时性的同时保证系统的灵活性，以满足车载复杂环境。采用可重构单元，当需要进行系统升级时，通过重新编译可以重构系统，在提升系统性能的同时，最大限度的保护消费者的投资。

Description

一种穿戴眼镜式疲劳预警设备及工作方法

技术领域

本发明涉及穿戴眼镜式疲劳预警设备，具体涉及一种穿戴眼镜式疲劳预警设备及工作方法。

背景技术

在当今，由于已进入汽车时代，出行极为方便，但是，交通事故就像梦魇一样挥之不去，其中大部分是由于司机疲劳驾驶造成的。为了减少以至于避免疲劳驾驶，社会上采用各种措施，包括各种宣传标语和警示牌，以及汽车自身的各种防范措施，提醒司机朋友们安全驾驶，但是效果仍然有限。

目前，基于生理指标的疲劳预警利用生理传感器检测驾驶员生理指标的变化来判断驾驶员是否进入疲劳状态，包括基于脑电信号检测的方法、基于心电信号检测的方法、基于肌电信号检测的方法和基于呼吸频率检测的方法。

基于驾驶员生理信号的检测方法准确性比较高,但生理信号测量需要接触人的身体,检测设备会干扰驾驶员的正常操作,影响行车安全。而且，由于不同人的生理信号特征有所不同，并且生理信号与心理活动关联较大。所以，此法实际用于驾驶员疲劳检测时有很大的局限性。

如专利号为200920160060.4一种口含式疲劳预警器，技术原理为通过人体牙齿的咬合力来启动口含式疲劳预警器的蜂鸣器，正长驾驶情况下，司机将口含式疲劳预警器的烟斗嘴形的橡胶套含在嘴里，并用牙齿轻轻咬住口含式疲劳预警器的下金属压力片，使下金属压力片的触点与上金属压力片的触点分离，断开蜂鸣器的电路。当司机疲劳或精力不集中时，就会松开用牙齿咬住的口含式疲劳预警器的下金属压力片，从而闭合蜂鸣器的电路，蜂鸣器启动，并发出尖锐的蜂鸣声提醒司机，从而防止了因疲劳驾驶或精力不集中而造成的交通事故的发生。这样的装置是可以起到很好的预警作用，但长时间咬住预警装置，这个本来就消耗了驾驶员的精力，而且长时间的咬合东西，嘴巴也很不舒服，虽然能预警，但不是很合理。本发明通过戴眼镜的方式就可以预警，没有给驾驶员再添加额外的精神负担。

又如基于面部特征的疲劳预警利用机器视觉技术检测驾驶员面部特征，专利号为201310177373.1一种防疲劳驾驶系统，原理为包括：图像采集单元，用于采集司机的脸部视频信息，获取驾驶人的脸部照片；主要包括脸部特征提取单元，用于提取司机脸部图像的特征数据；人脸特征数据库，用于存储司机正常状态下的脸部图像特征数据；比对识别单元，将所述脸部特征提取单元提取的特征数据与所述人脸特征数据库中的特征数据进行比对识别，若比对结果不一致则发送信号给鸣笛装置鸣笛。利用人脸识别技术，将驾驶员行车时的状态与行车前拍摄的精神饱满的状态进行比对，如果比对结果不一致则发送信号给鸣笛装置鸣笛，警告驾驶员要休息调整状态，同时提醒旁边的行人行驶的车辆注意避让，从而大大降低了因疲劳驾驶带来的交通事故。这种方式是基于脸部特征做出的决策，摄像机大多是安装在仪表盘上的，如驾驶人员移动或者心情影响了表情，则可能导致预测的结果不准确，从而做出不对应的决策，很难精确的达到预警的效果。

如201320627273.X一种疲劳驾驶预警系统包括传感器、信号处理单元和预警提示系统，其中：传感器贴在驾驶员的眼角处，其与信号处理单元连接，用于根据眼睛的动作产生形变进而产生电信号；信号处理单元与预警提示系统连接，用于对于传感器产生的电信号进行处理，并将处理后的数据发送给预警提示系统；预警提示系统用于根据接收到的数据触发其报警装置进行疲劳报警。本发明采用发电机作为传感器来探测驾驶员的疲劳状态，无需外界供电设备，使系统的能耗大大降低；且发电机所有材料都是柔性材料，尺寸很小，使测试元件简单轻便且驾驶员佩戴舒适；通过监测驾驶员的眼皮的眨动情况判断驾驶员的疲劳状态，简单易行且可靠性高。这种系统方法需要把传感器贴在驾驶员的眼角处，且还在眼角边配有发电机，从穿戴上来说，这样会影响驾驶员的视觉，从而不利于驾驶。

又如运用眼睛特征、瞳孔直径变化、视线方向变化及嘴部状态等来研究驾驶疲劳问题。包括基于眼睛特征的检测、基于视线方向的检测、基于嘴部状态的检测。利用面部特征判断驾驶员是否疲劳具有准确性高和可靠性高的优点，在性能上比基于生理信号的监测技术要强，而且是无接触的检测方法，驾驶员容易接受，但是这种方法将摄像头安装在仪表台上，精度较差，对视频检测技术的要求比较高，测量的准确性与可靠性等相关的技术需要取得突破。

目前的疲劳驾驶警示装置只是对司机的一些诸如点烟、低头调节收音机和按电话键等不应有的活动进行警示，效果不是很理想。

发明内容

本发明根据上述问题提供了一种穿戴眼镜式疲劳预警设备及工作方法。

根据本发明的一个方面，提供了一种穿戴眼镜式疲劳预警设备，包括眼镜框架和检测部分；所述检测部分设置在眼镜框架上；所述检测部分包括FPGA处理器系统整体、可重构单元、处理器系统、SD卡、DDR3外部存储单元、LED、扬声器、SPK报警器、前景摄像头及广角摄像头；

所述FPGA处理器系统整体包括Cortex-A9双核CPU、AXI互连总线、DDR存储控制器及外围设备接口；

所述可重构单元包括视频输入、视频处理单元、视频输出及AXI互连总线；

所述外围设备接口包括第一外部设备接口和第二外部设备接口，所述第一外部设备接口连接AXI互连总线；所述第一外部设备接口包括UART、I2C、USB及FSHCTRL；所述第二外部设备接口包括WIFI、GPIO、SPI及BLUETOOTH；

所述视频处理单元包括视频直接存储访问VDMA和HLS管线单元；

所述SD卡包括Bootloader、OS及APP；

所述的Cortex-A9双核CPU通过DDR存储控制器与DDR3外部存储单元连接，所述外围设备接口通过AXI互连总线与DDR存储控制器连接，所述AXI互连总线通过DDR存储控制器与DDR3外部存储单元连接，所述视频输入通过AXI互连总线与处理器系统连接，所述视频处理单元通过AXI互连总线与处理器系统连接，所述视频输出通过AXI互连总线与处理器系统连接，所述视频处理单元通过视频直接存储访问VDMA与AXI互连总线连接，所述SD卡输出端连接第一外部设备接口,所述第二外部设备接口输出端分别连接LED和扬声器；

所述FPGA处理器系统整体、DDR3外部存储单元、UART、I2C及USB设置在眼镜框架右腿上；

所述SPK报警器、WIFI、GPIO、BLUETOOTH、SPI及FSHCTRL设置在眼镜框架左腿上；

两个所述LED设置在两个镜片框正上方；

所述前景摄像头和广角摄像头分别设置在眼镜框架的鼻梁架正上方和鼻翼上。

根据本发明的又一方面，提供了一种穿戴眼镜式疲劳预警设备工作方法，包括以下步骤：

S1，编译后生产的二进制映像文件，软件部分下载保存在SD卡，硬件IP核配置生成在HLS管线中；

S2，启动系统时，自动加载Bootloader到DDR3外部存储单元，由Bootloader加载OS，再由OS加载应用程序APP；

S3，应用程序APP启动视频输入，采集一帧视频到DDR3外部存储单元，通过AXIvideo2Mat把AXI视频帧转化为HLS管线单元中的矩阵Mat；

S4，HLS管线单元由基于流的IP核进行视频处理，处理结果通过Mat2AXIvideo把HLS管线单元中的矩阵Mat转化为AXI视频帧，DDR3外部存储单元中的视频帧调用软件库进行基于帧的视频处理；由GPIO输出LED报警，由SPI输出扬声器报警。

本发明的优点：

本发明利用穿戴眼镜式疲劳预警采用眼镜作为疲劳检测平台，可以大大减低误警和漏警现象。结合可编程器件能更客观、实时、快捷、准确地进行疲劳预警。

本发明基于FPGA架构，采用软硬件协同设计的方法对系统进行设计。对计算量大的基于帧的图像处理采用硬件IP核加速，对于高级需要随机访问像素的图像调用软件库处理。在保证系统实时性的同时保证系统的灵活性，以满足车载复杂环境。采用可重构单元，当需要进行系统升级时，通过重新编译可以重构系统，在提升系统性能的同时，最大限度的保护消费者的投资。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明的一种穿戴眼镜式疲劳预警设备原理图；

图2是本发明的一种穿戴眼镜式疲劳预警设备工作方法流程图；

图3是本发明的一种穿戴眼镜式疲劳预警设备中算法处理流程图；

图4是本发明的一种穿戴眼镜式疲劳预警设备软件处理过程流程图；

图5是本发明的一种穿戴眼镜式疲劳预警设备中的眼睛的状态转移示意图；

图6是本发明的一种穿戴眼镜式疲劳预警设备中的PERCLOS参数计算方法流程图；

图7是本发明的一种穿戴眼镜式疲劳预警设备正面视图；

图8是本发明的一种穿戴眼镜式疲劳预警设备后视图。

附图标记：

1为FPGA处理器系统整体、2为DDR3外部存储单元、3为UART、4为I2C、5为USB、6为前景摄像头、7为广角摄像头、8为WIFI、9为外围设备接口、10为BLUETOOTH、11为SPI、12为FSHCTRL、13为LED及14为SPK报警器。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

1.参考图1、图7和图8，如图1、图7和图8所示的本发明的一种穿戴眼镜式疲劳预警设备，包括眼镜框架和检测部分；所述检测部分设置在眼镜框架上；所述检测部分包括FPGA处理器系统整体、可重构单元、处理器系统、SD卡、DDR3外部存储单元、LED、扬声器、SPK报警器、前景摄像头及广角摄像头；

所述DDR3外部存储单元包括算法流程：

1-启动加载程序；

2-采集图像数据；

3-经硬件处理后的图像；

4-经软件处理后的图像；

所述FPGA处理器系统整体包括Cortex-A9双核CPU、AXI互连总线、DDR存储控制器及外围设备接口；

所述可重构单元包括视频输入、视频处理单元、视频输出及AXI互连总线；

所述外围设备接口包括第一外部设备接口和第二外部设备接口，所述第一外部设备接口连接AXI互连总线；所述第一外部设备接口包括UART、I2C、USB及FSHCTRL；所述第二外部设备接口包括WIFI、GPIO、SPI及BLUETOOTH；所述FSHCTRL为Flash控制器，是用于与Flash的接口的电路；所述BLUETOOTH为蓝牙接口，用于无线通信；所述视频处理单元包括视频直接存储访问VDMA和HLS管线单元；所述HLS管线单元为高级综合单元，其中的A、B、C分别表示采用IP核的方式实现程序中的功能；

所述SD卡包括Bootloader、OS及APP；所述Bootloader为启动加载模块，是系统启动的第一个程序；所述OS为操作系统；所述APP为疲劳预警应用程序；

所述的Cortex-A9双核CPU通过DDR存储控制器与DDR3外部存储单元连接，所述外围设备接口通过AXI互连总线与DDR存储控制器连接，所述AXI互连总线通过DDR存储控制器与DDR3外部存储单元连接，所述视频输入通过AXI互连总线与处理器系统连接，所述视频处理单元通过AXI互连总线与处理器系统连接，所述视频输出通过AXI互连总线与处理器系统连接，所述视频处理单元通过视频直接存储访问VDMA与AXI互连总线连接，所述SD卡输出端连接第一外部设备接口,所述第二外部设备接口输出端分别连接LED和扬声器。

所述FPGA处理器系统整体、DDR3外部存储单元、UART、I2C及USB设置在眼镜框架右腿上；

所述SPK报警器、WIFI、GPIO、BLUETOOTH、SPI及FSHCTRL设置在眼镜框架左腿上；

两个所述LED设置在两个镜片框正上方；

所述前景摄像头和广角摄像头分别设置在眼镜框架的鼻梁架正上方和鼻翼上。

参考图2和图3，如图2和图3所示的本发明的一种穿戴眼镜式疲劳预警设备工作方法，包括以下步骤：

S1，编译后生产的二进制映像文件，软件部分下载保存在SD卡，硬件IP核配置生成在HLS管线中；

S2，启动系统时，自动加载Bootloader到DDR3外部存储单元，由Bootloader加载OS，再由OS加载应用程序APP；

S3，应用程序APP启动视频输入，采集一帧视频到DDR3外部存储单元，通过AXIvideo2Mat把AXI视频帧转化为HLS管线单元中的矩阵Mat；

S4，HLS管线单元由基于流的IP核进行视频处理，处理结果通过Mat2AXIvideo把HLS管线单元中的矩阵Mat转化为AXI视频帧，DDR3外部存储单元中的视频帧调用软件库进行基于帧的视频处理；由GPIO输出LED报警，由SPI输出扬声器报警。

本发明的整个处理过程包括硬件加速过程和软件处理过程。由预处理、虹膜检测、疲劳参数计算三部分组成。硬件加速过程采用基于流的计算方式，软件处理过程采用基于帧的计算方式。参考图4，如图4所示，输入图像首先由硬件IP核完成基于流的计算处理，包括过滤线性噪声A，均衡化B，积分投影C；其次由软件库完成基于帧的计算处理，包括高斯模型，眼睛开度测量，PERCLOS估算。

参考图5和图6，为了消除眨眼的干扰，提高系统准确度。把眼睛分成三种状态，即挣开、眨眼和疲劳。采用状态转移图进行各种状态之间的转移。在系统开始运行的前10s采集的虹膜的高度作为清醒状态眼睛的开度，记为标准值1。当眼睛的开度小于0.8时，从挣开状态转移为眨眼状态，当眨眼状态小于正常的眨眼周期时，保持眨眼状态，眨眼过程设定为3-5视频帧。当眼睛的开度大于0.8时，从眨眼状态转移到挣开状态，当眨眼状态大于正常的眨眼周期时，从眨眼状态转移到疲劳状态，当眼睛的开度大于0.8时，从疲劳状态转移为挣开状态。采用P80作为疲劳检测的参数，在计算PERCLOS参数时只统计标记为1的窗口帧，以提高准确度。

过滤线性噪声模块采用高速行滤波算法去除视频采集过程中的噪声。均衡化模块采用直方图均衡算法降低光照变化的影响。积分投影分别在水平和垂直方向进行求和。高斯模块把投影值和高斯函数进行卷积，估计虹膜中心位置。定义泊松系数为其中m为投影中值，a为投影峰值，σ为投影标准差。采用泊松系数反映曲线的对称性。A_p＝0表示投影曲线对称，A_p>0表示投影曲线不对称。若A_p趋于0，表示估计的虹膜中心可信，若A_p较大，则估计值为虚警。眼睛开度测量模块采用基于垂直投影的标准差σ进行眼睛开度近似估算，标准眼睛开度为清醒时眼睛的开度，采用启动前10s中统计的中值作为标准眼睛开度。眼睛开度比等于瞬时眼睛开度除以标准眼睛开度。PERCLOS估算采用基于状态转移的方法计算P80参数，以减低眨眼对参数估算的干扰。

设计了一种可穿戴眼镜式的疲劳预警设备，在智能眼镜的基础上，通过在鼻托位置设计一个广角摄像头采集眼睛图像，可以很好地避免远置式图像采集系统中由于眼镜、头发等外界因素对采集眼睛图像的干扰。虽然该方法在采集图像时会产生一定的变形，但是对疲劳检测没有影响。

本发明是一种穿戴眼镜式疲劳预警设备，采用眼镜作为疲劳检测平台，大大减低误警和漏警现象，同时结合可编程器件能更客观、实时、快捷、准确地进行疲劳预警。

本发明基于FPGA架构，采用软硬件协同设计的方法对系统进行设计。

对计算量大的基于帧的图像处理采用硬件IP核加速，对于高级需要随机访问像素的图像调用软件库处理。在保证系统实时性的同时保证系统的灵活性，以满足车载复杂环境。采用可重构单元，当需要进行系统升级时，通过重新编译可以重构系统，在提升系统性能的同时，最大限度的保护消费者的投资。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种穿戴眼镜式疲劳预警设备，其特征在于，包括眼镜框架和检测部分；所述检测部分设置在眼镜框架上；所述检测部分包括FPGA处理器系统整体、可重构单元、处理器系统、SD卡、DDR3外部存储单元、LED、扬声器、SPK报警器、前景摄像头及广角摄像头；

所述FPGA处理器系统整体包括Cortex-A9双核CPU、AXI互连总线、DDR存储控制器及外围设备接口；

所述可重构单元包括视频输入、视频处理单元、视频输出及AXI互连总线；

所述外围设备接口包括第一外部设备接口和第二外部设备接口，所述第一外部设备接口连接AXI互连总线；所述第一外部设备接口包括UART、I2C、USB及FSHCTRL；所述第二外部设备接口包括WIFI、GPIO、SPI及BLUETOOTH；

所述视频处理单元包括视频直接存储访问VDMA和HLS管线单元；

所述SD卡包括Bootloader、OS及APP；

所述的Cortex-A9双核CPU通过DDR存储控制器与DDR3外部存储单元连接，所述外围设备接口通过AXI互连总线与DDR存储控制器连接，所述AXI互连总线通过DDR存储控制器与DDR3外部存储单元连接，所述视频输入通过AXI互连总线与处理器系统连接，所述视频处理单元通过AXI互连总线与处理器系统连接，所述视频输出通过AXI互连总线与处理器系统连接，所述视频处理单元通过视频直接存储访问VDMA与AXI互连总线连接，所述SD卡输出端连接第一外部设备接口,所述第二外部设备接口输出端分别连接LED和扬声器；

所述FPGA处理器系统整体、DDR3外部存储单元、UART、I2C及USB设置在眼镜框架右腿上；

所述SPK报警器、WIFI、GPIO、BLUETOOTH、SPI及FSHCTRL设置在眼镜框架左腿上；

两个所述LED设置在两个镜片框正上方；

所述前景摄像头和广角摄像头分别设置在眼镜框架的鼻梁架正上方和鼻翼上。

2.一种穿戴眼镜式疲劳预警设备工作方法，其特征在于，包括以下步骤：

S1，编译后生产的二进制映像文件，软件部分下载保存在SD卡，硬件IP核配置生成部署在HLS管线中；

S2，启动系统时，自动加载Bootloader到DDR3外部存储单元，由Bootloader加载OS，再由OS加载应用程序APP；

S3，应用程序APP启动视频输入，采集一帧视频到DDR3外部存储单元，通过AXIvideo2Mat把AXI视频帧转化为HLS管线单元中的矩阵Mat；

S4，HLS管线单元由基于流的IP核进行视频处理，处理结果通过Mat2AXIvideo把HLS管线单元中的矩阵Mat转化为AXI视频帧，DDR3外部存储单元中的视频帧调用软件库进行基于帧的视频处理；由GPIO输出LED报警，由SPI输出扬声器报警。