CN102860830A - 基于fpga的疲劳驾驶双目检测硬件平台 - Google Patents
基于fpga的疲劳驾驶双目检测硬件平台 Download PDFInfo
- Publication number
- CN102860830A CN102860830A CN2012103344859A CN201210334485A CN102860830A CN 102860830 A CN102860830 A CN 102860830A CN 2012103344859 A CN2012103344859 A CN 2012103344859A CN 201210334485 A CN201210334485 A CN 201210334485A CN 102860830 A CN102860830 A CN 102860830A
- Authority
- CN
- China
- Prior art keywords
- fatigue driving
- fpga
- development board
- driver
- hardware platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明涉及了一种基于FPGA的疲劳驾驶双目检测硬件平台。通过双摄像头采集驾驶员的脸部及双眼状态来判断驾驶员是否处在疲劳驾驶状态,从而降低疲劳驾驶带来的交通事故。本检测系统具有低功耗、高可靠性的特点。该硬件平台由1块自制的CycloneIII开发板连接2个图像传感器构成。开发板主要是由FPGA加上存储系统及必要的外围电路组成完整的处理器组,双处理器核及存储单元均在FPGA中实现;同时开发板上有电源管理模块、视频输出接口和串口扩展。摄像头由图像传感器芯片、外围电路和镜头三个部分组成,并通过HDR_2×20连接到开发板。
Description
技术领域
本发明涉及了一种基于FPGA的疲劳驾驶双目检测硬件平台。
背景技术
根据(美国)联邦公路局的估计,美国每年所有致命的交通事故中44%是跟车道偏离有关的。AssitWare网站的分析结果认为:23%的汽车驾驶员一个月内至少在转向盘上睡着一次;66%的卡车驾驶员自己在驾驶过程中打瞌睡;28%的卡车驾驶员在一个月内有在转向盘上睡着的经历。四个驾驶员中就有一个驾驶员经历过车道偏离引起的伤亡事故。
美国:采用多普勒雷达和信号处理方法,可获取驾驶员烦躁不安的情绪活动、眨眼频率和持续时间等疲劳数据,用以判断驾驶员是否打瞌睡或睡着。该系统可制成体积较小的仪器,安装在驾驶室内驾驶员头顶上方,完全不影响正常的驾驶活动。
明尼苏达大学计算机科学与工程系的Nikolaos P.Papanikolopoulos教授成功开发了一套驾驶员眼睛的追踪和定位系统,通过安置在车内的一个CCD摄像头监视驾驶员的脸部,用快速简单的算法确定驾驶员眼睛在脸部图像中的确切位置,追踪多幅图像来监控驾驶员是否驾驶疲劳。
转向盘监视系统 S.A.M(Steering Attention Monitor),一种监测方向盘非正常运动的传感器系统,适用于转向盘正常运动时传感器系统不报警,若转向盘 4s 不运动就会发出报警声直到转向盘继续正常运止。
澳大利亚的头部位置测量跟踪系统与沃尔沃合作,通过测量头部位置、闭眼和眨眼评估疲劳驾驶,但是它要求在司机的脸上作一些标记,给司机带来极大的不便;西班牙的防磕睡系统(Anti-Drowsiness System),测量驾驶时手对方向盘的握力,一旦检测到疲劳发生,利用汽车的灯不停的闪烁,提醒周围的交通车辆。
日本尼桑:疲劳报警系统安装到车内驾驶员的前方,装置中的电眼能实时的采集司机的眼部图像,然后经过中央处理器的分析做出判断,进行相应的报警处理。将司机的眨眼次数、频率作为驾驶员是否疲劳的依据,如果驾驶员单位时间内眨眼过多,系统就会进行报警,并同时喷放出含有柠檬味的醒脑香气来消除司机的困意。
发明内容
本发明的目的在于针对已有技术存在的缺陷提供一种基于FPGA的疲劳驾驶双目检测硬件平台,通过双摄像头采集驾驶员的脸部及双眼状态来判断驾驶员是否处在疲劳驾驶状态,从而降低疲劳驾驶带来的交通事故。采用双摄像头的目的在于能够更加迅速的、准确的获得驾驶员人脸及眼部状态,配合PFGA内建双核处理器分别对两摄像头采集到的数据进行处理,从而达到即时检测驾驶员是否处在疲劳驾驶状态。同时检测系统具有低功耗、高可靠性的特点。
为达到上述目的,本发明的构思是:
首先,通过双摄像头来采集驾驶员的人脸及眼部状态,并将采集到的数据存储到SSRAM(同步动态随机存取记忆体)中。
其次,读取SSRAM中的数据,通过FPGA内建双核处理器分别处理两个摄像头采集到的数据,并对其作相应的算法处理,找出人脸中的人眼部分,通过判断人眼在一分钟内的眨眼次数来判定驾驶员是否处在疲劳状态。
最后,处理完的数据通过解码芯片解码后,把驾驶员的脸部状况显示到显示器上,如果通过算法判断出驾驶员处在疲劳驾驶状态,相应的警报装置启动,同时通过通讯模块与汽车的CAN总线相连,并对汽车作出相应的控制,比如减速、刹车等。
根据上述发明构思,本发明采用下述技术方案:
一种基于FPGA的疲劳驾驶双目检测硬件平台由1块专用的Cyclone III开发板( )连接2个摄像头(、)构成;通过双摄像头(、)采集驾驶员的脸部及双眼状态来判断驾驶员是否处在疲劳驾驶状态,从而降低疲劳驾驶带来的交通事故;采用双摄像头的目的在于能够更加迅速的、准确的获得驾驶员人脸及眼部状态,配合Cyclone III开发板()中FPGA(18)内建双核处理器分别对两摄像头(、)采集到的数据进行处理,从而达到即时检测驾驶员是否处在疲劳驾驶状态,同时检测系统具有低功耗、高可靠性的特点。所述Cyclone III开发板()是一个其特征在于所述Cyclone III。开发板()主要是一个FPGA连接有程序配置FLASH(16)、片外存储设备(15)、SDRAM(14)、复位管理芯片(4)、拨码开关和按键输入(2)、DVI接口(9)、串口扩展(1)、电源接口(6)、电源管理模块(5)、JTAG接口(8)、AS接口(7)、密码保护扩展块(17)、LED指示(3)、SSRAM(13)和用于连接摄像头(、)和5V电源和0V地线的HDR_2×20(12);摄像头(、)由图像传感器芯片(19)、外围电路(20)和镜头(21)三个部分组成,并通过HDR_2×20(22)连接到开发板()。
上述的开发板采用8层板设计,通过模拟仿真、计算保证系统的电源完整性及信号完整性。使用了Altera(阿尔特拉)公司的CycloneIII中高档FPGA-EP3C55F484,逻辑资源高达55856 LES,内嵌M9K块存储器260个,总的RAM存储量2396160 bits,内嵌18×18的乘法器156个,4个PLL,20个全局时钟网络,327个输入输出(IO)口,135对差分信号,使得它在性能、逻辑资源、端口资源上都非常优秀。
开发板中FPGA芯片通过AS(主动串行)模式从EPCS16中获得配置数据。存储系统由16M×32的mobile SDRAM和4M×8 Nor Flash组成,32位宽的SDRAM(同步动态随机存取记忆体)可使得处理器达到更高的性能,Flash(快闪存储器)用于固化系统代码。复位系统在上电后会自动硬件复位,同时通过1Wire总线的安全散列算法加密(SHA-1),增强知识产权安全性。JTAG(烧写调试接口)用于调试FPGA,AS接口用于烧写配置芯片。预留RS232串行通信接口接口,加上串口模块后即可实现和计算机或其他电路通信。开发板上还扩展了3路轻触开关、4路拨码开关。
开发板上的电源管理:先通过LM2596S-5.0和LM2596S-3.3分别产生5.0V和3.3V,再通过TPS75003产生内核1.2V、IO电压3.3、LVDS电源2.5V,通过TPS71501产生辅助电压2.5V。
此外还集成了两块ISSI公司的SSRAM(同步静态随机存取存储器) IS61NLP102418-250B3,用于对图像传感器采集到的数据进行存储,并将存储数据传输到FPGA进行处理,处理完的数据由开发板上的解码芯片CH7301C进行解码,该解码芯片最大传输可达到165M像素/秒,最大像素可达到1920*1200,同时提供DVI和RGB两种模式输出。
摄像头部分由图像传感器芯片、外围电路和镜头三个部分组成,图像传感器芯片和镜头分别采用的是Micron Technology公司的SOC数字COMS图像传感器芯片MT9M111I29STC和4mm/F1.2镜头,并通过HDR_2×20连接到开发板与其通信。SOC数字COMS图像传感器芯片MT9M111I29STC,其传感器尺寸 1/3英寸,最大支持像素为1280*1024,最大数据速率达27 MPS/54 MHz。在分辨率为1280*1024时,图像可达15帧/秒;在分辨率为640*512时,图像可达30帧/秒。这为图像的采集效率和质量提供了充足的保证。
本发明与现有技术相比较,具有如下显而易见的突出实质性特点和显著优点:
1. 两个摄像头用于双目的机器视觉的视频采集,通过双目摄像头可以很容易的得出驾驶员的脸部及眼部状态。
2. 采用性价比较高的FPGA内建双核处理器来实现并行处理,大大提高了处理速度,同时具有较低的功耗。
3. 开发板上集成了CH7301C解码芯片,该解码芯片最大传输可达到165M像素/秒,最大像素可达到1920*1200,同时可提供DVI和RGB两种模式输出。
4. 图像传感器芯片采用Micron Technology (美光科技)公司的SOC数字COMS图像传感器芯片MT9M111I29STC,其传感器尺寸达 1/3英寸,最大支持像素为1280*1024,最大数据速率达27 MPS/54 MHz。这为图像的采集效率和质量提供了充足的保证。
附图说明
图1. 本发明硬件平台结构框图
图2. 图1中的Cyclone III开发板结构框图
图3. 图2存储单元、JTAG和AS连接图
图4. 图像传感器结构框图。
具体实施方式
本结合附图,对本发明的优先实施例说明如下:
实施例一:
参见图1,本基于FPGA的的疲劳驾驶双目检测硬件平台其特征在于:由1块专用的Cyclone III开发板()连接2个摄像头(、)构成;通过双摄像头(、)采集驾驶员的脸部及双眼状态来判断驾驶员是否处在疲劳驾驶状态,从而降低疲劳驾驶带来的交通事故;采用双摄像头的目的在于能够更加迅速的、准确的获得驾驶员人脸及眼部状态,配合Cyclone III开发板()中FPGA(18)内建双核处理器分别对两摄像头(、)采集到的数据进行处理,从而达到即时检测驾驶员是否处在疲劳驾驶状态,同时检测系统具有低功耗、高可靠性的特点。
实施例二:
参见图1~图4,本实施例与实施例一基本相同,特征之处如下:
所述的一种基于FPGA的疲劳驾驶双目检测硬件平台,其特征在于所述Cyclone III。开发板()主要是一个FPGA连接有程序配置FLASH(16)、片外存储设备(15)、SDRAM(14)、复位管理芯片(4)、拨码开关和按键输入(2)、DVI接口(9)、串口扩展(1)、电源接口(6)、电源管理模块(5)、JTAG接口(8)、AS接口(7)、密码保护扩展块(17)、LED指示(3)、SSRAM(13)和用于连接摄像头(、)和5V电源和0V地线的HDR_2×20(12);摄像头(、)由图像传感器芯片(19)、外围电路(20)和镜头(21)三个部分组成,并通过HDR_2×20(22)连接到开发板()。
实施例三:
参见图1,本基于FPGA的疲劳驾驶双目检测硬件平台。包括1块自制的FPGA开发板和2个图像传感器组成。
(一) 开发板
开发板,参见图2。
开发板主要包括FPGA芯片(18)、程序配置FLASH(16)、片外存储设备(15)、SDRAM(14)、复位管理芯片(4)、拨码开关和按键输入(5)、DVI接口(11)、VGA接口(9)、串口扩展(1)、电源接口(6)、电源管理模块(5)、JTAG接口(8)、AS接口(7)、密码保护模块(17)、LED指示(3)、SSRAM(13)和用于连接摄像头和5V电源和0V地线的HDR_2×20(12)。
(二) 开发板存储单元、JTAG和AS接口
参见图3,开发板的片外存储单元是2块16位的SDRAM(20),2块SDRAM以并行方式连接,这样能提供32位的数据存储,以满足ALTERA自带的NIOS处理器的32位地址数据总线。
每块SDRAM(20)的数据与地址总线分别与FPGA芯片(14)相对应的引脚相连。控制总线包括:
SDR_WE:写使能信号;
CAE:列地址信号;
RAS:行地址信号;
CS:片选信号;
BA0/BA1:BANK(片)选择信号;
DQM0:低8位屏蔽信号;
DQM1:高8位屏蔽信号;
CKE:时钟使能信号;
CLK:时钟信号。
同时,FPGA芯片(18)输出的JTAG控制信号线与AS配置信号线分别连接到JTAG接口上与EPCS16闪存芯片上。
JTAG控制信号包括:串行输入(TDI),串行输出(TDO),时钟信号(TCK),控制信号(TMS)。
AS信号线包括:时钟信号(DCLK),片选信号(nCS),ASDI与CONFIG信号。
其中AS上电后发送读信号,将闪存(15)中的内容传送至FPGA中。
(三) 摄像头
参见图4,摄像头由图像传感器芯片、外围电路和镜头三个部分组成,图像传感器芯片和镜头分别采用的是由Micron Technology (美光科技)公司的SOC数字COMS图像传感器芯片MT9M111I29STC和4mm/F1.2镜头,并通过HDR_2×20连接到开发板与其通信。
Claims (5)
2.根据权利要求1所述的一种基于FPGA的疲劳驾驶双目检测硬件平台,其特征在于所述Cyclone III;开发板()主要是一个FPGA连接有程序配置FLASH(16)、片外存储设备(15)、SDRAM(14)、复位管理芯片(4)、拨码开关和按键输入(2)、DVI接口(9)、串口扩展(1)、电源接口(6)、电源管理模块(5)、JTAG接口(8)、AS接口(7)、密码保护扩展块(17)、LED指示(3)、SSRAM(13)和用于连接摄像头(、)和5V电源和0V地线的HDR_2×20(12);摄像头(、)由图像传感器芯片(19)、外围电路(20)和镜头(21)三个部分组成,并通过HDR_2×20(22)连接到开发板()。
3.根据权利要求2所述的一种基于FPGA的疲劳驾驶双目检测硬件平台,其特征在于图像传感器芯片(19)和镜头(21)分别采用的是Micron Technology 公司的SOC数字COMS图像传感器芯片MT9M111I29STC和4mm/F1.2镜头。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012103344859A CN102860830A (zh) | 2012-09-12 | 2012-09-12 | 基于fpga的疲劳驾驶双目检测硬件平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012103344859A CN102860830A (zh) | 2012-09-12 | 2012-09-12 | 基于fpga的疲劳驾驶双目检测硬件平台 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102860830A true CN102860830A (zh) | 2013-01-09 |
Family
ID=47440160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012103344859A Pending CN102860830A (zh) | 2012-09-12 | 2012-09-12 | 基于fpga的疲劳驾驶双目检测硬件平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102860830A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104077568A (zh) * | 2014-06-23 | 2014-10-01 | 北京理工大学珠海学院 | 一种高精度的驾驶员行为识别与监控方法及系统 |
CN104398235A (zh) * | 2014-12-04 | 2015-03-11 | 张晓� | 一种眼部疲劳检测仪 |
CN104700385A (zh) * | 2013-12-06 | 2015-06-10 | 广西大学 | 基于fpga实现的双目视觉定位装置 |
CN106713805A (zh) * | 2016-09-22 | 2017-05-24 | 中北大学 | 一种基于fpga的数字视频显示接口模块及其通信方法 |
CN107403554A (zh) * | 2017-09-01 | 2017-11-28 | 北京壹卡行科技有限公司 | 双目集成驾驶员行为分析设备与方法 |
CN107692984A (zh) * | 2017-05-18 | 2018-02-16 | 中科院合肥技术创新工程院 | 一种疲劳检测方法及装置 |
CN108664043A (zh) * | 2018-03-28 | 2018-10-16 | 吉林大学 | 基于双目视觉的驾驶员特征点测量装置及其控制方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030201895A1 (en) * | 2002-03-21 | 2003-10-30 | Harter Joseph E. | Vehicle instrument cluster having integrated imaging system |
-
2012
- 2012-09-12 CN CN2012103344859A patent/CN102860830A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030201895A1 (en) * | 2002-03-21 | 2003-10-30 | Harter Joseph E. | Vehicle instrument cluster having integrated imaging system |
Non-Patent Citations (2)
Title |
---|
戴军等: "基于视频识别驾驶疲劳的信息融合系统", 《微计算机信息》, vol. 24, no. 52, 23 July 2007 (2007-07-23) * |
赵巧云: "基于FPGA的疲劳驾驶检测系统设计", 《大连理工大学硕士学位论文》, 31 March 2010 (2010-03-31) * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104700385A (zh) * | 2013-12-06 | 2015-06-10 | 广西大学 | 基于fpga实现的双目视觉定位装置 |
CN104077568A (zh) * | 2014-06-23 | 2014-10-01 | 北京理工大学珠海学院 | 一种高精度的驾驶员行为识别与监控方法及系统 |
CN104398235A (zh) * | 2014-12-04 | 2015-03-11 | 张晓� | 一种眼部疲劳检测仪 |
CN106713805A (zh) * | 2016-09-22 | 2017-05-24 | 中北大学 | 一种基于fpga的数字视频显示接口模块及其通信方法 |
CN106713805B (zh) * | 2016-09-22 | 2023-06-02 | 中北大学 | 一种基于fpga的数字视频显示接口模块及其通信方法 |
CN107692984A (zh) * | 2017-05-18 | 2018-02-16 | 中科院合肥技术创新工程院 | 一种疲劳检测方法及装置 |
CN107403554A (zh) * | 2017-09-01 | 2017-11-28 | 北京壹卡行科技有限公司 | 双目集成驾驶员行为分析设备与方法 |
CN107403554B (zh) * | 2017-09-01 | 2023-07-11 | 北京九州安华信息安全技术有限公司 | 双目集成驾驶员行为分析设备与方法 |
CN108664043A (zh) * | 2018-03-28 | 2018-10-16 | 吉林大学 | 基于双目视觉的驾驶员特征点测量装置及其控制方法 |
CN108664043B (zh) * | 2018-03-28 | 2024-05-07 | 吉林大学 | 基于双目视觉的驾驶员特征点测量装置及其控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102860830A (zh) | 基于fpga的疲劳驾驶双目检测硬件平台 | |
CN202472863U (zh) | 基于图像信息综合评判的驾驶员疲劳监测网络系统 | |
CN202976239U (zh) | 一种车辆行驶状态记录仪 | |
CN102208125B (zh) | 疲劳驾驶监测系统及方法 | |
CN101599207A (zh) | 一种疲劳驾驶检测装置及汽车 | |
CN205898143U (zh) | 一种基于机器视觉与激光传感器融合的机器人导航系统 | |
CN202183155U (zh) | 基于姿态识别的防疲劳驾驶辅助系统 | |
CN203246465U (zh) | 具车道偏离预警及前方车距预警功能的行车记录器 | |
CN209186698U (zh) | 一种基于fpga的癫痫预警装置 | |
CN202196514U (zh) | 一种智能车载终端 | |
CN104680718A (zh) | 一种智能手环 | |
CN205910555U (zh) | 一种基于物联网的车辆状态预测系统 | |
CN113012394A (zh) | 融合心率和方向盘动作特征的疲劳驾驶预警系统及方法 | |
CN103956027A (zh) | 一种驾驶员人眼疲劳检测装置及检测方法 | |
CN106657936A (zh) | 基于视频监控危险区域语音警示方法及系统 | |
CN204576754U (zh) | 一种车载汽车驾驶疲劳预警设备 | |
CN105329161B (zh) | 检测车辆偏移车道的方法和装置 | |
CN105946769A (zh) | 基于stm32的高速车祸自动报警系统 | |
TWM436579U (en) | Wireless tire pressure receiving device | |
CN106388146A (zh) | 一种基于云计算平台的智能手环及系统 | |
CN206781778U (zh) | 一种机车轴温检测报警装置电路 | |
CN203012745U (zh) | 一种基于动作识别的人体异常行为检测与预警系统 | |
CN202256679U (zh) | 用于防瞌睡的车载导航仪 | |
KR20130064863A (ko) | 유무선 통합형 블랙박스 | |
CN205997821U (zh) | 一种车辆运动状态检测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130109 |