CN106548600A - 实时瞳孔追踪系统和疲劳状态监测方法 - Google Patents

Abstract

本申请公开了一种实时瞳孔追踪系统和疲劳状态监测方法，该系统包括：第一红外光源，产生900nm波段的红外光；第二红外光源，产生850nm波段的红外光；第一视频采集模块，采集人脸上第一红外光源反射的图像；第二视频采集模块，采集人脸上第二红外光源反射的图像；视频处理模块，对第一红外光源和第二红外光源反射的图像进行差分比较，定位人眼位置。本发明通过眼睛视网膜对红外光反射率的差别，快速定位人眼位置，并通过全硬件的图像处理方式，达到实时的追踪和分析。

Description

实时瞳孔追踪系统和疲劳状态监测方法

技术领域

本申请涉及汽车安全驾驶技术领域，特别是涉及一种实时瞳孔追踪系统和疲劳状态监测方法。

背景技术

瞳孔检测作为人脸识别的一部分被提出。关于瞳孔检测方面，国内外虽然有不少人提出了不同的观点，目前主流的方法有模板匹配方法、投影法、“特征眼”法、基于小波变换方法、对称性方法和基于神经网络的方法。

Kanade及其他研究人员开发了从一幅静态图像中检测瞳孔特征的方法，更多的瞳孔特征检测方法是基于YUlll的不规则模板方法，但是由于不规则模板的方案需要耗费大量的时间，所以该方法很难应用于视频图像中的瞳孔跟踪。但是如果用于瞳孔跟踪跟踪，这些方案还远不能满足实时性要求。

随着各研究和应用领域对实时性要求的提高，对实时瞳孔检测与跟踪方法进行系统研究的要求也越来越显得突出和迫切。但截至目前还没有一种完善的理论和方法能够准确和有效的方法来对视频图像中人脸部的瞳孔进行实时、准确的检测与跟踪。

发明内容

本发明的目的在于提供一种实时瞳孔追踪系统和疲劳状态监测方法，以克服现有技术中的不足。

为实现上述目的，本发明提供如下技术方案：

本申请实施例公开一种实时瞳孔追踪系统，包括：

第一红外光源，产生900nm波段的红外光；

第二红外光源，产生850nm波段的红外光；

第一视频采集模块，采集人脸上第一红外光源反射的图像；

第二视频采集模块，采集人脸上第二红外光源反射的图像；

视频处理模块，对第一红外光源和第二红外光源反射的图像进行差分比较，定位人眼位置。

优选的，在上述的实时瞳孔追踪系统中，所述第一视频采集模块和第二视频采集模块分别采用非制冷焦平面热像组件配备红外镜头。

优选的，在上述的实时瞳孔追踪系统中，所述视频处理模块包括FPGA模块和SRAM模块。

优选的，在上述的实时瞳孔追踪系统中，还包括：

第一视频解码模块，设于第一视频采集模块和视频处理模块之间；

第二视频解码模块，设于第二视频采集模块和视频处理模块之间。

优选的，在上述的实时瞳孔追踪系统中，还包括视频显示模块，以及依次设于所述视频处理模块和视频显示模块之间的配置模块、视频编码模块和数据存储模块。

本申请还公开了一种实时瞳孔追踪系统的疲劳状态监测方法，包括：

(1)、清醒状态下，预先利用视频采集模块采集850nm和900nm两种波长下人脸图像，视频解码模块进行解码，通过图像分析得到清醒状态各项指标，并将这些数据存储；

(2)、疲劳程度确认，利用视频采集模块采集850nm和900nm两种波长下人脸图像，视频解码模块进行解码，通过图像分析得到实时状态各项指标，与预置的清醒状态各项指标作比较，在超出设定范围时，产生疲劳的报警信号。

本申请还公开了一种实时瞳孔追踪系统的疲劳状态监测方法，包括：

驾驶前，将驾驶员视线注意特定部件时参数预先录画分析，然后根据这些基本参数来设置各种驾驶情况时驾驶员需要做出的视线动作；

实际驾驶时，通过实时定位人眼来确定各种驾驶情况时驾驶员是否按照需要作出的视线动作，如果没有作出需要动作，则产生报警信号。

优选的，在上述的实时瞳孔追踪系统的疲劳状态监测方法中，所述特定部件包括左右反光镜、后视镜。

与现有技术相比，本发明的优点在于：本发明通过眼睛视网膜对红外光反射率的差别，快速定位人眼位置，并通过全硬件的图像处理方式，达到实时的追踪和分析。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本发明具体实施例中实时瞳孔追踪系统的原理方框图。

具体实施方式

视线追踪技术利用眼球转动时相对位置不变的某些眼部结构和特征作为参照，在位置变化特征和这些不变特征之间提取视线变化参数，然后通过几何模型或映射模型获取视线方向，通过红外照明，产生不同波段的红外光，眼睛视网膜对不同波长红外光的反射率低，反射率低的人眼图像暗，反射率高的人眼图像亮。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1所示，实时瞳孔追踪系统，包括：

第一红外光源，产生900nm波段的红外光；

第二红外光源，产生850nm波段的红外光；

第一视频采集模块，采集人脸上第一红外光源反射的图像；

第二视频采集模块，采集人脸上第二红外光源反射的图像；

视频处理模块，对第一红外光源和第二红外光源反射的图像进行差分比较，定位人眼位置。

在一些实施例中，第一视频采集模块和第二视频采集模块分别采用非制冷焦平面热像组件配备红外镜头。

在一些实施例中，视频处理模块包括FPGA模块和SRAM模块。

在一些实施例中，还包括：

第一视频解码模块，设于第一视频采集模块和视频处理模块之间；

第二视频解码模块，设于第二视频采集模块和视频处理模块之间。

在一些实施例中，还包括视频显示模块，以及依次设于视频处理模块和视频显示模块之间的配置模块、视频编码模块和数据存储模块。

应用例1

采用上述实时瞳孔追踪装置来确认驾驶员疲劳程度。将所述实时瞳孔追踪装置应用于车载系统中，对驾驶员疲劳程度进行分析，并做出预警。

具体检测警报的流程为：清醒状态参数预置->人眼定位->疲劳程度确认->疲劳驾驶警报。首先，针对不同的人，预先录画分析，确定清醒状态下人眼的各项指标，包括瞳孔大小、闭眼时长、睁闭眼比例；然后实时分析录画的人眼参数，当瞳孔变小、闭眼时间长、睁闭眼比例降低的程度，确认是否处于疲劳状态。

工作过程：

(1)配置清醒状态人眼参数。清醒状态下，预先利用视频采集模块采集两种波长下人脸图像，视频解码模块进行解码，通过图像分析得到清醒状态各项指标，并将这些数据存储在数据存储模块；

(2)疲劳程度确认。利用视频采集模块采集两种波长下人脸图像，视频解码模块进行解码，通过图像分析得到现在状态各项指标，与预置的清醒状态各项指标作比较，根据超出的程度，来确认已经处于疲劳状态的程度，从而做出相应的报警，并通过视频实现模块进行显示。

应用例2

采用上述实时瞳孔追踪装置来确认驾驶安全。将上述实时瞳孔追踪装置应用于车载系统中，通过确认驾驶员视线注意点来确认驾驶安全，当没有按照正常操作时，做出警报。

具体检测警报的流程为：

视线注意各个部件(左右反光镜、后视镜等)时参数预置->设置各种驾驶情况时需要做出的视线动作->人眼定位->驾驶情况确认->危险驾驶警报。

首先，驾驶前，将驾驶员视线注意各个部件(左右反光镜、后视镜等)时参数预先录画分析,然后根据这些基本参数来设置各种驾驶情况时驾驶员需要做出的视线动作。实际驾驶时，通过实时定位人眼来确定各种驾驶情况时驾驶员是否按照需要作出的视线动作。如果没有作出需要动作，则报警提示。

本案实时瞳孔追踪装置，不仅可以适用于车载系统，对于其他具有特征运动规律或者通过运动模式推算出其运动特征的设备也可以适用。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (8)

1.一种实时瞳孔追踪系统，其特征在于，包括：

第一红外光源，产生900nm波段的红外光；

第二红外光源，产生850nm波段的红外光；

第一视频采集模块，采集人脸上第一红外光源反射的图像；

第二视频采集模块，采集人脸上第二红外光源反射的图像；

视频处理模块，对第一红外光源和第二红外光源反射的图像进行差分比较，定位人眼位置。

2.根据权利要求1所述的实时瞳孔追踪系统，其特征在于：所述第一视频采集模块和第二视频采集模块分别采用非制冷焦平面热像组件配备红外镜头。

3.根据权利要求1所述的实时瞳孔追踪系统，其特征在于：所述视频处理模块包括FPGA模块和SRAM模块。

4.根据权利要求1所述的实时瞳孔追踪系统，其特征在于：还包括：

第一视频解码模块，设于第一视频采集模块和视频处理模块之间；

第二视频解码模块，设于第二视频采集模块和视频处理模块之间。

5.根据权利要求1或4所述的实时瞳孔追踪系统，其特征在于：还包括视频显示模块，以及依次设于所述视频处理模块和视频显示模块之间的配置模块、视频编码模块和数据存储模块。

6.基于权利要求1至5任一所述的实时瞳孔追踪系统的疲劳状态监测方法，其特征在于，包括：

(1)、清醒状态下，预先利用视频采集模块采集850nm和900nm两种波长下人脸图像，视频解码模块进行解码，通过图像分析得到清醒状态各项指标，并将这些数据存储；

(2)、疲劳程度确认，利用视频采集模块采集850nm和900nm两种波长下人脸图像，视频解码模块进行解码，通过图像分析得到实时状态各项指标，与预置的清醒状态各项指标作比较，在超出设定范围时，产生疲劳的报警信号。

7.基于权利要求1至5任一所述的实时瞳孔追踪系统的疲劳状态监测方法，其特征在于，包括：

驾驶前，将驾驶员视线注意特定部件时参数预先录画分析，然后根据这些基本参数来设置各种驾驶情况时驾驶员需要做出的视线动作；

实际驾驶时，通过实时定位人眼来确定各种驾驶情况时驾驶员是否按照需要作出的视线动作，如果没有作出需要动作，则产生报警信号。

8.根据权利要求7所述的实时瞳孔追踪系统的疲劳状态监测方法，其特征在于：所述特定部件包括左右反光镜、后视镜。