CN102496005A - 基于眼球特征的审讯辅助研判分析系统 - Google Patents

Abstract

本发明涉及一种基于眼睛特征的审讯辅助研判分析系统，它包括红外光源，图像采集单元，眼睛检测与跟踪单元，瞳孔数据获取单元，视线跟踪校准单元，即利用红外相机捕捉瞳孔图像数据，分析眼球结构，自动识别瞳孔及角膜中心位置并实时显示相关数据，以实时确定视线方向，并结合瞳孔的状态变化及注视内容实时计算犯罪当事人的心理状态。本发明对用户的干扰较少，无需穿戴跟踪设备；所涉及的视线跟踪技术是未来智能人机接口的关键技术之一，在工业控制、机器人学和临床医学上均有着广泛的应用前景。

Description

基于眼球特征的审讯辅助研判分析系统

技术领域

本发明涉及一种眼球特征读取和分析技术，尤其涉及一种基于眼球特征的审讯辅助研判分析系统。

背景技术

心理学研究表明，人的大脑对外界刺激会留下一定的印痕，即记忆。这些记忆会在人的脑海中长期存在，当这些记忆被重新提起，特别是一些不好的、想去竭力回避的记忆必然引起被测试者沉重的心理压力或心理反应，从而引起生理上一系列异常的反应，比如，瞳孔放大、体温微升、出汗、呼吸速率加快等。这些反应会随着情绪、行为的变化而变化。

目前的检测方法主要是测量如下三个生理变化指标：

第一个指标是皮肤电。因为皮肤电实际是受交感神经活动的影响，突然的刺激会造成皮肤的收缩反应；

第二个指标是呼吸。人紧张的时候呼吸就会变得急促。

第三个指标是血压，也就是脉搏变化。

但是，对于以上三个生理指标，通过有素的训练，人在某种程度上是可以在心理控制方面进行有效掩饰的，比如，面对测试者或刺激性画面，他通过对意识的较好控制做到不惊不恐，从而克服心率跳动过快的情况，较平稳的心率不会引起冠状动脉较明显的扩张和血压上升等情况，因此给测试结果造成困难。

传统测谎仪都是测量一个人撒谎时的情绪反应，根据人情绪波动的各项生理反应数据，推断人是否说谎，然而不少犯罪嫌疑人有着较高的学历背景，掌握了丰富的科学知识；还有些则是累犯惯犯，多次受到刑事追究，有着丰富的反侦查经验；再有，那些心理素质特别好的嫌疑人或者从事过特殊行业工作的人，如心理学教授、刑事警察等，对这一类人群传统测谎仪不具有适用性。鉴于此，传统测谎仪测谎结果的准确性一直受到广泛的争议。

但是，眼动心理研究表明，人的主观意识无法控制瞳孔的大小变化。瞳孔是眼睛内虹膜中心的开口，是光线进入眼睛的通道。而在虹膜中有两种细小的肌肉，一种是主管瞳孔缩小的瞳孔括约肌，受眼动神经中的副交感神经支配，另一种是受到交感神经支配主管瞳孔开大的瞳孔开大肌。而当一个人说谎或是心理应激的时候，他的内心即使只是出现微小的情绪波动，这时交感神经也会起作用使瞳孔散大。因此微小的情绪波动通过瞳孔的变化被放大，这些瞳孔的变化是人的主观意志无法控制的。

除了瞳孔的变化，眼球运动的轨迹也是判断是否说谎的一个指标，在NLP(神经语言程序学)的理论中，眼球转动的六个位置：右上、左上、右中、左中、右下、左下，每个位置都有不同的意义。在NLP中，右边代表将来，左边代表过去，上边代表视觉，中间代表听觉，下边代表感觉、理性思维，因此当眼睛转向左上方，表示在回想一些视觉上的记忆；眼睛转向左中方，表示在回想一些听觉上的记忆；眼睛转向左下方，表示在内心在进行一些理性思考(例如在思考“3+3＝？”；眼睛转向右上方，表示在思考未来；眼睛转向右中方，表示在想象一个声音，例如在想象询问某人问题时，对方会如何答复；眼睛转向右下方，表示正在体会一种身体上的感觉，例如体会着食指的感觉。所以如果想分辨出一个人是否说谎，可以问一些必须要回忆才能想起来的细节，比如“那天晚上你去哪了？碰到了些什么人？”如果对方不经思考就看着你的眼睛马上回答，他可能在讲述已经编好的谎言；如果他的眼睛先向上、再向左转动，说明他可能在回忆真实的情况；如果眼睛先向上、后向右转动，说明他有可能正在编造谎言。

发明内容

鉴于传统测谎仪所存在的缺陷，以及基于人的主观意识无法控制瞳孔的大小变化和视线轨迹反映人内心活动的原理，本发明旨在公开一种基于眼球特征的审讯辅助研判分析系统。

本发明的技术解决方案是这样实现的：

(1)红外光源，其为1个以上近红外LED光源；

(2)图像采集单元，其用于准确地实时获取清晰的瞳孔图像，包括1个以上高分辨率摄像机、图像采集卡和控制云台，所述摄像机的镜头上放置红外滤光片；

(3)眼睛检测与跟踪单元，其用于准确地实时定位瞳孔所在的大概位置，包括基于Lucas-Kanade算法的追踪器与基于随机森林算法的检测器；

(4)瞳孔数据获取单元，其采用亮瞳和暗瞳相结合的方法，用于获取实时瞳孔中心位置和角膜反射亮斑位置；

(5)视线跟踪校准单元，用于匹配眼部特征与场景，通过3D建模得到角膜亮斑中心及瞳孔中心的位置，进而得到视轴的方向，以确定实时视线方向；

其中，角膜中心的坐标通过下式确定

$\left\{\begin{array}{c}{O}_{\mathrm{cornea}}=L_1+k_1(L_1-L_{11})\\ O_{\mathrm{cornea}}=L_2+k_2(L_2-L_{22})\end{array}\right.$

通过同样的方法可以重构出虚拟的瞳孔中心，虚像的瞳孔中心和上面估计出来的角膜中心能估计出光轴

V_p＝O_cornea+k(P-O_cornea)

由于对于每一个人来说，视轴和光轴之间的夹角是一个常数，所以每个人只需校准一次即可。首先需要计算出这个夹角，之后视线估计的时候，只需要计算光轴通过一个旋转矩阵M得到视轴即可。

如果已知视轴和光轴直线上的任意两个点，就可以求出视轴和光轴的方向，由于角膜中心和瞳孔虚像在视轴上，而注视点S及角膜中心在视轴上，所以有下式：

${\stackrel{\→}{V}}_p=\frac{(P^{`}-O_{\mathrm{cornea}})}{\left|\right|P^{`}-O_{\mathrm{cornea}}\left|\right|}$

由于视轴旋转一定的角度可以得到光轴，所以存在一个3*3的旋转矩阵M，有下式： ${\stackrel{\→}{V}}_v=M{\stackrel{\→}{V}}_p$ 由于M是正交矩阵，所以有： ${\stackrel{\→}{V}}_p=M^T{\stackrel{\→}{V}}_v$

旋转矩阵M的获得可以通过以下方法：由于存在上面的两个等式，所以只需要两个校准点就可以得到12个等式，而只有9个未知数需要求解，所以两个校准点就可以得到M矩阵，得到M矩阵后就可以计算出实时的视线方向。

进一步的，所述基于眼球特征的审讯辅助研判分析系统，还包括嫌疑人可靠性分析单元，用于利用视线跟踪技术计算用户在场景中的注视点位置，结合用户问题回答情况进行事件关联性分析，同时结合瞳孔的变化和运动情况，综合判断用户是否为该案的嫌疑人。

本发明是利用图像的自动阈值分割技术、3D重建技术，模式识别的监督分类技术，红外成像技术、透视技术，实时跟踪瞳孔并实时显示瞳孔的状态数据，并根据瞳孔-角膜反射亮斑获取眼睛注视方向的计算，对当事人语言、动作等方面真实性及可信度分析的测量系统，该技术主要利用红外相机捕捉瞳孔图像数据，分析眼球结构，自动识别瞳孔及角膜中心位置并实时显示相关数据，获取注视方向，通过瞳孔的状态变化及注视内容实时侦查犯罪当事人的心理状态。

与现有技术相比，本发明的具有如下的技术特点和技术效果：

1、本发明采用瞳孔-角膜反射向量原理，即红外光源照射眼球产生角膜亮斑，通过指向眼睛的摄像机获取眼球图像，利用图像处理技术提取出眼球图像内的瞳孔中心和角膜亮斑中心，获得瞳孔-角膜反射向量。利用校准技术建立眼睛摄像机的图像坐标系和场景显示器或投影仪屏幕的世界坐标系之间的关系，获得视线在场景中的世界坐标位置，达到计算出注视点在场景中的位置坐标的目的。

2、利用本发明进行审讯辅助研判分析，对用户的干扰较少，无需穿戴跟踪设备；用户面向计算机屏幕或投影屏幕，头部可正常地自由活动：正常情况下，用户头部距离屏幕50～100cm，水平移动处于40cm区域内，眼睛转动范围基本上水平、垂直方向在30度视角内。相比穿戴传感器的方法，本发明更适合用户的注视点定位。

3、眼睛检测与跟踪，即瞳孔感兴趣区域特征检测与跟踪是基于图像处理方法的第一步，本发明采用Lucas-Kanade算法与随机森林算法相结合，能实时，准确的定位瞳孔所在的大概位置。

4、本发明采用bolb团块提取算法和starburst算法相结合并引用一定的阈值处理技术，邻域跟踪技术等，可以准确，实时的跟踪、定位瞳孔所在位置；角膜反射亮斑采用自动的阈值迭代技术可以准确的定位多个亮斑，该算法鲁棒性强，无论距离测试者远近都能准确的定位。

5、由于使用了红外光源，该系统对外界光线变化不敏感，抗干扰能力较强。

本发明所涉及的视线跟踪技术是未来智能人机接口的关键技术之一，在工业控制、机器人学和临床医学上均有着广泛的应用前景。

附图说明

图1是系统结构示意图；

图2是光源及摄像机安装结构图；

图3是眼睛红外图像的瞳孔及角膜反射亮斑识别结果；

图4是本发明的软件处理流程图。图中，

1-用户；2-红外光源；3-眼睛摄像机；4-计算机(含视频图像采集卡)；5-操作员用显示器；6-投影仪及其屏幕(或场景显示器)。

具体实施方式

本发明所述的基于眼睛特征的审讯辅助研判分析系统，包括两个红外光源2，用作图像采集的两个眼睛摄像机3，投影仪及其屏幕或者场景显示器6，计算机4，其内置视频图像采集卡，操作员显示器5，如图1和图2所示；

所述红外光源2为波长850nm的近红外LED光源，为了得到稳定的头部及眼睛图像，将两个近红外LED光源，分别置于用户1头部的两侧前方，以减少由于头的转动造成脸部的阴影，系统在白天和晚上都能使用，采用了近红外带通滤波器(只能透过波长为850-890nm的光线)，所述眼睛摄像机3采用高分辨率摄像机，将其放置于距离测试者80～100cm的桌子上，所述摄像机用对红外线灵敏的CCD摄像头和红外滤光镜来获取图像，消除可见光对测量的影响：由于虹膜对红外线的反射为0.9，而对普通光的反射为0.5，人眼中的角膜、虹膜和瞳孔对红外线的吸收和反射都不同，因此，在眼睛的红外图像中有非常丰富的信息。

所述眼睛摄像机3和红外光源2的数量可以根据需要而不同，例如可以是一个摄像机二个红外光源、二个摄像机一个红外光源或者多个摄像机多个红外光源等。

所述计算机4分别连接操作员用显示器5和场景显示器6，所述场景显示器也可以投影仪及其屏幕代替，眼睛摄像机3与计算机4的视频图像采集卡相连接。

测试时，用户1面向场景显示器6或投影仪屏幕，头部面向屏幕无需穿戴跟踪设备，头部距离场景显示器或屏幕50～100cm，水平移动处于40cm区域内，眼睛转动范围基本上水平、垂直方向在30度视角内，可正常地自由活动。

所述系统的处理过程如图4所示。

所述计算机4中安装有眼睛检测与跟踪系统，瞳孔数据获取系统，视线跟踪校准系统以及嫌疑人可靠性分析系统，其中：

所述的眼睛检测与跟踪单元采用Lucas-Kanade算法与随机森林算法相结合，能实时，准确的定位瞳孔所在的大概位置。本算法的追踪器基于Lucas-Kanade算法。开始时从选定的矩形内取得一个集合的特征点，然后通过LK算法能追踪到这些点在两帧之间的变化情况并将其反映到一个稀疏的运动矢量场中。基于该运动场，物体的运动状况就能够得到较好的估计。在每一帧中都会有全新的一系列特征点被追踪，这让LK追踪器的适应性增强。本算法的检测器使用的是随机森林算法，本算法中随机森林所依赖的特征是2bit Binary Patterns(2bitBP)。它刻画了特定区域的梯度方向信息，并将这些信息数值化后转化为编码输出。

所述的瞳孔数据获取单元使用亮瞳和暗瞳相结合的技术。亮瞳技术照射到眼睛的光源非常接近相机的轴线。这种照明的结果是，瞳孔部分是一个明亮的区域，眼睛的其他部分则是黑色。暗瞳技术照射到眼睛的光源远离轴心，瞳孔是整幅图像最黑的部分，而巩膜、虹膜和眼睑都反射较多的光线。这两种方法中，反射照明光线的第一表面角膜反射也是可见的，即在角膜上形成一个亮斑。视线跟踪使用瞳孔中心和角膜反射之间的向量，而不是单独的瞳孔中心。

角膜反射对应的区域是眼睛图像中最亮的部分，因此角膜反射可以通过自适应阈值的方法对每一帧图像来定位角膜反射，准确的获得瞳孔及角膜反射亮斑在图像中的x，y坐标，及椭圆形瞳孔的长轴及短轴的大量数据，并可实时得到这些数据。

所述的视线跟踪校准单元通过上面得到的瞳孔及角膜反射亮斑的中心位置，采用3D重建技术，使用基于几何分析的方法，眼睛模型考虑的是光轴和视轴的偏移，角膜的折射率。通过分析眼睛结构，及折射、反射原理可知，红外光源在角膜内部会成一个虚像，通过两个相机捕捉这个虚像，可以重建虚像的3D位置。同理，如果通过两个光源，用两个相机得到光源的虚像，则可以通过三维重建得到两个虚像的3D位置，角膜中心是两条线的交点，通过下式可以得到角膜中心的坐标。

$\left\{\begin{array}{c}{O}_{\mathrm{cornea}}=L_1+k_1(L_1-L_{11})\\ O_{\mathrm{cornea}}=L_2+k_2(L_2-L_{22})\end{array}\right.$

通过同样的方法可以重构出虚拟的瞳孔中心，虚像的瞳孔中心和上面估计出来的角膜中心能估计出光轴

V_p＝O_cornea+k(P-O_cornea)

由于对于每一个人来说，视轴和光轴之间的夹角是一个常数，所以每个人只需校准一次即可。首先需要计算出这个夹角，之后视线估计的时候，只需要计算光轴通过一个旋转矩阵M得到视轴即可。

如果已知视轴和光轴直线上的任意两个点就可以求出视轴和光轴的方向，由于角膜中心和瞳孔虚像在视轴上，而注视点S及角膜中心在视轴上，所以有下式：

${\stackrel{\→}{V}}_p=\frac{(P^{`}-O_{\mathrm{cornea}})}{\left|\right|P^{`}-O_{\mathrm{cornea}}\left|\right|}$

由于视轴旋转一定的角度可以得到光轴，所以存在一个3*3的旋转矩阵M，有下式： ${\stackrel{\→}{V}}_v=M{\stackrel{\→}{V}}_p$ 由于M是正交矩阵，所以有： ${\stackrel{\→}{V}}_p=M^T{\stackrel{\→}{V}}_v$

旋转矩阵M的获得可以通过以下方法：由于存在上面的两个等式，所以只需要两个校准点就可以得到12个等式，而只有9个未知数需要求解，所以两个校准点就可以得到M矩阵，得到M矩阵后就可以实时的计算出视线的方向。

所述嫌疑人可靠性分析系统用于嫌疑人可靠性分析计算，综合判断该用户是否为该案件的嫌疑人：通过在用户显示器或投影屏幕上播放与案件现场相关的图片或视频，利用视线跟踪技术计算用户在场景中的注视点位置。测谎专家根据用户回答问题的情况，判断用户与该案件的相关性。同时根据瞳孔的变化和运动情况(瞳孔大小变化、运动方向变化及运动速度等参数)，进行嫌疑人可靠性分析计算，综合判断该用户是否为该案件的嫌疑人。

实验结果与结论

在校准距离分别为60公分，1米，2米，3米，4米，5米的情况下，分别进行如下测试：

(1)测试者的头部没有任何移动，通过腮托固定头部测试跟踪的准确性；

(2)测试者的头部没有平移运动，只有左右摇头和低头动作测试跟踪的准确性；

(3)测试者的头部有平移运动，测试跟踪的准确性；

(4)在实验中我们分别对眼睛大小不同，形状不同，是否佩戴眼睛或隐形眼镜的不同类型的30个人进行了测试。

在这些实验中，眼睛摄像机的分辨率为800×600像素。

实验所得测试结果如下：

(1)头部保持静止时的跟踪结果：在验证过程中，测试者把头部固定在腮托上，身体保持静止，分别在不同的距离进行测试，根据最终的测试结果，其中校准最大误差是2.56°，最小误差是0.06°，平均误差是1.22°。

(2)头部没有平移运动，只有左右摇头和低头动作条件下的跟踪结果：在跟踪犯罪嫌疑人视线的过程中，犯罪嫌疑人头部自然移动或发生平移是不可以避免的，为了评估头部运动对视线跟踪方法的影响，测试者在头部故意移动的情况下重做了上一个实验。对每一个任意的头部旋转位置，分别测试注视点距离实际测试点位置的距离。跟踪结果显示，最大误差是3.03°，最小误差是0.07°，平均误差是0.86°。

(3)分别对眼睛大小不同，形状不同，是否佩戴眼睛或隐形眼镜的不同类型的30个人进行了测试，在头部静止和移动的情况下，误差控制在了0.1°以内。

本发明提供了一套基于眼睛特征的审讯辅助研判分析系统，该系统可以实时记录并显示瞳孔数据，可以对犯罪嫌疑人的瞳孔数据进行分析，该系统可以实时跟踪犯罪嫌疑人的注视位置并记录下来。因为使用了红外光源，该系统对外界光线变化不敏感，抗干扰能力较强。并在不需要限制犯罪嫌疑人头部运动的前提下，即可达到良好的视线跟踪效果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种基于眼球特征的审讯辅助研判分析系统，包括：

(1)红外光源，其为1个以上近红外LED光源；

(2)图像采集单元，其用于准确地实时获取清晰的瞳孔图像，包括1个以上高分辨率摄像机、图像采集卡和控制云台，所述摄像机的镜头上放置红外滤光片；

(3)眼睛检测与跟踪单元，其用于准确地实时定位瞳孔所在的大概位置，包括基于Lucas-Kanade算法的追踪器与基于随机森林算法的检测器；

(4)瞳孔数据获取单元，其采用亮瞳和暗瞳相结合的方法，用于获取实时瞳孔中心位置和角膜反射亮斑位置；

(5)视线跟踪校准单元，用于匹配眼部特征与场景，通过3D建模得到角膜亮斑中心及瞳孔中心的位置，进而得到视轴的方向，以确定实时视线方向；

其中，角膜中心的坐标通过下式确定

$\left\{\begin{array}{c}{O}_{\mathrm{cornea}}=L_1+k_1(L_1-L_{11})\\ O_{\mathrm{cornea}}=L_2+k_2(L_2-L_{22})\end{array}\right.$

同理重构出虚拟的瞳孔中心，虚像的瞳孔中心和上面估计出来的角膜中心能估计出光轴

V_p＝O_cornea+k(P-O_cornea)

计算视轴和光轴之间的夹角，由于对于每一个人来说，该夹角是一个常数，之后的视线估计，只需要计算光轴通过一个旋转矩阵M得到视轴；

在已知视轴和光轴直线上的任意两个点状态下可以求出视轴和光轴的方向，由于角膜中心和瞳孔虚像在视轴上，而注视点S及角膜中心在视轴上，所以有下式：

${\stackrel{\→}{V}}_p=\frac{(P^{`}-O_{\mathrm{cornea}})}{\left|\right|P^{`}-O_{\mathrm{cornea}}\left|\right|}$

由于视轴旋转一定的角度可以得到光轴，所以存在一个3*3的旋转矩阵M，有下式： ${\stackrel{\→}{V}}_v=M{\stackrel{\→}{V}}_p$ 由于M是正交矩阵，所以有： ${\stackrel{\→}{V}}_p=M^T{\stackrel{\→}{V}}_v$

通过两个校准点获得M矩阵，进而计算出实时的视线方向。

2.如权利要求1所述的基于眼球特征的审讯辅助研判分析系统，其特征在于：

还包括嫌疑人可靠性分析单元，用于利用视线跟踪技术计算用户在场景中的注视点位置，结合用户问题回答情况进行事件关联性分析，并结合瞳孔的变化和运动情况，综合判断用户是否为该案的嫌疑人。

Images