CN113688733A - 基于事件相机的眼部检测和追踪方法、系统、设备及应用 - Google Patents

Abstract

本发明属于计算机视觉技术领域，公开了一种基于事件相机的眼部检测和追踪方法、系统、设备及应用，利用事件相机对运动目标和变化目标进行反馈，对眼部的数据进行采集；采集到的数据输入到一个经过训练的神经网络中，神经网络识别检测到眼球位置和瞳孔位置，并对眼球位置和瞳孔位置特征提取；利用提取的眼球位置特征对眼球追踪，利用提取的瞳孔位置特征对瞳孔追踪；利用追踪到的眼球位置信息和瞳孔位置信息计算眼球和瞳孔的相对位置信息，计算出眼部视线位置刻画出视线轨迹。本发明利用事件相机对眼部数据采集形成事件数据；利用深度学习的神经网络技术对采集到的事件数据处理和训练，进而解决了利用事件数据对人的眼部有效的识别和追踪的问题。

Description

基于事件相机的眼部检测和追踪方法、系统、设备及应用

技术领域

本发明属于计算机视觉技术领域，特别涉及一种基于事件相机的对眼部进行检测和追踪的方法及设备，结合事件相机，利用深度学习技术，可以对眼部进行有效的检测和追踪。尤其涉及一种基于事件相机的眼部检测和追踪方法、系统、设备及应用。

背景技术

目前：眼球追踪技术是一项科学应用技术，一是根据眼球和眼球周边的特征变化进行跟踪，二是根据虹膜角度变化进行跟踪，三是主动投射红外线等光束到虹膜来提取特征。眼球追踪技术是当代心理学研究的重要技术，广泛运用于实验心理学、应用心理学、工程心理学、认知神经科学等领域。眼球追踪术的主要设备包括红外设备和图像采集设备。在精度方面，红外线投射方式有比较大的优势，大概能在30英寸的屏幕上精确到1厘米以内，辅以眨眼识别、注视识别等技术，已经可以在一定程度上替代鼠标、触摸板，进行一些有限的操作。此外，其他图像采集设备，如电脑或手机上的摄像头，在软件的支持下也可以实现眼球跟踪，但是在准确性、速度和稳定性上各有差异。

眼部检测和追踪主要是利用计算机视觉技术和图像处理技术对眼部进行检测和追踪技术，眼部包含眼球和瞳孔，眼部的检测和追踪技术即是对眼球和瞳孔进行追踪的技术，眼球和瞳孔的转动方向往往决定了人的视线的方向，对眼部的追踪是在眼球和瞳孔转动过程中对眼球和巩膜的转动方向进行捕捉，刻画出眼球和瞳孔转动的轨迹。眼部追踪一般利用普通的摄像头来进行检测和追踪。眼部追踪主要应用在眼控交互、VR视线追踪、驾驶行为监控、医疗心理领域、教育领域等有着广泛的用途。由于眼部运动速度快，而且需要检测和追踪的眼部目标小，所以在进行眼部追踪的过程中，普通的摄像头容易产生运动模糊，即相机的更新速度无法快于眼球和瞳孔的运动速度，影响眼部的检测和追踪眼部的效果。而且普通的相机需要高的帧率和分辨率，给处理设备带来存储和带宽、运算处理上的压力，这给眼部追踪的推广造成了阻碍。

事件相机是一种具有高帧率、低功耗低存储的采集设备，是一种神经启发式的传感器，当场景中有物体运动或光线改变造成一系列的像素发生变化时，会产生一系列的事件相机的输出和更新，相邻事件的更新速度可以小于1微秒。由于事件相机只会捕捉运动的目标，对运动的目标进行检测，减少背景所带来的干扰和所带来的运算。

通过上述分析，现有技术存在的问题及缺陷为：传统相机对眼部进行检测追踪时需要高帧率和高像素的相机，导致现有技术和设备需要占用大量的带宽和存储以及高运算高功耗，提高了眼部追踪技术的整体成本，限制了眼部追踪技术的推广和发展。

解决以上问题及缺陷的难度为：眼部检测和追踪需要高帧率低运算的解决方案，传统方法高帧率、高像素的数据，必然大量占用带宽、存储及运算资源，传统方法解决此问题难度很大，本发明利用事件相机可以有效解决此问题。

解决以上问题及缺陷的意义为：本发明提供高帧率低运算的解决方案，降低现有技术的成本，提高现有技术的精度，利于基于事件相机的眼部检测和追踪技术广泛应用。

发明内容

针对现有技术存在的问题，本发明提供了一种基于事件相机的眼部检测和追踪方法、系统、设备及应用。

本发明的实施方法描述如下，一种基于事件相机的眼部检测和追踪方法，所述基于事件相机的眼部检测和追踪方法利用事件相机对运动目标和变化目标进行反馈，对眼部的数据进行采集；采集到的数据输入到一个经过训练的神经网络中，神经网络识别检测到眼球位置和瞳孔位置，并对眼球位置和瞳孔位置特征提取；利用提取的眼球位置特征对眼球追踪，利用提取的瞳孔位置特征对瞳孔追踪；利用追踪到的眼球位置信息和瞳孔位置信息计算眼球和瞳孔的相对位置信息，计算出眼部视线位置刻画出视线轨迹。

进一步，所述基于事件相机的眼部检测和追踪方法具体包括：

基于事件相机的眼部检测和追踪本发明目的在于提供一种实施所述利用事件相机进行基于事件相机的眼部检测和追踪基于事件相机的眼部检测和追踪系统，所述基于事件相机的眼部检测和追踪系统包括：

数据采集模块，采用事件相机作为数据采集模块，用于实现眼部数据采集；

数据传输模块，采同5G模块进行数据传输，5G模块包含5G发射端、5G发射模块；5G发射端安装在数据采集设备上，事件相机采集到的数据通过USB传输给5G发射模块；通过发射5G信号传输所采集到的数据，5G的接收端设置在智能处理器端，通过配合接收发射端传输过来的5G信号，并将数据解调后传输给智能处理器里面的智能处理模块；

智能处理模块，部署在智能处理器上，智能处理模块包含一个目标检测模型和目标追踪模型，目标检测网络和目标追踪网络使用相同的特征提取网络；特征提取网络主要由卷积层组成，目标检测网络和目标追踪网络在特征提取部分相同，不同的是目标检测网络在特征提取网络后面接入全链接层，通过训练全链接层的损失函数识别眼球和瞳孔，而目标追踪网络在特征提取网络后面接入特征相似度对比网络，通过计算两个特征的相似度来进行追踪；

神经网络训练模块，采用模拟的事件数据对网络进行训练，模拟的事件数据可以通过事件数据模拟器生成；先将连续帧的RGB图像数据标注好，在将RGB图像数据进行上采样；然后将增帧后的RGB图像数据输入到事件数据模拟器中进行数据转换；通过转换后的数据将图像和标注输入到网络中计算损失函数不断的重复进行训练，直到训练完成。神经网络训练模块是对智能处理模块中的目标检测网络和目标追踪网络利用数据进行训练，训练结束后方可进行部署应用。

本发明的另一目的在于提供一种所述基于事件相机的眼部检测和追踪方法在眼控交互控制中的应用。

本发明的另一目的在于提供一种所述基于事件相机的眼部检测和追踪方法在驾驶行为监控控制中的应用。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明利用事件相机对眼部数据进行采集形成事件数据；然后利用深度学习的神经网络技术对采集到的事件数据进行处理和训练，进而解决了利用事件数据对人的眼部进行有效的识别和追踪的问题。本发明利用事件相机采集人眼数据，并利用深度模型对事件数据进行处理，改变了传统对眼部识别和追踪的技术路径，将新型传感器事件相机应用到一个新的领域，具有很强的技术创新和商业价值。

本发明采用事件相机作为数据采集模块，数据采集模块将事件相机安装在一个头戴装置的两侧，这个头戴装备类似于眼镜架，但是没有镜片，事件相机安装的两侧可以任意的调节角度，以寻找最好的眼部数据采集角度，而且不会遮挡眼部的视线。本发明采同5G模块进行数据传输，5G模块包含两部分，包含一部分是5G发射端，发射端被安装在数据采集设备上，事件相机采集到的数据通过USB传输给5G发射模块；然后通过发射5G信号来传输所采集到的数据，5G的接收端被安排在智能处理器端，通过配合接收发射端传输过来的5G信号，并将数据解调后传输给智能处理器里面的智能处理模块。本发明的智能处理模块部署在智能处理器上，智能处理模块包含一个目标检测模型和目标追踪模型，目标检测网络和目标追踪网络使用相同的特征提取网络，经过训练的特征提取网络可以有效的提取到眼球和瞳孔的特征信息；特征提取网络主要由卷积层组成，目标检测网络和目标追踪网络在特征提取部分相同，不同的是目标检测网络在特征提取网络后面接入全链接层，通过训练全链接层的损失函数就可以有效的识别眼球和瞳孔；而目标追踪网络在特征提取网络后面接入特征相似度对比网络，通过计算两个特征的相似度来进行追踪。

本发明采用模拟的事件数据对网络进行训练，模拟的事件数据可以通过事件数据模拟器来生成，其生成的过程是先将连续帧的RGB图像数据标注好，在将RGB图像数据进行上采样，增加连续RGB图像的帧率；然后将增帧后的RGB图像数据输入到事件数据模拟器中进行数据转换，通过转换后的数据将图像和标注输入到网络中计算损失函数不断的重复进行训练，直到训练完成。

本发明实现了基于事件相机眼部检测和追踪方法、设备，可以有效的解决提高眼部追踪技术的整体成本，限制了眼部追踪技术的推广和发展的技术问题。本发明采用事件相机对眼部数据进行采集，并采用计算机深度学习的方法对采集到的数据进行处理，可以有效的解决现有方法高功耗、高运算、高成本等问题，提出一种低成本、低带宽、低时延的眼部追踪方法和设备，有效的推广眼部检测追踪的应用。

本发明提出改进的方法是利用事件相机对运动的眼部数据进行采集，结合深度学习等人工智能技术进行检测和追踪并且刻画出眼部运动的轨迹，为其它应用提供基础。

附图说明

基于事件相机的眼部检测和追踪图1是本发明实施例提供的基于事件相机的眼部检测和追踪方法步骤图；

图2是本发明实施例提供的基于事件相机的眼部检测和追踪系统的主要结构图；

图3是本发明实施例提供的基于事件相机的眼部检测和追踪系统的结构示意图；

图4是本发明实施例提供的基于事件相机的眼部检测和追踪系统的流程图。

基于事件相机的眼部检测和追踪基于事件相机的眼部检测和追踪基于事件相机的眼部检测和追踪

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于事件相机的眼部检测和追踪方法、系统、设备及应用，下面结合附图对本发明作详细的描述。

基于事件相机的眼部检测和追踪本发明提供的基于事件相机的眼部检测和追踪方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的基于事件相机的眼部检测和追踪方法仅仅是一个具体实施例而已。

如图2所示，本发明提供的基于事件相机的眼部检测和追踪系统包括：

数据采集模块1：采用事件相机作为数据采集模块，数据采集模块是将事件相机安装在一个头戴装置的两侧，头戴装备类似于眼镜架，但是没有镜片，事件相机安装的两侧可以任意的调节角度，以寻找最好的眼部数据采集角度，而且不会遮挡眼部的视线。

数据传输模块2，采同5G模块进行数据传输，5G模块包含两部分，包含一部分是5G发射端，发射端被安装在数据采集设备上，事件相机采集到的数据通过USB传输给5G发射模块；然后通过发射5G信号来传输所采集到的数据，5G的接收端被安排在智能处理器端，通过配合接收发射端传输过来的5G信号，并将数据解调后传输给智能处理器里面的智能处理模块。

智能处理模块3，部署在智能处理器上，智能处理模块3包含一个目标检测模型和目标追踪模型，目标检测网络和目标追踪网络使用相同的特征提取网络，这个经过训练的特征提取网络可以有效的提取到眼球和瞳孔的特征信息。特征提取网络主要由卷积层组成，目标检测网络和目标追踪网络在特征提取部分相同，不同的是目标检测网络在特征提取网络后面接入全链接层，通过训练全链接层的损失函数就可以有效的识别眼球和瞳孔，而目标追踪网络在特征提取网络后面接入特征相似度对比网络，通过计算两个特征的相似度来进行追踪。

神经网络训练模块4，采用模拟的事件数据对网络进行训练，模拟的事件数据可以通过事件数据模拟器来生成，其生成的过程是先将连续帧的RGB图像数据标注好，在将RGB图像数据进行上采样，增加连续RGB图像的帧率；然后将增帧后的RGB图像数据输入到事件数据模拟器中进行数据转换，通过转换后的数据将图像和标注输入到网络中计算损失函数不断的重复进行训练，直到训练完成。

下面结合附图对本发明的技术方案作进一步的描述。

如图3所示，本发明提供的基于事件相机的眼部检测和追踪方法解决了传统相机应用于眼部追踪所带来的诸多缺陷，采用基于事件相机的方法来对眼部进行追踪，总共包含三个模块：数据采集模块1、数据传输模块2、智能处理模块3，利用这三个模块可以有效的实现对眼部数据的采集、传输、处理，最总完成对眼部追踪的任务。数据采集模块1中包含头戴式眼镜框，眼镜框两侧各固定位置的圆形事件相机，数据传输模块2采用5G无线通信模块，智能处理模块3则包含运算服务器，内设训练好的眼球瞳孔检测模型和目标追踪模型。

下面结合具体实施例对本发明的技术方案作进一步的描述。

本发明实施例通过利用事件相机进行事件获取，并将目标检测网络和目标追踪网络等方法进行配合，有效的提升眼部检测和追踪，减少了数据量，节约了数据传输所需的大量带宽和算力，可以实现无线传输，有效的拓展了眼部追踪的适用场景，其具体实施步骤如下：

S01，步骤一、开始：在开始时，本发明需要为测试对象佩戴好设备，将设备固定在头部合适的位置，并将两个事件相机调整到合适的位置，是其能够很好的对准人的眼部，又不对其视线造成较大的干扰。

S02，步骤二、获取数据：当佩戴设置完成后，就可以启动设备对眼部进行数据采集、传输，通过有线连接将数据传输给数据传输模块，数据传输模块具有远距离数据传输能力。可以完整的将数据实时传入到智能处理模块中。

S03,步骤三、输入数据，当事件相机获取到数据时，首先将数据通过有线连接输入到5G无线传输模块，然后通过无线传输的方式将数据传入到智能处理模块，在传入智能模块前，进行滤波和降噪处理，减少数据中的噪声。

S04,步骤四、检测眼部：在智能处理模块中，首先利用检测网络对眼球和瞳孔进行检测，检测返回两个结果A和B，其中A代表眼球在图像中的中心点坐标位置(x,y)以及眼球的尺寸大小(w,h)，则B代表瞳孔在图像中的中心位置坐标以及瞳孔的尺寸大小。

S05，步骤五、初始化追踪：将步骤四中的检测结果A和B的位置作为追踪过程的起始位置，并以A和B中提取的特征作为模板特征来分别进行眼球和瞳孔进行追踪。

S06，步骤六、更新数据：当有新的数据输入时，需要对新的数据进行特征采样，采样范围是以上一个目标所在的位置点为中心，在四周进行采样，通过特征提取网络对采样后的数据进行特征提取。

S07,步骤七、追踪眼部：在完成特征提取后，将新提取到的特征和模板特征进行对比，选取相似度最高的作为此时刻的追踪结果，并获取目标所在的中心位置；然后对模板更新，以设定的更新率更新模板特征，即从此时的目标特征乘以特定更新率将现有特征以一定的比例和原有的模型进行融合。

S08,步骤八、追踪结束：通过跟对比新的特征和模板的相似度，来判断追踪是否结束，设定一个相似度阈值，当新的特征的与模板的相似度特征大于这个设定好的阈值的时候，此时返回步骤六中继续更新数据，当新的特征的与模板的相似度特征小于这个设定好的阈值的时候，即可以判定此时追踪失败，追踪任务已结束，不在数据更新，进入步骤九。

S09,步骤九、刻画轨迹：当追踪结束的时候，通过统计在一定时间内所有的追踪结果，计算眼球和瞳孔的相对位置，就可以刻画出眼部在该段时间内的运行轨迹。

下面结合表格对本发明与传统方法做出对比：

表1

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于事件相机的眼部检测和追踪方法，其特征在于，所述基于事件相机的眼部检测和追踪方法利用事件相机对运动目标和变化目标进行反馈，对眼部的数据进行采集；采集到的数据输入到一个经过训练的神经网络中，神经网络识别检测到眼球位置和瞳孔位置，并对眼球位置和瞳孔位置特征提取；利用提取的眼球位置特征对眼球追踪，利用提取的瞳孔位置特征对瞳孔追踪；利用追踪到的眼球位置信息和瞳孔位置信息计算眼球和瞳孔的相对位置信息，计算出眼部视线位置刻画出视线轨迹。

2.如权利要求1所述的基于事件相机的眼部检测和追踪方法，其特征在于，所述基于事件相机的眼部检测和追踪方法具体包括：

第一步，获取数据，在确认佩戴好数据采集器后，启动事件相机并通过事件相机获取到眼部数据；

第二步，输入数据，获取到眼部数据后将眼部数据输入到智能处理模块中；

第三步，检测眼部，在输入模块中首先检测识别眼部的眼球和瞳孔，检测成功则进入第四步，不成功则返回，持续的获取数据；

第四步，初始化追踪，将检测到的眼球和瞳孔作为初始化追踪算法的第一帧；

第五步，更新数据，从事件相机中获取到新的数据；

第六步，追踪眼部，更新数据后根据初始化的信息不断利用特征比对来进行追踪；

第七步，追踪结束，如果第六步中的特征对比的相似度大于阈值，则对比成功可以继续追踪，如果特征对比度小于阈值则判定追踪失败，结束追踪；

第八步，刻画轨迹，追踪结束后，根据跟踪的结果进行轨迹刻画。

3.如权利要求2所述的基于事件相机的眼部检测和追踪方法，其特征在于，所述第一步将数据采集器固定在头部位置，并调整两个事件相机的位置，对准人的眼部。

4.如权利要求2所述的基于事件相机的眼部检测和追踪方法，其特征在于，所述第二步包括：当佩戴设置完成后，启动数据采集器对眼部进行数据采集、传输，通过有线连接将数据传输给数据传输模块，将数据实时传入到智能处理模块中；

输入数据，当事件相机获取到数据时，将数据通过有线连接输入到5G无线传输模块；通过无线传输的方式将数据传入到智能处理模块，在传入智能模块前，进行滤波和降噪处理。

5.如权利要求2所述的基于事件相机的眼部检测和追踪方法，其特征在于，所述第三步检测眼部：在智能处理模块中，利用检测网络对眼球和瞳孔进行检测，检测返回两个结果A和B，其中A代表眼球在图像中的中心点坐标以及眼球的尺寸大小，则B代表瞳孔在图像中的中心位置坐标以及瞳孔的尺寸大小；

所述第四步的初始化追踪：将检测结果A和B的位置作为追踪过程的起始位置，并以A和B中提取的特征作为模板特征来分别进行眼球和瞳孔进行追踪；

所述第五步的更新数据：当有新的数据输入时，需要对新的数据进行特征采样，采样范围是以上一个目标所在的位置点为中心，在四周进行采样，通过特征提取网络对采样后的数据进行特征提取。

6.如权利要求2所述的基于事件相机的眼部检测和追踪方法，其特征在于，所述第六步的追踪眼部：在完成特征提取后，将新提取到的特征和模板特征进行对比，选取相似度最高的作为此时刻的追踪结果，并获取目标所在的中心位置；然后对模板更新，以设定的更新率更新模板特征，从此时的目标特征乘以特定更新率将现有特征以一定的比例和原有的模型进行融合；

所述第七步的追踪结束：通过跟对比新的特征和模板的相似度，判断追踪是否结束，设定相似度阈值；当新的特征的与模板的相似度特征小于这个设定好的阈值的时候，此时返回第六步中继续更新数据，当新的特征的与模板的相似度特征小于这个设定好的阈值的时候；判定此时追踪失败，追踪任务已结束，不在数据更新，进入第八步；

所述第八步的刻画轨迹：当追踪结束时，通过统计在一定时间内所有的追踪结果，计算眼球和瞳孔的相对位置，刻画出眼部在该段时间内的运行轨迹。

7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～6任意一项所述的基于事件相机的眼部检测和追踪方法的步骤。

8.一种实施权利要求1～6任意一项所述基于事件相机的眼部检测和追踪方法的基于事件相机的眼部检测和追踪系统，其特征在于，所述基于事件相机的眼部检测和追踪系统包括：

数据采集模块，采用事件相机作为数据采集模块，用于实现眼部数据采集；

数据传输模块，采同5G模块进行数据传输，5G模块包含5G发射端、5G发射模块；5G发射端安装在数据采集设备上，事件相机采集到的数据通过USB传输给5G发射模块；通过发射5G信号传输所采集到的数据，5G的接收端设置在智能处理器端，通过配合接收发射端传输过来的5G信号，并将数据解调后传输给智能处理器里面的智能处理模块；

智能处理模块，部署在智能处理器上，智能处理模块包含一个目标检测模型和目标追踪模型，目标检测网络和目标追踪网络使用相同的特征提取网络；特征提取网络主要由卷积层组成，目标检测网络和目标追踪网络在特征提取部分相同，不同的是目标检测网络在特征提取网络后面接入全链接层，通过训练全链接层的损失函数识别眼球和瞳孔，而目标追踪网络在特征提取网络后面接入特征相似度对比网络，通过计算两个特征的相似度来进行追踪；

神经网络训练模块，采用模拟的事件数据对网络进行训练，模拟的事件数据可以通过事件数据模拟器生成；先将连续帧的RGB图像数据标注好，在将RGB图像数据进行上采样；然后将增帧后的RGB图像数据输入到事件数据模拟器中进行数据转换；通过转换后的数据将图像和标注输入到网络中计算损失函数不断的重复进行训练，直到训练完成。

9.一种权利要求1～6任意一项所述基于事件相机的眼部检测和追踪方法在眼控交互控制中的应用。

10.一种权利要求1～6任意一项所述基于事件相机的眼部检测和追踪方法在驾驶行为监控控制中的应用。

Images