CN113989917A - 一种基于事件相机的卷积递归神经网络眼部检测方法 - Google Patents
一种基于事件相机的卷积递归神经网络眼部检测方法 Download PDFInfo
- Publication number
- CN113989917A CN113989917A CN202111324884.2A CN202111324884A CN113989917A CN 113989917 A CN113989917 A CN 113989917A CN 202111324884 A CN202111324884 A CN 202111324884A CN 113989917 A CN113989917 A CN 113989917A
- Authority
- CN
- China
- Prior art keywords
- event
- camera
- neural network
- image
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 24
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 10
- 230000005764 inhibitory process Effects 0.000 claims abstract description 4
- 210000001508 eye Anatomy 0.000 claims description 55
- 230000002902 bimodal effect Effects 0.000 claims description 8
- 230000004397 blinking Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 5
- 206010041349 Somnolence Diseases 0.000 claims description 4
- 239000013589 supplement Substances 0.000 claims description 4
- 230000004886 head movement Effects 0.000 claims description 3
- 210000000887 face Anatomy 0.000 claims description 2
- 238000009434 installation Methods 0.000 claims description 2
- 230000000644 propagated effect Effects 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种基于事件相机的卷积递归神经网络眼部检测方法，包括步骤：从事件相机得到事件流数据，将事件流数据转化为事件图像；对事件图像进行去噪处理以及统一事件图像的分辨率；将事件图像放入卷积神经网络中，进行训练；以及通眨眼检测过非极大值抑制得到置信度较高的检测结果。本方法为使用事件数据进行脸部眼部检测追踪以及眨眼检测提供了一个可行的方法，解决常用记录相机帧率不足的情况，更高的时间分辨率和动态适应每个任务的帧率的能力。
Description
技术领域
本发明属于计算机视觉领域，特别涉及一种基于事件相机的卷积递归神经网络眼部检测方法。
背景技术
眼部检测和追踪主要是基于计算机视觉的人眼检测与跟踪技术具有低侵入性、高精度等优势,现已成为眼动研究的主流方法。人眼检测与跟踪是人脸识别、表情识别、眼动分析、虹膜识别等技术的必要步骤，涉及图像处理、计算机视觉、模式识别以及认知心理学等多个学科,并在工业检测、智能机器人、人机交互、公共安全、智能交通、心理学、医学诊断以及军事侦察等领域均有广泛的应用。
现有的人眼检测与跟踪算法是存在一些客观问题的，其中最为关键的是精确定位并跟踪人眼的算法都建立在高质量的成像设备之上的。但是传统的记录相机帧率都在25帧左右的完全达不到所需的帧率，而且目前从低质量人脸图像中精确获取人眼位置的算法还是欠缺的，从而导致高质量记录设备价格昂贵且对用户束缚较多，应用范围受到很大的限制。由于眼部运动速度快，而且需要检测和追踪的眼部目标小，所以在进行眼部追踪的过程中，普通的摄像头容易产生运动模糊，即相机的更新速度无法快于眼球和瞳孔的运动速度，影响眼部的检测和追踪眼部的效果。
事件传感器或动态视觉传感器(DVS)是新颖的、受生物启发的异步视觉采集设备。与标准的基于帧的传感相比，单个像素异步报告强度变化的“事件”流。事件摄像机与传统摄像机相比具有几个显着优势包括毫秒级分辨率、高动态范围和低功耗。对于大多数传统相机来说，除了眨眼频率之外，分析眨眼模式的细节是很困难的。在每秒30帧的情况下，眨眼通常会持续5帧，而准确的眨眼分析可能需要超过100帧的帧速率。
发明内容
本发明的目的是提供一种基于事件相机的卷积递归神经网络眼部检测方法，利用事件相机对人脸进行数据采集并进行去噪处理和固定分辨率大小便于后续神经网络的处理，然后利用深度学习的卷积递归神经网络技术对数据集进行处理和训练，从而检测出面部和眼部同时进行跟踪，为使用事件数据进行脸部眼部检测追踪以及眨眼检测提供了一个可行的方法，解决常用记录相机帧率不足的情况，更高的时间分辨率和动态适应每个任务的帧率的能力。
本发明的技术方案如下：
一种基于事件相机的卷积递归神经网络眼部检测方法，包括以下步骤：S1.从事件相机得到事件流数据，将事件流数据转化为事件图像；S2.对所述事件图像进行去噪处理以及统一事件图像的分辨率；S3.将事件图像放入卷积神经网络中，进行训练；以及S4.通眨眼检测过非极大值抑制得到置信度较高的检测结果。
优选地，在上述基于事件相机的卷积递归神经网络眼部检测方法中，在步骤S1中，将所述事件相机设置在合适的位置，从事件相机获取事件流数据，输出异步事件流数据，所述事件流数据称为地址事件表达协议，每一个数据都包括时间戳、像素坐标与极性，固定一个时间段，从所述事件相机获取在这一段时间内的事件的事件流数据，并生成事件图像。
优选地，在上述基于事件相机的卷积递归神经网络眼部检测方法中，在步骤S1中，将所述事件相机安装平面的桌上或者任何可以记录面部图像的位置，采集以脸部正面侧面为主的角度数据。
优选地，在上述基于事件相机的卷积递归神经网络眼部检测方法中，在步骤S2中，所述去噪处理包括设定一个阈值，当事件数量小于阈值时该事件则被当作噪点被去除，最后形成去除噪声后的事件图像，以及将得到的事件图像转化为分辨率能被卷积神经网络(CNN)接受的图像大小以便于后续卷积神经网络的处理。
优选地，在上述基于事件相机的卷积递归神经网络眼部检测方法中，在步骤S3中，采用GR-YOLO网络来检测和跟踪人脸和眼睛，所述GR-YOLO网络的网络架构第0到13层由一系列卷积层和最大池层组成，对来自当前参考帧的信息进行编码并映射到特征空间，随后是门控循(GRU)层，以补充获得的信息与相关面部和眼睛特征相关的更高级别的特征，然后在之后的第一个YOLO层检测之前通过单个卷积层传播组合信息，在第二个YOLO层使用锚框进行边界框预测，最后使用2000个训练序列和330个验证序列数据集进行训练。
优选地，在上述基于事件相机的卷积递归神经网络眼部检测方法中，在步骤S4中，采用提取与困倦相关的特征的方法来检测眨眼和分析眨眼模式，先过滤由于头部运动引起的噪音和事件，确定任意一只眼部区域中每个像素的平均极性，并估量一个阈值，阈值是距相机的物距的函数，随时间变化做统计记录不等于估量阈值的时间点超过为正低于为负，出现双峰分布特征代表眨眼事件；再根据任一眼睛裁剪区域沿垂直轴的极性分布，从纵轴的角度来看事件分布的标准差，大幅度的标准偏差表示水平运动因为正极和负极在水平方向上分开；最后使用固定持续时间事件窗口已粒度级别分解眨眼结合之前的两个时间序列统计事件的双峰分布。
根据本发明的技术方案，产生的有益效果是:
本发明的基于事件相机的卷积递归神经网络眼部检测方法以及眨眼检测，可以有效地解决利用传统相机对眼部进行检测追踪时需要高帧率和高像素的相机问题，从而降低记录设备成本和增大了应用范围同时也降低了功耗，本发明为事件相机对面部眼部采集的数据提供一种检测手段，采用卷积递归神经网络检测和跟踪的面部和眼睛的方法，此外，本发明还提出了一种检测眨眼的方法，可以有效地提高清晰度和准确率，更好的推广对眼部检测追踪的应用。
为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明的基于事件相机的卷积递归神经网络眼部检测方法的流程图；
图2是本发明方法涉及的控制完全卷积YOLO层用于边界框预测的相关参数。
具体实施方式
为使本发明的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。
本发明方法的原理是：利用事件相机的高分辨率、高动态范围和低功耗的特点对运动目标和变化目标进行高精准特征反馈。将事件相机设置在离头部较近的地方对脸部的进行事件数据采集，在将采集到的数据输入到一个已经经过训练的卷积递归神经网络中进行重复过滤机制，输出检测到的脸部和眼部特征的位置和强度，根据提取出的特征进行追踪，利用位置位置信息计算脸部和眼部的相对位置信息，从而确定任一眼睛区域中每个像素强度变化时间点，用时间点做统计，其中每个双峰分布就是明显典型的眨眼的特征。
本发明方法提出了一种基于事件相机的卷积递归神经网络方式用于面部和眼部的检测以跟踪，同时提出了一种基于以上检测方式的眨眼动作检测方法。具体本发明方法包含三个部分：数据采集；过滤噪音和事件；面部和眼部检测、眨眼动作检测。使用芯仑DVS相机采集数据生成事件相机数据集，使用GR-YOLO(gated recurrent YOLO)网络来检测和跟踪人脸和眼睛，使用困倦相关的特征检测眨眼动作。
本发明可以结合事件相机，利用深度学习技术，可以对面部眼部进行有效地检测和追踪，可以有效地提升眼部检测和追踪，减少运算量和宽带同时降低了运动模糊造成失帧的情况，且有效拓展了适用的环境，具备在低亮度情况下进行数据捕捉。
如图1所示，本发明的基于事件相机的卷积递归神经网络眼部检测方法，具体步骤如下：
S1.从事件相机得到事件流数据，将事件流数据转化为事件图像。具体地，将事件相机设置在合适的位置。从事件相机获取事件流数据，输出异步事件流数据。这种异步事件流数据称为地址事件表达协议，每一个数据都包括时间戳、像素坐标与极性。固定一个时间段，从事件相机获取在这一段时间内事件的事件流数据，并生成事件图像。该步骤中，采用事件相机作为数据采集装置，将事件相机安装平面的桌上或者任何可以记录面部图像的位置，离相机越近生成的事件就越多清晰度和检测的准确率就越高，也可以是头戴式比如类似眼镜的支架上面安装事件相机等，采集以脸部正面侧面为主的角度数据为最优。
S2.对事件图像进行去噪处理以及统一事件图像的分辨率。该步骤中，采用卷积神经网络(CNN)处理事件，必须将事件转换为CNN接受的固定大小表示，具体地，为了得到一个相对清晰的事件图像，需对收集的事件图像进行去噪处理。去噪处理具体为设定一个阈值，当事件数量小于阈值时该事件则被当作噪点被去除，最后形成去除噪声后的事件图像。将得到的事件图像转化为分辨率能被CNN接受的图像以便于后续神经网络的处理。
S3.将事件图像放入卷积神经网络中，进行训练。该步骤中，采用GR-YOLO网络来检测和跟踪人脸和眼睛，网络架构第0到13层由一系列卷积层和最大池层组成，对来自当前参考帧的信息进行编码并映射到特征空间；随后是GRU层，以补充获得的信息与相关面部和眼睛特征相关的更高级别的特征，然后在之后的第一个YOLO层检测之前通过单个卷积层传播组合信息，在第二个YOLO层使用锚框进行边界框预测，最后使用2000个训练序列和330个验证序列数据集进行训练。
具体操作为把处理好的数据输入GR-YOLO网络,其中GR-YOLO网络架构如表1。
表1 GR-YOLO网络架构
第0层到第13层由一系列卷积层和最大池化层组成。这些层对来自当前参考帧的信息进行编码并映射到特征空间。第14层之后的层都是用来补充在帧中获得的信息，提供了面部和眼睛特征相关的更高级别的特征。第14层门控循(GRU)层输入和输出256个特征图，控制完全卷积GRU的方程如下：
Zt＝σ(Wz*xt+Uz*ht-1)
rt＝σ(Wr*xt+Ur*ht-1)
其中*是卷积算子，⊙是哈达玛积，t是时间xt是输入，Zt是更新门，rt是重置门，
是候选激活，ht是输出，σ是双弯曲函数，Wz，Uz，Wr，Ur，W，U是有可学习的权重，如图2。为了进行边界框预测，YOLO层设定了一组高度和宽度的预定义边界框。公式如下：
bx＝σ(tx)+(cx)
by＝σ(ty)+(cy)
其中(bx，by，bw，bh)表示边界框中心x、y坐标、宽度和高度，σ表示双弯曲函数，pw和ph是边界框先验宽度和高度，cx和cy是网格单元左上角的坐标。
S4.通眨眼检测过非极大值抑制得到置信度较高的检测结果。该步骤中，采用提取与困倦相关的特征的方法来检测眨眼和分析眨眼模式，先过滤由于头部运动引起的噪音和事件，确定任意一只眼部区域中每个像素的平均极性，并估量一个阈值，阈值是距相机的物距的函数，随时间变化做统计记录不等于估量阈值的时间点超过为正低于为负，出现双峰分布特征代表眨眼事件；再根据任一眼睛裁剪区域沿垂直轴的极性分布，从纵轴的角度来看事件分布的标准差，大幅度的标准偏差表示水平运动因为正极和负极在水平方向上分开，这样可以消除绝大部分非眨眼产生的事件；最后使用固定持续时间事件窗口已粒度级别分解眨眼结合之前的两个时间序列统计事件的双峰分布。
具体地，使用5ms的固定时间窗口，确定任意一只眼部区域中每个像素的平均极性同时估量一个阈值(距相机的物距的函数)。当区域内的某个像素平均极性高于或低于预估的阈值时，记录那个像素发生的时间点。根据时间序列做出的统计图，出现双峰分布特征代表眨眼事件的发生。为了进一步降低快速瞳孔运动或扫视产生的干扰事件，在之前的基础上做沿垂直轴的极性分布图，这样可以区分水平眨眼运动和其他运动。最后使用5ms固定持续时间事件窗口已粒度级别分解眨眼同时结合时间序列统计的双峰分布来检测眨眼。
在本发明中是以更高的时间分辨率检测眨眼，并进一步研究单次眨眼的分解。为了检测眨眼，本发明每5毫秒跟踪检测到的眼睛区域内的事件分布，并自动识别由眨眼产生的异常事件尖峰。事件摄像机(即，事件相机)的一个关键优势是不限于固定的帧速率，以自适应帧速率跟踪面部和眼睛，并以200帧的速度检测和分析眨眼，然而这是传统相机完全达不到的性能。本发明提出从事件中检测和跟踪面部眼部特征以及检测和分析眨眼模式，结合深度学习等人工智能技术进行检测和追踪为其它应用提供基础。
以上说明是依据发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。
Claims (6)
1.一种基于事件相机的卷积递归神经网络眼部检测方法，其特征在于，包括以下步骤：
S1.从事件相机得到事件流数据，将事件流数据转化为事件图像；
S2.对所述事件图像进行去噪处理以及统一事件图像的分辨率；
S3.将事件图像放入卷积神经网络中，进行训练；以及
S4.通眨眼检测过非极大值抑制得到置信度较高的检测结果。
2.根据权利要求1所述的基于事件相机的卷积递归神经网络眼部检测方法，其特征在于，在步骤S1中，将所述事件相机设置在合适的位置，从事件相机获取事件流数据，输出异步事件流数据，所述事件流数据称为地址事件表达协议，每一个数据都包括时间戳、像素坐标与极性，固定一个时间段，从所述事件相机获取在这一段时间内的事件的事件流数据，并生成事件图像。
3.根据权利要求1所述的基于事件相机的卷积递归神经网络眼部检测方法，其特征在于，在步骤S1中，将所述事件相机安装平面的桌上或者任何可以记录面部图像的位置，采集以脸部正面侧面为主的角度数据。
4.根据权利要求1所述的基于事件相机的卷积递归神经网络眼部检测方法，其特征在于，在步骤S2中，所述去噪处理包括设定一个阈值，当事件数量小于阈值时该事件则被当作噪点被去除，最后形成去除噪声后的事件图像，以及将得到的事件图像转化为分辨率能被卷积神经网络(CNN)接受的图像大小以便于后续卷积神经网络的处理。
5.根据权利要求1所述的基于事件相机的卷积递归神经网络眼部检测方法，其特征在于，在步骤S3中，采用GR-YOLO网络来检测和跟踪人脸和眼睛，所述GR-YOLO网络的网络架构第0到13层由一系列卷积层和最大池层组成，对来自当前参考帧的信息进行编码并映射到特征空间，随后是门控循(GRU)层，以补充获得的信息与相关面部和眼睛特征相关的更高级别的特征，然后在之后的第一个YOLO层检测之前通过单个卷积层传播组合信息，在第二个YOLO层使用锚框进行边界框预测，最后使用2000个训练序列和330个验证序列数据集进行训练。
6.根据权利要求1所述的基于事件相机的卷积递归神经网络眼部检测方法，其特征在于，在步骤S4中，采用提取与困倦相关的特征的方法来检测眨眼和分析眨眼模式，先过滤由于头部运动引起的噪音和事件，确定任意一只眼部区域中每个像素的平均极性，并估量一个阈值，阈值是距相机的物距的函数，随时间变化做统计记录不等于估量阈值的时间点超过为正低于为负，出现双峰分布特征代表眨眼事件；再根据任一眼睛裁剪区域沿垂直轴的极性分布，从纵轴的角度来看事件分布的标准差，大幅度的标准偏差表示水平运动因为正极和负极在水平方向上分开；最后使用固定持续时间事件窗口已粒度级别分解眨眼结合之前的两个时间序列统计事件的双峰分布。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2021111215365 | 2021-09-24 | ||
| CN202111121536 | 2021-09-24 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113989917A true CN113989917A (zh) | 2022-01-28 |
Family
ID=79747573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111324884.2A Pending CN113989917A (zh) | 2021-09-24 | 2021-11-10 | 一种基于事件相机的卷积递归神经网络眼部检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113989917A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140656A (zh) * | 2022-02-07 | 2022-03-04 | 中船（浙江）海洋科技有限公司 | 一种基于事件相机的海上船舶目标识别方法 |
| CN114863545A (zh) * | 2022-07-05 | 2022-08-05 | 之江实验室 | 基于DeepLabCut的自动眨眼检测方法和装置 |
-
2021
- 2021-11-10 CN CN202111324884.2A patent/CN113989917A/zh active Pending
Non-Patent Citations (1)
| Title |
|---|
| CIAN RYAN等: "Real-time face & eye tracking and blink detection using event cameras", 《NEURAL NETWORK》, 27 March 2021 (2021-03-27), pages 87 - 97, XP086711237, DOI: 10.1016/j.neunet.2021.03.019 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140656A (zh) * | 2022-02-07 | 2022-03-04 | 中船（浙江）海洋科技有限公司 | 一种基于事件相机的海上船舶目标识别方法 |
| CN114140656B (zh) * | 2022-02-07 | 2022-07-12 | 中船（浙江）海洋科技有限公司 | 一种基于事件相机的海上船舶目标识别方法 |
| CN114863545A (zh) * | 2022-07-05 | 2022-08-05 | 之江实验室 | 基于DeepLabCut的自动眨眼检测方法和装置 |
| CN114863545B (zh) * | 2022-07-05 | 2022-10-21 | 之江实验室 | 基于DeepLabCut的自动眨眼检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gehrig et al. | Video to events: Recycling video datasets for event cameras | |
| Baldwin et al. | Time-ordered recent event (tore) volumes for event cameras | |
| CN108830252B (zh) | 一种融合全局时空特征的卷积神经网络人体动作识别方法 | |
| CN109247923B (zh) | 基于视频的非接触式脉搏实时估计方法及设备 | |
| CN110221699B (zh) | 一种前置摄像头视频源的眼动行为识别方法 | |
| CN113989917A (zh) | 一种基于事件相机的卷积递归神经网络眼部检测方法 | |
| CN108596087B (zh) | 一种基于双网络结果的驾驶疲劳程度检测回归模型 | |
| Celona et al. | A multi-task CNN framework for driver face monitoring | |
| Radlak et al. | A novel approach to the eye movement analysis using a high speed camera | |
| CN107368802A (zh) | 基于kcf和人脑记忆机制的运动目标跟踪方法 | |
| CN113112521A (zh) | 一种基于脉冲阵列的运动检测方法 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| Bogadhi et al. | Pursuing motion illusions: A realistic oculomotor framework for Bayesian inference | |
| Awais et al. | Automated eye blink detection and tracking using template matching | |
| CN111461206B (zh) | 一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法 | |
| CN116645717A (zh) | 一种基于PCANet+和LSTM的微表情识别方法及系统 | |
| Krishnan et al. | Benchmarking conventional vision models on neuromorphic fall detection and action recognition dataset | |
| Toivanen | An advanced Kalman filter for gaze tracking signal | |
| Bai et al. | Accurate and efficient frame-based event representation for aer object recognition | |
| CN113408389A (zh) | 一种智能识别司机睡意动作的方法 | |
| Zhou | Eye-Blink Detection under Low-Light Conditions Based on Zero-DCE | |
| Gehrig et al. | Video to events: Bringing modern computer vision closer to event cameras | |
| Huynh | A new eye gaze detection algorithm using PCA features and recurrent neural networks | |
| Jiang et al. | Eye Tracking Based on Event Camera and Spiking Neural Network | |
| Luan et al. | A lightweight heatmap-based eye tracking system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |