CN110110662A - 驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备 - Google Patents

驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备 Download PDF

Info

Publication number
CN110110662A
CN110110662A CN201910375979.3A CN201910375979A CN110110662A CN 110110662 A CN110110662 A CN 110110662A CN 201910375979 A CN201910375979 A CN 201910375979A CN 110110662 A CN110110662 A CN 110110662A
Authority
CN
China
Prior art keywords
picture
feature
eye movement
behavioral value
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910375979.3A
Other languages
English (en)
Inventor
杨晓晖
察晓磊
冯志全
周劲
徐涛
韩士元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN201910375979.3A priority Critical patent/CN110110662A/zh
Publication of CN110110662A publication Critical patent/CN110110662A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备，采集驾驶员驾驶视频；对视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果，投入成本低且不需要复杂的模型参数，具有非常好的应用前景。

Description

驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备
技术领域
本公开属于汽车自动控制处理领域，具体涉及一种驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
随着经济的发展，汽车的数量越来越多，这就使得道路拥挤变得越来越严重，交通事故发生率越来越高，中国每年大约发生数十万起交通事故，伤亡人数达百万，驾驶员注意力不集中是导致交通事故发生的主要原因，比如在驾驶过程中使用智能手机、操作汽车中央控制系统、与乘客交谈等任何使驾驶员的注意力从驾驶任务转移的活动都会导致驾驶员注意力不集中。而这些活动有一个共同点就是使驾驶员的眼睛从驾驶任务中转移，因此，如果我们能够在驾驶场景下检测出驾驶员的眼动行为，并根据驾驶员的眼动行为分析出驾驶员注意力的状态，对驾驶员注意力不集中的行为及时做出警示，那么就可以避免交通事故的发生，减少伤亡人数。
据发明人了解，目前，国内外学者已经提出的眼动行为检测方法大致分为两种，一种是基于特征的方法，即在分析瞳孔中心与角膜上的光线反射点之间的关系来检测眼动行为，这种方法，依赖于用户校准和手动初始化，并对阳光等可见光非常敏感，而在驾驶场景下，阳光等可见光对车内照明的影响又不可避免，头戴式眼动仪大多采用这种方法，头戴式眼动仪在眼动行为检测中能够准确识别出人的注视点，但是它成本高，使用过程中需要佩戴相关硬件设施，在一定程度上会影响驾驶员的驾驶行为，所以这种方法应用于驾驶环境下的眼动行为检测存在局限性。另一种是基于外观的方法，基于外观的眼动行为检测方法是采用深度学习算法获取相关图片的特征，来建立图片与注视点之间的关联，深度学习的优点在于能够通过自我学习来提取特征，并以较高的准确率识别目标。这种方法不依赖于用户校准以及手动初始化，受阳光等可见光的影响较小，并且成本较低，比较适合应用在驾驶环境下的眼动行为检测。虽然，深度学习在大多数计算机视觉任务中发挥着重要的作用，但是实际运用在驾驶场景下眼动行为检测方向的情况少之又少，已经提出的驾驶场景下驾驶员眼动行为检测模型的大部分是用已有网络训练得出，不具有针对性，并且模型参数过于复杂。
发明内容
本公开为了解决上述问题，提出了一种驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备，本公开的投入成本低且不需要复杂的模型参数，具有非常好的应用前景。
根据一些实施例，本公开采用如下技术方案：
一种驾驶场景下驾驶员眼动行为检测方法，包括以下步骤：
采集驾驶过程视频；
对视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；
构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；
两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果。
作为可能的实施方式，利用放置在驾驶舱内后视镜附近的普通RGB摄像头采集驾驶员驾驶视频。
作为可能的实施方式，截取目标区域并以图片的形式保存，对图片进行灰度化处理，将左右眼两张图片拼接成一张图片并保存。
作为可能的实施方式，将得到的脸部图片、左右眼图片按照适当比例划分训练集、验证集，作为训练网络以及优化网络模型的输入数据。
作为可能的实施方式，通过分析数据集的特征以及应用的具体场景，构建双通道卷积神经网络，其中一个通道提取脸部数据的特征，另一通道提取眼部数据的特征，最后在全连接层完成特征的融合。
作为可能的实施方式，对构建的双通道卷积神经网络进行优化，用两层卷积核大小为3*3的卷积层来代替卷积核大小为5*5的卷积层，卷积层之间使用SELU激活函数，使用最大池化实现降采样处理。
作为可能的实施方式，利用优化后的卷积神经网络的反向传播优化网络整体参数。
一种驾驶场景下驾驶员眼动行为检测系统，包括：
数据处理模块，被配置为对驾驶员驾驶视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；
模型构建模块，被配置为构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；
识别结果输出模块，被配置为将两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种驾驶场景下驾驶员眼动行为检测方法。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种驾驶场景下驾驶员眼动行为检测方法。
与现有技术相比，本公开的有益效果为：
本公开利用车内已有的RGB摄像头拍摄实际驾驶场景下驾驶员的驾驶视频即可实现原始数据的处理，投入成本低，且不需要复杂的模型参数，具有非常好的应用前景。
本公开对卷积神经网络进行改进，用两层卷积核大小为3*3的卷积层来代替卷积核大小为5*5的卷积层，来减少网络模型的参数量，卷积层之间使用SELU激活函数，可以更好地归一化数据集，并减少梯度爆炸或者消失，使用最大池化实现降采样处理，应用dropout函数，降低过拟合。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为驾驶场景下驾驶员眼动行为检测的总体框图，虚线框图内为本实施例内容；
图2(a)-(d)为原始图像截取目标区域：(a)原始图像；(b)驾驶员脸部图像；(c)驾驶员右眼图像；(d)驾驶员左眼图像。
图3为左右眼两张图像拼接后的图像。
图4为驾驶场景下驾驶员眼动行为检测的卷积神经网络模型；
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
一种基于卷积神经网络的驾驶场景下驾驶员眼动行为检测方法。首先，利用普通RGB摄像头拍摄实际驾驶场景下驾驶员的驾驶视频，将视频帧保存为图片；然后对这些原始图片进行预处理得到驾驶员脸部、左右眼图片，并且灰度化处理脸部、左右眼图片，另外将左右眼图片拼接成一张图片，预处理后的脸部图像以及左右眼图片作为卷积神经网络的输入数据集；最后，对于卷积神经网络，包括两个通道，一个通道提取脸部图片的特征信息，另一个通道提取左右眼图片信息，两个通道提取的特征信息在全连接层进行融合，利用损失函数计算卷积神经网络输出值与图像原本标签数值之前的差值，根据卷积神经网络反向传播的原理，优化网络参数，提高卷积神经网络的正确率，优化网络模型。如图1是驾驶场景下驾驶员眼动行为检测的总体框图，虚线框图内为本实施例内容，即基于卷积神经网络的驾驶场景下驾驶员眼动行为检测的方法，具体实施方式如下：
(1)利用放置在驾驶舱内后视镜附近的普通RGB摄像头采集驾驶员驾驶视频。
(2)原始图片预处理。利用dlib这种开源人脸识别库标定目标区域(驾驶员脸部、左右眼区域)，将目标区域截取并保存为图片如图2(b)、2(c)所示。为了提高卷积神经网络的收敛速率，将截取得到的人脸、左右眼图片进行灰度化化处理，并将两张灰度图片拼接成一张图片，如图3所示。
(3)构建适用于驾驶场景下驾驶员眼动行为检测的双通道卷积神经网络，如图4所示。将预处理得到的脸部图片、左右眼图片按照适当比例划分训练集、验证集，作为训练网络以及优化网络模型的输入数据，通过分析现有数据集的特征以及应用的具体场景，构建双通道卷积神经网络，其中一个通道提取脸部数据的特征，另一通道提取眼部数据的特征，最后在全连接层完成特征的融合，改进卷积神经网络，用两层卷积核大小为3*3的卷积层来代替卷积核大小为5*5的卷积层，来减少网络模型的参数量，卷积层之间使用SELU激活函数，可以更好地归一化数据集，并减少梯度爆炸或者消失，,使用最大池化实现降采样处理，应用dropout函数，降低过拟合，利用卷积神经网络的反向传播优化网络整体参数。
相应的，还提供以下产品实施例：
一种驾驶场景下驾驶员眼动行为检测系统，包括：
数据处理模块，被配置为对驾驶员驾驶视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；
模型构建模块，被配置为构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；
识别结果输出模块，被配置为将两个通道提取的特征经过两层全连接层进行整合并通过softmax函数得到最终识别结果。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种驾驶场景下驾驶员眼动行为检测方法。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种驾驶场景下驾驶员眼动行为检测方法。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种驾驶场景下驾驶员眼动行为检测方法，其特征是：包括以下步骤：
采集驾驶过程视频；
对视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；
构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；
两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果。
2.如权利要求1所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：利用放置在驾驶舱内后视镜附近的普通RGB摄像头采集驾驶员驾驶视频。
3.如权利要求1所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：截取目标区域并以图片的形式保存，对图片进行灰度化处理，将左右眼两张图片拼接成一张图片并保存。
4.如权利要求1所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：将得到的脸部图片、左右眼图片按照适当比例划分训练集、验证集，作为训练网络以及优化网络模型的输入数据。
5.如权利要求1所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：通过分析数据集的特征以及应用的具体场景，构建双通道卷积神经网络，其中一个通道提取脸部数据的特征，另一通道提取眼部数据的特征，最后在全连接层完成特征的融合。
6.如权利要求1所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：对构建的双通道卷积神经网络进行优化，用两层卷积核大小为3*3的卷积层来代替卷积核大小为5*5的卷积层，卷积层之间使用SELU激活函数，使用最大池化实现降采样处理。
7.如权利要求6所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：利用优化后的卷积神经网络的反向传播优化网络整体参数。
8.一种驾驶场景下驾驶员眼动行为检测系统，其特征是：包括：
数据处理模块，被配置为对驾驶过程视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；
模型构建模块，被配置为构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；
识别结果输出模块，被配置为将两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果。
9.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的一种驾驶场景下驾驶员眼动行为检测方法。
10.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-7中任一项所述的一种驾驶场景下驾驶员眼动行为检测方法。
CN201910375979.3A 2019-05-07 2019-05-07 驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备 Pending CN110110662A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910375979.3A CN110110662A (zh) 2019-05-07 2019-05-07 驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910375979.3A CN110110662A (zh) 2019-05-07 2019-05-07 驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备

Publications (1)

Publication Number Publication Date
CN110110662A true CN110110662A (zh) 2019-08-09

Family

ID=67488538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910375979.3A Pending CN110110662A (zh) 2019-05-07 2019-05-07 驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN110110662A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114671A (zh) * 2020-09-22 2020-12-22 上海汽车集团股份有限公司 一种基于人眼视线的人车交互方法、装置和存储介质
CN112163456A (zh) * 2020-08-28 2021-01-01 北京中科虹霸科技有限公司 身份识别模型训练方法、测试方法、识别方法及装置
CN112232259A (zh) * 2020-10-27 2021-01-15 南京领行科技股份有限公司 一种网约车驾驶员行为监测的方法和装置及设备
CN112906617A (zh) * 2021-03-08 2021-06-04 济南大学 一种基于手部检测的驾驶员异常行为识别方法与系统
CN113051959A (zh) * 2019-12-26 2021-06-29 深圳市光鉴科技有限公司 基于深度学习的驾驶员状态检测方法、系统、设备及介质
CN113870254A (zh) * 2021-11-30 2021-12-31 中国科学院自动化研究所 目标对象的检测方法、装置、电子设备及存储介质
CN114170585A (zh) * 2021-11-16 2022-03-11 广西中科曙光云计算有限公司 危险驾驶行为的识别方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622600A (zh) * 2012-02-02 2012-08-01 西南交通大学 基于面像与眼动分析的高速列车驾驶员警觉度检测方法
CN106682616A (zh) * 2016-12-28 2017-05-17 南京邮电大学 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN106980367A (zh) * 2017-02-27 2017-07-25 浙江工业大学 一种基于肌电地形图的手势识别方法
CN107491726A (zh) * 2017-07-04 2017-12-19 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法
CN108182441A (zh) * 2017-12-29 2018-06-19 华中科技大学 平行多通道卷积神经网络、构建方法及图像特征提取方法
CN108229284A (zh) * 2017-05-26 2018-06-29 北京市商汤科技开发有限公司 视线追踪及训练方法和装置、系统、电子设备和存储介质
CN109409297A (zh) * 2018-10-30 2019-03-01 咪付（广西）网络技术有限公司 一种基于双通道卷积神经网络的身份识别方法
CN109559332A (zh) * 2018-10-31 2019-04-02 浙江工业大学 一种结合双向LSTM和Itracker的视线跟踪方法
CN109559302A (zh) * 2018-11-23 2019-04-02 北京市新技术应用研究所 基于卷积神经网络的管道视频缺陷检测方法
CN109583338A (zh) * 2018-11-19 2019-04-05 山东派蒙机电技术有限公司 基于深度融合神经网络的驾驶员视觉分散检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622600A (zh) * 2012-02-02 2012-08-01 西南交通大学 基于面像与眼动分析的高速列车驾驶员警觉度检测方法
CN106682616A (zh) * 2016-12-28 2017-05-17 南京邮电大学 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN106980367A (zh) * 2017-02-27 2017-07-25 浙江工业大学 一种基于肌电地形图的手势识别方法
CN108229284A (zh) * 2017-05-26 2018-06-29 北京市商汤科技开发有限公司 视线追踪及训练方法和装置、系统、电子设备和存储介质
CN107491726A (zh) * 2017-07-04 2017-12-19 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法
CN108182441A (zh) * 2017-12-29 2018-06-19 华中科技大学 平行多通道卷积神经网络、构建方法及图像特征提取方法
CN109409297A (zh) * 2018-10-30 2019-03-01 咪付（广西）网络技术有限公司 一种基于双通道卷积神经网络的身份识别方法
CN109559332A (zh) * 2018-10-31 2019-04-02 浙江工业大学 一种结合双向LSTM和Itracker的视线跟踪方法
CN109583338A (zh) * 2018-11-19 2019-04-05 山东派蒙机电技术有限公司 基于深度融合神经网络的驾驶员视觉分散检测方法
CN109559302A (zh) * 2018-11-23 2019-04-02 北京市新技术应用研究所 基于卷积神经网络的管道视频缺陷检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JOSEPH LEMLEY 等: "Convolutional Neural Network Implementation for Eye-Gaze Estimation on Low-Quality Consumer Imaging Systems", 《IEEE TRANSACTIONS ON CONSUMER ELECTRONICS》 *
X CHA 等: "Calibration-Free Gaze Zone Estimation Using Convolutional Neural Network", 《2018 INTERNATIONAL CONFERENCE ON SECURITY, PATTERN ANALYSIS, AND CYBERNETICS (SPAC)》 *
樊玲: "基于眼动跟踪的驾驶员疲劳检测", 《科技创新与应用》 *
赵琦琳: "《人工神经网络在环境科学与工程中的设计应用》", 31 March 2019 *
陈慧岩: "《智能车辆理论与应用》", 31 July 2018 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051959A (zh) * 2019-12-26 2021-06-29 深圳市光鉴科技有限公司 基于深度学习的驾驶员状态检测方法、系统、设备及介质
CN112163456A (zh) * 2020-08-28 2021-01-01 北京中科虹霸科技有限公司 身份识别模型训练方法、测试方法、识别方法及装置
CN112163456B (zh) * 2020-08-28 2024-04-09 北京中科虹霸科技有限公司 身份识别模型训练方法、测试方法、识别方法及装置
CN112114671A (zh) * 2020-09-22 2020-12-22 上海汽车集团股份有限公司 一种基于人眼视线的人车交互方法、装置和存储介质
CN112232259A (zh) * 2020-10-27 2021-01-15 南京领行科技股份有限公司 一种网约车驾驶员行为监测的方法和装置及设备
CN112232259B (zh) * 2020-10-27 2022-06-07 南京领行科技股份有限公司 一种网约车驾驶员行为监测的方法和装置及设备
CN112906617A (zh) * 2021-03-08 2021-06-04 济南大学 一种基于手部检测的驾驶员异常行为识别方法与系统
CN112906617B (zh) * 2021-03-08 2023-05-16 济南中凌电子科技有限公司 一种基于手部检测的驾驶员异常行为识别方法与系统
CN114170585A (zh) * 2021-11-16 2022-03-11 广西中科曙光云计算有限公司 危险驾驶行为的识别方法、装置、电子设备及存储介质
CN114170585B (zh) * 2021-11-16 2023-03-24 广西中科曙光云计算有限公司 危险驾驶行为的识别方法、装置、电子设备及存储介质
CN113870254A (zh) * 2021-11-30 2021-12-31 中国科学院自动化研究所 目标对象的检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110110662A (zh) 驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备
CN106951867B (zh) 基于卷积神经网络的人脸识别方法、装置、系统及设备
CN110111335A (zh) 一种自适应对抗学习的城市交通场景语义分割方法及系统
CN109919331A (zh) 一种机载设备智能维修辅助系统及方法
US10990170B2 (en) Eye tracking method, electronic device, and non-transitory computer readable storage medium
CN112906617B (zh) 一种基于手部检测的驾驶员异常行为识别方法与系统
CN109978786A (zh) 一种基于卷积神经网络的Kinect深度图修复方法
CN110378221A (zh) 一种电网线夹自动检测与缺陷识别方法及装置
CN110457984A (zh) 监控场景下基于ResNet-50的行人属性识别方法
CN109063586A (zh) 一种基于候选优化的Faster R-CNN驾驶员检测方法
CN115578499B (zh) 一种非对称色彩失调一致性的拟合重建的方法及装置
CN109685713A (zh) 化妆模拟控制方法、装置、计算机设备及存储介质
CN109886154A (zh) 基于Inception V3的多数据集联合训练的行人外观属性识别方法
CN110008961A (zh) 文字实时识别方法、装置、计算机设备及存储介质
CN110839156A (zh) 一种基于视频图像的未来帧预测方法及模型
CN109934106A (zh) 一种基于视频图像深度学习的用户行为分析方法
CN110505477A (zh) 双滤镜测试方法、装置、设备及存储介质
CN110472582A (zh) 基于眼部识别的3d人脸识别方法、装置和终端
CN112446322A (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN113419623A (zh) 一种非标定眼动交互方法和装置
KR102608471B1 (ko) 눈 추적 방법 및 장치
CN108537195A (zh) 一种基于单帧表示模型的人类活动识别方法
CN116740516A (zh) 基于多尺度融合特征提取的目标检测方法及系统
Chen VR system application in the inheritance of intangible cultural heritage gongs and drums based on video simulation
CN116070696A (zh) 一种跨域数据深度迁移方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination