CN107944415A - 一种基于深度学习算法的人眼注意力检测方法 - Google Patents
一种基于深度学习算法的人眼注意力检测方法 Download PDFInfo
- Publication number
- CN107944415A CN107944415A CN201711276119.1A CN201711276119A CN107944415A CN 107944415 A CN107944415 A CN 107944415A CN 201711276119 A CN201711276119 A CN 201711276119A CN 107944415 A CN107944415 A CN 107944415A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- msub
- sight
- mtr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Ophthalmology & Optometry (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习算法的人眼注意力检测方法，包括以下步骤：对于给定的图像，先做直方图均衡化；用AdaBoost算法进行人脸检测；采用回归树方法估计人脸特征点坐标，实现高精度的人脸对齐；根据特征点线性回归，回归出头部姿态角度；抠取ROI中小矩形区域，得到左右眼两幅小图片进行归一化处理；最后进行人眼闭合程度检测。本发明在卷积神经网络中，卷积层的每一个卷积滤波器重复的作用于整个感受野中，每一个卷积滤波器共享相同的参数，即权重共享，包括相同的权重矩阵和偏置项。共享权重的好处是在对图像进行特征提取时不用考虑局部特征的位置。而且权重共享提供了一种有效的方式，使要学习的卷积神经网络模型参数数量大大降低。
Description
技术领域
本发明涉及一种基于深度学习算法的人眼注意力检测方法，属于深度学习领域。
背景技术
人眼注意力检测是指通过眼球追踪设备，测量人体眼位与目光凝视点的运动。这种新兴的技术能提高计算机的智能交互性。人眼追踪被长期运用于研究个体的视觉注意力，最常用的眼球跟踪技术是瞳孔检测法。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是，用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同.例如，卷积神经网络(Convolutional neural networks，简称CNNs)就是一种深度的监督学习下的机器学习模型，而深度置信网(Deep Belief Nets，简称DBNs)就是一种无监督学习下的机器学习模型。
深度学习用于人眼注意力检测是一种新的方法，并且取得了很好的效果，具有很高的市场价值。
发明内容
基于此，本发明提出了一种发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种鲁棒高效、效果好的基于深度学习算法的人眼注意力检测方法。
技术方案：本发明公开了一种基于深度学习算法的人眼注意力检测方法，包括以下步骤：
步骤一，对于给定的图像F(x,y)，其中x，y表示像素点的坐标值，做直方图均衡化处理，目的是在一定程度上消除光照等外界因素的影响；
步骤二，用AdaBoost算法进行人脸检测(Face Detection)，将检测到的人脸区域设为感兴趣区域(ROI)；
步骤三，采用回归树方法(Ensemble of Regression Trees，ERT)从ROI中估计人脸特征点坐标，实现高精度的人脸对齐(Face Alignment)；
步骤四，根据特征点线性回归，回归出头部姿态角度(α,β,γ)；
步骤五，抠取ROI中L、R小矩形区域，得到左右眼两幅小图片，分别表示为L(x,y)，R(x,y)；
步骤六，将L(x,y)、R(x,y)大小归一化为L'(x,y)、R'(x,y)；
步骤七，对L'(x,y)进行人眼闭合程度检测，返回结果范围[0,1]，其中0表示闭眼，1表示完全睁眼；
步骤八，将L'(x,y)传入卷积神经网络(CNN)模型进行识别分类，分类识别的结果是：视线向右I、视线向上Ⅱ、视线向左Ⅲ、视线向下Ⅳ、视线向前Ⅴ；
步骤九，将R'(x,y)左右镜像处理为R”(x,y)＝R’(W-x,y)，其中W为图片宽度；
步骤十，对R”(x,y)进行人眼闭合程度检测，返回结果范围[0,1]，其中0表示闭眼，1表示完全睁眼；
步骤十一，将R”(x,y)传入卷积神经网络模型，进行识别，并还原到左右镜像处理前的结果(视线向左和视线向右结果相反)，分类识别的结果是：视线向右I、视线向上Ⅱ、视线向左Ⅲ、视线向下Ⅳ、视线向前Ⅴ；
步骤十二，将步骤六和步骤九结果输入注意力检测模型：
得到结果y，对应视线向右I、视线向上Ⅱ、视线向左Ⅲ、视线向下Ⅳ、视线向前Ⅴ；
其中φL、φR表示左、右眼最大似然视线方向；N表示模型分析区间长度；y∈[1,2,3,4,5]对应于视线向右I、视线向上Ⅱ、视线向左Ⅲ、视线向下Ⅳ、视线向前Ⅴ,注意力监测模型区间长度N为100帧。
本发明步骤二中，采用AdaBoost算法进行人脸检测的具体原理步骤是：
给定一个训练数据集N＝Nface+Nnon-face，其中Nface表示人脸数据，Nnon-face表示非人脸数据；
其中，
Adaboost的目的就是从训练数据中学习一系列弱分类器或基本分类器，然后将这些弱分类器组合成一个强分类器；
其中f(x)表示强分类器，αm表示权重参数，Φm(x)表示弱分类器。
本发明步骤三中，采用回归树方法(Ensembleof Regression Trees，ERT)实现高精度人脸对齐的原理。
本发明步骤四中，回归出头部姿态角度，具体原理步骤是：
首先，需要准备一个三维正面标准模型，该模型含有人脸特征点，包括眉毛、眼睛、嘴巴、鼻子等处的像素位置坐标。
然后，旋转三维标准模型一定角度，直到模型上三维特征点的二维投影，与待测试图像上的二维特征点尽量重合，以回归出实现人脸姿态估计(α,β,γ)，回归公式如下：
其中，(α,β,γ)代表人脸姿态三个旋转角度，n代表着一张人脸上标定特征点的个数，qi代表着待测试人脸特征点，pi代表对应着的三维通用标准模型特征点，R代表旋转矩阵，t为空间偏移向量，C为伸缩因子；R的具体形式是如下三个矩阵相乘：R＝Rx(α)·Ry(β)·Rz(γ)，其中：
本发明步骤七中，人眼闭合程度检测原理：
其中λt表示人眼闭合程度，Max{Lt|t∈[0,t]}表示人眼历史睁开最大L值，
λt∈[0,1]。
本发明步骤八、步骤十一中，卷积神经网络模型为稀疏连接(局部感知)，如图6所示。卷积神经网络中，层与层之间的神经元节点不再是全连接形式，利用层间局部空间相关性将相邻每一层的神经元节点只与和它相近的上层神经元节点连接，即局部连接。这样大大降低了神经网络架构的参数规模。
具体模型包括特征学习和分类器设计，具体公式为：
其中，X为输入x信号的抽象特征，W是卷积核，b是偏置，分别为：
Softmax函数应用于多分类问题,能给出属于每一个类别的概率,概率和等于1，k为多分类数目，其实现公式为：
本发明相比于现有技术的有益效果在于：
本发明在卷积神经网络中，卷积层的每一个卷积滤波器重复的作用于整个感受野中，每一个卷积滤波器共享相同的参数，即权重共享，包括相同的权重矩阵和偏置项。共享权重的好处是在对图像进行特征提取时不用考虑局部特征的位置。而且权重共享提供了一种有效的方式，使要学习的卷积神经网络模型参数数量大大降低。
附图说明
图1为本发明的流程图；
图2为本发明神经网络模型训练流程图；
图3为本发明人脸对齐展示图；
图4为本发明人眼闭合程度图；
图5为本发明头部姿态角度旋转图；
图6为本发明人眼睁开状态示意图；
图7为本发明神经网络稀疏连接模型图；
图8为本发明人眼注视区域划分图。
具体实施方式
以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。
如图1所示，本发明包括以下步骤：
步骤一，对于给定的图像F(x,y)，先做直方图均衡化(在一定程度上消除光照等外界因素的影响)，其中x，y表示像素点的坐标值；
步骤二，用AdaBoost算法进行人脸检测(Face Detection)，将检测到的人脸区域设为感兴趣区域(ROI)；
步骤三，采用回归树方法(Ensemble of Regression Trees，ERT)从ROI中估计人脸特征点坐标，实现高精度的人脸对齐(Face Alignment)，如图3所示；
步骤四，根据特征点线性回归，回归出头部姿态角度(α,β,γ)，如图4所示；
步骤五，抠取ROI中L、R小矩形区域，得到左右眼两幅小图片，分别表示为L(x,y)，R(x,y)；
步骤六，将L(x,y)、R(x,y)大小归一化为L'(x,y)、R'(x,y)；
步骤七，对L'(x,y)进行人眼闭合程度检测，如图5所示，其计算公式为：
其中λt表示人眼闭合程度，Max{Lt|t∈[0,t]}表示人眼历史睁开最大L值，如图6所示，λt∈[0,1]，其中0表示闭眼，1表示完全睁眼；
步骤八，将L'(x,y)传入卷积神经网络模型(CNN)进行识别分类，神经网络模型如图7所示，识别流程如图2所示，分类识别的结果是：视线向右(I)、视线向上(Ⅱ)、视线向左(Ⅲ)、视线向下(Ⅳ)、视线向前(Ⅴ)，注视区域显示如图8所示；
步骤九，将R'(x,y)左右镜像处理为R”(x,y)＝R’(W-x,y)，其中W为图片宽度；
步骤十，对R”(x,y)进行人眼闭合程度检测，具体方法同步骤七；
步骤十一，将R”(x,y)传入卷积神经网络模型，进行识别，并还原到左右镜像处理前的结果(视线向左和视线向右结果相反)，分类识别的结果是：视线向右(I)、视线向上(Ⅱ)、视线向左(Ⅲ)、视线向下(Ⅳ)、视线向前(Ⅴ)，具体方法同步骤八；
步骤十二，将步骤六和步骤九结果输入注意力检测模型：
得到结果y，对应视线向右(I)、视线向上(Ⅱ)、视线向左(Ⅲ)、视线向下(Ⅳ)、视线向前(Ⅴ)。
其中φL、φR表示左、右眼最大似然视线方向；N表示模型分析区间长度；y∈[1,2,3,4,5]对应于视线向右(I)、视线向上(Ⅱ)、视线向左(Ⅲ)、视线向下(Ⅳ)、视线向前(Ⅴ)。
本发明步骤八、步骤十一中，卷积神经网络模型为稀疏连接(局部感知)，如图7所示。卷积神经网络中，层与层之间的神经元节点不再是全连接形式，利用层间局部空间相关性将相邻每一层的神经元节点只与和它相近的上层神经元节点连接，即局部连接。这样大大降低了神经网络架构的参数规模。
具体模型包括特征学习和分类器设计，具体公式为：
其中，X为输入x信号的抽象特征，W是卷积核，b是偏置，分别为：
Softmax函数应用于多分类问题,能给出属于每一个类别的概率,概率和等于1，k为多分类数目。其实现公式为：
本发明提供了一种基于深度学习算法的人眼注意力检测的思路，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习算法的人眼注意力检测方法，其特征在于，包括以下步骤：
步骤一，对于给定的图像F(x,y)，先做直方图均衡化，其中，x，y表示像素点的坐标值；
步骤二，用AdaBoost算法进行人脸检测，将检测到的人脸区域设为感兴趣区域ROI；
步骤三，采用回归树方法从ROI中估计人脸特征点坐标，实现高精度的人脸对齐；
步骤四，根据特征点线性回归，回归出头部姿态角度(α,β,γ)；
步骤五，抠取ROI中L、R小矩形区域，得到左右眼两幅小图片，分别表示为L(x,y)，R(x,y)；
步骤六，将L(x,y)、R(x,y)大小归一化为L'(x,y)、R'(x,y)；
步骤七，对L'(x,y)进行人眼闭合程度检测，返回结果范围[0,1]，其中0表示闭眼，1表示完全睁眼；
步骤八，将L'(x,y)传入卷积神经网络模型进行识别分类，分类识别的结果是：视线向右I、视线向上Ⅱ、视线向左Ⅲ、视线向下Ⅳ、视线向前Ⅴ；
步骤九，将R'(x,y)左右镜像处理为R”(x,y)＝R’(W-x,y)，其中W为图片宽度；
步骤十，对R”(x,y)进行人眼闭合程度检测，返回结果范围[0,1]，其中0表示闭眼，1表示完全睁眼；
步骤十一，将R”(x,y)传入卷积神经网络模型，进行识别，并还原到左右镜像处理前的结果，视线向左和视线向右结果相反，分类识别的结果是：视线向右I、视线向上Ⅱ、视线向左Ⅲ、视线向下Ⅳ、视线向前Ⅴ；
步骤十二，将步骤六和步骤九结果输入注意力检测模型：
得到结果y，对应视线向右I、视线向上Ⅱ、视线向左Ⅲ、视线向下Ⅳ、视线向前Ⅴ；
其中φL、φR表示左、右眼最大似然视线方向；N表示模型分析区间长度；i∈[1,2,3,4,5]对应于视线向右I、视线向上Ⅱ、视线向左Ⅲ、视线向下Ⅳ、视线向前Ⅴ。
2.根据权利要求1所述的一种基于深度学习算法的人眼注意力检测方法，其特征在于，步骤二中采用AdaBoost算法进行人脸检测，具体为：
给定一个训练数据集N＝Nface+Nnon-face，其中Nface表示人脸数据，Nnon-face表示非人脸数据；
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>T</mi>
<mo>=</mo>
<mo>{</mo>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>x</mi>
<msub>
<mi>N</mi>
<mrow>
<mi>f</mi>
<mi>a</mi>
<mi>c</mi>
<mi>e</mi>
</mrow>
</msub>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<msub>
<mi>N</mi>
<mrow>
<mi>f</mi>
<mi>a</mi>
<mi>c</mi>
<mi>e</mi>
</mrow>
</msub>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mrow>
<msub>
<mi>N</mi>
<mrow>
<mi>f</mi>
<mi>a</mi>
<mi>c</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mrow>
<msub>
<mi>N</mi>
<mrow>
<mi>f</mi>
<mi>a</mi>
<mi>c</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>)</mo>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<mo>(</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>)</mo>
<mo>,</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>x</mi>
<mi>N</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>N</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>}</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，
Adaboost算法的目的就是从训练数据中学习一系列弱分类器或基本分类器，然后将这些弱分类器组合成一个强分类器；
其中f(x)表示强分类器，αm表示权重参数，Φm(x)表示弱分类器。
3.根据权利要求1所述的一种基于深度学习算法的人眼注意力检测方法，其特征在于，步骤四包括回归出头部姿态角度，其回归公式如下：
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>&alpha;</mi>
<mo>,</mo>
<mi>&beta;</mi>
<mo>,</mo>
<mi>&gamma;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mo>{</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mi>C</mi>
<mo>&CenterDot;</mo>
<mo>&lsqb;</mo>
<mrow>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mrow>
<mover>
<mi>&alpha;</mi>
<mo>^</mo>
</mover>
<mo>,</mo>
<mover>
<mi>&beta;</mi>
<mo>^</mo>
</mover>
<mo>,</mo>
<mover>
<mi>&gamma;</mi>
<mo>^</mo>
</mover>
</mrow>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<mi>t</mi>
</mrow>
<mo>&rsqb;</mo>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>}</mo>
</mrow>
其中，(α,β,γ)代表人脸姿态三个旋转角度，n代表着一张人脸上标定特征点的个数，qi代表着待测试人脸特征点，pi代表对应着的三维通用标准模型特征点，R代表旋转矩阵，t为空间偏移向量，C为伸缩因子；R的具体形式是如下三个矩阵相乘：R＝Rx(α)·Ry(β)·Rz(γ)，其中：
<mrow>
<msub>
<mi>R</mi>
<mi>x</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>cos</mi>
<mrow>
<mo>(</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<msub>
<mi>R</mi>
<mi>y</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>sin</mi>
<mrow>
<mo>(</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>cos</mi>
<mrow>
<mo>(</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<msub>
<mi>R</mi>
<mi>z</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>&gamma;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>&gamma;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>&gamma;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>&gamma;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>cos</mi>
<mrow>
<mo>(</mo>
<mi>&gamma;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
4.根据权利要求3所述的一种基于深度学习算法的人眼注意力检测方法，其特征在于，选定人脸特征点数目n为32或64或128。
5.根据权利要求1所述的一种基于深度学习算法的人眼注意力检测方法，其特征在于，步骤七中检测人眼闭合程度，其原理为：
<mrow>
<msub>
<mi>&lambda;</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>L</mi>
<mi>t</mi>
</msub>
<mrow>
<mi>M</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>{</mo>
<mrow>
<msub>
<mi>L</mi>
<mi>t</mi>
</msub>
<mo>|</mo>
<mi>t</mi>
<mo>&Element;</mo>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<mn>0</mn>
<mo>,</mo>
<mi>t</mi>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</mrow>
<mo>}</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中λt表示人眼闭合程度，Max{Lt|t∈[0,t]}表示人眼历史睁开最大L值，λt∈[0,1]。
6.根据权利要求5所述的一种基于深度学习算法的人眼注意力检测方法，其特征在于，λt∈[0.8,1]表示完全睁眼，λt∈[0,0.1]表示闭眼。
7.根据权利要求1所述的一种基于深度学习算法的人眼注意力检测方法，其特征在于，步骤八和步骤十一中使用卷积神经网络模型。
8.根据权利要求7所述的一种基于深度学习算法的人眼注意力检测方法，其特征在于：设计新型卷积神经网络模型的具体实现公式为：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>X</mi>
<mo>=</mo>
<mi>&phi;</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>W</mi>
<mo>,</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>Y</mi>
<mo>=</mo>
<mi>S</mi>
<mi>o</mi>
<mi>f</mi>
<mi>t</mi>
<mi>max</mi>
<mrow>
<mo>(</mo>
<mi>X</mi>
<mo>,</mo>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，X为输入x信号的抽象特征，W是卷积核，b是偏置，分别为：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>W</mi>
<mo>=</mo>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<msup>
<mi>W</mi>
<mn>1</mn>
</msup>
<mo>&Element;</mo>
<msup>
<mi>R</mi>
<mrow>
<mn>8</mn>
<mo>@</mo>
<mn>6</mn>
<mo>&times;</mo>
<mn>6</mn>
</mrow>
</msup>
<mo>,</mo>
<msup>
<mi>W</mi>
<mn>2</mn>
</msup>
<mo>&Element;</mo>
<msup>
<mi>R</mi>
<mrow>
<mn>32</mn>
<mo>@</mo>
<mn>6</mn>
<mo>&times;</mo>
<mn>6</mn>
</mrow>
</msup>
<mo>,</mo>
<msup>
<mi>W</mi>
<mn>1</mn>
</msup>
<mo>&Element;</mo>
<msup>
<mi>R</mi>
<mrow>
<mn>10</mn>
<mo>@</mo>
<mn>6</mn>
<mo>&times;</mo>
<mn>6</mn>
</mrow>
</msup>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>b</mi>
<mo>=</mo>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<msup>
<mi>b</mi>
<mn>1</mn>
</msup>
<mo>&Element;</mo>
<msup>
<mi>R</mi>
<mn>8</mn>
</msup>
<mo>,</mo>
<msup>
<mi>b</mi>
<mn>2</mn>
</msup>
<mo>&Element;</mo>
<msup>
<mi>R</mi>
<mn>328</mn>
</msup>
<mo>,</mo>
<msup>
<mi>b</mi>
<mn>3</mn>
</msup>
<mo>&Element;</mo>
<msup>
<mi>R</mi>
<mn>10</mn>
</msup>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
Softmax函数应用于多分类问题,能给出属于每一个类别的概率,概率和等于1，k为多分类数目，其实现公式为：
9.根据权利要求7所述的一种基于深度学习算法的人眼注意力检测方法，其特征在于：神经网络模型为稀疏连接，隐含层个数为8，每一个卷积滤波器共享相同的参数，即权重共享值。
10.根据权利要求1所述的一种基于深度学习算法的人眼注意力检测方法，其特征在于，步骤十二注意力检测模型为：
得到结果y，对应视线向右I、视线向上Ⅱ、视线向左Ⅲ、视线向下Ⅳ、视线向前Ⅴ；
其中φL、φR表示左、右眼最大似然视线方向；N表示模型分析区间长度；y∈[1,2,3,4,5]对应于视线向右I、视线向上Ⅱ、视线向左Ⅲ、视线向下Ⅳ、视线向前Ⅴ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711276119.1A CN107944415A (zh) | 2017-12-06 | 2017-12-06 | 一种基于深度学习算法的人眼注意力检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711276119.1A CN107944415A (zh) | 2017-12-06 | 2017-12-06 | 一种基于深度学习算法的人眼注意力检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107944415A true CN107944415A (zh) | 2018-04-20 |
Family
ID=61945966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711276119.1A Pending CN107944415A (zh) | 2017-12-06 | 2017-12-06 | 一种基于深度学习算法的人眼注意力检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107944415A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960093A (zh) * | 2018-06-21 | 2018-12-07 | 阿里体育有限公司 | 脸部转动角度的识别方法及设备 |
| CN109033940A (zh) * | 2018-06-04 | 2018-12-18 | 上海依图网络科技有限公司 | 一种图像识别方法、装置、计算设备及存储介质 |
| CN109711239A (zh) * | 2018-09-11 | 2019-05-03 | 重庆邮电大学 | 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法 |
| CN109815810A (zh) * | 2018-12-20 | 2019-05-28 | 北京以萨技术股份有限公司 | 一种基于单摄像头的活体检测方法 |
| CN109978804A (zh) * | 2019-03-08 | 2019-07-05 | 清华大学 | 基于深度学习的人眼视线矫正方法及系统 |
| CN110046602A (zh) * | 2019-04-24 | 2019-07-23 | 李守斌 | 基于分类的深度学习人脸检测方法 |
| CN110059728A (zh) * | 2019-03-26 | 2019-07-26 | 浙江科技学院 | 基于注意力模型的rgb-d图像视觉显著性检测方法 |
| CN110909561A (zh) * | 2018-09-14 | 2020-03-24 | 虹软科技股份有限公司 | 眼睛状态检测系统及眼睛状态检测系统的操作方法 |
| CN111694980A (zh) * | 2020-06-13 | 2020-09-22 | 德沃康科技集团有限公司 | 一种鲁棒的家庭儿童学习状态视觉监督方法及装置 |
| CN111796874A (zh) * | 2020-06-28 | 2020-10-20 | 北京百度网讯科技有限公司 | 一种设备唤醒的方法、装置、计算机设备和存储介质 |
| CN112069885A (zh) * | 2020-07-30 | 2020-12-11 | 深圳市优必选科技股份有限公司 | 人脸属性识别方法、装置及移动终端 |
| CN113132397A (zh) * | 2021-04-23 | 2021-07-16 | 信阳农林学院 | 一种基于深度学习的网络加密流量识别方法、装置及设备 |
| CN113705349A (zh) * | 2021-07-26 | 2021-11-26 | 电子科技大学 | 一种基于视线估计神经网络的注意力量化分析方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102047304A (zh) * | 2008-08-05 | 2011-05-04 | 松下电器产业株式会社 | 驾驶注意力程度判定装置、方法以及程序 |
| EP2654020A1 (en) * | 2012-04-16 | 2013-10-23 | Scania CV AB | Method and system for determining the direction of the head of a person |
| CN104517102A (zh) * | 2014-12-26 | 2015-04-15 | 华中师范大学 | 学生课堂注意力检测方法及系统 |
| CN106446811A (zh) * | 2016-09-12 | 2017-02-22 | 北京智芯原动科技有限公司 | 基于深度学习的驾驶员疲劳检测方法及装置 |
| CN106447184A (zh) * | 2016-09-21 | 2017-02-22 | 中国人民解放军国防科学技术大学 | 基于多传感器测量与神经网络学习的无人机操作员状态评估方法 |
| JP2017123029A (ja) * | 2016-01-06 | 2017-07-13 | 富士通株式会社 | 情報通知装置、情報通知方法及び情報通知プログラム |
| CN107194346A (zh) * | 2017-05-19 | 2017-09-22 | 福建师范大学 | 一种汽车疲劳驾驶预测方法 |
-
2017
- 2017-12-06 CN CN201711276119.1A patent/CN107944415A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102047304A (zh) * | 2008-08-05 | 2011-05-04 | 松下电器产业株式会社 | 驾驶注意力程度判定装置、方法以及程序 |
| EP2654020A1 (en) * | 2012-04-16 | 2013-10-23 | Scania CV AB | Method and system for determining the direction of the head of a person |
| CN104517102A (zh) * | 2014-12-26 | 2015-04-15 | 华中师范大学 | 学生课堂注意力检测方法及系统 |
| JP2017123029A (ja) * | 2016-01-06 | 2017-07-13 | 富士通株式会社 | 情報通知装置、情報通知方法及び情報通知プログラム |
| CN106446811A (zh) * | 2016-09-12 | 2017-02-22 | 北京智芯原动科技有限公司 | 基于深度学习的驾驶员疲劳检测方法及装置 |
| CN106447184A (zh) * | 2016-09-21 | 2017-02-22 | 中国人民解放军国防科学技术大学 | 基于多传感器测量与神经网络学习的无人机操作员状态评估方法 |
| CN107194346A (zh) * | 2017-05-19 | 2017-09-22 | 福建师范大学 | 一种汽车疲劳驾驶预测方法 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109033940A (zh) * | 2018-06-04 | 2018-12-18 | 上海依图网络科技有限公司 | 一种图像识别方法、装置、计算设备及存储介质 |
| CN108960093A (zh) * | 2018-06-21 | 2018-12-07 | 阿里体育有限公司 | 脸部转动角度的识别方法及设备 |
| CN109711239A (zh) * | 2018-09-11 | 2019-05-03 | 重庆邮电大学 | 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法 |
| CN109711239B (zh) * | 2018-09-11 | 2023-04-07 | 重庆邮电大学 | 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法 |
| CN110909561A (zh) * | 2018-09-14 | 2020-03-24 | 虹软科技股份有限公司 | 眼睛状态检测系统及眼睛状态检测系统的操作方法 |
| CN109815810A (zh) * | 2018-12-20 | 2019-05-28 | 北京以萨技术股份有限公司 | 一种基于单摄像头的活体检测方法 |
| CN109978804B (zh) * | 2019-03-08 | 2021-02-26 | 清华大学 | 基于深度学习的人眼视线矫正方法及系统 |
| CN109978804A (zh) * | 2019-03-08 | 2019-07-05 | 清华大学 | 基于深度学习的人眼视线矫正方法及系统 |
| CN110059728A (zh) * | 2019-03-26 | 2019-07-26 | 浙江科技学院 | 基于注意力模型的rgb-d图像视觉显著性检测方法 |
| CN110046602A (zh) * | 2019-04-24 | 2019-07-23 | 李守斌 | 基于分类的深度学习人脸检测方法 |
| CN111694980A (zh) * | 2020-06-13 | 2020-09-22 | 德沃康科技集团有限公司 | 一种鲁棒的家庭儿童学习状态视觉监督方法及装置 |
| CN111796874A (zh) * | 2020-06-28 | 2020-10-20 | 北京百度网讯科技有限公司 | 一种设备唤醒的方法、装置、计算机设备和存储介质 |
| CN112069885A (zh) * | 2020-07-30 | 2020-12-11 | 深圳市优必选科技股份有限公司 | 人脸属性识别方法、装置及移动终端 |
| CN113132397A (zh) * | 2021-04-23 | 2021-07-16 | 信阳农林学院 | 一种基于深度学习的网络加密流量识别方法、装置及设备 |
| CN113132397B (zh) * | 2021-04-23 | 2023-03-24 | 信阳农林学院 | 一种基于深度学习的网络加密流量识别方法、装置及设备 |
| CN113705349A (zh) * | 2021-07-26 | 2021-11-26 | 电子科技大学 | 一种基于视线估计神经网络的注意力量化分析方法及系统 |
| CN113705349B (zh) * | 2021-07-26 | 2023-06-06 | 电子科技大学 | 一种基于视线估计神经网络的注意力量化分析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107944415A (zh) | 一种基于深度学习算法的人眼注意力检测方法 | |
| JP6788264B2 (ja) | 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム | |
| CN104700076B (zh) | 人脸图像虚拟样本生成方法 | |
| US11531876B2 (en) | Deep learning for characterizing unseen categories | |
| CN109635141A (zh) | 用于检索图像的方法、电子设备和计算机可读存储介质 | |
| CN108052884A (zh) | 一种基于改进残差神经网络的手势识别方法 | |
| CN109815826A (zh) | 人脸属性模型的生成方法及装置 | |
| CN107871106A (zh) | 人脸检测方法和装置 | |
| CN106503687A (zh) | 融合人脸多角度特征的监控视频人物身份识别系统及其方法 | |
| CN107330405A (zh) | 基于卷积神经网络的遥感图像飞机目标识别方法 | |
| CN106485214A (zh) | 一种基于卷积神经网络的眼睛和嘴部状态识别方法 | |
| CN106651915B (zh) | 基于卷积神经网络的多尺度表达的目标跟踪方法 | |
| CN110188794B (zh) | 一种深度学习模型的训练方法、装置、设备及存储介质 | |
| CN109543602A (zh) | 一种基于多视角图像特征分解的行人再识别方法 | |
| CN109410168A (zh) | 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法 | |
| CN106326857A (zh) | 基于人脸图像的性别识别方法及装置 | |
| CN106650619A (zh) | 一种人体动作识别方法 | |
| Rattani et al. | Convolutional neural network for age classification from smart-phone based ocular images | |
| CN110175501A (zh) | 基于人脸识别的多人场景专注度识别方法 | |
| CN109344878A (zh) | 一种基于ResNet的仿鹰脑特征整合小目标识别方法 | |
| CN109886153A (zh) | 一种基于深度卷积神经网络的实时人脸检测方法 | |
| CN107844780A (zh) | 一种融合zed视觉的人体健康特征大数据智慧计算方法与装置 | |
| CN106909938A (zh) | 基于深度学习网络的视角无关性行为识别方法 | |
| Sivabalaselvamani et al. | Convolution neural network based specialized restaurant rating using facial expression detection | |
| Wang et al. | Face expression recognition based on deep convolution network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180420 |
|
| WD01 | Invention patent application deemed withdrawn after publication |