CN107832699A - 基于阵列镜头的兴趣点关注度测试方法及装置 - Google Patents
基于阵列镜头的兴趣点关注度测试方法及装置 Download PDFInfo
- Publication number
- CN107832699A CN107832699A CN201711067438.1A CN201711067438A CN107832699A CN 107832699 A CN107832699 A CN 107832699A CN 201711067438 A CN201711067438 A CN 201711067438A CN 107832699 A CN107832699 A CN 107832699A
- Authority
- CN
- China
- Prior art keywords
- msub
- image
- pupil
- point
- human eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012360 testing method Methods 0.000 title claims abstract description 9
- 210000001508 eye Anatomy 0.000 claims abstract description 80
- 230000008921 facial expression Effects 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 210000001747 pupil Anatomy 0.000 claims description 56
- 230000001815 facial effect Effects 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000014509 gene expression Effects 0.000 claims description 12
- 238000010998 test method Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 2
- 230000004424 eye movement Effects 0.000 abstract 3
- 238000004364 calculation method Methods 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003565 oculomotor Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
Abstract
本发明公开一种基于阵列镜头的兴趣点关注度测试方法及装置，装置包括人眼活动轨迹检测模块，人脸表情识别模块，关注度检测模块；人眼活动轨迹检测模块，用于检测人眼活动轨迹，得到人眼注视位置；人脸表情识别模块，用于识别人脸表情；兴趣点关注度检测模块，用于根据人眼注视位置及人脸表情，确定对象的兴趣点关注程度。本发明可检测人眼活动轨迹，识别人脸表情，在此基础上，根据人眼注视位置及相应位置的人脸表情，确定对象的兴趣点关注程度，识别准确度较高。
Description
技术领域
本发明涉及一种基于阵列镜头的兴趣点关注度测试方法及装置，属于图像处理及计算机视觉处理技术领域。
背景技术
人脸表情携带着很大的信息量，通过分析人脸表情，进而分析对象的兴趣点所在，具有广泛的应用前景，目前已在互动游戏平台、安全驾驶提醒、远程教育系统、智能交通、辅助医护等方面取得了良好的应用效果。
目前最为火热的兴趣度关注方法是通过眼动跟踪实现的。眼动追踪是通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。眼动的本质是人注意力资源的主动或被动分配，选择更有用或吸引力的信息。运用眼动追踪方法收集详细的技术信息，并记录用户观看(和没有观看)的位置，以及观看的时间。在用户读取图像和视频时，眼动追踪记录了注视和扫视的过程，并完整地判断出眼睛浏览和停留的位置。这种技术清晰地解释用户的眼睛看过哪些位置，没有看哪些位置，从而眼动跟踪可以测试出用户的视线在浏览时移动的轨迹和关注的重点部位。
眼动跟踪无法帮助研究人员直接了解用户动机，进行信息处理或信息理解。因此，建议它与其他验证或互补的研究方法结合使用，配合其他用研方法使用。
发明内容
鉴于上述原因，本发明的目的在于提供一种基于阵列镜头的兴趣点关注度测试方法及装置，能够根据人眼注视位置及相应位置的人脸表情，确定对象的兴趣点关注度，测试结果较为准确。
为实现上述目的，本发明采用以下技术方案：
一种基于阵列镜头的兴趣点关注度测试装置，包括人眼活动轨迹检测模块，人脸表情识别模块，关注度检测模块；
人眼活动轨迹检测模块，用于检测人眼活动轨迹，得到人眼注视位置；
人脸表情识别模块，用于识别人脸表情；
兴趣点关注度检测模块，用于根据人眼注视位置及人脸表情，确定对象的兴趣点关注程度。
所述检测人眼活动轨迹的方法是：
利用红外镜头采集瞳孔具有光斑的人脸图像；
从该人脸图像中提取出人眼区域图像；
从该人眼区域图像中提取瞳孔图像、光斑图像；
确定瞳孔、光斑的中心坐标，
确定瞳孔、光斑的中心坐标与注视点坐标的关系；
根据连续的注视点坐标，得到人眼活动轨迹。
识别人脸表情的方法是：
利用阵列式镜头采集人脸图像；
从人脸图像中识别人脸区域图像；
将人脸区域图像调整为正面人脸姿态的人脸区域图像；
将调整后的人脸区域图像输入卷积神经网络模型，输出人脸表情识别结果。
一种基于阵列镜头的兴趣点关注度测试方法，包括：
检测人眼活动轨迹，确定人眼注视位置；
识别人脸表情；
根据人眼注视位置及相应位置的人脸表情，确定兴趣点关注程度。
所述检测人眼活动轨迹的方法是：
利用红外镜头采集瞳孔具有光斑的人脸图像；
从该人脸图像中提取出人眼区域图像；
从该人眼区域图像中提取瞳孔图像、光斑图像；
确定瞳孔、光斑的中心坐标，
确定瞳孔、光斑的中心坐标与注视点坐标的关系；
根据连续的注视点坐标，得到人眼活动轨迹。
从所述人眼区域图像中提取瞳孔图像的方法是：
利用梯度算法确定所述人眼区域图像中像素值变化最大的点，作为瞳孔点；以该瞳孔点为中心，划分一个瞳孔区域；对该瞳孔区域利用OTSU算法，生成瞳孔图像。
从所述人眼区域图像中提取光斑图像的方法是：
对所述人眼区域图像进行取反处理，生成取反后的人眼区域图像；利用梯度算法确定取反后的人眼区域图像中像素值变化最大的点，作为光斑点；以该光斑点为中心，划分一个光斑区域；对该光斑区域依次利用OTSU算法，生成光斑图像。
利用瞳孔-角膜向量反射法，建立所述瞳孔及光斑的中心坐标与注视点的映射关系为，
其中，(Xgaze，Ygaze)为注视点坐标，
其中，(xp，yp)为瞳孔的中心坐标，(xc，yc)为光斑的中心坐标，利用重心法确定所述瞳孔、光斑的中心坐标。
所述识别人脸表情的方法是：
利用阵列式镜头采集人脸图像；
从人脸图像中识别人脸区域图像；
将人脸区域图像调整为正面人脸姿态的人脸区域图像；
将调整后的人脸区域图像输入卷积神经网络模型，输出人脸表情识别结果。
所述卷积神经网络模型包括依序连接的2个卷积层、1个池化层、2个卷积层、1个池化层和2个全连接层；
1)卷积层I，卷积核大小为11*11，步长为4，卷积核个数为96，无填充；
2)卷积层II，卷积核大小为3*3，步长为2，卷积核个数为128，填充为2：
3)池化层I，卷积核大小为3*3，步长为2，无填充；
4)卷积层III，卷积核大小为3*3，步长为1，卷积核个数为256，无填充；
5)卷积层IV，卷积核大小为2*2，步长为2，卷积核个数为256，无填充；
6)池化层II，卷积核大小为2*2，步长为2，无填充；
7)全连接层I，将池化层II输出的特征图转换为一维特征向量；
8)全连接层II，对全连接层I中的神经元进行全链接，得到7个预测值，输入到Softmax分类器。
本发明的优点是：
本发明的兴趣点关注度测试方法及装置，可检测人眼活动轨迹，识别人脸表情，在此基础上，根据人眼注视位置及相应位置的人脸表情，确定对象的兴趣点关注程度，识别准确度较高。
附图说明
图1是本发明的装置结构框图。
图2是本发明的方法流程示意图。
具体实施方式
以下结合附图和实施例对本发明作进一步详细的描述。
如图1所示，本发明公开的基于阵列镜头的兴趣点关注度测试装置，包括人眼活动轨迹检测模块，人脸表情识别模块，关注度检测模块。
人眼活动轨迹检测模块，用于检测人眼活动轨迹，得到人眼注视位置；
人脸表情识别模块，用于识别人脸表情；
兴趣点关注度检测模块，用于根据人眼注视位置及人脸表情，确定对象的兴趣点关注程度。
如图2所示，本发明公开的基于阵列镜头的兴趣点关注度测试方法，包括：
S1、人眼活动轨迹检测，确定人眼注视位置；
具体包括：
S11：采集瞳孔具有光斑的人脸图像；
可利用红外摄像头或加入红外滤波片的普通光学镜头采集人脸图片，得到瞳孔具有光斑的人脸图像。
S12：对该人脸图像进行处理，得到人眼区域图像；
可利用人眼提取算法或深度学习方法从人脸图像中提取出人眼感兴趣区域，得到人眼区域图像。
S13：基于人眼区域图像，分别提取出瞳孔图像及光斑图像；
S131：基于人眼区域图像，提取瞳孔图像
利用梯度算法确定人眼区域图像中像素值变化最大的点，作为瞳孔点；
以该瞳孔点为中心，划分一个瞳孔区域；
对该瞳孔区域利用OTSU算法，生成瞳孔图像。
S132：基于人眼区域图像，提取光斑图像
对人眼区域图像进行取反处理，生成取反后的人眼区域图像；
利用梯度算法确定取反后的人眼区域图像中像素值变化最大的点，作为光斑点；
以该光斑点为中心，划分一个光斑区域；
对该光斑区域依次利用OTSU算法，生成光斑图像。
S14：基于瞳孔图像及光斑图像，分别确定瞳孔及光斑的中心坐标；
利用重心法分别求解瞳孔的中心坐标与光斑的中心坐标。
S141：计算瞳孔的中心坐标
计算公式为：
其中(xp，yp)为瞳孔的中心坐标，xn、yn分别的像素值为In的横、纵坐标，n为像素个数。
S142：计算光斑的中心坐标
计算公式为：
其中(xc，yc)为光斑的中心坐标。
S15：建立瞳孔及光斑的中心坐标与注视点的映射关系；
利用瞳孔-角膜向量反射法，建立瞳孔及光斑的中心坐标与注视点的映射关系。包括：
首先，计算瞳孔的中心坐标与光斑的中心坐标之间的P-CR向量：
其中，(xp，yp)为瞳孔的中心坐标，(xc，yc)为光斑的中心坐标，(xe，ye)为P-CR(Pupil Corneal Reflex)向量。
然后，利用六参数的瞳孔-角膜向量反射法，建立注视点与P-CR向量之间的映射关系为：
其中，(Xgaze，Ygaze)为标定平面上的注视点坐标。
S16：在屏幕上标定已知点坐标，确定瞳孔及光斑的中心坐标与注视点的映射关系；
在屏幕上标定已知点的坐标，对公式(4)进行参数求解，确定瞳孔及光斑的中心坐标与注视点的映射关系。
本发明一具体实施例中，可利用最小二乘法进行参数求解：
其中，i为标定点，分别为1，2，3，4，5，6，7，8，9。
根据公式(5)的参数计算结果，将计算得到的参数代入公式(4)中，得到注视点坐标。
S17：根据连续的注视点坐标，得到人眼活动轨迹。
通过连续帧的计算，根据公式(4)、(5)得到连续的人眼注视点坐标，从而得到人眼活动轨迹。
S2：人脸表情识别
具体包括：
S21：利用阵列式镜头采集人脸图像，利用人脸检测算法识别出人脸区域图像；
该阵列式镜头由若干镜头模组按照N*M阵列形式排列组合而成。
人脸检测算法可以是harr特征检测算法及adaboost分类算法。
S22：对识别出的人脸区域图像，进行预处理；
基于识别出的人脸区域图像，若其中的人脸存在倾斜、旋转等较大的姿态变化时，识别率会随之下降。因此，将具有一定程度的姿态变化的人脸区域图像利用仿射变换方法矫正为相似的正面人脸姿态的人脸区域图像。
S23：将预处理后的人脸区域图像输入卷积神经网络模型，输出人脸表情识别结果。
于一具体实施例中，该卷积神经网络模型包括依序连接的2个卷积层、1个池化层、2个卷积层、1个池化层和2个全连接层。
输入卷积神经网络模型的人脸区域图像先通过随机裁剪处理得到统一大小的227*227的特征图，再输入模型。
1)卷积层I，卷积核大小为11*11，步长为4，卷积核个数为96，无填充，输入的大小为227*227的特征图，经过卷积层I处理之后，输出96个大小为55*55的特征图；
其中，输入的特征图与输出的特征图的关系为：
imageh为输入的特征图尺寸，pad为填充大小，kernelh为卷积核大小，stride为步长。
2)卷积层II，卷积核大小为3*3，步长为2，卷积核个数为128，填充为2，输入的96个大小为55*55的特征图，经过卷积层II处理之后，输出128个大小为29*29的特征图；
3)池化层I，相当于下采样的过程，卷积核大小为3*3，步长为2，输入的128个大小为29*29的特征图，经过池化层I处理之后，输出128个大小为14*14的特征图；
4)卷积层III，卷积核大小为3*3，步长为1，卷积核个数为256，无填充，输入的128个大小为14*14的特征图，经过卷积层III处理后，输出256个大小为12*12的特征图；
5)卷积层IV，卷积核大小为2*2，步长为2，卷积核个数为256，无填充，输入的256个大小为12*12的特征图，经过卷积层IV处理后，输出256个大小为6*6的特征图；
6)池化层II，卷积核大小为2*2，步长为2，输入的256个大小为6*6的特征图，经过池化层II处理后，输出256个大小为3*3的特征图；
7)全连接层I，使用512个神经元，对256个大小为3*3特征图进行全链接，将输入的大小为3*3的特征图转换为一维特征向量；
8)全连接层II，采用7个神经元，然后对全连接层I中512个神经元进行全连接，然后通过高斯过滤器，得到7个预测值，将7个预测值输入到Softmax分类器，由Softmax分类器对输入的预测值进行分类，输出的分类结果即为7种可识别的人脸表情。
S3：根据人眼活动位置及相应位置的人脸表情识别结果，确定对象的兴趣点关注程度。
以上所述是本发明的较佳实施例及其所运用的技术原理，对于本领域的技术人员来说，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案基础上的等效变换、简单替换等显而易见的改变，均属于本发明保护范围之内。
Claims (10)
1.基于阵列镜头的兴趣点关注度测试装置，其特征在于，包括人眼活动轨迹检测模块，人脸表情识别模块，关注度检测模块；
人眼活动轨迹检测模块，用于检测人眼活动轨迹，得到人眼注视位置；
人脸表情识别模块，用于识别人脸表情；
兴趣点关注度检测模块，用于根据人眼注视位置及人脸表情，确定对象的兴趣点关注程度。
2.根据权利要求1所述的基于阵列镜头的兴趣点关注度测试装置，其特征在于，所述检测人眼活动轨迹的方法是：
利用红外镜头采集瞳孔具有光斑的人脸图像；
从该人脸图像中提取出人眼区域图像；
从该人眼区域图像中提取瞳孔图像、光斑图像；
确定瞳孔、光斑的中心坐标，
确定瞳孔、光斑的中心坐标与注视点坐标的关系；
根据连续的注视点坐标，得到人眼活动轨迹。
3.根据权利要求1所述的基于阵列镜头的兴趣点关注度测试装置，其特征在于，识别人脸表情的方法是：
利用阵列式镜头采集人脸图像；
从人脸图像中识别人脸区域图像；
将人脸区域图像调整为正面人脸姿态的人脸区域图像；
将调整后的人脸区域图像输入卷积神经网络模型，输出人脸表情识别结果。
4.基于阵列镜头的兴趣点关注度测试方法，其特征在于，包括：
检测人眼活动轨迹，确定人眼注视位置；
识别人脸表情；
根据人眼注视位置及相应位置的人脸表情，确定兴趣点关注程度。
5.根据权利要求4所述的基于阵列镜头的兴趣点关注度测试方法，其特征在于，所述检测人眼活动轨迹的方法是：
利用红外镜头采集瞳孔具有光斑的人脸图像；
从该人脸图像中提取出人眼区域图像；
从该人眼区域图像中提取瞳孔图像、光斑图像；
确定瞳孔、光斑的中心坐标，
确定瞳孔、光斑的中心坐标与注视点坐标的关系；
根据连续的注视点坐标，得到人眼活动轨迹。
6.根据权利要求5所述的基于阵列镜头的兴趣点关注度测试方法，其特征在于，从所述人眼区域图像中提取瞳孔图像的方法是：
利用梯度算法确定所述人眼区域图像中像素值变化最大的点，作为瞳孔点；以该瞳孔点为中心，划分一个瞳孔区域；对该瞳孔区域利用OTSU算法，生成瞳孔图像。
7.根据权利要求6所述的基于阵列镜头的兴趣点关注度测试方法，其特征在于，从所述人眼区域图像中提取光斑图像的方法是：
对所述人眼区域图像进行取反处理，生成取反后的人眼区域图像；利用梯度算法确定取反后的人眼区域图像中像素值变化最大的点，作为光斑点；以该光斑点为中心，划分一个光斑区域；对该光斑区域依次利用OTSU算法，生成光斑图像。
8.根据权利要求7所述的基于阵列镜头的兴趣点关注度测试方法，其特征在于，利用瞳孔-角膜向量反射法，建立所述瞳孔及光斑的中心坐标与注视点的映射关系为，
<mrow>
<msub>
<mi>X</mi>
<mrow>
<mi>g</mi>
<mi>a</mi>
<mi>z</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>a</mi>
<mn>0</mn>
</msub>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>1</mn>
</msub>
<msub>
<mi>x</mi>
<mi>e</mi>
</msub>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>2</mn>
</msub>
<msub>
<mi>y</mi>
<mi>e</mi>
</msub>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>3</mn>
</msub>
<msubsup>
<mi>x</mi>
<mi>e</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>4</mn>
</msub>
<msub>
<mi>x</mi>
<mi>e</mi>
</msub>
<msub>
<mi>y</mi>
<mi>e</mi>
</msub>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>5</mn>
</msub>
<msubsup>
<mi>y</mi>
<mi>e</mi>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<msub>
<mi>Y</mi>
<mrow>
<mi>g</mi>
<mi>a</mi>
<mi>z</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>b</mi>
<mn>0</mn>
</msub>
<mo>+</mo>
<msub>
<mi>b</mi>
<mn>1</mn>
</msub>
<msub>
<mi>x</mi>
<mi>e</mi>
</msub>
<mo>+</mo>
<msub>
<mi>b</mi>
<mn>2</mn>
</msub>
<msub>
<mi>y</mi>
<mi>e</mi>
</msub>
<mo>+</mo>
<msub>
<mi>b</mi>
<mn>3</mn>
</msub>
<msubsup>
<mi>x</mi>
<mi>e</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msub>
<mi>b</mi>
<mn>4</mn>
</msub>
<msub>
<mi>x</mi>
<mi>e</mi>
</msub>
<msub>
<mi>y</mi>
<mi>e</mi>
</msub>
<mo>+</mo>
<msub>
<mi>b</mi>
<mn>5</mn>
</msub>
<msubsup>
<mi>y</mi>
<mi>e</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，(Xgaze，Ygaze)为注视点坐标，
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mi>e</mi>
</msub>
<mo>=</mo>
<msub>
<mi>x</mi>
<mi>p</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>c</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>y</mi>
<mi>e</mi>
</msub>
<mo>=</mo>
<msub>
<mi>y</mi>
<mi>p</mi>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>c</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，(xp，yp)为瞳孔的中心坐标，(xc，yc)为光斑的中心坐标，利用重心法确定所述瞳孔、光斑的中心坐标。
9.根据权利要求4所述的基于阵列镜头的兴趣点关注度测试方法，其特征在于，所述识别人脸表情的方法是：
利用阵列式镜头采集人脸图像；
从人脸图像中识别人脸区域图像；
将人脸区域图像调整为正面人脸姿态的人脸区域图像；
将调整后的人脸区域图像输入卷积神经网络模型，输出人脸表情识别结果。
10.根据权利要求9所述的基于阵列镜头的兴趣点关注度测试方法，其特征在于，所述卷积神经网络模型包括依序连接的2个卷积层、1个池化层、2个卷积层、1个池化层和2个全连接层；
1)卷积层I，卷积核大小为11*11，步长为4，卷积核个数为96，无填充；
2)卷积层II，卷积核大小为3*3，步长为2，卷积核个数为128，填充为2；
3)池化层I，卷积核大小为3*3，步长为2，无填充；
4)卷积层III，卷积核大小为3*3，步长为1，卷积核个数为256，无填充；
5)卷积层IV，卷积核大小为2*2，步长为2，卷积核个数为256，无填充；
6)池化层II，卷积核大小为2*2，步长为2，无填充；
7)全连接层I，将池化层II输出的特征图转换为一维特征向量；
8)全连接层II，对全连接层I中的神经元进行全链接，得到7个预测值，输入到Soffmax分类器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711067438.1A CN107832699A (zh) | 2017-11-02 | 2017-11-02 | 基于阵列镜头的兴趣点关注度测试方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711067438.1A CN107832699A (zh) | 2017-11-02 | 2017-11-02 | 基于阵列镜头的兴趣点关注度测试方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107832699A true CN107832699A (zh) | 2018-03-23 |
Family
ID=61651593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711067438.1A Pending CN107832699A (zh) | 2017-11-02 | 2017-11-02 | 基于阵列镜头的兴趣点关注度测试方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107832699A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647773A (zh) * | 2018-04-20 | 2018-10-12 | 复旦大学 | 一种可重构卷积神经网络的硬件互连架构 |
| CN110134227A (zh) * | 2018-09-29 | 2019-08-16 | 广东小天才科技有限公司 | 一种基于可穿戴设备的听写方法及可穿戴设备 |
| WO2020062960A1 (zh) * | 2018-09-29 | 2020-04-02 | 北京市商汤科技开发有限公司 | 神经网络训练、视线追踪方法和装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102221881A (zh) * | 2011-05-20 | 2011-10-19 | 北京航空航天大学 | 基于仿生代理与视线追踪兴趣区域分析的人机交互方法 |
| CN103440038A (zh) * | 2013-08-28 | 2013-12-11 | 中国人民大学 | 一种基于眼部识别的信息采集系统及其应用 |
| CN105094292A (zh) * | 2014-05-05 | 2015-11-25 | 索尼公司 | 评价用户关注度的方法和设备 |
| CN106384080A (zh) * | 2016-08-31 | 2017-02-08 | 广州精点计算机科技有限公司 | 一种基于卷积神经网络的表观年龄估计方法及装置 |
| CN107193383A (zh) * | 2017-06-13 | 2017-09-22 | 华南师范大学 | 一种基于人脸朝向约束的二级视线追踪方法 |
-
2017
- 2017-11-02 CN CN201711067438.1A patent/CN107832699A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102221881A (zh) * | 2011-05-20 | 2011-10-19 | 北京航空航天大学 | 基于仿生代理与视线追踪兴趣区域分析的人机交互方法 |
| CN103440038A (zh) * | 2013-08-28 | 2013-12-11 | 中国人民大学 | 一种基于眼部识别的信息采集系统及其应用 |
| CN105094292A (zh) * | 2014-05-05 | 2015-11-25 | 索尼公司 | 评价用户关注度的方法和设备 |
| CN106384080A (zh) * | 2016-08-31 | 2017-02-08 | 广州精点计算机科技有限公司 | 一种基于卷积神经网络的表观年龄估计方法及装置 |
| CN107193383A (zh) * | 2017-06-13 | 2017-09-22 | 华南师范大学 | 一种基于人脸朝向约束的二级视线追踪方法 |
Non-Patent Citations (5)
| Title |
|---|
| JIANCHENG ZOU 等: "Automatic Facial Age Estimate Based on Convolution Neural Network", 《INTERNATIONAL CONFERENCE ON INTELLIGENT INFORMATION HIDING AND MULTIMEDIA SIGNAL PROCESSING》 * |
| JIANCHENG ZOU 等: "New 2D Pupil and Spot Center Positioning Technology Under Real-Time Eye Tracking", 《THE 12TH INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE & EDUCATION》 * |
| XIAOGUANG CHEN 等: "Convolution Neural Network for Automatic Facial Expression Recognition", 《PROCEEDINGS OF THE 2017 IEEE INTERNATIONAL CONFERENCE ON APPLIED SYSTEM INNOVATION》 * |
| 邹建成 等: "一种基于阵列镜头的图像重对焦新算法", 《北方工业大学学报》 * |
| 陈秋香: "基于瞳孔-角膜反射的视线跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647773A (zh) * | 2018-04-20 | 2018-10-12 | 复旦大学 | 一种可重构卷积神经网络的硬件互连架构 |
| CN108647773B (zh) * | 2018-04-20 | 2021-07-23 | 复旦大学 | 一种可重构卷积神经网络的硬件互连系统 |
| CN110134227A (zh) * | 2018-09-29 | 2019-08-16 | 广东小天才科技有限公司 | 一种基于可穿戴设备的听写方法及可穿戴设备 |
| WO2020062960A1 (zh) * | 2018-09-29 | 2020-04-02 | 北京市商汤科技开发有限公司 | 神经网络训练、视线追踪方法和装置及电子设备 |
| CN110969060A (zh) * | 2018-09-29 | 2020-04-07 | 北京市商汤科技开发有限公司 | 神经网络训练、视线追踪方法和装置及电子设备 |
| CN110134227B (zh) * | 2018-09-29 | 2022-03-01 | 广东小天才科技有限公司 | 一种基于可穿戴设备的听写方法及可穿戴设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ramzan et al. | A survey on state-of-the-art drowsiness detection techniques | |
| Zhang et al. | Driver fatigue detection based on eye state recognition | |
| CN104200192B (zh) | 驾驶员注视检测系统 | |
| CN110147738B (zh) | 一种驾驶员疲劳监测预警方法及系统 | |
| CN107193383A (zh) | 一种基于人脸朝向约束的二级视线追踪方法 | |
| CN109684915B (zh) | 瞳孔跟踪图像处理方法 | |
| CN102496005A (zh) | 基于眼球特征的审讯辅助研判分析系统 | |
| CN111507592B (zh) | 一种面向服刑人员的主动改造行为的评估方法 | |
| CN107832699A (zh) | 基于阵列镜头的兴趣点关注度测试方法及装置 | |
| CN107729871A (zh) | 基于红外光的人眼活动轨迹追踪方法及装置 | |
| CN105373767A (zh) | 一种智能手机使用的眼睛疲劳检测方法 | |
| CN108334827A (zh) | 一种基于智能鞋的步态身份认证方法及智能鞋 | |
| CN109063545A (zh) | 一种疲劳驾驶检测方法及装置 | |
| Pandey et al. | Temporal and spatial feature based approaches in drowsiness detection using deep learning technique | |
| CN112733772A (zh) | 仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统 | |
| Ma et al. | Dynamic gesture contour feature extraction method using residual network transfer learning | |
| CN107832698A (zh) | 基于阵列镜头的学习兴趣测试方法及装置 | |
| Hata et al. | Detection of distant eye-contact using spatio-temporal pedestrian skeletons | |
| Ananthi et al. | Drivers Drowsiness Detection using Image Processing and I-Ear Techniques | |
| CN106055083B (zh) | 用于监测人的视觉行为的方法 | |
| Ali et al. | Driver drowsiness detection by employing CNN and DLIB | |
| CN111861275B (zh) | 家政工作模式的识别方法和装置 | |
| Das | Activity recognition using histogram of oriented gradient pattern history | |
| CN202472688U (zh) | 基于眼球特征的审讯辅助研判分析仪 | |
| CN106446837B (zh) | 一种基于运动历史图像的挥手检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180323 |