CN107766840A - 一种眨眼检测的方法、装置、设备及计算机可读存储介质 - Google Patents

一种眨眼检测的方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN107766840A
CN107766840A CN201711097622.0A CN201711097622A CN107766840A CN 107766840 A CN107766840 A CN 107766840A CN 201711097622 A CN201711097622 A CN 201711097622A CN 107766840 A CN107766840 A CN 107766840A
Authority
CN
China
Prior art keywords
eye
eyes
positioning
detector
human face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711097622.0A
Other languages
English (en)
Inventor
卢海斌
赵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou intelligent Intelligence Information Technology Co., Ltd.
Original Assignee
Hangzhou Shield Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shield Network Technology Co Ltd filed Critical Hangzhou Shield Network Technology Co Ltd
Priority to CN201711097622.0A priority Critical patent/CN107766840A/zh
Publication of CN107766840A publication Critical patent/CN107766840A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种眨眼检测的方法，包括训练睁眼检测器和闭眼检测器；获取第一视频帧中的第一人脸区域，在第一人脸区域利用睁眼检测器定位眼睛的第一位置；若定位成功，则保存第一位置；获取第二视频帧中的第二人脸区域，在第二人脸区域利用睁眼检测器定位眼睛的第二位置；若定位成功，则依次切换视频帧进行定位，直至定位失败，并将最后一次定位成功获得的第二位置作为第一位置；在第一位置利用闭眼检测器定位眼睛的闭眼位置；若定位成功，则输出眨眼成功。该方法可有效避免由于遮挡而产生误检测的问题，获得的分类器模型较小，进一步提高了检测效率。本申请还公开了一种眨眼检测的装置、设备及计算机可读存储介质，均具有上述有益效果。

Description

一种眨眼检测的方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及活体识别领域，特别涉及一种眨眼检测的方法，还涉及一种眨眼检测的装置、设备及计算机可读存储介质。
背景技术
随着活体识别技术的快速提升，其应用领域日益广泛。在智慧城市发展的热潮下，活体识别更是成为推进智慧城市建设的有利武器。眨眼检测是活体识别领域常见的一种识别方法。现有的活体识别中的眨眼检测，通常使用分类器或者特征点定位的方法。
特征点定位法是通过人脸对齐算法定位眼睛的位置，根据定位点计算眼睛上下眼睑的闭合程度来确定眼睛状态，以检测睁眼过程。但其耗时较大，而且在产生遮挡时，特征点不会消失，容易出现误检测。另一种检测方法，通过眼睛分类器，利用Haar特征结合Adaboost分类器，对人脸区域进行检测，确定眼睛的位置，再用睁眼闭眼分类器，如SVM(Support Vector Machine，支持向量机)等，以检测眼睛的状态。但由于Haar特征的提取一般通过积分图进行加速，但是积分图的计算无法通过SIMD指令进行加速，在性能较低的前端设备可能会产生一定的影响，导致速率偏慢，而且Haar特征所需要的弱分类器数目比较多，因此整个模型的大小也偏大。
因此，如何避免由于遮挡而产生误检测的问题，减小分类器模型，提高检测效率是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种眨眼检测的方法，该方法可有效避免由于遮挡而产生误检测的问题，获得的分类器模型较小，进一步提高了检测效率；本申请的另一目的是提供一种眨眼检测的装置、设备及计算机可读存储介质，均具有上述有益效果。
为解决上述技术问题，本申请提供一种眨眼检测的方法，该方法包括：
训练睁眼检测器和闭眼检测器；
获取第一视频帧中的第一人脸区域，在所述第一人脸区域利用所述睁眼检测器定位眼睛的第一位置；若定位成功，则保存所述第一位置；
获取第二视频帧中的第二人脸区域，在所述第二人脸区域利用所述睁眼检测器定位眼睛的第二位置；若定位成功，则依次切换视频帧进行定位，直至定位失败，并将最后一次定位成功获得的第二位置作为所述第一位置；
在所述第一位置利用所述闭眼检测器定位眼睛的闭眼位置；若定位成功，则输出眨眼成功。
优选的，所述训练睁眼检测器和闭眼检测器包括：
分别获取每种状态下人脸的图像数据；
分别将每种检测器对应的眼睛在相应状态下的图像数据作为正样本，将不包含所述每种检测器对应的眼睛在相应状态下的图像数据作为负样本；
利用局部二值模式LBP特征提取方法提取所述正样本和所述负样本的LBP特征；
通过Adaboost训练器对所述LBP特征进行分类训练，获得所述睁眼检测器和所述闭眼检测器。
优选的，所述在所述第一位置利用所述闭眼检测器定位眼睛的闭眼位置包括：
将所述第一位置扩大预定范围获得放大位置，并在所述放大位置利用所述闭眼检测器定位眼睛的闭眼位置。
优选的，还包括：
输出眼睛的状态信息；其中，所述状态信息包括睁眼状态和闭眼状态。
为解决上述技术问题，本申请还提供一种眨眼检测的装置，包括：
训练模块，用于训练睁眼检测器和闭眼检测器；
保存模块，用于获取第一视频帧中的第一人脸区域，在所述第一人脸区域利用所述睁眼检测器定位眼睛的第一位置；若定位成功，则保存所述第一位置；
第一定位模块，用于获取第二视频帧中的第二人脸区域，在所述第二人脸区域利用所述睁眼检测器定位眼睛的第二位置；若定位成功，则依次切换视频帧进行定位，直至定位失败，并将最后一次定位成功获得的第二位置作为所述第一位置；
第二定位模块，用于在所述第一位置利用所述闭眼检测器定位眼睛的闭眼位置；若定位成功，则输出眨眼成功。
优选的，所述训练模块包括：
获取子模块，用于分别获取每种状态下人脸的图像数据；
样本分类子模块，用于分别将每种检测器对应的眼睛在相应状态下的图像数据作为正样本，将不包含所述每种检测器对应的眼睛在相应状态下的图像数据作为负样本；
提取子模块，用于利用局部二值模式LBP特征提取方法提取所述正样本和所述负样本的LBP特征；
训练子模块，用于通过Adaboost训练器对所述LBP特征进行分类训练，获得所述睁眼检测器和所述闭眼检测器。
优选的，所述第二定位模块具体用于将所述第一位置扩大预定范围获得放大位置，并在所述放大位置利用所述闭眼检测器定位眼睛的闭眼位置。
优选的，还包括：
输出模块，用于输出眼睛的状态信息；其中，所述状态信息包括睁眼状态和闭眼状态。
为解决上述问题，本申请还提供一种眨眼检测的设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任意一项所述眨眼检测的方法的步骤。
为解决上述问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述眨眼检测的方法的步骤。
本申请所提供的一种眨眼检测的方法，包括训练睁眼检测器和闭眼检测器；获取第一视频帧中的第一人脸区域，在所述第一人脸区域利用所述睁眼检测器定位眼睛的第一位置；若定位成功，则保存所述第一位置；获取第二视频帧中的第二人脸区域，在所述第二人脸区域利用所述睁眼检测器定位眼睛的第二位置；若定位成功，则依次切换视频帧进行定位，直至定位失败，并将最后一次定位成功获得的第二位置作为所述第一位置；在所述第一位置利用所述闭眼检测器定位眼睛的闭眼位置；若定位成功，则输出眨眼成功。
可见，本申请所提供的技术方案，将睁眼检测器与闭眼检测器相结合，对不同状态下的眼睛进行定位，以实现眨眼检测，整个检测器的检测过程经过优化后，在前端设备上的耗时有效降低，具有一定的速度优势，并且也克服了由于遮挡而产生误检测的问题；同时，采用睁眼检测器与闭眼检测器进行检测，检测器数目较少，进一步减小了整个模型的大小。
本申请还提供了一种眨眼检测的装置、设备及计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请所提供的一种眨眼检测的方法的流程示意图；
图2为本申请所提供的一种训练睁眼检测器的方法的示意图；
图3为本申请所提供的一种训练闭眼检测器的方法的示意图；
图4为本申请所提供的一种眨眼检测的装置的示意图；
图5为本申请所提供的一种眨眼检测的设备的示意图。
具体实施方式
本申请的核心是提供一种眨眼检测的方法，该方法可有效避免由于遮挡而产生误检测的问题，获得的分类器模型较小，进一步提高了检测效率；本申请的另一核心是提供一种眨眼检测的装置、设备及计算机可读存储介质，均具有上述有益效果。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
请参考图1，图1为本申请所提供的一种眨眼检测的方法的流程示意图，该方法可以包括：
S101：训练睁眼检测器和闭眼检测器；
具体的，可以训练两个分类器模型，即睁眼检测器和闭眼检测器，以定位在不同状态下的眼睛的位置，获取其位置信息。其训练过程可以为离线训练。同时需要说明的是，该训练可以只进行一次，即可以作为子程序进行存储，每次进行眨眼检测时只需调用该程序即可。
S102：获取第一视频帧中的第一人脸区域，在第一人脸区域利用睁眼检测器定位眼睛的第一位置；若定位成功，则保存第一位置；
具体的，眨眼是一个从睁眼到闭眼的过程，需要不同的视频帧的配合，以实现眨眼检测。按顺序依次播放视频帧，在第一视频帧中，可以采用抠图技术扣取人脸区域的位置，即获取第一人脸区域；进一步，利用训练好的睁眼检测器在第一人脸区域定位眼睛的位置，若定位成功，则将获得的位置进行保存；若定位失败，则可以继续依次切换下一视频帧，再次进行上述定位过程，直至获得眼睛的位置，即第一位置。
S103：获取第二视频帧中的第二人脸区域，在第二人脸区域利用睁眼检测器定位眼睛的第二位置；若定位成功，则依次切换视频帧进行定位，直至定位失败，并将最后一次定位成功获得的第二位置作为第一位置；
具体的，在获取第一位置之后，切换下一视频帧，即第二视频帧，再次扣取人脸区域的位置，获取第二人脸区域；利用训练好的睁眼检测器在第二人脸区域定位眼睛的位置，即第二位置。若定位成功，说明眼睛仍处于睁眼状态，则保存该第二位置，并继续依次切换视频帧，进行上述定位过程，直至定位失败为止。其中，在每次定位成功后都可以保存眼睛的位置，以不断更新上述第二位置，达到实时性，进一步将最后一次定位成功后获得的第二位置作为第一位置，以便于闭眼检测器检测过程的进行。
S104：在第一位置利用闭眼检测器定位眼睛的闭眼位置；若定位成功，则输出眨眼成功。
具体的，在定位失败后，即说明眼睛可能已经处于闭眼状态或出现失误，此时则可以利用训练好的闭眼检测器定位眼睛的闭眼位置，若定位成功，则说明眨眼成功，输出眨眼成功，即完成一次眨眼检测。若定位失败，则说明在上述过程中可能出现失误，则可以返回步骤S102重新开始眨眼检测过程。
需要说明的是，上述步骤S102至步骤S104即为一个完整的眨眼状态机，调用步骤S101，即可以实现完整的眨眼检测过程。该眨眼状态机可以以代码程序的形式在处理器上运行，还可以进一步在ARM设备上进行程序加速，以提高检测效率。
本申请所提供的一种眨眼检测的方法，在整个检测器的检测过程经过优化后，在前端设备上的耗时有效降低，提高了检测效率，也克服了由于遮挡而产生误检测的问题；同时检测器数目较少，进一步减小了整个模型的大小。
在上述实施例的基础上：
作为一种优选实施例，上述训练睁眼检测器和闭眼检测器的过程可以包括：分别获取每种状态下人脸的图像数据；分别将每种检测器对应的眼睛在相应状态下的图像数据作为正样本，将不包含每种检测器对应的眼睛在相应状态下的图像数据作为负样本；利用局部二值模式LBP特征提取方法提取正样本和负样本的LBP特征；通过Adaboost训练器对LBP特征进行分类训练，获得睁眼检测器和闭眼检测器。
具体的，可以先获取各种状态下的人脸的图像数据，如睁眼状态下和闭眼状态下的人脸的图像数据，或睁眼和闭眼的图像数据等，并将每种检测器对应的眼睛在相应状态下的图像数据作为睁眼本，将不包含每种检测器对应的眼睛在相应状态下的图像数据作为负样本，进一步利用局部二值模式LBP特征提取方法，提取正样本和负样本的LBP特征，最后可以通过Adaboost训练器对获得的LBP特征进行分类训练，其中可以将贝叶斯分类器充当Adaboost的弱分类器，进一步获得睁眼检测器和闭眼检测器。其中，上述贝叶斯分类器具有连续性，在训练过程中，分类器的收敛速度较快，获得的模型较小。
具体的，对于训练睁眼检测器，请参考图2，图2为本申请所提供的一种训练睁眼检测器的方法的示意图，可以将睁眼的图像数据作为正样本，将闭眼的图像数据和人脸区域非眼睛的图像数据作为负样本，放入Adaboost训练器进行训练获得上述睁眼检测器；对于训练闭眼检测器，请参考图3，图3为本申请所提供的一种训练闭眼检测器的方法的示意图，可以将闭眼的图像数据作为正样本，将睁眼的图像数据和眼睛附近区域非眼睛的图像数据作为负样本，放入Adaboost训练器进行训练获得上述闭眼检测器。
其中，上述Adaboost训练器可以采用级联的Adaboost；上述LBP特征可以采用MBLBP特征，即LBP的块大小可以选取1*1和2*2两种，也就是说将局部半径进行扩大，产生不同半径下的局部二值，这两个尺度的LBP由于加入了均值滤波的特性，不仅能通过ARM设备上的NEON指令进行优化，在性能较低的前端设备也有速度优势，其耗时可达5ms以内，而且针对噪声和光照具有一定的鲁棒性，在手机端画面质量差距比较大的情况下也能有不错的效果。
该优选实施例所提供的一种眨眼检测的方法，采用MBLBP特征对睁眼检测器和闭眼检测器进行训练，一次眨眼通过率能达到95％，误检率能够控制在1％以内，并且还能够避免遮挡有误检的问题。
在上述实施例的基础上：
作为一种优选实施例，上述所述在所述第一位置利用所述闭眼检测器定位眼睛的闭眼位置的过程可以包括：
将第一位置扩大预定范围获得放大位置，并在放大位置利用闭眼检测器定位眼睛的闭眼位置。
具体的，在利用闭眼检测器定位眼睛的闭眼位置时，由于眼睛处于闭眼状态且眼睛区域较小，可能会出现定位失误的问题，为避免该问题，可以将获得的第一位置进行扩大预定的范围，以获得放大位置，例如，可以将第一位置以及附近区域的长度和宽度均放大2倍，进一步在放大位置上定位眼睛的闭眼位置。
该优选实施例所提供的一种眨眼检测的方法，将第一位置进行了扩大，更加方便闭眼检测器定位闭眼位置，大大提升了定位的准确率。
在上述实施例的基础上：
作为一种优选实施例，该方法还包括：输出眼睛的状态信息；其中，状态信息包括睁眼状态和闭眼状态。
具体的，还可以在每次定位成功后将眼睛的状态信息，即睁眼状态或闭眼状态，进行输出。例如，在睁眼检测器定位到第一位置或第二位置的时候，可以随之输出睁眼状态；在闭眼检测器定位到闭眼位置的时候，可以随之输出闭眼状态，最后输出眨眼成功，还可以添加定时器进行定时，计算开始睁眼到闭眼的时间，更加便于眨眼速率的统计。
为解决上述问题，请参考图4，图4为本申请所提供的一种眨眼检测的装置的示意图，该装置可以包括：
训练模块1，用于训练睁眼检测器和闭眼检测器；
保存模块2，用于获取第一视频帧中的第一人脸区域，在第一人脸区域利用睁眼检测器定位眼睛的第一位置；若定位成功，则保存第一位置；
第一定位模块3，用于获取第二视频帧中的第二人脸区域，在第二人脸区域利用睁眼检测器定位眼睛的第二位置；若定位成功，则依次切换视频帧进行定位，直至定位失败，并将最后一次定位成功获得的第二位置作为第一位置；
第二定位模块4，用于在第一位置利用闭眼检测器定位眼睛的闭眼位置；若定位成功，则输出眨眼成功。
作为一种优选实施例，训练模块1包括：
获取子模块，用于分别获取每种状态下人脸的图像数据；
样本分类子模块，用于分别将每种检测器对应的眼睛在相应状态下的图像数据作为正样本，将不包含每种检测器对应的眼睛在相应状态下的图像数据作为负样本；
提取子模块，用于利用局部二值模式LBP特征提取方法提取正样本和负样本的LBP特征；
训练子模块，用于通过Adaboost训练器对LBP特征进行分类训练，获得睁眼检测器和闭眼检测器。
作为一种优选实施例，第二定位模块4具体用于将第一位置扩大预定范围获得放大位置，并在放大位置利用闭眼检测器定位眼睛的闭眼位置。
作为一种优选实施例，该装置还可以包括：
输出模块，用于输出眼睛的状态信息；其中，状态信息包括睁眼状态和闭眼状态。
对于本发明提供的装置的介绍请参照上述方法实施例，本发明在此不做赘述。
为解决上述问题，请参考图5，图5为本申请所提供的一种眨眼检测的设备的示意图，该设备包括：
存储器10，用于存储计算机程序；
处理器20，用于执行计算机程序时实现如下步骤：
训练睁眼检测器和闭眼检测器；获取第一视频帧中的第一人脸区域，在第一人脸区域利用睁眼检测器定位眼睛的第一位置；若定位成功，则保存第一位置；获取第二视频帧中的第二人脸区域，在第二人脸区域利用睁眼检测器定位眼睛的第二位置；若定位成功，则依次切换视频帧进行定位，直至定位失败，并将最后一次定位成功获得的第二位置作为第一位置；在第一位置利用闭眼检测器定位眼睛的闭眼位置；若定位成功，则输出眨眼成功。
对于本发明提供的设备的介绍请参照上述方法实施例，本发明在此不做赘述。
为解决上述问题，本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
训练睁眼检测器和闭眼检测器；获取第一视频帧中的第一人脸区域，在第一人脸区域利用睁眼检测器定位眼睛的第一位置；若定位成功，则保存第一位置；获取第二视频帧中的第二人脸区域，在第二人脸区域利用睁眼检测器定位眼睛的第二位置；若定位成功，则依次切换视频帧进行定位，直至定位失败，并将最后一次定位成功获得的第二位置作为第一位置；在第一位置利用闭眼检测器定位眼睛的闭眼位置；若定位成功，则输出眨眼成功。
对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的眨眼检测的方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围要素。

Claims (10)

1.一种眨眼检测的方法，其特征在于，包括：
训练睁眼检测器和闭眼检测器；
获取第一视频帧中的第一人脸区域，在所述第一人脸区域利用所述睁眼检测器定位眼睛的第一位置；若定位成功，则保存所述第一位置；
获取第二视频帧中的第二人脸区域，在所述第二人脸区域利用所述睁眼检测器定位眼睛的第二位置；若定位成功，则依次切换视频帧进行定位，直至定位失败，并将最后一次定位成功获得的第二位置作为所述第一位置；
在所述第一位置利用所述闭眼检测器定位眼睛的闭眼位置；若定位成功，则输出眨眼成功。
2.如权利要求1所述的方法，其特征在于，所述训练睁眼检测器和闭眼检测器包括：
分别获取每种状态下人脸的图像数据；
分别将每种检测器对应的眼睛在相应状态下的图像数据作为正样本，将不包含所述每种检测器对应的眼睛在相应状态下的图像数据作为负样本；
利用局部二值模式LBP特征提取方法提取所述正样本和所述负样本的LBP特征；
通过Adaboost训练器对所述LBP特征进行分类训练，获得所述睁眼检测器和所述闭眼检测器。
3.如权利要求2所述的方法，其特征在于，所述在所述第一位置利用所述闭眼检测器定位眼睛的闭眼位置包括：
将所述第一位置扩大预定范围获得放大位置，并在所述放大位置利用所述闭眼检测器定位眼睛的闭眼位置。
4.如权利要求3所述的方法，其特征在于，还包括：
输出眼睛的状态信息；其中，所述状态信息包括睁眼状态和闭眼状态。
5.一种眨眼检测的装置，其特征在于，包括：
训练模块，用于训练睁眼检测器和闭眼检测器；
保存模块，用于获取第一视频帧中的第一人脸区域，在所述第一人脸区域利用所述睁眼检测器定位眼睛的第一位置；若定位成功，则保存所述第一位置；
第一定位模块，用于获取第二视频帧中的第二人脸区域，在所述第二人脸区域利用所述睁眼检测器定位眼睛的第二位置；若定位成功，则依次切换视频帧进行定位，直至定位失败，并将最后一次定位成功获得的第二位置作为所述第一位置；
第二定位模块，用于在所述第一位置利用所述闭眼检测器定位眼睛的闭眼位置；若定位成功，则输出眨眼成功。
6.如权利要求5所述的装置，其特征在于，所述训练模块包括：
获取子模块，用于分别获取每种状态下人脸的图像数据；
样本分类子模块，用于分别将每种检测器对应的眼睛在相应状态下的图像数据作为正样本，将不包含所述每种检测器对应的眼睛在相应状态下的图像数据作为负样本；
提取子模块，用于利用局部二值模式LBP特征提取方法提取所述正样本和所述负样本的LBP特征；
训练子模块，用于通过Adaboost训练器对所述LBP特征进行分类训练，获得所述睁眼检测器和所述闭眼检测器。
7.如权利要求6所述的装置，其特征在于，所述第二定位模块具体用于将所述第一位置扩大预定范围获得放大位置，并在所述放大位置利用所述闭眼检测器定位眼睛的闭眼位置。
8.如权利要求7所述的装置，其特征在于，还包括：
输出模块，用于输出眼睛的状态信息；其中，所述状态信息包括睁眼状态和闭眼状态。
9.一种眨眼检测的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任意一项所述的眨眼检测的方法的步骤。
10.一种计算机存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任意一项所述的眨眼检测的方法的步骤。
CN201711097622.0A 2017-11-09 2017-11-09 一种眨眼检测的方法、装置、设备及计算机可读存储介质 Pending CN107766840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711097622.0A CN107766840A (zh) 2017-11-09 2017-11-09 一种眨眼检测的方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711097622.0A CN107766840A (zh) 2017-11-09 2017-11-09 一种眨眼检测的方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN107766840A true CN107766840A (zh) 2018-03-06

Family

ID=61272333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711097622.0A Pending CN107766840A (zh) 2017-11-09 2017-11-09 一种眨眼检测的方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN107766840A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165570A (zh) * 2018-08-03 2019-01-08 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109284596A (zh) * 2018-11-07 2019-01-29 贵州火星探索科技有限公司 人脸解锁方法及装置
CN109522868A (zh) * 2018-11-30 2019-03-26 北京七鑫易维信息技术有限公司 一种检测眨眼的方法和装置
CN109635554A (zh) * 2018-11-30 2019-04-16 努比亚技术有限公司 一种红包验证方法、终端及计算机存储介质
CN110287900A (zh) * 2019-06-27 2019-09-27 深圳市商汤科技有限公司 验证方法和验证装置
CN111860056A (zh) * 2019-04-29 2020-10-30 北京眼神智能科技有限公司 基于眨眼的活体检测方法、装置、可读存储介质及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7676063B2 (en) * 2005-03-22 2010-03-09 Microsoft Corp. System and method for eye-tracking and blink detection
CN102314589A (zh) * 2010-06-29 2012-01-11 比亚迪股份有限公司 一种快速人眼定位方法及装置
CN103440479A (zh) * 2013-08-29 2013-12-11 湖北微模式科技发展有限公司 一种活体人脸检测方法与系统
CN105030244A (zh) * 2015-06-29 2015-11-11 杭州镜之镜科技有限公司 一种眨眼的检测方法和检测系统
CN106897659A (zh) * 2015-12-18 2017-06-27 腾讯科技（深圳）有限公司 眨眼运动的识别方法和装置
CN107085715A (zh) * 2017-05-19 2017-08-22 武汉理工大学 一种电视智能检测用户睡眠状态的系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7676063B2 (en) * 2005-03-22 2010-03-09 Microsoft Corp. System and method for eye-tracking and blink detection
CN102314589A (zh) * 2010-06-29 2012-01-11 比亚迪股份有限公司 一种快速人眼定位方法及装置
CN103440479A (zh) * 2013-08-29 2013-12-11 湖北微模式科技发展有限公司 一种活体人脸检测方法与系统
CN105030244A (zh) * 2015-06-29 2015-11-11 杭州镜之镜科技有限公司 一种眨眼的检测方法和检测系统
CN106897659A (zh) * 2015-12-18 2017-06-27 腾讯科技（深圳）有限公司 眨眼运动的识别方法和装置
CN107085715A (zh) * 2017-05-19 2017-08-22 武汉理工大学 一种电视智能检测用户睡眠状态的系统及方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
亢洁 等: ""基于ＭＢ＿ＬＢＰ旋转不变特征的ＡｄａＢｏｏｓｔ人脸检测算法研究"", 《陕西科技大学学报》 *
付心浩等: ""基于ＭＢ－ＬＢＰ特征和ＪＩＨ的Ａｄａｂｏｏｓｔ人脸检测算法"", 《计算机与数字工程》 *
宋克臣等: ""局部二值模式方法研究与展望"", 《自动化学报》 *
杨军 等: ""基于LBP特征和贝叶斯模型的单样本人脸识别"", 《光电子 激光》 *
汤清华等: ""基于量子粒子群的人脸特征融合识别算法"", 《浙江师范大学学报（自然科学版）》 *
魏华珍等: ""融合局部贝叶斯分类器的人脸验证"", 《光电工程》 *
鹿艳晶等: ""基于改进多块局部二进制模式的人眼定位算法"", 《现代电子技术》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165570A (zh) * 2018-08-03 2019-01-08 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109284596A (zh) * 2018-11-07 2019-01-29 贵州火星探索科技有限公司 人脸解锁方法及装置
CN109522868A (zh) * 2018-11-30 2019-03-26 北京七鑫易维信息技术有限公司 一种检测眨眼的方法和装置
CN109635554A (zh) * 2018-11-30 2019-04-16 努比亚技术有限公司 一种红包验证方法、终端及计算机存储介质
CN109522868B (zh) * 2018-11-30 2021-07-23 北京七鑫易维信息技术有限公司 一种检测眨眼的方法和装置
CN111860056A (zh) * 2019-04-29 2020-10-30 北京眼神智能科技有限公司 基于眨眼的活体检测方法、装置、可读存储介质及设备
CN111860056B (zh) * 2019-04-29 2023-10-20 北京眼神智能科技有限公司 基于眨眼的活体检测方法、装置、可读存储介质及设备
CN110287900A (zh) * 2019-06-27 2019-09-27 深圳市商汤科技有限公司 验证方法和验证装置

Similar Documents

Publication Publication Date Title
CN107766840A (zh) 一种眨眼检测的方法、装置、设备及计算机可读存储介质
CN109697416B (zh) 一种视频数据处理方法和相关装置
CN103020579B (zh) 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置
CN102324025B (zh) 基于高斯肤色模型和特征分析的人脸检测与跟踪方法
WO2021174880A1 (zh) 征提取模型训练方法、人脸识别方法、装置、设备及介质
US9971941B2 (en) Person counting method and device for same
CN103412643B (zh) 终端及其遥控的方法
CN112052815B (zh) 一种行为检测方法、装置及电子设备
CN102270308B (zh) 一种基于五官相关aam模型的面部特征定位方法
CN106096602A (zh) 一种基于卷积神经网络的中文车牌识别方法
CN105631443B (zh) 指纹模板的更新方法及终端设备
CN105354986A (zh) 汽车司机驾驶状态监测系统及方法
CN107844742B (zh) 人脸图像眼镜去除方法、装置及存储介质
CN103778409A (zh) 基于人脸特征数据挖掘的人脸识别方法与装置
CN104463128A (zh) 用于人脸识别的眼镜检测方法及系统
CN102592115B (zh) 一种人手定位方法及系统
CN109086670B (zh) 人脸识别方法、装置及设备
CN205230272U (zh) 汽车司机驾驶状态监测系统
CN110807402B (zh) 一种基于肤色检测的五官定位方法、系统和终端设备
CN109635757A (zh) 活体检测方法、装置、电子设备及存储介质
CN109710788A (zh) 图像样本标注和管理方法及设备
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
CN109448027A (zh) 一种基于算法融合的自适应、持久的运动目标识别方法
CN109872541A (zh) 一种车辆信息分析方法及装置
CN106325514B (zh) 一种手持智能终端的防掉落方法、装置及其电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180531

Address after: 310000 807, 8 building, 1 Yueda Lane 79, Changhe street, Binjiang District, Hangzhou, Zhejiang.

Applicant after: Hangzhou intelligent Intelligence Information Technology Co., Ltd.

Address before: 310000 floor 6, C building, Binjiang District, Hangzhou, Zhejiang.

Applicant before: Hangzhou Shield Network Technology Co., Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200107

Address after: 310000 Room 203, floor 2, building 1, No.79 Yueda lane, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Lianlian Yinjia Information Technology Co., Ltd

Address before: 310000 807, 8 building, 1 Yueda Lane 79, Changhe street, Binjiang District, Hangzhou, Zhejiang.

Applicant before: Hangzhou intelligent Intelligence Information Technology Co., Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180306