CN108229301A - 眼睑线检测方法、装置和电子设备 - Google Patents

眼睑线检测方法、装置和电子设备 Download PDF

Info

Publication number
CN108229301A
CN108229301A CN201711071063.6A CN201711071063A CN108229301A CN 108229301 A CN108229301 A CN 108229301A CN 201711071063 A CN201711071063 A CN 201711071063A CN 108229301 A CN108229301 A CN 108229301A
Authority
CN
China
Prior art keywords
key point
image
eyelid line
block
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711071063.6A
Other languages
English (en)
Other versions
CN108229301B (zh
Inventor
陈彦杰
王飞
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201711071063.6A priority Critical patent/CN108229301B/zh
Publication of CN108229301A publication Critical patent/CN108229301A/zh
Application granted granted Critical
Publication of CN108229301B publication Critical patent/CN108229301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施方式公开了一种眼睑线检测方法、装置、电子设备以及计算机可读存储介质，其中的眼睑线检测方法包括：检测图像的人脸关键点；根据所述人脸关键点分割所述图像中的眼部区域图像；将所述眼部区域图像输入第一神经网络，并经所述第一神经网络输出用于表示所述眼部区域图像中的眼睑线的检测结果；其中，所述第一神经网络基于训练图像集预先训练完成。

Description

眼睑线检测方法、装置和电子设备
技术领域
本申请涉及计算机视觉技术，尤其是涉及一种眼睑线检测方法、眼睑线检测装置、训练用于眼睑线检测的神经网络的方法、训练用于眼睑线检测的神经网络的装置、计算机可读存储介质、计算机程序以及电子设备。
背景技术
人脸关键信息的检测是人脸的图像渲染、人脸识别人脸属性检测等诸多应用中不可或缺的一部分。准确的确定出人脸关键信息，不仅有利于对人脸的相关位置进行矫正，而且有利于增强人脸的语义信息。
发明内容
本申请实施方式提供一种眼睑线检测以及训练用于眼睑线检测的神经网络的技术方案。
根据本申请实施方式的其中一个方面，提供了一种眼睑线检测方法，该方法包括：检测图像的人脸关键点；根据所述人脸关键点分割所述图像中的眼部区域图像；将所述眼部区域图像输入第一神经网络，并经所述第一神经网络输出用于表示所述眼部区域图像中的眼睑线的检测结果；其中，所述第一神经网络基于训练图像集预先训练完成。
在本申请一个实施方式中，所述人脸关键点包括眼睛关键点，所述眼睛关键点包括以下至少之一：瞳孔关键点、眼眶关键点、眼睛中心关键点、眼角关键点；所述根据所述人脸关键点分割所述图像中的眼部区域图像，包括：根据所述眼睛关键点分割所述图像中的眼部区域图像。
在本申请又一个实施方式中，所述用于表示所述眼部区域图像中的眼睑线的检测结果包括：由单眼上眼睑处或下眼睑处预定数量的关键点表示的轨迹信息或拟合线。
在本申请再一个实施方式中，所述第一神经网络的训练方法包括：获取训练图像集中的图像样本中的眼睛图像块以及所述眼睛图像块的噪声图像块；将所述眼睛图像块和噪声图像块分别输入至第一神经网络，经所述第一神经网络提取所述眼睛图像块中的第一眼睑线关键点以及所述噪声图像块中的第二眼睑线关键点；根据所述第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息；至少以所述第一漂移信息为监督信息，对所述第一神经网络进行监督学习。
在本申请再一个实施方式中，所述眼睛图像块的噪声图像块的获取方式包括：针对所述眼睛图像块进行数据增强处理，以获得所述眼睛图像块的噪声图像块。
在本申请再一个实施方式中，所述针对眼睛图像块进行数据增强处理包括下述至少一个：针对眼睛图像块进行旋转处理；针对眼睛图像块进行水平和/或垂直方向上的平移处理；针对眼睛图像块进行放大/缩小处理。
在本申请再一个实施方式中，所述第一/第二眼睑线关键点包括：单眼位于上眼睑处的10-15个关键点，和/或，单眼位于下眼睑处的10-15个关键点。
在本申请再一个实施方式中，所述根据所述第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息包括：基于预定坐标系对所述第一眼睑线关键点的关键点坐标信息和/或第二眼睑线关键点的关键点坐标信息进行坐标变换；根据所述第一眼睑线关键点和第二眼睑线关键点各自的关键点编号以及变换后的关键点坐标信息，计算具有相同关键点编号的至少一组眼睑线关键点之间的漂移向量；其中，所述第一漂移信息包括所述漂移向量。
在本申请再一个实施方式中，所述预定坐标系包括：眼睛图像块的坐标系。
在本申请再一个实施方式中，所述方法还包括：根据第一眼睑线关键点和基于所述图像样本的眼睑线的标注数据形成的眼睛图像块的第三眼睑线关键点各自的关键点编号以及关键点坐标信息，计算具有相同关键点编号的至少一组眼睑线关键点之间的漂移向量，所述漂移向量被作为第二漂移信息；所述至少以所述第一漂移信息为监督信息，对所述第一神经网络进行监督学习包括：以所述第一漂移信息和所述第二漂移信息为监督信息，对所述第一神经网络进行监督学习。
在本申请再一个实施方式中，所述眼睑线的标注数据采用以下步骤获取：确定眼睑线的曲线控制点；根据所述曲线控制点形成第一曲线；采用插值方式在所述第一曲线中插入多个点，所述插入的点的信息为所述眼睑线的标注数据。
在本申请再一个实施方式中，经所述插入的点拟合形成的第二曲线相对眼睑线的误差度，为所述第一曲线相对眼睑线的误差度的1/5-1/10。
根据本申请实施方式的其中另一个方面，提供了一种训练用于眼睑线检测的神经网络的方法，该方法包括：获取训练图像集中的图像样本中的眼睛图像块以及所述眼睛图像块的噪声图像块；将所述眼睛图像块和噪声图像块分别输入至第一神经网络，经所述第一神经网络提取所述眼睛图像块中的第一眼睑线关键点以及所述噪声图像块中的第二眼睑线关键点；根据所述第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息；至少以所述第一漂移信息为监督信息，对所述第一神经网络进行监督学习。
在本申请一个实施方式中，所述训练用于眼睑线检测的神经网络的方法还包括：根据第一眼睑线关键点和基于所述图像样本的眼睑线的标注数据形成的眼睛图像块的第三眼睑线关键点各自的关键点编号以及关键点坐标信息，计算具有相同关键点编号的至少一组眼睑线关键点之间的漂移向量，且所述漂移向量被作为第二漂移信息；所述至少以所述第一漂移信息为监督信息，对所述第一神经网络进行监督学习包括：以所述第一漂移信息和所述第二漂移信息为监督信息，对所述第一神经网络进行监督学习。
在本申请又一个实施方式中，所述训练用于眼睑线检测的神经网络的方法，所述眼睑线的标注数据采用以下步骤获取：确定眼睑线的曲线控制点；根据所述曲线控制点形成第一曲线；采用插值方式在所述第一曲线中插入多个点，所述插入的点的信息为所述眼睑线的标注数据。
根据本申请实施方式的其中再一个方面，提供了一种眼睑线检测装置，且该装置包括：检测关键点模块，用于检测图像的人脸关键点；图像分割模块，用于根据所述人脸关键点分割所述图像中的眼部区域图像；眼睑线检测模块，用于将所述眼部区域图像输入第一神经网络，并经所述第一神经网络输出用于表示所述眼部区域图像中的眼睑线的检测结果；其中，所述第一神经网络基于训练图像集预先训练完成。
在本申请一个实施方式中，所述眼睑线检测装置还包括：训练用于眼睑线检测的神经网络的装置，所述训练用于眼睑线检测的神经网络的装置包括：获取图像块模块，用于获取训练图像集中的图像样本中的眼睛图像块以及所述眼睛图像块的噪声图像块；提取关键点模块，用于将所述眼睛图像块和噪声图像块分别输入至第一神经网络，经所述第一神经网络提取所述眼睛图像块中的第一眼睑线关键点以及所述噪声图像块中的第二眼睑线关键点；第一计算模块，用于根据所述第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息；监督学习模块，用于至少以所述第一漂移信息为监督信息，对所述第一神经网络进行监督学习。
在本申请又一个实施方式中，所述训练用于眼睑线检测的神经网络的装置还包括：第二计算模块，用于根据第一眼睑线关键点和基于所述图像样本的眼睑线的标注数据形成的眼睛图像块的第三眼睑线关键点各自的关键点编号以及关键点坐标信息，计算具有相同关键点编号的至少一组眼睑线关键点之间的漂移向量，且所述第二漂移信息包括所述漂移向量；所述监督学习模块具体用于：以所述第一漂移信息和所述第二漂移信息为监督信息，对所述第一神经网络进行监督学习。
在本申请再一个实施方式中，所述训练用于眼睑线检测的神经网络的装置还包括：标注模块，用于确定眼睑线的曲线控制点，根据所述曲线控制点形成第一曲线，采用插值方式在所述第一曲线中插入多个点，所述插入的点的信息为所述眼睑线的标注数据。
根据本申请实施方式的其中再一个方面，提供了一种训练用于眼睑线检测的神经网络的装置，该装置包括：获取图像块模块，用于获取训练图像集中的图像样本中的眼睛图像块以及所述眼睛图像块的噪声图像块；提取关键点模块，用于将所述眼睛图像块和噪声图像块分别输入至第一神经网络，经所述第一神经网络提取所述眼睛图像块中的第一眼睑线关键点以及所述噪声图像块中的第二眼睑线关键点；第一计算模块，用于根据所述第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息；监督学习模块，用于至少以所述第一漂移信息为监督信息，对所述第一神经网络进行监督学习。
在本申请一个实施方式中，所述训练用于眼睑线检测的神经网络的装置还包括：第二计算模块，用于根据第一眼睑线关键点和基于所述图像样本的眼睑线的标注数据形成的眼睛图像块的第三眼睑线关键点各自的关键点编号以及关键点坐标信息，计算具有相同关键点编号的至少一组眼睑线关键点之间的漂移向量，且所述漂移向量被作为第二漂移信息；所述监督学习模块具体用于：以所述第一漂移信息和所述第二漂移信息为监督信息，对所述第一神经网络进行监督学习。
在本申请又一个实施方式中，所述训练用于眼睑线检测的神经网络的装置还包括：标注模块，用于确定眼睑线的曲线控制点，根据所述曲线控制点形成第一曲线，采用插值方式在所述第一曲线中插入多个点，所述插入的点的信息为所述眼睑线的标注数据。
根据本申请实施方式的其中再一个方面，提供了一种电子设备，该电子设备包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，计算机程序中的相应指令被运行，以实现上述方法实施方式中的步骤。
根据本申请实施方式的再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行本申请上述方法实施方式中的步骤。
根据本申请实施方式的再一个方面，提供的一种计算机程序，该计算机程序在被设备中的处理器执行时，执行本申请方法实施方式中的步骤。
基于本申请提供的眼睑线检测方法和装置、训练用于眼睑线检测的神经网络的方法和装置、电子设备以及计算机存储介质，本申请通过利用人脸关键点分割图像中的眼部区域图像，并经由第一神经网络获得用于表示眼部区域图像中的眼睑线的检测结果，有利于获得更精确的人脸关键信息，从而有利于对人脸的相关位置进行矫正，而且有利于增强人脸的语义信息。
本申请通过为图像样本中的眼睛图像块设置噪声图像块，并利用神经网络分别提取出两个图像块的眼睑线关键点，从而可以通过计算获得经由神经网络提取出的两个图像块的眼睑线关键点之间的漂移信息；通过利用基于神经网络而获得的该漂移信息对神经网络进行监督学习，可以减小噪声对神经网络的影响，有利于提升神经网络对干扰的屏蔽能力；由此可知，本申请提供的技术方案可以提高神经网络的抗干扰能力，从而有利于提高神经网络的稳定性，进而有利于提高神经网络在干扰环境中获得眼睑线检测结果的准确性。
下面通过附图和实施方式，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施方式，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请的眼睑线检测方法的一个实施方式流程图；
图2为本申请的训练用于眼睑线检测的神经网络的方法的一个实施方式流程图；
图3为本申请的眼睑线关键点的示意图；
图4为本申请的眼睑线检测装置的一个实施方式示意图；
图5为本申请的训练用于眼睑线检测的神经网络的装置的一个实施方式示意图；
图6为实现本申请实施方式的一示例性设备的框图；
图7为本申请的一个应用场景示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施方式。应该注意到：除非另外具体说明，否则在这些实施方式中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施方式的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请实施方式可以应用于计算机系统/服务器，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或者远程计算系统存储介质上。
示例性实施例
本申请提供的眼睑线检测以及训练用于眼睑线检测的神经网络的技术方案可以由单片机、FPGA(Field Programmable Gate Array，现场可编程门阵列)、微处理器、智能移动电话、笔记型计算机、平板电脑、台式计算机或者服务器等能够运行计算机程序(也可以称为程序代码)的电子设备实现，且该计算机程序可以存储于闪存、缓存、硬盘或者光盘等计算机可读存储介质中。
本申请中的眼睑由皮肤、肌肉以及结膜等组成，也就是通常俗称的“眼皮”。眼睑一般被分为上眼睑和下眼睑，本申请中的眼睑线可以是指上眼睑和下眼睑的外侧轮廓，通常是眼睫毛所在的位置。上下眼睑线通常会在内侧眼角处和外侧眼角处交汇，内侧眼角通常是在眼睛内侧的尖端位置，外侧眼角通常是在眼睛外侧的尖端位置。
在一个可选示例中，本申请的眼睑线检测的技术方案所获得的眼睑线的检测结果可以应用于人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测以及人脸属性检测等诸多应用中，本申请不限制获得的眼睑线的检测结果具体应用场景。
下面结合图1至图5对本申请提供的眼睑线检测的技术方案以及训练用于眼睑线检测的神经网络的技术方案进行说明。
图1为本申请的眼睑线检测方法的一个示例性实施方式的流程图。如图1所示，该实施方式的方法包括：步骤S100、步骤S110以及步骤S120。下面对图1中的各步骤分别进行详细说明。
S100、检测图像的人脸关键点。
在一个可选示例中，本申请检测出的图像的人脸关键点通常包括：眼睛关键点。眼睛关键点通常包括下述至少之一：瞳孔关键点、眼眶关键点、眼睛中心关键点以及眼角关键点。本申请可以利用深度残差神经网络等深度神经网络来检测图像的人脸关键点，本申请不限制检测图像的人脸关键点的具体实现方式以及检测出的图像的人脸关键点的数量等。
S110、根据人脸关键点分割图像中的眼部区域图像。
在一个可选示例中，本申请可以从上述检测出的人脸关键点中获得眼睛关键点，并利用眼睛关键点确定出图像中的眼部区域，通过对图像中的眼部区域进行分割处理操作，可以获得图像中的眼部区域图像。该眼部区域图像通常为包含单眼的眼部区域图像；例如，通过分割处理操作获得图像中的左眼的眼部区域图像；再例如，通过分割处理操作获得图像中的右眼的眼部区域图像；再例如，通过分割处理操作获得图像中的左眼的眼部区域图像以及右眼的眼部区域图像。
S120、将眼部区域图像输入第一神经网络，并经第一神经网络输出用于表示眼部区域图像中的眼睑线的检测结果。
在一个可选示例中，本申请中的第一神经网络主要用于检测眼部区域图像中的眼睑线，第一神经网络输出的眼睑线的检测结果通常可以为：由单眼上眼睑处和/或下眼睑处预定数量的关键点表示的轨迹信息或拟合线，位于上眼睑处以及下眼睑处的关键点均可以称为眼睑线关键点。通常情况下，第一神经网络可以输出其检测到眼睑线关键点，第一神经网络输出的眼睑线关键点所表示的轨迹信息或拟合线即为眼睑线。第一神经网络的训练过程如下述图2的描述。
图2为本申请的训练用于眼睑线检测神经网络的方法的一个示例性实施方式的流程图。如图2所示，该实施方式的方法包括：步骤S200、步骤S210、步骤S220以及步骤S230。
S200、获取训练图像集中的图像样本中的眼睛图像块以及眼睛图像块的噪声图像块。
在一个可选示例中，本申请设置有样本数据集，该样本数据集通常包含有多个带有标注数据的图像样本。图像样本的标注数据可以包括：眼睑线信息。为图像样本标注的眼睑线信息也可以称为眼睑线标注数据。为图像样本所标注的眼睑线信息通常包括：眼睑处一定数量的关键点的编号、坐标信息等。位于眼睑处的关键点下述称为眼睑线关键点。
在一个可选示例中，图像样本中的单眼眼睑线关键点的数量可以为18-28个，例如，图像样本中的单眼眼睑线关键点的数量为22个，22个关键点中位于内眼角位置处的一个关键点可以称为内眼角关键点，22个关键点中的位于外眼角位置处的一个关键点可以称为外眼角关键点，22个单眼眼睑线关键点中除了内眼角关键点和外眼角关键点之外的10个关键点属于上眼睑关键点，另外10个关键点属于下眼睑关键点，本申请中的内眼角关键点可以属于上眼睑线关键点或者属于下眼睑线关键点，同样的，本申请中的外眼角关键点可以属于上眼睑线关键点或者属于下眼睑线关键点。
下面结合图3对本申请中的为图像样本标注眼睑线信息的一个可选例子进行说明。
图3为图像样本中右眼区域图像，对于右眼的上眼睑而言：首先，确定图像样本中的上眼睑线的曲线控制点，例如，三个或者四个或者五个曲线控制点；其次，根据上眼睑线的曲线控制点形成第一曲线；然后，采用插值方式在该第一曲线中插入10-15个点，例如，采用均匀插值方式在第一曲线中插入12个点，插入的这12个点可以为图3中的点12-点23，其中的点12位于外眼角处，点23位于内眼角处，点12-点23可以形成12个上眼睑线关键点。
对于图3中右眼的下眼睑而言：首先，确定图像样本中的下眼睑线的曲线控制点，例如，三个或者四个或者五个曲线控制点；其次，根据下眼睑线的曲线控制点形成第二曲线；然后，采用插值方式在该第二曲线中插入10-15个点，例如，采用均匀插值方式在第二曲线中插入12个点，插入的这12个点可以为图3中的点0-点11，其中的点0位于外眼角处，点11位于内眼角处，点0-点11可以形成12个下眼睑线关键点。
图3中的点0至点23一共为24个点，然而，由于点0和点12是重合点(即图3中的位于外眼角处的点)，且点11和点23是重合点(即图3中的位于内眼角处的点)，因此，本申请实际为该图像样本中的右眼形成了22个眼睑线关键点。本申请通过为22个眼睑线关键点进行顺序编号，并确定每一个眼睑线关键点在图像样本中的坐标信息，从而本申请可以为图像样本中的右眼标注出22个眼睑线关键点的标注数据。
需要特别说明的是，在为22个眼睑线关键点设置编号时，本申请可以根据图像样本中的所有人脸关键点的排列顺序为这22个眼睑线关键点设置编号，也可以仅根据22个眼睑线关键点的排列顺序设置编号。本申请不限制为图像样本中的眼睑线关键点设置编号的具体实现方式。另外，本申请在上述第一曲线和第二曲线所插入的点的数量可以根据实际需求确定，例如，可基于以下方式确定需要插入的点的数量：经插入的点所拟合形成的曲线(如第一曲线或者第二曲线)相对于图像样本中的眼睛的实际眼睑线的误差度，为由曲线控制点形成的曲线相对于图像样本中的眼睛的实际眼睑线的误差度的1/5-1/10。由此可知，本申请为图像样本所标注的眼睑线关键点的标注数据所表达出的形状，能够更接近实际的眼睛的眼睑线形状，从而利用带有这样的标注数据对第一神经网络进行训练，有利于提高第一神经网络提取眼睑线的检测结果的准确性。
在一个可选示例中，本申请可以将图像样本输入至第二神经网络中，由第二神经网络从该图像样本中提取出人脸关键点，本申请可以根据第二神经网络提取出的人脸关键点中的眼睛关键点(如人脸关键点中的左眼眼睛关键点或者右眼眼睛关键点)，确定出用于从该图像样本中切割眼睛图像块的切割位置，并根据该切割位置对图像样本进行切割，从而获得眼睛图像块。本申请中的眼睛图像块通常为单眼图像块。本申请中的第二神经网络可以为深度残差神经网络等深度神经网络。另外，本申请也可以采用其他方式获得眼睛图像块，例如，本申请可以获得图像样本标注数据中的人脸关键点中眼睛关键点(眼睛关键点例如是：瞳孔关键点、眼眶关键点、眼睛中心关键点以及眼角关键点中的至少一个)并据此来确定出用于从该图像样本中切割出眼睛图像块的切割位置，根据该切割位置对图像样本进行切割处理，从而获得眼睛图像块。本申请不限制从图像样本中获得眼睛图像块的具体实现方式。
在一个可选示例中，本申请可以针对眼睛图像块进行数据增强处理，以获得该眼睛图像块的噪声图像块。本申请所获取到的眼角图像块和噪声图像块的大小通常相同。本申请中的针对眼睛图像块进行数据增强处理可以认为是对眼睛图像块在图像样本中的切割位置/切割区域进行调整。
在一个可选示例中，本申请的数据增强处理可以包括：旋转处理、平移处理以及缩放处理中的至少一个。本申请中的旋转处理通常为小于预定角度的旋转处理。本申请中的平移处理通常为小于预定像素点的平移处理。另外，本申请中的平移处理可以具体为：在水平方向上的平移处理，也可以为在垂直方向上的平移处理，还可以同时为在水平方向上的平移处理以及在垂直方向上的平移处理。本申请中的缩放处理通常为小于预定缩放倍数的放大/缩小处理。上述预定角度通常为较小值，本申请可以根据实际需求设置预定角度的大小。上述预定像素点通常为较小值，本申请可以根据实际需求设置预定像素点的大小。上述预定缩放倍数通常为较小值，本申请可以根据实际需求设置预定缩放倍数的大小。
在一个可选示例中，本申请可以通过坐标变换矩阵获得噪声图像块，即利用眼睛图像块中的每一个像素点的坐标信息与坐标变换矩阵(如3×3的坐标变换矩阵A)相乘的方式，来获得眼睛图像块的噪声图像块。
上述对眼睛图像块进行数据增强处理从而获得噪声图像块的具体实现方式仅为例举，本申请还可以采用其他数据增强处理方式，以获得眼睛图像块的噪声图像块，例如，本申请可以通过调整眼睛图像块的色彩或者清晰程度等获得噪声图像块，本申请不限制获得眼睛图像块的噪声图像块的具体实现方式。
S210、将眼睛图像块和噪声图像块分别输入至第一神经网络，经第一神经网络提取眼睛图像块中的第一眼睑线关键点以及噪声图像块中的第二眼睑线关键点。
在一个可选示例中，本申请中的第一神经网络主要用于从输入图像中提取眼睑线关键点，该眼睑线关键点可以具体为：上眼睑线关键点和/或下眼睑线关键点。
一个可选的例子，在本申请将眼睛图像块输入至第一神经网络中的情况下，第一神经网络输出各上眼睑线关键点的编号、各上眼睑线关键点分别在眼睛图像块中的坐标信息、各下眼睑线关键点的编号以及各下眼睑线关键点分别在眼睛图像块中的坐标信息。在本申请将噪声图像块输入第一神经网络中的情况下，第一神经网络输出各上眼睑线关键点的编号、各上眼睑线关键点分别在噪声图像块中的坐标信息、各下眼睑线关键点的编号以及各下眼睑线关键点分别在眼睛图像块中的坐标信息。
本申请中的第一神经网络可以为包含有多个卷积层、池化层以及激活函数层的深度神经网络(例如，深度残差神经网络)等。本申请不限制第一神经网络的具体表现形式。
S220、根据第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息。
在一个可选示例中，本申请可以根据第一眼睑线关键点和第二眼睑线关键点各自的关键点编号以及关键点坐标信息，针对具有相同关键点编号的每一组眼睑线关键点分别计算眼睑线关键点之间的漂移向量，本申请中的第一漂移信息通常包括计算出的所有组的漂移向量。
在一个可选示例中，本申请可以首先基于预定坐标系对第一眼睑线关键点的关键点坐标信息和/或第二眼睑线关键点的关键点坐标信息进行坐标变换，使第一眼睑线关键点和第二眼睑线关键点位于同一坐标系中，然后，再在该预定坐标系中计算具有相同关键点编号的至少一组(如所有组)眼睑线关键点之间的漂移向量。本申请中的一组眼睑线关键点通常包括：一个第一眼睑线关键点和一个第二眼睑线关键点。本申请中的预定坐标系可以为眼睛图像块的坐标系，也可以为噪声图像块的坐标系。当然，本申请也不排除预定坐标系为除了眼睛图像块的坐标系和噪声图像块的坐标系之外的第三方坐标系的可能性。
在一个可选示例中，在本申请采用坐标变换矩阵(如3×3的坐标变换矩阵A)的方式来获得眼睛图像块的噪声图像块的情况下，本申请可以采用坐标逆变换矩阵的方式将第二眼睑线关键点的关键点坐标信息变换到眼睛图像块的坐标系中，即利用第二眼睑线关键点的每一个关键点坐标信息眼睛图像块中的每一个像素点与坐标逆变换矩阵(如上述3×3的坐标变换矩阵A的逆矩阵B)相乘的方式，将第二眼睑线关键点的每一个关键点坐标信息分别变换为基于眼睛图像块的坐标系的关键点坐标信息。
一个可选的例子，设定第一眼睑线关键点具体为：0编号以及0编号的眼睑线关键点在眼睛图像块中的坐标信息(x0，y0)、1编号以及1编号的眼睑线关键点在眼睛图像块中的坐标信息(x1，y1)、……、21编号以及21编号的眼睑线关键点在眼睛图像块中的坐标信息(x21，y21)；设定第二眼睑线关键点具体为：0编号以及0编号的眼睑线关键点在噪声图像块中的坐标信息(x0′，y0′)、1编号以及1编号的眼睑线关键点在眼睛图像块中的坐标信息(x1′，y1′)、……、21编号以及21编号的眼睑线关键点在眼睛图像块中的坐标信息(x21′，y21′)；在该设定条件下，本申请可以将(x0′，y0′)、(x1′，y1′)、……以及(x21′，y21′)分别与坐标逆变换矩阵相乘，从而将(x0′，y0′)、(x1′，y1′)、……以及(x21′，y21′)分别转换为基于眼睛图像块坐标系中的(x0″，y0″)、(x1″，y1″)、……以及(x21″，y21″)，然后，计算(x0，y0)与(x0″，y0″)之间的漂移向量(Δx0，Δy0)，计算(x1，y1)与(x1″，y1″)之间的漂移向量(Δx1，Δy1)，……，计算(x21，y21)与(x21″，y21″)之间的漂移向量(Δx21，Δy21)，从而本申请可以利用计算获得的(Δx0，Δy0)、(Δx1，Δy1)、……以及(Δx21，Δy21)形成第一漂移信息。
S230、至少以第一漂移信息为监督信息，对第一神经网络进行监督学习。
在一个可选示例中，本申请可以以第一漂移信息为监督信息，经L1损失函数对第一神经网络进行监督学习，本申请不限制L1损失函数的具体表现形式。
在基于第一神经网络输出的第一眼睑线关键点和第二眼睑线关键点获得的第一漂移信息满足第一预定要求(如第一漂移信息足够小)的情况下，可以表示出第一神经网络针对眼睛图像块而输出的第一眼睑线关键点的坐标信息与第一神经网络针对噪声图像块而输出的第二眼睑线关键点的坐标信息已经足够接近，从而表示出第一神经网络的抗干扰能力已经可以满足实际需求。
在一个可选示例中，本申请通常可以在基于第一漂移信息对第一神经网络进行训练的同时，根据基于图像样本的标注数据中的眼睑线关键点和上述第一眼睑线关键点计算眼睑线关键点的第二漂移信息，并基于第二漂移信息，经L1损失函数对第一神经网络进行监督学习。
在一个可选示例中，本申请可以首先基于预定坐标系对图像样本的标注数据中的眼睑线关键点(下述称为第三眼睑线关键点)的关键点坐标信息和/或第一眼睑线关键点的关键点坐标信息进行坐标映射，使第一眼睑线关键点和第三眼睑线关键点位于同一坐标系中，然后，再在该预定坐标系中，计算具有相同关键点编号的至少一组(如所有组)眼睑线关键点之间的漂移向量。这里的一组眼睑线关键点通常包括：一个第一眼睑线关键点和一个第三眼睑线关键点。本申请中的预定坐标系可以为眼睛图像块的坐标系，也可以为图像样本的坐标系。当然，本申请也不排除预定坐标系为除了眼睛图像块的坐标系和图像样本的坐标系之外的第三方坐标系的可能性。
在一个可选示例中，本申请可以对图像样本的第三眼睑线关键点的关键点编号以及坐标信息进行映射处理，从而使第三眼睑线关键点的关键点编号与第一眼睑线关键点的关键点编号相同，并使第三眼睑线关键点的关键点坐标信息转换为基于眼睛图像块的坐标系的坐标信息；例如，如果图像样本的标注数据中的右眼的内眼角关键点的编号为142，坐标信息为(x″′142，y″′142)，则可以将该内眼角关键点的编号142转换为编号11，并可以将该内眼角关键点在图像样本中的坐标信息映射到眼睛图像块中，从而将(x″′142，y″′142)转换为(x″″11，y″″11)
本申请可以根据映射处理后的第三眼睑线关键点和第一眼睑线关键点各自的关键点编号以及关键点坐标信息，针对具有相同关键点编号的每一组眼睑线关键点分别计算眼睑线关键点之间的漂移向量，本申请中的第二漂移信息通常包括计算出的所有组的漂移向量。
一个可选的例子，设定第一眼睑线关键点具体为：0编号以及0编号的眼睑线关键点在眼睛图像块中的坐标信息(x0，y0)、1编号以及1编号的眼睑线关键点在眼睛图像块中的坐标信息(x1，y1)、……、21编号以及21编号的眼睑线关键点在眼睛图像块中的坐标信息(x21，y21)；设定映射处理后获得的第三眼睑线关键点具体为：0编号以及0编号的眼睑线关键点在眼睛图像块中的坐标信息(x0″″，y0″″)、1编号以及1编号的眼睑线关键点在眼睛图像块中的坐标信息(x1″″，y1″″)、……、21编号以及21编号的眼睑线关键点在眼睛图像块中的坐标信息(x21″″，y21″″)；在该设定条件下，本申请可以计算(x0，y0)与(x0″″，y0″″)之间的漂移向量(Δx′0，Δy′0)，计算(x1，y1)与(x1″″，y1″″)之间的漂移向量(Δx′1，Δy′1)，……，计算(x21，y21)与(x21″″，y21″″)之间的漂移向量(Δx′21，Δy′21)，从而本申请可以利用计算获得的(Δx′0，Δy′0)、(Δx′1，Δy′1)、……以及(Δx′21，Δy′21)形成第二漂移信息。
在基于第一神经网络输出的第一眼睑线关键点和第二眼睑线关键点获得的第一漂移信息满足第一预定要求(如第一漂移信息足够小)，且基于第三眼睑线关键点以及第一神经网络输出的第一眼睑线关键点获得的第二漂移信息满足第二预定要求(如第二漂移信息足够小)的情况下，可以表示出第一神经网络针对眼睛图像块而输出的第一眼睑线关键点的坐标信息、图像样本的标注数据中的眼睑线关键点的坐标信息以及第一神经网络针对噪声图像块而输出的第二眼睑线关键点的坐标信息，这三者已经足够接近，从而可以表示出第一神经网络在存在干扰的情况下，其从眼睛图像块提取出的眼睑线关键点的准确程度已经可以满足实际需求。
图4为本申请的眼睑线检测装置的一个实施例的结构示意图。如图4所示，该实施例的眼睑线检测装置主要包括：检测关键点模块400、图像分割模块410以及眼睑线检测模块420。可选的，该实施例的眼睑线检测装置还可以包括：训练用于眼睑线检测的神经网络的装置430，该训练用于眼睑线检测的神经网络的装置430的具体结构如图5所示。
检测关键点模块400主要用于检测图像的人脸关键点。
在一个可选示例中，检测关键点模块400检测出的图像的人脸关键点通常包括：眼睛关键点。眼睛关键点通常包括下述至少之一：瞳孔关键点、眼眶关键点、眼睛中心关键点以及眼角关键点。检测关键点模块400可以利用深度残差神经网络等深度神经网络来检测图像的人脸关键点，本申请不限制检测关键点模块400检测图像的人脸关键点的具体实现方式以及检测关键点模块400检测出的图像的人脸关键点的数量等。
图像分割模块410主要用于根据人脸关键点分割图像中的眼部区域图像。
在一个可选示例中，图像分割模块410可以从检测关键点模块400检测出的人脸关键点中获得眼睛关键点，并利用眼睛关键点确定出图像中的眼部区域，检测关键点模块400通过对图像中的眼部区域进行分割处理操作，可以获得图像中的眼部区域图像。该眼部区域图像通常为包含单眼的眼部区域图像；例如，检测关键点模块400通过分割处理操作获得图像中的左眼的眼部区域图像；再例如，检测关键点模块400通过分割处理操作获得图像中的右眼的眼部区域图像；再例如，检测关键点模块400通过分割处理操作获得图像中的左眼的眼部区域图像以及右眼的眼部区域图像。
眼睑线检测模块420主要用于将眼部区域图像输入第一神经网络，并经第一神经网络输出用于表示眼部区域图像中的眼睑线的检测结果。
在一个可选示例中，本申请中的第一神经网络主要用于检测眼部区域图像中的眼睑线，眼睑线检测模块420通过第一神经网络获得的眼睑线的检测结果通常可以为：由单眼上眼睑处和/或下眼睑处预定数量的关键点表示的轨迹信息或拟合线，位于上眼睑处以及下眼睑处的关键点均可以称为眼睑线关键点。通常情况下，眼睑线检测模块420通过第一神经网络可以获得眼睑线关键点，眼睑线检测模块420通过第一神经网络获得的眼睑线关键点所表示的轨迹信息或拟合线即为眼睑线。
图5所示的训练用于眼睑线检测的神经网络的装置430主要包括：获取图像块模块431、提取关键点模块432、第一计算模块433以及监督学习模块434。可选的，训练用于眼睑线检测的神经网络的装置430还可以包括：第二计算模块435以及标注模块436。
获取图像块模块431主要用于获取训练图像集中的图像样本中的眼睛图像块以及眼睛图像块的噪声图像块。获取图像块模块431具体执行的操作如上述方法实施例中针对S200的描述，在此不再重复说明。
提取关键点模块432主要用于将眼睛图像块和噪声图像块分别输入至第一神经网络，经第一神经网络提取眼睛图像块中的第一眼睑线关键点以及噪声图像块中的第二眼睑线关键点。提取关键点模块432具体执行的操作如上述方法实施例中针对S210的描述，在此不再重复说明。
第一计算模块433主要用于根据第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息。第一计算模块433具体执行的操作如上述方法实施例中针对S220的描述，在此不再重复说明。
监督学习模块434主要用于至少以第一漂移信息为监督信息，对第一神经网络进行监督学习。监督学习模块434具体执行的操作如上述方法实施例中针对S230的描述，在此不再重复说明。
第二计算模块435主要用于根据第一眼睑线关键点和基于图像样本的眼睑线的标注数据形成的眼睛图像块的第三眼睑线关键点各自的关键点编号以及关键点坐标信息，计算具有相同关键点编号的至少一组(如每一组)眼睑线关键点之间的漂移向量，且所有组的漂移向量形成第二漂移信息。在该情况下，监督学习模块434具体用于以第一漂移信息和第二漂移信息为监督信息，对第一神经网络进行监督学习。第二计算模块435以及监督学习模块434具体执行的操作如上述方法实施例中的S230中与第二漂移信息相关的描述，在此不再重复说明。
标注模块436主要用于确定眼睑线的曲线控制点，根据曲线控制点形成第一曲线，采用插值方式在该第一曲线中插入多个点，插入的点的信息为眼睑线的标注数据。标注模块436具体执行的操作如上述方法实施例中针对图3的描述，在此不再重复说明。
示例性设备
图6示出了适于实现本申请的示例性设备600，设备600可以是移动终端(例如，智能移动电话等)、个人计算机(PC，例如，台式计算机或者笔记型计算机等)、平板电脑以及服务器等。图6中，设备600包括一个或者多个处理器、通信部等，所述一个或者多个处理器可以为：一个或者多个中央处理单元(CPU)601，和/或，一个或者多个图像处理器(GPU)613等，处理器可以根据存储在只读存储器(ROM)602中的可执行指令或者从存储部分608加载到随机访问存储器(RAM)603中的可执行指令而执行各种适当的动作和处理。通信部612可以包括但不限于网卡，所述网卡可以包括但不限于IB(Infiniband)网卡。处理器可与只读存储器602和/或随机访问存储器630中通信以执行可执行指令，通过总线604与通信部612相连、并经通信部612与其他目标设备通信，从而完成本申请方法实施例中的相应步骤。
在一个可选的示例中，处理器所执行的步骤主要包括：检测图像的人脸关键点；根据人脸关键点分割图像中的眼部区域图像；将眼部区域图像输入第一神经网络，并经第一神经网络输出用于表示眼部区域图像中的眼睑线的检测结果。
在一个可选的示例中，处理器所执行的步骤主要包括：获取图像样本中的眼睛图像块以及所述眼睛图像块的噪声图像块；将所述眼睛图像块和噪声图像块分别输入至第一神经网络，经所述第一神经网络提取所述眼睛图像块中的第一眼睑线关键点以及所述噪声图像块中的第二眼睑线关键点；根据所述第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息；基于所述第一漂移信息经损失函数对所述第一神经网络进行监督学习。
此外，在RAM 603中，还可以存储有装置操作所需的各种程序以及数据。CPU601、ROM602以及RAM603通过总线604彼此相连。在有RAM603的情况下，ROM602为可选模块。RAM603存储可执行指令，或在运行时向ROM602中写入可执行指令，可执行指令使中央处理单元601执行上述方法实施例所包括的步骤。输入/输出(I/O)接口605也连接至总线604。通信部612可以集成设置，也可以设置为具有多个子模块(例如，多个IB网卡)，并分别与总线连接。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装在存储部分608中。
需要特别说明的是，如图6所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图6的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如，GPU和CPU可分离设置，再如理，可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上等。这些可替换的实施方式均落入本申请的保护范围。
特别地，根据本申请的实施方式，下文参考流程图描述的过程可以被实现为计算机软件程序，例如，本申请实施方式包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的步骤的程序代码，程序代码可包括对应执行本申请方法实施例提供的步骤对应的指令，例如，用于检测图像的人脸关键点的指令；用于根据人脸关键点分割图像中的眼部区域图像的指令；用于将眼部区域图像输入第一神经网络，并经第一神经网络输出用于表示眼部区域图像中的眼睑线的检测结果的指令；再例如，用于获取图像样本中的眼睛图像块以及所述眼睛图像块的噪声图像块的指令；用于将所述眼睛图像块和噪声图像块分别输入至第一神经网络，经所述第一神经网络提取所述眼睛图像块中的第一眼睑线关键点以及所述噪声图像块中的第二眼睑线关键点的指令；用于根据所述第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息的指令；用于基于所述第一漂移信息经损失函数对所述第一神经网络进行监督学习的指令。
在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载及安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请中记载的上述指令。
示例性应用场景
参考图7，示意性地示出了根据本申请实施方式的可以在其中实现的一个应用场景。
图7中，神经网络700可以为用于从输入图像中提取眼睑线检测结果(如眼睑线关键点)的神经网络(例如，深度残差神经网络等)，用于训练神经网络700的样本数据集至少包括Z个图像样本，即至少包括图像样本1、图像样本2、……以及图像样本Z。每一个图像样本均具有标注数据，该标注数据可以包括：标注出的眼睑线关键点。在基于样本数据集中的多个图像样本利用本申请的上述技术方案对神经网络700进行训练后，可以方便快捷的使神经网络700学习到屏蔽干扰的能力，从而有利于提高神经网络700的稳定性，进而有利于提高神经网络700在干扰环境中获得眼睑线检测结果的准确性。
然而，本领域技术人员完全可以理解，本申请实施方式的适用场景不受到该框架任何方面的限制。
可能以许多方式来实现本申请的方法和装置、电子设备以及计算机可读存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、电子设备以及计算机可读存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施方式中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施方式是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施方式。

Claims (10)

1.一种眼睑线检测方法，其特征在于，所述方法包括：
检测图像的人脸关键点；
根据所述人脸关键点分割所述图像中的眼部区域图像；
将所述眼部区域图像输入第一神经网络，并经所述第一神经网络输出用于表示所述眼部区域图像中的眼睑线的检测结果；
其中，所述第一神经网络基于训练图像集预先训练完成。
2.根据权利要求1所述的眼睑线检测方法，其特征在于，所述人脸关键点包括：眼睛关键点，所述眼睛关键点包括以下至少之一：瞳孔关键点、眼眶关键点、眼睛中心关键点、眼角关键点；
所述根据所述人脸关键点分割所述图像中的眼部区域图像，包括：
根据所述眼睛关键点分割所述图像中的眼部区域图像。
3.根据权利要求1或2所述的眼睑线检测方法，其特征在于，所述用于表示所述眼部区域图像中的眼睑线的检测结果包括：由单眼上眼睑处或下眼睑处预定数量的关键点表示的轨迹信息或拟合线。
4.根据权利要求1-3中任一项所述的眼睑线检测方法，其特征在于，所述第一神经网络的训练方法包括：
获取训练图像集中的图像样本中的眼睛图像块以及所述眼睛图像块的噪声图像块；
将所述眼睛图像块和噪声图像块分别输入至第一神经网络，经所述第一神经网络提取所述眼睛图像块中的第一眼睑线关键点以及所述噪声图像块中的第二眼睑线关键点；
根据所述第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息；
至少以所述第一漂移信息为监督信息，对所述第一神经网络进行监督学习。
5.根据权利要求4所述的眼睑线检测方法，其特征在于，所述眼睛图像块的噪声图像块的获取方式包括：
针对所述眼睛图像块进行数据增强处理，以获得所述眼睛图像块的噪声图像块。
6.一种训练用于眼睑线检测的神经网络的方法，其特征在于，包括：
获取训练图像集中的图像样本中的眼睛图像块以及所述眼睛图像块的噪声图像块；
将所述眼睛图像块和噪声图像块分别输入至第一神经网络，经所述第一神经网络提取所述眼睛图像块中的第一眼睑线关键点以及所述噪声图像块中的第二眼睑线关键点；
根据所述第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息；
至少以所述第一漂移信息为监督信息，对所述第一神经网络进行监督学习。
7.一种眼睑线检测装置，其特征在于，包括：
检测关键点模块，用于检测图像的人脸关键点；
图像分割模块，用于根据所述人脸关键点分割所述图像中的眼部区域图像；
眼睑线检测模块，用于将所述眼部区域图像输入第一神经网络，并经所述第一神经网络输出用于表示所述眼部区域图像中的眼睑线的检测结果；
其中，所述第一神经网络基于训练图像集预先训练完成。
8.一种训练用于眼睑线检测的神经网络的装置，其特征在于，包括：
获取图像块模块，用于获取训练图像集中的图像样本中的眼睛图像块以及所述眼睛图像块的噪声图像块；
提取关键点模块，用于将所述眼睛图像块和噪声图像块分别输入至第一神经网络，经所述第一神经网络提取所述眼睛图像块中的第一眼睑线关键点以及所述噪声图像块中的第二眼睑线关键点；
第一计算模块，用于根据所述第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息；
监督学习模块，用于至少以所述第一漂移信息为监督信息，对所述第一神经网络进行监督学习。
9.一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，计算机程序中的相应指令被运行，以实现上述权利要求1-6中任一项所述的方法中的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求1-6中任一项所述的方法。
CN201711071063.6A 2017-11-03 2017-11-03 眼睑线检测方法、装置和电子设备 Active CN108229301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711071063.6A CN108229301B (zh) 2017-11-03 2017-11-03 眼睑线检测方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711071063.6A CN108229301B (zh) 2017-11-03 2017-11-03 眼睑线检测方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN108229301A true CN108229301A (zh) 2018-06-29
CN108229301B CN108229301B (zh) 2020-10-09

Family

ID=62655027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711071063.6A Active CN108229301B (zh) 2017-11-03 2017-11-03 眼睑线检测方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN108229301B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087310A (zh) * 2018-07-24 2018-12-25 深圳大学 睑板腺纹理区域的分割方法、系统、存储介质及智能终端
CN109086719A (zh) * 2018-08-03 2018-12-25 北京字节跳动网络技术有限公司 用于输出数据的方法和装置
CN109858466A (zh) * 2019-03-01 2019-06-07 北京视甄智能科技有限公司 一种基于卷积神经网络的人脸关键点检测方法及装置
CN109886107A (zh) * 2019-01-15 2019-06-14 北京奇艺世纪科技有限公司 眼部图像处理方法、设备、图像处理设备、介质
CN110555426A (zh) * 2019-09-11 2019-12-10 北京儒博科技有限公司 视线检测方法、装置、设备及存储介质
CN110956071A (zh) * 2019-06-21 2020-04-03 初速度（苏州）科技有限公司 眼部关键点的标注及其检测模型的训练方法和装置
CN111476151A (zh) * 2020-04-03 2020-07-31 广州市百果园信息技术有限公司 眼球检测方法、装置、设备及存储介质
CN113221599A (zh) * 2020-01-21 2021-08-06 初速度（苏州）科技有限公司 一种眼睑曲线的构建方法及装置
CN113468933A (zh) * 2020-04-28 2021-10-01 海信集团有限公司 一种眼型识别方法及智能设备
WO2024139110A1 (zh) * 2022-12-27 2024-07-04 上海哔哩哔哩科技有限公司 关键点位置调整方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692980A (zh) * 2009-10-30 2010-04-14 吴泽俊 疲劳驾驶检测方法
CN104036299A (zh) * 2014-06-10 2014-09-10 电子科技大学 一种基于局部纹理aam的人眼轮廓跟踪方法
CN104268591A (zh) * 2014-09-19 2015-01-07 海信集团有限公司 一种面部关键点检测方法及装置
CN106650688A (zh) * 2016-12-30 2017-05-10 公安海警学院 基于卷积神经网络的眼部特征检测方法，装置及识别系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692980A (zh) * 2009-10-30 2010-04-14 吴泽俊 疲劳驾驶检测方法
CN104036299A (zh) * 2014-06-10 2014-09-10 电子科技大学 一种基于局部纹理aam的人眼轮廓跟踪方法
CN104268591A (zh) * 2014-09-19 2015-01-07 海信集团有限公司 一种面部关键点检测方法及装置
CN106650688A (zh) * 2016-12-30 2017-05-10 公安海警学院 基于卷积神经网络的眼部特征检测方法，装置及识别系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ERJIN ZHOU等: "Extensive Facial Landmark Localization with Coarse-to-Fine Convolutional Network Cascade", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087310A (zh) * 2018-07-24 2018-12-25 深圳大学 睑板腺纹理区域的分割方法、系统、存储介质及智能终端
CN109087310B (zh) * 2018-07-24 2022-07-12 深圳大学 睑板腺纹理区域的分割方法、系统、存储介质及智能终端
CN109086719A (zh) * 2018-08-03 2018-12-25 北京字节跳动网络技术有限公司 用于输出数据的方法和装置
WO2020024484A1 (zh) * 2018-08-03 2020-02-06 北京字节跳动网络技术有限公司 用于输出数据的方法和装置
US11436863B2 (en) 2018-08-03 2022-09-06 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for outputting data
CN109886107A (zh) * 2019-01-15 2019-06-14 北京奇艺世纪科技有限公司 眼部图像处理方法、设备、图像处理设备、介质
CN109858466A (zh) * 2019-03-01 2019-06-07 北京视甄智能科技有限公司 一种基于卷积神经网络的人脸关键点检测方法及装置
CN110956071B (zh) * 2019-06-21 2022-06-03 魔门塔(苏州)科技有限公司 眼部关键点的标注及其检测模型的训练方法和装置
CN110956071A (zh) * 2019-06-21 2020-04-03 初速度（苏州）科技有限公司 眼部关键点的标注及其检测模型的训练方法和装置
CN110555426A (zh) * 2019-09-11 2019-12-10 北京儒博科技有限公司 视线检测方法、装置、设备及存储介质
CN113221599A (zh) * 2020-01-21 2021-08-06 初速度（苏州）科技有限公司 一种眼睑曲线的构建方法及装置
CN113221599B (zh) * 2020-01-21 2022-06-10 魔门塔(苏州)科技有限公司 一种眼睑曲线的构建方法及装置
WO2021197466A1 (zh) * 2020-04-03 2021-10-07 百果园技术(新加坡)有限公司 眼球检测方法、装置、设备及存储介质
CN111476151A (zh) * 2020-04-03 2020-07-31 广州市百果园信息技术有限公司 眼球检测方法、装置、设备及存储介质
CN111476151B (zh) * 2020-04-03 2023-02-03 广州市百果园信息技术有限公司 眼球检测方法、装置、设备及存储介质
CN113468933A (zh) * 2020-04-28 2021-10-01 海信集团有限公司 一种眼型识别方法及智能设备
WO2024139110A1 (zh) * 2022-12-27 2024-07-04 上海哔哩哔哩科技有限公司 关键点位置调整方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN108229301B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN108229301A (zh) 眼睑线检测方法、装置和电子设备
US20210192758A1 (en) Image processing method and apparatus, electronic device, and computer readable storage medium
CN108229296A (zh) 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN105184249B (zh) 用于人脸图像处理的方法和装置
CN109960986A (zh) 人脸姿态分析方法、装置、设备、存储介质以及程序
Fang et al. Bottom-up saliency detection model based on human visual sensitivity and amplitude spectrum
WO2020062523A1 (zh) 注视点判断方法和装置、电子设备和计算机存储介质
CN108133220A (zh) 模型训练、关键点定位及图像处理方法、系统及电子设备
CN109960974A (zh) 人脸关键点检测方法、装置、电子设备及存储介质
CN109191476A (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN108229293A (zh) 人脸图像处理方法、装置和电子设备
CN111292362A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN106777953A (zh) 医学影像数据的分析方法及系统
CN108229532A (zh) 图像识别方法、装置和电子设备
CN111242933B (zh) 视网膜图像动静脉的分类装置、设备及存储介质
CN106295591A (zh) 基于人脸图像的性别识别方法及装置
US11848098B2 (en) Identifying anomalous brain data
CN108734078A (zh) 图像处理方法、装置、电子设备、存储介质及程序
CN110781976B (zh) 训练图像的扩充方法、训练方法及相关装置
CN107516316A (zh) 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法
CN105593896B (zh) 图像处理装置、图像显示装置、图像处理方法
CN104182723B (zh) 一种视线估计的方法和装置
US11037296B1 (en) Deriving target data from selected brain data
CN110210319A (zh) 计算机设备、舌体照片体质识别装置及存储介质
CN108229305A (zh) 用于确定目标对象的外接框的方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant