CN110363135A - 人眼闭合程度的确定方法、眼睛控制方法和装置 - Google Patents

人眼闭合程度的确定方法、眼睛控制方法和装置 Download PDF

Info

Publication number
CN110363135A
CN110363135A CN201910621637.5A CN201910621637A CN110363135A CN 110363135 A CN110363135 A CN 110363135A CN 201910621637 A CN201910621637 A CN 201910621637A CN 110363135 A CN110363135 A CN 110363135A
Authority
CN
China
Prior art keywords
eye
human eye
key point
relative amplitudes
range value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910621637.5A
Other languages
English (en)
Other versions
CN110363135B (zh
Inventor
章菲倩
刘更代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Singapore Pte Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN201910621637.5A priority Critical patent/CN110363135B/zh
Publication of CN110363135A publication Critical patent/CN110363135A/zh
Priority to PCT/CN2020/098066 priority patent/WO2021004285A1/zh
Priority to US17/625,947 priority patent/US11775059B2/en
Application granted granted Critical
Publication of CN110363135B publication Critical patent/CN110363135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Abstract

本发明实施例公开了一种人眼闭合程度的确定方法、眼睛控制方法、装置、设备和存储介质，人眼闭合程度的确定方法包括：获取人脸图像，在人脸图像中确定人眼张开幅度值和参考距离，计算人眼张开幅度值相对于参考距离的相对幅度值，基于相对幅度值和最大相对幅度值计算人脸图像中人眼的闭眼权重，闭眼权重用于度量人眼的闭合程度。由于根据人眼张开幅度值和参考距离确定相对幅度值，并基于相对幅度值和最大相对幅度值计算闭眼权重以度量人眼的闭合程度，解决了人眼检测无法度量人眼闭合程度的问题，采用人眼的闭合权重进行相关的应用控制时，能够根据人眼的闭合程度进行相关应用控制，使得人眼检测适用于根据人眼的闭合程度进行相关应用控制的场景。

Description

人眼闭合程度的确定方法、眼睛控制方法和装置
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种人眼闭合程度的确定方法、眼睛控制方法、人眼闭合程度的确定装置、眼睛控制装置、设备和存储介质。
背景技术
随着智能终端的日渐普及，自拍、短视频、直播等娱乐应用程序得到广泛应用，在上述娱乐应用程序的使用过程中，通过拍摄者的眼睛动作进行相关的应用控制也变得越来越流行。
眨眼是眼睛的动作之一，眨眼动作可以用于控制脸部模型眨眼，还可以通过眨眼触发相关指令以执行相应的操作。然而，现有技术中，对眨眼动作进行检测的一种方式是针对眨眼动作的识别，即识别睁眼和闭眼两个节点状态以确定是否存在眨眼动作，在另一种方式中，通过对视频数据中的人脸表情进行检测与跟踪，并将人类表情迁移到不同人脸上，其同样可以检测人脸的眨眼。
上述两种方式虽然可以进行眨眼检测，但未对人眼眨眼过程中的人眼的闭合程度进行度量，导致眨眼检测无法适用于根据人眼的闭合程度实现相关的应用控制场景。
发明内容
本发明实施例提供一种人眼闭合程度的确定方法、眼睛控制方法、人眼闭合程度的确定装置、眼睛控制装置、设备和存储介质，以解决人眼眨眼动作的检测无法适用于根据人眼的闭合程度实现相关的应用控制场景的问题。
第一方面，本发明实施例提供了一种人眼闭合程度的确定方法，包括：
获取人脸图像；
在所述人脸图像中确定人眼张开幅度值和参考距离；
计算所述人眼张开幅度值相对于所述参考距离的相对幅度值；
获取最大相对幅度值；
基于所述相对幅度值和所述最大相对幅度值计算所述人脸图像中人眼的闭眼权重，所述闭眼权重用于度量人眼的闭合程度。
第二方面，本发明实施例提供了一种眼睛控制方法，包括：
获取人脸图像和脸部模型；
获取人脸图像中人眼的闭眼权重，所述闭眼权重用于度量人眼的闭合程度；
基于所述闭眼权重对所述脸部模型中的眼睛进行控制；
其中，所述闭眼权重通过本发明任一实施例所述的人眼闭合程度的确定方法所确定。
第三方面，本发明实施例提供了一种眼睛控制方法，包括：
播放视频数据，所述视频数据中具有多帧图像数据，所述图像数据中具有人脸图像；
显示脸部模型，以覆盖所述人脸图像；
在每帧所述人脸图像中，确定人眼张开幅度值和参考距离；
计算所述人眼张开幅度值相对于所述参考距离的相对幅度值；
获取最大相对幅度值；
基于所述相对幅度值和所述最大相对幅度值计算所述人脸图像中人眼的闭眼权重；
基于所述闭眼权重驱动所述脸部模型中的眼睛进行眨眼。
第四方面，本发明实施例提供了一种人眼闭合程度的确定装置，包括：
人脸图像获取模块，用于获取人脸图像；
人脸数据确定模块，用于在所述人脸图像中确定人眼张开幅度值和参考距离；
相对幅度值计算模块，用于计算所述人眼张开幅度值相对于所述参考距离的相对幅度值；
最大相对幅度值获取模块，用于获取最大相对幅度值；
闭眼权重计算模块，用于基于所述相对幅度值和所述最大相对幅度值计算所述人脸图像中人眼的闭眼权重，所述闭眼权重用于度量人眼的闭合程度。
第五方面，本发明实施例提供了一种眼睛控制装置，包括：
获取人脸图像和脸部模型获取模块，用于人脸图像和脸部模型；
闭眼权重获取模块，用于获取人脸图像中人眼的闭眼权重，所述闭眼权重用于度量人眼的闭合程度；
眼睛控制模块，用于基于所述闭眼权重对所述脸部模型中的眼睛进行控制；
其中，所述闭眼权重通过本发明任一实施例所述的人眼闭合程度的确定装置所确定。
第六方面，本发明实施例提供了一种眼睛控制装置，包括：
播放模块，用于播放视频数据，所述视频数据中具有多帧图像数据，所述图像数据中具有人脸图像；
脸部模型显示模块，用于显示脸部模型，以覆盖所述人脸图像；
人脸数据确定模块，用于在每帧所述人脸图像中，确定人眼张开幅度值和参考距离；
相对幅度值计算模块，用于计算所述人眼张开幅度值相对于所述参考距离的相对幅度值；
最大相对幅度值获取模块，用于获取最大相对幅度值；
闭眼权重计算模块，用于基于所述相对幅度值和所述最大相对幅度值计算所述人脸图像中人眼的闭眼权重；
模型驱动模块，用于基于所述闭眼权重驱动所述脸部模型中的眼睛进行眨眼。
第七方面，本发明实施例提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的人眼闭合程度的确定方法和/或眼睛控制方法。
第八方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例所述的人眼闭合程度的确定方法和/或眼睛控制方法。
本发明实施例在获取人脸图像后，在人脸图像中确定人眼张开幅度值和参考距离，并计算人眼张开幅度值相对于参考距离的相对幅度值，在获取最大相对幅度值后，基于相对幅度值和最大相对幅度值计算人脸图像中人眼的闭眼权重。由于根据人眼张开幅度值和参考距离确定相对幅度值，并基于相对幅度值和最大相对幅度值计算人眼的闭眼权重以度量人眼的闭合程度，解决了人眼检测无法度量人眼闭合程度的问题，采用人眼的闭合权重进行相关的应用控制时，能够根据人眼的闭合程度进行相关应用控制，使得人眼检测适用于根据人眼的闭合程度进行相关应用控制的场景。
附图说明
图1是本发明实施例一提供的一种人眼闭合程度的确定方法的流程图；
图2A是本发明实施例二提供的一种人眼闭合程度的确定方法的流程图；
图2B是本发明实施例中人脸关键点的示意图；
图3是本发明实施例三提供的一种眼睛控制方法的流程图；
图4A是本发明实施例四提供的一种眼睛控制方法的流程图；
图4B是本发明实施例中脸部模型的眨眼效果的示意图；
图5是本发明实施例五提供的一种人眼闭眼程度的确定装置的结构框图；
图6是本发明实施例六提供的一种眼睛控制装置的结构框图；
图7是本发明实施例七提供的一种眼睛控制装置的结构框图；
图8是本发明实施例八提供的一种设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种人眼闭合程度的确定方法的流程图，本发明实施例可适用于确定人眼闭合程度的情况，该方法可以由人眼闭合程度的确定装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，具体地，如图1所示，该方法可以包括如下步骤：
S101、获取人脸图像。
在本发明实施例中，人脸图像可以是用户通过设置有摄像头的终端进行自拍、拍摄短视频或者直播时，摄像头采集到的用户的脸部图像，例如，在用户自拍时，摄像头实时采集图像并在终端的显示屏显示预览图像，则可以获取当前预览图像中的用户的人脸图像，又或者用户拍摄短视频或者直播时，则可以获取视频数据中的当前视频帧中的用户的人脸图像。当然，人脸图像还可以是预先存储在终端中的人脸图像，或者播放视频数据时视频帧中的人脸图像，本发明实施例对获取人脸图像的方式不加以限制。
S102、在所述人脸图像中确定人眼张开幅度值和参考距离。
具体地，在获取人脸图像后，可以对人脸图像进行人脸关键点检测，获取到人脸关键点，从人脸关键点确定人眼关键点和参考关键点，然后根据人眼关键点确定人眼张开幅度值，该人眼张开幅度值表达了人眼图像中人眼的张开幅度。参考关键点可以是人脸上较为固定的人脸特征的关键点，例如，人脸上鼻子是固定不变的，则可以将鼻子关键点作为参考关键点以计算参考距离，例如，计算鼻顶点到鼻尖点的距离作为参考距离，当然，参考关键点还可以是人脸上左右两个眼睛的眼角的关键点，则左右两个眼睛的眼角的距离为参考距离，本领域技术人员在实施本发明实施例时，可以选择人脸上任意相对固定不变的两个点之间的距离作为参考距离，本发明实施例对此不加以限制。
S103、计算所述人眼张开幅度值相对于所述参考距离的相对幅度值。
具体地，可以计算人眼张开幅度值与参考距离之间的比值作为相对幅度值，即以参考距离为参照，通过相对幅度值度量人脸图像中人眼的张开幅度。
S104、获取最大相对幅度值。
最大相对幅度值可以是人眼张开幅度值为最大值时，人眼张开幅度值相对于参考距离的相对幅度值，即人眼张开到最大时相对于参考距离的相对幅度值。具体地，可以获取同一人脸的多张人脸图像，根据多张人脸图像计算相对幅度值得到多个相对幅度值，从中确定出最大值作为最大相对幅度值。当然，还可以是计算人眼宽度后估算出最大相对幅度值，还可以是根据经验设置最大相对幅度值等等，本发明实施例对获取最大相对幅度值的方式不加以限制。
S105、基于所述相对幅度值和所述最大相对幅度值计算所述人脸图像中人眼的闭眼权重，所述闭眼权重用于度量人眼的闭合程度。
可选地，可以先计算出人脸图像中人眼的闭眼幅度值，闭眼幅度值可以是人眼眨眼过程中，某一状态下人眼张开幅度值与人眼完全张开时的人眼张开幅度值的比值，在本发明实施例中，相对幅度值和最大相对幅度值均是相对于参考距离的比值，则闭眼幅度值可以是相对幅度值和最大相对幅度值的比值。
在得到闭眼幅度值后，可以通过闭眼幅度值计算闭眼权重，在本发明实施例中，闭眼权重和闭眼幅度值负相关，闭眼权重表达了人脸图像中的人眼的闭合程度，人眼越趋近于完全闭合状态，闭眼幅度值越小，闭眼权重越大。
在确定人眼的闭眼权重后，可以基于闭眼权重实现相关应用的控制，例如，可以基于人脸图像的闭眼权重对虚拟的脸部模型的眼睛进行控制，以实现脸部模型跟随人脸的眨眼实现眨眼动作，又或者基于人脸图像中人眼的闭眼权重，在闭眼权重大于预设值时触发指令执行相应的操作等，本发明实施例对闭眼权重的应用不加以限制。
本发明实施例根据人眼张开幅度值和参考距离确定相对幅度值，并基于相对幅度值和最大相对幅度值计算人眼的闭眼权重以度量人眼的闭合程度，解决了人眼检测无法度量人眼闭合程度的问题，采用人眼的闭合权重进行相关的应用控制时，能够根据人眼的闭合程度进行相关应用控制，使得人眼检测适用于根据人眼的闭合程度进行相关应用控制的场景。
实施例二
图2A为本发明实施例二提供的一种人眼闭合程度的确定方法的流程图，本发明实施例在前述实施例一的基础上进行优化，具体地，如图2A所示，该方法可以包括如下步骤：
S201、获取人脸图像。
S202、对所述人脸图像进行人脸关键点检测，得到人脸关键点。
人脸关键点检测包括人脸关键点检测、定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等关键区域。
人脸关键点可以通过预先训练好的人脸关键点检测模型进行提取，具体地，可以采集大量的人脸图像并在人脸图像上标注关键点后形成训练数据，通过训练数据训练模型后，将人脸图像输入训练好的人脸关键点检测模型即可以得到该人脸图像的人脸关键点。
图2B所示为人脸关键点的示意图，如图2B所示，对于人脸图像，可以提取出包括脸部轮廓关键点(点0-点16)、左右眉毛关键点(点17-点26)、鼻部关键点(点27-点35)、左右眼部关键点(36-点47)以及嘴巴关键点(点48-点59)。
图2B为人脸关键点的一个示例，在实际应用中，还可以增加颧骨、耳朵等其他人脸部位的关键点，本发明实施例对人脸关键点的部位和数量不加以限制。
S203、从所述人脸关键点中确定出人眼关键点，以及从所述人脸关键点中确定出参考关键点。
具体地，在本发明的优选实施例中，可以从人脸关键点中确定出眼部关键点，选取眼部关键点中的眼顶关键点和眼底关键点作为人眼关键点，以及从人脸关键点中确定出鼻部关键点，选择鼻部关键点中的鼻顶关键点和鼻尖关键点作为参考关键点。
如图2B所示，在所有人脸关键点中可以确定出点42-点47为左眼关键点，点36-点31为右眼关键点，点27-点35为鼻部关键点，对于左眼，选择左眼的眼顶关键点点44和眼底关键点点46作为左眼的人眼关键点，对于右眼，选择眼顶关键点点37和眼底关键点点41作为右眼的人眼关键点，另外，可以选择鼻顶关键点点27和鼻尖关键点点33为参考关键点。
S204、基于所述人眼关键点计算人眼张开幅度值。
在本发明实施例中，对于人脸图像i，人眼张开幅度值表达了人眼的张开程度，即可以是上眼皮顶点到下眼皮底点的距离，对应于人脸关键点上，可以计算眼顶关键点到眼底关键点的距离作为人眼张开幅度值。
如图2B所示，左眼的人眼张开幅度值为点44到点46之间的距离，即||p44,i-p46,i||，右眼的人眼张开幅度值为点37到点41之间的距离，即||p37,i-p41,i||。
S205、基于所述参考关键点计算参考距离。
如图2B所示，本发明实施例中，参考点为鼻顶关键点点27和鼻尖关键点点33，则可以计算鼻顶关键点到鼻尖关键点的距离作为参考距离，即参考距离为点27到点33的距离||p27,i-p33,i||。
本发明实施例中选择鼻顶到鼻尖的距离作为参考距离，无论人脸处于正面和侧面均容易检测到鼻顶关键点和鼻尖关键点，并且鼻顶和鼻尖位置相对固定，相对于采用其他关键点作为参考点计算参考距离，可以提高参考距离的准确性，进一步提高后续计算闭眼权重的准确度以实现对眨眼进行精准控制。
S206、计算所述人眼张开幅度值相对于所述参考距离的相对幅度值。
在本发明实施例中，相对幅度值为人眼张开幅度值与参考距离之间的比值，具体如下：
上述公式中rl,i为左眼的相对幅度值，rr,i为右眼的相对幅度值，通过以上两个公式可以得知，参考距离||p27,i-p33,i||固定不变，相对幅度值rl,i、rr,i的大小取决于人眼的张开幅度，人眼张开幅度越大，相对幅度值越大。
S207、获取最大相对幅度值。
在实际应用中，可以通过同一人脸的多帧人脸图像获取多个相对幅度值，然后从中取最大值作为最大相对幅度值，即
其中，为左眼的最大相对幅度值，为右眼的最大相对幅度值，Fn为同一人脸的n帧人脸图像的集合。
S208、计算所述相对幅值与所述最大相对幅度值之间的比值，得到人眼的闭眼幅度值，所述闭眼幅度值与所述相对幅度值正相关，与所述最大相对幅度值负相关。
在本发明实施例中，对于人脸图像i，左眼的闭眼幅度值为左眼的相对幅度值rl,i与左眼的最大相对幅度值的比值，即左眼的闭眼幅度值为右眼的闭眼幅度值为右眼的相对幅度值rr,i与右眼的最大相对幅度值的比值，即右眼的闭眼幅度值为
左眼和右眼的闭眼幅度值均与相对幅度值正相关，与最大相对幅度值负相关，相对幅度值越大，闭眼幅度值也越大，人眼的闭合程度越小，当闭眼幅度值接近于1时，说明人眼处于完全张开状态，当闭眼幅度值接近于0时，说明人眼处于完全闭合状态。
S209、采用所述闭眼幅度值和预设闭眼常量计算所述闭眼权重。
在实际应用中，人脸图像的采集、人脸图像的关键点检测可能存在误差，人眼处于完全闭眼状态时眼顶关键点和眼底关键点可能无法完全重合，可以设置一个闭眼常量α，例如闭眼常量α可以为0.3，当左眼闭眼幅度值或时，则认为是到达完全闭眼状态。
在本发明的可选实施例中，可以通过以下公式计算人脸图像i中人眼的闭眼权重：
wl,i为左眼的闭眼权重，wr,i为右眼的闭眼权重，由以上公式可知，人眼闭合得越多，相对幅度值rl,i越小，闭眼幅度值也越小，而闭眼权重wl,i则越大。
本发明实施例对人脸进行人脸关键点检测得到人脸关键点，并根据人脸关键点中的眼顶关键点和眼底关键点计算人脸图像中人眼张开幅度值，以及根据鼻顶关键点和鼻尖关键点计算参考距离，以根据人眼张开幅度值和参考距离确定相对幅度值，基于相对幅度值和最大相对幅度值计算人眼的闭眼权重，解决了人眼检测无法度量人眼闭合程度的问题，采用人眼的闭合权重进行相关的应用控制时，能够根据人眼的闭合程度进行相关应用控制，使得人眼检测适用于根据人眼的闭合程度进行相关应用控制的场景。
进一步地，选择鼻顶到鼻尖的距离作为参考距离，无论人脸处于正面和侧面均容易检测到鼻顶关键点和鼻尖关键点，并且鼻顶和鼻尖位置相对固定，相对于采用其他关键点作为参考点计算参考距离，可以提高参考距离的准确性，进而提高闭眼权重的准确度。
实施例三
图3为本发明实施例三提供的一种眼睛控制方法的流程图，本发明实施例可适用于根据人脸图像中的人眼控制脸部模型中的眼睛的情况，该方法可以由眼睛控制装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，具体地，如图3所示，该方法可以包括如下步骤：
S301、获取人脸图像和脸部模型。
在本发明实施例中，人脸图像可以是用户通过设置有摄像头的终端进行自拍、拍摄短视频或者直播时，摄像头采集到的用户的脸部图像，例如，在用户自拍时，摄像头实时采集图像并在终端的显示屏显示预览图像，则可以获取当前预览图像中的用户的人脸图像，又或者用户拍摄短视频或者直播时，则可以获取视频数据中的当前视频帧中的用户的人脸图像。当然，人脸图像还可以是预先存储在终端中的人脸图像，或者播放视频数据时视频帧中的人脸图像，本发明实施例对获取人脸图像的方式不加以限制。
脸部模型可以是贴图模型或者其他类型的模型，可选地，脸部模型可以是用户选择的脸部模型，比如，在自拍、短视频和直播等应用程序提供各种类型的脸部模型以供用户进行选择，当用户从提供的脸部模型中执行选择操作后，可以根据用户的选择操作获取相应的脸部模型，该脸部模型可以是人的脸部模型、动物的脸部模型、卡通脸部模型等，脸部模型用于根据人脸图像中的人眼的闭眼权重对脸部模型上的眼睛进行控制，对眼睛调整后的脸部模型可以以贴图的形式覆盖在自拍预览、短视频或者直播中的人脸图像上，以实现贴图效果。
S302、获取人脸图像中人眼的闭眼权重，所述闭眼权重用于度量人眼的闭合程度。
在本发明实施例中，人眼的闭眼权重的方式可以参考实施例一或者实施例二，在此不再详述。
S303、基于所述闭眼权重对所述脸部模型中的眼睛进行控制。
在本发明的可选实施例中，可以先获取脸部模型中眼睛的预设张开幅度值，基于闭眼权重和预设张开幅度值计算眼睛的目标张开幅度值，将脸部模型中的眼睛的张开幅度值调整为目标张开幅度值以完成对脸部模型的眼睛控制。
在实际应用中，脸部模型中的眼睛的初始状态为处于完全张开的状态，预设张开幅度值为脸部模型中眼睛完全张开时的张开幅度值。对于一个脸部模型，可以预先存储该模型的模型参数，模型参数可以包括眼睛完全张开时的张开幅度值、鼻尖到鼻顶的距离等参数，则可以从模型参数中读取预设张开幅度值。
在获取预设张开幅度值后，可以计算闭眼权重和预设张开幅度值的乘积作为目标张开幅度值，例如，初始脸部模型中预设张开幅度值为眼睛能够张开到最大时眼顶点到眼底点的距离，当闭眼权重为0.5时，目标张开幅度值为预设张开幅度值的一半。
在本发明的可选实施例中，根据闭眼权重的计算公式可知，人眼闭合幅度值或越小，说明rr,i或rl,i越小，即眼顶关键点到眼底关键点的距离越小，眼睛闭合得越多，闭眼权重越大，在闭眼权重大于预设值时，确定目标张开幅度值为0，即眼睛完全闭合。
当然，脸部模型可以包括第一初始脸部模型和第二初始脸部模型，第一初始脸部模型为眼睛完全张开时的脸部模型，第二初始脸部模型为眼睛完全闭合时的脸部模型，则可以通过闭眼权重结合第一初始脸部模型和第二初始脸部模型进行插值计算得到目标张开幅度值。
在得到目标张开幅度值后，可以根据目标张开幅度值调整脸部模型中的眼睛，使得眼睛张开幅度值等于目标张开幅度值，例如，可以调整脸部模型中眼睛的上眼皮的位置，或者通过目标张开幅度值驱动脸部模型变形得到调整后的脸部模型，以完成对脸部模型中的眼睛进行控制。
在实际应用中，通过一帧人脸图像可以对脸部模型中的眼睛进行调整得到调整后的脸部模型，当自拍预览、拍摄短视频或者直播时显示的是多帧连续的视频帧，则可以获得多帧连续的人脸图像，视频中的人脸眨眼时，通过多帧人脸图像实时调整脸部模型中的眼睛，从而实现脸部模型模拟眨眼动作。
本发明实施例在获取人脸图像和脸部模型后，获取人脸图像中人眼的闭眼权重，闭眼权重用于度量人眼的闭合程度，然后基于闭眼权重对脸部模型中的眼睛进行控制。解决了人眼检测无法度量人眼闭合程度的问题，，在采用人眼的闭合权重对脸部模型中的眼睛进行控制时，能够根据人眼的闭合程度控制脸部模型的眼睛，使得脸部模型能够模拟人脸的真实眨眼动作，进而使得脸部模型的表情更逼真，也无需大量人脸图像，实现过程中也较为简单。
实施例四
图4A为本发明实施例四提供的一种眼睛控制方法的流程图，本发明实施例可适用于在播放视频数据时，根据视频数据中的人脸图像控制脸部模型的眼睛进行眨眼的情况，该方法可以由眼睛控制装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，具体地，如图4A所示，该方法可以包括如下步骤：
S401、播放视频数据，所述视频数据中具有多帧图像数据，所述图像数据中具有人脸图像。
在本发明实施例中，视频数据可以是用户自拍时采集图像后形成的预览视频数据、短视频数据或者直播视频数据。视频数据包括多帧图像数据，图像数据中包含人脸图像。
S402、显示脸部模型，以覆盖所述人脸图像。
具体地，脸部模型可以是用户在自拍、拍摄短视频或者直播中选择的表情模型，脸部模型用于在播放视频数据时覆盖视频播放界面中显示的人脸图像，并在人脸图像中的人眼的驱动下模拟眨眼，例如以贴图的形式覆盖在人脸图像上，并在人脸图像的驱动下实现模拟眨眼。
如图4B所示，在播放视频数据时，采用了卡通脸部模型覆盖了视频中用户的人脸图像。
S403、在每帧所述人脸图像中，确定人眼张开幅度值和参考距离。
具体地，对于每帧人脸图像，可以对人脸图像进行人脸关键点检测，获取到人脸关键点，从人脸关键点确定人眼关键点和参考关键点，然后根据人眼关键点确定人眼张开幅度值，该人眼张开幅度值表达了人眼图像中人眼的张开幅度。参考关键点可以是人脸上较为固定的人脸特征的关键点，例如，人脸上鼻子是固定不变的，则可以将鼻子关键点作为参考关键点以计算参考距离，优选地，计算鼻顶点到鼻尖点的距离作为参考距离，当然，参考关键点还可以是人脸上左右两个眼睛的眼角的关键点，则左右两个眼睛的眼角的距离为参考距离，本领域技术人员在实施本发明实施例时，可以选择人脸上任意相对固定不变的两个点之间的距离作为参考距离，本发明实施例对此不加以限制。
S404、计算所述人眼张开幅度值相对于所述参考距离的相对幅度值。
具体地，可以计算人眼张开幅度值与参考距离之间的比值作为相对幅度值，即以参考距离为参照，通过相对幅度值度量人脸图像中人眼的张开幅度。
S405、获取最大相对幅度值。
在本发明实施例中，视频数据按帧播放，则可以获取多帧人脸图像中人眼张开幅度值相对于参考距离的相对幅度值，然后从多个相对幅度值中确定出最大值作为最大相对幅度值。例如，对于当前帧图像数据，可以获取当前帧临近的连续N帧图像数据，根据N帧图像数据中的人脸图像均计算出一个相对幅度值得到多个相对幅度值，选择多个相对幅度值的最大值为最大相对幅度值。
S406、基于所述相对幅度值和所述最大相对幅度值计算所述人脸图像中人眼的闭眼权重。
可选地，可以先计算出人脸图像中人眼的闭眼幅度值，闭眼幅度值可以是人眼眨眼过程中，某一状态下人眼张开幅度值与人眼完全张开时的人眼张开幅度值的比值，在本发明实施例中，相对幅度值和最大相对幅度值均是相对于参考距离的比值，则闭眼幅度值可以是相对幅度值和最大相对幅度值的比值，闭眼幅度值表达了眨眼过程中某一状态下人眼的闭合程度，闭眼幅度值为小于或等于1的值。
在得到闭眼幅度值后，可以通过闭眼幅度值计算闭眼权重，在本发明实施例中，闭眼权重和闭眼幅度值负相关，闭眼权重表达了人脸图像中的人眼用于控制脸部模型眨眼时，脸部模型中眼睛在眨眼的某一时刻，眼睛的张开幅度值占眼睛完全张开时的张开幅度值的权重。
S407、基于所述闭眼权重驱动所述脸部模型中的眼睛进行眨眼。
具体地，随着视频数据的播放，根据每帧视频数据中的人脸图像对已显示的脸部模型进行眨眼控制，具体地，可以获得多帧在时间上连续的人脸图像，每帧人脸图像确定出一个闭眼权重，可以根据闭眼权重驱动显示在播放界面中的脸部模型进行眨眼。
如图4B所示为根据视频数据中的人脸图像控制脸部模型眨眼的过程和效果，在图4B中，当视频数据中的人脸图像眨眼时，覆盖在人脸图像上的脸部模型跟随着模拟眨眼。
本发明实施例中，在播放视频数据时，显示脸部模型后，可以通过视频数据中的人脸图像计算人脸图像中的人眼的闭眼权重，从而根据闭眼权重驱动显示的脸部模型眨眼，解决了人眼检测无法度量人眼闭合程度的问题，能够通过人脸眨眼过程中眼睛的闭合程度驱动脸部模型模拟眨眼，使得脸部模型能够模拟人脸的真实眨眼动作，进而使得脸部模型的表情更逼真，也无需大量人脸图像，实现过程中也较为简单，计算速度快，能够获得较为流畅的眨眼效果。
实施例五
图5是本发明实施例五提供的一种人眼闭合程度的确定装置的结构框图，本发明实施例的人眼闭合程度的确定装置具体可以包括如下模块：
人脸图像501，用于获取人脸图像；
人脸数据确定模块502，用于在所述人脸图像中确定人眼张开幅度值和参考距离；
相对幅度值计算模块503，用于计算所述人眼张开幅度值相对于所述参考距离的相对幅度值；
最大相对幅度值获取模块504，用于获取最大相对幅度值；
闭眼权重计算模块505，用于基于所述相对幅度值和所述最大相对幅度值计算所述人脸图像中人眼的闭眼权重，所述闭眼权重用于度量人眼的闭合程度。
可选地，所述人脸数据确定模块502包括：
人脸关键点检测子模块，用于对所述人脸图像进行人脸关键点检测，得到人脸关键点；
人眼关键点和参考关键点确定子模块，用于从所述人脸关键点中确定出人眼关键点，以及从所述人脸关键点中确定出参考关键点；
人眼张开幅度值计算子模块，用于基于所述人眼关键点计算人眼张开幅度值；
参考距离计算子模块，用于基于所述参考关键点计算参考距离。
可选地，所述人眼关键点和参考关键点确定子模块包括：
眼部关键点确定单元，用于从所述人脸关键点中确定出眼部关键点；
人眼关键点选择单元，用于选取所述眼部关键点中的眼顶关键点和眼底关键点作为人眼关键点。
可选地，所述人眼关键点包括眼顶关键点和眼底关键点，所述人眼张开幅度值计算子模块包括：
第一距离计算单元，用于计算所述眼顶关键点到所述眼底关键点的距离，作为人眼张开幅度值。
可选地，所述人眼关键点和参考关键点确定子模块包括：
鼻部关键点确定单元，用于从所述人脸关键点中确定出鼻部关键点；
参考关键点选择单元，用于选择所述鼻部关键点中的鼻顶关键点和鼻尖关键点作为参考关键点。
可选地，所述参考关键点包括鼻顶关键点和鼻尖关键点，所述参考距离计算子模块包括：
第二距离计算单元，用于计算所述鼻顶关键点到所述鼻尖关键点的距离，作为参考距离。
可选地，所述闭眼权重计算模块505包括：
闭眼幅度值计算子模块，用于计算所述相对幅值与所述最大相对幅度值之间的比值，得到人眼的闭眼幅度值，所述闭眼幅度值与所述相对幅度值正相关，与所述最大相对幅度值负相关；
闭眼权重计算子模块，用于采用所述闭眼幅度值和预设闭眼常量计算所述闭眼权重。
本发明实施例所提供的人眼闭合程度的确定装置可执行本发明任意实施例所提供的人眼闭合程度的确定方法，具备执行方法相应的功能模块和有益效果。
实施例六
图6是本发明实施例六提供的一种眼睛控制装置的结构框图，本发明实施例的眼睛控制装置具体可以包括如下模块：
获取人脸图像和脸部模型获取模块601，用于人脸图像和脸部模型；
闭眼权重获取模块602，用于获取人脸图像中人眼的闭眼权重，所述闭眼权重用于度量人眼的闭合程度；
眼睛控制模块603，用于基于所述闭眼权重对所述脸部模型中的眼睛进行控制；
其中，所述闭眼权重通过本发明实施例五任一项所述的人眼闭合程度的确定装置所确定。
可选地，所述眼睛控制模块603包括：
预设张开幅度值获取子模块，用于获取所述初始脸部模型中眼睛的预设张开幅度值；
目标张开幅度值计算子模块，用于基于所述闭眼权重和所述预设张开幅度值计算眼睛的目标张开幅度值；
调整子模块，用于将所述初始脸部模型中的眼睛的张开幅度值调整为所述目标张开幅度值。
可选地，所述目标张开幅度值计算子模块包括：
目标张开幅度值确定单元，用于在所述闭眼权重大于预设值时，确定所述目标张开幅度值为0。
本发明实施例所提供的眼睛控制装置可执行本发明实施例三所提供的眼睛控制方法，具备执行方法相应的功能模块和有益效果。
实施例七
图7是本发明实施例七提供的一种眼睛控制装置的结构框图，本发明实施例的眼睛控制装置具体可以包括如下模块：
播放模块701，用于播放视频数据，所述视频数据中具有多帧图像数据，所述图像数据中具有人脸图像；
脸部模型显示模块702，用于显示脸部模型，以覆盖所述人脸图像；
人脸数据确定模块703，用于在每帧所述人脸图像中，确定人眼张开幅度值和参考距离；
相对幅度值计算模块704，用于计算所述人眼张开幅度值相对于所述参考距离的相对幅度值；
最大相对幅度值获取模块705，用于获取最大相对幅度值；
闭眼权重计算模块706，用于基于所述相对幅度值和所述最大相对幅度值计算所述人脸图像中人眼的闭眼权重；
模型驱动模块707，用于基于所述闭眼权重驱动所述脸部模型中的眼睛进行眨眼。
可选地，所述最大相对幅度值获取模块705包括：
相对幅度值获取子模块，用于获取多帧人脸图像中所述人眼张开幅度值相对于所述参考距离的相对幅度值；
最大相对幅度值确定子模块，用于从多个相对幅度值中确定出最大值作为最大相对幅度值。
本发明实施例所提供的眼睛控制装置可执行本发明实施例四所提供的眼睛控制方法，具备执行方法相应的功能模块和有益效果。
实施例八
参照图8，示出了本发明一个示例中的一种设备的结构示意图。如图8所示，该设备具体可以包括：处理器80、存储器81、具有触摸功能的显示屏82、输入装置83、输出装置84以及通信装置85。该设备中处理器80的数量可以是一个或者多个，图8中以一个处理器80为例。该设备中存储器81的数量可以是一个或者多个，图8中以一个存储器81为例。该设备的处理器80、存储器81、显示屏82、输入装置83、输出装置84以及通信装置85可以通过总线或者其他方式连接，图8中以通过总线连接为例。
存储器81作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例一或二所述的人眼闭合程度的确定方法对应的程序指令/模块(例如，上述人眼闭合程度的确定装置中的人脸图像获取模块501、人脸数据确定模块502、相对幅度值计算模块503、最大相对幅度值获取模块504、闭眼权重计算模块505)，或如本发明实施例三所述的眼睛控制方法对应的程序指令/模块(例如，上述眼睛控制装置中的获取人脸图像和脸部模型获取模块601、闭眼权重获取模块602和眼睛控制模块603)，或如本发明实施例四所述的眼睛控制方法对应的程序指令/模块(例如，上述眼睛控制装置中的播放模块701、脸部模型显示模块702、人脸数据确定模块703、相对幅度值计算模块704、最大相对幅度值获取模块705、闭眼权重计算模块706和模型驱动模块707)。存储器81可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器81可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器81可进一步包括相对于处理器80远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示屏82为具有触摸功能的显示屏82，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏82用于根据处理器80的指示显示数据，还用于接收作用于显示屏82的触摸操作，并将相应的信号发送至处理器80或其他装置。可选的，当显示屏82为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏82的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器80或者其他设备。
通信装置85，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。
输入装置83可用于接收输入的数字或者字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置84可以包括扬声器等音频设备。需要说明的是，输入装置83和输出装置84的具体组成可以根据实际情况设定。
处理器80通过运行存储在存储器81中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述人眼闭合程度的确定方法和/或眼睛控制方法。
具体地，实施例中，处理器80执行存储器81中存储的一个或多个程序时，具体实现本发明实施例提供的人眼闭合程度的确定方法和/或眼睛控制方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述存储介质中的指令由设备的处理器执行时，使得设备能够执行如上述方法实施例所述的人脸闭合程度的确定方法和/或眼睛控制方法。
需要说明的是，对于装置、设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的人眼闭合程度的确定方法和/或眼睛控制方法。
值得注意的是，上述人眼闭合程度的确定装置和/或眼睛的控制装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (17)

1.一种人眼闭合程度的确定方法，其特征在于，包括：
获取人脸图像；
在所述人脸图像中确定人眼张开幅度值和参考距离；
计算所述人眼张开幅度值相对于所述参考距离的相对幅度值；
获取最大相对幅度值；
基于所述相对幅度值和所述最大相对幅度值计算所述人脸图像中人眼的闭眼权重，所述闭眼权重用于度量人眼的闭合程度。
2.如权利要求1所述的方法，其特征在于，所述在所述人脸图像中确定人眼张开幅度值和参考距离，包括：
对所述人脸图像进行人脸关键点检测，得到人脸关键点；
从所述人脸关键点中确定出人眼关键点，以及从所述人脸关键点中确定出参考关键点；
基于所述人眼关键点计算人眼张开幅度值；
基于所述参考关键点计算参考距离。
3.如权利要求2所述的方法，其特征在于，所述从所述人脸关键点中确定出人眼关键点，包括：
从所述人脸关键点中确定出眼部关键点；
选取所述眼部关键点中的眼顶关键点和眼底关键点作为人眼关键点。
4.如权利要求2所述的方法，其特征在于，所述人眼关键点包括眼顶关键点和眼底关键点，所述基于所述人眼关键点计算人眼张开幅度值，包括：
计算所述眼顶关键点到所述眼底关键点的距离，作为人眼张开幅度值。
5.如权利要求2所述的方法，其特征在于，所述从所述人脸关键点中确定出参考关键点，包括：
从所述人脸关键点中确定出鼻部关键点；
选择所述鼻部关键点中的鼻顶关键点和鼻尖关键点作为参考关键点。
6.如权利要求2所述的方法，其特征在于，所述参考关键点包括鼻顶关键点和鼻尖关键点，所述基于所述参考关键点计算参考距离，包括：
计算所述鼻顶关键点到所述鼻尖关键点的距离，作为参考距离。
7.如权利要求1-6任一项所述的方法，其特征在于，所述基于所述相对幅度值和所述最大相对幅度值计算所述人脸图像中人眼的闭眼权重，包括：
计算所述相对幅值与所述最大相对幅度值之间的比值，得到人眼的闭眼幅度值，所述闭眼幅度值与所述相对幅度值正相关，与所述最大相对幅度值负相关；
采用所述闭眼幅度值和预设闭眼常量计算所述闭眼权重。
8.一种眼睛控制方法，其特征在于，包括：
获取人脸图像和脸部模型；
获取人脸图像中人眼的闭眼权重，所述闭眼权重用于度量人眼的闭合程度；
基于所述闭眼权重对所述脸部模型中的眼睛进行控制；
其中，所述闭眼权重通过权利要求1-7任一项所述的人眼闭合程度的确定方法所确定。
9.如权利要求8所述的方法，其特征在于，所述基于所述闭眼权重控制所述脸部模型中的眼睛，包括：
获取所述脸部模型中眼睛的预设张开幅度值；
基于所述闭眼权重和所述张开幅度值计算眼睛的目标张开幅度值；
将所述脸部模型中的眼睛的张开幅度值调整为所述目标张开幅度值。
10.如权利要求9所述的方法，其特征在于，所述基于所述闭眼权重和所述预设张开幅度值计算眼睛的目标张开幅度值，包括：
在所述闭眼权重大于预设值时，确定所述目标张开幅度值为0。
11.一种眼睛控制方法，其特征在于，包括：
播放视频数据，所述视频数据中具有多帧图像数据，所述图像数据中具有人脸图像；
显示脸部模型，以覆盖所述人脸图像；
在每帧所述人脸图像中，确定人眼张开幅度值和参考距离；
计算所述人眼张开幅度值相对于所述参考距离的相对幅度值；
获取最大相对幅度值；
基于所述相对幅度值和所述最大相对幅度值计算所述人脸图像中人眼的闭眼权重；
基于所述闭眼权重驱动所述脸部模型中的眼睛进行眨眼。
12.如权利要求11所述的方法，其特征在于，所述获取最大相对幅度值，包括：
获取多帧人脸图像中所述人眼张开幅度值相对于所述参考距离的相对幅度值；
从多个相对幅度值中确定出最大值作为最大相对幅度值。
13.一种人眼闭合程度的确定装置，其特征在于，包括：
人脸图像获取模块，用于获取人脸图像；
人脸数据确定模块，用于在所述人脸图像中确定人眼张开幅度值和参考距离；
相对幅度值计算模块，用于计算所述人眼张开幅度值相对于所述参考距离的相对幅度值；
最大相对幅度值获取模块，用于获取最大相对幅度值；
闭眼权重计算模块，用于基于所述相对幅度值和所述最大相对幅度值计算所述人脸图像中人眼的闭眼权重，所述闭眼权重用于度量人眼的闭合程度。
14.一种眼睛控制装置，其特征在于，包括：
获取人脸图像和脸部模型获取模块，用于人脸图像和脸部模型；
闭眼权重获取模块，用于获取人脸图像中人眼的闭眼权重，所述闭眼权重用于度量人眼的闭合程度；
眼睛控制模块，用于基于所述闭眼权重对所述脸部模型中的眼睛进行控制；
其中，所述闭眼权重通过权利要求13所述的人眼闭合程度的确定装置所确定。
15.一种眼睛控制装置，其特征在于，包括：
播放模块，用于播放视频数据，所述视频数据中具有多帧图像数据，所述图像数据中具有人脸图像；
脸部模型显示模块，用于显示脸部模型，以覆盖所述人脸图像；
人脸数据确定模块，用于在每帧所述人脸图像中，确定人眼张开幅度值和参考距离；
相对幅度值计算模块，用于计算所述人眼张开幅度值相对于所述参考距离的相对幅度值；
最大相对幅度值获取模块，用于获取最大相对幅度值；
闭眼权重计算模块，用于基于所述相对幅度值和所述最大相对幅度值计算所述人脸图像中人眼的闭眼权重；
模型驱动模块，用于基于所述闭眼权重驱动所述脸部模型中的眼睛进行眨眼。
16.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的人眼闭合程度的确定方法和/或权利要求8-10任一所述的眼睛控制方法和/或权利要求11-12任一所述的眼睛控制方法。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的人眼闭合程度的确定方法和/或权利要求8-10任一所述的眼睛控制方法和/或权利要求11-12任一所述的眼睛控制方法。
CN201910621637.5A 2019-07-10 2019-07-10 人眼闭合程度的确定方法、眼睛控制方法和装置 Active CN110363135B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910621637.5A CN110363135B (zh) 2019-07-10 2019-07-10 人眼闭合程度的确定方法、眼睛控制方法和装置
PCT/CN2020/098066 WO2021004285A1 (zh) 2019-07-10 2020-06-24 人眼闭合程度的确定方法、眼睛控制方法、装置、设备和存储介质
US17/625,947 US11775059B2 (en) 2019-07-10 2020-06-24 Method for determining human eye close degrees, method for controlling eyes, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910621637.5A CN110363135B (zh) 2019-07-10 2019-07-10 人眼闭合程度的确定方法、眼睛控制方法和装置

Publications (2)

Publication Number Publication Date
CN110363135A true CN110363135A (zh) 2019-10-22
CN110363135B CN110363135B (zh) 2022-09-27

Family

ID=68218637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910621637.5A Active CN110363135B (zh) 2019-07-10 2019-07-10 人眼闭合程度的确定方法、眼睛控制方法和装置

Country Status (3)

Country Link
US (1) US11775059B2 (zh)
CN (1) CN110363135B (zh)
WO (1) WO2021004285A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583372A (zh) * 2020-05-09 2020-08-25 腾讯科技（深圳）有限公司 虚拟角色的面部表情的生成方法和装置、存储介质及电子设备
WO2021004285A1 (zh) * 2019-07-10 2021-01-14 广州市百果园信息技术有限公司 人眼闭合程度的确定方法、眼睛控制方法、装置、设备和存储介质
CN113138659A (zh) * 2020-01-16 2021-07-20 七鑫易维(深圳)科技有限公司 一种工作模式的控制方法、装置、设备及存储介质
CN113487711A (zh) * 2021-07-23 2021-10-08 北京达佳互联信息技术有限公司 虚拟形象的眨眼控制方法、装置、电子设备及存储介质
CN113946221A (zh) * 2021-11-03 2022-01-18 广州繁星互娱信息科技有限公司 眼部驱动控制方法和装置、存储介质及电子设备
WO2023075682A3 (zh) * 2021-10-25 2023-08-03 脸萌有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
WO2023075681A3 (zh) * 2021-10-25 2023-08-24 脸萌有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704080B (zh) * 2023-08-04 2024-01-30 腾讯科技（深圳）有限公司 眨眼动画生成方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279969A (zh) * 2013-05-08 2013-09-04 中国科学技术大学 一种建立富有情感表达能力的三维虚拟眼睛运动模型的方法
CN105139438A (zh) * 2014-09-19 2015-12-09 电子科技大学 视频人脸卡通动画生成方法
CN109815937A (zh) * 2019-02-25 2019-05-28 湖北亿咖通科技有限公司 疲劳状态智能识别方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003025841A1 (fr) * 2001-09-14 2003-03-27 Stmicroelectronics S.A. Localisation d'un anneau
TW200614094A (en) 2004-10-18 2006-05-01 Reallusion Inc System and method for processing comic character
JP5055166B2 (ja) * 2008-02-29 2012-10-24 キヤノン株式会社 眼の開閉度判定装置、方法及びプログラム、撮像装置
CN106446822B (zh) 2016-09-20 2018-07-10 西安科技大学 基于圆拟合的眨眼检测方法
CN110363135B (zh) 2019-07-10 2022-09-27 广州市百果园信息技术有限公司 人眼闭合程度的确定方法、眼睛控制方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279969A (zh) * 2013-05-08 2013-09-04 中国科学技术大学 一种建立富有情感表达能力的三维虚拟眼睛运动模型的方法
CN105139438A (zh) * 2014-09-19 2015-12-09 电子科技大学 视频人脸卡通动画生成方法
CN109815937A (zh) * 2019-02-25 2019-05-28 湖北亿咖通科技有限公司 疲劳状态智能识别方法、装置及电子设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021004285A1 (zh) * 2019-07-10 2021-01-14 广州市百果园信息技术有限公司 人眼闭合程度的确定方法、眼睛控制方法、装置、设备和存储介质
US11775059B2 (en) 2019-07-10 2023-10-03 Bigo Technology Pte. Ltd. Method for determining human eye close degrees, method for controlling eyes, device, and storage medium
CN113138659A (zh) * 2020-01-16 2021-07-20 七鑫易维(深圳)科技有限公司 一种工作模式的控制方法、装置、设备及存储介质
CN111583372A (zh) * 2020-05-09 2020-08-25 腾讯科技（深圳）有限公司 虚拟角色的面部表情的生成方法和装置、存储介质及电子设备
CN113487711A (zh) * 2021-07-23 2021-10-08 北京达佳互联信息技术有限公司 虚拟形象的眨眼控制方法、装置、电子设备及存储介质
CN113487711B (zh) * 2021-07-23 2024-02-09 北京达佳互联信息技术有限公司 虚拟形象的眨眼控制方法、装置、电子设备及存储介质
WO2023075682A3 (zh) * 2021-10-25 2023-08-03 脸萌有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
WO2023075681A3 (zh) * 2021-10-25 2023-08-24 脸萌有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN113946221A (zh) * 2021-11-03 2022-01-18 广州繁星互娱信息科技有限公司 眼部驱动控制方法和装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN110363135B (zh) 2022-09-27
US11775059B2 (en) 2023-10-03
US20220261070A1 (en) 2022-08-18
WO2021004285A1 (zh) 2021-01-14

Similar Documents

Publication Publication Date Title
CN110363135A (zh) 人眼闭合程度的确定方法、眼睛控制方法和装置
US6130677A (en) Interactive computer vision system
CN105809704B (zh) 识别图像清晰度的方法及装置
CN109961055A (zh) 人脸关键点检测方法、装置、设备及存储介质
WO2021000708A1 (zh) 健身教学方法、装置、电子设备及存储介质
CN110290324B (zh) 设备成像方法、装置、存储介质及电子设备
CN110020578A (zh) 图像处理方法、装置、存储介质及电子设备
CN109889724A (zh) 图像虚化方法、装置、电子设备及可读存储介质
CN109685785A (zh) 一种图像质量评估方法、装置及电子设备
CN105763829A (zh) 一种图像处理方法及电子设备
CN108876732A (zh) 人脸美颜方法及装置
CN109857311A (zh) 生成人脸三维模型的方法、装置、终端及存储介质
CN108154465A (zh) 图像处理方法及装置
CN110163814A (zh) 基于人脸识别的修改图片的方法、装置和计算机设备
CN110225256B (zh) 设备成像方法、装置、存储介质及电子设备
CN111756996A (zh) 视频处理方法、视频处理装置、电子设备及计算机可读存储介质
CN109108968A (zh) 机器人头部运动调整的交互方法、装置、设备和存储介质
CN109672830A (zh) 图像处理方法、装置、电子设备及存储介质
CN109600555A (zh) 一种对焦控制方法、系统及拍照设备
CN109194866A (zh) 一种图像采集方法、装置、系统、终端设备和存储介质
CN108875539A (zh) 表情匹配方法、装置和系统及存储介质
CN109417600A (zh) 自适应相机视野
JP7078577B2 (ja) 動作類似度評価装置、方法およびプログラム
Gaddam et al. The cameraman operating my virtual camera is artificial: Can the machine be as good as a human?
CN112309540A (zh) 运动评估方法、装置、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231008

Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore

Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd.

Address before: 511400 floor 5-13, West Tower, building C, 274 Xingtai Road, Shiqiao street, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd.