CN113946221A - 眼部驱动控制方法和装置、存储介质及电子设备 - Google Patents
眼部驱动控制方法和装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113946221A CN113946221A CN202111296399.9A CN202111296399A CN113946221A CN 113946221 A CN113946221 A CN 113946221A CN 202111296399 A CN202111296399 A CN 202111296399A CN 113946221 A CN113946221 A CN 113946221A
- Authority
- CN
- China
- Prior art keywords
- closing
- eye
- monocular
- point
- anchor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 210000000744 eyelid Anatomy 0.000 claims abstract description 81
- 230000001360 synchronised effect Effects 0.000 claims abstract description 28
- 230000015654 memory Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 210000003205 muscle Anatomy 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 230000004399 eye closure Effects 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种眼部驱动控制方法和装置、存储介质及电子设备。其中，该方法包括：在当前直播画面中显示预先为主播对象配置的目标图片，其中，目标图片中显示有虚拟动物对象的面部；基于采集到的主播对象的人脸图像，识别主播对象的单眼闭合特征，其中，单眼闭合特征是基于主播对象的单个眼睛上采集到的多个闭合点组的位置偏移量计算得到的，单个闭合点组中包括与同一直线相交的上眼睑点和下眼睑点；根据单眼闭合特征所指示的眼部闭合程度，驱动控制目标图片中虚拟动物对象的眼部进行同步闭合调整。本发明解决了现有的技术无法保证对眼部驱动控制的准确性的技术问题。
Description
技术领域
本发明涉及计算机领域，具体而言，涉及一种眼部驱动控制方法和装置、存储介质及电子设备。
背景技术
为了丰富直播画面，直播应用开发商常常会设置各种不同的直播特效。比如，基于三维(简称3D)人脸模型，为主播制作与其人脸相适配的虚拟人像，由该虚拟人像来代替主播的真实头像。或者，基于图片中显示的虚拟动物形象来代替主播的真实头像。通过上述方式来隐藏主播真正的肖像信息，保护主播的隐私。
在上述直播过程中，为了保证上述虚拟人像或虚拟动物形象与主播实现同步的面部表情变化，通常会由主播实际的面部表情变化，来驱动上述虚拟人像或虚拟动物形象的表情变化。
其中，用于确定面部表情的多个面部关键点中包括眼睛。然而，由于眼睛很敏感，眼部肌肉会经常小范围抖动，就很容易出现由于频繁变化而导致的短暂眼部检测丢失的情况，从而造成无法保证对眼部驱动控制的准确性的问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种眼部驱动控制方法和装置、存储介质及电子设备，以至少解决现有的技术无法保证对眼部驱动控制的准确性的技术问题。
根据本发明实施例的一个方面，提供了一种眼部驱动控制方法，包括：在当前直播画面中显示预先为主播对象配置的目标图片，其中，目标图片中显示有虚拟动物对象的面部；基于采集到的主播对象的人脸图像，识别主播对象的单眼闭合特征，其中，单眼闭合特征是基于主播对象的单个眼睛上采集到的多个闭合点组的位置偏移量计算得到的，单个闭合点组中包括与同一直线相交的上眼睑点和下眼睑点；根据单眼闭合特征所指示的眼部闭合程度，驱动控制目标图片中虚拟动物对象的眼部进行同步闭合调整。
根据本发明实施例的另一方面，还提供了一种眼部驱动控制装置，包括：显示单元，用于在当前直播画面中显示预先为主播对象配置的目标图片，其中，目标图片中显示有虚拟动物对象的面部；识别单元，用于基于采集到的主播对象的人脸图像，识别主播对象的单眼闭合特征，其中，单眼闭合特征是基于主播对象的单个眼睛上采集到的多个闭合点组的位置偏移量计算得到的，单个闭合点组中包括与同一直线相交的上眼睑点和下眼睑点；驱动控制单元，用于根据单眼闭合特征所指示的眼部闭合程度，驱动控制目标图片中虚拟动物对象的眼部进行同步闭合调整。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述眼部驱动控制方法。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的眼部驱动控制方法。
在本发明实施例中，在当前直播画面中显示预先为主播对象配置的目标图片，并基于采集到的主播对象的人脸图像，识别主播对象的单眼闭合特征，其中，单眼闭合特征是基于主播对象的单个眼睛上采集到的多个闭合点组的位置偏移量计算得到的，单个闭合点组中包括与同一直线相交的上眼睑点和下眼睑点，然后根据单眼闭合特征所指示的眼部闭合程度，驱动控制目标图片中虚拟动物对象的眼部进行同步闭合调整，从而避免了眼部肌肉小范围抖动的情况下而造成的眼部检测丢失的问题，因此提高了对直播画面中显示的动物形象的眼部驱动控制的准确性，进而解决了现有的技术无法保证对眼部驱动控制的准确性的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的眼部驱动控制方法的应用环境的示意图；
图2是根据本发明实施例的一种可选的眼部驱动控制方法的流程图；
图3是根据本发明实施例的一种可选的眼部驱动控制方法的示意图；
图4是根据本发明实施例的另一种可选的眼部驱动控制方法的示意图；
图5是根据本发明实施例的又一种可选的眼部驱动控制方法的示意图；
图6是根据本发明实施例的又一种可选的眼部驱动控制方法的示意图；
图7是根据本发明实施例的一种可选的眼部驱动控制方法的流程图；
图8是根据本发明实施例的一种可选的眼部驱动控制装置的结构示意图；
图9是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种眼部驱动控制方法，可选地，作为一种可选的实施方式，上述眼部驱动控制方法可以但不限于应用于如图1所示的硬件环境中的眼部驱动控制系统。其中，该眼部驱动控制系统可以包括但不限于终端设备102、网络104、服务器106、数据库108及终端设备109。终端设备102中运行有目标客户端(如图1所示的直播界面，该目标客户端可以是一款直播平台的主播版本客户端)。上述终端设备102包括人机交互屏幕，处理器及存储器。人机交互屏幕用于显示主播客户端的直播界面(如图1所示的一种主播客户端的直播界面)；还用于提供人机交互接口以接收用于用户使用直播软件进行网络直播的人机交互操作。处理器用于响应上述人机交互操作生成交互指令，并将该交互指令发送给服务器106。存储器用于存储相关属性数据，如直播界面的界面特效信息、直播平台的不同虚拟礼物信息等。上述终端设备109同样包括人机交互屏幕，处理器及存储器，其中，人机交互屏幕用于显示观众客户端的直播界面。
具体过程如以下步骤：如步骤S102，在终端设备102内运行的客户端中的当前直播画面中显示预先为主播对象配置的目标图片，其中，目标图片中显示有虚拟动物对象的面部；S104，采集主播对象的人脸图像；S106，终端设备102通过网络104发送上述主播对象的人脸图像至服务器106。服务器106将执行步骤S108-S112，基于采集到的主播对象的人脸图像，识别主播对象的单眼闭合特征，并根据单眼闭合特征所指示的眼部闭合程度，驱动控制目标图片中虚拟动物对象的眼部进行同步闭合调整，将调整后的目标图片封装为待推送的直播流数据。最后如步骤S114，服务器106通过网络104向终端设备102和终端设备109推送直播流数据。
作为另一种可选的实施方式，在终端设备102具备较强大的计算处理能力时，上述步骤S108-S112也可以由终端设备102来完成。这里为示例，本实施例中对此不作任何限定。
可选地，在本实施例中，上述终端设备可以是配置有目标客户端的终端设备，可以包括但不限于以下至少之一：手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices，移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
作为一种可选的实施方式，如图2所示，上述眼部驱动控制方法包括：
S202，在当前直播画面中显示预先为主播对象配置的目标图片，其中，目标图片中显示有虚拟动物对象的面部；
S204，基于采集到的主播对象的人脸图像，识别主播对象的单眼闭合特征，其中，单眼闭合特征是基于主播对象的单个眼睛上采集到的多个闭合点组的位置偏移量计算得到的，单个闭合点组中包括与同一直线相交的上眼睑点和下眼睑点；
S206，根据单眼闭合特征所指示的眼部闭合程度，驱动控制目标图片中虚拟动物对象的眼部进行同步闭合调整。
以如图3所示的界面为例，可以理解的是，上述直播画面为应用于终端的主播客户端进行直播时显示的界面。该界面可以分为四个显示区域，包括直播区301：用于显示主播用户在直播过程中向观众用户播出的画面；互动区302：用于显示观众用户的互动信息；设置区303：用于显示用于设置直播参数的控件；搜索区304：用于显示用于获取直播图片的控件。其中，如直播区301所示，在该区域中显示预先为主播对象配置的目标图片，在目标图片中显示有虚拟动物对象的面部。
可选地，上述采集主播对象的人脸图像的方式可以是通过如图1中所示的终端设备102通过设备自带的拍摄装置获取的主播对象的人脸图像，也可以是主播对象在通过终端设备102直播过程中，使用的第三方设备获取主播对象的人脸图像，再将上述获取的人脸图像导入终端设备102用于直播，在此不作限定。
现对上述单眼闭合特征进行进一步解释。可以理解的是，单眼闭合特征指示人脸图像中的单只眼睛的闭合程度，并根据单眼闭合特征所指示的眼部闭合程度驱动控制对应的虚拟动物对象的眼部进行闭合调整。
在上述方法中，获取得到主播对象的人脸图像后，先识别出主播对象的人脸图像中的眼部图像。作为一种可选的方式，可以将眼部图像单独截取出来，以进行更为精确地处理，在另一种可选的方式中，也可以直接在人脸图像中与其他面部特征提取操作一并进行处理。
可以理解的是，由于人眼肌肉较为敏感，因此容易发生小范围抖动，为了更为精确地检测这种眼部变化，通过分别对单只眼睛进行单眼闭合特征的提取，以将眼部变化特征量化表示。如图4所示，在单独截取出的人眼图像中，以右眼为例作为单眼闭合特征提取的对象。如图中所示出的三组闭合点组，单个闭合点组中包括与同一直线相交的上眼睑点和下眼睑点。即上眼睑点401与下眼睑点402为第一闭合点组，上眼睑点403与下眼睑点404为第二闭合点组以及上眼睑点405与下眼睑点406为第三闭合点组。图中示出的三个闭合点组仅为示例，在实际应用中，可以根据精度的需求采用更多的闭合点组以得到更精确地单眼闭合特征。
在本发明实施例中，在当前直播画面中显示预先为主播对象配置的目标图片，并基于采集到的主播对象的人脸图像，识别主播对象的单眼闭合特征，其中，单眼闭合特征是基于主播对象的单个眼睛上采集到的多个闭合点组的位置偏移量计算得到的，单个闭合点组中包括与同一直线相交的上眼睑点和下眼睑点，然后根据单眼闭合特征所指示的眼部闭合程度，驱动控制目标图片中虚拟动物对象的眼部进行同步闭合调整，也就是说，在本实施例中，是根据单眼闭合特征间接指示眼部的闭合程度，再对虚拟动物的眼部进行同步闭合调整，而避免了以实际获取的眼部图像信息对虚拟动物对象的眼部直接进行反馈调节，进而解决了现实用户的眼部肌肉的抖动造成虚拟动物对象眼部的异常颤动的技术问题，实现了提高对直播画面中显示的动物形象的眼部驱动控制的准确性的技术效果。
作为一种可选的实施方式，基于采集到的上述主播对象的人脸图像，识别上述主播对象的单眼闭合特征包括：
S1，从上述人脸图像中识别出上述主播对象的眼部关键点序列，其中，上述眼部关键点序列中包括上述多个闭合点组中各个眼睑点的位置信息；
S2，根据上述眼部关键点序列计算上述主播对象的单眼闭合程度系数；
S3，获取上述主播对象的瞳距；
S4，根据上述单眼闭合程度系数与上述瞳距之间的比值，确定上述单眼闭合特征。
以图5所示的主播的眼部图像为例对上述实施例进行说明。以图5中示出的右眼为例，上述瞳距为眼部图像中的左眼瞳孔501以及右眼瞳孔502之间的距离L。在另一种可选的实施例中，上述瞳距还可以是以眼部图像中的两个内眼角之间的距离为依据。
继续以图5为例进行说明，图5中示出了右眼图像上的三组关键点序列，分别为上眼睑点401和下眼睑点402，上眼睑点403和下眼睑点404，上眼睑点405和下眼睑点406。其中任意一组关键点序列均为与同一直线相交的上眼睑点和下眼睑点。可选地，上述任意一组关键点序列所在的直线均与左眼瞳孔501与右眼瞳孔502所在的直线垂直(图5中未示出上述关键点序列所在的直线)。可以理解的是，单眼关键点序列的数量可以根据实际需求进行确定，图5中示出的3组关键点序列仅为示例性说明，并不对本实施例进行限定。
可选地，在识别出上述眼部关键点序列后，可以以上述关键点序列在截取得到的眼部图像中所在的像素点位置指示其所在的位置信息。比如说，图5示出的眼部图像尺寸为300px(pixel，像素点)*60px的情况下，可以确定出下眼睑点402所在上述眼部图像中的位置为(200px，20px)，同理可以确定出上眼睑点401所在的位置为(200px，40px)，进而可以确定出上述所有关键点所在的位置信息。
根据识别出的眼部关键点序列计算得到主播对象的单眼闭合程度系数m后，结合获取得到的主播对象的瞳距L，即可根据上述二者的比值确定出单眼闭合特征s。
在本实施例中，通过从上述人脸图像中识别出上述主播对象的眼部关键点序列，并根据上述眼部关键点序列计算上述主播对象的单眼闭合程度系数；然后获取上述主播对象的瞳距；最后根据上述单眼闭合程度系数与上述瞳距之间的比值，确定上述单眼闭合特征，从而确定了一种具体计算出单眼闭合特征的方法，即根据瞳距以及单眼闭合系数确定出单眼闭合特征，进而用于控制虚拟动物对象的眼部的同步闭合调整，实现了提高眼部驱动控制准确性的技术效果。
作为一种可选的实施方式，根据上述眼部关键点序列计算上述主播对象的单眼闭合系数包括：
S1，确定每个上述闭合点组各自对应的睁眼距离和闭眼偏移距离，其中，上述睁眼距离为在单眼睁开状态下，上述闭合点组中上述上眼睑点和上述下眼睑点之间的空间距离，上述闭眼偏移距离为在单眼闭合状态下，上述闭合点组中上眼睑点和上述下眼睑点之间的偏移距离；
S2，计算与每个上述闭合点组各自对应的距离差值，得到多个距离差值，其中，上述距离差值为同一闭合点组的上述睁眼距离和闭眼偏移距离之间的差值；
S3，对上述多个距离差值进行加权求和计算，得到上述单眼闭合系数。
以下结合图6对上述实施方式进行具体说明。如图6所示分别示出了单眼的睁开状态和闭合状态，以及在睁开状态和闭合状态的单眼示意图中的一组关键点序列上眼睑点401以及下眼睑点402。可以理解的是，在单眼睁开状态下，如图6的左图所示，上眼睑点401与下眼睑点402之间的睁眼距离即a1。上眼睑点401所在的位置为(200px，40px)，下眼睑点402所在的位置为(200px，20px)为例，那么上述a1即为20px；如图6中的右图示出了单眼闭合状态下的一组关键点序列，由图可知，在单眼睁开状态下的上眼睑点401和下眼睑点402在单眼闭合以后分别落在了上眼睑点601和下眼睑点602上，由图中可知，在闭合状态下可能会出现水平方向上的偏移距离Δxi。假设闭合状态下的上眼睑点601的位置为(197px，50px)，下眼睑点602的位置为(202px，50px)，那么上述闭眼偏移距离Δxi即为5px。可以理解的是，上述空间距离以及偏移距离的计算方法仅为一种实例，在上述方法的实际运用场景中，仍可能出现在单眼睁开状态下的上下眼睑点的横坐标不一致的情况，以及在单眼闭合状态下的上下眼睑点的纵坐标不一致的情况(即单眼不完全闭合的状态)，在上述情况下则通过根据位置信息计算算数距离的方法确定上述睁眼距离a1以及闭眼偏移距离Δxi值。
根据上述的方法，可以以此确定出第i组闭合点组的睁眼距离ai以及闭眼偏移距离Δxi，以及二者的距离差值ai-Δxi。在计算得到每个闭合点组各自对应的距离差值ai-Δxi后，对上述每个闭合点组的距离差值进行加权求和计算，即可得到上述单眼闭合系数m。
可以理解的是，如图5所示的三个闭合点组由于其位置的差异，可以认为不同位置上的位置的变化对单眼闭合特征的反应程度是不同的，因此可以对不同位置上的闭合点组的距离差值ai-Δxi赋以权重，以通过闭合点组的距离差值所反映的距离差值更加精确地表征主播对象的眼睛闭合程度。
在一个可选的实施例中，在存在n组单眼闭合点组的情况下，将每组单眼闭合组的距离差值赋以权重
进而可以确定上述单眼闭合系数m可以通过以下方法得到：
通过本实施例，通过确定每个上述闭合点组各自对应的睁眼距离和闭眼偏移距离，然后计算与每个上述闭合点组各自对应的距离差值，最后对上述多个距离差值进行加权求和计算，从而得到上述单眼闭合系数。也就是说，本实施例提供了一种精确确定单眼闭合系数的方法，即同时考察单眼睁开状态以及闭合状态下的闭合点组的位置变化情况，并对不同位置的闭合点组赋以权重，以更加精确地通过闭合点组的距离差值参数反映单眼闭合系数，进而实现了提高对眼部检测的精确程度的技术效果。
作为一种可选的实施方式，根据上述单眼闭合程度系数与上述瞳距之间的比值，确定上述单眼闭合特征包括：
S1，确定与上述单个眼睛匹配的补偿系数；
S2，将上述补偿系数与上述比值的乘积，作为上述单眼闭合特征。
可以理解的是，在本实施方式中提供了一种精确确定出单眼闭合特征的方法，即在确定出上述单眼闭合程度系数以及瞳距之间的比值的情况下，继续确定出与上述单眼相匹配的补偿系数λ，进而根据上述补偿系数与上述单眼闭合程度系数与瞳距之间的比值的乘积作为单眼闭合特征。可以理解的是，此处的补偿系数λ可以根据实际需要进行设定，本申请不对λ的取值进行任何限定。
接下来结合图5、图6对上述确定单眼闭合特征s的方法进行具体说明。如图5所示的主播对象的眼部图像中，确定出三组闭合点组，第一组为上眼睑点401和下眼睑点402，第二组为上眼睑点403和下眼睑点404，第三组为上眼睑点405和下眼睑点406；
首先，根据确定出的n组单眼闭合点组(图中示出3组)获取其中每个点的位置信息，并根据每个点的位置信息获取在每组闭合点组在如图6中所示的睁开状态下的睁眼距离ai以及在闭合状态下的闭眼偏移距离Δxi，并根据二者的差值得到每组闭合点组的距离差值ai-Δxi；
在确定出每个闭合点组的权重为
的情况下，确定出上述单眼闭合系数m为
接着，根据图5所示的瞳距L以及获取的补偿系数λ，确定出上述单眼闭合特征
通过本申请的上述实施例，通过在单眼图像中确定出的多组闭合点组，并同时考察睁眼状态和闭眼状态下的多组闭合点组的位置关系，进而实现将主播对象的眼部的闭合程度更加精确地量化表征，进而实现更为精准地控制驱动虚拟动物对象眼部，实现了提高对虚拟动物对象的眼部驱动的准确性的技术效果。
作为一种可选的实施方式，根据上述单眼闭合特征所指示的眼部闭合程度，驱动控制上述目标图片中上述虚拟动物对象的眼部进行同步闭合调整包括：
S1，根据至少相邻三帧的上述单眼闭合特征的变化，确定上述主播对象的眼部抖动状态；
S2，按照与上述眼部抖动状态相匹配的驱动控制方式，调整上述虚拟动物对象的眼部进行同步闭合调整。
可以理解的是，在主播对象进行直播活动的过程中，采集的通常是包括了主播对象面部在内的视频数据。可以通过对视频数据分帧提取等得到对应于每一帧的主播对象的人脸图像，进而通过每一帧的人脸图像根据上述方法确定出单眼闭合特征。
根据上述方法，在获取了一段包括了主播对象的面部的视频数据的情况下，通过根据至少相邻三帧的人脸图像确定出主播对象的眼部抖动状态。所谓眼部抖动状态至少包括主播对象的眼部正常幅度的睁眼或闭眼状态，以及微弱幅度的眼部肌肉抖动状态两种状态。在第一种状态下，可以根据主播对象的单眼闭合特征所指示的眼部闭合情况对动物对象的眼部进行同步闭合调整；在第二种情况下，由于主播对象仅仅是眼部存在微弱的肌肉抖动状态，如果直接通过单眼闭合特征驱动虚拟动物对象的眼部闭合调整，则会出现调整异常以及虚拟动物对象眼部闭合不稳定的情况。
进一步地，根据本实施例的上述方法，根据至少相邻三帧的单眼闭合特征的变化，确定出主播对象的眼部抖动状态，并根据眼部抖动状态调整相匹配的驱动控制方式，进而对虚拟动物对象的眼部进行同步闭合调整。
通过本申请的上述实施例，在确定出主播对象的眼部抖动状态的情况下，根据眼部抖动状态匹配的驱动控制方式，调整虚拟动物对象的眼部进行同步闭合调整，从而实现了在主播对象的眼部仅仅是在微弱肌肉抖动状态的情况下，仍能够准确控制虚拟动物对象眼部进行同步闭合调整，解决了虚拟动物对象眼部驱动不稳定的技术问题。
作为一种可选的实施方式，按照与上述眼部抖动状态相匹配的驱动控制方式，调整上述虚拟动物对象的眼部进行同步闭合调整包括：
S1，在上述眼部抖动状态指示处于微弱抖动的情况下，获取当前帧人脸图像与在上述当前帧人脸图像之前的上两帧人脸图像之间的眼部抖动幅度值；
S2，根据与上述当前帧人脸图像匹配的抖动系数与上述眼部抖动幅度值，计算出眼部闭合调整值；
S3，按照上述眼部闭合调整值调整上述单眼闭合特征，并对上述单眼闭合特征进行均值滤波处理，得到处理后的上述单眼闭合特征；
S4，按照处理后的上述单眼闭合特征，对在上述当前帧人脸图像之后的下一帧人脸图像对应的目标图片中的上述虚拟动物对象的眼部进行同步闭合调整。
在一种可选的实施例中，上述眼部抖动幅度值可以通过上述单眼闭合系数m表示。在另一种可选的实施例中，上述眼部抖动幅度值还可以通过上述单眼闭合特征s进行表示。
通过对当前帧的眼部抖动幅度值与预定阈值进行比较，以确定当前帧的眼部抖动状态。在一个可选的实施例中，在上述眼部抖动幅度值处于第一预定阈值范围内的情况下，判定当前帧的眼部抖动处于微弱抖动状态；在上述眼部抖动幅度值处于第二预定阈值范围内的情况下，判定当前帧的眼部抖动处于抖动明显状态。
以下对上述方法进行具体说明。在该方法中，通过上述单眼闭合特征s表征上述眼部抖动幅度值。通过将上述方法将确定出的当前帧的单眼闭合特征s与第一阈值范围0.3～0.85进行比较，在上述单眼闭合特征s处于0.3～0.85区间内的情况下，判定当前帧的眼部抖动处于微弱的眼部肌肉抖动状态；将当前帧的单眼闭合特征s与第二阈值范围0～0.3和0.85以上比较，在单眼闭合特征s处于第二阈值范围0～0.3和0.85以上的情况下，判定当前帧的眼部抖动处于抖动明显的状态；
进一步地，通过上述方法确定当前帧的眼部处于微弱抖动状态的情况下，通过以下公式对当前帧的指示眼部抖动幅度的单眼闭合特征值进行调整：
需要进一步解释的是，上述a为第i帧的睁眼距离：ai+1＝(si+1-si)/A，分子为当前帧相对于上一帧的抖动情况，A为抖动区间。可以理解的是，在0.3～0.85为微弱抖动状态判定区间的情况下，A＝0.35。通过上述方式调整得到的s即为眼部闭合调整值；
接着，在得到上述眼部闭合调整值后，为了眼部驱动的一致性，对上述单眼闭合特征值即s继续进行均值滤波处理，进而得到处理后的单眼闭合特征；
最后，根据调整后的单眼闭合特征值对虚拟动物的眼部进行同步闭合调整。
可选地，在本实施例中，可以利用得到的主播对象和虚拟动物脸关键点构造网格，并将关键点数据作为图形渲染的纹理坐标。然后利用主播人脸前后帧关键点的位置计算偏移量。接着更新宠物脸的关键点位置，并将更新后的关键点数据作为图形渲染的顶点坐标。最终调用DirectX或者OpenGL的API生成渲染后的画面。
通过本申请的上述实施例，在确定出当前帧眼部闭合状态处于微弱抖动的情况下，根据前两帧的眼部抖动幅度值对当前帧的眼部抖动值进行调整得到处理后的单眼闭合特征，同时为了驱动的一致性，对当前帧的眼部闭合特征进行均值滤波的处理，从而实现了在主播对象的眼部存在微弱抖动的情况下，对其单眼闭合特征进行适应性调整，进而避免了驱动虚拟动物对象的眼部闭合出现不准确的技术问题，实现了提高眼部驱动控制的准确性的技术效果。
作为一种可选的实施方式，上述按照与上述眼部抖动状态相匹配的驱动控制方式，调整上述虚拟动物对象的眼部进行同步闭合调整包括：
S1，在上述眼部抖动状态指示处于非抖动状态的情况下，对当前帧人脸图像对应的上述单眼闭合特征进行均值滤波处理，得到处理后的上述单眼闭合特征
S2，按照处理后的上述单眼闭合特征，对在上述当前帧人脸图像之后的下一帧人脸图像对应的目标图片中的上述虚拟动物对象的眼部进行同步闭合调整
以下对上述方法进行具体说明。以单眼闭合特征值s表征当前帧的眼部抖动幅度值。通过将上述方法将确定出的当前帧的单眼闭合特征s与第一阈值范围0.3～0.85进行比较，在上述单眼闭合特征s不处于0.3～0.85区间内的情况下，但处于0～0.3和0.85以上的区间内的情况下，判定当前眼部处于非抖动状态；
在判定当前眼部处于非抖动状态的情况下，直接对上述单眼闭合特征值即s继续进行均值滤波处理，进而得到处理后的单眼闭合特征；
最后，根据调整后的单眼闭合特征值对虚拟动物的眼部进行同步闭合调整。
通过本申请的上述实施例，在确定出当前帧眼部闭合状态处于非抖动的情况下，根直接对当前帧的眼部闭合特征进行均值滤波的处理，从而实现了在主播对象的眼部存在非抖动的情况下，实现保持虚拟动物形象的眼部驱动的一致性的技术效果。
以下结合图7对本申请的具体实施方式进行说明。
如图7所示，执行步骤S702，显示目标图片；
以如图3所示的界面为例，可以理解的是，上述直播画面为应用于终端的主播客户端进行直播时显示的界面。该界面可以分为四个显示区域，包括直播区301：用于显示主播用户在直播过程中向观众用户播出的画面；互动区302：用于显示观众用户的互动信息；设置区303：用于显示用于设置直播参数的控件；搜索区304：用于显示用于获取目标图片的控件。其中，如直播区301所示，在该区域中显示预先为主播对象配置的目标图片，在目标图片中显示有虚拟动物对象的面部方式二：从本地存储的图像集中获取上述目标动物图片；
接着执行步骤S704，采集人脸图像；
可以理解的是，在主播对象进行直播活动的过程中，采集的通常是包括了主播对象面部在内的视频数据。可以通过对视频数据分帧提取等得到对应于每一帧的主播对象的人脸图像
如步骤S706，确定单眼闭合系数；
然后执行步骤S708，确定单眼闭合特征；
结合图5、图6对上述确定单眼闭合特征s的方法进行具体说明。如图5所示的主播对象的眼部图像中，确定出三组闭合点组，第一组为上眼睑点401和下眼睑点402，第二组为上眼睑点403和下眼睑点404，第三组为上眼睑点405和下眼睑点406；
首先，根据确定出的n组单眼闭合点组(图中示出3组)获取其中每个点的位置信息，并根据每个点的位置信息获取在每组闭合点组在如图6中所示的睁开状态下的睁眼距离ai以及在闭合状态下的闭眼偏移距离Δxi，并根据二者的差值得到每组闭合点组的距离差值ai-Δxi；
在确定出每个闭合点组的权重为
的情况下，确定出上述单眼闭合系数m为
接着，根据图5所示的瞳距L以及获取的补偿系数λ，确定出上述单眼闭合特征
然后执行步骤S710，检测是否抖动，在检测到眼部抖动的情况下，执行步骤S712，在检测到眼部没有抖动的情况下，执行步骤S714；
如步骤S712，在检测到眼部抖动的情况下，对眼部闭合进行调整。
通过将上述方法将确定出的当前帧的单眼闭合特征s与第一阈值范围0.3～0.85进行比较，在上述单眼闭合特征s处于0.3～0.85区间内的情况下，判定当前帧的眼部抖动处于微弱的眼部肌肉抖动状态；将当前帧的单眼闭合特征s与第二阈值范围0～0.3和0.85以上比较，在单眼闭合特征s处于第二阈值范围0～0.3和0.85以上的情况下，判定当前帧的眼部抖动处于抖动明显的状态；
进一步地，通过上述方法确定当前帧的眼部处于微弱抖动状态的情况下，通过以下公式对表征当前帧的眼部抖动幅度值的单眼闭合特征进行调整：
需要进一步解释的是，上述a为第i帧的睁眼距离：ai+1＝(si+1-si)/A，分子为当前帧相对于上一帧的抖动情况，A为抖动区间。可以理解的是，在0.3～0.85为微弱抖动状态判定区间的情况下，A＝0.35。通过上述方式调整得到的s即为眼部闭合调整值；
然后执行步骤S714，进行均值处理；
可以理解的是，在检测到眼部存在抖动状态的情况下，先对眼部进行闭合调整再进行均值处理，在检测眼部未抖动的情况下，直接对当前帧的眼部闭合特征进行均值处理。
最后执行步骤S716，渲染虚拟动物对象。
上述步骤即根据调整后的单眼闭合特征值对虚拟动物的眼部进行同步闭合调整。可以利用得到的主播对象和虚拟动物脸关键点构造网格，并将关键点数据作为图形渲染的纹理坐标。然后利用主播人脸前后帧关键点的位置计算偏移量。接着更新宠物脸的关键点位置，并将更新后的关键点数据作为图形渲染的顶点坐标。最终调用DirectX或者OpenGL的API生成渲染后的画面
在本发明实施例中，在当前直播画面中显示预先为主播对象配置的目标图片，并基于采集到的主播对象的人脸图像，识别主播对象的单眼闭合特征，其中，单眼闭合特征是基于主播对象的单个眼睛上采集到的多个闭合点组的位置偏移量计算得到的，单个闭合眼睑中包括眼睑一直线相交的上眼睑点和下眼睑点，然后根据单眼闭合特征所指示的眼部闭合程度，驱动控制目标图片中虚拟动物对象的眼部进行同步闭合调整，从而避免了眼部肌肉小范围抖动的情况下而造成的眼部检测丢失的问题，因此提高了对直播画面中显示的动物形象的眼部驱动控制的准确性，进而解决了现有的技术无法保证对眼部驱动控制的准确性的技术问题。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述眼部驱动控制方法的眼部驱动控制装置。如图所示，该装置包括：
显示单元804，用于在当前直播画面中显示预先为主播对象配置的目标图片，其中，上述目标图片中显示有虚拟动物对象的面部；
识别单元804，用于基于采集到的上述主播对象的人脸图像，识别上述主播对象的单眼闭合特征，其中，上述单眼闭合特征是基于上述主播对象的单个眼睛上采集到的多个闭合点组的位置偏移量计算得到的，单个上述闭合眼睑中包括眼睑一直线相交的上眼睑点和下眼睑点；
驱动控制单元806，用于根据上述单眼闭合特征所指示的眼部闭合程度，驱动控制上述目标图片中上述虚拟动物对象的眼部进行同步闭合调整。
可选地，在本实施例中，上述各个单元模块所要实现的实施例，可以参考上述各个方法实施例，这里不再赘述。
根据本发明实施例的又一个方面，还提供了一种用于实施上述眼部驱动控制方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为终端设备为例来说明。如图9所示，该电子设备包括显示器901、传输装置902、处理器903和存储器904，该存储器904中存储有计算机程序，该处理器903被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，在当前直播画面中显示预先为主播对象配置的目标图片，其中，目标图片中显示有虚拟动物对象的面部；
S2，基于采集到的主播对象的人脸图像，识别主播对象的单眼闭合特征，其中，单眼闭合特征是基于主播对象的单个眼睛上采集到的多个闭合点组的位置偏移量计算得到的，单个闭合点组中包括与同一直线相交的上眼睑点和下眼睑点；
S3，根据单眼闭合特征所指示的眼部闭合程度，驱动控制目标图片中虚拟动物对象的眼部进行同步闭合调整。
可选地，本领域普通技术人员可以理解，图9所示的结构仅为示意，电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图9其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图9中所示更多或者更少的组件(如网络接口等)，或者具有与图9所示不同的配置。
其中，存储器904可用于存储软件程序以及模块，如本发明实施例中的眼部驱动控制方法和装置对应的程序指令/模块，处理器903通过运行存储在存储器904内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的眼部驱动控制方法。存储器904可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器904可进一步包括相对于处理器903远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。作为一种示例，如图9所示，上述存储器904中可以但不限于包括上述眼部驱动控制装置中的显示单元802、识别单元804、驱动控制单元806。此外，还可以包括但不限于上述眼部驱动控制装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置902用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置902包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置902为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器901，用于在当前直播画面中显示预先为主播对象配置的目标图片，其中，上述目标图片中显示有虚拟动物对象的面部；和连接总线910，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
根据本申请的一个方面，提供了一种计算机可读存储介质，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述眼部驱动控制方方法。
可选地，在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，在当前直播画面中显示预先为主播对象配置的目标图片，其中，目标图片中显示有虚拟动物对象的面部；
S2，基于采集到的主播对象的人脸图像，识别主播对象的单眼闭合特征，其中，单眼闭合特征是基于主播对象的单个眼睛上采集到的多个闭合点组的位置偏移量计算得到的，单个闭合点组中包括与同一直线相交的上眼睑点和下眼睑点；
S3，根据单眼闭合特征所指示的眼部闭合程度，驱动控制目标图片中虚拟动物对象的眼部进行同步闭合调整。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上上述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种眼部驱动控制方法，其特征在于，包括：
在当前直播画面中显示预先为主播对象配置的目标图片，其中，所述目标图片中显示有虚拟动物对象的面部；
基于采集到的所述主播对象的人脸图像，识别所述主播对象的单眼闭合特征，其中，所述单眼闭合特征是基于所述主播对象的单个眼睛上采集到的多个闭合点组的位置偏移量计算得到的，单个所述闭合点组中包括与同一直线相交的上眼睑点和下眼睑点；
根据所述单眼闭合特征所指示的眼部闭合程度，驱动控制所述目标图片中所述虚拟动物对象的眼部进行同步闭合调整。
2.根据权利要求1所述的方法，其特征在于，基于采集到的所述主播对象的人脸图像，识别所述主播对象的单眼闭合特征包括：
从所述人脸图像中识别出所述主播对象的眼部关键点序列，其中，所述眼部关键点序列中包括所述多个闭合点组中各个眼睑点的位置信息；
根据所述眼部关键点序列计算所述主播对象的单眼闭合程度系数；
获取所述主播对象的瞳距；
根据所述单眼闭合程度系数与所述瞳距之间的比值，确定所述单眼闭合特征。
3.根据权利要求2所述的方法，其特征在于，根据所述眼部关键点序列计算所述主播对象的单眼闭合系数包括：
确定每个所述闭合点组各自对应的睁眼距离和闭眼偏移距离，其中，所述睁眼距离为在单眼睁开状态下，所述闭合点组中所述上眼睑点和所述下眼睑点之间的空间距离，所述闭眼偏移距离为在单眼闭合状态下，所述闭合点组中所述上眼睑点和所述下眼睑点之间的偏移距离；
计算与每个所述闭合点组各自对应的距离差值，得到多个距离差值，其中，所述距离差值为同一闭合点组的所述睁眼距离和闭眼偏移距离之间的差值；
对所述多个距离差值进行加权求和计算，得到所述单眼闭合系数。
4.根据权利要求2所述的方法，其特征在于，根据所述单眼闭合程度系数与所述瞳距之间的比值，确定所述单眼闭合特征包括：
确定与所述单个眼睛匹配的补偿系数；
将所述补偿系数与所述比值的乘积，作为所述单眼闭合特征。
5.根据权利要求1所述的方法，其特征在于，根据所述单眼闭合特征所指示的眼部闭合程度，驱动控制所述目标图片中所述虚拟动物对象的眼部进行同步闭合调整包括：
根据至少相邻三帧的所述单眼闭合特征的变化，确定所述主播对象的眼部抖动状态；
按照与所述眼部抖动状态相匹配的驱动控制方式，调整所述虚拟动物对象的眼部进行同步闭合调整。
6.根据权利要求5所述的方法，其特征在于，按照与所述眼部抖动状态相匹配的驱动控制方式，调整所述虚拟动物对象的眼部进行同步闭合调整包括：
在所述眼部抖动状态指示处于微弱抖动情况下，获取当前帧人脸图像与在所述当前帧人脸图像之前的上两帧人脸图像之间的眼部抖动幅度值；
根据与所述当前帧人脸图像匹配的抖动系数与所述眼部抖动幅度值，计算出眼部闭合调整值；
按照所述眼部闭合调整值调整所述单眼闭合特征，并对所述单眼闭合特征进行均值滤波处理，得到处理后的所述单眼闭合特征；
按照处理后的所述单眼闭合特征，对在所述当前帧人脸图像之后的下一帧人脸图像对应的目标图片中的所述虚拟动物对象的眼部进行同步闭合调整。
7.根据权利要求5所述的方法，其特征在于，按照与所述眼部抖动状态相匹配的驱动控制方式，调整所述虚拟动物对象的眼部进行同步闭合调整包括：
在所述眼部抖动状态指示处于非抖动状态的情况下，对当前帧人脸图像对应的所述单眼闭合特征进行均值滤波处理，得到处理后的所述单眼闭合特征；
按照处理后的所述单眼闭合特征，对在所述当前帧人脸图像之后的下一帧人脸图像对应的目标图片中的所述虚拟动物对象的眼部进行同步闭合调整。
8.一种眼部驱动控制装置，其特征在于，包括：
显示单元，用于在当前直播画面中显示预先为主播对象配置的目标图片，其中，所述目标图片中显示有虚拟动物对象的面部；
识别单元，用于基于采集到的所述主播对象的人脸图像，识别所述主播对象的单眼闭合特征，其中，所述单眼闭合特征是基于所述主播对象的单个眼睛上采集到的多个闭合点组的位置偏移量计算得到的，单个所述闭合点组中包括与同一直线相交的上眼睑点和下眼睑点；
驱动控制单元，用于根据所述单眼闭合特征所指示的眼部闭合程度，驱动控制所述目标图片中所述虚拟动物对象的眼部进行同步闭合调整。
9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111296399.9A CN113946221A (zh) | 2021-11-03 | 2021-11-03 | 眼部驱动控制方法和装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111296399.9A CN113946221A (zh) | 2021-11-03 | 2021-11-03 | 眼部驱动控制方法和装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113946221A true CN113946221A (zh) | 2022-01-18 |
Family
ID=79337434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111296399.9A Pending CN113946221A (zh) | 2021-11-03 | 2021-11-03 | 眼部驱动控制方法和装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113946221A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953813A (zh) * | 2022-12-19 | 2023-04-11 | 北京字跳网络技术有限公司 | 一种表情驱动方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018033155A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 视频图像的处理方法、装置和电子设备 |
| WO2018103220A1 (zh) * | 2016-12-09 | 2018-06-14 | 武汉斗鱼网络科技有限公司 | 一种图像处理的方法及装置 |
| CN110363135A (zh) * | 2019-07-10 | 2019-10-22 | 广州市百果园信息技术有限公司 | 人眼闭合程度的确定方法、眼睛控制方法和装置 |
| CN112533017A (zh) * | 2020-12-01 | 2021-03-19 | 广州繁星互娱信息科技有限公司 | 直播方法、装置、终端及存储介质 |
| WO2021175180A1 (zh) * | 2020-03-02 | 2021-09-10 | 广州虎牙科技有限公司 | 视线确定方法、装置、电子设备和计算机可读存储介质 |
| US20210312161A1 (en) * | 2019-03-29 | 2021-10-07 | Guangzhou Huya Information Technology Co., Ltd. | Virtual image live broadcast method, virtual image live broadcast apparatus and electronic device |
-
2021
- 2021-11-03 CN CN202111296399.9A patent/CN113946221A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018033155A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 视频图像的处理方法、装置和电子设备 |
| WO2018103220A1 (zh) * | 2016-12-09 | 2018-06-14 | 武汉斗鱼网络科技有限公司 | 一种图像处理的方法及装置 |
| US20210312161A1 (en) * | 2019-03-29 | 2021-10-07 | Guangzhou Huya Information Technology Co., Ltd. | Virtual image live broadcast method, virtual image live broadcast apparatus and electronic device |
| CN110363135A (zh) * | 2019-07-10 | 2019-10-22 | 广州市百果园信息技术有限公司 | 人眼闭合程度的确定方法、眼睛控制方法和装置 |
| WO2021175180A1 (zh) * | 2020-03-02 | 2021-09-10 | 广州虎牙科技有限公司 | 视线确定方法、装置、电子设备和计算机可读存储介质 |
| CN112533017A (zh) * | 2020-12-01 | 2021-03-19 | 广州繁星互娱信息科技有限公司 | 直播方法、装置、终端及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953813A (zh) * | 2022-12-19 | 2023-04-11 | 北京字跳网络技术有限公司 | 一种表情驱动方法、装置、设备及存储介质 |
| CN115953813B (zh) * | 2022-12-19 | 2024-01-30 | 北京字跳网络技术有限公司 | 一种表情驱动方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111353506B (zh) | 自适应的视线估计方法和设备 | |
| CN110610546B (zh) | 视频画面显示方法、装置、终端及存储介质 | |
| JP7342366B2 (ja) | アバター生成システム、アバター生成方法、およびプログラム | |
| CN108200337B (zh) | 拍照处理的方法、装置、终端及存储介质 | |
| CN105763829A (zh) | 一种图像处理方法及电子设备 | |
| CN111308707B (zh) | 画面显示调节方法、装置、存储介质及增强现实显示设备 | |
| CN113965773A (zh) | 直播展示方法和装置、存储介质及电子设备 | |
| CN109660508A (zh) | 数据可视化方法、电子装置、计算机设备及存储介质 | |
| CN114442805A (zh) | 一种监控场景展示方法、系统、电子设备及存储介质 | |
| CN114449303B (zh) | 直播画面生成方法和装置、存储介质及电子装置 | |
| CN113946221A (zh) | 眼部驱动控制方法和装置、存储介质及电子设备 | |
| WO2024104144A1 (zh) | 图像合成方法和装置、存储介质及电子设备 | |
| CN116524136B (zh) | 机房三维可视化方法、系统、电子设备及可读存储介质 | |
| WO2024098822A1 (zh) | 一种地震灾害动态可视化方法和装置 | |
| CN107544660B (zh) | 一种信息处理方法及电子设备 | |
| CN111385481A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN116071551A (zh) | 图像处理方法、计算机可读存储介质及电子设备 | |
| WO2023038808A1 (en) | Representing flat surfaces in point-based representations of physical environments | |
| CN114241551A (zh) | 虚拟形象的展示方法和装置、存储介质及电子装置 | |
| CN114332357A (zh) | 虚拟形象的显示方法和装置、存储介质及电子装置 | |
| CN114387157A (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
| CN113468250A (zh) | 热力图生成方法、装置、设备及存储介质 | |
| WO2024152697A1 (zh) | 数据处理方法、装置、计算机设备以及可读存储介质 | |
| CN112750195B (zh) | 目标物体的三维重建方法和装置、存储介质及电子设备 | |
| US11461957B2 (en) | Information processing device, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |