CN115953813A - 一种表情驱动方法、装置、设备及存储介质 - Google Patents
一种表情驱动方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115953813A CN115953813A CN202211632776.6A CN202211632776A CN115953813A CN 115953813 A CN115953813 A CN 115953813A CN 202211632776 A CN202211632776 A CN 202211632776A CN 115953813 A CN115953813 A CN 115953813A
- Authority
- CN
- China
- Prior art keywords
- coefficient
- eye
- image
- threshold
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 51
- 210000000744 eyelid Anatomy 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 11
- 239000011295 pitch Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000008921 facial expression Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 210000001747 pupil Anatomy 0.000 description 6
- 230000004397 blinking Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Abstract
本公开提出了一种表情驱动方法、装置、设备及存储介质，其中，所述方法包括：获取目标对象的待处理图像，所述待处理图像中包括所述目标对象的眼部区域；基于所述待处理图像确定所述目标对象的至少一维表情系数，所述至少一维表情系数包括第一眼部系数和第二眼部系数，其中，所述第一眼部系数用于表征所述目标对象的眼皮间距，所述第二眼部系数用于表征所述目标对象的视线信息；基于确定的所述至少一维表情系数驱动虚拟形象。本公开一个或者多个实施方式提供的技术方案，能够提高表情驱动准确程度。
Description
技术领域
本公开涉及图像处理技术领域，具体涉及一种表情驱动方法、装置、设备及存储介质。
背景技术
表情驱动以用户的面部图像作为输入，借助于驱动算法可以输出用户面部不同部位的表情系数。这些表情系数可以被应用于面部表情的模拟过程中。
在模拟面部表情时，用户眼部区域的表情系数通常起着较大的作用。目前，为了准确地得到眼部区域的表情系数，通常需要结合用户的身份信息和姿态信息进行估算。然而，在部分应用场景下，用户的身份信息和姿态信息无法准确地获取。例如用户在佩戴虚拟现实眼镜时，通常只能通过虚拟现实眼镜拍摄用户的眼部图像，但无法获取到用户的身份信息和姿态信息，这就导致基于现有的方法，在部分应用场景下无法准确地对用户的眼部表情进行模拟。
发明内容
有鉴于此，本公开一个或者多个实施方式提供了一种表情驱动方法、装置、设备及存储介质，能够提高表情驱动准确程度。
本公开一方面提供了一种表情驱动方法，所述方法包括：获取目标对象的待处理图像，所述待处理图像中包括所述目标对象的眼部区域；基于所述待处理图像确定所述目标对象的至少一维表情系数，所述至少一维表情系数包括第一眼部系数和第二眼部系数，其中，所述第一眼部系数用于表征所述目标对象的眼皮间距，所述第二眼部系数用于表征所述目标对象的视线信息；基于确定的所述至少一维表情系数驱动虚拟形象。
本公开另一方面还提供了一种表情驱动装置，所述装置包括：图像获取单元，用于获取目标对象的待处理图像，所述待处理图像中包括所述目标对象的眼部区域；表情系数确定单元，用于基于所述待处理图像确定所述目标对象的至少一维表情系数，所述至少一维表情系数包括第一眼部系数和第二眼部系数，其中，所述第一眼部系数用于表征所述目标对象的眼皮间距，所述第二眼部系数用于表征所述目标对象的视线信息；表情驱动单元，用于基于确定的所述至少一维表情系数驱动虚拟形象。
本公开另一方面还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的表情驱动方法。
本公开另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的表情驱动方法。
本公开一个或者多个实施方式提供的技术方案，在获取到目标对象的待处理图像后，可以根据待处理图像中眼部区域的识别结果，确定目标对象的至少一维表情系数，该至少一维表情系数可以包括第一眼部系数和第二眼部系数，其中，第一眼部系数可以表征目标对象的眼皮间距，第二眼部系数可以表征目标对象的视线信息。这样，上述的第一眼部系数可以表征眼睛轮廓的整体状态，而第二眼部系数可以表征瞳孔的准确位置，结合第一眼部系数和第二眼部系数来对眼部表情进行模拟，在不需要知晓目标对象的身份信息和姿态信息的情况下，就能够得到准确的眼部表情。
附图说明
通过参考附图会更加清楚的理解本公开各实施例的特征和优点，附图是示意性的而不应理解为对本公开进行任何限制，在附图中：
图1示出了本公开一个实施方式中的表情驱动方法步骤示意图；
图2示出了本公开一个实施方式中的眼部特征点的示意图；
图3示出了本公开一个实施方式中视线信息的示意图图；
图4示出了本公开一个实施方式中视线偏移分量的分解示意图；
图5示出了本公开一个实施方式中表情驱动装置的功能模块示意图；
图6示出了本公开一个实施方式中电子设备的结构示意图。
具体实施方式
为使本公开实施方式的目的、技术方案和优点更加清楚，下面将结合本公开实施方式中的附图，对本公开实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。
本公开一个实施方式提供一种表情驱动方法，请参阅图1，该方法可以包括以下多个步骤。
S1：获取目标对象的待处理图像，所述待处理图像中包括所述目标对象的眼部区域。
在本实施方式中，目标对象的待处理图像可以通过图像采集设备获取，该待处理图像中可以包括目标对象的眼部区域。图像采集设备可以仅采集目标对象的眼部图像，也可以采集目标对象的面部图像，并从面部图像中裁剪得到眼部图像。例如，在实际应用中，目标对象在佩戴虚拟现实眼镜时，可以通过虚拟现实眼镜采集目标用户的眼部图像。本公开对待处理图像的采集方式并不做限定。
S3：基于所述待处理图像确定所述目标对象的至少一维表情系数，所述至少一维表情系数包括第一眼部系数和第二眼部系数，其中，所述第一眼部系数用于表征所述目标对象的眼皮间距，所述第二眼部系数用于表征所述目标对象的视线信息。
在本实施方式中，采集到目标对象的待处理图像后，可以通过关键点识别算法，从待处理图像中识别出眼部特征点。此外，还可以通过视线追踪算法，从待处理图像中识别出视线信息。
需要说明的是，待处理图像中可以包含目标对象的双眼，在实际处理时，可以逐一对每只眼睛的局部区域分别进行处理，从而得到每只眼睛对应的眼部特征点和视线信息。考虑到目标对象的双眼通常是呈对称结构的，为了简化数据处理的过程，可以将待处理图像中一只眼睛的局部区域进行对称翻转，然后采用同一套算法对翻转后的局部区域进行处理，得到对应的眼部特征点和视线信息。后续可以对眼部特征点和视线信息再次进行对称翻转，从而得到与实际情况相符的眼部特征点和视线信息。这样，通过两次对称翻转，可以采用同一套算法对两只眼睛都完成识别处理。
此外，当图像采集设备位于虚拟现实设备上时，受限于虚拟现实设备本身的构造特点以及图像采集设备的设置位置，有时候仅能采集到目标用户的单眼的图像，因此可以通过至少两个图像采集设备分别采集目标对象的左眼和右眼对应的眼部图像。
以下从单只眼睛的角度来阐述本公开的技术方案，对于单只眼睛而言，上述的关键点识别算法可以得到固定数量的眼部特征点。如图2所示，眼部特征点的数量可以是24个，每个眼部特征点可以根据所处位置的不同，具备各自的编号。其中，编号0至5和19至23可以位于上眼皮，编号6和18位于眼角，7至17位于下眼皮，并且编号0和23可以对应位于上眼皮最中间的两个眼部特征点。当然，上述的眼部特征点的位置和编号只是实际应用示例中的一种可行的情况，根据关键点算法的不同，得到的眼部特征点的数量以及位置也可以不同，本公开对此并不做限定。
在本实施方式中，通过视线追踪算法识别出的视线信息可以包括视线方向和视线偏移量。在实际应用中，视线正视前方时，瞳孔所处的位置(虚线所示的圆形)可以默认为中心位置，基于该中心位置可以确定四个标准方向。如图3所示，这四个标准方向可以分别对应上、下、左、右。待处理图像中瞳孔当前所处的位置(实线所示的圆形)，与中心位置之间构成的向量，便可以作为视线追踪算法识别得到的视线信息。其中，该向量表征的方向便可以作为上述的视线方向，该向量的模值便可以作为上述的视线偏移量。
在本实施方式中，在识别得到待处理图像中的眼部特征点后，可以通过指定位置处的眼部特征点，确定待处理图像中的眼皮间距，该眼皮间距可以表征目标对象的眨眼状态。
具体地，以图2所示的眼部特征点为例，可以从眼部特征点中识别眼角特征点和位于上眼皮指定位置处的目标特征点。其中，眼角特征点可以是图2中编号为6和18的眼部特征点，目标特征点可以是位于上眼皮最中间的眼部特征点。例如，目标特征点可以是图2中编号为0的眼部特征点。在得到上述的眼角特征点和目标特征点后，可以确定由眼角特征点构成的直线，并将目标特征点与该直线之间的距离作为待处理图像中的眼皮间距。
在一个实施方式中，如果上眼皮最中间位置处的眼部特征点的数量为多个，那么可以将这多个眼部特征点都作为目标特征点。例如在图2中，编号为0和23的眼部特征点都可以作为目标特征点。然后，针对每个目标特征点，都可以确定目标特征点与上述的直线之间的距离，最终可以将各个距离之间的平均值作为待处理图像中的眼皮间距。通过求取平均值的方式，可以提高眼皮间距的计算精度。
当然，在实际应用中还可以有更多的方式来确定眼皮间距。例如，可以直接选取上眼皮最中间位置的第一眼部特征点(例如编号为0的点)和下眼皮最中间位置的第二眼部特征点(例如编号为13的点)，然后将第一眼部特征点和第二眼部特征点之间的距离作为眼皮间距。根据实际应用场景和数据精度要求的不同，可以采用灵活的方式选取眼部特征点，并基于选取的眼部特征点计算眼皮间距。
在本实施方式中，在计算出眼皮间距之后，可以基于眼皮间距计算出表征目标对象眨眼状态的第一眼部系数。在实际应用中，该第一眼部系数的数值从大到小的变化过程，可以对应目标对象的眼睛从闭合到睁开的过程。例如，当目标对象的眼睛闭合时(对应于眼皮间距最小时)，该第一眼部系数的数值可以最大。而当该目标对象的眼睛睁开时，该第一眼部系数的数值可以最小。当然，根据应用场景的不同，第一眼部系数与眼皮间距之间的关系也可以灵活调整，只要第一眼部系数能够表征目标对象的眨眼状态即可。
在一个具体应用场景中，通过图像采集设备可以预先采集目标对象的多帧待处理图像，这多帧待处理图像可以构成具备时序关系的待处理图像序列。通过统计该待处理图像序列中各个待处理图像内的眼皮间距的分布，可以确定第一间距阈值和第二间距阈值。其中，第一间距阈值可以是统计的眼皮间距中的最小值，第二间距阈值可以是统计的眼皮间距中的最大值。当然，考虑到最大值和最小值可能无法体现大部分眼皮间距的分布规律，因此在实际应用中，也可以将统计的眼皮间距从小到大进行排序，然后将其中的中位数作为上述的第二间距阈值，并将排名在1％位置处的眼皮间距的数值作为上述的第一间距阈值。实际应用中第一间距阈值和第二间距阈值的取值方式可以多种多样，只要能够体现大部分眼皮间距的分布规律即可。
在实际应用中，图像采集设备可以拍摄一段眼部视频，该眼部视频中的各帧待处理图像就可以构成待处理图像序列。对于待处理图像序列中的任一待处理图像，都可以按照上述的方式确定出各自表征的眼皮间距。
在本实施方式中，在预先确定了第一间距阈值和第二间距阈值后，便可以基于该第一间距阈值和第二间距阈值，计算待处理图像中当前的眼皮间距对应的第一眼部系数。具体地，在一个应用示例中，可以先计算所述眼皮间距与所述第一间距阈值之间的第一差值，并计算所述第二间距阈值和所述第一间距阈值之间的第二差值，然后根据所述第一差值与所述第二差值的比值，生成第一参考系数。其中，该比值越大，对应的第一参考系数可以越小。在生成第一参考系数之后，可以判断该第一参考系数是否大于指定参数阈值，若该第一参考系数小于或者等于所述指定参数阈值，可以对该第一参考系数进行归一化，将该第一参考系数的数值限定在0和1之间，并将归一化后的数值作为眼皮间距对应的第一眼部系数。
而如果所述第一参考系数大于所述指定参数阈值，则可以通过预设约束函数将所述第一参考系数约束为第二参考系数。后续，可以对所述第二参考系数进行归一化，将该第二参考系数的数值限定在0和1之间，并将归一化后的数值作为眼皮间距对应的第一眼部系数。
上述第一参考系数和第二参考系数的计算过程可以通过以下的公式来表示：
其中，前述步骤中的指定参数阈值可以为0.5，P1表示第一参考系数，dt表示当前的眼皮间距，dmin表示上述的第一间距阈值，dmax表示上述的第二间距阈值，P2表示第二参考系数。关于P2的计算公式便可以作为上述的预设约束函数。
需要说明的是，上述第一参考系数和第二参考系数的计算公式只是一种可行的实施方式，并不表示在计算第一眼部系数时，只能按照上述公式来计算第一参考系数和第二参考系数。只要最终计算得到的第一眼部系数能够符合当前表情系数的标准即可。
例如，在另一个应用示例中，在得到待处理图像中的眼皮间距后，可以直接按照反比例运算的方式，计算该眼皮间距对应的第一眼部系数。通过该简单的过程，也不需要借助于待处理图像序列和复杂的计算公式，便可以得到对应的第一眼部系数。具体的关于第一眼部系数的求解方式，还是需要根据实际的应用场景需求而定。通过对待处理图像序列中各个待处理图像的眼皮间距进行统计，并基于统计结果生成的第一眼部系数，可以具备高的精度，从而提高后续的眼部表情模拟的精度。
在本实施方式中，任意一个视线方向都可以在图3所示的标准方向上进行投影，鉴于此，可以根据视线信息表征的视线方向，将视线信息表征的视线偏移量映射至预设的多个标准方向上，从而得到各个所述标准方向上的偏移分量。请参阅图4，视线偏移量可以在左和上这两个标准方向上进行投影，从而得到这两个标准方向上的偏移分量。
在得到标准方向上的偏移分量后，可以生成各个标准方向上的偏移分量各自对应的分量系数，并将各个分量系数构成的系数向量作为所述视线信息对应的第二眼部系数。需要说明的是，如果在某个标准方向上的偏移分量为0，那么该标准方向上的分量系数也默认为0，并不需要进行额外的计算。也就是说，在图4所示的情况下，只需要对左和上这两个标准方向的分量系数进行计算，对于右和下这两个标准方向而言，分量系数都可以是0。
在一个实例应用示例中，为了提高分量系数的计算精度，通常可以预先采集待处理图像序列，通过对待处理图像序列进行分析，可以构成各个标准方向对应的偏移分量序列。针对每个标准方向而言，可以统计偏移分量序列中的各个偏移分量的分布情况，并基于统计结果确定标准方向对应的第一视线阈值和第二视线阈值。其中，第一视线阈值可以是偏移分量序列中的最小值，第二视线阈值可以是偏移分量序列中的最大值。当然，基于前述实施方式的描述，为了体现偏移分量的分布规律，可以对偏移分量序列中的偏移分量按照从小到大的顺序进行排序，然后将其中的中位数作为上述的第二视线阈值，并将排名在1％位置处的偏移分量的数值作为上述的第一视线阈值。实际应用中第一视线阈值和第二视线阈值的取值方式可以多种多样，只要能够体现偏移分量的分布规律即可。
具体地，以其中的任意一个目标标准方向而言，预先确定出目标标准方向对应的第一视线阈值和第二视线阈值后，可以基于所述第一视线阈值和所述第二视线阈值，计算该目标标准方向上的偏移分量对应的分量系数。其中，偏移分量越大，对应的分量系数可以越小。
在一个具体应用示例中，可以计算所述目标标准方向上的偏移分量与所述第一视线阈值之间的第三差值，并计算所述第二视线阈值和所述第一视线阈值之间的第四差值。然后可以根据所述第三差值与所述第四差值的比值，生成视线参考系数。最终，通过对所述视线参考系数进行归一化，可以将归一化后的数值作为所述目标标准方向上的偏移分量对应的分量系数。
上述分量系数的计算公式可以如下所示：
其中，Ei表示第i个标准方向上的偏移分量对应的分量系数，fi表示第i个标准方向上的偏移分量，fimin表示第i个标准方向上的第一视线阈值，fimax表示第i个标准方向上的第二视线阈值。
假设目前有四个标准方向，那么在得到四个标准方向各自的分量系数后，当前的视线信息对应的第二眼部系数就可以通过系数向量的形式来表示：
(E1,E2,E3,E4)
S5：基于确定的所述至少一维表情系数驱动虚拟形象。
在本实施方式中，在得到上述的第一眼部系数和第二眼部系数后，可以将第一眼部系数和第二眼部系数合并为一个向量，该向量便可以作为待处理图像的眼部表情系数。例如，合并后的眼部表情系数可以表示为：
(E1,E2,E3,E4,P)
其中，E1至E4表示第二眼部系数，P表示第一眼部系数。
在本实施方式中，生成待处理图像对应的眼部表情系数之后，可以直接基于眼部表情系数模拟出眼部表情。此外，还可以在该眼部表情系数的基础上，模拟目标对象的面部表情。在实际应用中，模拟面部表情通常需要面部各个特征维度的表情系数。例如在某些场景下，需要根据面部51个特征维度的表情系数，才能模拟出对应的面部表情。
在模拟目标对象整体的面部表情时，可以先加载默认面部表情，该默认面部表情中的各个面部特征维度可以具备原始表情系数。该默认面部表情可以视为一个表情模板，表征目标对象的面部目前不具备任何表情动作。后续，可以利用本公开上述实施方式生成的眼部表情系数，对其中眼部区域的特征维度的原始表情系数进行修正，从而使得基于修正后的表情系数能够准确地模拟出目标对象当前的表情动作。
在一个具体应用示例中，可以采用大量的训练样本对表情系数识别模型进行训练，从而得到能够准确输出待处理图像对应的至少一维表情系数。其中，训练样本可以是通过图像采集设备获取的面部视频中的各个图像帧，这些图像帧中可以包括目标对象的眼部区域。其中，面部视频中包含的多个图像帧，均可以作为图像样本序列。针对每个图像样本序列，可以按照前述步骤的方式，通过关键点识别算法和视线追踪算法，确定出图像样本序列中与眼皮间距相关的第一间距阈值和第二间距阈值，以及确定出与视线信息相关的第一视线阈值和第二视线阈值。后续，便可以基于上述的第一间距阈值、第二间距阈值、第一视线阈值以及第二视线阈值，按照前述步骤中描述的方式，确定出图像样本序列中各个训练样本的至少一维表情系数，该至少一维表情系数可以包括表征眼皮间距的第一眼部系数和表征视线信息的第二眼部系数。
在该具体示例中，计算出的至少一维表情系数，可以作为训练样本的真值(groundtruth)，在通过训练样本对表情系数识别模型进行训练时，可以利用训练样本的真值，对表情系数识别模型输出的预测值进行监督。通过真值与预测值之间的误差，可以对表情系数识别模型进行不断校正，直至达到预设的训练收敛条件，便可以完成模型训练的过程。其中，预设的训练收敛条件可以指表情系数识别模型输出的预测值与真值之间的误差在允许范围内，还可以指表情系数识别模型的迭代校正的次数达到指定次数。
在该具体示例中，在训练得到满足要求的表情系数识别模型后，便可以利用该表情系数识别模型，对目标对象的待处理图像进行处理。具体地，可以将该目标对象的待处理图像输入表情系数识别模型中，该表情系数识别模型便可以输出对应的至少一维表情系数，根据训练阶段的描述，该至少一维表情系数可以包括表征眼皮间距的第一眼部系数和表征视线信息的第二眼部系数。在得到待处理图像的至少一维表情系数之后，便可以基于该至少一维表情系数，驱动目标对象的虚拟形象。
由上可见，本公开提供的技术方案，在生成待处理图像的表情系数时，并不需要对目标用户的面部进行3D重建，从而省去了3D解算的过程，极大地提高了表情驱动的效率。此外，在生成第一眼部系数和第二眼部系数的过程中，通过对待处理图像序列以及偏移分量序列进行统计，使得基于统计信息生成的第一眼部系数和第二眼部系数在后续驱动虚拟形象时，连续性和稳定性更好，避免出现抖动。再者，本公开通过关键点识别技术和视线追踪技术，能够快速地生成训练样本的真值，并不依赖于长链路的优化和训练，从而提高了模型训练的效率。
通过以上描述可见，本公开一个或者多个实施方式提供的技术方案，在获取到目标对象的待处理图像后，可以根据待处理图像中眼部特征点和视线信息的识别结果，来对眼部表情进行模拟。具体地，根据眼部特征点在待处理图像中所处的位置，可以确定待处理图像中的眼皮间距。该眼皮间距可以表明眼睛的眨眼状态，通过对眼皮间距进行量化，可以得到对应的第一眼部系数。视线信息则可以对瞳孔位置进行追踪，通过对视线方向和视线偏移量进行处理，可以得到表征瞳孔位置的第二眼部系数。
可见，上述的第一眼部系数可以表征眼睛轮廓的整体状态，而第二眼部系数可以表征瞳孔的准确位置，结合第一眼部系数和第二眼部系数来对眼部表情进行模拟，在不需要知晓目标对象的身份信息和姿态信息的情况下，就能够得到准确的眼部表情。
请参阅图5，本公开一个实施方式还提供一种表情驱动装置，所述装置包括：
图像获取单元100，用于获取目标对象的待处理图像，所述待处理图像中包括所述目标对象的眼部区域；
表情系数确定单元200，用于基于所述待处理图像确定所述目标对象的至少一维表情系数，所述至少一维表情系数包括第一眼部系数和第二眼部系数，其中，所述第一眼部系数用于表征所述目标对象的眼皮间距，所述第二眼部系数用于表征所述目标对象的视线信息；
表情驱动单元300，用于基于确定的所述至少一维表情系数驱动虚拟形象。
其中，各个功能模块的具体处理逻辑，可以参见前述方法实施方式的描述，这里就不再赘述。
请参阅图6，本公开还提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的表情驱动方法。
上述实施方式阐明的各个单元，具体可以由计算机芯片实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上设备时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本公开还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的表情驱动方法。
其中，处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本公开实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
虽然结合附图描述了本公开的实施方式，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (16)
1.一种表情驱动方法，其特征在于，所述方法包括：
获取目标对象的待处理图像，所述待处理图像中包括所述目标对象的眼部区域；
基于所述待处理图像确定所述目标对象的至少一维表情系数，所述至少一维表情系数包括第一眼部系数和第二眼部系数，其中，所述第一眼部系数用于表征所述目标对象的眼皮间距，所述第二眼部系数用于表征所述目标对象的视线信息；
基于确定的所述至少一维表情系数驱动虚拟形象。
2.根据权利要求1所述的方法，其特征在于，所述目标对象的眼皮间距基于所述待处理图像中的眼部特征点在所述待处理图像中所处的位置确定；其中，所述眼部特征点包括眼角特征点和位于上眼皮指定位置处的目标特征点。
3.根据权利要求2所述的方法，其特征在于，所述眼皮间距按照以下方式确定：
确定由所述眼角特征点构成的直线，并将所述目标特征点与所述直线之间的距离作为所述目标对象的眼皮间距。
4.根据权利要求3所述的方法，其特征在于，若所述目标特征点的数量为多个，所述方法还包括：
分别确定各个所述目标特征点与所述直线之间的距离，并将确定的各个距离之间的平均值作为所述目标对象的眼皮间距。
5.根据权利要求1所述的方法，其特征在于，所述视线信息包括视线方向和视线偏移量；其中，所述视线偏移量基于所述视线方向被映射至预设的多个标准方向上，得到各个所述标准方向上的偏移分量，所述第二眼部系数由各个所述偏移分量对应的分量系数确定。
6.根据权利要求1所述的方法，其特征在于，基于所述待处理图像确定所述目标对象的至少一维表情系数包括：
将所述待处理图像输入完成训练的表情系数识别模型，以通过所述表情系数识别模型输出所述待处理图像对应的至少一维表情系数；
其中，所述表情系数识别模型基于图像样本序列中的训练样本训练得到。
7.根据权利要求6所述的方法，其特征在于，所述图像样本序列中训练样本的表情系数按照以下方式生成：
识别所述训练样本中的眼部特征点和视线信息；
根据所述眼部特征点在所述训练样本中所处的位置，确定所述训练样本表征的眼皮间距，并生成所述眼皮间距对应的第一眼部系数；
根据所述视线信息表征的视线方向和视线偏移量，生成所述视线信息对应的第二眼部系数；
将所述第一眼部系数和所述第二眼部系数作为所述训练样本的表情系数。
8.根据权利要求7所述的方法，其特征在于，生成所述眼皮间距对应的第一眼部系数包括：
针对所述训练样本所处的图像样本序列，统计所述图像样本序列中各个训练样本中的眼皮间距；
在统计的眼皮间距中确定第一间距阈值和第二间距阈值，并基于所述第一间距阈值和所述第二间距阈值，计算所述眼皮间距对应的第一眼部系数；其中，所述第一间距阈值小于所述第二间距阈值。
9.根据权利要求8所述的方法，其特征在于，计算所述眼皮间距对应的第一眼部系数包括：
计算所述眼皮间距与所述第一间距阈值之间的第一差值，并计算所述第二间距阈值和所述第一间距阈值之间的第二差值；
根据所述第一差值与所述第二差值的比值，生成第一参考系数；
若所述第一参考系数小于或者等于指定参数阈值，对所述第一参考系数进行归一化，并将归一化后的数值作为所述眼皮间距对应的第一眼部系数。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
若所述第一参考系数大于所述指定参数阈值，通过预设约束函数将所述第一参考系数约束为第二参考系数；
对所述第二参考系数进行归一化，并将归一化后的数值作为所述眼皮间距对应的第一眼部系数。
11.根据权利要求7所述的方法，其特征在于，生成所述视线信息对应的第二眼部系数包括：
根据所述视线方向，将所述视线偏移量映射至预设的多个标准方向上，得到各个所述标准方向上的偏移分量；
生成各个所述标准方向上的偏移分量各自对应的分量系数，并将各个分量系数构成的系数向量作为所述视线信息对应的第二眼部系数。
12.根据权利要求11所述的方法，其特征在于，生成各个所述标准方向上的偏移分量各自对应的分量系数包括：
针对各个所述标准方向中的任一目标标准方向，确定所述目标标准方向对应的第一视线阈值和第二视线阈值；其中，所述第一视线阈值和所述第二视线阈值位于所述目标标准方向对应的偏移分量序列中，并且所述第一视线阈值小于所述第二视线阈值；
基于所述第一视线阈值和所述第二视线阈值，计算所述目标标准方向上的偏移分量对应的分量系数。
13.根据权利要求12所述的方法，其特征在于，计算所述目标标准方向上的偏移分量对应的分量系数包括：
计算所述目标标准方向上的偏移分量与所述第一视线阈值之间的第三差值，并计算所述第二视线阈值和所述第一视线阈值之间的第四差值；
根据所述第三差值与所述第四差值的比值，生成视线参考系数；
对所述视线参考系数进行归一化，并将归一化后的数值作为所述目标标准方向上的偏移分量对应的分量系数。
14.一种表情驱动装置，其特征在于，所述装置包括：
图像获取单元，用于获取目标对象的待处理图像，所述待处理图像中包括所述目标对象的眼部区域；
表情系数确定单元，用于基于所述待处理图像确定所述目标对象的至少一维表情系数，所述至少一维表情系数包括第一眼部系数和第二眼部系数，其中，所述第一眼部系数用于表征所述目标对象的眼皮间距，所述第二眼部系数用于表征所述目标对象的视线信息；
表情驱动单元，用于基于确定的所述至少一维表情系数驱动虚拟形象。
15.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至13中任一所述的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至13中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211632776.6A CN115953813B (zh) | 2022-12-19 | 2022-12-19 | 一种表情驱动方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211632776.6A CN115953813B (zh) | 2022-12-19 | 2022-12-19 | 一种表情驱动方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115953813A true CN115953813A (zh) | 2023-04-11 |
| CN115953813B CN115953813B (zh) | 2024-01-30 |
Family
ID=87296523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211632776.6A Active CN115953813B (zh) | 2022-12-19 | 2022-12-19 | 一种表情驱动方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115953813B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014182977A1 (en) * | 2013-05-10 | 2014-11-13 | Microsoft Corporation | Calibration of eye location |
| CN105739705A (zh) * | 2016-02-04 | 2016-07-06 | 重庆邮电大学 | 一种车载系统人眼控制方法及装置 |
| JP6298561B1 (ja) * | 2017-05-26 | 2018-03-20 | 株式会社コロプラ | ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法 |
| JP2018125003A (ja) * | 2018-02-07 | 2018-08-09 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム |
| CN108509890A (zh) * | 2018-03-27 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 用于提取信息的方法和装置 |
| CN108876879A (zh) * | 2017-05-12 | 2018-11-23 | 腾讯科技（深圳）有限公司 | 人脸动画实现的方法、装置、计算机设备及存储介质 |
| CN108919957A (zh) * | 2018-07-16 | 2018-11-30 | 北京七鑫易维信息技术有限公司 | 一种图像传输方法、装置、终端设备及存储介质 |
| CN110807364A (zh) * | 2019-09-27 | 2020-02-18 | 中国科学院计算技术研究所 | 三维人脸与眼球运动的建模与捕获方法及系统 |
| CN111798551A (zh) * | 2020-07-20 | 2020-10-20 | 网易（杭州）网络有限公司 | 虚拟表情生成方法及装置 |
| CN112416126A (zh) * | 2020-11-18 | 2021-02-26 | 青岛海尔科技有限公司 | 页面滚动控制方法和装置、存储介质及电子设备 |
| KR20210047283A (ko) * | 2020-06-02 | 2021-04-29 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 가상 형상 생성 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 |
| CN113366491A (zh) * | 2021-04-26 | 2021-09-07 | 华为技术有限公司 | 眼球追踪方法、装置及存储介质 |
| CN113827244A (zh) * | 2020-06-24 | 2021-12-24 | 比亚迪股份有限公司 | 驾驶员视线方向的检测方法、监控方法、系统和装置 |
| CN113946221A (zh) * | 2021-11-03 | 2022-01-18 | 广州繁星互娱信息科技有限公司 | 眼部驱动控制方法和装置、存储介质及电子设备 |
| CN114422832A (zh) * | 2022-01-17 | 2022-04-29 | 上海哔哩哔哩科技有限公司 | 主播虚拟形象生成方法及装置 |
| CN115225829A (zh) * | 2022-07-14 | 2022-10-21 | 北京京东尚科信息技术有限公司 | 一种视频生成方法及装置、计算机可读存储介质 |
| CN115272570A (zh) * | 2022-07-25 | 2022-11-01 | 京东方科技集团股份有限公司 | 虚拟表情生成方法、装置、电子设备和存储介质 |
-
2022
- 2022-12-19 CN CN202211632776.6A patent/CN115953813B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014182977A1 (en) * | 2013-05-10 | 2014-11-13 | Microsoft Corporation | Calibration of eye location |
| CN105739705A (zh) * | 2016-02-04 | 2016-07-06 | 重庆邮电大学 | 一种车载系统人眼控制方法及装置 |
| CN108876879A (zh) * | 2017-05-12 | 2018-11-23 | 腾讯科技（深圳）有限公司 | 人脸动画实现的方法、装置、计算机设备及存储介质 |
| JP6298561B1 (ja) * | 2017-05-26 | 2018-03-20 | 株式会社コロプラ | ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法 |
| JP2018125003A (ja) * | 2018-02-07 | 2018-08-09 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム |
| CN108509890A (zh) * | 2018-03-27 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 用于提取信息的方法和装置 |
| CN108919957A (zh) * | 2018-07-16 | 2018-11-30 | 北京七鑫易维信息技术有限公司 | 一种图像传输方法、装置、终端设备及存储介质 |
| CN110807364A (zh) * | 2019-09-27 | 2020-02-18 | 中国科学院计算技术研究所 | 三维人脸与眼球运动的建模与捕获方法及系统 |
| KR20210047283A (ko) * | 2020-06-02 | 2021-04-29 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 가상 형상 생성 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 |
| CN113827244A (zh) * | 2020-06-24 | 2021-12-24 | 比亚迪股份有限公司 | 驾驶员视线方向的检测方法、监控方法、系统和装置 |
| CN111798551A (zh) * | 2020-07-20 | 2020-10-20 | 网易（杭州）网络有限公司 | 虚拟表情生成方法及装置 |
| CN112416126A (zh) * | 2020-11-18 | 2021-02-26 | 青岛海尔科技有限公司 | 页面滚动控制方法和装置、存储介质及电子设备 |
| CN113366491A (zh) * | 2021-04-26 | 2021-09-07 | 华为技术有限公司 | 眼球追踪方法、装置及存储介质 |
| CN113946221A (zh) * | 2021-11-03 | 2022-01-18 | 广州繁星互娱信息科技有限公司 | 眼部驱动控制方法和装置、存储介质及电子设备 |
| CN114422832A (zh) * | 2022-01-17 | 2022-04-29 | 上海哔哩哔哩科技有限公司 | 主播虚拟形象生成方法及装置 |
| CN115225829A (zh) * | 2022-07-14 | 2022-10-21 | 北京京东尚科信息技术有限公司 | 一种视频生成方法及装置、计算机可读存储介质 |
| CN115272570A (zh) * | 2022-07-25 | 2022-11-01 | 京东方科技集团股份有限公司 | 虚拟表情生成方法、装置、电子设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| STEVEN HICKSO等: "Eyemotion: Classifying Facial Expressions in VR Using Eye-Tracking Cameras", 《2019 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV)》, pages 1626 - 1635 * |
| 冯静怡: "基于web的三维虚拟形象生成与控制方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 05, pages 138 - 1331 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115953813B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109684920B (zh) | 物体关键点的定位方法、图像处理方法、装置及存储介质 | |
| US20210201150A1 (en) | Frame selection based on a trained neural network | |
| CN106875422B (zh) | 人脸跟踪方法和装置 | |
| WO2022156640A1 (zh) | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| CN109214337B (zh) | 一种人群统计方法、装置、设备及计算机可读存储介质 | |
| WO2022078041A1 (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
| CN108629283B (zh) | 人脸跟踪方法、装置、设备及存储介质 | |
| WO2021027325A1 (zh) | 视频相似度获取方法、装置、计算机设备及存储介质 | |
| JP2011134114A (ja) | パターン認識方法およびパターン認識装置 | |
| WO2020042542A1 (zh) | 眼动控制校准数据获取方法和装置 | |
| JP2022527818A (ja) | ユーザの眼に関連する幾何学的変数を推定する方法及びシステム | |
| WO2021139448A1 (zh) | 基于多个源模型修正新模型的方法、装置以及计算机设备 | |
| CN111950401B (zh) | 确定关键点区域位置的方法、图像处理系统、设备和介质 | |
| CN110992401A (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| Lu et al. | Rethinking prior-guided face super-resolution: A new paradigm with facial component prior | |
| CN114494347A (zh) | 一种单摄像头多模式视线追踪方法和装置、电子设备 | |
| CN111898571A (zh) | 动作识别系统及方法 | |
| CN112651321A (zh) | 档案处理方法、装置及服务器 | |
| Kurdthongmee et al. | A yolo detector providing fast and accurate pupil center estimation using regions surrounding a pupil | |
| JP2012118927A (ja) | 画像処理プログラムおよび画像処理装置 | |
| JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN115953813B (zh) | 一种表情驱动方法、装置、设备及存储介质 | |
| CN112131984A (zh) | 视频裁剪方法、电子设备和计算机可读存储介质 | |
| CN111814811A (zh) | 图像信息提取方法、训练方法及装置、介质和电子设备 | |
| CN113012030A (zh) | 图像拼接方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |