CN108540863B - 基于人脸表情的弹幕设置方法、存储介质、设备及系统 - Google Patents

Abstract

本发明公开了一种基于人脸表情的弹幕设置方法、存储介质、设备及系统，涉及移动直播应用领域，该方法包括创建多种样式的弹幕背景贴纸，所述弹幕背景贴纸用作弹幕文字背景图与弹幕文字一并于直播画面上滚动显示；当用户发送弹幕时，基于人脸关键点检测技术进行用户人脸关键点检测，计算用户的脸颊长度L，若用户嘴巴上嘴唇正中间的关键点坐标C(x,y)和嘴巴下嘴唇正中间关键点坐标D(x,y)间的距离L1满足：L1*α＞L，则使用一种样式弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸；L1*α≤L，则使用另一种不同样式的弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸。本发明能够增加弹幕特色，同时加强弹幕发送的趣味性和直播观看的多样性。

Description

基于人脸表情的弹幕设置方法、存储介质、设备及系统

技术领域

本发明涉及移动直播应用领域，具体涉及一种基于人脸表情的弹幕设置方法、存储介质、设备及系统。

背景技术

随着互联网技术的发展，智能移动移动设备的功能也越发强大，同时由于直播内容形式的多样，越来越受到年轻人的青睐，更多的年轻人喜欢通过观看直播来丰富自己的业余生活。

当前直播过程中，主播在摄像头前进行直播内容表演，用户在设备屏幕前进行直播观看，同时用户在直播客户端上输入文字，用户输入的文字在直播画面屏幕上滚动形成弹幕，弹幕是用户和主播及其他用户互动的唯一沟通方式，但现有的弹幕形式只是简单的以文字方式在屏幕上滚动，长此以往，必然导致用户的观看疲劳，用户减少弹幕发送量，使直播间的互动性降低。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于人脸表情的弹幕设置方法，能够增加弹幕特色，同时加强弹幕发送的趣味性和直播观看的多样性。

为达到以上目的，本发明采取的技术方案是，包括：

创建多种样式的弹幕背景贴纸，所述弹幕背景贴纸用作弹幕文字背景图与弹幕文字一并于直播画面上滚动显示；

当用户发送弹幕时，基于人脸关键点检测技术进行用户人脸关键点检测，并获取用户人脸的当前表情；

根据用户人脸不同的当前表情使用不同样式的弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸。

在上述技术方案的基础上，所述弹幕背景贴纸由图案、表情图标或艺术字体中的至少一种组成，且不同样式弹幕背景贴纸的图案、表情图标和艺术字体均不相同。

在上述技术方案的基础上，

不同的用户人脸当前表情使用不同样式的弹幕背景贴纸；

对于用户人脸当前表情的判断和弹幕背景贴纸的使用包括：

计算用户的脸颊长度L，若用户上嘴唇中间的关键点坐标C(x,y)和下嘴唇中间关键点坐标D(x,y)间的距离L1满足：

L1*α＞L，则使用一种样式弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸；

L1*α≤L，则使用另一种不同样式的弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸；

其中，L1＝sqr((C.x-D.x)*(C.x-D.x)+(C.y-C.y)*(C.y-D.y))，sqr为开方函数，α为阈值参数，取值范围为[3,20]，C.x为上嘴唇中间关键点横坐标，C.y为上嘴唇中间关键点纵坐标，D.x下嘴唇中间关键点横坐标，D.y下嘴唇中间关键点纵坐标。

在上述技术方案的基础上，用户的脸颊长度L的计算公式为：

L＝sqr((A.x-B.x)*(A.x-B.x)+(A.y-B.y)*(A.y-B.y))

其中，A(x,y)为用户左边脸颊轮廓点坐标，B(x,y)为用户右边脸颊轮廓点坐标，A.x为用户左边脸颊轮廓点横坐标，A.y为用户左边脸颊轮廓点纵坐标，B.x为用户右边脸颊轮廓点横坐标，B.y为用户右边脸颊轮廓点纵坐标。

在上述技术方案的基础上，对用户眼睛关键点和眉毛关键点判断：

若(L2+L3)/2)*β＞L或((L2+L3)/2)*θ＜L，则再使用一种不同样式弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸；

其中，L2＝sqr((E.x-F.x)*(E.x-Fx)+(E.y-F.y)*(E.y-F.y))，L3＝sqr((G.x-H.x)*(G.x-H.x)+(G.y-H.y)*(G.y-H.y))，E(x,y)为用户左眼正中心关键点坐标，F(x,y)为用户右眼正中心关键点坐标，G(x,y)为用户左边眉毛正中间关键点坐标，H(x,y)为用户右边眉毛正中间关键点坐标，L2为点E(x,y)和F(x,y)之间的距离，L3为点G(x,y)和F(x,y)之间的距离，θ和β为阈值参数，θ的取值范围为[2,4]，β的取值范围为[6,8]，E.x为用户左眼正中心关键点横坐标，E.y为用户左眼正中心关键点纵坐标，F.x为用户右眼正中心关键点横坐标，F.y为用户右眼正中心关键点纵坐标，G.x为用户左边眉毛正中间关键点横坐标，G.y为用户左边眉毛正中间关键点纵坐标，H.x为用户右边眉毛正中间关键点横坐标，H.y为用户右边眉毛正中间关键点纵坐标。

本发明还提供一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法。

本发明还提供一种基于人脸表情的弹幕设置设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的方法。

本发明还提供一种基于人脸表情的弹幕设置系统，包括：

创建模块，其用于创建多种样式的弹幕背景贴纸，所述弹幕背景贴纸用作弹幕文字背景图与弹幕文字一并于直播画面上滚动显示；

计算模块，其用于当用户发送弹幕时，基于人脸关键点检测技术进行用户人脸关键点检测，并获取用户人脸的当前表情；

执行模块，其用于根据用户人脸不同的当前表情使用不同样式的弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸。

在上述技术方案的基础上，所述弹幕背景贴纸由图案、表情图标或艺术字体中的至少一种组成，且不同样式弹幕背景贴纸的图案、表情图标和艺术字体均不相同。

在上述技术方案的基础上，不同的用户人脸当前表情使用不同样式的弹幕背景贴纸。

与现有技术相比，本发明的优点在于：基于人脸关键点检测技术进行用户人脸关键点检测，然后根据人脸关键点变化的计算判断出用户当前的心情，当用户进行弹幕发送时，给弹幕匹配上与用户心情相对应的弹幕背景贴纸，作为弹幕的背景图与弹幕一起滚动，从而使得主播或其它用户仅通过弹幕便能知道弹幕发送者当前的心情，增加弹幕特色，同时加强弹幕发送的趣味性和直播观看的多样性。

附图说明

图1为本发明实施例中一种基于人脸表情的弹幕设置方法的流程图；

图2为本发明实施例中一种基于人脸表情的弹幕设置设备的结构示意图。

具体实施方式

以下结合附图及实施例对本发明作进一步详细说明。

参见图1所示，本发明实施例提供一种基于人脸表情的弹幕设置方法，该方法基于运行于移动智能设备中的直播客户端完成，移动智能设备可以为智能手机或平板电脑。本发明实施例的基于人脸表情的弹幕设置方法具体包括：

S1：创建多种样式的弹幕背景贴纸，弹幕背景贴纸用作弹幕文字背景图与弹幕文字一并于直播画面上滚动显示，即当弹幕文字在直播画面上滚动时，弹幕背景贴纸作为弹幕文字的背景，随着弹幕文字一起在直播画面上滚动，即相当于给弹幕文字增加了背景图。直播观看用户的心情是多种多样的，包括开心、平静、郁闷等，因此弹幕背景贴纸的样式也是多种多样的，以便于与用户的心情相匹配。

弹幕背景贴纸由图案、表情图标或艺术字体中的至少一种组成，且不同样式弹幕背景贴纸的图案、表情图标和艺术字体均不相同。弹幕背景贴纸包括开心、平静和郁闷类型，对于匹配用户表情为开心时的弹幕背景贴纸，则弹幕背景贴纸可以为含有笑脸的弹幕背景贴纸、含有“开心”两艺术字的弹幕背景贴纸或含有小孩笑脸图案的弹幕背景贴纸；对于匹配用户表情为平静时的弹幕背景贴纸，则弹幕背景贴纸可以为含有“高冷”两艺术字的弹幕背景贴纸；对于匹配用户表情为郁闷时的弹幕背景贴纸，则弹幕背景贴纸可以为含有小孩气呼呼图案的弹幕背景贴纸。弹幕背景贴纸中图案、表情图标和艺术字体内容与表情类别相对应，用户不同心情状态下匹配不同的弹幕背景贴纸。

S2：当用户发送弹幕时，基于人脸关键点检测技术进行用户人脸关键点检测，并获取用户人脸的当前表情。

S3：根据用户人脸不同的当前表情使用不同样式的弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸。不同的用户人脸当前表情使用不同样式的弹幕背景贴纸。

用户使用直播客户端进行弹幕发送；直播客户端运行于智能移动设备中；当用户发送弹幕时，直播客户端调用智能移动设备的摄像头拍摄用户人脸，然后基于人脸关键点检测技术进行用户人脸关键点检测。对于用户人脸当前表情的判断和弹幕背景贴纸的使用包括：

S301：计算用户的脸颊长度L；用户的脸颊长度L的计算公式为：

L＝sqr((A.x-B.x)*(A.x-B.x)+(A.y-B.y)*(A.y-B.y))

其中，A(x,y)为用户左边脸颊轮廓点坐标，B(x,y)为用户右边脸颊轮廓点坐标，sqr为开方函数，A.x为用户左边脸颊轮廓点横坐标，

A.y为用户左边脸颊轮廓点纵坐标，B.x为用户右边脸颊轮廓点横坐标，B.y为用户右边脸颊轮廓点纵坐标。需要说明的是，本发明实施例中，关于坐标点轴值的表述，如A.x表示坐标点A(x,y)的x轴的值，

B.y表示坐标点B(x,y)的y轴的值，其它处(点)的表示方式的含义与此类似。

S302：基于用户人脸上关键点的位置进行用户心情的判断，若用户上嘴唇中间的关键点坐标C(x,y)和下嘴唇中间关键点坐标D(x,y)间的距离L1满足：

L1*α＞L，则使用一种样式弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸，此时用户的心情状态为开心，因此使用匹配开心心情的弹幕背景贴纸，采用弹幕背景贴纸作为弹幕的背景图，与弹幕一起滚动，从而使得主播或其它用户仅通过弹幕便能知道弹幕发送者当前的心情，增加弹幕的多样性；

L1*α≤L，则使用另一种不同样式的弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸，此时用户的心情状态为平静，因此使用匹配平静心情的弹幕背景贴纸；

其中，L1＝sqr((C.x-D.x)*(C.x-D.x)+(C.y-C.y)*(C.y-D.y))，sqr为开方函数，α为阈值参数，取值范围为[3,20]，优选的α取值为8，对于α的取值范围考虑，主要是基于用户嘴巴实际张开幅度的考虑，当α为3时，则需要嘴巴张开的幅度极大，当α为20时，则嘴巴张开的幅度极小也会被认为是开心的状态，取值范围[3,20]是考虑了实际情况下张嘴极大和极小的情况，优选的取值为8是选取了一个比较合适的中间值，不会导致张嘴极小就触发开心的弹幕背景贴纸，也不会导致嘴巴张开到极大的情况下才触发开心的弹幕背景贴纸。C.x为上嘴唇中间关键点横坐标，C.y为上嘴唇中间关键点纵坐标，D.x下嘴唇中间关键点横坐标，D.y下嘴唇中间关键点纵坐标。

在一种实施方式中，对用户眼睛关键点和眉毛关键点判断：若(L2+L3)/2)*β＞L或((L2+L3)/2)*θ＜L时，则再使用一种不同样式弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸，此时用户的心情状态为郁闷，因此使用匹配郁闷心情的弹幕背景贴纸，相应的，当(L2+L3)/2)*β≤L或((L2+L3)/2)*θ≤L时，此时用户的心情状态为平静，因此使用匹配平静心情的弹幕背景贴纸。L2＝sqr((E.x-F.x)*(E.x-Fx)+(E.y-F.y)*(E.y-F.y))，L3＝sqr((G.x-H.x)*(G.x-H.x)+(G.y-H.y)*(G.y-H.y))，E(x,y)为用户左眼正中心关键点坐标，F(x,y)为用户右眼正中心关键点坐标，G(x,y)为用户左边眉毛正中间关键点坐标，H(x,y)为用户右边眉毛正中间关键点坐标，L2为点E(x,y)和F(x,y)之间的距离，L3为点G(x,y)和F(x,y)之间的距离，θ和β为阈值参数，θ的取值范围为[2,4]，优选的取3，θ的取值范围为[2,4]也是考虑了实际情况中用户眼睛和眉毛的可动范围的考虑，θ优选取值3是基于当采用眼睛和眉毛判断用户表情时，最佳判断情况的考虑，β的取值范围为[6,8]，优选的取7，β的取值范围为[6,8]也是考虑了实际情况中用户眼睛和眉毛的可动范围的考虑，β优选取值7是基于当采用眼睛和眉毛判断用户表情时，最佳判断情况的考虑，E.x为用户左眼正中心关键点横坐标，E.y为用户左眼正中心关键点纵坐标，F.x为用户右眼正中心关键点横坐标，F.y为用户右眼正中心关键点纵坐标，G.x为用户左边眉毛正中间关键点横坐标，G.y为用户左边眉毛正中间关键点纵坐标，H.x为用户右边眉毛正中间关键点横坐标，H.y为用户右边眉毛正中间关键点纵坐标。

本发明实施例的基于人脸表情的弹幕设置方法，基于人脸关键点检测技术进行用户人脸关键点检测，然后根据人脸关键点变化的计算判断出用户当前的心情，当用户进行弹幕发送时，给弹幕匹配上与用户心情相对应的弹幕背景贴纸，作为弹幕的背景图与弹幕一起滚动，从而使得主播或其它用户仅通过弹幕便能知道弹幕发送者当前的心情，增加弹幕特色，同时加强弹幕发送的趣味性和直播观看的多样性。

另外，对应上述基于人脸表情的弹幕设置方法，本发明还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例所述的基于人脸表情的弹幕设置方法的步骤。需要说明的是，所述存储介质包括U盘、移动硬盘、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。

参见图2所示，对应上述基于人脸表情的弹幕设置方法，本发明还提供一种基于人脸表情的弹幕设置设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例的基于人脸表情的弹幕设置方法。

本发明还提供一种基于上述基于人脸表情的弹幕设置方法的基于人脸表情的弹幕设置系统，包括创建模块、计算模块和执行模块。

创建模块用于创建多种样式的弹幕背景贴纸，所述弹幕背景贴纸用作弹幕文字背景图与弹幕文字一并于直播画面上滚动显示；计算模块用于当用户发送弹幕时，基于人脸关键点检测技术进行用户人脸关键点检测，并获取用户人脸的当前表情；执行模块用于根据用户人脸不同的当前表情使用不同样式的弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸。

弹幕背景贴纸由图案、表情图标或艺术字体中的至少一种组成，且不同样式弹幕背景贴纸的图案、表情图标和艺术字体均不相同。用户使用直播客户端进行弹幕发送；直播客户端运行于智能移动设备中；当用户发送弹幕时，直播客户端调用智能移动设备的摄像头拍摄用户人脸，然后基于人脸关键点检测技术进行用户人脸关键点检测。不同的用户人脸当前表情使用不同样式的弹幕背景贴纸。

本发明实施例的基于人脸表情的弹幕设置系统，计算模块基于人脸关键点检测技术进行用户人脸关键点检测，然后判断模块根据人脸关键点变化的计算判断出用户当前的心情，当用户进行弹幕发送时，给弹幕匹配上与用户心情相对应的弹幕背景贴纸，作为弹幕的背景图与弹幕一起滚动，从而使得主播或其它用户仅通过弹幕便能知道弹幕发送者当前的心情，增加弹幕特色，同时加强弹幕发送的趣味性和直播观看的多样性。

本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (4)

1.一种基于人脸表情的弹幕设置方法，其特征在于，包括：

创建多种样式的弹幕背景贴纸，所述弹幕背景贴纸用作弹幕文字背景图与弹幕文字一并于直播画面上滚动显示，所述弹幕背景贴纸由图案、表情图标或艺术字体中的至少一种组成，且不同样式弹幕背景贴纸的图案、表情图标和艺术字体均不相同；

当用户发送弹幕时，基于人脸关键点检测技术进行用户人脸关键点检测，并获取用户人脸的当前表情；

根据用户人脸不同的当前表情使用不同样式的弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸；

其中，

不同的用户人脸当前表情使用不同样式的弹幕背景贴纸；

对于用户人脸当前表情的判断和弹幕背景贴纸的使用包括：

计算用户的脸颊长度L，若用户上嘴唇中间的关键点坐标C(x,y)和下嘴唇中间关键点坐标D(x,y)间的距离L1满足：

L1*α＞L，则使用一种样式弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸；

L1*α≤L，则使用另一种不同样式的弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸；

其中，L1＝sqr((C.x-D.x)*(C.x-D.x)+(C.y-C.y)*(C.y-D.y))，sqr为开方函数，α为阈值参数，取值范围为[3,20]，C.x为上嘴唇中间关键点横坐标，C.y为上嘴唇中间关键点纵坐标，D.x下嘴唇中间关键点横坐标，D.y下嘴唇中间关键点纵坐标；

其中，用户的脸颊长度L的计算公式为：

L＝sqr((A.x-B.x)*(A.x-B.x)+(A.y-B.y)*(A.y-B.y))

其中，A(x,y)为用户左边脸颊轮廓点坐标，B(x,y)为用户右边脸颊轮廓点坐标，A.x为用户左边脸颊轮廓点横坐标，A.y为用户左边脸颊轮廓点纵坐标，B.x为用户右边脸颊轮廓点横坐标，B.y为用户右边脸颊轮廓点纵坐标；

其中，对用户眼睛关键点和眉毛关键点判断：

若(L2+L3)/2)*β＞L或((L2+L3)/2)*θ＜L，则再使用一种不同样式弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸；

其中，L2＝sqr((E.x-F.x)*(E.x-Fx)+(E.y-F.y)*(E.y-F.y))，L3＝sqr((G.x-H.x)*(G.x-H.x)+(G.y-H.y)*(G.y-H.y))，E(x,y)为用户左眼正中心关键点坐标，F(x,y)为用户右眼正中心关键点坐标，G(x,y)为用户左边眉毛正中间关键点坐标，H(x,y)为用户右边眉毛正中间关键点坐标，L2为点E(x,y)和F(x,y)之间的距离，L3为点G(x,y)和F(x,y)之间的距离，θ和β为阈值参数，θ的取值范围为[2,4]，β的取值范围为[6,8]，E.x为用户左眼正中心关键点横坐标，E.y为用户左眼正中心关键点纵坐标，F.x为用户右眼正中心关键点横坐标，F.y为用户右眼正中心关键点纵坐标，G.x为用户左边眉毛正中间关键点横坐标，G.y为用户左边眉毛正中间关键点纵坐标，H.x为用户右边眉毛正中间关键点横坐标，H.y为用户右边眉毛正中间关键点纵坐标。

2.一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1所述的方法。

3.一种基于人脸表情的弹幕设置设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1所述的方法。

4.一种基于人脸表情的弹幕设置系统，基于权利要求1所述弹幕设置方法实现，其特征在于，包括：

创建模块，其用于创建多种样式的弹幕背景贴纸，所述弹幕背景贴纸用作弹幕文字背景图与弹幕文字一并于直播画面上滚动显示，弹幕背景贴纸由图案、表情图标或艺术字体中的至少一种组成，且不同样式弹幕背景贴纸的图案、表情图标和艺术字体均不相同；

计算模块，其用于当用户发送弹幕时，基于人脸关键点检测技术进行用户人脸关键点检测，并获取用户人脸的当前表情；

执行模块，其用于根据用户人脸不同的当前表情使用不同样式的弹幕背景贴纸作为用户当前发送弹幕的弹幕背景贴纸。

Images