CN110933454B - 处理直播萌脸礼物的方法、装置、设备及存储介质 - Google Patents

处理直播萌脸礼物的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110933454B
CN110933454B CN201911239407.9A CN201911239407A CN110933454B CN 110933454 B CN110933454 B CN 110933454B CN 201911239407 A CN201911239407 A CN 201911239407A CN 110933454 B CN110933454 B CN 110933454B
Authority
CN
China
Prior art keywords
live video
duration
gift
face
video frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911239407.9A
Other languages
English (en)
Other versions
CN110933454A (zh
Inventor
汤伯超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201911239407.9A priority Critical patent/CN110933454B/zh
Publication of CN110933454A publication Critical patent/CN110933454A/zh
Application granted granted Critical
Publication of CN110933454B publication Critical patent/CN110933454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种处理直播萌脸礼物的方法、装置、设备及存储介质，属于互联网技术领域。所述方法包括：接收服务器发送的萌脸礼物通知，其中，所述萌脸礼物通知中携带有萌脸礼物标识；在预设的表情显示时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情；如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定所述第一数目对应的第一补偿时长；在所述表情显示时长之后的所述第一补偿时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情。采用本申请，当萌脸表情没有显示足够的时长时，可以延长萌脸表情在主播人脸上的显示时间，可在一定程度上保证萌脸表情的显示时长。

Description

处理直播萌脸礼物的方法、装置、设备及存储介质
技术领域
本申请涉及互联网技术领域，特别涉及一种处理直播萌脸礼物的方法、装置、设备及存储介质。
背景技术
随着互联网技术的发展，用户通过直播应用程序观看主播直播已经是现在非常常见的一种娱乐方式，用户可以给主播赠送萌脸礼物，从而增加用户和主播之间的互动。
在现有的赠送萌脸礼物的方案中，当用户赠送了主播萌脸礼物后，主播的终端可以在直播图像中添加主播萌脸礼物对应的萌脸表情，观看该主播直播的用户可以看到主播的脸上显示出了萌脸表情。
在实现本申请的过程中，发明人发现现有技术至少存在以下问题：
当用户赠送了主播萌脸礼物之后，由于主播的脸部有可能不会一直正对进行直播的终端，导致终端有时识别不到主播的人脸，从而影响萌脸表情的显示时长。
发明内容
本申请实施例提供了一种处理直播萌脸礼物的方法、装置、设备及存储介质,可以解决终端有时识别不到主播的人脸，从而影响萌脸表情的显示时长的问题。所述技术方案如下：
一方面，提供了一种处理直播萌脸礼物的方法，所述方法包括：
接收服务器发送的萌脸礼物通知，其中，所述萌脸礼物通知中携带有萌脸礼物标识；
在预设的表情显示时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情；
如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定所述第一数目对应的第一补偿时长；
在所述表情显示时长之后的所述第一补偿时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情。
可选的，所述如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定所述第一数目对应的第一补偿时长，包括：
如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定所述第一数目与帧时长的乘积，得到第一补偿时长。
可选的，所述如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定所述第一数目对应的第一补偿时长，包括：
如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则基于预先存储的人脸检测失败的直播视频帧的数目与补偿时长的对应关系，确定所述第一数目对应的第一补偿时长。
可选的，所述接收服务器发送的萌脸礼物通知之后，所述方法还包括：
确定所述萌脸礼物标识对应的预设的表情显示时长；
基于所述表情显示时长，确定所述第一数目阈值。
可选的，所述基于所述表情显示时长，确定所述第一数目阈值，包括：
将所述表情显示时长与预设系数的乘积，确定为所述第一数目阈值。
可选的，所述在所述表情显示时长之后的所述第一补偿时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情之后，所述方法还包括：
如果在所述表情显示时长和所述第一补偿时长内的直播视频帧中进行人脸检测失败的直播视频帧的第二数目超过第二数目阈值，则确定所述第二数目对应的第二补偿时长；
在所述第一补偿时长之后的所述第二补偿时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情。
另一方面，提供了一种处理直播萌脸礼物的装置，所述装置包括：
接收模块，被配置为接收服务器发送的萌脸礼物通知，其中，所述萌脸礼物通知中携带有萌脸礼物标识；
第一添加模块，被配置为在预设的表情显示时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情；
确定模块，被配置为如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定所述第一数目对应的第一补偿时长；
第二添加模块，被配置为在所述表情显示时长之后的所述第一补偿时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情。
可选的，所述确定模块，被配置为：
如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定所述第一数目与帧时长的乘积，得到第一补偿时长。
可选的，所述确定模块，被配置为：
如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则基于预先存储的人脸检测失败的直播视频帧的数目与补偿时长的对应关系，确定所述第一数目对应的第一补偿时长。
可选的，所述装置还包括第二确定模块，被配置为：
确定所述萌脸礼物标识对应的预设的表情显示时长；
基于所述表情显示时长，确定所述第一数目阈值。
可选的，所述第二确定模块，还被配置为：
将所述表情显示时长与预设系数的乘积，确定为所述第一数目阈值。
可选的，所述装置还包括第三添加模块，被配置为：
如果在所述表情显示时长和所述第一补偿时长内的直播视频帧中进行人脸检测失败的直播视频帧的第二数目超过第二数目阈值，则确定所述第二数目对应的第二补偿时长；
在所述第一补偿时长之后的所述第二补偿时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情。
再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上所述的处理直播萌脸礼物的方法所执行的操作。
再一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的处理直播萌脸礼物的方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果是：
通过记录萌脸表情在预设的显示表情时长内，主播直播视频中每个视频帧进行人脸检测失败的帧数，并计算失败的帧数对应的补偿时间，在补偿时间内，将萌脸表情再次显示在主播的直播视频中，可见，当萌脸表情没有显示足够的时长时，采用本申请可以延长萌脸表情在主播人脸上的显示时间，可以在一定程度上保证萌脸表情的显示时长。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种处理直播萌脸礼物的方法的流程图；
图2是本申请实施例提供的一种直播应用程序界面示意图；
图3是本申请实施例提供的一种处理直播萌脸礼物的方法的示意图；
图4是本申请实施例提供的一种处理直播萌脸礼物的装置结构示意图；
图5是本申请实施例中提供的终端结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请提供的音频合成的方法可以由终端实现。终端可以运行有直播应用程序，终端可以具备麦克风、耳机、摄像头等部件，终端具有通信功能，可以接入互联网，终端可以是手机、平板电脑、智能穿戴设备、台式计算机、笔记本电脑等。
直播是现在非常常见的一种娱乐方式，主播可以通过运行有直播应用程序的终端进行直播，终端可以通过终端的摄像头录制主播直播的视频，然后将主播直播的视频数据上传到服务器，再由服务器发送到观看主播直播的各个用户的终端，供用户观看主播的直播视频。用户可以购买直播平台提供的直播礼物，然后可以在主播直播时，将直播礼物送给自己喜欢的主播。其中，在直播礼物中，还有一种萌脸礼物，当用户送给主播萌脸礼物时，在正在直播的主播脸上，显示一定预设的表情显示时长的萌脸动画特效，例如，兔耳朵、猫胡须等。然而，在主播的脸上显示萌脸动画特效时，需要在主播直播视频的视频帧里对主播进行人脸检测。但是，由于主播的脸部有可能不会一直正对进行直播的终端，导致终端有时识别不到主播的人脸，从而影响萌脸表情的显示时长。本申请实施例，提供了一种处理直播萌脸礼物的方法，当萌脸表情没有显示足够的时长时，采用本申请实施例可以延长萌脸表情在主播人脸上的显示时间，可以在一定程度上保证萌脸表情的显示时长。
图1是本申请实施例提供的一种处理直播萌脸礼物的方法的流程图。参见图1，该实施例包括：
步骤101，接收服务器发送的萌脸礼物通知。
其中，萌脸礼物通知中携带有萌脸礼物标识。
在实施中，用户可以操作终端，打开终端中的直播应用程序，在直播应用程序中，选择自己想要观看主播的直播间。如图2所示，在主播的直播间还设置有送礼控件，当用户点击送礼控件之后，主播的直播间中会弹出礼物列表，其中，礼物列表中可以设置有不同的萌脸礼物，用户可以点击自己喜欢的萌脸礼物送给主播。当用户点击礼物列表中的萌脸礼物之后，用户的终端可以向服务器发送一个萌脸礼物通知，萌脸礼物通知中携带有萌脸礼物标识，其中，萌脸礼物标识为用户点击礼物列表中的萌脸礼物的标识。当服务器接收到用户终端发送的萌脸礼物通知之后，会将用户发送的萌脸礼物通知转发给主播进行直播的终端。
步骤102，在预设的表情显示时长内的直播视频中，添加萌脸礼物标识对应的萌脸表情。
在实施中，在主播进行直播的终端接收到萌脸礼物通知之后，可以在萌脸表情对应的表情显示时长内，将萌脸礼物中携带的第一脸礼物标识对应的萌脸表情显示在主播直播的视频中。
步骤103，如果在表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定第一数目对应的第一补偿时长。
在实施中，主播进行直播的终端在萌脸表情对应的表情显示时长内，可以对人脸识别的每个视频帧的识别结果进行记录，即记录下人脸识别失败的视频帧的第一数目。如果第一数目超过技术人员预设的第一数目阈值，则通过第一数目确定第一补偿时间。其中，第一数目阈值可以由技术人员预先设置存储在主播进行直播的终端，如图3所示，第一数目阈值为60，表情显示时长为5秒，当检测到表情显示时长内进行人脸识别失败的视频帧为90帧，即有90帧的图像没有在主播的人脸上添加对应的萌脸表情，假设直播视频帧率为30HZ，则没有在主播的人脸上添加对应的萌脸表情时长为3秒，即第一补偿时长为3秒，在显示萌脸表情的表情显示时长之后，在对萌脸表情进行3秒时长的显示，以补偿在萌脸表情在表情显示时长内，没有在主播人脸上显示的时间。
可选的，第一数目阈值除由技术人员预设之外，还可以通过萌脸礼物对应的显示时长来计算第一数目阈值，其中，确定第一数目阈值的方式可以有但不限于以下两种：
方式一：确定萌脸礼物标识对应的预设的表情显示时长；基于表情显示时长，确定第一数目阈值。
在实施中，不同的萌脸礼物可以对应有不同的预设的表情显示时长，不同的表情显示时长的萌脸礼物设置的数目阈值可以不同，主播的终端内可以存储有不同萌脸礼物标识对应的预设的表情显示时长，以及不同表情显示时长对应不同的数目阈值。当主播的终端接收到萌脸礼物通知之后，可以通过萌脸礼物通知中携带的萌脸礼物标识确定，萌脸礼物标识对应的萌脸表情的预设的表情显示时长，再根据预设的表情显示时长确定萌脸礼物对应的第一数目阈值。
方式二：将表情显示时长与预设系数的乘积，确定为第一数目阈值。
在实施中，可以预设一个系数，在确定第一萌脸表情标识对应的表情显示时长之后，将表情显示时长和预设系数相乘，得到的数值确定为第一数目阈值。例如，表情显示时长为5秒，预设系数为12，则第一数目阈值为60。
可选的，通过第一数目确定第一补偿时间的方式可以有但不限于以下两种。
方式一：如果在表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定第一数目与帧时长的乘积，得到第一补偿时长。
在实施中，当主播的进行直播的对人脸检测失败的视频帧的数目超过第一数目阈值时，可以将第一数目与帧时长进行相乘，得到的数值即为第一补偿时长。例如，在主播的直播视频中，帧时长为0.05秒，即每个视频帧的占用时长为0.05秒，在表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目为60，则第一补偿时间为3秒。
方式二：如果在表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则基于预先存储的人脸检测失败的直播视频帧的数目与补偿时长的对应关系，确定第一数目对应的第一补偿时长。
在实施中，主播进行直播的终端还可以存储有人脸检测失败的直播视频帧的数目与补偿时长的对应关系，即技术人员可以根据人脸检测失败的直播视频帧的数目，设置一个对应的补偿时长，并将对应关系存储在主播进行直播的终端。当主播的进行直播的对人脸检测失败的视频帧的数目超过第一数目阈值时，可以根据对应关系，确定第一数目对应的第一补偿时长。
步骤104，在表情显示时长之后的第一补偿时长内的直播视频中，添加萌脸礼物标识对应的萌脸表情。
在实施中，当确定了第一补偿时间之后，可以在表情显示时长之后，再次将萌脸礼物标识对应的萌脸表情在主播的人脸上进行显示，并且显示时长为第一补偿时间。例如，表情显示时长为5秒，第一补偿时间为2秒，在主播终端将萌脸表情在主播人脸上显示5秒之后(其中存在没有显示成功的时间为2秒)，则在将该萌脸表情在主播人脸上显示2秒.
可选的，萌脸表情可能在第一补偿时间内仍然没有在主播人脸上完整显示时，还可以进行如下处理：如果在表情显示时长和第一补偿时长内的直播视频帧中进行人脸检测失败的直播视频帧的第二数目超过第二数目阈值，则确定第二数目对应的第二补偿时长；在第一补偿时长之后的第二补偿时长内的直播视频中，添加萌脸礼物标识对应的萌脸表情。
在实施中，萌脸表情在第一补偿时间内，可能由于主播的脸部也不会一直正对着终端的摄像头，使终端有时仍然识别不到主播的人脸，从而使用户送主播的萌脸表情，不能在第一补偿时间内在主播的脸上进行完整的显示。同样的可以采用与上述表情显示时长内相同的方式，在第一补偿时间内对进行人脸识别的每个视频帧的识别结果进行记录。记录下在第一补偿时间内进行人脸识别失败的视频帧的数目，并计算该数目与第一数目之和，确定在表情显示时长和第一补偿时长内的直播视频帧中进行人脸检测失败的直播视频帧的第二数目。若第二数目超过第二数目阈值，则计算第二数目对应的第二补偿时间，其中，第二数目阈值的设置方式与上述第一数目的设置方式可以相同，通过第二数目计算第二补偿时间的计算方式也可以与上述通过第一数目计算第一补偿时间的计算方式相同，此处不再赘述。
本申请实施例通过记录萌脸表情在预设的显示表情时长内，主播直播视频中每个视频帧进行人脸检测失败的帧数，并计算失败的帧数对应的补偿时间，在补偿时间内，将萌脸表情再次显示在主播的直播视频中，可见，当萌脸表情没有在预设的显示表情时长内在主播人脸上进行完整显示时，采用本申请可以延长萌脸表情在主播人脸上的显示时间，从而提高了用户观看直播的体验。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图4是本申请实施例提供的一种处理直播萌脸礼物的装置结构示意图，该装置可以是上述实施例中的终端，参见图4，所述装置包括：
接收模块410，被配置为接收服务器发送的萌脸礼物通知，其中，所述萌脸礼物通知中携带有萌脸礼物标识；
第一添加模块420，被配置为在预设的表情显示时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情；
确定模块430，被配置为如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定所述第一数目对应的第一补偿时长；
第二添加模块440，被配置为在所述表情显示时长之后的所述第一补偿时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情。
可选的，所述确定模块430，被配置为：
如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定所述第一数目与帧时长的乘积，得到第一补偿时长。
可选的，所述确定模块430，被配置为：
如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则基于预先存储的人脸检测失败的直播视频帧的数目与补偿时长的对应关系，确定所述第一数目对应的第一补偿时长。
可选的，所述装置还包括第二确定模块，被配置为：
确定所述萌脸礼物标识对应的预设的表情显示时长；
基于所述表情显示时长，确定所述第一数目阈值。
可选的，所述第二确定模块，还被配置为：
将所述表情显示时长与预设系数的乘积，确定为所述第一数目阈值。
可选的，所述装置还包括第三添加模块，被配置为：
如果在所述表情显示时长和所述第一补偿时长内的直播视频帧中进行人脸检测失败的直播视频帧的第二数目超过第二数目阈值，则确定所述第二数目对应的第二补偿时长；
在所述第一补偿时长之后的所述第二补偿时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情。
需要说明的是：上述实施例提供的处理直播萌脸礼物的装置在处理直播萌脸礼物时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的处理直播萌脸礼物的装置与处理直播萌脸礼物的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图5示出了本申请一个示例性实施例提供的终端500的结构框图。该终端500可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端500包括有：处理器501和存储器502。
处理器501可以包括一个或多个处理核心，比如5核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的处理直播萌脸礼物的方法。
在一些实施例中，终端500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置终端500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在终端500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在终端500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路505以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。
定位组件508用于定位终端500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测终端500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时，可以检测用户对终端500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，由处理器501根据用户对触摸显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。
接近传感器516，也称距离传感器，通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图5中示出的结构并不构成对终端500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中处理直播萌脸礼物的方法。该计算机可读存储介质可以是非暂态的。例如，所述计算机可读存储介质可以是ROM(Read-OnlyMemory，只读存储器，)、RAM(Random Access Memory，随机存取存储器)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种处理直播萌脸礼物的方法，其特征在于，所述方法包括：
接收服务器发送的萌脸礼物通知，其中，所述萌脸礼物通知中携带有萌脸礼物标识；
在预设的表情显示时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情；
在所述表情显示时长内，对每个直播视频帧的人脸检测的检测结果进行记录，得到人脸检测失败的直播视频帧的第一数目，如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定所述第一数目对应的第一补偿时长；
在所述表情显示时长之后的所述第一补偿时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情。
2.根据权利要求1所述的方法，其特征在于，所述如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定所述第一数目对应的第一补偿时长，包括：
如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定所述第一数目与帧时长的乘积，得到第一补偿时长。
3.根据权利要求1所述的方法，其特征在于，所述如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定所述第一数目对应的第一补偿时长，包括：
如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则基于预先存储的人脸检测失败的直播视频帧的数目与补偿时长的对应关系，确定所述第一数目对应的第一补偿时长。
4.根据权利要求1所述的方法，其特征在于，所述接收服务器发送的萌脸礼物通知之后，所述方法还包括：
确定所述萌脸礼物标识对应的预设的表情显示时长；
基于所述表情显示时长，确定所述第一数目阈值。
5.根据权利要求4所述的方法，其特征在于，所述基于所述表情显示时长，确定所述第一数目阈值，包括：
将所述表情显示时长与预设系数的乘积，确定为所述第一数目阈值。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述在所述表情显示时长之后的所述第一补偿时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情之后，所述方法还包括：
如果在所述表情显示时长和所述第一补偿时长内的直播视频帧中进行人脸检测失败的直播视频帧的第二数目超过第二数目阈值，则确定所述第二数目对应的第二补偿时长；
在所述第一补偿时长之后的所述第二补偿时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情。
7.一种处理直播萌脸礼物的装置，其特征在于，所述装置包括：
接收模块，被配置为接收服务器发送的萌脸礼物通知，其中，所述萌脸礼物通知中携带有萌脸礼物标识；
第一添加模块，被配置为在预设的表情显示时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情；
确定模块，被配置为在所述表情显示时长内，对每个直播视频帧的人脸检测的识别结果进行记录，得到人脸检测失败的直播视频帧的第一数目，如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定所述第一数目对应的第一补偿时长；
第二添加模块，被配置为在所述表情显示时长之后的所述第一补偿时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情。
8.根据权利要求7所述的装置，其特征在于，所述确定模块，被配置为：
如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则确定所述第一数目与帧时长的乘积，得到第一补偿时长。
9.根据权利要求7所述的装置，其特征在于，所述确定模块，被配置为：
如果在所述表情显示时长内的直播视频帧中进行人脸检测失败的直播视频帧的第一数目超过第一数目阈值，则基于预先存储的人脸检测失败的直播视频帧的数目与补偿时长的对应关系，确定所述第一数目对应的第一补偿时长。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括第二确定模块，被配置为：
确定所述萌脸礼物标识对应的预设的表情显示时长；
基于所述表情显示时长，确定所述第一数目阈值。
11.根据权利要求10所述的装置，其特征在于，所述第二确定模块，还被配置为：
将所述表情显示时长与预设系数的乘积，确定为所述第一数目阈值。
12.根据权利要求7-11任一项所述的装置，其特征在于，所述装置还包括第三添加模块，被配置为：
如果在所述表情显示时长和所述第一补偿时长内的直播视频帧中进行人脸检测失败的直播视频帧的第二数目超过第二数目阈值，则确定所述第二数目对应的第二补偿时长；
在所述第一补偿时长之后的所述第二补偿时长内的直播视频中，添加所述萌脸礼物标识对应的萌脸表情。
13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至权利要求6任一项所述的处理直播萌脸礼物的方法所执行的操作。
14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的处理直播萌脸礼物的方法所执行的操作。
CN201911239407.9A 2019-12-06 2019-12-06 处理直播萌脸礼物的方法、装置、设备及存储介质 Active CN110933454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911239407.9A CN110933454B (zh) 2019-12-06 2019-12-06 处理直播萌脸礼物的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911239407.9A CN110933454B (zh) 2019-12-06 2019-12-06 处理直播萌脸礼物的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110933454A CN110933454A (zh) 2020-03-27
CN110933454B true CN110933454B (zh) 2021-11-02

Family

ID=69857962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911239407.9A Active CN110933454B (zh) 2019-12-06 2019-12-06 处理直播萌脸礼物的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110933454B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112908252B (zh) * 2021-01-26 2022-08-23 合肥维信诺科技有限公司 显示装置及显示面板的补偿方法
CN113139919B (zh) * 2021-05-08 2024-10-18 广州繁星互娱信息科技有限公司 特效显示方法、装置、计算机设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231415A (zh) * 2016-08-18 2016-12-14 北京奇虎科技有限公司 一种在视频直播中互动添加脸部特效的方法及装置
CN106303662A (zh) * 2016-08-29 2017-01-04 网易（杭州）网络有限公司 视频直播中的图像处理方法和装置
CN106658035A (zh) * 2016-12-09 2017-05-10 武汉斗鱼网络科技有限公司 一种特效礼物动态展示方法及装置
CN107438200A (zh) * 2017-09-08 2017-12-05 广州酷狗计算机科技有限公司 直播间礼物展示的方法和装置
CN107622234A (zh) * 2017-09-12 2018-01-23 广州酷狗计算机科技有限公司 一种显示萌脸礼物的方法和装置
CN107888965A (zh) * 2017-11-29 2018-04-06 广州酷狗计算机科技有限公司 图像礼物展示方法及装置、终端、系统、存储介质
CN108391153A (zh) * 2018-01-29 2018-08-10 北京潘达互娱科技有限公司 虚拟礼物显示方法、装置及电子设备
CN108924661A (zh) * 2018-07-12 2018-11-30 北京微播视界科技有限公司 基于直播间的数据交互方法、装置、终端和存储介质
CN109145688A (zh) * 2017-06-28 2019-01-04 武汉斗鱼网络科技有限公司 视频图像的处理方法及装置
CN109151600A (zh) * 2018-10-19 2019-01-04 武汉斗鱼网络科技有限公司 一种特效缺失的补偿方法、装置、服务器及存储介质
CN110324646A (zh) * 2019-07-09 2019-10-11 北京字节跳动网络技术有限公司 特效的展示处理方法、装置及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102481333B1 (ko) * 2018-05-08 2022-12-23 그리 가부시키가이샤 액터의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램
CN108965977B (zh) * 2018-06-13 2021-08-20 广州虎牙信息科技有限公司 直播礼物的展示方法、装置、存储介质、终端和系统
CN108810281B (zh) * 2018-06-22 2020-12-11 Oppo广东移动通信有限公司 丢帧补偿方法、装置、存储介质及终端

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231415A (zh) * 2016-08-18 2016-12-14 北京奇虎科技有限公司 一种在视频直播中互动添加脸部特效的方法及装置
CN106303662A (zh) * 2016-08-29 2017-01-04 网易（杭州）网络有限公司 视频直播中的图像处理方法和装置
CN106658035A (zh) * 2016-12-09 2017-05-10 武汉斗鱼网络科技有限公司 一种特效礼物动态展示方法及装置
CN109145688A (zh) * 2017-06-28 2019-01-04 武汉斗鱼网络科技有限公司 视频图像的处理方法及装置
CN107438200A (zh) * 2017-09-08 2017-12-05 广州酷狗计算机科技有限公司 直播间礼物展示的方法和装置
CN107622234A (zh) * 2017-09-12 2018-01-23 广州酷狗计算机科技有限公司 一种显示萌脸礼物的方法和装置
CN107888965A (zh) * 2017-11-29 2018-04-06 广州酷狗计算机科技有限公司 图像礼物展示方法及装置、终端、系统、存储介质
CN108391153A (zh) * 2018-01-29 2018-08-10 北京潘达互娱科技有限公司 虚拟礼物显示方法、装置及电子设备
CN108924661A (zh) * 2018-07-12 2018-11-30 北京微播视界科技有限公司 基于直播间的数据交互方法、装置、终端和存储介质
CN109151600A (zh) * 2018-10-19 2019-01-04 武汉斗鱼网络科技有限公司 一种特效缺失的补偿方法、装置、服务器及存储介质
CN110324646A (zh) * 2019-07-09 2019-10-11 北京字节跳动网络技术有限公司 特效的展示处理方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
斗鱼直播伴侣教程之脸部礼物特效;斗鱼TV;《木木素材https://mmsj2016.com/2302.html》;20190605;全文 *

Also Published As

Publication number Publication date
CN110933454A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN110971930B (zh) 虚拟形象直播的方法、装置、终端及存储介质
CN108401124B (zh) 视频录制的方法和装置
CN110278464B (zh) 显示榜单的方法和装置
CN109348247B (zh) 确定音视频播放时间戳的方法、装置及存储介质
CN111083516B (zh) 直播处理的方法和装置
CN109451343A (zh) 视频分享方法、装置、终端及存储介质
CN110764730A (zh) 播放音频数据的方法和装置
CN111355974A (zh) 虚拟礼物赠送处理的方法、装置、系统、设备及存储介质
CN111107389B (zh) 确定观看直播时长的方法、装置和系统
CN110533585B (zh) 一种图像换脸的方法、装置、系统、设备和存储介质
CN112965683A (zh) 调节音量的方法、装置、电子设备及介质
CN107896337B (zh) 信息推广方法、装置及存储介质
CN111031170A (zh) 选择通信模式的方法、装置、电子设备及介质
CN110618805A (zh) 调整设备电量的方法、装置、电子设备及介质
CN109089137B (zh) 卡顿检测方法及装置
CN112770177B (zh) 多媒体文件生成方法、多媒体文件发布方法及装置
CN109800003B (zh) 应用下载方法、装置、终端及存储介质
CN110769120A (zh) 进行消息提醒的方法、装置、设备及存储介质
CN111818358A (zh) 音频文件的播放方法、装置、终端及存储介质
CN109783176B (zh) 切换页面的方法和装置
CN110933454B (zh) 处理直播萌脸礼物的方法、装置、设备及存储介质
CN111083554A (zh) 直播礼物显示的方法和装置
CN110808021A (zh) 音频播放的方法、装置、终端及存储介质
CN113485596A (zh) 虚拟模型的处理方法、装置、电子设备及存储介质
CN111064657B (zh) 关注账户分组的方法、装置、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant