CN111698532B - 弹幕信息的处理方法及装置 - Google Patents

弹幕信息的处理方法及装置 Download PDF

Info

Publication number
CN111698532B
CN111698532B CN201910198367.1A CN201910198367A CN111698532B CN 111698532 B CN111698532 B CN 111698532B CN 201910198367 A CN201910198367 A CN 201910198367A CN 111698532 B CN111698532 B CN 111698532B
Authority
CN
China
Prior art keywords
expression
multimedia content
character expression
character
playing progress
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910198367.1A
Other languages
English (en)
Other versions
CN111698532A (zh
Inventor
王辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Youku Culture Technology Beijing Co ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910198367.1A priority Critical patent/CN111698532B/zh
Publication of CN111698532A publication Critical patent/CN111698532A/zh
Application granted granted Critical
Publication of CN111698532B publication Critical patent/CN111698532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种弹幕信息的处理方法及装置,包括:接收终端设备发送的人物表情获取请求,所述人物表情获取请求中包括多媒体内容的当前播放进度;根据所述多媒体内容的当前播放进度,从所述多媒体内容中截取人脸图像作为人物表情;向所述终端设备发送所述人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述人物表情。根据本申请实施例提供的弹幕信息的处理方法及装置,能够使得用户发布的包括人物表情的弹幕信息可以与所播放的多媒体内容的剧情关联起来,丰富了弹幕信息的表现形式的同时,增加了弹幕信息的趣味性。

Description

弹幕信息的处理方法及装置
技术领域
本申请涉及多媒体技术领域,尤其涉及一种弹幕信息的处理方法及装置。
背景技术
随着多媒体技术的发展,针对多媒体的评论方式包括:发布评论信息及发布弹幕信息。其中,弹幕是一种将评论显示在多媒体内容中,并从屏幕中飘过的动态效果,其是一种很受用户喜欢的评论方式以及互动方式。
发明内容
根据本申请的一方面,提供了一种弹幕信息的处理方法,应用于服务器,包括:
接收终端设备发送的人物表情获取请求,所述人物表情获取请求中包括多媒体内容的当前播放进度;
根据所述多媒体内容的当前播放进度,从所述多媒体内容中截取人脸图像作为人物表情;
向所述终端设备发送所述人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述人物表情。
在一种可能的实现方式中,所述方法还包括:
确定是否根据所述当前播放进度从所述多媒体内容中截取过人物表情;
若根据所述当前播放进度从所述多媒体内容中截取过人物表情,则获取所截取的人物表情。
在一种可能的实现方式中,所述根据所述多媒体内容的当前播放进度,从所述多媒体内容中截取人脸图像作为人物表情,包括:
确定所述多媒体内容中所述当前播放进度对应的图像帧;
识别所述图像帧中的人脸图像,并截取该人脸图像作为人物表情。
在一种可能的实现方式中,所述根据所述多媒体内容的当前播放进度,从所述多媒体内容中截取人脸图像作为人物表情,包括:
根据所述当前播放进度确定表情截取时间段;
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,并截取识别的人脸图像作为人物表情。
在一种可能的实现方式中,所述方法还包括:
确定当前的热门人物表情,所述热门人物表情为发布次数满足热门条件的人物表情;
向所述终端设备发送所述热门人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述热门人物表情。
在一种可能的实现方式中,所述从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,并截取识别的人脸图像作为人物表情,包括:
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像;
截取所述内容片段中的多个表征同一人物的人脸图像,确定该多个人脸图像组成的动态GIF图像为人物表情。
根据本申请的另一方面,提供了一种弹幕信息的处理方法,应用于终端设备,包括:
响应于针对人物表情的第一获取操作,向服务器发送人物表情获取请求,所述人物表情获取请求中包括多媒体内容的当前播放进度;
接收服务器发送的人物表情,所述人物表情为所述服务器根据多媒体内容的当前播放进度从所述多媒体内容中截取的;
在所述多媒体内容的播放界面中展示所述人物表情。
在一种可能的实现方式中,所述方法还包括:
响应于针对任一人物表情的选中操作,确定该人物表情为弹幕内容对应的人物表情;
发送第一弹幕信息至服务器,所述第一弹幕信息中包括弹幕内容及所述弹幕内容对应的人物表情。
在一种可能的实现方式中,所述方法还包括:
响应于针对人物表情的第二获取操作,确定所述多媒体内容在当前时刻对应的图像帧;
响应于针对所述图像帧中人脸图像的选中操作,截取所述人脸图像作为弹幕内容对应的人物表情。
在一种可能的实现方式中,所述响应于针对所述图像帧中人脸图像的选中操作,截取所述人脸图像作为弹幕内容对应的人物表情,包括:
响应于针对所述图像帧中人脸图像的选中操作,确定第一人脸图像;
确定所述选中操作对应的表情截取时间段;
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,截取多个与第一人脸图像表征同一人物的人脸图像,确定该多个人脸图像与所述第一人脸图像组成的动态GIF图像为人物表情。
根据本申请的另一方面,提供了一种弹幕信息的处理装置,应用于服务器,包括:
接收模块,用于接收终端设备发送的人物表情获取请求,所述人物表情获取请求中包括多媒体内容的当前播放进度;
截取模块,用于根据所述多媒体内容的当前播放进度,从所述多媒体内容中截取人脸图像作为人物表情;
发送模块,用于向所述终端设备发送所述人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述人物表情。
根据本申请的另一方面,提供了一种弹幕信息的处理装置,应用于终端设备,包括:
发送模块,用于响应于针对人物表情的第一获取操作,向服务器发送人物表情获取请求,所述人物表情获取请求中包括所述多媒体内容的当前播放进度;
接收模块,用于接收服务器发送的人物表情,所述人物表情为所述服务器根据多媒体内容的当前播放进度从所述多媒体内容中截取的;
展示模块,用于在所述多媒体内容的播放界面中展示所述人物表情。
根据本申请的另一方面,提供了一种弹幕信息的处理装置,应用于服务器,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
接收终端设备发送的人物表情获取请求,所述人物表情获取请求中包括多媒体内容的当前播放进度;
根据所述多媒体内容的当前播放进度,从所述多媒体内容中截取人脸图像作为人物表情;
向所述终端设备发送所述人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述人物表情。
在一种可能的实现方式中,所述处理器被配置为:
确定是否根据所述当前播放进度从所述多媒体内容中截取过人物表情;
若根据所述当前播放进度从所述多媒体内容中截取过人物表情,则获取所截取的人物表情。
在一种可能的实现方式中,所述处理器被配置为:
确定所述多媒体内容中所述当前播放进度对应的图像帧;
识别所述图像帧中的人脸图像,并截取该人脸图像作为人物表情。
在一种可能的实现方式中,所述处理器被配置为:
根据所述当前播放进度确定表情截取时间段;
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,并截取识别的人脸图像作为人物表情。
在一种可能的实现方式中,所述处理器被配置为:
确定当前的热门人物表情,所述热门人物表情为发布次数满足热门条件的人物表情;
向所述终端设备发送所述热门人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述热门人物表情。
在一种可能的实现方式中,所述处理器被配置为:
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像;
截取所述内容片段中的多个表征同一人物的人脸图像,确定该多个人脸图像组成的动态GIF图像为人物表情。
根据本申请的另一方面,提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,应用于服务器,所述计算机程序指令被处理器执行时实现上述所述的方法。
根据本申请的另一方面,提供了一种弹幕信息的处理装置,应用于终端设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
响应于针对人物表情的第一获取操作,向服务器发送人物表情获取请求,所述人物表情获取请求中包括多媒体内容的当前播放进度;
接收服务器发送的人物表情,所述人物表情为所述服务器根据多媒体内容的当前播放进度从所述多媒体内容中截取的;
在所述多媒体内容的播放界面中展示所述人物表情。
在一种可能的实现方式中,所述处理器被配置为:
响应于针对任一人物表情的选中操作,确定该人物表情为弹幕内容对应的人物表情;
发送第一弹幕信息至服务器,所述第一弹幕信息中包括弹幕内容及所述弹幕内容对应的人物表情。
在一种可能的实现方式中,所述处理器被配置为:
响应于针对人物表情的第二获取操作,确定所述多媒体内容在当前时刻对应的图像帧;
响应于针对所述图像帧中人脸图像的选中操作,截取所述人脸图像作为弹幕内容对应的人物表情。
在一种可能的实现方式中,所述处理器被配置为:
响应于针对所述图像帧中人脸图像的选中操作,确定第一人脸图像;
确定所述选中操作对应的表情截取时间段;
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,截取多个与第一人脸图像表征同一人物的人脸图像,确定该多个人脸图像与所述第一人脸图像组成的动态GIF图像为人物表情。
根据本申请的另一方面,提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,应用于终端设备,其中,所述计算机程序指令被处理器执行时实现上述方法。
这样一来,服务器可以在接收终端设备发送的人物表情获取请求后,根据人物表情获取请求中包括的多媒体内容的当前播放进度从该多媒体内容中截取人脸图像作为人物表情。服务器将截取的人物表情发送至终端设备,以使得终端设备可以在多媒体内容的播放界面上展示该人物表情。根据本申请实施例提供的弹幕信息的处理方法及装置,服务器可以截取多媒体内容中与当前播放进度关联的内容中的人脸图像作为人物表情,以供用户在发布弹幕信息时选择,可以使得提供给用户的人物表情与剧情紧密关联,进而可以使得用户发布的包括人物表情的弹幕信息可以与所播放的多媒体内容的剧情关联起来,丰富了弹幕信息的表现形式的同时,增加了弹幕信息的趣味性。
根据下面参考附图对示例性实施例的详细说明,本申请的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面,并且用于解释本申请的原理。
图1示出根据本申请一实施例的一种弹幕信息的处理方法的流程图;
图2示出根据本申请一实施例的一种弹幕信息的处理方法的流程图;
图3示出根据本申请一实施例的一种弹幕信息的处理方法的流程图;
图4示出根据本申请一实施例的一种弹幕信息的处理方法的流程图;
图5示出根据本申请一实施例的一种弹幕信息的处理方法的流程图;
图6示出根据本申请一实施例的一种弹幕信息的处理方法的流程图;
图7示出根据本申请一示例的播放界面示意图;
图8示出根据本申请一示例的播放界面示意图;
图9示出根据本申请一示例的播放界面示意图;
图10示出根据本申请一实施例的一种弹幕信息的处理方法的流程图;
图11示出根据本申请一实施例的一种弹幕信息的处理方法的流程图;
图12示出根据本申请一实施例的一种弹幕信息的处理装置的结构框图;
图13示出根据本申请一实施例的一种弹幕信息的处理装置的结构框图;
图14是根据一示例性实施例示出的一种用于弹幕信息的处理的装置1900的框图;
图15是根据一示例性实施例示出的一种用于弹幕信息的处理的装置1500的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
实施例1
图1示出根据本申请一实施例的一种弹幕信息的处理方法的流程图。该方法可以应用于服务器,如图1所示,该方法可以包括:
步骤101、接收终端设备发送的人物表情获取请求,所述人物表情获取请求中包括多媒体内容的当前播放进度。
举例来说,终端设备在播放多媒体内容的过程中,可以响应于针对人物表情的获取操作(例如:当前多媒体内容的播放界面中包括人物表情获取控件,上述针对人物表情的获取操作可以为针对人物表情获取控件的触发操作,例如:单击操作或者触摸操作等),确定多媒体内容的当前播放进度,并向服务器发送人物表情获取请求,该人物表情获取请求中可以包括多媒体内容的当前播放进度,该人物表情获取请求中还可以包括多媒体内容的标识信息。
步骤102、根据所述多媒体内容的当前播放进度,从所述多媒体内容中截取人脸图像作为人物表情。
举例来说,服务器接收上述终端设备发送的人物表情获取请求后,可以根据人物表情获取请求中携带的多媒体内容的当前播放进度,确定该多媒体内容中与该当前播放进度关联的部分内容,采用人脸识别技术识别该部分内容中的人脸图像,并在识别人脸图像后,截取该人脸图像作为人物表情。
步骤103、向所述终端设备发送所述人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述人物表情。
服务器在截取人物表情后,可以将人物表情发送至终端设备。终端设备接收人物表情后,可以在多媒体内容的播放界面中(例如:弹幕面板上)展示上述人物表情,以供用户选择。用户发布弹幕信息时可以在输入弹幕内容后,从展示的人物表情中选择任一人物表情作为该弹幕内容对应的人物表情。在该弹幕信息发布后,该弹幕信息在多媒体内容中展示时,展示的内容可以包括该弹幕内容及弹幕内容对应的人物表情。
这样一来,服务器可以在接收终端设备发送的人物表情获取请求后,根据人物表情获取请求中包括的多媒体内容的当前播放进度从该多媒体内容中截取人脸图像作为人物表情。服务器将截取的人物表情发送至终端设备,以使得终端设备可以在多媒体内容的播放界面上展示该人物表情。根据本申请实施例提供的弹幕信息的处理方法,服务器可以截取多媒体内容中与当前播放进度关联的内容中的人脸图像作为人物表情,以供用户在发布弹幕信息时选择,可以使得提供给用户的人物表情与剧情紧密关联,进而可以使得用户发布的包括人物表情的弹幕信息可以与所播放的多媒体内容的剧情关联起来,丰富了弹幕信息的表现形式的同时,增加了弹幕信息的趣味性。
图2示出根据本申请一实施例的一种弹幕信息的处理方法的流程图。
在一种可能的实现方式中,参照图2,上述方法还可以包括:
步骤104、确定是否根据所述当前播放进度从所述多媒体内容中截取过人物表情;
步骤105、若根据所述当前播放进度从所述多媒体内容中截取过人物表情,则获取所截取的人物表情。
举例来说,服务器在根据多媒体内容的当前播放进度截取人物表情后,可以将多媒体内容截取的人物表情存储在表情存储区域中,该表情存储区域可以用于存储多媒体内容的当前播放进度及在当前播放进度截取的人物表情。服务器在接收到人物表情获取请求时,可以在该表情存储区域中查找该人物表情获取请求中携带的当前播放进度。若查找到该当前播放进度,则获取该当前播放进度对应的人物表情,并发送该人物表情至终端设备;若未查找到该当前播放进度,则可以根据当前播放进度从多媒体内容中截取人物表情,并发送截取的人物表情至终端设备。
这样一来,可以避免服务器根据多个同一当前播放进度重复从多媒体内容中进行人脸识别、截取人脸图像等操作,可以提高人物表情的获取效率。
图3示出根据本申请一实施例的一种弹幕信息的处理方法的流程图。
在一种可能的实现方式中,参照图3,上述步骤102、所述根据所述多媒体内容的当前播放进度,从所述多媒体内容中截取人脸图像作为人物表情,可以包括:
步骤1021、确定所述多媒体内容中所述当前播放进度对应的图像帧。
步骤1022、识别所述图像帧中的人脸图像,并截取该人脸图像作为人物表情。
举例来说,服务器可以确定多媒体内容中当前播放进度对应的图像帧,并采用人脸识别等技术识别该图像帧中的人脸图像。在识别到人脸图像时,截取该人脸图像作为人物表情。
示例性的,用户A在多媒体内容1播放到3分12秒时触发终端设备向服务器发送人物表情获取请求。服务器接收的终端设备发送的人物表情获取请求中包括的多媒体内容1的当前播放进度为3分12秒,则服务器可以确定多媒体内容1在3分12秒对应的图像帧,识别该图像帧中的人脸图像(例如:包括人脸图像1、及人脸图像2),并截取该人脸图像作为人物表情(人脸图像1作为人物表情1、人脸图像2作为人物表情2)返回给终端设备,以使得终端设备可以在多媒体内容的播放界面中展示该人物表情供用户A选择,进而使得用户A可以从展示的人物表情中选择任一人物表情(假设选择人物表情2),发布对应的弹幕信息,则该弹幕信息显示在多媒体内容的播放界面中时,显示内容包括弹幕内容及该人物表情2。
或者,服务器可以确定多媒体内容中当前播放进度对应的图像帧、及当前图像帧对应的前N帧及后N帧,并依次采用人脸识别等技术分别识别该多帧图像帧中的人脸图像,在识别到人脸图像时,截取人脸图像作为人物表情。
图4示出根据本申请一实施例的一种弹幕信息的处理方法的流程图。
在一种可能的实现方式中,参照图4,上述步骤102、可以根据所述多媒体内容的当前播放进度,从所述多媒体内容中截取人脸图像作为人物表情,可以包括:
步骤1023、根据所述当前播放进度确定表情截取时间段;
步骤1024、从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,并截取识别的人脸图像作为人物表情。
举例来说,服务器可以根据当前播放进度确定表情截取时间段。例如:可以确定当前播放进度之前的播放进度1(或者是当前播放进度之后的播放进度2),与当前播放进度组成的时间段为表情截取时间段。其中,播放进度1(或者播放进度2)可以与当前播放进度间隔第一预置时间间隔,该第一预置时间间隔可以为预先设置的时间值,例如:1秒。
或者,服务器可以确定当前播放进度之前的播放进度3与当前播放进度之后的播放进度4所组成的时间段为表情截取时间段,其中,播放进度3可以与当前播放进度间隔第二预置时间间隔,播放进度4可以与当前播放进度间隔第三预置时间间隔,该第二预置时间间隔可以与第三预置时间间隔相同,也可以不同,本申请对此不作限定。
服务器确定表情截取时间段后,可以确定多媒体内容中该表情截取时间段对应的内容片段,并识别该内容片段中任一画面中的人脸图像,截取识别到的人脸图像作为人物表情;或者,还可以在该内容片段中抽取预置数量的图像帧(例如:可以采用间隔预置时间抽帧,或者可以采用间隔预置帧数抽帧,或者可以采用随机抽帧等方式进行抽帧),并识别抽取的任一图像帧中的人脸图像,截取识别到的人脸图像作为人物表情。
示例性的,用户A在多媒体内容1播放到3分12秒时触发终端设备向服务器发送发人物表情获取请求。服务器接收的人物表情获取请求中包括的多媒体内容1的当前播放进度为3分12秒,则服务器可以根据当前播放进度确定表情截取时间段为3分11秒至3分13秒(本示例中,假设第二预置时间间隔与第三预置时间间隔均为1秒)。则服务器可以从多媒体内容1在3分11秒至3分13秒对应的视频片段中,识别该视频片段中任一帧图像的人脸图像(例如:包括人脸图像1、及人脸图像2),并截取该人脸图像作为人物表情(人脸图像1作为人物表情1、人脸图像2作为人物表情2)返回给终端设备,以使得终端设备可以在多媒体内容的播放界面中展示该人物表情供用户A选择,进而使得用户A可以从展示的人物表情中选择任一人物表情(假设选择人物表情2),发布对应的弹幕信息,则该弹幕信息显示在多媒体内容的播放界面中时,显示内容包括弹幕内容及该人物表情2。
在一种可能的实现方式中,上述从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,并截取识别的人脸图像作为人物表情,可以包括:
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像;
截取所述内容片段中的多个表征同一人物的人脸图像,确定该多个人脸图像组成的动态GIF图像为人物表情。
举例来说,服务器确定表情截取时间段后,可以确定多媒体内容中该表情截取时间段对应的内容片段,并识别该内容片段中任一画面中的人脸图像,截取识别到的人脸图像。服务器可以确定截取的人脸图像中表征同一人物的多个人脸图像,根据该多个人脸图像生成对应的动态GIF图,并确定该动态GIF图为人物表情。
图5示出根据本申请一实施例的一种弹幕信息的处理方法的流程图。
在一种可能的实现方式中,参照图5,上述方法还可以包括:
步骤106、确定当前的热门人物表情,所述热门人物表情为发布次数满足热门条件的人物表情;
步骤107、向所述终端设备发送所述热门人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述热门人物表情。
举例来说,服务器在截取多媒体内容中当前播放进度对应的人物表情后,可以在表情存储区域中存储该多媒体内容在当前播放进度对应的人物表情,并且服务器可以实时统计各个人物表情被选中发布弹幕信息的发布次数。
服务器在接收到终端设备发送的人物表情获取请求时,或者在服务器根据当前多媒体内容的当前播放进度未截取到人脸图像时,服务器可以从表情存储区域中存储的人物表情中,根据各个人物表情对应的发布次数确定满足热门条件的热门人物表情,其中,热门条件可以为用于判断人物表情是否受到用户喜欢的判断条件。
示例性的,服务器可以分别确定表情存储区域中各个播放进度对应的人物表情的发布总数(例如:对应播放进度1,对应的人物表情包括:人物表情1(发布次数12)、人物表情2(发布次数10)、人物表情3(发布次数30),则播放进度1对应的人物表情的发布总数为52),确定发布总数最多的一个或者多个播放进度对应的人物表情为热门表情。
例如:在发布总数最多的播放进度1对应的人物表情的数量大于预置数量时,则播放进度1对应的人物表情为热门人物表情;在播放进度1对应的人物表情的数量少于预置数量时,可以确定发布总数排在第二名的播放进度2的人物表情数量,若播放进度1和播放进度2对应的人物表情的数量大于预置数量时,则可以确定播放进度1和播放进度2对应的人物表情为热门人物表情,否则,继续确定发布总数排在第三名的播放进度3,直至人物表情的数量大于预置数量。
或者,服务器可以根据各个播放进度对应的人物表情的发布次数,对人物表情进行降序排列,可以确定排序在前K个的人物表情为热门人物表情,或者确定前N%个人物表情为热门人物表情,其中,K和N均为正整数。
或者,服务器可以确定发布次数大于次数阈值的人物表情为热门人物表情,其中次数阈值可以为预先设置的数值,例如:次数阈值为100次,则可以确定发布次数大于100次的人物表情为热门人物表情。
服务器在确定热门人物表情后,可以将该热门人物表情发送至终端设备,使得终端设备可以在多媒体内容的播放页面中展示该热门人物表情,以提供给用户进行选择,发布对应的弹幕信息。
这样一来,可以丰富人物表情的生成方式,也可以保证用户在任一时刻发布弹幕信息时,均可以给用户提供人物表情,提高了弹幕信息的趣味性。
图6示出根据本申请一实施例的一种弹幕信息的处理方法的流程图。该方法可以应用于终端设备,例如:手机,平板电脑、计算机等。如图6所示,该方法可以包括:
步骤601、响应于针对人物表情的第一获取操作,向服务器发送人物表情获取请求,所述人物表情获取请求中包括所述多媒体内容的当前播放进度。
举例来说,用户可以通过对多媒体内容的播放界面执行第一获取操作,获取人物表情。例如:当前多媒体内容的播放界面中包括人物表情获取控件,上述针对人物表情的第一获取操作可以为针对人物表情获取控件的触发操作,例如:单击操作或者触摸操作等。终端设备检测到针对人物表情的第一获取操作时,可以响应于该第一获取操作,确定多媒体内容的当前播放进度,根据多媒体内容的当前播放进度生成人物表情获取请求,该人物表情获取请求中可以包括多媒体内容的当前播放进度。终端设备可以将该人物表情获取请求发送至服务器。
步骤602、接收服务器发送的人物表情,所述人物表情为所述服务器根据多媒体内容的当前播放进度从所述多媒体内容中截取的。
举例来说,服务器接收人物表情获取请求后,可以根据人物表情获取请求中携带的多媒体内容的当前播放进度从多媒体内容中截取对应的人脸图像作为人物表情后,将人物表情发送至终端设备。
示例性的,服务器可以从多媒体内容中该当前播放进度对应的画面中识别并截取人脸图像作为人物表情,或者服务器可以从包含该当前播放进度且时长为预置时长的表情截取时间段,在该多媒体内容中对应的内容片段中识别并截取人脸图像作为人物表情,服务器根据多媒体内容的当前播放进度从所述多媒体内容中截取人物表情的过程可以参照前述实施例,本申请在此不再赘述。
步骤603、在所述多媒体内容的播放界面中展示所述人物表情。
终端设备接收服务器发送的人物表情后,可以在当前多媒体内容的播放界面中展示上述人物表情,以供用户选择,发布包含选择的人物表情的弹幕信息。
为使本领域技术人员更好的理解本申请实施例,以下通过具体示例对本申请加以说明。
图7示出根据本申请一示例的播放界面示意图;图8示出根据本申请一示例的播放界面示意图;图9示出根据本申请一示例的播放界面示意图。
用户在观看多媒体内容的过程中,对人物表情获取控件进行触发操作(当前多媒体内容的播放界面如图7所示),使得终端设备向服务器发送人物表情获取请求,该人物表情获取请求中可以包括多媒体内容的当前播放进度。
服务器接收针对多媒体内容的人物表情获取请求后,识别并截取当前播放进度对应的画面中的人脸图像作为人物表情,并发送该人物表情至终端设备。终端设备接收人物表情后,在多媒体内容的显示界面上显示该人物表情,如图8所示。
用户选中任一人物表情(例如:选中图8中展示的易烊千玺对应的人物表情)发布弹幕信息后,该弹幕信息可以显示在终端设备的显示界面中,如图9所示。
这样一来,终端设备可以响应针对人物表情的第一获取操作,向服务器发送携带多媒体内容的当前播放进度的人物表情获取请求,以使得服务器可以根据多媒体内容的当前播放进度从该多媒体内容中截取人脸图像作为人物表情,并将截取的人物表情发送至终端设备。终端设备可以在接收服务器发送的人物表情后,在多媒体内容的播放界面上展示该人物表情。根据本申请实施例提供的弹幕信息的处理方法,服务器可以截取多媒体内容中与当前播放进度关联的内容中的人脸图像作为人物表情,以供用户在发布弹幕信息时选择,可以使得提供给用户的人物表情与剧情紧密关联,进而可以使得用户发布的包括人物表情的弹幕信息可以与所播放的多媒体内容的剧情关联起来,丰富了弹幕信息的表现形式的同时,增加了弹幕信息的趣味性。
图10示出根据本申请一实施例的一种弹幕信息的处理方法的流程图。
在一种可能的实现方式中,参照图10,上述方法还可以包括;
步骤604、响应于针对任一人物表情的选中操作,确定该人物表情为弹幕内容对应的人物表情;
步骤605、发送第一弹幕信息至服务器,所述第一弹幕信息中包括弹幕内容及所述弹幕内容对应的人物表情。
举例来说,终端设备在展示服务器发送的人物表情后,可以响应于用户针对所展示的任一人物表情的选中操作(例如:单击操作或者触摸操作等),确定该人物表情为弹幕内容对应的人物表情,并可以在弹幕输入框中输入弹幕内容(本申请也可以在执行人物表情的选中操作前,在弹幕输入框中输入弹幕内容)。终端设备可以响应于第一弹幕信息的发布操作(例如:可以为针对发布控件的触发操作),向服务器发送第一弹幕信息,该第一弹幕信息可以包括弹幕内容及弹幕内容对应的人物表情。
这样一来,任一终端设备在多媒体内容的当前播放进度向服务器请求弹幕信息时,获得的该第一弹幕信息中包括弹幕内容及该弹幕内容对应的人物表情,由于该人物表情为根据当前播放进度从多媒体内容中截取的,使得第一弹幕信息更具趣味性的同时,更为贴合多媒体内容的剧情,可以调动用户通过弹幕信息交互的热情。
图11示出根据本申请一实施例的一种弹幕信息的处理方法的流程图。
在一种可能的实现方式中,参照图11,上述方法还可以包括:
步骤606、响应于人物表情的第二获取操作,确定所述多媒体内容在当前时刻对应的图像帧;
步骤607、响应于针对所述图像帧中人脸图像的选中操作,截取所述人脸图像作为弹幕内容对应的人物表情。
举例来说,用户可以从多媒体内容当前播放的画面中手动截取人脸图像作为人物表情。上述第二获取操作可以为触发终端设备开启手动截取表情模式的操作,例如:多媒体内容的播放界面中可以包括手动截取控件,第二获取操作可以为针对该手动截取控件的触发操作(单击或者触摸等操作)。终端设备在检测到上述第二获取操作时,可以开启手动截取表情模式,并在开启手动截取表情模式时,确定多媒体内容在当前时刻的播放画面对应的图像帧。
用户可以在当前的图像帧中手动截取人脸图像作为人物表情,例如:可以通过方框(也可以通过圆圈等能用于确定选中区域的方式,该选中区域中的内容即为选中内容)将待截取的人脸图像框住,该方框内的内容即为选中内容,终端设备可以截取该选中内容作为弹幕内容的人物表情。
举例来说,在截取过程中,终端设备还可以确定选中内容的大小是否符合人物表情的大小,及识别选中内容是否为人脸图像,并在确定选中内容的大小不符合人物表情的大小或者选中内容不为人脸图像时,生成对应的提示信息,提醒用户通过调整方框大小或者方框位置,调整选中内容。
在确定弹幕内容对应的人物表情后,用户可以在弹幕输入框中输入弹幕内容(本申请也可以在执行人物表情截取操作前,在弹幕输入框中输入弹幕内容)。终端设备可以响应于第一弹幕信息的发布操作(例如:可以为针对发布控件的触发操作),向服务器发送第一弹幕信息,该第一弹幕信息可以包括弹幕内容及弹幕内容对应的人物表情。
在一种可能的实现方式中,上述响应于针对所述图像帧中人脸图像的选中操作,截取所述人脸图像作为弹幕内容对应的人物表情,可以包括:
响应于针对所述图像帧中人脸图像的选中操作,确定第一人脸图像;
确定所述选中操作对应的表情截取时间段;
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,截取多个与第一人脸图像表征同一人物的人脸图像,确定该多个人脸图像与所述第一人脸图像组成的动态GIF图像为人物表情。
举例来说,终端设备可以响应于针对人物表情的第二获取操作,确定所述多媒体内容在当前时刻对应的图像帧,并可以响应于针对图像帧中人脸图像的选中操作,确定该选中操作对应的第一人脸图像(可以参照前述实施例,本申请在此不再赘述)。
其中,该选中操作的起始时间及结束时间对应的时间段为表情截取时间段,例如:在播放进度为5分8秒时检测到针对图像帧中人脸图像的选中操作,该选中操作在播放进度未5分10秒时结束,则表情截取时间段可以为5分8秒至5分10秒。终端设备可以在多媒体内容中表情截取时间段对应的内容片段中识别任一画面中的人脸图像,并确定识别到的人脸图像中与第一人脸图像表征同一人物的人脸图像,截取与第一人脸图像表征同一人物的人脸图像,确定第一人脸图像与截取的人脸图像组成的动态GIF图像为人物表情。
这样一来,任一终端设备在多媒体内容的当前播放进度向服务器请求弹幕信息时,获得的该第一弹幕信息中包括弹幕内容及该弹幕内容对应的人物表情,由于该人物表情中为用户手动截取的,更贴合弹幕内容与当前剧情,通过该人物表情可以将弹幕内容与当前剧情关联起来,使得第一弹幕信息更具趣味性及更为贴合多媒体内容的剧情,可以调动用户通过弹幕信息交互的热情。
终端设备在开启弹幕模式后,可以实时向服务器请求当前播放的多媒体内容在当前播放进度对应的弹幕信息。服务器可以响应于终端设备针对弹幕信息的请求,向终端设备发送多媒体内容在当前播放进度对应的第二弹幕信息。
在第二弹幕信息仅包括弹幕内容不包括人物表情时,终端设备以正常显示方式显示该第二弹幕信息(例如:该第二弹幕信息按照第一预置颜色、第一预置字体大小、从右向左滑动显示)。在第二弹幕信息包括弹幕内容及弹幕内容对应的人物表情时,可以通过上述正常显示方式显示该第二弹幕信息,或者,也可以通过区别于上述正常显示方式的方式显示该第二弹幕信息,例如:第二弹幕信息可以具有由小到大或者由大到小的渐变效果。
图12示出根据本申请一实施例的一种弹幕信息的处理装置的结构框图。该装置可以应用于服务器,如图12所示,该装置可以包括:
接收模块1201,可以用于接收终端设备发送的人物表情获取请求,所述人物表情获取请求中包括多媒体内容的当前播放进度;
截取模块1202,可以用于根据所述多媒体内容的当前播放进度,从所述多媒体内容中截取人脸图像作为人物表情;
发送模块1203,可以用于向所述终端设备发送所述人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述人物表情。
这样一来,服务器可以在接收终端设备发送的人物表情获取请求后,根据人物表情获取请求中包括的多媒体内容的当前播放进度从该多媒体内容中截取人脸图像作为人物表情。服务器将截取的人物表情发送至终端设备,以使得终端设备可以在多媒体内容的播放界面上展示该人物表情。根据本申请实施例提供的弹幕信息的处理装置,服务器可以截取多媒体内容中与当前播放进度关联的内容中的人脸图像作为人物表情,以供用户在发布弹幕信息时选择,可以使得提供给用户的人物表情与剧情紧密关联,进而可以使得用户发布的包括人物表情的弹幕信息可以与所播放的多媒体内容的剧情关联起来,丰富了弹幕信息的表现形式的同时,增加了弹幕信息的趣味性。
在一种可能的实现方式中,上述装置还可以包括:
第一确定模块,可以用于确定是否根据所述当前播放进度从所述多媒体内容中截取过人物表情;
第一处理模块,可以用于若根据所述当前播放进度从所述多媒体内容中截取过人物表情,则获取所截取的人物表情。
在一种可能的实现方式中,上述截取模块902还可以用于:
确定所述多媒体内容中所述当前播放进度对应的图像帧;
识别所述图像帧中的人脸图像,并截取该人脸图像作为人物表情。
在一种可能的实现方式中,上述截取模块902还可以用于:
根据所述当前播放进度确定表情截取时间段;
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,并截取识别的人脸图像作为人物表情。
在一种可能的实现方式中,上述装置还可以包括:
第二确定模块,可以用于确定当前的热门人物表情,所述热门人物表情为发布次数满足热门条件的人物表情;
第二处理模块,可以用于向所述终端设备发送所述热门人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述热门人物表情。
在一种可能的实现方式中,上述截取模块902还可以用于:
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像;
截取所述内容片段中的多个表征同一人物的人脸图像,确定该多个人脸图像组成的动态GIF图像为人物表情。
图13示出根据本申请一实施例的一种弹幕信息的处理装置的结构框图。该装置可以应用于终端设备,如图13所示,该装置可以包括:
发送模块1301,可以用于响应于针对人物表情的第一获取操作,向服务器发送人物表情获取请求,所述人物表情获取请求中包括所述多媒体内容的当前播放进度;
接收模块1302,可以用于接收服务器发送的人物表情,所述人物表情为所述服务器根据多媒体内容的当前播放进度从所述多媒体内容中截取的;
展示模块1303,可以用于在所述多媒体内容的播放界面中展示所述人物表情。
这样一来,终端设备可以响应针对人物表情的第一获取操作,向服务器发送携带多媒体内容的当前播放进度的人物表情获取请求,以使得服务器可以根据多媒体内容的当前播放进度从该多媒体内容中截取人脸图像作为人物表情,并将截取的人物表情发送至终端设备。终端设备可以在接收服务器发送的人物表情后,在多媒体内容的播放界面上展示该人物表情。根据本申请实施例提供的弹幕信息的处理装置,服务器可以截取多媒体内容中与当前播放进度关联的内容中的人脸图像作为人物表情,以供用户在发布弹幕信息时选择,可以使得提供给用户的人物表情与剧情紧密关联,进而可以使得用户发布的包括人物表情的弹幕信息可以与所播放的多媒体内容的剧情关联起来,丰富了弹幕信息的表现形式的同时,增加了弹幕信息的趣味性。
在一种可能的实现方式中,上述装置还可以包括:
第一确定模块,可以用于响应于针对任一人物表情的选中操作,确定该人物表情为弹幕内容对应的人物表情;
弹幕发送模块,可以用于发送第一弹幕信息至服务器,所述第一弹幕信息中包括弹幕内容及所述弹幕内容对应的人物表情。
在一种可能的实现方式中,上述装置还可以包括:
第二确定模块,可以用于响应于针对人物表情的第二获取操作,确定所述多媒体内容在当前时刻对应的图像帧;
截取模块,可以用于响应于针对所述图像帧中人脸图像的选中操作,截取所述人脸图像作为弹幕内容对应的人物表情。
在一种可能的实现方式中,所述截取模块还可以用于:
响应于针对所述图像帧中人脸图像的选中操作,确定第一人脸图像;
确定所述选中操作对应的表情截取时间段;
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,截取多个与第一人脸图像表征同一人物的人脸图像,确定该多个人脸图像与所述第一人脸图像组成的动态GIF图像为人物表情。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
图14是根据一示例性实施例示出的一种用于弹幕信息的处理的装置1900的框图。例如,装置1900可以被提供为一服务器。参照图14,装置1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
其中,处理器可以被配置为:
接收终端设备发送的人物表情获取请求,所述人物表情获取请求中包括多媒体内容的当前播放进度;
根据所述多媒体内容的当前播放进度,从所述多媒体内容中截取人脸图像作为人物表情;
向所述终端设备发送所述人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述人物表情。
在一种可能的实现方式中,处理器还可以被配置为:
确定是否根据所述当前播放进度从所述多媒体内容中截取过人物表情;
若根据所述当前播放进度从所述多媒体内容中截取过人物表情,则获取所截取的人物表情。
在一种可能的实现方式中,处理器还可以被配置为:
确定所述多媒体内容中所述当前播放进度对应的图像帧;
识别所述图像帧中的人脸图像,并截取该人脸图像作为人物表情。
在一种可能的实现方式中,处理器还可以被配置为:
根据所述当前播放进度确定表情截取时间段;
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,并截取识别的人脸图像作为人物表情。
在一种可能的实现方式中,处理器还可以被配置为:
确定当前的热门人物表情,所述热门人物表情为发布次数满足热门条件的人物表情;
向所述终端设备发送所述热门人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述热门人物表情。
在一种可能的实现方式中,所述处理器被配置为:
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像;
截取所述内容片段中的多个表征同一人物的人脸图像,确定该多个人脸图像组成的动态GIF图像为人物表情。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理,一个有线或无线网络接口1950被配置为将装置1900连接到网络,和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
图15是根据一示例性实施例示出的一种用于弹幕信息的处理的装置1500的框图。例如,装置1500可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图15,装置1500可以包括以下一个或多个组件:处理组件1502,存储器1504,电源组件1506,多媒体组件1508,音频组件1510,输入/输出(I/O)的接口1512,传感器组件1514,以及通信组件1516。
处理组件1502通常控制装置1500的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1502可以包括一个或多个处理器1520来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1502可以包括一个或多个模块,便于处理组件1502和其他组件之间的交互。例如,处理组件1502可以包括多媒体模块,以方便多媒体组件1508和处理组件1502之间的交互。
其中,处理器可以被配置为:
响应于针对人物表情的第一获取操作,向服务器发送人物表情获取请求,所述人物表情获取请求中包括所述多媒体内容的当前播放进度;
接收服务器发送的人物表情,所述人物表情为所述服务器根据多媒体内容的当前播放进度从所述多媒体内容中截取的;
在所述多媒体内容的播放界面中展示所述人物表情。
在一种可能的实现方式中,处理器还可以被配置为:
响应于针对任一人物表情的选中操作,确定该人物表情为弹幕内容对应的人物表情;
发送第一弹幕信息至服务器,所述第一弹幕信息中包括弹幕内容及所述弹幕内容对应的人物表情。
在一种可能的实现方式中,处理器还可以被配置为:
响应于针对人物表情的第二获取操作,确定所述多媒体内容在当前时刻对应的图像帧;
响应于针对所述图像帧中人脸图像的选中操作,截取所述人脸图像作为弹幕内容对应的人物表情。
在一种可能的实现方式中,处理器还可以被配置为:
响应于针对所述图像帧中人脸图像的选中操作,确定第一人脸图像;
确定所述选中操作对应的表情截取时间段;
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,截取多个与第一人脸图像表征同一人物的人脸图像,确定该多个人脸图像与所述第一人脸图像组成的动态GIF图像为人物表情。
存储器1504被配置为存储各种类型的数据以支持在装置1500的操作。这些数据的示例包括用于在装置1500上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1506为装置1500的各种组件提供电力。电源组件1506可以包括电源管理系统,一个或多个电源,及其他与为装置1500生成、管理和分配电力相关联的组件。
多媒体组件1508包括在所述装置1500和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1508包括一个前置摄像头和/或后置摄像头。当装置1500处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1510被配置为输出和/或输入音频信号。例如,音频组件1510包括一个麦克风(MIC),当装置1500处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1504或经由通信组件1516发送。在一些实施例中,音频组件1510还包括一个扬声器,用于输出音频信号。
I/O接口1512为处理组件1502和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1514包括一个或多个传感器,用于为装置1500提供各个方面的状态评估。例如,传感器组件1514可以检测到装置1500的打开/关闭状态,组件的相对定位,例如所述组件为装置1500的显示器和小键盘,传感器组件1514还可以检测装置1500或装置1500一个组件的位置改变,用户与装置1500接触的存在或不存在,装置1500方位或加速/减速和装置1500的温度变化。传感器组件1514可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1514还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1514还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1516被配置为便于装置1500和其他设备之间有线或无线方式的通信。装置1500可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1516还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置1500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1504,上述计算机程序指令可由装置1500的处理器1520执行以完成上述方法。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (24)

1.一种弹幕信息的处理方法,其特征在于,应用于服务器,包括:
接收终端设备发送的人物表情获取请求,所述人物表情获取请求中包括多媒体内容的当前播放进度;
所述服务器根据所述多媒体内容的当前播放进度,从所述多媒体内容中当前播放进度对应的图像帧,或,所述当前播放进度对应的图像帧及前N帧、后N帧截取人脸图像作为人物表情;
向所述终端设备发送所述人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述人物表情,以供用户选择,发布包含选择的人物表情的弹幕信息。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定是否根据所述当前播放进度从所述多媒体内容中截取过人物表情;
若根据所述当前播放进度从所述多媒体内容中截取过人物表情,则获取所截取的人物表情。
3.根据权利要求1所述的方法,其特征在于,所述服务器根据所述多媒体内容的当前播放进度,从所述多媒体内容中当前播放进度对应的图像帧,或,所述当前播放进度对应的图像帧及前N帧、后N帧截取人脸图像作为人物表情,包括:
确定所述多媒体内容中所述当前播放进度对应的图像帧;
识别所述图像帧中的人脸图像,并截取该人脸图像作为人物表情。
4.根据权利要求1所述的方法,其特征在于,所述服务器根据所述多媒体内容的当前播放进度,从所述多媒体内容中当前播放进度对应的图像帧,或,所述当前播放进度对应的图像帧及前N帧、后N帧截取人脸图像作为人物表情,包括:
根据所述当前播放进度确定表情截取时间段;
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,并截取识别的人脸图像作为人物表情。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定当前的热门人物表情,所述热门人物表情为发布次数满足热门条件的人物表情;
向所述终端设备发送所述热门人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述热门人物表情。
6.根据权利要求4所述的方法,其特征在于,所述从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,并截取识别的人脸图像作为人物表情,包括:
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像;
截取所述内容片段中的多个表征同一人物的人脸图像,确定该多个表征同一人物的人脸图像组成的动态GIF图像为人物表情。
7.一种弹幕信息的处理方法,其特征在于,应用于终端设备,包括:
响应于针对人物表情的第一获取操作,向服务器发送人物表情获取请求,所述人物表情获取请求中包括多媒体内容的当前播放进度;
接收服务器发送的人物表情,所述人物表情为所述服务器根据多媒体内容的当前播放进度对应的图像帧,或,所述当前播放进度对应的图像帧及前N帧、后N帧从所述多媒体内容中截取的;
在所述多媒体内容的播放界面中展示所述人物表情,以供用户选择,发布包含选择的人物表情的弹幕信息。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
响应于针对任一人物表情的选中操作,确定该人物表情为弹幕内容对应的人物表情;
发送第一弹幕信息至服务器,所述第一弹幕信息中包括弹幕内容及所述弹幕内容对应的人物表情。
9.根据权利要求7所述的方法,其特征在于,所述方法还包括:
响应于针对人物表情的第二获取操作,确定所述多媒体内容在当前时刻对应的图像帧;
响应于针对所述图像帧中人脸图像的选中操作,截取所述人脸图像作为弹幕内容对应的人物表情。
10.根据权利要求9所述的方法,其特征在于,所述响应于针对所述图像帧中人脸图像的选中操作,截取所述人脸图像作为弹幕内容对应的人物表情,包括:
响应于针对所述图像帧中人脸图像的选中操作,确定第一人脸图像;
确定所述选中操作对应的表情截取时间段;
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,截取多个与第一人脸图像表征同一人物的人脸图像,确定该多个与第一人脸图像表征同一人物的人脸图像与所述第一人脸图像组成的动态GIF图像为人物表情。
11.一种弹幕信息的处理装置,其特征在于,应用于服务器,包括:
接收模块,用于接收终端设备发送的人物表情获取请求,所述人物表情获取请求中包括多媒体内容的当前播放进度;
截取模块,用于所述服务器根据所述多媒体内容的当前播放进度,从所述多媒体内容中当前播放进度对应的图像帧,或,所述当前播放进度对应的图像帧及前N帧、后N帧截取人脸图像作为人物表情;
发送模块,用于向所述终端设备发送所述人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述人物表情,以供用户选择,发布包含选择的人物表情的弹幕信息。
12.一种弹幕信息的处理装置,其特征在于,应用于终端设备,包括:
发送模块,用于响应于针对人物表情的第一获取操作,向服务器发送人物表情获取请求,所述人物表情获取请求中包括多媒体内容的当前播放进度;
接收模块,用于接收服务器发送的人物表情,所述人物表情为所述服务器根据多媒体内容的当前播放进度对应的图像帧,或,所述当前播放进度对应的图像帧及前N帧、后N帧从所述多媒体内容中截取的;
展示模块,用于在所述多媒体内容的播放界面中展示所述人物表情,以供用户选择,发布包含选择的人物表情的弹幕信息。
13.一种弹幕信息的处理装置,其特征在于,应用于服务器,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
接收终端设备发送的人物表情获取请求,所述人物表情获取请求中包括多媒体内容的当前播放进度;
所述服务器根据所述多媒体内容的当前播放进度,从所述多媒体内容中当前播放进度对应的图像帧,或,所述当前播放进度对应的图像帧及前N帧、后N帧截取人脸图像作为人物表情;
向所述终端设备发送所述人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述人物表情,以供用户选择,发布包含选择的人物表情的弹幕信息。
14.根据权利要求13所述的装置,其特征在于,
所述处理器被配置为:
确定是否根据所述当前播放进度从所述多媒体内容中截取过人物表情;
若根据所述当前播放进度从所述多媒体内容中截取过人物表情,则获取所截取的人物表情。
15.根据权利要求13所述的装置,其特征在于,
所述处理器被配置为:
确定所述多媒体内容中所述当前播放进度对应的图像帧;
识别所述图像帧中的人脸图像,并截取该人脸图像作为人物表情。
16.根据权利要求13所述的装置,其特征在于,
所述处理器被配置为:
根据所述当前播放进度确定表情截取时间段;
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,并截取识别的人脸图像作为人物表情。
17.根据权利要求13所述的装置,其特征在于,
所述处理器被配置为:
确定当前的热门人物表情,所述热门人物表情为发布次数满足热门条件的人物表情;
向所述终端设备发送所述热门人物表情,以使所述终端设备在所述多媒体内容的播放界面中展示所述热门人物表情。
18.根据权利要求13所述的装置,其特征在于,
所述处理器被配置为:
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像;
截取所述内容片段中的多个表征同一人物的人脸图像,确定该多个表征同一人物的人脸图像组成的动态GIF图像为人物表情。
19.一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,应用于服务器,所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。
20.一种弹幕信息的处理装置,其特征在于,应用于终端设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
响应于针对人物表情的第一获取操作,向服务器发送人物表情获取请求,所述人物表情获取请求中包括多媒体内容的当前播放进度;
接收服务器发送的人物表情,所述人物表情为所述服务器根据多媒体内容的当前播放进度对应的图像帧,或,所述当前播放进度对应的图像帧及前N帧、后N帧从所述多媒体内容中截取的;
在所述多媒体内容的播放界面中展示所述人物表情,以供用户选择,发布包含选择的人物表情的弹幕信息。
21.根据权利要求20所述的装置,其特征在于,
所述处理器被配置为:
响应于针对任一人物表情的选中操作,确定该人物表情为弹幕内容对应的人物表情;
发送第一弹幕信息至服务器,所述第一弹幕信息中包括弹幕内容及所述弹幕内容对应的人物表情。
22.根据权利要求20所述的装置,其特征在于,
所述处理器被配置为:
响应于针对人物表情的第二获取操作,确定所述多媒体内容在当前时刻对应的图像帧;
响应于针对所述图像帧中人脸图像的选中操作,截取所述人脸图像作为弹幕内容对应的人物表情。
23.根据权利要求22所述的装置,其特征在于,
所述处理器被配置为:
响应于针对所述图像帧中人脸图像的选中操作,确定第一人脸图像;
确定所述选中操作对应的表情截取时间段;
从所述多媒体内容中所述表情截取时间段对应的内容片段中识别人脸图像,截取多个与第一人脸图像表征同一人物的人脸图像,确定该多个与第一人脸图像表征同一人物的人脸图像与所述第一人脸图像组成的动态GIF图像为人物表情。
24.一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,应用于终端设备,所述计算机程序指令被处理器执行时实现权利要求7至10中任意一项所述的方法。
CN201910198367.1A 2019-03-15 2019-03-15 弹幕信息的处理方法及装置 Active CN111698532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910198367.1A CN111698532B (zh) 2019-03-15 2019-03-15 弹幕信息的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910198367.1A CN111698532B (zh) 2019-03-15 2019-03-15 弹幕信息的处理方法及装置

Publications (2)

Publication Number Publication Date
CN111698532A CN111698532A (zh) 2020-09-22
CN111698532B true CN111698532B (zh) 2022-12-16

Family

ID=72475359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910198367.1A Active CN111698532B (zh) 2019-03-15 2019-03-15 弹幕信息的处理方法及装置

Country Status (1)

Country Link
CN (1) CN111698532B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584824A (zh) * 2020-12-01 2022-06-03 阿里巴巴集团控股有限公司 数据处理方法、系统、电子设备、服务端及客户端设备
CN113747250B (zh) * 2021-08-18 2024-02-02 咪咕数字传媒有限公司 新形态留言的实现方法、装置及计算设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339377A (zh) * 2015-07-06 2017-01-18 阿里巴巴集团控股有限公司 业务对象信息处理、提供业务对象信息的方法及装置
CN108200463A (zh) * 2018-01-19 2018-06-22 上海哔哩哔哩科技有限公司 弹幕表情包的生成方法、服务器及弹幕表情包的生成系统
CN109120984A (zh) * 2018-09-30 2019-01-01 重庆小雨点小额贷款有限公司 弹幕显示方法、装置、终端及服务器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811816B (zh) * 2015-04-29 2018-04-13 北京奇艺世纪科技有限公司 一种为视频画面中的对象打弹幕标签的方法、装置及系统
US9704020B2 (en) * 2015-06-16 2017-07-11 Microsoft Technology Licensing, Llc Automatic recognition of entities in media-captured events
CN105744292B (zh) * 2016-02-02 2017-10-17 广东欧珀移动通信有限公司 一种视频数据的处理方法及装置
CN107040824A (zh) * 2017-04-18 2017-08-11 深圳市金立通信设备有限公司 一种发送弹幕的方法及终端
CN108540845B (zh) * 2018-03-30 2021-03-12 阿里巴巴(中国)有限公司 弹幕信息显示方法及装置
CN109189289B (zh) * 2018-09-03 2021-12-24 聚好看科技股份有限公司 一种基于截屏图像生成图标的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339377A (zh) * 2015-07-06 2017-01-18 阿里巴巴集团控股有限公司 业务对象信息处理、提供业务对象信息的方法及装置
CN108200463A (zh) * 2018-01-19 2018-06-22 上海哔哩哔哩科技有限公司 弹幕表情包的生成方法、服务器及弹幕表情包的生成系统
CN109120984A (zh) * 2018-09-30 2019-01-01 重庆小雨点小额贷款有限公司 弹幕显示方法、装置、终端及服务器

Also Published As

Publication number Publication date
CN111698532A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
US9674395B2 (en) Methods and apparatuses for generating photograph
CN104796781B (zh) 视频片段提取方法及装置
US20170178289A1 (en) Method, device and computer-readable storage medium for video display
US9961393B2 (en) Method and device for playing multimedia file
US20220147741A1 (en) Video cover determining method and device, and storage medium
CN105786507B (zh) 显示界面切换的方法及装置
EP3136391A1 (en) Method, device and terminal device for video effect processing
US11545188B2 (en) Video processing method, video playing method, devices and storage medium
US20170075868A1 (en) Information collection method and apparatus
WO2017080084A1 (zh) 字体添加方法及装置
US20180035170A1 (en) Method and device for controlling playing state
CN109766473B (zh) 信息交互方法、装置、电子设备及存储介质
CN105049763B (zh) 触发投影的方法及装置
US20170090684A1 (en) Method and apparatus for processing information
CN108986803B (zh) 场景控制方法及装置、电子设备、可读存储介质
CN107132769B (zh) 智能设备控制方法及装置
CN106547850B (zh) 表情注释方法及装置
CN110677734A (zh) 视频合成方法、装置、电子设备及存储介质
KR20160150635A (ko) 클라우드 카드를 추천하기 위한 방법 및 장치
JP2021175172A (ja) 画像撮影方法、画像撮影装置および記憶媒体
CN111614990B (zh) 加载时长的获取方法、装置及电子设备
CN111666015A (zh) 悬浮短信显示方法及装置
CN110019897B (zh) 显示图片的方法及装置
CN111698532B (zh) 弹幕信息的处理方法及装置
CN105516457A (zh) 通讯消息的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240626

Address after: Room 201, No. 9 Fengxiang East Street, Yangsong Town, Huairou District, Beijing

Patentee after: Youku Culture Technology (Beijing) Co.,Ltd.

Country or region after: China

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: ALIBABA GROUP HOLDING Ltd.

Country or region before: Britain

TR01 Transfer of patent right