CN111836113A - 信息处理方法、客户端、服务器及介质 - Google Patents

信息处理方法、客户端、服务器及介质 Download PDF

Info

Publication number
CN111836113A
CN111836113A CN201910312662.5A CN201910312662A CN111836113A CN 111836113 A CN111836113 A CN 111836113A CN 201910312662 A CN201910312662 A CN 201910312662A CN 111836113 A CN111836113 A CN 111836113A
Authority
CN
China
Prior art keywords
information
image
next frame
comparison result
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910312662.5A
Other languages
English (en)
Inventor
蒋伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910312662.5A priority Critical patent/CN111836113A/zh
Publication of CN111836113A publication Critical patent/CN111836113A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了信息处理方法、客户端、服务器及介质，所述方法包括：响应于互动指令，获取目标视频数据的当前帧图像；获取互动信息，互动信息是对当前帧图像的下一帧图像的播放内容进行预测得到的信息，互动信息包括音视频信息；将互动信息发送至服务器，以使服务器解析下一帧图像的播放内容，服务器将下一帧图像的播放内容与互动信息进行比较，得到比较结果并返回；输出服务器返回的比较结果。采用本发明实施例，可有效提高互动的趣味性，以提高用户黏度。

Description

信息处理方法、客户端、服务器及介质
技术领域
本发明涉及互联网技术领域，具体涉及信息处理技术领域，尤其涉及一种信息处理方法、一种客户端、一种服务器及一种计算机存储介质。
背景技术
多媒体播放器在播放音视频数据的过程中，用户可以通过发送弹幕或者观看弹幕等方式进行互动。但是上述互动方式仅通过文字体现，互动方式较为单一。基于此，如何有效提高互动的趣味性，以提高用户黏度是当前亟需解决的技术问题。
发明内容
本发明实施例提供了一种信息处理方法、客户端、服务器及介质，通过对目标视频数据的下一帧图像的播放内容进行预测的方式进行互动，可有效提高互动的趣味性，以提高用户黏度。
为了解决上述技术问题，第一方面，本发明实施例提供了一种信息处理方法，所述方法包括：
响应于互动指令，获取目标视频数据的当前帧图像；
获取互动信息，所述互动信息是对所述当前帧图像的下一帧图像的播放内容进行预测得到的信息，所述互动信息包括音视频信息；
将所述互动信息发送至服务器，以使所述服务器解析所述下一帧图像的播放内容，所述服务器将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果并返回；
输出所述服务器返回的比较结果。
另一方面，本发明实施例提供了另一种信息处理方法，所述方法包括：
接收客户端发送的互动信息，所述互动信息是对目标视频数据的当前帧图像的下一帧图像的播放内容进行预测得到的信息，所述互动信息包括音视频信息；
解析所述下一帧图像的播放内容，并将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果；
将所述比较结果发送给所述客户端。
另一方面，本发明实施例提供了一种客户端，所述客户端包括用于执行第一方面所述的方法的单元。
另一方面，本发明实施例提供了一种服务器，所述服务器包括用于执行第二方面所述的方法的单元。
另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被客户端执行时使所述客户端执行如第一方面所述的方法。
另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被服务器执行时使所述服务器执行如第二方面所述的方法。
另一方面，本发明实施例提供了一种客户端，该客户端包括：处理器、存储器和通信接口，存储器中存储有程序指令，处理器调用存储器中存储的程序指令以用于执行如第一方面所述的方法。
另一方面，本发明实施例提供了一种服务器，该服务器包括：处理器、存储器和通信接口，存储器中存储有程序指令，处理器调用存储器中存储的程序指令以用于执行如第二方面所述的方法。
实施本发明实施例，客户端响应于互动指令，获取目标视频数据的当前帧图像，然后客户端获取互动信息，互动信息是对当前帧图像的下一帧图像的播放内容进行预测得到的信息，客户端将互动信息发送至服务器，以使服务器解析下一帧图像的播放内容，服务器将下一帧图像的播放内容与互动信息进行比较，得到比较结果并返回，客户端输出服务器返回的比较结果，通过对目标视频数据的下一帧图像的播放内容进行预测的方式进行互动，可有效提高互动的趣味性，以提高用户黏度。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种消息处理系统的架构示意图；
图2为本发明实施例提供的一种当前帧图像的示意图；
图3为本发明实施例提供的一种下一帧图像的示意图；
图4为本发明实施例提供的一种消息处理方法的流程示意图；
图5为本发明实施例提供的一种互动指令生成的界面示意图；
图6为本发明实施例提供的一种互动信息生成的场景示意图；
图7为本发明实施例提供的一种排名信息的界面示意图；
图8为本发明实施例提供的另一种消息处理方法的流程示意图；
图9为本发明实施例提供的一种客户端的结构示意图；
图10为本发明实施例提供的另一种客户端的结构示意图；
图11为本发明实施例提供的一种服务器的结构示意图；
图12为本发明实施例提供的另一种服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明实施例中，提供一个信息处理方案，通过该信息处理方案可实现用户在观看目标视频数据的过程中通过猜测下一句台词或表演视频中对象在下一时刻的表情或动作的方式进行互动；其中，此处的目标视频数据可以是多媒体播放器当前播放的视频或数字电视播放终端当前播放的视频等。该信息处理方案可应用在如图1所示的信息处理系统中，该信息处理系统可包括服务器以及至少一个客户端；其中，服务器可以是用于提供信息处理业务的服务设备，其可以是信息处理服务器、web服务器、应用服务器，等等；该服务器可以是一个独立的服务设备，也可以是由多个服务设备共同构成的集群设备；至少一个客户端可以为多媒体播放应用或者数字电视播放应用等，客户端可以运行在移动终端、膝上型计算机或平板计算机等便携式设备中，也可以运行在数字电视播放终端或台式计算机中，等等。
下面以用户在观看视频的过程中通过表演视频中对象在下一时刻的表情的方式进行互动为例，对本发明实施例所提出的信息处理方案进行详细描述，在本发明实施例中，对象可以为视频数据的某一帧图像中参演的演员或者动画人物等。以图2所示的当前帧图像的示意图为例，客户端在播放目标视频数据的过程中，当前播放的当前帧图像中对象的表情为“生气”，此时用户可以预测当前帧图像的下一帧图像中对象的表情为“开心”，并对预测的表情进行表演。在用户表演过程中，客户端可以通过拍摄装置对该用户进行录像，得到视频信息，客户端将视频信息发送给服务器。服务器可以解析目标视频数据中下一帧图像所包含的表情，将下一帧图像所包含的表情和视频信息中用户的表情进行比较，得到比较结果。服务器将比较结果返回给客户端。客户端可以输出比较结果。以图3所示的下一帧图像的示意图为例，如果下一帧图像所包含的表情为“开心”，则表示用户的表演准确，服务器可以生成比较结果，并返回该比较结果。又如，服务器确定用户表演准确之后，可以进一步计算下一帧图像所包含的表情特征和视频信息中用户的表情特征之间的相似度，根据相似度生成比较结果，并返回该比较结果，由该比较结果可以知悉用户表演准确度。
下面以用户在观看视频的过程中通过表演视频中对象在下一时刻的动作的方式进行互动为例，对本发明实施例所提出的信息处理方案进行详细描述，在本发明实施例中，对象可以为视频数据的某一帧图像中参演的演员或者动画人物等。以图2为例，客户端在播放目标视频数据的过程中，当前播放的当前帧图像中对象的动作为“双腿直立，双手向后背着”，此时用户可以预测当前帧图像的下一帧图像中对象的动作为“双腿直立，右手插裤兜，左手叉腰”，并对预测的动作进行表演。在用户表演过程中，客户端可以通过拍摄装置对该用户进行录像，得到视频信息，客户端将视频信息发送给服务器。服务器可以解析目标视频数据中下一帧图像所包含的动作，将下一帧图像所包含的动作和视频信息中用户的动作进行比较，得到比较结果。服务器将比较结果返回给客户端。客户端可以输出比较结果。以图3为例，如果下一帧图像所包含的动作为“双腿直立，右手插裤兜，左手叉腰”，则表示用户的表演准确，服务器可以生成比较结果，并返回该比较结果。又如，服务器确定用户表演准确之后，可以进一步计算下一帧图像所包含的动作特征和视频信息中用户的动作特征之间的相似度，根据相似度生成比较结果，并返回该比较结果，由该比较结果可以知悉用户表演准确度。
下面以用户在观看视频的过程中通过猜测下一句台词的方式进行互动为例，对本发明实施例所提出的信息处理方案进行详细描述，在本发明实施例中，对象可以为视频数据的某一帧图像中参演的演员或者动画人物等。例如，客户端在播放目标视频数据的过程中，当前播放的当前帧图像中对象的台词为“##@％％”，此时用户可以预测当前帧图像的下一帧图像中对象的台词为“％#&％％”，并对预测的台词进行表演。在用户表演过程中，客户端可以通过麦克风对该用户进行录音，得到音频信息，客户端将音频信息发送给服务器。服务器可以解析目标视频数据中下一帧图像所包含的台词，将下一帧图像所包含的台词和音频信息中用户的台词进行比较，得到比较结果。服务器将比较结果返回给客户端。客户端可以输出比较结果。例如，如果下一帧图像所包含的台词为“％#&％％”，则表示用户的表演准确，服务器可以生成比较结果，并返回该比较结果。又如，服务器确定用户表演准确之后，可以进一步计算下一帧图像所包含的台词参数和音频信息中的台词参数之间的相似度，根据相似度生成比较结果，并返回该比较结果，由该比较结果可以知悉用户表演准确度。台词参数可以包括音频、音调或节奏等中的一种或多种。
下面以用户在观看视频的过程中通过表演视频中对象在下一时刻的表情、动作以及台词的方式进行互动为例，对本发明实施例所提出的信息处理方案进行详细描述，在本发明实施例中，对象可以为视频数据的某一帧图像中参演的演员或者动画人物等。以图2为例，客户端在播放目标视频数据的过程中，当前播放的当前帧图像中对象的表情为“生气”，动作为“双腿直立，双手向后背着”，台词为“##@％％”，此时用户可以预测当前帧图像的下一帧图像中对象的表情为“开心”，动作为“双腿直立，右手插裤兜，左手叉腰”，台词为“％#&％％”，并对预测的表情进行表演。在用户表演过程中，客户端可以通过拍摄装置对该用户进行录像，得到音视频信息，客户端将音视频信息发送给服务器。服务器可以解析目标视频数据中下一帧图像所包含的表情、动作以及台词，将下一帧图像所包含的表情和音视频信息中用户的表情进行比较，得到第一评价值，将下一帧图像所包含的动作和音视频信息中用户的动作进行比较，得到第二评价值，将下一帧图像所包含的台词和音视频信息中用户的台词进行比较，得到第三评价值，将第一评价值、第二评价值和第三评价值进行加权运算，得到比较结果。服务器将比较结果返回给客户端。客户端可以输出比较结果。
由上述信息处理过程可知，用户在观看视频过程中，客户端可以为用户提供猜测下一句台词、表情或动作中至少一种的交互方式，根据用户台词的准确度，表情的相似度，动作的一致性等，输出比较结果，将这个功能作为一种提升日活跃用户数的途经，可提高用户观看视频的趣味性，以及用户黏度。通过趣味交互，用户能够宣泄观影产生的各类情感情绪，获得更好的观影体验。
基于上述描述，本发明实施例提出一种如图4所示的信息处理方法，该信息处理方法可以包括以下步骤S401-S409：
S401，客户端响应于互动指令，获取目标视频数据的当前帧图像。
在一种实现方式中，互动指令指的是用于指示通过对当前播放的目标视频数据的下一帧图像的播放内容进行预测的方式进行互动的指令。以图5所示的互动指令生成的界面示意图为例，用户点击具有互动功能的按钮，客户端响应于用户的点击操作，开启互动功能，并生成互动指令，客户端可以响应于该互动指令，获取目标视频数据的当前帧图像。示例性的，客户端在运行过程中，可以判断互动功能是否开启，若互动功能已开启，则生成互动指令，并响应于该互动指令，获取目标视频数据的当前帧图像。
举例来说，客户端为该互动功能提供体验入口，该功能入口可以在播放设置选项内，由用户来决定是否开启该功能，至于该入口在一级选项菜单还是二级选项菜单，可以根据产品优先级来定位。或者用户也可以通过语音的方式启动该功能。
S402，客户端获取互动信息，互动信息是对当前帧图像的下一帧图像的播放内容进行预测得到的信息，互动信息包括音视频信息。
在一种实现方式中，客户端可以通过拍摄装置获取对下一帧图像的播放内容进行预测过程中的音视频信息；和/或通过麦克风获取对下一帧图像的播放内容进行预测过程中的音频信息。其中，拍摄装置可以为摄像头或者相机等。
在一种实现方式中，客户端获取互动信息之后，可以播放该音视频信息。
以图6所示的互动信息生成的场景示意图为例，客户端在播放目标视频数据的过程中，用户可以对下一帧图像的播放内容进行预测，并通过表情、肢体或者台词等方式进行表演。在用户表演的过程中，客户端可以通过拍摄装置获取对下一帧图像的播放内容进行预测过程中的音视频信息；和/或通过麦克风获取对下一帧图像的播放内容进行预测过程中的音频信息。客户端将获取到的音视频信息和/或音频信息组成互动信息。客户端还可以播放该音视频信息和/或音频信息，以便用户预览自己的表演成果。
S403，客户端将互动信息发送至服务器。
S404，服务器解析下一帧图像的播放内容。
S405，服务器将播放内容与互动信息进行比较，得到比较结果。
在一种实现方式中，播放内容包括第一表情信息；服务器可以解析所述音视频信息的第二表情信息；将所述第二表情信息和所述第一表情信息进行比较，得到所述比较结果。
在一种实现方式中，播放内容包括目标文本对应的第一图像的第三表情信息；服务器可以在所述音视频信息中查找所述目标字幕对应的第二图像；解析所述第二图像的第四表情信息；将所述第四表情信息和所述第三表情信息进行比较，得到所述比较结果。
在该实施例中，可以通过摄像头捕捉用户台词表演过程中的表情，通过人脸识别技术，捕捉用户的当前情感表现，为用户情感评分。
在一种实现方式中，播放内容包括第一文本信息；服务器可以解析所述音视频信息的第二文本信息；将所述第二文本信息和所述第一文本信息进行比较，得到所述比较结果。
在该实施例中，客户端通过麦克风获取第一文本信息，第一文本信息可以包括台词内容、音频以及节奏，依据台词内容的准确度以及台词的音频和节奏来评判第一文本信息的准确度。
举例来说，由于每句台词的难度构成是不确定的，为了更准确的反应用户的台词完成度，我们首先会依据大量的台词样本进行机器学习训练，为这三个评分标准的占比输入建立一个较为准确的模型，然后在评分过程中，根据输入的台词，输入其评分占比，然后根据每个维度的表现，加权计算得分。
在一种实现方式中，播放内容包括第一姿态信息；服务器可以解析所述音视频信息的第二姿态信息；将所述第二姿态信息和所述第一姿态信息进行比较，得到所述比较结果。
在一种实现方式中，服务器将所述播放内容与所述互动信息进行比较，得到比较结果之后，可以根据所述比较结果确定虚拟资源；将所述虚拟资源由目标账户转移至登录所述客户端的账号对应的关联账户中。虚拟资源可以包括虚拟币(例如V币)、虚拟鲜花或者虚拟玩偶等。
S406，服务器将比较结果发送给客户端，比较结果包括第一评价值。
S407，客户端获取第一预设数据库中存储的至少一个历史互动信息的第二评价值，每个历史互动信息是对所述下一帧图像的播放内容进行预测得到的。
S408，客户端将第一评价值和第二评价值进行排序，生成排名信息，排名信息包括第一评价值。
S409，客户端输出排名信息。
在一种实现方式中，客户端可以在第二预设数据库中查找与所述比较结果匹配的评论信息，并输出所述评论信息。
在该实施例中，通过对用户每次的台词互动表演有个简短的评语，通过慢镜头的形式帮助用户分析本次台词互动表演的不足，助力用户。
以图7所示的排名信息为例，假设登录该客户端的账号为ABC，至少一个历史互动信息包括第一历史互动信息、第二历史互动信息和第三历史互动信息。第一历史互动信息是第一客户端发送给服务器的，登录第一客户端的账号为ADE。第二历史互动信息是第二客户端发送给服务器的，登录第二客户端的账号为BDE。第三历史互动信息是第三客户端发送给服务器的，登录第三客户端的账号为BCF。如果第一评价值为86，第一历史互动信息的第二评价值为73，第二历史互动信息的第二评价值为74，第三历史互动信息的第二评价值为56。客户端可以生成排名信息，其中ABC的名次为1，评分为86；BDE的名次为2，评分为74；ADE的名次为3，评分为73；BCF的名次为4，评分为56。用户通过点击排名信息中任一账号，可以查看该账号对应用户预测过程中生成的音视频信息。例如，客户端响应于用户的点击操作，播放该账号对应的音视频信息。
在图4所示的实施例中，客户端响应于互动指令，获取目标视频数据的当前帧图像，客户端获取互动信息，互动信息是对当前帧图像的下一帧图像的播放内容进行预测得到的信息，客户端将互动信息发送至服务器，服务器解析下一帧图像的播放内容，服务器将播放内容与所述互动信息进行比较，得到比较结果并返回，客户端输出服务器返回的比较结果，可有效提高互动的趣味性，以提高用户黏度。
基于上述描述，本发明实施例提出一种如图8所示的信息处理方法，该信息处理方法可以包括以下步骤S801-S809：
S801，客户端响应于互动指令，获取目标视频数据的当前帧图像。
在一种实现方式中，互动指令指的是用于指示通过对当前播放的目标视频数据的下一帧图像的播放内容进行预测的方式进行互动的指令。以图5所示的互动指令生成的界面示意图为例，用户点击具有互动功能的按钮，客户端响应于用户的点击操作，开启互动功能，并生成互动指令，客户端可以响应于该互动指令，获取目标视频数据的当前帧图像。示例性的，客户端在运行过程中，可以判断互动功能是否开启，若互动功能已开启，则生成互动指令，并响应于该互动指令，获取目标视频数据的当前帧图像。
举例来说，客户端为该互动功能提供体验入口，该功能入口可以在播放设置选项内，由用户来决定是否开启该功能，至于该入口在一级选项菜单还是二级选项菜单，可以根据产品优先级来定位。或者用户也可以通过语音的方式启动该功能。
S802，客户端获取互动信息，互动信息是对当前帧图像的下一帧图像的播放内容进行预测得到的信息，互动信息包括音视频信息。
在一种实现方式中，客户端可以通过拍摄装置获取对下一帧图像的播放内容进行预测过程中的音视频信息；和/或通过麦克风获取对下一帧图像的播放内容进行预测过程中的音频信息。其中，拍摄装置可以为摄像头或者相机等。
在一种实现方式中，客户端获取互动信息之后，可以播放该音视频信息。
以图6为例，客户端在播放目标视频数据的过程中，用户可以对下一帧图像的播放内容进行预测，并通过表情、肢体或者台词等方式进行表演。在用户表演的过程中，客户端可以通过拍摄装置获取对下一帧图像的播放内容进行预测过程中的音视频信息；和/或通过麦克风获取对下一帧图像的播放内容进行预测过程中的音频信息。客户端将获取到的音视频信息和/或音频信息组成互动信息。客户端还可以播放该音视频信息和/或音频信息，以便用户预览自己的表演成果。
S803，客户端将互动信息发送至服务器。
S804，服务器解析下一帧图像的播放内容。
S805，服务器将播放内容与互动信息进行比较，得到比较结果。
在一种实现方式中，播放内容包括第一表情信息；服务器可以解析所述音视频信息的第二表情信息；将所述第二表情信息和所述第一表情信息进行比较，得到所述比较结果。
在一种实现方式中，播放内容包括目标文本对应的第一图像的第三表情信息；服务器可以在所述音视频信息中查找所述目标字幕对应的第二图像；解析所述第二图像的第四表情信息；将所述第四表情信息和所述第三表情信息进行比较，得到所述比较结果。
在该实施例中，可以通过摄像头捕捉用户台词表演过程中的表情，通过人脸识别技术，捕捉用户的当前情感表现，为用户情感评分。
在一种实现方式中，播放内容包括第一文本信息；服务器可以解析所述音视频信息的第二文本信息；将所述第二文本信息和所述第一文本信息进行比较，得到所述比较结果。
在该实施例中，客户端通过麦克风获取第一文本信息，第一文本信息可以包括台词内容、音频以及节奏，依据台词内容的准确度以及台词的音频和节奏来评判第一文本信息的准确度。
举例来说，由于每句台词的难度构成是不确定的，为了更准确的反应用户的台词完成度，我们首先会依据大量的台词样本进行机器学习训练，为这三个评分标准的占比输入建立一个较为准确的模型，然后在评分过程中，根据输入的台词，输入其评分占比，然后根据每个维度的表现，加权计算得分。
在一种实现方式中，播放内容包括第一姿态信息；服务器可以解析所述音视频信息的第二姿态信息；将所述第二姿态信息和所述第一姿态信息进行比较，得到所述比较结果。
在一种实现方式中，服务器将所述播放内容与所述互动信息进行比较，得到比较结果之后，可以根据所述比较结果确定虚拟资源；将所述虚拟资源由目标账户转移至登录所述客户端的账号对应的关联账户中。虚拟资源可以包括虚拟币(例如V币)、虚拟鲜花或者虚拟玩偶等。
S806，服务器获取至少一个历史互动信息的第二评价值，每个历史互动信息是对所述下一帧图像的播放内容进行预测得到的。
S807，服务器将比较结果所包含的第一评价值和所述第二评价值进行排序，生成排名信息。
S808，服务器将排名信息发送给客户端，排名信息包括第一评价值。
S809，客户端输出所述排名信息。
以图7所示的排名信息为例，假设登录该客户端的账号为ABC，至少一个历史互动信息包括第一历史互动信息、第二历史互动信息和第三历史互动信息。第一历史互动信息是第一客户端发送给服务器的，登录第一客户端的账号为ADE。第二历史互动信息是第二客户端发送给服务器的，登录第二客户端的账号为BDE。第三历史互动信息是第三客户端发送给服务器的，登录第三客户端的账号为BCF。如果第一评价值为86，第一历史互动信息的第二评价值为73，第二历史互动信息的第二评价值为74，第三历史互动信息的第二评价值为56。服务器可以生成并发送排名信息，其中ABC的名次为1，评分为86；BDE的名次为2，评分为74；ADE的名次为3，评分为73；BCF的名次为4，评分为56。客户端输出该排名信息，用户通过点击排名信息中任一账号，可以查看该账号对应用户预测过程中生成的音视频信息。例如，客户端响应于用户的点击操作，播放该账号对应的音视频信息。
在一种实现方式中，服务器可以在第三预设数据库中查找与所述比较结果匹配的评论信息，服务器将评论信息发送给客户端，客户端输出所述评论信息。
在该实施例中，通过对用户每次的台词互动表演有个简短的评语，通过慢镜头的形式帮助用户分析本次台词互动表演的不足，助力用户。
在图8所示的实施例中，客户端响应于互动指令，获取目标视频数据的当前帧图像，客户端获取互动信息，互动信息是对当前帧图像的下一帧图像的播放内容进行预测得到的信息，客户端将互动信息发送至服务器，服务器解析下一帧图像的播放内容，服务器将播放内容与所述互动信息进行比较，得到比较结果并返回，客户端输出服务器返回的比较结果，可有效提高互动的趣味性，以提高用户黏度。
请参见图9，图9是本发明实施例中提供的一种客户端的结构示意图，如图所示本发明实施例中的客户端至少可以包括处理单元901、接收单元902和发送单元903，其中：
处理单元901，用于响应于互动指令，获取目标视频数据的当前帧图像；
接收单元902，用于获取互动信息，所述互动信息是对所述当前帧图像的下一帧图像的播放内容进行预测得到的信息，所述互动信息包括音视频信息；
发送单元903，用于将所述互动信息发送至服务器，以使所述服务器解析所述下一帧图像的播放内容，所述服务器将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果并返回；
发送单元903，还用于输出所述服务器返回的比较结果。
在一种实现方式中，接收单元902获取互动信息，具体包括：
通过拍摄装置获取对所述下一帧图像的播放内容进行预测过程中的音视频信息；和/或
通过麦克风获取对所述下一帧图像的播放内容进行预测过程中的音频信息。
在一种实现方式中，所述比较结果包括第一评价值，处理单元901，还用于获取第一预设数据库中存储的至少一个历史互动信息的第二评价值，每个历史互动信息是对所述下一帧图像的播放内容进行预测得到的；以及将所述第一评价值和所述第二评价值进行排序，生成排名信息；
发送单元903，还用于输出所述排名信息。
在一种实现方式中，处理单元901，还用于在第二预设数据库中查找与所述比较结果匹配的评论信息；
发送单元903，还用于输出所述评论信息。
在一种实现方式中，发送单元903，还用于在所述接收单元902获取互动信息之后，播放所述音视频信息。
本发明实施例中，处理单元901响应于互动指令，获取目标视频数据的当前帧图像，接收单元902获取互动信息，所述互动信息是对所述当前帧图像的下一帧图像的播放内容进行预测得到的信息，所述互动信息包括音视频信息，发送单元903将所述互动信息发送至服务器，以使所述服务器解析所述下一帧图像的播放内容，所述服务器将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果并返回，发送单元903输出所述服务器返回的比较结果，可有效提高互动的趣味性，以提高用户黏度。
请参见图10，图10为本发明实施例提供的另一种客户端的结构示意图，本发明实施例提供的客户端可以用于实施上述图4或图8所示的本发明实施例实现的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照图4或图8所示的本发明实施例。
如图10所示，该客户端包括：至少一个处理器1001，例如CPU，至少一个输入装置1003，至少一个输出装置1004，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，输入装置1003具体可以为拍摄装置和/或麦克风，用于获取互动信息，输出装置1004具体可以为显示屏，用于输出比较结果，输出装置1004还可以为网络接口，用于与服务器进行交互。其中，存储器1005可能包含高速RAM存储器，也可能还包括非不稳定的存储器，例如至少一个磁盘存储器，具体用于存储第一管理文件。存储器1005可选的可以包含至少一个位于远离前述处理器1001的存储装置。存储器1005中存储一组程序代码，且处理器1001、输入装置1003以及输出装置1004调用存储器1005中存储的程序代码，用于执行以下操作：
处理器1001响应于互动指令，获取目标视频数据的当前帧图像；
输入装置1003获取互动信息，所述互动信息是对所述当前帧图像的下一帧图像的播放内容进行预测得到的信息，所述互动信息包括音视频信息；
输出装置1004将所述互动信息发送至服务器，以使所述服务器解析所述下一帧图像的播放内容，所述服务器将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果并返回；
输出装置1004输出所述服务器返回的比较结果。
在一种实现方式中，所述输入装置1003获取互动信息，包括：
通过拍摄装置获取对所述下一帧图像的播放内容进行预测过程中的音视频信息；和/或
通过麦克风获取对所述下一帧图像的播放内容进行预测过程中的音频信息。
在一种实现方式中，所述比较结果包括第一评价值，处理器1001还可以执行以下操作：获取第一预设数据库中存储的至少一个历史互动信息的第二评价值，每个历史互动信息是对所述下一帧图像的播放内容进行预测得到的；以及将所述第一评价值和所述第二评价值进行排序，生成排名信息；
输出装置1004输出所述排名信息。
在一种实现方式中，处理器1001还可以执行以下操作：在第二预设数据库中查找与所述比较结果匹配的评论信息；
输出装置1004输出所述评论信息。
在一种实现方式中，所述输出装置1004可以在输入装置1003获取互动信息之后，播放所述音视频信息。
具体的，本发明实施例中介绍的客户端可以用以实施本发明结合图4或图8介绍的方法实施例中的部分或全部流程。
请参见图11，图11是本发明实施例中提供的一种服务器的结构示意图，如图所示本发明实施例中的服务器至少可以包括接收单元1101、处理单元1102和发送单元1103，其中：
接收单元1101，用于接收客户端发送的互动信息，所述互动信息是对目标视频数据的当前帧图像的下一帧图像的播放内容进行预测得到的信息，所述互动信息包括音视频信息；
处理单元1102，用于解析所述下一帧图像的播放内容，并将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果；
发送单元1103，用于将所述比较结果发送给所述客户端。
在一种实现方式中，所述下一帧图像的播放内容包括第一表情信息；
所述处理单元1102将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果，包括：
解析所述音视频信息的第二表情信息；
将所述第二表情信息和所述第一表情信息进行比较，得到所述比较结果。
在一种实现方式中，所述下一帧图像的播放内容包括目标文本对应的第一图像的第三表情信息；
所述处理单元1102将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果，包括：
在所述音视频信息中查找所述目标文本对应的第二图像；
解析所述第二图像的第四表情信息；
将所述第四表情信息和所述第三表情信息进行比较，得到所述比较结果。
在一种实现方式中，所述下一帧图像的播放内容包括第一文本信息；
所述处理单元1102将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果，包括：
解析所述音视频信息的第二文本信息；
将所述第二文本信息和所述第一文本信息进行比较，得到所述比较结果。
在一种实现方式中，所述下一帧图像的播放内容包括第一姿态信息；
所述处理单元1102将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果，包括：
解析所述音视频信息的第二姿态信息；
将所述第二姿态信息和所述第一姿态信息进行比较，得到所述比较结果。
在一种实现方式中，所述处理单元1102，还用于将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果之后，根据所述比较结果确定虚拟资源；
所述处理单元1102，还用于将所述虚拟资源由目标账户转移至登录所述客户端的账号对应的关联账户中。
本发明实施例中，接收单元1101接收客户端发送的互动信息，所述互动信息是对目标视频数据的当前帧图像的下一帧图像的播放内容进行预测得到的信息，所述互动信息包括音视频信息，处理单元1102解析所述下一帧图像的播放内容，并将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果，发送单元1103将所述比较结果发送给所述客户端，可有效提高互动的趣味性，以提高用户黏度。
请参见图12，图12为本发明实施例提供的另一种服务器的结构示意图，本发明实施例提供的服务器可以用于实施上述图4或图8所示的本发明实施例实现的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照图4或图8所示的本发明实施例。
如图12所示，该服务器包括：至少一个处理器1201，例如CPU，至少一个输入装置1203，至少一个输出装置1204，存储器1205，至少一个通信总线1202。其中，通信总线1202用于实现这些组件之间的连接通信。其中，输入装置1203、输出装置1204具体可以为网络接口，用于与客户端进行交互。其中，存储器1205可能包含高速RAM存储器，也可能还包括非不稳定的存储器，例如至少一个磁盘存储器，具体用于存储第一管理文件和第一可执行文件。存储器1205可选的可以包含至少一个位于远离前述处理器1201的存储装置。存储器1205中存储一组程序代码，且处理器1201、输入装置1203以及输出装置1204调用存储器1205中存储的程序代码，用于执行以下操作：
输入装置1203接收客户端发送的互动信息，所述互动信息是对目标视频数据的当前帧图像的下一帧图像的播放内容进行预测得到的信息，所述互动信息包括音视频信息；
处理器1201解析所述下一帧图像的播放内容，并将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果；
输出装置1204将所述比较结果发送给所述客户端。
在一种实现方式中，所述下一帧图像的播放内容包括第一表情信息；
所述处理器1201将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果，包括：
解析所述音视频信息的第二表情信息；
将所述第二表情信息和所述第一表情信息进行比较，得到所述比较结果。
在一种实现方式中，所述下一帧图像的播放内容包括目标文本对应的第一图像的第三表情信息；
所述处理器1201将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果，包括：
在所述音视频信息中查找所述目标文本对应的第二图像；
解析所述第二图像的第四表情信息；
将所述第四表情信息和所述第三表情信息进行比较，得到所述比较结果。
在一种实现方式中，所述下一帧图像的播放内容包括第一文本信息；
所述处理器1201将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果，包括：
解析所述音视频信息的第二文本信息；
将所述第二文本信息和所述第一文本信息进行比较，得到所述比较结果。
在一种实现方式中，所述下一帧图像的播放内容包括第一姿态信息；
所述处理器1201将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果，包括：
解析所述音视频信息的第二姿态信息；
将所述第二姿态信息和所述第一姿态信息进行比较，得到所述比较结果。
在一种实现方式中，所述处理器1201将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果之后，还执行以下操作：
根据所述比较结果确定虚拟资源；
将所述虚拟资源由目标账户转移至登录所述客户端的账号对应的关联账户中。
具体的，本发明实施例中介绍的服务器可以用以实施本发明结合图4或图8介绍的方法实施例中的部分或全部流程。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种信息处理方法，其特征在于，所述方法包括：
响应于互动指令，获取目标视频数据的当前帧图像；
获取互动信息，所述互动信息是对所述当前帧图像的下一帧图像的播放内容进行预测得到的信息，所述互动信息包括音视频信息；
将所述互动信息发送至服务器，以使所述服务器解析所述下一帧图像的播放内容，所述服务器将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果并返回；
输出所述服务器返回的比较结果。
2.如权利要求1所述的方法，其特征在于，所述获取互动信息，包括：
通过拍摄装置获取对所述下一帧图像的播放内容进行预测过程中的音视频信息；和/或
通过麦克风获取对所述下一帧图像的播放内容进行预测过程中的音频信息。
3.如权利要求1所述的方法，其特征在于，所述比较结果包括第一评价值，所述方法还包括：
获取第一预设数据库中存储的至少一个历史互动信息的第二评价值，每个历史互动信息是对所述下一帧图像的播放内容进行预测得到的；
将所述第一评价值和所述第二评价值进行排序，生成排名信息；
输出所述排名信息。
4.一种信息处理方法，其特征在于，所述方法包括：
接收客户端发送的互动信息，所述互动信息是对目标视频数据的当前帧图像的下一帧图像的播放内容进行预测得到的信息，所述互动信息包括音视频信息；
解析所述下一帧图像的播放内容，并将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果；
将所述比较结果发送给所述客户端。
5.如权利要求4所述的方法，其特征在于，所述下一帧图像的播放内容包括第一表情信息；
所述将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果，包括：
解析所述音视频信息的第二表情信息；
将所述第二表情信息和所述第一表情信息进行比较，得到所述比较结果。
6.如权利要求4所述的方法，其特征在于，所述下一帧图像的播放内容包括目标文本对应的第一图像的第三表情信息；
所述将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果，包括：
在所述音视频信息中查找所述目标文本对应的第二图像；
解析所述第二图像的第四表情信息；
将所述第四表情信息和所述第三表情信息进行比较，得到所述比较结果。
7.如权利要求4所述的方法，其特征在于，所述下一帧图像的播放内容包括第一文本信息；
所述将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果，包括：
解析所述音视频信息的第二文本信息；
将所述第二文本信息和所述第一文本信息进行比较，得到所述比较结果。
8.如权利要求4所述的方法，其特征在于，所述下一帧图像的播放内容包括第一姿态信息；
所述将所述下一帧图像的播放内容与所述互动信息进行比较，得到比较结果，包括：
解析所述音视频信息的第二姿态信息；
将所述第二姿态信息和所述第一姿态信息进行比较，得到所述比较结果。
9.一种客户端，其特征在于，所述客户端包括用于执行如权利要求1-3任一项所述的方法的单元。
10.一种服务器，其特征在于，所述服务器包括用于执行如权利要求4-8任一项所述的方法的单元。
CN201910312662.5A 2019-04-18 2019-04-18 信息处理方法、客户端、服务器及介质 Pending CN111836113A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910312662.5A CN111836113A (zh) 2019-04-18 2019-04-18 信息处理方法、客户端、服务器及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910312662.5A CN111836113A (zh) 2019-04-18 2019-04-18 信息处理方法、客户端、服务器及介质

Publications (1)

Publication Number Publication Date
CN111836113A true CN111836113A (zh) 2020-10-27

Family

ID=72915518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910312662.5A Pending CN111836113A (zh) 2019-04-18 2019-04-18 信息处理方法、客户端、服务器及介质

Country Status (1)

Country Link
CN (1) CN111836113A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030001846A1 (en) * 2000-01-03 2003-01-02 Davis Marc E. Automatic personalized media creation system
US20090163262A1 (en) * 2007-12-21 2009-06-25 Sony Computer Entertainment America Inc. Scheme for inserting a mimicked performance into a scene and providing an evaluation of same
US20100077422A1 (en) * 2006-12-19 2010-03-25 Shay Bushinsky Interactive broadcast system and method
US20120191230A1 (en) * 2010-12-23 2012-07-26 Patrick Hopf System and Method for Real Time Interactive Entertainment
US20120304063A1 (en) * 2011-05-27 2012-11-29 Cyberlink Corp. Systems and Methods for Improving Object Detection
CN106020440A (zh) * 2016-05-05 2016-10-12 西安电子科技大学 一种基于体感交互的京剧教学系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030001846A1 (en) * 2000-01-03 2003-01-02 Davis Marc E. Automatic personalized media creation system
US20100077422A1 (en) * 2006-12-19 2010-03-25 Shay Bushinsky Interactive broadcast system and method
US20090163262A1 (en) * 2007-12-21 2009-06-25 Sony Computer Entertainment America Inc. Scheme for inserting a mimicked performance into a scene and providing an evaluation of same
US20120191230A1 (en) * 2010-12-23 2012-07-26 Patrick Hopf System and Method for Real Time Interactive Entertainment
US20120304063A1 (en) * 2011-05-27 2012-11-29 Cyberlink Corp. Systems and Methods for Improving Object Detection
CN106020440A (zh) * 2016-05-05 2016-10-12 西安电子科技大学 一种基于体感交互的京剧教学系统

Similar Documents

Publication Publication Date Title
TWI778477B (zh) 互動方法、裝置、電子設備以及儲存媒體
EP3095091B1 (en) Method and apparatus of processing expression information in instant communication
US10860345B2 (en) System for user sentiment tracking
CN110868635B (zh) 视频处理方法、装置、电子设备及存储介质
US11631408B2 (en) Method for controlling data, device, electronic equipment and computer storage medium
US20210365749A1 (en) Image data processing method and apparatus, electronic device, and storage medium
WO2019165877A1 (zh) 消息推送方法、装置、设备及存储介质
CN113825031A (zh) 直播内容生成方法及装置
CN107040452B (zh) 一种信息处理方法、装置和计算机可读存储介质
CN112135160A (zh) 直播中虚拟对象控制方法及装置、存储介质和电子设备
CN110602516A (zh) 基于视频直播的信息交互方法、装置及电子设备
CN111870935B (zh) 业务数据处理方法、装置、计算机设备以及存储介质
CN113596520B (zh) 视频的播放控制方法、装置及电子设备
WO2021169432A1 (zh) 直播应用的数据处理方法、装置、电子设备及存储介质
US20240147023A1 (en) Video generation method and apparatus, and device, medium and product
CN113923462A (zh) 视频生成、直播处理方法、设备和可读介质
CN113873286A (zh) 一种基于人工智能的直播方法及其系统
CN112988100A (zh) 视频的播放方法和装置
CN110674706B (zh) 社交方法、装置、电子设备及存储介质
CN116600152A (zh) 虚拟主播直播方法、装置、设备及存储介质
CN111736799A (zh) 基于人机交互的语音交互方法、装置、设备和介质
CN113840177B (zh) 直播互动方法、装置、存储介质与电子设备
US20220245401A1 (en) Method and apparatus for training model
CN111836113A (zh) 信息处理方法、客户端、服务器及介质
CN115994266A (zh) 资源推荐方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201027

RJ01 Rejection of invention patent application after publication