CN112135152B - 信息处理方法及装置 - Google Patents

信息处理方法及装置 Download PDF

Info

Publication number
CN112135152B
CN112135152B CN201910558494.8A CN201910558494A CN112135152B CN 112135152 B CN112135152 B CN 112135152B CN 201910558494 A CN201910558494 A CN 201910558494A CN 112135152 B CN112135152 B CN 112135152B
Authority
CN
China
Prior art keywords
information
video data
posture
gesture
anchor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910558494.8A
Other languages
English (en)
Other versions
CN112135152A (zh
Inventor
李杨
潘梅
王辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910558494.8A priority Critical patent/CN112135152B/zh
Publication of CN112135152A publication Critical patent/CN112135152A/zh
Application granted granted Critical
Publication of CN112135152B publication Critical patent/CN112135152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种信息处理的方法及装置，包括：从主播终端获取用于视频直播的视频数据，所述视频数据中包括主播对象，从所述视频数据中获取所述主播对象的第一姿态信息，确定与所述第一姿态信息相匹配的互动信息，在播放所述视频数据的过程中输出所述互动信息。本发明实施例能够通过姿态便捷地进行互动，提高视频直播效果。

Description

信息处理方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种信息处理方法、一种信息处理装置。
背景技术
随着移动互联网的发展，视频直播受到越来越多的用户的喜爱。视频直播是指在主播终端采集主播用户的视频数据的同时，传输并发布采集的视频数据，使观众终端能够通过互联网播放正在采集的视频数据。在视频直播场景中，为了提高视频直播的效果，需要主播用户与观众用户进行互动。但是现有技术只能通过文字方式进行互动，这种互动方式需要主播用户操作外部设备才能进行文字输入，操作比较繁琐，且容易导致主播用户在视频直播的过程中分散注意力，影响视频直播效果。
发明内容
本发明实施例所要解决的技术问题在于，提供一种信息处理方法、装置，可通过姿态便捷地进行互动，提高视频直播效果。
一方面，本发明实施例提供了一种信息处理方法，该方法包括：
从主播终端获取用于视频直播的视频数据，所述视频数据中包括主播用户；
从所述视频数据中获取所述主播用户的第一姿态信息；
确定与所述第一姿态信息相匹配的互动信息；
在播放所述视频数据的过程中输出所述互动信息。
另一方面，本发明实施例提供了一种信息处理装置，该装置包括：
获取单元，用于从主播终端获取用于视频直播的视频数据，所述视频数据中包括主播用户；从所述视频数据中获取所述主播用户的第一姿态信息；
确定单元，用于确定与所述第一姿态信息相匹配的互动信息；
输出单元，用于在播放所述视频数据的过程中输出所述互动信息。
又一方面，本发明实施例提供了一种终端，包括输入设备和输出设备，还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如下步骤：
从主播终端获取用于视频直播的视频数据，所述视频数据中包括主播用户；
从所述视频数据中获取所述主播用户的第一姿态信息；
确定与所述第一姿态信息相匹配的互动信息；
在播放所述视频数据的过程中输出所述互动信息。
又一方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如下步骤：
从主播终端获取用于视频直播的视频数据，所述视频数据中包括主播用户；
从所述视频数据中获取所述主播用户的第一姿态信息；
确定与所述第一姿态信息相匹配的互动信息；
在播放所述视频数据的过程中输出所述互动信息。
本发明实施例中，主播终端通过视频数据获取主播用户的第一姿态信息，并确定与第一姿态信息相匹配的交互信息，能够实现为不同姿态匹配不同的交互信息，提高交互的灵活性，增强互动的趣味性。进一步，在播放该视频数据的过程中输出该交互信息。通过该交互信息能够实现与观众用户进行互动，即通过主播用户的姿态能够实现与观众用户进行互动，不需要主播用户操作外部设备，提高视频直播效果和互动的便捷性，并增强视频直播的趣味性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种直播系统的网络架构图；
图2是本发明实施例提供的一种信息处理方法的流程示意图；
图3是本发明实施例提供的一种拍手姿态的示意图；
图4是本发明实施例提供的一种举手姿态的示意图；
图5是本发明实施例提供的一种点赞姿态的示意图；
图6是本发明实施例提供的一种答题卡发放姿态的示意图；
图7是本发明实施例提供的一种兑换奖品姿态的示意图；
图8是本发明实施例提供的一种双手合并姿态的示意图；
图9是本发明实施例提供的一种关键特征点的示意图；
图10是本发明实施例提供的一种摆手姿态的示意图；
图11是本发明实施例提供的另一种信息处理方法的流程示意图；
图12是本发明实施例提供的一种信息处理过程的界面示意图；
图13是本发明实施例提供的一种信息处理装置的结构示意图；
图14是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
视频直播是指在主播终端采集主播用户的视频数据的同时，传输并发布采集的视频数据，使观众终端能够通过互联网播放正在采集的视频数据。视频直播可以在图1所示的直播系统中实现，如图1所示，该直播系统中包括主播终端、至少一个观众终端及服务器。
其中，主播终端可以是指面向主播用户的终端，即主播终端具体可以是指主播用户用于录制视频数据，并用于发布视频数据所使用的终端。观众终端可以是指面向观众用户的终端，即主播终端具体可以是指观众用户用于播放并观看视频数据的终端。主播终端及观众终端均可以是智能手机、平板电脑、便携式个人计算机、智能手表、手环及智能电视等智能设备。服务器可以是指用于提供直播服务的服务设备，具体可以是数据处理服务器、web服务器、视频直播APP对应的应用服务器等等；服务器可以是一个独立的服务设备，也可以是由多个服务设备共同构成的集群设备或云计算中心。
基于图1所示的直播系统能够实现视频直播，视频直播的大致流程包括步骤1-4。1、主播终端录制主播用户的视频数据，并将视频数据实时发送至服务器；2、服务器接收主播终端发送的视频数据，并存储该视频数据。3、观众终端向服务器发送视频数据获取请求，服务器接收到该获取请求后，向观众终端返回该视频数据。4、观众终端接收服务器发送的视频数据，并播放该视频数据。通过步骤1-4观众用户可以实时观看主播终端正在录制的视频数据。
基于图1所示的直播系统，本发明实施例提供了一种信息处理方法，该方法应用于图1所示直播系统中的主播终端。该信息处理方法可以应用于视频直播场景中，视频直播场景可以包括但不限于：在线教育视频直播、赛事视频直播、晚会视频直播等等场景。请参见图2，该信息处理方法包括如下步骤S201～S204。
S201、从主播终端获取用于视频直播的视频数据，该视频数据中包括主播用户。
为了调动观众用户观看视频数据的积极性，并增强视频直播的趣味性，主播用户可以通过姿态与观众用户进行互动。具体的，当主播用户希望与观众用户互动时，主播用户可以根据需要做出相应的姿态，主播终端可以对主播用户进行拍摄得到用于视频直播的视频数据。其中，在线教育视频直播场景中，该主播用户具体可以是指授课老师，此时视频数据可以包括授课老师及授课内容，授课内容包括音频内容和文本内容，观众用户具体可以是指观看视频数据的学生。在赛事视频直播中，主播用户具体可以是指赛事的解说员或参赛者，此时视频数据可以包括主播用户及赛况信息，观众用户具体可以是指观看视频数据的用户。在晚会视频直播场景中，主播用户具体可以是指晚会的主持人或嘉宾，视频数据可以包括主播用户和晚会内容，观众用户具体可以是指观看视频数据的用户。需要说明的是，主播用户也可以称为主播对象。
S202、从该视频数据中获取该主播用户的第一姿态信息。
第一姿态信息是指用于描述主播用户的第一姿态的信息，第一姿态信息具体可以包括第一姿态出现的时间、第一姿态在第一预设时间段内出现的次数、第一姿态持续的时长等中的一种或多种。其中，第一姿态出现的时间可以是指主播用户做出第一姿态的时间，该时间具体可以是指视频数据中包括第一姿态的图像的播放时间。第一姿态在第一预设时间段内出现的次数可以是指主播用户在第一时间段内连续做出第一姿态的次数，该次数具体可以是指视频数据中包括第一姿态的图像的数量。第一姿态持续的时长可以是指主播用户保持第一姿态的时长，该时长具体可以是指视频数据中包括第一姿态的图像对应的播放时长。第一姿态可以是指用于获取交互信息的姿态，第一姿态可以包括但不限于：拍手姿态、点赞姿态、双手合并的姿态、比V姿态等等。为了识别主播用户的姿态，主播终端可以对视频数据中的图像进行识别，得到该主播用户的第一姿态信息，该视频数据可以包括多帧图像。可选的，为了准确度地识别到主播用户的每个姿态，主播终端可以对该视频数据中的每帧图像进行识别，得到该主播用户的第一姿态信息。可选的，为了节省主播终端的处理资源，主播终端可以对该视频数据中的部分图像进行识别，得到该目标用户的第一姿态信息。
S203、确定与该第一姿态信息相匹配的互动信息。
主播终端获取到第一姿态信息后，确定主播用户希望与观众用户进行互动，因此，可以确定与该第一姿态信息相匹配的互动信息。互动信息可以包括特效信息和/或特效生成方式，特效信息可以包括但不限于音频数据、文本内容及图像等等，特效生成方式用于指示输出特效信息。具体的，主播终端可以包括姿态信息与互动信息之间的对应关系，主播终端可以根据该对应关系，确定与第一姿态信息相匹配的互动信息。可选的，通常在不同视频直播场景中，第一姿态信息与不同的互动信息相匹配，因此，即主播终端中可以包括多个视频直播场景中每个视频直播场景中姿态信息与互动信息之间的对应关系。主播终端可以获取当前的视频直播场景，例如，主播终端能够支持多种视频直播场景，即主播终端可以包括多种视频直播模式，一个视频直播模式对应一种视频直播场景。如视频直播模式为教学模式，对应的视频直播场景为在线教育视频直播场景。主播终端可以检测当前开启的视频直播模式，根据当前开启的视频直播模式确定视频直播场景。然后，可以获取视频直播场景对应的姿态信息与互动信息之间的对应关系，根据该对应关系确定与第一姿态信息相匹配的互动信息。
S204、在播放该视频数据的过程中输出该互动信息。
为了增强视频直播的趣味性，并调动观众用户的积极性，主播终端可以在播放该视频数据的过程中输出该互动信息，和/或，该主播终端可以触发观众终端在播放该视频数据的过程中输出该互动信息，观众用户可以通过该交互信息与主播用户进行互动。具体的，若该互动信息包括特效信息，在播放该视频数据的过程中输出该互动信息具体可以是指：在播放该视频数据的过程中输出该特效信息；若该互动信息包括特效生成方式，在播放该视频数据的过程中输出该互动信息具体可以是指：在播放该视频数据的过程中根据该特效生成方式输出特效信息。
本发明实施例中，主播终端通过视频数据获取主播用户的第一姿态信息，并确定与第一姿态信息相匹配的交互信息，能够实现为不同姿态匹配不同的交互信息，提高交互的灵活性，增强互动的趣味性。进一步，在播放该视频数据的过程中输出该交互信息。通过该交互信息能够实现与观众用户进行互动，即通过主播用户的姿态能够实现与观众用户进行互动，不需要主播用户操作外部设备，提高视频直播效果和互动的便捷性，并增强视频直播的趣味性。
在一个实施例中，步骤S202具体如下步骤s11～s12。
S11、从该视频数据中筛选出待识别的图像，该视频数据中包括多帧图像。
S12、对该待识别的图像进行识别，以获取该主播用户的第一姿态信息。
在步骤s11～s12中，通常一个主播用户做出一个姿态需要几秒的时间，因此，视频数据中包括多帧图像中包括主播用户的同一个姿态，为了节省主播终端的处理资源，主播终端可以按照预设规则从该视频数据中筛选出待识别的图像，对该待识别的图像进行识别，以获取该主播用户的第一姿态信息。此处预设规则可以是指随机筛选规则或者周期性筛选规则，随机筛选规则是筛选间隔不固定，周期性筛选规则可以是指筛选间隔固定，如主播终端从视频数据中每隔5帧图像筛选出一帧图像作为待识别的图像。第一姿态信息所描述的第一姿态可以包括拍手姿态、举手姿态、点赞姿态等等。例如，如图3所示，若主播终端从待识别图像中检测到主播用户伸出双手，并在胸前合并双手，则确定该主播用户做出了拍手姿态。拍手姿态用于指示主播用户接下来将讲解重点内容，希望引起观众用户的注意。如图4所示，若主播终端从待识别图像中检测到主播用户双手折叠平放胸前，然后右手垂直抬起，则确定主播用户做出了举手姿态。举手姿态用于提示观众用户回答问题。如图5所示，若主播终端从待识别图像中检测到主播用户伸出右手，并竖起右手拇指，则确定主播用户做出了点赞姿态，点赞姿态表明主播用户想要赞扬观众用户。如图6所示，若主播终端从待识别图像中检测到主播用户伸出右手，并竖起预设数量个拇指，则确定主播用户做出了答题卡发放姿态。预设数量是指答题的选项数量，答题卡发放姿态用于提示观众用户选择问题的答案。如图7所示，若主播终端从待识别图像中检测到主播用户双手举过头顶，然后将双手水平伸直，则确定主播用户做出了奖品兑换姿态。奖品兑换姿态用于指示观众用户可以兑换礼品，礼品可以是指直播平台上的虚拟点券、虚拟金币等等。如图8所示，若主播终端从待识别图像中检测到主播用户双手合并，并放置于左脸旁，则确定主播用户做出了双手合并姿态，双手合并姿态用于提示观众用户休息时间到了。
可选的，步骤s12具体如下步骤s21～s23。
S21、对该待识别的图像进行识别，得到该主播用户的轮廓信息。
S22、从该轮廓信息中确定出关键特征点的位置信息。
S23、根据该关键特征点的位置信息确定该主播用户的第一姿态信息。
在步骤s21～s23中，主播终端可以通过人体识别装置或人体识别算法对该待识别图像进行识别处理，得到该主播用户的轮廓信息。此处轮廓信息是指视频数据中仅包括主播用户的区域中的信息，人体识别装置可以包括：kinect2或3D摄像头等，人体识别算法可以包括帧间差分法、背景减除法、光流法及人工智能算法等等。进一步，从该轮廓信息中确定出关键特征点的位置信息，根据关键特征点的位置信息确定该主播用户的第一姿态信息。关键特征点可以是指用于描述人体姿态的主要特征点。具体的，当主播用户每做出一个姿态，人体的关键特征点的位置会发生变化，因此主播终端可以从轮廓信息中确定出关键特征点的位置信息，根据关键特征点的位置信息确定主播用户的第一姿态信息。例如，当主播用户水平伸直双手时，主播用户的各个关键特征点的位置如图9所示，图9中黑色的圆点表示关键特征点。
在一个实施例中，在步骤S103之前，主播终端可以执行如下步骤s31。
s31、验证该第一姿态信息是否为有效姿态信息，若是，则执行步骤S103；若否，则结束本次流程。
为了提高对主播用户姿态识别的准确性，主播终端可以验证该第一姿态信息是否为有效姿态信息，若是，表明该第一姿态为主播用户为了与观众用户进行互动做出的姿态；若否，则表明该第一姿态为主播用户无意做出的姿态。
可选的，该第一姿态信息包括第一姿态持续的时长和/或该第一姿态在第一预设时间段内出现的次数；步骤s31包括如下步骤s41。
s41、若该第一姿态持续的时长大于预设时长，和/或，该第一姿态在该第一预设时间段内出现的次数大于预设次数，则确定该第一姿态信息为有效姿态信息。
当该第一姿态为主播用户无意做出的姿态时，此时第一姿态具有持续时间短、和出现次数比较少的特征，因此，为了提高对主播用户姿态识别的准确性，主播终端可以通过第一姿态的持续时长和/或该第一姿态出现的次数验证第一姿态信息是否为有效姿态信息。具体的，若该第一姿态持续的时长大于预设时长，和/或，该第一姿态在该第一预设时间段内出现的次数大于预设次数，表明第一姿态为主播用户为了与观众用户进行互动做出的姿态，则确定该第一姿态信息为有效姿态信息；否则，确定该第一姿态信息为无效姿态信息。例如，该第一姿态为拍手姿态，该预设次数为1次，第一预设时间段可以为6s。若该拍手姿态在6s内出现的次数为2次，则确定该第一姿态信息为有效姿态信息。再例如，该第一姿态为点赞姿态，该预设时长为1s，若该点赞姿态持续时长为2s，则确定该第一姿态信息为有效姿态信息。其中，预设时长、预设次数可以是指主播终端根据主播用户的做姿态的习惯确定的，或者，是主播用户手动设置的。
可选的，该第一姿态信息包括第一姿态出现的时间，步骤s31包括如下步骤s51。
s51、若在该第一姿态出现的时间之后的第二预设时间段内，未从该视频数据中获取到该主播用户的第二姿态信息，则确定该第一姿态信息为有效姿态信息。
第二姿态信息具体可以是指用于描述第二姿态的信息，第二姿态可以用于指示第一姿态信息为无效姿态信息，即第二姿态用于指示第一姿态为主播用户无意做出的姿态。因此，主播终端可以根据第二姿态信息验证第一姿态信息是否为有效姿态信息。具体的，若在该第一姿态出现的时间之后的第二预设时间段内，未从该视频数据中获取到该主播用户的第二姿态信息，表明第一姿态是用于与观众用户进行交互的姿态，则确定该第一姿态信息为有效姿态信息。若在该第一姿态出现的时间之后的第二预设时间段内，从该视频数据中获取到该主播用户的第二姿态信息，表明第一姿态是主播用户无意做出的姿态，则确定该第一姿态信息为无效姿态信息。例如，假设第二预设时间段可以是指2s，第一姿态出现的时间为视频数据的第5s，该第二姿态为主播用户做出的摆手姿态。如图10所示，若从视频数据中2s-7s的时间段内检测到主播用户伸出右手，并在胸前摆动右手时，确定主播用户做出摆手姿态，并确定该第一姿态信息为无效姿态信息。
在一个实施例中，该互动信息包括特效信息，此处特效信息可以包括文本内容、音频数据、图像中一种或多种，步骤S103具体可以包括如下步骤s61-s62。
s61、将该视频数据与该特效信息进行合成，得到合成后的视频数据。
为了主播用户能够与观众用户进行互动，主播终端可以将该视频数据与该特效信息进行合成，得到合成后的视频数据，具体的，主播终端可以在视频数据中添加特效信息，得到合成后的视频数据。其中，特效信息所添加的位置、颜色、及大小可以是固定的，或者可以是根据视频数据的属性信息动态调整的，视频数据的属性信息包括图像的颜色、大小等等。
S62、向观众终端发送该合成后的视频数据，以使该观众终端播放该合成后的视频数据。
若主播终端与观众终端是通过直连方式进行通信，则主播终端可以将该合成后的视频数据直接发送至观众终端。若该主播终端与观众终端是通过服务器进行通信的，主播终端可以将该合成后的视频数据发送至服务器，由服务器将该合成后的视频数据发送至观众终端。相应的，观众终端可以接收该合成后的视频数据，并播放该合成后的视频数据，实现观众用户与主播用户进行互动。
可选的，该互动信息包括特效信息，该第一姿态信息指示主播用户的姿态为拍手姿态，此时表明主播用户(如授课老师)接下来将讲解重点内容，希望引起观众用户(如学生)的注意，因此与该拍手姿态相匹配的特效信息可以为文本内容“注意啦”、气泡及拍手音频中的一种或多种。该第一姿态信息为指示主播用户的姿态为举手姿态，此时表明主播用户希望观众用户举手回答问题，因此，与该举手姿态相匹配的特效信息可以为举手动画。该第一姿态信息指示主播用户的姿态为双手合并姿态，此时表明主播用户希望观众用户休息，因此，与双手合并姿态相匹配的特效信息可以为课间休息音频。该第一姿态信息指示该主播用户的姿态为双手举过头顶，然后双手水平伸直的姿态，表明主播用户指示观众用户可以兑换礼品，此处与第一姿态相匹配的特效信息可以为礼品的图像。该第一姿态信息指示该主播用户的姿态为点赞姿态，即伸出右手，并竖起右手拇指的姿态，表明主播用户想要赞扬观众用户，此时与点赞姿态相匹配的特效信息可以是指点赞音频(即比较欢快的音频)。该第一姿态信息指示该主播用户的姿态为答题卡发放姿态，即向前伸出预设数量根手指，表明主播用户希望观众用户选择答案，此时与第一姿态相匹配的特效信息可以为文本内容开始答题。
在另一个实施例中，该互动信息包括特效生成方式，步骤S103具体可以包括如下步骤s71-s72。
S71、生成控制指令，该控制指令携带该特效生成方式。
S72、向观众终端发送该控制指令及该视频数据，以使该观众终端在播放该视频数据的过程中根据该控制指令输出特效信息。
在步骤s71-s72中，主播终端可以根据该特效生成方式生成控制指令，该控制指令是用于控制观众终端输出特效信息的指令。进一步，可以将该控制指令及视频数据发送至观众终端，以使该观众终端播放该视频数据，并在播放该视频数据的过程中根据该控制指令输出特效信息。此处特效信息可以包括震动、闪光、显示屏的亮度等等，当然也可以包括上述文本内容、音频数据及图像等。例如，该特效生成方式包括输出震动，具体的，还可以包括震动频率、震动时长等等。主播终端可以生成震动的控制指令，将该控制指令和视频数据发送至观众终端。该观众终端接收到该控制指令和视频数据后，可以播放该视频数据，并根据该控指令输出震动。
其中，该互动信息为特效生成方式，该第一姿态信息指示主播用户的姿态为拍手姿态，表明主播用户希望观众用户集中注意力观看视频数据，因此，与该第一姿态信息匹配的特效生成方式可以为增大音量和/或输出震动。或者，该第一姿态信息主播用户的姿态举手姿态，表明主播用户希望观众用户回答视频数据中的提问，因此，与该第一姿态信息匹配的特效生成方式可以为输出闪光。或者，该第一姿态信息主播用户的姿态为双手合并姿态，表明主播用户希望观众用户休息，因此，与该第一姿态信息匹配的特效生成方式可以为降低显示屏亮度。
下面以在线教育视频直播场景为例，对本发明实施例中的信息处理方法进行详细介绍。如图11和图12所示，该信息处理方法可以包括如下步骤s1-s3。s1、从主播终端获取用于视频直播的视频数据，并从该视频数据中获取主播用户的第一姿态信息，下面以第一姿态信息所描述的第一姿态为双手合并姿态为例进行说明。s2、确定与第一姿态信息相匹配的互动信息。可选的，该互动信息包括特效信息，该第一姿态为双手合并姿态，表明主播用户希望观众用户休息，因此，与双手合并姿态相匹配的特效信息为文本内容“休息啦”及课间休息音频。此处课间休息音频是指用于提示观众用户课间休息的音频，具体的为眼保健操音频或其他音频。s3、主播终端在播放该视频数据的过程中输出该交互信息。具体的，主播终端可以在该视频数据中添加课间休息音频及文本内容“休息啦”，得到合成后的视频数据，该合成后的视频数据如图12所示。进一步，主播终端可以将该合成后的视频数据发送至服务器，由服务器将该合成后的视频数据发送至观众终端，观众终端播放该合成后的视频数据。其中，特效信息在主播终端的显示方式与观众终端的显示方式可以相同，也可以不相同，即观众终端可以根据显示屏的大小及形状调整特效信息的显示方式。此处显示方式可以是指显示位置、显示大小及显示颜色等等。同理，该互动信息可包括特效生成方式，与双手合并姿态相匹配的该特效生成方式可以为降低显示屏亮度。主播终端可以生成降低显示屏亮度的控制指令，将该控制指令和视频数据发送至服务器，由服务器将该控制指令及视频数据发送至观众终端。相应的，观众终端接收到该控制指令和视频数据后，可以播放该视频数据，并在播放该视频数据的过程中，降低观众终端的显示屏的亮度，以提示观众用户当前时间为课间休息时间。
本发明实施例提供一种信息处理装置，该信息处理装置可设置于主播终端中，请参见图13，该装置包括：
获取单元121，用于从主播终端获取用于视频直播的视频数据，所述视频数据中包括主播用户；从所述视频数据中获取所述主播用户的第一姿态信息。
确定单元122，用于确定与所述第一姿态信息相匹配的互动信息。
输出单元123，用于在播放所述视频数据的过程中输出所述互动信息。
可选的，所述装置还包括：验证单元124，用于验证所述第一姿态信息是否为有效姿态信息。
可选的，确定单元122，用于若是，则执行确定与所述第一姿态信息相匹配的互动信息的步骤。
可选的，所述第一姿态信息包括第一姿态持续的时长和/或所述第一姿态在第一预设时间段内出现的次数；验证单元124，具体用于若所述第一姿态持续的时长大于预设时长，和/或，所述第一姿态在所述第一预设时间段内出现的次数大于预设次数，则确定所述第一姿态信息为有效姿态信息。
可选的，所述第一姿态信息包括第一姿态出现的时间；验证单元124，具体用于若在所述第一姿态出现的时间之后的第二预设时间段内，未从所述视频数据中获取到所述主播用户的第二姿态信息，则确定所述第一姿态信息为有效姿态信息。
可选的，所述互动信息包括特效信息，输出单元123，具体用于将所述视频数据与所述特效信息进行合成，得到合成后的视频数据；向观众终端发送所述合成后的视频数据，以使所述观众终端播放所述合成后的视频数据。
可选的，所述互动信息包括特效生成方式，输出单元123，具体用于生成控制指令，所述控制指令携带所述特效生成方式；向观众终端发送所述控制指令及所述视频数据，以使所述观众终端在播放所述视频数据的过程中根据所述控制指令输出特效信息。
其中，所述第一姿态信息指示所述主播用户的姿态为拍手姿态，与所述第一姿态信息匹配的特效生成方式为增大音量和/或输出震动；或者，所述第一姿态信息指示所述主播用户的姿态为举手姿态，与所述第一姿态信息匹配的特效生成方式为输出闪光；或者，所述第一姿态信息指示所述主播用户的姿态为双手合并姿态，与所述第一姿态信息匹配的特效生成方式为降低显示屏亮度。
可选的，获取单元121，具体用于从所述视频数据中筛选出待识别的图像，所述视频数据中包括多帧图像；对所述待识别的图像进行识别，以获取所述主播用户的第一姿态信息。
可选的，获取单元121，具体用于对所述待识别的图像进行识别，得到所述主播用户的轮廓信息；从所述轮廓信息中确定出关键特征点的位置信息；根据所述关键特征点的位置信息确定所述主播用户的第一姿态信息。
本发明实施例中，主播终端通过视频数据获取主播用户的第一姿态信息，并确定与第一姿态信息相匹配的交互信息，能够实现为不同姿态匹配不同的交互信息，提高交互的灵活性，增强互动的趣味性。进一步，在播放该视频数据的过程中输出该交互信息。通过该交互信息能够实现与观众用户进行互动，即通过主播用户的姿态能够实现与观众用户进行互动，不需要主播用户操作外部设备，提高视频直播效果和互动的便捷性，并增强视频直播的趣味性。
本发明实施例提供一种终端，请参见图14。该终端包括：处理器151、用户接口152、网络接口154以及存储装置155，处理器151、用户接口152、网络接口154以及存储装置155之间通过总线153连接。
用户接口152，用于实现人机交互，用户接口可以包括显示屏或键盘等等。网络接口154，用于与外部设备之间进行通信连接。存储装置155与处理器151耦合，用于存储各种软件程序和/或多组指令。具体实现中，存储装置155可包括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储装置155可以存储操作系统(下述简称系统)，例如ANDROID，IOS，WINDOWS，或者LINUX等嵌入式操作系统。存储装置155还可以存储网络通信程序，该网络通信程序可用于与一个或多个附加设备，一个或多个应用服务器，一个或多个网络设备进行通信。存储装置155还可以存储用户接口程序，该用户接口程序可以通过图形化的操作界面将应用程序的内容形象逼真的显示出来，并通过菜单、对话框以及按键等输入控件接收用户对应用程序的控制操作。存储装置155还可以存储视频数据等。
在一个实施例中，所述存储装置155可用于存储一条或多条的指令；所述处理器151可以调用所述一条或多条的指令时能够实现信息处理方法，具体地，所述处理器151调用所述一条或多条的指令，执行如下步骤：
从主播终端获取用于视频直播的视频数据，所述视频数据中包括主播用户；
从所述视频数据中获取所述主播用户的第一姿态信息；
确定与所述第一姿态信息相匹配的互动信息；
在播放所述视频数据的过程中输出所述互动信息。
可选的，所述处理器调用指令，执行如下步骤：验证所述第一姿态信息是否为有效姿态信息；若是，则执行确定与所述第一姿态信息相匹配的互动信息的步骤。
可选的，所述处理器调用指令，执行如下步骤：若所述第一姿态持续的时长大于预设时长，和/或，所述第一姿态在所述第一预设时间段内出现的次数大于预设次数，则确定所述第一姿态信息为有效姿态信息。
可选的，所述处理器调用指令，执行如下步骤：若在所述第一姿态出现的时间之后的第二预设时间段内，未从所述视频数据中获取到所述主播用户的第二姿态信息，则确定所述第一姿态信息为有效姿态信息。
可选的，所述处理器调用指令，执行如下步骤：将所述视频数据与所述特效信息进行合成，得到合成后的视频数据；向观众终端发送所述合成后的视频数据，以使所述观众终端播放所述合成后的视频数据。
可选的，所述处理器调用指令，执行如下步骤：生成控制指令，所述控制指令携带所述特效生成方式；向观众终端发送所述控制指令及所述视频数据，以使所述观众终端在播放所述视频数据的过程中根据所述控制指令输出特效信息。
其中，所述第一姿态信息指示所述主播用户的姿态为拍手姿态，与所述第一姿态信息匹配的特效生成方式为增大音量和/或输出震动；或者，所述第一姿态信息指示所述主播用户的姿态为举手姿态，与所述第一姿态信息匹配的特效生成方式为输出闪光；或者，所述第一姿态信息指示所述主播用户的姿态为双手合并姿态，与所述第一姿态信息匹配的特效生成方式为降低显示屏亮度。
可选的，所述处理器调用指令，执行如下步骤：从所述视频数据中筛选出待识别的图像，所述视频数据中包括多帧图像；对所述待识别的图像进行识别，以获取所述主播用户的第一姿态信息。
可选的，所述处理器调用指令，执行如下步骤：对所述待识别的图像进行识别，得到所述主播用户的轮廓信息；从所述轮廓信息中确定出关键特征点的位置信息；根据所述关键特征点的位置信息确定所述主播用户的第一姿态信息。
本发明实施例中，主播终端通过视频数据获取主播用户的第一姿态信息，并确定与第一姿态信息相匹配的交互信息，能够实现为不同姿态匹配不同的交互信息，提高交互的灵活性，增强互动的趣味性。进一步，在播放该视频数据的过程中输出该交互信息。通过该交互信息能够实现与观众用户进行互动，即通过主播用户的姿态能够实现与观众用户进行互动，不需要主播用户操作外部设备，提高视频直播效果和互动的便捷性，并增强视频直播的趣味性。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序解决问题的实施方式以及有益效果可以参见上述图2所述的一种信息处理方法的实施方式以及有益效果，重复之处不再赘述。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (11)

1.一种信息处理方法，其特征在于，所述方法包括：
从主播终端获取用于视频直播的视频数据，所述视频数据中包括主播对象；
从所述视频数据中获取所述主播对象的第一姿态信息；
根据所述第一姿态信息所指示的第一姿态的统计信息验证所述第一姿态信息的有效性；所述第一姿态的统计信息包括所述第一姿态持续的时长、所述第一姿态在预设时间段内出现的次数以及所述第一姿态出现的时间中的至少一种；
若所述第一姿态信息具有有效性，则确定与所述第一姿态信息和所述视频直播对应的视频直播场景相匹配的互动信息；所述视频直播场景是根据所述视频直播对应的视频直播模式确定的；所述互动信息包括特效信息和特效生成方式，所述特效生成方式用于指示调整播放所述视频数据的观众终端的设备参数，所述特效信息为用于添加至所述视频数据中的信息；
在播放所述视频数据的过程中输出所述互动信息。
2.如权利要求1所述的方法，其特征在于，所述第一姿态的统计信息包括第一姿态持续的时长和/或所述第一姿态在第一预设时间段内出现的次数；
所述根据所述第一姿态信息所指示的第一姿态的统计信息验证所述第一姿态信息的有效性，包括：
若所述第一姿态持续的时长大于预设时长，和/或，所述第一姿态在所述第一预设时间段内出现的次数大于预设次数，则确定所述第一姿态信息为有效姿态信息。
3.如权利要求1所述的方法，其特征在于，所述第一姿态的统计信息包括第一姿态出现的时间；
所述根据所述第一姿态信息所指示的第一姿态的统计信息验证所述第一姿态信息的有效性，包括：
若在所述第一姿态出现的时间之后的第二预设时间段内，未从所述视频数据中获取到所述主播对象的第二姿态信息，则确定所述第一姿态信息为有效姿态信息。
4.如权利要求1-3任一项所述的方法，其特征在于，所述互动信息包括特效信息，所述在播放所述视频数据的过程中输出所述互动信息，包括：
将所述视频数据与所述特效信息进行合成，得到合成后的视频数据；
向观众终端发送所述合成后的视频数据，以使所述观众终端播放所述合成后的视频数据。
5.如权利要求1-3任一项所述的方法，其特征在于，所述互动信息包括特效生成方式，所述在播放所述视频数据的过程中输出所述互动信息，包括：
生成控制指令，所述控制指令携带所述特效生成方式；
向观众终端发送所述控制指令及所述视频数据，以使所述观众终端在播放所述视频数据的过程中根据所述控制指令输出特效信息。
6.如权利要求5所述的方法，其特征在于，所述第一姿态信息指示所述主播对象的姿态为拍手姿态，与所述第一姿态信息匹配的特效生成方式为增大音量和/或输出震动；或者，所述第一姿态信息指示所述主播对象的姿态为举手姿态，与所述第一姿态信息匹配的特效生成方式为输出闪光；或者，所述第一姿态信息指示所述主播对象的姿态为双手合并姿态，与所述第一姿态信息匹配的特效生成方式为降低显示屏亮度。
7.如权利要求1-3任一项所述的方法，其特征在于，所述从所述视频数据中获取所述主播对象的第一姿态信息，包括：
从所述视频数据中筛选出待识别的图像，所述视频数据中包括多帧图像；
对所述待识别的图像进行识别，以获取所述主播对象的第一姿态信息。
8.如权利要求7所述的方法，其特征在于，所述对所述待识别的图像进行识别，以获取所述主播对象的第一姿态信息，包括：
对所述待识别的图像进行识别，得到所述主播对象的轮廓信息；
从所述轮廓信息中确定出关键特征点的位置信息；
根据所述关键特征点的位置信息确定所述主播对象的第一姿态信息。
9.一种信息处理装置，其特征在于，所述装置包括：
获取单元，用于从主播终端获取用于视频直播的视频数据，所述视频数据中包括主播对象；从所述视频数据中获取所述主播对象的第一姿态信息；
验证单元，用于根据所述第一姿态信息所指示的第一姿态的统计信息验证所述第一姿态信息的有效性；所述第一姿态的统计信息包括所述第一姿态持续的时长、所述第一姿态在预设时间段内出现的次数以及所述第一姿态出现的时间中的至少一种；
确定单元，用于若所述第一姿态信息具有有效性，则确定与所述第一姿态信息相匹配的互动信息；所述视频直播场景是根据所述视频直播对应的视频直播模式确定的；所述互动信息包括特效信息和特效生成方式，所述特效生成方式用于指示调整播放所述视频数据的观众终端的设备参数，所述特效信息为用于添加至所述视频数据中的信息；输出单元，用于在播放所述视频数据的过程中输出所述互动信息。
10.一种终端，其特征在于，包括：
计算机存储介质和处理器，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行权利要求1－8任一项所述方法。
11.一种计算机存储介质，其特征在于，包括：
所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行权利要求1－8任一项所述方法。
CN201910558494.8A 2019-06-24 2019-06-24 信息处理方法及装置 Active CN112135152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910558494.8A CN112135152B (zh) 2019-06-24 2019-06-24 信息处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910558494.8A CN112135152B (zh) 2019-06-24 2019-06-24 信息处理方法及装置

Publications (2)

Publication Number Publication Date
CN112135152A CN112135152A (zh) 2020-12-25
CN112135152B true CN112135152B (zh) 2022-07-12

Family

ID=73849494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910558494.8A Active CN112135152B (zh) 2019-06-24 2019-06-24 信息处理方法及装置

Country Status (1)

Country Link
CN (1) CN112135152B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106028159A (zh) * 2016-06-21 2016-10-12 广东欧珀移动通信有限公司 视频播放的控制方法及装置
CN106804007A (zh) * 2017-03-20 2017-06-06 合网络技术（北京）有限公司 一种网络直播中自动匹配特效的方法、系统及设备
CN107124664A (zh) * 2017-05-25 2017-09-01 百度在线网络技术（北京）有限公司 应用于视频直播的交互方法和装置
CN108234494A (zh) * 2018-01-04 2018-06-29 广州市千钧网络科技有限公司 一种互动直播方法和系统
CN109286822A (zh) * 2018-10-19 2019-01-29 广州虎牙科技有限公司 基于直播视频识别的互动方法、装置、设备及存储介质
CN109471392A (zh) * 2018-11-12 2019-03-15 左晓雷 一种网络直播互动方法及装置
CN109922352A (zh) * 2019-02-26 2019-06-21 李钢江 一种数据处理方法、装置、电子设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10715881B2 (en) * 2016-11-01 2020-07-14 Facebook, Inc. Providing interactive elements with a live video presentation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106028159A (zh) * 2016-06-21 2016-10-12 广东欧珀移动通信有限公司 视频播放的控制方法及装置
CN106804007A (zh) * 2017-03-20 2017-06-06 合网络技术（北京）有限公司 一种网络直播中自动匹配特效的方法、系统及设备
CN107124664A (zh) * 2017-05-25 2017-09-01 百度在线网络技术（北京）有限公司 应用于视频直播的交互方法和装置
CN108234494A (zh) * 2018-01-04 2018-06-29 广州市千钧网络科技有限公司 一种互动直播方法和系统
CN109286822A (zh) * 2018-10-19 2019-01-29 广州虎牙科技有限公司 基于直播视频识别的互动方法、装置、设备及存储介质
CN109471392A (zh) * 2018-11-12 2019-03-15 左晓雷 一种网络直播互动方法及装置
CN109922352A (zh) * 2019-02-26 2019-06-21 李钢江 一种数据处理方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN112135152A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN111324253B (zh) 虚拟物品交互方法、装置、计算机设备及存储介质
WO2017177766A1 (zh) 虚拟现实设备的控制方法、装置及虚拟现实设备、系统
CN106730815B (zh) 一种易实现的体感互动方法及系统
CN111045511B (zh) 基于手势的操控方法及终端设备
CN109416562B (zh) 用于虚拟现实的装置、方法和计算机可读介质
CN110947181A (zh) 游戏画面显示方法、装置、存储介质及电子设备
CN108965981B (zh) 视频播放方法、装置、存储介质及电子设备
CN113485617A (zh) 动画展示方法、装置、电子设备及存储介质
CN111063024A (zh) 三维虚拟人驱动方法、装置、电子设备及存储介质
CN114245221A (zh) 基于直播间的互动方法、装置、电子设备及存储介质
CN109413152A (zh) 图像处理方法、装置、存储介质及电子设备
CN114356090B (zh) 一种控制方法、装置、计算机设备及存储介质
CN110286771B (zh) 交互方法、装置、智能机器人、电子设备及存储介质
CN114615556A (zh) 虚拟直播增强互动方法及装置、电子设备、存储介质
CN106375811A (zh) 一种节目的播放控制方法和装置
CN113840177A (zh) 直播互动方法、装置、存储介质与电子设备
CN112135152B (zh) 信息处理方法及装置
CN110971924B (zh) 一种直播过程中美颜的方法、设备、存储介质及系统
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
CN115086693A (zh) 虚拟对象交互方法、装置、电子设备和存储介质
CN112804546B (zh) 基于直播的互动方法、装置、设备和存储介质
CN114425162A (zh) 一种视频处理方法和相关装置
TWI729323B (zh) 互動式遊戲系統
CN114630085A (zh) 图像投影方法、装置、存储介质及电子设备
CN112258240B (zh) 内容展示方法、装置、终端、服务器以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant