CN106658038A - 基于视频流的直播交互方法及其相应的装置 - Google Patents

基于视频流的直播交互方法及其相应的装置 Download PDF

Info

Publication number
CN106658038A
CN106658038A CN201611177841.5A CN201611177841A CN106658038A CN 106658038 A CN106658038 A CN 106658038A CN 201611177841 A CN201611177841 A CN 201611177841A CN 106658038 A CN106658038 A CN 106658038A
Authority
CN
China
Prior art keywords
action event
feature
video stream
user
live broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611177841.5A
Other languages
English (en)
Inventor
于川
余蒙
吴晓东
吴昊
曹立永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Information Technology Co Ltd
Original Assignee
Guangzhou Huya Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Information Technology Co Ltd filed Critical Guangzhou Huya Information Technology Co Ltd
Priority to CN201611177841.5A priority Critical patent/CN106658038A/zh
Priority to CN202010125369.0A priority patent/CN111405299B/zh
Publication of CN106658038A publication Critical patent/CN106658038A/zh
Priority to PCT/CN2017/107320 priority patent/WO2018113405A1/zh
Priority to US16/467,383 priority patent/US20200099960A1/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于视频流的直播交互方法及装置，所述方法包括如下步骤：对所接收的主播用户的视频流进行图像识别，获取该视频流中特征物的特征变化信息，以此产生对应的动作事件；依据该动作事件，确定为该动作事件预设的响应指令；执行所述响应指令以向直播间的至少一个用户发送响应该动作事件的反馈信息。本发明提供的所述方法及装置能够利用图像识别技术识自动完成与直播方的交互并将交互的通知信息发送至直播间用户，从而增强用户与直播方的互动性，增强方案的灵活性，提高了用户的新鲜感，提升用户体验。

Description

基于视频流的直播交互方法及其相应的装置
技术领域
本发明涉及互联网技术领域，具体涉及一种基于视频流的直播交互方法及其相应的装置。
背景技术
在网络技术日趋成熟的今天，网络互动直播逐渐被人们所了解。网络互动直播通常是指含有互动内容的网络直播，其经历了从早期的文字互动(聊天交流)到语音互动，再到视频互动的过程。由于互动的简单释义是互相作用、互相影响，因此网络互动直播难于在传统的广播、电视直播中实现。网络直播因其基于网络，继承并发展了因特网的特点，而网络直播的最大特点在于观众/听众的主动性的增加，在于直播过程中史无前例的互动性。
现有的技术方案中，通过用户观看主播的表演，根据观看到的主播的精彩表演来派送礼品，从而实现互动性。再比如，用户通过观看游戏主播的表演过程中，某一个游戏角色完成获胜或连续击杀等，此时，用户相应派送礼物或点赞以实现互动，该过程需要人为去判别主播是否完成相应的动作或游戏角色是否完成某个特定动作，增加了人为操作，智能性不高。
可见，现有技术在实现用户与主播端主播的互动性方面，操作繁琐，智能性不高，缺乏趣味性，降低用户的观看体验。
发明内容
鉴于上述问题，本发明提出一种基于视频流的直播交互方法及其相应的装置。
本发明还提供一种用于执行本发明的基于视频流的直播交互方法的移动终端。
为解决上述问题，本发明采用如下各方面的技术方案：
第一方面，本发明提供一种基于视频流的直播交互方法，包括如下步骤：
对所接收的主播用户的视频流进行图像识别，获取该视频流中特征物的特征变化信息，以此产生对应的动作事件；
依据该动作事件，确定为该动作事件预设的响应指令；
执行所述响应指令以向直播间的至少一个用户发送响应该动作事件的反馈信息。
结合第一方面，在第一方面的第一种实现方式中，所述对所接收的主播用户的视频流进行图像识别，获取该视频流中特征物的特征变化信息，以此产生对应的动作事件的步骤，包括如下具体步骤：
识别出所接收的各视频流的每个图像帧中的特征物；
当连续多个图像帧包含预设的所述特征物的特征时，确定该些图像帧各自所含特征之间的特征变化信息；
将所确定的特征变化信息与预设的动作事件参数模板进行匹配，当该特征变化信息与一个所述的参数模板相匹配时，产生该参数模板相对应的动作事件。
结合第一方面的第一种实现方式，在第一方面的第二种实现方式中，所述特征变化信息与所述参数模板具有相同的参数描述项，通过彼此对应的参数描述项进行比对实现彼此之间的匹配。
结合第一方面，在第一方面的第三种实现方式中，所述特征物为适于被以特征描述的所述视频流中的人物角色、物品角色、活动部件中任意之一，其相应的特征变化信息为该人物角色、物品角色、或活动部件在该视频流的多个连续图像帧所表现的位置和/或形状变化信息。
结合第一方面，在第一方面的第四种实现方式中，在对所述视频流图像进行图像识别时，调用为特征物预设的参考特征以便在视频流图像中确定所述特征物的初始状态，以确定所述特征变化信息。
结合第一方面，在第一方面的第五种实现方式中，还包括如下步骤：
接收用户对直播间提供的特征物列表中的一个或多个的选定，将被选定的特征物确定为后续进行图像识别的特征物，该特征物列表所列的特征物，以所述视频流中与该特征物相对应的缩略图进行显示。
结合第一方面，在第一方面的第六种实现方式中，还包括如下步骤：
接收针对所述预设的动作事件的响应指令的配置，将该动作事件与其对应的响应指令进行关联性存储，以供依据该动作事件确定该响应指令。
结合第一方面，在第一方面的第七种实现方式中，所述依据该动作事件，确定为该动作事件预设的响应指令的步骤中，当且仅当所述动作事件达到预定产生次数时，确定所述的响应指令。
结合第一方面，在第一方面的第八种实现方式中，所述响应指令为如下任意指令：
用于向主播用户派发电子礼品的派送指令，该指令导致产生至少发送给所述主播用户包含派送所述电子礼品的通知信息；
用于向主播用户发送预设文本的发送指令，该指令导致产生至少发送给所述主播用户包含所述文本的通知信息；
用于向直播间广播预设文本的广播指令，该指令导致直播间的多个用户接收到包含所述文本的通知信息。
第二方面，本发明提供一种基于视频流的直播交互装置，包括：
识别模块：用于对所接收的主播用户的视频流进行图像识别，获取该视频流中特征物的特征变化信息，以此产生对应的动作事件；
确定模块：用于依据该动作事件，确定为该动作事件预设的响应指令；
发送模块：用于执行所述响应指令以向直播间的至少一个用户发送响应该动作事件的反馈信息。
结合第二方面，在第二方面的第一种实现方式中，所述识别模块中，具体包括：
识别单元：用于识别出所接收的各视频流的每个图像帧中的特征物；
确定单元：用于当连续多个图像帧包含预设的所述特征物的特征时，确定该些图像帧各自所含特征之间的特征变化信息；
匹配单元：用于将所确定的特征变化信息与预设的动作事件参数模板进行匹配，当该特征变化信息与一个所述的参数模板相匹配时，产生该参数模板相对应的动作事件。
结合第二方面的第一实现方式，在第二方面的第二种实现方式中，所述特征变化信息与所述参数模板具有相同的参数描述项，通过彼此对应的参数描述项进行比对实现彼此之间的匹配。
结合第二方面，在第二方面的第三种实现方式中，所述特征物为适于被以特征描述的所述视频流中的人物角色、物品角色、活动部件中任意之一，其相应的特征变化信息为该人物角色、物品角色、或活动部件在该视频流的多个连续图像帧所表现的位置和/或形状变化信息。
结合第二方面，在第二方面的第四种实现方式中，在对所述视频流图像进行图像识别时，调用为特征物预设的参考特征以便在视频流图像中确定所述特征物的初始状态，以确定所述特征变化信息。
结合第二方面，在第二方面的第五种实现方式中，还包括如下模块：
选定模块：用于接收用户对直播间提供的特征物列表中的一个或多个的选定，将被选定的特征物确定为后续进行图像识别的特征物，该特征物列表所列的特征物，以所述视频流中与该特征物相对应的缩略图进行显示。
结合第二方面，在第二方面的第六种实现方式中，包括如下步骤：
配置单元：用于接收针对所述预设的动作事件的响应指令的配置，将该动作事件与其对应的响应指令进行关联性存储，以供依据该动作事件确定该响应指令。
结合第二方面，在第二方面的第七种实现方式中，所述确定模块中，当且仅当所述动作事件达到预定产生次数时，确定所述的响应指令。
结合第二方面，在第二方面的第八种实现方式中，所述响应指令为如下任意指令：
用于向主播用户派发电子礼品的派送指令，该指令导致产生至少发送给所述主播用户包含派送所述电子礼品的通知信息；
用于向主播用户发送预设文本的发送指令，该指令导致产生至少发送给所述主播用户包含所述文本的通知信息；
用于向直播间广播预设文本的广播指令，该指令导致直播间的多个用户接收到包含所述文本的通知信息。
第三方面，本发明提供一种移动终端，包括：
触敏显示器，用于显示用户界面，实现人机交互；
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行；所述一个或多个程序用于驱动所述一个或多个处理器构造用于执行上述所述方法的模块。
相对于现有技术，本发明的技术方案至少具备如下优点：
本发明提出一种基于视频流的直播交互方法及其相应装置，通过利用图像识别技术识别当前视频流中人物角色或物品角色的动作信息以自动判定当前视频流中播放事件的状态，使得终端根据识别的动态变化信息，再结合与观看端用户的互动作出相应的反应，避免了每个环节都需要人去确认。
具体而言，本发明通过对当前视频流中人物角色或物品角色或活动部件的动态变化信息进行图像识别，以此动态变化信息产生对应的动作事件，并依据所述动作事件确定与之对应的响应指令以执行该指令来向直播间的至少一个用户发送响应该动作事件的反馈信息。
本发明的实施能够将图像识别技术应用于直播技术中，自动的识别当前视频流画面中的人物或物品的动态变化，通过图像识别技术来知晓当前视频流播放事件的进度或环节并自动发送对应的反馈信息，实现直播的自动交互，不需要人为去确认每一个事件环节，提高了用户的新鲜感，且操作简单，灵活性高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于视频流的直播交互方法实施例一流程框图；
图2为本发明的一种基于视频流的直播交互方法实施例二流程框图；
图3为本发明的一种基于视频流的直播交互装置实施例一的结构示意图；
图4为本发明的一种基于视频流的直播交互装置实施例二的结构示意图；
图5为本发明的一种移动终端部分结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S11、S12等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
本领域普通技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本领域普通技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本发明所述图片分类展示方法主要适用于智能手机终端或者智能平板终端等具有通信功能的终端，不限制于其操作系统的类型，可以是Android、IOS、WP、塞班等操作系统。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明所提供一种基于视频流的直播交互方法中，具体的一种实施方式中，具体包括如下步骤：
S11、对所接收的主播用户的视频流进行图像识别，获取该视频流中特征物的特征变化信息，以此产生对应的动作事件。
本发明实施例中，优选以下各具体步骤获取该视频流中特征物的特征变化信息，以此产生对应的动作事件：
其一、识别出所接收的各视频流的每个图像帧中的特征物；
所述特征物为选取用于提取其动态变化信息来判定当前视频流中播放事件的状态的参考物，其可以为所述视频流中的人物角色、物品角色、活动部件中任意之一，例如，当前的直播间主播或当前直播的游戏事件的游戏人物角色或当前直播赛事的参赛角色等。
其二、当连续多个图像帧包含预设的所述特征物的特征时，确定该些图像帧各自所含特征之间的特征变化信息；
对所述视频流中所述特征物进行识别时，具体识别其具备的特征的动态变化过程。当识别到连续多个图像帧包含预设的所述特征物的参考特征时，进一步识别该特征在不同图像帧之间的变化信息，所述特征物的变化信息为该人物角色、物品角色、或活动部件在该视频流的多个连续图像帧所表现的位置的变化、形状的变化、位置及形状的变化。
具体的，当连续多个图像帧播放时，其包含的特征物的特定特征发生位置的变化或形状的变化，则确定为该些图像帧各自所含特征之间的特征变化信息。
一种可能的应用场景中，例如，当前直播的为游戏事件，当识别到某个游戏角色的击杀动作时，该识别过程可具体通过识别该游戏角色持有的刀剑或其他器件的形状变化及该游戏角色手臂或身躯的位置变化来确定这一击杀动作的完成，当该动作完成时则记记录完成一次击杀动作即该游戏角色的特征变化信息。
其三、将所确定的特征变化信息与预设的动作事件参数模板进行匹配，当该特征变化信息与一个所述的参数模板相匹配时，产生该参数模板相对应的动作事件。
本发明实施例中，由所确定的特征变化信息产生对应的动作事件具体通过彼此的描述参数项进行匹配来实现。述特征变化信息与所述参数模板具有相同的参数描述项，通过彼此对应的参数描述项进行比对实现彼此之间的匹配。
例如，在上述游戏直播的应用场景中，所述击杀动作的参数描述项可以为：击杀者的手臂坐标变化、身躯中心点的坐标变化、刀剑的形状变化，相对应的所述特征物的特征变化参数描述项为：特征物A的特征a的坐标变化、特征b的坐标变化、特征物B的形状变化，在该实施例中所述特征物A即击杀者、特征a为其手臂、特征b为其身躯中心点、特征物B为刀剑，也即参数描述项对应为：击杀者的手臂坐标变化、身躯中心点的坐标变化、刀剑的形状变化。当识别到所述特征物的这一动态变化信息时，则确定为其完成一次击杀动作。
S12、依据该动作事件，确定为该动作事件预设的响应指令。
本发明实施例中，所述终端预存有所述动作事件与其响应指令的映射关系，以供依据该动作事件确定该响应指令。当识别到产生某一特定动作事件时，依据该映射关系表确定与之对应的响应指令，以便终端执行该指令以向直播间的至少一个用户发送响应该事件的反馈信息。
该映射关系中包含有动作事件的属性与响应指令的对应关系，一种可能的设计中，该映射关系中还包含动作事件发送的次数与响应指令的对应关系，该对应关系用于表征当且仅当所述动作事件达到预定产生次数时，确定所述的响应指令，一种可能的设计中，所述映射关系中包含有特定动作事件的不同发生次数对应不同的响应指令。
例如，在上述游戏直播的应用场景中，当识别到游戏角色M完成一次击杀时，预设的响应指令为一次点赞，并为该次击杀动作进行计数，当识别到其完成两次击杀动作时，预设的响应指令为派送一个礼品，并继续为该击杀动作计数以便终端为该击杀动作作出相应的反应时将所述派送礼品或点赞的反馈信息与游戏角色M完成击杀的次数一并显示于用户界面。
优选的，当接收针对所述预设的动作事件的响应指令的配置，将该动作事件与其对应的响应指令进行关联性存储，以实时刷新所述映射关系，以供依据该动作事件确定该响应指令。
S13、执行所述响应指令以向直播间的至少一个用户发送响应该动作事件的反馈信息。
优选的，本发明实施例中所述响应指令具体为如下任意形式：
其一、用于向主播用户派发电子礼品的派送指令，该指令导致产生至少发送给所述主播用户包含派送所述电子礼品的通知信息；
例如游戏直播中，当游戏角色完成连续五杀时，终端自动识别该游戏角色的这一动态变化信息，并自动为其派送一个成就展示或一个虚拟物品等电子礼品，所述终端执行该指令时，在直播间的至少一个用户发送派送包含该电子礼品的派送通知信息，优先的，将该游戏角色的击杀次数也显示于用户界面，当用户因为暂时离开或其他事情错过了该游戏角色的这一击杀场景时，其也可以通过用户界面上显示的通知信息及击杀成果信息来作出相应的互动，从而增强用户与直播方的互动性，提高了用户的新鲜感。
其二、用于向主播用户发送预设文本的发送指令，该指令导致产生至少发送给所述主播用户包含所述文本的通知信息；
在执行该响应指令时的所述预设的文本信息可以为记录直播视频流中动态变化信息的发生次数或为识别到某一动态变化信息而派送的虚拟物品的属性及数量等信息。该文本信息用于通知用户知晓这一动态变化过程及终端响应于该动态变化过程相应作出的反馈信息，如此情况下，用户不用实时人为去确认当前直播事件的进展并且用户可以由该通知信息啦推测已经发生的事件，以便用户实时跟进直播事件进展，提升用户体验。
其三、用于向直播间广播预设文本的广播指令，该指令导致直播间的多个用户接收到包含所述文本的通知信息。
在执行该响应指令时反馈的通知信息用于发送至所有的直播间用户，确保所有用户都接收到该通知信息。
需要注意的是，本发明实施例所述响应指令的类型也可以为其他指令，不仅限于上述三种指令，在此不做限定。
请参考图2，本发明的另一个实施例中，还包括一个步骤S14用于接收用户对直播间提供的特征物列表中的一个或多个的选定，将被选定的特征物确定为后续进行图像识别的特征物，该特征物列表所列的特征物，以所述视频流中与该特征物相对应的缩略图进行显示。
本发明实施例中，所述视频流中可能包含多个特征物，当多个特征物同时出现在同一画面时，用户可以选择特别关注某一特征物的动态变化信息，例如，某一赛事的直播过程中，用户只想关注其想关注的参赛者的表现，此时，用户可以通过选定特征物列表中的一个或多个进行关注。
具体的，终端提供选定特征物的用户交互界面以便用户选定特征物列表中的一个或多个，所述终端将被选定的特征物确定为后续进行图像识别的特征物，当对所述视频流进行图像识别时，对被选定的特征物进行动态信息变化的识别并记录以便终端根据该识别结果执行相应的响应指令以向直播间用户反馈对应的通知信息。
所述特征物列表所列的特征物，以所述视频流中与该特征物相对应的缩略图进行显示。所述特征物列表中还包含为特征物预设的参考特征以便在视频流图像中确定所述特征物的初始状态，以确定所述特征变化信息。
例如，用户选定某一个或多个特征物为待识别特征物时，终端依据该特征物列表，确定该待识别的特征物的初始状态，以该初始状态为动态信息变化的参考基准点，在此基础上确定其后续的动态变化信息。
参考图3所示，为了进一步对本发明所述基于视频流的直播交互方法进行阐述，对其进行模块化说明，提供一种基于视频流的直播交互装置，一种实施例中，包括识别模块11、确定模块12、发送模块13，此外如图4所示实施例中，该装置还包括选定模块14。其中，
识别模块11：用于对所接收的主播用户的视频流进行图像识别，获取该视频流中特征物的特征变化信息，以此产生对应的动作事件。
本发明实施例中，优选以下各具体单元获取该视频流中特征物的特征变化信息，以此产生对应的动作事件：
识别单元：用于识别出所接收的各视频流的每个图像帧中的特征物；
所述特征物为选取用于提取其动态变化信息来判定当前视频流中播放事件的状态的参考物，其可以为所述视频流中的人物角色、物品角色、活动部件中任意之一，例如，当前的直播间主播或当前直播的游戏事件的游戏人物角色或当前直播赛事的参赛角色等。
确定单元：用于当连续多个图像帧包含预设的所述特征物的特征时，确定该些图像帧各自所含特征之间的特征变化信息；
对所述视频流中所述特征物进行识别时，具体识别其具备的特征的动态变化过程。当识别到连续多个图像帧包含预设的所述特征物的参考特征时，进一步识别该特征在不同图像帧之间的变化信息，所述特征物的变化信息为该人物角色、物品角色、或活动部件在该视频流的多个连续图像帧所表现的位置的变化、形状的变化、位置及形状的变化。
具体的，当连续多个图像帧播放时，其包含的特征物的特定特征发生位置的变化或形状的变化，则确定为该些图像帧各自所含特征之间的特征变化信息。
一种可能的应用场景中，例如，当前直播的为游戏事件，当识别到某个游戏角色的击杀动作时，该识别过程可具体通过识别该游戏角色持有的刀剑或其他器件的形状变化及该游戏角色手臂或身躯的位置变化来确定这一击杀动作的完成，当该动作完成时则记记录完成一次击杀动作即该游戏角色的特征变化信息。
匹配单元：用于将所确定的特征变化信息与预设的动作事件参数模板进行匹配，当该特征变化信息与一个所述的参数模板相匹配时，产生该参数模板相对应的动作事件。
本发明实施例中，由所确定的特征变化信息产生对应的动作事件具体通过彼此的描述参数项进行匹配来实现。述特征变化信息与所述参数模板具有相同的参数描述项，通过彼此对应的参数描述项进行比对实现彼此之间的匹配。
例如，在上一游戏直播的应用场景中，所述击杀动作的参数描述项可以为：击杀者的手臂坐标变化、身躯中心点的坐标变化、刀剑的形状变化，相对应的所述特征物的特征变化参数描述项为：特征物A的特征a的坐标变化、特征b的坐标变化、特征物B的形状变化，在该实施例中所述特征物A即击杀者、特征a为其手臂、特征b为其身躯中心点、特征物B为刀剑，也即参数描述项对应为：击杀者的手臂坐标变化、身躯中心点的坐标变化、刀剑的形状变化。当识别到所述特征物的这一动态变化信息时，则确定为其完成一次击杀动作。
确定模块12：依据该动作事件，确定为该动作事件预设的响应指令。
本发明实施例中，所述终端预存有所述动作事件与其响应指令的映射关系，以供依据该动作事件确定该响应指令。当识别到产生某一特定动作事件时，依据该映射关系表确定与之对应的响应指令，以便终端执行该指令以向直播间的至少一个用户发送响应该事件的反馈信息。
该映射关系中包含有动作事件的属性与响应指令的对应关系，一种可能的设计中，该映射关系中还包含动作事件发送的次数与响应指令的对应关系，该对应关系用于表征当且仅当所述动作事件达到预定产生次数时，确定所述的响应指令，一种可能的设计中，所述映射关系中包含有特定动作事件的不同发生次数对应不同的响应指令。
例如，在上述游戏直播的应用场景中，当识别到游戏角色M完成一次击杀时，预设的响应指令为一次点赞，并为该次击杀动作进行计数，当识别到其完成两次击杀动作时，预设的响应指令为派送一个礼品，并继续为该击杀动作计数以便终端为该击杀动作作出相应的反应时将所述派送礼品或点赞的反馈信息与游戏角色M完成击杀的次数一并显示于用户界面。
优选的，当配置单元接收针对所述预设的动作事件的响应指令的配置时，将该动作事件与其对应的响应指令进行关联性存储，以实时刷新所述映射关系，以供依据该动作事件确定该响应指令。
发送模块13：用于执行所述响应指令以向直播间的至少一个用户发送响应该动作事件的反馈信息。
优选的，本发明实施例中所述响应指令具体为如下任意形式：
其一、用于向主播用户派发电子礼品的派送指令，该指令导致产生至少发送给所述主播用户包含派送所述电子礼品的通知信息；
例如游戏直播中，当游戏角色完成连续五杀时，终端自动识别该游戏角色的这一动态变化信息，并自动为其派送一个成就展示或一个虚拟物品等电子礼品，所述终端执行该指令时，在直播间的至少一个用户发送派送包含该电子礼品的派送通知信息，优先的，将该游戏角色的击杀次数也显示于用户界面，当用户因为暂时离开或其他事情错过了该游戏角色的这一击杀场景时，其也可以通过用户界面上显示的通知信息及击杀成果信息来作出相应的互动，从而增强用户与直播方的互动性，提高了用户的新鲜感。
其二、用于向主播用户发送预设文本的发送指令，该指令导致产生至少发送给所述主播用户包含所述文本的通知信息；
在执行该响应指令时的所述预设的文本信息可以为记录直播视频流中动态变化信息的发生次数或为识别到某一动态变化信息而派送的虚拟物品的属性及数量等信息。该文本信息用于通知用户知晓这一动态变化过程及终端响应于该动态变化过程相应作出的反馈信息，如此情况下，用户不用实时人为去确认当前直播事件的进展并且用户可以由该通知信息推测已经发生的事件等，以便用户实时跟进直播事件进展，提升用户体验。
其三、用于向直播间广播预设文本的广播指令，该指令导致直播间的多个用户接收到包含所述文本的通知信息。
执行该响应指令时反馈的通知信息用于发送至所有的直播间用户，确保所有用户都接收到该通知信息。
需要注意的是，本发明实施例所述响应指令的类型也可以为其他指令，不仅限于上述三种指令，在此不做限定。
请参考图4，本发明的另一个实施例中，还包括一个选定模块14用于接收用户对直播间提供的特征物列表中的一个或多个的选定，将被选定的特征物确定为后续进行图像识别的特征物，该特征物列表所列的特征物，以所述视频流中与该特征物相对应的缩略图进行显示。
本发明实施例中，所述视频流中可能包含多个特征物，当多个特征物同时出现在同一画面时，用户可以选择特别关注某一特征物的动态变化信息，例如，某一赛事的直播过程中，用户只想关注其想关注的参赛者的表现，此时，用户可以通过选定特征物列表中的一个或多个进行关注。
具体的，终端提供选定特征物的用户交互界面以便用户选定特征物列表中的一个或多个，所述终端将被选定的特征物确定为后续进行图像识别的特征物，当对所述视频流进行图像识别时，对被选定的特征物进行动态信息变化的识别并记录以便终端根据该识别结果执行相应的响应指令以向直播间用户反馈对应的通知信息。
所述特征物列表所列的特征物，以所述视频流中与该特征物相对应的缩略图进行显示。所述特征物列表中还包含为特征物预设的参考特征以便在视频流图像中确定所述特征物的初始状态，以确定所述特征变化信息。
例如，用户选定某一个或多个特征物为待识别特征物时，终端依据该特征物列表，确定该待识别的特征物的初始状态，以该初始状态为动态信息变化的参考基准点，在此基础上确定其后续的动态变化信息。
结合上述的实施例可知，本发明最大的效果在于，本发明通过对对所接收的主播用户的视频流进行图像识别，获取该视频流中特征物如人物角色、物品角色或活动部件的特征动态变化信息，当识别到预存的特征物列表的某一特征物的动态变化信息与预设的动作事件的参数相匹配时，则产生对应的动作事件，依据该动作事件，执行预设的该动作事件相对应的响应指令以向直播间的至少一个用户发送响应该动作事件的反馈信息。
通过本发明的实施，终端可以自动识别直播间直播事件的变化过程或进展，并根据识别的事件的变化过程执行相应的自动交互操作，避免了每一事件的进展需要用户确认，增强了方案的灵活性及易操作性。另外，用户可以根据终端发送的自动交互后的通知信息与主播进行互动，从而增强用户与直播方的互动性，提高了用户的新鲜感，提升用户体验。
本发明实施例还提供一种了一种移动终端，如图5所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例图片分类展示方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备，以终端为手机为例：
图5示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图5，手机包括：触敏显示器0513、处理器0511、存储器0514等部件。本领域技术人员可以理解，图5中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图5对手机的各个构成部件进行具体的介绍：
存储器0514可用于存储软件程序以及模块，处理器0511通过运行存储在存储器0514的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器0514可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器0514可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
触敏显示器0513可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器，并能接收处理器发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏显示器。
触敏显示器0513可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单，如信息编辑界面等。触敏显示器0513可包括显示面板，可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置触敏显示器。进一步的，当触敏显示器0513检测到在其上或附近的触摸操作后，传送给处理器以确定触摸事件的类型，随后处理器根据触摸事件的类型在触敏显示器上提供相应的视觉输出。
手机还可包括至少一种传感器0512，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在手机移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
处理器0511是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器0514内的软件程序和/或模块，以及调用存储在存储器0514内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器0511可包括一个或多个处理单元；优选的，处理器0511可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器0511中。
手机还包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理系统与处理器0511逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本发明实施例中，该终端所包括的处理器0511还具有以下功能：
对所接收的主播用户的视频流进行图像识别，获取该视频流中特征物的特征变化信息，以此产生对应的动作事件；
依据该动作事件，确定为该动作事件预设的响应指令；
执行所述响应指令以向直播间的至少一个用户发送响应该动作事件的反馈信息。
所述对所接收的主播用户的视频流进行图像识别，获取该视频流中特征物的特征变化信息，以此产生对应的动作事件的步骤，包括如下具体步骤：
识别出所接收的各视频流的每个图像帧中的特征物；
当连续多个图像帧包含预设的所述特征物的特征时，确定该些图像帧各自所含特征之间的特征变化信息；
将所确定的特征变化信息与预设的动作事件参数模板进行匹配，当该特征变化信息与一个所述的参数模板相匹配时，产生该参数模板相对应的动作事件。
所述特征变化信息与所述参数模板具有相同的参数描述项，通过彼此对应的参数描述项进行比对实现彼此之间的匹配。
所述特征物为适于被以特征描述的所述视频流中的人物角色、物品角色、活动部件中任意之一，其相应的特征变化信息为该人物角色、物品角色、或活动部件在该视频流的多个连续图像帧所表现的位置和/或形状变化信息。
在对所述视频流图像进行图像识别时，调用为特征物预设的参考特征以便在视频流图像中确定所述特征物的初始状态，以确定所述特征变化信息。
接收用户对直播间提供的特征物列表中的一个或多个的选定，将被选定的特征物确定为后续进行图像识别的特征物，该特征物列表所列的特征物，以所述视频流中与该特征物相对应的缩略图进行显示。
接收针对所述预设的动作事件的响应指令的配置，将该动作事件与其对应的响应指令进行关联性存储，以供依据该动作事件确定该响应指令。
所述依据该动作事件，确定为该动作事件预设的响应指令的步骤中，当且仅当所述动作事件达到预定产生次数时，确定所述的响应指令。
所述响应指令为如下任意指令：
用于向主播用户派发电子礼品的派送指令，该指令导致产生至少发送给所述主播用户包含派送所述电子礼品的通知信息；
用于向主播用户发送预设文本的发送指令，该指令导致产生至少发送给所述主播用户包含所述文本的通知信息；
用于向直播间广播预设文本的广播指令，该指令导致直播间的多个用户接收到包含所述文本的通知信息。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述图片分类展示方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和图片分类展示方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种图片分类展示方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例图片分类展示方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种移动终端进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于视频流的直播交互方法，其特征在于，包括如下步骤：
对所接收的主播用户的视频流进行图像识别，获取该视频流中特征物的特征变化信息，以此产生对应的动作事件；
依据该动作事件，确定为该动作事件预设的响应指令；
执行所述响应指令以向直播间的至少一个用户发送响应该动作事件的反馈信息。
2.如权利要求1所述基于视频流的直播交互方法，其特征在于，所述对所接收的主播用户的视频流进行图像识别，获取该视频流中特征物的特征变化信息，以此产生对应的动作事件的步骤，包括如下具体步骤：
识别出所接收的各视频流的每个图像帧中的特征物；
当连续多个图像帧包含预设的所述特征物的特征时，确定该些图像帧各自所含特征之间的特征变化信息；
将所确定的特征变化信息与预设的动作事件参数模板进行匹配，当该特征变化信息与一个所述的参数模板相匹配时，产生该参数模板相对应的动作事件。
3.如权利要求2所述基于视频流的直播交互方法，其特征在于，所述特征变化信息与所述参数模板具有相同的参数描述项，通过彼此对应的参数描述项进行比对实现彼此之间的匹配。
4.如权利要求1所述基于视频流的直播交互方法，其特征在于，所述特征物为适于被以特征描述的所述视频流中的人物角色、物品角色、活动部件中任意之一，其相应的特征变化信息为该人物角色、物品角色、或活动部件在该视频流的多个连续图像帧所表现的位置和/或形状变化信息。
5.如权利要求1所述基于视频流的直播交互方法，其特征在于，在对所述视频流图像进行图像识别时，调用为特征物预设的参考特征以便在视频流图像中确定所述特征物的初始状态，以确定所述特征变化信息。
6.如权利要求1所述基于视频流的直播交互方法，其特征在于，还包括如下步骤：
接收用户对直播间提供的特征物列表中的一个或多个的选定，将被选定的特征物确定为后续进行图像识别的特征物，该特征物列表所列的特征物，以所述视频流中与该特征物相对应的缩略图进行显示。
7.如权利要求1所述基于视频流的直播交互方法，其特征在于，还包括如下步骤：
接收针对所述预设的动作事件的响应指令的配置，将该动作事件与其对应的响应指令进行关联性存储，以供依据该动作事件确定该响应指令。
8.如权利要求1所述基于视频流的直播交互方法，其特征在于，所述依据该动作事件，确定为该动作事件预设的响应指令的步骤中，当且仅当所述动作事件达到预定产生次数时，确定所述的响应指令。
9.如权利要求1所述基于视频流的直播交互方法，其特征在于，所述响应指令为如下任意指令：
用于向主播用户派发电子礼品的派送指令，该指令导致产生至少发送给所述主播用户包含派送所述电子礼品的通知信息；
用于向主播用户发送预设文本的发送指令，该指令导致产生至少发送给所述主播用户包含所述文本的通知信息；
用于向直播间广播预设文本的广播指令，该指令导致直播间的多个用户接收到包含所述文本的通知信息。
10.一种基于视频流的直播交互装置，其特征在于，包括：
识别模块：用于对所接收的主播用户的视频流进行图像识别，获取该视频流中特征物的特征变化信息，以此产生对应的动作事件；
确定模块：用于依据该动作事件，确定为该动作事件预设的响应指令；
发送模块：用于执行所述响应指令以向直播间的至少一个用户发送响应该动作事件的反馈信息。
CN201611177841.5A 2016-12-19 2016-12-19 基于视频流的直播交互方法及其相应的装置 Pending CN106658038A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201611177841.5A CN106658038A (zh) 2016-12-19 2016-12-19 基于视频流的直播交互方法及其相应的装置
CN202010125369.0A CN111405299B (zh) 2016-12-19 2016-12-19 基于视频流的直播交互方法及其相应的装置
PCT/CN2017/107320 WO2018113405A1 (zh) 2016-12-19 2017-10-23 基于视频流的直播交互方法及其相应的装置
US16/467,383 US20200099960A1 (en) 2016-12-19 2017-10-23 Video Stream Based Live Stream Interaction Method And Corresponding Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611177841.5A CN106658038A (zh) 2016-12-19 2016-12-19 基于视频流的直播交互方法及其相应的装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010125369.0A Division CN111405299B (zh) 2016-12-19 2016-12-19 基于视频流的直播交互方法及其相应的装置

Publications (1)

Publication Number Publication Date
CN106658038A true CN106658038A (zh) 2017-05-10

Family

ID=58833388

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201611177841.5A Pending CN106658038A (zh) 2016-12-19 2016-12-19 基于视频流的直播交互方法及其相应的装置
CN202010125369.0A Active CN111405299B (zh) 2016-12-19 2016-12-19 基于视频流的直播交互方法及其相应的装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010125369.0A Active CN111405299B (zh) 2016-12-19 2016-12-19 基于视频流的直播交互方法及其相应的装置

Country Status (3)

Country Link
US (1) US20200099960A1 (zh)
CN (2) CN106658038A (zh)
WO (1) WO2018113405A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107124664A (zh) * 2017-05-25 2017-09-01 百度在线网络技术（北京）有限公司 应用于视频直播的交互方法和装置
CN107569848A (zh) * 2017-08-30 2018-01-12 武汉斗鱼网络科技有限公司 一种游戏分类方法、装置及电子设备
CN107911736A (zh) * 2017-11-21 2018-04-13 广州华多网络科技有限公司 直播互动方法及系统
CN107911724A (zh) * 2017-11-21 2018-04-13 广州华多网络科技有限公司 直播互动方法、装置及系统
CN108024134A (zh) * 2017-11-08 2018-05-11 北京密境和风科技有限公司 一种基于直播的数据分析方法、装置和终端设备
WO2018113405A1 (zh) * 2016-12-19 2018-06-28 广州虎牙信息科技有限公司 基于视频流的直播交互方法及其相应的装置
CN108737846A (zh) * 2018-05-25 2018-11-02 广州虎牙信息科技有限公司 直播间显示方法、装置、服务器和介质
CN108769821A (zh) * 2018-05-25 2018-11-06 广州虎牙信息科技有限公司 游戏场景描述方法、装置、设备及存储介质
CN109040849A (zh) * 2018-07-20 2018-12-18 广州虎牙信息科技有限公司 一种直播平台交互方法、装置、设备及存储介质
CN109104619A (zh) * 2018-09-28 2018-12-28 联想(北京)有限公司 用于直播的图像处理方法和装置
CN109151541A (zh) * 2017-06-28 2019-01-04 武汉斗鱼网络科技有限公司 主播离开的提示弹框的实现方法、存储介质、设备及系统
CN109407923A (zh) * 2018-09-30 2019-03-01 武汉斗鱼网络科技有限公司 一种直播连麦互动的方法、装置及可读存储介质
WO2019042064A1 (zh) * 2017-08-30 2019-03-07 乐蜜有限公司 一种基于直播的事件提醒方法及装置
CN110166786A (zh) * 2018-05-11 2019-08-23 腾讯科技（深圳）有限公司 虚拟物品转移方法及装置
CN110475155A (zh) * 2019-08-19 2019-11-19 北京字节跳动网络技术有限公司 直播视频热度状态识别方法、装置、设备及可读介质
CN110830811A (zh) * 2019-10-31 2020-02-21 广州酷狗计算机科技有限公司 直播互动方法及装置、系统、终端、存储介质
CN111246227A (zh) * 2020-01-06 2020-06-05 北京达佳互联信息技术有限公司 弹幕发布方法及设备
CN111314722A (zh) * 2020-02-12 2020-06-19 北京达佳互联信息技术有限公司 剪辑提示方法、装置及电子设备、存储介质
CN111541951A (zh) * 2020-05-08 2020-08-14 腾讯科技（深圳）有限公司 基于视频的交互处理方法、装置、终端及可读存储介质
CN112804557A (zh) * 2021-01-26 2021-05-14 广州虎牙科技有限公司 交互方法、系统、装置、电子设备及存储介质

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107241644B (zh) * 2017-05-31 2018-09-07 腾讯科技（深圳）有限公司 一种视频直播过程中的图像处理方法和装置
CN110135246B (zh) * 2019-04-03 2023-10-20 平安科技（深圳）有限公司 一种人体动作的识别方法及设备
CN110300335B (zh) * 2019-05-08 2021-08-10 北京字节跳动网络技术有限公司 针对虚拟礼物的消息推送方法及电子设备
CN111147885B (zh) 2020-01-03 2021-04-02 北京字节跳动网络技术有限公司 直播间互动方法、装置、可读介质及电子设备
CN111597942B (zh) * 2020-05-08 2023-04-18 上海达显智能科技有限公司 一种智能宠物训导、陪伴方法、装置、设备及存储介质
CN111861561B (zh) * 2020-07-20 2024-01-26 广州华多网络科技有限公司 广告信息定位、展示方法及其相应的装置、设备、介质
CN111888770A (zh) * 2020-08-13 2020-11-06 网易（杭州）网络有限公司 多人游戏的匹配方法、装置和服务器
CN112153400B (zh) * 2020-09-22 2022-12-06 北京达佳互联信息技术有限公司 直播互动方法、装置、电子设备及存储介质
CN112153409B (zh) * 2020-09-29 2022-08-19 广州虎牙科技有限公司 直播方法、装置、直播接收端及存储介质
CN114501040B (zh) * 2020-11-13 2024-01-30 腾讯科技（深圳）有限公司 直播视频流的获取方法、装置、设备及存储介质
CN112492336B (zh) * 2020-11-20 2023-03-31 完美世界(北京)软件科技发展有限公司 礼物发送方法、装置、电子设备及可读介质
CN112788354A (zh) * 2020-12-28 2021-05-11 北京达佳互联信息技术有限公司 直播互动方法、装置、电子设备、存储介质及程序产品
CN115037988B (zh) * 2021-03-05 2024-05-14 北京字节跳动网络技术有限公司 页面的显示方法、装置及设备
CN112905077B (zh) * 2021-03-23 2022-07-01 腾讯科技（深圳）有限公司 直播互动方法和装置、存储介质及电子设备
CN113194323B (zh) * 2021-04-27 2023-11-10 口碑(上海)信息技术有限公司 信息交互方法、多媒体信息互动方法以及装置
CN113190118A (zh) * 2021-04-29 2021-07-30 北京市商汤科技开发有限公司 交互方法、装置、设备及存储介质
CN113395532B (zh) * 2021-05-21 2022-09-02 腾讯科技（深圳）有限公司 一种直播互动方法、装置、计算机设备及存储介质
CN113329234B (zh) * 2021-05-28 2022-06-10 腾讯科技（深圳）有限公司 直播互动方法及相关设备
CN113382274B (zh) * 2021-05-31 2023-01-20 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质
CN113542781B (zh) * 2021-06-17 2024-03-01 广州虎牙科技有限公司 直播间游戏互动方法及相关装置
CN113747249A (zh) * 2021-07-30 2021-12-03 北京达佳互联信息技术有限公司 直播问题的处理方法、装置及电子设备
CN113709512A (zh) * 2021-08-26 2021-11-26 广州虎牙科技有限公司 直播数据流交互方法、装置、服务器及可读存储介质
CN113780217B (zh) * 2021-09-16 2024-08-02 中国平安人寿保险股份有限公司 直播辅助提示方法、装置、计算机设备及存储介质
CN114143568B (zh) * 2021-11-15 2024-02-09 上海盛付通电子支付服务有限公司 一种用于确定增强现实直播图像的方法与设备
CN114143572B (zh) * 2021-12-09 2024-05-31 杭州网易云音乐科技有限公司 直播交互方法、装置、存储介质、电子设备
JP7071718B1 (ja) * 2021-12-27 2022-05-19 １７Ｌｉｖｅ株式会社 サーバ及び方法
CN114339293B (zh) * 2021-12-30 2024-02-27 咪咕文化科技有限公司 图片形变方法、服务器及可读存储介质
CN114302161A (zh) * 2021-12-30 2022-04-08 广州方硅信息技术有限公司 视频流审核控制方法及其装置、设备、介质
CN114531603B (zh) * 2022-02-10 2024-03-22 广联达科技股份有限公司 一种视频流的图像处理方法、系统及电子设备
CN114733200B (zh) * 2022-03-30 2022-10-21 慧之安信息技术股份有限公司 基于模拟输入的游戏自动控制方法和系统
CN115190339B (zh) * 2022-09-13 2024-04-30 北京达佳互联信息技术有限公司 直播信息发送方法、装置、电子设备、存储介质
US11943516B1 (en) * 2022-10-21 2024-03-26 Hytto Pte. Ltd. System and method for interactive web-browsing via user equipment
CN116233473A (zh) * 2023-01-29 2023-06-06 北京达佳互联信息技术有限公司 对象识别方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090249387A1 (en) * 2008-03-31 2009-10-01 Microsoft Corporation Personalized Event Notification Using Real-Time Video Analysis
CN103118227A (zh) * 2012-11-16 2013-05-22 佳都新太科技股份有限公司 一种基于kinect的摄像机PTZ控制方法、装置和系统
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN106131692A (zh) * 2016-07-14 2016-11-16 广州华多网络科技有限公司 基于视频直播的互动控制方法、装置及服务器
CN106162369A (zh) * 2016-06-29 2016-11-23 腾讯科技（深圳）有限公司 一种实现虚拟场景中互动的方法、装置及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7445550B2 (en) * 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US20090131151A1 (en) * 2006-09-01 2009-05-21 Igt Automated Techniques for Table Game State Tracking
US9092910B2 (en) * 2009-06-01 2015-07-28 Sony Computer Entertainment America Llc Systems and methods for cloud processing and overlaying of content on streaming video frames of remotely processed applications
CN103745228B (zh) * 2013-12-31 2017-01-11 清华大学 基于Fréchet距离的动态手势识别方法
US11351466B2 (en) * 2014-12-05 2022-06-07 Activision Publishing, Ing. System and method for customizing a replay of one or more game events in a video game
CN104468616B (zh) * 2014-12-24 2019-04-05 广州华多网络科技有限公司 一种图片验证码的生成方法及客户端
US9330726B1 (en) * 2015-10-09 2016-05-03 Sports Logic Group, LLC System capable of integrating user-entered game event data with corresponding video data
CN105338370A (zh) * 2015-10-28 2016-02-17 北京七维视觉科技有限公司 一种在视频中实时合成动画的方法和装置
CN105847124B (zh) * 2016-04-28 2019-03-15 北京小米移动软件有限公司 用于对社交网络信息点赞的方法、装置、服务器及终端
CN106060572A (zh) * 2016-06-08 2016-10-26 乐视控股（北京）有限公司 视频播放方法及装置
CN106157006A (zh) * 2016-06-30 2016-11-23 广州华多网络科技有限公司 基于在线直播的虚拟礼物赠送方法及装置
CN106658038A (zh) * 2016-12-19 2017-05-10 广州虎牙信息科技有限公司 基于视频流的直播交互方法及其相应的装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090249387A1 (en) * 2008-03-31 2009-10-01 Microsoft Corporation Personalized Event Notification Using Real-Time Video Analysis
CN103118227A (zh) * 2012-11-16 2013-05-22 佳都新太科技股份有限公司 一种基于kinect的摄像机PTZ控制方法、装置和系统
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN106162369A (zh) * 2016-06-29 2016-11-23 腾讯科技（深圳）有限公司 一种实现虚拟场景中互动的方法、装置及系统
CN106131692A (zh) * 2016-07-14 2016-11-16 广州华多网络科技有限公司 基于视频直播的互动控制方法、装置及服务器

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018113405A1 (zh) * 2016-12-19 2018-06-28 广州虎牙信息科技有限公司 基于视频流的直播交互方法及其相应的装置
CN107124664A (zh) * 2017-05-25 2017-09-01 百度在线网络技术（北京）有限公司 应用于视频直播的交互方法和装置
CN109151541A (zh) * 2017-06-28 2019-01-04 武汉斗鱼网络科技有限公司 主播离开的提示弹框的实现方法、存储介质、设备及系统
CN109151541B (zh) * 2017-06-28 2021-04-27 武汉斗鱼网络科技有限公司 主播离开的提示弹框的实现方法、存储介质、设备及系统
CN107569848A (zh) * 2017-08-30 2018-01-12 武汉斗鱼网络科技有限公司 一种游戏分类方法、装置及电子设备
WO2019042064A1 (zh) * 2017-08-30 2019-03-07 乐蜜有限公司 一种基于直播的事件提醒方法及装置
US11190853B2 (en) 2017-08-30 2021-11-30 Joyme Pte. Ltd. Event prompting method and apparatus based on live broadcasting
CN108024134B (zh) * 2017-11-08 2020-01-21 北京密境和风科技有限公司 一种基于直播的数据分析方法、装置和终端设备
CN108024134A (zh) * 2017-11-08 2018-05-11 北京密境和风科技有限公司 一种基于直播的数据分析方法、装置和终端设备
CN107911724A (zh) * 2017-11-21 2018-04-13 广州华多网络科技有限公司 直播互动方法、装置及系统
CN107911724B (zh) * 2017-11-21 2020-07-07 广州华多网络科技有限公司 直播互动方法、装置及系统
CN107911736A (zh) * 2017-11-21 2018-04-13 广州华多网络科技有限公司 直播互动方法及系统
CN110166786A (zh) * 2018-05-11 2019-08-23 腾讯科技（深圳）有限公司 虚拟物品转移方法及装置
CN108769821A (zh) * 2018-05-25 2018-11-06 广州虎牙信息科技有限公司 游戏场景描述方法、装置、设备及存储介质
CN108769821B (zh) * 2018-05-25 2019-03-29 广州虎牙信息科技有限公司 游戏场景描述方法、装置、设备及存储介质
CN108737846B (zh) * 2018-05-25 2019-06-14 广州虎牙信息科技有限公司 直播间显示方法、装置、服务器和介质
CN108737846A (zh) * 2018-05-25 2018-11-02 广州虎牙信息科技有限公司 直播间显示方法、装置、服务器和介质
CN109040849B (zh) * 2018-07-20 2021-08-31 广州虎牙信息科技有限公司 一种直播平台交互方法、装置、设备及存储介质
CN113630651B (zh) * 2018-07-20 2023-11-14 广州虎牙信息科技有限公司 一种直播方法、设备及存储介质
CN113630651A (zh) * 2018-07-20 2021-11-09 广州虎牙信息科技有限公司 一种直播方法、设备及存储介质
CN109040849A (zh) * 2018-07-20 2018-12-18 广州虎牙信息科技有限公司 一种直播平台交互方法、装置、设备及存储介质
CN109104619A (zh) * 2018-09-28 2018-12-28 联想(北京)有限公司 用于直播的图像处理方法和装置
CN109407923A (zh) * 2018-09-30 2019-03-01 武汉斗鱼网络科技有限公司 一种直播连麦互动的方法、装置及可读存储介质
CN110475155A (zh) * 2019-08-19 2019-11-19 北京字节跳动网络技术有限公司 直播视频热度状态识别方法、装置、设备及可读介质
CN110830811A (zh) * 2019-10-31 2020-02-21 广州酷狗计算机科技有限公司 直播互动方法及装置、系统、终端、存储介质
CN110830811B (zh) * 2019-10-31 2022-01-18 广州酷狗计算机科技有限公司 直播互动方法及装置、系统、终端、存储介质
CN111246227A (zh) * 2020-01-06 2020-06-05 北京达佳互联信息技术有限公司 弹幕发布方法及设备
CN111314722A (zh) * 2020-02-12 2020-06-19 北京达佳互联信息技术有限公司 剪辑提示方法、装置及电子设备、存储介质
CN111541951A (zh) * 2020-05-08 2020-08-14 腾讯科技（深圳）有限公司 基于视频的交互处理方法、装置、终端及可读存储介质
CN112804557A (zh) * 2021-01-26 2021-05-14 广州虎牙科技有限公司 交互方法、系统、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111405299B (zh) 2022-03-01
WO2018113405A1 (zh) 2018-06-28
CN111405299A (zh) 2020-07-10
US20200099960A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
CN111405299B (zh) 基于视频流的直播交互方法及其相应的装置
CN108235086B (zh) 视频播放控制方法、装置及相应的终端
CN109905754B (zh) 虚拟礼物收取方法、装置及存储设备
EP3993427A1 (en) Method, apparatus and system for configuring live broadcast task target
CN108737904B (zh) 一种视频数据处理方法及移动终端
CN107817939B (zh) 一种图像处理方法及移动终端
CN110933511B (zh) 一种视频分享方法、电子设备及介质
US20150215450A1 (en) Terminal device and content displaying method thereof, server and controlling method thereof
CN109525874B (zh) 一种截屏方法及终端设备
CN111491197B (zh) 一种直播内容展示的方法、装置及存储介质
CN113132787A (zh) 一种直播内容展示方法、装置、电子设备及存储介质
WO2020156168A1 (zh) 信息显示方法及终端
CN108920069B (zh) 一种触控操作方法、装置、移动终端和存储介质
CN111726525A (zh) 视频录制方法、装置、电子设备及存储介质
CN112969087B (zh) 一种信息展示方法、客户端、电子设备及存储介质
US11165950B2 (en) Method and apparatus for shooting video, and storage medium
CN110650294A (zh) 视频拍摄方法、移动终端及可读存储介质
US20170336935A1 (en) Method, device for displaying reference content and storage medium thereof
CN110855921B (zh) 一种视频录制控制方法及电子设备
CN112435069A (zh) 一种广告投放方法、装置、电子设备及存储介质
WO2020156112A1 (zh) 终端的操作控制方法及终端
CN109166164B (zh) 一种表情图片的生成方法及终端
CN110913261A (zh) 一种多媒体文件的生成方法及电子设备
CN107864408A (zh) 信息展示方法、装置及系统
CN110221741B (zh) 图标管理方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510