JP2018029325A - ライブ配信に応用する対話型方法及び装置 - Google Patents

ライブ配信に応用する対話型方法及び装置 Download PDF

Info

Publication number
JP2018029325A
JP2018029325A JP2017023640A JP2017023640A JP2018029325A JP 2018029325 A JP2018029325 A JP 2018029325A JP 2017023640 A JP2017023640 A JP 2017023640A JP 2017023640 A JP2017023640 A JP 2017023640A JP 2018029325 A JP2018029325 A JP 2018029325A
Authority
JP
Japan
Prior art keywords
interaction
live video
client
live
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017023640A
Other languages
English (en)
Other versions
JP6629774B2 (ja
Inventor
ハオ ユンフェン
Yunfeng Hao
ハオ ユンフェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2018029325A publication Critical patent/JP2018029325A/ja
Application granted granted Critical
Publication of JP6629774B2 publication Critical patent/JP6629774B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Abstract

【課題】ライブ配信者が視聴者とやりとりする時にライブ配信者の操作を簡略化する一方、現在のライブ内容を一時的に停止する必要がないライブ配信対話型方法及び装置を提供する。【解決手段】対話型方法２００は、配信者側のクライアントが送信した、ビデオストリームとオーディオストリームとを含むライブビデオを受信し２０１、オーディオストリームに対して音声認識を行ってキーワードを取得し２０２、キーワードに対応するインタラクションコマンドを確定し２０３、ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信し２０４、視聴者側のクライアントの放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示するステップとを含む。【選択図】図２

Description

本願はコンピュータ分野、具体的にネットワーク技術分野、特にライブ配信に応用する対話型方法及び装置に関する。
ライブ配信において、ライブ配信者（broadcasting jockey）は視聴者とやりとりする必要がある。現在、ライブ配信者と視聴者との間のやりとりは、ライブ配信者が手動で完成する必要がある。例えば、ライブ配信者が視聴者から送られた仮想ギフトに感謝すべき時に、当時のライブ内容を一時的に停止し、文字、ピクチャーを入力して視聴者とやりとりする必要がある。ライブ配信者と視聴者とのやりとりが面倒である一方、ライブ配信者が視聴者とやりとりする必要がある時に、現在のライブ内容を一時的に停止する必要があって、ライブの流暢さに影響する。
本願は上記の背景技術部分に存在する技術的課題を解決するために、ライブ配信に応用する対話型方法及び装置を提供する。
第一の態様において、本願はライブ配信に応用する対話型方法を提供し、当該方法は、配信者側のクライアントが送信した、デオストリームとオーディオストリームとを含むライブビデオを受信するステップと、オーディオストリームに対して音声認識を行ってキーワードを取得するステップと、キーワードに対応するインタラクションコマンドを確定するステップと、ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信して視聴者側のクライアントの放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示するステップと、を含んでおり、ここで、ライブビデオは、配信者側のクライアントがリアルタイムに制作することで生成される。
第二の態様において、本願はライブ配信に応用する対話型方法を提供し、当該方法は、サーバが送信した、ライブビデオとインタラクションコマンドとを受信するステップと、インタラクションコマンドに対応するインタラクション対象を確定するステップと、放送インタフェースにライブビデオとインタラクション対象とを表示するステップと、を含んでおり、ここで、ライブビデオは、ビデオストリームとオーディオストリームとを含んで、配信者側のクライアントがリアルタイムに制作することで生成され、インタラクションコマンドは、サーバがオーディオストリームに対して音声認識を行った後に取得したキーワードに基づいて確定される。
第三の態様において、本願はライブ配信に応用する対話型装置を提供し、当該装置は、配信者側のクライアントが送信した、デオストリームとオーディオストリームとを含むライブビデオを受信するライブビデオ受信ユニットと、
オーディオストリームに対して音声認識を行ってキーワードを取得するために配置される認識ユニットと、キーワードに対応するインタラクションコマンドを確定するために配置される確定ユニットと、ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信して視聴者側のクライアントの放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示する送信ユニットと、を備えており、ここで、ライブビデオは、配信者側のクライアントがリアルタイムに制作することで生成される。
第四の態様において、本願はライブ配信に応用する対話型装置を提供し、当該装置は、サーバが送信した、ライブビデオとインタラクションコマンドとを受信するために配置される受信ユニットと、インタラクションコマンドに対応するインタラクション対象を確定するために配置されるインタラクション対象確定ユニットと、放送インタフェースにライブビデオとインタラクション対象とを表示するために配置される表示ユニットと、を備えており、ここで、ライブビデオは、ビデオストリームとオーディオストリームとを含んで、配信者側のクライアントがリアルタイムに制作することで生成され、インタラクションコマンドは、サーバがオーディオストリームに対して音声認識を行った後に取得したキーワードに基づいて確定される。
本願が提供したライブ配信に応用する対話型方法及び装置は、配信者側のクライアントが送信した、デオストリームとオーディオストリームとを含むライブビデオを受信し、オーディオストリームに対して音声認識を行ってキーワードを取得し、キーワードに対応するインタラクションコマンドを確定し、ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信して視聴者側のクライアントの放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示し、ここで、ライブビデオは、配信者側のクライアントがリアルタイムに制作することで生成される。ライブ配信者が視聴者とやりとりする時にのライブ配信者の操作を簡略化する一方、現在のライブ内容を一時的に停止する必要がなく、ライブ配信の流暢さを保持する。
以下、図面を参照しながら非限定的な実施例を詳細に説明することにより、本発明の他の特徴、目的、および利点は、より明らかになる。
本願に係るライブ配信に応用する対話型方法又は装置の実施例に応用可能な例示的なシステムアーキテクチャを示している。 本願に係るライブ配信に応用する対話型方法の一実施例のフローチャートを示している。 本願に係るライブ配信に応用する対話型方法の他の一実施例のフローチャートを示している。 本願に係る配信者側のクライアント、サーバ、視聴者側のクライアントの１つの対話の概略図を示している。 本願に係るライブ配信に応用する対話型方法に適用される１つの例示的なアーキテクチャ図を示している。 本願に係るライブ配信に応用する対話型装置の一実施例の構造略図を示している。 本願に係るライブ配信に応用する対話型装置の他の一実施例の構造概略図を示している。 本願に係る実施例を実現するためのライブ配信に応用する対話型装置に適用されるコンピュータシステムの構造概略図を示す。
以下、図面および実施例を参照しながら、本発明をさらに詳しく説明する。ただし、ここで説明されている具体的な実施例は、係る発明を解釈するためのものに過ぎず、本発明の範囲を制限するものではないと理解されるべきである。また、説明の便宜上、図面に本発明と関連する部分のみが示されている。
ただし、衝突がない限り、本願における実施例、および実施例における特徴は、互いに組み合せてもよい。以下、図面を参照しながら実施例に基づいて本発明を詳細に説明する。
図１は本願に係るライブ配信に応用する対話型方法又は装置の実施例に応用可能な例示的なシステムアーキテクチャ１００を示している。
図１に示すように、システムアーキテクチャ１００は配信者側のクライアント１０１、サーバ１０２、及び視聴者側のクライアント１０３を備えてもよい。
ネットワーク１０４は配信者側のクライアント１０１とサーバ１０２との間に伝送リンクの媒体を提供する。ネットワーク１０４は各種の有線、無線伝送リンクを含んでもよい。ネットワーク１０５はサーバ１０２と視聴者側のクライアント１０３との間に伝送リンクの媒体を提供する。ネットワーク１０５は各種の有線、無線伝送リンクを含んでもよい。
配信者側のクライアント１０１のユーザ（ネットワークのライブ配信者とも呼んでもよい）は配信者側のクライアント１０１が位置する端末上のデバイス（例えば、カメラ、マイク）を利用してライブ内容に対応する画像、音声を収集して、リアルタイムにライブビデオを制作することができる。配信者側のクライアント１０１はリアルタイムに制作されるライブビデオをサーバ１０２に送信することができる。サーバ１０２は配信者側のクライアント１０１が送信したライブビデオを受信し、ライブビデオを視聴者側のクライアント１０３に送信することができる。視聴者側のクライアント１０３はライブビデオを受信した後に、ライブビデオを放送することができる。
本願に係るライブ配信に応用する対話型方法の一実施例のフローチャートを示している図２を参照する。本願実施例が提供するライブ配信に応用する対話型方法は、図１におけるサーバ１０２により実行されてもよく、相応に、ライブ配信に応用する対話型装置はサーバ１０２に設置されてもよいことを説明すべきである。当該方法は、以下のステップを含む。
ステップ２０１：配信者側のクライアントが送信したライブビデオを受信する。
本実施例において、配信者側のクライアントのユーザ（ネットワークライブ配信者とも呼んでもよい）はライブビデオを制作する時に、配信者側のクライアントが位置する端末のカメラを利用してライブ内容に対応する画像を収集することができ、配信者側のクライアントが所在する端末のマイクを利用して音声（例えば、ネットワークライブ配信者の音声）を収集することができる。配信者側のクライアントが画像と音声を収集した後に、画像と音声をコーディングして、ビデオストリームとオーディオストリームとを含むライブビデオを取得することができる。
ステップ２０２：オーディオストリームに対して音声認識を行ってキーワードを取得する。
実施例において、ステップ２０１によって配信者側のクライアントが送信したライブビデオを受信した後に、ライブビデオにおけるビデオストリームとオーディオストリームのコーディング方式に従って、ライブビデオをデコーディングして、ライブビデオにおけるオーディオストリームを抽出することができる。
本実施例において、オーディオストリームを抽出した後に、オーディオストリームに対して音声認識を行ってキーワードを取得することができる。本実施例において、キーワードは、視聴者側のクライアントのユーザとのやりとりに関連する単語でもよい。例えば、キーワードは、視聴者側のクライアントのユーザから送られた仮想ギフトに感謝する単語でもよい。オーディオストリームには配信者側のクライアントのユーザの音声が含まれ、配信者側のクライアントのユーザが視聴者側のクライアントのユーザから送られた仮想ギフトに感謝することを例として、オーディオストリームに感謝を表すキーワード、例えば「ありがとうございます」に対応する音声信号が含まれ、オーディオストリームに対して音声認識を行うことで当該キーワードを取得できる。
本実施例の幾つかの選択可能な実現方式において、オーディオストリームに対して音声認識を行ってキーワードを取得するステップにおいては、オーディオストリームに音声認識を行ってオーディオストリームに対応するステートメントを取得するステップと、ステートメントを分割して単語の集合を取得するステップと、単語の集合のうち予め設定されたキーワードとマッチングするキーワードを検出ステップと、を含む。
本実施例において、配信者側のクライアントのユーザと視聴者側のクライアントのユーザがライブ配信のやりとりにおいてよく応用される単語、例えば「ありがとうございます」、「愛している」、「花」を所定のキーワードとして予め配置することができる。受信したライブビデオにおけるオーディオストリームに対して音声認識を行ってオーディオストリームに対応する文を取得することができる。それから、文を分割して、単語の集合を取得することができる。当該単語の集合のうち予め設定されたキーワードとマッチングするキーワードを検出ことができる。
ステップ２０３：キーワードに対応するインタラクションコマンドを確定する。
本実施例において、ステップ２０２によってライブビデオにおけるオーディオストリームに対して音声認識を行ってキーワードを取得した後、キーワードに対応するインタラクションコマンドを確定することができる。例えば、オーディオストリームには配信者側のクライアントのユーザの音声が含まれ、当該音声には「愛している」、「花」等の単語に対応する音声信号が含まれる時に、オーディオストリームに対して認識を行って、キーワードの「愛している」、「花」を認識し得る。キーワードの「愛している」に対応するインタラクションコマンドは、視聴者側のクライアントの放送インタフェースにインタラクション対象（例えば、ハート形のピクチャー）を表示することをトリガーすることに用いられてもよい。キーワードの「花」に対応するインタラクションコマンドは、視聴者側のクライアントの放送インタフェースにインタラクション対象（例えば、花のピクチャー）を表示することをトリガーすることに用いられてもよい。
ステップ２０４：ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信する。
本実施例において、ステップ２０３によってキーワードに対応するインタラクションコマンドを確定した後に、インタラクションコマンドとライブビデオを視聴者側のクライアントに送信することができる。これにより、視聴者側のクライアントがインタラクションコマンドとライブビデオを受信した後に、放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示することができる。
本実施例の幾つかの選択可能な実現方式において、インタラクションコマンドに対応するインタラクション対象は、アニメーション、ピクチャー、及び絵文字を含む。
本実施例において、ステップ２０３によってキーワードに対応するインタラクションコマンドを確定した後に、インタラクションコマンドとライブビデオを視聴者側のクライアントに送信することができる。これにより、視聴者側のクライアントがインタラクションコマンドとライブビデオを受信した後に、ライブビデオにインタラクションコマンドに対応するアニメーション、ピクチャー、絵文字を表示することができる。配信者側のクライアントのユーザはアニメーション、ピクチャー、絵文字を利用して視聴者側のクライアントのユーザとやりとりすることができる。
本実施例の幾つかの選択可能な実現方式において、キーワードに対応する音声信号がライブビデオに出現する時点を確定するステップと、時点を含むタイムスタンプ情報を生成するステップと、タイムスタンプ情報を視聴者側のクライアントに送信するステップとを、更に含む。
本実施例において、オーディオストリームに対して音声認識を行ってキーワードを取得するとともに、キーワードに対応する音声信号がライブビデオに出現する時点を確定することができる。当該時点を含むタイムスタンプ情報を生成して視聴者側のクライアントに送信することができる。これにより、視聴者側のクライアントがインタラクションコマンドとライブビデオを受信した時に、当該タイムスタンプ情報に基づいて、キーワードに対応する音声信号がライブビデオに出現する時点を確定して、インタラクションコマンドに対応するインタラクション対象を、放送インタフェースのライブビデオにおける当該時点に対応する映像フレームに重ね合わせて表示する。
本願に係るライブ配信に応用する対話型方法の他の一実施例のフローチャートを示している図３を参照する。本願実施例が提供するライブ配信に応用する対話型方法は、図１におけるサーバ１０２により実行されてもよく、相応に、ライブ配信に応用する対話型装置はサーバ１０２に設置されてもよいことを説明すべきである。当該方法は、以下のステップを含む。
ステップ３０１：サーバが送信したライブビデオとインタラクションコマンドを受信する。
本実施例において、ライブビデオは、配信者側のクライアントがリアルタイムに制作することで生成され、ビデオストリームとオーディオストリームとを含む。
本実施例において、視聴者側のクライアントによってライブ配信を視聴する時に、サーバが送信したライブビデオとインタラクションコマンドを受信することができる。インタラクションコマンドは、サーバがライブビデオにおけるオーディオストリームに対して音声認識を行った後に取得したキーワードに基づいて確定されることができる。
例えば、サーバは受信した配信者側のクライアントにより送信されたライブビデオをデコーディングして、ライブビデオにおけるオーディオストリームを抽出することができる。オーディオストリームを抽出した後に、サーバはオーディオストリームに対して音声認識を行ってキーワードを取得することができる。オーディオストリームには配信者側のクライアントのユーザの音声が含まれ、配信者側のクライアントのユーザが視聴者側のクライアントのユーザがから送られた仮想ギフトに対して感謝することを例として、オーディオストリームに感謝を表すキーワード、例えば「ありがとうございます」に対応する音声信号が含まれ、サーバはオーディオストリームに対して音声認識を行って当該キーワードを取得する。この時に、サーバが送信した当該キーワードに対応するインタラクションコマンドを受信することができる。
ステップ３０２：インタラクションコマンドに対応するインタラクション対象を確定する。
本実施例において、ステップ３０１によってサーバが送信したライブビデオとインタラクションコマンドを受信した後に、インタラクションコマンドに対応するインタラクション対象を確定することができる。
例えば、ライブビデオのオーディオストリームにおける、配信者側のクライアントのユーザの音声には「ありがとうございます」、「愛している」のキーワードが含まれる時に、「ありがとうございます」、「愛している」がそれぞれ１つのインタラクションコマンドに対応し、各インタラクションコマンドは１つのインタラクション対象に対応する。
本実施例において、インタラクションコマンドに対応するインタラクション対象は、アニメーション、ピクチャー、及び絵文字を含むが、それらに限られていない。
ステップ３０３：放送インタフェースにライブビデオとインタラクション対象とを表示する。
本実施例において、ステップ３０２によってインタラクションコマンドに対応するインタラクション対象を確定した後に、ライブビデオにインタラクション対象を表示することができる。
ライブビデオのオーディオストリームにおける、配信者側のクライアントのユーザの音声には「ありがとうございます」、「愛している」のキーワードが含まれる時に、即ち、配信者側のクライアントのユーザがライブ配信において「ありがとうございます」、「愛している」と言った時に、「ありがとうございます」、「愛している」に対応するインタラクションコマンドを受信することができる。インタラクションコマンドに対応するインタラクション対象、例えば、アニメーション、ピクチャー、絵文字を確定することができる。放送インタフェースに「ありがとうございます」、「愛している」に対応するインタラクション対象を表示することができ、即ち、「ありがとうございます」、「愛している」に対応するアニメーション、ピクチャー、絵文字をライブビデオに重ね合わせて表示する。
本実施例の幾つかの選択可能な実現方式において、サーバが送信したタイムスタンプ情報を受信するステップを更に含み、タイムスタンプ情報はキーワードに対応する音声信号がライブビデオに出現する時点を含んで、当該時点に放送インタフェースにおいてインタラクション対象を表示する。
本実施例において、サーバが送信したタイムスタンプ情報を受信することができ、タイムスタンプ情報はキーワードに対応する音声信号がライブビデオに出現する時点を含む。キーワードに対応する音声信号がライブビデオに出現する時点に基づいて、ライブビデオの当該時点に対応する映像フレームにインタラクション対象を重ねわせて表示することができる。
本願の配信者側のクライアント、サーバ、視聴者側のクライアントの１つの対話の概略図を示している図４を参照する。
配信者側のクライアントは画像と音声を収集し、ライブビデオを制作する。ライブクライアントはリアルタイムにライブ内容に対応する画像と音声を収集して、リアルタイムにライブビデオを制作することができる。
配信者側のクライアントはライブビデオをサーバに送信する。
サーバはライブビデオからオーディオを抽出、ライブビデオにおけるオーディオストリームに対して音声認識を行ってキーワードを取得し、キーワードに対応するインタラクションコマンドを確定する。各キーワードは１つのインタラクションコマンドに対応し、各インタラクションコマンドは１つのインタラクション対象に対応する。
サーバはインタラクションコマンドとライブビデオを視聴者側のクライアントに送信する。
視聴者側のクライアントにライブビデオとインタラクションコマンドとを表示する。視聴者側のクライアントは放送インタフェースにおいてライブビデオを放送し、しかもライブビデオにインタラクションコマンドに対応するインタラクション対象を表示することができる。
本実施例において、配信者側のクライアントのユーザがネットワークライブを行う時に、ライブ配信者の音声に対して認識を行って、インタラクションコマンドを取得し、視聴者側のクライアントにライブビデオを放送するとともに、インタラクションコマンドに対応するインタラクション対象を表示する。これにより、配信者側のクライアントのユーザがライブ内容を一時的に停止する必要がない場合に視聴者側のクライアントのユーザとやりとりを行う。例えば、配信者側のクライアントのユーザがライブ配信において「ありがとうございます」、「愛している」と言った時に、視聴者側のクライアントの放送インタフェースに「ありがとうございます」、「愛している」に対応するアニメーション、ピクチャー、絵文字を表示することができる。
本願に係るライブ配信に応用する対話型方法に適用される１つの例示的なアーキテクチャ図を示している図５を参照する。
図５において、ライブクライアントシステム、ライブサーバシステムを示している。ライブクライアントシステムは、オーディオ・ビデオ収集モジュールとインタラクション表示モジュールとを備える。オーディオ・ビデオ収集モジュールは、配信者側のクライアントに配置されてもよく、配信者側のクライアントにおいて、オーディオ・ビデオ情報、即ち、ライブ内容に対応する画像、音声を収集し、ライブサーバシステムのオーディオ・ビデオ受信モジュールに送信する。インタラクション表示モジュールは視聴者側のクライアントに配置されてもよく、ライブサーバシステムのインタラクション処理モジュールが送信したインタラクションコマンドを受信し、かつインタラクションコマンドに従って、視聴者側のクライアントにインタラクションコマンドに対応するインタラクション対象を表示することができる。ライブサーバシステムはサーバに配置されてもよく、ライブサーバシステムは、オーディオ・ビデオ受信モジュールと、オーディオ・ビデオ処理モジュールと、音声認識モジュールと、自然言語処理モジュールと、インタラクションコマンドモジュールと、インタラクション処理モジュールとを備える。オーディオ・ビデオ受信モジュールはライブクライアントが収集したオーディオ・ビデオ情報を受信し、受信したオーディオ・ビデオ情報をオーディオ・ビデオ処理モジュールに送信することに用いられてもよい。オーディオ・ビデオ処理モジュールは、オーディオ・ビデオ情報におけるオーディオ情報を解析し、オーディオ情報を音声認識モジュールに送信することに用いられてもよい。音声認識モジュールはオーディオ情報からテキスト情報を認識することに用いられてもよい。自然音声処理モジュールはテキスト情報に対して分割を行って、キーワードリストを取得することに用いられてもよい。インタラクション処理モジュールはインタラクションコマンドモジュールからキーワードリストのうちキーワードに対応するインタラクションコマンドを取得し、取得したインタラクションコマンドをインタラクション表示モジュールに送信することができる。
本願に係るライブ配信に応用する対話型装置の一実施例の構造略図を示している図６を参照する。当該装置実施例は図２に示す方法実施例に対応する。
図６に示すように、本実施例に係るライブ配信に応用する対話型装置６００は、ライブビデオ受信ユニット６０１と、認識ユニット６０２と、送信ユニット６０３とを備える。そのうち、ライブビデオ受信ユニット６０１は配信者側のクライアントが送信したライブビデオを受信し，ライブビデオは、配信者側のクライアントがリアルタイムに制作することで生成され、ライブビデオは、ビデオストリームとオーディオストリームとを含み、認識ユニット６０２はオーディオストリームに対して音声認識を行ってキーワードを取得するように配置され、確定ユニットはキーワードに対応するインタラクションコマンドを確定するように配置され、送信ユニット６０３はライブビデオとインタラクションコマンドを視聴者側のクライアントに送信して、視聴者側のクライアントの放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示するように配置される。
本実施例の幾つかの選択可能な実現方式において、認識ユニット６０２は、オーディオストリームに対して音声認識を行ってオーディオストリームに対応する文を取得するために配置されるオーディオストリーム認識サブユニット（図示せず）と、文を分割して単語の集合を取得するために配置される単語分割サブユニット（図示せず）と；単語の集合のうち予め設定されたキーワードとマッチングするキーワードを検出ために配置される検出サブユニット（図示せず）とを備える。
本実施例の幾つかの選択可能な実現方式において、装置６００は、キーワードに対応する音声信号がライブビデオに出現する時点を確定するために配置される時点確定ユニット（図示せず）と、時点を含むタイムスタンプ情報を生成するために配置される生成ユニット（図示せず）と、タイムスタンプ情報を視聴者側のクライアントに送信するために配置される情報送信ユニット（図示せず）とを更に備える。
本実施例の幾つかの選択可能な実現方式において、インタラクション対象は、アニメーション、ピクチャー、及び絵文字を含む。
本願に係るライブ配信に応用する対話型装置の他の一実施例の構造概略図を示している図７を参照する。当該装置実施例は、図３に示す方法実施例に対応する。
図７に示すように、本実施例に係るライブ配信に応用する対話型装置７００は、受信ユニット７０１と、インタラクション対象確定ユニット７０２と、表示ユニット７０３とを備える。そのうち、受信ユニット７０１は、サーバが送信したライブビデオとインタラクションコマンドを受信するために配置され、ライブビデオは、配信者側のクライアントがリアルタイムに制作することで生成され、ビデオストリームとオーディオストリームとを含み、インタラクションコマンドは、サーバがオーディオストリームに対して音声認識を行った後に取得したキーワードに基づいて確定され、インタラクション対象確定ユニット７０２はインタラクションコマンドに対応するインタラクション対象を確定するために配置され、表示ユニット７０３は、放送インタフェースにライブビデオとインタラクション対象とを表示するために配置される。
本実施例の幾つかの選択可能な実現方式において、装置７００は、更に、サーバが送信したタイムスタンプ情報を受信するために配置される情報受信ユニット（図示せず）を備え、タイムスタンプ情報は、キーワードに対応する音声信号がライブビデオに出現する時点を含んで、当該時点に放送インタフェースにインタラクション対象を表示する。
図８は、本願の実施例を実現するためのライブ配信に応用する対話型装置に適用されるコンピュータシステムの構造概略図を示す。
図８に示すように、コンピュータシステム８００は、読み出し専用メモリ（ＲＯＭ）８０２に記憶されているプログラムまたは記憶部８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたプログラムに基づいて様々な適当な動作および処理を実行することができる中央処理装置（ＣＰＵ）８０１を備える。ＲＡＭ８０３には、システム８００の操作に必要な様々なプログラムおよびデータがさらに記憶されている。ＣＰＵ８０１、ＲＯＭ８０２およびＲＡＭ８０３は、バス８０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース８０５もバス８０４に接続されている。
キーボード、マウスなどを含む入力部８０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、およびスピーカなどを含む出力部８０７、ハードディスクなどを含む記憶部８０８、およびＬＡＮカード、モデムなどを含むネットワークインターフェースカードの通信部８０９は、Ｉ／Ｏインターフェース８０５に接続されている。通信部８０９は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ８１０は、必要に応じてＩ／Ｏインターフェース８０５に接続される。リムーバブルメディア８１１は、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなものであり、必要に応じてドライバ８１０に取り付けられ、したがって、ドライバ８１０から読み出されたコンピュータプログラムが必要に応じて記憶部８０８にインストールされる。
特に、本願の実施例によれば、上記のフローチャートを参照しながら記載されたプロセスは、コンピュータのソフトウェアプログラムとして実現されてもよい。例えば、本願の実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は、機械可読媒体に有形に具現化されるコンピュータプログラムを含み、前記コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信部８０９を介してネットワークからダウンロードされてインストールされてもよく、および／またはリムーバブルメディア８１１からインストールされてもよい。
図面におけるフローチャートおよびブロック図は、本願の各実施例に係るシステム、方法およびコンピュータプログラム製品により実現可能なアーキテクチャ、機能および操作を示す。ここで、フローチャートまたはブロック図における各枠は、１つのモジュール、プログラムセグメント、またはコードの一部を代表してもよく、前記モジュール、プログラムセグメント、またはコードの一部は、規定された論理機能を達成するための１つ以上の実行可能な命令を含む。なお、いくつかの代替実施態様として、枠に示された機能は、図面に示された順番と異なる順番で実行されてもよい。例えば、連続して示された２つの枠は、関連する機能に応じて、実際にほぼ並行に実行されてもよく、逆の順番で実行されてもよい。なお、ブロック図および／またはフローチャートにおける各枠と、ブロック図および／またはフローチャートにおける枠の組合せは、規定された機能または操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、あるいは、専用ハードウェアとコンピュータの命令との組合せで実行されてもよい。
一方、本願は、不揮発性コンピュータ記憶媒体をさらに提供し、当該不揮発性コンピュータ記憶媒体は、上記した実施例の前記装置に含まれる不揮発性コンピュータ記憶媒体であってもよく、独立に存在して端末に組み立てられていない不揮発性コンピュータ記憶媒体であってもよい。前記不揮発性コンピュータ記憶媒体は、１つ以上のプログラムが記憶され、前記１つ以上のプログラムが１つの機器により実行された場合に、上記した機器にライブ配信に、配信者側のクライアントが送信した、デオストリームとオーディオストリームとを含むライブビデオを受信し、前記オーディオストリームに対して音声認識を行ってキーワードを取得し、前記キーワードに対応するインタラクションコマンドを確定し、前記ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信して視聴者側のクライアントの放送インタフェースにライブビデオとインタラクションコマンドとが対応するインタラクション対象を表示するようにさせ、ここで、前記ライブビデオは、前記配信者側のクライアントがリアルタイムに制作することで生成される。
以上の記載は、本願の好ましい実施例、および使用された技術的原理の説明に過ぎない。本願に係る特許請求の範囲が、上記した技術的特徴の特定な組合せからなる技術案に限定されることではなく、本願の趣旨を逸脱しない範囲で、上記の技術的特徴または同等の特徴の任意の組合せからなる他の技術案も含むべきであることを、当業者は理解すべきである。例えば、上記の特徴と、本願に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。

Claims (12)

  1. ライブ配信に応用する対話型方法であって、
    配信者側のクライアントが送信した、デオストリームとオーディオストリームとを含むライブビデオを受信するステップと、
    前記オーディオストリームに対して音声認識を行ってキーワードを取得するステップと、
    前記キーワードに対応するインタラクションコマンドを確定するステップと、
    前記ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信して視聴者側のクライアントの放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示するステップと、を含んでおり、
    ここで、前記ライブビデオは、前記配信者側のクライアントがリアルタイムに制作することで生成される
    ことを特徴とする対話型方法。
  2. 前記オーディオストリームに対して音声認識を行ってキーワードを取得するステップにおいては、
    前記オーディオストリームに音声認識を行ってオーディオストリームに対応する文を取得するステップと、
    前記文を分割して単語の集合を取得するステップと、
    単語の集合のうち予め設定されたキーワードとマッチングする前記キーワードを検出ステップと、を含む
    ことを特徴とする請求項１に記載の方法。
  3. 前記キーワードに対応する音声信号がライブビデオに出現する時点を確定するステップと、
    前記時点を含むタイムスタンプ情報を生成するステップと、
    前記タイムスタンプ情報を視聴者側のクライアントに送信するステップとを、更に含む
    ことを特徴とする請求項２に記載の方法。
  4. 前記インタラクション対象は、アニメーション、ピクチャー、及び絵文字を含む
    ことを特徴とする請求項３に記載の方法。
  5. ライブ配信に応用する対話型方法であって、
    サーバが送信した、ライブビデオとインタラクションコマンドとを受信するステップと、
    インタラクションコマンドに対応するインタラクション対象を確定するステップと、
    放送インタフェースにライブビデオと前記インタラクション対象とを表示するステップと、を含んでおり、
    ここで、前記ライブビデオは、ビデオストリームとオーディオストリームとを含んで、前記配信者側のクライアントがリアルタイムに制作することで生成され、前記インタラクションコマンドは、サーバがオーディオストリームに対して音声認識を行った後に取得したキーワードに基づいて確定される
    ことを特徴とする対話型方法。
  6. サーバが送信したタイムスタンプ情報を受信するステップを更に含み、
    ここで、前記タイムスタンプ情報は、前記キーワードに対応する音声信号がライブビデオに出現する時点を含んで、これにより、前記時点に放送インタフェースに前記インタラクション対象を表示する
    ことを特徴とする請求項５に記載の方法。
  7. ライブ配信に応用する対話型装置であって、
    配信者側のクライアントが送信した、デオストリームとオーディオストリームとを含むライブビデオを受信するライブビデオ受信ユニットと、
    前記オーディオストリームに対して音声認識を行ってキーワードを取得するために配置される認識ユニットと、
    前記キーワードに対応するインタラクションコマンドを確定するために配置される確定ユニットと、
    前記ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信して視聴者側のクライアントの放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示する送信ユニットと、を備えており、
    ここで、前記ライブビデオは、前記配信者側のクライアントがリアルタイムに制作することで生成される
    ことを特徴とする対話型装置。
  8. 認識ユニットは、
    前記オーディオストリームに対して音声認識を行ってオーディオストリームに対応する文を取得するために配置されるオーディオストリーム認識サブユニットと
    前記文を分割して単語の集合を取得するために配置される単語分割サブユニットと、
    単語の集合のうち予め設定されたキーワードとマッチングする前記キーワードを検出ために配置される検出サブユニットと、を備える
    ことを特徴とする請求項７に記載の装置。
  9. 前記キーワードに対応する音声信号がライブビデオに出現する時点を確定するために配置される時点確定ユニットと、
    前記時点を含むタイムスタンプ情報を生成するために配置される生成ユニットと、
    前記タイムスタンプ情報を視聴者側のクライアントに送信するために配置される情報送信ユニットと、を更に備える
    ことを特徴とする請求項８に記載の装置。
  10. 前記インタラクション対象は、アニメーション、ピクチャー、及び絵文字を含む
    ことを特徴とする請求項９に記載の装置。
  11. ライブ配信に応用する対話型装置であって、
    サーバが送信した、ライブビデオとインタラクションコマンドとを受信するために配置される受信ユニットと、
    インタラクションコマンドに対応するインタラクション対象を確定するために配置されるインタラクション対象確定ユニットと、
    放送インタフェースにライブビデオと前記インタラクション対象とを表示するために配置される表示ユニットと、を備えており、
    ここで、前記ライブビデオは、ビデオストリームとオーディオストリームとを含んで、前記配信者側のクライアントがリアルタイムに制作することで生成され、前記インタラクションコマンドは、サーバがオーディオストリームに対して音声認識を行った後に取得したキーワードに基づいて確定される
    ことを特徴とする対話型装置。
  12. サーバが送信したタイムスタンプ情報を受信するために配置される情報受信ユニットを更に含み、
    前記タイムスタンプ情報は前記キーワードに対応する音声信号がライブビデオに出現する時点を含んで、これにより、前記時点に放送インタフェースにおいて前記インタラクション対象を表示する
    ことを特徴とする請求項１１に記載の装置。
JP2017023640A 2016-08-19 2017-02-10 ライブ配信に応用する対話型方法及び装置 Active JP6629774B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610697951.8A CN106303658B (zh) 2016-08-19 2016-08-19 应用于视频直播的交互方法和装置
CN201610697951.8 2016-08-19

Publications (2)

Publication Number Publication Date
JP2018029325A true JP2018029325A (ja) 2018-02-22
JP6629774B2 JP6629774B2 (ja) 2020-01-15

Family

ID=57661026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017023640A Active JP6629774B2 (ja) 2016-08-19 2017-02-10 ライブ配信に応用する対話型方法及び装置

Country Status (3)

Country Link
JP (1) JP6629774B2 (ja)
KR (1) KR101945920B1 (ja)
CN (1) CN106303658B (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110784751A (zh) * 2019-08-21 2020-02-11 腾讯科技（深圳）有限公司 信息显示方法及装置
CN111784418A (zh) * 2020-07-27 2020-10-16 网易（杭州）网络有限公司 直播间的显示控制方法及装置、计算机介质、电子设备
CN113628622A (zh) * 2021-08-24 2021-11-09 北京达佳互联信息技术有限公司 语音交互方法、装置、电子设备及存储介质
CN113703767A (zh) * 2021-09-02 2021-11-26 北方工业大学 一种工程机械产品的人机交互界面设计方法和装置
CN113824972A (zh) * 2021-05-31 2021-12-21 腾讯科技（深圳）有限公司 直播视频的处理方法、装置、设备及计算机可读存储介质
CN113840152A (zh) * 2021-07-15 2021-12-24 阿里巴巴达摩院(杭州)科技有限公司 直播关键点处理方法和装置
CN114095742A (zh) * 2021-11-09 2022-02-25 广州博冠信息科技有限公司 一种视频推荐方法、装置、计算机设备及存储介质
CN114189699A (zh) * 2020-09-15 2022-03-15 阿里巴巴集团控股有限公司 政务服务信息提供方法、装置及电子设备
CN114765691A (zh) * 2021-01-13 2022-07-19 北京字节跳动网络技术有限公司 视频直播的功能组件加载方法、数据处理方法及设备
WO2023045939A1 (zh) * 2021-09-24 2023-03-30 北京沃东天骏信息技术有限公司 一种直播处理方法、直播平台、存储介质及电子设备
JP7385041B2 (ja) 2020-01-03 2023-11-21 北京字節跳動網絡技術有限公司 ライブルームでの対話方法、装置、読み取り可能な媒体及び電子機器

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657951B (zh) * 2017-08-24 2020-10-30 深圳依偎控股有限公司 一种在直播过程中处理声音的方法及终端设备
CN107770624B (zh) * 2017-10-24 2021-03-05 中国移动通信集团公司 一种直播过程中多媒体文件的播放方法、装置及存储介质
CN108259983A (zh) * 2017-12-29 2018-07-06 广州市百果园信息技术有限公司 一种视频图像处理方法、计算机可读存储介质和终端
CN108171160B (zh) * 2017-12-27 2021-03-23 广州虎牙信息科技有限公司 一种任务结果识别方法、装置、存储介质及电子设备
WO2020056691A1 (zh) * 2018-09-20 2020-03-26 太平洋未来科技（深圳）有限公司 一种交互对象的生成方法、装置及电子设备
CN111182348B (zh) * 2018-11-09 2022-06-14 阿里巴巴集团控股有限公司 直播画面展示的方法、装置、存储装置和终端
CN109495763B (zh) * 2018-11-16 2020-12-01 北京达佳互联信息技术有限公司 虚拟物品记录确定方法、装置、服务器及存储介质
CN109618181B (zh) * 2018-11-28 2021-11-12 网易（杭州）网络有限公司 直播交互方法及装置、电子设备、存储介质
CN109817040A (zh) * 2019-01-07 2019-05-28 北京汉博信息技术有限公司 一种用于教学数据的处理系统
CN110572690B (zh) * 2019-09-29 2022-09-23 腾讯科技（深圳）有限公司 用在直播中的方法、装置及计算机可读存储介质
CN110881134B (zh) * 2019-11-01 2020-12-11 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质
CN113038174B (zh) * 2019-12-09 2021-12-21 上海幻电信息科技有限公司 直播视频互动方法、装置以及计算机设备
CN111601145A (zh) * 2020-05-20 2020-08-28 腾讯科技（深圳）有限公司 基于直播的内容展示方法、装置、设备及存储介质
CN113301436A (zh) * 2020-06-17 2021-08-24 阿里巴巴集团控股有限公司 播放控制方法、装置及计算机可读存储介质
CN111787348B (zh) * 2020-07-28 2022-10-04 中国联合网络通信集团有限公司 基于直播的视频推送方法、推送装置及终端设备
CN111935498B (zh) * 2020-10-16 2021-02-05 北京达佳互联信息技术有限公司 直播互动方法、装置及电子设备
CN115086687A (zh) * 2021-03-12 2022-09-20 北京字节跳动网络技术有限公司 信息发送方法、装置、电子设备及计算机可读存储介质
CN114095745A (zh) * 2021-11-16 2022-02-25 广州博冠信息科技有限公司 直播互动方法、装置、计算机存储介质和电子设备
CN115002496B (zh) * 2022-05-24 2024-04-09 广州博冠信息科技有限公司 直播平台的信息处理方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244425A (ja) * 2001-12-04 2003-08-29 Fuji Photo Film Co Ltd 伝送画像の修飾パターンの登録方法および装置ならびに再生方法および装置
JP2004228707A (ja) * 2003-01-20 2004-08-12 Ntt Data Corp コンテンツ提供システム
JP2005024736A (ja) * 2003-06-30 2005-01-27 Toshiba Corp 時系列情報制御システム及びその方法並びに時系列情報制御プログラム
JP2005130356A (ja) * 2003-10-27 2005-05-19 Matsushita Electric Ind Co Ltd テレビ電話システム及びその通信方法、並びに通信端末
WO2010018975A2 (en) * 2008-08-13 2010-02-18 Kt Corporation System and method for providing video chat service
JP2013118488A (ja) * 2011-12-02 2013-06-13 Nomura Research Institute Ltd 音声データ利用システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4513165B2 (ja) * 2000-04-20 2010-07-28 ソニー株式会社 番組記録方法及び番組記録装置及び番組記録再生装置及び番組記録再生方法
CN101017428A (zh) * 2006-12-22 2007-08-15 广东电子工业研究院有限公司 一种嵌入式语音交互装置及交互方法
US8676581B2 (en) * 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
CN104363519B (zh) * 2014-11-21 2017-12-15 广州华多网络科技有限公司 一种基于在线直播的信息显示方法、相关装置及系统
CN104581221A (zh) * 2014-12-25 2015-04-29 广州酷狗计算机科技有限公司 视频直播的方法和装置
CN105228013B (zh) * 2015-09-28 2018-09-07 百度在线网络技术（北京）有限公司 弹幕信息处理方法、装置及弹幕视频播放器
CN105653167B (zh) * 2015-12-23 2019-02-12 广州华多网络科技有限公司 一种基于在线直播的信息展示方法及客户端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244425A (ja) * 2001-12-04 2003-08-29 Fuji Photo Film Co Ltd 伝送画像の修飾パターンの登録方法および装置ならびに再生方法および装置
JP2004228707A (ja) * 2003-01-20 2004-08-12 Ntt Data Corp コンテンツ提供システム
JP2005024736A (ja) * 2003-06-30 2005-01-27 Toshiba Corp 時系列情報制御システム及びその方法並びに時系列情報制御プログラム
JP2005130356A (ja) * 2003-10-27 2005-05-19 Matsushita Electric Ind Co Ltd テレビ電話システム及びその通信方法、並びに通信端末
WO2010018975A2 (en) * 2008-08-13 2010-02-18 Kt Corporation System and method for providing video chat service
JP2013118488A (ja) * 2011-12-02 2013-06-13 Nomura Research Institute Ltd 音声データ利用システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"「新技術「ＩＷＳ」とブロードバンドの特性を活かして"コンテンツ＆コミュニティ"を実現していく 〜「ＢＢ", BUSINESS COMMUNICATION, vol. 40, no. 5, JPN6018006214, 1 May 2003 (2003-05-01), JP, pages 92 - 95, ISSN: 0003744172 *
伊田政樹（外７名）: "「次世代情報家電制御のための音声インタフェースの試作」", 第６６回（平成１６年）全国大会講演論文集（５）, JPN6018006212, 9 March 2004 (2004-03-09), JP, pages 5 - 149, ISSN: 0003939376 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110784751B (zh) * 2019-08-21 2024-03-15 腾讯科技（深圳）有限公司 信息显示方法及装置
CN110784751A (zh) * 2019-08-21 2020-02-11 腾讯科技（深圳）有限公司 信息显示方法及装置
JP7385041B2 (ja) 2020-01-03 2023-11-21 北京字節跳動網絡技術有限公司 ライブルームでの対話方法、装置、読み取り可能な媒体及び電子機器
CN111784418A (zh) * 2020-07-27 2020-10-16 网易（杭州）网络有限公司 直播间的显示控制方法及装置、计算机介质、电子设备
CN111784418B (zh) * 2020-07-27 2023-08-08 网易（杭州）网络有限公司 直播间的显示控制方法及装置、计算机介质、电子设备
CN114189699A (zh) * 2020-09-15 2022-03-15 阿里巴巴集团控股有限公司 政务服务信息提供方法、装置及电子设备
CN114765691A (zh) * 2021-01-13 2022-07-19 北京字节跳动网络技术有限公司 视频直播的功能组件加载方法、数据处理方法及设备
CN113824972B (zh) * 2021-05-31 2024-01-09 深圳市雅阅科技有限公司 直播视频的处理方法、装置、设备及计算机可读存储介质
CN113824972A (zh) * 2021-05-31 2021-12-21 腾讯科技（深圳）有限公司 直播视频的处理方法、装置、设备及计算机可读存储介质
CN113840152A (zh) * 2021-07-15 2021-12-24 阿里巴巴达摩院(杭州)科技有限公司 直播关键点处理方法和装置
CN113628622A (zh) * 2021-08-24 2021-11-09 北京达佳互联信息技术有限公司 语音交互方法、装置、电子设备及存储介质
CN113703767A (zh) * 2021-09-02 2021-11-26 北方工业大学 一种工程机械产品的人机交互界面设计方法和装置
WO2023045939A1 (zh) * 2021-09-24 2023-03-30 北京沃东天骏信息技术有限公司 一种直播处理方法、直播平台、存储介质及电子设备
CN114095742A (zh) * 2021-11-09 2022-02-25 广州博冠信息科技有限公司 一种视频推荐方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
KR20180020859A (ko) 2018-02-28
CN106303658A (zh) 2017-01-04
JP6629774B2 (ja) 2020-01-15
CN106303658B (zh) 2018-11-30
KR101945920B1 (ko) 2019-02-11

Similar Documents

Publication Publication Date Title
JP2018029325A (ja) ライブ配信に応用する対話型方法及び装置
US11882319B2 (en) Virtual live video streaming method and apparatus, device, and readable storage medium
US10631070B2 (en) System and method to generate a video on-the-fly
KR102067446B1 (ko) 자막 생성 방법 및 시스템
CN107979763B (zh) 一种虚拟现实设备生成视频、播放方法、装置及系统
EP2479982A1 (en) Closed captioning language translation
KR101899588B1 (ko) 수어 애니메이션 데이터를 자동으로 생성하는 시스템과 이를 이용한 방송시스템 및 방송방법
US20200074994A1 (en) Information processing apparatus and information processing method
CN113225577B (zh) 直播流处理方法、装置、系统、电子设备及存储介质
US10667001B2 (en) Method and system for display of mixed media content on devices without standard video
JP6707138B2 (ja) チャンネル変更に基づいたトリガフィーチャを有するコンピューティングシステム
JP6379362B2 (ja) 映像受信装置、パラメータ設定方法および付加情報表示システム
CN112492347A (zh) 处理信息流、显示弹幕信息的方法及信息流处理系统
US11197048B2 (en) Transmission device, transmission method, reception device, and reception method
CN115550711A (zh) 虚拟数字人渲染方法、渲染引擎及系统
CN113796087B (zh) 使用多种指纹数据类型特征的内容修改系统
KR20160060242A (ko) 클라우드 기반 유저 인터페이스 제공 시스템 및 그 방법
CN106254962A (zh) 一种直播客户端快速启动播放的方法及系统
EP3036908B1 (en) System and method for providing cloud based user interfaces
KR102612580B1 (ko) 미디어 제공 서버, 트리거 영역을 통해 다른 컨텐츠로 전환하는 방법 및 컴퓨터 프로그램
KR102214598B1 (ko) 컨텐츠재생장치 및 그 동작 방법
US20220264193A1 (en) Program production apparatus, program production method, and recording medium
KR20150117354A (ko) 가상 공동 체감형 관람 시스템
CN115695849A (zh) 直播视频的获取方法、装置、设备及介质
CN115086753A (zh) 直播视频流的处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180525

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181024

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181101

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20181214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191205

R150 Certificate of patent or registration of utility model

Ref document number: 6629774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250