JP2021525012A - ライブ放送で発生するゲスト放送のディレイを解消する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体 - Google Patents

ライブ放送で発生するゲスト放送のディレイを解消する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP2021525012A
JP2021525012A JP2020551941A JP2020551941A JP2021525012A JP 2021525012 A JP2021525012 A JP 2021525012A JP 2020551941 A JP2020551941 A JP 2020551941A JP 2020551941 A JP2020551941 A JP 2020551941A JP 2021525012 A JP2021525012 A JP 2021525012A
Authority
JP
Japan
Prior art keywords
broadcast
guest
audio
screen
host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020551941A
Other languages
English (en)
Other versions
JP7164623B2 (ja
Inventor
ペク,ジュンシク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Line Plus Corp
Original Assignee
Line Plus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Plus Corp filed Critical Line Plus Corp
Publication of JP2021525012A publication Critical patent/JP2021525012A/ja
Application granted granted Critical
Publication of JP7164623B2 publication Critical patent/JP7164623B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • H04N21/2335Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4396Processing of audio elementary streams by muting the audio signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

コンピュータシステムによって実現される端末が実行するライブ放送方法は、端末の放送であるゲスト放送とホスト端末の放送であるホスト放送とをミキシングしたライブ放送を配信するホスト端末に、サーバを経由し、端末と連結する入力装置から入力される第1ゲスト画面と第1ゲスト画面と関連する第1ゲストオーディオを配信する段階、ホスト端末から、サーバを経由し、ホスト端末によって入力された第1ホスト画面と第1ゲスト画面とがミキシングされた第1放送画面とともに、第1ホスト画面と関連する第1ホストオーディオと第1ゲストオーディオをそれぞれのオーディオエレメンタリストリームとして受信する段階、第1ゲスト画面の後に入力装置から入力される第2ゲスト画面を受信した第1放送画面に重ねて第2放送画面を生成する段階、および少なくとも1つのプロセッサにより、第1ゲストオーディオは再生せず、第1ホストオーディオとともに第2放送画面を再生する段階を含む。

Description

以下の説明は、ライブ放送で発生するディレイを解決する技術に関する。
近年、ライブ放送(Live Broadcast)を含むメディアクライアント(Media Client)が急速に成長している。
ホスト(Host)(すなわち、キャスター)は、ホストのメディアクライアントによって対応するチャンネル内でライブ放送をアップロードすることができ、視聴者(Viewer)は、ホストがアップロードするライブ放送を視聴者のメディアクライアントによって自由に視聴することができる。
例えば、韓国公開特許第10−2006−0120571号公報(公開日2006年11月27日)には、ネットワークを介してライブ放送を提供するライブストリーミング放送方法が開示されている。
韓国公開特許第10−2006−0120571号公報
ホスト放送ストリームにゲスト放送ストリームをミキシング(mixing)して配信する二元中継をライブで放送する際に、ホストのオーディオとゲストのオーディオを個別のエレメンタリストリーム(elementary stream:ES)として生成して配信することにより、ゲスト側で出力されるゲスト放送のディレイを効果的に解消することができる。
コンピュータシステムによって実現される端末が実行するライブ放送方法であって、前記端末は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、前記ライブ放送方法は、前記少なくとも1つのプロセッサにより、前記端末の放送であるゲスト放送とホスト端末の放送であるホスト放送とをミキシングしたライブ放送を配信するホスト端末に、サーバを経由し、前記端末と連結する入力装置から入力される第1ゲスト画面と前記第1ゲスト画面と関連する第1ゲストオーディオを配信する段階、前記少なくとも1つのプロセッサにより、前記ホスト端末から、前記サーバを経由し、前記ホスト端末によって入力された第1ホスト画面と前記第1ゲスト画面とがミキシングされた第1放送画面とともに、前記第1ホスト画面と関連する第1ホストオーディオと前記第1ゲストオーディオをそれぞれのオーディオエレメンタリストリームとして受信する段階、前記少なくとも1つのプロセッサにより、前記第1ゲスト画面の後に前記入力装置から入力される第2ゲスト画面を前記受信した第1放送画面に重ねて(overlay)第2放送画面を生成する段階、および前記少なくとも1つのプロセッサにより、前記第1ゲストオーディオは再生せず、前記第1ホストオーディオとともに前記第2放送画面を再生する段階を含むライブ放送方法を提供する。
一側面によると、前記生成する段階は、前記受信した第1放送画面の前記第1ゲスト画面が表示される領域に、前記入力される第2ゲスト画面を重ねる段階を含み、前記再生する段階は、前記入力装置から入力される第2ゲスト画面と関連する第2ゲストオーディオを前記受信した第1ホストオーディオとミキシングしてゲスト用の放送オーディオを生成する段階、および前記ゲスト用の放送オーディオとともに前記第2放送画面を再生する段階を含んでよい。
他の側面によると、前記受信する段階は、前記ライブ放送のビデオストリームとして、前記第1ホスト画面と前記第2ゲスト画面とがミキシングされた前記第1放送画面を1つのビデオエレメンタリストリームとして受信する段階、および前記ライブ放送のオーディオストリームとして、前記第1ホストオーディオと前記第1ゲストオーディオを前記それぞれのオーディオエレメンタリストリームとして受信する段階を含んでよい。
また他の側面によると、前記ライブ放送は、前記ホスト端末において、他の端末から他のゲスト放送を受信し、前記ゲスト放送および前記ホスト放送とともに前記他のゲスト放送をミキシングして配信されたものであり、前記受信する段階は、前記ライブ放送の前記オーディオストリームとして、前記他のゲスト放送の他のゲストオーディオを、前記それぞれのオーディオエレメンタリストリームとは異なる他のオーディオエレメンタリストリームとしてさらに受信する段階を含んでよい。
また他の側面によると、前記再生する段階は、前記ライブ放送に対する前記それぞれのオーディオエレメンタリストリームのうちの少なくとも1つの再生を制御する段階を含んでよい。
さらに他の側面によると、前記再生する段階は、前記ライブ放送に対する前記それぞれのオーディオエレメンタリストリーム、および前記他のオーディオエレメンタリストリームのうちの少なくとも1つの再生を制御する段階を含んでよい。
コンピュータシステムによって実現される端末が実行するライブ放送方法であって、前記端末は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、前記ライブ放送方法は、前記少なくとも1つのプロセッサにより、サーバにおいて、少なくとも1つのゲスト端末から前記ゲスト端末の放送であるゲスト放送を受信する段階、および前記少なくとも1つのプロセッサにより、前記端末の放送であるホスト放送に前記ゲスト放送をミキシングしたライブ放送を前記ゲスト端末および少なくとも1つの視聴者端末に配信する段階を含み、前記配信する段階は、前記ライブ放送のビデオストリームとして、ホスト画面にゲスト画面がミキシングされた放送画面を1つのビデオエレメンタリストリームとして配信する段階、および前記ライブ放送のオーディオストリームとして、ホストオーディオとゲストオーディオをそれぞれのオーディオエレメンタリストリームとして配信する段階を含む、ライブ放送方法を提供する。
一側面によると、前記端末が複数のゲスト端末を特定した場合、前記配信する段階は、前記ライブ放送のビデオストリームとして、前記ホスト画面に複数のゲスト画面がミキシングされた放送画面を前記1つのビデオエレメンタリストリームとして配信する段階、および前記ライブ放送のオーディオストリームとして、前記ホストオーディオと前記複数のゲスト端末から受信した複数のゲストオーディオをそれぞれのオーディオエレメンタリストリームとして配信する段階を含んでよい。
前記ライブ放送方法をコンピュータに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体を提供する。
コンピュータシステムによって実現される端末であって、メモリ、および前記メモリに接続され、前記メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサは、前記端末の放送であるゲスト放送とホスト端末の放送であるホスト放送とをミキシングしたライブ放送を配信するホスト端末に、サーバを経由し、前記端末と連結する入力装置から入力される第1ゲスト画面と前記第1ゲスト画面と関連する第1ゲストオーディオを配信する放送配信部、前記ホスト端末から、前記サーバを経由し、前記ホスト端末によって入力された第1ホスト画面と前記第1ゲスト画面とがミキシングされた第1放送画面とともに、前記第1ホスト画面と関連する第1ホストオーディオと前記第1ゲストオーディオをそれぞれのオーディオエレメンタリストリームとして受信する放送受信部、および前記第1ゲスト画面の後に前記入力装置から入力される第2ゲスト画面を前記受信した第1放送画面に重ねて第2放送画面を生成した後、前記第1ゲストオーディオは再生せず、前記第1ホストオーディオとともに前記第2放送画面を再生する放送再生部を備える、端末を提供する。
コンピュータシステムによって実現される端末であって、メモリ、および前記メモリに接続され、前記メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサは、サーバにおいて、少なくとも1つのゲスト端末から前記ゲスト端末の放送であるゲスト放送を受信する放送受信部、および前記端末の放送であるホスト放送に前記ゲスト放送をミキシングしたライブ放送を前記ゲスト端末および少なくとも1つの視聴者端末に配信する放送配信部を備え、前記放送配信部は、前記ライブ放送のビデオストリームとして、ホスト画面にゲスト画面がミキシングされた放送画面を1つのビデオエレメンタリストリームとして配信するビデオ配信部、および前記ライブ放送のオーディオストリームとして、ホストオーディオとゲストオーディオをそれぞれのオーディオエレメンタリストリームとして配信するオーディオ配信部を備える、端末を提供する。
本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示した図である。 本発明の一実施形態における、電子機器が実行することのできる二元中継のライブ放送方法の例を示したフローチャートである。 本発明の一実施形態における、電子機器が実行することのできる二元中継のライブ放送方法の例を示したフローチャートである。 二元中継をライブで放送する際のゲスト側のディレイ問題を説明するための例示図である。 二元中継をライブで放送する際のゲスト側のディレイ問題を説明するための例示図である。 本発明の一実施形態における、ホスト側の放送配信方法を説明するための例示図である。 本発明の一実施形態における、一般視聴者側の放送再生方法を説明するための例示図である。 本発明の一実施形態における、ゲスト側の放送再生方法を説明するための例示図である。
以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。
本発明の実施形態は、ライブ放送で発生するディレイを解決する技術に関する。
本明細書で具体的に開示される事項を含む実施形態は、二元中継をライブで放送する際にゲスト側で発生する放送ディレイを解消することができ、これにより、効率性、リソース節減、使用性、利便性、費用節減などの側面において相当な長所を達成することができる。
図1は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図1のネットワーク環境は、複数の電子機器110、120、130、140、複数のサーバ150、160、およびネットワーク170を含む例を示している。このような図1は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図1のように限定されることはない。
複数の電子機器110、120、130、140は、コンピュータシステムによって実現される固定端末や移動端末であってよい。複数の電子機器110、120、130、140の例としては、スマートフォン、携帯電話、ナビゲーション、PC(personal computer)、ノート型PC、デジタル放送用端末、PDA(Personal Digital Assistant)、PMP(Portable Multimedia Player)、タブレット、ゲームコンソール、ウェアラブルデバイス、IoT(Internet of Things)デバイス、VR(Virtual Reality)デバイス、AR(Augmented Reality)デバイスなどがある。一例として、図1では、電子機器110の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器110は、実質的に無線または有線通信方式を利用し、ネットワーク170を介して他の電子機器120、130、140および/またはサーバ150、160と通信することのできる多様な物理的なコンピュータシステムのうちの1つを意味してよい。
通信方式が限定されることはなく、ネットワーク170が含むことのできる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など)を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク170は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでよい。さらに、ネットワーク170は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これに限定されることはない。
サーバ150、160それぞれは、複数の電子機器110、120、130、140とネットワーク170を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する1つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ150は、ネットワーク170を介して接続した複数の電子機器110、120、130、140に第1サービスを提供するシステムであってよく、サーバ160も、ネットワーク170を介して接続した複数の電子機器110、120、130、140に第2サービスを提供するシステムであってよい。より具体的な例として、サーバ150は、複数の電子機器110、120、130、140においてインストールされて実行されるコンピュータプログラムであるアプリケーションを通じ、該当のアプリケーションが目的とするサービス(一例として、ライブ放送サービスなど)を第1サービスとして複数の電子機器110、120、130、140に提供してよい。他の例として、サーバ160は、上述したアプリケーションのインストールおよび実行のためのファイルを複数の電子機器110、120、130、140に配布するサービスを第2サービスとして提供してよい。
図2は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図2では、電子機器に対する例として電子機器110の内部構成、およびサーバ150の内部構成について説明する。また、他の電子機器120、130、140やサーバ160も、上述した電子機器110またはサーバ150と同一または類似の内部構成を有してよい。
電子機器110およびサーバ150は、メモリ211、221、プロセッサ212、222、通信モジュール213、223、および入力/出力インタフェース214、224を含んでよい。メモリ211、221は、非一時的なコンピュータ読み取り可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)、ディスクドライブ、SSD(solid state drive)、フラッシュメモリ(flash memory)などのような永続的大容量記録装置を含んでよい。ここで、ROM、SSD、フラッシュメモリ、ディスクドライブのような永続的大容量記録装置は、メモリ211、221とは区分される別の永続的記録装置として電子機器110やサーバ150に含まれてもよい。また、メモリ211、221には、オペレーティングシステムと、少なくとも1つのプログラムコード(一例として、電子機器110においてインストールされて実行されるブラウザや、特定のサービスの提供のために電子機器110にインストールされるアプリケーションなどのためのコード)が記録されてよい。このようなソフトウェア構成要素は、メモリ211、221とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピードライブ、ディスク、テープ、DVD/CD−ROMドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール213、223を通じてメモリ211、221にロードされてもよい。例えば、少なくとも1つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム(一例として、上述したサーバ160)がネットワーク170を介して提供するファイルによってインストールされるコンピュータプログラム(一例として、上述したアプリケーション)に基づいてメモリ211、221にロードされてよい。
プロセッサ212、222は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ211、221または通信モジュール213、223によって、プロセッサ212、222に提供されてよい。例えば、プロセッサ212、222は、メモリ211、221のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
通信モジュール213、223は、ネットワーク170を介して電子機器110とサーバ150とが互いに通信するための機能を提供してもよいし、電子機器110および/またはサーバ150が他の電子機器(一例として、電子機器120)または他のサーバ(一例として、サーバ160)と通信するための機能を提供してもよい。一例として、電子機器110のプロセッサ212がメモリ211のような記録装置に記録されたプログラムコードにしたがって生成した要求が、通信モジュール213の制御にしたがってネットワーク170を介してサーバ150に伝達されてよい。これとは逆に、サーバ150のプロセッサ222の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール223とネットワーク170を経て電子機器110の通信モジュール213を通じて電子機器110に受信されてよい。例えば、通信モジュール213を通じて受信されたサーバ150の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ212やメモリ211に伝達されてよく、コンテンツやファイルなどは、電子機器110がさらに含むことのできる記録媒体(上述した永続的記録装置)に記録されてよい。
入力/出力インタフェース214は、入力/出力装置215とのインタフェースのための手段であってよい。例えば、入力装置は、キーボード、マウス、マイクロフォン、カメラなどの装置を、出力装置は、ディスプレイ、スピーカ、触覚フィードバックデバイスなどのような装置を含んでよい。他の例として、入力/出力インタフェース214は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置215は、電子機器110と1つの装置で構成されてもよい。また、サーバ150の入力/出力インタフェース224は、サーバ150に接続するかサーバ150が含むことのできる入力または出力のための装置(図示せず)とのインタフェースのための手段であってよい。より具体的な例として、電子機器110のプロセッサ212がメモリ211にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ150や電子機器120が提供するデータを利用して構成されるサービス画面やコンテンツが、入力/出力インタフェース214を通じてディスプレイに表示されてよい。
また、他の実施形態において、電子機器110およびサーバ150は、図2の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器110は、上述した入力/出力装置215のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、GPS(Global Positioning System)モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器110がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力/出力ポート、振動のための振動器などのような多様な構成要素が、電子機器110にさらに含まれるように実現されてよい。
以下では、二元中継をライブで放送する際にゲスト側で発生する放送ディレイを解消する方法とシステムの具体的な実施形態について説明する。
図3は、本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示したブロック図であり、図4および図5は、本発明の一実施形態における、電子機器が実行することのできる二元中継のライブ放送方法の例を示したフローチャートである。
本実施形態に係る電子機器110には、コンピュータによって実現されるライブ放送システムが構成されてよい。ライブ放送システムは、電子機器110上にインストールされるアプリケーションの形態で実現され、サーバ150との連動によるネットワーク環境でライブ放送サービスを提供してよい。例えば、電子機器110にインストールされたアプリケーションが提供する命令に基づき、電子機器110に実現されたライブ放送システムは、図4および図5の二元中継のライブ放送方法を実行してよい。
ライブ放送サービスでは、放送中にホストが少なくとも1人の視聴者をゲストとして採用することにより、ホスト放送画面に少なくとも1人のゲスト放送をミキシングして配信する形態の二元中継ライブ放送が提供される。このような二元中継のライブ放送において、ゲストが受信する放送時点とゲストの現時点とに時間差が発生し、ゲストの立場では不自然な二元中継サービスを経験するようになる。
本発明では、二元中継をライブで放送する際に、ゲスト側で出力されるゲスト放送のディレイを解消する技術を提案する。
図4は、二元中継のライブ放送におけるホスト側の放送過程の例を示したものであって、ホスト側の放送過程を処理するために、電子機器110のプロセッサ212は、構成要素として、図3に示すように、放送受信部310、および放送配信部(ビデオ配信部320とオーディオ配信部330)を備えてよい。また、図5は、二元中継のライブ放送におけるゲスト側の放送過程の例を示したものであって、ゲスト側の放送過程を処理するために、電子機器110のプロセッサ212は、構成要素として、図3に示すように、放送受信部310、放送配信部(ビデオ配信部320とオーディオ配信部330)、および放送再生部340を備えてよい。
実施形態によって、プロセッサ212の構成要素は、選択的にプロセッサ212に含まれても除外されてもよい。また、実施形態によって、プロセッサ212の構成要素は、プロセッサ212の機能の表現のために分離されても併合されてもよい。
このようなプロセッサ212およびプロセッサ212の構成要素は、図4および図5の二元中継のライブ放送方法が含む段階410〜440、段階510〜530を実行するように電子機器110を制御してよい。例えば、プロセッサ212およびプロセッサ212の構成要素は、メモリ211が含むオペレーティングシステムのコードと、少なくとも1つのプログラムのコードとによる命令(instruction)を実行するように実現されてよい。
ここで、プロセッサ212の構成要素は、電子機器110に記録されたプログラムコードが提供する命令(一例として、電子機器110で実行されるアプリケーションが提供する命令)にしたがってプロセッサ212によって実行される、プロセッサ212の互いに異なる機能(different functions)の表現であってよい。例えば、電子機器110が二元中継のライブ放送のための放送ストリームを受信するように上述した命令にしたがって電子機器110を制御するプロセッサ212の機能的表現として、放送受信部310が利用されてよい。
図4を参照しながら、二元中継をライブで放送する際のホスト側の放送過程について、次のように説明する。
段階410で、プロセッサ212は、ホスト端末、例えば、電子機器110の制御と関連する命令がロードされたメモリから必要な命令を読み取ってよい。この場合、前記読み取られた命令は、以下で説明する段階420〜440をホスト端末の構成要素であるプロセッサが実行するように制御するための命令を含んでよい。
段階420で、放送受信部310は、二元中継をライブで放送のために、サーバ150を経由し、ゲスト端末、例えば、電子機器120から、ゲスト端末のライブ放送ストリーム(以下、「ゲスト放送」とする)を受信してよい。一例として、放送受信部310は、ホスト端末のユーザが特定した少なくとも1つのゲスト端末にゲスト参加を要求した後、ゲスト参加の要求を受諾したゲスト端末からゲスト放送を受信してよい。
ホスト端末では、ホスト放送画面に少なくとも1人のゲスト放送をミキシングし、ゲストを含む視聴者にこれを配信することにより、二元中継のライブ放送を提供してよい。言い換えれば、ゲスト端末では、ホスト端末の要求にしたがい、ゲスト端末と連結する入力装置から入力されるゲスト画面(以下、「第1ゲスト画面」とする)と、第1ゲスト画面と関連するゲストオーディオ(すなわち、ゲスト放送において第1ゲスト画面とともに対応し、ゲスト端末によって入力されるゲストオーディオ。以下、「第1ゲストオーディオ」とする)とをサーバ150を経由してホスト端末に配信するようになる。これにより、ホスト端末では、ホスト端末と連結する入力装置から入力されるホスト画面(以下、「第1ホスト画面」とする)と第1ゲスト画面とをミキシングした放送画面(以下、「第1放送画面」とする)を生成する。このとき、第1放送画面とともに、第1ホスト画面と関連する第1ホストオーディオと第1ゲストオーディオも、サーバ150を経由してゲスト端末および少なくとも1つの視聴者端末に配信してよい。
より詳しく説明すると、段階430で、ビデオ配信部320は、二元中継のライブ放送のビデオストリームとして、ホスト放送のビデオストリーム(例えば、第1ホスト画面)にゲスト放送のビデオストリーム(例えば、第1ゲスト画面)がミキシングされた放送画面(例えば、第1放送画面)を、サーバ150を経由し、ゲストを含む視聴者を対象に1つのビデオエレメンタリストリーム(elementary stream:ES)として配信してよい。言い換えれば、ビデオ配信部320は、ホスト側で生成されたホスト放送にゲスト側から受信したゲスト放送をミキシングし、二元中継のライブ放送として配信してよい。
段階440で、オーディオ配信部330は、二元中継のライブ放送のオーディオストリームとして、ホスト放送のオーディオストリーム(例えば、第1ホストオーディオ)とゲスト放送のオーディオストリーム(例えば、第1ゲストオーディオ)をそれぞれのオーディオエレメンタリストリームとして配信してよい。これは、二元中継をライブで放送する際にゲスト側で出力されるゲスト放送のディレイを解消するための方策であって、ホスト側で二元中継のライブ放送のオーディオストリームを予めミキシングするのではなく、ホストオーディオストリームとゲストオーディオストリームを単独のエレメンタリストリームとして生成してそれぞれ配信するのである。
ホスト端末のユーザが特定したゲスト端末が複数である場合(すなわち、1つの二元中継放送に複数のゲストが存在する場合)、ビデオ配信部320は、第1ホスト画面に複数のゲスト画面がミキシングされた放送画面を1つのビデオエレメンタリストリームとして配信してよく、オーディオ配信部330は、ホストオーディオと複数のゲスト端末から受信した複数のゲストオーディオそれぞれを、それぞれのオーディオエレメンタリストリームとして配信してよい。
図に示されてはいないが、また他の実施形態として、二元中継をライブで放送する際にゲスト側で出力されるゲスト放送のディレイを解消しながらゲスト端末のリソース使用の負担を減らすために、二元中継のライブ放送のホストオーディオストリームとゲストオーディオストリームをホスト側で予めミキシングした後、ミキシングしたオーディオストリームとホストオーディオストリームを単独のエレメンタリストリームとして生成してそれぞれ配信してもよい。
図5を参照しながら、二元中継をライブで放送する際のゲスト側の放送過程について、次のように説明する。
段階510で、プロセッサ212は、ゲスト端末、例えば、電子機器120の制御と関連する命令がロードされたメモリから必要な命令を読み取ってよい。この場合、前記読み取られた命令は、以下で説明する段階520〜530をゲスト端末の構成要素であるプロセッサが実行するように制御するための命令を含んでよい。
段階520で、放送配信部(ビデオ配信部320とオーディオ配信部330)は、ゲスト放送とホスト放送とをミキシングしたライブ放送を配信するホスト端末、例えば、電子機器110に、サーバ150を経由し、ゲスト端末と連結する入力装置から入力される第1ゲスト画面と第1ゲスト画面と関連する第1ゲストオーディオとを配信してよく、この後、放送受信部310は、ホスト端末が提供する二元中継のライブ放送を視聴するために、サーバ150を経由し、ホスト端末から二元中継のライブ放送を受信してよい。このとき、ビデオストリームの場合は、ホスト端末から、ホスト端末によって入力された第1ホスト画面と第1ゲスト画面とがミキシングされた第1放送画面を1つのビデオエレメンタリストリームとして受信してよく、オーディオストリームの場合は、ホスト端末から、第1ホスト画面と関連する第1ホストオーディオと第1ゲストオーディオをそれぞれのオーディオエレメンタリストリームとして受信してよい。言い換えれば、二元中継のライブ放送でホスト放送とゲスト放送を受信するにあたり、ビデオストリームの場合は、ホスト端が予めミキシングした状態で受信してよく、オーディオストリームの場合は、ミキシングは行わず、個別のエレメンタリストリームとしてそれぞれ受信してよい。
図に示されてはいないが、ホスト端末が第1ミキシングされたオーディオ(第1ホスト画面と関連する第1ホストオーディオと第1ゲストオーディオとがミキシングされたオーディオ)と第1ホストオーディオを個別のエレメンタリストリームとしてそれぞれ送信するという、また他の実施形態によると、オーディオストリームの場合は、ホスト端末から、第1ミキシングされたオーディオと第1ホストオーディオを個別のエレメンタリストリームとしてそれぞれ受信してよい。
段階530で、放送再生部340は、ホスト端末から受信した二元中継のライブ放送の第1放送画面の第1ゲスト画面が表示される領域(以下、「ゲストビデオレイアウト」とする)に、ゲスト端末の入力装置から現時点に入力される画面(以下、「第2ゲスト画面」とする)を重ねて現時点のゲスト画面が反映された第2放送画面を生成した後、第2放送画面を再生すると同時に、第1ホストオーディオだけを該当のオーディオとして再生してよい。すなわち、放送再生部340は、二元中継のライブ放送のオーディオストリームとして受信したオーディオのうち、第1ゲストオーディオは無視し、二元中継のライブ放送のオーディオストリームとして受信した第1ホストオーディオだけを再生してよい。
また他の例として、放送再生部340は、ホスト端末から受信した第1放送画面のゲストビデオレイアウトに、ゲスト端末の入力装置から入力される第2ゲスト画面を重ねて現時点のゲスト画面が反映された第2放送画面を生成した後、第2放送画面とともに、第1ホストオーディオにゲスト端末の現時点のゲストオーディオ、すなわち、第2ゲスト画面と関連する第2ゲストオーディオをミキシングして再生してよい。すなわち、ゲスト端末のオーディオは、二元中継のライブ放送のオーディオストリームとして受信したオーディオのうち、第1ゲストオーディオは無視し、二元中継のライブ放送のオーディオストリームとして受信した第1ホストオーディオをゲスト端末上で現時点に入力される第2ゲストオーディオとミキシングすることにより、ゲスト用の放送オーディオとして生成および再生してよい。言い換えれば、放送再生部340がホスト端末から受信した二元中継のライブ放送を再生するときに、第1放送画面のゲストビデオレイアウトにゲストの現時点のビデオを重ねた第2放送画面を再生すると同時に、第1ホストオーディオとゲストの現時点の第2ゲストオーディオとをミキシングして再生してよい。したがって、二元中継をライブで放送する際にゲスト側で出力されるゲストビデオとオーディオのディレイを容易に解消することができる。
また、放送再生部340は、オーディオの制御要求にしたがい、二元中継のライブ放送のオーディオ(ホストオーディオとゲストオーディオ)のうちの少なくとも1つの再生を制御してよい。例えば、放送再生部340は、サーバまたはユーザの入力、サーバまたは端末の設定に基づき、二元中継のライブ放送のオーディオのうちの少なくとも1つを選択的にオン/オフさせてよい。ホスト端末では、ホストオーディオとゲストオーディオが個別のエレメンタリストリームに分離されて配信されるため、ゲスト端末または視聴者端末ではそれぞれのオーディオを個別のエレメンタリストリームとして受信するようになることから、二元中継のライブ放送を視聴するユーザの選択によってオーディオを特定してオン/オフさせることができるのである。一例として、ホスト端末のユーザが特定したゲスト端末が複数である場合、視聴者端末は、ホストオーディオおよびそれぞれのゲストオーディオを分離して受信するようになるため、ホストオーディオおよびそれぞれのゲストオーディオのうちで視聴者が選択したオーディオストリームだけをミキシングできるようになり、視聴者にカスタムオーディオを提供することが可能となる。
図に示されてはいないが、ホスト端末が、第1ミキシングされたオーディオ(第1ホスト画面と関連する第1ホストオーディオと第1ゲストオーディオとがミキシングされたオーディオ)と第1ホストオーディオを個別のエレメンタリストリームとしてそれぞれ送信するという、また他の実施形態によると、ゲスト端末は、二元中継のライブ放送のオーディオストリームとして受信したオーディオのうち、第1ミキシングされたオーディオは無視し、第1ホストオーディオだけを第2放送画面に対するオーディオとして再生してよい。この反面、この実施形態と同じ状況である場合、視聴者端末は、二元中継のライブ放送のオーディオストリームとして受信したオーディオのうち、第1ホストオーディオは無視し、第1ミキシングされたオーディオだけを第1放送画面に対するオーディオとして再生してもよい。
図6および図7は、ゲストの立場で経験するようになるディレイを説明するための例示図である。
図6を参照すると、ホスト端末600では、ホストが行うライブ放送中に少なくとも1人の視聴者をゲストとして採用し、該当のゲスト端末からゲスト放送620を受信した後、ホスト放送610にゲスト放送620をミキシングした二元中継ライブ放送630を、ゲストを含むすべての視聴者に配信している。
図7を参照すると、ゲスト端末700では、ホスト端末600が配信した二元中継ライブ放送630を再生するようになるが、このとき、ゲスト端末700では、ホスト端末600に送信したゲスト放送620の時点と現在のゲスト放送720の時点とに時間差が発生する。これにより、ゲストの立場では、現在のゲスト放送720の時点とは異なる、現時点よりも以前のゲスト放送620をそのまま視聴するようになるため、不自然な二元中継サービスを経験するようになる。
ゲスト放送のディレイ問題を解決するための1つの方法として、ホストが2つの放送を配信する方法があるが、その1つは、一般視聴者を対象としてホスト放送にゲスト放送をミキシングした放送を配信し、他の1つは、ゲストを対象としてゲスト放送がミキシングされていない、純粋なホスト放送だけを配信するのである。このとき、ゲスト端末700でホスト放送とホスト端末の放送とを直接ミキシングして再生することで、ディレイ問題を解決することができる。しかし、上述したような方式は、放送内容上において1つの放送であるにもかかわらず、ホスト端末が2つの放送(すなわち、一般視聴者を対象にした放送と、ゲストを対象にした放送)を配信しなければならないため、ビデオ生成リソースやネットワークリソースなどの浪費に繋がる。
本発明は、ゲスト放送のディレイ問題と不必要なリソースの浪費の両方を解決するための方法として、二元中継のライブ放送のためのオーディオストリームをホスト側で予めミキシングするのではなく、ホストオーディオとゲストオーディオを個別のエレメンタリストリームとして生成するのである。
より詳しく説明するために図8を参照すると、ホスト端末800では、二元中継をライブ放送するために、ビデオストリームの場合は、第1ホストビデオと第1ゲストビデオとをミキシングしたビデオストリーム830を配信し、オーディオストリームの場合は、ミキシングは行わず、第1ホストオーディオ841と第1ゲストオーディオ842を個別のエレメンタリストリームとして分離して配信してよい。
図9を参照すると、ゲストではない一般視聴者端末900では、ホスト端末800から、第1ホストビデオと第1ゲストビデオとがミキシングされたビデオストリーム830を受信してそのまま再生し、オーディオ940の場合は、第1ホストオーディオ841と第1ゲストオーディオ842をそれぞれ受信し、視聴者端末900側で直接ミキシングして再生する。
図10を参照すると、ゲスト端末1000では、ホスト端末800から、第1ホストビデオと第1ゲストビデオとがミキシングされたビデオストリーム830を受信して再生するようになるが、ゲストビデオレイアウトにゲスト端末1000の現時点のビデオである第2ゲストビデオ1020を重ねて再生する。また、オーディオの場合は、ホスト端末800から受信した第1ゲストオーディオ842は無視し、第1ホストオーディオ841とゲスト端末1000の現時点のオーディオである第2ゲストオーディオ1042とをミキシングして再生する。
言い換えれば、ゲスト端末1000でホスト端末800から受信した二元中継のライブ放送を再生するときには、放送画面のゲストビデオレイアウトに第2ゲストビデオ1020を重ね、さらに第1ホストオーディオ841と第2ゲストオーディオ1042をミキシングして再生することにより、ゲスト側で二元中継によるディレイは認知されなくなる。
このように、本発明の実施形態によると、ホスト放送ストリームにゲスト放送ストリームをミキシングして配信する二元中継をライブで放送する際に、ホストのオーディオとゲストのオーディオを個別のエレメンタリストリームで生成して配信することにより、ゲスト側のディレイ問題と不必要なリソースの浪費の両方を解決することができる。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および/またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例は、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD−ROMおよびDVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

Claims (17)

  1. コンピュータシステムによって実現される端末が実行するライブ放送方法であって、
    前記端末は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、
    前記ライブ放送方法は、
    前記少なくとも1つのプロセッサにより、前記端末の放送であるゲスト放送とホスト端末の放送であるホスト放送とをミキシングしたライブ放送を配信するホスト端末に、サーバを経由し、前記端末と連結する入力装置から入力される第1ゲスト画面と前記第1ゲスト画面と関連する第1ゲストオーディオを配信する段階、
    前記少なくとも1つのプロセッサにより、前記ホスト端末から、前記サーバを経由し、前記ホスト端末によって入力された第1ホスト画面と前記第1ゲスト画面とがミキシングされた第1放送画面とともに、前記第1ホスト画面と関連する第1ホストオーディオと前記第1ゲストオーディオをそれぞれのオーディオエレメンタリストリームとして受信する段階、
    前記少なくとも1つのプロセッサにより、前記第1ゲスト画面の後に前記入力装置から入力される第2ゲスト画面を前記受信した第1放送画面に重ねて第2放送画面を生成する段階、および
    前記少なくとも1つのプロセッサにより、前記第1ゲストオーディオは再生せず、前記第1ホストオーディオとともに前記第2放送画面を再生する段階
    を含む、ライブ放送方法。
  2. 前記生成する段階は、
    前記受信した第1放送画面の前記第1ゲスト画面が表示される領域に、前記入力される第2ゲスト画面を重ねる段階
    を含み、
    前記再生する段階は、
    前記入力装置から入力される第2ゲスト画面と関連する第2ゲストオーディオを前記受信した第1ホストオーディオとミキシングして、ゲスト用の放送オーディオを生成する段階、および
    前記ゲスト用の放送オーディオとともに前記第2放送画面を再生する段階
    を含む、請求項1に記載のライブ放送方法。
  3. 前記受信する段階は、
    前記ライブ放送のビデオストリームとして、前記第1ホスト画面と前記第1ゲスト画面とがミキシングされた前記第1放送画面を1つのビデオエレメンタリストリームとして受信する段階、および
    前記ライブ放送のオーディオストリームとして、前記第1ホストオーディオと前記第1ゲストオーディオを前記それぞれのオーディオエレメンタリストリームとして受信する段階
    を含む、請求項1に記載のライブ放送方法。
  4. 前記ライブ放送は、前記ホスト端末において、他の端末から他のゲスト放送を受信し、前記ゲスト放送および前記ホスト放送とともに前記他のゲスト放送をミキシングして配信されたものであり、
    前記受信する段階は、
    前記ライブ放送の前記オーディオストリームとして、前記他のゲスト放送の他のゲストオーディオを、前記それぞれのオーディオエレメンタリストリームとは異なる他のオーディオエレメンタリストリームとしてさらに受信する段階
    を含む、請求項3に記載のライブ放送方法。
  5. 前記再生する段階は、
    前記ライブ放送に対する前記それぞれのオーディオエレメンタリストリームのうちの少なくとも1つの再生を制御する段階
    を含む、請求項3に記載のライブ放送方法。
  6. 前記再生する段階は、
    前記ライブ放送に対する前記それぞれのオーディオエレメンタリストリームおよび前記他のオーディオエレメンタリストリームのうちの少なくとも1つの再生を制御する段階
    を含む、請求項4に記載のライブ放送方法。
  7. コンピュータシステムによって実現される端末が実行するライブ放送方法であって、
    前記端末は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、
    前記ライブ放送方法は、
    前記少なくとも1つのプロセッサにより、サーバを経由し、少なくとも1つのゲスト端末から前記ゲスト端末の放送であるゲスト放送を受信する段階、および
    前記少なくとも1つのプロセッサにより、前記端末の放送であるホスト放送に前記ゲスト放送をミキシングしたライブ放送を、前記ゲスト端末および少なくとも1つの視聴者端末に配信する段階
    を含み、
    前記配信する段階は、
    前記ライブ放送のビデオストリームとして、ホスト画面にゲスト画面がミキシングされた放送画面を1つのビデオエレメンタリストリームとして配信する段階、および
    前記ライブ放送のオーディオストリームとして、ホストオーディオとゲストオーディオをそれぞれのオーディオエレメンタリストリームとして配信する段階
    を含む、ライブ放送方法。
  8. 前記端末が複数のゲスト端末を特定した場合、前記配信する段階は、
    前記ライブ放送のビデオストリームとして、前記ホスト画面に複数のゲスト画面がミキシングされた放送画面を前記1つのビデオエレメンタリストリームとして配信する段階、および
    前記ライブ放送のオーディオストリームとして、前記ホストオーディオと前記複数のゲスト端末から受信した複数のゲストオーディオをそれぞれのオーディオエレメンタリストリームとして配信する段階
    を含む、請求項7に記載のライブ放送方法。
  9. 請求項1〜8のうちのいずれか一項に記載のライブ放送方法をコンピュータに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体。
  10. コンピュータシステムによって実現される端末であって、
    メモリ、および
    前記メモリに接続され、前記メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサ
    を含み、
    前記少なくとも1つのプロセッサは、
    前記端末の放送であるゲスト放送とホスト端末の放送であるホスト放送とをミキシングしたライブ放送を配信するホスト端末に、サーバを経由し、前記端末と連結する入力装置から入力される第1ゲスト画面と前記第1ゲスト画面と関連する第1ゲストオーディオを配信する放送配信部、
    前記ホスト端末から、前記サーバを経由し、前記ホスト端末によって入力された第1ホスト画面と前記第1ゲスト画面とがミキシングされた第1放送画面とともに、前記第1ホスト画面と関連する第1ホストオーディオと前記第1ゲストオーディオをそれぞれのオーディオエレメンタリストリームとして受信する放送受信部、および
    前記第1ゲスト画面の後に前記入力装置から入力される第2ゲスト画面を前記受信した第1放送画面に重ねて第2放送画面を生成した後、前記第1ゲストオーディオは再生せず、前記第1ホストオーディオとともに前記第2放送画面を再生する放送再生部
    を備える、端末。
  11. 前記放送再生部は、
    前記受信した第1放送画面の前記第1ゲスト画面が表示される領域に、前記入力される第2ゲスト画面を重ね、
    前記入力装置から入力される第2ゲスト画面と関連する第2ゲストオーディオを前記受信した第1ホストオーディオとミキシングして、ゲスト用の放送オーディオを生成し、
    前記ゲスト用の放送オーディオとともに前記第2放送画面を再生する、請求項10に記載の端末。
  12. 前記放送受信部は、
    前記ライブ放送のビデオストリームとして、前記第1ホスト画面と前記第1ゲスト画面とがミキシングされた前記第1放送画面を1つのビデオエレメンタリストリームとして受信し、
    前記ライブ放送のオーディオストリームとして、前記第1ホストオーディオと前記第1ゲストオーディオを前記それぞれのオーディオエレメンタリストリームとして受信する、請求項10に記載の端末。
  13. 前記ライブ放送は、前記ホスト端末において、他の端末から他のゲスト放送を受信し、前記ゲスト放送および前記ホスト放送とともに前記他のゲスト放送をミキシングして配信されたものであり、
    前記放送受信部は、
    前記ライブ放送の前記オーディオストリームとして、前記他のゲスト放送の他のゲストオーディオを、前記それぞれのオーディオエレメンタリストリームとは異なる他のオーディオエレメンタリストリームとしてさらに受信する、請求項12に記載の端末。
  14. 前記放送再生部は、
    前記ライブ放送に対する前記それぞれのオーディオエレメンタリストリームのうちの少なくとも1つの再生を制御する、請求項12に記載の端末。
  15. 前記放送再生部は、
    前記ライブ放送に対する前記それぞれのオーディオエレメンタリストリームおよび前記他のオーディオエレメンタリストリームのうちの少なくとも1つの再生を制御する、請求項13に記載の端末。
  16. コンピュータシステムによって実現される端末であって、
    メモリ、および
    前記メモリに接続され、前記メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサ
    を含み、
    前記少なくとも1つのプロセッサは、
    サーバにおいて、少なくとも1つのゲスト端末から前記ゲスト端末の放送であるゲスト放送を受信する放送受信部、および
    前記端末の放送であるホスト放送に前記ゲスト放送をミキシングしたライブ放送を、前記ゲスト端末および少なくとも1つの視聴者端末に配信する放送配信部
    を備え、
    前記放送配信部は、
    前記ライブ放送のビデオストリームとして、ホスト画面にゲスト画面がミキシングされた放送画面を1つのビデオエレメンタリストリームとして配信するビデオ配信部、および
    前記ライブ放送のオーディオストリームとして、ホストオーディオとゲストオーディオをそれぞれのオーディオエレメンタリストリームとして配信するオーディオ配信部
    を備える、端末。
  17. 前記端末が複数のゲスト端末を特定した場合、前記放送配信部は、
    前記ライブ放送のビデオストリームとして、前記ホスト画面に複数のゲスト画面がミキシングされた放送画面を前記1つのビデオエレメンタリストリームとして配信し、
    前記ライブ放送のオーディオストリームとして、前記ホストオーディオと前記複数のゲスト端末から受信した複数のゲストオーディオをそれぞれのオーディオエレメンタリストリームとして配信する、請求項16に記載の端末。
JP2020551941A 2018-03-28 2018-03-28 ライブ放送で発生するゲスト放送のディレイを解消する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体 Active JP7164623B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/003662 WO2019189959A1 (ko) 2018-03-28 2018-03-28 라이브 방송 시 게스트 방송의 딜레이를 상쇄하는 방법과 시스템 및 비-일시적인 컴퓨터 판독가능한 기록 매체

Publications (2)

Publication Number Publication Date
JP2021525012A true JP2021525012A (ja) 2021-09-16
JP7164623B2 JP7164623B2 (ja) 2022-11-01

Family

ID=68061926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020551941A Active JP7164623B2 (ja) 2018-03-28 2018-03-28 ライブ放送で発生するゲスト放送のディレイを解消する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体

Country Status (5)

Country Link
US (1) US11606581B2 (ja)
JP (1) JP7164623B2 (ja)
KR (1) KR102484638B1 (ja)
CN (1) CN111971971B (ja)
WO (1) WO2019189959A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111510738B (zh) * 2020-04-26 2023-08-11 北京字节跳动网络技术有限公司 一种直播中音频的传输方法及装置
CN111698529B (zh) * 2020-06-19 2022-02-22 广州繁星互娱信息科技有限公司 直播监控方法、装置、设备以及计算机可读存储介质
KR102506552B1 (ko) * 2021-06-02 2023-03-06 김진우 주문형비디오 재생 시스템 및 주문형비디오 재생 방법
CN115396714A (zh) * 2022-08-11 2022-11-25 广州方硅信息技术有限公司 直播间布局的调整方法、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008089849A (ja) * 2006-09-29 2008-04-17 Yamaha Corp リモート演奏システム
JP2008131379A (ja) * 2006-11-21 2008-06-05 Yamaha Corp 配信システム、および端末装置
JP2009005012A (ja) * 2007-06-20 2009-01-08 Yamaha Corp データ配信装置、データ配信方法およびプログラム
KR20110054485A (ko) * 2009-11-17 2011-05-25 한국전자통신연구원 참여형 방송 시스템 및 그의 음성 처리 방법
US20120050456A1 (en) * 2010-08-27 2012-03-01 Cisco Technology, Inc. System and method for producing a performance via video conferencing in a network environment
US20140059629A1 (en) * 2012-08-23 2014-02-27 Electronics And Telecommunications Research Institute Two-way broadcast service providing system and method including media transmission apparatus

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473114B1 (en) * 2000-04-14 2002-10-29 Koninklijke Philips Electronics N.V. Method and system for indicating change of speaker in a videoconference application
KR100486893B1 (ko) * 2003-05-10 2005-04-29 주식회사 플랜티넷 인터넷 기반의 온라인 서비스를 위한 음성 회의 서비스 제공 방법
JP2005051703A (ja) 2003-07-31 2005-02-24 Institute Of Tsukuba Liaison Co Ltd ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
US20060146734A1 (en) * 2005-01-04 2006-07-06 Nokia Corporation Method and system for low-delay video mixing
KR100867004B1 (ko) * 2007-09-19 2008-11-10 한국전자통신연구원 시청자 참여를 위한 양방향성 iptv 방송 서비스 방법및 그 시스템
KR20090066190A (ko) * 2007-12-18 2009-06-23 한국전자통신연구원 대화형 오디오 송/수신 장치 및 그 방법
US10057662B2 (en) * 2011-04-21 2018-08-21 Shah Talukder Flow controlled based synchronized playback of recorded media
US8819738B2 (en) * 2012-05-16 2014-08-26 Yottio, Inc. System and method for real-time composite broadcast with moderation mechanism for multiple media feeds
CN105306468B (zh) * 2015-10-30 2019-01-11 广州华多网络科技有限公司 一种合成视频数据实时共享的方法及其主播客户端
KR20170081517A (ko) * 2016-01-04 2017-07-12 한국전자통신연구원 시청자의 참여가 가능한 양방향 방송 제공 서버 및 방법
CN106131583A (zh) * 2016-06-30 2016-11-16 北京小米移动软件有限公司 一种直播处理方法、装置、终端设备及系统
US20180063556A1 (en) * 2016-08-29 2018-03-01 YouNow, Inc. Systems and methods for providing guest broadcasting on a live stream video platform
US10193940B2 (en) * 2017-02-07 2019-01-29 Microsoft Technology Licensing, Llc Adding recorded content to an interactive timeline of a teleconference session

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008089849A (ja) * 2006-09-29 2008-04-17 Yamaha Corp リモート演奏システム
JP2008131379A (ja) * 2006-11-21 2008-06-05 Yamaha Corp 配信システム、および端末装置
JP2009005012A (ja) * 2007-06-20 2009-01-08 Yamaha Corp データ配信装置、データ配信方法およびプログラム
KR20110054485A (ko) * 2009-11-17 2011-05-25 한국전자통신연구원 참여형 방송 시스템 및 그의 음성 처리 방법
US20120050456A1 (en) * 2010-08-27 2012-03-01 Cisco Technology, Inc. System and method for producing a performance via video conferencing in a network environment
US20140059629A1 (en) * 2012-08-23 2014-02-27 Electronics And Telecommunications Research Institute Two-way broadcast service providing system and method including media transmission apparatus

Also Published As

Publication number Publication date
KR102484638B1 (ko) 2023-01-04
US20210006841A1 (en) 2021-01-07
CN111971971A (zh) 2020-11-20
JP7164623B2 (ja) 2022-11-01
US11606581B2 (en) 2023-03-14
CN111971971B (zh) 2023-12-01
WO2019189959A1 (ko) 2019-10-03
KR20200127203A (ko) 2020-11-10

Similar Documents

Publication Publication Date Title
JP2021525012A (ja) ライブ放送で発生するゲスト放送のディレイを解消する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体
JP7221638B2 (ja) 生放送中の音声フィードバックのための方法とシステム、および非一時的コンピュータ読取可能な記録媒体
JP6887601B2 (ja) リアルタイムライブ映像とイベントの同期化のための方法、システム、および非一時的なコンピュータ読み取り可能な記録媒体
EP2466475B1 (en) Information processing system and information processing device
JP2021177625A (ja) インターネット電話に基づく通話中にリアクションを表示する方法、システム、およびコンピュータプログラム
EP2884751A1 (en) A multimedia platform for generating and streaming content based on data provided by capturing devices corresponding to multiple viewpoints including subjective viewpoints
JP2020119565A (ja) メッセンジャー内のプラットフォームに追加されたアプリケーションを用いてチャットルームで情報を共有する方法、システム、およびコンピュータプログラム
US20240007510A1 (en) METHOD, SYSTEM, AND NON-TRANSITORY COMPUTER-READABLE RECORD MEDIUM FOR SHARING CONTENT DURING VoIP-BASED CALL
JP2022042997A (ja) リアルタイムライブストリーミングで遅延を最小化するための方法、サーバ、およびコンピュータ読み取り可能な記録媒体
JP7413266B2 (ja) ストリーミングコンテンツリアルタイム共有方法およびシステム
JP7260637B2 (ja) 小説リプレイ方法、プログラム、および端末
KR102375806B1 (ko) 사용자별 재생률 정보 제공 방법 및 그 장치
JP7160885B2 (ja) デュアルスクリーンでコンテンツの重複を排除する方法、システム、およびコンピュータプログラム
JP7348917B2 (ja) プログラムおよび電子機器
JP7133634B2 (ja) ユーザフィードバックが可能なボットに基づいて映像を制作する方法、システム、および非一時的なコンピュータ読み取り可能な記録媒体
JP2021184273A (ja) 複数のカメラパッケージで構成されたカメラアプリケーションを含むシステムおよびカメラ機能制御方法
JP2014016827A (ja) アプリケーション管理装置、アプリケーション管理システム、アプリケーション管理方法、およびアプリケーション管理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221020

R150 Certificate of patent or registration of utility model

Ref document number: 7164623

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150