JP2022534353A - METHOD AND APPARATUS FOR PROVIDING REAL-TIME PARTICIPATIVE STREAMING SERVICE VIA INTERNET - Google Patents

METHOD AND APPARATUS FOR PROVIDING REAL-TIME PARTICIPATIVE STREAMING SERVICE VIA INTERNET Download PDF

Info

Publication number
JP2022534353A
JP2022534353A JP2021560467A JP2021560467A JP2022534353A JP 2022534353 A JP2022534353 A JP 2022534353A JP 2021560467 A JP2021560467 A JP 2021560467A JP 2021560467 A JP2021560467 A JP 2021560467A JP 2022534353 A JP2022534353 A JP 2022534353A
Authority
JP
Japan
Prior art keywords
content
viewer
list
internet
broadcaster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021560467A
Other languages
Japanese (ja)
Inventor
キ リョン キム、
ソン イル カン、
ヒ ソク パク,
Original Assignee
チームグリット
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by チームグリット filed Critical チームグリット
Publication of JP2022534353A publication Critical patent/JP2022534353A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2747Remote storage of video programs received via the downstream path, e.g. from the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand

Abstract

インターネットを介するリアルタイム参与型ストリーミングサービス提供方法及びその装置に係り、該インターネット放送装置は、放送者の第1コンテンツをインターネットを介し、視聴者に提供する間、少なくとも1以上の第2コンテンツが選択されれば、視聴者に、第1コンテンツと第2コンテンツとを合成して提供する。A method and apparatus for providing a real-time participatory streaming service via the Internet, wherein the Internet broadcasting apparatus selects at least one or more second contents while providing first contents of a broadcaster to viewers via the Internet. If so, the first content and the second content are synthesized and provided to the viewer.

Description

本発明の実施形態は、インターネットを介するリアルタイム参与型ストリーミングサービス提供方法に係り、さらに詳細には、放送者が、第三者のコンテンツを活用し、リアルタイム参与型ストリーミングサービスを提供することができる方法及びその装置に関する。 Embodiments of the present invention relate to a method for providing a real-time participatory streaming service over the Internet, and more particularly, a method that enables a broadcaster to utilize third-party content to provide a real-time participatory streaming service. and its apparatus.

本発明は、中小ベンチャー企業部の創業成長技術開発(R&D)事業の一環として行われた研究から導き出されたものである(課題固有番号:1425135308、細部課題情報:S2797596、部署名:中小ベンチャー企業部、研究管理専門機関:中小企業技術情報振興院、研究事業名:創業成長技術開発(R&D)、研究課題名:参与放送を基にした知能型教育サポートプラットホーム開発、寄与率:1/1、主管機関:(株)チームグリット、研究期間:2019.11.25.~2021.11.24.)。 The present invention was derived from research conducted as part of the start-up growth technology development (R & D) business of the small and medium-sized venture business department (issue specific number: 1425135308, detailed issue information: S2797596, department name: small and medium-sized venture company Department, Research management agency: Small and Medium Enterprise Technology Information Agency, Research project name: Startup growth technology development (R&D), Research subject name: Intelligent education support platform development based on participation broadcasting, Contribution rate: 1/1, Supervising institution: Team Grit Co., Ltd. Research period: 2019.11.25.-2021.11.24.).

インターネットを介し、多様なコンテンツが提供される。例えば、フェイスブックやユーチューブのような、従来の多様なソーシャルネットワークサービスを利用し、各ユーザは、自身のコンテンツを第三者と共有することができる。従来のコンテンツ提供方法は、各ユーザが、自身のアカウントに全てのコンテンツを保存した後、それらをインターネットを介して提供したり、リアルタイムストリーミングサービスを提供したりする構成であるのみ、第三者のコンテンツを活用してのリアルタイムストリーミングサービス提供に限界がある。従来のストリーミングコンテンツ提供方法の一例として、登録特許公報第10-1956121号などがある。 Various contents are provided through the Internet. For example, using various conventional social network services such as Facebook and YouTube, each user can share his/her content with third parties. The conventional method of providing content is that each user saves all content in their own account and then provides it via the Internet or provides a real-time streaming service. There is a limit to the provision of real-time streaming services using content. An example of a conventional streaming content providing method is Japanese Patent Publication No. 10-1956121.

本発明の実施形態がなす技術的課題は、放送者が第三者のコンテンツの活用し、インターネットを介するリアルタイム参与型ストリーミングサービスを提供する方法及びその装置を提供することである。 A technical problem addressed by embodiments of the present invention is to provide a method and apparatus for a broadcaster to utilize third-party content and provide a real-time participatory streaming service over the Internet.

前述の技術的課題を達成するための、本発明の実施形態による、インターネットを介するリアルタイム参与型ストリーミングサービス提供方法の一例は、インターネット放送装置が遂行するインターネットを介するリアルタイムストリーミングサービス提供方法において、放送者の第1コンテンツをインターネットを介し、少なくとも1以上の視聴者端末に提供する段階と、前記第1コンテンツの提供中、少なくとも1以上の第2コンテンツを選択する段階と、前記少なくとも1以上の視聴者端末に、前記第1コンテンツと第2コンテンツとを合成して提供する段階と、を含む。 An example of a method for providing a real-time participatory streaming service via the Internet according to an embodiment of the present invention for achieving the above-described technical problem is a method for providing a real-time streaming service via the Internet performed by an Internet broadcasting device, in which a broadcaster providing said first content to at least one or more viewer terminals via the Internet; selecting at least one or more second content during provision of said first content; and said at least one or more viewers synthesizing and providing the first content and the second content to a terminal.

前述の技術的課題を達成するための、本発明の実施形態によるインターネット放送装置の一例は、放送者の第1コンテンツをインターネットを介し、少なくとも1以上の視聴者端末に提供するストリーミング部と、前記第1コンテンツの提供中、少なくとも1以上の第2コンテンツを選択するコンテンツ選択部と、を含み、前記ストリーミング部は、前記少なくとも1以上の視聴者端末に、前記第1コンテンツと前記第2コンテンツとを合成する。 An example of an Internet broadcasting apparatus according to an embodiment of the present invention for achieving the above-described technical problem includes a streaming unit that provides a first content of a broadcaster to at least one or more viewer terminals via the Internet; and a content selection unit that selects at least one or more second contents during provision of the first content, wherein the streaming unit transmits the first content and the second content to the at least one or more viewer terminals. to synthesize.

本発明の実施形態よれば、放送者は、第三者のコンテンツを活用し、リアルタイム参与型ストリーミングサービスを提供することができる。該放送者のコンテンツと該第三者の多数のコンテンツのと合成と展開とのシナリオを多様化させることにより、既存コンテンツの活用度を高め、さらに容易にさらに多くの融合コンテンツを生成することができる。他の実施形態として、第三者のコンテンツをローカルに保存せず、必要な所定データだけをローカルに保存するので、遠隔サーバのコンテンツを時間遅延なしに、リアルタイム提供しながら、ローカル保存空間を最小化させることができる。 Embodiments of the present invention allow broadcasters to leverage third-party content to provide real-time participatory streaming services. By diversifying scenarios for synthesizing and deploying contents of the broadcaster and a large number of contents of the third party, it is possible to increase utilization of existing contents and easily generate more converged contents. can. In another embodiment, since only necessary predetermined data is locally stored without storing third party contents locally, the local storage space is minimized while providing the contents of the remote server in real time without time delay. can be made

本発明の実施形態による、インターネットを介するリアルタイムストリーミングサービス提供のための全体システムの概略的な構造の一例を図示した図面である。1 is a diagram illustrating an example of a schematic structure of an overall system for providing real-time streaming service over the Internet according to an embodiment of the present invention; 本発明の実施形態によるコンテンツ合成概念の一例を図示した図面である。1 is a diagram illustrating an example of a content synthesizing concept according to an embodiment of the present invention; 本発明の実施形態による、放送プログラム別に登録された参与コンテンツの一例を図示した図面である。4 is a diagram illustrating an example of participation content registered for each broadcasting program according to an embodiment of the present invention; 本発明の実施形態による、参与コンテンツを登録する方法の一例を図示した図面である。4 is a diagram illustrating an example of a method of registering participating content according to an embodiment of the present invention; 本発明の実施形態による、参与コンテンツの一部をインターネット放送装置のローカルに保存する概念の一例を図示した図面である。4 is a diagram illustrating an example of a concept of locally storing part of participating content in an Internet broadcasting device according to an embodiment of the present invention; 本発明の実施形態による、キャッシュデータをローカルに保存する方法の一例を図示した図面である。FIG. 4 is a diagram illustrating an example of a method for locally storing cache data, according to an embodiment of the present invention; FIG. 本発明の実施形態による、視聴者端末のコンテンツを合成する概念の一例を図示した図面である。4 is a diagram illustrating an example of a concept of synthesizing content of a viewer terminal according to an embodiment of the present invention; 本発明の実施形態による、放送者コンテンツと、視聴者端末のコンテンツとを合成して提供する方法の一例を図示したフローチャートである。4 is a flow chart illustrating an example of a method for synthesizing and providing broadcaster content and viewer terminal content, according to an embodiment of the present invention; 本発明の実施形態によるリアルタイムストリーミングサービス画面の一例を図示した図面である。FIG. 4 is a diagram illustrating an example of a real-time streaming service screen according to an embodiment of the present invention; FIG. 本発明の実施形態によるインターネット放送装置の構成の一例を図示した図面である。1 is a diagram illustrating an example of a configuration of an Internet broadcasting apparatus according to an embodiment of the present invention; 本発明の実施形態による、インターネットを介するリアルタイムストリーミングサービス方法の一例を図示したフローチャートである。4 is a flow chart illustrating an example of a real-time streaming service method over the Internet, according to an embodiment of the present invention;

以下において、添付図面を参照し、本発明の実施形態による、インターネットを介するリアルタイムストリーミングサービス提供方法及びその装置について詳細に説明する。 Hereinafter, a method and apparatus for providing real-time streaming service via the Internet according to embodiments of the present invention will be described in detail with reference to the accompanying drawings.

図1は、本発明の実施形態による、インターネットを介するリアルタイムストリーミングサービス提供のための全体システムの概略的な構造の一例を図示した図面である。 FIG. 1 is a diagram illustrating an example of a schematic structure of an overall system for providing real-time streaming service over the Internet according to an embodiment of the present invention.

図1を参照すれば、インターネット放送装置100は、少なくとも1以上の放送者端末112,114と、インターネット網を介して連結され、少なくとも1以上の視聴者端末122,124と、インターネット網を介して連結される。ここで、放送者端末112,114及び視聴者端末122,124は、放送者110及び視聴者120が、それぞれインターネット放送装置に接続するために使用する端末であり、有線通信または無線通信が可能な全種の端末を含む。例えば、放送者端末112,114及び視聴者端末122,124は、スマートフォン、タブレットPC(personal computer)、一般コンピュータのような従来の多様な端末でもある。 Referring to FIG. 1, the Internet broadcasting apparatus 100 is connected to at least one or more broadcaster terminals 112 and 114 via the Internet network, and is connected to at least one or more viewer terminals 122 and 124 via the Internet network. concatenated. Here, the broadcaster terminals 112 and 114 and the viewer terminals 122 and 124 are terminals used by the broadcaster 110 and the viewer 120 to connect to the Internet broadcasting apparatus, respectively, and are capable of wired communication or wireless communication. Includes all types of terminals. For example, the broadcaster terminals 112 and 114 and the viewer terminals 122 and 124 may be various conventional terminals such as smart phones, tablet PCs (personal computers), and general computers.

インターネット放送装置100は、少なくとも1以上のチャネルを含み、各チャネルの放送プログラムを、リアルタイムストリーミングサービスを介し、視聴者120に提供することができる。インターネット放送装置100は、所定手続きを介して加入した放送者110に、少なくとも1以上のチャネルを割り当てることができる。他の実施形態として、インターネット放送装置100は、1つのチャネルを、さまざまな時間帯に分け、少なくとも1以上の放送者110に割り当てることができる。 The Internet broadcasting device 100 includes at least one or more channels, and can provide broadcast programs of each channel to viewers 120 via real-time streaming service. The Internet broadcasting device 100 can allocate at least one or more channels to the broadcaster 110 who subscribes through a predetermined procedure. As another embodiment, the Internet broadcasting device 100 can divide one channel into various time slots and assign it to at least one or more broadcasters 110 .

インターネット放送装置100は、放送者端末112,114から受信した放送コンテンツ(例えば、ライブ放送)を、リアルタイムストリーミングサービスを介し、視聴者端末122,124に提供したり、ローカルに保存された放送コンテンツ(例えば、VOD(video on demand)サービス)を視聴者端末122,124の要請によって提供したりすることができる。 The Internet broadcasting apparatus 100 provides broadcast content (for example, live broadcast) received from the broadcaster terminals 112 and 114 to the viewer terminals 122 and 124 via a real-time streaming service, or locally stored broadcast content ( For example, a VOD (video on demand) service can be provided upon request from the viewer terminals 122 and 124 .

放送者110は、インターネット放送装置100を介して受けたチャネル(または、チャネルの特定時間帯)を介し、自身のコンテンツを放送することができる。例えば、放送者110は、リアルタイムライブ映像を、自身の放送チャネルを介し、視聴者120に提供したり、以前に作られたコンテンツを、自身の放送チャネルを介し、視聴者120に提供することができる。以前に作られたコンテンツは、放送者端末112,114に保存されているか、あるいはインターネット放送装置100のローカルに、放送者別にも保存される。 A broadcaster 110 can broadcast his/her own content through a channel (or a specific time period of the channel) received through the Internet broadcasting device 100 . For example, a broadcaster 110 may provide real-time live video to viewers 120 via its broadcast channel or previously produced content to viewers 120 via its broadcast channel. can. Previously created content is stored at the broadcaster terminals 112, 114, or stored locally on the Internet broadcasting device 100, also by broadcaster.

放送者110は、自身の多数個コンテンツを合成して放送するだけではなく、放送者コンテンツと第三者コンテンツとをリアルタイム合成して提供することができる。例えば、放送者110は、サッカー中継やゲーム中継のようなライブ放送中、第三者コンテンツをリアルタイム合成して提供することができる。放送者110が、第三者コンテンツをリアルタイム合成して放送する方法については、図2以下において、さらに説明する。 The broadcaster 110 not only synthesizes and broadcasts his/her own content, but also synthesizes the broadcaster's content and the third party's content in real time and provides the synthesized content. For example, the broadcaster 110 can provide real-time composition of third-party content during a live broadcast, such as a soccer broadcast or game broadcast. The method by which the broadcaster 110 synthesizes and broadcasts third-party content in real time will be further described below with reference to FIG.

視聴者120は、インターネット放送装置100に接続する所望放送プログラムを視聴することができる。言い換えれば、インターネット放送装置100は、視聴者120が選択したライブ放送またはVODサービスを、ストリーミングサービスを介し、視聴者端末122,124に提供することができる。 A viewer 120 can view a desired broadcast program connected to the Internet broadcast device 100 . In other words, the Internet broadcasting device 100 can provide the live broadcast or VOD service selected by the viewer 120 to the viewer terminals 122, 124 via the streaming service.

他の実施形態として、インターネット放送装置100は、ローカルに保存された放送コンテンツやリアルタイムストリーミングコンテンツを、ユーチューブやフェイスブックのようなソーシャルメディアサービスを提供する外部メディアサーバ130に提供することができる。 As another embodiment, the Internet broadcasting device 100 can provide locally stored broadcast content and real-time streaming content to an external media server 130 that provides social media services such as YouTube and Facebook.

図2は、本発明の実施形態によるコンテンツ合成概念の一例を図示した図面である。 FIG. 2 is a diagram illustrating an example of content synthesizing concept according to an embodiment of the present invention.

図2を参照すれば、インターネット放送装置100は、放送者200のコンテンツ210,220と、第三者250のコンテンツ260,270とを合成し(280)、リアルタイムストリーミングサービスを提供することができる。例えば、放送者200が、自身のコンテンツb220を放送している最中、第三者250のコンテンツ1 260を選択すれば、インターネット放送装置100は、放送者200のコンテンツb220と第三者250のコンテンツ1 260とを合成し(280)、視聴者端末に提供することができる。 Referring to FIG. 2, the Internet broadcasting device 100 can combine (280) the contents 210, 220 of the broadcaster 200 and the contents 260, 270 of the third party 250 to provide a real-time streaming service. For example, if the broadcaster 200 selects the content 1 260 of the third party 250 while broadcasting his own content b220, the Internet broadcasting apparatus 100 selects the content b220 of the broadcaster 200 and the third party 250. Content 1 260 can be synthesized 280 and provided to the viewer terminal.

例えば、放送者200が、ライブ放送中、第三者のコンテンツ260,270のうちいずれか一つを選択すれば、インターネット放送装置100は、ライブ放送画面の一側に、第三者コンテンツを共に表示し、ユーザ端末に提供することができる。インターネット放送装置が提供する放送画面の一例が、図9に図示されている。 For example, if the broadcaster 200 selects one of the third party contents 260 and 270 during the live broadcast, the Internet broadcasting apparatus 100 displays the third party contents together on one side of the live broadcast screen. can be displayed and provided to the user terminal. An example of a broadcast screen provided by the Internet broadcast device is shown in FIG.

放送者コンテンツ210,220は、ライブ映像や、放送者端末またはインターネット放送装置100に事前に保存されたコンテンツでもある。ただし、以下の実施形態においては、放送者コンテンツ210,220が、ライブ映像(すなわち、生放送)である場合を仮定して説明する。 The broadcaster contents 210 and 220 are also live images and contents stored in the broadcaster terminal or the Internet broadcasting device 100 in advance. However, in the following embodiments, it is assumed that the broadcaster contents 210 and 220 are live images (that is, live broadcasting).

第三者コンテンツ260,270は、インターネット放送装置100に事前に登録された参与コンテンツ、放送中にリアルタイム登録される参与コンテンツ、または少なくとも1以上の視聴者端末から、放送中にリアルタイム受信されるコンテンツでもある。ここで、第三者250は、視聴者でもあり、他の放送者でもある。該参与コンテンツの一例が図3に図示されており、放送中に視聴者端末からリアルタイムコンテンツを受信する一例が、図7に図示されている。 The third-party contents 260 and 270 are participating contents registered in advance in the Internet broadcasting device 100, participating contents registered in real time during broadcasting, or contents received in real time from at least one or more viewer terminals during broadcasting. But also. Here, the third party 250 is both a viewer and another broadcaster. An example of the participation content is shown in FIG. 3, and an example of receiving real-time content from the viewer terminal during broadcasting is shown in FIG.

図3は、本発明の実施形態による、放送プログラム別に登録された参与コンテンツの一例を図示した図面である。 FIG. 3 is a diagram illustrating an example of participation content registered for each broadcast program according to an embodiment of the present invention.

図3を参照すれば、インターネット放送装置100は、各チャネル(または、時間帯)を介して放送される放送プログラムリストを保存管理する。また、インターネット放送装置100は、第三者の参与コンテンツ312,314,322,324を、各放送プログラム310,320とマッピングして保存管理する。 Referring to FIG. 3, the Internet broadcasting apparatus 100 stores and manages a broadcasting program list broadcasted through each channel (or time period). Also, the Internet broadcasting apparatus 100 maps third party participation contents 312 , 314 , 322 , 324 with each broadcasting program 310 , 320 and stores and manages them.

例えば、野球競技に係わるリアルタイムインターネット放送に係わる放送プログラムが予定された場合、第三者は、当該野球競技に係わる多様なコンテンツ(例えば、野球選手に係わる情報、野球選手のインタビュー映像など)を、当該放送プログラムの参与コンテンツとして事前に登録するか、あるいは当該放送プログラムの放送中にリアルタイム登録することができる。 For example, when a broadcast program related to real-time Internet broadcasting related to a baseball game is scheduled, a third party may broadcast various contents related to the baseball game (for example, information related to baseball players, interview videos of baseball players, etc.), It can be registered in advance as participating content of the broadcast program, or can be registered in real time during the broadcast of the broadcast program.

インターネット放送装置100は、放送プログラム310,320とマッピングされて保存された参与コンテンツ312,314,322,324を、放送者300が選択するように、参与コンテンツリストを提供することができる。例えば、図9のように、インターネット放送装置100は、放送画面900と共に、参与コンテンツリスト950を放送者端末に提供する。放送者300は、生放送中、参与コンテンツリスト950を介し、所望する参与コンテンツを選択し、それを自身の放送に合成し、視聴者に提供することができる。言い換えれば、野球競技をリアルタイム中継する放送者300は、当該野球競技と係わり、第三者が登録したさまざまな参与コンテンツを活用し、さらに盛りだくさんな濃い野球放送を行うことができる。 The Internet broadcasting apparatus 100 can provide a participating content list so that the broadcaster 300 can select the participating content 312, 314, 322, 324 mapped and stored with the broadcasting programs 310, 320. FIG. For example, as shown in FIG. 9, the Internet broadcasting apparatus 100 provides a broadcast screen 900 and a participating content list 950 to the broadcaster terminal. During the live broadcast, the broadcaster 300 can select desired participating content through the participating content list 950, synthesize it into his broadcast, and present it to the viewers. In other words, the broadcaster 300, who relays the baseball game in real time, is involved in the baseball game and utilizes various participation contents registered by third parties, and can broadcast richer and richer baseball games.

インターネット放送装置100は、第三者の参与コンテンツ312,314,322,324をローカルに保存することができる。しかし、その場合、インターネット放送装置100の保存空間が多く必要となる問題点が存在する。本実施形態は、ローカルに参与コンテンツを保存することを排除するものではないが、ローカルの保存空間を節約し、放送端末に従属することにならないようにするための方法として、参与コンテンツに係わる一部情報のみを保存して管理することができる。該参与コンテンツの一部情報を保存管理する方法については、図5で説明する。 The Internet broadcaster 100 can store third party participating content 312, 314, 322, 324 locally. However, in this case, there is a problem that a large amount of storage space is required for the Internet broadcasting apparatus 100 . Although this embodiment does not exclude storing the participating content locally, as a method for saving the local storage space and not depending on the broadcasting terminal, a method related to the participating content is provided. Only part information can be saved and managed. A method for storing and managing the partial information of the participating content will be described with reference to FIG.

図4は、本発明の実施形態による、参与コンテンツを登録する方法の一例を図示した図面である。 FIG. 4 is a diagram illustrating an example of a method of registering participating content according to an embodiment of the present invention.

図4を参照すれば、インターネット放送装置100は、各チャネルを介して放送される放送プログラムのリストを、視聴者端末に提供する(S400)。例えば、視聴者は、視聴者端末を利用し、インターネット放送装置100に接続し、放送プログラムを照会するか、あるいは検索することができる。本実施形態は、参与コンテンツを登録する主体を視聴者として説明しているが、必ずしもそれに限定されるものではなく、インターネット放送装置に接続することができる者であるならば、いずれも可能である。ただし、以下においては、説明の便宜のために、視聴者に限定して説明する。 Referring to FIG. 4, the Internet broadcasting apparatus 100 provides the viewer terminal with a list of broadcasting programs to be broadcasted through each channel (S400). For example, a viewer can use a viewer terminal to connect to the Internet broadcasting device 100 and inquire or search for broadcast programs. In the present embodiment, the subject who registers the participation content is described as the viewer, but it is not necessarily limited to that, and any person who can connect to the Internet broadcasting device can do so. . However, in the following, for convenience of explanation, the explanation will be limited to the viewer.

インターネット放送装置100は、視聴者端末から参与コンテンツを登録する放送プログラムを選択され(S410)、参与コンテンツの登録要請を受信する(S420)。該参与コンテンツは、遠隔サーバに保存されているか、あるいはユーザ端末に保存されているコンテンツでもある。 The Internet broadcasting apparatus 100 selects a broadcast program for registering participating content from the viewer terminal (S410), and receives a request for registering participating content (S420). The participating content may be content stored on a remote server or even content stored on a user terminal.

インターネット放送装置100は、参与コンテンツファイルそれ自体をを受信し、ローカルに保存するか、あるいは参与コンテンツが保存された遠隔サーバの位置情報(例えば、URL情報など)を登録されうる。該参与コンテンツが遠隔サーバに保存されており、その位置情報だけを登録された場合、インターネット放送装置100は、参与コンテンツの再生が必要なとき、位置情報を基に遠隔サーバに接続し、参与コンテンツを読み取ってくることができる。その場合、該参与コンテンツ読み取りに所定時間が必要となるので、コンテンツ再生が遅延されうる。遠隔サーバに保存された参与コンテンツの再生遅延を防止する方法が、図5及び図6に図示されている。 The Internet broadcasting device 100 receives and locally stores the participating content file itself, or can be registered with location information (eg, URL information) of a remote server where the participating content is stored. If the participating content is stored in a remote server and only the location information of the participating content is registered, the Internet broadcasting apparatus 100 connects to the remote server based on the location information when the participating content needs to be played back. can be read. In this case, it takes a predetermined time to read the participating content, so content playback may be delayed. A method for preventing playback delay of participating content stored on a remote server is illustrated in FIGS. 5 and 6. FIG.

他の実施形態として、参与コンテンツがユーザ端末に保存されており、ユーザ端末の識別情報(例えば、ユーザ電子メール、電話番号、IPアドレス、MACアドレスなど)が登録されている場合、インターネット放送装置100は、ユーザ端末と通信連結を試み、通信が連結されれば、ユーザ端末に保存された参与コンテンツを読み取ってくることができる。 As another embodiment, if the participation content is stored in the user terminal and the identification information of the user terminal (eg, user e-mail, telephone number, IP address, MAC address, etc.) is registered, the Internet broadcasting apparatus 100 tries to establish a communication connection with the user terminal, and if the communication is established, it can read the participating content stored in the user terminal.

図5は、本発明の実施形態による、参与コンテンツの一部をインターネット放送装置のローカルに保存する概念の一例を図示した図面である。 FIG. 5 is a diagram illustrating an example of a concept of locally storing a part of participating content in an Internet broadcasting device according to an embodiment of the present invention.

図5を参照すれば、参与コンテンツ550は、遠隔サーバ500またはユーザ端末に保存されている。参与コンテンツ550は、メディア関連情報(例えば、圧縮コーデック、再生時間など)を含むヘッダデータ552、映像、音声などのメディアデータ5540、及び任意位置でメディアデータを迅速に再生するための位置索引情報を含むインデックスデータ556によっても構成される。参与コンテンツ550の大きさは、非常に多様でもあり、映像、文字または音声のように、インターネットを介して提供される多様な全種のデータのうちいずれか一つでもある。本実施形態は、説明の便宜のために、参与コンテンツ550が映像データである場合を仮定して説明する。 Referring to FIG. 5, the participating content 550 is stored in the remote server 500 or the user terminal. Participating content 550 includes header data 552 including media-related information (e.g., compression codec, playback time, etc.), media data 5540 such as video and audio, and location index information for quickly playing media data at any position. It is also configured by index data 556 including The size of the participating content 550 is very diverse and may be any one of various types of data provided through the Internet, such as video, text, or audio. In the present embodiment, for convenience of explanation, it is assumed that the participating content 550 is video data.

放送者のライブ放送中、第三者参与コンテンツを活用するものであるので、1~2秒の時間遅延も、放送の質を落とす要因にもなり、第三者参与コンテンツのリアルタイム再生は、重要である。 Since the third-party content is used during the broadcaster's live broadcast, even a time delay of 1 to 2 seconds can degrade the quality of the broadcast, so real-time playback of the third-party content is important. is.

リアルタイム再生のために、インターネット放送装置100は、参与コンテンツ550とマッピングされたキャッシュデータ510を、ローカルの臨時保存空間に保存管理する。キャッシュデータ510は、参与コンテンツの即座の再生に必要な映像データの前部分の一部(例えば、参与コンテンツの前部分の1分に該当するデータ)を含むものでもある。インターネット放送装置100は、キャッシュデータ510と共に、参与コンテンツが保存された遠隔サーバ500、またはユーザ端末の位置情報または接続情報などを共に保存管理することができる。インターネット放送装置100は、参与コンテンツ全体をローカルに保存しなくともよいので、ローカルの保存空間を節約することができる。 For real-time playback, the Internet broadcasting apparatus 100 stores and manages the cache data 510 mapped with the participating content 550 in a local temporary storage space. Cache data 510 also includes a portion of the front portion of the video data necessary for immediate playback of the participating content (eg, data corresponding to one minute of the front portion of the participating content). Along with the cache data 510, the Internet broadcasting apparatus 100 can store and manage the location information or connection information of the remote server 500 where the participating content is stored, or the user terminal. Since the Internet broadcasting device 100 does not have to store the entire participating content locally, the local storage space can be saved.

一実施形態として、キャッシュデータ510は、参与コンテンツの一部映像データ514と共に、キャッシュデータに含まれた一部映像データの再生のために必要なヘッダデータ512、インデックスデータ516などをさらに含んでもよい。キャッシュデータ510に含まれるデータの種類や形態、順序などは、実施形態よって多様に変形されうる。 In one embodiment, the cache data 510 may further include header data 512, index data 516, etc. necessary for reproducing the partial video data included in the cache data, along with the partial video data 514 of the participating content. . The type, format, order, etc. of data included in the cache data 510 may vary according to embodiments.

インターネット放送装置100は、参与コンテンツ550の再生が必要であるならば、まず、キャッシュデータ510に含まれた一部映像データ514を再生する。インターネット放送装置100は、キャッシュデータ510を利用した再生中、参与コンテンツ550が保存された遠隔サーバ500に接続し、参与コンテンツ550の全体、または必要な部分を読み取ってくることができる。例えば、キャッシュデータに、参与コンテンツの前部分1分の映像データが保存されているならば、インターネット放送装置100は、索引データなどを利用し、1分超過部分からの映像データを、遠隔サーバ500に要請して受信することができる。 If the Internet broadcasting apparatus 100 needs to reproduce the participation content 550 , it first reproduces the partial video data 514 included in the cache data 510 . The Internet broadcasting device 100 can connect to the remote server 500 where the participating content 550 is stored and read the entire participating content 550 or a necessary part during playback using the cache data 510 . For example, if the cache data stores video data for the first minute of the participating content, the Internet broadcasting device 100 uses index data or the like to transfer the video data from the portion exceeding the one minute portion to the remote server 500. can be requested and received from

インターネット放送装置100が、遠隔サーバ500から参与コンテンツ550を読み取ってくる所要時間の間、キャッシュデータ510に含まれた映像を再生することができるので、参与コンテンツ550のリアルタイム再生が可能である。例えば、参与コンテンツのファイルが、「avi」形式または「mp4」形式のファイルである場合、インターネット放送装置は、キャッシュデータ510のヘッダ512とインデックス514を読み取り、キャッシュデータ510に含まれた一部映像データ516を読み取り、遠隔サーバ500から全体データを受信するなく、即座にリアルタイム再生が可能である。キャッシュデータに含まれていない映像データは、キャッシュデータ510を利用した再生中、遠隔サーバ500から読み取ってくればよいので、遠隔サーバ500は、専用メディアストリーミングサーバだけではなく、一般ファイルサーバまたはウェブサーバによっても具現される。 Since the Internet broadcasting apparatus 100 can reproduce the video included in the cache data 510 for the required time for reading the participation content 550 from the remote server 500, real-time reproduction of the participation content 550 is possible. For example, if the participating content file is in the 'avi' format or the 'mp4' format, the Internet broadcasting device reads the header 512 and the index 514 of the cache data 510, Data 516 can be read and played in real time immediately without receiving the entire data from remote server 500 . Video data not included in the cache data can be read from the remote server 500 during playback using the cache data 510. Therefore, the remote server 500 can be a general file server or web server as well as a dedicated media streaming server. is also embodied by

一実施例として、遠隔サーバ500が、一般サーバまたはウェブサーバである場合、インターネット放送装置100は、遠隔サーバ500から、参与コンテンツ550の映像データ554を読み取ってくるためにWebRTC(web real-time communication)、FTL(fast than light)、SIP(session initiation protocol)またはSRT(secure reliable transport)のような、1秒以下の超低遅延リアルタイム伝送プロトコルを利用して通信連結することができる。例えば、インターネット放送装置100は、遠隔サーバ500に、WebRTCを利用した一対一通信連結を要請し、キャッシュデータ510に該当する参与コンテンツ550の映像データ554を要請して受信することができる。インターネット放送装置100は、参与コンテンツ550が保存された位置を示すURLアドレスを利用し、参与コンテンツ550の映像データ554を要請することができる。 As an example, if the remote server 500 is a general server or a web server, the Internet broadcasting device 100 uses WebRTC (web real-time communication) to read the video data 554 of the participating content 550 from the remote server 500 . ), fast than light (FTL), session initiation protocol (SIP), or secure reliable transport (SRT) using an ultra-low delay real-time transmission protocol of 1 second or less. For example, the Internet broadcasting apparatus 100 may request the remote server 500 for one-to-one communication connection using WebRTC, and may request and receive the video data 554 of the participating content 550 corresponding to the cache data 510 . The Internet broadcasting apparatus 100 can request the video data 554 of the participating content 550 using the URL address indicating the location where the participating content 550 is stored.

図6は、本発明の実施形態による、キャッシュデータをローカルに保存する方法の一例を図示した図面である。 FIG. 6 is a diagram illustrating an example of a method for locally storing cache data, according to an embodiment of the present invention.

図6を参照すれば、インターネット放送装置100は、参与コンテンツの登録要請を視聴者端末から受信する(S600)。例えば、視聴者は、視聴者端末を介してインターネット放送装置100に接続した後、図3の第1放送プログラム310に、第1a参与コンテンツ312の登録を要請することができる。インターネット放送装置100は、参与コンテンツが保存された遠隔サーバの位置情報などを、視聴者端末から受信することができる。 Referring to FIG. 6, the Internet broadcasting apparatus 100 receives a participation content registration request from a viewer terminal (S600). For example, the viewer can request the first broadcast program 310 of FIG. The Internet broadcasting apparatus 100 can receive the location information of the remote server where the participation content is stored from the viewer terminal.

インターネット放送装置100は、参与コンテンツが登録された遠隔サーバに接続し、参与コンテンツの開始部分の一部データを受信した後、それを含むキャッシュデータを生成する(S610)。該キャッシュデータの一例が、図5に図示されている。 The Internet broadcasting apparatus 100 connects to the remote server in which the participating content is registered, receives the partial data of the starting portion of the participating content, and generates cache data including it (S610). An example of the cache data is illustrated in FIG.

インターネット放送装置100は、キャッシュデータを放送プログラムとマッピングし、ローカルに保存する(S620)。インターネット放送装置100は、放送プログラムに登録された参与コンテンツのリストを、キャッシュデータを介して把握して表示することができる。例えば、インターネット放送装置100は、図9のように、参与コンテンツのリストをサムネイル形態で表示することができる。 The Internet broadcasting device 100 maps the cache data with the broadcasting program and stores it locally (S620). The Internet broadcasting device 100 can grasp and display the list of participating contents registered in the broadcasting program through cache data. For example, the Internet broadcasting device 100 can display a list of participating contents in the form of thumbnails, as shown in FIG.

図7は、本発明の実施形態による、視聴者端末のコンテンツを合成する概念の一例を図示した図面である。 FIG. 7 is a diagram illustrating an example of a concept of synthesizing content of a viewer terminal according to an embodiment of the present invention.

図7を参照すれば、インターネット放送装置100は、放送者コンテンツ710を視聴者に放送している最中、少なくとも1以上の視聴者端末730と一対一通信を連結することができる。例えば、インターネット放送装置100は、放送者から、一対一通信連結する視聴者端末730を選択され、視聴者端末730の選択を容易にするために、インターネット放送装置100は、現在放送を視聴している視聴者リストを、放送者端末に提供することができる。 Referring to FIG. 7, the Internet broadcasting apparatus 100 can establish one-to-one communication with at least one viewer terminal 730 while broadcasting the broadcaster's content 710 to the viewers. For example, the Internet broadcasting apparatus 100 is selected by the broadcaster as a viewer terminal 730 to be connected in one-to-one communication. An existing audience list can be provided to the broadcaster terminal.

インターネット放送装置100は、一対一通信が連結された視聴者端末730からリアルタイム受信したコンテンツ720を放送者コンテンツ710と合成して(700)提供することができる。例えば、視聴者端末730は、カメラを介して撮影されるリアルタイムライブ映像を、一対一通信を介し、インターネット放送装置100に伝送するか、あるいは視聴者端末730に保存されたコンテンツを、インターネット放送装置100に伝送することができる。 The Internet broadcasting apparatus 100 can synthesize (700) the content 720 received in real time from the viewer terminal 730 connected to the one-to-one communication with the broadcaster content 710 . For example, the viewer terminal 730 transmits a real-time live video shot through a camera to the Internet broadcasting apparatus 100 through one-to-one communication, or transmits content stored in the viewer terminal 730 to the Internet broadcasting apparatus. 100.

本実施形態は、1つの視聴者端末730を図示しているが、インターネット放送装置100は、複数のユーザ端末と、同時または順次に、一対一通信を連結し、複数のユーザ端末から、コンテンツをリアルタイム受信することができる。 Although one viewer terminal 730 is illustrated in this embodiment, the Internet broadcasting apparatus 100 connects one-to-one communication with a plurality of user terminals simultaneously or sequentially, and receives content from the plurality of user terminals. Real-time reception is possible.

例えば、放送者は、野球中継放送を行っている最中、視聴者とインタビューを進めることができる。インターネット放送装置100は、放送者が選択した視聴者端末730と一対一通信を連結し、一対一通信連結要請を受けた視聴者端末730は、視聴者を撮影するライブ映像を、インターネット放送装置100に伝送する。それにより、インターネット放送装置100は、図9のような放送画面900に、第1画面910に、野球競技画面を表示し、第2画面920に、放送者のライブ映像を表示し、第3画面930に、視聴者のライブ映像を表示することができる。一般視聴者は、放送者と特定視聴者とのインタビュー放送をリアルタイムと見ることができる。 For example, a broadcaster can conduct an interview with a viewer during a live baseball broadcast. The Internet broadcasting apparatus 100 connects one-to-one communication with the viewer terminal 730 selected by the broadcaster. transmit to As a result, the Internet broadcasting device 100 displays the baseball game screen on the first screen 910 on the broadcasting screen 900 as shown in FIG. At 930, the viewer's live video can be displayed. General viewers can watch interview broadcasts between broadcasters and specific viewers in real time.

図8は、本発明の実施形態による、放送者コンテンツと、視聴者端末のコンテンツとを合成して提供する方法の一例を図示したフローチャートである。 FIG. 8 is a flow chart illustrating an example method for synthesizing and providing broadcaster content and viewer terminal content, according to an embodiment of the present invention.

図8を参照すれば、インターネット放送装置100は、放送プログラムを視聴している視聴者リストを、放送者端末に提供する(S800)。一実施形態として、インターネット放送装置100がチャットサービスを提供する場合、別途の視聴者リストを具現する必要なしに、チャットウィンドウに表示された視聴者を、本実施形態の視聴者リストとして利用することができる。 Referring to FIG. 8, the Internet broadcasting apparatus 100 provides the broadcaster terminal with a list of viewers who are watching the broadcasting program (S800). As an embodiment, when the Internet broadcasting apparatus 100 provides a chat service, the viewers displayed in the chat window are used as the viewer list of the present embodiment without the need to implement a separate viewer list. can be done.

放送者が、放送者端末に表示された視聴者リストを介して一対一通信連結する少なくとも1以上の視聴者を選択すれば、インターネット放送装置100は、視聴者端末と一対一通信を連結する(S810)。例えば、視聴者リストが、チャットウィンドウによって具現された場合、該放送者は、チャットウィンドウにおいて、特定ユーザをクリックし、一対一通信連結する相手を選択することができる。インターネット放送装置100と視聴者端末との一対一通信は、超低遅延リアルタイム伝送プロトコルを利用することができる。 If the broadcaster selects at least one viewer for one-to-one communication connection through the viewer list displayed on the broadcaster terminal, the Internet broadcasting apparatus 100 connects one-to-one communication with the viewer terminal ( S810). For example, if the viewer list is embodied by a chat window, the broadcaster can click on a particular user in the chat window to select a partner for one-to-one communication. One-to-one communication between the Internet broadcasting device 100 and viewer terminals can use an ultra-low-delay real-time transmission protocol.

インターネット放送装置100は、一対一通信を介し、視聴者端末から、ライブ映像などのコンテンツを受信すれば(S820)、放送者コンテンツと、視聴者端末からリアルタイム受信したコンテンツとを合成し、一般視聴者に提供する(S830)。 When the Internet broadcasting device 100 receives content such as live video from the viewer terminal via one-to-one communication (S820), it synthesizes the broadcaster content and the content received from the viewer terminal in real time, and makes general viewing possible. (S830).

図9は、本発明の実施形態によるリアルタイムストリーミングサービス画面の一例を図示した図面である。 FIG. 9 is a diagram illustrating an example of a real-time streaming service screen according to an embodiment of the present invention.

図9を参照すれば、インターネット放送装置は、少なくとも1以上のコンテンツを表示する放送画面900を生成する。放送画面900は、複数のコンテンツを表示するための複数の画面910,920,930を含んでもよい。複数の画面910,920,930は、重畳しても表示される。例えば、第1画面910の一側に、第2画面920及び第3画面930が重畳表示されうる。または、第1画面910、第2画面920及び第3画面930が互いに重畳されず、画面を多様に分割しても表示される。各画面910,920,930に、いかなるコンテンツを表示するかということは、実施形態により、多様に変形可能である。また、放送画面900に含まれる画面910,920,930の面数や配列方法などは、実施形態よって多様に変形可能である。 Referring to FIG. 9, the Internet broadcasting device generates a broadcasting screen 900 displaying at least one content. Broadcast screen 900 may include multiple screens 910, 920, and 930 for displaying multiple contents. A plurality of screens 910, 920, 930 are displayed even if they are superimposed. For example, the second screen 920 and the third screen 930 may be superimposed on one side of the first screen 910 . Alternatively, the first screen 910, the second screen 920, and the third screen 930 may be displayed even if the screen is divided in various ways without overlapping each other. What content is displayed on each screen 910, 920, 930 can be variously modified according to the embodiment. Also, the number of screens 910, 920, and 930 included in the broadcast screen 900, the arrangement method, and the like can be variously modified according to the embodiment.

例えば、野球中継放送を行う場合、インターネット放送装置100は、第1画面910には、野球競技画面を表示し、第2画面920には、放送者を撮影した画面を表示し、第3画面930には、放送者の選択による参与コンテンツ、または視聴者端末からリアルタイム受信するコンテンツを表示することができる。第3画面930は、放送者の選択により、表示いかんが決定されうる。他の例として、第3画面930において、参与コンテンツの再生が完了した場合、第3画面930は、自動的に放送画面900から除かれもする。 For example, when performing a baseball relay broadcast, the Internet broadcasting apparatus 100 displays a baseball game screen on the first screen 910 , displays a picture of the broadcaster on the second screen 920 , and displays a picture of the broadcaster on the third screen 930 . can display content selected by the broadcaster or content received in real time from the viewer terminal. Whether or not to display the third screen 930 can be determined by the broadcaster's selection. As another example, the third screen 930 may be automatically removed from the broadcast screen 900 when the participation content is completely played on the third screen 930 .

他の実施形態として、野球中継放送中、放送者が参与コンテンツリスト950から特定参与コンテンツを選択した場合、該参与コンテンツは、第1画面910に表示されうる。該参与コンテンツの再生が完了するか、あるいは放送者が、参与コンテンツの再生中、中断などを要請すれば、第1画面910は、再び以前の野球中継画面を表示することができる。 As another example, when a broadcaster selects a specific participating content from the participating content list 950 during a baseball relay broadcast, the participating content may be displayed on the first screen 910 . The first screen 910 can display the previous baseball broadcast screen again if the reproduction of the participation content is completed or the broadcaster requests an interruption during the reproduction of the participation content.

放送画面900は、チャットウィンドウ940をさらに含んでもよい。本実施形態によるチャットウィンドウ940は、省略可能である。放送者は、チャットウィンドウ940を介し、一対一通信を介し、リアルタイムコンテンツを受信する少なくとも1以上のユーザを選択することができる。インターネット放送装置100は、放送者が、チャットウィンドウ940を介し、少なくとも1以上のユーザを選択すれば、当該ユーザの端末と一対一通信を連結し、ユーザ端末から、リアルタイムコンテンツを受信する。 Broadcast screen 900 may further include chat window 940 . The chat window 940 according to this embodiment can be omitted. The broadcaster can select at least one or more users to receive real-time content via chat window 940 via one-to-one communication. If the broadcaster selects at least one user through the chat window 940, the Internet broadcasting apparatus 100 connects one-to-one communication with the terminals of the users and receives real-time contents from the user terminals.

インターネット放送装置100は、視聴者端末と放送者端末とに提供する画面を互いに異なるようにすることができる。例えば、インターネット放送装置100は、視聴者端末には、放送画面900だけを提供し、放送者端末には、放送画面900と共に、当該放送プログラムに事前に登録されているか、あるいはリアルタイム登録される参与コンテンツリスト950を共に提供することができる。 The Internet broadcasting apparatus 100 can provide different screens to viewer terminals and broadcaster terminals. For example, the Internet broadcasting device 100 provides only the broadcast screen 900 to the viewer terminal, and the broadcast screen 900 to the broadcaster terminal as well as the participants registered in the broadcast program in advance or registered in real time. A content list 950 can be provided together.

放送者は、放送中、参与コンテンツリスト950から参与コンテンツを選択することができる。例えば、該放送者が、参与コンテンツリスト950から第2参与コンテンツを選択すれば、放送画面の第1画面910または第3画面930に、第2参与コンテンツが表示されうる。該放送者は、放送中、さまざまな参与コンテンツを選択しながら、放送を進めることができる。 The broadcaster can select participating content from the participating content list 950 during the broadcast. For example, if the broadcaster selects the second participating content from the participating content list 950, the second participating content may be displayed on the first screen 910 or the third screen 930 of the broadcasting screen. The broadcaster can proceed with the broadcast, choosing various participating content during the broadcast.

参与コンテンツリスト950は、参与コンテンツに係わる情報を、サムネイル形態で表示することができる。例えば、参与コンテンツリスト950は、参与コンテンツに係わる特定場面のイメージや、当該参与コンテンツに係わる簡単な内容などを含むサムネイル形態の情報を含んでもよい。 The participating content list 950 may display information about participating content in the form of thumbnails. For example, the participating content list 950 may include information in the form of thumbnails including an image of a particular scene related to the participating content and brief content related to the participating content.

図10は、本発明の実施形態によるインターネット放送装置の構成の一例を図示した図面である。 FIG. 10 is a diagram illustrating an example of the configuration of an Internet broadcasting apparatus according to an embodiment of the present invention.

図10を参照すれば、インターネット放送装置100は、ストリーミング部1000、コンテンツ選択部1010、コンテンツ保存部1020、視聴者連結部1030、リスト表示部1040を含む。 10, the Internet broadcasting apparatus 100 includes a streaming unit 1000, a content selection unit 1010, a content storage unit 1020, a viewer connection unit 1030, and a list display unit 1040. FIG.

ストリーミング部1000は、放送プログラムを、インターネットを介するリアルタイムストリーミングサービスを介し、少なくとも1以上の視聴者端末に提供する。例えば、該視聴者は、インターネット放送装置に接続し、所望する放送プログラムを視聴することができる。他の例として、該視聴者は、所望する放送プログラムを予約することができ、ストリーミング部1000は、視聴者が予約したプログラムの放送時間になれば、当該放送プログラムの開始案内を、視聴者端末に提供することができる。 The streaming unit 1000 provides broadcast programs to at least one or more viewer terminals via a real-time streaming service via the Internet. For example, the viewer can connect to an Internet broadcasting device and watch a desired broadcast program. As another example, the viewer can reserve a desired broadcast program, and when the broadcast time of the program reserved by the viewer comes, the streaming unit 1000 sends the start guidance of the broadcast program to the viewer terminal. can be provided to

コンテンツ選択部1010は、放送者から、第三者参与コンテンツのうち、少なくとも1以上を選択される。例えば、インターネット放送装置100は、図9のような放送画面900及び参与コンテンツリスト950を、放送者端末に提供し、放送者端末から、参与コンテンツリストに係わる選択情報を受信することができる。コンテンツ選択部1010により、特定参与コンテンツが選択されれば、ストリーミング部1000は、選択された参与コンテンツを、放送プログラムに合成して視聴者に提供する。 The content selection unit 1010 selects at least one or more of the third party participation content from the broadcaster. For example, the Internet broadcasting apparatus 100 can provide a broadcast screen 900 and a participating content list 950 as shown in FIG. 9 to the broadcaster terminal and receive selection information related to the participating content list from the broadcaster terminal. When the content selection unit 1010 selects the specific participation content, the streaming unit 1000 synthesizes the selected participation content with the broadcast program and provides the broadcast program to the viewer.

コンテンツ保存部1020は、放送プログラム別参与コンテンツを登録されて保存する。コンテンツ保存部1020は、参与コンテンツを、直接ローカルに保存することができるが、その場合、非常に多くの保存空間が必要であるという短所があるので、コンテンツ保存部1020は、図5及び図6で説明したように、参与コンテンツそれ自体ではない、一部データだけを含むキャッシュデータをローカルに保存することができる。 The content storage unit 1020 registers and stores participating content for each broadcasting program. The content storage unit 1020 can directly store the participating content locally, but in this case, there is a disadvantage that a large amount of storage space is required. As described in , cached data containing only partial data, not the participating content itself, can be stored locally.

視聴者連結部1030は、放送中、視聴者端末と一対一通信を連結し、一対一通信を介し、視聴者端末からコンテンツをリアルタイム受信する。ストリーミング部1000は、リアルタイム受信されるコンテンツを放送プログラムに合成し、視聴者に提供する。 The viewer connection unit 1030 connects one-to-one communication with the viewer terminal during broadcasting, and receives contents from the viewer terminal in real time through the one-to-one communication. The streaming unit 1000 synthesizes content received in real time into a broadcast program and provides it to viewers.

リスト表示部1040は、放送者が、参与コンテンツを容易に選択することができるように、参与コンテンツリストを放送者端末に提供するか、あるいは放送中、一対一通信を連結する視聴者端末の選択を容易にするために、視聴者リストを、放送者端末に提供することができる。一例として、視聴者リストは、チャットウィンドウによっても具現される。 The list display unit 1040 provides a participating content list to the broadcaster terminal so that the broadcaster can easily select the participating content, or selects a viewer terminal to connect one-to-one communication during broadcasting. An audience list can be provided to the broadcaster terminal to facilitate viewing. As an example, the viewer list is also embodied by a chat window.

図11は、本発明の実施形態による、インターネットを介するリアルタイムストリーミングサービス方法の一例を図示したフローチャートである。 FIG. 11 is a flowchart illustrating an example of a real-time streaming service method over the Internet according to an embodiment of the invention.

図11を参照すれば、インターネット放送装置100は、放送者の第1コンテンツをインターネットを介し、少なくとも1以上の視聴者端末に提供する(S1100)。インターネット放送装置100は、第1コンテンツの提供中、既保存の参与コンテンツ、または視聴者端末からリアルタイム受信するコンテンツを、放送者の第1コンテンツと合成する第2コンテンツとして選択する(S1110)。コンテンツ合成の一例が、図2に図示されており、参与コンテンツの登録方法及び保存方法の例が、図3ないし図6に図示されている。そして、視聴者端末からリアルタイムコンテンツを受信する例が、図7及び図8に図示されている。 Referring to FIG. 11, the Internet broadcasting apparatus 100 provides the broadcaster's first content to at least one or more viewer terminals via the Internet (S1100). While providing the first content, the Internet broadcasting apparatus 100 selects the pre-stored participating content or the content received in real time from the viewer terminal as the second content to be synthesized with the first content of the broadcaster (S1110). An example of content composition is illustrated in FIG. 2, and examples of methods of registering and storing participating content are illustrated in FIGS. 3-6. An example of receiving real-time content from a viewer terminal is illustrated in FIGS. 7 and 8. FIG.

インターネット放送装置100は、第1コンテンツと第2コンテンツとを合成し、視聴者に提供する(S1120)。インターネット放送装置100は、図9に図示された放送画面を視聴者に提供し、放送者には、放送画面と共に、参与コンテンツリストを提供することができる。 The Internet broadcasting device 100 synthesizes the first content and the second content and provides them to the viewer (S1120). The Internet broadcasting apparatus 100 can provide viewers with the broadcast screen shown in FIG. 9, and provide the broadcaster with a participating content list along with the broadcast screen.

本発明は、また、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全種の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ROM、RAM、CD-ROM、磁気テープ、フロッピーディスク、光データ保存装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でもって、コンピュータで読み取り可能なコードが保存されて実行されうる。 The present invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices on which data readable by a computer system are stored. Examples of computer readable recording media include ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

以上、本発明につき、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、 本発明が、本発明の本質的な特性から外れない範囲において変形された形態にも具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。 The preferred embodiments of the present invention have been described above. Those skilled in the art to which the present invention pertains will appreciate that the present invention may be embodied in modified forms without departing from the essential characteristics of the invention. . Accordingly, the disclosed embodiments should be considered in an illustrative rather than a restrictive perspective. The scope of the invention is indicated by the appended claims rather than by the foregoing description, and all differences that come within the scope of equivalents thereof are to be construed as included in the present invention. be.

Claims (13)

インターネット放送装置が遂行するインターネットを介するリアルタイムストリーミングサービス提供方法において、
放送者の第1コンテンツを、インターネットを介し、少なくとも1以上の視聴者端末に提供する段階と、
前記第1コンテンツの提供中、少なくとも1以上の第2コンテンツを選択する段階と、
前記少なくとも1以上の視聴者端末に、前記第1コンテンツと第2コンテンツとを合成して提供する段階と、を含むことを特徴とするインターネットを介するリアルタイム参与型ストリーミングサービス提供方法。
In a method for providing a real-time streaming service via the Internet performed by an Internet broadcasting device,
providing the broadcaster's first content to at least one or more viewer terminals via the Internet;
selecting at least one second content during provision of the first content;
synthesizing and providing the first content and the second content to the at least one viewer terminal.
前記第1コンテンツは、ライブ映像であり、
前記第2コンテンツは、ライブ映像、または既保存の映像データであることを特徴とする請求項1に記載のインターネットを介するリアルタイム参与型ストリーミングサービス提供方法。
the first content is a live video,
2. The method of claim 1, wherein the second content is live video or pre-stored video data.
前記第2コンテンツを選択する段階は、
放送者端末に、少なくとも1以上の第三者から登録された参与コンテンツに係わるリストを表示する段階と、
前記リストから、前記放送者が選択した少なくとも1以上の参与コンテンツを、第2コンテンツとして選択する段階と、を含むことを特徴とする請求項1に記載のインターネットを介するリアルタイム参与型ストリーミングサービス提供方法。
The step of selecting the second content includes:
displaying a list of participating contents registered by at least one third party on a broadcaster terminal;
The method of claim 1, further comprising: selecting at least one participating content selected by the broadcaster from the list as a second content. .
放送リストを、少なくとも1以上のユーザ端末に伝送する段階と、
前記放送リストから、参与コンテンツを登録する放送プログラムを選択する段階と、
遠隔サーバに保存された保存された少なくとも1以上のコンテンツを、前記選択された放送プログラムに、参与コンテンツとして登録する段階と、をさらに含むことを特徴とする請求項1に記載のインターネットを介するリアルタイム参与型ストリーミングサービス提供方法。
transmitting the broadcast list to at least one or more user terminals;
selecting a broadcast program for registering participating content from the broadcast list;
and registering at least one content stored in a remote server as participating content in the selected broadcast program. Participatory streaming service providing method.
前記第2コンテンツは、遠隔サーバに保存され、
前記インターネット放送装置は、前記第2コンテンツに係わる既定義の大きさの開始部分データを含むキャッシュデータを保存する段階をさらに含み、
前記合成して提供する段階は、
前記インターネット放送装置に保存された前記第2コンテンツのキャッシュデータを読み取り、前記第1コンテンツと合成して提供する間、前記第2コンテンツが保存された前記遠隔サーバから、前記第2コンテンツを受信すれば、前記遠隔サーバから受信した前記第2コンテンツと前記第1コンテンツとを合成して提供する段階を含むことを特徴とする請求項1に記載のインターネットを介するリアルタイム参与型ストリーミングサービス提供方法。
the second content is stored on a remote server;
The Internet broadcasting device further comprises storing cache data including start portion data of a predefined size related to the second content;
The step of synthesizing and providing
While the cache data of the second content stored in the Internet broadcasting device is read, combined with the first content and provided, the second content is received from the remote server storing the second content. 2. The method of claim 1, further comprising synthesizing and providing the second content and the first content received from the remote server.
前記キャッシュデータは、前記第2コンテンツのヘッダデータ、インデックスデータ、及び開始部分の一部データを含むことを特徴とする請求項5に記載のインターネットを介するリアルタイム参与型ストリーミングサービス提供方法。 6. The method of claim 5, wherein the cache data includes header data, index data, and partial data of the beginning of the second content. 前記第2コンテンツを選択する段階は、
前記放送者の第1コンテンツを視聴する少なくとも1以上の視聴者に係わるリストを表示する段階と、
前記リストから選択された視聴者端末と一対一通信を連結する段階と、
前記一対一通信を介して視聴者端末から提供されるライブ映像、または視聴者端末に保存されたコンテンツを、前記第2コンテンツとして選択する段階と、を含むことを特徴とする請求項1に記載のインターネットを介するリアルタイム参与型ストリーミングサービス提供方法。
The step of selecting the second content includes:
displaying a list of at least one viewer viewing the broadcaster's first content;
linking one-to-one communication with a viewer terminal selected from the list;
and selecting, as the second content, a live video provided from the viewer terminal through the one-to-one communication or content stored in the viewer terminal. method for providing real-time participatory streaming service via the Internet.
前記第2コンテンツを選択する段階は、
既登録の参与コンテンツに係わるコンテンツリストを表示する段階と、
放送中に視聴者に係わるリアルタイム視聴者リストを表示する段階と、
前記コンテンツリストから選択したコンテンツ、または前記視聴者リストを介して選択した視聴者端末からリアルタイム受信するコンテンツを、第2コンテンツとして選択する段階と、を含むことを特徴とする請求項1に記載のインターネットを介するリアルタイム参与型ストリーミングサービス提供方法。
The step of selecting the second content includes:
displaying a content list related to registered participating content;
displaying a real-time audience list associated with the audience during the broadcast;
and selecting, as the second content, content selected from the content list or content received in real time from a viewer terminal selected through the viewer list. A method for providing a real-time participatory streaming service via the Internet.
放送者の第1コンテンツをインターネットを介し、少なくとも1以上の視聴者端末に提供するストリーミング部と、
前記第1コンテンツの提供中、少なくとも1以上の第2コンテンツを選択するコンテンツ選択部と、を含み、
前記ストリーミング部は、前記少なくとも1以上の視聴者端末に、前記第1コンテンツと前記第2コンテンツとを合成して提供することを特徴とするインターネット放送装置。
a streaming unit that provides the broadcaster's first content to at least one or more viewer terminals via the Internet;
a content selection unit that selects at least one or more second contents during provision of the first content;
The Internet broadcasting apparatus, wherein the streaming unit synthesizes and provides the first content and the second content to the at least one viewer terminal.
少なくとも1以上の第2コンテンツに係わる既定義の大きさの開始部分データを含むキャッシュデータを保存するコンテンツ保存部をさらに含み、
前記ストリーミング部は、前記第2コンテンツの開始部分につき、キャッシュデータを読み取り、前記第1コンテンツと合成して提供し、前記開始部分の後部分は、前記第2コンテンツが保存された前記遠隔サーバから受信して第1コンテンツと合成して提供することを特徴とする請求項9に記載のインターネット放送装置。
further comprising a content storage unit storing cache data including start portion data of a predefined size related to at least one or more second contents;
The streaming unit reads cache data for the start part of the second content, combines it with the first content, and provides the latter part of the start part from the remote server where the second content is stored. 10. The Internet broadcasting apparatus according to claim 9, wherein the content is received, combined with the first content, and provided.
少なくとも1以上の視聴者端末と一対一通信を連結する視聴者連結部をさらに含み、
前記ストリーミング部は、前記一対一通信を介して視聴者端末から提供されるライブ映像、または視聴者端末に保存されたコンテンツを、第1映像と合成して提供することを特徴とする請求項9に記載のインターネット放送装置。
further comprising a viewer connection unit for connecting one-to-one communication with at least one or more viewer terminals;
10. The streaming unit combines the live video provided from the viewer terminal through the one-to-one communication or the content stored in the viewer terminal with the first video and provides the combined live video. Internet broadcasting device according to .
既登録の参与コンテンツに係わるコンテンツリスト、または放送中に視聴者に係わるリアルタイム視聴者リストを表示するリスト表示部さらに含み、
前記コンテンツ選択部は、前記コンテンツリストから選択された映像、または前記視聴者リストを介して選択された視聴者端末からリアルタイム受信する映像を、第2コンテンツとして選択することを特徴とする請求項9に記載のインターネット放送装置。
A list display unit that displays a content list related to registered participating content or a real-time viewer list related to viewers during broadcasting,
10. The content selection unit selects, as the second content, a video selected from the content list or a video received in real time from a viewer terminal selected through the viewer list. Internet broadcasting device according to .
請求項1に記載の方法を遂行するためのコンピュータプログラムを記録したコンピュータで読み取り可能な記録媒体。 A computer readable recording medium storing a computer program for performing the method of claim 1.
JP2021560467A 2019-04-16 2019-12-20 METHOD AND APPARATUS FOR PROVIDING REAL-TIME PARTICIPATIVE STREAMING SERVICE VIA INTERNET Pending JP2022534353A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0044476 2019-04-16
KR1020190044476A KR102163695B1 (en) 2019-04-16 2019-04-16 Method for providing real-time engaging streaming service over internet and apparatus therefor
PCT/KR2019/018184 WO2020213812A1 (en) 2019-04-16 2019-12-20 Method and device for providing real-time participation streaming service through internet

Publications (1)

Publication Number Publication Date
JP2022534353A true JP2022534353A (en) 2022-07-29

Family

ID=72837372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021560467A Pending JP2022534353A (en) 2019-04-16 2019-12-20 METHOD AND APPARATUS FOR PROVIDING REAL-TIME PARTICIPATIVE STREAMING SERVICE VIA INTERNET

Country Status (3)

Country Link
JP (1) JP2022534353A (en)
KR (1) KR102163695B1 (en)
WO (1) WO2020213812A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102568021B1 (en) * 2020-12-23 2023-08-17 주식회사 씨제이이엔엠 Interactive broadcasting system and method for providing augmented reality broadcasting service
KR102448806B1 (en) * 2021-04-13 2022-09-29 주식회사 씨제이이엔엠 Method for providing broadcasting service user participatory argumented reality drawing and service server thereof
KR102525348B1 (en) 2023-02-02 2023-04-25 주식회사 벨라도 Method, device and system for providing interaction platform service that allow watching user participatory content

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981455A (en) * 1995-09-11 1997-03-28 Toshiba Corp Client device server device and storage device controlling method
JP2002262251A (en) * 2001-02-27 2002-09-13 Matsushita Electric Ind Co Ltd Conference server device and multi-point conference system
JP2008131379A (en) * 2006-11-21 2008-06-05 Yamaha Corp Distribution system and terminal device
JP2008177717A (en) * 2007-01-17 2008-07-31 Nippon Telegr & Teleph Corp <Ntt> Video program distribution method, synthetic server employed in video program distribution system and program for synthetic server
US20100218230A1 (en) * 2007-09-19 2010-08-26 Electronics And Telecommunications Research Institute System and method for interactive iptv broadcasting service of user participation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100906230B1 (en) * 2006-09-21 2009-07-07 파이로웍스(주) Streaming service and method minimizing delay time
KR20100133822A (en) * 2009-06-12 2010-12-22 엘지전자 주식회사 Method and apparatus for receiving a broadcasting signal
KR102210409B1 (en) * 2015-01-02 2021-01-29 에스케이텔레콤 주식회사 Method for providing of live streaming contents, apparatus and recording medium recording program therfor
KR20170081517A (en) * 2016-01-04 2017-07-12 한국전자통신연구원 Server and method for providing interactive broadcast

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981455A (en) * 1995-09-11 1997-03-28 Toshiba Corp Client device server device and storage device controlling method
JP2002262251A (en) * 2001-02-27 2002-09-13 Matsushita Electric Ind Co Ltd Conference server device and multi-point conference system
JP2008131379A (en) * 2006-11-21 2008-06-05 Yamaha Corp Distribution system and terminal device
JP2008177717A (en) * 2007-01-17 2008-07-31 Nippon Telegr & Teleph Corp <Ntt> Video program distribution method, synthetic server employed in video program distribution system and program for synthetic server
US20100218230A1 (en) * 2007-09-19 2010-08-26 Electronics And Telecommunications Research Institute System and method for interactive iptv broadcasting service of user participation

Also Published As

Publication number Publication date
KR102163695B1 (en) 2020-10-08
WO2020213812A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
US10003852B2 (en) Methods and apparatus for enabling synchronized content presentations using dynamically updated playlists
US8468569B2 (en) Content delivery system and method, and server apparatus and receiving apparatus used in this content delivery system
US8601506B2 (en) Content creation and distribution system
US8874645B2 (en) System and method for sharing an experience with media content between multiple devices
TWI523535B (en) Techniuqes to consume content and metadata
US20120304230A1 (en) Administration of Content Creation and Distribution System
US20140096167A1 (en) Video reaction group messaging with group viewing
JP2022534353A (en) METHOD AND APPARATUS FOR PROVIDING REAL-TIME PARTICIPATIVE STREAMING SERVICE VIA INTERNET
KR20150014914A (en) Method and apparatus for advertising in a social, distributed content viewing system
KR102011327B1 (en) System for serving multi camera shooting image choice view in consumer oriented type
KR100384757B1 (en) Distributed internet broadcasting method and system using camera and screen capture
KR20120071451A (en) Method for providing targeted advertisement
KR20100023473A (en) Individual broadcasting system and method for providing chatting service on individual broadcasting using iptv
JP2003143574A (en) Content editing system
US20150150040A1 (en) Interactive audio/video broadcast system, method for operating the same and user device for operation in the interactive audio/video broadcast system
JP6982708B1 (en) Video distribution system, playback device, playback method, program, and recording medium
JP2008219691A (en) Video distribution service system
JP2010074709A (en) Broadcast program distribution system, broadcast program distribution server, and user terminal device
JP2003163893A (en) Video reproduction control method, video reproduction control system, server device, client device, and video reproduction control program, and its recording medium
KR20220125950A (en) Methods and systems for converting the voice being recorded by the sender and the contents contained by the voice into a real time video broadcast
JP2012105022A (en) Television receiver
KR101723227B1 (en) Broadcasting system and method of providing a personalized broadcasting service in the same
KR20080071270A (en) The method can broadcast performances and games by a mobile phone in real time. the method can also search and replay performaces and games
KR20100052892A (en) Video on demand service method for providing impression sharing service and system thereof
SECTOR FG IPTV-DOC-0125

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230704