JP2022550496A - 多重ライブ配信環境でチャンネルのシームレス切り替えモードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体 - Google Patents

多重ライブ配信環境でチャンネルのシームレス切り替えモードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP2022550496A
JP2022550496A JP2021571022A JP2021571022A JP2022550496A JP 2022550496 A JP2022550496 A JP 2022550496A JP 2021571022 A JP2021571022 A JP 2021571022A JP 2021571022 A JP2021571022 A JP 2021571022A JP 2022550496 A JP2022550496 A JP 2022550496A
Authority
JP
Japan
Prior art keywords
image
channel
view
sprites
layout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021571022A
Other languages
English (en)
Other versions
JP7312858B2 (ja
Inventor
ジャン，ジュンキ
キム，ソンホ
ノ，ヘソン
ジョン，ユンホ
キム，ジンフン
ジョン，ヨンジン
キム，ジョンキ
カン，インチョル
イ，ジョンヒョク
アン，ジェチョル
チョウ，ソンテク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Corp
Original Assignee
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Corp filed Critical Naver Corp
Publication of JP2022550496A publication Critical patent/JP2022550496A/ja
Application granted granted Critical
Publication of JP7312858B2 publication Critical patent/JP7312858B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4821—End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

多重ライブ配信環境でチャンネルのシームレス切り替えモードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体を提供する。ライブ配信環境でマルチチャンネルの画像が１つに合成された合成画像を１つのストリームで受信し、前記合成画像を利用して前記マルチチャンネルの画像からなるビューモードを構成し、前記合成画像を利用して前記ビューモードのレイアウトを変更することができる。

Description

以下の説明は、多重ライブ配信環境でチャンネルを切り替えるための技術に関する。
超高速通信網の利用者の急激な増加は、通信網を利用する新規サービスの開発とサービスアイテムの多様化を可能にした。このような通信網を利用するサービスのうちでも最も一般的なものが、動画サービスであると言える。
例えば、特許文献１（韓国登録特許第１０－０８２７１９８号公報）（登録日２００８年４月２５日）「動画リンクサービスを提供する装置およびその方法」には、移動通信端末機を利用してインターネット上にリンクされた動画を移動中に鑑賞することができる動画リンクサービスを提供する技術が開示されている。
クライアント－サーバ方式の動画サービスシステムは、エンコーダサーバがリアルタイム動画ストリーミングをクライアントに伝達する構造であって、ライブ配信環境では、カメラなどに入力された画像をエンコードした後、オーディオデータとともにリアルタイムでクライアントに伝達する方式が用いられている。
ライブ配信のための動画ストリーミングデータがマルチチャンネルとして配信される場合、マルチチャンネルとして配信される多数の動画をリアルタイムでエンコードする送信方式では、多くのクライアントを対象にライブ動画サービスを提供することに多くの困難と限界があった。
韓国登録特許第１０－１５３９２７０号公報
マルチチャンネルのライブ動画を提供する多重ライブ配信環境で最小限のネットワークを使用することで、マルチチャンネルの動画を含むマルチビュー（ｍｕｌｔｉ－ｖｉｅｗ）を構成することができる方法およびシステムを提供する。
多重ライブ配信環境でチャンネルを切り替えるときに、オーディオおよびビデオの同期を維持しながらシームレス（ｓｅａｍｌｅｓｓ）切り替えモードを実現することができる方法およびシステムを提供する。
コンピュータ装置が実行するライブ動画再生方法であって、前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記ライブ動画再生方法は、前記少なくとも１つのプロセッサにより、ライブ配信環境でマルチチャンネルの画像が１つに合成された合成画像を１つのストリームで受信する段階、前記少なくとも１つのプロセッサにより、前記合成画像を利用して前記マルチチャンネルの画像からなるビューモードを構成する段階、および前記少なくとも１つのプロセッサにより、前記合成画像を利用して前記ビューモードのレイアウトを変更する段階を含む、ライブ動画再生方法を提供する。
一側面によると、前記構成する段階は、前記合成画像からチャンネルごとに構成された画像（ｃｏｍｐｏｓｉｔｉｏｎ ｉｍａｇｅ）を分離することによって各チャンネルのスプライト（ｓｐｒｉｔｅ）を取得する段階、および前記各チャンネルのスプライトをレイアウトに合わせてレンダリングしてマルチビュー（ｍｕｌｔｉ－ｖｉｅｗ）を構成する段階を含む。
他の側面によると、前記合成画像は、あるチャンネルの画像が残りの他のチャンネルの画像よりも解像度を高いメイン画像として構成し、前記他のチャンネルの画像をサブ画像として構成してよい。
また他の側面によると、前記構成する段階は、第１チャンネルの画像が残りの他のチャンネルの画像よりも解像度が高い第１合成画像に対して、前記第１合成画像から分離した各チャンネルのスプライトを前記第１チャンネルの画像がメイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングする段階を含み、前記変更する段階は、前記マルチビューから特定のチャンネルの画像が選択されれば、前記第１合成画像から分離した各チャンネルのスプライトを前記特定のチャンネルの画像が前記メイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングした後に前記特定チャンネルの画像が残りの他のチャンネルの画像よりも解像度が高い第２合成画像を受信し、前記第２合成画像から分離した各チャンネルのスプライトを前記特定のチャンネルの画像がメイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングする段階を含んでよい。
また他の側面によると、前記構成する段階は、第１チャンネルの画像が残りの他のチャンネルの画像よりも解像度が高い第１合成画像に対して、前記第１合成画像から分離した各チャンネルのスプライトを前記第１チャンネルの画像がメイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングする段階を含み、前記変更する段階は、前記マルチビューから特定のチャンネルの画像が選択されれば、前記第１合成画像から分離した各チャンネルのスプライトのうちで前記特定のチャンネルのスプライトを全体画面に合わせてレンダリングした後に前記特定のチャンネルの画像が残りの他のチャンネルの画像よりも解像度が高い第２合成画像を受信し、前記第２合成画像から分離した各チャンネルのスプライトのうちで前記特定のチャンネルのスプライトを全体画面に合わせてレンダリングする段階を含んでよい。
また他の側面によると、前記変更する段階は、前記特定のチャンネルのスプライトが全体画面としてレンダリングされたフルビュー（ｆｕｌｌ－ｖｉｅｗ）に対する利用者の要請にしたがい、前記第２合成画像から分離した各チャンネルのスプライトを前記第１チャンネルの画像が前記メイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングした後に前記第１合成画像を再び受信し、前記第１合成画像から分離した各チャンネルのスプライトを前記第１チャンネルの画像がメイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングする段階をさらに含んでよい。
また他の側面によると、前記特定のチャンネルのスプライトが全体画面としてレンダリングされたフルビューでは、残りの他のチャンネルのスプライトがレンダリングされずに隠れ（ｈｉｄｄｅｎ）状態で含まれてよい。
また他の側面によると、前記変更する段階は、前記ビューモードの画像を切り替えるために、プレイヤバッファで以前のデータに該当する画像ストリームをフラッシュ（ｆｌｕｓｈ）する段階を含んでよい。
また他の側面によると、前記変更する段階は、画像ストリームのコンテナに含まれた時間指定メタデータ（ｔｉｍｅｄ－ｍｅｔａｄａｔａ）を利用して、前記ビューモードの画像の切り替え時点を判断する段階を含んでよい。
さらに他の側面によると、前記変更する段階は、前記ビューモードで各チャンネルの画像の表示位置を変更したり、特定のチャンネルの画像に対するフルビューへの切り替えを要請したりするためのインタフェースを提供する段階を含んでよい。
前記ライブ動画再生方法をコンピュータに実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体を提供する。
コンピュータ装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、ライブ配信環境でマルチチャンネルの画像が１つに合成された合成画像を１つのストリームで受信し、前記合成画像を利用して前記マルチチャンネルの画像からなるビューモードを構成し、前記合成画像を利用して前記ビューモードのレイアウトを変更することを特徴とする、コンピュータ装置を提供する。
本発明の実施形態によると、多重ライブ配信環境でマルチチャンネルのライブ動画を合成した１つのストリームを受けてマルチビューを構成することにより、最小限のネットワークでマルチチャンネルのライブ動画を再生することができる。
本発明の実施形態によると、多重ライブ配信環境でチャンネルを切り替えるときに、オーディオおよびビデオの同期を維持しながらシームレス切り替えモードを実現することにより、サービス品質（ＱｏＳ）と体感品質（ＱｏＥ）を高めることができる。
本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。 本発明の一実施形態における、ライブ動画サービスを提供する過程の例を示した図である。 本発明の一実施形態における、多重ライブ配信環境の例を示した図である。 本発明の一実施形態における、マルチチャンネルのビデオをエンコードする過程の例を示した図である。 本発明の一実施形態における、ライブ動画再生方法の例を示したフローチャートである。 本発明の一実施形態における、１つのストリームでマルチビューを構成する基本過程の例を示した図である。 本発明の一実施形態における、プレイヤレイアウトを変更するインタフェースの例を示した図である。 本発明の一実施形態における、マルチビューのレイアウト切り替え過程の例を示した図である。 本発明の一実施形態における、マルチビューのレイアウト切り替え過程の例を示した図である。 本発明の一実施形態における、マルチビューからフルビューへのレイアウト切り替え過程の例を示した図である。 本発明の一実施形態における、マルチビューからフルビューへのレイアウト切り替え過程の例を示した図である。 本発明の一実施形態における、フルビューからマルチビューへのレイアウト切り替え過程の例を示した図である。 本発明の一実施形態における、フルビューからマルチビューへのレイアウト切り替え過程の例を示した図である。 本発明の一実施形態における、画像の切り替え時点を判断する過程の例を示した図である。
以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。
本発明の実施形態に係るライブ動画再生システムは、少なくとも１つのコンピュータ装置によって実現されてよく、本発明の実施形態に係るライブ動画再生方法は、ライブ動画再生システムに含まれる少なくとも１つのコンピュータ装置によって実行されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されたコンピュータプログラムの制御にしたがって本発明の実施形態に係るライブ動画再生方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合してライブ動画再生方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。
図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されてはならない。また、図１のネットワーク環境は、本実施形態に適用可能な環境のうちの一例を説明するためのものに過ぎず、本実施形態に適用可能な環境が図１のネットワーク環境に限定されてはならない。
複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置で実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータ装置のうちの１つを意味してよい。
通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。
サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０にサービス（一例として、ライブ動画サービス、コンテンツ提供サービス、グループ通話サービス（または、音声会議サービス）、メッセージングサービス、メールサービス、ソーシャルネットワークサービス、地図サービス、翻訳サービス、金融サービス、決済サービス、検索サービスなど）を提供するシステムであってよい。
図２は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器１１０、１２０、１３０、１４０それぞれやサーバ１５０、１６０それぞれは、図２に示したコンピュータ装置２００によって実現されてよい。
このようなコンピュータ装置２００は、図２に示すように、メモリ２１０、プロセッサ２２０、通信インタフェース２３０、および入力／出力インタフェース２４０を含んでよい。メモリ２１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ２１０とは区分される別の永続的記録装置としてコンピュータ装置２００に含まれてもよい。また、メモリ２１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ２１０とは別のコンピュータ読み取り可能な記録媒体からメモリ２１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース２３０を通じてメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１７０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置２００のメモリ２１０にロードされてよい。
プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１０または通信インタフェース２３０によって、プロセッサ２２０に提供されてよい。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
通信インタフェース２３０は、ネットワーク１７０を介してコンピュータ装置２００が他の電子機器（一例として、上述した記録装置）と互いに通信するための機能を提供してよい。一例として、コンピュータ装置２００のプロセッサ２２０がメモリ２１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース２３０の制御にしたがってネットワーク１７０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１７０を介してコンピュータ装置２００の通信インタフェース２３０を通じてコンピュータ装置２００に受信されてよい。通信インタフェース２３０を通じて受信された信号や命令、データなどは、プロセッサ２２０やメモリ２１０に伝達されてよく、ファイルなどは、コンピュータ装置２００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。
入力／出力インタフェース２４０は、入力／出力装置２５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカなどのような装置を含んでよい。他の例として、入力／出力インタフェース２４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２５０は、コンピュータ装置２００と１つの装置で構成されてもよい。
また、他の実施形態において、コンピュータ装置２００は、図２の構成要素よりも少ない又は多い構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置２００は、上述した入力／出力装置２５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバやデータベースなどのような他の構成要素をさらに含んでもよい。
図３は、本発明の一実施形態における、ライブ動画サービスを提供する過程の例を示した図である。図３は、ストリーミングサーバ３１０、エンコーダサーバ３２０、およびプレイヤ３３０をそれぞれ示している。ここで、ストリーミングサーバ３１０およびエンコーダサーバ３２０は、ライブ動画サービスを提供するためにサーバ装置においてインストールされて実行されるソフトウェアモジュールであってよい。また、プレイヤ３３０は、動画を再生するために利用者の端末装置においてインストールされて実行されるソフトウェアモジュールであってよい。ここで、ソフトウェアモジュールは、コンピュータ装置２００においてインストールされて実行されるコンピュータプログラムに対応してよい。
図４を参照すると、ストリーミングサーバ３１０は、配信の役割を担うサーバ装置であって、例えば、録画およびリアルタイムストリーミングのためのＯＢＳ（ｏｐｅｎ ｂｒｏａｄｃａｓｔｅｒ ｓｏｆｔｗａｒｅ）モジュールを含んでよい。ストリーミングサーバ３１０には、複数のカメラによって同時に撮影されたビデオがそれぞれのチャンネルとして入力され、マルチチャンネルの画像としてエンコーダサーバ３２０にリアルタイムでストリーミングされてよい。
カメラとは関係なく、オーディオチャンネルは、同じ入力を使用してよい。エンコーダサーバ３２０は、複数のチャンネルのうちの基本チャンネルに該当するチャンネルのオーディオを基本ストリームとして使用してよい。
ストリーミングサーバ３１０は、ビデオチャンネルの同期化を処理するためにＯＢＳモジュールを使用してマルチチャンネルの画像をリアルタイムで配信してよい。これにより、エンコーダサーバ３２０は、ＵＴＣ（ｃｏｏｒｄｉｎａｔｅｄ ｕｎｉｖｅｒｓａｌ ｔｉｍｅ）時間とビデオタイムスタンプ（ｐｒｅｄｅｔｅｒｍｉｎｅｄ ｔｉｍｅ ｓｔａｎｄａｒｄ：ＰＴＳ）によって各ビデオフレームの絶対時間を求めてビデオチャンネルの同期化を処理してよい。
特に、多重ライブ配信環境においてプレイヤ３３０が最小限のネットワークでマルチビューを構成することができるように、エンコーダサーバ３２０は、マルチチャンネルのビデオを１つのビデオに合成した少なくとも１つの合成イメージを提供してよい。
例えば、図５を参照すると、エンコーダサーバ３２０は、６台のカメラによって撮影された原本画像（Ｃａｍ＃１～Ｃａｍ＃６）５０１を利用して複数の合成画像５０２を生成してよい。合成画像５０２は、原本画像５０１を１つに結合したイメージであって、エンコーダサーバ３２０は、事前に定められたレイアウトに合わせて原本画像５０１を結合して合成画像５０２を生成してよい。
一例として、エンコーダサーバ３２０は、ビデオチャンネルの数だけの合成画像５０２を生成してよく、あるチャンネルのビデオをメイン画像として構成し、残りの他のチャンネルのビデオをサブ画像として構成してよい。言い換えれば、エンコーダサーバ３２０は、あるチャンネルのビデオ（メイン画像）を他のチャンネルのビデオ（サブ画像）よりも高い解像度で構成してよい。このとき、エンコーダサーバ３２０は、あるチャンネルを除いた残りのチャンネルのビデオ（サブ画像）の解像度をすべて同じように構成してもよいし、各チャンネルの優先順位を考慮した上で優先順位によって高い解像度で構成してもよい。
合成画像５０２を生成する方式や、合成画像５０２の数、レイアウト構造などは一例に過ぎず、いくらでも変更可能である。
エンコーダサーバ３２０は、多重ライブ配信環境においてマルチチャンネルとして配信される多数の動画すべてをそれぞれのストリームで送信するのではなく、合成画像５０２を利用してマルチチャンネルの動画を１つのストリームで送信してよい。
以下、実施形態では、合成画像５０２のうち、カメラ１（Ｃａｍ＃１）に該当するチャンネル１のビデオがメイン画像となる合成画像を「チャンネル＃１合成画像」とし、同じように、メイン画像として構成されたビデオの各チャンネルによって「チャンネル＃２合成画像」、「チャンネル＃３合成画像」などとする。
合成画像５０２それぞれのストリームには、該当の画像を区分するための固有の情報が含まれてよい。プレイヤ３３０は、各ストリームの画像固有情報に基づいて、チャンネル＃１合成画像が再生される途中に再生画像がチャンネル＃２合成画像に変更されるとき、変更された画像がチャンネル＃２合成画像であることを認知してよい。
図６は、本発明の一実施形態における、ライブ動画再生方法の例を示したフローチャートである。本実施形態に係るライブ動画再生方法は、上述したプレイヤ３３０を実現するコンピュータ装置２００によって実行されてよい。プレイヤ３３０が利用者の端末装置に実現される場合、コンピュータ装置２００は利用者の端末装置に対応してよい。この場合、コンピュータ装置２００のプロセッサ２２０は、メモリ２１０が含むオペレーティングシステムのコードと、少なくとも１つのプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ２２０は、コンピュータ装置２００に記録されたコードが提供する制御命令にしたがってコンピュータ装置２００が図６の方法に含まれる段階６１０～６４０を実行するようにコンピュータ装置２００を制御してよい。
段階６１０で、コンピュータ装置２００は、多重ライブ配信環境において、エンコーダサーバ３２０からマルチチャンネルとして入力される多数の画像で構成された１つの合成画像を受信してよい。コンピュータ装置２００は、エンコーダサーバ３２０から１つのストリームをダウンロードするものであって、マルチチャンネルのライブ画像が１つに合成された画像ストリームを受信してよい。コンピュータ装置２００は、各チャンネルの合成画像（チャンネル＃１合成画像、チャンネル＃２合成画像など）のレイアウト情報を参照することで、プレイヤ３３０で定められたレイアウト情報と対応する合成画像を選択的に受信してよい。例えば、プレイヤ３３０が、チャンネル１のビデオがメイン画像として構成されたレイアウトを要請する場合、エンコーダサーバ３２０からチャンネル＃１合成画像を受信してよい。
段階６２０で、コンピュータ装置２００は、１つのストリームとして受信した合成画像からチャンネルごとに構成された画像（ｃｏｍｐｏｓｉｔｉｏｎ ｉｍａｇｅ）を分離して各チャンネルのスプライト（ｓｐｒｉｔｅ）を取得してよい。言い換えれば、コンピュータ装置２００は、後処理（ｐｏｓｔ ｐｒｏｃｅｓｓｉｎｇ）によって合成画像を分離して各チャンネルのスプライトを取得してよい。プラットフォームによって多様なグラフィックスエンジン（ｇｒａｐｈｉｃｓ ｅｎｇｉｎｅ）、例えば、オープンＧＬ（ｏｐｅｎ ｇｒａｐｈｉｃｓ ｌｉｂｒａｒｙ）などによって合成画像を分離してよい。
段階６３０で、コンピュータ装置２００は、各チャンネルのスプライトをプレイヤ３３０のレイアウトに合わせてレンダリングしてよい。言い換えれば、コンピュータ装置２００は、合成画像から分離した各カメラのスプライトを所望するレイアウトに合うようにレンダリングすることにより、１つのストリームとして受信したマルチチャンネルのライブ画像を再生してよい。
段階６４０で、コンピュータ装置２００は、利用者からレイアウト切り替え要請が受信される場合、エンコーダサーバ３２０が提供可能な合成画像のうち、レイアウト切り替え要請に対応する合成画像を受信してよい。コンピュータ装置２００は、プレイヤ３３０上で現在再生中のライブ画像に対して、メイン画像の変更や全体画面モード（ｆｕｌｌ ｓｃｒｅｅｎ ｍｏｄｅ）（以下、「フルビュー」とする）への切り替えなどの利用者入力に応じてレイアウトの切り替えが必要となる場合、エンコーダサーバ３２０から受信した合成画像を切り替えようとするレイアウトの合成画像に変更してよい。
コンピュータ装置２００は、エンコーダサーバ３２０から受信した合成画像が変更されて上述した段階６２０～６３０を繰り返すことにより、チャンネルの切り替え、すなわち、プレイヤ３３０上で再生されるライブ画像のレイアウトを切り替えることができる。
図７は、本発明の一実施形態における、１つのストリームでマルチビューを構成する基本過程の一例を示した図である。
図７は、プレイヤ３３０でチャンネル＃１合成画像を利用してマルチビューを構成する過程を示している。チャンネル＃１合成画像は、チャンネル１のビデオ（Ｃａｍ＃１）が他のチャンネルのビデオ（Ｃａｍ＃２～Ｃａｍ＃６）よりも高い解像度のメイン画像で構成されたものである。
図７を参照すると、プレイヤ３３０は、チャンネル＃１合成画像フレームを受信して後処理によってチャンネル＃１合成画像フレームから各チャンネルのスプライトを取得した後、分離された各チャンネルのスプライトを定められたレイアウトに合うようにレンダリングすることによってマルチビューを構成してよい。
したがって、プレイヤ３３０は、多重ライブ配信環境で１つのストリームをダウンロードするだけで、マルチチャンネルのライブ画像からなるマルチビューを構成することができる。
図８は、本発明の一実施形態における、プレイヤレイアウトを変更するインタフェースの一例を示した図である。
プレイヤ３３０では、マルチビューの各チャンネルのビデオ（Ｃａｍ＃１～Ｃａｍ＃６）の表示位置を変更したり、特定のチャンネルの画像に対するフルビューへの切り替えを要請したりするためのインタフェースを提供する。
プレイヤ３３０上にマルチビュー形態でマルチチャンネルのライブ画像が再生されている状況で、利用者は、マルチビュー内のビデオ（Ｃａｍ＃１～Ｃａｍ＃６）の表示位置を変更したり、ビデオ（Ｃａｍ＃１～Ｃａｍ＃６）のうちの１つをフルビューに切り替えたりするためのレイアウト切り替え要請を入力してよい。
例えば、図８に示すように、チャンネル＃１合成画像を利用したマルチビュー画面において、ドラッグ８０により、チャンネル２のビデオ（Ｃａｍ＃２）を現在チャンネル１のビデオ（Ｃａｍ＃１）が再生されているメイン画像位置に移動させ、チャンネル１のビデオ（Ｃａｍ＃１）とチャンネル２のビデオ（Ｃａｍ＃２）の表示位置を変更してよい。または、マルチビュー内のビデオ（Ｃａｍ＃１～Ｃａｍ＃６）からチャンネル２のビデオ（Ｃａｍ＃２）を選択し、所定のメニューや他のジェスチャーによってフルビューへの切り替えを要請してよい。
プレイヤ３３０上でフルビューモードからマルチビューへの切り替えを要請することも可能である。
図９～１０は、本発明の一実施形態における、マルチビューのレイアウト切り替え過程の一例を示した図である。
図９～１０は、チャンネル＃１合成画像を利用したマルチビューからチャンネル＃２合成画像を利用したマルチビューに切り替える過程を示している。
チャンネル＃１合成画像を利用したマルチビュー画面において、利用者がチャンネル２のビデオ（Ｃａｍ＃２）に対してメイン画像位置への移動を要請した場合、先ず、プレイヤ３３０は、シームレスな画面切り替えのために、図９に示すように、チャンネル＃１合成画像から分離された各チャンネルのスプライトを該当の要請に対応するレイアウトに合うようにレンダリングしてよい。チャンネル＃１合成画像から分離されたチャンネル１のビデオ（Ｃａｍ＃１）は、高画質の画像に変更されたレイアウトに合うように縮小し、チャンネル＃１合成画像から分離されたチャンネル２のビデオ（Ｃａｍ＃２）は、低画質の画像として低画質状態に拡大してメイン画像位置に表示されてよい。
次に、図１０を参照すると、プレイヤ３３０は、チャンネル２のビデオ（Ｃａｍ＃２）に対して高画質画像を提供するために、エンコーダサーバ３２０からチャンネル２のビデオ（Ｃａｍ＃２）が他のチャンネルのビデオ（Ｃａｍ＃１、Ｃａｍ＃３～Ｃａｍ＃６）よりも高い解像度のメイン画像として構成されたチャンネル＃２合成画像を受信してよい。プレイヤ３３０は、チャンネル＃２合成画像フレームを受信して後処理によって各チャンネルのスプライトを取得した後、分離された各チャンネルのスプライトを該当のレイアウトに合うようにレンダリングすることにより、チャンネル＃２合成画像を利用したマルチビューを構成してよい。このとき、チャンネル１のビデオ（Ｃａｍ＃１）とチャンネル２のビデオ（Ｃａｍ＃２）は、チャンネル＃２合成画像から分離されたスプライトであって、チャンネル１のビデオ（Ｃａｍ＃１）は低画質の画像に変更され、チャンネル２のビデオ（Ｃａｍ＃２）は高画質の画像に変更されてよい。
したがって、プレイヤ３３０は、チャンネル＃１合成画像を利用したマルチビュー画面において利用者がチャンネル２のビデオ（Ｃａｍ＃２）をメイン画像位置に移動する要請をした場合、画面の途切れが発生しないように、チャンネル＃１合成画像から分離された各チャンネルのスプライトを利用してレイアウトを優先的に変更した後にチャンネル＃２合成画像を受信して、チャンネル＃２合成画像から分離された各チャンネルのスプライトを該当のレイアウトに合うようにレンダリングすることにより、マルチビューのレイアウトの切り替えを実行することができる。
図１１～１２は、本発明の一実施形態における、マルチビューからフルビューへのレイアウト切り替え過程の一例を示した図である。
図１１～１２は、チャンネル＃１合成画像を利用したマルチビューからチャンネル２のビデオ（Ｃａｍ＃２）のフルビューに切り替える過程を示している。
チャンネル＃１合成画像を利用したマルチビュー画面において、利用者がチャンネル２のビデオ（Ｃａｍ＃２）に対してフルビューへの切り替えを要請した場合、先ず、プレイヤ３３０は、シームレスな画面切り替えのために、図１１に示すように、チャンネル＃１合成画像から分離された各チャンネルのスプライトのうち、チャンネル２のビデオ（Ｃａｍ＃２）に該当するスプライトだけを全体画面としてレンダリングしてよい。チャンネル＃１合成画像から分離されたチャンネル２のビデオ（Ｃａｍ＃２）は、低画質の画像として低画質状態に拡大してフルビューで表示されてよい。このとき、チャンネル＃１合成画像から分離された残りのチャンネルのビデオ（Ｃａｍ＃１、Ｃａｍ＃３～Ｃａｍ＃６）は、レンダリングされずに隠れ（ｈｉｄｄｅｎ）状態で維持される。
次に、図１２を参照すると、プレイヤ３３０は、フルビューで表示されたチャンネル２のビデオ（Ｃａｍ＃２）に対して高画質画像を提供するために、エンコーダサーバ３２０からチャンネル＃２合成画像を受信してよい。プレイヤ３３０は、チャンネル＃２合成画像フレームを受信して後処理によって各チャンネルのスプライトを取得した後、分離された各チャンネルのスプライトのうち、チャンネル２のビデオ（Ｃａｍ＃２）に該当するスプライトだけを全体画面としてレンダリングしてよい。チャンネル＃２合成画像から分離されたチャンネル２のビデオ（Ｃａｍ＃２）は、高画質の画像として高画質状態に拡大してフルビューで表示されてよい。このとき、チャンネル＃２合成画像から分離された残りのチャンネルのビデオ（Ｃａｍ＃１、Ｃａｍ＃３～Ｃａｍ＃６）は、レンダリングされずに隠れ状態で維持される。
したがって、プレイヤ３３０は、チャンネル＃１合成画像を利用したマルチビュー画面において利用者がチャンネル２のビデオ（Ｃａｍ＃２）をフルビューに切り替える要請をした場合、画面の途切れが発生しないように、チャンネル＃１合成画像から分離されたスプライトである低解像度のチャンネル２のビデオ（Ｃａｍ＃２）をフルビューで優先的に表示した後にチャンネル＃２合成画像を受信し、チャンネル＃２合成画像から分離されたスプライトとして高解像度のチャンネル２のビデオ（Ｃａｍ＃２）をフルビューで表示することにより、マルチビューからフルビューへのレイアウト切り替えを実行することができる。
図１３～１４は、本発明の一実施形態における、フルビューからマルチビューへのレイアウト切り替え過程の一例を示した図である。
図１３～１４は、チャンネル２のビデオ（Ｃａｍ＃２）のフルビューからチャンネル＃１合成画像を利用したマルチビューに切り替える過程を示している。
チャンネル＃２合成画像を利用したチャンネル２のビデオ（Ｃａｍ＃２）のフルビュー画面において、基本レイアウトのマルチビュー、例えば、チャンネル＃１合成画像を利用したマルチビューへの切り替えが要請された場合、先ず、プレイヤ３３０は、シームレスな画面切り替えのために、図１３に示すように、チャンネル＃２合成画像から分離された各チャンネルのスプライトを該当の要請に対応するレイアウトに合うようにレンダリングしてよい。チャンネル２のビデオ（Ｃａｍ＃２）がフルビューで表示されたとしても、残りのチャンネルのビデオ（Ｃａｍ＃１、Ｃａｍ＃３～Ｃａｍ＃６）が隠れ状態で含まれているため、マルチビューへの即時切り替えが可能である。現在のマルチビューにおいて、チャンネル１のビデオ（Ｃａｍ＃１）とチャンネル２のビデオ（Ｃａｍ＃２）は、チャンネル＃２合成画像から分離されたスプライトに該当する。チャンネル２のビデオ（Ｃａｍ＃２）は、高画質の画像に変更されたレイアウトに合うように縮小し、チャンネル１のビデオ（Ｃａｍ＃１）は、低画質の画像として低画質状態に拡大してメイン画像位置に表示されてよい。
次に、図１４を参照すると、プレイヤ３３０は、チャンネル１のビデオ（Ｃａｍ＃１）に対して高画質画像を提供するために、エンコーダサーバ３２０からチャンネル＃１合成画像を受信してよい。プレイヤ３３０は、チャンネル＃１合成画像フレームを受信して後処理によって各チャンネルのスプライトを取得した後、分離された各チャンネルのスプライトを該当のレイアウトに合うようにレンダリングすることにより、チャンネル＃１合成画像を利用したマルチビューを構成してよい。このとき、チャンネル１のビデオ（Ｃａｍ＃１）とチャンネル２のビデオ（Ｃａｍ＃２）は、チャンネル＃１合成画像から分離されたスプライトであって、チャンネル１のビデオ（Ｃａｍ＃１）は高画質の画像に変更され、チャンネル２のビデオ（Ｃａｍ＃２）は低画質の画像に変更されてよい。
したがって、プレイヤ３３０は、チャンネル＃２合成画像を利用したチャンネル２のビデオ（Ｃａｍ＃２）のフルビュー画面において利用者がチャンネル＃１合成画像を利用したマルチビューへの切り替えを要請する場合、画面の途切れが発生しないように、チャンネル＃２合成画像から分離された各チャンネルのスプライトを利用してレイアウトを優先的に変更した後にチャンネル＃１合成画像を受信し、チャンネル＃１合成画像から分離された各チャンネルのスプライトを該当のレイアウトに合うようにレンダリングすることにより、フルビューからマルチビューへのレイアウトの切り替えを実行することができる。
マルチビューのレイアウトの切り替えあるいはマルチビューとフルビューのレイアウトの切り替えのためにトラック切り替え技術を利用することにより、切り替えようとするレイアウトの合成画像を受信してよい。
オーディオとビデオがインターリーブ（ｉｎｔｅｒｌｅａｖｉｎｇ）されたモードで使用される場合、プレイヤ３３０は、エンコーダサーバ３２０から受信される合成画像が変更されるトラックに切り替わるときに、オーディオとビデオはインターリーブされているが、オーディオはシームレスに再生され、画像だけが円滑に切り替わるようにすることが可能である。
プレイヤ３３０のソース修正やバッファコントロールなどのようにカスタマイズ（ｃｕｓｔｏｍｉｚｉｎｇ）が可能な環境では、レイアウト切り替えによるディレイを最小化するために、ＵＬＬ（Ｕｌｔｒａ－Ｌｏｗ－Ｌａｔｅｎｃｙ）技術とプレイヤ３３０のバッファ内のデータをフラッシュ（ｆｌｕｓｈ）し、新たに受ける技術のうちの少なくとも１つを適用してよい。例えば、プレイヤ３３０は、チャンネル＃１合成画像を利用したビューモードをチャンネル＃２合成画像を利用したビューモードに切り替えるときよりも迅速な切り替えのために、ビューモード切り替え要請が受信される時点にバッファで以前のデータ（チャンネル＃１合成画像ストリーム）を空にし、新たなデータ（チャンネル＃２合成画像ストリーム）で満たす方式などを適用してよい。
プレイヤ３３０をカスタマイズすることができない環境では、プレイヤ３３０の要請をマルチビューインターセプタ（ｉｎｔｅｒｃｅｐｔｏｒ）でキャッチし、切り替えられたトラックのセグメント（ＴＳファイル）として再要請して実現してよい。マルチビューインターセプタは、プロキシ（ｐｒｏｘｙ）サーバの役割を担うものであって、プレイヤ３３０とともに、動画再生のために利用者の端末装置においてインストールされて実行されるソフトウェアモジュールであってよい。チャンネル＃１合成画像を利用したマルチビューからフルビューに切り替えるとき、プレイヤ３３０は継続してマルチビューを要請するようになるが、このとき、マルチビューインターセプタでプレイヤ３３０の要請をフルビューに変更して要請してよい。各トラックのＴＳファイルのオーディオは、切り替えのときにシームレスな利用者経験を提供するために、同じオーディオにエンコードしてよい。
一般的には、同じ解像度のストリームが繰り返し出力されるとき、該当のストリームがどのような形態のストリームであるかを区分することができない。マルチビュー環境では、現在出力されているストリームがどのような形態で構成されているのかが分からなければならず、その情報に基づいて該当のレイアウトから各チャンネルのビデオを分離してよい。
プレイヤ３３０は、画像ストリームに含まれた固有情報として、画像区分のためのメタ情報に基づいてビューモードの画像切り替え時点を判断してよい。画像区分のためのメタ情報は、システム環境によって多様ではあるが、一例として、ＴＳチャンク（Ｃｈｕｎｋ）を使用する環境では、ＴＳコンテナに含まれた時間指定メタデータ（ｔｉｍｅｄ－ｍｅｔａｄａｔａ）を活用して画像切り替え時点を判断してよい。時間指定メタデータにはＰＴＳ（ｐｒｅｄｅｔｅｒｍｉｎｅｄ ｔｉｍｅ ｓｔａｎｄａｒｄ）の時間情報が含まれており、該当の時間に到達すればメタデータが出力される。
例えば、図１５に示すように、プレイヤ３３０は、バッファ１５０２内の画像ストリームのＴＳチャンクに含まれたメタデータ１５から該当の画像を区分してよく、これによって画像切り替え時点を判断してよい。言い換えれば、チャンネル＃１合成画像ストリームからチャンネル＃２合成画像ストリームに切り替わるときに、該当の時点に時間指定メタデータ値を入れれば、時間指定メタデータ以降に入力されるストリームをチャンネル＃２合成画像と認識し、各チャンネルの画像を分離して使用することができる。
クライアントとサーバのセッション連結によってライブ動画サービスを提供する構造のシステムではサーバ側が画像切り替え時点を変更するようになるが、セッションベースの場合は、サービスを提供することが可能な利用者の数に限界がある。これとは異なり、本実施形態は、時間指定メタデータを活用することで、クライアント側で画像切り替え時点を判断することができ、特に、セッションベースではないＨＴＴＰ基盤のプロトコルを利用してライブストリーミング方式の動画サービスを提供することができるため既存のシステム環境にも適用可能であり、より多くの利用者を対象に安定したサービスを提供することができる。
このように、本発明の実施形態によると、多重ライブ配信環境でマルチチャンネルのライブ動画を合成した１つのストリームを受けてマルチビューを構成することにより、最小限のネットワークでマルチチャンネルのライブ動画を再生することができる。さらに、本発明の実施形態によると、多重ライブ配信環境でチャンネルを切り替えるときに、オーディオおよびビデオの同期を維持しながらシームレス切り替えモードを実現することができるため、サービス品質と体感品質を高めることができる。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられてよい。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

Claims (20)

  1. コンピュータ装置が実行するライブ動画再生方法であって、
    前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
    前記ライブ動画再生方法は、
    前記少なくとも１つのプロセッサにより、ライブ配信環境でマルチチャンネルの画像が１つに合成された合成画像を１つのストリームで受信する段階、
    前記少なくとも１つのプロセッサにより、前記合成画像を利用して前記マルチチャンネルの画像からなるビューモードを構成する段階、および
    前記少なくとも１つのプロセッサにより、前記合成画像を利用して前記ビューモードのレイアウトを変更する段階
    を含む、ライブ動画再生方法。
  2. 前記構成する段階は、
    前記合成画像からチャンネルごとに構成された画像を分離することによって各チャンネルのスプライトを取得する段階、および
    前記各チャンネルのスプライトをレイアウトに合わせてレンダリングしてマルチビューを構成する段階
    を含む、請求項１に記載のライブ動画再生方法。
  3. 前記合成画像は、あるチャンネルの画像を残りの他のチャンネルの画像よりも解像度が高いメイン画像として構成し、前記他のチャンネルの画像をサブ画像として構成すること
    を特徴とする、請求項１に記載のライブ動画再生方法。
  4. 前記構成する段階は、
    第１チャンネルの画像が残りの他のチャンネルの画像よりも解像度が高い第１合成画像に対して、前記第１合成画像から分離された各チャンネルのスプライトを前記第１チャンネルの画像がメイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングする段階
    を含み、
    前記変更する段階は、
    前記マルチビューから特定のチャンネルの画像が選択されれば、前記第１合成画像から分離された各チャンネルのスプライトを前記特定のチャンネルの画像が前記メイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングした後に前記特定のチャンネルの画像が残りの他のチャンネルの画像よりも解像度が高い第２合成画像を受信し、前記第２合成画像から分離された各チャンネルのスプライトを前記特定のチャンネルの画像がメイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングする段階
    を含む、請求項１に記載のライブ動画再生方法。
  5. 前記構成する段階は、
    第１チャンネルの画像が残りの他のチャンネルの画像よりも解像度が高い第１合成画像に対して、前記第１合成画像から分離された各チャンネルのスプライトを前記第１チャンネルの画像がメイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングする段階
    を含み、
    前記変更する段階は、
    前記マルチビューから特定のチャンネルの画像が選択されれば、前記第１合成画像から分離された各チャンネルのスプライトのうちで前記特定のチャンネルのスプライトを全体画面としてレンダリングした後に前記特定のチャンネルの画像が残りの他のチャンネルの画像よりも解像度が高い第２合成画像を受信し、前記第２合成画像から分離された各チャンネルのスプライトのうちで前記特定のチャンネルのスプライトを全体画面としてレンダリングする段階
    を含む、請求項１に記載のライブ動画再生方法。
  6. 前記変更する段階は、
    前記特定のチャンネルのスプライトが全体画面としてレンダリングされたフルビューに対する利用者の要請にしたがい、前記第２合成画像から分離された各チャンネルのスプライトを前記第１チャンネルの画像が前記メイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングした後に前記第１合成画像を再び受信し、前記第１合成画像から分離された各チャンネルのスプライトを前記第１チャンネルの画像がメイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングする段階
    をさらに含む、請求項５に記載のライブ動画再生方法。
  7. 前記特定のチャンネルのスプライトが全体画面としてレンダリングされたフルビューでは、残りの他のチャンネルのスプライトがレンダリングされずに隠れ状態で含まれること
    を特徴とする、請求項５に記載のライブ動画再生方法。
  8. 前記変更する段階は、
    前記ビューモードの画像切り替えのために、プレイヤバッファで以前のデータに該当する画像ストリームをフラッシュする段階
    を含む、請求項１に記載のライブ動画再生方法。
  9. 前記変更する段階は、
    画像ストリームのコンテナに含まれた時間指定メタデータを利用して、前記ビューモードの画像切り替え時点を判断する段階
    を含む、請求項１に記載のライブ動画再生方法。
  10. 前記変更する段階は、
    前記ビューモードで各チャンネルの画像の表示位置を変更したり、特定のチャンネルの画像に対するフルビューへの切り替えを要請したりするためのインタフェースを提供する段階
    を含む、請求項１に記載のライブ動画再生方法。
  11. 請求項１に記載のライブ動画再生方法をコンピュータに実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体。
  12. コンピュータ装置であって、
    メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
    を含み、
    前記少なくとも１つのプロセッサは、
    ライブ配信環境でマルチチャンネルの画像が１つに合成された合成画像を１つのストリームで受信し、
    前記合成画像を利用して前記マルチチャンネルの画像からなるビューモードを構成し、
    前記合成画像を利用して前記ビューモードのレイアウトを変更すること
    を特徴とする、コンピュータ装置。
  13. 前記少なくとも１つのプロセッサは、
    前記合成画像からチャンネルごとに構成された画像を分離することによって各チャンネルのスプライトを取得し、
    前記各チャンネルのスプライトをレイアウトに合わせてレンダリングしてマルチビューを構成すること
    を特徴とする、請求項１２に記載のコンピュータ装置。
  14. 前記少なくとも１つのプロセッサは、
    第１チャンネルの画像が残りの他のチャンネルの画像よりも解像度が高い第１合成画像に対して、前記第１合成画像から分離された各チャンネルのスプライトを前記第１チャンネルの画像がメイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングし、
    前記マルチビューから特定のチャンネルの画像が選択されれば、前記第１合成画像から分離された各チャンネルのスプライトを前記特定のチャンネルの画像が前記メイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングした後に前記特定のチャンネルの画像が残りの他のチャンネルの画像よりも解像度が高い第２合成画像を受信し、前記第２合成画像から分離された各チャンネルのスプライトを前記特定のチャンネルの画像がメイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングすること
    を特徴とする、請求項１２に記載のコンピュータ装置。
  15. 前記少なくとも１つのプロセッサは、
    第１チャンネルの画像が残りの他のチャンネルの画像よりも解像度が高い第１合成画像に対して、前記第１合成画像から分離された各チャンネルのスプライトを前記第１チャンネルの画像がメイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングし、
    前記マルチビューから特定のチャンネルの画像が選択されれば、前記第１合成画像から分離された各チャンネルのスプライトのうちで前記特定のチャンネルのスプライトを全体画面としてレンダリングした後に前記特定のチャンネルの画像が残りの他のチャンネルの画像よりも解像度が高い第２合成画像を受信し、前記第２合成画像から分離された各チャンネルのスプライトのうちで前記特定のチャンネルのスプライトを全体画面としてレンダリングすること
    を特徴とする、請求項１２に記載のコンピュータ装置。
  16. 前記少なくとも１つのプロセッサは、
    前記特定のチャンネルのスプライトが全体画面としてレンダリングされたフルビューに対する利用者の要請にしたがい、前記第２合成画像から分離された各チャンネルのスプライトを前記第１チャンネルの画像が前記メイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングした後に前記第１合成画像を再び受信し、前記第１合成画像から分離された各チャンネルのスプライトを前記第１チャンネルの画像がメイン画像として表示されるマルチビューのレイアウトに合わせてレンダリングすること
    を特徴とする、請求項１５に記載のコンピュータ装置。
  17. 前記特定のチャンネルのスプライトが全体画面としてレンダリングされたフルビューでは、残りの他のチャンネルのスプライトがレンダリングされずに隠れ状態で含まれること
    を特徴とする、請求項１５に記載のコンピュータ装置。
  18. 前記少なくとも１つのプロセッサは、
    前記ビューモードの画像切り替えのために、プレイヤバッファで以前のデータに該当する画像ストリームをフラッシュすること
    を特徴とする、請求項１２に記載のコンピュータ装置。
  19. 前記少なくとも１つのプロセッサは、
    画像ストリームのコンテナに含まれた時間指定メタデータを利用して、前記ビューモードの画像切り替え時点を判断すること
    を特徴とする、請求項１２に記載のコンピュータ装置。
  20. 前記少なくとも１つのプロセッサは、
    前記ビューモードで各チャンネルの画像の表示位置を変更したり、特定のチャンネルの画像に対するフルビューへの切り替えを要請したりするためのインタフェースを提供すること
    を特徴とする、請求項１２に記載のコンピュータ装置。
JP2021571022A 2020-09-04 2021-08-24 多重ライブ配信環境でチャンネルのシームレス切り替えモードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体 Active JP7312858B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200112885A KR102376348B1 (ko) 2020-09-04 2020-09-04 다중 라이브 송출 환경에서의 채널 간 심리스 전환 모드를 구현하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체
KR10-2020-0112885 2020-09-04
PCT/KR2021/011317 WO2022050625A1 (ko) 2020-09-04 2021-08-24 다중 라이브 송출 환경에서의 채널 간 심리스 전환 모드를 구현하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체

Publications (2)

Publication Number Publication Date
JP2022550496A true JP2022550496A (ja) 2022-12-02
JP7312858B2 JP7312858B2 (ja) 2023-07-21

Family

ID=80491137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021571022A Active JP7312858B2 (ja) 2020-09-04 2021-08-24 多重ライブ配信環境でチャンネルのシームレス切り替えモードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体

Country Status (5)

Country Link
US (1) US20220116677A1 (ja)
EP (1) EP3985987A4 (ja)
JP (1) JP7312858B2 (ja)
KR (1) KR102376348B1 (ja)
WO (1) WO2022050625A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915801B (zh) * 2022-05-12 2024-02-27 广州市迪声音响有限公司 多通道视频信号同步输出方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018583A (ja) * 2001-07-05 2003-01-17 Sony Corp 多視点任意選択型映像視聴システム、ストリームデータ合成装置、及び、合成ストリームデータ配信サーバ
JP2005051703A (ja) * 2003-07-31 2005-02-24 Institute Of Tsukuba Liaison Co Ltd ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
US20110119711A1 (en) * 2009-10-08 2011-05-19 Marshall Communications Multimedia Content Fusion
US20130027502A1 (en) * 2011-07-29 2013-01-31 Cisco Technology, Inc. Method, computer-readable storage medium, and apparatus for modifying the layout used by a video composing unit to generate a composite video signal
US20140118467A1 (en) * 2012-10-31 2014-05-01 Samsung Sds Co., Ltd. Apparatus for multi-party video call, server for controlling multi-party video call, and method of displaying multi-party image
KR20150008739A (ko) * 2013-07-15 2015-01-23 주식회사 케이티 개인화된 비디오 기반의 화면을 제공하는 서버 및 방법, 그리고 디바이스
US9582157B1 (en) * 2012-08-03 2017-02-28 I4VU1, Inc. User interface and program guide for a multi-program video viewing apparatus
US20170134762A1 (en) * 2012-09-09 2017-05-11 Verint Systems Ltd. Systems, Methods, and Software for Mobile Video Display and Management
US20170201719A1 (en) * 2016-01-12 2017-07-13 Electronics And Telecommunications Research Institute Apparatus and method for providing ultra high definition video conference
JP2018519723A (ja) * 2015-05-12 2018-07-19 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． ビデオストリーミング装置、ビデオストリーム、ビデオストリーミング方法、及び、コンピュータプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020049979A1 (en) * 2000-05-18 2002-04-25 Patrick White Multiple camera video system which displays selected images
US9948882B2 (en) * 2005-08-11 2018-04-17 DISH Technologies L.L.C. Method and system for toasted video distribution
EP1848212B1 (en) * 2006-02-23 2012-05-16 Samsung Electronics Co., Ltd. Digital broadcast receiver and broadcast data display method for simultaneous display of multi-channel visual images
US7644425B2 (en) * 2006-03-22 2010-01-05 Alcatel Lucent Picture-in-picture mosaic
KR100827198B1 (ko) 2006-09-08 2008-05-02 주식회사 케이티프리텔 동영상 링크 서비스를 제공하는 장치 및 그 방법
CN101355688A (zh) * 2007-07-26 2009-01-28 华为技术有限公司 用于iptv的频道选择方法、合成编码装置和机顶盒
KR101586293B1 (ko) * 2009-11-11 2016-01-18 엘지전자 주식회사 영상표시장치 및 그 동작방법
CA2913936A1 (en) * 2015-01-06 2016-07-06 Guest Tek Interactive Entertainment Ltd. Group live-view interactive program guide

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018583A (ja) * 2001-07-05 2003-01-17 Sony Corp 多視点任意選択型映像視聴システム、ストリームデータ合成装置、及び、合成ストリームデータ配信サーバ
JP2005051703A (ja) * 2003-07-31 2005-02-24 Institute Of Tsukuba Liaison Co Ltd ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
US20110119711A1 (en) * 2009-10-08 2011-05-19 Marshall Communications Multimedia Content Fusion
US20130027502A1 (en) * 2011-07-29 2013-01-31 Cisco Technology, Inc. Method, computer-readable storage medium, and apparatus for modifying the layout used by a video composing unit to generate a composite video signal
US9582157B1 (en) * 2012-08-03 2017-02-28 I4VU1, Inc. User interface and program guide for a multi-program video viewing apparatus
US20170134762A1 (en) * 2012-09-09 2017-05-11 Verint Systems Ltd. Systems, Methods, and Software for Mobile Video Display and Management
US20140118467A1 (en) * 2012-10-31 2014-05-01 Samsung Sds Co., Ltd. Apparatus for multi-party video call, server for controlling multi-party video call, and method of displaying multi-party image
KR20140055252A (ko) * 2012-10-31 2014-05-09 삼성에스디에스 주식회사 다자간 영상 통화 장치 및 이를 이용한 다자간 영상 출력 방법
KR20150008739A (ko) * 2013-07-15 2015-01-23 주식회사 케이티 개인화된 비디오 기반의 화면을 제공하는 서버 및 방법, 그리고 디바이스
JP2018519723A (ja) * 2015-05-12 2018-07-19 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． ビデオストリーミング装置、ビデオストリーム、ビデオストリーミング方法、及び、コンピュータプログラム
US20170201719A1 (en) * 2016-01-12 2017-07-13 Electronics And Telecommunications Research Institute Apparatus and method for providing ultra high definition video conference

Also Published As

Publication number Publication date
EP3985987A1 (en) 2022-04-20
JP7312858B2 (ja) 2023-07-21
WO2022050625A1 (ko) 2022-03-10
EP3985987A4 (en) 2023-06-07
KR20220031215A (ko) 2022-03-11
KR102376348B1 (ko) 2022-03-18
US20220116677A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
US10911512B2 (en) Personalized content streams using aligned encoded content segments
JP6449494B2 (ja) 再生装置
JP5267165B2 (ja) ストリーミング配信システム、その動作制御方法及びプログラム
US20240007510A1 (en) METHOD, SYSTEM, AND NON-TRANSITORY COMPUTER-READABLE RECORD MEDIUM FOR SHARING CONTENT DURING VoIP-BASED CALL
JP7312858B2 (ja) 多重ライブ配信環境でチャンネルのシームレス切り替えモードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体
US20230217047A1 (en) Method, system, and computer-readable recording medium for implementing fast-switching mode between channels in multi-live transmission environment
KR101833942B1 (ko) 실시간 영상 합성을 위한 트랜스코더
KR102134250B1 (ko) 스트리밍 콘텐츠의 재생 방법 및 시스템
JP7290260B1 (ja) サーバ、端末及びコンピュータプログラム
JP2024517702A (ja) シングルストリームを利用して関心領域の高画質映像を提供する方法、コンピュータ装置、およびコンピュータプログラム
JP7282981B2 (ja) ローカルストリーミングサーバを利用したストリーミングコンテンツの再生方法およびシステム
KR102228375B1 (ko) 다수의 스트리밍 콘텐츠들을 재생하는 방법 및 시스템
KR20200135324A (ko) 정보 처리 장치, 정보 처리 장치 및 프로그램
JP7133634B2 (ja) ユーザフィードバックが可能なボットに基づいて映像を制作する方法、システム、および非一時的なコンピュータ読み取り可能な記録媒体
JP7152778B2 (ja) 情報処理システム
KR20160056859A (ko) 멀티미디어 컨텐츠 재생 장치 및 방법
WO2016155800A1 (en) Accessing content
KR20220051677A (ko) 콘텐츠 재생 방법 및 시스템
WO2014037604A1 (en) Multisource media remixing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230710

R150 Certificate of patent or registration of utility model

Ref document number: 7312858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150