JP2012203629A - コンテンツ分散管理システム - Google Patents
コンテンツ分散管理システム Download PDFInfo
- Publication number
- JP2012203629A JP2012203629A JP2011067339A JP2011067339A JP2012203629A JP 2012203629 A JP2012203629 A JP 2012203629A JP 2011067339 A JP2011067339 A JP 2011067339A JP 2011067339 A JP2011067339 A JP 2011067339A JP 2012203629 A JP2012203629 A JP 2012203629A
- Authority
- JP
- Japan
- Prior art keywords
- content
- access frequency
- server
- copies
- management system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】コンテンツ分散管理システムにおいて、保管されるコンテンツに対するアクセス頻度に応じたコンテンツの複製数を制御することで、アクセスが集中するコンテンツ読み出し時における特定サーバへの集中アクセスを回避する。
【解決手段】分散配置した複数のストレージから成る分散ファイルシステム20と、外部から取得されたコンテンツを分散ファイルシステムに書き込むコンテンツ取得サーバ10と、分散ファイルシステムにおける前記コンテンツそれぞれに対するアクセス頻度を測定するコンテンツアクセス頻度解析サーバ50と、分散ファイルシステムにおける前記コンテンツの複製数を制御するコンテンツ複製制御サーバ60を具備し、コンテンツ複製制御サーバ60は、アクセス頻度解析サーバ50によって解析されたアクセス頻度に基づいて、コンテンツの複製数を決定する。
【選択図】図1
【解決手段】分散配置した複数のストレージから成る分散ファイルシステム20と、外部から取得されたコンテンツを分散ファイルシステムに書き込むコンテンツ取得サーバ10と、分散ファイルシステムにおける前記コンテンツそれぞれに対するアクセス頻度を測定するコンテンツアクセス頻度解析サーバ50と、分散ファイルシステムにおける前記コンテンツの複製数を制御するコンテンツ複製制御サーバ60を具備し、コンテンツ複製制御サーバ60は、アクセス頻度解析サーバ50によって解析されたアクセス頻度に基づいて、コンテンツの複製数を決定する。
【選択図】図1
Description
本発明は、ビデオ・オン・デマンド(VoD)配信サーバにおいて、ネットワークを介して散在する複数コンピュータのストレージを仮想的に統合して提供可能な分散ファイルシステムに関し、コンテンツ読み出し時における特定サーバへの集中アクセスを回避するようにコンテンツを分散して管理する分散管理システムに関する。
この種の技術としては、非特許文献1や非特許文献2で示されるように、複数のマシンのディスクを組み合わせて1つの分散ファイルシステムとして機能する。
非特許文献1に示されたGfarmは、広域ネットワーク上で、大容量、大規模データ処理の要求に応えるスケーラブルな分散ファイルシステムプラットフォームであり、広域なネットワーク上での効率的なファイル共有に適した分散ファイルシステムである。
一方、非特許文献2に示されたHadoopは、1つのディスクで保存できない大量のデータを並列化することで高速かつ効率良く処理できるものであり、比較的大きなサイズかつ基本的に更新されることのないファイルのI/Oに適した分散ファイルシステムである。
非特許文献1に示されたGfarmは、広域ネットワーク上で、大容量、大規模データ処理の要求に応えるスケーラブルな分散ファイルシステムプラットフォームであり、広域なネットワーク上での効率的なファイル共有に適した分散ファイルシステムである。
一方、非特許文献2に示されたHadoopは、1つのディスクで保存できない大量のデータを並列化することで高速かつ効率良く処理できるものであり、比較的大きなサイズかつ基本的に更新されることのないファイルのI/Oに適した分散ファイルシステムである。
上述した分散ファイルシステムにおけるビデオ・オン・デマンド(VoD)配信システムでは、コンテンツファイルをディスクに保管する際に複製が必要な場合、コンテンツファイルの複製を均等に作成する方式が採用されていた。
URL:http://datafarm.apgrid.org/indeX.ja.html
URL:http://hadoop.apache.org/
上述した方式であると、全コンテンツについて一律にN個の複製を作成するが、コンテンツ人気度によりコンテンツファイルへのユーザからのアクセス頻度には偏りがあるため、人気の高いコンテンツに対してN個を超えるアクセスがあった場合、同一ファイルへのアクセス(読込み)が集中するといった現象が生じる。このような場合、読込みが集中したコンテンツにおいては複製ファイル数が足らず同一ディスクへのアクセスが輻輳し、ユーザへの応答時間に遅延が生じるという問題があった。
例えば、図8に示されるように、あるコンテンツに対する複数ユーザからの同時アクセス数(この例の場合、「4」)が複製数N(この例の場合、「3」)を超える場合、同じファイルサーバ(図における左端のファイルサーバ)上に保管される同一コンテンツにアクセスが輻輳する場合が考えられる。
一方、図9に示されるように、あるコンテンツに対する複数ユーザからの同時アクセス数が複製数N(この例の場合、「5」)未満の場合、人気の無いコンテンツにおいては、複製数に対してアクセスが少なくディスク利用率として無駄が生じる場合がある。
一方、図9に示されるように、あるコンテンツに対する複数ユーザからの同時アクセス数が複製数N(この例の場合、「5」)未満の場合、人気の無いコンテンツにおいては、複製数に対してアクセスが少なくディスク利用率として無駄が生じる場合がある。
本発明は上記実情に鑑みて提案されたもので、保管されるコンテンツに対するアクセス頻度に応じたコンテンツの複製数を制御することで、アクセスが集中するコンテンツ読み出し時における特定サーバへの集中アクセスの回避が可能なコンテンツ分散管理システムを提供することを目的としている。
上記目的を達成するため請求項1のコンテンツ分散管理システムは、物理的に分散した複数のストレージから構成される分散ファイルシステムと、外部から取得されたコンテンツを前記分散ファイルシステムに書き込むコンテンツ取得サーバと、前記分散ファイルシステムにおける前記コンテンツそれぞれに対するアクセス頻度を測定するコンテンツアクセス頻度解析サーバと、前記分散ファイルシステムにおける前記コンテンツの複製数を制御するコンテンツ複製制御サーバを具備し、前記コンテンツ複製制御サーバは、前記アクセス頻度解析サーバによって解析されたアクセス頻度に基づいて、コンテンツの複製数を決定することを特徴としている。
請求項2は、請求項1のコンテンツ分散管理システムにおいて、前記コンテンツ複製制御サーバは、前記コンテンツを断片化して複数のコンテンツ片を作成する一方、前記コンテンツ片毎に複製数を決定し、前記コンテンツアクセス頻度解析サーバは、前記コンテンツ片毎にアクセス頻度を測定することを特徴としている。
請求項3は、請求項2のコンテンツ分散管理システムにおいて、前記アクセス頻度解析サーバは、あるコンテンツにおける任意の区間それぞれに対するアクセス頻度を測定する手段を具備し、前記コンテンツ複製制御サーバは、あるコンテンツを前記任意の区間に断片化する手段を具備し、前記アクセス頻度解析サーバによって解析された区間ごとのアクセス頻度に基づいて、コンテンツ片の複製数を決定することを特徴としている。
請求項4は、請求項1のコンテンツ分散管理システムにおいて、コンテンツ複製制御サーバにおけるコンテンツの複製数の決定は、過去所定時間内でのコンテンツのアクセス回数から先のアクセス頻度を予測して行うことを特徴としている。
請求項5は、請求項2又は請求項3のコンテンツ分散管理システムにおいて、コンテンツ複製制御サーバにおけるコンテンツの複製数の決定は、過去所定時間内での断片化されたコンテンツ片のアクセス回数から先のアクセス頻度を予測して行うことを特徴としている。
請求項6は、請求項1のコンテンツ分散管理システムにおいて、コンテンツ複製制御サーバにおけるコンテンツの複製数の決定は、ユーザから事前に格納要求された数から先のアクセス頻度を予測して行うことを特徴としている。
請求項7は、請求項1のコンテンツ分散管理システムにおいて、コンテンツ複製制御サーバにおけるコンテンツの複製数の決定は、コンテンツが取得されてからの経過時間から先のアクセス頻度を予測して減じることを特徴としている。
請求項8は、請求項1のコンテンツ分散管理システムにおいて、コンテンツ複製制御サーバにおけるコンテンツの複製数の決定は、コンテンツへの最終アクセスからの経過時間情報から先のアクセス頻度を予測して減じることを特徴としている。
請求項9は、請求項1ないし請求項3のいずれか1項に記載のコンテンツ分散管理システムにおいて、コンテンツアクセス頻度解析サーバから渡されるコンテンツ又はコンテンツ片のアクセス頻度を示す値から、該当コンテンツの複製数を減少させることを特徴としている。
請求項10は、請求項1ないし請求項9のいずれか1項に記載のコンテンツ分散管理システムにおいて、前記コンテンツ取得サーバは、ネットワークによって接続されたユーザ端末からの格納要求に従ってコンテンツを書き込むことを特徴としている。
請求項11は、請求項1ないし請求項10のいずれか1項に記載のコンテンツ分散管理システムにおいて、前記分散ファイルシステムを構成する複数のストレージは、ネットワークによって接続されることを特徴としている。
請求項12は、請求項1ないし請求項11のいずれか1項に記載のコンテンツ分散管理システムにおいて、前記コンテンツ取得サーバは、放送またはネットワークを経由した別のサーバからコンテンツを取得することを特徴としている。
本発明によれば、コンテンツアクセス頻度解析サーバから提供されるコンテンツのアクセス頻度情報に応じたファイルの複製数を決める(アクセス頻度の高いコンテンツはより多くの複製を保持する)ことにより、一つのコンテンツに対して集中するアクセス負荷を分散し、読み出し負荷を削減して性能低下のリスクを回避することができる。
また、アクセス頻度値が少ないコンテンツの複製数を減らすことにより、効率的に分散ファイルシステムを利用することができる。
また、アクセス頻度値が少ないコンテンツの複製数を減らすことにより、効率的に分散ファイルシステムを利用することができる。
本発明のコンテンツ分散管理システムの実施形態の一例について、図面を参照しながら説明する。図1は、コンテンツ分散管理システムの全体構成図である。
コンテンツ分散管理システムは、コンテンツ取得サーバ10と、分散ファイルシステム20と、コンテンツ配信サーバ30と、複数のユーザ端末40と、コンテンツアクセス頻度解析サーバ50と、コンテンツ複製制御サーバ60を備え、それぞれネットワークを介して接続して構成されている。
コンテンツ分散管理システムは、コンテンツ取得サーバ10と、分散ファイルシステム20と、コンテンツ配信サーバ30と、複数のユーザ端末40と、コンテンツアクセス頻度解析サーバ50と、コンテンツ複製制御サーバ60を備え、それぞれネットワークを介して接続して構成されている。
コンテンツ取得サーバ10は、コンテンツソースを提供する外部ストレージ11にネットワークを介して接続され、外部ストレージ11から提供されたコンテンツファイル(コンテンツ)を取得し、取得したコンテンツデータを、運用者が指定する時間単位に区切って、あるいはコンテンツ単位(番組単位)に、分散ファイルシステム20内に書込み依頼する処理が行われる。
コンテンツ取得サーバ10は、コンテンツの書込みを分散ファイルシステムクライアントに依頼する際(書き込むコンテンツデータを分散ファイルシステムに渡す際)、コンテンツを丸ごと(番組一本分丸ごと)渡す場合と、コンテンツを時間ごとに区切って断片的に渡す場合の両方に機能する。
コンテンツ取得サーバ10は、コンテンツの書込みを分散ファイルシステムクライアントに依頼する際(書き込むコンテンツデータを分散ファイルシステムに渡す際)、コンテンツを丸ごと(番組一本分丸ごと)渡す場合と、コンテンツを時間ごとに区切って断片的に渡す場合の両方に機能する。
分散ファイルシステム20は、分散ファイルシステム20を構成する各サーバを制御しコンテンツの書込み及び読込み処理を行う分散ファイルシステムクライアント21と、コンテンツが時系列的に格納される複数のファイルサーバ22と、各コンテンツの格納先情報(メタ情報)を記録するメタデータサーバ23を備えている。
分散ファイルシステムクライアント21は、分散ファイルシステム20内のファイルサーバ22にコンテンツを書き込む。また、コンテンツの書込みの処理は、コンテンツのオリジナルとその複製について行われ(コンテンツの最初の書込み時の複製数は運用者が指定する)、コンテンツ片の格納先となるファイルサーバ22を選択する。また、別なタイミングにてコンテンツアクセス頻度解析サーバ50及びコンテンツ複製制御サーバ60からの指示に基づいて複製数を変更することも可能とする。
メタデータサーバ23は、各コンテンツ片15が分散ファイルシステム20内のどのファイルサーバ22に格納されたかのメタ情報を記録する。
メタデータサーバ23は、各コンテンツ片15が分散ファイルシステム20内のどのファイルサーバ22に格納されたかのメタ情報を記録する。
ファイルサーバ22は、各コンテンツ片15(オリジナル及び複製)を時系列的に格納するため物理的に分散して配置されている。各ファイルサーバ22はストレージを有して構成され、ネットワークによって接続されることで複数の装置のディスクを組み合わせて1つの分散ファイルシステムを構築している。
コンテンツ配信サーバ30は、ユーザ端末40からの配信(録画)要求に従い、該当するコンテンツのコンテンツ片(オリジナル又は複製)15をユーザ端末40外のネットワーク内で読込み、ネットワークを介してユーザ端末40にコンテンツ片15を配信する。
また、コンテンツ配信サーバ30はコンテンツ取得サーバ10及びコンテンツアクセス頻度解析サーバ50にネットワークを介して接続され、ユーザ端末40から配信(録画)要求があった場合に、コンテンツ取得サーバ10及びコンテンツアクセス頻度解析サーバ50に対して配信(録画)の予約要求情報を出力する。
また、コンテンツ配信サーバ30はコンテンツ取得サーバ10及びコンテンツアクセス頻度解析サーバ50にネットワークを介して接続され、ユーザ端末40から配信(録画)要求があった場合に、コンテンツ取得サーバ10及びコンテンツアクセス頻度解析サーバ50に対して配信(録画)の予約要求情報を出力する。
コンテンツアクセス頻度解析サーバ50は、分散ファイルシステム20及びコンテンツ配信サーバ30に接続して構成されている。コンテンツアクセス頻度解析サーバ50は、分散ファイルシステム20に接続されることで、所定時間内でのユーザ端末40からファイルサーバ22に格納されたコンテンツへのアクセス頻度情報を得る。アクセス頻度情報は、ユーザ端末40からの配信(再生)要求情報であるので、コンテンツ片(断片化)単位の情報となっている。
また、コンテンツアクセス頻度解析サーバ50は、コンテンツ配信サーバ30を介して、ユーザ端末40からの録画予約情報、コンテンツ取得サーバ10がコンテンツを取得してからの経過時間情報、ユーザ端末40による最終アクセスからの経過時間情報をアクセス頻度情報として得る。アクセス頻度情報はコンテンツ片(断片化)単位の情報であるが、ユーザ端末40からの録画予約情報は録画対象となる番組毎のコンテンツ単位の情報となっている。
そして、コンテンツアクセス頻度解析サーバ50では、これらの各種情報から、コンテンツ(番組)のアクセス頻度(人気度)を推定し、その結果をコンテンツ複製制御サーバ60に出力する。
そして、コンテンツアクセス頻度解析サーバ50では、これらの各種情報から、コンテンツ(番組)のアクセス頻度(人気度)を推定し、その結果をコンテンツ複製制御サーバ60に出力する。
コンテンツ複製制御サーバ60は、コンテンツアクセス頻度解析サーバ50から受け取ったコンテンツのアクセス頻度を引数として複製数を決定し、分散ファイルシステム20の分散ファイルシステムクライアント21に対してコンテンツファイルの複製数を指示する。
また、コンテンツ複製制御サーバ60は、最初は断片化されていないコンテンツを、シーンごとに断片化してアクセス頻度に応じて複製数を制御することや、一旦断片化され保管されているコンテンツを、別のタイミングで一旦再結合し、シーンごとのアクセス頻度に応じて再断片化して複製数を制御する、という処理も行う。
また、コンテンツ複製制御サーバ60は、最初は断片化されていないコンテンツを、シーンごとに断片化してアクセス頻度に応じて複製数を制御することや、一旦断片化され保管されているコンテンツを、別のタイミングで一旦再結合し、シーンごとのアクセス頻度に応じて再断片化して複製数を制御する、という処理も行う。
次に、図1のコンテンツ分散管理システムにおけるコンテンツ取得サーバ10によるコンテンツの取得からユーザ端末40への配信までの流れについて、図2を参照しながら説明する。
先ず、複数の各ユーザ端末40がコンテンツ配信サーバ30に対して録画(コンテンツ格納)要求を行う(ステップ201)。
録画要求を受けたコンテンツ配信サーバ30は、コンテンツアクセス頻度解析サーバ50に対して、どのようなコンテンツに対して録画要求があったかの録画(コンテンツ格納)要求情報を出力する(ステップ202)とともに、コンテンツ取得サーバ10に対して録画(コンテンツ格納)要求を行う(ステップ203)。
コンテンツ取得サーバ10では、録画要求されているコンテンツを外部ストレージ11から取得する(ステップ204)。コンテンツは、例えば、放送等から常時(24時間)番組が取得されるように構成されている。録画要求対象となるコンテンツが取得されている場合、分散ファイルシステム20(分散ファイルシステムクライアント21)にコンテンツ書込み命令を出力する(ステップ205)。
先ず、複数の各ユーザ端末40がコンテンツ配信サーバ30に対して録画(コンテンツ格納)要求を行う(ステップ201)。
録画要求を受けたコンテンツ配信サーバ30は、コンテンツアクセス頻度解析サーバ50に対して、どのようなコンテンツに対して録画要求があったかの録画(コンテンツ格納)要求情報を出力する(ステップ202)とともに、コンテンツ取得サーバ10に対して録画(コンテンツ格納)要求を行う(ステップ203)。
コンテンツ取得サーバ10では、録画要求されているコンテンツを外部ストレージ11から取得する(ステップ204)。コンテンツは、例えば、放送等から常時(24時間)番組が取得されるように構成されている。録画要求対象となるコンテンツが取得されている場合、分散ファイルシステム20(分散ファイルシステムクライアント21)にコンテンツ書込み命令を出力する(ステップ205)。
また、録画要求情報(ステップ202)を受けたコンテンツアクセス頻度解析サーバ50は、コンテンツ複製制御サーバ60に対して、アクセス頻度情報を出力する(ステップ206)。
コンテンツ複製制御サーバ60は、アクセス頻度情報から複製する個数を決定し、分散ファイルシステム20(分散ファイルシステムクライアント21)に対して複製制御指示を行う(ステップ207)。
分散ファイルシステム20(分散ファイルシステムクライアント21)では、コンテンツ複製制御サーバ60からの複製制御指示を受け、決定された複製数及び格納先のファイルサーバ22を指定して複製を格納する(ステップ208)
コンテンツ複製制御サーバ60は、アクセス頻度情報から複製する個数を決定し、分散ファイルシステム20(分散ファイルシステムクライアント21)に対して複製制御指示を行う(ステップ207)。
分散ファイルシステム20(分散ファイルシステムクライアント21)では、コンテンツ複製制御サーバ60からの複製制御指示を受け、決定された複製数及び格納先のファイルサーバ22を指定して複製を格納する(ステップ208)
各ユーザ端末40からコンテンツ配信サーバ30に対して録画したコンテンツに対する配信要求があった場合は(ステップ211)、コンテンツ配信サーバ30は、分散ファイルシステム20(分散ファイルシステムクライアント21)に対して配信ファイル読み込み要求を発し(ステップ212)、分散ファイルシステム20の要求されているコンテンツが格納されているファイルサーバ22から配信ファイルの読み込みを行う(ステップ212)。
また、各ファイルサーバ22へのコンテンツ複製の追加・削除を行うため、分散ファイルシステム20からコンテンツアクセス頻度解析サーバ50に対して、常時継続して所定期間内でのコンテンツアクセス情報を出力し(ステップ220)、コンテンツアクセス頻度解析サーバ50はコンテンツ複製制御サーバ60にアクセス頻度情報を出力する(ステップ221)。コンテンツ複製制御サーバ60は、分散ファイルシステム20に複製制御指示を行い(ステップ222)、分散ファイルシステム内において複製の追加や削除が行われる(ステップ223)。なお、複製はファイルサーバ22にまたがって作成される(あるコンテンツのオリジナルと複製は、それぞれ別々のファイルサーバにばらばらに保管される)。
次に、コンテンツアクセス頻度解析サーバ50及びコンテンツ複製制御サーバ60の構成について、図3を参照しながら説明する。
コンテンツアクセス頻度解析サーバ50は、録画予約情報受信部51と、アクセス情報受信部52と、アクセス頻度解析部53と、アクセス頻度情報発行部54を備えて構成されている。
録画予約情報受信部51は、コンテンツ配信サーバ30から、録画予約情報を受信し、アクセス頻度解析部53に出力する。
アクセス情報受信部52は、分散ファイルシステム20から、一つのコンテンツ内における各コンテンツ片について所定期間ごとのアクセス情報を受信する。
アクセス頻度解析部53は、録画予約情報に基づいてコンテンツ毎のアクセス頻度を予測する。また、所定期間ごとのアクセス情報に基づいて、コンテンツ内の所定時間毎のアクセス頻度を予測する。
アクセス頻度情報発行部54は、アクセス頻度解析部53が予測したアクセス頻度情報を、コンテンツ複製制御サーバ60に出力する。
コンテンツアクセス頻度解析サーバ50は、録画予約情報受信部51と、アクセス情報受信部52と、アクセス頻度解析部53と、アクセス頻度情報発行部54を備えて構成されている。
録画予約情報受信部51は、コンテンツ配信サーバ30から、録画予約情報を受信し、アクセス頻度解析部53に出力する。
アクセス情報受信部52は、分散ファイルシステム20から、一つのコンテンツ内における各コンテンツ片について所定期間ごとのアクセス情報を受信する。
アクセス頻度解析部53は、録画予約情報に基づいてコンテンツ毎のアクセス頻度を予測する。また、所定期間ごとのアクセス情報に基づいて、コンテンツ内の所定時間毎のアクセス頻度を予測する。
アクセス頻度情報発行部54は、アクセス頻度解析部53が予測したアクセス頻度情報を、コンテンツ複製制御サーバ60に出力する。
コンテンツ複製制御サーバ60は、アクセス頻度情報受信部61と、コンテンツ断片処理部62と、複製制御指示発行部63を備えて構成されている。
アクセス頻度情報受信部61は、コンテンツアクセス頻度解析サーバ50から、解析(予測)されたアクセス頻度情報を受信し、アクセス頻度の値をコンテンツ複製数に変換する。コンテンツ複製数に変換するための変換式は、予め設定された算出式を用いて行われる。また、コンテンツ内の所定時間毎のアクセス頻度を取り纏め、断片化する区間を決定する。シーン毎のコンテンツ片に断片化しない場合は、予め決められた所定区間(例えば15分毎)で断片化してもよい。
コンテンツ断片処理部62は、オリジナルのコンテンツファイルを分散ファイルシステム20から読込み、アクセス頻度情報の値に従い断片化し、断片化データとして分散ファイルシステム20のファイルサーバ22に書き込む。
複製制御指示発行部63は、分散ファイルシステム20に対し、複製の追加・削除の指示を送る。
アクセス頻度情報受信部61は、コンテンツアクセス頻度解析サーバ50から、解析(予測)されたアクセス頻度情報を受信し、アクセス頻度の値をコンテンツ複製数に変換する。コンテンツ複製数に変換するための変換式は、予め設定された算出式を用いて行われる。また、コンテンツ内の所定時間毎のアクセス頻度を取り纏め、断片化する区間を決定する。シーン毎のコンテンツ片に断片化しない場合は、予め決められた所定区間(例えば15分毎)で断片化してもよい。
コンテンツ断片処理部62は、オリジナルのコンテンツファイルを分散ファイルシステム20から読込み、アクセス頻度情報の値に従い断片化し、断片化データとして分散ファイルシステム20のファイルサーバ22に書き込む。
複製制御指示発行部63は、分散ファイルシステム20に対し、複製の追加・削除の指示を送る。
続いて、コンテンツアクセス頻度解析サーバ50及びコンテンツ複製制御サーバ60における処理手順について、図4及び図5を参照しながら説明する
コンテンツアクセス頻度解析サーバ50では、録画終了時刻であるか否かを判断する(ステップ501)。
録画終了時刻でない場合は、コンテンツ配信サーバ30からの情報を受信し(ステップ502)、それが録画予約情報であるかを判断し(ステップ503)、録画予約情報である場合は録画予約情報を受信して蓄積し(ステップ504)、録画終了時刻が経過するまで繰り返して録画予約情報が蓄積される処理が行われる。
録画終了時刻が経過した場合、アクセス頻度解析部53において、録画要求の数を算出する録画予約統計処理を行い(ステップ505)、録画要求数からアクセス頻度を予想し(ステップ506)、アクセス頻度情報発行部54がアクセス頻度情報をコンテンツ複製制御サーバ60に送信する(ステップ507)。
コンテンツアクセス頻度解析サーバ50では、録画終了時刻であるか否かを判断する(ステップ501)。
録画終了時刻でない場合は、コンテンツ配信サーバ30からの情報を受信し(ステップ502)、それが録画予約情報であるかを判断し(ステップ503)、録画予約情報である場合は録画予約情報を受信して蓄積し(ステップ504)、録画終了時刻が経過するまで繰り返して録画予約情報が蓄積される処理が行われる。
録画終了時刻が経過した場合、アクセス頻度解析部53において、録画要求の数を算出する録画予約統計処理を行い(ステップ505)、録画要求数からアクセス頻度を予想し(ステップ506)、アクセス頻度情報発行部54がアクセス頻度情報をコンテンツ複製制御サーバ60に送信する(ステップ507)。
ステップ502において受信した情報が、過去アクセスモデルデータの場合は、コンテンツに対する過去のアクセス情報により、アクセス頻度を予想する。すなわち、過去アクセスモデルの有無を判断し(ステップ510)、過去アクセスモデルがある場合は、過去所定時間内もしくは録画後から蓄積したアクセス情報を切り出し(ステップ511)、アクセス回数解析を行い(ステップ512)、アクセス頻度を予想する(ステップ506)。
また、ステップ502において受信した情報が経過時間情報の場合は(ステップ520)、格納後の経過時間を取得し(ステップ521)、最終アクセス後の経過時間を取得し(ステップ522)、アクセス頻度を予想し(ステップ506)、アクセス頻度情報発行部54がアクセス頻度情報をコンテンツ複製制御サーバ60に送信する(ステップ507)。
アクセス頻度情報を送信した場合(ステップ507)、又は、ステップ520において経過時間情報がない場合、プログラム終了処理の可否を判断する(ステップ508)。
また、ステップ502において受信した情報が経過時間情報の場合は(ステップ520)、格納後の経過時間を取得し(ステップ521)、最終アクセス後の経過時間を取得し(ステップ522)、アクセス頻度を予想し(ステップ506)、アクセス頻度情報発行部54がアクセス頻度情報をコンテンツ複製制御サーバ60に送信する(ステップ507)。
アクセス頻度情報を送信した場合(ステップ507)、又は、ステップ520において経過時間情報がない場合、プログラム終了処理の可否を判断する(ステップ508)。
コンテンツ複製制御サーバ60では、コンテンツアクセス頻度解析サーバ50からアクセス頻度情報を受信し(ステップ601)、この情報がコンテンツ単位の情報か否かを判断する(ステップ602)。コンテンツ単位の情報である場合、アクセス頻度から複製数への変換がなされ(ステップ603)、複製制御指示が発行される(ステップ604)。
ステップ603において、アクセス頻度が「0」の場合であっても、今後のアクセス可能性(再生必要な場合)に対応するため、コンテンツ全てを削除しないように複製数を「1」としておく。また、ステップ604において、指示する数が、既存複製数より小さい場合には、複製を削除するコマンドを、既存複製数より大きい場合には、複製数を増やすコマンドを発行する。
ステップ603において、アクセス頻度が「0」の場合であっても、今後のアクセス可能性(再生必要な場合)に対応するため、コンテンツ全てを削除しないように複製数を「1」としておく。また、ステップ604において、指示する数が、既存複製数より小さい場合には、複製を削除するコマンドを、既存複製数より大きい場合には、複製数を増やすコマンドを発行する。
ステップ602においてコンテンツ単位の情報でない場合、シーン毎のアクセス頻度情報として受信し(ステップ610)、コンテンツの断片化済であるかを判断し(ステップ611)、断片化済であればアクセス頻度から複製数への変換がなされ(ステップ603)、複製制御指示が発行される(ステップ604)。
ステップ611におけるコンテンツの断片化が未だである場合は、断片区間を決定し(ステップ612)、分散ファイルシステム20からオリジナルコンテンツを読込み(ステップ613)、断片化及び再書き込みを行い(ステップ614)、アクセス頻度から複製数への変換がなされ(ステップ603)、複製制御指示が発行される(ステップ604)。
ステップ611におけるコンテンツの断片化が未だである場合は、断片区間を決定し(ステップ612)、分散ファイルシステム20からオリジナルコンテンツを読込み(ステップ613)、断片化及び再書き込みを行い(ステップ614)、アクセス頻度から複製数への変換がなされ(ステップ603)、複製制御指示が発行される(ステップ604)。
コンテンツアクセス頻度解析サーバ50において、複製数決定の元となるアクセス頻度の予測方法は、次のようにして行うことが考えられる。
(1)過去所定時間内でのコンテンツのアクセス回数から、その先のアクセス頻度を予測する。この予測方法では、時間帯に応じたアクセス頻度により、複製数を増減させるものである。
(2)コンテンツ録画終了後から蓄積したアクセス情報(場合により正規化する)から、その先のアクセス頻度を予測する。この予測方法では、時間帯に応じたアクセス頻度により、複製数を増減させるものである。
(3)ユーザから事前に格納要求(録画予約)された数から先のアクセス頻度を予測する。すなわち、録画予約数が多いものは読込み数も多いため、複製数を増やす。
(4)コンテンツが格納されてからの経過時間から先のアクセス頻度を予測する。すなわち、録画はされたが視聴されることなく時間が経っているものは、複製数を減らす。
(5)コンテンツへの最終アクセスからの経過時間情報から先のアクセス頻度を予測する。すなわち、視聴後に時間が経っているものは、複製数を減らす。
コンテンツアクセス頻度解析サーバ50で予想するアクセス頻度は、上述した(1)〜(5)を単独又は組み合わせて算出する。
(1)過去所定時間内でのコンテンツのアクセス回数から、その先のアクセス頻度を予測する。この予測方法では、時間帯に応じたアクセス頻度により、複製数を増減させるものである。
(2)コンテンツ録画終了後から蓄積したアクセス情報(場合により正規化する)から、その先のアクセス頻度を予測する。この予測方法では、時間帯に応じたアクセス頻度により、複製数を増減させるものである。
(3)ユーザから事前に格納要求(録画予約)された数から先のアクセス頻度を予測する。すなわち、録画予約数が多いものは読込み数も多いため、複製数を増やす。
(4)コンテンツが格納されてからの経過時間から先のアクセス頻度を予測する。すなわち、録画はされたが視聴されることなく時間が経っているものは、複製数を減らす。
(5)コンテンツへの最終アクセスからの経過時間情報から先のアクセス頻度を予測する。すなわち、視聴後に時間が経っているものは、複製数を減らす。
コンテンツアクセス頻度解析サーバ50で予想するアクセス頻度は、上述した(1)〜(5)を単独又は組み合わせて算出する。
また、コンテンツの視聴に関しては、あるシーンは多数のユーザに視聴され、別のシーンはあまり視聴されない、あるいは、途中まで視聴して止めるユーザや、途中から視聴するユーザなど、コンテンツのシーンごとのアクセス頻度は一律ではない。
本実施形態では、アクセス頻度解析サーバ50が、所定区間又は任意区間において断片化されたコンテンツ片15ごとのアクセス頻度を予測可能とし、コンテンツ複製制御サーバ60は、コンテンツ単位で複製数を制御するだけでなく、断片化されたコンテンツ片15ごとの複製数を制御するようにしている。
本実施形態では、アクセス頻度解析サーバ50が、所定区間又は任意区間において断片化されたコンテンツ片15ごとのアクセス頻度を予測可能とし、コンテンツ複製制御サーバ60は、コンテンツ単位で複製数を制御するだけでなく、断片化されたコンテンツ片15ごとの複製数を制御するようにしている。
コンテンツを所定区間において断片化して複数のコンテンツ片15を得る場合について説明する。
すなわち、コンテンツ取得サーバ10がコンテンツの録画時に、図6に示すように、例えば2時間番組のコンテンツを15分毎に8個のコンテンツ片1〜8に分割(所定区間における断片化)し分散ファイルシステム20に書き込む。コンテンツ片の録画完了直後から、各コンテンツ片の読込み(配信)状況を記録しておく(日付、曜日、時刻におけるアクセスモデルデータとして記録しておく)。複製数制御日時になった際、過去(同日付、同曜日、同区間)の読込み(配信)状況から、以降のコンテンツ片の必要数を予測する。
すなわち、コンテンツ取得サーバ10がコンテンツの録画時に、図6に示すように、例えば2時間番組のコンテンツを15分毎に8個のコンテンツ片1〜8に分割(所定区間における断片化)し分散ファイルシステム20に書き込む。コンテンツ片の録画完了直後から、各コンテンツ片の読込み(配信)状況を記録しておく(日付、曜日、時刻におけるアクセスモデルデータとして記録しておく)。複製数制御日時になった際、過去(同日付、同曜日、同区間)の読込み(配信)状況から、以降のコンテンツ片の必要数を予測する。
例えば、各ユーザによるコンテンツ視聴状況が図6のような場合、四角枠で囲まれた過去の視聴データから、ある区間にて各コンテンツ片を幾つ用意しておくべきかを予想し、その数に見合う複製数を作成しておく。この例の場合、t6〜tN間においては、各コンテンツ片1〜8について、ユーザが同時に視聴している数は「1」「1」「1」「1」「2」「2」「2」「2」であるので、オリジナルを含めた複製数をそれぞれ「1」「1」「1」「1」「2」「2」「2」「2」個作成すれば、1台のファイルサーバに読込みが輻輳することは無い。
コンテンツを所定区間毎に断片化することで、同じコンテンツであっても所定区間のコンテンツ片15毎にアクセス頻度を解析し複製数を制御するため、効率的にディスクを活用することができる。
コンテンツを所定区間毎に断片化することで、同じコンテンツであっても所定区間のコンテンツ片15毎にアクセス頻度を解析し複製数を制御するため、効率的にディスクを活用することができる。
また、コンテンツ複製制御サーバ60は、予め断片化されたコンテンツ片15の複製数を制御するだけでなく、シーン毎の視聴者数の偏りに合わせてコンテンツを断片化(任意区間における断片化)し、断片化した複製数を制御する機能を備えるようにしてもよい。
この場合、最初は断片化されていないコンテンツについて、複製数を制御するタイミングでコンテンツ複製制御サーバ60のコンテンツ断片処理部62が断片化(複製数制御)する処理や、コンテンツ複製制御サーバ60のコンテンツ断片処理部62が、一旦断片化され保管されているコンテンツ片15を再結合し、シーン毎の視聴者数の偏りに合わせて再断片化して複製数を制御する、といった処理が行われる。
この場合、最初は断片化されていないコンテンツについて、複製数を制御するタイミングでコンテンツ複製制御サーバ60のコンテンツ断片処理部62が断片化(複製数制御)する処理や、コンテンツ複製制御サーバ60のコンテンツ断片処理部62が、一旦断片化され保管されているコンテンツ片15を再結合し、シーン毎の視聴者数の偏りに合わせて再断片化して複製数を制御する、といった処理が行われる。
すなわち、図7に示すように、録画完了直後に例えば2時間番組のコンテンツについて複製数を制御するタイミングでシーン毎の任意区間の8個のコンテンツ片1〜8に分割(任意区間における断片化)する。シーン毎の区切は、例えば、録画完了直後において、コンテンツの各部に対するアクセス頻度から断片化する区間が決められる。
録画完了直後から、各コンテンツ片の読込み(配信)状況を記録しておく(日付、曜日、時刻におけるアクセスモデルデータとして記録しておく)。複製数制御日時になった際、過去(同日付、同曜日、同区間)の読込み(配信)状況から、以降のコンテンツ片の必要数を予測する。
録画完了直後から、各コンテンツ片の読込み(配信)状況を記録しておく(日付、曜日、時刻におけるアクセスモデルデータとして記録しておく)。複製数制御日時になった際、過去(同日付、同曜日、同区間)の読込み(配信)状況から、以降のコンテンツ片の必要数を予測する。
例えば、各ユーザによるコンテンツ視聴状況が図7のような場合、四角枠で囲まれた過去の視聴データから、ある区間にてどのシーン(任意区間に断片化されたコンテンツ片)が幾つのユーザから視聴されているかを検出し、視聴ユーザの数に見合う複製を作成しておく。この例の場合、t6〜tN間においては、各コンテンツ片1〜8について、ユーザが同時に視聴している数は「1」「1」「1」「2」「2」「1」「2」「3」であるので、オリジナルを含めた複製数をそれぞれ「1」「1」「1」「2」「2」「1」「2」「3」個作成すれば、1台のファイルサーバに読込みが輻輳することは無い。
コンテンツを任意区間毎に断片化することで、同じコンテンツであってもシーン(コンテンツ片15)ごとにアクセス頻度を解析し複製数を制御するため、より効率的にディスクを活用することができる。
コンテンツを任意区間毎に断片化することで、同じコンテンツであってもシーン(コンテンツ片15)ごとにアクセス頻度を解析し複製数を制御するため、より効率的にディスクを活用することができる。
上述したコンテンツ分散管理システムによれば、コンテンツアクセス頻度解析サーバ50から提供されるコンテンツのアクセス頻度情報に応じたファイルサーバ22を跨ぐ複製数を保つ。すなわち、アクセス頻度の高いコンテンツはより多くの複製を保持することにより、一つのコンテンツに集中するアクセス負荷を分散し性能低下のリスクを回避できる。
また、アクセス頻度値が少ないコンテンツの複製数を減らすことにより、分散ファイルシステム20において効率的にディスクを利用できる。
また、アクセス頻度値が少ないコンテンツの複製数を減らすことにより、分散ファイルシステム20において効率的にディスクを利用できる。
10…コンテンツ取得サーバ、 11…外部ストレージ、 15…コンテンツ片 20…分散ファイルシステム、 21…分散ファイルシステムクライアント、 22…メタデータサーバ、 23…ファイルサーバ、 30…コンテンツ配信サーバ、 40…ユーザ端末、 50…コンテンツアクセス頻度解析サーバ、 51…録画予約情報受信部、 52…アクセス情報受信部、 53…アクセス頻度解析部、 54…アクセス頻度情報発行部、 60…コンテンツ複製制御サーバ、 61…アクセス頻度情報受信部、 62…コンテンツ断片処理部、 63…複製制御指示発行部。
Claims (12)
- 物理的に分散した複数のストレージから構成される分散ファイルシステムと、
外部から取得されたコンテンツを前記分散ファイルシステムに書き込むコンテンツ取得サーバと、
前記分散ファイルシステムにおける前記コンテンツそれぞれに対するアクセス頻度を測定するコンテンツアクセス頻度解析サーバと、
前記分散ファイルシステムにおける前記コンテンツの複製数を制御するコンテンツ複製制御サーバを具備し、
前記コンテンツ複製制御サーバは、前記アクセス頻度解析サーバによって解析されたアクセス頻度に基づいて、コンテンツの複製数を決定する
ことを特徴としたコンテンツ分散管理システム。 - 前記コンテンツ複製制御サーバは、前記コンテンツを断片化して複数のコンテンツ片を作成する一方、前記コンテンツ片毎に複製数を決定し、
前記コンテンツアクセス頻度解析サーバは、前記コンテンツ片毎にアクセス頻度を測定する請求項1に記載のコンテンツ分散管理システム。 - 前記アクセス頻度解析サーバは、あるコンテンツにおける任意の区間それぞれに対するアクセス頻度を測定する手段を具備し、
前記コンテンツ複製制御サーバは、あるコンテンツを前記任意の区間に断片化する手段を具備し、
前記アクセス頻度解析サーバによって解析された区間ごとのアクセス頻度に基づいて、コンテンツ片の複製数を決定する請求項2に記載のコンテンツ分散管理システム。 - コンテンツ複製制御サーバにおけるコンテンツの複製数の決定は、過去所定時間内でのコンテンツのアクセス回数から先のアクセス頻度を予測して行う請求項1に記載のコンテンツ分散管理システム。
- コンテンツ複製制御サーバにおけるコンテンツの複製数の決定は、過去所定時間内での断片化されたコンテンツのアクセス回数から先のアクセス頻度を予測して行う請求項2又は請求項3に記載のコンテンツ分散管理システム。
- コンテンツ複製制御サーバにおけるコンテンツの複製数の決定は、ユーザから事前に格納要求された数から先のアクセス頻度を予測して行う請求項1に記載のコンテンツ分散管理システム。
- コンテンツ複製制御サーバにおけるコンテンツの複製数の決定は、コンテンツが取得されてからの経過時間から先のアクセス頻度を予測して減じる請求項1に記載のコンテンツ分散管理システム。
- コンテンツ複製制御サーバにおけるコンテンツの複製数の決定は、コンテンツへの最終アクセスからの経過時間情報から先のアクセス頻度を予測して減じる請求項1に記載のコンテンツ分散管理システム。
- コンテンツアクセス頻度解析サーバから渡されるコンテンツ又はコンテンツ片のアクセス頻度を示す値から、該当コンテンツの複製数を減少させる請求項1ないし請求項3のいずれか1項に記載のコンテンツ分散管理システム。
- 前記コンテンツ取得サーバは、ネットワークによって接続されたユーザ端末からの格納要求に従ってコンテンツを書き込む請求項1ないし請求項9のいずれか1項に記載のコンテンツ分散管理システム。
- 前記分散ファイルシステムを構成する複数のストレージは、ネットワークによって接続される請求項1ないし請求項10のいずれか1項に記載のコンテンツ分散管理システム。
- 前記コンテンツ取得サーバは、放送またはネットワークを経由した別のサーバからコンテンツを取得する請求項1ないし請求項11のいずれか1項に記載のコンテンツ分散管理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011067339A JP2012203629A (ja) | 2011-03-25 | 2011-03-25 | コンテンツ分散管理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011067339A JP2012203629A (ja) | 2011-03-25 | 2011-03-25 | コンテンツ分散管理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012203629A true JP2012203629A (ja) | 2012-10-22 |
Family
ID=47184582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011067339A Pending JP2012203629A (ja) | 2011-03-25 | 2011-03-25 | コンテンツ分散管理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012203629A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015095246A (ja) * | 2013-11-14 | 2015-05-18 | 日本電信電話株式会社 | 情報処理システム、管理装置、サーバ装置及びキー割当プログラム |
JP2016539520A (ja) * | 2013-09-23 | 2016-12-15 | ヴィジブル ワールド インコーポレイテッド | キャッシュベースのコンテンツ配信のためのシステム及び方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0728677A (ja) * | 1993-07-09 | 1995-01-31 | Hitachi Ltd | 記憶装置のファイル管理方式 |
JP2005031987A (ja) * | 2003-07-14 | 2005-02-03 | Nec Corp | コンテンツ配信システムにおけるコンテンツ配置管理システム及びコンテンツ配置管理プログラム |
WO2009088007A1 (ja) * | 2008-01-11 | 2009-07-16 | Nec Corporation | コンテンツ管理装置、コンテンツ管理システム、コンテンツ管理方法およびプログラム |
-
2011
- 2011-03-25 JP JP2011067339A patent/JP2012203629A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0728677A (ja) * | 1993-07-09 | 1995-01-31 | Hitachi Ltd | 記憶装置のファイル管理方式 |
JP2005031987A (ja) * | 2003-07-14 | 2005-02-03 | Nec Corp | コンテンツ配信システムにおけるコンテンツ配置管理システム及びコンテンツ配置管理プログラム |
WO2009088007A1 (ja) * | 2008-01-11 | 2009-07-16 | Nec Corporation | コンテンツ管理装置、コンテンツ管理システム、コンテンツ管理方法およびプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016539520A (ja) * | 2013-09-23 | 2016-12-15 | ヴィジブル ワールド インコーポレイテッド | キャッシュベースのコンテンツ配信のためのシステム及び方法 |
US11870839B2 (en) | 2013-09-23 | 2024-01-09 | Freewheel Media, Inc. | Systems and methods for cache-based content delivery |
JP2015095246A (ja) * | 2013-11-14 | 2015-05-18 | 日本電信電話株式会社 | 情報処理システム、管理装置、サーバ装置及びキー割当プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2359536B1 (en) | Adaptive network content delivery system | |
US8745262B2 (en) | Adaptive network content delivery system | |
US8145782B2 (en) | Dynamic chunking for media streaming | |
WO2019134470A1 (zh) | 视频直播方法及装置 | |
CN101242430B (zh) | 对等网络点播系统中的定点数据预取方法 | |
EP2890075B1 (en) | A method and a system for smooth streaming of media content in a distributed content delivery network | |
US11490131B2 (en) | Storage system | |
CN103200204A (zh) | 基于云存储的分布式转码系统及其方法 | |
AU2013240578B2 (en) | Dynamic audio track selection for media streaming | |
US20120303766A1 (en) | Dynamic audio track selection for media streaming | |
US9185450B2 (en) | Managing common content on a distributed storage system | |
EP3103264B1 (en) | Methods and apparatus for naming video content chunks | |
JP5699619B2 (ja) | キャッシュ装置、データ管理方法、プログラム、及びキャッシュシステム | |
US20220279235A1 (en) | Caching recorded content segments on playback | |
JP5593732B2 (ja) | 分散型コンテンツ配信システム及び方法、並びに、配信サーバ決定装置及び方法 | |
JP2012203629A (ja) | コンテンツ分散管理システム | |
WO2009088007A1 (ja) | コンテンツ管理装置、コンテンツ管理システム、コンテンツ管理方法およびプログラム | |
CN105898530A (zh) | 视频文件的缓存方法和系统 | |
WO2011137681A1 (zh) | Iptv系统中时移分片文件的归档及节目播放方法和设备 | |
JP2012190377A (ja) | コンテンツ分散保管システム | |
CN103581243B (zh) | 一种海量流媒体存储的系统和方法 | |
WO2016155256A1 (zh) | 一种节目录制控制方法、系统以及管理、热度统计服务器 | |
CA3124540A1 (en) | Systems and methods for storing and delivering content assets | |
Qiang et al. | A Hyper-converged video management system based on object storage | |
US20190132632A1 (en) | Cloud DVR Storage Reduction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130823 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140312 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140402 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140723 |