JP2007041899A - コンテンツの配信装置，コンテンツ配信ネットワークおよびコンテンツ配信方法 - Google Patents

Abstract

【課題】ネットワークの輻輳を引き起こさないようにコンテンツファイルの配信順序を最適に制御し，コンテンツファイルを配信期日までに効率的に配信する。
【解決手段】配信装置１は，コンテンツを蓄積するデータサーバ１５と，データサーバ１５からロードしたデータを蓄積して複数の配信先装置３にデータを送信する送信装置１７と，配信のスケジューリングを行う配信スケジューラ１４とを備える。配信スケジューラ１４は，少なくとも，ネットワーク内の各伝送路においてコンテンツの転送で流れるデータのサイズ，もしくはネットワーク内の各伝送路における実測されたスループット，またはそれらの双方の情報に基づき，送信装置１７を用いて配信先装置３に配信するデータを選択する手段を備える。
【選択図】図１

Description

本発明は，コンテンツ配信技術に関し，特に，例えばデジタルシネマ等で用いられる大容量マルチメディアコンテンツファイルを，複数の配信先に配信期日に間に合うように配信するコンテンツの配信装置に関するものである。

複数の配信先に対して同一コンテンツを効率的に配信する方法として，マルチキャスト技術がある。

マルチキャスト技術の１つであるＩＰマルチキャストでは，ルーターでＩＰパケットを複製し，複数の受信端末があらかじめ定められたＩＰアドレス宛のパケットを同時に受け取ることにより，１種類のデータを多数の配信先に効率的に伝送することができる。［非特許文献１］および［非特許文献２］は，ＩＰマルチキャスト技術およびマルチキャストの設定プロトコルに関して概説している。

一方，ＩＰマルチキャストでは，従来のユニキャスト通信で利用されてきたＴＣＰのような高信頼伝送プロトコルをそのまま利用することができないため，信頼性の高い通信を実現するには，上位レイヤで再送や誤り訂正を含む新たな伝送プロトコルを実装する必要がある。［非特許文献３］は，マルチキャストネットワーク上で信頼性の高いデータ配信を実現するためのプロトコルを概説しており，また，［非特許文献４］は，ＴＣＰをマルチキャスト用に拡張する技術を説明している。

ＩＰマルチキャストでは，配信先以外の受信端末も自由にパケットを受信できるため，特定の配信先のみがデータを受信できるようにするには，データの暗号化とデータを受信する権利を有するユーザーへの暗号鍵の配信，暗号鍵の更新，ユーザーおよびデータの認証処理，といったセキュリティ面での対応が必須である。［非特許文献５］は，マルチキャストにおけるセキュリティ，特に，データの暗号鍵の管理方法に関する技術が概説されている。

以上述べたように，ＩＰマルチキャストは，マルチキャストを実現する最も効率的な方法の一つであるが，信頼性，セキュリティといった面で問題があり，さらに，ルーターへのマルチキャスト機能の実装と，マルチキャスト設定と管理の難しさから，コンテンツ配信用として，まだ広く用いられるに至っていない。

マルチキャストを実現するもう一つの方法として，アプリケーションレベルでマルチキャストを実現する方法がある。アプリケーションレベルのマルチキャストでは，通常，各配信先にデータのキャッシングとコピー，再配信を行う機能を持たせ，配信先を中継ノードとして機能させることにより，配信ツリーを構成する。配信ツリーおよび配信先を管理するために，配信経路と配信先情報の管理を行う必要があるが，この方法には，あらかじめ用意された１つあるいは複数のディレクトリサーバにおいて情報を集中管理する方法や，階層処理や分散処理を利用する方法など，種々の方法が提案されている。また，管理情報をやりとりするため，データ用の配信ネットワークの他に制御用ネットワークを別に構築するのが一般的である。［非特許文献６］および「非特許文献７」は，アプリケーションレベルのマルチキャスト技術を概説している。

アプリケーションレベルのマルチキャストでは，ユニキャスト通信と比較して，配信センターからのデータ送信帯域は大きく削減できる一方，配信先の接続される加入者系のネットワーク負荷が増大する，また，配信経路が冗長となり配信遅延が増大するという問題がある。特に，デジタルシネマのように，コンテンツのファイルサイズが非常に大きい場合，加入者系ネットワークを通して配信先から複数の配信先にデータファイルを再配信するのは困難である。

アプリケーションレベルのマルチキャストを実現する方法の一つとして，データのキャッシングを行うミラーサーバ間でマルチキャスト配信ネットワークを構成する方法がある。［非特許文献８］はその一例を示している。また，同文献では，アプリケーションレベルのマルチキャストで問題となる配信遅延の増加を解決する技術として，ファイル全体を受信するのを待たずに，次のリーフノードにデータを転送するオンザフライ転送方式を提案している。同文献の方法は，専用のサーバにより配信ネットワークを構成するため，安定性や配信スケジュールの最適化といった面でメリットがあるが，ネットワーク内に複数のミラーサーバを維持，管理する必要がある。また，オンザフライ転送方式は，転送中のデータを他のミラーサーバにさらに転送するため，転送途中でサーバのダウンや回線の切断等が生じた場合，リカバリ処理が複雑になるという欠点がある。

以上，述べたマルチキャスト技術の多くは，数千から数万といった不特定多数の受信端末にデータを配信することを対象としており，デジタルシネマのデータ配信のように比較的少数の固定された配信先に決まったスケジュールでデータを配信する場合には必ずしも最適であるとはいえない。また，ルーターや配信先のアプリケーションプログラム等にマルチキャスト用の機能の実装と設定処理が必要であり，配信ネットワーク内に設けられたミラーサーバ等の維持，管理を行う必要もある。

さらに，一般のマルチキャスト技術では，配信サーバが接続されるネットワークの伝送帯域が限られていると想定しているが，［非特許文献９］に示されるように，光多重技術の進歩によりバックボーンネットワークは広帯域化されるため，バックボーンネットワークに配信センターが接続される場合には，必ずしも配信センター側の伝送路の伝送帯域がボトルネックになるとは限らない。

一方，デジタルシネマ等のコンテンツ配信においては，上映期日に間に合うようにコンテンツを配信し終えることが必要である。このため，コンテンツは，配信期日を考慮して最適な順序で送信される必要がある。［非特許文献１０］は，映像のリアルタイム伝送におけるデータ転送スケジューリング手法として Deadline Credit Algorithm（ＤＣ）を提案している。ＤＣは，複数の映像ストリームを配信する際，各ストリームの配信遅延と廃棄率にもとづいてプライオリティを付与することにより，各データストリームの遅延量と廃棄率が同じ値になるように制御するものである。

また，［非特許文献１１］は，ネットワーク内に配置されたミラーサーバに衛星通信を利用してコンテンツを配信する際に，ユーザーの要求するコンテンツを最適なタイミングで送信するスケジューリング技術に関して述べている。しかし，複数のコンテンツを伝送帯域の異なる複数の伝送路によって構成された配信ネットワークを介して転送するコンテンツ配信装置において，ネットワークの輻輳を引き起こすことなく，できるだけ効率的かつ期日に間に合うように配信順序をスケジューリングする方法に関しては，最適な技術は知られていない。
"Internetworking Technology Handbook Chapter43: Internet Protocol Multicast"，CISCO SYSTEMS Internetworking Handbook. （http://www.cisco.com/univercd/cc/td/doc/cisintwk/ito＿doc/ipmulti.htm#xtocidl） MARIA RAMALHO ，"INTRA- AND INTER-DOMAIN MULTICAST ROUTING PROTOCOLS: A SURVEY AND TAXONOMY"，IEEE Communications Surveys & Tutorials First Quarter 2000，vol.3 no.1. （http://www.comsoc.org/livepubs/surveys/public/1q00issue/ramalho.html） Brian Neil Levine ，J.J. Garcia-Luna-Aceves ，"A comparison of reliable multicast protocols"，Multimedia Systems 6: pp.334-348(1998). Sam Liang ，David Cheriton，"TCP-SMO: Extending TCP to Support Medium-Scale Multicast Applications "，IEEE Infocom，June 2002. （http://www-dsg.stanford.edu/papers/tcp-rtm/tcp-smo-liang-infocom02.pdf） Paul Judge and Mostafa Ammar，"Security Issues and Solutions in Multicast Content Distribution: A Survey "，IEEE Network January/February 2003. （http://www.cs.virginia.edu/〜jaz2n/papers/mcastsurvey.pdf） Fereydoun Hormozdiari ，"A Survey on Application Layer Video Multicasting"，CMPT 880 Selected Topics on Multimedia and Networking ，Spring 2005. （http://www.cs.sfu.ca/〜jcliu/cmpt880/Report/ALM＿Revised.pdf） Zhi Li and Yongjoo Shin ，"Survey of Overlay Multicast Technology"，2nd June 2002. （http://networks.cs.ucdavis.edu/〜lizhi/papers/ECS289.pdf） 秋葉淳哉，阿部裕文，"スケーラブルコンテンツ配信技術"，ＮＴＴ技術ジャーナル pp.16-20，2003.8. 村田正幸，北山研一，宮原秀夫，"１０００波長ＷＤＭによるインターネットのボトルネック解消の可能性，"電子情報通信学会技術研究報告（PNI2000-6) ，May2000. Adamantia Alexandraki ，Michael Paterakis ，"Performance Evaluation of the Deadline Credit Scheduling Algorithm for Soft-Real-Time Applications in Distributed Video-on-Demand Systems ".Cluster Computing Journal Volume 8 Number1 p.61-75 ，January 2005. Reuven Cohen，Liran Katzir and Danny Raz，"Scheduling Algorithms for a Cache Pre-Filling Content Distribution Network"，Infocom'2002，New-York，June 2002.

上述のように，従来のマルチキャスト技術は，デジタルシネマ配信のように，複数の異なったコンテンツを，異なったスケジュールで，複数の配信先に高い信頼性を持って配信する場合には不向きであるという問題があった。

本発明は，上記従来技術の問題点を解決し，大容量のコンテンツファイルを複数の配信先へユニキャスト通信により配信するコンテンツ配信ネットワークにおいて，コンテンツファイルを配信期日までに高い信頼性を保ちながら高速に配信すること，またその配信のときにネットワークの輻輳を引き起こさないようにコンテンツファイルの配信順序を最適に制御することを目的とする。

本発明は，上記課題を解決するため，ユニキャスト通信を複数同時に行い，かつ各ユニキャスト通信のスケジューリングを行うことを特徴とする。さらに，データの配信期日の他に，ネットワーク内の伝送帯域および使用帯域を考慮して，データの配信順序を決定することを特徴とする。

具体的には，本発明は，コンテンツを送信する配信装置と，コンテンツを受信する複数の配信先装置と，それらを接続するネットワークとで構成されるコンテンツ配信ネットワークにおいて，前記配信装置は，コンテンツを蓄積するデータサーバと，前記データサーバからロードしたデータを蓄積して複数の配信先装置にデータを送信する送信装置と，配信期日に従って配信のスケジューリングを行う配信スケジューラによって構成され，前記配信スケジューラは，少なくとも，各配信先装置に送信するデータのサイズ，もしくは送信装置において実測されたスループット，またはそれらの双方の情報と，配信経路情報とに基づき，前記送信装置を用いて前記配信先装置に配信するデータを選択する手段を備える。

または，前記配信スケジューラは，少なくとも，各配信先装置に送信するデータのサイズ，もしくは送信装置において実測されたスループット，またはそれらの双方の情報と，配信経路情報とに基づき，前記送信装置にロードするデータのロード順序および前記送信装置から送信するデータの送信順序を制御する手段を備える。

特に，配信スケジューラは，第１のスケジューリング手段と第２のスケジューリング手段との，２段階のスケジューリング手段を備える構成にすることができる。前記第１のスケジューリング手段は，前記送信装置へのロード済みデータによるネットワーク負荷の増加量と未ロードデータによるネットワーク負荷の減少量との差分を評価することで，配信対象データを前記送信装置にロードした場合に生ずるネットワーク負荷の低減効果を評価し，その評価結果に従って前記送信装置にロードするデータを選択し，前記第２のスケジューリング手段は，前記送信装置へのロード済み未送信データのうち，前記配信先装置に対する伝送路使用率に余裕があり，前記ロード済み未送信データに対して評価されるネットワーク負荷の低減効果の最も大きなデータを，送信対象データとして選択する。

以上のように配信スケジューラを構成し，送信装置にロードするデータの選択において，各配信先装置に送信するデータサイズを用いた，より時間スケールの長い評価尺度によるスケジューリングを行い，送信装置からから送信するデータの選択において，送信装置から実測されたスループットを用いた，より時間スケールの短いネットワークの負荷変動を重視したスケジューリングを行うことにより，配信するデータのスケジューリングをより最適化することが可能である。

また，前記データサーバは，コンテンツのファイルサイズが前記送信装置のメモリ容量を超えている場合に，そのコンテンツのデータファイルを前記送信装置のメモリサイズ以下に分割し，分割された各データファイルに，前記配信先装置においてそれらを再結合するための情報を付加する手段を備える。これにより，送信装置のメモリ容量を超える大きさを持つコンテンツのファイルは，データサーバによって分割される。このため，送信装置のメモリ容量を超えたサイズのファイルも送信することが可能である。

また，前記配信スケジューラは，同じデータファイルに複数の配信期日がある場合に，１つのデータファイルを複数の配信スケジュールで送信するため，同じデータファイルに配信期日に応じて定めた複数のデータＩＤを付加する手段を備える。これにより，データＩＤごとにスケジュールを管理し，同じコンテンツを複数の配信先に異なったスケジュールで配信する制御を簡易化することができる。

また，前記配信スケジューラは，前記送信装置においてデータファイルの送信中にデータパケットの廃棄率もしくは遅延量をモニタすることにより，ネットワークで発生した輻輳を検出し，さらに，配信経路情報を利用することにより輻輳の発生している伝送路を特定し，その伝送路のコンテンツ配信に利用する伝送帯域を低く設定することにより輻輳を回避するようデータ送信のスケジューリングを行う手段を備える。これにより，使用率の高い伝送路を避ける信頼性の高いデータの配信制御が可能になる。

また，前記配信スケジューラは，前記送信装置によるデータファイルの送信中にネットワークの切断が検出された場合に，配信経路情報を利用することにより切断された伝送路を検出し，当伝送路を配信経路に含む配信先装置に対するデータ転送を，配信すべきデータのデータ管理情報から一時的に削除する手段を備える。これにより，切断されたと考えられる伝送路に関しては，再びその伝送路が使用可能となったことが検出できるまで，その伝送路を配信経路に含む配信先を配信対象から一時的に外し，無駄な配信スケジュールを回避することができる。

また，前記配信スケジューラは，ネットワークにおいて配信先装置への配信経路が複数ある場合に，複数の配信経路のうち伝送路使用率の最も低い経路を選択する手段を備える。これにより，複数の配信経路において最適な配信経路を用いた配信が可能になる。

本発明は，配信期日に間に合うようにネットワークを介して効率的にデータを配信することができ，配信期日が重要なコンテンツを高い信頼性で配信することができるという効果を奏する。

特に，本発明は，送信装置へのデータのロード順序のスケジューリングと，送信装置からのデータの送信順序のスケジューリングという，時間スケールの長短に応じた評価尺度による２段階の配信スケジューリングを用いることにより，配信するデータのスケジューリングを最適化することが可能になる。

すなわち，本発明は，配信センターに設置される配信装置においてデータサーバから送信装置のメモリにロードしたデータを複数の配信先装置に転送することができるため，データサーバが保持するコンテンツの蓄積装置に対する入出力負荷を低減することが可能で，さらに，メモリ間でデータ転送を行うため，磁気ディスク等の蓄積装置の入出力速度が伝送速度を制約することがない。また，配信スケジューラによって，ネットワーク内の各伝送路においてコンテンツの転送で流れるデータのサイズに基づき，配信先装置に配信するデータを選択し，使用率の高い伝送路を避けるようデータの配信先を制御することができるため，配信経路において輻輳を引き起こす可能性を減少させることができる。また，配信スケジューラによって，ネットワーク内の各伝送路における実測されたスループットに基づき，配信先装置に配信するデータを選択することにより，ネットワークに障害があった場合や，伝送路において誤り率が大きくなった場合にも信頼性の高いデータ配信を実現することが可能である。

本発明の実施の形態によるコンテンツ配信ネットワークは，コンテンツを送信する配信装置と，コンテンツを受信する複数の配信先装置（以下，単に「配信先」ともいう），それらを接続するネットワークで構成され，配信装置には，データファイルを蓄積装置から送信装置にロードするためのデータサーバと，ロードされたデータファイルを並列にネットワークに送信するための複数の送信装置と，データファイルのロードと送信順序を最適化するための配信スケジューラが設けられる。また，配信先には，ネットワークからデータを受信するための受信装置と，受信装置から蓄積装置にデータをセーブするための受信側データサーバが設けられる。

データファイルの配信順序を最適化するため，配信スケジューラには，配信経路情報，伝送帯域情報，データ管理情報を保持する手段が設けられる。配信経路情報は，全配信先の一覧と，各配信先への配信経路の情報によって構成され，伝送帯域情報は，ネットワーク内の全伝送路の一覧と，各伝送路の伝送帯域の情報によって構成され，データ管理情報は，データファイルとその配信先の組み合わせの一覧と，各項目に対するファイルサイズ，配信期日，および，ファイルが送信装置にロードされているか，未送信であるかを判別するための配信ステータス情報によって構成される。

コンテンツファイルの配信を並列化し，信頼性のあるデータ転送を実現するため，配信装置のデータサーバには，コンテンツファイルを一定サイズ以下の複数のデータファイルに分割する手段が，前記受信データサーバには，分割されたデータファイルを再度結合し，もとのコンテンツファイルを復元する手段が，また，送信装置と受信装置には，分割されたデータファイルをユニキャスト通信により送受信する手段が設けられる。また，データ転送を高速化するため，送信装置および受信装置には，複数個のデータファイルを保持することが可能なメモリが設けられ，さらに，蓄積装置と送信装置，受信装置の間のデータファイルの転送処理を送受信処理と並列に実行する手段が設けられる。データ送信の並列度をさらに高めるため，送信装置には１つの送信装置において複数のデータファイルの転送を並列に実行する手段が設けられる。

また，送信装置には，送信中のデータファイルの伝送スループットを実測する手段が設けられ，配信スケジューラには，各送信装置から報告された伝送スループットから，各送信装置の送信先の配信経路にあるすべての伝送路に対してそこを流れているデータ帯域を算出し，さらにその値を各伝送路の伝送帯域で割ることにより各伝送路の伝送路使用率を算出し，その値を伝送帯域情報に登録する手段と，各配信先の配信経路に含まれる伝送路の使用率の最大値等を算出することにより，各配信先に対する伝送路使用率を算出し，その値を配信経路情報に登録する手段が設けられる。伝送路使用率を算出することにより，データ転送により負荷のかかっている伝送路，および，その伝送路を配信経路に含む配信先を求めることが可能となり，使用率の高い伝送路を使用しないように配信スケジュールを最適化することができる。

データファイルを送信することによって発生するネットワーク負荷の大きさを算出するため，配信スケジューラには，データ管理情報の中から選択された複数の登録項目に関して，各登録項目の配信先への配信経路にあるすべての伝送路に対してデータファイルのサイズを累積することにより，選択された全登録項目の配信を終えるまでに各伝送路に流れる総データ量を算出する手段と，さらにその値を各伝送路の伝送帯域で割ることにより各伝送路への負荷を算出し，ネットワーク内の全伝送路に対する負荷の最大値等を評価することによりネットワーク全体の負荷を算出する手段と，各配信先の配信経路に含まれる伝送路負荷の最大値等を評価することにより各配信先に対するネットワーク負荷を算出する手段が設けられる。算出される負荷は，データファイルの送信をすべて終了するのに要する時間に相当するため，各伝送路および配信先へのネットワーク負荷を利用することにより，選択されたデータファイルを送信終えるのに必要な配信時間を最小化するように配信順序をスケジューリングすることが可能となる。

データ管理情報の登録項目および送信装置にロードされたデータファイルを管理するため，配信スケジューラには，送信装置においてデータファイルの転送が終了した時，その送信装置で送信中となっていた登録項目をデータ管理情報から削除し，さらに，すべての配信先に対して同データファイルの送信を終了している場合には，送信装置のメモリから同データファイルを削除する手段が設けられる。

また，新たに送信するデータファイルおよび配信先を選択するため，配信スケジューラには，データ管理情報内から配信ステータスがロード済みとなっている全登録項目を選択し，選択された項目に対してネットワーク負荷の算出機能により各配信先に対するネットワーク負荷を算出し，送信装置にロードされている全登録項目の中で，配信期日が早く，配信先への伝送路使用率が低く，かつ配信先に対するネットワーク負荷の大きな登録項目を新たなデータ転送の対象として選択する機能を有する手段が設けられる。本手段により，伝送路使用率が低い配信先が優先して選択されるため，ネットワークに輻輳を引き起こすことが少ない。さらに，ネットワーク負荷の大きな配信先，つまり，最も送信に時間がかかる配信先に対するデータ伝送が優先されるため，結果としてデータファイルを配信し終えるのに必要な時間を短縮することができる。

さらに，配信スケジューラには，送信装置のメモリ（データファイルバッファ）に新しいデータファイルをロードする空きが生じた時，まず，ネットワーク負荷の算出機能により，ロード済みとなっている全データファイルに対するネットワーク負荷と未ロードとなっている全データファイルに対するネットワーク負荷を算出し，さらに，未ロードとなっている各データファイルに対して，同データファイルを送信装置にロードしたと仮定した場合に発生するロード済みデータファイルに対するネットワーク負荷の増加量と未ロードのデータファイルに対するネットワーク負荷の減少量を算出する手段と，未ロードとなっている全データファイルの中から，配信期日が早く，さらに，ロード済みデータファイルに対するネットワーク負荷の増加量が小さく，未ロードのデータファイルに対するネットワーク負荷の減少量が大きなデータファイルをロード対象として選択する機能を有する手段が設けられる。本手段により，配信期日が早く，さらに，ネットワーク負荷のかからない配信先を有するデータファイルを送信装置にロードすることができる。

本発明によるコンテンツ配信ネットワークにおけるネットワークは，ＩＰネットワークおよびＴＣＰプロトコルを利用することにより実現可能である。

また，データ配信の並列度とスケジューリングを行う時間単位を適切な大きさとするため，分割するデータのサイズを１００Ｍバイトから１Ｇバイトの大きさで設定する手段が設けられる。

また，同じコンテンツを複数の配信先に異なったスケジュールで配信するため，データサーバには，分割されたデータファイルに対し配信期日の異なる複数のデータＩＤを付加する手段が設けられる。

さらに，ネットワークにおける輻輳を検出するため，送信装置においてデータ送信の際にデータパケットの廃棄率や遅延量をモニタすることにより，ネットワーク内の輻輳を検出する手段が，さらに，複数の配信先に対して輻輳が検出された場合には，配信先への伝送帯域情報を利用することにより輻輳の発生している伝送路を特定する手段が，また，輻輳の起きた伝送路の伝送路帯域を低く設定することにより，輻輳の起きた伝送路を用いたデータファイルの送信を避けるように配信順序をスケジューリングする手段が設けられ，さらに，配信装置の管理者に対し，輻輳の発生情報を通知する手段が設けられる。本手段により，輻輳を発生した伝送路を避けるように配信順序がスケジューリングされ，また，管理者が輻輳に対する対策を施すことが可能となる。

また，配信先に対する接続性の検証を行うため，各配信先に対して応答パケットの返送を要求するステータスパケットを送信する手段と，配信先から応答パケットが戻ってこない場合には，データ管理情報に登録されているその配信先あての全項目の配信ステータスを配信中止とし，その配信先を一時的に配信対象から外す手段と，配信装置の管理者に対して警告を発する手段が設けられる。

また，配信スケジューラは，各コンテンツの配信期日までの配信の可能性を検証するため，データ管理情報に新たな項目が登録されず，かつ，データ送信の際に輻輳等が生じないという仮定のもとで，データファイル転送の数値シミュレーションを行う手段が設けられ，また，各データファイルの終了日時が同ファイルに設定された配信期日を超えた場合には，期日までの配信が不可能であることを配信装置の管理者に通知する警告を発する手段が設けられる。

配信装置が複数のネットワークに接続される場合に対応するため，配信スケジューラには，配信装置を接続されたネットワークごとにグループに分け，ネットワークごとに配信経路情報，伝送帯域情報，データ管理情報を保持する手段が設けられ，さらに，配信装置へのデータのロードおよび送信データの選択を，複数ネットワークに対して最適化する手段が設けられる。

ネットワークにおいて配信先への配信経路が複数存在する場合に対応するため，１つの配信先に対し配信経路情報に配信経路の異なる複数の項目を登録する手段と，新たな送信データファイルを選択する時，複数の配信経路のうち伝送路使用率の最も低い経路を選択する手段と，新たに送信装置にロードするファイルを選択する時，ネットワーク負荷の大きさが小さくなる配信経路を選択する手段が設けられる。

さらに，信頼性のより高いデータ転送を行うため，データサーバにおいてコンテンツファイルを分割する際，分割されたファイルに誤り検出，訂正コードを付加する手段と，受信装置において誤りの検出および訂正処理を行う手段と，その結果を送信装置に通知する手段が設けられ，さらに，誤りが通知された場合にはデータ管理情報の配信ステータスの更新を行わないことにより，再度データファイルを送信対象とする手段が設けられる。

図１は，本発明の実施例に係るコンテンツ配信ネットワークの全体構成を示している。コンテンツ配信ネットワークは，配信センターに設置される配信装置１，ネットワーク２，複数の配信先装置３によって構成され，配信装置１は，配信スケジューラ１４，データサーバ１５，蓄積装置１６，複数の送信装置１７によって構成される。

磁気ディスク等の蓄積装置１６に蓄積されているコンテンツのデータファイルは，データサーバ１５により蓄積装置１６から送信装置１７にロードされ，送信装置１７はロードされたデータファイルを，ネットワーク２を介して配信先装置３に送信する。ここで，送信装置１７から配信先装置３へのデータファイルの伝送は，１対１のユニキャスト通信により行われる。また，配信スケジューラ１４は，記憶装置に格納される配信経路情報１１，伝送帯域情報１２，データ管理情報１３によりデータファイルの送信装置１７へのロード順序，および，送信装置１７からネットワーク２への送信順序を制御する。

図２は，送信装置の構成例を示している。図２の構成例において，送信装置１７は，データサーバ１５からのデータファイルの受信用，ネットワークへのデータファイルの送信用の２つのネットワークインターフェース１７１，１７２を有し，データファイルを蓄積するための主記憶メモリ１７４，データの送受信処理やデータファイルの管理，送信スループットのモニター等を行うＣＰＵ１７３によって構成される。主記憶メモリ１７４は，複数のデータファイルバッファ領域に分割され，送信装置１７内部に複数のデータファイルを蓄積することができる。

送信装置１７においては，データファイルが主記憶メモリ１７４上にロードされているため，ディスクから読み出しながら送信する場合よりも高速なデータ送信が可能であり，また，一旦，送信装置１７の主記憶メモリ１７４に読み出されたデータファイルは，再度ロードを行うことなく複数の配信先装置３に送信できる。このため，データサーバの負荷を低減することが可能である。また，送信装置１７のメモリ領域を超える大きさを持つコンテンツのファイルは，データサーバ１５によって分割されるため，送信装置１７の主記憶メモリ１７４の記録領域のサイズを超えたサイズのファイルも送信することが可能である。

図３は，配信スケジューラで管理される配信経路情報と伝送帯域情報の構成例を示している。図３（Ａ）は，本構成例におけるコンテンツ配信ネットワークのトポロジーを示している。配信先装置３には，図３（Ａ）に示すように，Ａ，Ｂ，Ｃ，... といった配信先ＩＤが付与され，伝送路には，Ｐ１，Ｐ２，Ｐ３，... といった伝送路ＩＤが付与されているものとする。

配信経路情報１１は，図３（Ｂ）に示すように，配信先装置３を示す配信先ＩＤと配信経路にある伝送路を示す伝送路ＩＤのリストによって構成される。伝送帯域情報１２は，図３（Ｃ）に示すように，ネットワーク２内の伝送路ＩＤと各伝送路の伝送帯域の情報によって構成される。伝送路の伝送帯域は，物理的な伝送路の帯域，ルーター等のネットワーク装置によってネットワークに割り当てられる伝送路の帯域，あるいは，ネットワークの輻輳情報などにより動的に予測される伝送路の利用可能帯域によって決定される。この伝送帯域情報１２中に，伝送路ごとに算出された伝送路使用率の情報を追加することができる。

図４は，データ管理情報の構成例を示している。本構成例のデータ管理情報１３は，データファイルのＩＤ（データＩＤという）とその配信先ＩＤの組のリストによって構成され，配信期日，データファイルのサイズ，配信ステータス情報を保持している。配信ステータス情報は，データファイルが送信装置１７にロードされているかどうか，どの送信装置１７にロードされているか，ファイルがすでに送信中であるかどうかを示している。

図５は，データファイルの送信装置へのロードの手順を示している。まず，データ管理情報１３を参照することにより，送信装置１７にロードされていないデータファイルがあるかどうかが検索される（ステップＳ１）。未ロードのデータファイルがあった場合，次に，送信装置１７のメモリに空きがあるかどうかが判定される（ステップＳ２）。送信装置１７のメモリに空きがある場合には，未ロードのデータファイルのうち配信期日が最も早いものをロード対象として選択する（ステップＳ３）。次に，選択された複数の各データファイルに対し，データファイルを送信装置１７にロードした場合に得られるネットワーク負荷の低減効果が評価される（ステップＳ４）。次に，ネットワーク負荷の低減効果のもっとも大きなデータファイルが送信装置１７へのロード対象として選択され（ステップＳ５），ロード処理が開始される（ステップＳ６）。同時にデータ管理情報を未ロードからロード済みに変更する（ステップＳ７）。

図６は，ネットワーク負荷の低減効果の評価手順を示している。ネットワーク負荷は，ロード済みのデータに対するネットワーク負荷と未ロードのデータに対するネットワーク負荷の２つがある。

まず，現在の状態におけるネットワーク負荷が算出される（ステップＳ１０）。次に，ロード対象データを送信装置１７にロードしたと仮定し（ステップＳ１１），ロード済みのデータに対するネットワーク負荷と未ロードのデータに対するネットワーク負荷を再評価する（ステップＳ１２）。続いて，ロード済みのデータに対するネットワーク負荷の増加量と未ロードのデータに対するネットワーク負荷の減少量を評価し（ステップＳ１３），例えばその差をとることによりネットワーク負荷の低減効果を評価する（ステップＳ１４）。ロード対象となる全データファイルに対して低減効果を評価し，その最大のものを選択することにより，ロードするデータを決定する（ステップＳ１５）。

図７は，ネットワーク負荷の評価手順を示している。まず，評価対象データファイルに対してデータサイズと配信先ＩＤがデータ管理情報１３から参照され（ステップＳ２０），各配信先への総データ送信量を算出する（ステップＳ２１）。次に，配信経路情報１１を用いることにより各伝送路において流れる総データ量を評価し（ステップＳ２２），伝送帯域情報１２を用いて，総データ量を伝送路の伝送帯域で割ることにより伝送路の負荷を算出する（ステップＳ２３）。伝送路負荷は，評価対象とするデータファイルをすべての配信先装置３に送信し終えるために必要となる伝送時間の推定値と考えられる。

次に，ネットワーク内のすべての伝送路負荷の最大値あるいは加重平均によりネットワーク負荷が算出される（ステップＳ２３，Ｓ２４）。加重平均は，伝送路負荷の大きなものに対する重み付けを大きくする形で評価する。これは，負荷の高い伝送路がデータファイルを送信する際のボトルネックとなるためである。

図８は，ネットワーク負荷の評価例を示している。まず，評価対象として，配信期日の最も早いデータが選択される。この例では，データＩＤが１，２，３の３つのデータファイルが選択されている。データファイルにはそれぞれ２つの配信先がある。次に，配信経路情報１１を利用することにより伝送路の伝送データ量が算出される。例えば伝送路Ｐ２は配信先装置３Ａ，３Ｂの配信経路となっているため，データ量は配信先ＩＤがＡとＢである配信先に対するデータファイルのサイズの累積値により算出できる。

次に，各伝送路の伝送データ量を伝送帯域で割ることにより伝送路の負荷を算出する。この例では，Ｐ７の伝送路が最も高い負荷を持つことがわかる。ネットワーク負荷を最大値により評価した場合には１５であり，例えば，２乗値の平均によりネットワーク負荷を算出した場合には８．０４，また，３乗値の平均により算出した場合には２７．０５となる。最大値による評価は負荷の最大となった伝送路のみに着目することになり，２乗値，３乗値を用いた場合には，負荷の大きな伝送路に対して重みをつけながらネットワーク全体の負荷を算出していることになる。

図９は，データファイルの送信装置からの送信手順を示している。まず，一般的に，１つの送信装置１７から同時に送信できる配信先装置３の個数には制約があるため，現在送信中のデータ数が規定値以下であるかどうかが判断される（ステップＳ３０）。次に，送信装置１７のメモリ内に送信可能なデータファイルがあるかどうかが判定される（ステップＳ３１）。

送信データがある場合には，送信中のデータファイルの実測伝送スループットに基づき，各配信先への配信経路の伝送路使用率が算出される（ステップＳ３２）。伝送路使用率の評価は，データ転送が新たに起動された場合，データ転送が終了した場合，輻輳の発生など，ネットワークの状態に変化があったことが推測される場合に繰り返し行われる（ステップＳ３３）。送信可能なデータファイルの中で，配信経路に空きのある配信先を含むものがない場合には伝送路使用率が低下するまでデータの送信は行われない。

伝送路使用率に余裕のあるデータファイル，配信先が複数ある場合には，前述のネットワーク負荷の算出方法によりロード済み未送信データによるネットワーク負荷の値を算出し，送信対象となるデータファイル，配信先に対してデータ送信を開始したと仮定した場合に生ずるネットワーク負荷の低減量が評価され（ステップＳ３５），低減量の最も大きなデータファイル，配信先が送信対象として選択される（ステップＳ３６）。データファイル送信を開始すると同時に（ステップＳ３７），データ管理情報１３をロード済みから送信中に変更する（ステップＳ３８）。

図１０は，データファイルの送信終了時の処理手順を示している。データファイルの送信が終了した場合（ステップＳ４０），まず，データ管理情報１３から送信が終了したデータファイル，配信先ＩＤの登録項目が削除される（ステップＳ４１）。さらに，データ管理情報１３について，送信を行っていたデータファイルのデータＩＤを検索し，もし，登録がない，つまり全配信先へのデータファイルの送信が終了している場合には（ステップＳ４２），データファイルを送信装置１７のメモリから削除する（ステップＳ４３）。

図１１は，伝送路使用率の評価手順を示している。まず，各送信装置１７では，送信中のデータファイルに対して，伝送スループットが評価されている。配信スケジューラ１４は，配信経路情報１１を参照してデータファイルの配信先ＩＤから配信経路を求め，配信経路に沿って伝送スループット値を累積することにより（ステップＳ５０），各伝送路を流れているデータ転送帯域を算出し（ステップＳ５１），その値を，伝送帯域情報１２から得た伝送帯域で割ることにより伝送路の使用率を求める（ステップＳ５２）。次に，各配信先に対してその配信経路にある伝送路の使用帯域の最大値を評価することにより，各配信先に対する伝送路使用率を算出する（ステップＳ５３）。

図１２は，伝送路使用率の算出例を示している。この例では，配信経路として配信先ＩＤがＡ〜Ｅの配信先装置３が，Ｐ１〜Ｐ８の伝送路ＩＤの伝送路により接続されている。このうち，配信先ＩＤがＡ，Ｃ，Ｄの配信先装置３に対して現在データファイルが送信されており，それぞれの伝送スループットは１８０Ｍｂｐｓ，９０Ｍｂｐｓ，８０Ｍｂｐｓである。伝送路の使用帯域は，伝送スループットの値を配信経路に沿った伝送路に対して累積することにより求められる。伝送路使用率は，伝送路の使用帯域を伝送路の伝送帯域で割ることにより求められる。

最後に，配信経路にある伝送路の使用率の最大値を算出することにより各配信先装置３への伝送路使用率が求まる。例では送信の行われているＡ，Ｃ，Ｄの配信先装置３に対しては，伝送帯域のほとんどを使用しており，Ｂ，Ｅの配信先装置３に対しては伝送帯域の空きがあることがわかる。データを送信していない配信先装置３に対しても，データを送信中の配信先装置３と配信経路を共有している場合には，伝送路使用率が高くなる可能性がある。

図１３は，本発明の実施例において，サイズの大きなコンテンツファイルを伝送する方法を説明する図である。送信装置１７のメモリ領域（データファイルバッファ）を超えるサイズのコンテンツファイル４は，そのままでは送信できないため，データサーバ１５において送信装置１７のメモリサイズ以下となるようコンテンツファイル４が分割される。コンテンツファイル４を分割した各データファイル４１には，コンテンツファイル４のＩＤとシーケンス番号がＩＤとして付加され，受信装置である配信先装置３でシーケンス番号を参照することにより元のコンテンツファイル４’を復元する。

図１４は，本発明の実施例において，配信期日が異なるデータファイルの管理方式を説明する図である。図１４（Ａ）のデータ管理情報１３には，データＩＤ＝１のデータファイルの配信先ＩＤと配信期日が表示されている。ここで，配信先ＩＤがＡ，Ｂ，Ｃの配信先に対する配信期日と，配信先ＩＤがＤ，Ｅ，Ｇの配信先に対する配信期日には大きくへだたりがあるため，配信スケジュールを別に管理する必要がある。図１４（Ｂ）のデータ管理情報１３では，配信先ＩＤがＤ，Ｅ，Ｇの配信先に対するデータＩＤを２に変更しており，同じデータファイルに対して異なった配信スケジュールを適用することが可能となる。もちろん，データＩＤと蓄積装置１６における実際のデータファイルとの対応情報は，データサーバ１５が管理しており，データＩＤの変更に伴い，その対応情報も更新される。

図１５は，本発明の実施例において，ネットワークの輻輳情報，ネットワークの到達性情報の管理方法の例を説明する図である。ネットワークの帯域保証が十分でない場合には，配信経路において輻輳が発生する可能性がある。本コンテンツ配信ネットワークにおいては，輻輳または送信不可の状態が検出された場合，配信経路情報１１から輻輳や伝送路の切断が生じている伝送路を求め，その情報により配信スケジュールを変更する。

この例では，配信先ＩＤがＡとＢの配信先装置３に対して輻輳が検出され，配信先ＩＤがＥの配信先装置３に対して送信不能になった場合を示している。配信経路情報１１により，配信先装置３Ａ，３Ｂ，３Ｆで経路を共有している伝送路Ｐ２で輻輳が発生していると判断でき，配信先装置３Ｅに対してデータが送信不能になったことから伝送路Ｐ８で回線が切断されたことが推定できる。

輻輳の回避手段としては，輻輳の起きた伝送路の伝送帯域の設定を下げることにより，その伝送路の使用帯域の評価を大きくする方法を取ることができる。また，切断されたと考えられる伝送路に関しては，再びその伝送路が使用可能となったことが検出できるまで，その伝送路を配信経路に含む配信先を配信対象から一時的に外す方法をとることができる。

図１６は，１つの配信先に対して複数の配信経路がある場合の配信経路の管理と伝送路使用率の評価方法を説明する図である。この例では，配信先ＩＤがＡ，Ｂの配信先装置３に対して，伝送路Ｐ２を通る配信経路と伝送路Ｐ９を通る配信経路がある。それぞれの伝送路使用率は４０％と５０％であり，この場合，配信先ＩＤがＡ，Ｂへの伝送路使用帯域は，伝送路Ｐ９ではなく伝送路Ｐ２に対して評価される。したがって，配信先ＩＤがＡの伝送路使用率は，伝送路Ｐ１，Ｐ２，Ｐ３の中で使用率が最も大きいＰ２の４０％となり，配信先ＩＤがＢの伝送路使用率は，伝送路Ｐ１，Ｐ２，Ｐ４の中で使用率が最も大きいＰ４の６０％となる。

以上のように，本実施例に係るコンテンツ配信ネットワークは，コンテンツを送信する配信センターの配信装置１と，コンテンツを受信する複数の配信先装置３と，それらを接続するネットワーク２とで構成され，配信装置１は，データファイルを蓄積装置１６に蓄積するデータサーバ１５と，ネットワーク２にデータファイルを送信する複数の送信装置１７と，配信スケジューラ１４によって構成され，送信装置１７は，データサーバ１５からロードしたデータファイルを内部のメモリに蓄積し，複数の配信先装置３に対して送信する。

配信スケジューラ１４は，配信先装置３への配信経路情報１１，ネットワーク内の各伝送路の伝送帯域情報１２，配信するデータファイルのサイズ，配信先，配信期日，送信装置１７へのロード状態を含むデータ管理情報１３を保持し管理する。

また，配信スケジューラ１４は，データファイルのサイズと配信経路情報１１から，選択されたデータファイルをすべて送信し終えるまでに各伝送路を流れるデータ量と，その値を伝送帯域で割ることによって求まる伝送負荷を算出し，ネットワーク内の全伝送路の伝送負荷の重み付け平均あるいは最大値を求めることによりネットワーク２の負荷を求める機能と，配信経路情報１１，伝送帯域情報１２から，送信装置１７で伝送されているデータファイルの実測伝送スループットを配信経路に沿って累積し，各配信先装置３への配信経路の伝送帯域の使用率を算出する機能を有し，配信先装置３に対する伝送路使用率に余裕があり，配信期日が早く，ロード済みの未送信データファイルに対して評価されるネットワーク負荷の低減効果の最も大きな配信先装置３から順にデータファイルの送信順序を決定する機能を有し，送信装置１７にロード済みの全データファイルに対して評価されるネットワーク負荷の増加量と，未ロードの全データファイルに対して評価されるネットワーク負荷の減少量の差分を評価することで，データファイルをロードした場合に生ずるネットワーク負荷の低減効果を評価し，配信期日が早く，ネットワーク負荷の低減効果の最も大きなデータファイルから順に送信装置１７へのロード順序を決定する機能を有する。

本発明は，デジタルシネマ等で用いられる大容量マルチメディアコンテンツファイルを，複数の配信先に配信期日に間に合うように，効率的かつ高い信頼性を持って伝送する際に用いられる。

本発明の実施例に係るコンテンツ配信ネットワークの全体構成を示す図である。 送信装置の構成例を示す図である。 配信スケジューラで管理される配信経路情報と伝送帯域情報の構成例を示す図である。 データ管理情報の構成例を示す図である。 データファイルの送信装置へのロードの手順を示す図である。 ネットワーク負荷の低減効果の評価手順を示す図である。 ネットワーク負荷の評価手順を示す図である。 ネットワーク負荷の評価例を示す図である。 データファイルの送信装置からの送信手順を示す図である。 データファイルの送信終了時の処理手順を示す図である。 伝送路使用率の評価手順を示す図である。 伝送路使用率の算出例を示す図である。 コンテンツファイルの分割例を示す図である。 配信期日の異なるデータ管理情報の構成例を示す図である。 ネットワークの輻輳情報，ネットワークの到達性情報の管理方法の例を説明する図である。 複数の配信経路がある場合の配信経路の管理と伝送路使用率の評価方法を説明する図である。

符号の説明

１ 配信装置
２ ネットワーク
３ 配信先装置
１１ 配信経路情報
１２ 伝送帯域情報
１３ データ管理情報
１４ 配信スケジューラ
１５ データサーバ
１６ 蓄積装置
１７ 送信装置

Claims (10)

1. 複数の配信先装置に対し，ネットワークを介してコンテンツを送信する配信装置において，
   コンテンツを蓄積するデータサーバと，
   前記データサーバからロードしたデータを蓄積して複数の配信先装置にデータを送信する送信装置と，
   配信期日に従って配信のスケジューリングを行う配信スケジューラとを備え，
   前記配信スケジューラは，少なくとも，各配信先装置に送信するデータのサイズ，もしくは送信装置において実測されたスループット，またはそれらの双方の情報と，配信経路情報とに基づき，前記送信装置を用いて前記配信先装置に配信するデータを選択する手段を備える
   ことを特徴とするコンテンツの配信装置。
2. 複数の配信先装置に対し，ネットワークを介してコンテンツを送信する配信装置において，
   コンテンツを蓄積するデータサーバと，
   前記データサーバからロードしたデータを蓄積して複数の配信先装置にデータを送信する送信装置と，
   配信期日に従って配信のスケジューリングを行う配信スケジューラとを備え，
   前記配信スケジューラは，少なくとも，各配信先装置に送信するデータのサイズ，もしくは送信装置において実測されたスループット，またはそれらの双方の情報と，配信経路情報とに基づき，前記送信装置にロードするデータのロード順序および前記送信装置から送信するデータの送信順序を制御する手段を備える
   ことを特徴とするコンテンツの配信装置。
3. 前記配信スケジューラは，
   前記送信装置へのロード済みデータによるネットワーク負荷の増加量と未ロードデータによるネットワーク負荷の減少量との差分を評価することで，配信対象データを前記送信装置にロードした場合に生ずるネットワーク負荷の低減効果を評価し，その評価結果に従って前記送信装置にロードするデータを選択する第１のスケジューリング手段と，
   前記送信装置へのロード済み未送信データのうち，前記配信先装置に対する伝送路使用率に余裕があり，前記ロード済み未送信データに対して評価されるネットワーク負荷の低減効果の最も大きなデータを，送信対象データとして選択する第２のスケジューリング手段とを備える
   ことを特徴とする請求項１または請求項２記載のコンテンツの配信装置。
4. 前記データサーバは，コンテンツのファイルサイズが前記送信装置のメモリ容量を超えている場合に，そのコンテンツのデータファイルを前記送信装置のメモリサイズ以下に分割し，分割された各データファイルに，前記配信先装置においてそれらを再結合するための情報を付加する手段を備える
   ことを特徴とする請求項１から請求項３までのいずれか１項に記載のコンテンツの配信装置。
5. 前記配信スケジューラは，同じデータファイルに複数の配信期日がある場合に，１つのデータファイルを複数の配信スケジュールで送信するため，同じデータファイルに配信期日に応じて定めた複数のデータＩＤを付加する手段を備える
   ことを特徴とする請求項１から請求項４までのいずれか１項に記載のコンテンツの配信装置。
6. 前記配信スケジューラは，前記送信装置においてデータファイルの送信中にデータパケットの廃棄率もしくは遅延量をモニタすることにより，ネットワークで発生した輻輳を検出し，さらに，配信経路情報を利用することにより輻輳の発生している伝送路を特定し，その伝送路のコンテンツ配信に利用する伝送帯域を低く設定することにより輻輳を回避するようデータ送信のスケジューリングを行う手段を備える
   ことを特徴とする請求項１から請求項５までのいずれか１項に記載のコンテンツの配信装置。
7. 前記配信スケジューラは，前記送信装置によるデータファイルの送信中にネットワークの切断が検出された場合に，配信経路情報を利用することにより切断された伝送路を検出し，当伝送路を配信経路に含む配信先装置に対するデータ転送を，配信すべきデータのデータ管理情報から一時的に削除する手段を備える
   ことを特徴とする請求項１から請求項６までのいずれか１項に記載のコンテンツの配信装置。
8. 前記配信スケジューラは，ネットワークにおいて配信先装置への配信経路が複数ある場合に，複数の配信経路のうち伝送路使用率の最も低い経路を選択する手段を備える
   ことを特徴とする請求項１から請求項７までのいずれか１項に記載のコンテンツの配信装置。
9. コンテンツを送信する配信装置と，コンテンツを受信する複数の配信先装置と，それらを接続するネットワークとで構成されるコンテンツ配信ネットワークにおいて，
   前記配信装置は，コンテンツを蓄積するデータサーバと，前記データサーバからロードしたデータを蓄積して複数の配信先装置にデータを送信する送信装置と，配信期日に従って配信のスケジューリングを行う配信スケジューラによって構成され，
   前記配信スケジューラは，少なくとも，各配信先装置に送信するデータのサイズ，もしくは送信装置において実測されたスループット，またはそれらの双方の情報と，配信経路情報とに基づき，前記送信装置を用いて前記配信先装置に配信するデータを選択する手段を備える
   ことを特徴とするコンテンツ配信ネットワーク。
10. コンテンツを送信する配信装置と，コンテンツを受信する複数の配信先装置と，それらを接続するネットワークとで構成されるコンテンツ配信ネットワークにおけるコンテンツ配信方法において，
    前記配信装置は，コンテンツを蓄積するデータサーバと，前記データサーバからロードしたデータを蓄積して複数の配信先装置にデータを送信する送信装置と，配信期日に従って配信のスケジューリングを行う配信スケジューラによって構成され，
    前記配信スケジューラが，少なくとも，各配信先装置に送信するデータのサイズ，もしくは送信装置において実測されたスループット，またはそれらの双方の情報と，配信経路情報とに基づき，前記配信先装置に配信するデータを選択し，
    前記送信装置が，選択されたデータを該当する前記配信先装置に送信する
    ことを特徴とするコンテンツ配信方法。

Images