JP2007515114A - ビデオ・オン・デマンドのストリーミング配信の機能強化を提供するシステムおよびその方法 - Google Patents

Abstract

【解決手段】 本発明は、ビデオ・オン・デマンドシステムのストリーミング配信の機能強化を提供するシステムおよびその方法を提供する。前記システムはメディアサーバとクライアントプレイヤーとを有し、ユーザはクライアントプレイヤーを介してユーザが次に表示する、前記メディアサーバから前記クライアントプレイヤーに送信する望みのビデオを選択できる。前記システムは、ユーザが前記選択されたビデオ信号を表示するための望ましい新規開始点を対話形式で選択できる機構を有する。前記機構は探索可能なインデックスフレームの第１および第２のシリーズによって提供され、第１のシリーズは前記選択されたビデオ信号の送信中に前記メディアサーバによって生成され、前記第２のシリーズは前記選択されたビデオ信号の受信中に前記クライアントプレイヤーによって生成される。前記クライアントプレイヤーにより望ましい新規開始点が受信されると、前記第１および第２のシリーズにアクセスし、前記望ましい新規開始点を最善に表す、要求された検索可能なインデックスフレームを識別する。前記クライアントプレイヤーによる前記ビデオの表示がその後に、前記要求された検索可能なインデックスフレームから開始される。
【選択図】 図１

Description

本発明は、全般にエンドユーザにビデオ・オン・デマンドのストリーミング配信を提供するためのシステムに関する。具体的には、本発明はＩＰベースのネットワーク上のビデオ・オン・デマンドの視聴者に機能強化を供給することに関するものである。

ビデオ・オン・デマンド（ＶＯＤ）とパーソナルビデオレコーダ（ＰＶＲ）サービスを含む消費者娯楽サービスは、従来の通信システムアーキテクチャを使用して配信できる。従来のデジタルケーブル・システムでは、ビデオの際中ユーザに与えられるのは１つのチャンネルである。デジタル多用途／ビデオディスク（ＤＶＤ）の表示をエミュレートしようとするＶＯＤサービスは、大きなスーパーコンピュータスタイルの処理機械である中央化ビデオサービスから配信される。これらの機械は、典型的にはケーブルマルチサービスオペレータ（ＭＳＯ）のメトロポリタン・エリア・ネットワークでサポートされるメトロサービス配信センターにある。消費者はメニューからビデオを選択し、前記ビデオがビデオサーバから配信される。前記ビデオサーバはオンザフライで前記ビデオを符号化して、オンザフライでそれを復号するセットトップボックスにこのコンテンツを配信する（キャッシュメモリまたはローカルストレージは前記セットトップボックスには必要ない）。このような中央化ビデオサーバアーキテクチャでは、同時ユーザの数は前記ビデオサーバの処理能力によって制約される。これを解決するには非常に高価なものとなり、規模においても困難である。「ジュークボックス」スタイルのＤＶＤサーバは同様な性能および拡張性の問題がある。

ホテルのテレビシステムでは、ビデオ・オン・デマンドサービスは数年間にわたって知られている。ビデオ・オン・デマンドサービスでは、ユーザが視聴したい番組を選択し、これらの番組のビデオと音声データがユーザのテレビに送信される。このようなシステムの例として次のものを含む：高速再生モードと通常再生モードのあるビデオ・オン・デマンドシステムを開示している米国特許第６，０５７，８３２号；番組が注文され支払が行われたときの、前記ビデオソースから復号キーのダウンロードを含む流通網およびＤＶＤｓ上のビデオコンテンツ番組の配信および購入安全のためのシステムを開示している米国特許第６，０５５，３１４号；双方方向テレビチャネル上のＬＡＭまたはＴＶを経由してユーザのコミュニティーに双方向マルチメディアサービスを配信する双方向ビデオ・オン・デマンドを開示している米国特許第６，０４９，８２３号；大容量記憶媒体を含む有料（ペイ・パー・プレイ）システムを開示している米国特許第６，０２５，８６８号；好きなペースで閲覧できるようにユーザがトレーラをグループ化して、前記トレーラから番組を直接注文することができる、双方向ビデオ・オン・デマンド・ネットワークシステムを教示している米国特許第５，９４５，９８７号；バンド幅割当スキームを使用して、オン・デマンドで閲覧するためにデジタルビデオ映画へのアクセスを提供するサーバであって、前記バンド幅割当スキームは番組への要求の数を閾値と比較し、次に、高需要の状況の場合であって、元のディスクに前記ビデオ映画を全ての要求者に提供するバンド幅がない場合、別のディスクに前記ビデオ映画の別のコピーを作成することを教示している米国特許第５，９３５，２０６号；ビデオ番組をＮセグメントの注文シーケンスに分割することによって前記番組へのアクセスを提供し、受信契約者に前記Ｎセグメントのそれぞれに同時アクセスを提供するビデオ・オン・デマンドシステムを教示している米国特許第５，９２６，２０５号；セントラルオフィスを介してマルチメディア情報サービスから個人の電話受信契約者に情報を提供する公衆交換回線網であって、この公衆交換回線網は前記マルチメディアサーバにインターフェースで接続し、受信契約者の要求を受け取るものであり、ルーティングデータを伝達するためのゲートウェイと、前記受信契約者へのＡＤＳＬリンクの第１、第２、および第３の信号チャネルを介して前記マルチメディアデータを前記サーバから前記要求している受信契約者に送るためのスイッチとを含むことを教示している米国特許第５，８０２，２８３号。

米国特許第６，０５５，５６０号では、例えば、巻戻し、停止、早送りなど通常はＶＣＲのみにある機能をサポートする双方向ビデオ・オン・デマンドシステムを開示している。また、米国特許第６，０２０，９１２号では、サーバ局とユーザ局とを有するビデオ・オン・デマンドシステムを開示しているが、ここでは、サーバ局は要求されたビデオ番組を通常、早送り、スロー、巻戻しまたは一時停止モードで送信できる。これらの特許は両方とも、通常はビデオカセットレコーダによって提供されるような早送りレートまたは巻戻しレートでビデオを見ることを可能にする機能を定義している。

エンドユーザへのデジタルビデオコンテンツを供給するために、従来のストリーム・ビデオ・オン・デマンド（ＳＶＯＤ）システムおよび国際標準を開発する発展的組織が存在する。現在、これらのシステムの実施は高価で、独占のまたはアクセスできないネットワークまたはケーブルシステムに依存しており、最終的な結果として、魅力的な値段、有意義な機能、および既成ネットワークを介した信頼できる配信の組合せを提供できないシステムを作り出している。

この背景情報は、本発明者が本発明に関連性がある可能性があると信じる周知の情報を知らしめる目的で提供するものである。前記先行情報は本発明に対向する従来技術であると承認することを必ずしも目的としたものではなく、またそう解釈されるべきではない。

本発明の目的は、ビデオ・オン・デマンドのストリーミング配信の機能強化を提供するシステムおよびその方法を提供することである。本発明の１つの観点に従って、選択したビデオ信号の再生パラメータをユーザが修正できるビデオ・オン・デマンドシステムを提供している。前記システムには以下を有する：前記選択されたビデオ信号を送信するためのメディアサーバであって、前記選択されたビデオ信号の送信中に検索可能なインデックスフレームの第１のシリーズを生成し、前記第１のシリーズをそこに格納するものである、前記メディアサーバ；前記選択されたビデオ信号を受信して表示するためのクライアントプレイヤーであって、このクライアントプレイヤーは検索可能なインデックスフレームの第２のシリーズを生成して格納し、前記クライアントプレイヤーはユーザからの前記再生パラメータの修正する要求を受け取ると前記第１のシリーズまたは第２のシリーズにアクセスして要求された検索可能なインデックスフレームを取得し、前記必要とされるインデックスフレームは前記選択されたビデオ信号の表示のための新規開始点を提供し、前記メディアサーバと前記クライアントプレイヤーは通信網によって動作可能に接続されているものである、前記クライアントプレイヤー。

本発明のもう１つの観点に従って、ビデオ・オン・デマンドシステムで選択されたビデオ信号の再生パラメータをユーザが修正できるようにする方法を提供している。この方法は以下の工程を含む：メディアプレイヤーによって前記選択されたビデオ信号の要求をクライアントプレイヤーから受け取る工程と；前記メディアプレイヤーによって前記選択されたビデオ信号を前記クライアントプレイヤーへ送信する工程と；前記メディアプレイヤーによる送信中に検索可能なインデックスフレームの第１のシリーズを生成し格納する工程と；前記クライアントプレイヤーによって前記選択されたビデオ信号を受信し表示する工程と；クライアントプレイヤーによって受信および表示中に検索可能なインデックスフレームの第２のシリーズを生成し格納する工程と；前記クライアントプレイヤーによってユーザからの前記選択されたビデオ信号の再生パラメータを修正する要求を受け取る工程と；要求された検索可能なインデックスフレームの前記第１のシリーズまたは第２のシリーズを検索する工程であって、前記要求されたインデックスフレームは前記選択されたビデオ信号を表示する新規開始点を提供するものである、前記検索する工程と；前記新規開始点から前記選択されたビデオ信号を表示する工程とを有する方法である。

本発明は、ビデオ・オン・デマンドシステムのストリーミング配信のための強化機能を提供するシステムと方法を提供する。前記システムはメディアサーバとクライアントプレイヤーとを有し、ユーザはクライアントプレイヤーを介してユーザが次に表示する、前記メディアサーバから前記クライアントプレイヤーに送信する望みのビデオを選択できる。前記システムは、ユーザが前記選択されたビデオ信号を表示するための望ましい新規開始点を対話形式で選択できる機構を有する。前記機構は探索可能なインデックスフレームの第１および第２のシリーズによって提供され、第１のシリーズは前記選択されたビデオ信号の送信中に前記メディアサーバによって生成され、前記第２のシリーズは前記選択されたビデオ信号の受信中に前記クライアントプレイヤーによって生成される。前記クライアントプレイヤーにより望ましい新規開始点が受信されると、前記第１および第２のシリーズにアクセスし、前記望ましい新規開始点を最善に表す、要求された検索可能なインデックスフレームを識別する。前記クライアントプレイヤーによる前記ビデオの表示がその後に、前記要求された検索可能なインデックスフレームから開始される。

図１は、本発明の１つの実施形態に従った前記システムの一般的な構造を図示したものである。最初に、前記エンドユーザはＨＴＴＰ ＧＥＴコマンドを前記ウェブサーバに発して、リアルタイム・ストリーミング・プロトコール（Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ：ＲＴＳＰ）セッションを開始する。前記ウェブサーバは、前記接続要求を受信し処理した後に、前記エンドユーザにセッション記述を送り返すことができる。前記ウェブサーバが前記接続を構築することに同意した場合、クライアントプレイヤーを開始することができ、クライアントプレイヤーはセットアップ（ＳＥＴＵＰ）要求を前記メディアサーバに発信することができ、前記クライアントプレイヤーと前記メディアサーバ間の接続が構築される。その結果、データ通信の準備ができ、前記ユーザは、その後に前記メディアサーバからストリーミング配信される媒体（メディア）のプレイ／一時停止を選択することもできる。同時に、前記クライアントプレイヤーは幾つかのリアルタイム・ストリーミング・プロトコール（Ｒｅａｌ-ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ：ＲＴＣＰ）パケットを送り返することができ、サービスの品質（ＱｏＳ）フィードバックを与え、且つ本発明の実施形態において存在可能な異なったメディアストリームの同期化をサポートする。これらのパケットは、前記セッション参加者およびマルチキャストからユニキャストへの変換装置などの情報を運ぶことができる。前記セッションの終結またはエンドユーザの要求によって、前記クライアントプレイヤーは取り壊し（ＴＥＡＲＤＯＷＮ）コマンドを前記メディアサーバに送信して、接続を閉じることができる（そして、前記メディアサーバは前記接続を閉じる）。

前記ストリーミング配信制御に関して、本発明の１つの実施形態では、リアルタイム・ストリーミング・プロトコール（Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ：ＲＴＳＰ）を使用してもよい。その人気と品質を考慮すると、メディア配信の設定と制御に適したプロトコールである。前記実際のデータ転送に対しては、インターネット・エンジニアリング・タスク・フォース（Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ：ＩＥＴＦ）が書かれたリアルタイム転送プロトコール（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ：ＲＴＰ）を使用してもよい。ＲＴＰはＴＣＰ／ＩＰまたはＵＤＰの上に層をなしており、リアルタイムのデータ送信に効果的である。

リソース制御には、リソース・リザーベション・プロトコール（Ｒｅｓｏｕｒｃｅ ＲｅｓｅＶａｔｉｏｎ Ｐｒｏｔｏｃｏｌ：ＲＳＶＰ）を使用して前記ＱｏＳサービスをエンドユーザに提供してもよい。クライアントプレイヤーが前記ウェブサーバに品質要求事項のある映画の要求を送信した場合、前記ウェブサーバは前記要求に対する前記リソースが利用可能かどうかを決定できる。前記リソースが利用可能な場合、前記メディアサーバから前記クライアントサーバへメディア送信するためにそれをリザーブできる。そうでない場合には、前記ウェブサーバは前記クライアントの要求に応えるだけの充分なリソースがないことを通知できる。本発明の１つの実施形態では、前記ウェブサーバと前記メディアサーバは単一サーバに統合できる。

図２は、本発明の１つの実施形態に従った前記ビデオ・オン・デマンドシステムのストリーミング配信全体のフローチャートを図示したものである。前記システムは５つのモジュールを有し、それらは、映画製作、インテリジェント映画検索、映画ストリーミング配信およびデータ通信、映画再生、およびユーザアカウント管理である。

映画製作は、再生用の映画データベースおよび映画検索用のフィーチャーデータベースを生成するために使用されるプロセスで、これは前記映画製作モジュールによって実行できる。新規映画が来た場合、映画は２つのプロセスを通過する。１つは符号化プロセスで、ここでは映画コンテンツが符号化され、ストリーミング配信に適するようにビットストリームに変換される。もう１つは前処理の工程であって、ここではキーワード、映画カテゴリ、場面変更情報、ストーリ単位、重要な被写体、またはその他特徴などの前記映画のある意味内容が引き出される。

もう１つのモジュールは前記ユーザアカウント管理で、ユーザ登録制御およびユーザアカウント情報データベースを有する。前記ユーザ登録は新規ユーザが登録でき、既存ユーザがログオンするインターフェースを提供する。ユーザアカウント情報データベースは、例えばクレジットカード番号、ユーザアカウント番号、差引残高、およびその他の情報などを含むユーザのすべての情報を格納する。既にわかっているように、このタイプの情報は送信中でも格納中でも侵入に対して守られなければならない。

映画符号化製作後、クライアント（エンドユーザ）は映画データベースをブラウズできるが、これは前記インテリジェント映画検索モジュールによって提供される。しかし、前記データベースが何万という映画を含んでいる場合、望ましい映画を見つけることは困難である。従って、単語の一意名または画像の一意名のような引き出されたフィーチャーの使用により、前記システムの効率を高めるための検索エンジンが必要とされている。例えば、前記検索は映画の題名、映画の特徴、および／または重要な被写体に基づいて行うことができる。映画題名検索は非常に明瞭で簡単に実施できる。映画特徴検索は、前記フィーチャーデータベースを検索して一定の基本的な特徴を有する映画を見つけることを意味する。前記特徴には、例えば、色、テクスチャ、動作、形状、またはその他の簡単に理解できる特徴を含んでもよい。第３の検索基準は、例えば、主な出演者、監督、またはその他の基準のような一定の重要な被写体を有する映画を見つけるものでもよい。

エンドユーザが映画を選択すると、前記映画ストリーミング配信およびデータ通信モジュールを開始できる。ストリーミング配信およびデータ通信は、前記クライアントプレイヤーと前記メディアサーバ間の接続を開くことによって開始するプロセスで、その後に、圧縮映画ファイルを再生するためにそれを前記クライアントプレイヤーに送信する。前記ファイルはストリーミング配信に適したフォーマットである。ストリーミング配信を使用すると、前記クライアントプレイヤーは一定数のフレームをバッファした後に、前記映画の再生を開始できるので、前記映画の再生を開始する前に前記ファイルを完全にダウンロードするよりもずっとユーザフレンドリである。

前記映画の再生および前記再生制御に関与するのは、映画再生モジュールである。ストリーミング配信の継続中も、映画再生を実行できる。それと同時に、顧客（エンドユーザ）からの制御情報のためのもう１つのスレッドを維持できる。前記制御情報には、再生／停止／一時停止／早送り／巻戻しおよび終了を含むことができる。

ユーザが見たい映画を選択すると、ウェブサーバは前記特定映画のために前記メディアサーバと通信できる、対応するクライアントプレイヤーを有効化できる。前記ウェブサーバが適切なファイル拡張子を認識して、前記対応するクライアントプレイヤーを呼び出すには、ある設定を必要とする。

前記システム内の前記メディアサーバは重要であり、クライアントとの接続の設定、データの送信、およびクライアントプレイヤーとの接続の閉鎖を含めることができる。

前記メディアサーバに格納された全ての映画ファイルは、ストリーミング・フォーマットでよい。クライアントプレイヤーと前記メディアサーバ間の前記データ通信では、制御にＲＴＳＰを使用し、実際のデータ送信にはＲＴＰを使用できる。本発明のためにコード化されたファイルを前記標準ストリーミング・フォーマットに変換するには、リアルネットワーク（Ｒｅａｌ Ｎｅｔｗｏｒｋ）からのソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔｓ：ＳＤＫｓ）が利用できる。前記復号化の側では、前記同一ＳＤＫを使用して、ストリーミングデータを多重化ビットストリームに変換できる。

映画製作とは、ビデオファイルをストリーミング・フォーマットに変換する手続きである。本発明の前記製作プロセスは、ビデオの符号化と、変換プロセスと、コンテンツ抽出プロセスとを含む。最初のプロセスは生の映画を符号化して、符号化ファイルをストリーミング配信に適切なフォーマットに変換する。１つの実施形態では、前記システムはビデオの符号化および復号化にはＨ.２６３＋、ＡＶＣ（Ｈ.２６４）、またはその他のコードを使用し、さらに前記システムは音声の符号化および復号化にＭＰ３、ＡＡＣ＋またはその他のコードを使用できる。同様に、使用される前記多重化スキームはＭＰＥＧ標準の１つであることができる。符号化と多重化の後には、ビットストリームはストリーミング・フォーマットに変換される。本発明では、あるリアル・プロデューサ（Ｒｅａｌ Ｐｒｏｄｕｃｅｒ）ＳＤＫｓを使用して、前記ビットストリームをストリーミング・フォーマットのファイルに変換し、前記ファイルは映画データベースに格納される。

前記コンテンツ抽出プロセスはビデオセグメンテーションから開始し、場面変更が検出され、長い映画は小部分に分けられる。場面変更ごとに、１若しくはそれ以上のキー・フレーム（ｋｅｙ ｆｒａｍｅ）が抽出される。前記キー・フレームは組織化されてストーリーボードを形成し、また映画の中の物語に対応する語義的意味のユニットの群にされる。コンピュータで計算される前記キーフレームの視覚的特徴は、例えば、色、テクスチャ、および形状などである。各場面変更内の行動および被写体情報もコンピュータで計算される。これらの全ての情報は、映画データベース索引および検索のための映画フィーチャーデータベースに格納される。

図４に図示したように、ユーザ登録とユーザアカウント情報管理に関与するのは、ユーザアカウント管理モジュールである。ユーザ登録は、例えばＪａｖａ（登録商標）インターフェースで実現できるが、ここでは新規ユーザはある情報を提供することを要求され、既存ユーザはユーザ名とパスワードを打ち込むことができる。新規ユーザの場合は、新規アカウント情報が入力され、確認のために前記メディアサーバに送信される必要がある。前記アカウント情報が受諾されると、アカウント名とパスワードが生成され前記ユーザに送信される。そうでない場合は、前記ユーザは前記アカウント情報を再入力することを求められる。前記ユーザが３回失敗した場合は、例えば、前記モジュールは終了する。既存ユーザの場合は、ユーザ名とパスワードのためのログオン・インターフェイスが現れる。前記ユーザ名とパスワードが受諾されると、前記ユーザは前記映画データベースをブラウズすることができ１若しくはそれ以上の見たい映画を選択できる。そうでない場合は、前記ユーザには、前記ユーザ名および／またはパスワードが正確でないことが通知される。前記ユーザは前記ユーザ名とパスワードを再入力できる。前記ユーザが３回失敗した場合、例えば、前記モジュールは終了する。

図５は、オンラインインテリジェント検索モジュールの機能のフローチャートを図示している。このモジュールは、選択された複数映画のサムネイルを表示する。顧客（エンドユーザ）が映画を検索したい場合には、映画の題名、キーワード、重要な被写体、特徴ベース検索、および音声特徴検索などの複数の検索基準が利用できる。フィーチャーデータベースではユーザが特定した基準に基づいた検索ができ、記映画データベースの中で一番合致する前記サムネイルが検索結果として戻される。顧客は前記サムネイルをブラウズして、さらに詳細な情報を得るか、またはクリックして短い場面を再生することができる。このモジュールはユーザが好きな複数の映画を短時間で見つけることを可能にする。

図６は、メディアサーバとクライアントプレイヤー間のストリーミング配信のプロセスを示している。ビデオおよび音声の符号化の後、タイミング情報を有する多重化ビットストリームを生成するための多重化が適用される。そして、ビットストリームがストリーミング・フォーマットに変換されて、前記クライアントプレイヤーに送信される。前記クライアントプレイヤーが前記ビットストリームを受信すると、前記クライアントプレイヤーはそれを前記多重化ビットストリームに再変換し、次に非多重化されて、再生のために音声およびビデオ復号器に送信される。

図７はメディアサーバとクライアントプレイヤー間のデータ通信を示している。前記メディアサーバが停止コマンドを受け取っていない場合、前記クライアントプレイヤーから入ってくる接続要求をいつもチェックする。新規接続要求が到着した場合は、前記メディアサーバは、前記利用可能なリソースをチェックして、この新規要求を取り扱うことができるかどうか調べる。可能な場合には、新規の接続を開いて、要求された映画をクライアントプレイヤーにストリーミング配信する。そうでない場合には、前記クライアントプレイヤーに、前記メディアサーバが前記要求を処理できないことを通知する。映画が前記クライアントにストリームされた後には、ネットワークのバンド幅をその他のユーザのために保持するために、前記メディアサーバと前記クライアント間の接続が閉じられる。

映画再生および管理モジュールは図８に図示されており、例えば、スレッドＡおよびＢなどのそれに関連する２つのスレッドを有することができる。スレッドＡは圧縮映画を復号化してそれを再生し、スレッドＢはクライアントプレイヤーを介してエンドユーザからの制御情報を受け取る。前記制御情報には再生、停止／一時停止、早送り／巻戻し、および終了コマンドを含めることができる。スレッドＡは、前記現在の再生モードがオンに設定されているかどうかをチェックする。オンに設定されている場合、スレッドＡは現在の映画ファイルを復号化して映画を再生する。そうでない場合は、何もしない。復号化および再生が継続している場合、いくつかの再構築されたＰフレームが早巻戻し機能のために記録される。再生が完了したら、再生モードはオフに設定される。図８の右側はスレッドＢの仕事を示しており、ここではエンドユーザからの制御情報を受信する。再生コマンドを受信した場合、スレッドＡの前記再生機能を呼び出して、映画を再生する。停止コマンドを受信した場合は、放映中の映画は停止されて、ファイル・ポインタは前記映画の開始に移動する。一時停止コマンドを受信した場合、放映中映画は現在位置で一時停止する。早送りコマンドを受信し、顧客がＩフレームまで早送りしたい場合は、その情報はローカルディスクで利用可能である。しかし、顧客がＰまたはＢフレームまで早送りしたい場合には、前記クライアントプレイヤー１つまたは２つの再構築フレームを前記メディアサーバから持ってくる必要がある。早巻戻しコマンドを受信した場合には、再構築ＰフレームまたはＩフレームを得て前記復号化プロセスを開始する。終了コマンドを受信した場合、スレッドＡおよびＢは終結し、前記クライアントプレイヤーは終了する。

ランダムフレーム検索は、ビデオプレイヤーが現在のフレームから異なったフレームに移転する能力である。ビデオフレームは典型的には一次元順序に組織化されているので、ランダムフレーム検索は早送り（ＦＦ）と早巻戻し（または巻戻しＲＥＷ）に分類される。

ビデオ・シークエンスのあらゆるフレームが、例えばＩ−フレームを使用して独立して符号化されている場合は、前記プレイヤー（復号器）は任意のフレームにジャンプして、前記復号器を再開してそこから再生できる。全てのフレームがＩ−フレームとしてのビデオ・シークエンスでは、あらゆるフレームはＦＦとＲＥＷ機能で新規ビデオ・シークエンスの開始点としての機能を果たすことができる。しかし、Ｉ−フレームに関係する低い圧縮率のため、このタイプの方法を使用するシステムはＭＪＰＥＧなどを除いてほとんどない。

ＭＰＥＧ系では、予測フレーム（Ｐ−フレーム）と双方向性フレーム（Ｂ−フレーム）を使用してより高い圧縮を達成する。前記Ｐ−フレームとＢ−フレームはビデオシーケンスのその他のフレームからの情報と共に符号化されるので、ＦＦとＲＥＷ機能の新規ビデオシーケンスの開始点としては使用できない。

前記ＭＰＥＧ系では、Ｉ−フレームを固定した間隔でビデオ・シークエンスに挿入することによって前記ＦＦとＲＥＷ機能をサポートする。ＦＦとＲＥＷ要求を受けた場合、クライアントプレイヤーは望ましいフレームの前の一番近いＩ−フレームを探し、そこから再生を再開する。以下は、典型的なＭＰＥＧビデオ・シークエンスを示しているが、２つのＩ−フレーム間隔は１６フレームである。

しかし、Ｉ−フレームは通常ＰおよびＢフレームより低い圧縮率を有する。前記ＭＰＥＧ系は、前記圧縮実行とＶＣＲ機能の間のトレードオフを提供している。

本発明は、所与のビデオアーカイブのために２つのシーケンスをメディアサーバに保持する。ストリーミング・シーケンスと呼ばれる１つのシーケンスは、通常送信目的のためのデータを提供する。もう１つのシーケンスである索引シーケンスは、ＦＦとＲＥＷ機能を実現するためのデータを提供できる。

前記ストリーミング・シーケンスはＩ−フレームで開始し、場面変更が起こる場所だけにＩ−フレームを含め、この概念は図９に示されている。

前記索引シーケンスは、図１０に示すように、ＦＦとＲＥＷ機能をサポートする検索可能なインデックスフレーム（Ｓ−フレーム）を含む。一組のＳ−フレーム間の間隔は変動自在で、要求されるランダム検索の正確性によって決定される。

符号化プロセスの間、前記ストリーミング・シーケンスを主要シーケンスとしてコード化でき、前記索引シーケンスは前記ストリーミング・シーケンスから派生させることができる。前記索引シーケンスの中のＳ−フレームは、Ｉ−フレームまたは前記ストリーミング・シーケンスのＰ−フレームから派生できるが、Ｂ−フレームからはできない。この機能は図１１に図示されている。

Ｉ−フレームからＳ−フレームが派生するプロセスは図１２に図示されている。本発明では、圧縮Ｉ−フレームデータを前記−Ｓフレームのバッファにコピーする。

図１３はＰ−フレームからＳ−フレームを派生させる方法を示している。最初に、このＰ−フレームの前記再構築された形式が必要で、それは通常のＰ−フレーム符号化手順のフィードバック・ループから獲得できる。第２に、Ｉ−フレーム符号化手順を呼び出して、この同じフレームをＩ−フレームとして符号化し、両方ともその圧縮形式と再構築形式を維持しなければならない。

それから、再構築された前記Ｐ−フレームと前記再構築されたＩ−フレーム間の差異が計算される。この差異は無損失プロセスを通して符号化できる。前記無損失符号化差異は、前記圧縮Ｉ−フレームデータとともに、前記Ｓ−フレームの完全なデータセットを形成する。

符号化プロセスと同じように、復号器は前記ストリーミング・シーケンスを復号化する間に索引シーケンスを派生させる必要がある。前記符号化プロセスと同じように、前記索引シーケンスのＳ−フレームは、前記ストリーミング・シーケンスのＩ−フレームまたはＰ−フレームから派生することができるが、Ｂ−フレームからはできない。前記復号器は、前記符号化プロセスと同じように、前記シーケンスの同じ場所で前記Ｓ−フレームを作成する必要は必ずしもない。

図１４は復号化でのＩ−フレームからのＳ−フレーム派生を示し、図１５はＰ−フレームからのＳ−フレームの派生を図示している。

Ｉ−フレームから派生したＳ−フレームは圧縮形式で格納でき、Ｐ−フレームから派生したＳ−フレームは再構築形式で格納できる。前記再構築形式は前記圧縮形式よりもずっと大きな格納スペースを必要とするので、このシステムでは、Ｓ−フレームから派生したＰ−フレームが必要とするスペースを格納するために２つのアプローチを使用する。（１）本発明は無損失圧縮工程を使用して前記再構築Ｓ−フレームを格納する。これは必要スペースを平均５０％だけ削減できる。（２）本発明は、符号化プロセスの間に作成されるより疎らな索引シーケンスを生成することができる。

本発明の１つの実施形態では、生放送環境でのクライアントプレイヤーは、チャンネルを変更するのに最低１秒間の待ち時間を必要し、これは例えば新規データストリームに参加するのに必要な時間である。このタイプの機能を有効化するには、ビデオストリームが少なくとも毎秒１つのＩ−フレームを有することを必要とする。Ｉ−フレームは実質的にＰ−フレームよりも大きいので、Ｉ−フレームに対する固定した挿入率を有するのは望ましくない。従って、前述のＳ−フレーム技術を用いて、生放送環境では自然な符号化システムを使用することができ、例えば、場面変化にはＩ−フレームを使用して、さらに一対のＳ−フレーム・ストリーム上にＳ−フレームを自動的に毎秒生成して行うことができる。このようにして、前記クライアントプレイヤーは、Ｐ−フレーム・シーケンスの真中で前記通常チャネル・ストリームに自動的に再加入して、例えばエラーなしに復号化を継続することができる。

ストリーミング・プロセスでは、メディアサーバに格納されている符号化されたストリーミング・シーケンスは、クライアントプレイヤーに送信される。

前記クライアントプレイヤーは、受信したストリーミング・シーケンスを復号化し、同時に索引シーケンスを作り出して、前記プレイヤーと関連したローカルストーレッジ装置にそれを格納する。

図１６では、本発明でＦＦおよびＲＥＷ機能がアーカイブされる方法を図示している。復号化プロセスが、「現在フレーム」１００の場所に現在あると想定する。これはストリーミング・アプリケーションなので、前記現在フレームはバッファされたデータ範囲内のどこかに位置する。一般に、この状況は、ランダム・フレーム・アクセスのための２つの検索ゾーンを定義する。有効ＲＥＷゾーン１１０（Ｖａｌｉｄ ＲＥＷ Ｚｏｎｅ）は第１のフレームで開始し前記現在フレームで終了し、有効ＦＦゾーン１２０（Ｖａｌｉｄ ＦＦ ｚｏｎｅ）は、前記現在フレームからバッファされたデータ範囲のフロントエンドまでである。実際には、本発明では、ＦＦ検索操作が実行された後に、ビデオがスムーズに再生されるように、バッファデータ範囲の前記フロントエンドでディーンゾーン（Ｄｅａｎ Ｚｏｎｅ）１３０を定義する。

クライアントプレイヤーがＦＦ操作のユーザ要求を受け取った場合、望ましいフレームが有効ＦＦゾーン内に在るかどうかをまずチェックする。在る場合には、前記望ましいフレームがメディアサーバに送信される。前記メディアサーバは前記望ましいフレームに一番近いＳ−フレームを探して、このＳ−フレームのデータを圧縮フォーマットで前記クライアントに送信する。このデータが受信されると、前記クライアントプレイヤーはこのＳ−フレームを復号化して、それを再生する。その後は、この再生プロセスはバッファ中のデータで継続される。

クライアントプレイヤーがＲＥＷ要求を受け取った場合、まず「充分に近い」Ｓ−フレームが見つけられるかどうかローカル索引シーケンスをチェックする。見つけられた場合、一番近いＳ−フレームを使用して、ビデオシーケンスを再開する。見つからない場合、メディアサーバに要求を発信して、望ましいフレームに一番近いＳ−フレームをダウンロードする。

ＦＦとＲＥＷ操作の両方でダウンロードされたＳ−フレームは、新規ビデオシーケンスを再開するために使用した後は、クライアントプレイヤーのローカルストレージに格納される。

このランダム検索技術は、「分配された」ものとして参照されるのは、メディアサーバおよびクライアントプレイヤーの両方とも索引シーケンスに部分的データを提供するからである。特定のＦＦまたはＲＥＷ要求が与えられると、望ましいＳ−フレームは、クライアントプレイヤーのローカル索引シーケンスかまたは前記メディアサーバの索引シーケンスの中で見つけることができる。再生プロセスの終りには、エンドユーザはその後の閲覧のためにＳ−フレームの完全なセットを自分のクライアントプレイヤーに格納できる。従って、閲覧者が同じビデオコンテンツを２回目に見るときには、すべてのＦＦとＲＥＷ機能がローカルで利用可能である。

１つの実施形態では、ストリーボードが生成され、これは例えば２、３分の短い映画の要約であり、長編映画の重要な画像を見せるものである。人々は注文する前に映画についての一般概念を知りたいかもしれない。本発明に従ったＳＶＯＤシステムでは、映画を注文するかどうかを決定する前に、閲覧者にその映画のストリーボードを試写することができる。前記ストリーボードのもう１つの利点は、閲覧者が、フレームごとの代りにストリーボード単位で早送り／早巻戻しできることである。また、前記ストリーボードに基づいた索引を利用でき、映画のインテリジェント検索も実現できる。

１つの実施形態では、ストリーボードの生成に３つの工程を含む。まず最初に、長い映画を短いビデオクリップに分割するのに、幾つかの場面変更技術が適用される。その後、例えば、色、テクスチャ、または場面の重要な被写体、若しくはその他の特徴などの低位または中位レベルの情報に基づいて、各ビデオクリップからキー・フレームが選択される。その後、必要に応じて、前記分割されたクリップに高度レベルの意味解析を適用して、意味のあるストリー単位にグループ化することもできる。顧客がある映画の概略を得たい場合には、前記ストリー単位を迅速にブラウズすることができ、興味がある場合には、キー・フレームおよび前記ビデオクリップのそれぞれを見て詳細を知ることもできる。

拡張性は、ストリーミングビデオ・アプリケーションにおいて非常に望ましいオプションである。現在のストリーミング・システムはフレームを下げることで一時的な拡張性を許容し、ウェーブレット・ビットストリームをある時点でカットして空間的拡張性を獲得する。本発明は別の拡張性モードを提供しており、これはＳＮＲと呼ばれる空間的拡張性である。この種類の拡張性がビデオストリーミングに非常に適しているのは、ビデオが基層および強化層でコード化されているからである。サーバは、異なった層を異なったクライアントに送信することを決定できる。例えば、クライアントが質の高いビデオを必要とする場合、前記サーバは基層ストリームおよび増大層ストリームを送信できる。そうでない場合、クライアントが中位の品質のビデオのみを要求した場合、前記サーバは前記基層だけを送信できる。ビデオプレイヤーも、ネットワークトラフィックに従って、拡張可能なビットストリームを復号化できる。通常は、前記ビデオプレイヤーは、前記クライアントが要求したビデオストリームを表示するが、例えば前記ネットワークが混んでおり送信スピードが非常に遅い場合、前記クライアントプレイヤーはアップストリームサーバにネットワーク負担を軽くするために基層ビットストリームだけを送信するように通知できる。

映画クリップの処理後、場面変更情報およびキー・フレームが利用可能であり、これらは映画データベースに投入するに使用される。キーワードおよびキーフレームの視覚コンテンツは、興味のある映画を検索する索引として使用できる。人間の介入によりコンピュータ処理によって映画にキーワードを割り当ててもよい。例えば、映画は喜劇、ホラー、科学、歴史、音楽映画、またはその他に分類できる。例えば、色、テクスチャ、被写体などのキー・フレームの視覚コンテンツは、自動コンピュータ処理によって抽出できる。色およびテクスチャは比較的簡単に処理できるが、自然の場面から被写体を抽出するのはより困難な作業である。この実装プロセス（ｐｏｐｕｌａｔｉｏｎ ｐｒｏｃｅｓｓ）は自動的または半自動的にできるが、人間の操作者が介入してもよい。

実装の後、本発明の別の実施形態では、顧客が見たい映画を検索することができる。例えば、喜劇、ホラー、または科学映画など映画の種類を指定できる。また、好みの登場人物を有する映画、またはその他の望ましい性格を有する映画を見ることを選択できる。前記インテリジェント検索機能では、顧客が好みの映画をより短い時間内に見つけることができ、これは顧客にとって重要なことである。

マルチキャスティングもビデオストリーミングの機能となり得る。この機能は、複数ユーザが限られたネットワークのバンド幅を共有することを可能にする。マルチキャスティングが本発明の別の実施形態とともに使用できる複数のシナリオがある。第１の場合は放送番組で、同一コンテンツが複数の顧客に同時に送信される。第２の場合は、前以て選択された番組で、複数の顧客が同一番組をほぼ同時に見ることを選択することもできる。第３の場合は、複数の顧客が映画をオン・デマンドで注文する場合で、数人がほぼ同時に同じ映画を注文した場合である。マルチキャスティングでは、メディアサーバが、注文者の一人一人に１つのコピーを送信する代りに、符号化した映画の１つのコピーをグループの顧客に送信することを可能にする。このタイプの機能は、例えば、サーバの能力を増加させ、ネットワークのバンド幅を充分に利用できる。

当業者は、上記に特定された機能を提供するための、メディアサーバ、ウェブサーバ、およびクライアントプレイヤーのためのコンピュータシステムを設計する方法を容易に理解するであろう。

以下の表は、本発明の１つの実施形態で達成された圧縮能力の評価を示したものであり、ここでは２Ｍｂｐｓチャネルバンド幅が想定され、これらの試算は３０フレーム／秒で３２０ｘ２４０のフレームサイズに基づいている。

以下の表は、本発明の１つの実施形態に従ったシステム仕様を提供している。

本発明の実施形態をこのようにして説明したが、多くの方法で同様のことが変化することは明白なことであろう。このような変化は、本発明の精神および範囲からの逸脱とは見なされず、当業者にとって明白なこのようなすべての修正は、付随の請求の範囲に含まれるものである。

図１は、本発明の１つの実施形態に従った、ビデオ・オン・デマンドシステムのストリーミング配信の全体的な構造を図示したものである。 図２は、本発明の１つの実施形態に従った、ビデオ・オン・デマンドシステムのストリーミング配信のフロー図である。 図３は、本発明の１つの実施形態に従った、映画データベースとフィーチャーデータベースの生成を定義するブロック図である。 図４は、本発明の１つの実施形態に従った、ユーザアカウントモジュールの動作を定義したブロック図である。 図５は、本発明の１つの実施形態に従った、オンラインインテリジェント検索を定義したブロック図である。 図６は、本発明の１つの実施形態に従った、メディアサーバからクライアントプレイヤーに映画コンテンツを配信するプロセスを定義したブロック図である。 図７は、本発明の１つの実施形態に従った、メディアサーバとクライアントプレイヤー間のデータ通信のプロセスを定義したブロック図である。 図８は、本発明の１つの実施形態に従った、映画再生と制御機構を定義したブロック図である。 図９は、本発明の１つの実施形態に従った、ストリーミング・シーケンスを図示したものである。 図１０は、本発明の別の実施形態に従った、ストリーミング・シーケンスを図示したものである。 図１１は、本発明の別の実施形態に従った、ストリーミング・シーケンスを図示したものである。 図１２は、本発明の別の実施形態に従った、Ｉ−フレームからＳ−フレームを派生させるための方策を図示したものである。 図１３は、本発明の別の実施形態に従った、Ｐ−フレームからＳ−フレームを派生させるための方策を図示したものである。 図１４は、本発明の別の実施形態に従った、復号化においてＩ−フレームからＳ−フレームを派生させるための方策を図示したものである。 図１５は、本発明の別の実施形態に従った、復号化においてＰ−フレームからＳ−フレームを派生させるための方策を図示したものである。 図１６は、本発明の１つの実施形態に従った、ストリーミング・シーケンスを図示したもので、ストリーミング・シーケンスの符号化と復号化との間に索引シーケンスの生成を識別するものである。

Claims (15)

1. 選択されたビデオ信号の再生パラメータをユーザが修正できるようにするためのビデオ・オン・デマンドシステムであって、
   （ａ）前記選択されたビデオ信号を送信するためのメディアサーバであって、このメディアサーバは前記選択されたビデオ信号の送信中に検索可能なインデックスフレームの第１のシリーズを生成し、前記第１のシリーズをそこに格納するものである、前記メディアサーバと、
   （ｂ）前記選択されたビデオ信号を受信し、表示するためのクライアントプレイヤーであって、このクライアントプレイヤーは検索可能なインデックスフレームの第２のシリーズを生成してそこに格納し、前記クライアントプレイヤーはユーザからの前記再生パラメータの修正の要求を受け取ると前記第１のシリーズまたは前記第２のシリーズにアクセスしてそこから要求された検索可能なインデックスフレームを取得し、前記要求された検索可能なインデックスフレームは前記選択されたビデオ信号の表示のための新規開始点を提供し、前記メディアサーバと前記クライアントプレイヤーは通信網によって動作可能に接続されているものである、前記クライアントプレイヤーと
   を有するビデオ・オン・デマンドシステム。
2. 請求項１のビデオ・オン・デマンドシステムにおいて、このシステムは、さらに、
   前記メディアサーバに動作可能に連結しているビデオデータベースを有し、前記ビデオデータベースはユーザにより選択可能な複数のビデオを有するものである。
3. 請求項２のビデオ・オン・デマンドシステムにおいて、前記ビデオデータベース中の前記ビデオは符号化形式である。
4. 請求項２のビデオ・オン・デマンドシステムにおいて、このシステムは、さらに、
   前記メディアサーバに動作可能に連結しているフィーチャーデータベースを有し、前記フィーチャーデータベースは複数の引き出されたフィーチャーを有し、１若しくはそれ以上の前記複数の引き出されたフィーチャーは前記ビデオデータベース中の前記ビデオの１つと関連しているものである。
5. 請求項４のビデオ・オン・デマンドシステムにおいて、前記複数の引き出されたフィーチャーは、前記ユーザが、１若しくはそれ以上の前記複数の引き出されたフィーチャーによって示された望ましい基準に基づいて次に表示するビデオを検索し、特定する手段を提供するものである。
6. 請求項４のビデオ・オン・デマンドシステムにおいて、１若しくはそれ以上の前記複数の引き出されたフィーチャーは単語の一意名または画像の一意名である。
7. 請求項４のビデオ・オン・デマンドシステムにおいて、１若しくはそれ以上の前記複数の引き出されたフィーチャーは、前記ビデオデータベース中の前記ビデオの一部を表すムービークリップである。
8. 請求項４のビデオ・オン・デマンドシステムにおいて、このシステムは、さらに、
   前記ビデオのぞれぞれを符号化形式に符号化するためのビデオ制作モジュールを有するものである。
9. 請求項８のビデオ・オン・デマンドシステムにおいて、前記ビデオ制作モジュールは前記引き出されたフィーチャーをさらに生成するものである。
10. 請求項１のビデオ・オン・デマンドシステムにおいて、このシステムは、さらに、
    ユーザアクセスを制御する手段を提供するためのユーザアカウント管理モジュールを有するものである。
11. ビデオ・オン・デマンドシステムで選択されたビデオ信号の再生パラメータをユーザが修正できるようにするための方法であって、
    （ａ）メディアサーバとクライアントプレイヤー間の接続を構築する工程と、
    （ｂ）前記メディアプレイヤーによって、前記選択されたビデオ信号の要求を前記クライアントプレイヤーから受け取る工程と、
    （ｃ）前記メディアプレイヤーによって、前記選択されたビデオ信号を前記クライアントプレイヤーへ送信する工程と、
    （ｄ）前記メディアサーバによる送信中に検索可能なインデックスフレームの第１のシリーズを生成し、格納する工程と、
    （ｅ）前記クライアントプレイヤーによって、前記選択されたビデオ信号を受信し、表示する工程と、
    （ｆ）前記クライアントプレイヤーによる受信および表示中に検索可能なインデックスフレームの第２のシリーズを生成し、保存する工程と、
    （ｇ）前記クライアントプレイヤーによって、ユーザからの前記選択されたビデオ信号の再生パラメータ変更の要求を受け取る工程と、
    （ｈ）要求された検索可能なインデックスフレームの前記第１のシリーズまたは第２のシリーズを検索する工程であって、前記要求された検索可能なインデックスフレームは前記選択されたビデオ信号を表示する新規開始点を提供するものである、前記検索する工程と、
    （ｉ）前記新規開始点から前記選択されたビデオ信号を表示する工程と、
    （ｊ）前記選択されたビデオ信号の表示が完了した時点で、前記メディアサーバと前記クライアントプレイヤー間の前記接続を打ち切る工程と
    を有する方法。
12. 請求項１１の方法において、工程ｂの前に以下の工程、
    （ａａ）ユーザによってフィーチャーデータベースを検索する工程であって、前記フィーチャーデータベースは複数の引き出されたフィーチャーを有し、１若しくはそれ以上の前記複数の引き出されたフィーチャーはデータベースの複数のビデオのうちの１つと関連しているものである、前記検索する工程と、
    （ｂｂ）前記ユーザによって、前記１若しくはそれ以上の複数の引き出されたフィーチャーに基づいて前記ビデオデータベースから所望のビデオを選択する工程と、
    （ｃｃ）前記クライアントプレイヤーから前記選択された前記ビデオ信号の要求を送信する工程と
    を実行するものである。
13. 請求項１２の方法において、工程ａの前に、ユーザを認証する工程を実行するものである。
14. 請求項１３の方法において、前記ユーザを認証する工程の前に以下の工程、
    （ａ）次の送信用の複数のビデオを符号化する工程と、
    （ｂ）前記符号化されたビデオを前記ビデオデータベースに格納する工程と、
    （ｃ）前記複数のビデオのそれぞれに対して１若しくはそれ以上の引き出されたフィーチャーを特定する工程と、
    （ｄ）前記引き出されたフィーチャーを検索可能な形式で前記フィーチャーデータベースに保存する工程と
    を実行するものである。
15. 請求項１１の方法において、前記メディアサーバは複数のクライアントプレイヤーに接続しているものである。

Images