JP2007193690A - ストリームデータ配信システム、中継装置及び受信装置 - Google Patents

Abstract

【課題】中継装置の処理負荷を軽減することができるとともに、受信装置における再生遅延の発生を防止することができるストリームデータ配信システムを得ることを目的とする。
【解決手段】中継装置４が受信装置６から事前にデータの取得周期Ｔｐｕｌｌを示す情報を受信すると、取得周期Ｔｐｕｌｌのタイミングで、送信装置２から配信されたストリームデータの中から画像フレームを抽出してバッファ領域１６に格納し、受信装置６から取得周期Ｔｐｕｌｌのタイミングでデータの取得要求を受信すると、そのバッファ領域１６に格納されている画像フレームを受信装置６に配信する。
【選択図】図１

Description

この発明は、ストリームデータをプッシュ形式でストリーム配信する送信装置と、送信装置から配信されたストリームデータをプル形式で再配信する中継装置と、中継装置から再配信されたストリームデータを受信する受信装置とから構成されているストリームデータ配信システムに関するものである。
また、この発明は、ストリームデータ配信システムの一部を構成する中継装置及び受信装置に関するものである。

時刻の経過に沿って連続的に値を収集されたデータはストリームデータと呼ばれ、例えば、時刻に沿って周期的に画像フレームを撮影して得られる動画像や、周期的に振幅をサンプリングする音声はストリームデータである。その他にも、アニメーションや計測データなどもストリームデータであり、ストリームデータは多種存在する。
このようなストリームデータは、通常、一つ一つの値を時刻順に連続的に再生することで視聴される。
例えば、動画像であれば、時刻順に並んだ一枚一枚の画像フレームを連続再生することで視聴される。

近年、ネットワークインフラが整備され、ストリームデータをネットワーク経由で視聴する機会が増えている。
ネットワーク経由で視聴する場合においても、ストリームデータを保持する送信装置が一つ一つの値を時刻順に連続して受信装置に配信し、受信装置が一つ一つの値を順次再生することで視聴がなされる。
送信装置からストリームデータを受信装置に配信する配信方式としては、一般的に、サーバプッシュ形式とクライアントプル形式と呼ばれる二種類の方式がある。

サーバプッシュ形式は、送信装置が能動的にデータを配信する方式であり、送信装置が一旦ストリームデータの配信を開始すると、停止命令が発行されるまでストリームデータの配信を継続し、受信装置が送信装置から配信されるストリームデータを受信して再生を行う。
したがって、サーバプッシュ形式は、送信装置がストリームデータの配信タイミングを制御する送信側主導の配信方式である。
一方、クライアントプル形式は、受信装置がストリームデータの受信を希望する際に、逐一、ストリームデータの配信を送信装置に要求して収集する方式であり、受信側主導の配信方式である。

ところで、ネットワーク経由でストリームデータを配信する際、送信装置から直接ストリームデータが受信装置に届けられるのではなく、中継装置がストリームデータを中継することがよくある。
例えば、ルータやプロキシサーバ、あるいは、以下の特許文献１，２などに開示されているトランスコーダなどが中継装置に相当する。
ルータやプロキシサーバは、相互に異なるネットワーク間を繋ぐために設置されている機器であり、具体的には、受信したデータを別のネットワークにフォワードするために設置されている機器である。
一方、トランスコーダは、再配信先のネットワークや最終的な受信装置に合わせて、受信データを加工してから再配信する機器である。トランスコーダは、ヘッダだけでなく、受信データの中身まで解析して処理してから、処理後のデータを再配信する。

例えば、監視システムやＴＶ会議システムなどにおいては、ストリームデータである動画像をインターネット経由で配信し、受信装置ではＷＥＢブラウザを使用して動画像を視聴したいという要求がある。
このような場合、ストリームデータの配信プロトコルとしては、ファイアウォールを通過し易いＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）を使用できれば都合がよい。
ＨＴＴＰは、受信装置がＧＥＴコマンドでデータを指定して取得するクライアントプル形式のプロトコルであるため、送信装置がサーバプッシュ形式で動画像を配信している場合には、途中の中継装置がクライアントプル形式の配信となるように、データの配信方式を切り替える必要がある。

例えば、以下の特許文献３に開示されている中継装置では、送信装置からサーバプッシュ形式で配信されたストリームデータを受信すると、そのストリームデータをシーケンシャルなサブパーツに分割し、分割後のサブパーツを受信装置が参照することが可能なバッファに保存するようにしている。
受信装置は、ＨＴＴＰのようなクライアントプル形式のプロトコルで、バッファに保存されているサブパーツを逐次取得するようにしている。

この中継装置は、ストリームデータの配信方式を純粋にサーバプッシュ形式からクライアントプル形式に切り替えて、ストリームデータを再配信するものであるため、送信装置から配信されたストリームデータの全てを受信装置に再配信するようにしている。
また、この中継装置は、上述したように、ストリームデータをサブパーツに分割して受信装置に配信するが、サブパーツを配信するに先立ってストリームデータの属性情報を受信装置に送信するようにしている。
受信装置は、中継装置から配信されたストリームデータの属性情報を参照して、サブパーツを取得する。このため、ストリームデータの全てを受信する前の段階でも、既に受信しているサブパーツから徐々にストリームデータの再生を実施することができる。

特開２００２−３７４２９８号公報 特開２００５−４５６６６号公報 特表２００４−５０５３８４号公報

従来のストリームデータ配信システムは以上のように構成されているので、中継装置が送信装置からサーバプッシュ形式で配信された全てのストリームデータを処理対象にして、全てのストリームデータを再配信する。このため、受信装置におけるデータ取得が遅れると再生遅延を招き、例えば、映像監視のようなアプリケーションでは、ライブ映像のリアルタイム再生を実現することができない課題があった。
また、中継装置がストリームデータをサブパーツに分割して、分割後のサブパーツをバッファに保存する際、例えばデータ変換など、演算量が多い前処理が必要になると、全てのストリームデータを処理しきれずに、所望のサービスを提供することができなくなることがある課題があった。

この発明は上記のような課題を解決するためになされたもので、中継装置の処理負荷を軽減することができるとともに、受信装置における再生遅延の発生を防止することができるストリームデータ配信システムを得ることを目的とする。
また、この発明は、上記のようなストリームデータ配信システムの一部を構成する中継装置及び受信装置を得ることを目的とする。

この発明に係るストリームデータ配信システムは、中継装置が受信装置から事前にデータの取得周期を示す情報を受信すると、取得周期のタイミングで、送信装置から配信されたストリームデータの中からフレームデータを抽出してバッファに格納し、受信装置から取得周期のタイミングでデータの取得要求を受信すると、そのバッファに格納されているフレームデータを受信装置に配信するようにしたものである。

この発明によれば、中継装置が受信装置から事前にデータの取得周期を示す情報を受信すると、取得周期のタイミングで、送信装置から配信されたストリームデータの中からフレームデータを抽出してバッファに格納し、受信装置から取得周期のタイミングでデータの取得要求を受信すると、そのバッファに格納されているフレームデータを受信装置に配信するように構成したので、中継装置の処理負荷を軽減することができるとともに、受信装置における再生遅延の発生を防止することができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１によるストリームデータ配信システムを示す構成図であり、図において、カメラ１は動画像を撮影して、その動画像の画像データを連続的に送信装置２に送信する。
送信装置２はカメラ１から送信された画像データを符号化し、中継装置４から送信要求を受信すると、通信網３を介して、符号化後の画像データであるストリームデータをサーバプッシュ形式で中継装置４にストリーム配信する。ただし、ストリームデータの配信は、マルチキャスト配信でもユニキャスト配信でもよい。

中継装置４は送信装置２から配信されたストリームデータを受信し、そのストリームデータをクライアントプル形式で受信装置６に再配信する装置である。即ち、中継装置４は受信装置６から事前にデータの取得周期を示す情報を受信すると、その取得周期のタイミングで、送信装置２から配信されたストリームデータの中から画像フレーム（フレームデータ）を抽出してバッファに格納し、受信装置６から取得周期のタイミングでデータの取得要求を受信すると、通信網５を介して、そのバッファに格納されている画像フレームを受信装置６に配信する。
受信装置６は事前にデータの取得周期を示す情報を中継装置４に送信しておき、その取得周期のタイミングでデータの取得要求を中継装置４に送信することにより、その中継装置４から画像フレームを受信する。また、受信装置６は画像フレームを再生して動画像をモニタ７に表示する。

図２はこの発明の実施の形態１によるストリームデータ配信システムの中継装置を示す構成図であり、図において、メッセージ処理部１１は受信装置６から送信された送信要求メッセージを受信すると、その送信要求メッセージに含まれているカメラＩＤを参照して、そのカメラＩＤを有しているカメラ１が接続されている送信装置２を特定し、その送信要求メッセージを当該送信装置２に転送する一方、その送信装置２から返信された送信応答メッセージを受信装置６に転送する処理を実施する。また、メッセージ処理部１１は受信装置６から送信された送信要求メッセージと送信装置２から返信された送信応答メッセージを制御部１２に出力するとともに、受信装置６から送信された取得要求メッセージを受信すると、その取得要求メッセージを制御部１２に出力する処理も実施する。

制御部１２は受信部１３、生成画像判定部１４及び再配信部１７の処理内容を制御するものであり、具体的には、送信装置２から配信される動画像のストリームデータを受信することができるように、受信ポート及びＩＰアドレスなどを受信部１３に設定する。また、送信要求メッセージに含まれているデータの取得周期（または、取得頻度であるフレームレート）を生成画像判定部１４に通知する。さらに、取得要求メッセージで指定されている画像フレームを再配信部１７に通知する。
なお、メッセージ処理部１１及び制御部１２から取得周期情報受信手段が構成されている。
受信部１３は制御部１２の指示の下、送信装置２からサーバプッシュ形式でストリーム配信されるストリームデータを受信する処理を実施する。なお、制御部１２及び受信部１３からストリームデータ受信手段が構成されている。

生成画像判定部１４は制御部１２から通知されたデータの取得周期に基づいて動画像のストリームデータから抽出する画像フレームの選択規則（例えば、スキップする画像フレーム数やフレーム時刻など）を決定する。
再配信画像生成部１５は生成画像判定部１４により決定された選択規則にしたがって受信部１３により受信されたストリームデータの中から画像フレームを抽出し、その画像フレームの解像度や符号化方式などを変換することにより、その画像フレームを再配信に適しているデータに加工して、加工後の画像フレームをバッファ領域１６に格納する。
なお、生成画像判定部１４及び再配信画像生成部１５からフレームデータ抽出手段が構成されている。

バッファ領域１６は再配信画像生成部１５から出力された画像フレームを格納するメモリであり、メモリが満杯である場合には、最も古い画像フレームの上に新規の画像フレームを上書きする。なお、バッファ領域１６が１フレーム分しかなければ、常時上書き保存を実施する。
再配信部１７は制御部１２から取得要求メッセージで指定されている画像フレームの通知を受けると、バッファ領域１６から当該画像フレームを取得して、その画像フレームを受信装置６に配信する。なお、制御部１２及び再配信部１７からフレームデータ配信手段が構成されている。

図３はこの発明の実施の形態１によるストリームデータ配信システムの受信装置を示す構成図であり、図において、送信要求メッセージ送信部２１は動画像のストリームデータを受信するに先立って、事前にカメラＩＤ及びデータの取得周期を含む送信要求メッセージを中継装置４に送信する処理を実施する。なお、送信要求メッセージ送信部２１は取得周期情報送信手段を構成している。
送信応答メッセージ受信部２２は中継装置４により転送された送信応答メッセージを受信する処理を実施する。
取得要求メッセージ送信部２３は送信応答メッセージ受信部２２により受信された送信応答メッセージが「データ配信可能」である旨を示す場合、送信要求メッセージに含まれている取得周期のタイミングで、取得要求メッセージを中継装置４に送信する処理を実施する。
なお、送信応答メッセージ受信部２２及び取得要求メッセージ送信部２３から取得要求送信手段が構成されている。

画像フレーム受信部２４は取得要求メッセージ送信部２３から取得要求メッセージが中継装置４に送信されたことに伴って、中継装置４から配信される画像フレームを受信する処理を実施する。なお、画像フレーム受信部２４はフレームデータ受信手段を構成している。
動画像再生部２５は画像フレーム受信部２４により受信された画像フレームを再生して動画像をモニタ７に表示する処理を実施する。

図４はこの発明の実施の形態１によるストリームデータ配信システムの通信フローを示す通信シーケンス図である。
図５はこの発明の実施の形態１によるストリームデータ配信システムの送信装置における処理内容を示すフローチャートである。
また、図６はこの発明の実施の形態１によるストリームデータ配信システムの中継装置における処理内容を示すフローチャートであり、図７はこの発明の実施の形態１によるストリームデータ配信システムの受信装置における処理内容を示すフローチャートである。

次に動作について説明する。
まず、受信装置６の送信要求メッセージ送信部２１は、動画像のストリームデータを受信するに先立って、事前にカメラＩＤ及びデータの取得周期Ｔｐｕｌｌを含む送信要求メッセージを中継装置４に送信する。
図４では、Ｔｐｕｌｌ＝０．５［秒］の例を示しており、受信装置６が０．５秒毎に画像フレームの取得を希望している。

中継装置４のメッセージ処理部１１は、受信装置６から送信された送信要求メッセージを受信すると、その送信要求メッセージに含まれているカメラＩＤを参照して、そのカメラＩＤを有しているカメラ１が接続されている送信装置２を特定する。
図１の例では、通信網３には送信装置２が１台だけ接続されているが、通常、複数台の送信装置２が通信網３に接続されている。
中継装置４のメッセージ処理部１１は、複数台の送信装置２の中から送信要求メッセージを転送する対象の送信装置２を特定すると、その送信装置２に対して送信要求メッセージを転送する。
なお、中継装置４のメッセージ処理部１１は、その送信要求メッセージを制御部１２にも出力する。

送信装置２は、中継装置４から転送された送信要求メッセージを受信すると、現在、ストリームデータを配信できる状態にあるか否かを確認し、ストリームデータを配信できる状態にあれば、「データ配信可能」である旨を示す送信応答メッセージを中継装置４に返信する。
一方、ストリームデータを配信できる状態になければ、「データ配信不可能」である旨を示す送信応答メッセージを中継装置４に返信する。
例えば、送信要求メッセージに含まれているカメラＩＤに係るカメラ１が、現在、動画像を撮影していれば、現在、ストリームデータを配信できる状態にあると判断する。

中継装置４のメッセージ処理部１１は、送信装置２から返信された送信応答メッセージを受信し、その送信応答メッセージが「データ配信可能」である旨を示している場合、ストリームデータの受信準備を開始するために、その送信応答メッセージを制御部１２に出力する。
中継装置４の制御部１２は、メッセージ処理部１１から送信応答メッセージを受けると、送信装置２から配信される動画像のストリームデータを受信することができるようにするために、受信ポート及びＩＰアドレスなどを受信部１３に設定する。
また、制御部１２は、メッセージ処理部１１から先に出力された送信要求メッセージに含まれているデータの取得周期Ｔｐｕｌｌを生成画像判定部１４に通知する。

中継装置４のメッセージ処理部１１は、ストリームデータの受信準備が完了すると、ストリームデータの配信開始を指示する送信開始要求メッセージを送信装置２に送信する。
また、中継装置４のメッセージ処理部１１は、送信装置２から返信された送信応答メッセージを受信装置６に転送する。
受信装置６の送信応答メッセージ受信部２２は、中継装置４により転送された送信応答メッセージを受信する。

送信装置２は、中継装置４から送信された送信開始要求メッセージを受信すると、カメラ１から送信された画像データを符号化し、符号化後の画像データであるストリームデータをサーバプッシュ形式で中継装置４にストリーム配信する処理を開始する。
即ち、送信装置２は、中継装置４から送信された送信開始要求メッセージを受信すると、内部クロックを起動して（図５のステップＳＴ１）、ストリームデータの配信タイミングを管理する（ステップＳＴ３）。
送信装置２は、ストリームデータの配信タイミングになると、符号化後の画像データであるストリームデータを中継装置２に配信する（ステップＳＴ４）。
ストリームデータの配信タイミングは、実時間で動画再生が可能なタイミングであり、例えば、カメラ１により３０フレーム／秒で撮影された動画像であれば、１秒間に３０枚分の画像フレームを逐次配信する。
図８では、１秒間に３０枚分の画像フレーム（フレーム間隔３３ｍｓｅｃ）が配信されている例を示している。
なお、送信装置２は、中継装置４からストリームデータの配信停止要求を受信するまでの間（ステップＳＴ２）、ストリームデータの配信を繰り返し実施する（ステップＳＴ２，ＳＴ３）。

中継装置４の生成画像判定部１４は、制御部１２からデータの取得周期Ｔｐｕｌｌの通知を受けると、その取得周期Ｔｐｕｌｌに基づいて動画像のストリームデータから抽出する画像フレームの選択規則（例えば、スキップする画像フレーム数やフレーム時刻など）を決定する。
図８に示すように、送信装置２から１秒間に３０枚分の画像フレーム（フレーム間隔３３ｍｓｅｃ）が配信され、取得周期Ｔｐｕｌｌが１００ｍｓｅｃの場合、３フレームに１枚の画像を選択（２フレームスキップして１フレーム選択する）する規則を決定する。

中継装置４の受信部１３は、上記のようにして、送信装置２がストリームデータの配信を開始すると、先に制御部１２により設定された受信ポートから当該ストリームデータを受信する（図６のステップＳＴ１２）。
中継装置４の再配信画像生成部１５は、受信部１３がストリームデータを受信すると、生成画像判定部１４により決定された選択規則にしたがって、そのストリームデータの中から画像フレームを抽出する（ステップＳＴ１３）。
中継装置４の再配信画像生成部１５は、ストリームデータの中から画像フレームを抽出すると、その画像フレームの解像度や符号化方式などを変換することにより、その画像フレームを再配信に適しているデータに加工して、加工後の画像フレームをバッファ領域１６に格納する（ステップＳＴ１４）。
なお、中継装置４は、受信装置６からストリームデータの配信停止要求を受信するまでの間（ステップＳＴ１１）、ストリームデータの受信処理と格納処理を繰り返し実施する（ステップＳＴ１２〜ＳＴ１４）。

受信装置６の取得要求メッセージ送信部２３は、送信応答メッセージ受信部２２が中継装置４により転送された送信応答メッセージを受信すると、その送信応答メッセージが「データ配信可能」である旨を示す場合、内部クロックを起動して（図７のステップＳＴ３１）、画像フレームの取得周期Ｔｐｕｌｌのタイミングを管理する。
受信装置６の取得要求メッセージ送信部２３は、取得周期Ｔｐｕｌｌのタイミングになると（ステップＳＴ３３）、取得を希望する画像フレームの指定情報を含む取得要求メッセージを中継装置４に送信する（ステップＳＴ３４）。
なお、取得要求メッセージは、例えば、ＨＴＴＰのＧＥＴコマンドなどにより実現される。

中継装置４のメッセージ処理部１１は、受信装置６から送信された取得要求メッセージを受信すると（図６のステップＳＴ２２）、その取得要求メッセージを制御部１２に出力する。
中継装置４の制御部１２は、メッセージ処理部１１から取得要求メッセージに含まれている画像フレームの指定情報を参照して、その取得対象の画像フレームを再配信部１７に通知する。
中継装置４の再配信部１７は、制御部１２から取得対象の画像フレームの通知を受けると、バッファ領域１６から取得対象の画像フレームを取得して（ステップＳＴ２４）、その画像フレームを受信装置６に配信する（ステップＳＴ２５）。

受信装置６の画像フレーム受信部２４は、取得要求メッセージ送信部２３から取得要求メッセージが中継装置４に送信されたことに伴って、中継装置４から配信される画像フレームを受信する（図７のステップＳＴ３５）。
受信装置６の動画像再生部２５は、画像フレーム受信部２４が画像フレームを受信すると、その画像フレームを再生して動画像をモニタ７に表示する。
なお、受信装置６は、ストリームデータの配信停止要求を送信するまでの間（ステップＳＴ３２）、画像フレームの受信処理を繰り返し実施する（ステップＳＴ３３〜ＳＴ３５）。

以上で明らかなように、この実施の形態１によれば、中継装置４が受信装置６から事前にデータの取得周期Ｔｐｕｌｌを示す情報を受信すると、取得周期Ｔｐｕｌｌのタイミングで、送信装置２から配信されたストリームデータの中から画像フレームを抽出してバッファ領域１６に格納し、受信装置６から取得周期Ｔｐｕｌｌのタイミングでデータの取得要求を受信すると、そのバッファ領域１６に格納されている画像フレームを受信装置６に配信するように構成したので、中継装置４の処理負荷（例えば、再配信画像生成部１５における画像フレームの加工処理や、バッファ領域１６に対する画像フレームの書込み処理など）を軽減することができるとともに、受信装置６における再生遅延の発生を防止することができる効果を奏する。

即ち、この実施の形態１によれば、受信装置６からクライアントプル形式でデータの取得要求される取得周期Ｔｐｕｌｌが事前に中継装置４に伝えられているため、中継装置４では、送信装置２からサーバプッシュ形式で配信された全ての画像フレームを処理対象にして、再配信に適しているデータの加工処理を実施する必要がなく、その取得周期Ｔｐｕｌｌに合わせてデータの加工処理を実施すればよい。これにより、データの加工処理やバッファ領域１６に対する書込み処理を軽減することができる。

なお、この実施の形態１では、送信装置２がネットワークエンコーダであるものとして説明したが、例えば、送信装置２が動画像をハードディスクなどに記録し、要求に応じて、その動画像を配信する動画像サーバなどであってもよい。
また、この実施の形態１では、送信装置２が中継装置４からの要求に応じて動画像のストリームデータの配信を開始するものについて示したが、例えば、システムの起動と同時に、ストリームデータの配信を開始するようにしてもよく、配信開始の条件に依存するものではない。

図４の例では、送信装置２から配信されるストリームデータの配信タイミングが定周期であるものについて示したが、配信タイミングは符号化方式にも影響されるため、フレーム毎に定周期であるとは限らない。
また、送信装置２から配信されるストリームデータは動画像に限るものではなく、動画像以外のストリームデータを配信するようにしてもよい。
また、この実施の形態１では、中継装置４が取得周期Ｔｐｕｌｌのタイミングで、動画像のストリームデータから画像フレームを抽出するものについて示したが、送信要求メッセージに含まれている取得周期Ｔｐｕｌｌを送信装置２に送信し、ストリームデータが取得周期Ｔｐｕｌｌの画像フレームのみからなるように、送信装置２がストリームデータから画像を間引いて配信するようにしてもよい。

実施の形態２．
図９はこの発明の実施の形態２によるストリームデータ配信システムを示す構成図である。
上記実施の形態１における図１のストリームデータ配信システムでは、中継装置４が１台の受信装置６から送信要求メッセージ及び取得要求メッセージを受信して、画像フレームを受信装置６に配信するものについて示したが、この実施の形態２では、図９に示すように、中継装置４が複数台の受信装置６ａ，６ｂから同一の動画像に対する送信要求メッセージ及び取得要求メッセージを受信して、画像フレームを複数台の受信装置６ａ，６ｂに配信するようにしてもよい。

即ち、この実施の形態２では、複数台の受信装置６ａ，６ｂが取得要求する動画像が同一である場合、中継装置４が複数台の受信装置６ａ，６ｂから取得要求を受信しても、送信装置２から同一の動画像のストリームデータを複数回重複して受信するようなことはせずに、１回だけ受信するようにする。
そして、中継装置４は、複数台の受信装置６ａ，６ｂから事前に送信された各々の取得周期のタイミングで、同一の動画像のストリームデータの中から画像フレームを抽出してバッファ領域１６に格納する。
中継装置４は、複数台の受信装置６ａ，６ｂから各々の取得周期のタイミングで取得要求メッセージを受信すると、そのバッファ領域１６に格納されている画像フレームを当該受信装置６ａ，６ｂに配信する。
具体的には、以下の通りである。

例えば、受信装置６ａから事前に送信された取得周期Ｔｐｕｌｌが２００ｍｓｅｃ（６フレーム／秒）、受信装置６ｂから事前に送信された取得周期Ｔｐｕｌｌが１６６ｍｓｅｃ（５フレーム／秒）であり、送信装置２から配信される動画像のフレームレートが３０フレーム／秒であるとする。
この場合、中継装置４の再配信画像生成部１５は、図１０に示すように、受信装置６ａ向けの画像フレームとしては、６フレームに１枚だけ再配信用の画像フレームを抽出すればよい。また、受信装置６ｂ向けの画像フレームとしては、５フレームに１枚だけ再配信用の画像フレームを抽出すればよい。

したがって、送信装置２から配信される動画像のストリームデータの中から、実際に、中継装置４の再配信画像生成部１５が抽出してバッファ領域１６に書き込む必要がある画像フレームは、図１０の点線で囲まれている画像フレームのみになる。
図１０の例では、３０フレーム／秒のストリームデータのうち、実際に抽出されて加工される画像フレームは、１０フレーム／秒になり、１／３の量に減少する。

以上で明らかなように、この実施の形態２によれば、中継装置４が複数の受信装置６ａ，６ｂから事前にデータの取得周期を示す情報を受信すると、各々の取得周期のタイミングで、送信装置２から配信されたストリームデータの中から画像フレームを抽出してバッファ領域１６に格納し、複数の受信装置６ａ，６ｂから各々の取得周期のタイミングでデータの取得要求を受信すると、そのバッファ領域１６に格納されている画像フレームを当該受信装置６ａ，６ｂに配信するように構成したので、送信装置２と中継装置４間の通信帯域を節約することができるとともに、中継装置４の処理負荷を軽減することができる効果を奏する。

実施の形態３．
図１１はこの発明の実施の形態３によるストリームデータ配信システムを示す構成図である。
上記実施の形態１における図１のストリームデータ配信システムでは、中継装置４が送信装置２から配信されるストリームデータを受信し、そのストリームデータから画像フレームを抽出して受信装置６に配信するものについて示したが、この実施の形態３では、図１１に示すように、中継装置４が複数台の送信装置２ａ，２ｂから相互に異なる動画像のストリームデータを受信し、それらのストリームデータから画像フレームを抽出して受信装置６に配信するようにしてもよい。

即ち、この実施の形態３では、受信装置６が複数の動画像の取得を要求する場合、中継装置４が複数台の送信装置２ａ，２ｂから動画像のストリームデータを受信する。
そして、中継装置４は、受信装置６から事前に送信された複数のストリームデータに係る各々の取得周期のタイミングで、各々のストリームデータの中から画像フレームを抽出してバッファ領域１６に格納する。
中継装置４は、受信装置６から所定のタイミングでデータの一括取得要求を受信すると、そのバッファ領域１６に格納されている全ての画像フレームを受信装置６に一括配信する。
具体的には、以下の通りである。

この実施の形態３では、受信装置６が取得を希望する複数の動画像として、送信装置２ａが配信可能な動画像のストリームデータと、送信装置２ｂが配信可能な動画像のストリームデータであるとする。
また、受信装置６は、送信装置２ａ，２ｂから配信されるストリームデータの取得周期Ｔｐｕｌｌとして５００ｍｓｅｃを要求するものとする。

この場合、中継装置４の再配信画像生成部１５は、図１２に示すように、送信装置２ａから配信されたストリームデータを受信すると、５００ｍｓｅｃの取得周期Ｔｐｕｌｌのタイミングで、そのストリームデータの中から画像フレームを抽出してバッファ領域１６に格納する。
また、中継装置４の再配信画像生成部１５は、送信装置２ｂから配信されたストリームデータを受信した場合も、５００ｍｓｅｃの取得周期Ｔｐｕｌｌのタイミングで、そのストリームデータの中から画像フレームを抽出してバッファ領域１６に格納する。
これにより、中継装置４のバッファ領域１６には、相互に異なる動画像のストリームデータから抽出された画像フレームが蓄積される。

受信装置６は、各々の取得周期Ｔｐｕｌｌのタイミングでは、取得要求メッセージを中継装置４に送信せずに、ある程度の画像フレームが中継装置４のバッファ領域１６に溜まった段階で、データの一括取得要求を中継装置４に送信する。
データの一括取得要求を送信するタイミングとしては、例えば、各々の取得周期Ｔｐｕｌｌの最小公倍数や、各々の取得周期の中で最大の取得周期などが選択される。
図１２の例では、各々の取得周期Ｔｐｕｌｌが５００ｍｓｅｃで共通しているので、受信装置６が５００ｍｓｅｃの周期で、定期的にデータの一括取得要求を中継装置４に送信するようにしている。
例えば、一方の取得周期Ｔｐｕｌｌが２００ｍｓｅｃで、他方の取得周期Ｔｐｕｌｌが３００ｍｓｅｃであるように、各々の取得周期Ｔｐｕｌｌが異なっている場合、各々の取得周期Ｔｐｕｌｌの最小公倍数である６００ｍｓｅｃや、各々の取得周期Ｔｐｕｌｌの中で最大の取得周期である３００ｍｓｅｃが選択され、その周期で、定期的にデータの一括取得要求を中継装置４に送信する。

中継装置４は、受信装置６から送信されたデータの一括取得要求を受信すると、バッファ領域１６に溜まっている全ての画像フレームを受信装置６に一括配信する。
この際、複数の画像フレームが一括配信されてきても、受信装置６が各々の画像フレームを識別することができるようにするために、各画像フレームにヘッダを付けるなどして配信している。

以上で明らかなように、この実施の形態３によれば、中継装置４が受信装置６から事前に複数のストリームデータに対するデータの取得周期を示す情報を受信すると、各々の取得周期のタイミングで、送信装置２から配信された複数のストリームデータの中から画像フレームを抽出してバッファ領域１６に格納し、受信装置６から所定のタイミングでデータの一括取得要求を受信すると、そのバッファ領域１６に格納されている全ての画像フレームを受信装置６に一括配信するように構成したので、複数の動画像をクライアントプル形式で配信する場合でも、データ配信のオーバーヘッドを軽減することができる効果を奏する。

なお、この実施の形態３では、複数台の送信装置２ａ，２ｂが通信網３に接続されており、複数台の送信装置２ａ，２ｂがストリームデータを中継装置４に配信するものについて示したが、１台の送信装置２が同時に複数の動画像のストリームデータを中継装置４に配信することができる場合には、１台の送信装置２が複数のストリームデータを中継装置４に配信するようにしてもよい。
また、この実施の形態３では、画像フレームを格納するバッファ領域１６の構成について特に言及していないが、複数の送信要求毎にバッファ領域１６を備えてもよい。また、送信要求毎に区別して画像フレームを取り出せるなら、バッファ領域１６を１つにまとめてもよい。

実施の形態４．
図１３はこの発明の実施の形態４によるストリームデータ配信システムの中継装置を示す構成図であり、図において、図２と同一符号は同一または相当部分を示すので説明を省略する。
再配信状況管理部３１はバッファ領域１６に格納されている画像フレームの配信状況を監視し、例えば、バッファ領域１６に格納されている未配信の画像フレームの数が閾値を超えている場合や、最後に画像フレームを配信した時点から一定時間以上配信が行われていない場合、何らかの理由で受信装置６におけるデータ取得が滞っている可能性が高いと判断して、データ取得が滞っている旨を制御部３２に通知する。
また、再配信状況管理部３１は、その後、未配信の画像フレームの数が閾値を下回ったり、最後に画像フレームを配信した時点から一定時間以内に配信が行われたりすると、受信装置６におけるデータ取得が滞っていない旨を制御部３２に通知する。

制御部３２は図２の制御部１２と同様の処理を実施するほか、再配信状況管理部３１からデータ取得が滞っている旨の通知を受けると、バッファ領域１６のオーバーフローを防ぐため、ストリームデータの配信停止を要求する配信制御メッセージを作成し、その配信制御メッセージをメッセージ制御部１１経由で送信装置２に送信する。
また、制御部３２は、その後、再配信状況管理部３１からデータ取得が滞っていない旨の通知を受けると、ストリームデータの配信再開を要求する配信制御メッセージを作成し、その配信制御メッセージをメッセージ制御部１１経由で送信装置２に送信する。

次に動作について説明する。
上記実施の形態１〜３では、中継装置４の再配信部１７が制御部１２から取得対象の画像フレームの通知を受けると、バッファ領域１６から取得対象の画像フレームを取得して、その画像フレームを受信装置６に配信するものについて示したが、受信装置６が何らかの理由で取得要求パケットを中継装置４に送信できなくなると、中継装置４の再配信部１７が画像フレームを受信装置６に配信することができなくなり、その結果、バッファ領域１６のオーバーフローを招くことがある。
そこで、この実施の形態４では、次のようにして、バッファ領域１６のオーバーフローを防止している。

中継装置４の再配信状況管理部３１は、一定間隔で定期的にバッファ領域１６に格納されている画像フレームの配信状況を監視する。例えば、５秒おきに画像フレームの配信状況を監視する。
再配信状況管理部３１は、画像フレームの配信状況として、例えば、バッファ領域１６に格納されている未配信の画像フレームの数が閾値を超えている場合や、最後に画像フレームを配信した時点から一定時間以上配信が行われていない場合、何らかの理由で受信装置６におけるデータ取得が滞っている可能性が高いと判断して、データ取得が滞っている旨を制御部３２に通知する。

中継装置４の制御部３２は、再配信状況管理部３１からデータ取得が滞っている旨の通知を受けると、バッファ領域１６のオーバーフローを防ぐため、ストリームデータの配信停止を要求する配信制御メッセージを作成し、その配信制御メッセージをメッセージ制御部１１に出力する。
中継装置４のメッセージ制御部１１は、制御部３２から配信制御メッセージを受けると、その配信制御メッセージを送信装置２に送信する。
送信装置２は、中継装置４から配信停止を要求する配信制御メッセージを受信すると、ストリームデータの配信を一時的に停止する。

中継装置４の再配信状況管理部３１は、その後も、バッファ領域１６に格納されている画像フレームの配信状況を監視し、ストリームデータの配信が停止されたことにより、バッファ領域１６に格納されている未配信の画像フレームの数が閾値を下回った場合、あるいは、最後に画像フレームを配信した時点から一定時間以内に配信が行われた場合には、受信装置６におけるデータ取得が滞っていない旨を制御部３２に通知する。

中継装置４の制御部３２は、再配信状況管理部３１からデータ取得が滞っていない旨の通知を受けると、ストリームデータの配信再開を要求する配信制御メッセージを作成し、その配信制御メッセージをメッセージ制御部１１に出力する。
中継装置４のメッセージ制御部１１は、制御部３２から配信制御メッセージを受けると、その配信制御メッセージを送信装置２に送信する。
送信装置２は、中継装置４から配信再開を要求する配信制御メッセージを受信すると、ストリームデータの配信を再開する。

なお、中継装置４の制御部３２は、ストリームデータの配信が一時的に停止されてから、所定時間経過しても、再配信状況管理部３１からデータ取得が滞っていない旨の通知を受けない場合、ストリームデータの配信の完全終了を要求する配信制御メッセージを作成し、その配信制御メッセージをメッセージ制御部１１に出力する。
中継装置４のメッセージ制御部１１は、制御部３２から配信制御メッセージを受けると、その配信制御メッセージを送信装置２に送信する。
送信装置２は、中継装置４から配信の完全終了を要求する配信制御メッセージを受信すると、ストリームデータの配信を完全に終了する。

以上で明らかなように、この実施の形態４によれば、中継装置４が受信装置６に対する画像フレームの配信状況を監視し、その配信状況に応じて送信装置２におけるストリームデータの配信を制御するように構成したので、バッファ領域１６のオーバーフローを防止することができる効果を奏する。
なお、受信装置６が不意に受信処理を止めてしまっても、ある程度時間が経過して、バッファ領域１６における画像フレームの配信状況が改善しない場合には、ストリームデータの配信を完全に打ち切ることができるので、送信装置２との間でストリームデータの配信のコネクションが残ることがない。

この発明の実施の形態１によるストリームデータ配信システムを示す構成図である。 この発明の実施の形態１によるストリームデータ配信システムの中継装置を示す構成図である。 この発明の実施の形態１によるストリームデータ配信システムの受信装置を示す構成図である。 この発明の実施の形態１によるストリームデータ配信システムの通信フローを示す通信シーケンス図である。 この発明の実施の形態１によるストリームデータ配信システムの送信装置における処理内容を示すフローチャートである。 この発明の実施の形態１によるストリームデータ配信システムの中継装置における処理内容を示すフローチャートである。 この発明の実施の形態１によるストリームデータ配信システムの受信装置における処理内容を示すフローチャートである。 この発明の実施の形態１によるストリームデータ配信システムの中継装置が取り扱う画像フレームを示す説明図である。 この発明の実施の形態２によるストリームデータ配信システムを示す構成図である。 この発明の実施の形態２によるストリームデータ配信システムの中継装置が取り扱う画像フレームを示す説明図である。 この発明の実施の形態３によるストリームデータ配信システムを示す構成図である。 この発明の実施の形態３によるストリームデータ配信システムの中継装置が取り扱う画像フレームを示す説明図である。 この発明の実施の形態４によるストリームデータ配信システムの中継装置を示す構成図である。

符号の説明

１ カメラ、２，２ａ，２ｂ 送信装置、３ 通信網、４ 中継装置、５ 通信網、６，６ａ，６ｂ 受信装置、７，７ａ，７ｂ モニタ、１１ メッセージ処理部（取得周期情報受信手段）、１２ 制御部（取得周期情報受信手段、ストリームデータ受信手段、フレームデータ配信手段）、１３ 受信部（ストリームデータ受信手段）、１４ 生成画像判定部（フレームデータ抽出手段）、１５ 再配信画像生成部（フレームデータ抽出手段）、１６ バッファ領域、１７ 再配信部（フレームデータ配信手段）、２１ 送信要求メッセージ送信部（取得周期情報送信手段）、２２ 送信応答メッセージ受信部（取得要求送信手段）、２３ 取得要求メッセージ送信部（取得要求送信手段）、２４ 画像フレーム受信部（フレームデータ受信手段）、２５ 動画像再生部、３１ 再配信状況管理部、３２ 制御部（取得周期情報受信手段、ストリームデータ受信手段、フレームデータ配信手段）。

Claims (6)

1. ストリームデータをプッシュ形式でストリーム配信する送信装置と、上記送信装置から配信されたストリームデータを受信し、上記ストリームデータをプル形式で再配信する中継装置と、上記中継装置から再配信されたストリームデータを受信する受信装置とを備えたストリームデータ配信システムにおいて、上記中継装置は、上記受信装置から事前にデータの取得周期を示す情報を受信すると、上記取得周期のタイミングで、上記送信装置から配信されたストリームデータの中からフレームデータを抽出してバッファに格納し、上記受信装置から上記取得周期のタイミングでデータの取得要求を受信すると、上記バッファに格納されているフレームデータを上記受信装置に配信することを特徴とするストリームデータ配信システム。
2. 中継装置は、複数の受信装置から事前にデータの取得周期を示す情報を受信すると、各々の取得周期のタイミングで、送信装置から配信されたストリームデータの中からフレームデータを抽出してバッファに格納し、複数の受信装置から各々の取得周期のタイミングでデータの取得要求を受信すると、上記バッファに格納されているフレームデータを当該受信装置に配信することを特徴とする請求項１記載のストリームデータ配信システム。
3. 中継装置は、受信装置から事前に複数のストリームデータに対するデータの取得周期を示す情報を受信すると、各々の取得周期のタイミングで、送信装置から配信された複数のストリームデータの中からフレームデータを抽出してバッファに格納し、上記受信装置から所定のタイミングでデータの一括取得要求を受信すると、上記バッファに格納されている全てのフレームデータを上記受信装置に一括配信することを特徴とする請求項１記載のストリームデータ配信システム。
4. 中継装置は、受信装置に対するフレームデータの配信状況を監視し、上記配信状況に応じて送信装置におけるストリームデータの配信を制御することを特徴とする請求項１から請求項３のうちのいずれか１項記載のストリームデータ配信システム。
5. 送信装置からプッシュ形式でストリーム配信されるストリームデータを受信するストリームデータ受信手段と、受信装置から事前にデータの取得周期を示す情報を受信する取得周期情報受信手段と、上記取得周期情報受信手段により受信された情報が示す取得周期のタイミングで、上記ストリームデータ受信手段により受信されたストリームデータの中からフレームデータを抽出してバッファに格納するフレームデータ抽出手段と、上記受信装置から取得周期のタイミングでデータの取得要求を受信すると、上記バッファに格納されているフレームデータを上記受信装置に配信するフレームデータ配信手段とを備えた中継装置。
6. 事前にデータの取得周期を示す情報を中継装置に送信する取得周期情報送信手段と、上記取得周期のタイミングで、データの取得要求を上記中継装置に送信する取得要求送信手段と、データの取得要求に伴って上記中継装置から配信されるフレームデータを受信するフレームデータ受信手段とを備えた受信装置。

Images