JP2009100410A - データ配信装置及びデータ配信システム - Google Patents

Abstract

【課題】ＧＯＰ単位で映像データを切り換えることにより、乱れた映像が再生されてしまうことを防止する映像データ配信装置を提供すること目的とする。
【解決手段】映像データに関連付けられた付加情報を配信するデータ配信装置であって、符号化された映像データの再生可能な単位を示す区切情報に対応して、前記区切情報に関連した映像データに含まれる被写体の情報を示す付加情報を作成し、前記作成された付加情報を配信することを特徴とするデータ配信装置。
【選択図】図９

Description

本発明は、映像データを配信するデータ配信装置に関し、特に、映像データと映像データに関連付けられたメタデータを配信するデータ配信装置に関する。

ネットワーク技術の普及に伴って、インターネットプロトコルを用いて映像ストリームを送信する技術が開発されている。このような映像ストリームの送信技術には、ＩＰマルチキャストを用いて、リアルタイムに映像ストリームを配信する方式、映像ストリームをダウンロードして蓄積された映像データを再生する方式、等がある。また、映像データを符号化する方式としては、ＭＰＥＧ２を用いた方式が知られており、映像ストリームを配信する方式としては、ＲＴＰ／ＵＤＰを利用したＩＰマルチキャストを用いてリアルタイムにストリームを配信する方式が検討されている。

さらに、通信回線の広帯域化に伴って、複数の視点から撮影された映像を配信し、視聴者の希望に応じて映像を選択可能な映像配信システムが提案されている（例えば、特許文献１参照）。特許文献１に開示された映像配信装置は、映像フレーム毎に映像の内容を示す付加情報を生成し、生成された付加情報をもとに視聴者の好みに応じた映像ストリームを配信する。

また、複数の視点から撮影された複数の映像ストリームから、視聴者の好みに応じた映像ストリームを自動的に選択する映像提示装置が知られている（例えば、特許文献２参照）。この映像提示装置は、映像ストリームの映像フレーム毎に被写体の識別子を含むメタデータを利用して、視聴者の好みに応じた映像ストリームを自動的に選択する。

一方、ＭＰＥＧ２のようにフレーム間の類似性に基づいた予測を用いる映像符号化方式では、Ｉフレーム、Ｐフレーム及びＢフレームと呼ばれるフレームが存在する。

Ｉフレームは、フレーム間の予測を使わずに生成されるフレームで、単独で再生することが可能である。

Ｐフレームは、Ｉフレーム或いはＰフレームからの順方向の予測（前方予測）によって生成されるフレームである。具体的には、Ｐフレームは、時間的に前に存在するＩフレーム或いはＰフレームを用いて圧縮符号化されるフレームである。このため、Ｐフレームを復号化するためには、圧縮符号化に用いたＩフレーム或いはＰフレームが必要となる。

Ｂフレームは、時間的に前後に存在するＩフレームやＰフレームのデータを利用して圧縮符号化される。このため、Ｂフレームを復号化するためには、圧縮符号化に用いたＩフレームやＰフレームが必要となる。
特開２００３−１７９９０８号公報 特開２００４−３１２２０８号公報

ＭＰＥＧ２のようにフレーム間の類似性に基づいた予測を用いる映像符号化方式では、映像の再生に前後のフレームの情報を利用するため、Ｉフレームを基本に、Ｐフレーム及びＢフレームを複合化する必要がある。

ＭＰＥＧ２では、複数のフレームを一つのまとまりとして管理しており、このまとまりはＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ばれる。ＧＯＰは、Ｉフレーム、Ｐフレーム、及Ｂフレームを含み、映像の再生単位となる。

このため、Ｉフレームのデータから復号化されずに、Ｐフレーム又はＢフレームから復号化されると、映像データは正しく復号化されず、乱れた映像が再生されてしまう。

したがって、映像データがＭＰＥＧ２のようにフレーム間で依存する映像符号化方式によって符号化されている場合には、映像データは、ＧＯＰ単位で切り換えられなければならない。

しかし、特許文献１及び特許文献２に記載された技術では、映像フレーム毎にメタデータが生成されるので、ＧＯＰ単位で映像データを切り換えることができない。

また、メタデータを生成する対象のＧＯＰの映像以外のデータ（例えばセンサによって検出されたイベントデータ等）に基づいて、ＧＯＰ単位でメタデータを生成する場合、ＧＯＰの映像とイベントデータとが対応付けられていないため、イベントデータがどのＧＯＰに対応するかを特定しなければならない。

また、撮影された映像の符号化に必要な時間がＧＯＰの時間間隔より短い場合において、ＧＯＰ単位でメタデータを生成するため、ＧＯＰの基になるすべての映像データの入力待ちを行うと、符号化された映像データが、メタデータよりも先に配信されてしまうので、メタデータに基づいた映像データの切り換えができない。

さらに、複数のカメラによって撮影された多視点の映像データを表示する表示装置において、表示装置の画面の大きさ等が原因で、全ての視点の映像データを表示できない場合がある。

本発明は、ＧＯＰ単位で映像データを切り換えることにより、乱れた映像が再生されてしまうことを防止する映像データ配信装置を提供すること目的とする。

本発明の代表的な一例を示せば以下の通りである。すなわち、映像データに関連付けられた付加情報を配信するデータ配信装置であって、符号化された映像データの再生可能な単位を示す区切情報に対応して、前記区切情報に関連した映像データに含まれる被写体の情報を示す付加情報を作成し、前記作成された付加情報を配信することを特徴とする。

本発明の一実施形態によると、映像ストリームの再生可能な単位を示す区切情報に対応した映像の被写体の情報を示す付加情報が送信されるので、区切情報単位で映像データを切り換えることが可能であるので、乱れた映像が再生されてしまうことを防止できる。

＜第１の実施形態＞
図１は、本発明の第１の実施の形態の映像配信システムの構成を示すシステム構成図である。

第１の実施の形態の映像配信システムは、映像データを配信する映像配信装置１０Ａ〜１０Ｎ（以下、映像配信装置１０Ａ〜１０Ｎを総称する場合、映像配信装置１０という）、配信された映像データを受信し、受信した映像データを再生する映像受信装置３０、映像配信装置１０Ａ〜１０Ｎの間で時刻を同期する時刻管理装置４０及びネットワーク２０を備える。映像配信装置１０と映像受信装置３０は、ネットワーク２０を介して接続される。また、映像配信装置１０と時刻管理装置４０は、ＬＡＮ（Local Area Network）を介して接続される。

＜映像配信装置＞
まず、映像配信装置１０について説明する。

映像配信装置１０は、センサ１１、イベント管理部１２、ビデオカメラ１３及び映像・メタデータ管理部１４を備える。

センサ１１は、イベントを検出するセンサである。例えば、イベントは、ビデオカメラ１３によって撮影される被写体の情報である。被写体が個人を識別する識別子を発信するＲＦＩＤ（Radio Frequency Identification）を装着している場合、センサ１１は、ＲＦＩＤによって送信された識別子を受信するＲＦＩＤ受信装置である。これによって、センサ１１は、ビデオカメラ１３によって撮影されている被写体をイベントとして検出できる。

イベント管理部１２は、センサ１１によって検出されたイベントデータを管理する。イベント管理部１２は、図２で詳細を説明する。

映像・メタデータ管理部１４は、ビデオカメラ１３によって撮影された映像データ、及び映像データに関連付けられたメタデータを管理する。なお、映像・メタデータ管理部１４は、図５で詳細を説明する。

＜映像受信装置＞
次に、映像受信装置３０について説明する。

映像受信装置３０は、映像・メタデータ受信部３１、ＣＰＵ３２、メインメモリ３３、プログラム蓄積部３４、ストレージ３５、入力部３６、表示部３７及びバス３８を備える。映像・メタデータ受信部３１、ＣＰＵ（Central Processing Unit）３２、メインメモリ３３、プログラム蓄積部３４、ストレージ３５、入力部３６及び表示部３７は、バス３８によって接続される。

映像・メタデータ受信部３１は、映像配信装置１０によって配信された映像データ及びメタデータを受信するインタフェースである。

ＣＰＵ３２は、ＯＳ（Operating System）及び各種アプリケーションプログラムを実行する。メインメモリ３３は、ＣＰＵ３２が各種アプリケーションプログラムを実行する場合に必要となるデータを一次的に格納する。プログラム蓄積部３４は、ＣＰＵ３２によって実行される各種アプリケーションプログラムを格納する。

ストレージ３５は、受信したメタデータ及び映像データを格納する。ストレージ３５は、データを記憶可能な装置であれば、不揮発性の記憶装置であってもよいし、ディスク装置あってもよい。視聴者が視聴したい被写体の名称等が入力部３６から入力される。例えば、入力部３６はキーボード等である。表示部３７は、再生された映像データの映像を表示する。

＜時刻管理装置＞
次に、時刻管理装置４０について説明する。

時刻管理装置４０は、ＩＥＴＦ（Internet Engineering Task Force）標準であるＲＦＣ（Request for Comments）１３０５で開示されるＮＴＰ（Network Time Protocol）が実装された計算機である。

＜映像配信システムの動作＞
次に、映像配信システムの動作について説明する。

まず、複数の映像配信装置１０Ａ〜１０Ｎのイベント管理部１２及び映像・メタデータ管理部１４は、時刻管理装置４０と通信し、複数の映像配信装置１０Ａ〜１０Ｎ間で時刻を同期する。

次に、センサ１１は、イベント（被写体）を検出すると、イベント信号をイベント管理部１２へ伝達する。イベント管理部１２は、受信したイベント信号をイベントデータとして格納し、格納されたイベントデータを映像・メタデータ管理部１４に配信する。

ビデオカメラ１３は、被写体を撮影し、撮影された映像信号を映像・メタデータ管理部１４へ伝達する。映像・メタデータ管理部１４は、受信した映像信号を符号化して映像データを生成する。具体的には、映像・メタデータ管理部１４は、フレーム間の類似性に基づいた予測を用いるＭＰＥＧ形式を用いて受信した映像信号を符号化し、映像データ（ＭＰＥＧ２−ＴＳ（Transport Stream））を生成する。

そして、映像・メタデータ管理部１４は、生成されたＭＰＥＧ２−ＴＳから、ＧＯＰの先頭を示すグループスタートコード（１６進数表記で0x000001B8）を検出する。そして、映像・メタデータ管理部１４は、検出したグループスタートコードから始まるＧＯＰの映像データに関連付けられたイベントデータが、イベント管理部１２から配信されている場合には、このＧＯＰを配信するＲＴＰ（Real-time Transport Protocol）パケットのシーケンス番号と関連付けてメタデータを生成し、生成されたメタデータ及び生成された映像データを、映像受信装置３０へ配信する。

また、上記ＧＯＰ映像データを特定するにあたり、映像フレームのスタートコード（１６進数表記で0x00000100）及びピクチャー符号化タイプを利用し、ＧＯＰ先頭データを含むＴＳパケットを検出してもよい。

さらに、ＧＯＰ映像単位以外に、シーケンスヘッダコード（１６進数表記で0x000001B3）を用い、１つ以上のＧＯＰ映像データを持つシーケンス映像データ単位にメタデータを作成してもよい。

＜イベント管理部＞
次に、映像配信装置１０のイベント管理部１２について説明する。

図２は、本発明の第１の実施の形態のイベント管理部１２のブロック図である。

イベント管理部１２は、センサ情報受信部１２１、ＣＰＵ１２２、メインメモリ１２３、プログラム蓄積部１２４、ストレージ１２５、第１インタフェース１２６、第２インタフェース１２７及びバス１２８を備える。なお、センサ情報受信部１２１、ＣＰＵ１２２、メインメモリ１２３、プログラム蓄積部１２４、ストレージ１２５、第１インタフェース１２６及び第２インタフェース１２７は、バス１２８を介して接続される。

センサ情報受信部１２１は、センサ１１から伝達されるイベント信号を受信するインタフェースである。ＣＰＵ１２２は、ＯＳ及び各種アプリケーションプログラムを実行する。メインメモリ１２３は、ＣＰＵ１２２が各種アプリケーションプログラムを実行する場合に必要となるデータを一次的に格納する。プログラム蓄積部１２４は、ＣＰＵ１２２によって実行される各種アプリケーションプログラムを格納する。

ストレージ１２５は、受信したメタデータ及び映像データを格納する。ストレージ１２５は、データを記憶可能な装置であれば、不揮発性の記憶装置であってもよいし、ディスク装置あってもよい。

第１インタフェース１２６は、イベント管理部１２と同じ映像配信装置１０の映像・メタデータ管理部１４とを接続するためのインタフェースである。第２インタフェース１２７は、映像配信装置１０と時刻管理装置４０とをＬＡＮを介して接続するためのインタフェースである。

次に、イベント管理部１２の動作について説明する。

図３は、本発明の第１の実施形態のイベント管理処理のフローチャートである。イベント管理処理は、イベント管理部１２のＣＰＵ１２２によって実行される。

まず、イベント管理部１２は、プログラム蓄積部１２４に記憶されたイベント管理処理を実行するためのプログラムをＣＰＵ１２２にロードし、イベント管理処理を開始する（ステップ２００）。

次に、イベント管理部１２は、第２インタフェース１２７を介して時刻管理装置４０と通信し、時刻を同期する（ステップ２０１）。

そして、イベント管理部１２は、センサ１１からイベント信号を受信したか否かによって、センサ１１がイベントを検出したか否かを判定する（ステップ２０２）。

ステップ２０２の処理で、センサ１１がイベントを検出していないと判定された場合、ステップ２０２の処理に戻る。つまり、イベント管理部１２は、イベントが検出されるまで、イベントの検出を続ける。

一方、ステップ２０２の処理で、センサ１１がイベントを検出したと判定された場合、イベント管理部１２は、イベント信号を受信した時刻を取得することによって、センサ１１がイベントを検出した時刻を取得する（ステップ２０３）。

次に、イベント管理部１２は、センサ１１がイベントを検出した時刻と、センサ１１が検出したイベントの内容とを関連付けたイベントデータを生成し、生成したイベントデータをストレージ１２５に記憶する（ステップ２０４）。なお、イベントデータは、図４で詳細を説明する。

次に、イベント管理部１２は、ステップ２０４の処理で記憶されたイベントデータを映像・メタデータ管理部１４に配信する（ステップ２０５）。

そして、イベント管理部１２は、ステップ２０５の処理で伝達し終えたイベントデータをストレージ１２５から消去し（ステップ２０６）、ステップ２０２の処理に戻る。

図４は、本発明の第１の実施形態のストレージ１２５に記憶されたイベントデータの説明図である。

ストレージ１２５に記憶されたイベントデータは、イベント検出時刻４１及びイベントの内容４２を含む。

イベント検出時刻４１には、センサ１１がイベントを検出した時刻が登録される。イベントの内容４２には、センサ１１が検出したイベントの内容が登録される。具体的には、イベントの内容４２には、被写体に装着したＲＦＩＤが発信する識別子によって識別される被写体の人物名が登録される。

＜映像・メタデータ管理部＞
次に、映像・メタデータ管理部１４について説明する。

図５は、本発明の第１の実施形態の映像・メタデータ管理部１４のブロック図である。

映像・メタデータ管理部１４は、エンコーダ１４１、ＣＰＵ１４２、メインメモリ１４３、プログラム蓄積部１４４、ストレージ１４５と、第３インタフェース１４６、第４インタフェース１４７、第５インタフェース１４８及びバス１４９を備える。なお、エンコーダ１４１、ＣＰＵ１４２、メインメモリ１４３、プログラム蓄積部１４４、ストレージ１４５と、第３インタフェース１４６、第４インタフェース１４７及び第５インタフェース１４８は、バス１４９を介して接続される。

エンコーダ１４１は、ビデオカメラ１３から伝達される映像信号を圧縮符号化する。ＣＰＵ１４２は、ＯＳ及び各種アプリケーションプログラムを実行する。メインメモリ１４３は、ＣＰＵ１４２が各種アプリケーションプログラムを実行する場合に必要となるデータを一次的に記憶する。プログラム蓄積部１４４は、ＣＰＵ１４２によって実行される各種アプリケーションプログラムを記憶する。

ストレージ１４５は、受信したメタデータ及び映像データを記憶する。ストレージ１４５は、データを記憶可能な装置であれば、不揮発性の記憶装置であってもよいし、ディスクあってもよい。

第３インタフェース１４６は、映像・メタデータ管理部１４と同じ映像配信装置１０のイベント管理部１２とを接続するためのインタフェースである。第４インタフェース１４７は、映像配信装置１０と時刻管理装置４０とをＬＡＮを介して接続するためのインタフェースである。第５インタフェース１４８は、映像配信装置１０とネットワーク２０とを接続するためのインタフェースである。

図６は、本発明の第１の実施形態の撮影された映像の符号化に必要な時間がＧＯＰの時間間隔より短い場合におけるＧＯＰの映像データとイベントデータとの関係の説明図である。なお、図６の右方向が時間の経過を示す。

第１ＧＯＰ時間間隔５２１は、映像信号がエンコーダ１４１によって圧縮符号化されたＧＯＰ（１）の時間間隔を示す。同様に、第２ＧＯＰ時間間隔５２２はＧＯＰ（２）の時間間隔を示し、第３ＧＯＰ時間間隔５２３はＧＯＰ（３）の時間間隔を示す。

第１映像信号時間間隔５１１は、ＧＯＰ（１）が圧縮符号化される前の映像信号の時間間隔を示す。同様に、第２映像信号時間間隔情報５１２は、ＧＯＰ（２）が圧縮符号化される前の映像信号の時間間隔を示し、第３映像信号時間間隔情報５１３は、ＧＯＰ（３）が圧縮符号化される前の映像信号の時間間隔を示す。映像信号開始時刻５１０は、ＧＯＰ（１）の映像データの先頭が圧縮符号化される前の映像信号の開始時刻を示す。

図６では、エンコーダ１４１が映像信号を圧縮符号化するために必要な時間は、ＧＯＰ（１）の映像データの先頭の開始時刻５２０とＧＯＰ（１）の映像信号開始時刻５１０との差（５６０）である。以下、エンコーダ１４１が映像信号を圧縮符号化するために必要な時間を遅延時間Ｄｔ（Delay-time）という。

イベント発生時刻５３０は、センサ１１によって検出されたイベントが実際に発生した時刻、つまりセンサ１１がイベントを実際に検出した時刻を示す。また、イベント出現時刻５４０は、圧縮符号化された映像データのＧＯＰにおいて当該イベントが出現する時刻を示す。

図６に示すように、イベント出現時刻５４０は、イベント発生時刻５３０から遅延時間Ｄｔ分だけ遅れて出現する。

映像・メタデータ管理部１４は、ＧＯＰの映像データにおいて出現するイベントをすべて検出するために、このＧＯＰの映像データが圧縮符号化される前の映像信号のすべての時間間隔において発生したイベントを検出しなければならない。

このため、映像・メタデータ管理部１４は、圧縮符号化されたＧＯＰの映像データを配信する場合に、映像信号を圧縮符号化のための遅延時間を考慮して圧縮符号化された映像データを配信しなければならない。

具体的には、図６に示すように、撮影された映像の符号化に必要な時間がＧＯＰの時間間隔より短い場合には、映像・メタデータ管理部１４は、圧縮符号化されたＧＯＰの映像データをすぐに映像受信装置３０へ配信してしまうと、このＧＯＰの映像データが圧縮符号化される前の映像信号のすべての時間間隔において発生したイベントを検出できない。

例えば、第１ＧＯＰ時間間隔５２１の映像データに出現するイベントは、第１映像信号時間間隔５１１内に実際に発生する。したがって、第１ＧＯＰ時間間隔５２１の映像データに出現するすべてのイベントが検出されるためには、映像・メタデータ管理部１４は、イベント管理部１２が第１映像信号時間間隔５１１の終了時刻５５０までイベントを検出するまで待機して、ＧＯＰ（１）を配信しなければならない。

具体的には、第１映像信号時間間隔５１１の終了時刻５５０と圧縮符号化された映像データのＧＯＰ（１）の先頭が出力される時刻５２０との差分である時間間隔５７０（以後、待機時間Ｗｔ（Waiting-time）という）の時間だけ、映像・メタデータ管理部１４は、ＧＯＰ（１）の映像データの送信を待機する。そして、映像・メタデータ管理部１４は、第１映像信号時間間隔５１１の終了時刻５５０までに検出したイベントに基づいて、ＧＯＰ（１）とＧＯＰ（１）の映像データで出現するイベントとを関連付けたメタデータを送信した後に、ＧＯＰ（１）の映像データを送信する。これによって、映像受信装置３０は、受信したメタデータに基づいて、映像データを切り換えることができる。

以上をまとめると、遅延時間Ｄｔが、ＧＯＰの映像データの時間間隔（以後、Ｇｉ（GOP interval）という）より短い場合、映像・メタデータ管理部１４は、待機時間Ｗｔだけ、ＧＯＰの映像データの配信を待機するので、ＧＯＰの映像データを配信する前に、メタデータを配信できる。

一方、圧縮符号化された映像データのＧＯＰ（１）の先頭は、第１映像信号時間間隔５１１の終了時刻５５０の前の時刻５２０に出力されている。よって、イベント管理部１２が第１映像信号時間間隔５１１の終了時刻５５０までイベントを検出するまで待機せずに、映像・メタデータ管理部１４が、圧縮符号化された映像データを映像受信装置３０へ配信した場合には、ＧＯＰ（１）の映像データに出現するイベントをすべて検出する前に、ＧＯＰ（１）の映像データが配信されてしまう。

したがって、映像受信装置３０は、ＧＯＰの映像データで出現するイベントを把握できないため、映像データを正しく切り換えることができない。

したがって、ＧＯＰ（１）とＧＯＰ（１）の映像データで出現するイベントとを関連付けたメタデータが配信される前に、ＧＯＰ（１）の映像データが配信されるので、映像受信装置３０は、メタデータに基づいて映像データを切り換えることができない。なお、メタデータは、図８で詳細を説明する。

図７は、本発明の第１の実施形態の圧縮符号化された映像データを配信するＲＴＰパケット及びイベント管理データの構成を示す図である。

図７Ａは、本発明の第１の実施形態のＧＯＰの先頭を示すＧＯＰヘッダを含むＲＴＰパケット及びイベント管理データの構成を示す図である。

ＲＴＰパケットは、ＲＴＰヘッダ５１及びＲＴＰパケットのペイロードとしてのＭＰＥＧ２−ＴＳパケット（ＴＳパケット）５２〜５５を含む。

ＲＴＰヘッダ５１は、ＲＴＰパケットの連続性を示す識別子であるシーケンス番号を含んでいる。

ＴＳ−１パケット５２〜ＴＳ−７パケット５５には、映像データが格納される。なお、新たなＧＯＰが開始される場合、ＴＳ−１パケット５２には、ＧＯＰヘッダデータの先頭から格納される、ＧＯＰヘッダデータとして、グループスタートコード（Ｇ＿ＳＣ）及びタイムコード（Ｔｉｍｅ Ｃｏｄｅ）等を含む。なお、グループスタートコードは、当該ＲＴＰパケットが新たなＧＯＰの先頭を含んでいることを示す。

なお、ＴＳ−１発生時刻５６、イベント検出開始時刻５７及びイベント検出終了時刻５８は、図９に示すステップ４０６の処理でメインメモリ１４３に記憶されるデータであり、メタデータ作成のために用いられ、ＲＴＰデータとしては送信されない。

ＴＳ−１発生時刻５６には、ＧＯＰが検出された時刻（Ｔ０）、すなわち図６に示す開始時刻５２０を示すデータが格納される。

イベント検出開始時刻５７には、映像・メタデータ管理部１４が各ＧＯＰのイベントデータの検出を開始する時刻（Ｅｓ）、すなわち、映像信号開始時刻５１０（図６参照）を示すデータが格納される。具体的には、Ｅｓは、ＴＳ−１発生時刻５６が示す時刻（Ｔ０）から圧縮符号化のための遅延時間（Ｄｔ）を引いた時刻である。つまり、Ｅｓは、式（１）によって算出される。

Ｅｓ＝Ｔ０−Ｄｔ・・・（１）
イベント検出終了時刻５８には、映像・メタデータ管理部１４が各ＧＯＰのイベントデータの検出を終了する時刻（Ｅｅ）、すなわちＧＯＰ映像信号の終了時刻５５０（図６参照）を示すデータが格納される。具体的には、Ｅｅは、ＥｓにＧＯＰ時間間隔（Ｇｉ）を加算した時刻である。つまり、Ｅｅは式（２）によって算出される。

Ｅｅ＝Ｅｓ＋Ｇｉ＝Ｔ０−Ｄｔ＋Ｇｉ・・・（２）
図７Ｂは、本発明の第１の実施の形態のＧＯＰの先頭を示すＧＯＰヘッダを含まないＲＴＰパケットの構成を示す図である。

この場合のＲＴＰパケットは、ＲＴＰヘッダ６１及びＲＴＰパケットのペイロードとしてのＭＰＥＧ２−ＴＳパケット（ＴＳパケット）６２〜６５を含む。

なお、この場合のＲＴＰパケットは、ＴＳパケット６２にＧＯＰヘッダが格納されない点以外は、図７Ａに示すＲＴＰヘッダ５１及びＴＳパケット５２〜５５と同じであるので、説明を省略する。

図８は、本発明の第１の実施の形態の映像配信装置１０から映像受信装置３０へ配信されるメタデータの構成を示す図である。メタデータは、図９に示すステップ４１２の処理で生成される。

メタデータには、被写体情報６６、映像ストリーム識別子６７、シーケンス番号６８及びタイムコード６９が格納される。

被写体情報６６は、各ＧＯＰの映像データで発生するイベントの内容、具体的には、配信する映像データに含まれる被写体の名称（例えば、人物Ａ）を格納する。

映像ストリーム識別子６７は、一つのビデオカメラによって撮影された映像ストリームの一意な識別子を格納する。

シーケンス番号６８は、ＧＯＰヘッダを含むＲＴＰパケットのシーケンス番号を格納する。タイムコード６９は、ＧＯＰヘッダ内のタイムコードデータを格納する。

図９は、本発明の第１の実施の形態の映像・メタデータ管理処理のフローチャートである。なお、映像・メタデータ管理処理は、映像・メタデータ管理部１４のＣＰＵ１４２によって実行される。

まず、映像・メタデータ管理部１４は、プログラム蓄積部１４４に記憶した映像・メタデータ管理処理を実行するためのプログラムをＣＰＵ１４２にロードし、映像・メタデータ管理処理を開始する（ステップ４００）。

次に、映像・メタデータ管理部１４は、第４インタフェース１４７を介して時刻管理装置４０と通信し、時刻を同期する（ステップ４０１）。

そして、映像・メタデータ管理部１４は、配信される映像データのＲＴＰパケットが完成しているか否かを判定する（ステップ４０２）。具体的には、ＲＴＰパケットは最大７個のＴＳパケットをペイロードとして構成されるので、映像・メタデータ管理部１４は、ＲＴＰパケットにＴＳパケットが７個含まれているか否かを判定する。

ステップ４０２の処理で、ＲＴＰパケットが完成していないと判定された場合、このＲＴＰパケットはまだＴＳパケットを格納できるので、映像・メタデータ管理部１４は、エンコーダ１４１からＴＳパケットを読み込む（ステップ４０４）。

一方、ステップ４０２の処理で、ＲＴＰパケットが完成していると判定された場合、映像・メタデータ管理部１４は、完成しているＲＴＰパケットを映像受信装置３０に配信し（ステップ４０３）、新たなＲＴＰパケットを生成するために、ステップ４０４の処理に進み、エンコーダ１４１からＴＳパケットを読み込む。

ステップ４０３の処理では、映像データが圧縮符号化されるために必要な時間がＧＯＰの映像データの時間間隔よりも短い場合、映像受信装置３０がＲＴＰパケットをメタデータよりも先に受信することを防止する必要がある。このために、映像・メタデータ管理部１４は、一つのＧＯＰデータに対するメタデータを全て送信してから、映像データを伝送するＲＴＰパケットを配信する。具体的には、映像・メタデータ管理部１４は、ＧＯＰ映像データ（ＲＴＰパケット）を配信することを図６で説明した少なくともＷｔ時間以上待機する。

映像・メタデータ管理部１４は、イベント管理部１２がＧＯＰの映像データが圧縮符号化される前のＧＯＰ映像信号の時間間隔の終了時刻以降に、ＲＴＰパケットを送信する。よって、この待機時間中に、このＧＯＰ映像信号に関連付けられたメタデータが映像受信装置３０へ配信される。これによって、映像・メタデータ管理部１４は、メタデータを配信した後に、そのメタデータに関連したＧＯＰ映像データをＲＴＰパケットとして送信できる。

ステップ４０４の処理の実行後、映像・メタデータ管理部１４は、新たなＧＯＰが始まるとＲＴＰパケットを新たに生成するため、読み込んだＴＳパケットにＧＯＰの先頭を示すグループスタートコードが含まれるか否かを判定する（ステップ４０５）。

ステップ４０５の処理で、読み込んだＴＳパケットにグループスタートコードが含まれないと判定された場合、映像・メタデータ管理部１４は、完成していないＲＴＰパケットが存在するか否かを判定する（ステップ４１４）。

ステップ４１４の処理で、完成していないＲＴＰパケットが存在すると判定された場合、読み込んだＴＳパケットをこの完成していないＲＴＰパケットに格納できるので、読み込んだＴＳパケットを完成していないＲＴＰパケットのペイロードにパッキングし（ステップ４１５）、ステップ４０９の処理に進む。

一方、ステップ４１４の処理で、完成していないＲＴＰパケットが存在しないと判定された場合、読み込んだＴＳパケットを格納できるＲＴＰパケットが存在しないので、ＲＴＰパケットを新たに生成するために、ＲＴＰヘッダ５１を生成し（ステップ４１６）、読み込んだＴＳパケットを新たなＲＴＰパケットのペイロードにパッキングする（ステップ４１５）。

一方、ステップ４０５の処理で、読み込んだＴＳパケットにグループスタートコードが含まれていると判定された場合、映像・メタデータ管理部１４は、このグループスタートコードを検出した時刻（Ｔ０）をＴＳ−１発生時刻５６に格納する。また、映像・メタデータ管理部１４は、式（１）からイベント検出開始時刻（Ｅｓ）を算出し、算出した値をイベント検出開始時刻５７に格納し、式（２）からイベント検出終了時刻（Ｅｅ）を算出し、算出した値をイベント検出終了時刻５８に格納する。さらに、映像・メタデータ管理部１４は、ＲＴＰヘッダ５１を生成し、ステップ４０４の処理で読み込んだＴＳパケットを新たなＲＴＰパケットのペイロードにパッキングすることによって、新たなＲＴＰパケットを生成する（ステップ４０６）。

次に、映像・メタデータ管理部１４は、ステップ４０６の処理で生成された新たなＲＴＰパケット以外で完成していないＲＴＰパケットが存在するか否かを判定する（ステップ４０７）。

ステップ４０６の処理で生成された新たなＲＴＰパケット以外で完成していないＲＴＰパケットが存在するとステップ４０７の処理で判定された場合、この完成していないＲＴＰパケットは、以降の処理でＴＳパケットが格納されることはないため、この完成していないＲＴＰパケットを映像受信装置３０に配信し（ステップ４０８）、ステップ４０９の処理に進む。なお、ステップ４０８の処理では、映像・メタデータ管理部１４は、ステップ４０３の処理と同じく、圧縮符号化のための遅延時間がＧＯＰの映像の時間よりも短い場合、ＧＯＰ映像データ（ＲＴＰパケット）を配信することを図６で説明したＷｔ時間以上待機する。

一方、ステップ４０６の処理で生成された新たなＲＴＰパケット以外で完成していないＲＴＰパケットが存在しないとステップ４０７の処理で判定された場合、イベント管理部１２からイベントデータを受信したか否かを判定する（ステップ４０９）。

ステップ４０９の処理で、イベント管理部１２からイベントデータを受信したと判定された場合、映像・メタデータ管理部１４は、受信したイベントデータをストレージ１４５に記憶し（ステップ４１０）、ステップ４１１の処理に進む。

一方、ステップ４０９の処理で、イベント管理部１２からイベントデータを受信していないと判定された場合、映像・メタデータ管理部１４は、現在の時刻がイベント検出終了時刻に達しているか否かを判定する（ステップ４１１）。

ステップ４１１の処理で、現在の時刻がイベント検出終了時刻に達していると判定された場合、映像・メタデータ管理部１４は、現在処理中のＧＯＰの時間間隔で出現するすべてのイベントを検出しているので、メタデータを生成する（ステップ４１２）。

具体的には、映像・メタデータ管理部１４は、ストレージ１４５に記憶されたイベントデータを参照し、イベント検出時刻４１に登録された時刻を抽出する。そして、映像・メタデータ管理部１４は、抽出した時刻がイベント検出開始時刻（Ｅｓ）５６とイベント検出終了時刻（Ｅｅ）５７との間にある場合、すなわち検出したイベントが現在処理中のＧＯＰで出現するイベントである場合、抽出した時刻と同じエントリに含まれるイベントの内容４２に登録される人物の名称を抽出する。

そして、映像・メタデータ管理部１４は、抽出した人物の名称をメタデータの被写体情報６６に格納し、ＲＴＰパケットの宛先となる映像受信装置３０のＩＰアドレス及び宛先ポート番号を映像ストリーム識別子６７に格納し、現在処理中のＧＯＰ先頭のＲＴＰパケットのＲＴＰヘッダ５１に格納されるシーケンス番号をメタデータのシーケンス番号６８に格納し、ＴＳ−１パケットに格納されるタイムコードをタイムコード６９に格納することによって、ＧＯＰとイベントを関連付けるメタデータを生成する。

そして、映像・メタデータ管理部１４は、ステップ４１２の処理で生成したすべてのメタデータを映像受信装置３０へ配信し（ステップ４１３）、ステップ４０２の処理に戻り、ステップ４０６の処理で生成した新たなＲＴＰパケットが完成している場合、ステップ４０６の処理で生成した新たなＲＴＰパケットを映像受信装置３０へ配信する。

一方、現在の時刻がイベント検出終了時刻に達していないと判定された場合、ステップ４０２の処理に戻る。

次に、映像受信装置３０の処理動作を説明する。

図１０は、本発明の第１の実施の形態の映像表示処理のフローチャートである。なお、映像表示処理は、映像受信装置３０のＣＰＵ３２によって実行される。

また、図１１は、本発明の第１の実施の形態の映像受信装置３０の表示部３７に表示される表示画面７０の説明図である。

まず、図１１を用いて表示部３７に表示される表示画面７０について説明する。

表示画面７０には、メイン画面７１、第１サブ画面７２〜第３サブ画面７４及びキー情報指定部７５が表示される。

キー情報指定部７５には、視聴者が視聴を希望する人物の名称（キー情報）が指定される。

メイン画面７１には、キー情報と合致する映像データの映像が表示される。第１サブ画面７２〜第３サブ画面７４には、各映像配信装置１０から送信された各視点の映像が表示される。

第１サブ画面７２の左側には左スクロールボタン７６が表示され、第３サブ画面７４の右側には右スクロールボタン７７が表示される。

左スクロールボタン７６は、第１サブ画面７２〜第３サブ画面７４に表示されている映像を一つずつ左にスクロールさせて現在表示されていない映像を表示させるボタンである。

右スクロールボタン７７は、第１サブ画面７２〜第３サブ画面７４に表示されている映像を一つずつ右にスクロールさせて現在表示されていない映像を表示させるボタンである。

なお、メイン画面７１の上方には、メイン画面７１に対応する全画面表示ボタン７８が表示される。各サブ画面７２〜７４の上方には、各サブ画面７２〜７４に対応する視点固定ボタン８１〜８３、視点固定解除ボタン８４〜８６、及び全画面表示ボタン８７〜８９が表示される。

視点固定ボタン８１〜８３は、操作された視点固定ボタン８１〜８３に対応するサブ画面７２〜７４に表示されている映像を、左スクロールボタン７６又は右スクロールボタン７７が操作された場合であってもスクロールさせないようにするボタンである。

視点固定解除ボタン８４〜８６は、操作された視点固定解除ボタン８４〜８６に対応するサブ画面７２〜７４の視点固定を解除するボタンである。

全画面表示ボタン７８及び８７〜８９は、操作された全画面表示ボタン７８及び８７〜８９に対応するメイン画面７１及びサブ画面７２〜７４に表示されている映像を全画面表示するボタンである。

次に、映像表示処理を図１０を用いて説明する。

まず、映像受信装置３０は、プログラム蓄積部３４に記憶した映像表示処理を実行するプログラムをＣＰＵ３２にロードし、映像表示処理を開始する（ステップ３００）。

次に、映像受信装置３０は、映像・メタデータ受信部３１又は入力部３６を介してデータを受信したか否かを判定する（ステップ３０１）。

ステップ３０１の処理で、映像・メタデータ受信部３１又は入力部３６を介してデータを受信していないと判定された場合、ステップ３０１の処理を引き続き実行する。

一方、ステップ３０１の処理で、映像・メタデータ受信部３１又は入力部３６を介してデータを受信したと判定された場合、映像受信装置３０は、受信したデータが映像データであるか否かを判定する（ステップ３０２）。

ステップ３０２の処理で、受信したデータが映像データであると判定された場合、受信した映像データを再生し、表示部３７に表示する映像再生表示処理を実行する（ステップ３０３）。

映像再生処理について説明する。

映像再生処理は、どの映像データをメイン画面７１に表示させるかを選択して、映像データを再生する処理である。

具体的には、映像受信装置３０は、メタデータを参照し、メタデータに含まれる被写体情報６６に登録された被写体の名称とストレージ３５に記憶されたキー情報とを比較し、被写体情報６６にキー情報と一致する被写体の名称が登録された映像ストリーム識別子６７及びシーケンス番号６８を抽出する。そして、映像受信装置３０は、抽出したシーケンス番号６８によって特定されるＲＴＰパケットから始まるＧＯＰの映像データを選択し、選択した映像データを再生し、メイン画面７１に表示する。

また、抽出した映像ストリーム識別子６７、及びその他の映像ストリーム識別子６７を含むＲＴＰパケットの映像データを再生し、第１サブ画面７２〜第３サブ画面７４に表示する。

一方、ステップ３０２の処理で、受信したデータが映像データでないと判定された場合、受信したデータがメタデータであるか否かを判定する（ステップ３０４）。

ステップ３０４の処理で、受信したデータがメタデータであると判定された場合、受信したメタデータをストレージ３５に記憶する（ステップ３０５）。

ステップ３０４の処理で、受信したデータがメタデータでないと判定された場合、受信したデータが視点スクロール要求データであるか否かを判定する（ステップ３０６）。視点スクロール要求データは、図１１に示す第１サブ画面７２〜第３サブ画面７４に表示されている映像を一つずつスクロールさせて現在表示されていない映像を表示させることを要求するデータであって、左スクロールボタン７６又は右スクロールボタン７７が操作された場合に出力されるデータである。

ステップ３０６の処理で、受信したデータが視点スクロール要求データであると判定された場合、視点スクロール処理を実行する（ステップ３０７）。

左スクロールボタン７６が操作された場合、映像受信装置３０は、第１サブ画面７２に現在表示されている映像の表示を停止し、第２サブ画面７３に表示されている映像を第１サブ画面７２に表示する。また、映像受信装置３０は、第３サブ画面７４に表示されている映像を第２サブ画面７３に表示する。また、映像受信装置３０は、現在表示されていない映像であって次の表示順番の映像を第３サブ画面７４に表示する。

右スクロールボタン７７が操作された場合、映像受信装置３０は、第３サブ画面７４に現在表示されている映像の表示を停止し、第２サブ画面７３に表示されている映像を第３サブ画面７４に表示する。また、映像受信装置３０は、第１サブ画面７２に表示されている映像を第２サブ画面７３に表示する。また、映像受信装置３０は、現在表示されていない映像であって次の表示順番の映像を第１サブ画面７２に表示する。

一方、ステップ３０６の処理で、受信したデータが視点スクロール要求データでないと判定された場合、受信したデータが視点固定要求データであるか否かを判定する（ステップ３０８）。視点固定要求データは、各視点固定ボタン８１〜８３が操作された場合、操作された固定ボタン８１〜８３に対応するサブ画面７２〜７４に表示されている映像を、左スクロールボタン７６又は右スクロールボタン７７が操作された場合であってもスクロールさせないことを要求するデータである。

ステップ３０８の処理で、受信したデータが視点固定要求データであると判定された場合、視点固定処理を実行する（ステップ３０９）。

例えば、第１サブ画面７２に対応する視点固定ボタン８１が操作された場合、第１サブ画面７２に表示されている映像を変更しない。すなわち、固定ボタン８１が操作された場合において、左スクロールボタン７６又は右スクロールボタン７７が操作されると、第２サブ画面７３及び第３サブ画面７４に表示されている映像に対して、視点スクロール処理を実行する。

一方、ステップ３０８の処理で、受信したデータが視点固定要求データでないと判定された場合、受信したデータが視点固定解除データであるか否かを判定する（ステップ３１０）。視点固定解除データは、視点固定解除ボタン８４〜８６が操作された場合、操作された視点固定解除ボタン８４〜８６に対応するサブ画面７２〜７４の視点固定を解除するデータである。

ステップ３１０の処理で、受信したデータが視点固定解除要求データであると判定された場合、操作された視点固定解除ボタン８４〜８６に対応するサブ画面７２〜７４に視点固定解除処理を実行する（ステップ３１１）。

一方、ステップ３１０の処理で、受信したデータが視点固定解除要求データでないと判定された場合、受信したデータが全画面表示要求データであるか否かを判定する（ステップ３１２）。全画面表示要求データは、全画面表示ボタン７８及び８７〜８９が操作された場合、操作された全画面表示ボタン７８及び８７〜８９に対応するメイン画面７１及びサブ画面７２〜７４に表示されている映像を全画面表示するデータである。

ステップ３１２の処理で、受信したデータが全画面表示要求データであると判定された場合、操作された７８及び８７〜８９に対応するメイン画面７１及びサブ画面７２〜７４に全画面表示処理を実行する（ステップ３１３）。

一方、ステップ３１２の処理で、受信したデータが全画面表示要求データでないと判定された場合、受信したデータが全画面表示解除要求データであるか否かを判定する（ステップ３１４）。全画面表示解除要求データは、例えば、入力部３６の所定のキーが操作された場合、全画面表示処理を解除し、図１１に示す通常の表示状態に戻すことを要求するデータである。

ステップ３１４の処理で、受信したデータが全画面表示解除要求データであると判定された場合、全画面表示処理を解除し、図１１に示す通常の表示状態に戻す（ステップ３１５）。

一方、ステップ３１４の処理で、受信したデータが全画面表示解除要求データでないと判定された場合、受信したデータがキー入力データであるか否かを判定する（ステップ３１６）。キー入力データは、視聴者が入力部３６を介して入力し、視聴者の好みを示すデータである。本実施形態では、キー入力データは、例えば、視聴者が視聴を希望する人物の名称である。

ステップ３１６の処理で、受信したデータがキー入力データであると判定された場合、受信したキー入力データをストレージ３５に記憶する（ステップ３１７）。

一方、ステップ３１６の処理おいて、受信したデータがキー入力データでないと判定された場合、ステップ３０１の処理を実行する。

＜第１の実施形態の変形例１＞
図１２は、本発明の第１の実施形態の第１の変形例の撮影された映像の符号化に必要な時間がＧＯＰの時間間隔より長い場合におけるＧＯＰの映像データとイベントデータとの関係の説明図である。なお、図６と同じ構成は、図６と同じ番号を付し、説明を省略する。

図１２に示すように、エンコーダ１４１が映像信号を圧縮符号化するために必要な時間５６０は、ＧＯＰの映像信号時間間隔５１１よりも長いので、第１映像信号時間間隔５１１の終了時刻５５０以降に圧縮符号化されたＧＯＰが出力される。これにより、映像・メタデータ管理部１４は、ＧＯＰが出力される前にメタデータを作成でき、映像データを映像受信装置３０に待機せずに配信しても、映像データより先にメタデータを配信できる。

よって、圧縮符号化のための遅延時間がＧＯＰの映像の時間間隔よりも長い場合、映像・メタデータ管理部１４は、図９に示すステップ４０３及び４０８の処理で、ＲＴＰパケットを待機せずに送信してよい。

＜第１の実施形態の変形例２＞
第１の実施形態の第２の変形例では、センサ１１がイベントを検出するために要する遅延時間を考慮するものである。

図１３は、本発明の第１の実施形態の第２の変形例のストレージ１２５に記憶されたイベントデータを説明するための図である。なお、図４と同じ構成は、図４と同じ番号を付し、説明を省略する。

図４のイベントデータと図１３のイベントデータとで異なる点は、イベントの検出時刻の取得方法である。図４では、イベント管理部１２は、イベントがセンサ１１によって検出された時刻を取得し、取得した時刻をイベント検出時刻４１に登録する。

一方、図１３の取得方法は、センサ１１によるイベントの検出に大きな遅延が生じる場合に必要となる取得方法である。具体的には、イベント管理部１２は、イベントがセンサ１１によって検出された時刻からセンサ１１による検出遅延時間を減算した時刻を、４３及び４４に示すようにイベント検出時刻４１に登録する。

なお、センサ１１による検出遅延時間は、予めイベント管理部１２に設定される。また、このイベントデータは、第１の実施形態で説明した処理と同じ処理で利用できる。

これにより、センサ１１による検出遅延時間を考慮した、ＧＯＰとＧＯＰに関連するイベントデータとの対応を自動的に生成できる。

＜第２の実施形態＞
第１の実施形態では、イベント管理部１２は、イベントを検出するごとに、イベントデータを映像・メタデータ管理部１４へ送信したが、第２の実施形態では、映像・メタデータ管理部１４は、一つのＧＯＰの映像データの時間間隔内で出現するイベントの検出が終了した場合に、イベント配信要求データをイベント管理部１２へ送信し、イベント管理部１２は、イベント配信要求に基づいて、イベントデータを映像・メタデータ管理部１４へ送信する。

第２の実施形態を図１４及び図１５を用いて説明する。

図１４は、本発明の第２の実施形態のイベント管理部１２によって実行されるイベント管理処理のフローチャートである。なお、第２の実施形態のイベント管理処理のうち、図６に示す第１の実施形態のイベント管理処理と同じ処理は、図６と同じ番号を付与し、説明を省略する。

まず、イベント管理部１２は、図６に示すイベント管理処理と同じように、イベント開始処理を開始後（ステップ２００）、時刻を同期させる（ステップ２０１）。

そして、イベント管理部１２は、センサ１１がイベントを検出したか否かを判定する（ステップ２０７）。

ステップ２０７の処理で、センサ１１がイベントを検出したと判定された場合、図３に示すイベント管理処理と同じように、イベント管理部１２は、センサ１１がイベントを検出した時刻を取得し（ステップ２０３）、イベントデータを生成し、生成したイベントデータをストレージ１２５に記録し（ステップ２０４）、ステップ２０７の処理に戻る。

一方、ステップ２０７の処理で、センサ１１がイベントを検出していないと判定された場合、イベント管理部１２は、映像・メタデータ管理部１４から送信されたイベントデータ配信要求を受信したか否かを判定する（ステップ２０８）。

ステップ２０８の処理で、イベントデータ配信要求を受信したと判定された場合、イベント管理部１２は、ストレージ１２５に記録されているイベントデータを映像・メタデータ管理部１４へ配信する（ステップ２０５）。

そして、イベント管理部１２は、ステップ２０５の処理で伝達終了したイベントデータをストレージ１２５から消去し（ステップ２０６）、ステップ２０７の処理に戻る。

一方、ステップ２０８の処理で、イベントデータ配信要求を受信していないと判定された場合、ステップ２０７の処理に戻る。

これによって、イベント管理部１２は、映像・メタデータ管理部１４から送信されたイベントデータ送信要求を受信した場合に、生成されたイベントデータを映像・メタデータ管理部１４へ配信する。

図１５は、本発明の第２の実施形態の映像・メタデータ管理処理のフローチャートである。なお、第２の実施形態の映像・メタデータ管理処理のうち、図９に示す第１の実施形態の映像・メタデータ管理処理と同じ処理は、図９と同じ番号を付与し、説明を省略する。具体的には、図１５に示すステップ４００〜４０８の処理及びステップ４１４〜４１６の処理は、図９に示すステップ４００〜４０８の処理及びステップ４１４〜４１６の処理と同じなので説明を省略し、ステップ４１１〜４１３の処理及びステップ４２１〜４２３の処理について説明する。

映像・メタデータ管理部１４は、ステップ４０７の処理で完成していないＲＴＰパケットがあると判定された場合、ステップ４０８の処理でＲＴＰパケットを映像受信装置３０へ配信した後、又はステップ４１５の処理で読み込んだＴＳパケットを完成していないＲＴＰパケットのペイロードにパッキングした後、現在の時刻がイベント検出終了時刻に達しているか否かを判定する（ステップ４１１）。

ステップ４１１の処理で、現在の時刻がイベント検出終了時刻に達していると判定された場合、一つのＧＯＰの時間間隔内で発生するイベントの検出が終了しているので、映像・メタデータ管理部１４は、イベントデータ配信要求をイベント管理部１２へ送信する（ステップ４２１）。

そして、映像・メタデータ管理部１４は、イベント管理部１２から配信されたイベントデータを受信した否かを判定する（ステップ４２２）。映像・メタデータ管理部１４は、一つのＧＯＰの映像データの時間間隔で出現するイベントの検出が終了した後にイベントデータ配信要求を送信するので、イベント管理部１２から送信されるイベントデータは、一つのＧＯＰの映像データで出現する時間間隔内で出現するすべてのイベントデータである。

ステップ４２２の処理で、イベントデータを受信していないと判定された場合、ステップ４０２の処理に戻る。

一方、ステップ４２２の処理で、イベントデータを受信したと判定された場合、映像・メタデータ管理部１４は、受信したすべてのイベントデータをストレージ１４５に記憶する（ステップ４２３）。

そして、映像・メタデータ管理部１４は、ＧＯＰの映像データの時間間隔内で出現するイベントを示すメタデータを生成する（ステップ４１２）。

そして、映像・メタデータ管理部１４は、生成したメタデータを映像受信装置３０へ配信し（ステップ４１３）、ステップ４０２の処理に戻る。

第２の実施形態では、イベント管理部１２は、イベントデータ配信要求に基づいて、一つのＧＯＰの映像データの時間間隔で出現するすべてのイベントデータをまとめて映像・メタデータ管理部１４へ送信するので、イベントが発生するごとにイベントデータを映像・メタデータ管理部１４へ送信する場合よりも、イベント管理部１２の処理負荷を軽減できる。

＜第３の実施形態＞
第１の実施形態では、イベント管理部１２は、イベントを検出するごとに、イベントデータを映像・メタデータ管理部１４へ送信したが、第３の実施形態では、映像・メタデータ管理部１４は、予め設定された要求タイミングになると、イベントデータ配信要求をイベント管理部１２へ送信し、イベント管理部１２は、イベントデータ配信要求に基づいてイベントデータを映像・メタデータ管理部１４へ配信する。

第３の実施形態の映像・メタデータ管理処理を図１６を用いて説明する。なお、イベント管理処理は、第２の実施形態のイベント管理処理と同じであるので説明を省略する。

図１６は、本発明の第３の実施形態の映像・メタデータ管理処理のフローチャートである。なお、第３の実施形態の映像・メタデータ管理処理のうち、図９に示す第１の実施形態及び図１５に示す第２の実施形態の映像・メタデータ管理処理と同じ処理は、図９及び図１５と同じ番号を付与し、説明を省略する。具体的には、図１６に示すステップ４００〜４０８の処理及びステップ４１４〜４１６の処理は、図９及び図１５に示すステップ４００〜４０８の処理及びステップ４１４〜４１６の処理と同じなので説明を省略し、ステップ４３０〜４３５の処理について説明する。

映像・メタデータ管理部１４は、ステップ４０７の処理で完成していないＲＴＰパケットがあると判定された場合、ステップ４０８の処理でＲＴＰパケットを映像受信装置３０へ配信した後、又はステップ４１５の処理で読み込んだＴＳパケットを完成していないＲＴＰパケットのペイロードにパッキングした後、予め設定されたイベントデータ配信要求タイミングになったか否かを判定する（ステップ４３０）。

ステップ４３０の処理で、予め設定されたイベントデータ配信要求タイミングになっていないと判定された場合、ステップ４０２の処理に戻る。

一方、ステップ４３０の処理で、予め設定されたイベントデータ配信要求タイミングになったと判定された場合、映像・メタデータ管理部１４は、イベントデータ配信要求データをイベント管理部１２へ送信する（ステップ４３１）。

次に、イベント管理部１２は、イベントデータ配信要求を受信すると、イベントデータを送信するので、映像・メタデータ管理部１４は、イベントデータを受信したか否かを判定する（ステップ４３２）。

ステップ４３２の処理で、イベントデータを受信していないと判定された場合、ステップ４０２の処理に戻る。

一方、ステップ４３２の処理で、イベントデータを受信したと判定された場合、映像・メタデータ管理部１４は、受信したすべてのイベントデータをストレージ１４５に記憶する（ステップ４３３）。

そして、映像・メタデータ管理部１４は、受信したすべてのイベントデータに基づいて、メタデータを生成する（ステップ４３４）。

そして、映像・メタデータ管理部１４は、生成したメタデータを映像受信装置３０へ配信し（ステップ４３５）、ステップ４０２の処理に戻る。

第３の実施形態では、イベント管理部１２は、所定のタイミングの間に発生するすべてのイベントデータをまとめて映像・メタデータ管理部１４へ送信するので、イベントが発生するごとにイベントデータを映像・メタデータ管理部１４へ送信する場合よりも、イベント管理部１２の処理負荷を軽減できる。

＜第４の実施形態＞
第４の実施形態では、選択映像配信装置１は、視聴者の希望に適合するように映像データを選択し、選択された映像データを選択映像受信装置９０へ送信し、選択映像受信装置９０は、選択された映像データを再生する。

第４の実施形態を図１７〜図２０を用いて説明する。

図１７は、本発明の第４の実施形態の選択映像配信システムの構成を示すシステム構成図である。なお、図１７に示す選択映像配信システムの構成うち、図１に示す映像配信システムと同じ構成は、同じ番号を付与し、説明を省略する。

選択映像システムは、映像データを選択し、選択された映像データを配信する選択映像配信装置１、及び選択された映像データを再生する選択映像受信装置９０を備える。

選択映像配信装置１は、映像データ及びメタデータを映像選択部５へ配信する複数の映像配信部１０、複数の映像配信部１０の時刻を同期させる時刻管理部４０及び映像選択部５を備える。映像配信部１０、時刻管理部４０及び映像選択部５は、それぞれＬＡＮ等で接続されている。なお、映像配信部１０及び時刻管理部４０は、図１に示す映像配信装置１０及び時刻管理装置４０と同じであるので、説明を省略する。

映像選択部５は、視聴者の希望を示すキー情報を記憶するキー蓄積部１５と、複数の映像配信部１０から受信した複数の映像データから、視聴者のキー情報に適合する映像データを選択する映像選択処理実行部１６と、視聴者によって入力されたキー情報をネットワーク２０を介して受信する受信部１７と、選択された映像データを選択映像受信装置９０へ送信する送信部１８と、を備える。

次に、映像選択部５の動作処理について説明する。

まず、映像選択部５は、キー情報を受信部１７を介して受信し、受信したキー情報をキー蓄積部１５に記憶する。次に、映像選択部５は、映像配信部１０から受信したメタデータを記憶する。なお、メタデータは、図８に示す第１実施形態のメタデータと同じであり、検出されたイベント、及び当該イベントに対応して選択されるべき映像データの識別子を含む。

また、映像選択部５は、メタデータを参照し、メタデータに含まれる被写体情報６６に登録された被写体の名称とキー蓄積部１５に記憶されたキー情報とを比較し、被写体情報６６にキー情報と一致する被写体の名称が登録された映像ストリーム識別子６７及びシーケンス番号６８を抽出する。そして、映像選択部５は、抽出した映像ストリーム識別子６７及びシーケンス番号６８によって特定されるＲＴＰパケットから始まるＧＯＰの映像データを選択する。

例えば、キー情報が「人物Ａ」である場合、メタデータに含まれる被写体情報６６に「人物Ａ」が登録された映像データを選択する。

そして、映像選択部５は、選択された映像データを送信部１８から選択映像受信装置９０へ送信する。

次に、選択映像受信装置９０について説明する。

選択映像受信装置９０は、キー送信部９１、映像受信部９２、ＣＰＵ３２、メインメモリ３３、プログラム蓄積部３４、ストレージ３５、入力部３６、表示部３７及びバス３８を備える。キー送信部９１、映像受信部９２、ＣＰＵ３２、メインメモリ３３、プログラム蓄積部３４、ストレージ３５、入力部３６及び表示部３７は、バス３８によって接続される。なお、ＣＰＵ３２、メインメモリ３３、プログラム蓄積部３４、ストレージ３５、入力部３６及び表示部３７は、図１に示す映像受信装置３０と同じ構成であるので説明を省略する。

キー送信部９１は、入力部３６に入力されたキー情報を選択映像配信装置１へ送信するインタフェースである。映像受信部９２は、選択映像配信装置１から送信された映像データを受信するインタフェースである。

図１８は、本発明の第４の実施形態の選択映像配信システムの選択映像の送受信処理のシーケンス図である。

まず、選択映像受信装置３０に、キー情報が視聴者によって入力される（ステップ１５１）。次に、選択映像受信装置３０は、入力されたキー情報を選択映像配信装置１へ送信する（ステップ１５２）。

選択映像配信装置１は、選択映像受信装置９０から送信されたキー情報を受信し、受信したキー情報を記憶装置（図示省略）に記憶する（ステップ１５３）。

次に、選択映像配信装置１は、キー情報とメタデータの被写体情報６６に登録された被写体の名称とを比較し、複数の映像配信部１０から送信される複数の映像データから、キー情報と一致する被写体の名称に対応する映像データをＧＯＰ単位で選択する（ステップ１５４）。そして、選択映像配信装置１は、選択された映像データを選択映像受信装置９０へ送信する（ステップ１５５）。

選択映像受信装置９０は、選択された映像データを受信し、受信した映像データを再生する（ステップ１５６）。

図１９は、本発明の第４の実施形態の選択映像受信装置９０の表示部３７で表示される表示画面７０の説明図である。

表示画面７０には、選択された映像データが表示される再生画面７１、及び視聴者の希望を示すキー情報を入力するためのキー情報指定部７５が表示される。

図２０は、本発明の第４の実施形態の選択映像受信処理を示すフローチャートである。なお、映像表示処理は、選択映像受信装置９０のＣＰＵ３２によって実行される。

まず、選択映像受信装置９０は、プログラム蓄積部３４に格納した映像表示処理を実行するプログラムをＣＰＵ３２にロードし、映像表示処理を開始する（ステップ３３０）。

次に、選択映像受信装置９０は、キー情報が入力されたか否かを判定する（ステップ３３１）。

ステップ３３１の処理で、キー情報が入力されたと判定された場合、選択映像受信装置９０は、入力されたキー情報をストレージ３５に記憶し、入力されたキー情報を選択映像配信装置１へキー送信部９１から送信し（ステップ３３２）、ステップ３３１の処理に戻る。

一方、ステップ３３１の処理で、キー情報が入力されていないと判定された場合、選択映像受信装置９０は、選択された映像データを受信したか否かを判定する（ステップ３３３）。

ステップ３３３の処理で、選択された映像データを受信したと判定された場合、選択映像受信装置９０は、受信した選択された映像データを再生し、映像データを表示する（スッテプ３３４）。

一方、ステップ３３３の処理で、選択された映像データを受信していないと判定された場合、ステップ３３１の処理に戻る。

本発明の第６の実施形態によると、選択映像配信装置１が、複数の映像データから、視聴者が希望する映像データをＧＯＰ単位で選択するので、すべての映像データを選択映像受信装置９０へ送信しないので、ネットワーク２０の負荷が軽減される。

＜第５の実施形態＞
第５の実施形態では、映像受信装置３０が、複数の映像配信装置１０から配信された複数の映像データ及び映像データのＧＯＰごとの内容を示すメタデータをストレージ３５に記憶する。そして、映像受信装置３０は、メタデータを参照して、ストレージ３５に記憶している複数の映像データから、視聴者の希望に適合する映像データを選択して再生する。なお、第５の実施形態の映像配信システムの構成は、第１の実施形態の映像配信システムの構成と同じである。

図２１は、本発明の第５の実施形態の映像データ選択処理のフローチャートである。映像データ選択処理は、映像受信装置３０のＣＰＵ３２によって実行される。

まず、映像配信装置１０は、図１０に示す映像受信処理を実行し、受信したすべての映像データ及びメタデータをストレージ３５に記憶する（ステップ３５０）。次に、映像受信装置３０は、視聴者の希望にある映像再生を実行するための処理を開始する（ステップ３６０）。

次に、映像受信装置３０は、キー情報が入力されているか否かを判定する（ステップ３６１）。

ステップ３６１の処理で、キー情報が入力されていると判定された場合は、映像受信装置３０は、メタデータの被写体情報６６に登録された被写体の名称とキー情報とを比較し、キー情報と一致する被写体の名称が格納された被写体情報６６と同じエントリに含まれる映像ストリーム識別子６７及びタイムコード６９を抽出する。そして、抽出した映像ストリーム識別子６７及びタイムコードと一致するＲＴＰパケットから始まる映像データを、再生する映像データとして選択する（ステップ３６２）。

ステップ３６２の処理では、映像データがストレージ１４５に記憶されている場合、映像データが格納されたＲＴＰパケットにはシーケンス番号がないので、映像受信装置３０は、映像ストリーム識別子及びタイムコードを用いて、再生すべき映像データを選択する。

そして、映像受信装置３０は、ステップ３６２の処理で選択された映像データを再生し、ステップ３６１の処理に戻る。

一方、ステップ３６１の処理で、キー情報が入力されていないと判定された場合は、映像受信装置３０は、映像データを再生しているか否かを判定する（ステップ３６４）。

ステップ３６４の処理で、映像データを再生していないと判定された場合、ステップ３６１の処理に戻る。

一方、ステップ３６４の処理で、映像データを再生していると判定された場合、映像受信装置３０は、選択された映像データの再生を継続する（ステップ３６５）。

次に、映像受信装置３０は、映像データの再生を終了する時刻に達しているか否かを判定する（ステップ３６６）。

ステップ３６６の処理で、映像データの再生を終了する時刻に達していると判定された場合、映像受信装置３０は、映像データの再生を終了し（ステップ３６７）、ステップ３６１の処理に戻る。

一方、ステップ３６６の処理で、映像データ再生終了に達していないと判定された場合、ステップ３６１の処理に戻る。

第５の実施形態によると、映像受信装置２５は、ストレージ３５に記憶された複数の映像データから、視聴者が希望する映像データをＧＯＰ単位に選択して、選択された映像データを再生できる。

特許請求の範囲に記載した以外の本発明の観点の代表的なものとして、次のものがあげられる。

（１）複数の映像データを受信して再生する映像受信装置であって、受信した複数映像データから、視聴者によって指定された情報と合致する映像データを常に表示し、視聴者によって指定された情報と合致しない映像データをスクロール表示可能に再生することを特徴とする映像受信装置。

（２）複数の映像データを受信して再生する受信装置であって、前記受信装置は、前記複数の映像データに関連付けられた被写体の情報を示す付加情報を記憶し、再生を希望する被写体の情報を示す再生情報を受け付け、前記受け付けた再生情報と合致する付加情報に関連付けられた映像データを、前記受信した複数の映像データから選択し、前記選択された映像データを再生することを特徴とする受信装置。

本発明は、映像データを配信する映像配信システムに適用できる。

本発明の第１の実施の形態の映像配信システムの構成を示すシステム構成図である。 本発明の第１の実施の形態のイベント管理部のブロック図である。 本発明の第１の実施形態のイベント管理処理のフローチャートである。 本発明の第１の実施形態のストレージに記憶されたイベントデータの説明図である。 本発明の第１の実施形態の映像・メタデータ管理部１４のブロック図である。 本発明の第１の実施形態の撮影された映像の符号化に必要な時間がＧＯＰの時間間隔より短い場合におけるＧＯＰの映像データとイベントデータとの関係の説明図である。 本発明の第１の実施形態の圧縮符号化された映像データを配信するＲＴＰパケットの構成を示す図である。 本発明の第１の実施の形態の映像配信装置から映像受信装置へ配信されるメタデータの構成を示す図である。 発明の第１の実施の形態の映像・メタデータ管理処理のフローチャートである。 本発明の第１の実施の形態の映像表示処理のフローチャートである。 本発明の第１の実施の形態の映像受信装置の表示部に表示される表示画面の説明図である。 本発明の第１の実施形態の第１の変形例の撮影された映像の符号化に必要な時間がＧＯＰの時間間隔より長い場合におけるＧＯＰの映像データとイベントデータとの関係の説明図である。 本発明の第１の実施形態の第２の変形例のストレージに記憶されたイベントデータを説明するための図である。 本発明の第２の実施形態のイベント管理部によって実行されるイベント管理処理のフローチャートである。 本発明の第２の実施形態の映像・メタデータ管理処理のフローチャートである。 本発明の第３の実施形態の映像・メタデータ管理処理のフローチャートである。 本発明の第４の実施形態の選択映像配信システムの構成を示すシステム構成図である。 本発明の第４の実施形態の選択映像配信システムの選択映像の送受信処理のシーケンス図である。 本発明の第４の実施形態の選択映像受信装置の表示部で表示される表示画面７０の説明図である。 本発明の第４の実施形態の選択映像受信処理を示すフローチャートである。 本発明の第５の実施形態の映像データ選択処理のフローチャートである。

符号の説明

１ 選択映像配信装置
１０ 映像配信装置
１１ センサ
１２ イベント管理部
１３ ビデオカメラ
１４ 映像・メタデータ管理部
１５ キー蓄積部
１６ 映像選択処理実行部
１７ 受信部
１８ 送信部
２０ ネットワーク
３０ 映像受信装置
４０ 時刻管理装置
４１ イベント検出時刻
４２ 内容
６９ タイムコード
７０ 表示画面
７２ 第１サブ画面
７３ 第２サブ画面
７４ 第３サブ画面
７５ キー情報指定部
７６ 左スクロールボタン
７７ 右スクロールボタン
７８ 全画面表示ボタン
８１ 視点固定ボタン
８４ 視点固定解除ボタン
８７ 全画面表示ボタン
９０ 選択映像受信装置
９１ キー送信部
９２ 映像受信部

Claims (20)

1. 映像データに関連付けられた付加情報を配信するデータ配信装置であって、
   符号化された映像データの再生可能な単位を示す区切情報に対応して、前記区切情報に関連した映像データに含まれる被写体の情報を示す付加情報を作成し、
   前記作成された付加情報を配信することを特徴とするデータ配信装置。
2. 前記データ配信装置は、
   前記映像データの区切情報を検出し、
   前記検出された区切情報に関連した映像データに含まれる被写体の情報を検出し、
   前記検出された区切情報を含むパケットの識別子と、そのパケットに含まれる区切情報に関連した映像データに含まれる被写体の情報とを関連付けた付加情報を作成することを特徴とする請求項１に記載のデータ配信装置。
3. 前記検出された区切情報に関連した全ての付加情報が作成された後に、前記作成された付加情報を配信することを特徴とする請求項１に記載のデータ配信装置。
4. 前記検出された区切情報に関連した各付加情報が作成されたときに、前記作成された各付加情報を配信することを特徴とする請求項１に記載のデータ配信装置。
5. 前記パケットの識別子は、ＲＴＰパケットのシーケンス番号であることを特徴とする請求項２に記載のデータ配信装置。
6. 前記データ配信装置は、前記区切情報に関連した付加情報を全て配信した後、その区切情報に関連した映像データが配信されるように、当該区切情報に関連した映像データの配信を遅延させることを特徴とする請求項１に記載のデータ配信装置。
7. 前記データ配信装置は、
   被写体を検出するセンサをさらに備え、
   前記センサによって検出された被写体の情報と、前記センサがその被写体の情報を検出した時刻と、を対応して保持し、
   前記区切情報を検出した時刻、撮影された映像の符号化に必要な時間、及び前記検出された区切情報に関連した映像データの時間間隔から、前記検出された区切情報に関連した映像データが符号化される前の映像データの時間間隔を算出し、
   前記センサが被写体の情報を検出した時刻が、前記区切情報に関連した映像データが符号化される前の映像データの時間間隔内である場合に、前記センサによって検出された被写体の情報を、前記検出された区切情報に関連した映像データに含まれる被写体の情報とする付加情報を作成することを特徴とする請求項１に記載のデータ配信装置。
8. 前記データ配信装置は、撮影された映像の符号化に必要な時間が前記区切情報に関連した映像データの時間間隔より短い場合には、前記区切情報に関連した映像データの時間間隔から符号化に必要な時間を減じた時間以上の時間、前記区切情報に関連した映像データの配信を遅延させることを特徴とする請求項１に記載のデータ配信装置。
9. 映像データを配信する映像配信装置と、
   前記映像データに関連付けられた被写体の情報を示す付加情報を配信する付加情報配信装置と、を備えるデータ配信システムにおいて、
   前記付加情報配信装置は、
   前記符号化された映像データの再生可能な単位を示す区切情報に対応して、前記前記区切情報に関連した映像データに含まれる被写体の情報を示す付加情報を作成し、
   前記作成された付加情報を配信することを特徴とするデータ配信システム。
10. 前記付加情報配信装置は、
    前記映像データの区切情報を検出し、
    前記検出された区切情報に関連した映像データに含まれる被写体の情報を検出し、
    前記検出された区切情報を含むパケットの識別子と、そのパケットに含まれる区切情報に関連した映像データに含まれる被写体の情報を示す付加情報を作成することを特徴とする請求項９に記載のデータ配信システム。
11. 前記付加情報配信装置は、前記検出された区切情報に関連した全ての付加情報が作成された後に、前記作成された付加情報を配信することを特徴とする請求項９に記載のデータ配信システム。
12. 前記付加情報配信装置は、前記検出された区切情報に関連した各付加情報が作成されたときに、前記作成された各付加情報を配信することを特徴とする請求項９に記載のデータ配信システム。
13. 前記付加情報配信装置は、前記パケットの識別子は、ＲＴＰパケットのシーケンス番号とすることを特徴とする請求項１０に記載のデータ配信システム。
14. 前記映像配信装置は、前記付加情報配信装置が前記区切情報に関連した付加情報を全て配信した後、その区切情報に関連した映像データが配信されるように、当該区切情報に関連した映像データの配信を遅延させることを特徴とする請求項９に記載のデータ配信システム。
15. 前記データ配信システムは、
    被写体を検出するセンサをさらに備え、
    前記付加情報配信装置は、
    前記センサによって検出された被写体の情報と、前記センサがその被写体の情報を検出した時刻と、を対応して保持し、
    前記区切情報を検出した時刻、撮影された映像の符号化に必要な時間、及び前記検出された区切情報に関連した映像データの時間間隔から、前記検出された区切情報に関連した映像データが符号化される前の映像データの時間間隔を算出し、
    前記センサが被写体の情報を検出した時刻が、前記区切情報に関連した映像データが符号化される前の映像データの時間間隔内である場合に、前記センサによって検出された被写体の情報を、前記検出された区切情報に関連した映像データに含まれる被写体の情報とする付加情報を作成することを特徴とする請求項９に記載のデータ配信システム。
16. 前記付加情報配信装置は、撮影された映像の符号化に必要な時間が前記区切情報に関連した映像データの時間間隔より短い場合には、前記区切情報に関連した映像データの時間間隔から符号化に必要な時間を減じた時間以上の時間、前記区切情報を含む映像データの配信を遅延させることを特徴とする請求項９に記載のデータ配信装置。
17. 前記映像配信装置は、複数の映像データを配信し、
    前記付加情報配信装置は、前記複数の映像データに関連付けられた被写体の情報を示す付加情報を配信し、
    前記データ配信システムは、前記映像配信装置によって配信される複数の映像データ及び前記付加情報配信装置によって配信される付加情報を受信する受信装置をさらに備え、
    前記受信装置は、
    再生を希望する被写体の情報を示す再生情報を受け付け、
    前記受け付けた再生情報と合致する付加情報に関連付けられた映像データを、前記受信した複数の映像データから、前記区切情報に関連した映像データ単位で選択し、
    前記選択された映像データを再生することを特徴とする請求項９に記載のデータ配信システム。
18. 前記映像配信装置は、複数の映像データを配信し、
    前記付加情報配信装置は、前記複数の映像データに関連付けられた被写体の情報を示す付加情報を配信し、
    前記データ配信システムは、前記映像配信装置によって配信される複数の映像データ及び前記付加情報配信装置によって配信される付加情報を受信する受信装置をさらに備え、
    前記受信装置は、
    前記受信した複数の映像データ及び前記受信した付加情報を記憶し、
    再生を希望する被写体の情報を示す再生情報を受け付け、
    前記受け付けた再生情報と合致する付加情報に関連付けられた映像データを、前記記憶されている複数の映像データから、前記区切情報に関連した映像データ単位で選択し、
    前記選択された映像データを再生することを特徴とする請求項９に記載のデータ配信システム。
19. 前記映像配信装置は、複数の映像データを配信し、
    前記付加情報配信装置は、前記複数の映像データに関連付けられた被写体の情報を示す付加情報を配信し、
    前記映像配信装置は、
    前記付加情報を受信し、
    再生を希望する被写体の情報を示す再生情報を受け付け、
    前記受け付けた再生情報と合致する付加情報に関連付けられた映像データを、前記複数の映像データから、前記区切情報に関連した映像データ単位で選択し、
    前記選択された映像データを配信することを特徴とする請求項９に記載のデータ配信システム。
20. 前記データ配信システムは、前記映像配信装置の時刻及び前記付加情報配信装置の時刻を同期する時刻同期装置をさらに備えることを特徴とする請求項９に記載のデータ配信システム。

Images