JP2006018972A - メタデータ生成装置及びメタデータ生成プログラム - Google Patents

Abstract

【課題】 番組映像に対してリアルタイムに高精度なリソースのメタデータを生成する。
【解決手段】 複数のリソースのうち実際に番組として出力されるリソースのメタデータを生成するメタデータ生成装置において、時刻情報を取得する時刻情報取得手段と、前記番組に出力されるリソースの切替情報を取得する切替情報取得手段と、前記時刻情報、前記切替情報、前記リソースに対して予め設定されるリソース情報に基づいてリソースメタデータを生成するリソースメタデータ生成手段とを有することにより、上記課題を解決する。
【選択図】 図３

Description

本発明は、メタデータ生成装置及びメタデータ生成プログラムに係り、特に、番組に対してリアルタイムに高精度なリソースのメタデータを生成するためのメタデータ生成装置及びメタデータ生成プログラムに関する。

従来、制作された番組の一部をすばやく検索し他の番組でも利用できるようにするため、番組の特徴を示すメタデータを生成している。このメタデータを生成する場合には、最初にカメラやＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｒｄｅｒ）等により得られるリソース（映像、音声等）から、映像の切り替わりを検出してショット（映像区間）を作成し、そこに関連する情報を生成して付与することが行われている。

このように、リソースの切替わりの情報を正確に保持することは重要であり、これまでは放送後の映像に対して映像解析処理等を行う、又は人手による作業が行われている。また、このリソース切替わりの点の検出は、既に公知となっている映像解析処理が用いられている（例えば、特許文献１、特許文献２参照。）。

また、番組中のスロー再生シーン（リプレイシーン）の抽出については、特許文献１又は特許文献２等に示すような映像解析処理を用いて映像の変化等の特徴を利用したものの他にも、例えば「スロー再生」等の文字スーパー情報を利用するものや、スロー再生シーンの前後の境界パターンを検出する手法が提案されている（例えば、非特許文献１参照。）。

更に、番組内の映像を時間的に遡って同じ特徴を有する映像部分を検索してスロー再生部分の元となった映像を抽出する手法が提案されている（例えば、非特許文献２参照。）。

ここで、番組中におけるスロー再生シーンは、番組制作者が意図的にその部分を視聴者に詳しく見せるために用いられることが多く、そのスロー映像やその事象が起こった元の映像部分は、ダイジェスト番組や要約番組の候補となり、２次利用、３次利用されることが多い。この部分に「スロー再生シーン」と「その元となった映像」というメタデータを生成し付与することは、放送局の制作作業や新しいサービスに大きく貢献する。
特開平７−２３６１５３号公報 特開平１１−２５２５０９号公報 河合吉彦，馬場口登，北橋忠宏、「放送型スポーツ放送におけるディジタルビデオ効果に着目したリプレイシーン検出の一手法」、電子情報通信学会論文誌、２００１／２ Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ Ｎｏ．２． 八杉将伸，馬場口登，北橋忠宏、「カメラワークの比較によるスポーツ映像からの同一イベント検出」、電子情報通信学会講演論文集、Ｖｏｌ．２００１，情報・システム２ ｐｐ．３５９−３６０．

しかしながら、これまでのところ、上述したように映像解析処理によるメタデータの付与が行われてきたが、この場合には処理に時間がかかるうえ正確さにも欠いていた。

例えば、映像解析処理による「スロー再生シーン」の検出では、映像をフレーム単位で解析し、映像の動きがないフレーム群が多数存在するスロー再生の特徴部分を検出したり、スロー再生シーンの前後に入る映像切り替えのパターンの認識、また「スロー再生」等の文字スーパー情報の検出等があったが、この場合には映像をフレーム毎に近い解析処理をするため時間がかかり、パターンや文字スーパーについては既知のものでなければ対応できなかった。つまり、特殊なディゾルブ等の切替わりが検出できない等、精度に欠くことがあった。

また、上述した非特許文献２に示すように、時間的に遡って同じ映像シーン（映像特徴が同じパターン）の部分を検索する手法もあるが，これも映像処理に時間がかかるうえ精度に欠けることが多い。例えば、そのスロー再生シーンが実際には別角度からのカメラシーンであり、番組ではオンエアされなかった映像であることも多く、その場合には検出することができないといった問題がある。

本発明は、上述した問題点に鑑みなされたものであり、番組に対してリアルタイムに高精度なリソースのメタデータを生成するためのメタデータ生成装置及びメタデータ生成プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、複数のリソースのうち実際に番組として出力されるリソースのメタデータを生成するメタデータ生成装置において、時刻情報を取得する時刻情報取得手段と、前記番組に出力されるリソースの切替情報を取得する切替情報取得手段と、前記時刻情報、前記切替情報、前記リソースに対して予め設定されるリソース情報に基づいてリソースメタデータを生成するリソースメタデータ生成手段とを有することを特徴とする。

請求項１記載の発明によれば、切替情報により番組に対するリソースのメタデータをリアルタイムで高精度に付与することができる。

請求項２に記載された発明は、前記複数のリソース毎に詳細メタデータを生成する詳細メタデータ生成手段と、前記複数のリソースと前記詳細メタデータとを入力してリソースの編集を行うリソース編集手段とを有することを特徴とする。

請求項２記載の発明によれば、リソースの編集を行うと同時に、編集の内容（速度）に沿ったリソースに関する情報を出力することができる。

請求項３に記載された発明は、前記詳細メタデータ生成手段であって、前記リソース編集手段により得られる編集リソースのメタデータを生成する編集リソース用メタデータ生成手段を有することを特徴とする。

請求項３記載の発明によれば、編集したリソースから更に編集リソース用メタデータを生成することにより、編集リソースを番組で使用した際に生成されるリソースメタデータに詳細な情報をリアルタイムに付与することができる。

請求項４に記載された発明は、前記複数のリソース及び前記編集リソースのうち、何れか１つのリソースに切り替え、切り替えたリソースの情報に基づいて切替情報を生成する切替手段を有することを特徴とする。

請求項４記載の発明によれば、切替情報により番組に対するリソースのメタデータをリアルタイムで高精度に付与することができる。

請求項５に記載された発明は、前記リソース編集手段であって、入力されるリソースについて再生速度を変更して出力するよう編集を行うことを特徴とする。

請求項５記載の発明によれば、番組中の重要な場面等を、再生速度を遅くしたり、速めたりして番組中に再度再生させることで、視聴者に高精度なサービスを提供することができる。

請求項６に記載された発明は、前記編集リソース用メタデータ生成手段は、前記リソース編集手段における編集により変更された再生速度に基づく詳細メタデータを、新しく編集されたリソースのメタデータとして生成することを特徴とする。

請求項６記載の発明によれば、編集により変更された再生速度に基づく詳細メタデータを、新しく編集されたリソースのメタデータとして生成することにより、例えば、番組中からスロー再生シーン等の編集を行った時間帯やスロー再生シーンの関連映像を、時刻情報のメタデータを利用して迅速で高精度に抽出することができる。

請求項７に記載された発明は、前記リソースメタデータ生成手段であって、前記切替手段により前記編集リソースが出力される場合、編集前のリソースに対する詳細メタデータを、編集リソースのメタデータに付与することを特徴とする。

請求項７記載の発明によれば、編集されたリソースと、元のリソースとを関連付けることができる。これにより、そのリソースを他の番組等で使用する場合に関連する重要な部分（場面）を迅速で高精度に抽出することができる。

請求項８に記載された発明は、前記リソースメタデータ生成手段により生成されるメタデータの項目、項目の順序、データ長、データ形式等が予め設定された複数のメタデータ生成モジュールから特定のモジュールを選択するモジュール選択手段を有し、前記リソースメタデータ生成手段は、前記モジュール選択手段により得られるメタデータ生成モジュールに基づいて、リソースメタデータを生成することを特徴とする。

請求項８記載の発明によれば、メタデータ生成モジュールによりリソースメタデータの生成内容を容易に変更し、別形式のメタデータを生成することができる。

請求項９に記載された発明は、前記複数のリソースと、前記編集リソースと、前記詳細メタデータと、前記編集リソースのメタデータとを蓄積する蓄積手段を有し、前記リソースメタデータ生成手段は、どのリソースがいつ出力されたかを示すオンエア情報をリソースメタデータに付与することを特徴とする。

請求項９記載の発明によれば、全てのリソースに付与された詳細メタデータを蓄積しておき、更に、実際にオンエアされたリソースが容易に把握できるようなメタデータを付与しておくことで、蓄積されたリソースから所望する場面を迅速に取得することができる。

請求項１０に記載された発明は、複数のリソースのうち実際に番組として出力されるリソースのメタデータを生成する処理をコンピュータに実行させるためのメタデータ生成プログラムにおいて、時刻情報を取得する時刻情報取得処理と、前記番組に出力されるリソースの切り替わり情報を取得する切替情報取得処理と、前記時刻情報、前記切替情報、前記リソースに対して予め設定されるリソース情報に基づいてリソースメタデータを生成するリソースメタデータ生成処理とをコンピュータに実行させる。

請求項１０記載の発明によれば、切替情報により番組に対するリソースのメタデータをリアルタイムで高精度に付与することができる。また、プログラムを有することで、特別な装置構成を必要とせず、低コストでメタデータの生成を実現することができる。また、プログラムをインストールすることにより、容易にメタデータの生成を実現することができる。

本発明によれば、番組に対するリソースのメタデータをリアルタイムで高精度に付与することができる。

＜本発明の概要＞
本発明は、番組映像等のリソースのメタデータを生成する際に、リソースが実際に切り替わったことを示す切替情報から、そのリソースに関するメタデータを迅速に生成する。つまり、これまで放送後の映像を用いて解析処理等によりメタデータを生成してきたが、本発明では、放送局で番組を制作する際に使用する機器構成部からの情報を取得することでリアルタイムに正確なメタデータを生成する。また、スロー再生シーンの関連映像を、その時刻情報のメタデータを利用して自動的に抽出する。

これにより、映像を直接解析処理する手法ではなく番組制作過程で使用する機器構成部からリアルタイムに情報を取得することで正確な「リソースのメタデータ（切替わり点とリソース）」と、そのリソースがスローＶＴＲの映像の時は、「その元になった関連映像シーン」というメタデータも併せて生成する仕組みを実現する。

以下に、本発明におけるメタデータ生成装置及びメタデータ生成プログラムを好適に実施した形態について、図面を用いて詳細に説明する。

＜第１の実施形態＞
図１は、本発明におけるメタデータ生成装置の第１の実施形態を示す図である。図１に示すメタデータ生成装置１０は、複数の撮像装置１１−１〜１１−ｎと、各撮像装置１１に対応して設けられる詳細メタデータ生成装置（詳細メタデータ生成手段）１２−１〜１２−ｎと、リソースを編集するためのスロー映像生成装置（リソース編集手段）１３と、スローＶＴＲ用メタデータ生成装置（編集リソース用メタデータ生成手段）１４と、スイッチャ１５とを有するよう構成されている。また、スイッチャ１５には、切替部（切替手段）１６と、メタデータ生成部（リソースメタデータ生成手段）１７とを有するよう構成されている。

なお、スローＶＴＲ用メタデータ生成装置１４は、詳細メタデータ生成装置１２に具備される機能の１つであるため、スローＶＴＲ用メタデータ生成装置１４を詳細メタデータ生成装置１２とすることもできるが、図１に示す実施形態の説明が明確になるよう構成名を異なるものとしている。

撮像装置１１は、カメラ等からなりそれぞれがディレクタ等からの指示等により各場所や人物等撮影を行う。また、撮像装置１１は、撮影された映像や自身の状態を表すパラメータ等を詳細メタデータ生成装置１２に出力する。更に撮像装置１１は、撮影された映像をスロー映像生成装置１３及びスイッチャ１５に出力する。

詳細メタデータ生成装置１２は、撮像装置１１から得られる映像信号やその他の情報に対応させてメタデータ（詳細メタデータ）を生成する。また、詳細メタデータ生成装置１２は、生成された詳細メタデータをスロー映像生成装置１３及びスイッチャ１５に出力する。なお、ここで、詳細メタデータとして生成される項目としては、例えば、時間情報、ズームやフォーカス等の撮像装置１１に設けられるレンズのパラメータ等がある。また、詳細メタデータ生成装置１２は、撮影した映像を解析する手段等を有することにより映っている人物情報や、場所、映像に映っている文字の情報も詳細メタデータに含めることもできる。

スロー映像生成装置１３は、各撮影装置１１から得られる映像から、ある操作及び指示に基づいて編集を行い、新しい映像を生成する。具体的には、例えば指示された編集対象の映像区間や再生速度に基づいたスロー映像を生成する。また、スロー映像生成装置１３は、編集により生成された映像に関する情報をスローＶＴＲ用メタデータ生成装置１４に出力する。更に、スロー映像生成装置１３は、生成した映像をスイッチャ１５に出力する。なお、スロー映像生成装置１３において生成される映像はスロー映像に限定されず、例えば早送りの映像等を出力することもできる。

スローＶＴＲ用メタデータ生成装置１４は、詳細メタデータ生成装置１２と同様に入力した映像信号やその他の情報に対応させてメタデータを生成する。具体的には、スローＶＴＲ用メタデータ生成装置１４は、スロー映像生成装置１３により生成された映像（編集リソース）のメタデータ（編集メタデータ）を生成する。なお、編集メタデータは、例えば編集により生成された映像における時間情報（タイムコード）等からなる。

また、図１に示す実施形態においては、スロー映像生成装置１３及びスローＶＴＲ用メタデータ生成装置１４をそれぞれ１つ有しているが、本発明においてはこの限りではなく複数有してもよい。

スイッチャ１５は、撮像装置１１−１〜１１−ｎにより撮影されたそれぞれの映像、詳細メタデータ生成装置１２−１〜１２−ｎにより得られる詳細メタデータ、スロー映像生成装置１３により編集された映像、スローＶＴＲ用メタデータ生成装置１４により得られる編集メタデータ、及び外部等から得られるその他のリソース等を入力し、実際に番組として出力される本番用の映像を切り替えて出力する。

ここで、スイッチャ１５の切替部１６は、ディレクタ等からの指示（切替信号）により撮像装置１１又はスロー映像生成装置１３等からの映像を切り替え、その映像信号をオンエア映像として出力する。また、切替部１６は、切り替えられた映像に対応するメタデータ（詳細メタデータ、編集メタデータ）や切替情報をメタデータ生成部１７に出力する。ここで、切替情報は、例えば切替部１６からのスイッチャ接点情報（タリー情報）等からなる。

メタデータ生成部１７は、切替部１６から得られる切替情報等から、スイッチャ１５から出力された映像（リソース）に関するメタデータを生成する。なお、メタデータ生成部１７で生成するメタデータとしては、例えば映像出力を構成する各リソースの開始及び終了の時間情報と、そのリソースに関する情報等からなる。また、出力される映像がスロー再生シーンである場合には、その元の映像が撮影された時間情報を付与する。

これにより、番組映像中におけるスロー再生シーンについては、関連する映像の時間情報をリアルタイムで高精度にメタデータとして生成することができる。

＜スロー再生シーンに関するメタデータの生成＞
次に、スロー再生シーンに関するメタデータの生成について説明する。図２は、スロー映像生成装置１３と、スローＶＴＲ用メタデータ生成装置１４とを有しており、スロー映像生成装置１３は、映像・メタデータ蓄積部２１と、映像編集部２２とを有するよう構成されている。また、スローＶＴＲ用メタデータ生成装置１４は、時刻情報取得部２３を有するよう構成されている。

映像・メタデータ蓄積部２１は、各撮像装置１１及び詳細メタデータ生成装置１２から入力される映像及びメタデータを蓄積する。また、映像編集部２２は、映像・メタデータ蓄積部２１から得られる映像について、所定のシーン（映像区間）に対して、所定の速度で映像が出力されるよう編集を行う。また、映像編集部２２は、編集された映像をスイッチャ１５に出力する。更に、映像編集部２２は、編集における編集情報を時刻情報取得部２３に出力する。

時刻情報取得部２３は、編集された映像に関するタイムコード等の時間情報を新たなメタデータとして付与する。また、時刻情報取得部２３は、生成された編集メタデータをスイッチャ１５に出力する。これにより、スイッチャ１５側では、スロー再生シーンに関するメタデータ生成処理等を容易に実現することができる。

＜メタデータ生成部１７＞
次に、メタデータ生成部１７について図を用いて説明する。図３は、メタデータ生成部の一構成例を示す図である。図３に示すメタデータ生成部１７は、切替情報取得部３１と、リソース情報設定部３２と、ユーザ指示部３３と、詳細メタデータ取得部３４と、時刻情報取得部３５と、リソースメタデータ生成部３６と、モジュール選択部３７とを有するよう構成されている。

切替情報取得部３１は、切替部１６から各リソースの切替情報を取得する。具体的には、タリー情報を入力して、複数のリソースのうちどのリソースの出力に基づくタリー情報であるかを取得する。また、取得した切替情報をリソースメタデータ生成部３６に出力する。

また、リソース情報設定部３２は、スイッチャ１５に入力した各リソースの種類、名称、メタデータの有無の情報とそのメタデータの生成方法等を設定する。また、リソース情報設定部３２は、設定されたリソース情報をリソースメタデータ生成部３６に出力する。

また、ユーザ指示部３３は、リソースメタデータ生成部３６によるメタデータの生成の指示を行う。このとき、生成されるメタデータの項目等を指示することもできる。また、ユーザ指示部３３は、入力された指示情報をリソースメタデータ生成部３６に出力する。

また、詳細メタデータ取得部３４は、詳細メタデータ生成装置１２及びスローＶＴＲ用メタデータ生成装置１４からのメタデータ（詳細メタデータ、編集メタデータ）を取得する。また、詳細メタデータ取得部３４は、取得したメタデータをリソースメタデータ生成部３６に出力する。

また、時刻情報取得部３５は、絶対時刻及び所定のタイムコード等、生成されるリソースメタデータの基準となる時刻情報を取得する。また、時刻情報取得部３５は、時刻情報をリソースメタデータ生成部３６に出力する。

リソースメタデータ生成部３６は、入力される切替情報や、リソース情報、指示情報、詳細（編集）メタデータ情報、時刻情報、及びモジュール選択部３７により得られるメタデータ生成モジュールに基づいて、リソースメタデータを生成して出力する。

また、モジュール選択部３７は、リソースメタデータ生成部３６において、メタデータの項目や項目の順序、データ長、データ形式等が予め設定される複数のモジュールから、リソースメタデータ生成部３６に入力されるリソース情報等に基づいてメタデータ生成モジュールを選択し、選択されたモジュールをリソースメタデータ生成部３６に出力する。これにより、例えば詳細メタデータ取得部３４から出力されるメタデータが変更した場合にも、汎用的に対応することができる。

このように、スイッチャ１５にメタデータ生成部１７を有することにより、出力される映像に対してリアルタイムに高精度なリソースのメタデータを生成することができる。また、上述のメタデータ生成装置１０を有することにより、例えばスローＶＴＲで再生される映像に対して、元の映像がどこにあたるのか等を高精度に設定することができる。なお、本発明においては、メタデータ生成部１７は、スイッチャ１７に有している必要はなく、スイッチャ１５の外部に設けられていてもよい。

＜メタデータ例＞
ここで、メタデータ生成部で生成されるメタデータについて、図を用いて説明する。なお、以下の説明では、サッカー中継について本発明の実施形態を適用した例について説明するが、本発明はこれに限定されるものではなく、他の番組等にも適用することができる。

また、以下の説明では、図１と同様の構成を用いるものとする。具体的には、スイッチャ１５は、中継車の中にあり、カメラ（撮像装置）やスロー再生用のＶＴＲ等、各リソースが各地点に設置されている。番組制作者は、これらのリソースをスイッチャで切り替えることで番組を視聴者に提供する。

また、後述するメタデータの例として、このスイッチャからの切替情報（タリー情報）と時刻（タイムコード）とを組み合わせて、リソースのメタデータを生成するものとする。スイッチャからのタリー情報と時刻情報（タイムコード：ＴＣ）により、どの時点からどの時点までが何のリソースなのかについてのメタデータを生成する。

図４は、スイッチャから出力される映像に基づくリソースの順序の一例を示す図である。図４に示すように、出力される映像は、時間軸に対して切替部１６により切替られて出力されている。具体的には、“０９：００：００”〜“０９：００：３２”は、撮像装置１により撮影された映像（リソース１）を出力し、“０９：００：３２”〜“０９：００：５４”は、撮像装置３により撮影された映像（リソース３）を出力し、“０９：００：５４”〜“０９：０１：０２”は、再び撮像装置１により撮影された映像（リソース１）を出力し、“０９：０１：０２”〜“０９：０１：４４”は、スロー映像生成装置により編集された映像（リソース４）を出力している。次に、図４に対応して出力されるリソースメタデータの一例を図５に示す。

図５に示すように、メタデータ生成部１７にて生成されるリソースのメタデータには、どの時間に、どのリソース（映像）が出力されたものか、また出力されたリソースに対応した詳細（編集）メタデータが出力される。ここで、詳細（編集）メタデータとしては、例えば、上述したように撮像装置１１におけるズームやフォーカス等のパラメータを付与することができる。なお、上述したパラメータを付与する場合は、パラメータをそのまま付与してもよく、また、パラメータから得られる撮影地点や撮影方向等を付与してもよい。

次に、スロー再生時におけるメタデータの内容について図を用いて説明する。図６は、スロー再生時のメタデータの生成方法について説明するための図である。スロー映像に対応した詳細メタデータには、その区間がスロー映像であることを示す情報と、スロー再生の元となる映像が撮影された時刻（タイムコード）が含まれる。つまり、スロー再生している映像の元の時刻情報（タイムコード）もメタデータとして付与する。

図６に示すように、スイッチャ１５においてスローＶＴＲの映像（リソース４）に切り替えられると、まずそのときの時刻（タイムコード）を記録する。つまり、図６に示す時間軸では、“０９：０１：０２”となる。このとき、スローＶＴＲ用メタデータ生成装置１４からの編集メタデータとして入力されている「スロー再生シーンの元の時刻情報（タイムコード）」を記録する。これは図６に示す時間軸の“０９：００：０５”となる。

次に、スローＶＴＲ映像から別のリソースに切り替わった場合、そのときの時刻情報（“０９：０１：４４”）を記録し、またスローＶＴＲ用メタデータ生成装置１４からの編集メタデータの時刻情報（“０９：００：１２”）を記録して、最終的に図６下に示すようなメタデータを生成する。

つまり、このメタデータは、タイムコード“０９：０ｌ：０２”〜“０９：０１：４４”はスロー再生シーンであることを示し、この元となる映像もしくは関連映像はタイムコード“０９：００：０５”〜“０９：００：１２”であることを示す。

次に、このメタデータの利用例について、図７を用いて説明する。図７は、メタデータの利用例を説明するための図である。なお、図７（ａ）は、時間軸における中継番組の出力映像を示し、図７（ｂ）は、出力映像に対応したメタデータを示している。

図７では、サッカー中継において、時間ｔ１〜ｔ２の間にシュートシーンがあり得点が入ったとする。その後、試合が進行し前半が終了してハーフタイムとなったときに、試合前半のハイライトとしてシュートシーン等のスローＶＴＲシーンが３パターン連続で番組に出力されるとする。

最初のスロー再生シーンａ（時間ｔ３〜ｔ４）は、時刻にしてｔ３４ｓ〜ｔ３４ｅに撮影されたもので、番組でも撮像装置１からの映像が放送されていたため、同じ映像のスロー再生シーンとなっている。

２番目のスロー再生シーンｂ（時間ｔ４〜ｔ５）は、同一のシュートシーンを別の撮像装置により別角度から撮影された映像のスロー再生シーンである。つまり、２番目のスロー再生シーンｂの映像は、元の映像が番組中に選択されていないものである。この場合には、どのリソースからの映像であるかを明確にしておくため、リソース種別（例えば、撮像装置の識別情報等）をメタデータに付与する。また、この映像が撮影された時間は、図７に示すようにｔ４５ｓ〜ｔ４５ｅであるため、これを関連シーンのメタデータとして付与する。

更に、３番目のスロー再生シーンｃ（時間ｔ５〜ｔ６）は、例えば得点が入った後のチームの監督が喜んでいる映像を撮影するカメラのシーンで、時間的はｔ５６Ｓ−ｔ５６ｅとする。この場合にも、別の撮像装置からの映像であるためリソース種別をメタデータに付与する。

このような関連付けられたメタデータを生成することにより、例えば、ダイジェスト番組やニュース番組等で、シュートシーンの映像を放送する際に、シュートシーンのｔ１〜ｔ２付近の時刻に基づく関連シーンの映像を迅速に抽出することができる。

なお、上述の実施例では、実際にスイッチャから出力された映像に関してメタデータを付与していたが、本発明においてはこの限りではなく、例えば複数のリソースから得られる映像及び詳細メタデータ情報をいったん蓄積装置（蓄積手段）に蓄積しておき、更にメタデータ生成部は、どのリソースが番組映像として実際に出力（オンエア）となったのかをメタデータとして生成し同様に蓄積する。これにより、例えばスロー再生シーンの前後の番組でオンエアされなかった別映像等を編集して実際に放送された映像の舞台裏等のように別の演出による番組を制作することができる。

なお、上述の蓄積装置は、スイッチャの内部に設けてもよく、また、スイッチャの外部に設けてもよい。ここで、上述した実施の形態をメタデータ生成装置の第２の実施形態として、図を用いて説明する。

＜第２の実施形態＞
図８は、本発明におけるメタデータ生成装置の第２の実施形態を示す図である。図８に示すメタデータ生成装置８０は、複数の撮像装置８１−１〜８１−ｎと、各撮像装置に対応して設けられる詳細メタデータ生成装置（詳細メタデータ生成手段）８２−１〜８２−ｎと、リソースを編集するためのスロー映像生成装置（リソース編集手段）８３と、スローＶＴＲ用メタデータ生成装置（編集リソース用メタデータ生成手段）８４と、スイッチャ８５と、蓄積装置（蓄積手段）８８とを有するよう構成されている。また、スイッチャ８５には、切替部（切替手段）８６と、メタデータ生成部（リソースメタデータ生成手段）８７とを有するよう構成されている。

なお、スローＶＴＲ用メタデータ生成装置８４は、詳細メタデータ生成装置８２に具備される機能の１つであるため、スローＶＴＲ用メタデータ生成装置８４を詳細メタデータ生成装置８２とすることもできるが、図８に示す実施形態の説明が明確になるよう構成名を異なるものとしている。また、図８に示すメタデータ生成装置８０は、図１に示すメタデータ生成装置の構成に蓄積装置８８を設けたものである。

撮像装置８１は、それぞれがディレクタ等からの指示等により各場所や人物等の撮影を行う。また、撮像装置８１は、撮影された映像や自身の状態を表すパラメータ等を詳細詳細メタデータ生成装置８２に出力する。更に撮像装置８１は、撮影された映像をスロー映像生成装置８３、スイッチャ８５、及び蓄積装置８８に出力する。

詳細メタデータ生成装置８２は、撮像装置８１から入力される映像信号やその他の情報に対応させてメタデータ（詳細メタデータ）を生成する。また、詳細メタデータ生成装置８２は、生成された詳細メタデータをスロー映像生成装置８３、スイッチャ８５、及び蓄積装置８８に出力する。

スロー映像生成装置８３は、各撮影装置８１から得られる映像を、ある操作及び指示に基づいて編集を行い、新しい映像を生成する。また、スロー映像生成装置８３は、生成した映像に関する情報をスローＶＴＲ用メタデータ生成装置８４に出力する。更に、スロー映像生成装置８３は、処理された映像をスイッチャ８５及び蓄積装置８８に出力する。

スローＶＴＲ用メタデータ生成装置８４は、詳細メタデータ生成装置８２と同様に入力した映像信号やその他の情報に対応させてメタデータを生成する。具体的には、スローＶＴＲ用メタデータ生成装置８４は、スロー映像生成装置８３により編集された映像（編集リソース）のメタデータ（編集メタデータ）を生成する。また、図８に示す実施形態においては、スロー映像生成装置８３及びスローＶＴＲ用メタデータ生成装置８４をそれぞれ１つ有しているが、本発明においてはこの限りではなく複数有してもよい。

次に、スイッチャ８５は、撮像装置８１−１〜８１−ｎにより撮影された映像、詳細メタデータ生成装置８２−１〜８２−ｎにより得られる詳細メタデータ、スロー映像生成装置８３により編集された映像、スローＶＴＲ用メタデータ生成装置８４により得られる編集メタデータ、及び外部等から得られるその他のリソース等を入力し、実際に番組として出力される本番用の映像を切り替えて出力する。

ここで、スイッチャ８５の切替部８６は、ディレクタ等からの指示により、撮像装置８１又はスロー映像生成装置８３等からの映像で切り替え、その映像信号をオンエア映像として出力する。また、切替部８６は、切り替えられた映像に対応するメタデータ（詳細メタデータ、編集メタデータ）や切替情報をメタデータ生成部８７に出力する。

メタデータ生成部８７は、切替部８６から得られる切替情報等から、スイッチャ８５から出力された映像（リソース）に関するメタデータを生成する。なお、メタデータ生成部８７で生成するメタデータとしては、例えば映像出力を構成する各リソースの開始及び終了の時間情報と、そのリソースに関する情報等からなる。

また、このとき映像の出力がスロー映像がある場合には、その元の映像が撮影された時間情報を付与する。更に、メタデータ生成部８７にて生成されたメタデータには、どのリソースの映像がオンエアされたかの情報も付与する。

なお、このようにメタデータ生成部８７にてメタデータの内容が変更される場合には、上述したモジュール選択手段により、オンエア情報もメタデータに付与させるモジュールを選択してリソースメタデータの生成を行う。

また、メタデータ生成部８７は、生成されたメタデータを蓄積装置８８にも出力することにより、蓄積装置８８は、元となるリソースとそのリソースに対応するメタデータ、更に実際の番組で使用したオンエアリソースに関するメタデータを蓄積する。これにより、映像に関する高精度な情報を蓄積することができ、再編集や番組オンエア中における再生シーンの検索等の処理を迅速に行うことができる。

なお、本発明において、上述したように蓄積装置は外部に設けることに限定されず、例えばスイッチャ８５内に設けてもよく、またメタデータ生成部８７内に設けてもよい。

ここで、上述したようにメタデータ生成装置は専用の装置構成により本発明におけるメタデータの生成を行うこともできるが、各構成における処理をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等にプログラムをインストールすることにより、本発明におけるメタデータの生成を実現することができる。

＜ハードウェア構成＞
ここで、本発明におけるメタデータの生成が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図９は、本発明におけるメタデータ生成が実現可能なハードウェア構成の一例を示す図である。

図９におけるコンピュータ本体には、入力装置９１と、出力装置９２と、ドライブ装置９３と、補助記憶装置９４と、メモリ装置９５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９６と、ネットワーク接続装置９７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置９１は、ユーザが操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザからのプログラムの実行等、各種操作信号を入力する。出力装置９２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ９６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。

ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体９８等により提供される。プログラムを記録した記録媒体９８は、ドライブ装置９３にセット可能であり、記録媒体９８に含まれる実行プログラムが、記録媒体９８からドライブ装置９３を介して補助記憶装置９４にインストールされる。

補助記憶装置９４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。

ＣＰＵ９６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置９５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、メタデータの生成における各処理を実現することができる。プログラムの実行中に必要な各種情報等は、補助記憶装置９４から取得することができ、また格納することもできる。

ネットワーク接続装置９７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。

上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストでメタデータの生成を実現することができる。また、プログラムをインストールすることにより、容易にメタデータの生成を実現することができる。次に、実行プログラムにおける処理手順についてフローチャートを用いて説明する。

＜メタデータ生成処理手順＞
図１０は、本発明におけるメタデータ生成処理手順を示す一例のフローチャートである。なお、図１０の処理手順は、上述した図３に示すリソースメタデータの生成処理手順を示すものである。

まず、オンエアしているリソースの切替情報を取得する（Ｓ０１）。また、リソースメタデータにリソースのオンエア開始時刻を付与するため時刻情報を取得する（Ｓ０２）。なお、この時刻情報は、切り替わる前のリソースの終了時刻及び現在オンエアされているリソースのオンエア開始時刻となる。また、各リソースの種類、名称、詳細メタデータの有無の情報とそのメタデータの生成方法等のリソース情報を取得する（Ｓ０３）。

次に、オンエアされている選択されたリソースに対する詳細メタデータが有るかを判断する（Ｓ０４）。詳細メタデータが有る場合（Ｓ０４において、ＹＥＳ）、詳細メタデータに基づいて、リソースメタデータに付与するメタデータの生成を行う（Ｓ０５）。

次に、詳細メタデータが無い場合（Ｓ０４において、ＮＯ）、又はＳ０５が終了後、切替情報を取得することにより、オンエアされているリソースが切り替わったかを判断する（Ｓ０６）。リソースが切り替わっていない場合（Ｓ０６において、ＮＯ）、Ｓ０４からの処理を行う。また、リソースが切り替わっている場合（Ｓ０６において、ＹＥＳ）、リソースメタデータにリソースのオンエア終了時刻を付与するため時刻情報を取得し（Ｓ０７）、リソースメタデータの生成を行う（Ｓ０８）。

このとき、リソースメタデータは、切替情報や、リソース情報、指示情報、詳細（編集）メタデータ情報、時刻情報、及びメタデータ生成モジュール等に基づいて生成される。また、Ｓ０５で詳細メタデータに基づくメタデータを生成している場合は、そのメタデータもリソースメタデータに付与する。

最後に生成されたメタデータを出力して処理を終了する（Ｓ０９）。なお、図１０に示す処理手順は、１つのリソース（カメラ、ＶＴＲ等からの映像）に対するリソースメタデータ生成処理手順を示してあるため、実際にはオンエアされているリソースが切り替わる度に図１０に示す処理が繰り返し実行される。従って、現在のリソースの終了点（Ｓ０６、Ｓ０７）は、次のリソースの開始点（Ｓ０１、Ｓ０２）に相当する。

これにより、番組映像に対してリアルタイムに高精度なリソースのメタデータを生成することができる。また、特別な装置構成を必要とせず、低コストでメタデータの生成を実現することができる。更に、プログラムをインストールすることにより、容易にメタデータの生成を実現することができる。

また、第２の実施例に示すように、複数のリソースとリソースの詳細メタデータを蓄積しておき、番組で使用された（オンエアされた）ことを示すメタデータ等を付与する実行プログラムを生成することで、同様な効果を得ることができる。

上述したように本発明によれば、番組映像に対してリアルタイムに高精度なリソースのメタデータを生成することができる。具体的には、番組映像のメタデータを生成する際に基本となるリソース切替わり点と、そのリソース関連情報をリアルタイムに生成することができる。これにより、例えばスロー再生シーンの関連映像を時刻情報に基づいて迅速に抽出することもできる。

なお、本発明におけるメタデータとしては様々な種類、構成等が考えられるが、このリソースのメタデータは最も基本となる部分であり、この部分のメタデータが正確かつ迅速に生成されることにより、これらを組み合わせて新しい意味のある映像シーンを提供することができたり、ある特定のリソース部分の映像だけを迅速に抽出するといったサービスを提供することもできる。

また、映像番組の中の「スロー再生シーン」と「その関連シーン」に正確なメタデータを生成することにより、例えば、ダイジェスト作成が容易になり、新しいサービスヘの展開が期待できる。特に、スポーツにおけるスロー再生シーンとその関連映像シーンは、２次利用、３次利用が多いため、本発明におけるメタデータの生成は有用となる。

更に、例えば放送やインターネット上のコンテンツにメタデータを付与して提供し、利用者側でそのコンテンツをカスタマイズして視聴（利用）するという実施形態として本発明を適用することにより、様々なサービスの展開へと結びつけることができる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本発明におけるメタデータ生成装置の第１の実施形態を示す図である。 スロー映像生成装置とスローＶＴＲ用メタデータ生成装置とを説明するための図である。 メタデータ生成部の一構成例を示す図である。 スイッチャから出力される映像に基づくリソースの順序の一例を示す図である。 リソースメタデータの一例を示す図である。 スロー再生時のメタデータの生成方法について説明するための図である。 メタデータの利用例を説明するための図である。 本発明におけるメタデータ生成装置の第２の実施形態を示す図である。 本発明におけるメタデータ生成が実現可能なハードウェア構成の一例を示す図である。 本発明におけるメタデータ生成処理手順を示す一例のフローチャートである。

符号の説明

１０，８０ メタデータ生成装置
１１，８１ 撮像装置
１２，８２ 詳細メタデータ生成装置
１３，８３ スロー映像生成装置
１４，８４ スローＶＴＲ用メタデータ生成装置
１５，８５ スイッチャ
１６，８６ 切替部
１７，８７ メタデータ生成部
２１ 映像・メタデータ蓄積部
２２ 映像編集部
２３，３５ 時刻情報取得部
３１ 切替情報取得部
３２ リソース情報設定部
３３ ユーザ指示部
３４ 詳細メタデータ取得部
３６ リソースメタデータ生成部
３７ モジュール選択部
８８ 蓄積装置
９１ 入力装置
９２ 出力装置
９３ ドライブ装置
９４ 補助記憶装置
９５ メモリ装置
９６ ＣＰＵ
９７ ネットワーク接続装置
９８ 記録媒体

Claims (10)

1. 複数のリソースのうち実際に番組として出力されるリソースのメタデータを生成するメタデータ生成装置において、
   時刻情報を取得する時刻情報取得手段と、
   前記番組に出力されるリソースの切替情報を取得する切替情報取得手段と、
   前記時刻情報、前記切替情報、前記リソースに対して予め設定されるリソース情報に基づいてリソースメタデータを生成するリソースメタデータ生成手段とを有することを特徴とするメタデータ生成装置。
2. 前記複数のリソース毎に詳細メタデータを生成する詳細メタデータ生成手段と、
   前記複数のリソースと前記詳細メタデータとを入力してリソースの編集を行うリソース編集手段とを有することを特徴とする請求項１に記載のメタデータ生成装置。
3. 前記詳細メタデータ生成手段は、
   前記リソース編集手段により得られる編集リソースのメタデータを生成する編集リソース用メタデータ生成手段を有することを特徴とする請求項１又は２に記載のメタデータ生成装置。
4. 前記複数のリソース及び前記編集リソースのうち、何れか１つのリソースに切り替え、切り替えたリソースの情報に基づいて切替情報を生成する切替手段を有することを特徴とする請求項１乃至３の何れか1項に記載のメタデータ生成装置。
5. 前記リソース編集手段は、
   入力されるリソースについて再生速度を変更して出力するよう編集を行うことを特徴とする請求項２に記載のメタデータ生成装置。
6. 前記編集リソース用メタデータ生成手段は、
   前記リソース編集手段における編集により変更された再生速度に基づく詳細メタデータを、新しく編集されたリソースのメタデータとして生成することを特徴とする請求項１乃至５の何れか１項に記載のメタデータ生成装置。
7. 前記リソースメタデータ生成手段は、
   前記切替手段により前記編集リソースが出力される場合、編集前のリソースに対する詳細メタデータを、編集リソースのメタデータに付与することを特徴とする請求項１乃至６の何れか１項に記載のメタデータ生成装置。
8. 前記リソースメタデータ生成手段により生成されるメタデータの項目、項目の順序、データ長、データ形式等が予め設定された複数のメタデータ生成モジュールから特定のモジュールを選択するモジュール選択手段を有し、
   前記リソースメタデータ生成手段は、前記モジュール選択手段により得られるメタデータ生成モジュールに基づいて、リソースメタデータを生成することを特徴とする請求項１乃至７の何れか１項に記載のメタデータ生成装置。
9. 前記複数のリソースと、前記編集リソースと、前記詳細メタデータと、前記編集リソースのメタデータとを蓄積する蓄積手段を有し、
   前記リソースメタデータ生成手段は、どのリソースがいつ出力されたかを示すオンエア情報をリソースメタデータに付与することを特徴とする請求項１乃至８の何れか１項に記載のメタデータ生成装置。
10. 複数のリソースのうち実際に番組として出力されるリソースのメタデータを生成する処理をコンピュータに実行させるためのメタデータ生成プログラムにおいて、
    時刻情報を取得する時刻情報取得処理と、
    前記番組に出力されるリソースの切替情報を取得する切替情報取得処理と、
    前記時刻情報、前記切替情報、前記リソースに対して予め設定されるリソース情報に基づいてリソースメタデータを生成するリソースメタデータ生成処理とをコンピュータに実行させるためのメタデータ生成プログラム。

Images