JP2005165941A - 映像コメント生成装置及びそのプログラム - Google Patents

Abstract

【課題】 抽出したイベントの内容に応じたコメントを生成することができる映像コメント生成装置及びそのプログラムを提供することを目的とする。
【解決手段】 音声を含む映像と前記音声のテキストそれぞれを供給され、供給されたテキストの各文が前記映像の内容と直接的に関連する直接関連文であるか、もしくは、映像内容と直接的に関連しない非直接関連文であるかを判定する判定手段３６と、非直接関連文グループを構成するテキストの各文から映像を適切に説明する文を抽出しコメントを生成する文利用コメント生成手段５２を有する
【選択図】 図２

Description

本発明は、映像コメント生成装置及びそのプログラムに関し、特に、デジタル放送の番組の映像を説明するコメントを自動生成する映像コメント生成装置及びそのプログラムに関する。

従来、エレクトリック・アーツ・スクェア社製のゲームソフト「ＦＩＦＡサッカー・ワールドチャンピオンシップ」等で利用されている映像コメント自動出力技術では、予めコメント候補を多数用意しておき、ゲーム状況に応じてランダム性を加味してコメント候補の選択を行い、選択したコメントを出力している。

また、映像コンテンツの検索を目的としたサッカー映像における特定イベント抽出システムが提案されている（例えば、非特許文献１参照。）。このシステムは、放送されるサッカー番組の映像を解析して特徴点を抽出し、この抽出した特徴点を用いてカメラの状態推定を行うことでカメラの状態空間を作成し、抽出する画像を限定した上で特定イベントの抽出を行っている。
丸尾二郎，岩井儀雄，谷内田正彦，越後富夫，飯作俊一「サッカー映像からの特定イベントの抽出」電子情報通信学会ＰＲＭＵ研究会 ＰＲＭＵ ９９−４１，ｐｐ．３１−３８（１９９９）

予め用意したコメント候補を利用する手法では、そのコメント数に限界があり、何度も同じコメントが繰り返されるという問題がある。

従来の特定イベント抽出システムでは、映像におけるゴールポストやコーナー等の映像上の特徴点を抽出し、その特徴点に基づいてイベントを抽出しているため、映像からゴールポストやコーナー等の特徴点を抽出できない場合がある。また、ゴールポストやコーナー等の特徴点が必ずしもコーナーキックというイベントに結びつかないため、高精度にイベント映像を抽出することが難しい。また、抽出したイベント映像についてのコメントを出力することは考えられていなかった。

本発明は、上記の点に鑑みなされたもので、抽出したイベントの内容に応じたコメントを生成することができる映像コメント生成装置及びそのプログラムを提供することを目的とする。

請求項１，６に記載の発明は、音声を含む映像と前記音声のテキストそれぞれを供給され、供給されたテキストの各文が前記映像の内容と直接的に関連する直接関連文であるか、もしくは、映像内容と直接的に関連しない非直接関連文であるかを判定し、非直接関連文グループを構成するテキストの各文から映像を適切に説明する文を抽出しコメントを生成することにより、
抽出したイベントの内容に応じたコメントを生成することができる。

請求項２，７に記載の発明は、文利用コメント生成手段で映像を適切に説明する文が抽出されなかったとき予め用意されているテンプレートからコメントを生成することにより、
非直接関連文グループを構成するテキストからコメントを抽出できなかった場合にも、抽出したイベントの内容に応じたコメントを生成することができる。

請求項３に記載の発明は、直接関連文グループを構成するテキストの各文からイベントキーワードと一致するイベント名とイベントの動作主を抽出し直接関連文グループのインデックスとして蓄積し、非直接関連文グループの各文における、前記非直接関連文グループの直前の直接関連文グループから抽出されたインデックスの存在状況に基づいて、映像を適切に説明する文を抽出することにより、請求項１の発明を実現できる。

請求項４に記載の発明は、ユーザ情報と前記非直接関連文グループの直前の直接関連文グループから抽出されたインデックスに基づいて、テンプレートを選択しコメントを生成することにより、請求項２の発明を実現できる。

請求項１，６に記載の発明によれば、抽出したイベントの内容に応じたコメントを生成することができる。

請求項２，７に記載の発明によれば、非直接関連文グループを構成するテキストからコメントを抽出できなかった場合にも、抽出したイベントの内容に応じたコメントを生成することができる。

請求項３に記載の発明によれば、請求項１の発明を実現できる。

請求項４に記載の発明によれば、請求項２の発明を実現できる。

以下、図面を参照して本発明の実施形態について説明する。

図１は、本発明の映像コメント生成装置を適用した要約・解説作成システムのハードウェア構成を示す一実施形態のブロック図を示す。映像コメント生成装置は、専用の装置構成とすることもできるが、例えば、汎用のパーソナルコンピュータ、ワークステーション等を適用することができる。

図１において、要約・解説作成システムは、入力装置１１と、出力装置１２と、ドライブ装置１３と、補助記憶装置１４と、メモリ装置１５と、演算処理装置１６と、データベース１７と、デジタルテレビジョンチューナ１８から構成されており、これらはシステムバス１９で相互に接続されている。

入力装置１１は、使用者が操作するキーボード及びマウス、音声入力用のマイクロホンを有しており、各種信号を入力する。出力装置１２は、各種プログラムを操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、実行プログラムに基づいて表示される。ここで、本発明において、映像コメント生成装置にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体２０等により提供される。プログラムを記録した記録媒体２０はドライブ装置１３に装着され、記憶媒体１９に格納された実行プログラムが、記録媒体２０からドライブ装置１３を介して補助記憶装置１４にインストールされる。

演算処理装置１６は、メモリ装置１５により読み出され格納されている実行プログラムに基づいて、各種演算や後述する各処理を含むシステム全体の処理を制御する。また、プログラムの実行中に必要な各種情報は、データベース１７から取得することができ、また格納することもできる。デジタルテレビジョンチューナ１８は、例えばＢＳデジタル放送や地上波デジタル放送を受信する。

図２は、本発明の映像コメント生成装置を適用した要約・解説作成システムの一実施形態の機能構成図を示す。同図中、要約・解説作成システムは、要約生成ブロック２２と、映像コメント生成ブロック２４と、番組作成ブロック２６とから大略構成されている。

要約生成ブロック２２では、デジタルテレビジョンチューナ１８で例えばＢＳデジタル放送のトランスポートストリーム（ＴＳ：Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）を受信し、受信したトランスポートストリームから再生した音声を含む映像を映像蓄積部３０に蓄積する。これと共に、受信したトランスポートストリームを字幕テキストデータ抽出部３２に供給する。

ここで、図３及び図４を参照して、トランスポートストリームの構成とデータ構造について説明する。図３は、トランスポートストリームの構成の例を示す概念図である。図４は、トランスポートストリームのデータ構造を示す図である。

図３に示すように、デジタル放送で放送されるトランスポートストリームは、映像ストリーム、音声ストリーム、データストリーム、字幕テキストストリーム、文字スーバストリーム等の個別のストリーム（エレメンタリストリーム（ＥＳ））が多重化されて構成されている。ここでは、映像ストリーム（ＥＳ１）と、音声ストリーム１（ＥＳ２）及び音声ストリーム２（ＥＳ３）と、データストリーム１（ＥＳ４）、データストリーム２（ＥＳ５）及びデータストリーム３（ＥＳ６）と、字幕テキストストリーム（ＥＳ７）と、文字スーバストリーム（ＥＳ８）とで、１つのトランスポートストリームを構成した例を示している。

なお、映像、音声、字幕及び文字スーバの各ストリームは、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）と呼ばれるデータ形式となっている。また、データ放送として放送されるデータ放送用データであるデータストリームは、セクション（Ｓｅｃｔｉｏｎ）と呼ばれるデータ形式となっている。このＰＥＳ及びセクションの形式は、ＭＰＥＧ２のシステム規格であるＩＳＯ／ＩＥＣ１３８１８−１で規定されている。

このトランスポートストリームは、図４に示すように、ＰＥＳ及びセクションの各データが、１８４バイト単位に分割され、その分割されたデータ（分割データｄｄ）に４バイトのＴＳヘッダｔｓｈが付加されたＴＳパケット構造となっている。このＴＳヘッダｔｓｈは、ＴＳパケットの開始を示す同期バイトｓｙｎ、ＴＳパケットを識別するパケット識別子ｐｉｄ等を含んでいる。なお、分割される前のＰＥＳやセクションは、同じパケット識別子ｐｉｄの値が付与されている。

図２に示すデジタルテレビジョンチューナ１８は、ＴＳヘッダｔｓｈの同期バイトｓｙｎを検出することで、ＴＳパケット単位（１８８バイト）で、トランスポートストリームを受信する。

字幕テキストデータ抽出部３２は、デジタルテレビジョンチューナ１８から供給されるＴＳパケットから、字幕テキストストリームのみを分離抽出して字幕テキストを再生し、この字幕テキストを字幕テキスト蓄積部３４に蓄積する。図５に字幕テキスト蓄積部３４に蓄積された字幕テキストの一実施形態を示す。各行の先頭はタイムコード（時刻及びフレーム番号）、次の０または１の数字は話者を表し、０がアナウンサー、１が解説者を表す。その後が字幕テキスト文である。

字幕テキスト解析部３６は、字幕テキスト蓄積部３４に蓄積されている各文に対して、映像内容を説明する実況文であるか、もしくは、映像内容以外を話題とする解説文であるかを判定する。これは、字幕テキストに「シュート」というイベントキーワードが存在しても、映像中に「シュート」イベントが発生したのか、それとも、映像とは無関係に「シュート」について説明しているのか判断ができないからである。

図６は、字幕テキスト解析部３６が実行する字幕テキスト解析処理のフローチャートを示す。同図中、ステップＳ１０で、字幕テキストデータ蓄積部３４に蓄積された字幕テキストデータを対象に、未処理の文の有無を判定する。未処理の文がない場合は処理を終了する。

未処理の文がある場合は、ステップＳ１２で１つの文を対象として特徴点を抽出する。特徴点は、例えば以下の項目とする。

１．最終形態素の動詞（または名詞）の表記
２．最終形態素の格
３．最終形態素に係る人名の表記
４．最終形態素に係る人名の格
５．最終形態素に係る人名以外の表記
６．最終形態素に係る人名以外の格
７．最終形態素に係る動詞句の表記
８．接続詞の有無（有り：１、無し：０）
９．助詞丁寧の有無（有り：１、無し：０）
１０．間投助詞の有無（有り：１、無し：０）
１１．助詞完了の有無（有り：１、無し：０）
１２．助詞過去の有無（有り：１、無し：０）
１３．接続助詞の有無（有り：１、無し：０）
１４．終助詞の有無（有り：１、無し：０）
１５．助詞断定の有無（有り：１、無し：０）
１６．助詞打消の有無（有り：１、無し：０）
１７．解説者やアナウンサーの名前の出現の有無（有り：１、無し：０）
１８．発話者の有無（有り：１、無し：０）
例えば、以下の２文から抽出される特徴データを以下に示す。この例では抽出された特徴は、セパレータ”｜”により分割され、上記特徴点１〜１８の順に並んでいる。
［特徴点抽出例１］
「さあまた岡野がまたスピードを生かす、抜ける、抜けた、チャンス、シュート。」
（シュート｜｜｜｜チャンス｜｜｜１｜０｜０｜０｜０｜０｜０｜０｜０｜０｜０）
［特徴点抽出例２］
「今野とも奪い合いましたが、最後のシュートは浮いてしまいました。」
（浮く｜｜｜｜シュート｜は｜奪い合う｜０｜１｜０｜０｜１｜１｜０｜０｜０｜０｜０）
次に、ステップＳ１４で、抽出された特徴をもととして、その文が映像内容を説明する実況文であるか、もしくは、映像内容以外を話題とする解説文であるかを判定する。判定には、一般的な学習機であるサポートベクターマシンを利用する。サポートベクターマシンは既存の技術で有り、学習データ格納部３８に格納されている予め学習された特徴データを基に、入力された特徴が２つのクラスタ（実況文／解説文）のどちらに属するかを判定する。

本手法でも、予め、サッカー放送におけるアナウンス書き起こし原稿に対して、実況文であるか解説文であるかを手作業により与え、学習データを作成している。この判定結果では、先の例で示した「さあまた岡野がまたスピードを生かす、抜ける、抜けた、チャンス、シュート。」という文は「実況文」に判定され、「今野とも奪い合いましたが、最後のシュートは浮いてしまいました。」は「解説文」に判定される。この判定結果を付加した字幕テキストがセグメント付加部４０の入力として与えられる。図７に判定結果を付加した字幕テキストの一実施形態を示す。

ところで、サッカー番組は切れ目がないため、内容の変化点を見つけることが難しい。これを解決するために、本発明ではセグメント付加部４０を設けている。

図２に示すセグメント付加部４０は、タイムコード順にならべられた字幕テキストデータに対して、内容の変化点により分割するセグメントを付加し、実況文集合、解説文集合を作る。

図８は、セグメント付加部４０が実行するセグメント付加処理のフローチャートを示す。同図中、ステップＳ２０で、判定結果（実況文／解説文）を付加した字幕テキストをタイムコード順に入力する。この処理ではその時点の状態を変数ｓｔａｔｕｓに記憶する。このｓｔａｔｕｓの初期設定を行うために、ステップＳ２２においてタイムコード順で最初の字幕テキストに付加された判定結果をそのままｓｔａｔｕｓに設定する。

次に、ステップＳ２４で処理済みの字幕テキストより新しいタイムコードを持つ字幕テキストが存在するか否かを判別し、存在しない場合は処理を終了する。存在する場合にはステップＳ３６に進み、処理対象を１つ進める。つまり、処理済みの字幕テキストの次に新しいタイムコードを持つ字幕テキストを処理対象とする。そして、ステップＳ２６でｓｔａｔｕｓが実況文か否かを判別する。

ｓｔａｔｕｓが実況文の場合には、ステップＳ２８で処理対象の字幕テキストは解説文か否かを判別し、ここで解説文の場合にはステップＳ３０で処理対象の１つ前の字幕テキストは解説文か否かを判別し、ここで解説文の場合にはステップＳ３２に進み、処理対象の２つ前の字幕テキストと１つ前の字幕テキストとの間にセグメントを設ける。そして、このセグメントの前を実況文グループと判断し、セグメントの後を解説文グループと判断する。更に、ステップＳ３４で解説文をｓｔａｔｕｓに設定してステップＳ２２に進む。なお、ステップＳ２８で処理対象の字幕テキストが実況文の場合、または、ステップＳ３０で処理対象の１つ前の字幕テキストが実況文の場合は、そのままステップＳ２２に進む。

一方、ステップＳ２６でｓｔａｔｕｓが解説文の場合には、ステップＳ３６で処理対象の字幕テキストは実況文か否かを判別し、ここで実況文の場合にはステップＳ３８で処理対象の１つ前の字幕テキストは実況文か否かを判別し、ここで実況文の場合にはステップＳ４０に進み、処理対象の２つ前の字幕テキストと１つ前の字幕テキストとの間にセグメントを設ける。そして、このセグメントの前を解説文グループと判断し、セグメントの後を実況文グループと判断する。更に、ステップＳ４２で実況文をｓｔａｔｕｓに設定してステップＳ２２に進む。なお、ステップＳ３６で処理対象の字幕テキストが解説文の場合、または、ステップＳ３８で処理対象の１つ前の字幕テキストが解説文の場合は、そのままステップＳ２２に進む。

このようにして、図７に示すように、実況文または解説文が２つ以上連続してｓｔａｔｕｓと異なるときにするときにセグメントが設けられ、実況文グループと解説文グループが形成される。

図２に示すイベント抽出部４２では、実況文グループの字幕テキストから、予め登録されているイベントキーワードを抽出する。ここで、イベントキーワード格納部４４にはイベントキーワードとして、例えば、以下に示すイベント名と、イベントの動作主となる選手名の単語が予め格納されている。
「ファール、フリーキック、スローイン、シュート、ゴール、コーナーキック、ゴールキック、イエローカード、クロス、ハンド、チャンス、オーバーラップ、オフサイド、タックル、ミス、ドリブル、ワンツー、プレッシャー、トラップ、退場、キープ、ボレー、ダイレクトボレー、ヘディング、ＰＫ、スルーパス、パス、ロングスロー、スルー、カウンター、オーバーヘッド、オーバーヘッドキック、カバー、キックオフ、いいプレー、ループシュート、ショートコーナー、キャッチ、……、中田、中田浩二、中村、中村俊輔、ビスマルク、相馬、柳沢、平瀬、川口、小笠原、……」
上記のイベントキーワードのいずれかが実況文グループの字幕テキストに存在する場合は、イベント抽出部４２は、その実況文グループに対応するイベントと判断し、そのイベント名とイベントの動作主をインデックスとして開始タイムコード及び終了タイムコードと共にインデックス蓄積部４６に蓄積する。開始タイムコードは当該実況文グループの最初の字幕テキストのタイムコードであり、終了タイムコードは当該実況文グループの最後のタイムコード（次の解説文グループの最初の字幕テキストのタイムコードを１だけ減じた値）である。図９に、サッカー１試合分のイベント名（動作主を除く）の抽出結果を示す。ここで、先頭は開始タイムコード、２番目は終了タイムコードと、３番目の「パス」、「フリーキック」等がインデックス（つまりイベント名）である。

図２に示す要約生成部４８は、イベント重要度格納部５０に予め登録されているイベント重要度を基に、インデックス蓄積部４６を参照して最も重要なイベントのインデックスを抽出し、抽出したインデックスの対応する映像情報を映像蓄積部３０から取り出して要約として番組作成ブロック２６に供給する。

図１０は、要約生成部４８が実行する要約生成処理のフローチャートを示す。同図中、ステップＳ５０で要約映像及びトータル時間をリセットする。また、インデックス蓄積部４６に蓄積されている全てインデックス情報を抽出対象とする。

次に、ステップＳ５２で、トータル時間が指定時間を超えたか否かを判断する。ここで、指定時間とは、予めユーザにより入力された時間であり、デフォルト値は例えば３分である。トータル時間が指定時間を超えていない場合は、ステップＳ５４で、イベント重要度格納部５０に予め登録されているイベント重要度を利用して、重要度が最も大きいイベントのインデックスをインデックス蓄積部４６内の抽出対象から抽出する。イベント重要度は、ユーザによって自由に操作でき、例えば以下に示すものを利用する。

イベント重要度１．ゴール
イベント重要度２．ＰＫ
イベント重要度３．シュート
イベント重要度４．退場
イベント重要度５．イエローカード
イベント重要度６．フリーキック
イベント重要度７．コーナーキック
ステップＳ５６ではステップＳ５４においてインデックス蓄積部４６から抽出されたインデックスが複数ある場合、該当する複数のインデックスのうち開始タイムコードと終了タイムコードの差が最も小さいインデックスを抽出し、その開始タイムコードと終了タイムコードの差をトータル時間に加算し、そのインデックスを処理対象から外したのちステップＳ５２に進む。

これによって、トータル時間が指定時間を超えると、ステップＳ５２からステップＳ５８に進む。ステップＳ５８では抽出した１または複数のインデックスそれぞれに対応する映像情報（要約の実況シーンの映像）を、映像蓄積部３０からインデックスを抽出した順に取り出して番組作成ブロック２６に渡す。なお、インデックスと映像情報（要約の実況シーンの映像）との対応は開始タイムコード及び終了タイムコードでとっている。

図２に示す映像コメント生成ブロック２４は、字幕データ利用コメント生成部５２と、テンプレート利用コメント生成部５４から構成されている。映像コメント生成ブロック２４には、番組作成ブロック２６から生成するコメント数が指定される。

字幕データ利用コメント生成部５２は、インデックス蓄積部４６から読出したインデックス（イベント名とイベントの動作主）を解析して映像を説明するのに適切なコメントを抽出して番組作成ブロック２６に供給する。

テンプレート利用コメント生成部５４は、番組作成ブロック２６から供給されるユーザ情報とインデックス蓄積部４６から読出したインデックス（イベント名とイベントの動作主）に基づいて、予め用意されているテンプレートからコメントを生成して番組作成ブロック２６に供給する。

ここで、図１１に、要約生成ブロック２２で解析された字幕テキストの他の実施形態を示す。各行の先頭（左端）から開始タイムコード（時刻及びフレーム番号）、終了タイムコードを表わし、映像とのリンクを取るために使われる。次に、字幕テキスト、字幕テキストが実況文と解説文のいずれであるかの判定結果、各実況シーンで発生したイベント名とイベントの動作主を表わす。なお、横線は、実況文グループと解説文グループとのセグメントを表わしている。

映像コメント生成ブロック２４では、セグメントで分割された各実況シーンに対してコメントを付加する。実況シーンとは、字幕テキストにおいて実況文グループと判定された部分であり、図１１では矢印で範囲指定した部分が実況シーンに相当する。

図１２は、映像コメント生成ブロック２４が実行する映像コメント生成処理のフローチャートを示す。同図中、まず、ステップＳ６１において字幕データ利用コメント生成部５２は、ステップＳ５８でインデックスを抽出した全ての実況シーンに対して処理を行ったか判別し、処理を行った場合はこの処理を終了する。全ての実況シーンを処理していない場合は、ステップＳ６２に進んで、処理されていない実況シーンの中で、もっとも開始時間の早い実況シーンを選択して処理対象つまり対象シーンとする。

次に、ステップＳ６３で、処理シーンに映像説明として相応しいコメントがあるか否かを判定する。このコメント判定処理のフローチャートを図１３に示す。ここでは、入力として、対象シーンとインデックス集合が与えられる。まず、ステップＳ７１で対象シーンの次に出現する解説文グループを抽出する。これらの解説文グループが、映像を説明するコメントの候補となる。映像の説明として相応しいかを判断するためのウエイトを各文に持たせ、初期値を０に設定する。

ステップＳ７２で、抽出された文の全てについて処理が行われたか判別する。処理されていない場合はステップＳ７３に進み、処理対象を次の文とする。ここでは、処理されていない文の中で、もっとも開始時間の早い文を処理対象つまり対象文として選択する。

次に、ステップＳ７４で、対象文が実況文か否かを判別する。解説文グループにも、実況文がごくまれに含まれる場合があるため、ステップＳ７４ではその実況文を除いている。実況文である場合には、再びステップＳ７２に戻る。対象が解説文である場合にはステップＳ７５に進む。

ステップＳ７５では、対象文に、ステップＳ６２で選択された処理対象の実況シーンに含まれるイベント名が存在するか判別する。存在する場合は、ステップＳ７６で対象文のウエイトにｗ１（例えばｗ１＝０．４）を加える。

次に、ステップＳ７７で、対象文にステップＳ６２で選択された対象シーンに含まれるイベントの動作主が存在するか判別する。存在する場合は、ステップＳ７８で対象文のウエイトにｗ２（例えばｗ２＝０．３）を加える。

次に、ステップＳ７９で、対象文にチーム名が存在するか判別する。存在する場合は、ステップＳ８０で対象文のウエイトにｗ３（例えばｗ３＝０．２）を加える。

次に、ステップＳ８１で、対象文にステップＳ６２で選択された対象シーンの字幕テキストに出現した選手名（イベントの動作主以外）が存在するか判別する。存在する場合は、ステップＳ８２で対象文のウエイトにｗ４（例えばｗ４＝０．１）を加える。

更に、ステップＳ８３で、字幕出現時間によるペナルティをあたえる。解説文グループの開始点の時間をＴｌ、対象文の開始点をＴｎとしたとき、対象文が持つウエイトは、例えば下記の式によりペナルティを与える。

ウエイト＝ウエイト／｛（Ｔｎ−Ｔｌ）／９０＋１｝ …（１）
ここで、ウエイトは、イベント名、イベントの動作主名、チーム名、選手名（イベントの動作主以外）の順に、４：３：２：１の比率となる。なお、ウエイトｗ１〜ｗ４は比率であるため、総和が１になる必要はない。また、（１）式によるペナルティは、イベント発生直後の解説文をコメント候補として重視するために、イベント発生から長い時間を経過して発話された解説文のウエイトを低くするためのものであり、９０フレーム（＝３ｓｅｃ）の経過でウエイトを１／２に低下させている。

ステップＳ７２で全ての文が処理されたと判別された場合、ステップＳ８４に進み、ここで、ステップＳ７１で抽出された解説文グループ中で一定の閾値を超えるウエイトを持つ解説文の有無を判別する。全ての文が一定の閾値以下である場合は、ステップＳ８５で映像説明として相応しいコメントがない（ＮＯ）と判別する。閾値を超える文が存在する場合は、ステップＳ８６で映像説明として相応しいコメントが存在する（ＹＥＳ）と判別する。

図１２に戻って説明するに、ステップＳ６３で映像説明として相応しいコメントが存在すると判別された場合にはステップＳ６４で字幕利用処理を行ってステップＳ６１に進む。この際に、閾値を超えた文とそのウエイトがステップＳ６４に渡される。一方、映像説明として相応しいコメントがないと判別された場合にはステップＳ６５でテンプレート利用処理を行ってステップＳ６１に進む。

例えば、図１１のイベント名「シュート」の実況シーンに対する解説文「う一ん、いい形を作りましたアントラーズ」が閾値を超えた最優先のコメント候補としてステップＳ６４に渡され、また、イベント名「ファール」「イエローカード」の実況シーンに対する解説文「この時間帯にイエローカードもらうのはちょっと辛いですね」が閾値を超えた最優先のコメント候補としてステップＳ６４に渡される。

ステップＳ６４の字幕データ利用処理では、ステップＳ６３から渡された文をそのウエイトが降順になるように並べて映像を説明するコメント候補とする。そして、コメント候補から番組作成ブロック２６から指定されたコメント数だけ、ウエイトが大きい順に解説文を取り出して番組作成ブロック２６に渡す。例えば、指定コメント数が１の場合は、ウエイト最大の解説文がコメントとして選ばれ番組作成ブロック２６に渡される。

ステップＳ６５のテンプレート利用処理は、テンプレート利用コメント生成部５４で実行される。この処理では、番組作成ブロック２６から入力されたユーザの情報、つまり、ユーザのサポートチーム等の情報と、インデックスに含まれるイベントの種類や動作主の所属チーム等の情報により、利用するテンプレートを選択し、テンプレートの中からランダムに１つのコメントを選択して番組作成ブロック２６に渡す。

このテンプレート利用処理のフローチャートを図１４に示す。同図中、ステップＳ９１でインデックスに含まれるイベント名に「攻撃」があるか否かを判別する。イベント名に「攻撃」がある場合にはステップＳ９２でインデックスに含まれるイベントの動作主はユーザのサポートチームであるか否かを判別する。イベントの動作主がユーザのサポートチームであればステップＳ９３でイベント名に「ゴール」があるか否かを判別する。

イベント名に「ゴール」がある場合にはステップＳ９４でテンプレート１からランダムに１つのコメントを選択して番組作成ブロック２６に渡す。イベント名に「ゴール」がない場合にはステップＳ９５でテンプレート２からランダムに１つのコメントを選択して番組作成ブロック２６に渡す。

ここで、図１５にテンプレートの一例を示す。例えばテンプレート１には、「ゴール、すばらしいシュートでした。」、「すばらしい得点シーンでした」、「やりました。ゴールです。」という３つのコメントがあり、この中から１つのコメントがランダムに選択される。

ステップＳ９２でイベントの動作主がユーザのサポートチームでない場合には、ステップＳ９６でイベント名に「ゴール」があるか否かを判別する。イベント名に「ゴール」がある場合にはステップＳ９７でテンプレート３からランダムに１つのコメント（例えば「敵に点が入りましたが、まだ時間はあります。」等）を選択して番組作成ブロック２６に渡す。イベント名に「ゴール」がない場合にはステップＳ９８でテンプレート４からランダムに１つのコメント（例えば「良い守りでした。」等）を選択して番組作成ブロック２６に渡す。

ステップＳ９１でイベント名に「攻撃」がない場合には、ステップＳ１００でイベント名に「ファール」があるか否かを判別する。イベント名に「ファール」がある場合にはステップＳ１０１でインデックスに含まれるイベントの動作主はユーザのサポートチームであるか否かを判別する。イベントの動作主がユーザのサポートチームであればステップＳ１０２でテンプレート５からランダムに１つのコメント（例えば「きわどい反則でした。」等）を選択して番組作成ブロック２６に渡す。イベントの動作主がユーザのサポートチームでない場合にはステップＳ１０３でテンプレート６からランダムに１つのコメント（例えば「ひどいプレーですね。」等）を選択して番組作成ブロック２６に渡す。

ステップＳ１００でイベント名に「ファール」がない場合にはステップＳ１０４でインデックスに含まれるイベントの動作主はユーザのサポートチームであるか否かを判別する。イベントの動作主がユーザのサポートチームであればステップＳ１０５でテンプレート７からランダムに１つのコメント（例えば「ナイスプレーです。」等）を選択して番組作成ブロック２６に渡す。イベントの動作主がユーザのサポートチームでない場合にはステップＳ１０６でテンプレート８からランダムに１つのコメント（例えば「敵のプレーでした。」等）を選択して番組作成ブロック２６に渡す。

番組作成ブロック２６は、要約生成ブロック２２から供給される映像情報（要約の実況映像）と、映像コメント生成ブロック２４から供給されるコメント（テキスト）を素材データとして保持する。また、番組作成ブロック２６には、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）モデルやＣＧキャスタの素材データ、例えばＴＶＭＬ（ＴＶ Ｐｒｏｇｒａｍ Ｍａｋｉｎｇ Ｌａｎｇｕａｇｅ）によって記述されている番組台本テンプレートの素材データ、音楽の素材データ等が予め保持されている。

番組作成ブロック２６は、特願２００１−３５１５１２に記載した番組作成用プロファイル生成装置及び番組自動作成装置（視聴端末）に相当する機能を有しており、保持している複数の素材データを組み合わせることにより番組コンテンツを生成する。

この番組コンテンツによって、インデックスの実況シーンの映像を要約として出力装置１２のディスプレイに表示する。これに続いて、その実況シーンに対するコメントをディスプレイに表示されたＣＧキャスタが合成音声で出力して解説する。上記の実況シーンの表示とＣＧキャスタによる解説は、要約生成ブロック２２でインデックスを抽出した順に行われる。

このように、映像の意味的なグループ化を自動で行い、イベントを正確に抽出することにより、番組を放送中にリアルタイムで要約を作成することができ、番組を途中から見始めた視聴者用に、それまでの試合の要約を受信機側で作成することができ、デジタル放送のサービスとして利用できる。

なお、上記実施形態では、サッカー番組の映像から重要なイベントを抽出して要約を作成することを例に説明しているが、サッカー番組に限定されるものではない。例えば、図１６に示すような自然紀行番組での番組ナレーションの字幕テキストについて、映像に映っている事項を説明する映像記述文と補足的な説明を行う補足説明文を判定し、映像記述文のグループからイベントキーワードを抽出し、予め登録されているイベント重要度を基に要約の映像を生成し、この要約に続く補足説明文からコメントを生成するものであっても良い。

図１６では、先頭に判定結果（映像記述文／補足説明文）、次に字幕テキスト文、最後にタイムコード（時刻とフレーム数）を示している。なお、この場合には、学習データ及びイベントキーワード及びイベント重要度それぞれを自然紀行番組用のものに設定する必要がある。

なお、実況文または映像記述文が請求項記載の直接関連文に対応し、解説文または補足説明文が非直接関連文に対応し、字幕テキスト解析部３６が判定手段に対応し、字幕データ利用コメント生成部５２が文利用コメント生成手段に対応し、テンプレート利用コメント生成部５４がテンプレート利用コメント生成手段に対応し、インデックス蓄積部４６がインデックス蓄積手段に対応する。

本発明の要約生成装置のハードウェア構成を示す一実施形態のブロック図である。 本発明の映像コメント生成装置を適用した要約・解説作成システムの一実施形態の機能構成図である。 トランスポートストリームの構成の例を示す概念図である。 トランスポートストリームのデータ構造を示す図である。 字幕テキストの一実施形態を示す図である。 字幕テキスト解析処理のフローチャートである。 判定結果を付加した字幕テキストの一実施形態を示す図である。 セグメント付加処理のフローチャートである。 サッカー１試合分のイベント抽出結果を示す図である。 要約生成処理のフローチャートである。 解析された字幕テキストの他の実施形態を示す図である。 映像コメント生成処理のフローチャートである。 コメント判定処理のフローチャートである。 テンプレート利用処理のフローチャートである。 テンプレートの一例を示す図である。 判定結果を付加した字幕テキストの他の実施形態を示す図である。

符号の説明

１１ 入力装置
１３ 出力装置
１４ 補助記憶装置
１５ メモリ装置
１６ 演算処理装置
１７ データベース
１８ デジタルテレビジョンチューナ
１９ システムバス
１３ ドライブ装置
２０ 記録媒体
２２ 要約生成ブロック
２４ 映像コメント生成ブロック
２６ 番組作成ブロック
３０ 映像蓄積部
３２ 字幕テキストデータ抽出部
３４ 字幕テキスト蓄積部
３６ 字幕テキスト解析部
３８ 学習データ格納部
４０ セグメント付加部
４２ イベント抽出部
４４ イベントキーワード格納部
４６ インデックス蓄積部
４８ 要約生成部
５０ イベント重要度格納部
５２ 字幕データ利用コメント生成部
５４ テンプレート利用コメント生成部

Claims (7)

1. 音声を含む映像と前記音声のテキストそれぞれを供給され、供給されたテキストの各文が前記映像の内容と直接的に関連する直接関連文であるか、もしくは、映像内容と直接的に関連しない非直接関連文であるかを判定する判定手段と、
   非直接関連文グループを構成するテキストの各文から映像を適切に説明する文を抽出しコメントを生成する文利用コメント生成手段を
   有することを特徴とする映像コメント生成装置。
2. 請求項１記載の映像コメント生成装置において、
   前記文利用コメント生成手段で映像を適切に説明する文が抽出されなかったとき予め用意されているテンプレートからコメントを生成するテンプレート利用コメント生成手段を
   有することを特徴とする映像コメント生成装置。
3. 請求項１または２記載の映像コメント生成装置において、
   直接関連文グループを構成するテキストの各文からイベントキーワードと一致するイベント名とイベントの動作主を抽出し直接関連文グループのインデックスとして蓄積するインデックス蓄積手段を有し、
   前記文利用コメント生成手段は、前記非直接関連文グループの各文における、前記非直接関連文グループの直前の直接関連文グループから抽出されたインデックスの存在状況に基づいて、映像を適切に説明する文を抽出することを特徴とする映像コメント生成装置。
4. 請求項３記載の映像コメント生成装置において、
   前記テンプレート利用コメント生成手段は、ユーザ情報と前記非直接関連文グループの直前の直接関連文グループから抽出されたインデックスに基づいて、テンプレートを選択しコメントを生成することを特徴とする映像コメント生成装置。
5. 請求項１乃至４のいずれか記載の映像コメント生成装置において、
   前記直接関連文は映像記述文であり、前記非直接関連文は補足説明文であることを特徴とする映像コメント生成装置。
6. コンピュータを、
   音声を含む映像と前記音声のテキストそれぞれを供給され、供給されたテキストの各文が前記映像の内容と直接的に関連する直接関連文であるか、もしくは、映像内容と直接的に関連しない非直接関連文であるかを判定する判定手段、
   非直接関連文グループを構成するテキストの各文から映像を適切に説明する文を抽出しコメントを生成する文利用コメント生成手段、
   として機能させるための映像コメント生成プログラム。
7. 請求項６記載の映像コメント生成プログラムにおいて、
   コンピュータを、
   前記文利用コメント生成手段で映像を適切に説明する文が抽出されなかったとき予め用意されているテンプレートからコメントを生成するテンプレート利用コメント生成手段、
   として機能させるための映像コメント生成プログラム。

Images