JP2007193820A - 説明文生成装置、説明文生成方法及びプログラム - Google Patents

Abstract

【課題】より効果的に説明文を生成する説明文生成装置を提供すること。
【解決手段】遷移制御部４０６は、入力された映像内に含まれるイベントの内容に関するイベント情報４０１と、イベントの発生により、あるノード（状態）から別のノードに遷移するときの遷移条件と遷移先ノードを示す遷移条件情報４０３に基づいて、説明文生成過程における遷移状態を保持した遷移状態情報４０２を更新する。テンプレート選択部４０７は、遷移状態情報４０２の更新に係る遷移に基づいて、複数の説明文テンプレート情報４０４のうちから、説明文の作成に用いるべき説明文テンプレート情報を選択する。説明文生成部４０８は、選択された説明文テンプレート情報を用いて説明文情報４０５を生成する。
【選択図】 図８

Description

本発明は、映像情報から説明文を生成する説明文生成装置、説明文生成方法及びプログラムに関する。

近年、ディジタル衛星放送による放送の多チャンネル化等、情報インフラの発展により、多くの映像コンテンツが流通するようになっている。一方で、計算機の処理能力の向上やＡＤＳＬ、ＦＴＴＨなどのブロードバンド・ネットワークの普及に伴い、映像をパソコンや携帯端末上の記憶装置に録画して視聴したり、ネットワークを通じて配信された映像を視聴したりすることが一般的になっている。そのため、ユーザは今までと同じ時間でより多くのコンテンツを視聴するために自分の興味ある部分だけを視聴したり、パソコンで録画した映像を携帯端末向けに短く要約して、外出先で視聴したりするなど、視聴形態も多様化していくと考えられる。

また、映像コンテンツの製作者側からの視点に立つと、ユーザの視聴環境の多様化は同じ内容のコンテンツであっても、テレビ放送向け、ブロードバンド放送向け、携帯端末向けと視聴環境に応じて、複数のバリエーションを作成する必要が生じ、製作コストが増大する。

そこで、映像の中のイベントをイベント列として記述し、ユーザの嗜好とのマッチングに応じて自動的に要約する装置や方法が提案されている。例えば、イベントごとの重要度を求め、該当するイベントの区間を要約映像として選択する方法（例えば、特許文献１参照）や、要約映像そのものに対する説明を生成する方法（例えば、特許文献２参照）がある。
特許第３１７６８９３号公報 特開２００１−２７５０５８号公報

元映像から、ユーザの興味のあるシーンを集めた要約映像は、コンテンツの内容を知る上で、重要なシーンを必ずしも含むとは限らない。例えば、スポーツの試合において、味方チームの映像を中心にした要約映像を作成する場合、相手チームの得点シーンなどが含まれずに、試合展開が分からなくなる場合がある。

また、試合全体の要約を作成したい場合、全体のシーン構成を考慮して、重要でないシーンもいくらか含めたい場合がある。しかし、先の提案では必ずしもこのようなシーン構成を考慮したコンテンツを生成できる要約方法とはなっていなかった。例えば、試合の後半にばかり重要なシーンがある場合、前半のシーンが全く含まれない要約映像が作成される場合がある。

本発明は、上記事情を考慮してなされたものであり、より効果的に説明文を生成する説明文生成装置、説明文生成方法及びプログラムを提供することを目的とする。

本発明は、映像内に含まれるイベントに関係する遷移状態を保持し、前記映像内に含まれるイベントの内容に関するイベント情報を入力し、入力された前記イベント情報及び予め定められた遷移条件に基づいて、保持すべき前記遷移状態を更新し、前記遷移状態の更新に係る遷移に基づいて、複数の説明文テンプレート情報のうちから、説明文の作成に用いるべき説明文テンプレート情報を選択し、選択された前記説明文テンプレート情報を用いて説明文を生成することを特徴とする。

本発明によれば、より効果的に説明文を生成することができる。

以下、図面を参照しながら本発明の実施形態について説明する。

（第1の実施形態）
図１は、本発明の第１の実施形態に係る映像要約装置の基本構成例を示す図である。

図１に示されるように、本映像要約装置は、重要度算出部１０６、映像区間選択部１０７、説明文用イベント選択部１０８、説明文作成部１０９、統合部１１０を備えている。

元映像情報１０１は、例えばテレビの番組やユーザが撮影した映像など、様々な映像コンテンツがこれに該当する。

本実施形態では、元映像情報１０１は、デジタルデータとする。デジタルデータの形式は、どのような形式でもよい（例えば、ＭＰＥＧ−１やＭＰＥＧ−２などの圧縮データ形式を用いるのが一般的である）。もちろん、ソース映像がアナログデータでもよいが、この場合には、予め外部でデジタルデータに変換するか、または、本映像要約装置がアナログ・デジタル変換を備える。

映像コンテンツは、１つでも複数でもかまわなく、タイトルやＩＤなど映像コンテンツを一意に特定できる情報と、再生を開始する時間またはフレーム番号をと与えれば、任意の映像コンテンツを任意の位置から再生可能である。

映像属性情報１０２は、映像コンテンツに関する様々な属性情報（メタデータ）である。図２に、属性情報の一例を示す。属性情報には、映像コンテンツ内で起きた事象をイベントとして列挙したイベント列が含まれる。イベントは、人物や物体の名称や動き（サッカーの場合、「○○選手のシュート」など）や、時間的な区切り（「試合開始」、「試合終了」など）などの情報がその発生時間と共に記述される。発生時刻の記述は、シーン情報のように区間の始点・終点を記述する形式でもよいし、イベントが発生した瞬間の時刻を記述する形式でもよい。その他、属性情報には、スポーツの種目、対戦チーム名、日時、場所、出場選手、試合結果など、映像コンテンツ中の特定の時間に関連しない情報も含んでよい。また、ここでは具体例としてスポーツを挙げたが、属性情報はコンテンツに応じて適宜記述することができる。例えば、ドラマや情報番組についても登場人物やトピックのタイトルを用いることで、同様に記述することができる。

要約作成情報１０３は、要約を作成するときのユーザの嗜好や、要約映像の時間、要約アルゴリズムのパラメータなどを含む情報である。ユーザの嗜好とは、ユーザが優先的に視聴したい部分を求めるためのキーワードなどの情報である。スポーツの試合であれば、好みのチームや好みの選手などの情報がこれに該当する。キーワードは、見たい対象だけ記述してもよいし、見たい対象だけではなく、見たくない対象についての記述をも可能にしてもよい。これらの情報は、直接入力してもよいし、毎回同じような条件を入力する手間を省くために予め内部あるいは外部の記憶装置上に保持しておいてもよい。

説明文作成情報１０４は、映像属性情報１０２に含まれるイベントから、説明文を作成するときに用いるテンプレート（雛形）を含む情報である。ここで用いるテンプレートとは、例えば、
「（時間）、（チーム）のチャンス。（選手）の（プレイ）！」
のように、固定された文字列と可変の文字列の組み合わせによって与えられる文字列である。この例では、「（時間）」など（）によって示された文字列が可変の文字列を表している。

要約映像情報１０５は、本映像要約装置によって生成させる要約映像である。要約映像情報は、元映像コンテンツの一部と、生成された文字等の可視的情報や音声等の可聴的情報による説明文（例えばテロップやナレーションなど）を含む。また、元映像コンテンツとは別に用意されたコンテンツ（例えば、タイトル画面など）を含めてもかまわない。また、要約映像情報の形態は、元映像とは別の映像コンテンツとして、それ単体で再生できる情報であってもよいし、元映像コンテンツを参照して再生しながら、文字や音声による説明文を表示・再生するものであってもよい。後者には、ＳＭＩＬなど複数のメディアを同期して表示することのできる記述言語を用いることができる。音声の再生には、例えば、音声合成を用いることができる。

重要度算出部１０６は、入力された映像属性情報１０２および要約作成情報１０３に基づいて、映像属性情報１０２に含まれるイベントごとにその重要度を算出する。イベントの重要度の算出方法は、当該イベントに含まれる文字列と要約作成情報１０３に含まれるキーワードとの一致の具合の評価値を求めることによって行う。例えば、重要度をｗとし、キーワードの総数をＮとして、次に例示する式により重要度ｗを求めることができる。ただし、次式においてα_ｋは、要約作成情報１０３に含まれるｋ番目のキーワードの重み値を示すパラメータである。
ｗ＝Σα_ｋＭ（χ）
ここで、Σはｋ＝１〜Ｎの範囲を総和の対象とする。
また、χ番目のキーワードが一致する場合には、Ｍ（χ）＝１とし、
χ番目のキーワードが一致しない場合には、Ｍ（χ）＝０とする。

なお、キーワードとして見たくない対象についての記述をも可能にする構成においては、Ｍ（χ）について、
χ番目のキーワードが一致し、χ番目のキーワードが見たい映像に係るキーワードである場合には、Ｍ（χ）＝１とし、
χ番目のキーワードが一致し、χ番目のキーワードが見たくない映像に係るキーワードである場合には、Ｍ（χ）＝−１とし、
χ番目のキーワードが一致しない場合には、Ｍ（χ）＝０とする。

映像区間選択部１０７は、算出された重要度に従って、要約映像に含める元映像コンテンツの区間を選択する。

図３に、個々のイベントに対応する区間（開始時間と終了時間）が求まっている場合（本実施形態では映像属性情報１０２に記述されている場合）の区間選択手順の一例（第１の区間選択方法）を示す。

ステップＳ１１では、イベント列の中から、まだ要約映像に含まれていない映像で、重要度が最大のイベントを検索し、これをイベントｉとする。

ステップＳ１２では、既に要約映像に含まれるイベントの合計時間とイベントｉの時間とを加算し、これを要約作成情報１０３で指定される要約映像の時間と比較する。越えない場合は、ステップＳ１３へ進み、このイベントｉを、要約映像を構成するイベントの１つとして追加する。そして、ステップＳ１１へ戻り、次のイベントの検索を行う。

しかして、ステップＳ１２において、選択済みイベントの時間とイベントｉの時間との合計が、要約映像時間を越える場合には、処理を終了する。

この手順は、指定された時間に合うように、時間をしきい値として要約映像を生成するものであったが、生成される要約映像の時間が重要でないような場合には、例えば、重要度をしきい値とし、しきい値以上の重要度を持つイベントを選択してもよい。

また、しきい値以上の重要度を持つイベントのみを対象として、図３の手順を行う方法も可能である。

その他、イベントの重要度のしきい値や、要約映像の時間のしきい値などを用いた区間選択手順には、種々のバリエーションが可能である。

図４に、区間選択手順の他の例（第２の区間選択方法）を示す。この手順例では個々のイベントを時間に対する重要度の関数として表現して、要約映像の区間を選択する方法である。以下、本手順の概要を説明する（本手順の詳細について例えば特願２００２−２８７８６１号公報参照）。

ステップＳ２１では、イベントの重要度と重要度関数からイベント重要度曲線を算出する。

イベント重要度関数とは、イベント区間の時間による重要度の変化を表す関数である。関数の式はイベントごとに自由に決めることができる。この関数式を重要度に基づいて変化させ、イベント重要度曲線を求める。

一例としては、イベント重要度関数にイベントの重要度を乗ずる。ｉ番目のイベントの関数式をｆ_ｉ（ｔ）とすると、イベント重要度曲線の式は、
Ｅ_ｉ＝（ｗ_ｉ＋ｅ_ｉ）ｆ_ｉ（ｔ）
となる。ただし、ｗ_ｉはｉ番目のイベントの重要度である。また、ｅ_ｉは、補正項であり、ｗ_ｉ以外の要因を反映させたいときに用いる。

ステップＳ２２では、図５（ａ）に例示するように、イベント重要度曲線２０１と時間重要度曲線２０２とを加算し、コンテンツ全体の時間ごとの重要度変化を示す重要度曲線２０３を算出する。

ここで、時間重要度曲線とは、イベントの発生とは独立に、コンテンツ全体の時間による重要度の変化を示す。

時間重要度曲線の式をＴ（ｔ）とすると、コンテンツ全体の重要度曲線は、
ＥＲ（ｔ）＝Ｍａｘ（Ｅ_ｉ（ｔ））＋Ｔ（ｔ）
となり、イベントの重要度と時間による重要度の両者の合計となる。ただし、Ｍａｘ（Ｅ_ｉ（ｔ））は時間ｔにおけるＥ_ｉ（ｔ）の最大値である。

なお、上記の代わりに、ＥＲ（ｔ）＝ΣＥ_ｉ（ｔ）＋Ｔ（ｔ）としてもよい。ここで、Σ（Ｅ_ｉ（ｔ））は全イベントについてのＥ_ｉ（ｔ）の総和である。

ステップＳ２３では、図５（ｂ）に例示するように、重要度曲線がしきい値を超える区間を要約映像に含まれる区間として選択し、映像区間情報を得る。図５（ｂ）のように、しきい値を小さくするほど、選択される映像区間は長時間になる。なお、区間の選択に用いるしきい値は、例えば、直接指定してもよいし、指定された時間に合うようにしきい値を求めて、その値を用いてもよい。

なお、区間選択手順には、上記の第１や第２の区間選択方法以外にも、種々のバリエーションが可能である。

説明文用イベント選択部１０８は、要約映像に用いる文字や音声による説明文（テロップやナレーションなど）の生成に用いるイベントを、イベント列から選択する。基本的には、要約映像の全部に対してのみ説明文を生成する処理と、要約映像の一部に対してのみ説明文を生成する処理と、要約映像の全部又は一部及び要約映像以外の所定の部分に対して説明文を生成する処理と、要約映像以外の所定の部分に対してのみ説明文を生成する処理が考えられる。これらのイベント選択処理は、映像区間選択部１０７とは独立して処理してもよいし、映像区間選択部１０７のデータを利用してもよい。

説明文用イベント選択部１０８で用いられるアルゴリズムは、基本的には、映像区間選択部１０７で用いられるアルゴリズムと同様の考えに基づくものでよい。例えば、第１の区間選択方法と同様にイベントごとの重要度をもとに、しきい値以上の重要度を持つイベントを選択する方法（第１のイベント選択方法）や、第２の区間選択方法と同様にコンテンツ全体の重要度曲線を求め、しきい値以上の重要度である区間に含まれるイベントを選択する方法（第２のイベント選択方法）がある。もちろん、その他の方法も可能である。

説明文用イベント選択部１０８が映像区間選択部１０７のデータを利用する場合には、一例として、区間選択方法とイベント選択方法との間で、しきい値だけを変更して同じ選択方法を用いるものがある。その際、例えば、映像区間の中でも特に重要な一部イベントに対して、重点的に説明文を生成したい場合は、しきい値をより高く設定し、特に重要なイベントだけが選択されるようにすればよい。また、映像区間に含まれないやや重要度の低いイベントに対しても説明文を生成して、詳細な情報を提供したい場合は、しきい値を低く設定し、より広範なイベントが選択されるようにすればよい。イベント選択に用いるしきい値は１つである必要はなく、文字で表現される説明文や音声で表現される説明文など、用途に応じて複数のしきい値を用いてもよい。

また、映像区間選択部１０７のデータを利用する他の例としては、先に選択された映像区間に含まれるイベントの中から、説明文作成に用いるイベントを選択する。このときのイベント選択方法は、映像区間の選択方法と同じでもよいし、異なっていてもよい。異なる例としては、第２の区間選択方法で映像区間を選択し、その映像区間に含まれるイベントの中から、第１のイベント選択方法を用いてイベントを選択する。

一方、映像区間選択部１０７とは独立してイベントを選択する例としては、イベント列から第１の区間選択方法で映像区間を、第２のイベント選択方法で説明文用イベントを選択するなど、異なる選択方法を組み合わせて用いる。また、同じ選択方法の組み合わせであっても、重要度算出部１０６の重み値などのパラメータが異なる場合が例として挙げられる。

さらに、例えば、文字等の可視的情報で表現される説明文（以下、文字説明文）と音声等の可聴的情報で表現される説明文（以下、音声説明文）とを併用する場合に、１つのイベント選択方法によって選択された個々のイベントについて、文字説明文を生成するか、音声説明文を生成するか、両者を生成するかを、所定の基準（例えば、当該イベントについて重要度が高く映像区間も選択されている場合には両者、重要度は高くないが映像区間が選択されている場合には音声説明文のみ、映像区間が選択されていない場合には文字説明文のみ、といった基準）によって自動的に決定するか、あるいはユーザがイベントごとに直接指示して決定する方法も可能である。このとき、説明文用イベント選択部１０８は、選択された各イベントについて、上記の決定内容を特定できる情報を、説明文作成部１０９へ通知するようにする。なお、この決定処理は、説明文作成部１０９で行っても構わない。

また、文字説明文と音声説明文とを併用する場合に、文字説明文に用いるイベントを選択する処理と、文字説明文に用いるイベントを選択する処理とを、独立して行う方法も可能である。

また、１つのイベント選択方法によって選択された全てのイベントについて、文字説明文と音声説明文の両者を生成しておき、ユーザが、説明文を、文字のみで出力するか、音声のみで出力するか、両者を出力するかを、選択できるようにしてもよい。

説明文作成部１０９は、説明文用イベント選択部１０８で選択された説明文用イベントと説明文作成情報１０４とから、（文字等の可視的情報や音声等の可聴的情報による）説明文を生成する。

前述したように、説明文作成情報は、説明文を生成するためのテンプレートを含む情報である。テンプレートとは、例えば、
「（時間）、（チーム）のチャンス。（選手）の（プレイ）！」
のように、固定された文字列と可変の文字列の組み合わせによって、与えられる文字列である。この例では、「（時間）」など（）によって示された文字列が可変の文字列を表している。

可変の文字列には、映像属性情報１０２や要約作成情報１０３から、直接的あるいは間接的に得ることができる文字列が入る。このようなテンプレートがイベントの種類などによって複数用意される。例えば、イベント列から、
「時間：前半１２分、チーム：チームＡ、選手：Ｘ選手、プレイ：シュート」
の情報が得られた場合に、先に例示したテンプレート、すなわち、
「（時間）、（チーム）のチャンス。（選手）の（プレイ）！」
に当てはめて、
「前半１２分、チームＡのチャンス。Ｘ選手のシュート！」
と、説明文が生成される。

また、２つ以上のイベント列の情報と１つのテンプレートを用いて説明文を生成してもよい。例えば、第１イベントがセンタリングで、第２イベントがシュート、第３イベントがゴールのように、関連するイベントが連続する場合に、これを「（センタリングした選手）が上げたボールを（シュートした選手）がシュート。ゴール！」などと、１つの説明文にまとめることもできる。

イベントの関連性を判断するには、関連イベントとするイベントの種類を列挙した情報を作成し、入力されてくるイベント列との間で比較を行えばよい。例えば、前述の例の場合、「センタリング、シュート、ゴール」とイベントの種類を列挙した情報を作成しておく。イベントの種類以外に時間的に近いイベントのみをまとめるためにイベント発生時刻の間隔などを記述しておいてもよい。

なお、説明文作成部１０９は、例えば、文字説明文と音声説明文との両方を作成する可能性がある場合には、文字説明文を作成するための部分と、音声説明文を作成するための部分とを兼ね備えるものとする。もちろん、文字説明文のみ作成する場合には、文字説明文を作成するための部分のみ備えればよい。音声説明文のみ作成する場合についても同様である。

統合部１１０は、映像区間情報と文字テロップや音声ナレーションによる説明文とを統合し、両方の情報を含んだ要約映像情報を作成する。文字の表示や音声の発話のタイミングは、イベントの発生時刻や映像区間に合わせて行う。発生時刻に合わせる場合、発生時刻の前に適当な間隔をおいて表示、発話したり、発話区間の特定の位置（例えば中間点）がイベントの発生時刻となるように表示、発話したりするようにタイミングを調整すればよい。また、映像区間に合わせる場合は、その区間の開始点や終了点から適当な間隔をとって表示、発話すればよい。もちろん、これらの複数の手法を組み合わせて、例えば、文字テロップは映像区間に合わせ、音声ナレーションはイベントの発生時刻に合わせて用いるなどしてもよい。

統合時には、テロップのオーバーレイ表示や、音声合成による音声ナレーションを作成して、要約映像に含めてもよいし、テキストの状態で要約映像情報として記述して、再生装置側で、オーバーレイ表示音声合成を行ってもよい。

なお、上記では、統合部１１は、選択された映像区間情報と生成された説明文情報とを単純に重ね合わせて、１つの映像要約情報として出力する例を示したが、映像区間や音量の調整を含むようにしてもよい。

図６に、この場合の統合部１１０の処理手順例を示す。なお、本処理手順において、ステップＳ３１及びステップＳ３２は、不要であれば、どちらかを省略してもよい。

ステップＳ３１では、映像区間情報を説明文情報の表示（テロップ）、再生（音声ナレーション）のタイミングに合わせて調整する。

例えば、音声ナレーションの発話時間に対して映像区間が短すぎる場合に、音声ナレーションが収まるように映像区間を拡張する。拡張した部分の時間は、他の区間（ナレーションの短い区間など）を短縮することで、吸収してもよいし、そのままにしておいてもよい。なお、発話時間の代わりに文字数や単語数を用いてもよい。

また、例えば、図７の調整前の映像の或る映像区間３０１に対して、ナレーション３０３ａ，３０３ｂを挿入したい場合を考える。この場合、イベントの発生時刻の近傍の区間３０２にはナレーションは入れずに、歓声だけを利用し、その前後にナレーションを挿入するようにしてもよい。図７において、斜線で表されているのがナレーションの時間長である。図７の例では、ナレーション３０３ａは問題ないが、ナレーション３０３ｂは挿入先の区間に対して長すぎるため、そのまま挿入すると映像区間３０１の終端を越えてしまう。そこで、映像区間を３０１から３０４のように、後方へずらすことで、両方のナレーションが収まるように調整することができる。

ステップＳ３２では、映像に含まれる音声の音量を調節する。例えば、音声ナレーションを再生する部分の映像の音量を、音声ナレーションが聞き取りやすくなるように小さくしたり、ゴールなどのイベントが発生した部分の歓声などを大きくしたりする。

ステップＳ３３では、調整された映像とテロップやナレーションをまとめた要約映像情報を作成する。

以上のように本実施形態によれば、映像情報の中から、ユーザの入力したキーワードや時間などの条件やユーザの好みに基づいて、ユーザの興味のある映像区間のみを選択し、それにテロップや音声ナレーションを付加した要約映像を作成することができる。また、省略されてしまった重要なシーンを説明文で補うことで、より内容を理解しやすい要約映像を作成することができる。

したがって、本実施形態によれば、ユーザは１つの番組をまるごと再生することなく、自分の興味のある部分だけを含む要約を作成して、再生することが可能である。その際に、テロップや音声ナレーションによる説明を映像に現れない部分を含めて、ユーザの嗜好に合った文章や口調で受けることができる。

（第２の実施形態）
図８は、本発明の第２の実施形態に係る説明文生成装置の基本構成例を示す図である。

図８に示されるように、本説明文生成装置は、遷移制御部４０６、テンプレート選択部４０７、説明文生成部４０８を備えている。

本説明文生成装置は、第１の実施形態の説明文作成部として用いることができる。

イベント情報４０１は、説明文生成に用いるイベント情報である。このイベント情報は、生成する説明文によって、元映像に付けられた全イベント情報である場合もあるし、選択された一部のイベントに関する情報のみの場合もある。

遷移状態情報４０２は、説明文生成過程における遷移状態を保持した情報である。

遷移条件情報４０３は、イベントの発生により、あるノード（状態）から別のノードに遷移するときの遷移条件と遷移先ノードを示す情報である。

説明文用テンプレート情報４０４は、イベント情報を当てはめて説明文を生成するためのテンプレート（雛形）となる情報である。

説明文情報４０５は、生成される説明文（文字テロップや音声ナレーションなど）である。

遷移制御部４０６は、イベント情報を受け取り、遷移条件情報に従って、遷移状態情報の更新を行う。

テンプレート選択部４０７は、説明文用テンプレート情報から、直前の遷移に対応した説明文テンプレートを選択する。

説明文生成部４０８は、選択されたテンプレートに対して、イベント情報を当てはめた説明文情報を生成する。

次に、各部の処理を、図９を参照しながら説明する。図９は、イベント発生時の状態遷移の一例を表す。

図９において、現ノード（５０１）が現在の状態に対応し、イベントの発生により、ノードＡ（５０２）やノードＢ（５０３）で表される状態に遷移する。具体例を挙げると、スポーツの試合において、現在が同点の状態で、現ノードにあるとする。また、Ａチームのリードした状態をノードＡ、Ｂチームのリードした状態をノードＢとする。得点イベントの発生により、現ノードからＡチームのリードした状態（ノードＡ）あるいはＢチームのリードした状態（ノードＢ）に遷移する。

１つのノードは複数の遷移先ノードを持つことができ、どのノードに遷移するかは遷移条件によって決まる。例えば、遷移条件Ａは「Ａチームの得点」、遷移条件Ｂは「Ｂチームの得点」と定める。もちろん、遷移条件の記述は「Ａチームの得点」である必要はなく、「チーム＝Ａチーム、かつ、行動＝得点」のように、イベントの項目ごとのマッチングでもよい。また、意味が同じであれば、単語を羅列するだけでもよいし、ＸＭＬなどの記述言語を用いてもよい。

遷移条件は、チームや選手名などのイベントから直接得られる情報や、得点経過や試合時間などの間接的に得られる情報、要約作成条件として与えられた情報、映像データを解析することによって得られる動きベクトルや色などの特徴量、ノードの通過回数や遷移元ノードなどの状態遷移から得られる情報など、様々な情報を用いて記述することができる。

遷移制御部４０６は、発生したイベントと遷移条件を比較し、遷移状態情報に含まれる現ノード位置を更新する。前述の具体例を用いると、発生したイベントがＡチームの得点イベントである場合には、現ノードをノードＡに遷移させ、Ｂチームの得点イベントである場合には、現ノードをノードＢに遷移させる。また、本例では当てはまらないが、遷移条件Ｃのように現ノードが更新されない場合もあり得る。

個々の状態遷移には対応する説明文テンプレートが存在する。ただし、説明文の生成を必要としない場合は、省略してもよい。例えば、遷移条件Ａに従ってノードＡに遷移するときにはテンプレートＡを、遷移条件Ｂに従ってノードＢに遷移するときにはテンプレートＢを用いる。異なるノード間の状態遷移に対して、同じテンプレートを用いてもかまわない。前述の具体例の場合、「（時間）、（チーム）のチャンス、（選手名）のシュート。ゴール！」などとなる。ただし、（）内はイベントによって決まる変数である。

説明文生成部４０８では、イベント情報やコンテンツ全体の情報などから、直接的あるいは間接的に得られる情報を前述の説明文テンプレートに当てはめ、説明文情報を生成する。間接的に得られる情報というのは、例えば、映像に対応する時間情報から、試合の時間情報を得る場合などである。前述の具体例の場合、時間：前半３０分、チーム：Ａチーム、選手名：Ｘとすると、「前半３０分、Ａチームのチャンス、Ｘのシュート。ゴール！」となる。

図１０に、スポーツの試合における得点時のナレーション生成に用いる状態遷移ルールの一例を示す。この例では、開始、Ａリード、同点Ａ、Ｂリード、同点Ｂの５つのノードが存在する。開始ノードが初期の状態である。また、Ａリード：チームＡがリードしている状態、Ｂリード：チームＢがリードしている状態、同点Ａ：チームＡがリードしている状態から同点になった状態、同点Ｂ：チームＢがリードしている状態から同点になった状態を示す。状態遷移を示す矢印のうち、実線は「チームＡの得点」、破線は「チームＢの得点」が遷移条件であることを示す。また、「」内の文章はそれぞれの遷移に対応する説明文テンプレートである。なお、Ａリード及びＢリードより同一遷移条件で２つの遷移が出ているが、これらは、遷移条件としてチーム以外に得点差を考慮したものである。

本手法により、同じ得点イベントであっても、その状況に応じて適切な説明文を選択することができることが分かる。例えば、同点からの得点イベントが発生した場合、開始ノード６０１からの遷移であるときは先制点であり、テンプレート６０２を用いる。同点に追いついた後（ノード６０３）であれば逆転であり、テンプレート６０４を用いる。同点に追いつかれた後（ノード６０５）であれば再び勝ち越したことを示す説明文をテンプレート６０６により、生成できる。

図１１に、スポーツの試合における得点時のナレーション生成に用いる状態遷移ルールの他の例を示す。この例ではチームＡが好きなユーザ向けに、チームＡを主役にした説明文を生成する。例えば、チームＢの得点であっても、チームＡを主役にし、テンプレート７０１「逆転された」やテンプレート７０２「追いつかれた」など、チームＡを中心にしたテンプレートを用いる。このように、同じ状態遷移に対して、異なる説明文テンプレートのセットを用意することにより、ユーザの嗜好や用途に応じた説明文を生成することが可能である。

図１２に、スポーツの試合における得点時のナレーション生成に用いる状態遷移ルールのさらに他の例を示す。この例では、テンプレート８０１のように１つの遷移に対して、複数の説明文テンプレートが対応付けられている。これらのテンプレートは遷移条件とは別の説明文条件によって、選択が行われる。説明文条件は、遷移条件と同様にチームや選手名などのイベントから直接得られる情報や、得点経過や試合時間などの間接的に得られる情報、要約作成条件として与えられた情報、映像データを解析することによって得られる動きベクトルや色などの特徴量、ノードの通過回数や遷移元ノードなどの状態遷移から得られる情報など、様々な情報により記述される。

説明文条件を用いることにより、ノード数を削減し、状態遷移図を簡略化することができる。例えば、図１２の場合、開始、同点Ａ、同点Ｂの状態を１つの同点ノードにまとめ、直前が０対０であれば、先制点、相手チームのリードから追いついた同点であれば、逆転というふうに、テンプレートを切り替える。なお、図１２中の条件の表記は一例として、ｉｆ （条件）ｔｈｅｎ「テンプレート」のｉｆ−ｔｈｅｎルールの表記を用いているが、もちろん、他の表記方法を用いてもかまわない。

図１３に、複数の状態遷移ルールを用いる方法の一例を示す。上記では、得点経過の状態遷移を例に状態遷移ルールを説明したが、実際のスポーツの試合では得点以外にも複数の状態遷移が存在する。例えば、野球を例にすると、回やその表裏の遷移があり、１つの回の表あるいは裏は３つのアウトの遷移がある。さらにその下に、打者や投球ごとの細かい階層の遷移が存在する。

これらの状態遷移をすべて１つの状態遷移ルールとして記述することもできるが、非常に煩雑になってしまう。そこで、状態遷移ルールを複数用いる。図１３で、状態遷移ルール１（９０１）と状態遷移ルール２（９０２）は同じ階層の状態遷移に対応し、同時並行的に処理が行われる。これに対し、状態遷移ルール３（９０３）は状態遷移ルール１がノード４（９０４）の状態にある場合に適用される。状態遷移ルール１において、ノード４からの遷移条件が成立すれば、状態遷移ルール３の状態に関わらず、次のノードに遷移する。このとき、ノード４からの遷移条件として、状態遷移ルール３の状態を用いてもかまわない。

図１４に、状態遷移ルールを記述するデータ構造の一例を示す。

ノード情報１００１は、１つのノードに関する情報を記述する。ノード情報にはそのノードの識別情報を示すノードＩＤ１００２と遷移先ノードについての情報を記した遷移先情報１００３を含む。遷移先情報は遷移先ノードの数に応じて、複数存在してもよい。遷移先情報には、遷移先ノードのノードＩＤを示す遷移先ノードＩＤ１００４、遷移先ノードへ遷移するための遷移条件１００５、この遷移ときに用いられる説明文テンプレートについて記述する説明文情報１００６を含む。遷移先が１つで、必ず遷移する場合など、遷移条件が不要な場合は省略してもよい。説明文情報は説明文テンプレートの数に応じて、複数存在してもよい。個々の説明文情報は、説明文条件１００７と説明文テンプレート１００８の情報を含み、複数のテンプレートを用いる場合は説明文条件に応じて切り替える。また、説明文情報が１つで、切り替えの必要がない場合の説明文条件は省略してもよい。

図１５に、複数の状態遷移ルールを記述するデータ構造の一例を示す。ここでは、図１４との相違点についてのみ説明する。

状態遷移ルール１１０１は、状態遷移ルールについて記述する情報で、状態遷移ルールの識別情報を示すルールＩＤ１１０２とノード情報１１０３を含む。ノード情報には前述のノードＩＤや遷移先情報に加えて、そのノードのもとで適用される別の状態遷移ルール１１０４を保持する。この状態遷移ルールのデータ構造は、状態遷移ルールと同じものである。なお、状態遷移ルールの記述は、図１５のように実体を記述してもよいし、他の場所で定義された状態遷移ルールをルールＩＤにより参照してもよい。特に、同じ状態遷移ルールを複数回使う場合は、１箇所で状態遷移ルールを定義し、それをルールＩＤで参照すれば効率がよい。このような参照を行わず、ルールＩＤが不要ならばルールＩＤを省略してもかまわない。

ところで、複数の状態遷移ルールを用いると、１つのイベント情報の入力に対して、個々の状態遷移ルールに対応した複数の説明文が生成される場合がある。これらの説明文を整理して表示（文字テロップなどの場合）あるいは再生（音声ナレーションなどの場合）するために、個々の説明文をどのように表示あるいは再生するかを示す位置情報を付加してもよい。この位置情報は、表示位置の座標や大きさなどを示す空間的な情報、または、再生時間を示す時間的な情報である。これらの空間的あるいは時間的な位置情報は、状態遷移ルールとともに記述することができる。例えば、１つの状態遷移ルールで共通した位置を用いる場合は、状態遷移ルール１１０５の要素として、記述すればよい。また、遷移ごとあるいは説明文ごとに位置を変更する場合は、遷移先情報１００３や説明文情報１００６の要素として記述すればよい。

図１６に、時間的な位置情報として、イベントを中心とした相対的な位置を記述する方法の一例を示す。イベントの時刻を中心にし、それよりも前に再生するか、後に再生するかを記述する。図１６の斜線部分が説明文（音声ナレーション）の挿入される区間である。また、前あるいは後ろに複数の説明文が存在する場合のために、イベント時刻からの順序を記述する。この順序は連番である必要はない。この前後情報と順序情報を時間的な位置情報として記述しておくことで、１つのイベントに対して、複数の音声ナレーションが生成された場合でも、自然なナレーションとなるように統合することができる。

なお、上記では、前後位置を示す情報（本例では、前又は後）と、イベント時刻からみた順序を示す情報（本例では、１又は２）で、イベントを中心とした相対的な位置を記述する方法の一例を示したが、もちろん、これに限定されるものではない。

例えば、時間的な位置情報を正負の数で表すことも可能である。この場合、例えば、イベント時刻を起点とし、これを０で表し、イベント時刻より前の位置を負の数（絶対値は、上記のイベント時刻からみた順序を示す情報と同じ）、イベント時刻より後の位置を正の数（絶対値は、上記のイベント時刻からみた順序を示す情報と同じ）で表すことができる。この方法によれば、図１６の具体例の場合、先の方法による（前，２），（前，１），（後，１），（後，２）は、それぞれ、−２，−１，１，２で表すことができる。

以下、状態遷移による説明文生成の応用例を示す。

図１７に、状態遷移をもとに、試合を優勢に進めているチームや劣勢にあるチームなどの優劣情報を得るための基本的な書手順の一例を示す。優劣情報は、チームごとに数値などで表してもよいし、どちらのチームが優勢あるいは劣勢という情報でもよい。この優劣情報は遷移条件や説明文条件などの内部情報として用いてもよいし、ユーザに分かるような情報として用いてもよい。

ステップＳ４１では、状態遷移ルールに基づく遷移状態の現ノード位置の優劣値を全体の優劣値に加算する。

ステップＳ４２では、他に処理対象となる状態遷移ルールが存在するか判定し、存在する場合はステップＳ４１に戻り、その状態遷移ルールに基づく遷移状態の現ノード位置の優劣値を加算する。これを処理対象となる状態遷移ルールがなくなくまで繰り返し、ステップＳ４３へと進む。

ステップＳ４３では全体の優劣値から、優劣情報を得る。

ここで、優劣値は、例えば、優勢チームの優勢度合を０〜１の間の連続的に変化する数値で表現してもよいし、どちらのチームが優勢かだけをあらわしてもよい。後者の場合、０か１の離散的な値をとると考えることができる。

（第3の実施形態）
図１８は、本発明の第３の実施形態に係る映像要約装置の基本構成例を示す図である。

図１８に示されるように、本映像要約装置は、全体説明作成部１２０２、重要度算出部１２０３、映像区間選択部１２０４、説明文用イベント選択部１０８、説明文作成部１０９、統合部１１０を備えている。

本実施形態は第１又は第２の実施形態の拡張であるため、第１又は第２の実施形態との相違点についてのみ述べる。

要約映像構成情報１２０１は、生成される要約映像のシーン構成と、それに付帯する情報を記した情報である。要約映像には、試合展開の要約、特定の選手に注目した要約など様々な要約がある。また、本編を視聴するための判断材料にするときには、ゴールシーンや試合結果は知りたくない場合もある。特定の選手に注目するときは、１つの試合の要約ではなく、複数の試合からまとめて要約を作成する場合もある。要約映像構成情報は、このような要約のシーン構成を記したものである。

図１９に、要約映像構成情報の一例を示す。図１９においては、シーンごとの時間と内容を含んでいる。時間は、そのシーンの長さやその最大値、最小値である。内容は、そのシーンのタイプ（映像、要約映像、合成映像など）に応じて、そのシーンを作成するために必要なパラメータが記述される。映像を抽出するのであれば、その場所や範囲を示すパラメータ、テロップやナレーションを用いるのであれば、そのテンプレートや位置を示すパラメータを記述する。

全体説明作成部１２０２は、要約映像構成情報に基づき、コンテンツ全体に関わる説明を作成する。作成される説明は、要約映像構成情報に記述されたテロップやナレーション、あるいはそれらを用いた合成映像などである。また、先の例のタイトルシーンのように特定の映像が指定されている場合には、その検索も行う。テロップやナレーションのテンプレートに当てはめるデータは、映像属性情報や映像作成情報から得られるデータを用いる。

重要度算出部１２０３や映像区間選択部１２０４は、要約映像構成情報に含まれる要約映像シーンに関するパラメータを受け取り、その内容を満足する要約映像を作成する。具体的には、要約映像を抽出する範囲を要約映像構成情報で指定された範囲に限定したり、作成される要約映像の時間が指定された時間に合致するようにしきい値を設定したりする。また、本編を視聴するための判断材料にするときなど、結果を知りたくない場合には、得点シーンが入らないようにシュート以降の重要度を下げたり、その区間を除いた範囲から要約を作成したりする。

本実施形態によれば、ユーザの嗜好に依存するだけではなく、予め決められたシーン構成を満足する要約映像を作成することができる。

（第４の実施形態）
図２０は、本発明の第４の実施形態に係る映像要約装置の基本構成例を示す図である。

図２０に示されるように、本映像要約装置は、図１８の構成に加えて、要約映像構成情報選択部１３０４、説明文作成情報選択部１３０５を備えている。

本実施形態は第３実施形態の拡張であるため、第３実施形態との相違点についてのみ述べる。

ユーザプリファレンス１３０１とは、ユーザの嗜好に関する情報を記述したものである。

要約映像構成情報データベース１３０２は、複数の要約映像構成情報を格納したデータベースである。第３の実施形態で述べたように、要約映像構成情報には様々なシーン構成が存在する。これらの様々なバリエーションが本データベース１３０２に格納されている。

説明文作成情報データベース１３０３は、様々な説明文テンプレートや状態遷移ルール（状態遷移による説明文生成を行う場合）などの情報を格納したデータベースである。同じ内容を示すテンプレートであっても、口調や方言の違いにより複数のバリエーションがあり得る。

要約映像構成情報選択部１３０４は、要約映像構成情報データベースから、ユーザプリファレンスに合致する要約映像構成情報を選択する。

説明文作成情報選択部１３０５は、説明文作成情報データベースから、ユーザプリファレンスに合致する説明文作成情報を選択する。

本実施形態の要約映像装置を用いることにより、ユーザはユーザプリファレンスに自分の好みのシーン構成や説明文の様式を記述しておくことで、キーワードと時間を指定するだけの場合と比べて、より自分の好みに合った要約映像を得ることができる。

なお、以上の各機能は、ソフトウェアとして実現可能である。また、本実施形態は、コンピュータに所定の手段を実行させるための（あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるための）プログラムとして実施することもでき、該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係る映像要約装置の基本構成例を示すブロック図 映像属性の一例を示す図 第１の選択方法の処理手順の一例を示すフローチャート 第２の選択方法の処理手順の一例を示すフローチャート 第２の選択方法について説明するための図 統合部の処理手順の一例を示すフローチャート 映像区間調整の例について説明するための図 本発明の第２の実施形態に係る説明文生成装置の基本構成例を示すブロック図 イベント発生時の状態遷移について説明するための図 状態遷移ルールの一例を示す図 状態遷移ルールの他の例を示す図 状態遷移ルールのさらに他の例を示す図 複数の状態遷移ルールを用いる場合について説明する図 状態遷移ルールのデータ構造の一例を示す図 複数の状態遷移ルールを用いる場合の状態遷移ルールのデータ構造の一例を示す図 複数の説明文を統合する方法について説明するための図 遷移状態から優劣情報を得る基本的な処理手順の一例を示すフローチャート 本発明の第３の実施形態に係る映像要約装置の基本構成例を示すブロック図 要約映像構成情報の一例を示す図 本発明の第４の実施形態に係る映像要約装置の基本構成例を示すブロック図

符号の説明

１０６…重要度算出部、１０７…映像区間選択部、１０８…説明文用イベント選択部、１０９…説明文作成部、１１０…統合部、４０６…遷移制御部、４０７…テンプレート選択部、４０８…説明文生成部、１２０２…全体説明作成部、１２０３…重要度算出部、１２０４…映像区間選択部、１３０４…要約映像構成情報選択部、１３０５…説明文作成情報選択部

Claims (10)

1. 映像内に含まれるイベントに関係する遷移状態を保持する保持手段と、
   前記映像内に含まれるイベントの内容に関するイベント情報を入力する入力手段と、
   入力された前記イベント情報及び予め定められた遷移条件に基づいて、保持すべき前記遷移状態を更新する更新手段と、
   前記遷移状態の更新に係る遷移に基づいて、複数の説明文テンプレート情報のうちから、説明文の作成に用いるべき説明文テンプレート情報を選択する選択手段と、
   選択された前記説明文テンプレート情報を用いて説明文を生成する生成手段とを備えたことを特徴とする説明文生成装置。
2. 前記遷移条件は、イベント情報を含む前記映像に関する属性情報から得られる情報、前記映像の要約情報を作成するにあたっての条件に関する情報、前記映像を解析することによって得られる情報、若しくは前記遷移状態に関係する情報、又はそれらの情報のうちのいずれかの情報を処理することによって得られる情報を用いて記述されることを特徴とする請求項１に記載の説明文生成装置。
3. 前記遷移条件及び前記説明文テンプレート情報を状態遷移ルールとして記述することを特徴とする請求項１に記載の説明文生成装置。
4. 前記状態遷移ルールとして、各遷移状態に対応するノードを一意に識別する識別情報、同ノードから他ノードへ遷移する条件、他ノードへ遷移する場合の遷移先ノードの識別情報、及び他ノードへ遷移する場合の当該遷移に対応する説明文情報を記述することを特徴とする請求項３に記載の説明文生成装置。
5. 前記状態遷移ルールとして、さらに前記説明文情報より生成される説明文を挿入すべき時間又は空間的位置情報をも記述することを特徴とする請求項４に記載の説明文生成装置。
6. 前記時間的位置情報は、前記映像内のイベントに対する時間的な前後位置及び順序を示す情報であることを特徴とする請求項５に記載の説明文生成装置。
7. 前記遷移状態における付加的な属性情報を記述することを特徴とする請求項１に記載の説明文生成装置。
8. 前記付加的な属性情報として、勝敗の優劣を示す情報を記述することを特徴とする請求項７に記載の説明文生成装置。
9. 映像内に含まれるイベントに関係する遷移状態を保持するステップと、
   前記映像内に含まれるイベントの内容に関するイベント情報を入力するステップと、
   入力された前記イベント情報及び予め定められた遷移条件に基づいて、保持すべき前記遷移状態を更新するステップと、
   前記遷移状態の更新に係る遷移に基づいて、複数の説明文テンプレート情報のうちから、説明文の作成に用いるべき説明文テンプレート情報を選択するステップと、
   選択された前記説明文テンプレート情報を用いて説明文を生成するステップとを有することを特徴とする説明文生成方法。
10. 映像要約装置としてコンピュータを機能させるためのプログラムであって、
    映像内に含まれるイベントに関係する遷移状態を保持する機能と、
    前記映像内に含まれるイベントの内容に関するイベント情報を入力する機能と、
    入力された前記イベント情報及び予め定められた遷移条件に基づいて、保持すべき前記遷移状態を更新する機能と、
    前記遷移状態の更新に係る遷移に基づいて、複数の説明文テンプレート情報のうちから、説明文の作成に用いるべき説明文テンプレート情報を選択する機能と、
    選択された前記説明文テンプレート情報を用いて説明文を生成する機能とを実現させるためのプログラム。

Images