JP2008252916A - 要約映像生成装置、要約映像生成方法及びプログラム - Google Patents

Abstract

【課題】ユーザの行動予定に合った要約映像を自動生成することのできる要約映像生成装置を提供すること。
【解決手段】映像受信部１２０１は、映像を受信する。イベント受信部１２００は、上記映像の内容中で発生する複数のイベントに関する情報を含む第１のイベントデータであって少なくとも各イベントにつき種別及び発生時刻を含むものを受信する。スケジュール入力部１２０２は、ユーザのスケジュールに関する情報を含むスケジュールデータであって少なくとも各スケジュールにつき開始時刻及び終了時刻並びにその開始時刻と終了時刻との間に要約映像の視聴が可能か否かを特定可能な情報とを含むものを入力する。要約長算出部１２０３は、上記スケジュールデータに基づいて上記ユーザが要約映像を視聴可能な時間を示す視聴可能時間を算出する。要約部１２０４は、上記映像に対する要約映像であって上記視聴可能時間の範囲内長さを持つものを生成する。
【選択図】図１

Description

本発明は、映像を要約する装置および方法に関する。

テレビの録画映像や監視カメラの録画映像などの映像を利用する機会が増えたことで、例えば長時間の映像をより短く要約する映像要約に関する研究開発が行われるようになった。

例えば、映像と映像中で起こった事象を表すイベントとを入力して、イベントに対応する数値情報の変化に基づき要約映像を生成する技術がある（例えば、特許文献１参照）。この技術では、例えば、野球映像を要約する場合に、ヒットのイベントよりもホームランのイベントに高い数値を割り当てておき、より高い数値を持つイベントから順に要約映像に採用することによって要約映像の長さを調節する。

しかし、この技術には、例えば、テレビの録画映像を視聴するかどうかを、要約映像を視聴することによって判断する場合には、この方法のように映像全体を要約対象とすると、当該テレビの録画映像の内容における結果（例えば、野球映像の場合における野球の試合の結果（例えば何対何でどちらが勝ったか））まで分かってしまうという問題がある（特に、結果を知らずに当該テレビの録画映像を視聴したい場合に問題となる）。結果を知ってしまうことを回避する方法として、例えば、ユーザが要約映像の視聴を途中で中断することが考えられるが、必ずしも結果の前に中断できるとは限らない上に操作が煩雑である。他の方法として、結果が含まれると予想される部分を除いて要約映像を生成するよう指示することが考えられるが、従来、結果を含む部分を除外する方法がなかった。

また、１、２分の非常に短い要約映像で視聴するかどうかを判断して、録画映像を３０分などの長い要約映像で視聴することを考えた場合、この技術は、少なくとも長い要約映像の生成には適していない。例えば、特許文献１では、一つのイベントに一つのシーンを対応させてイベントの個数で要約映像の長さを調整しているために、長い要約映像を生成すると非常に短いシーンを多数含んだり、近傍のシーン同士が重なって非常に長いシーンと非常に短いシーンが混在したりして、非常に見苦しい要約映像になってしまうという問題がある。

さらには、例えば、１時間後に１０分間電車に乗るということがあらかじめ分かっており、この電車乗車中に視聴できる要約映像が欲しい場合でも、ユーザが要約映像の長さや要約率などを設定して要約映像を作成しておかなければならず、煩雑であった。

また、映像を構成するフレームに対して優先度を入力して、優先度に基づいて要約映像を生成する技術がある（例えば、特許文献２参照）。この技術では、優先度の高いフレームから順に採用することによって要約映像の長さを調整しており、上述したものと同様の問題がある。
特許第３１７６８９３号公報 特許第２７５２７１６号公報

従来、ユーザの行動予定に合った要約映像を自動生成することは難しかった。

本発明は、上記事情を考慮してなされたもので、ユーザの行動予定に合った要約映像を自動生成することのできる要約映像生成装置、要約映像生成方法及びプログラムを提供することを目的とする。

本発明に係る要約映像生成装置は、映像を入力する第１の入力手段と、前記映像の内容中で発生する複数のイベントに関する情報を含む第１のイベントデータであって少なくとも各イベントにつき種別及び発生時刻を含むものを入力する第２の入力手段と、ユーザのスケジュールに関する情報を含むスケジュールデータであって少なくとも各スケジュールにつき開始時刻及び終了時刻並びにその開始時刻と終了時刻との間に要約映像の視聴が可能か否かを特定可能な情報とを含むものを入力する第３の入力手段と、前記スケジュールデータに基づいて前記ユーザが要約映像を視聴可能な時間を示す視聴可能時間を算出する算出手段と、前記映像に対する要約映像であって前記視聴可能時間の範囲内長さを持つものを生成する生成手段とを備えたことを特徴とする。

なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読み取り可能な記録媒体としても成立する。

本発明によれば、あらかじめスケジュールが分かっている場合に、必要な要約映像をいつでも視聴できる。

以下、図面を参照しながら本発明の実施形態について説明する。

（第１の実施形態）
本実施形態では、ハードディスクレコーダーなどで予約録画した映像がある場合に、この映像を見るかどうかを判断するために要約映像を生成する例について説明する。また、この映像としてサッカーの試合の映像を具体例にとって説明する。もちろん、本実施形態は、予約録画した映像以外の映像に、サッカーの試合の映像以外の映像にも適用可能である。

図１に、本発明の第１の実施形態に係る映像要約装置の構成例を示す。

図１に示されるように、本映像要約装置は、映像の中で起きたイベントを示すイベントデータを受信するイベント受信部１００、映像要約に使用するイベントを限定するイベント限定部１０１、映像データを受信する映像受信部１０２、限定されたイベントと受信した映像とから要約映像を生成する要約部１０３を備えている。

録画された映像信号は放送によるデジタル放送信号をそのまま記録しているものとし、映像データとイベントデータは例えばＡＲＩＢ ＳＴＤ−Ｂ３２のセクション形式で多重化されているものとする。映像フォーマットには例えばＭＰＥＧ−２フォーマットが用いられ、イベントデータはテキストフォーマットで表現されているものとする。

イベント受信部１００は、映像データとイベントデータとが多重化されている映像信号から、イベントデータのみを分離する。イベント受信部１００は、例えば、復号器とイベントデータ分離回路により構成される。

イベント限定部１０１は、イベント受信部１００が受信したイベントデータから、所定の基準に従って、イベントを削除する。例えば、映像の内容における結果に直接関係のあるイベントを少なくとも削除する。また、例えば、映像の内容における結果に直接関係のあるイベントおよびそのイベント以降に発生したイベントを少なくとも削除する。

なお、この結果とは、例えば、当該映像の内容における特定の情報若しくは事実等、より詳しくは、例えば、当該映像の内容に関する情報若しくは事実であって重要なもの又は、当該映像の内容に関する情報若しくは事実であってそれを知らずに当該映像を閲覧したいもの若しくは閲覧すべきもの、当該映像の内容に関する情報若しくは事実であって当該映像の終わりの方の部分若しくは当該映像に含まれる一纏まりの部分の範囲内での終わりの方の部分において最終的に明らかになることが多々ある或いは通常であるようなもの、又は当該映像の内容の要旨若しくは趣旨等である。具体的には、例えば、サッカーの試合の映像における試合の結果（何対何でどちらが勝ったか）、ドラマの映像における結末の内容、カウントダウン番組の映像における第１位の楽曲名及びその歌手名、クイズ番組における各クイズの答えなどの情報若しくは事実など、種々のものが考えられる。もちろん、この結果という語句は、結末や結論など他の語句で表現されても構わない。

映像の内容における結果に直接関係のあるイベントとは、例えば、その結果たるイベント、そのイベントを見ると結果が分かってしまう若しくはその可能性があるようなイベント、その結果を決定付けることになるイベント、その結果をもたらすことになったイベントなど、当該結果と密接に関係するイベントである。例えば、サッカーの試合の映像におけるシュートのうち最後のもの或いは同点時において得点されたシュートのうちで最後のもの、ドラマの映像における結末の部分、カウントダウン番組の映像における第１位の発表の部分、クイズ番組における各クイズの答えの部分など、種々のものが考えられる。なお、映像の内容における結果に直接関係のあるイベントは、必ずしも当該映像の終わりの方の部分若しくは当該映像に含まれる一纏まりの部分の範囲内での終わりの方の部分に位置するとは限らず、その定義によっては、どの位置でも起こり得る。例えば、サッカーの試合の映像において試合開始後１分で得点が入り１対０で終了する場合も、延長時にはじめて得点が入り１対０で終了する場合もある。

イベント限定部１０１は、例えば、電子回路により構成される。また、例えば、プログラムで実現することも可能である。

映像受信部１０２は、映像データとイベントデータとが多重化されている映像信号から、映像データのみを分離する。映像受信部１０２は、例えば、復号器と映像データ分離回路により構成される。

要約部１０３は、イベント限定部１０１が限定したイベントデータに基づいて要約映像に採用するシーンを決定し、決定したシーンの映像を切り貼りして要約映像を生成する。シーンの映像は、必要なときに映像受信部１０２に要求して入力する。要約された映像は、テレビや録画装置などの外部の映像機器に送られる。要約部１０３は、例えば、要約映像に採用するシーンを決定する電子回路と映像データを編集する映像データ編集回路とから構成される。また、例えば、プログラムで実現することも可能である。

図７に、本実施形態の要約映像生成装置で要約映像を生成する処理手順の一例を示す。まず、イベント受信部１００は、イベントデータを受信する（ステップＳ７００）。イベント限定部１０１は、映像の内容における結果（例えば、サッカーの試合の映像における試合結果）に直接関係のあるイベントを判別する（ステップＳ７０１）。イベント限定部１０１は、受信したイベントを結果に直接関係のあるイベントよりも前に発生したイベントに限定する（ステップＳ７０２）。要約部１０３は、限定されたイベントと映像受信部１０２によって受信した映像データとから要約映像を生成する（ステップＳ７０３）。

以下に、サッカーの映像を要約する場合を例にとって本実施形態の処理手順について説明する。

イベント受信部１００は、録画された映像信号を受信してイベントデータを分離する。

図２に、１試合分のサッカーの試合中継放送に含まれるイベントデータの一例を示す。

図２の例では、個々のイベントを、（時刻、イベント種）の組で表す。「時刻」は、ある基準時（例えば、当該映像（本具体例ではサッカー映像）の受信の開始時）から当該イベントの発生までの経過時間、あるいは、ある基準時を０時００分００秒としたときの当該イベントの発生時刻を表す。また、「イベント種」は、映像の中で起きた事象（本具体例では例えばゴールやシュートなど）を表す。例えば、図２における５個目のイベント（“００：１８：５６”，“ｓｈｏｔ”）は１８分５６秒にシュートを打ったことを表す。

本具体例では、イベント種には、ゴールを表す「ｇｏａｌ」、ゴール以外のシュートを表す「ｓｈｏｔ」、ファウルをあらわす「ｆｏｕｌ」、コーナーキックを表す「ｃｏｒｎｅｒ−ｋｉｃｋ」がある。また、これらの他にも、試合時間の区切りを表すために、前半開始を表す「ｓｔａｒｔ１」、前半終了を表す「ｅｎｄ１」、後半開始を表す「ｓｔａｒｔ２」、後半終了を表す「ｅｎｄ２」がある。

イベント受信部１０１が録画されたサッカーの映像信号をすべてスキャンしてすべてのイベントデータを読み取ると、読み取られイベントデータはイベント限定部１０２に送られる。

ここで、かりにイベント受信部１００で受信したイベントをすべて用いて要約映像を生成すると、試合結果も含まれてしまうため、この要約映像を全て観た後で要約対象となった元の映像を視聴するにあたっては、試合結果を知らずに（あるいは試合結果を期待しながら、あるいは試合結果を予測しながら）視聴することができなくなる。よって、このような要約映像は、録画した映像を視聴するかどうかを判断するための要約映像としては適さない。そこで、本実施形態では、試合結果が要約映像に含まれなくするために、映像要約の生成に用いるイベントを限定する。

図３に、映像の内容における結果に直接関係のあるイベントを判別するために使用する結果判別リストの一例を示す。図３は、対象映像がサッカーの試合の映像の場合に、得点に関係のあるイベント種を格納する結果判別リストである。イベント限定部１０１は、このリストを用いて結果（本具体例では、サッカーの試合結果）に直接関係あるイベントを判別して、イベント受信部１０１が受信したイベントデータを、結果に直接関係のあるイベントよりも前に発生したイベントのみに限定する。

本具体例では、「ｇｏａｌ」、「ｓｈｏｔ」、「ｃｏｒｎｅｒ−ｋｉｃｋ」が結果判別リストの項目になっている。

イベント限定部１０１は、受信したイベントデータの中から、イベント種が結果判別リストに含まれ、かつ、最後に発生したイベントを、結果に直接関係あるイベントと判定する。

イベントデータには、「ｅｎｄ２」や「ｆｏｕｌ」などのように、結果に直接関係のないイベントが多数含まれる可能性があるため、イベントの個数や時間で限定するよりも結果判別リストを用いた方が精度よく判別できる。

図２を具体的について説明すると、まず、最後のイベント（“１：４８：５６”，“ｅｎｄ２”）は図３の結果判別リストに含まれるイベント種かどうかを調べる。しかし、該当しないので、一つ前のイベント（“１：４０：５０”，“ｓｈｏｔ”）を調べる。このイベントは図３の結果判別リストに含まれるイベント種であるため、このイベントを試合結果に直接関係のあるイベントと判別する。

なお、先頭のイベントまで調べても試合結果に直接関係のあるイベントを判別できないケースもあるので、例えば、総イベント数のうちの所定量のイベント（例えば、総イベント数の１／４の個数のイベント）を調べても判別できない場合には、最後に調べたイベントを結果に直接関係するイベントとして判別するようにしてもよい。図２の例では、総イベント数は２０個であるので、最後から１／４に該当するイベントは（“１：２４：５１”，“ｓｈｏｔ”）である。

図４は、このようにして限定されたイベントデータを表しており、図２のイベントデータのうち、先頭の（“０：００：００”，“ｓｔａｒｔ１”）から試合結果に直接関係のあるイベントの直前のイベント（“１：４０：４６”，“ｆｏｕｌ”）までを抜き出したものである。

イベント限定部１０１により限定されたイベントデータは要約部１０３に送られる。

要約部１０３は、イベント限定部１０１によって限定されたイベントデータを用いて要約映像に採用するシーンを決定する。

要約映像の生成方法には様々なバリエーションが可能であるが、例えば、入力したイベントデータから重要なイベント種のイベントのみを抽出し、抽出したそれぞれのイベントの発生時刻の前ｔ１秒から後ｔ２秒まで（例えば、イベントの発生時刻の前後それぞれ５秒間）をシーンとする。

シーンが決定されると、要約部１０３は、採用されたそれぞれのシーンに該当する映像データを映像受信部１０２に要求して入力し、それらをつなぎ合わせることによって、要約映像を生成する。

図５に、要約映像に採用されたイベント列の例（重要なイベントとして「ｇｏａｌ」、「ｓｈｏｔ」、「ｃｏｒｎｅｒ−ｋｉｃｋ」のイベント種を抽出した例）を示し、図６に、要約映像に採用されたイベント列に対応するシーン列の例（イベントの発生時刻の前後５秒間をシーンとした例）を示す。

映像受信部１０２は、要約部１０３からの要求に応じて、録画された映像信号を受信して映像データのみを分離する。分離された映像データは要約部１０４に送られる。

以上説明したように、本実施形態の要約映像生成装置によれば、録画映像を視聴するかどうかを、要約映像を見て判断する場合に、映像の内容における結果を含まない要約映像を生成することによって、ユーザは結果を知ることなく判断できるようになる。例えば、録画したサッカーの試合映像を視聴するかどうかを、要約映像を見て判断する場合に、試合結果を含まない要約映像を生成することによってユーザに試合結果を予想する楽しみを奪うことなく判断できるようになる。

本実施形態で生成する要約映像は、結果がいつ起こるか分からない番組に対して特に有効である。このような番組の例として、映画、ドラマ、スポーツ、カウントダウン音楽、アニメ、クイズ、ドキュメンタリ、などが挙げられる。

以下では、幾つかの変形例について説明する。

（変形例１）
これまで説明した限定部１０１では、イベントデータにおいて結果に直接関係のあるイベントを、図３のような結果判別リストに含まれ、かつ、当該イベントデータの中で最後のものとしたが、もちろん、これに限られるものではない。例えば、予め定められた順番のイベントを、結果に直接関係のあるイベントとして、結果をより予想しにくくしてもよい。この場合、イベント数が少ない場合には、要約映像生成に利用できるイベント数が少なくなり過ぎるのを防ぐために、例えば、イベントデータにおける所定の順番（例えば、イベントデータの先頭から、総イベント数の２／３に該当する順番）に相当するイベントとしてもよい。

（変形例２）
これまで説明した要約部１０３では、採用するイベントを選択して要約映像を構成するシーン列を生成したが、もちろん、これに限られるものではなく、イベント限定部１０１が出力するイベントデータを入力して要約映像を生成するものであれば、どのようなものであっても構わない。特に、これまで説明した要約部１０３のように、採用するイベントを選択する場合には、この後にイベントの限定を行っても同様の効果を得ることができる。

（変形例３）
これまで説明したイベント限定部１０１では、結果に直接関係するイベントを図３のような結果判別リストに含まれるイベント種で判別したが、もちろん、これに限られるものではなく、結果を予想できなくする方法であれば、どのようなものであっても構わない。例えば、試合終了時間から遡って１０分以内のイベントや、試合終了から遡って１０％の時間内に含まれるイベントを除外してもよい。この方法では、番組の内容によっては、結果に直接関係するイベントが要約映像に含まれてしまう可能性があるが、例えば、カウントダウン番組、クイズ、などの時間進行によって結果に直接関係するイベントが発生する時刻を予想できる番組には有効である。

（変形例４）
これまで説明したイベント限定部１０１では、番組の内容にかかわらず試合結果に直接関係するイベントを除外したが、番組のジャンルに応じて限定方法を変更してもよい。例えば、スポーツ中継番組ならば試合結果を含まない方法で要約し、バラエティ番組ならば元の映像の詳細が分からなくなる方法で要約するようにしてもよい。番組のジャンルは、例えば、映像信号に多重化されたＥＰＧやインターネットで取得した電子番組表などから判定すればよい。

（変形例５）
これまで説明したイベント限定部１０１では、結果に直接関係するイベントを除外したが、もちろん、これに限られるものではなく、元の映像の詳細が分からなくなる限定方法であれば、どのようなものであってもよい。例えば、重要なイベントをランダムに削除して詳細を分からなくしてもよい。あるいは、中盤のイベントのみに限定してもよい。これは、例えば、バラエティ、旅行、食べ歩き、生活、健康、トーク番組などのように、番組としての結果がない或いは定義しにくいような番組には有効である。

（変形例６）
これまでの説明では、要約映像に、結果が含まれているのかどうかを示す情報を含めなかったが、要約部１０３により生成した要約映像に、結果が含まれているのかどうかを示す情報を含めるようにしてもよい。例えば、サッカーの試合結果を含まない要約映像を生成した場合に、最後のシーンの後で、試合結果を含まないことを、テキストで表示するなどしてもよい。例えば、「この映像には試合結果が含まれていません」というテロップや、「この後何かが起こります」というテロップを表示してもよい。

（変形例７）
これまでの説明では、映像信号に映像データとイベントデータとが多重化されているものとしたが、他の形態ももちろん可能である。例えば、映像データの特徴量を解析してイベントデータに相当するものを算出して、これをイベントデータとして用いてもよい。また、イベント受信部１００は、イベントデータを、録画された映像信号を復号して取得したが、これを外部から受信するようにしてもよい。例えば、イベントデータはインターネット上の所定のサーバが保持しており、イベント受信部１００が必要に応じて該所定のサーバにアクセスしてイベントデータをインターネット経由で取得する（ダウンロードする）ような形態も可能である。

（変形例８）
これまでサッカーを例として説明したが、これに限らず野球でも同様に結果が分からない要約映像を生成できる。図１７に野球のイベントデータの一例を示す。イベントデータは、時刻、イベント種、属性から構成され、時刻は試合開始時刻からイベント発生までの時間、イベント種はヒットやホームランなどのイベントや回の開始などのゲーム構造、属性はイベント種の補助情報を表す。例えば、（“0:25:32”， “hit”， “TeamA”）は時刻0:25:32にチームAがヒットを打ったことを表し、（“0:41:31”， “inn”， “4”）は時刻0:41:31に4回表が開始されたことを表す。イベント種には、ヒットを表す「hit」、二塁打を表す「double」、ホームランを表す「homerun」、などのプレイ単位のものと、回の開始を表す「inn」、得点追加を表す「run」、ゲーム終了を表す「end」などのゲーム構造を表すものがある。

野球でもサッカーの場合と同様に、イベント限定部１０１はゲームの終了時間から指定した時間だけ遡った間のイベントを除外したり、最後のホームラン以降のイベントを除外したりして、結果に関係のあるイベントを除外できる。この他にも、限定部１０１は番組の構造情報を用いてイベントを除外してもよい。例えば、野球の試合の映像を、最後の回のイベントを除外して要約映像を生成すれば、時間やイベント数で除外するイベントを決めるよりも除外するイベントの範囲を正確に指定できる。例えば、図１７に示したイベントデータの場合、限定部１０１は最終回である９回のイベントを除外すると、９回にTeamBがホームランを打って逆転したことが要約映像には含まれない。

（変形例９）
これまでサッカーと野球について説明したが、これに限らずクイズ番組でも同様に結果が分からない要約映像を生成できる。図１８にクイズ番組のイベントデータの一例を示す。このクイズ番組では問題の読み上げと回答を繰り返すとする。イベントデータは、時刻、イベント種、属性から構成され、時刻は番組開始からイベント発生までの時間、イベント種は問題開始や回答などの番組構造を表すイベント、属性はイベント種の補助情報を表す。例えば、（“0:17:28”， “answer”， “1”）は時刻0:17:28に第１問が開始されたことを、（“0:44:25”， “win”， “PersonC”）は時刻0:44:25にPersonAが正解したことを表す。

クイズ番組でもサッカーや野球と同様に、イベント限定部１０１は番組終了時間から指定した時間だけ遡った間のイベントを除外したり、最後の問題以降のイベントを除外したりできる。この他にも、イベント限定部１０１は、特定の属性を含むイベントを除外してもよい。例えば、PersonCのイベントをすべて除外すれば、このクイズ番組でPersonCがどのように振舞うかを楽しみにしている人は要約映像で見なくて済む。このように、削除するイベントは勝ち負けなどの結果のほかにも、個人の嗜好によって選択してもよい。

（第２の実施形態）
本実施形態では、任意の長さの要約映像を高品質に生成する場合を例にとって説明する。ここでは、例えば要約映像（第１の実施形態の映像要約装置によって生成された要約映像でもよいし従来の映像要約装置によって生成された要約映像でもよい）を見て元のサッカー映像を視聴すると判断した場合に、元の映像をそのまま視聴する代わりに、視聴判断のための要約映像よりも長時間のサッカーの要約映像を生成する例を説明する。もちろん、本実施形態は、サッカーの試合の映像以外の映像にも適用可能である。

図８に、本発明の第２の実施形態に係る映像要約装置の構成例を示す。

図８に示されるように、本映像要約装置は、映像の中で起きたイベントを示すイベントデータを受信するイベント受信部８００、映像を受信する映像受信部８０１、生成する要約映像の長さ（以下、要約長という）を指定する要約長指定部８０２、要約映像を生成する要約部８０３を備えている。

要約部８０３は、映像に含まれる主要なイベントを網羅した要約映像を生成するのに最低限必要な要約長（以下、最低要約長という）を算出する最低要約長算出部８０４、指定された要約長と最低要約長とを比較して要約方法を切り替える切り替え部８０５、並びに要約方法の異なる第１の要約部８０６及び第２の要約部８０７を含む。

ここで、要約対象とする映像信号のフォーマットは、第１の実施形態の説明で用いたものと同様とし、イベント受信部８００の構成と映像受信部８０１の構成も第１の実施形態と同様とする。もちろん、第１の実施形態で述べたように、映像信号のフォーマットも、イベント受信部８００及び映像受信部８０１の構成も、これらに限定されるものではない。

要約長指定部８０２は、生成する要約映像の長さを指定するためのものである。要約長指定部８０２は、例えば、回しダイヤルおよび電子回路から構成され、この場合、ダイヤルを回すことにより、生成する要約映像の長さが指定される。

最低要約長算出部８０４は、イベント受信部８００で受信したイベントから主要なイベントを抽出して、抽出したイベントを用いて要約映像を生成した場合に最低限必要となる要約長である最低要約長を算出する。例えば、最低要約長算出部８０４は、受信したイベントの個数、受信したイベントのうち特定の種別を持つものの個数、既に同一の元映像から作成された要約映像に含まれるイベントの個数のうちの少なくとも一つに基づいて最低要約長を算出するようにしてもよい。最低要約長算出部８０４は、例えば、電子回路から構成される。

切り替え部８０５は、算出された最低要約長と指定された要約長とを比較して、より適した要約方法による要約部を決定する。切り替え部８０５は、例えば、比較器と電子回路とから構成される。

第１の要約部８０６および第２の要約部８０７は、イベントデータと映像データを入力してそれぞれ異なる要約方法で要約映像を生成する。第１の要約部８０６および第２の要約部８０７は、例えば、電子回路から構成される。

図１１に、本実施形態の要約映像生成装置で要約映像を生成する処理手順の一例を示す。まず、イベント受信部８００は、イベントデータを受信する（ステップＳ１１００）。最低要約長算出部８０４は、主要なイベントを用いて要約映像を生成する際に最低限必要な最低要約長を算出する（ステップＳ１１０１）。要約長指定部８０２で生成する要約映像の長さが指定されると（ステップＳ１１０２）、切り替え部８０５は、要約長と最低要約長とを比較して、より適切な要約部を選択する（ステップＳ１１０３）。映像受信部８０１は、要約映像生成に必要な映像データを受信する（ステップＳ１１０４）。切り替え部８０５によって選択された第１の要約部８０６または第２の要約部８０７は要約映像を生成する（ステップＳ１１０５）。

以下に、サッカーの映像を要約する場合を例にとって本実施形態の処理手順について説明する。

イベント受信部８００で受信するイベントデータには第１の実施形態で用いた図２の具体例を用いるものとする。

最低要約長算出部８０４は、まず、イベントデータを入力して、主要なイベントとして予め定められたイベント種のデータのみを抽出する。

ここでは、一例として、図３のリストのように主要なイベントのイベント種が指定されたものとする。

図９に、最低要約長算出部８０４により、図２のイベントのうち、図３のリストに基づいて主要なイベントであると判断されたイベントの一例を示す。

次に、最低要約長算出部８０４は、一つのイベントに最低限必要なシーンの長さをｔ_ｍｉｎ秒として、各イベントにｔ_ｍｉｎ秒のシーンを割り当てた場合の要約長を算出する。

ここでは、具体例として、ｔ_ｍｉｎ＝４と指定されているものとする。

図９の例では１２個のイベントがあり、イベント発生時刻をシーンの先頭から４秒に割り当てた場合に重なるシーンがないため、４８秒が最低要約長として算出される。もしシーン同士が重なる場合には、重なった部分はどちらかのシーンだけ用いて要約長を算出する。

切り替え部８０５は、要約長指定部８０２で指定された要約長と、最低要約長算出部８０４で算出された最低要約長とを比較して、指定された要約長が算出された最低要約長より短い場合には第１の要約部８０６を選択し、そうでない場合は第２の要約部８０７を選択する。

例えば、要約長指定部８０２で要約長として１５秒が指定され、最低要約長が上記例のように４８秒とすると、第１の要約部８０６が選択される。

第１の要約部８０６は、第２の要約部８０７に比較して、より短い要約映像を生成するためのものである。

第１の要約部８０６は、短い要約映像を生成するのに適したものであれば、どのような要約方法を用いるものであってもよい。例えば、一つのイベントに割り当てるシーン長を固定して要約映像に採用するイベント数を調整することにより所望の長さの要約映像を生成するものでもよい。

具体的には、例えば、イベントデータを入力して図３に示したイベント種の上から順にイベントを採用してシーンを割り当てて、要約映像の長さが、指定された要約長になるまで（指定された要約長にならない場合には、指定された要約長を超えるまで、あるいは指定された要約長に最も近い長さになるまで、あるいは指定された要約長の範囲内で、該指定された要約長に最も近い長さになるまで）、これを繰り返す。

例えば、指定された要約長が１５秒であるとし、一つのイベントに割り当てるシーン長を４秒とし、要約映像の長さが指定された要約長にならない場合には、指定された要約長に最も近い長さにするものとした場合、４つのイベントを採用して計１６秒の要約映像を作成することになる。

図３及び図９の例の場合、まず、図３のリストの先頭にある「ｇｏａｌ」イベントを採用する。図９の例では、「ｇｏａｌ」イベントの個数は２個であり、それらを全て採用しても、要約映像の長さは８秒にしかならないので、２個の「ｇｏａｌ」イベントを全て採用する。この結果、７秒の要約長が残る。次に、図３のリストの２番目にある「ｓｈｏｔ」イベントを採用する。図９の例では、「ｓｈｏｔ」イベントは７個あるが、要約長の残りの７秒を満たすには２個のイベントしか採用できない。そこで、７個の「ｓｈｏｔ」イベントのうちからランダムに２個選択する。このようにして選択した２個の「ｇｏａｌ」イベントと２個の「ｓｈｏｔ」イベントとを用いて要約映像を生成する。その際、第１の実施形態の要約部と同様の方法で要約映像を生成してもよい。

なお、この例の場合には採用したイベントのシーンは重ならなかったが、採用したイベントのシーン同士が重なった場合には、重なった部分は重複して要約長に加算しないよう考慮する。

このように、第１の要約部８０６を用いると、例えば一つのイベントのみを採用して１５秒のシーンを構成する、といったことはなくなってシーン数とシーン長のバランスの取れた要約映像を生成することができる。

他方、第２の要約部８０７は、第１の要約部８０６に比較して、より長い要約映像を生成するためのものである。

第２の要約部８０７は、長い要約映像を生成するのに適したものであれば、どのような要約方法を用いるものであってもよい。例えば、主要なイベントをすべて要約映像に採用して、一つのイベントに割り当てるシーンの長さを調整することにより、所望の長さの要約映像を生成する。

具体的には、例えば、図９に示した主要な１２個のイベントをすべて用いてイベントに割り当てるシーンの長さ調整する。例えば、要約長指定部８０２で要約長として１８００秒（３０分）が指定された場合には、まず、指定された時間を主要なイベントの個数である１２で割った時間である１５０秒を各イベントに割り当てる。シーンの重なりがなければこれで所望の要約長が得られるが、シーンが重なる場合にはこれより短くなるため、イベントに割り当てるシーン長を例えば１秒ずつ増加させていって、指定された要約長を超えるまで続ける。

このように、第２の要約部８０７を用いると、例えば１００個のイベントを採用して１８秒のシーン長を割り当てる、といったことは回避でき、シーン数とシーン長のバランスのとれた要約映像を生成できる。

図１０に、要約部８０３が生成する要約映像の長さに対するイベント数とシーン長との関係を概略的に示す。図１０において、横軸は生成する要約長、折れ線１０００はシーン長、折れ線１００１はイベント数を表しており、直線１００２は最低要約長（Ｔ１）、１００３は主要なイベント数（Ｎ）、１００４はシーンの生成に必要な最低限のシーン長（Ｌ）を表している。生成する要約長がＴ１より小さい場合には第１の要約部８０６を用いてシーン長を例えば４秒に固定してシーン数で要約長を調整し、それ以外の場合には第２の要約部８０７を用いてシーン数を固定してシーンの長さで要約長を調整する。このように、切り替え部８０５でより適切な要約方法を切り替えることにより、指定された要約長に応じてシーン数とシーン長とのバランスのとれた要約映像を作成することができる。

以上説明したように、本実施形態によれば、生成する要約映像の長さに応じてより良い要約映像を生成することができる。

以下では、幾つかの変形例について説明する。

（変形例１）
これまで説明した切り替え部８０５は、指定された要約長と算出された最低要約長とを比較するものであったが、これに限られるものではない。要約長に応じてより適切な要約部を選択できるものであればどのようなものでもよく、例えば、要約長の範囲とその範囲の要約長を受け持つ要約部を示す情報との対応テーブルを持っておいて、指定された要約長が属する要約部を選択する方法でもよい。この場合、例えば、要約長によって３つ以上のアルゴリズムを変えてもよい。また、例えば、要約映像が非常に長い場合には、不要なシーンを取り除く要約方法を選択するようにしてもよい。

（変形例２）
これまで説明し最低要約長算出部８０４は、予め定められたイベント種のデータのみを抽出したが、これに限られるものではない。主要なイベントを選択する方法であればどのようなものでもよく、予め定められた規則にしたがってもよい。例えば、得点に直接関係するイベントと、この直前のイベントは関連が強いと考え、得点の前に発生した１個のイベントを抽出してもよい。図４の例では、イベント（“1:15:36”， “goal”）とこのの直前に発生した（“1:04:43”， “shot”）、イベント（“1:31:00， “goal”）とこの前に発生した（“1:24:51”， “shot”）の合計４個のイベントを選択する。これによると、得点の前に予め定められたイベント種のイベントがない場合でも、どのような経過で得点したかが分かる要約映像の長さを算出できる。

ここで言う規則の別の例として、ユーザの嗜好を加味して主要なイベントを選択する方法でもよい。例えば、ユーザが関心を持っているイベント種を別に記憶しておいて、これを図３のリストに加えてイベントを抽出する。これにより、ファイルに関心が高いユーザに対しては、ファイルを含む要約映像の長さを算出できる。あるいは、図３に示すリストをチームごとに別々に用意して、ユーザが応援しているチームに対しては多くのイベント種を抽出できるようにしてもよい。

（第３の実施形態）
本実施形態では、ユーザの行動予定に合わせた要約映像を自動生成する場合を例にとって説明する。また、行動予定として通勤を例にとり通勤時間にちょうど視聴できる要約映像を生成する具体例を用いて説明する。また、録画映像から要約映像を生成する場合を例にとって説明する。

図１２に、本発明の第３の実施形態に係る要約映像装置の構成例を示す。

図１２に示されるように、本映像要約装置は、映像の中で起きたイベントを示すイベントデータを受信するイベント受信部１２００、映像を受信する映像受信部１２０１、ユーザのスケジュールを入力するスケジュール入力部１２０２、生成する要約映像の長さを算出する要約長算出部１２０３、要約映像を生成する要約部１２０４、生成した要約映像を外部の機器に転送する転送部１２０５とを備えている。

ここでは、要約対象とする映像信号のフォーマットは、第１の実施形態で用いたものと同様とする。また、イベント受信部８００及び映像受信部８０１の構成は、第１の実施形態のイベント受信部１００及び映像受信部１０２と同様とする。

スケジュール入力部１２０２は、例えば、ユーザのＰＤＡ（携帯情報端末）等の情報処理装置と接続するための１又は複数種類のインタフェース（例えば、接続コネクタ、無線インタフェース、ネットワークインタフェース、赤外線インタフェース等）及び該ユーザの情報処理装置（以下、ユーザ端末）からスケジュール・データを受信する受信回路とから構成される。ユーザ端末に記憶されたスケジュールの転送は、インタフェースが接続コネクタである場合には、例えば、Ｄ−Ｓｕｂ９ピンのコネクタで接続して、ＲＳ−２３２規格で送受信を行う。

要約長算出部１２０３は、入力したスケジュール・データを解析してユーザが要約映像を視聴できる時間を算出する。要約長算出部１２０３は、例えば、電子回路により構成される。

要約部１２０４は、算出された要約長の要約映像を、第１の実施形態の要約部１０３と同様の方法で生成するものとする。

転送部１２０５は、生成された要約映像を、上記ユーザ端末に転送する。転送部１２０５は、例えば、上記ユーザ端末と接続するための１又は複数種類のインタフェース（例えば、接続コネクタ、無線インタフェース、ネットワークインタフェース、赤外線インタフェース等）及び該ＰＤＡへ要約映像を転送する転送回路とから構成される。

なお、スケジュール入力部１２０２のユーザ端末とのインタフェース及びデータ転送方法と、転送部１２０５のユーザ端末とのインタフェース及びデータ転送方法とは、同じものであってもよいし、異なるものであってもよい。また、スケジュール・データを保持するユーザ端末と、要約映像の転送先となるユーザ端末とは、同じものであってもよいし、異なるものであってもよい。

図１６に、本実施形態の要約映像生成装置で要約映像を生成する処理手順の一例を示す。まず、スケジュール入力部１２０２は、ユーザ端末からスケジュール・データを入力し（ステップＳ１６００）、要約長算出部１２０３は、生成する要約映像の長さを算出する（ステップＳ１６０１）。すると、イベント受信部１２００は、イベントデータを受信して（ステップＳ１６０２）、映像受信部１２０１は、要約部１２０４で生成する要約映像に必要な映像データを受信する（ステップＳ１６０３）。要約部１２０４は、算出した映像長の要約映像を生成して（ステップＳ１６０４）、これを転送部１２０５から該ユーザ端末に転送する（ステップＳ１６０５）。

以下に、ユーザ端末からスケジュール・データを入力して複数の要約映像を生成する場合を例にとって本実施形態の処理手順について説明する。

イベント受信部１２００で受信するイベントデータには第１の実施形態で用いた図２の具体例を用いるものとする。

また、本要約映像生成装置は、一例として、番組映像から要約映像を生成するものとする。要約映像の生成のタイミングについては、番組の録画が終了した時点でただちに要約映像を生成する方法、要約映像をユーザ端末において視聴可能なスケジュールの予定開始時刻までに作成する方法、要約映像をユーザ端末において視聴する予定の時刻までにユーザ端末へ転送完了できるように、要約映像を適当なタイミングで作成する方法など、種々の方法がある。なお、ここでは、２時間の番組を一つ予約録画したものとする。

図１３に、ユーザ端末に記憶された一日のスケジュールの一例を示す。この例では、一つのスケジュールは、識別子が付与され、（開始時刻、終了時刻、予定、場所）の４つの項目から構成される。例えば、識別子＝“４”のスケジュールの４つの項目は（“１３：００”，“１６：００”，“外出”，“浜松町”）であり、これは、１３時００分から１６時００分の間に浜松町まで行く外出の予定であることを表す。この例では、「場所」以外の項目は必須項目で、「場所」の項目は必ずしも必要ないものとしている。

スケジュール・データは変更なくスケジュール入力部１２０２に転送される。スケジュールの入力は、ユーザ端末が例えばコネクタに接続されたタイミングで行われる。なお、スケジュール・データの入力は、番組の録画を行う前に予め行われているものとする。

図１４に、要約映像を視聴可能な予定を特定するためのリストの一例を示す。

要約長算出部１２０３は、このようなリストに基づいてユーザが要約映像を視聴可能な時間を算出する。

例えば、図１３の識別子“１”のスケジュール（“８：００”，“９：００”，“通勤”，“”）の場合には、「通勤」の予定は図１４に含まれているため、映像を視聴可能な予定であると判別する。

予定には実際には徒歩で歩いていたり電車で移動したりする時間が含まれていて、すべての時間は映像を視聴するために使用できないため、予定の一部の時間（例えば、半分の時間）が映像を視聴可能な時間であると算出する。

この例の場合には、予定の時間は８時００分から９時００分までの１時間であるので、例えば、その半分である３０分を映像視聴可能時間として算出する。

図１５に、このようにして算出された映像視聴可能時間をスケジュールとともに記述した例を示す。

要約長算出部１２０３は、例えば、連続した視聴可能時間に要約映像を視聴しきれるように、映像を視聴可能な時間のうち最小のものを要約長として算出する。

図１５の例の場合は、通勤時間にある３０分の視聴可能時間が要約長となり、この結果、通勤時、外出時、移動時のいずれにおいても要約映像を全て視聴することができる。

要約部１２０４は、算出された要約長の要約映像を、第１の実施形態の要約部１０３と同様の方法で生成する。

転送部１２０５は、生成された要約映像をユーザ端末に転送して記憶させる。要約映像の転送のタイミングについては、要約映像が生成された時点で行う方法、要約映像をユーザ端末における視聴可能なスケジュールの予定開始時刻までに転送する方法など、種々の方法がある。

要約映像を記憶したユーザ端末は、例えば、ユーザの出勤時にコネクタから外して携帯して、視聴可能時間に要約映像を視聴することができる。

以上説明したように、本実施形態によれば、ユーザのスケジュールを示すスケジュール・データに基づいて視聴可能な時間に合わせた要約映像を自動生成することができるようになる。

以下では、幾つかの変形例について説明する。

（変形例１）
これまで説明した要約長算出部１２０３は、スケジュール・データから算出した視聴可能時間のうち最小のものを要約長としたが、これに限られるものではなく、視聴可能時間の範囲内であれば何でもよい。例えば、すべての視聴可能時間の総和を要約長として、長い要約映像を生成してもよい。どのような要約映像を生成するかについては、例えば、録画予約をする際に設定すればよい。

（変形例２）
これまで説明した要約長算出部１２０３では、映像を視聴可能な時間を予定の半分の時間としたが、これに限らず、予備知識を用いてより正確に算出してもよい。例えば、通勤時の視聴可能時間をあらかじめ登録してもよい。あるいは、外出時の視聴可能時間を場所から特定してもよい。例えば、勤務地をあらかじめ「川崎」と入力しておけば、「浜松町」までの電車での移動時間は１９分であると乗り換え案内プログラムを使用すれば算出できる。

（変形例３）
これまで説明した要約長算出部１２０３では、要約映像を生成する際に電車などで移動中の視聴可能時間しか考慮しなかったが、例えば、自宅に帰ってからの視聴時間を考慮してもよい。例えば、図１３の識別子“７”の予定は帰宅した後に設けられた映像の視聴時間が１時間あることを示している。この場合、例えば、２時間の録画映像のうち、１時間を電車での移動時間に視聴するために要約して、残りの１時間は帰宅後に要約せずに視聴してもよい。どのような配分で要約映像を生成するかについては、例えば、録画予約をする際に設定すればよい。

（変形例４）
これまでの説明では、一つの録画映像を対象としたが、複数の録画映像を対象としてもよい。生成する要約映像の時間配分は、総要約長が総視聴可能時間以下であれば、どのようなものでもよいが、例えば、録画時間に比例させてもよい。第１の実施形態の映像要約装置で要約映像を生成すれば、電車での移動中に録画した映像を視聴するかどうかを判断するのに適している。

（変形例５）
これまで説明した要約長算出部１２０３は、スケジュールを入力して要約長を算出したが、映像の視聴履歴を用いて要約長を算出してもよい。例えば、過去に一度視聴した映画を録画した場合には、要約率を２倍にして短い要約映像を生成しても、要約映像に含まれない映像を思い出して内容を補うことができるので、元の映像の内容を把握することができる。

（変形例６）
これまで説明したスケジュール入力部１２０２はケーブルなどを用いて装置と直接接続したが、これに限らずネットワークを介して入力しても良い。例えば、装置とＰＤＡをネットワークに接続しておいて、ＴＣＰ／ＩＰプロトコルやＨＴＴＰプロトコルでスケジュール・データを送受信してもよい。例えば、会社で新たなスケジュールが発生しても、会社からスケジュール・データを装置に送信しておけば、帰宅時に新たなスケジュールにすぐに対応できる。

（変形例７）
これまで説明した転送部１２０５は生成した要約映像をＰＤＡに転送して記憶したが、ＰＤＡには記憶せずに生成した要約映像を、大容量のネットワークを介してＰＤＡに転送しても良い。例えば、装置とＰＤＡを光ケーブルで接続しておいて、ＴＣＰ／ＩＰプロトコルやＨＴＴＰプロトコルで要約映像のデータを受信してもよい。映像データは大容量であり、ＰＤＡに転送するには時間がかかるが、この場合にはＰＤＡに映像を転送しなくてもよくなる。

なお、以上の各機能は、ソフトウェアとして記述し適当な機構をもったコンピュータに処理させても実現可能である。
また、本実施形態は、コンピュータに所定の手順を実行させるための、あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるためのプログラムとして実施することもできる。加えて該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１の実施形態による映像要約装置の概略構成 イベントデータ 試合結果判別リスト 限定したイベントデータ 要約映像に採用されたイベントデータ 要約映像 第１の実施形態の処理手順をまとめたフローチャート 第２の実施形態による映像要約装置の概略構成 主要なイベント 第２の実施形態によって生成される要約映像のシーン数とシーン長の関係 第２の実施形態の処理手順をまとめたフローチャート 第３の実施形態による映像要約装置の概略構成 スケジュールの一例 要約映像を視聴可能な予定を特定するためのリスト 算出された要約長の一例 第３の実施形態の処理手順をまとめたフローチャート 野球のイベントデータの一例を示す図 クイズ番組のイベントデータの一例を示す図

符号の説明

１００，８００，１２００…イベント受信部、１０１…イベント限定部、１０２，８０１，１２０１…映像受信部、１０３，８０３，１２０４…要約部、要約長指定部８０２、最低要約長算出部８０４、切り替え部８０５、第１の要約処理部８０６、第２の要約処理部８０７、スケジュール入力部１２０２、要約長算出部１２０３、転送部１２０５

Claims (6)

1. 映像を入力する第１の入力手段と、
   前記映像の内容中で発生する複数のイベントに関する情報を含む第１のイベントデータであって少なくとも各イベントにつき種別及び発生時刻を含むものを入力する第２の入力手段と、
   ユーザのスケジュールに関する情報を含むスケジュールデータであって少なくとも各スケジュールにつき開始時刻及び終了時刻並びにその開始時刻と終了時刻との間に要約映像の視聴が可能か否かを特定可能な情報とを含むものを入力する第３の入力手段と、
   前記スケジュールデータに基づいて前記ユーザが要約映像を視聴可能な時間を示す視聴可能時間を算出する算出手段と、
   前記映像に対する要約映像であって前記視聴可能時間の範囲内長さを持つものを生成する生成手段とを備えたことを特徴とする要約映像生成装置。
2. 前記生成手段は、前記スケジュールデータに含まれるスケジュールのうち、要約映像の視聴が可能と特定されるものの開始時刻より前に、前記映像に対する要約映像を生成することを特徴とする請求項１に記載の要約映像生成装置。
3. 前記生成手段は、生成した前記映像に対する要約映像を、前記スケジュールデータに含まれるスケジュールのうち、要約映像の視聴が可能と特定されるものの開始時刻より前に、該ユーザの端末装置へ転送する転送手段を更に備えたことを特徴とする請求項１に記載の要約映像生成装置。
4. 前記生成手段は、前記ユーザの前記映像に対する視聴履歴に基づいて要約率を算出し、この算出した要約率を考慮して前記映像に対する要約映像を生成することを特徴とする請求項１に記載の要約映像生成装置。
5. 映像を入力するステップと、
   前記映像の内容中で発生する複数のイベントに関する情報を含む第１のイベントデータであって少なくとも各イベントにつき種別及び発生時刻を含むものを入力するステップと、
   ユーザのスケジュールに関する情報を含むスケジュールデータであって少なくとも各スケジュールにつき開始時刻及び終了時刻並びにその開始時刻と終了時刻との間に要約映像の視聴が可能か否かを特定可能な情報とを含むものを入力するステップと、
   前記スケジュールデータに基づいて前記ユーザが要約映像を視聴可能な時間を示す視聴可能時間を算出するステップと、
   前記映像に対する要約映像であって前記視聴可能時間の範囲内長さを持つものを生成するステップとを有することを特徴とする要約映像生成方法。
6. 要約映像生成装置としてコンピュータを機能させるためのプログラムにおいて、
   前記プログラムは、
   映像を入力するステップと、
   前記映像の内容中で発生する複数のイベントに関する情報を含む第１のイベントデータであって少なくとも各イベントにつき種別及び発生時刻を含むものを入力するステップと、
   ユーザのスケジュールに関する情報を含むスケジュールデータであって少なくとも各スケジュールにつき開始時刻及び終了時刻並びにその開始時刻と終了時刻との間に要約映像の視聴が可能か否かを特定可能な情報とを含むものを入力するステップと、
   前記スケジュールデータに基づいて前記ユーザが要約映像を視聴可能な時間を示す視聴可能時間を算出するステップと、
   前記映像に対する要約映像であって前記視聴可能時間の範囲内長さを持つものを生成するステップとをコンピュータに実行させることを特徴とするプログラム。

Images