JP2012074759A - コンテンツ要約装置およびコンテンツ要約表示装置 - Google Patents

Abstract

【課題】前回と異なる要約結果を生成する。
【解決手段】コンテンツ要約装置は、画像選択部と、要約履歴部と、記憶部と、を具備する。画像選択部は、入力されたコンテンツから画像の選択基準および選択基準のパラメタに応じて１以上の画像を選択して要約を作成する。要約履歴部は、画像選択部が選択した選択基準と、選択基準のパラメタと、を含む要約履歴情報を記憶させる。記憶部は、コンテンツの要約ごとに要約履歴情報を記憶する。また、画像選択部は、記憶部から過去の要約履歴情報を取得し、過去の要約履歴情報に含まれる選択基準およびパラメタのうちの少なくとも１以上とは異なる選択基準およびパラメタのうちの少なくとも１以上によって要約を作成する。
【選択図】図１

Description

本発明の実施形態は、コンテンツ要約装置およびコンテンツ要約表示装置に関する。

従来のコンテンツ要約装置には、最適な要約スライドショーを１種類生成しユーザに提供するものがあったが、同じコンテンツを複数処理しても異なる要約結果を得ることはできない。

特開２００７−１８４６７４号公報 特開２００５−６５１８５号公報

上述したように、従来技術では要約を１つの画像選択基準により選択した画像から生成するため、１つの要約しか出来ない。従来技術ではこのように常に同一の要約しか得られないため、ユーザは複数回同じ対象の要約を見ようと思わないという問題がある。

本実施形態は、上記の問題点を解決するためになされたものであって、前回と異なる要約結果を生成することができるコンテンツ要約装置およびコンテンツ要約表示装置を提供することを目的とする。

実施形態によれば、コンテンツ要約装置は、画像選択部と、要約履歴部と、記憶部と、を具備する。画像選択部は、入力されたコンテンツから画像の選択基準および選択基準のパラメタに応じて１以上の画像を選択して要約を作成する。要約履歴部は、画像選択部が選択した選択基準と、選択基準のパラメタと、を含む要約履歴情報を記憶させる。記憶部は、コンテンツの要約ごとに要約履歴情報を記憶する。また、画像選択部は、記憶部から過去の要約履歴情報を取得し、過去の要約履歴情報に含まれる選択基準およびパラメタのうちの少なくとも１以上とは異なる選択基準およびパラメタのうちの少なくとも１以上によって要約を作成する。

また実施形態によれば、コンテンツ要約表示装置は、要約記憶部と、ＧＵＩ部と、表示部とを具備する。要約記憶部は、上述のコンテンツ要約装置が作成した要約を記憶する。ＧＵＩ部は、要約記憶部内の要約を指定する。表示部は、ＧＵＩ部に指定された要約を表示する。

第１の実施形態に係わるコンテンツ要約装置のブロック図。 第１の実施形態のコンテンツ要約装置の動作の一例を示すフローチャート。 第２の実施形態に係わるコンテンツ要約装置のブロック図。 日時と風景とを対応付けるテーブル。 第２の実施形態の動作の一例を示すフローチャート。 第３の実施形態に係わるコンテンツ要約表示装置のブロック図。

以下、図面を参照しながら本発明の実施形態に係るコンテンツ要約装置について詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
（第１の実施形態）
第１の実施形態に係わるコンテンツ要約装置１００について図１を参照して説明する。
コンテンツ要約装置１００は、画像選択部１０１、要約履歴部１０２、記憶部１０３を含む。

画像選択部１０１は、コンテンツを入力し、このコンテンツに対して要約履歴部１０２から送られた過去の要約履歴に基づき要約に用いる画像の選択基準およびこの選択基準のパラメタを変更する。画像選択部１０１は、前回のスライドショー生成時もしくは過去の何回分かのスライドショー生成時での選択基準と、その際のパラメタと、選択基準の判定に必要な特徴量と、を要約履歴部１０２から受け取り、前回もしくは過去の何回分かの画像選択基準およびパラメタのうちの少なくとも１以上と同一にならないように、今回の選択基準と、その際のパラメタと、対応する特徴量とを決定し、これら選択基準、パラメタ、特徴量に基づいてコンテンツから画像を選択する。実施形態におけるコンテンツとは、動画もしくは複数枚の画像の集合とする。
また、画像選択部１０１は例えば、画像を選択する複数の選択エンジンを有していて、そのうちの少なくとも１つを利用してコンテンツから画像を選択する。要約履歴部１０２は、記憶部１０３に記憶されている過去の要約履歴情報を画像選択部１０１に送り、今回のスライドショーで使用する選択基準と、その際のパラメタと、対応する特徴量とを記憶部１０３に記憶させる。
さらに、画像選択部１０１は、スライドショーを作成するごとに、選択基準と、その際のパラメタと、対応する特徴量とを変更してもよいし、コンテンツに含まれる画像ごとに、選択基準と、その際のパラメタと、対応する特徴量とを変更してもよい。

記憶部１０３は、要約履歴情報を記憶している。要約履歴情報は各コンテンツの要約した順に、全ての処理画像から抽出した、使用する選択基準に必要な特徴量と、要約に用いた画像選択基準と、その際のパラメタとを１組として管理される。また記憶部１０３は、要約履歴部１０２から送られる過去の要約履歴情報を記憶していく。

画像選択部１０１は、外部から与えられる処理対象のコンテンツから内容を要約したスライドショーを生成するための画像を複数選択し要約スライドショーを生成する。選択する枚数は、生成する要約スライドショーの長さに依存し、例えば１分の要約スライドショーを生成する場合、１０枚の画像を選択する。画像を選択する選択基準は、１．顔認識を基にした方法、２．笑顔度を基にした方法、３．風景認識を基にした方法、４．画像間類似度を基にした方法、５．人物検出を基にした方法、および６．画像の鮮明度を基にした方法などから、１つもしくは複数の方法を組み合わせて使用する。また、２回目以降の要約のために、初回は全ての選択基準に必要な特徴量を処理画像全てに対して抽出し、要約情報として要約履歴部１０２へ送ってもよい。画像選択部１０１は、１つのコンテンツに対して異なる選択エンジンを適用し、異なるスライドショーを生成する。

＜１．顔認識＞
顔認識を基にした方法は、各画像中から人の顔領域を検出し、コンテンツ中で検出した全ての顔領域に対して同一人物の顔にクラスタリングし、例えば注目する最も多く出演した人物が写る画像を選択する。顔認識は、例えば特開２００７−００４７６７号公報、特開２００６−２２１４７９号公報に示す手法にて実現できる。例えば顔の特徴量を表現する特徴ベクトル間の類似度により同一人物かどうかを判定する。画像選択部１０１が、スライドショーを生成するごとに注目する人物を変更し、注目人物が写っている画像を選択すれば、異なるスライドショーを生成することができる。

＜２．笑顔認識＞
笑顔度を基にした方法は、上述した顔認識手法と同様に、画像中から検出した各顔領域からＣｏＨＯＧ特徴量を抽出し、その特徴量を予め笑顔か笑顔でないかの２クラス問題として事前に収集したそれぞれの顔画像からSupport Vector Machines (SVM)（V. N. Vapnik, The Nature of Statistical Learning Theory, Springer, 1995.）を用いて学習しておいた識別器により笑顔度の尤度を推定し、笑顔度が高い顔領域を含む画像から選択する。画像選択部１０１が、スライドショーを生成するごとに推定した笑顔度に応じて画像を選択すれば、異なるスライドショーを生成することができる。画像選択部１０１は例えば、笑顔である人が写っている画像を選択するか、もしくは笑顔でない人が写っている画像を選択すれば、異なるスライドショーを生成することができる。他に画像選択部１０１が、推定した笑顔度の尤度が一定範囲内である画像を選択し、この尤度の範囲を変更して画像を選択すれば、異なるスライドショーを生成することができる。

＜３．風景＞
風景認識を基にした方法は、画像全体から、もしくは画像を数個の領域に分割し、その各領域から上述したＣｏＨＯＧ特徴量を抽出し、予め定義した風景カテゴリ（例えば、海、山、空、森、夕焼け、浜辺、桜、花、雪など）との尤度をそれぞれ推定し、全てのコンテンツから推定した各カテゴリに対する尤度を用いて、各カテゴリにて尤度の高い順にそれぞれ画像を選択する。カテゴリとの尤度は、事前に収集した各カテゴリ数千枚の画像から入力画像と同様にＣｏＨＯＧを特徴抽出し、識別性能が高く汎化性能が最大となる計量を最適化した計量空間にて学習したｋ−最近傍識別器を用いて算出する。画像選択部１０１は、風景カテゴリを変更してスライドショーを生成することにより、異なるスライドショーを生成することができる。

＜４．画像間類似度＞
画像間類似度を基にした方法は、１つの画像全体から、もしくは１つの画像を数個の領域に分割しその各領域から、上述したＣｏＨＯＧ特徴量を抽出し、特徴量間の距離によりクラスタリングし、生成したクラスタ中から１枚ずつ画像を選択する。画像選択部１０１は、例えばｋ−ｍｅａｎｓクラスタリングによりクラスタリングする場合にパラメタｋを変更してスライドショーを生成するか、例えば生成したクラスタ中から画像を選択する方法をランダムにしてスライドショーを生成することで、異なるスライドショーを生成することができる。また画像選択部１０１は、ＣｏＨＯＧ特徴量から異なる次元数の特徴量に特徴変換し、変換した特徴量を用いて画像を選択してもよい。画像選択部１０１は例えば画像間類似度を人間の直感に忠実な距離（計量）となるようにＣｏＨＯＧ特徴を特徴変換する。

＜５．人物検出＞
人物検出を基にした方法は、１つの画像全体から、もしくは１つの画像を数個の領域に分割しその各領域から、上述したＣｏＨＯＧ特徴量を抽出し、事前に学習した人物領域と非人物領域を識別する識別器（ＳＶＭ）により、人物領域に対する尤度が閾値以上となる画像中の人物領域を検出する。画像選択部１０１は例えば、最も多くの人物領域が検出された画像、人物領域がない画像、もしくは画像の中央に人物領域が検出された画像を選択することにより、異なるスライドショーを生成することができる。

＜６．画像鮮明度＞
画像の鮮明度を基にした方法は、１つの画像全体、もしくは顔検出により検出した顔領域、もしくは人物検出により検出した人物領域に対して、周波数解析を行い算出した鮮明度を基に、度数の高い画像から選択する。すなわち画像選択部１０１は、スライドショー間でこの度数の異なる画像を含むように画像を選択すれば、異なるスライドショーを生成することができる。

上述した選択基準の組み合わせ方法は、要約履歴部１０２にて管理するコンテンツごとの要約履歴情報に基づく。初回のスライドショーでは例えば、顔認識を基にした方法と笑顔度を基にした方法を組み合わせ、最も出演頻度の高い人物のより笑顔で撮影された画像を選択するとして、２回目以降のスライドショーでは例えば画像間類似度を基にした方法により初回で使用した画像との類似度が低い画像を選択するというように、前回と異なる画像選択基準を使用する。または、初回のスライドショーでは、人物検出を基にした方法を用い、検出した人物領域が多い画像を選択した場合、２回目のスライドショーでは人物領域が検出できなかった画像を選択するというような、同じ選択基準を使用しながらもパラメタのみを変化させてもよい。しかしながら、ここに挙げた６つの選択基準（１．顔認識、２．笑顔認識、３．風景、４．画像間類似度、５．人物検出、６．画像鮮明度）は互いに独立な基準であるため、この場合は６！＝７２０通りの組み合わせが存在する。スライドショーを生成する度にこれらの基準を前回とは異なる選択基準を採用することで、すべて異なる特徴を有するスライドショーを生成することができる。

要約履歴部１０２は、入力されたコンテンツの要約履歴情報を管理する。要約履歴情報は各コンテンツの要約した順に、全ての処理画像から抽出した、使用する選択基準に必要な特徴量と、要約に用いた画像選択基準と、その際のパラメタとを１組として管理される。画像選択部１０１から問い合わせを受けたコンテンツの要約履歴情報を画像選択部１０１へ送り、今回の要約履歴情報を受け取る。要約履歴情報は記憶部１０３で蓄積する。

記憶部１０３は、要約履歴部１０２で管理する要約履歴情報を記憶し蓄積する。要約履歴情報は、コンテンツごとにデータベース化し保存する。

次に第１の実施形態に係わるコンテンツ要約装置の動作について図１および図２を参照して説明する。図２は第１の実施形態に係わるコンテンツ要約装置１００の動作を示すフローチャートである。

ステップＳ２０１では、要約履歴部１０２が、記憶部１０３に蓄積された要約履歴情報の中に入力されたコンテンツの要約履歴情報があるかどうかを確認する。要約履歴情報が存在する場合はステップＳ２０２へ、要約履歴情報が存在しない場合はステップＳ２０６に処理を進める。

ステップＳ２０６では、画像選択部１０１が、入力コンテンツの処理画像に対して全ての選択基準に必要な特徴量をそれぞれ抽出し、ステップＳ２０４に処理を進める。

ステップＳ２０２では、要約履歴部１０２が、入力コンテンツに対応する要約履歴情報を記憶部１０３から読み込み、ステップＳ２０３に処理を進める。

ステップＳ２０３では、要約履歴部１０２が、過去の要約履歴情報から画像選択部１０１における画像選択基準を、前回の基準と異なる基準に変更する。画像選択部１０１は、要約履歴部１０２により設定された画像選択基準へ、初期値の選択基準から変更し、ステップＳ２０４に処理を進める。

ステップＳ２０４では、画像選択部１０１が、入力コンテンツから現在設定してある画像選択基準に基づいて画像を設定し、要約スライドショーを生成する。要約結果を装置外部へ出力した後、ステップＳ２０５に処理を進める。

ステップＳ２０５では、要約履歴部１０２が、画像選択部１０１で今回使用した画像選択基準等の上述した要約履歴情報を記憶部１０３に記憶し蓄積して処理を終了する。

以上の第１の実施形態によれば、動画および画像群を要約する際に、複数の過去の要約履歴情報を記憶してこの情報に応じて画像の選択基準を変化させることにより、同様のコンテンツでも過去に作成した要約とは異なる要約を生成することができる。

（第２の実施形態）
第２の実施形態に係わるコンテンツ要約装置３００について図３を参照して説明する。
コンテンツ要約装置３００は、日時取得部３０２を更に備える点でコンテンツ要約装置１００と相違する。コンテンツ要約装置３００のうち、コンテンツ要約装置１００と同様な装置部分については詳細な説明を省略する。

画像選択部３０３は、外部から与えられる処理対象のコンテンツから内容を要約したスライドショーを生成するための画像を複数選択し要約スライドショーを生成する。画像選択部１０１は、要約履歴情報を基に用いる画像選択基準を変更するが、さらに要約履歴情報に含まれる日時情報を基に、閾値時間以内に要約した際の選択基準とそのパラメタとを異なる選択基準に変更する。なお、選択基準を変更するとは、画像選択方法そのものを変更することに加え、画像選択方法そのものは同一でも選択のパラメタだけを変更することも含む。前回のスライドショー作成日時からの経過時間が閾値時間よりも大きい場合には、前回のスライドショーの作成はなかったものとみなし、画像選択部３０３は任意の方法でスライドショーを作成してもよい。

要約履歴部３０１は、入力されたコンテンツの要約履歴情報を管理する。要約履歴情報は、日時取得部３０２により獲得した日時情報を基に各コンテンツの要約した際の日時と、全ての処理画像から抽出した、使用する選択基準に必要な特徴量と、要約に用いた画像選択基準と、その際のパラメタとを１組として管理される。

日時取得部３０２は、現在の日時を獲得する。要約履歴部３０１から求められたタイミングの日時を獲得し、出力する。この日時は例えばスライドショーを作成する日時にする。

画像選択部３０３は、日時取得部３０２から獲得した日時に応じて画像を選択する。画像選択部３０３は、日時取得部３０２から獲得した日時の時刻が例えば朝なら元気が出そうな画像を選択し、獲得した日時の季節に合わせた画像を選択する。画像選択部３０３は例えば、日時とこの日時に対応する画像の性質とが関係づけられているテーブルを含んでいて、獲得した日時に応じてテーブルに記載の画像を選択する。具体的には例えば画像選択部３０３は、図４に示すテーブルを含み、獲得した日時に応じて対応する風景を含む画像を選択する。

次に、第２の実施形態に係わるコンテンツ要約装置の動作について図３および図５を参照して説明する。図５は第２の実施形態に係わるコンテンツ要約装置３００の動作を示すフローチャートである。コンテンツ要約装置３００の動作のうち、図５のステップＳ２０１〜Ｓ２０４は図２のステップＳ２０１〜Ｓ１０４と同様であるため説明を省略する。
ステップＳ５０１では、要約履歴部３０１は、日時取得部３０２から日時情報を取得する。

ステップＳ５０２では、要約履歴部３０１は、今回使用した画像選択部１０１で用いた画像選択基準等の要約情報と、上述したステップＳ３０７にて取得した日時情報とを要約履歴情報として記憶部１０３に蓄積し、処理を終了する。

以上の第２の実施形態によれば、動画および画像群を要約する際に、ユーザがスライドショーを再生する日時に応じて画像を選択するので、第１の実施形態による効果に加え、再生する日時に最適な画像をユーザに提供することができる。

（第３の実施形態）
第３の実施形態は、第１および第２のコンテンツ要約装置１００，３００を含んでいるコンテンツ要約表示装置６００に関する。第ｘ３の実施形態に係わるコンテンツ要約表示装置６００について図６を参照して説明する。コンテンツ要約表示装置６００は、要約スライドショーを表示する装置である。
コンテンツ要約表示装置６００は、ＧＵＩ部６０１、記憶部６０２、表示部６０３、コンテンツ要約装置１００，３００を含む。

ＧＵＩ部６０１は、外部からのユーザ操作を受け取る。記憶部６０２はコンテンツ要約装置１００，３００で生成した要約スライドショーを蓄積する。表示部６０３は要約結果を表示する。ここでＧＵＩとはグラフィカルユーザーインターフェース（Ｇｒａｆｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を意味する。

コンテンツ要約表示装置６００は、ＧＵＩ部６０１を通じて記憶部６０２に蓄積してある過去に要約した複数の要約スライドショーから所望のものをユーザからの指示に応じて選択し、表示部６０３に表示できる。また、コンテンツ要約装置１００，３００でコンテンツを要約する際の画像選択基準を外部から指定し、生成した要約スライドショーを記憶部６０２に蓄積した後、表示部６０３で表示することもできる。

記憶部６０２は、コンテンツ要約装置１００，３００から出力された要約結果を保存し、ＧＵＩ部６０１を通して指定された要約スライドショーを表示部６０３へ送る。

表示部６０３は、生成した要約スライドショーを再生する。もしくは、ＧＵＩ部６０１に与えられたユーザ操作に対して表示内容を変更する。

以上の第３の実施形態によれば、第１または第２の実施形態のコンテンツ要約装置を使用することにより、ユーザの要求に応じて過去の履歴を参照したり、選択基準を指定したりすることができ、第１または第２の実施形態のコンテンツ要約装置の効果を有するスライドショーを表示させることができる。

例えば物理的あるいは時間的な相違によってユーザの好みに変化があることも多い。時間や場所、例えば１人であるか複数であるかなどのユーザを取り囲む状況によっても同じユーザでも好みに変化がある。過去と異なる要約を提供することによって、ユーザに変化に富んだ要約を提供することも可能になる。

また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態のコンテンツ要約装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態のコンテンツ要約装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本願発明における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本願発明におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，３００…コンテンツ要約装置、１０１…画像選択部、１０２…要約履歴部、１０３…記憶部、３０１…要約履歴部、３０２…日時取得部、３０３…画像選択部、６００…コンテンツ要約表示装置、６０１…ＧＵＩ部、６０２…記憶部、６０３…表示部。

Claims (5)

1. 入力されたコンテンツから画像の選択基準および該選択基準のパラメタに応じて１以上の画像を選択して要約を作成する画像選択部と、
   前記画像選択部が選択した選択基準と、該選択基準のパラメタと、を含む要約履歴情報を記憶させる要約履歴部と、
   前記コンテンツの要約ごとに前記要約履歴情報を記憶する記憶部と、を具備し、
   前記画像選択部は、前記記憶部から過去の要約履歴情報を取得し、該過去の要約履歴情報に含まれる選択基準およびパラメタのうちの少なくとも１以上とは異なる選択基準およびパラメタのうちの少なくとも１以上によって前記要約を作成することを特徴とするコンテンツ要約装置。
2. 要約を作成する日時を取得する日時取得部と、
   前記要約履歴部は、前記要約履歴情報に前記日時をさらに含めることを特徴とする請求項１に記載のコンテンツ要約装置。
3. 日時と風景とを対応付けてあるテーブルをさらに具備し、
   前記画像選択部は、前記日時取得部が取得した日時に応じて前記テーブルから、該日時に対応する風景を含む画像を選択することを特徴とする請求項２に記載のコンテンツ要約装置。
4. 請求項１から請求項３のいずれか１項に記載のコンテンツ要約装置が作成した要約を記憶する要約記憶部と、
   前記要約記憶部内の要約を指定するＧＵＩ部と、
   ＧＵＩ部に指定された要約を表示する表示部と、を具備することを特徴とするコンテンツ要約表示装置。
5. 前記ＧＵＩ部は、前記コンテンツ要約装置で使用する選択基準を選択することを特徴とする請求項４に記載のコンテンツ要約表示装置。

Images