JP2010206729A - ダイジェスト再生装置、ダイジェスト再生方法、およびプログラム - Google Patents

Abstract

【課題】類似度に応じて各クラスタに適切に分類されたフレームに基づいて、コンテンツのダイジェストを効果的に再生可能な、ダイジェスト再生装置、ダイジェスト再生方法、およびプログラムを提供する。
【解決手段】コンテンツを構成する複数のフレームからなるフレーム系列について、各フレームの特徴量を抽出する特徴量抽出部１０５と、各フレームの特徴量に基づいて、互いに異なるクラスタ数ｋで、複数のフレームをクラスタリングするクラスタリング処理部１０７と、各クラスタ数のクラスタリング結果を評価し、特定のクラスタ数のクラスタリング結果を選択するクラスタリング評価・選択部１０９と、選択されたクラスタリング結果に基づいて、各クラスタの代表フレーム区間を選択するフレーム区間選択部１１１と、各クラスタの代表フレーム区間に含まれる１以上のフレームを、コンテンツのダイジェストとして再生するフレーム再生部１１５と、を備える。
【選択図】図１

Description

本発明は、ダイジェスト再生装置、ダイジェスト再生方法、およびプログラムに関する。

従来、コンテンツを構成する複数の画像および／またはフレームからなるフレーム系列について、複数のフレームをクラスタに分類し、各クラスタに含まれるフレームを用いてコンテンツのダイジェストを再生する、ダイジェスト再生方法が知られている。ダイジェスト再生方法では、各フレームから抽出される特徴量に基づいて、フレーム同士の類似度が判定され、類似度の高いフレームが同一のクラスタに分類される。

ここで、ダイジェスト再生方法では、最短距離法等の階層的クラスタリング手法、ｋ−平均法等の非階層的クラスタリング手法が用いられる。階層的クラスタリング手法では、フレーム系列に含まれるフレーム同士の類似度に応じて、ある程度適応的にクラスタ数が設定される。一方、非階層的クラスタリング手法では、フレーム系列に含まれるフレーム同士の類似度にかかわらずに、クラスタ数が予め設定されてしまう場合がある。

特開２００６−３４５２７０号公報

このため、フレーム系列に応じては、類似度の低いフレームが同一クラスタに分類され、または類似度の高いフレームが互いに異なるクラスタに分類されてしまう場合がある。この場合、複数のフレームが類似度に応じて各クラスタに適切に分類されていないので、各クラスタに含まれるフレームを用いてコンテンツのダイジェストを効果的に再生することができなかった。

そこで、本発明は、類似度に応じて各クラスタに適切に分類されたフレームに基づいて、コンテンツのダイジェストを効果的に再生可能な、ダイジェスト再生装置、ダイジェスト再生方法、およびプログラムを提供するものである。

本発明の第１の観点によれば、コンテンツを構成する複数のフレームからなるフレーム系列について、各フレームの特徴量を抽出する特徴量抽出部と、各フレームの特徴量に基づいて、互いに異なるクラスタ数で、複数のフレームをクラスタリングするクラスタリング処理部と、各クラスタ数のクラスタリング結果を評価し、特定のクラスタ数のクラスタリング結果を選択するクラスタリング評価・選択部と、選択されたクラスタリング結果に基づいて、各クラスタの代表フレーム区間を選択するフレーム区間選択部と、各クラスタの代表フレーム区間に含まれる１以上のフレームを、コンテンツのダイジェストとして再生するフレーム再生部と、を備える、ダイジェスト再生装置が提供される。

かかる構成によれば、ダイジェスト再生装置は、コンテンツを構成する複数のフレームを、各フレームの特徴量に基づいて、互いに異なるクラスタ数でクラスタリングし、各クラスタ数のクラスタリング結果を評価し、特定のクラスタ数のクラスタリング結果を選択する。そして、ダイジェスト再生装置は、選択されたクラスタリング結果に基づいて、各クラスタの代表フレーム区間を選択し、代表フレーム区間に含まれる１以上のフレームをコンテンツのダイジェストとして再生する。これにより、各クラスタ数のクラスタリング結果を評価することで、複数のフレームが類似度に応じて適切に分類されているクラスタリング結果を選択することができる。よって、類似度に応じて各クラスタに適切に分類されたフレームに基づいて、コンテンツのダイジェストを効果的に再生することができる。

また、本発明の第２の観点によれば、コンテンツを構成する複数のフレームからなるフレーム系列について、各フレームの特徴量を抽出するステップと、各フレームの特徴量に基づいて、互いに異なるクラスタ数で、複数のフレームをクラスタリングするステップと、各クラスタ数のクラスタリング結果を評価し、特定のクラスタ数のクラスタリング結果を選択するステップと、選択されたクラスタリング結果に基づいて、各クラスタの代表フレーム区間を選択するステップと、各クラスタの代表フレーム区間に含まれる１以上のフレームを、コンテンツのダイジェストとして再生するステップと、を含む、ダイジェスト再生方法が提供される。

かかる方法によれば、各クラスタ数のクラスタリング結果を評価することで、複数のフレームが類似度に応じて適切に分類されているクラスタリング結果を選択することができる。よって、類似度に応じて各クラスタに適切に分類されたフレームに基づいて、ダイジェストを効果的に再生することができる。

また、本発明の第３の観点によれば、第２の観点によるダイジェスト再生方法をコンピュータに実行させるためのプログラムが提供される。

以上説明したように本発明によれば、類似度に応じて各クラスタに適切に分類されたフレームに基づいて、コンテンツのダイジェストを効果的に再生可能な、ダイジェスト再生装置、ダイジェスト再生方法、およびプログラムを提供することができる。

本発明の実施形態に係るダイジェスト再生方法の手順を示すフロー図である。 ダイジェスト再生方法の実施例を示す図である。 本発明の実施形態に係るダイジェスト再生装置の機能構成例を示すブロック図である。 クラスタリングに関連する処理の手順を示すフロー図である。 クラスタ数の範囲設定テーブルの例を示す図である。 クラスタリング結果の評価処理例を概念的に示す図である。 クラスタリング結果の評価処理例を概念的に示す図である。 ダイジェスト再生に関連する処理の手順を示すフロー図である。 代表フレーム区間の選択処理例を示す図である。 再生モードＡ、Ｂのダイジェスト再生処理例を示す図である。 再生モードＣ、Ｄのダイジェスト再生処理例を示す図である。

以下に、添付した図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［１．ダイジェスト再生方法の概要］
まず、図１および図２を参照しながら、本発明の実施形態に係るダイジェスト再生方法の概要について説明する。図１は、本発明の実施形態に係るダイジェスト再生方法の手順を示すフロー図である。図２は、ダイジェスト再生方法の実施例を示す図である。

ダイジェスト再生方法は、コンテンツを構成する複数のフレームからなるフレーム系列について、複数のフレームをクラスタに分類し、各クラスタの代表フレーム区間に含まれる１以上のフレームを、コンテンツのダイジェストとして再生するものである。

ここで、コンテンツは、複数の画像フレームおよび音声フレーム、または複数の画像フレームのみから構成される画像（映像）コンテンツでもよく、複数の音声フレームのみから構成される音声コンテンツでもよい。以下では、説明の便宜上、複数の画像フレームのみからなる画像コンテンツを想定して、ダイジェスト再生方法の概要について説明する。

図１に示すように、ダイジェスト再生方法では、まず、コンテンツを構成する各フレームの特徴量が抽出される（ステップＳ１１）。次に、各フレームの特徴量に基づいて、互いに異なるクラスタ数ｋで、複数のフレームがクラスタリングされる（Ｓ１３）。次に、各クラスタ数ｋのクラスタリング結果が評価され、特定のクラスタ数ｋｏｐｔのクラスタリング結果が選択される（Ｓ１５）。次に、選択されたクラスタリング結果に基づいて、各クラスタの代表フレーム区間が選択される（Ｓ１７）。そして、各クラスタの代表フレーム区間に含まれる１以上のフレームがコンテンツのダイジェストとして再生される（Ｓ１９）。

図２に示す実施例では、複数のフレーム（画像フレーム）からなるフレーム系列を有するコンテンツのダイジェストを再生する場合が示されている。ここで、説明の便宜上、複数のフレームは、フレーム区間ｆ１〜ｆ１０に区分されている。また、フレーム画像は、ハッチングパターンとして簡略的に表されている。複数のフレームは、各フレームの特徴量に基づいて、互いに異なるクラスタ数ｋ＝３、４、５でクラスタリングされている。ここで、複数のフレームは、各フレームの特徴量に基づいて、フレーム同士の類似度が判定され、各クラスタ数ｋ＝３、４、５に応じて、類似度の高いフレームが同一のクラスタに分類されている。

クラスタ数ｋ＝３のクラスタリングでは、フレーム区間ｆ１〜ｆ４、フレーム区間ｆ５、ｆ６、およびフレーム区間ｆ７〜ｆ１０に含まれるフレームがクラスタ１、２、および３に各々に分類されている。クラスタ数ｋ＝４のクラスタリングでは、フレーム区間ｆ１〜ｆ４、フレーム区間ｆ５、ｆ６、フレーム区間ｆ７、ｆ８、およびフレーム区間ｆ９、ｆ１０に含まれるフレームがクラスタ１、２、３、および４に各々に分類されている。クラスタ数ｋ＝５のクラスタリングでは、フレーム区間ｆ１、ｆ２、フレーム区間ｆ３、ｆ４、フレーム区間ｆ５、ｆ６、フレーム区間ｆ７、ｆ８、およびフレーム区間ｆ９、ｆ１０に含まれるフレームがクラスタ１、２、３、４、および５に各々に分類されている。

クラスタ数ｋ＝３、４、５のクラスタリング結果の評価値Ｅｃは、Ｅｃ３＝０．７、Ｅｃ４＝０．８、およびＥｃ５＝０．９として各々に算定されている。ここで、クラスタリング結果の評価値Ｅｃは、複数のフレームが類似度に応じて適切に分類されているほど、大きな値として算定される。このため、フレーム区間ｆ１〜ｆ１０に含まれるフレームが類似度に応じて適切に分類されているクラスタリング結果として、ｋ＝５のクラスタリング結果が選択される。

そして、クラスタ数ｋ＝５のクラスタリング結果に基づいて、クラスタ１〜５に含まれるフレーム区間ｆ１〜ｆ１０から、例えば、フレーム区間ｆ１、ｆ３、ｆ５、ｆ７、およびｆ９がクラスタ１、２、３、４、および５の代表フレーム区間として各々に選択され、各クラスタの代表フレーム区間に含まれるフレームがコンテンツのダイジェストとして再生される。

これにより、各クラスタ数のクラスタリング結果を評価することで、複数のフレームが類似度に応じて適切に分類されているクラスタリング結果を選択することができる。よって、類似度に応じて各クラスタに適切に分類されたフレームに基づいて、コンテンツのダイジェストを効果的に再生することができる。

［２．ダイジェスト再生装置の機能構成］
次に、図３を参照しながら、本発明の実施形態に係るダイジェスト再生装置の主要な機能構成について説明する。図３は、ダイジェスト再生装置の機能構成例を示すブロック図である。ここで、ダイジェスト再生装置は、例えば、画像および／または音声フレームの記録再生機能を有する、ビデオレコーダ、ビデオカメラ、サウンドレコーダ、テレビジョン受信機、パーソナルコンピュータ、携帯電話機等である。以下では、放送コンテンツの画像および音声フレームの記録再生機能を有するビデオレコーダ１００を想定して、ダイジェスト再生装置の主要な機能構成について説明する。

図３に示すように、ビデオレコーダ１００は、チューナ部１０１、フレーム処理部１０３、特徴量抽出部１０５、クラスタリング処理部１０７、クラスタリング評価・選択部１０９、フレーム区間選択部１１１、フレーム記録部１１３、フレーム再生部１１５、出力部１１７、操作Ｉ／Ｆ部１１９、制御部１２１を含んで構成される。また、ビデオレコーダ１００は、特徴量抽出結果保持部１２３、クラスタリング結果保持部１２５、クラスタリング評価結果保持部１２７、フレーム区間選択結果保持部１２９を含んで構成される。

チューナ部１０１は、アンテナ１３１等を通じて、所定の放送チャンネル上で放送されているコンテンツの画像（映像）・音声信号およびコンテンツ情報信号（ＥＰＧ信号等）を選択的に受信し、信号処理を施した上で、フレーム処理部１０３に供給する。また、チューナ部１０１は、ＥＰＧ信号からコンテンツの区分を示す信号を抽出し、制御部１２１に供給する。

フレーム処理部１０３は、チューナ部１０１から供給される画像信号および音声信号を画像フレームおよび音声フレームに区分し、特徴量抽出部１０５およびフレーム記録部１１３に供給する。また、フレーム処理部１０３は、フレームに区分された画像・音声信号を、画像・音声データに変換した上で、特徴量抽出部１０５およびフレーム記録部１１３に供給してもよい。また、フレーム処理部１０３は、ＥＰＧ信号をＥＰＧフレームに区分し、フレーム記録部１１３に供給してもよい。ここで、画像・音声信号およびＥＰＧ信号は、同一の時間単位でフレームに区分される。なお、以下では、フレームに区分された画像・音声信号または画像・音声データ、ＥＰＧ信号またはＥＰＧデータを、画像・音声フレーム、ＥＰＧフレームとも称する。

特徴量抽出部１０５は、フレーム処理部１０３から供給される画像・音声フレームから、所定の特徴量を抽出し、画像・音声フレームに関連付けて特徴量抽出結果保持部１２３に供給する。ここで、画像フレームの特徴量は、例えば、フレームに区分された画像信号が表す輝度、色差等に基づいて、多次元の特徴ベクトルとして抽出される。音声フレームの特徴量は、フレームに区分された音声信号の基本周波数、音声スペクトル等に基づいて、多次元の特徴ベクトルとして抽出される。画像・音声フレームの特徴量は、フレーム同士の類似度を判定するために用いられる。

クラスタリング処理部１０７は、画像・音声フレームの特徴量に基づいて、互いに異なるクラスタ数ｋで、画像・音声フレームをクラスタリングする。クラスタリング処理部１０７は、特徴量抽出結果保持部１２３から画像・音声フレームの特徴量を読出し、特徴量に基づいて画像・音声フレームをクラスタリングし、クラスタリング結果をクラスタリング結果保持部１２５に供給する。

ここで、クラスタリング処理部１０７は、画像または音声フレームのいずれか一方をメインフレーム、他方をサブフレームとして取扱うことが好ましい。クラスタリング処理部１０７は、画像・音声フレームの特徴量に基づいて、メインフレームをクラスタリングし、メインフレームのクラスタリング結果に対応するようにサブフレームを分類する。これにより、画像フレームおよび音声フレームは、フレームに含まれる画像信号および音声信号が互いにずれることなしに、互いの関係性が維持された状態で分類される。なお、クラスタリング処理部１０７は、画像・音声フレームのいずれか一方の特徴量に基づいて、メインフレームおよびサブフレームを分類してもよい。

ここで、詳細は後述するが、互いに異なるクラスタ数ｋは、コンテンツの区分に応じてクラスタ数ｋの範囲ｋ１〜ｋｎとして設定される。よって、クラスタリング結果保持部１２５には、コンテンツを構成する複数の画像・音声フレームを、フレームの類似度に応じて、クラスタ数ｋ１〜ｋｎの各クラスタ（クラスタ１〜ｋ１、１〜ｋ１＋１、・・・、１〜ｋｎ）に分類した結果が保持されることになる。

クラスタリング評価・選択部１０９は、各クラスタ数ｋのクラスタリング結果を評価し、特定のクラスタ数ｋｏｐｔのクラスタリング結果を選択する。クラスタリング評価・選択部１０９は、クラスタリング結果保持部１２５から各クラスタ数ｋのクラスタリング結果を読出して評価値Ｅｃｋを算定し、評価値Ｅｃｋに基づいて、特定のクラスタ数ｋｏｐｔのクラスタリング結果を選択する。これにより、詳細は後述するが、コンテンツを構成する複数の画像・音声フレームが類似度に応じて適切に分類されている最適なクラスタリング結果が選択される。また、クラスタリング評価・選択部１０９は、クラスタリング結果の評価結果をクラスタリング評価結果保持部１２７に供給する。

フレーム区間選択部１１１は、選択されたクラスタリング結果に基づいて、各クラスタの代表フレーム区間を選択する。フレーム区間選択部１１１は、クラスタリング結果保持部１２５から、選択されたクラスタリング結果を読出し、各クラスタに含まれる画像・音声フレームから、詳細は後述するが、所定の基準に従って代表フレーム区間を選択する。フレーム区間選択部１１１は、各クラスタの代表フレーム区間を示すフレーム区間選択情報をフレーム区間選択結果保持部１２９に供給する。

フレーム記録部１１３は、フレーム処理部１０３から供給される画像・音声フレームに区分された画像・音声信号（または画像・音声信号データ）、および選択的にＥＰＧフレームに区分されたＥＰＧ信号（またはＥＰＧデータ）を記録する。

フレーム再生部１１５は、コンテンツを構成するフレームの画像・音声信号、および選択的にＥＰＧ信号を再生する。フレーム再生部１１５は、特に、クラスタリング結果に基づいて選択された、各クラスタの代表フレーム区間に含まれる１以上のフレームをコンテンツのダイジェストとして再生する。フレーム再生部１１５は、フレーム区間選択結果保持部１２９からフレーム区間選択情報を読出し、フレーム区間選択情報に基づいて、フレーム記録部１１３から各クラスタの代表フレーム区間に含まれる画像・音声信号を読出す。フレーム再生部１１５は、代表フレーム区間に含まれる画像・音声信号を再生処理し、再生処理結果を出力部１１７に供給する。なお、フレーム再生部１１５は、代表フレーム区間に含まれるＥＰＧ信号を読出し、出力部１１７に供給してもよい。

出力部１１７は、フレームの画像・音声信号に相当する画像・音声情報、および選択的にＥＰＧ信号に相当するＥＰＧ情報を画像（映像）表示装置、音声出力装置等に出力する。出力部１１７は、特に、各クラスタの代表フレーム区間に含まれる画像・音声信号に相当する画像・音声情報を画像（映像）表示装置、音声出力装置等に出力する。

操作Ｉ／Ｆ部１１９は、放送チャンネルの選局処理、コンテンツの記録・再生処理等に関する操作情報をユーザから取得する。操作Ｉ／Ｆ部１１９は、ビデオレコーダ１００本体に設けられた操作ボタン・操作キー等でもよく、不図示のコントローラから操作信号を受信する操作信号受信部でもよい。また、操作Ｉ／Ｆ部１１９は、ビデオレコーダ１００の動作状態等を出力するインジケータを含んでもよい。

制御部１２１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含み、ビデオレコーダ１００の動作に必要な処理および各構成要素の制御を行う。ＣＰＵは、ダイジェスト再生処理プログラムをＲＯＭから読出し、ＲＡＭ上に展開して実行する。ＲＡＭは、後述するクラスタ数の範囲設定テーブル等、ダイジェスト再生処理プログラムの実行に必要なパラメータを保持する。また、ＲＡＭは、特徴量抽出結果保持部１２３、クラスタリング結果保持部１２５、クラスタリング評価結果保持部１２７、フレーム区間選択結果保持部１２９の少なくともいずれかとして機能してもよい。

なお、ビデオレコーダ１００の各構成要素は、汎用的な部材・回路により構成されてもよく、各構成要素の機能に特化したハードウェアにより構成されてもよい。また、各構成要素の機能のうち少なくとも一部は、ＣＰＵ上で実行されるプログラムにより実現されてもよい。

［３．ダイジェスト再生方法］
［３−１．クラスタリングに関連する処理］
次に、図４〜図１０を参照しながら、本発明の実施形態に係るダイジェスト再生方法について説明する。

まず、図４〜図７を参照しながら、クラスタリングに関連する処理について説明する。図４は、クラスタリングに関連する処理の手順を示すフロー図である。図５は、クラスタ数の範囲設定テーブルの例を示す図である。図６および図７は、クラスタリング結果の評価処理例を概念的に示す図である。

図４に示すように、チューナ部１０１は、所定の放送チャンネル上で放送されているコンテンツの画像・音声信号およびＥＰＧ信号を選択的に受信し、信号処理を施した上で、フレーム処理部１０３に供給する（ステップＳ１０１）。フレーム処理部１０３は、コンテンツの画像・音声信号を画像・音声フレームに区分し、フレームの順序を識別可能なフレームＩＤとともに、特徴量抽出部１０５およびフレーム記録部１１３に供給する。また、フレーム記録部１１３は、画像・音声フレームに区分された画像・音声信号をフレームＩＤとともに記録する。

特徴量抽出部１０５は、画像・音声フレームから所定の特徴量を抽出し、画像・音声フレームＩＤに関連付けて特徴量抽出結果保持部１２３に供給する（Ｓ１０３）。

制御部１２１は、コンテンツの区分に応じてクラスタ数ｋの範囲ｋ１〜ｋｎを設定する。クラスタ数ｋの範囲は、経験則上、コンテンツの内容に応じて、例えば図５に示すようなテーブルとして設定される。クラスタ数の範囲は、スポーツコンテンツであれば、ｋ＝２０〜３０（野球）、ｋ＝１０〜２０（サッカー）に設定され、ニュースコンテンツであれば、ｋ＝１０〜２０に設定され、ドラマコンテンツであれば、ｋ＝４０〜５０に設定されている。これにより、コンテンツの区分に応じて適切に設定される数の各クラスタに、複数のフレームを類似度に応じて適切に分類することができる。

クラスタリング処理部１０７は、画像・音声フレームの特徴量に基づいて、互いに異なるクラスタ数ｋで、画像・音声フレームをクラスタリングする。クラスタリング処理部１０７は、クラスタ数ｋをｋ１〜ｋｎに順次に設定し、各クラスタ数ｋで画像・音声フレームをクラスタリングし、各クラスタ数ｋのクラスタリング結果をクラスタリング結果保持部１２５に供給する（Ｓ１０７〜Ｓ１１５）。クラスタリング結果は、クラスタ数ｋ、クラスタ番号、フレームＩＤを関連付けたデータとなる。

クラスタリング評価・選択部１０９は、各クラスタ数ｋのクラスタリング結果を評価し、特定のクラスタ数ｋｏｐｔのクラスタリング結果を選択する（Ｓ１１７〜Ｓ１３３）。クラスタリング評価・選択部１０９は、まず、クラスタ数ｋをｋ１に設定し（Ｓ１１７）、最大評価値Ｅｃｍａｘを０、最適クラスタ数ｋｏｐｔをｋ１に設定する（Ｓ１１９）。

クラスタリング評価・選択部１０９は、クラスタリング結果保持部１２５からクラスタ数ｋのクラスタリング結果を読出し（Ｓ１２１）、評価値Ｅｃｋを算定する（Ｓ１２３）。クラスタリング評価・選択部１０９は、評価値Ｅｃｋを最大評価値Ｅｃｍａｘと比較し（Ｓ１２５）、評価値Ｅｃｋが最大評価値Ｅｃｍａｘより大きければ、最大評価値Ｅｃｍａｘおよび最適クラスタ数ｋｏｐｔを評価値Ｅｃｋおよびクラスタ数ｋに各々に更新する（Ｓ１２７）。クラスタリング評価・選択部１０９は、クラスタ数ｋをインクリメントし（Ｓ１２９）、クラスタ数を判定する（Ｓ１３１）。クラスタリング評価・選択部１０９は、クラスタ数ｋがｋｎ以下であれば、ステップＳ１２１の処理に復帰し、ｋｎを超えていれば、ステップＳ１３３の処理を行う。

そして、クラスタリング評価・選択部１０９は、ステップＳ１２１〜Ｓ１３１の処理を繰返し、各クラスタ数ｋ１〜ｋｎのクラスタリング結果を順次に評価する。これにより、クラスタリング評価・選択部１０９は、クラスタリング結果の最大評価値Ｅｃｍａｘを有する、最適クラスタ数ｋｏｐｔのクラスタリング結果を、最適なクラスタリング結果として選択する（Ｓ１３３）。

ここで、クラスタリング結果は、最短距離法、最長距離法、群平均法等の階層的クラスタリング手法、ｋ−平均法、ファジーｃ−平均法等の非階層的クラスタリング手法等のクラスタリング手法を用いて評価される。

一般的に、良好なクラスタリングとは、各クラスタに分類された集合要素同士の分散値が相対的に小さく、各クラスタ同士の距離が相対的に大きくなるようなクラスタリング結果をもたらすものであると考えられる。このため、クラスタの分散値およびクラスタ間の距離に基づいて、クラスタリング結果を評価することができる。

図６および図７には、非階層的クラスタリング手法による、クラスタリング結果の評価処理例が概念的に示されている。図６では、クラスタ数ｋ＝３のクラスタリング結果が示されている。ここで、ｖｉ（ｉ＝１〜３）およびｃｉ（ｉ＝１〜３）がクラスタ１〜３の分散値および中心を示し、ｃａｌｌは、全クラスタの中心を示している。

クラスタの分散値は、全クラスタの分散値の総和Ｖａｌｌとして式１より求められ、クラスタ間の距離は、クラスタ間の評価指標Ｃｏとして式２より求められる。そして、クラスタリング結果の評価値Ｅｃは、クラスタの分散値を示す指標Ｖａｌｌおよびクラスタ間の距離を示す指標Ｅｃに基づいて、式３より求められる。なお、クラスタリング結果は、評価値Ｅｃが大きいほど良好なクラスタリングとして評価される。
Ｖａｌｌ＝Σｖｉ・・・（式１）
Ｃｏ＝Σ（ｃｉ−ｃａｌｌ）^２・・・（式２）
Ｅｃ＝Ｃｏ÷Ｖａｌｌ・・・（式３）

図７では、クラスタ数ｋ＝２およびｋ＝３のクラスタリング結果が対比して示されている。ここで、クラスタ数ｋ＝２のクラスタリング結果では、クラスタ数ｋ＝３のクラスタリングでクラスタ１および２に分類された集合要素が単一のクラスタ１´に分類されている。この場合、クラスタ数ｋ＝３のクラスタリング結果に対して、クラスタ１´に分類された集合要素同士の分散値ｖ１´が相対的に大きく、クラスタ１´とクラスタ２の距離が相対的に小さくなる。よって、クラスタ数ｋ＝２のクラスタリング結果の評価値Ｅｃ２は、クラスタ数ｋ＝３のクラスタリング結果の評価値Ｅｃ３よりも小さくなってしまう。

クラスタリング評価・選択部１０９は、クラスタリングの評価結果をクラスタリング評価保持部に供給する。クラスタリング評価結果は、クラスタ数ｋ、各クラスタの分散値、クラスタ間の距離、各クラスタ数のクラスタリング結果の評価値Ｅｃｋを関連付けたデータとなる。

なお、上記説明では、全てのフレームを対象として、各フレームの特徴量を抽出し、特徴量に基づいて各フレームをクラスタリングする場合について説明した。しかし、全てのフレームを対象とする代わりに、例えばフレーム系列から１０フレーム毎に抽出された区間フレームを対象として、各区間フレームの特徴量を抽出し、特徴量に基づいて区間フレームにより区分されたフレーム単位でクラスタリングしてもよい。

また、上記説明では、複数のフレームをクラスタ数ｋ１〜ｋｎでクラスタリングした上で、クラスタリング結果の評価値Ｅｃｋが最大となるクラスタリング結果を選択する場合について説明した。しかし、評価値の閾値を予め設定しておき、複数のフレームをクラスタ数ｋ１〜ｋｎで順次にクラスタリングしながら、クラスタリング結果の評価値Ｅｃｋを閾値と比較してもよい。この場合、クラスタリング処理は、クラスタリング結果の評価値Ｅｃｋが閾値を超えた時点で打ち切られ、閾値を超える評価値Ｅｃｋが得られたクラスタリング結果が選択されることになる。

［３−２．ダイジェスト再生に関連する処理］
次に、図８、図９、および図１０Ａ、１０Ｂを参照しながら、ダイジェスト再生に関連する処理について説明する。図８は、ダイジェスト再生に関連する処理の手順を示すフロー図である。図９は、代表フレーム区間の選択処理例を示す図である。図１０Ａ、１０Ｂは、再生モードＡ〜Ｄのダイジェスト再生処理例を示す図である。

図８に示すように、操作Ｉ／Ｆ部１１９は、不図示の再生処理メニュー等を通じて、再生モードの選択に関する操作情報をユーザから取得する（Ｓ１５１）。

制御部１２１は、選択された再生モードに応じて、ダイジェスト再生処理を行う。制御部１２１は、ステップＳ１５３の処理において、ダイジェスト再生処理が選択されると、ステップＳ１５５以降の処理でダイジェスト再生処理を行い、通常再生処理が選択されると、通常再生処理を行う。また、制御部１２１は、選択された再生モードに応じて、再生モードＡ〜Ｄでダイジェスト再生処理を行う。

ダイジェスト再生処理において、フレーム区間選択部１１１は、選択されたクラスタリング結果に基づいて、各クラスタに含まれる画像・音声フレームから、所定の基準に従って各クラスタの代表フレーム区間を選択する。フレーム区間選択部１１１は、まず、特徴量抽出結果保持部１２３から各フレームの特徴量を読出し、クラスタリング結果保持部１２５からクラスタ数ｋｏｐｔのクラスタリング結果を読出す。フレーム区間選択部１１１は、クラスタのカウンタＣｋを１〜ｋｏｐｔに順次に設定し、各クラスタに含まれる画像・音声フレームから、各クラスタの代表フレーム区間を選択する（Ｓ１５７〜Ｓ１６３）。そして、フレーム区間選択部１１１は、各クラスタの代表フレーム区間の選択結果をフレーム区間選択結果保持部１２９に供給する。フレーム区間選択結果は、クラスタ番号、各クラスタの代表フレーム区間を特定可能なフレームＩＤの組合せを関連付けたデータとなる。

図９には、代表フレーム区間の選択処理例が示されている。フレーム区間選択部１１１は、フレーム区間特徴量の評価値Ｅｆが所定の閾値Ｅｔｈを越える１以上のフレーム区間を各クラスタの代表フレーム区間として選択する。なお、図９に示す例では、クラスタｉのフレーム区間ｆ１〜ｆ７のうち、フレーム区間ｆ２〜ｆ４のフレーム区間特徴量の評価値Ｅｆが閾値Ｅｔｈを越えているので、フレーム区間ｆ２〜ｆ４がクラスタｉの代表フレーム区間として選択されている。

ここで、フレーム区間特徴量の評価値Ｅｆは、例えば、話者の音声レベル、カメラ特徴（パン、チルト、ズーム）の頻度、人物像の出現頻度等の指標に基づいて算定される。なお、カメラ特徴は、画像フレーム間における画像信号の変化から推定され、人物像の出現は、画像フレームの画像信号から検出される。フレーム区間特徴量の評価値Ｅｆは、単一の指標から求められてもよく、正規化された各指標を所定の重み付けで組合せて算定されてもよい。これにより、フレーム区間特徴量の評価値Ｅｆが所定の基準を満たす１以上のフレーム区間を、各クラスタの代表フレーム区間として適切に選択することができる。

本実施形態では、フレーム区間選択部１１１が特徴量抽出結果保持部１２３に保持されている各フレームの特徴量に基づいて、フレーム区間特徴量を算定し、１以上のフレーム区間を代表フレーム区間として選択する場合を想定している。しかし、特徴量抽出結果保持部１２３に保持されている特徴量と異なる指標を用いた特徴量に基づいて、フレーム区間特徴量を算定し、代表フレーム区間を選択する場合、不図示の第２の特徴量抽出部により各フレームまたはフレーム区間の特徴量が抽出されてもよい。

フレーム再生部１１５は、クラスタリング結果に基づいて選択された、各クラスタの代表フレーム区間に含まれる１以上のフレームをコンテンツのダイジェストとして再生する（Ｓ１６５）。フレーム再生部１１５は、フレーム区間選択結果保持部１２９からフレーム区間選択結果を読出す。フレーム再生部１１５は、フレーム区間選択結果に基づいて、代表フレーム区間に含まれる１以上のフレームに相当する画像・音声信号をフレーム記録部１１３から読出して再生処理し、再生処理結果を出力部１１７に供給する。そして、出力部１１７は、各クラスタの代表フレーム区間に含まれる１以上のフレームに相当する画像・音声情報を画像（映像）表示装置、音声出力装置等に出力する。

図１０Ａ、１０Ｂには、再生モードＡ〜Ｄのダイジェスト再生処理例が示されている。なお、図１０Ａ、１０Ｂでは、代表フレーム区間として選択されたフレーム区間にハッチングが施されている。再生モードＡが選択されると（Ｓ１５５）、フレーム再生部１１５は、図１０Ａに示すように、クラスタの順序に従って代表フレーム区間に含まれるフレームを再生する。フレーム再生部１１５は、前述したように、各クラスタの代表フレーム区間を選択し（Ｓ１５７〜Ｓ１６３）、各クラスタの代表フレーム区間に含まれるフレームをコンテンツのダイジェストとして再生する（Ｓ１６５）。図１０Ａに示す例では、フレーム再生部１１５は、クラスタ１、２、３の順序に従って、各クラスタの代表フレーム区間ｆ２、ｆ５、ｆ６、ｆ７、ｆ１２、ｆ１３に含まれるフレームを再生する。

再生モードＢが選択されると（Ｓ１６７）、フレーム再生部１１５は、図１０Ａに示すように、フレーム数ｎが相対的に多いクラスタの代表フレーム区間に含まれるフレームを優先的に再生する。フレーム再生部１１５は、クラスタリング結果保持部１２５に記録されているクラスタリング結果に基づいて、各クラスタに含まれるフレーム数ｎを特定し（Ｓ１６９）、フレーム数ｎに従って各クラスタを降順にソートする（Ｓ１７１）。そして、フレーム再生部１１５は、前述したように、各クラスタの代表フレーム区間を選択し（Ｓ１５７〜Ｓ１６３）、クラスタのソート結果に従って、各クラスタの代表フレーム区間に含まれるフレームをコンテンツのダイジェストとして再生する（Ｓ１６５）。

図１０Ａに示す例では、クラスタ１、２、３に含まれるフレーム数ｎの比が３、７、４であるので、フレーム再生部１１５は、クラスタ２、３、１の順序に従って、各クラスタの代表フレーム区間ｆ５、ｆ６、ｆ７、ｆ１２、ｆ１３、ｆ２に含まれるフレームを再生する。これにより、フレーム数ｎが相対的に多いクラスタの代表フレーム区間に含まれるフレームを優先的に再生することができる。よって、コンテンツの全体的な特徴を示すフレームを優先的に再生することができる。

再生モードＣが選択されると（Ｓ１７３）、フレーム再生部１１５は、図１０Ｂに示すように、フレーム同士の相関性Ｃｏｒが相対的に高いクラスタの代表フレーム区間に含まれるフレームを優先的に再生する。フレーム再生部１１５は、クラスタリング評価結果保持部１２７に保持されている各クラスタの分散値に基づいて、各クラスタに含まれるフレーム同士の相関性Ｃｏｒを特定し（Ｓ１７５）、フレーム同士の相関性Ｃｏｒに従って各クラスタを降順にソートする（Ｓ１７７）。そして、フレーム再生部１１５は、前述したように、各クラスタの代表フレーム区間を選択し（Ｓ１５７〜Ｓ１６３）、クラスタのソート結果に従って、各クラスタの代表フレーム区間に含まれるフレームをコンテンツのダイジェストとして再生する（Ｓ１６５）。

図１０Ｂに示す例では、クラスタ１、２、３の相関性Ｃｏｒが０．７、０．６、０．８であるので、フレーム再生部１１５は、クラスタ３、１、２の順序に従って、各クラスタの代表フレーム区間ｆ１２、ｆ１３、ｆ２、ｆ５、ｆ６、ｆ７に含まれるフレームを再生する。これにより、フレーム同士の相関性Ｃｏｒが相対的に高いクラスタの代表フレーム区間に含まれるフレームを優先的に再生することができる。よって、コンテンツの要点部分となる特徴を示すフレームを優先的に再生することができる。

再生モードＤが選択されると（Ｓ１７９）、フレーム再生部１１５は、図１０Ｂに示すように、フレーム同士の相関性Ｃｏｒが相対的に低いクラスタの代表フレーム区間に含まれるフレームを優先的に再生する。フレーム再生部１１５は、クラスタリング評価結果保持部１２７に保持されている各クラスタの分散値に基づいて、各クラスタに含まれるフレーム同士の相関性Ｃｏｒを特定し（Ｓ１８１）、フレーム同士の相関性Ｃｏｒに従って各クラスタを昇順にソートする（Ｓ１８３）。そして、フレーム再生部１１５は、前述したように、各クラスタの代表フレーム区間を選択し（Ｓ１５７〜Ｓ１６３）、クラスタのソート結果に従って、各クラスタの代表フレーム区間に含まれるフレームをコンテンツのダイジェストとして再生する（Ｓ１６５）。

図１０Ｂに示す例では、クラスタ１、２、３の相関性Ｃｏｒが０．７、０．６、０．８であるので、フレーム再生部１１５は、クラスタ２、１、３の順序に従って、各クラスタの代表フレーム区間ｆ５、ｆ６、ｆ７、ｆ２、ｆ１２、ｆ１３に含まれるフレームを再生する。これにより、フレーム同士の相関性Ｃｏｒが相対的に低いクラスタの代表フレーム区間に含まれるフレームを優先的に再生することができる。よって、コンテンツに含まれる変化の多い部分を示すフレームを優先的に再生することができる。

なお、フレーム再生部１１５は、再生モードＢおよびＣを組合せて、フレーム数ｎが相対的に多く、フレーム同士の相関性Ｃｏｒが相対的に高いクラスタの代表フレーム区間に含まれるフレームを優先的に再生してもよい。この場合、フレーム再生部１１５は、フレーム数ｎおよびフレーム同士の相関性Ｃｏｒを所定の重み付けで組合せて用いればよい。

［４．まとめ］
以上説明したように、本実施形態に係るダイジェスト再生方法によれば、ビデオレコーダ１００は、コンテンツを構成する複数のフレームを、各フレームの特徴量に基づいて、互いに異なるクラスタ数ｋでクラスタリングし、各クラスタ数ｋのクラスタリング結果を評価し、特定のクラスタ数ｋｏｐｔのクラスタリング結果を選択する。そして、ビデオレコーダ１００は、選択されたクラスタリング結果に基づいて、各クラスタの代表フレーム区間を選択し、各クラスタの代表フレーム区間に含まれる１以上のフレームをコンテンツのダイジェストとして再生する。

これにより、各クラスタ数ｋのクラスタリング結果を評価することで、複数のフレームが類似度に応じて適切に分類されているクラスタリング結果を選択することができる。よって、類似度に応じて各クラスタに適切に分類されたフレームに基づいて、コンテンツのダイジェストを効果的に再生することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１００ ビデオレコーダ
１０３ フレーム処理部
１０５ 特徴量抽出部
１０７ クラスタリング処理部
１０９ クラスタリング評価・選択部
１１１ フレーム区間選択部
１１３ フレーム記録部
１１５ フレーム再生部

Claims (8)

1. コンテンツを構成する複数のフレームからなるフレーム系列について、前記各フレームの特徴量を抽出する特徴量抽出部と、
   前記各フレームの特徴量に基づいて、互いに異なるクラスタ数で、前記複数のフレームをクラスタリングするクラスタリング処理部と、
   前記各クラスタ数のクラスタリング結果を評価し、特定のクラスタ数のクラスタリング結果を選択するクラスタリング評価・選択部と、
   前記選択されたクラスタリング結果に基づいて、前記各クラスタの代表フレーム区間を選択するフレーム区間選択部と、
   前記各クラスタの代表フレーム区間に含まれる１以上のフレームを、前記コンテンツのダイジェストとして再生するフレーム再生部と、
   を備える、ダイジェスト再生装置。
2. 前記互いに異なるクラスタ数は、前記コンテンツの区分に応じて、所定の範囲に含まれる２以上のクラスタ数として設定される、請求項１に記載のダイジェスト再生装置。
3. 前記フレーム区間選択部は、前記選択されたクラスタリング結果に基づいて、フレーム区間の特徴量の評価値が所定の基準を満たす１以上のフレーム区間を、前記各クラスタの代表フレーム区間として選択する、請求項１に記載のダイジェスト再生装置。
4. 前記フレーム再生部は、前記フレームの数が相対的に多いクラスタから相対的に少ないクラスタの順序に従って、前記各クラスタの代表フレーム区間に含まれる１以上のフレームを再生する、請求項１に記載のダイジェスト再生装置。
5. 前記フレーム再生部は、前記各クラスタに含まれる前記フレーム同士の相関性が相対的に高いクラスタから相対的に低いクラスタの順序に従って、前記各クラスタの代表フレーム区間に含まれる１以上のフレームを再生する、請求項１に記載のダイジェスト再生装置。
6. 前記フレーム再生部は、前記各クラスタに含まれる前記フレーム同士の相関性が相対的に低いクラスタから相対的に高いクラスタの順序に従って、前記各クラスタの代表フレーム区間に含まれる１以上のフレームを再生する、請求項１に記載のダイジェスト再生装置。
7. コンテンツを構成する複数のフレームからなるフレーム系列について、前記各フレームの特徴量を抽出するステップと、
   前記各フレームの特徴量に基づいて、互いに異なるクラスタ数で、前記複数のフレームをクラスタリングするステップと、
   前記各クラスタ数のクラスタリング結果を評価し、特定のクラスタ数のクラスタリング結果を選択するステップと、
   前記選択されたクラスタリング結果に基づいて、前記各クラスタの代表フレーム区間を選択するステップと、
   前記各クラスタの代表フレーム区間に含まれる１以上のフレームを、前記コンテンツのダイジェストとして再生するステップと、
   を含む、ダイジェスト再生方法。
8. コンテンツを構成する複数のフレームからなるフレーム系列について、前記各フレームの特徴量を抽出するステップと、
   前記各フレームの特徴量に基づいて、互いに異なるクラスタ数で、前記複数のフレームをクラスタリングするステップと、
   前記各クラスタ数のクラスタリング結果を評価し、特定のクラスタ数のクラスタリング結果を選択するステップと、
   前記選択されたクラスタリング結果に基づいて、前記各クラスタの代表フレーム区間を選択するステップと、
   前記各クラスタの代表フレーム区間に含まれる１以上のフレームを、前記コンテンツのダイジェストとして再生するステップと、
   を含む、ダイジェスト再生方法をコンピュータに実行させるためのプログラム。

Images