JP2005203895A - データ重要度評価装置及び方法 - Google Patents

Abstract

【課題】ビデオデータなどの各セグメント毎に重要度を評価し、要約を作成してユーザに提示する。
【解決手段】データ重要度評価装置の重要度計算部１４は、連続データの各セグメント毎に重要度を仮評価して要約生成部１６に供給する。要約生成部１６は、仮評価重要度に基づき要約を生成してユーザ１０に提示する。要約に基づきユーザ１０が当該セグメントを再生した場合、再生指示情報受付部２４はユーザ１０の当該セグメントにおける再生時間を計測して当該セグメントの時間長に対する再生時間の割合を算出する。重要度計算部１４は、仮評価重要度を再生時間の割合に基づき補正して重要度を再評価する。
【選択図】図１

Description

本発明はデータ重要度評価装置及び方法に関し、特にビデオデータ等の連続データ（ストリームデータ）をセグメントに分割し、各セグメントの重要度を評価する技術に関する。

従来より、ビデオの使用、格納、アクセスを効率化すべく、ビデオのうち重要なシーンあるいはフレームを決定し、これらの重要シーンあるいはフレームをもって全体のビデオデータを要約する技術が知られている。一般的には、「カット」に対応する大きなフレーム差、あるいはショットの境界を見い出すことによりビデオデータをその構成要素のショットにセグメント化することができる。そして、あるショットがすでに出現したショットに類似している場合、重要度が低いショットとして削除され、結局、有限のショット数で全体を代表させることができる。

下記の特許文献１には、ビデオデータをフレーム毎にセグメント化し、各々のセグメント毎に重要度を計算し、当該重要度に応じて要約を作成してユーザに提示する技術が開示されている。それぞれのセグメントの重要度は、類似度に基づきクラスタ化されたセグメントの時間長、及び各セグメントの重みに基づき算出される。すなわち、各セグメントの重要度Ｉは、Ｉ＝Ｌ・ｌｏｇ（１／Ｗ）により算出される。ここで、Ｌは各セグメントの時間長、Ｗは各セグメントの重みである。重みは、各セグメントのフレームあるいはショット間の時間近接度や空間近接度、色近接度、カラーヒストグラム距離等に基づき算出される。上記の演算式は、あるセグメントが長く続き、また、稀にしか存在しない場合にその重要度が大きくなることを示す。

また、下記に示す特許文献２には、コンテンツ再生時の視聴者の早送りや一時停止、巻き戻し等の操作情報で構成される視聴者の嗜好データを入力し、この嗜好データに応じて要約情報を生成する技術が開示されている。

特開２０００−３０８００８号公報 特開２００２−２３２８２３号公報

しかしながら、特許文献１に記載された技術においては、ビデオデータ自体を解析して各セグメント毎の重要度を評価しているにとどまり、評価された重要度が真にユーザが認識する重要度と一致している保証がない問題があった。すなわち、特許文献１では、長く、稀しか出現しないセグメントは重要なセグメントであるとの前提の下に評価しており、この前提が適用されないユーザ（例えば、時間や出現頻度によらず特定の場面を重要と考えるユーザ）にとってはその重要度に必ずしも合致しない場合がある。

一方、特許文献２に記載された技術においては、ユーザの嗜好データに応じて要約を作成しているため、ある程度はユーザの重要度に一致した要約が作成されることになるが、例えば時間の長いセグメントの一部分のみについてユーザが再生操作をした場合においても、当該セグメントを重要なものと見なして要約を作成してしまう問題がある。

本発明の目的は、ビデオデータなどの連続データに対してその重要度を評価する際に、ユーザの認識する重要度、すなわちユーザの嗜好が反映された重要度を正確に評価し、これによりユーザに適した要約等を作成して提示することができる装置及び方法を提供することにある。

本発明のデータ重要度評価装置は、連続データをセグメントに分割する手段と、前記セグメント毎に重要度を仮評価する手段と、前記連続データが提供されるユーザからの操作データを入力する手段と、前記操作データに基づき前記セグメント毎の前記ユーザの再生時間を計測する手段と、前記セグメント毎の前記ユーザの再生時間に応じて仮評価された前記重要度を調整する手段とを有する。

本発明においては、所定の評価アルゴリズムに基づき、連続データを構成する各セグメント毎に重要度を仮評価する。所定の評価アルゴリズムは任意であり、各セグメントの時間長及び重みに応じて算出してもよく、あるいは所定間隔毎にフレームを抽出することで簡易に重要度を評価しても良い。任意の評価アルゴリズムにより仮評価された重要度は、要約等の編集処理に供され得る。一方、仮評価された重要度に基づき編集された連続データを提示されたユーザは、連続データの再生等の操作を入力する。ユーザによる再生操作の時間、すなわち再生時間は、重要度が仮評価されたセグメント毎に計測される。そして、セグメント毎の再生時間に応じて、仮評価された重要度が調整され再評価される。本発明では、ユーザの再生時間の長短のみに応じて重要度を調整するのではなく、当該セグメントとの関連において調整する。具体的には、当該セグメントの時間長に対する再生時間の割合あるいは比率に応じて調整する。ユーザの再生時間がある一定値であっても、時間長の長いセグメントと時間長の短いセグメントでは、当該ユーザの認識する重要度は異なる。

すなわち、たとえユーザの再生時間が短時間であっても、当該セグメントの時間長自体も短く、当該セグメントの全てのフレームを再生したような場合には、当該セグメントはユーザの興味を惹くセグメントであったことになる。本発明においては、このようにセグメント毎の再生時間に応じて重要度を調整することで、ユーザの操作データを重要度に正確に反映させ、より高精度な重要度に調整する。

本発明によれば、連続データの各セグメントに対してユーザの認識する重要度、すなわちユーザの嗜好が反映された重要度を正確に評価することができる。そして、評価された重要度に基づいて連続データを編集して要約等を作成し、ユーザに提示することも可能となる。

以下、図面に基づき本発明の実施形態について説明する。

図１には、実施形態に係るデータ評価装置の構成ブロック図が示されている。ビデオデータ等の連続データは、例えばビデオサーバなどのサーバ装置からネットワーク回線を介して供給される。連続データは、連続データ保存部２２に保存されてユーザからの操作に備えるとともに、連続データ解析部１２に供給される。

連続データ解析部１２は、連続データを複数のセグメントに分割し、さらに各セグメント毎にその時間長及び重みを算出する。連続データ解析部１２での解析結果、例えば分割されたセグメントの各セグメントにおける時間長及び重み等は重要度計算部１４に供給される。

重要度計算部１４は、連続データ解析部１２からの解析結果に基づき、各セグメント毎にその重要度を仮算出する。重要度計算部１４は、各セグメントの時間長及び重みが供給された場合、各セグメントの重みＩをＩ＝Ｌ・ｌｏｇ（１／Ｗ）等で算出する。ここで、Ｌは各セグメントの時間長、Ｗは各セグメントの重みである。重要度の仮算出は、これに限らず任意の方法あるいは任意の算出式を使用できる。各セグメント毎に算出された重要度Ｉは、要約生成部１６に供給される。

要約生成部１６は、各セグメント毎の重要度Ｉに応じて連続データの要約を作成し、コンテンツ再生部／ユーザ指示受付部１８に供給する。要約生成部１６は、例えば重要度の大きいセグメントのフレームあるいはショットに対してはフルサイズで表示し、重要度の低いセグメントのフレームあるいはショットに対してはより小さなサイズで表示する等である。重要度計算部１４において、連続データからいくつかのフレームを抽出し、これらのフレームに同程度の重要度を付与することで簡易に仮評価した場合、要約生成部１６は、１頁あるいは連続する頁に複数フレームを同一サイズで表示するように要約してもよい。このような要約は、ＤＶＤに記録された動画データを再生する際に、各シーンの代表的なショットを１画面中に複数個並べて表示する態様として周知である。

コンテンツ再生部／ユーザ指示受付部１８は、要約生成部１６から供給された要約をユーザ１０に提示する。ユーザ１０は、提示された要約を確認することで、連続データの概要を効率的に知ることができ、かつ、重要と思われるセグメントに迅速にアクセスすることができる。ユーザ１０は、提示された要約を視認し、コンテンツ再生部／ユーザ指示受付部１８に対して再生指示を行う。ユーザ１０からの再生指示を受け付けたコンテンツ再生部／ユーザ指示受付部１８は、再生指示受付部２０に供給する。

再生指示受付部２０は、ユーザ１０からの再生指示に応じて連続データ保存部２２に制御コマンドを出力し、指示されたセグメント部分を再生する。一方、再生指示受付部２０は、ユーザ１０からの再生指示を再生指示情報受付部２４にも供給する。

再生指示情報受付部２４は、ユーザ１０からの再生指示がなされたセグメント毎にその再生時間を計測し、再生指示情報として視聴パターン蓄積部２６に供給する。視聴パターン蓄積部２６は、各セグメント毎にユーザの再生時間データを蓄積し、メモリに蓄積する。蓄積データは、概念的には、各セグメント毎の再生時間のヒストグラムとして表現され得る。視聴パターン蓄積部２６は、さらに各セグメント毎の再生時間の、当該セグメント時間長に対する割合あるいは比率を算出して視聴パターンとして蓄積する。具体的には、あるセグメントの時間長をＬ、当該セグメントのユーザ再生時間をｔとした場合、当該セグメントに対する再生時間の比率ＲをＲ＝ｔ／Ｌにより算出し、各セグメント毎に登録する。この比率Ｒは、当該セグメントに対するユーザ１０の嗜好あるいは認識重要度を示すものである。すなわち、比率Ｒが大きくなるほど、当該セグメントに対するユーザの興味が強いことを示す。視聴パターン蓄積部２６で算出され蓄積された比率Ｒは、重要度計算部１４に供給される。

重要度計算部１４は、各セグメント毎に仮評価された重要度を、視聴パターン蓄積部２６からの比率Ｒに応じて調整する。たとえば、仮評価された重量度をｍとすると、Ｍ＝ｍ・Ｒにより仮評価重要度ｍを調整して重要度Ｍを算出する。調整後の重要度Ｍは要約生成部１６に供給される。要約生成部１６は、調整後の重要度Ｍに応じて要約を再作成し、コンテンツ再生部／ユーザ指示受付部１８に供給する。コンテンツ再生部／ユーザ指示受付部１８は、再調整された重要度Ｍに基づき再作成された要約をユーザ１０に再提示する。

図１に示された連続データ解析部１２や視聴パターン蓄積部２６等は、ユーザ１０の所有するユーザ端末装置内に設けられていてもよく、これらの一部のみがユーザ端末装置内に設けられ、他の機能ブロックはユーザ端末装置とは別個の装置内に設けられていてもよい。この場合、ユーザ端末装置と当該別個の装置とは通信ネットワークで互いに接続される。連続データ解析１２、重要度計算部１４、要約生成部１６、視聴パターン蓄積部２６等はプロセッサを用いてソフト的に構成してもよく、あるいは専用回路でハード的に構成してもよい。連続データ保存部２２はＨＤＤ等の大容量記憶装置を含んでいてもよく、コンテンツ再生部／ユーザ指示受付部１８はユーザ端末装置の表示装置や操作リモコン受光部等で構成されてもよい。

図２には、本実施形態に係るデータ重要度評価方法の処理フローチャートが示されている。まず、連続データ解析部１２で連続データを複数のセグメントに分割する（Ｓ１０１）。図３には、連続データを複数のセグメントに分割する概念図が示されている。ビデオデータ等の連続データ１００はショットあるいはフレーム１０２に分割される。そして、各フレーム１０２を、クラスタ化や階層ツリー等の方法により複数のセグメントＳｅｇ１、Ｓｅｇ２・・に分類する。クラスタ化は、各フレームに共通する属性あるいは合致基準を用いて行われ、合致基準は時間の近接度や空間の近接度、色の近接度、最小距離、カラーヒストグラム距離等を用いて行われる。

連続データを複数のセグメントに分割した後、重要度計算部１４にて各セグメントの重要度を仮算出する（Ｓ１０２）。重要度は上述したようにＩ＝Ｌ・ｌｏｇ（１／Ｗ）により算出する他、任意の時間間隔で抽出したフレームに対して重要度を１、その他のフレームには重要度０を付すことで簡易に仮算出してもよい。あるいは特定の色データのみを有するフレームに重要度１、その他のフレームに重要度０を付す等でもよい。本実施形態における評価方法は、Ｓ１０２における特定の重要度仮評価アルゴリズムに依存するものではなく、任意の評価アルゴリズムを用いることが可能である。図４には、各セグメント毎に仮算出された重要度の一例がヒストグラムとして示されている。図において、横軸はセグメント番号を示し、縦軸は重要度の指数であるスコアを示す。スコアが高いほど重要度は大きくなる。

各セグメントの重要度を仮算出した後、要約生成部１６にて重要度に応じた要約を作成する（Ｓ１０３）。要約作成アルゴリズムも任意であり、その一例は所定のしきい値以上の重要度を有するセグメントのみを抽出し、かつ、抽出されたセグメントに対してその重要度の大小に応じたサイズで当該セグメントに属するショットあるいはフレームを表示するものである。図５には、要約の一例が示されている。この場合、３つのセグメントＳｅｇ１、Ｓｅｇ５、Ｓｅｇ９が比較的重要度が大きく（所定のしきい値よりもその重要度が大きい）、これらのセグメントの中でＳｅｇ１が最も重要度が大きく、Ｓｅｇ５並びにＳｅｇ９が同程度の重要度を有する場合である。Ｓｅｇ１が最も大きなサイズで表示され、Ｓｅｇ５及びＳｅｇ９が同程度のサイズで表示される。重要度がしきい値より小さいセグメントは要約に出現しないが、要約に出現するセグメント数を所定数とするためにしきい値を増減調整してもよい。しきい値を下げるほど要約に出現するセグメント数は増大し、表示されるショットあるいはフレーム数が増大する。作成された要約は画面上に表示される等してユーザ１０に提示される。Ｓ１０１〜Ｓ１０３の処理は、ユーザ１０からの指示によらずに自動的に実行してもよく、あるいはユーザ１０からの指示に応じて実行してもよい。

以上のようにして、仮評価された重要度に応じて要約を作成し、ユーザ１０に提示した後、ユーザ１０からの再生指示を受け付ける（Ｓ１０４）。ユーザからの再生指示に基づき、連続データ保存部２２から該当するセグメントのデータを取り出し、コンテンツ再生部１８からユーザ１０に提示する。例えば、ユーザがＳｅｇ１を指定して再生指示を入力した場合、連続データ保存部２２からＳｅｇ１に属するフレームデータ及び後続のフレームデータを順次取り出して再生する。一方、ユーザ１０からの再生指示は再生指示情報受付部２４にも供給され、再生指示情報受付部２４はユーザ１０の指定したセグメントにおけるユーザの再生時間を計測する（Ｓ１０５）。再生時間は、具体的にはユーザが再生指示を入力してから再生中止（停止）指示を入力するまでの時間である。一時停止指示を再生中止指示に含めてもよい。ユーザが再生した当該セグメントのフレーム数を計測してもよく、再生時間と再生フレーム数は等価である。Ｓｅｇ１の時間長が２分、それに続くＳｅｇ２の時間長が５分であり、ユーザがＳｅｇ１を再生指示してから３分後に再生停止を指示した場合、Ｓｅｇ１の再生時間は２分間、Ｓｅｇ２の再生時間は１分間ということになる。

再生時間を計測した後、視聴パターン蓄積部２６は当該セグメントに対する再生時間の割合あるいは比率を算出する（Ｓ１０６）。上述の例では、Ｓｅｇ１の割合あるいは比率Ｒ１はＲ１＝２分／２分＝１．０であり、Ｓｅｇ２の割合あるいは比率Ｒ２はＲ２＝１分／５分＝０．２と算出される。算出された割合あるいは比率は重要度計算部１４に供給され、重要度計算部１４は再生割合あるいは比率に応じてＳ１００にて仮評価された当該セグメントの重要度を調整する（Ｓ１０７）。例えば、Ｓｅｇ１の仮評価重要度（スコア）が０．５であり、比率Ｒ１が１．０である場合には調整後のスコアは０．５×１＝０．５に調整される。また、Ｓｅｇ２の仮評価重要度（スコア）が０．３であり、比率Ｒ２が０．２である場合には調整後のスコアは０．３×０．２＝０．０６に調整される。当該セグメントの再生割合あるいは比率は、仮評価重要度の調整係数として機能すると云うこともできる。比率Ｒに対してある係数αを乗じ、このα・Ｒに応じて仮評価重要度（スコア）を調整してもよい。α＞１とすることで、当該セグメントの全てのフレームをユーザが再生した場合に、当該セグメントの仮評価重要度が増大することになる。

図６には、調整された重要度（スコア）の一例がヒストグラムとして示されている。図において、破線２００は仮評価の重要度を示し、実線３００は調整後の重要度を示している。例えば、セグメント１０は仮評価時に比べて調整後の重要度は小さくなり、セグメント１５は仮評価時の重要度に比べて調整後の重要度が著しく増大している。これは、セグメント１０のユーザ再生時間はセグメント１０の時間長に比して短く、一方、セグメント１５のユーザ再生時間はセグメント１５の時間長に比して長かったことを意味する。

セグメントの再生割合あるいは比率に応じて重要度を調整した後、要約作成部１６は調整後の重要度に応じて要約を再作成する（Ｓ１０８）。図７には、再作成された要約の一例が示されている。図５に示された要約に対応するものである。図５においては、Ｓｅｇ１のサイズが大きく、Ｓｅｇ５及びＳｅｇ９が同程度のサイズで表示されているが、図７においてはＳｅｇ１及びＳｅｇ５が同程度のサイズで表示され、Ｓｅｇ９が最大のサイズで表示されている。Ｓｅｇ９に対するユーザ１０の再生割合が増大するほど、要約におけるＳｅｇ９の占有面積は増大することが理解されよう。

なお、ユーザ１０が特定のセグメントのみを複数回繰り返し再生した場合、他のセグメントの重要度が相対的に順次小さくなっていくため要約から除外されることになるが、要約としての体裁を確保すべく、Ｓ１０７での調整は一定の回数（例えば２回まで）に制限してもよい。

このように、本実施形態においては仮評価された重要度を当該セグメントの時間長に対するユーザの再生時間の割合あるいは比率に応じて調整することにより、ユーザの嗜好に合致した重要度を得ることができ、これによりユーザの嗜好に合致した要約を作成してユーザに提供することができる。

なお、本実施形態においては一人のユーザ１０を対象にして当該ユーザ１０の再生時間に応じて重要度を調整しているが、ユーザ１０が複数存在する場合には、各ユーザ毎に上述した処理を行うことが好適である。具体的には、ユーザＡ、Ｂが存在する場合、ユーザＡが指定した当該セグメントの再生時間及びユーザＢが指定した当該セグメントの再生時間をそれぞれ計測してその割合を算出し、ユーザＡの割合に応じて仮評価重要度を調整するとともに、ユーザＢの割合に応じて仮評価重要度を調整する。要約作成部１６は、ユーザ毎に算出された割合に応じて仮評価重要度を調整し、ユーザ毎に要約を作成して提示する。

図８には、ユーザＡ用に作成された要約、及びユーザＢ用に作成された要約が例示されている。ユーザＡ及びユーザＢは互いに嗜好が異なるため各セグメントの再生時間の割合、すなわち調整係数が異なるため、仮評価重要度が同一であっても再作成された要約は互いに異なることになる。

ユーザ１０が複数の個人からなる複数のグループで構成される場合、各グループ毎に再生時間の割合、すなわち調整係数を算出して仮評価重要度を調整してもよい。この場合、各グループ毎に図８に示されるような要約が作成され、各グループに属する個人に提示されることになる。

本実施形態では、ビデオサーバからビデオストリームを配信する場合について例示しているが、本発明は任意の連続データに適用することができる。

実施形態に係るデータ重要度評価装置の構成ブロック図である。 実施形態のデータ重要度評価方法の処理フローチャートである。 連続データのセグメント化説明図である。 各セグメントの仮評価重要度を示すヒストグラムである。 連続データの要約説明図である。 仮評価重要度及び調整後の重要度を示すヒストグラムである。 調整後の要約説明図である。 ユーザＡ、Ｂ用に作成された要約説明図である。

符号の説明

１０ ユーザ、１２ 連続データ解析部、１４ 重要度計算部、１６ 要約生成部、１８ コンテンツ再生部／ユーザ指示受付部、２０ 再生指示受付部、２２ 連続データ保存部、２４ 再生指示情報受付部、２６ 視聴パターン蓄積部。

Claims (5)

1. 連続データの重要度を評価する装置であって、
   前記連続データをセグメントに分割する手段と、
   前記セグメント毎に重要度を仮評価する手段と、
   前記連続データが提供されるユーザからの操作データを入力する手段と、
   前記操作データに基づき、前記セグメント毎の前記ユーザの再生時間を計測する手段と、 前記セグメント毎の前記ユーザの再生時間に応じて、仮評価された前記重要度を調整する手段と、
   を有することを特徴とするデータ重要度評価装置。
2. 請求項１記載の装置において、
   前記調整する手段は、前記セグメントの時間長に対する前記再生時間の割合に応じて、仮評価された前記重要度を調整する
   ことを特徴とするデータ重要度評価装置。
3. 請求項１、２のいずれかに記載の装置において、
   前記調整する手段は、ユーザ毎に仮評価された前記重要度を調整する
   ことを特徴とするデータ重要度評価装置。
4. 請求項１〜３のいずれかに記載の装置において、さらに、
   前記調整する手段により調整された重要度に応じて、前記連続データの要約を作成する手段
   を有することを特徴とするデータ重要度評価装置。
5. 連続データをセグメントに分割するステップと、
   前記セグメント毎に、そのセグメントの時間長、あるいはそのセグメントの出現頻度の少なくともいずれかに基づき重要度を仮評価するステップと、
   前記重要度に応じて前記連続データの要約を作成してユーザに提示するステップと、
   を有し、さらに、
   前記セグメント毎の前記ユーザの再生時間を計測するステップと、
   前記セグメントの時間長に対する前記再生時間の比率を算出するステップと、
   仮評価された前記重要度を前記比率に応じて補正するステップと、
   を有することを特徴とするデータ重要度評価方法。

Images