JP2012248070A5 - - Google Patents

Description

また、本技術の別の観点によれば、動画の再生中にユーザが画面内で指定した指定領域の位置及び範囲を示す領域メタデータ、及び前記指定領域が指定された動画フレームに対応する区間を示す区間メタデータを取得するステップと、同じ動画フレームに含まれる同一対象物に対して複数のユーザが指定領域を指定した場合に、複数のユーザにより指定された複数の指定領域の位置及び範囲を統計的に処理して１つの代表的な位置及び範囲を算出し、当該代表的な位置及び範囲を領域メタデータに設定するステップと、を含む、メタデータ設定方法が提供される。

また、複数の動画に関する区間メタデータを利用すると、図５に示すようなハイパーリンク型のビデオブラウジングが可能になる。ここで言うハイパーリンク型のビデオブラウジングとは、動画に登場する対象物をキー情報にして動画を切り替えながら視聴する操作手法のことを意味する。例えば、図５の例では、動画＃１の１シーンに登場する人物を選択すると、その人物が登場する動画＃２の再生が開始され、動画＃２の１シーンに登場する物品を選択すると、その物品が登場する動画＃４の再生が開始される。このように、ユーザは、動画を視聴しながら、気になる対象物を選択することで、その対象物が登場する動画を自由に切り替えて視聴することが可能になる。

［２−４：メタデータ管理システム２０の構成］
次に、図３６及び図３７を参照しながら、メタデータ管理システム２０の構成について説明する。図３６及び図３７は、メタデータ管理システム２０の構成について説明するための説明図である。

また、領域メタデータ統合部２０３は、図４０に示すように、対象領域を各座標ヒートマップで表現し、このヒートマップを信頼性分布として利用してもよい。さらに、領域メタデータ統合部２０３は、ＬＳＳの高いユーザによりラベリングされた領域メタデータを重視するようにＬＳＳに応じた重みを付けて領域メタデータを統合してもよい。また、領域メタデータ統合部２０３は、各ユーザの傾向を考慮して領域メタデータの統合処理を実行してもよい。例えば、領域メタデータ統合部２０３は、領域を小さめに設定する傾向がユーザＡにある場合、ユーザＡが設定した領域を少し大きめに修正した上で、他のユーザが設定した領域と統合するようにしてもよい。

ＴＭＳを算出した区間メタデータ統合部２０４は、ＴＭＳが所定の閾値Ｔｈ以上となる区間を対象物の出現区間に設定し、統合後の区間メタデータを生成する。なお、区間メタデータ統合部２０４は、各ユーザの傾向を区間メタデータの統合処理に反映させてもよい。例えば、ユーザＡは領域を選択するタイミングが遅れる傾向にあるとする。この場合、区間メタデータ統合部２０４は、タイミングが遅れる分の時間だけ対象物の出現開始及び出現終了タイミングを早めるようにユーザＡの区間メタデータを修正した上でＴＭＳを算出し、そのＴＭＳに基づいて統合後の区間メタデータを生成する。

一方、関連情報提示部３０６は、領域メタデータを利用し、現在表示されている画像に含まれる各対象物の関連情報を表示部３０５に表示する。例えば、図１に示すように、現在表示されている画像に人物Ａ及び人物Ｂが含まれる場合、関連情報提示部３０６は、人物Ａ及び人物Ｂの関連情報を画面上に表示する。また、図２に示すように、現在表示されている画像に物品及び場所が含まれる場合、関連情報提示部３０６は、物品及び場所の関連情報を画面上に表示する。また、関連情報提示部３０６は、図３に示すように、現在表示されている画像に出現する対象物が選択された場合に、選択された対象物の関連情報を表示するように構成されていてもよい。

［２−７：動画タイムラインメタデータのデータ構造］
次に、図５３〜図５９を参照しながら、動画タイムラインメタデータのデータ構造について説明する。図５３〜図５９は、動画タイムラインメタデータのデータ構造について説明するための説明図である。なお、動画タイムラインメタデータの構成例（対象物が顔の場合）は、図４６に示した通りである。図４６の例では、領域メタデータは顔枠の位置及び範囲を含み、区間メタデータは顔の出現区間を含み、オブジェクトメタデータは人物ＩＤ、顔プロパティ及び顔のサムネイル画像を含む。

また、図５６に示すように、分割されたボックスを連結することもできる。分割されたボックスの連結は、Ｂｏｘ Ｃｌａｓｓ ＩＤに基づいて行う。このＢｏｘ Ｃｌａｓｓ ＩＤは、ボックスを識別するために予め規定されるＩＤである。例えば、動画解析エンジンＡの解析結果を格納するＦａｃｅ ＢｏｘのＢｏｘ Ｃｌａｓｓ ＩＤが１、動画解析エンジンＢの解析結果を格納するＦａｃｅ ＢｏｘのＢｏｘ Ｃｌａｓｓ ＩＤが１０などと規定される。分割されたボックスを連結する場合、同じＢｏｘ Ｃｌａｓｓ ＩＤのボックスを検出して１つのボックスに連結する。

（１６）
動画の再生中にユーザが画面内で指定した指定領域の位置及び範囲を示す領域メタデータ、及び前記指定領域が指定された動画フレームに対応する区間を示す区間メタデータを取得するステップと、
同じ動画フレームに含まれる同一対象物に対して複数のユーザが指定領域を指定した場合に、複数のユーザにより指定された複数の指定領域の位置及び範囲を統計的に処理して１つの代表的な位置及び範囲を算出し、当該代表的な位置及び範囲を領域メタデータに設定するステップと、
を含む、
メタデータ設定方法。

Claims (17)

1. 動画の再生中にユーザが画面内で指定した指定領域を検出する指定領域検出部と、
   前記指定領域の位置及び範囲を示す領域メタデータを各動画フレームに対して設定する領域メタデータ設定部と、
   前記領域メタデータが設定された動画フレームに対応する区間を示す区間メタデータを各動画に対して設定する区間メタデータ設定部と、
   を備える、
   情報処理装置。
2. 前記動画の再生制御を実行する再生制御部と、
   隣接する動画フレームの違いを検出するフレーム変化検出部と、
   をさらに備え、
   前記再生制御部は、隣接する動画フレームの違いが小さい場合に一方の動画フレームの再生をスキップする、
   請求項１に記載の情報処理装置。
3. 各動画フレーム内で特定の対象物を含む特定領域を検出する特定領域検出部と、
   隣接する動画フレーム間で前記特定領域の変化を検出する領域変化検出部と、
   をさらに備え、
   前記再生制御部は、隣接する動画フレーム間で前記特定領域の変化が小さい場合に一方の動画フレームの再生をスキップする、
   請求項２に記載の情報処理装置。
4. ユーザ操作の遅れを検出する操作速度検出部をさらに備え、
   前記再生制御部は、ユーザ操作の遅れが検出された場合に再生速度を遅くする、
   請求項２又は３に記載の情報処理装置。
5. 前記操作速度検出部は、隣接する動画フレーム間で指定領域が移動した距離を算出し、当該距離が所定の閾値を上回る場合にユーザ操作の遅れが発生しているものとみなす、
   請求項４に記載の情報処理装置。
6. 前記領域メタデータ設定部は、ユーザ操作の遅れが検出された区間に含まれる動画フレームに設定された領域メタデータを無効にし、
   前記区間メタデータ設定部は、ユーザ操作の遅れが検出された区間において指定領域が検出されなかったものとみなして区間メタデータを更新する、
   請求項４又は５に記載の情報処理装置。
7. 処理対象の動画と同じ動画に対して他のユーザが前記領域メタデータ及び前記区間メタデータの設定作業を行った際にユーザ操作の遅れが検出された区間に関する情報を取得する他ユーザ情報取得部をさらに備え、
   前記再生制御部は、前記区間に関する情報が示す区間の再生速度を遅くする、
   請求項４又は５に記載の情報処理装置。
8. 現在再生している動画フレーム内の指定領域に含まれる対象物と同じ対象物を含む指定領域が過去の動画フレーム内に存在する場合、過去の動画フレーム内に存在する前記同じ対象物を含む指定領域の画像を表示する過去画像表示部をさらに備える、
   請求項１〜７のいずれか１項に記載の情報処理装置。
9. 各動画フレーム内で特定の対象物を含む特定領域を検出する特定領域検出部と、
   出現時間が短い特定領域及び表示面積が小さい特定領域を削除する領域削除部と、
   同じ動画フレーム内で近傍に位置する同じ種類の対象物を含む複数の特定領域が存在する場合に、当該複数の特定領域を結合する領域結合部と、
   をさらに備える、
   請求項１に記載の情報処理装置。
10. 前記特定領域に含まれる対象物の特徴量に基づいて当該特定領域をクラスタリングし、各クラスタを代表する対象物の特徴量を決定するクラスタリング部と、
    各クラスタを代表する対象物の特徴量に基づいて対象物の種類を特定し、対象物の種類毎に予め用意された識別情報を各クラスタに対応付ける領域識別部と、
    をさらに備える、
    請求項９に記載の情報処理装置。
11. 動画の再生中にユーザが画面内で指定した指定領域の位置及び範囲を示す領域メタデータ、及び前記指定領域が指定された動画フレームに対応する区間を示す区間メタデータを取得するメタデータ取得部と、
    同じ動画フレームに含まれる同一対象物に対して複数のユーザが指定領域を指定した場合に、複数のユーザにより指定された複数の指定領域の位置及び範囲を統計的に処理して１つの代表的な位置及び範囲を算出し、当該代表的な位置及び範囲を領域メタデータに設定する領域メタデータ設定部と、
    を備える、
    情報処理装置。
12. 前記指定領域の指定精度をユーザ毎に評価するスキル評価部をさらに備え、
    前記領域メタデータ設定部は、前記スキル評価部による評価が高いユーザによって指定された指定領域の位置及び範囲に大きな重みをつけ、前記スキル評価部による評価が低いユーザによって指定された指定領域の位置及び範囲に小さな重みをつけて、複数のユーザにより指定された複数の指定領域の位置及び範囲を加重平均することにより前記１つの代表的な位置及び範囲を算出する、
    請求項１１に記載の情報処理装置。
13. 同じ動画について複数のユーザが区間メタデータを設定した場合に、前記指定領域を指定したユーザの数が所定数を上回る動画フレームの再生区間を抽出し、抽出した再生区間を区間メタデータに設定する区間メタデータ設定部をさらに備える、
    請求項１２に記載の情報処理装置。
14. 動画の再生中にユーザが画面内で指定した指定領域を検出するステップと、
    前記指定領域の位置及び範囲を示す領域メタデータを各動画フレームに対して設定するステップと、
    前記領域メタデータが設定された動画フレームに対応する区間を示す区間メタデータを各動画に対して設定するステップと、
    を含む、
    メタデータ設定方法。
15. 動画の再生中にユーザが画面内で指定した指定領域を検出する指定領域検出機能と、
    前記指定領域の位置及び範囲を示す領域メタデータを各動画フレームに対して設定する領域メタデータ設定機能と、
    前記領域メタデータが設定された動画フレームに対応する区間を示す区間メタデータを各動画に対して設定する区間メタデータ設定機能と、
    をコンピュータに実現させるためのプログラム。
16. 動画の再生中にユーザが画面内で指定した指定領域の位置及び範囲を示す領域メタデータ、及び前記指定領域が指定された動画フレームに対応する区間を示す区間メタデータを取得するステップと、
    同じ動画フレームに含まれる同一対象物に対して複数のユーザが指定領域を指定した場合に、複数のユーザにより指定された複数の指定領域の位置及び範囲を統計的に処理して１つの代表的な位置及び範囲を算出し、当該代表的な位置及び範囲を領域メタデータに設定するステップと、
    を含む、
    メタデータ設定方法。
17. 動画の再生中にユーザが画面内で指定した指定領域の位置及び範囲を示す領域メタデータ、及び前記指定領域が指定された動画フレームに対応する区間を示す区間メタデータを取得するメタデータ取得機能と、
    同じ動画フレームに含まれる同一対象物に対して複数のユーザが指定領域を指定した場合に、複数のユーザにより指定された複数の指定領域の位置及び範囲を統計的に処理して１つの代表的な位置及び範囲を算出し、当該代表的な位置及び範囲を領域メタデータに設定する領域メタデータ設定機能と、
    をコンピュータに実現させるためのプログラム。

Images