JP2017528016A5 - - Google Patents

Claims (10)

1. ビデオファイルをデコードして、ビデオフレーム及び該ビデオフレームに関連付けられたオーディオデータのうち少なくとも１つを取得することと、
   前記ビデオフレーム及び前記ビデオフレームに関連付けられた前記オーディオデータのうち前記少なくとも１つの、１つ以上の特徴を、局所的ルール及び大局的ルールのうち少なくとも１つに基づいて解析して、前記ビデオフレームの１つ以上の特徴スコアを取得することであって、前記１つ以上の特徴は、前記ビデオフレーム内の人間の顔の動き又は位置に関連する少なくとも１つの特徴を含む、ことと、
   前記ビデオフレームの前記１つ以上の特徴スコアを組み合わせて、前記ビデオフレームのフレーム重要度スコアを導出することと、
   前記ビデオファイルを、前記ビデオフレームの前記フレーム重要度スコアと前記ビデオファイルのさらなるビデオフレームの他フレーム重要度スコアとに少なくとも基づいて、異なるセクション重要度値のビデオセクションに区分することと、
   を含む動作をプロセッサに実行させるプログラム。
2. 前記動作は、前記セクション重要度値に従って前記ビデオセクションをランク付けすること、をさらに含む、請求項１に記載のプログラム。
3. 前記動作は、
   前記ビデオファイル内のすべてのビデオフレームの前記フレーム重要度スコアに少なくとも基づいて前記ビデオファイルのビデオ重要度値を算出することと、
   前記ビデオファイルの前記ビデオ重要度値とさらなるビデオファイルの他ビデオ重要度値とに少なくとも基づいて、前記さらなるビデオファイルに対して前記ビデオファイルをランク付けすることと、
   をさらに含む、請求項１に記載のプログラム。
4. 前記解析することは、
   前記ビデオフレームに対して顔検出を実行して１つ以上の人間の顔を検出することと、
   顔追跡を実行して前記１つ以上の人間の顔を追跡することと、
   前記ビデオフレーム内の少なくとも１つの人間の顔の顔サイズ、顔位置、又は１つ以上の顔面特徴に少なくとも基づいて、前記ビデオフレームに否定的スコアバイアス又は肯定的スコアバイアスを割り当てることであって、前記１つ以上の顔面特徴は、前記少なくとも１つの人間の顔内の笑み及び開いた目のうち少なくとも１つの、欠如又は存在を含む、ことと、
   前記１つ以上の人間の顔のうち少なくとも１つの人間の顔に対して、顔認識及び顔グループ化のうち少なくとも１つを実行することと、
   顔認識データ及び顔グループ化データのうち少なくとも１つに少なくとも基づいて１以上の主要人物を識別することと、
   前記ビデオフレーム内における主要人物の存在に対して、前記ビデオフレームにさらなる肯定的スコアバイアスを割り当てることと、
   前記否定的スコアバイアスと前記肯定的スコアバイアスとについて考慮する前記ビデオフレームの顔重要度スコアを計算することと、
   を含む、請求項１に記載のプログラム。
5. ビデオファイルをデコードして、ビデオフレーム及び該ビデオフレームに関連付けられたオーディオデータのうち少なくとも１つを取得することと、
   前記ビデオフレーム及び前記ビデオフレームに関連付けられた前記オーディオデータのうち少なくとも１つの、１つ以上の特徴を、局所的ルール及び大局的ルールのうち少なくとも１つに基づいて解析して、前記ビデオフレームの１つ以上の特徴スコアを取得することと、
   前記ビデオフレームの前記１つ以上の特徴スコアを組み合わせて、前記ビデオフレームのフレーム重要度スコアを導出することと、
   前記ビデオファイルのビデオ重要度値を、前記ビデオフレームの前記フレーム重要度スコアと前記ビデオファイルのさらなるビデオフレームの他フレーム重要度スコアとに少なくとも基づいて算出することと、
   前記ビデオファイルを、前記ビデオファイル内の複数のビデオフレームに関連付けられた、前記ビデオファイル内の複数のビデオフレームの前記フレーム重要度スコアに少なくとも基づいて、異なるセクション重要度のビデオセクションに区分することと、
   前記ビデオファイルの前記ビデオ重要度値とさらなるビデオファイルの他ビデオ重要度値とに少なくとも基づいて、前記さらなるビデオファイルに対して前記ビデオファイルをランク付けすることと、
   を含む、コンピュータにより実施される方法。
6. 前記ビデオファイルを区分することは、
   前記ビデオファイルの前記ビデオフレーム内の特徴点を、前記ビデオフレームの複数のダウンサンプリングされた画像間における共通点を検出することによって、検出することと、
   前記ビデオフレーム内の前記特徴点を、前記ビデオファイルの前のビデオフレーム内の特徴点のさらなるセットに対してマッチさせることと、
   前記ビデオフレーム間における前記特徴点の動きを説明するホモグラフィ変換マトリクスを算出することと、
   前記ホモグラフィ変換マトリクスから前記ビデオフレームのモーションデータを計算することであって、前記モーションデータは、前記特徴点の動きのズーミング及び垂直並進成分の大きさ及び方向を含む、ことと、
   前記ビデオフレームの前記モーションデータを、前記ビデオファイル内の１つ以上の残りのフレームのモーションデータと組み合わせることと、
   前記ビデオファイル内の前記ビデオフレームの前記モーションデータの移動平均を算出することと、
   ゼロ交差ゾーンを確認して、前記移動平均に少なくとも基づいて前記モーションデータの局所的ピーク及び谷情報を見つけることと、
   前記ビデオファイルのビデオセクションを、前記モーションデータの前記局所的ピーク及び前記谷情報に少なくとも基づいて決定することと、
   を含む、請求項５に記載のコンピュータにより実施される方法。
7. 前記解析することは、
   ビデオフレームに対して顔検出を実行して１つ以上の人間の顔を検出することと、
   顔追跡を実行して前記１つ以上の人間の顔を追跡することと、
   前記ビデオフレーム内の少なくとも１つの人間の顔の顔サイズ、顔位置、又は１つ以上の顔面特徴に少なくとも基づいて、前記ビデオフレームに否定的スコアバイアス又は肯定的スコアバイアスを割り当てることであって、前記１つ以上の顔面特徴は、前記少なくとも１つの人間の顔内の笑み及び開いた目のうち少なくとも１つの、欠如又は存在を含む、ことと、
   前記１つ以上の人間の顔のうち少なくとも１つの人間の顔に対して、顔認識及び顔グループ化のうち少なくとも１つを実行することと、
   顔認識データ及び顔グループ化データのうち少なくとも１つに少なくとも基づいて１以上の主要人物を識別することと、
   前記ビデオフレーム内における主要人物の存在に対して、前記ビデオフレームに肯定的スコアバイアスを割り当てることと、
   前記否定的スコアバイアスと前記肯定的スコアバイアスとについて考慮する前記ビデオフレームの顔重要度スコアを計算することと、
   を含む、請求項５に記載のコンピュータにより実施される方法。
8. システムであって、
   １つ以上のプロセッサと、
   複数の動作を実行するように前記１つ以上のプロセッサにより実行可能である複数のコンピュータ実行可能コンポーネントを含むメモリと、
   を含み、前記複数の動作は、
   ビデオファイルをデコードして、ビデオフレーム及び該ビデオフレームに関連付けられたオーディオデータのうち少なくとも１つを取得することと、
   前記ビデオフレーム及び前記ビデオフレームに関連付けられた前記オーディオデータのうち前記少なくとも１つの、１つ以上の特徴を、局所的ルール及び大局的ルールのうち少なくとも１つに基づいて解析して、前記ビデオフレームの１つ以上の特徴スコアを取得することであって、前記局所的ルールは、前記ビデオフレームの特徴重要度の割り当てに影響し、前記大局的ルールは、前記ビデオフレームを含む前記ビデオファイル内の複数のビデオフレームの特徴重要度の割り当てに影響する、ことと、
   前記ビデオフレームの前記１つ以上の特徴スコアを組み合わせて、前記ビデオフレームのフレーム重要度スコアを導出することと、
   前記ビデオファイルを、前記ビデオファイル内の複数のビデオフレームに関連付けられた、前記ビデオファイル内の複数のビデオフレームの前記フレーム重要度スコアに少なくとも基づいて、異なるセクション重要度のビデオセクションに区分することと、
   前記ビデオフレームと前記ビデオファイル内のさらなるビデオフレームとの前記フレーム重要度スコアに少なくとも基づいて算出された、前記ビデオセクションのセクション重要度値に従って、前記ビデオセクションをランク付けすることと、
   を含む、システム。
9. 前記複数の動作は、
   前記ビデオファイル内の前記複数のビデオフレームの前記フレーム重要度スコアに少なくとも基づいて、前記ビデオファイルのビデオ重要度値を算出することと、
   前記ビデオファイルの前記ビデオ重要度値とさらなるビデオファイルの他ビデオ重要度値とに少なくとも基づいて、前記さらなるビデオファイルに対して前記ビデオファイルをランク付けすることと、
   をさらに含む、請求項８に記載のシステム。
10. 請求項１乃至４いずれか一項に記載のプログラムを記憶している記憶媒体。