JP2013536491A - ビデオコンテンツを管理するための方法および装置 - Google Patents

Abstract

データストアの中に格納されたビデオファイルが、データストアの中のビデオファイルに関連付けられたタグに対する所与のビデオファイルの少なくとも１つの関連記述タグの意味関係を解析することによって管理される。この解析の結果が、データストアの中に格納されたビデオファイルからビデオファイルの或るセットを選択するのに使用される。その所与のビデオファイルのコンテンツが、選択されたセットのコンテンツと比較されて、コンテンツの類似度が算出される。この算出の結果が、例えば、検索クエリに応答して結果を提供する際に使用されるべき、データストアの中のビデオファイルの類似度に関する情報を更新するのに使用され得る。

Description

本発明は、ビデオコンテンツを管理するための方法および装置に関し、より詳細には、ただし、限定することなく、ユーザが、他のユーザによるアクセスのためにビデオホスティングサイトにビデオコンテンツをアップロードする状況に関する。

例えば、Ｙｏｕｔｕｂｅ、Ｇｏｏｇｌｅ Ｖｉｄｅｏ、およびＹａｈｏｏ！ Ｖｉｄｅｏなどのビデオホスティングウェブサイトにおいて、ビデオコンテンツがユーザによってそのサイトにアップロードされて、検索エンジンを介して他のユーザが利用できるようにされることが可能である。現行のウェブビデオ検索エンジンは、ユーザによって入力された特定のテキストクエリに基づく関連度スコアに応じて並べられた検索結果のリストを提供するものと考えられている。その後、ユーザは、関心対象のビデオまたは複数のビデオを見つけるのにそれらの結果を考慮しなければならない。

ユーザがビデオをホストにアップロードすること、ビデオを獲得すること、およびいくつかの変更を加えてそれらのビデオを再び配布することは容易であるので、ビデオ検索結果の中には潜在的に多数の複製の、またはほぼ複製のコンテンツが存在する。例えば、複製のビデオコンテンツは、様々なフォーマット、符号化パラメータ、色や明るさなどの光度変化、ユーザ編集、およびコンテンツ変更などを有するビデオを含み得る。このことは、ユーザによって実際に所望されるコンテンツを見つけることを困難または不便にする可能性がある。例えば、Ｙｏｕｔｕｂｅ、Ｇｏｏｇｌｅ Ｖｉｄｅｏ、およびＹａｈｏｏ！ Ｖｉｄｅｏからのクエリのサンプルに基づいて、平均で、検索結果にリストアップされる２７％を超えるほぼ複製のビデオが存在し、人気のあるビデオがそれらの結果の中で最も多く複製されていることが判明している。検索結果において複製のビデオのパーセンテージが高いことから、ユーザは、それらの複製のビデオをふるい分けて、ユーザが必要とするビデオを見つけるのに多大な時間を費やさなければならず、さらに既に閲覧したビデオの類似したコピーを繰り返し観なければならない。

ユーザがウェブサイトからビデオを検索する際、ユーザは、通常、最初のスクリーン上で示される結果に関心がある。複製の結果は、ビデオ検索、ビデオ取り出し、およびビデオブラウジングのユーザによる体験の価値を下げる。さらに、そのような複製されたビデオコンテンツは、ネットワーク全体にわたって複製されたビデオデータを格納すること、および転送することによってネットワークオーバーヘッドを増加させる。

本発明の第１の態様によれば、ビデオコンテンツを管理する方法が、所与のビデオファイルのコンテンツを記述する少なくとも１つの関連タグを有する所与のビデオファイルを取り上げることを含む。データストアの中の複数のビデオファイルに関連付けられたタグに対する、その少なくとも１つの関連タグの意味関係が解析される。この解析の結果が、複数のビデオファイルのなかからビデオファイルの或るセットを選択するのに使用される。その所与のビデオファイルのコンテンツが、選択されたセットのコンテンツと比較されて、コンテンツの類似度が算出される。この算出の結果が、データストアの中のビデオファイルの類似度に関する情報を更新するのに使用される。

タグからの意味情報を使用して、類似したコンテンツを有する可能性が高いビデオファイルを識別することによって、この方法は、その所与のビデオをセットの中に含まれるビデオと比較することによる複製検出に先立って、利用可能な総数のなかからビデオファイルの或るセットがさらなる処理のために選択されることを許す。考慮されなければならないコンテンツの量を縮小することによって、この方法は、ビデオ複製検出技術を適用することをより効率的にし、それほどリソースを多用しないようにする。

ビデオ検索結果を向上させるためにデータストアの中にビデオファイルの類似度に関する情報を保持することが特に役立つが、そうすることは、他の目的でも、例えば、アーカイブされたコンテンツを編成するためにも有利であり得る。ビデオ複製−類似度検出は、検索、トピック追跡、および著作権保護におけるそのような検出の可能性のために有用である。

これらのタグは、ユーザによって生成されることが可能である。例えば、ユーザがビデオファイルをホスティングウェブサイトにアップロードする際、ユーザは、キーワード、または他の記述子を追加するように勧められることが可能である。コンテンツが、そのコンテンツを閲覧することを所望する可能性がある他のユーザによって容易に見つけられるように、正確で、参考になるタグを使用する誘因がユーザに存在する。このタグまたは複数のタグを追加するユーザは、それでも、データストアにビデオファイルを追加した個人でなくてもよい。例えば、或る個人が、既にアーカイブされたコンテンツに索引を付けることを担当させられることが可能である。一方法において、ユーザによってタグが割り当てられる代わりに、タグを与えることに何らかの度合いの自動化が関与することが可能であるが、このことは、それほど価値のない意味情報をもたらす傾向がある可能性がある。

この方法は、所与のビデオファイルがデータストアに追加される際に適用され得る。しかし、この方法は、例えば、データストアによって保持されるビデオコンテンツの類似度に関する情報を向上させるように、データストアにそれまでに追加されたビデオコンテンツを管理するのに使用されてもよい。

一実施形態において、データストアの中に含まれるビデオファイルのいずれか１つが、所与のビデオファイルとして取り上げられて、さらにデータストアの中の類似するビデオファイルを見つけるクエリの役割をすることが可能である。

本発明の別の態様によれば、デバイスが、第１の態様による方法を実行するようにプログラミングされる、または構成される。

次に、本発明のいくつかの実施形態を、単に例として、添付の図面を参照して説明する。

本発明による実施形態を概略で示す図である。 図１の実施形態のビデオ複製検出ステップの一部を概略で示す図である。

図１を参照すると、ビデオホスティングウェブサイトが、ビデオコンテンツと、このビデオコンテンツに関連付けられたタグと、コンテンツの関係に関する情報とを保持するビデオデータベース１を含む。ユーザが新たなビデオ２をアップロードする際、ユーザは、そのビデオコンテンツにタグを割り当てることもする。タグは、ビデオファイルのコンテンツを何らかの仕方で記述するキーワードまたは用語である。タグは、ビデオコンテンツの個人的なビューを与え、さらに、このため、ビデオ意味情報の一部を与える。

第１のステップは、これらのタグを使用して、新たにアップロードされたビデオ１と意味的に互いに関係する可能性があるビデオデータベース１の中に既に含まれるビデオを選択することである。このことは、新たなビデオ２に関連付けられたタグ、ならびにデータベース１からのそれまでにアップロードされているビデオに関連付けられたタグを受け付けるタグ関係プロセッサ３によって実行される。

ユーザは、通常、複数のタグをビデオコンテンツに割り当てるので、タグの間の関係を決定する必要性が存在する。一般に、２つのタイプの関係：論理積または論理和が存在する。タグに異なる関係を適用することは、異なる結果を与える。

タグの間で論理積関係だけを適用することは、それらのタグの各タグに関連付けられたビデオが選択されることをもたらす。このことは、新たにアップロードされたビデオと実際に意味的に互いに関係するいくつかのビデオが除外されることをもたらし得る。例えば、新たにアップロードされたビデオに「スーザンボイル」および「スコットランドから」というタグが付けられており、さらに論理積関係が適用された場合、選択されたビデオは、関連タグとして「スーザンボイル」と「スコットランドから」をともに有するはずである。「スコットランドから」というタグと「スーザンボイル」というタグが一緒に出現する頻度は非常に低いので、選択されたビデオセットは、「スーザンボイル」というタグだけが付けられた多くのビデオを含まない。しかし、これらのビデオは、大抵、その新たにアップロードされたビデオと意味的に関係する。

タグの間で論理和関係だけを適用することは、必要とされるより多くのビデオが選択されることをもたらし得る。例えば、新たにアップロードされたビデオに「アップル」および「ｉｐｏｄ」というタグが付けられている場合、選択されたセットは、「ｉｐｈｏｎｅ」についてのビデオと「アップル−果物」についてのビデオをともに含み得るが、「アップル−果物」についてのビデオがその新たにアップロードされたビデオと意味的に関係する可能性は低い。

３におけるタグ関係解析において、意味情報が、複製またはほぼ複製を検出するさらなる処理のためにビデオファイルのセットの役立つ選択をもたらすのに使用される。複数のタグの間で適切な関係を導き出すのに、タグ共起情報が、データベース１にそれまでに追加されている既存のビデオファイルに関連付けられた大量のタグからの集合知に基づいて測定される。タグ共起は、意味領域におけるタグの類似度を捕捉する有用な情報を含む。複数のタグが一緒に出現する確率が高い、例えば、所与の値を超えている場合、論理積関係が、複数のタグによって取り出されたビデオを選択するのに使用される。タグ共起の確率が低く、その所与の値を下回っている場合、それらのタグに関連付けられたビデオは、タグ出現の頻度、タグの人気度、または他の適切なパラメータなどの、いくつかの基準に基づいて選択される。この選択は、考慮されるべきビデオファイルの総数を減らすことが可能である。

このため、特定の新たにアップロードされたビデオに関して、ユーザによって割り当てられた複数のタグが存在する場合、それらのタグの間の関係が、プロセッサ３によって導き出される。ビデオホスティングウェブサイトにおいてタグが付けられた大量のビデオが存在するので、既存のビデオからのそれらのタグは、タグ関係を算出するための集合知ベースを与える。

タグ共起頻度は、タグ関係の測定として計算される。タグ共起を計算するためのいくつかの方法が存在する。例えば、以下の式を使用する：

この式は、ｔａｇ_ｉがｔａｇ_ｊと一緒に出現し、さらにｔａｇ_ｉの総頻度によって正規化された頻度を示す。同様に、ｔａｇ_ｊを所与として、ｔａｇ_ｉとｔａｇ_ｊの共起の頻度が計算され得る。前述の式は、ｔａｇ_ｉとｔａｇ_ｊの間の非対称の関連度測定を与える。

タグの間の対称の関連度もまた、以下に示されるとおり、ジャカード係数を使用して測定され得る：

この係数は、２つのタグの論理和で割った、２つのタグの間の論理積の数をとる。

ビデオデータベース１に、タグ関係に基づいてクエリが行われる。例えば、新たにアップロードされたビデオに「アップル」および「ｉｐｏｄ」というタグが付けられている場合、「アップル」というタグと「ｉｐｏｄ」というタグが高い頻度で一緒に出現することは、その新たなビデオが、「果物」ではなく「電話機」と意味的に関係する可能性があることを示唆する。別の例において、新たにアップロードされたビデオに「スーザンボイル」および「スコットランドから」というタグが付けられている。両方のタグの共起の確率は極めて低い一方で、「スーザンボイル」というタグが出現する頻度は、「スコットランドから」というタグの頻度よりはるかに高いので、第１のタグが、第２のタグより重要であると考えられ、さらに第１のタグが、データベースからビデオを取り出すのに使用される。このため、タグ関係解析は、その新たなビデオと意味的に関係するビデオを選択することによって検索空間を縮小することができる。

次のステップは、ビデオ冗長性検出プロセッサ４において、その新たにアップロードされたビデオ２を選択されたビデオのセットと比較して、複製を検出することである。

この実施形態のためのビデオ複製検出手順において、プロセスは、１）ビデオをショットのセットに分割すること、２）各ショットに関して代表的なキーフレームを抽出すること、および３）ビデオ間でキーフレームの間の色特性、テクスチャ特性、および形状特性を比較することを含む。

複製検出を実行する前に、５において、３において選択されたセットに含まれるビデオの間の関係を表すビデオ関係グラフが構築される。２つのビデオがほぼ複製のシーケンスを含む場合、このグラフは、図２に示されるとおり、両方の重なり合うシーケンスを示すとともに、重なり合わないシーケンスも示す。この例には３つのビデオが存在する。ビデオ１がビデオ２と完全に重なり合い、さらにビデオ３の一部がビデオ１とビデオ２の両方と重なり合う。新たにアップロードされたビデオを同一の重なり合うビデオシーケンスと複数回、比較することを回避するのに、重なり合わないビデオシーケンスのリストが、図２に示されるグラフにおける３つのビデオから選択される。この例において、選択されたビデオシーケンスは、ビデオ１からのビデオシーケンス全体を含むとともに、ビデオ３における時刻ｔ_４からｔ_５までのビデオシーケンスも含む。この選択は、時刻ｔ_１からｔ_２までの重なり合うビデオシーケンスが、新たにアップロードされたビデオと、複数回ではなく、単一回、照合されるだけでよいことを確実にする。このステップは、複製検出のための照合空間をさらに縮小する。

これらの照合結果を使用して、新たにアップロードされたビデオ２が、ビデオ関係グラフに追加され、さらにビデオデータベースの中に含められる。その後、この新たに更新された、構築されたビデオ関係グラフが、全体的な照合空間を縮小するように将来の複製検出において使用される。

図１に示される様々な要素の機能は、「プロセッサ」というラベルの付けられた機能ブロックを含め、専用のハードウェア、ならびに適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアを使用することを介して提供されてもよい。プロセッサによって提供される場合、これらの機能は、単一の専用プロセッサによって提供されても、共有される単一のプロセッサによって提供されても、またはいくつかが共有され得る複数の個別のプロセッサによって提供されてもよい。さらに、「プロセッサ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを限定的に指すものと解釈されるべきではなく、限定なしに、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ソフトウェアを格納するための読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性ストレージを暗黙に含み得る。また、従来型、および／またはカスタムの他のハードウェアもやはり含まれ得る。

本発明は、本発明の趣旨または基本的な特徴から逸脱することなく、他の特定の形態で実施されてもよい。説明された実施形態は、すべての点で単に例示的であり、限定的ではないものと見なされるべきである。したがって、本発明の範囲は、以上の説明によってではなく、添付の特許請求の範囲によって示される。特許請求の範囲の意図、および均等性の範囲に含まれるすべての変更は、特許請求の範囲に包含されるものとする。

Claims (25)

1. ビデオコンテンツを管理する方法であって、
   所与のビデオファイルのコンテンツを説明する少なくとも１つの関連タグを有する所与のビデオファイルを取り上げること、
   データストアの中の複数のビデオファイルに関連付けられたタグに対する少なくとも１つの関連タグの意味関係を解析すること、
   解析の結果を使用して、複数のビデオファイルのなかからビデオファイルの或るセットを選択すること、
   所与のビデオファイルのコンテンツを、選択されたセットのコンテンツと比較して、コンテンツの類似度を算出すること、および
   算出の結果を使用して、データストアの中のビデオファイルの類似度に関する情報を更新することを含む、方法。
2. 意味関係が、タグ共起の確率を使用して導き出される、請求項１に記載の方法。
3. 確率が所与の値より大きい場合、セット選択を行う際に少なくとも２つのタグに論理積演算子を適用し、さらに確率が所与の値より小さい場合、他の１つまたは複数の基準を使用してセット選択を行う、請求項２に記載の方法。
4. 他の基準が、タグが出現する頻度とタグの人気度のうち少なくともいずれかを含む、請求項３に記載の方法。
5. 所与のビデオファイルが、ユーザによってデータストアに追加される、請求項１から４のいずれかに記載の方法。
6. ユーザが、所与のビデオファイルに関連付けるために少なくとも１つのタグを割り当てる、請求項５に記載の方法。
7. 検索クエリに応答して結果を提供する際にデータストアの中のビデオファイルの類似度に関する情報を使用することを含む、請求項１から６のいずれかに記載の方法。
8. 選択されたセットに含まれるビデオファイルを、選択されたセットの中のビデオファイルの重なり合うコンテンツを示すようにビデオ関係グラフにおいて並べること、およびビデオ関係グラフを使用して、所与のビデオファイルのコンテンツと選択されたセットのコンテンツの類似度を算出することを含む、請求項１から７のいずれかに記載の方法。
9. 選択されたセットに含まれるビデオファイルをビデオ関係グラフにおいて並べることに続いて、所与のビデオファイルのコンテンツが、選択されたセットの重なり合わないコンテンツと比較される、請求項８に記載の方法。
10. 所与のビデオファイルからの情報を含むようにビデオ関係グラフを更新することを含む、請求項８または９に記載の方法。
11. 式
    

    

    を使用してタグ共起の確率を計算することを含む、請求項２に記載の方法。
12. ジャカード係数
    

    

    を使用してタグ共起の確率を計算することを含む、請求項２に記載の方法。
13. 所与のビデオファイルのコンテンツを説明する少なくとも１つの関連タグを有する所与のビデオファイルを取り上げるステップと、
    データストアの中の複数のビデオファイルに関連付けられたタグに対する少なくとも１つの関連タグの意味関係を解析するステップと、
    解析の結果を使用して、複数のビデオファイルのなかからビデオファイルの或るセットを選択するステップと、
    所与のビデオファイルのコンテンツを、選択されたセットのコンテンツと比較して、コンテンツの類似度を算出するステップと、
    算出の結果を使用して、データストアの中のビデオファイルの類似度に関する情報を更新するステップとを含む方法を実行するようにプログラミングされた、または構成された、デバイス。
14. タグ共起の確率を使用して意味関係を導き出すようにプログラミングされた、または構成された、請求項１３に記載のデバイス。
15. 確率が所与の値より大きい場合、セット選択を行う際に少なくとも２つのタグに論理積演算子を適用し、さらに確率が所与の値より小さい場合、他の１つまたは複数の基準を使用してセット選択を行うようにプログラミングされた、または構成された、請求項１４に記載のデバイス。
16. 他の基準が、タグが出現する頻度とタグの人気度のうち少なくともいずれかを含む、請求項１５に記載のデバイス。
17. 所与のビデオファイルが、ユーザによってデータストアに追加される、請求項１３から１６のいずれかに記載のデバイス。
18. ユーザが、所与のビデオファイルに関連付けるために少なくとも１つのタグを割り当てる、請求項１７に記載のデバイス。
19. 検索クエリに応答して結果を提供する際にデータストアの中のビデオファイルの類似度に関する情報を使用するようにプログラミングされた、または構成された、請求項１３から１８のいずれかに記載のデバイス。
20. 選択されたセットに含まれるビデオファイルを、選択されたセットの中のビデオファイルの重なり合うコンテンツを示すようにビデオ関係グラフにおいて並べるステップと、ビデオ関係グラフを使用して、所与のビデオファイルのコンテンツと選択されたセットのコンテンツの類似度を算出するステップとを含むようにプログラミングされた、または構成された、請求項１３から１９のいずれかに記載のデバイス。
21. 選択されたセットに含まれるビデオファイルをビデオ関係グラフにおいて並べることに続いて、所与のビデオファイルのコンテンツを、選択されたセットの重なり合わないコンテンツと比較するステップを含むようにプログラミングされた、または構成された、請求項２０に記載のデバイス。
22. 所与のビデオファイルからの情報を含むようにビデオ関係グラフを更新するステップを含むようにプログラミングされた、または構成された、請求項２０または２１に記載のデバイス。
23. 式
    

    

    を使用してタグ共起の確率を計算するようにプログラミングされた、または構成された、請求項１３に記載のデバイス。
24. ジャカード係数
    

    

    を使用してタグ共起の確率を計算するようにプログラミングされた、または構成された、請求項１３に記載のデバイス。
25. 所与のビデオファイルのコンテンツを説明する少なくとも１つの関連タグを有する所与のビデオファイルを取り上げるステップと、
    データストアの中の複数のビデオファイルに関連付けられたタグに対する少なくとも１つの関連タグの意味関係を解析するステップと、
    解析の結果を使用して、複数のビデオファイルのなかからビデオファイルの或るセットを選択するステップと、
    所与のビデオファイルのコンテンツを、選択されたセットのコンテンツと比較して、コンテンツの類似度を算出するステップと、
    算出の結果を使用して、データストアの中のビデオファイルの類似度に関する情報を更新するステップとを含むビデオコンテンツを管理する方法を実行するためのマシン実行可能プログラムを格納する、データ記憶媒体。

Images