JP2013539255A

JP2013539255A - 映像の代表画像の決定

Info

Publication number: JP2013539255A
Application number: JP2013521264A
Authority: JP
Inventors: アンドレペテルス，マルク
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2010-07-26
Filing date: 2011-07-21
Publication date: 2013-10-17
Anticipated expiration: 2031-07-21
Also published as: WO2012014129A3; EP2599083B1; EP2599083A2; US9135509B2; CN103003880B; RU2591656C2; WO2012014129A2; RU2013108227A; JP5746765B2; KR20130036765A; CN103003880A; US20130121586A1

Abstract

ビデオは少なくとも１つのショットSHを含み、ショットは特定の位置から見たシーンを表す画像の系列である。ショットを通して一様に分散される選択された画像の連続的な系列を取得するように、画像はショットから選択される。予め定義された類似性のテストに適合する選択された画像の少なくとも１つの連続的なサブ系列SB1，SB2及びSB3が識別される。予め定義された類似性のテストに適合する選択された画像の最長の連続的なサブ系列SB2と時間的に一致するショットの連続する部分SPから画像が選択される。選択された画像は、ショットの代表画像を構成する。

Description

本発明は、ある映像における少なくとも１つのショットの代表画像を決定する方法に関する。本方法は、例えば映画、ブロードキャストビデオ記録、又はパーソナルビデオ記録のような比較的大型のビデオエンティティで特定の映像部分を発見することにおいてユーザを支援するために使用される。
本発明の他の態様は、映像をブラウジングする方法、映像の集合において映像をサーチする方法、ビデオプロセッサ、記録媒体及びコンピュータプログラムに関する。

ある映像の代表的な画像を決定することは、様々な目的に役立つ。例えば代表画像は、関心のある特定部分を発見するように、ある映像をブラウジングすることにおいてユーザを支援する。例えば関心のある部分は、特定のイベントに関し、この特定のイベントは、ユーザが家族又は友人に見せるのを望むイベントである。別の例として、関心のある部分は、ユーザが映像を視聴することから中断されたポイントに対応する。映像のそれぞれの部分の概観は、それぞれの部分のそれぞれの代表的な画像を含む。係る視覚に基づく概観は、一般に、関心のある特定部分をユーザが便利に発見するのを可能にする。代表的な画像は、映像の集合において特定の映像を発見することにおいてユーザを支援する。ある映像の代表画像を決定する様々な技術が提案されている。これらの技術のなかには、代表画像を構成する比較的な多くのアクションを含む場面から画像を選択する。

Image Processing（ICIP’98）の国際会議，Volume1，1998，pp.866の会報で公表されたZhuang Y等による“Adaptive Key Fame Extraction Using Unsupervised Clustering”と題された文献は、教師なしクラスタリング（unsupervised clustering）に基づくキーフレームの抽出のアルゴリズムを記載している。Ｎを整数として、Ｎ個のフレームを含むビデオショットは、ショット境界検出アルゴリズムから得られる。ビデオショットのＮ個のフレームは、Ｍを整数としてＭ個のクラスタに分類される。それぞれのクラスタは、新たな画像がクラスタに加わるときに計算し直される必要がある重心を有する。考慮中のフレームについて、類似性の速度は、そのフレームとそれぞれのクラスタの重心との間で計算される。新たなクラスタは、そのフレームについてこの用に計算された全ての類似性の速度がある閾値を下回る場合に、考慮中のフレームについて作成される。さもなければ、考慮中のフレームは、既に存在するクラスタ、類似性の速度が最も高い値を有するクラスタに割り当てられる。閾値のパラメータが高くなると、取得されることとなるクラスタの数Ｍが多くなる。ひとたびクラスタが形成されると、クラスタの平均サイズである、Ｎ／Ｍよりも大きいサイズを有するそれぞれのクラスタから、キーフレームが抽出される。あるクラスタのキーフレームは、クラスタの重心に最も近いフレームである。

比較的高速及び効果的なやり方で映像の代表画像を決定するのを可能にするソリューションが必要とされている。

本発明の態様によれば、映像における少なくとも１つのショットの代表画像を決定する方法が提供され、あるショットは、特定の位置から見たあるシーンを表す画像の連続的な系列である。本方法は、あるショットを通して一様に分散される連続的な選択された画像の系列を得るように、前記ショットから画像が選択されるショットサンプリングステップ、予め定義された類似性のテストに適合する選択された画像の少なくとも１つの連続的なサブ系列が識別される、安定なショット部分の識別ステップ、予め定義された類似性のテストに適合する最長の連続する選択された画像のサブ系列と時間的に一致するショットの連続的な部分から画像が選択される、代表画像の指定ステップ。

これに応じて、画像のコンテンツの観点で比較的安定であるショットの最長の連続する部分が代表画像を与える。代表画像は、従って比較的長い視聴時間を有するコンテンツの一部から効果的に取得される。結果として、ユーザが代表画像をショットと関連付けする比較的高い可能性が存在する。さらには、代表画像は、代表画像が取得されるショットの一部の安定さのため、比較的良好な品質となる。

本発明の別の利点は、以下の態様に関する。本発明に係る代表画像の決定は、比較的少ない画像の比較で達成される。例えば、その画像をもう１つの画像のみと比較することで、考慮中の画像の類似性のテストが実行される。これは、上述された文献で記載されるアルゴリズムとは対照的であり、上記文献のアルゴリズムは、それぞれのクラスタについて画像の比較及び更にはクラスタの重心の計算し直しを必要とする。画像の比較は、一般に計算が集中し、従って比較的遅い。従って、本発明は、そのようにすることに係わる画像の比較の低減された数のおかげで、代表画像が比較的高速に決定されるのを可能にする。

本発明の実現は、個別のパラグラフで記載される、以下の更なる特徴の１以上を有効にも含む。これらの更なる特徴は、比較的高速及び効果的なやり方で、ある映像の代表画像を決定することにそれぞれ寄与する。

安定なショット部分の識別ステップでは、以下の一連のステップがそれぞれの選択された画像について有利にも実行される。選択された画像の少なくとも１つの画像の特性（image property）が、選択された画像の差の測度を決定するように、予め定義されたスキームに従って別の選択された画像の特性と比較される差の測度を決定するステップ。選択された画像が、選択された画像の差の測度がある閾値を下回るか否かに依存して、類似度のテストに適合する連続する選択された画像のサブ系列に属するか、属さないとして分類される差の測度を評価するステップ。

予め定義されたスキームは、選択された画像が直接に隣接する選択された画像と比較されることを定義する。

予め定義されたスキームは、直前に先行する選択された画像が類似性のテストに適合する連続する選択された画像のサブ系列に属する場合に、選択された画像はこの連続する選択された画像のサブ系列を開始する選択された画像と比較されることを定義する。係るスキームは、画像のコンテンツが連続するサブ系列を通して緩やかにではあるが、確実に変化する意味で、連続するサブ系列における画像のコンテンツの緩やかな「ドリフト」を回避するのを可能にする。係る緩やかなドリフトは、予め定義されたスキームが、選択された画像が直接に隣接している選択された画像のみと比較されることを提供するときに生じる場合がある。

差の測度を決定するステップにおいて、それぞれの画像の特性の差は、差のメトリックに有利にも結合され、差のメトリックは、差の測度を構成し、それぞれの画像の特性の差は、選択された画像のそれぞれの画像の特性を、少なくとも１つの他の選択された画像の特性と比較することで得られる。

ショットサンプリングステップでは、１つの画像は、Ｎを１よりも大きい整数として、それぞれ一連のＮ個の連続する画像のうちから選択される。この更なる特徴をもつ実現において、あるショットの全ての画像が選択されるものよりも計算上の労力が少ない。実際に、Ｎはサブサンプリングファクタを表す。Ｎが大きくなると、計算上の労力が少なくなる。しかし、Ｎが大きくなると、あるショットにおける最長の安定な部分が識別される精度が低くなる。これら２つの態様間の適切なトレードオフを発見することができる。

代表画像を指定するステップでは、代表画像について長さの指示が有利にも提供され、長さの指示は、代表画像が選択されるショットの連続する部分によりカバーされる時間間隔を表す。

本方法は、あるショットが、そのショットと比較したときに、ショットの類似性のテストに適合する少なくとも１つの他のショットに関連されるショットの関連付けステップ。ショットの代表画像の長さの指示が、ショットに関連されているそれぞれの他のショットのそえぞれの代表画像のそれぞれの長さの指示を加えることでアップグレードされる長さの指示をアップグレードするステップ。これらの更なる特性は、ある映像で２以上の代替の一連の類似のショットが生じるときに、代表画像を決定するために使用される。例えば、ビデオ部分が、２人の人物Ａ，Ｂの間の会話を表す場合があり、それによって、誰が話しているかに依存して、人物Ａのショットと人物Ｂのショットが交互に生じる。実際に、ビデオ部分は、人物Ａの単一ショットと人物Ｂの単一ショットとを含むことが考慮され、人物Ａの単一ショットと人物Ｂの単一ショットは、数回にわたり交換される。

本発明の別の態様によれば、ある映像をブラウジングする方法は、映像に含まれるそれぞれのショットについて決定されているそれぞれの代表画像、及びそれぞれの代表画像のそれぞれの長さの指示を利用する。本方法は、映像におけるそれぞれのセクションが定義され、それにより後続のステップが映像におけるそれぞれのセクションについて実行されるセクションを定義するステップ。あるセクションにおけるそれぞれのショットのそれぞれの代表画像のそれぞれの長さの指示が比較され、それによりそのセクションの代表画像を構成するように、最長の長さの指示を有する代表画像が選択される代表画像を選択するステップ。

本方法は、映像におけるそれぞれのセクションのそれぞれの代表画像を含むナビゲーションスクリーンが生成され、それによりそれぞれの代表画像がそれぞれのセクションに関連するそれぞれの選択可能な領域に含まれるナビゲーションイネーブルステップを有利にも含む。

本発明の更に別の態様によれば、ある映像の代表画像を決定する方法は、映像に含まれるそれぞれのショットについて決定されたそれぞれの代表画像と、それぞれの代表画像のそれぞれの長さの指示とを利用する。本方法は、それぞれの代表画像のそれぞれの長さの指示が比較され、それにより映像の代表画像を構成するように最長の長さの指示を有する代表画像が選択される代表画像の選択ステップ。

本発明の更に別の態様によれば、映像の集合においてある映像をサーチする方法は、その集合におけるそれぞれの映像について選択されているそれぞれの代表画像を利用する。サーチ基準に適合するその集合におけるそれぞれの映像が識別されるサーチステップ。サーチ基準に適合するそれぞれの映像のうち、それぞれの代表画像が画像の類似性のテストに適合するそれぞれの映像が識別されるサーチ結果の処理ステップ。画像の類似性のテストに適合するそれぞれの代表画像が単一のサーチ結果アイテムとして一緒に示される。

添付図面を参照して、詳細な説明は、更なる特性と同様に先に概説された本発明を例示するものである。
ある映像に含まれるそれぞれショットのそれぞれの代表画像を決定可能アビデオプロセッサを例示する機能ブロック図である。ビデオプロセッサが実行する様々な動作を例示する概念図である。ビデオプロセッサの一部を形成する、安定なショット部分を識別するモジュールを例示する機能ダイアグラムである。安定なショット部分を識別するモジュールが実行する様々な動作を例示する概念図である。ビデオプロセッサが生成した結果を使用する、ビデオブラウザを例示する機能ダイアグラムである。代表画像を選択するモジュールが実行する様々な動作を例示する概念図である。それぞれのセクションのそれぞれの代表画像を含むナビゲーションスクリーンを例示する概念図である。代表画像を選択するモジュールが生成した結果を使用する、ビデオサーチエンジンを例示する機能ダイアグラムである。

図１は、ビデオプロセッサＶＰＲを機能的に例示する。ビデオプロセッサＶＰＲは、様々な機能モジュールである、ショットの検出モジュールＳＨＤ、ショットサンプリングモジュールＳＨＳ、安定なショット部分を識別するモジュールＳＰＩ、及び代表画像を指定するモジュールＲＩＤを含む。ビデオプロセッサＶＰＲは、データストレージアレンジメントＤＳＡに結合されており、ＤＳＡでは、映像ＶＤが少なくとも部分的且つ一時的に記憶される。映像処理の結果は、図１に例示されるように、映像ＶＤと関連してデータストレージアレンジメントＤＳＡに記憶される。ビデオプロセッサＶＰＲは、例えばビデオサーバ、パーソナルマルチメディア装置又はパーソナル通信装置の一部を形成する場合がある。

上述された機能モジュールは、例えば命令実行装置にロードされている命令のセットによりそれぞれ実現される場合がある。係るソフトウェアに基づく実現では、命令のセットは、以下に記載される関与する機能モジュールが実行する動作を定義する。この点で、図１は、本方法を少なくとも部分的に表していると考えられ、それによりある機能モジュール、又は機能モジュールの組み合わせは本方法のあるステップを表していると考えることができる。例えば、ショットサンプリングモジュールＳＨＳは、ショットサンプリングステップを表していると考えられ、安定なショット部分を識別するモジュールＳＰＩは、安定な部分を識別するステップを表していると考えることができる。同じことが他の機能モジュールにも当てはまり、他の図を参照して以下に記載される。

ビデオプロセッサＶＰＲは、以下のように基本的に動作する。ショット検出モジュールＳＨＤは、映像ＶＤに含まれる様々なショットＳＨを検出する。あるショットは、特定の位置から見たシーンを表す画像の連続する系列である。ショット検出モジュールＳＨＤは、従来のやり方で動作する。例えば、ショット検出モジュールＳＨＤは、映像ＶＤにおけるショットカットを検出する。比較的短い一連の連続する画像における比較的重要な変化は、ショットカットを特徴付けする。ショットカットは、例えばフェージングのような特定の効果を含む。適切なアルゴリズムを適用し、適切なショットカット検出アルゴリズムを適用することで、十分に信頼することができるやり方でショットカットを検出することができる。このテーマに関する十分な文献が存在する。あるショットは、２つの連続するショットカットの間に典型的に含まれ、第一のショットカットは、ショットの開始をマークし、第二のショットカットは、ショットの終了をマークする。ショット検出モジュールＳＨＤは、ショットカットマーカＳＣを提供し、ショットカットマーカＳＣは、映像ＶＤをそれぞれのショットＳＨに効果的に分割する。ショットカットマーカＳＣは、映像ＶＤに関連して記憶される。

ショットカットマーカＳＨＳは、代表画像が決定される必要があるショットを選択する。次いで、ショットサンプリングモジュールＳＨＳは、ショットを通して一様に分散される選択されたＳＩの連続的な系列を取得するように、そのショットから画像を選択する。例えば、ショットサンプリングモジュールＳＨＳは、Ｎを１よりも大きい整数として、ショットにおけるそれぞれ一連のＮ個の連続する画像のうちから１つの画像を選択する。これは、サンプリングレートをＮに等しいとして、ビデオサブサンプリングプロセスである。選択された画像ＳＩの連続的な系列は、ビデオＶＤの画像レートよりもＮ倍低い画像レートを有する。選択された画像ＳＩの連続的な系列は、例えばデータストレージアレンジメントＤＳＡに一時的に記憶される。

安定なショット部分を識別するモジュールは、予め定義された類似性のテストに適合する選択された画像の１以上の連続的なサブ系列ＳＢを識別する。この類似性のテストは、ショットカット検出について典型的に使用されるテストよりも典型的に厳しい。さもなければ、安定なショット部分を識別するモジュールＳＰＩは、予め定義された類似性のテストに適合する１つの連続的なサブ系列に属するとして、ショットの全ての選択された画像をシステマティックに識別する。予め定義された類似性のテストは、例えば輝度、色度、テクスチャ、エッジのような画像の特性に基づいている。これは、以下に更に詳細に説明される。

安定なショット部分を識別するモジュールＳＰＩは、サブ系列マーカＳＭの形式で出力を提供する。サブ系列マーカＳＭは、予め定義された類似性のテストに適合するとして識別された選択された画像の１以上の連続的なサブ系列ＳＢを示す。例えば、サブ系列マーカは、サブ系列の開始をマークするか又はサブ系列の終了をマークする選択された画像のシリアルナンバーを示す。最低のシリアルナンバーを有するサブ系列マーカは、第一のサブ系列の開始を典型的に示す。１を有するが、最低のシリアルナンバーを有するサブ系列マーカは、第一のサブ系列の終了を典型的に示す、等である。これは単なる例である。シリアルナンバーの代わりに時間の指示を使用することができる。どんな場合でも、サブ系列マーカＳＭは、識別された選択された画像の連続的なサブ系列ＳＢに関する位置情報及び長さ情報を提供する。

代表画像を指定するモジュールＲＩＤは、予め定義された類似性のテストに適合する選択された画像の最長の連続的なサブ系列を決定する。選択された画像の最長の連続的なサブ系列は、サブ系列マーカＳＭに基づいて決定され、サブ系列マーカは、安定なショット部分の識別モジュールＳＰＩが提供する。例えば、代表画像の指定モジュールＲＩＤは、予め定義された類似性のテストに適合する選択された画像ＳＩのそれぞれのサブ系列の範囲を定めるサブ系列マーカＳＭのそれぞれのペア間のそれぞれの距離を比較することで、最長の連続的なサブ系列を決定する。最長の距離は、最長の連続的なサブ系列を示す。

代表画像を指定するモジュールＲＩＤは、選択された画像の上述された最長の連続的なサブ系列と時間的に一致するショットの連続的な部分から画像を選択する。このように選択された画像は、ショットの代表画像ＲＩを構成する。代表画像を指定するモジュールＲＩＤは、代表画像の識別子ＩＲの形式で出力を提供する。代表画像の識別子ＩＲは、代表画像ＲＩが属するショットと同様に、映像ＶＤにおける代表画像ＲＩを固有に指定する。

代表画像を指定するモジュールＲＩＤは、代表画像ＲＩの長さの指示ＬＩを更に提供する。長さの指示ＬＩは、代表画像ＲＩが選択されるショットの連続的な部分によりカバーされる時間間隔を表す。長さの指示ＬＩは、代表画像の識別子ＩＲに含まれる。

代表画像を指定するモジュールＲＩＤは、予め定義された類似性のテストに適合する選択された画像の最長のサブ系列を示すサブ系列マーカＳＭに基づいて、長さの指示ＬＩを決定する。例えば、サブ系列マーカＳＭが、識別されたサブ系列の範囲を定める選択されたフレームのシリアルナンバーの形式であると仮定する。その場合、最長のサブ系列を示すサブ系列マーカＳＭ間の差は、最長のサブ系列に含まれる選択されたフレームの数に対応する。ショットサンプリングモジュールＳＨＳが一定のサンプリングレートを適用する場合、この選択されたフレームの数は、長さの指示ＬＩを構成する。選択されたフレームの数は、選択されたフレームの系列のフレームレートで除算される。従って、最長のサブ系列の期間が得られ、長さの指示ＬＩを構成する。

図１に例示されるビデオプロセッサＶＰＲは、上述されたやり方で映像ＶＤに含まれるそれぞれのショットＳＨのそれぞれの代表画像ＲＩを決定する。これを受けて、ショットサンプリングモジュールＳＨＳは、映像ＶＤにおけるそれぞれのショットＳＨを連続的に選択する。次いで、ショットサンプリングモジュールＳＨＳ、安定なショット部分を識別するモジュールＳＰＩ、及び代表画像を指定するモジュールＲＩＤは、現在選択されたショットについて上述された動作を実行する。従って、ビデオプロセッサＶＰＲは、それぞれの代表画像ＲＩを効果的に示す、それぞれのショットＳＨについてそれぞれの代表画像の識別子ＩＲを提供する。ビデオプロセッサＶＰＲは、それぞれの代表画像ＲＩについてそれぞれの長さの指示ＬＩを更に提供する。それぞれの代表画像の識別子ＩＲは、それぞれの長さの指示ＬＩと同様に、映像ＶＤと、映像ＶＤにおけるそれぞれのショットＳＨを識別するそれぞれのショットカットマーカＳＣとに関連して記憶される。全てのこのデータは、図１に例示されるデータストレージアレンジメントＤＳＡに一緒に記憶される。代替的に、データは、映像ＶＤに関連するデータの異なるタイプ間のリンクの幾つかの形式が存在するという条件で、異なるストレージアレンジメントに記憶される場合がある。

図２は、ショットサンプリングモジュールＳＨＳ、安定なショット部分を識別するモジュールＳＰＩ、及びそれぞれの画像を指定するモジュールＲＩＤが実行する様々な動作を概念的に例示する。図２は、２つの連続するショットカットマーカＳＣ_i，ＳＣ_i+1間に含まれるショットＳＨを表す上側水平セクションを含む。比較的小さい垂直ラインは、ショットＳＨ内の画像を表す。画像は、時間Ｔを表す水平軸に一様に配置される。図２は、ショットからの選択された画像ＳＩが比較的小さい垂直ラインにより表される類似の水平軸を有する下側の水平セクションを含む。図２に例示されるように、ショットにおけるそれぞれ一連の４つの連続する画像のうちから１つの画像が選択される。図２の下側の水平セクションで表される選択された画像ＳＩは、１から１２までで番号付けされる。

選択された画像２及び３は、類似性のテストに適合する第一の連続的な選択された画像のサブ系列ＳＢ１を構成する。第一の連続するサブ系列ＳＢ１は、２つの選択された画像の長さＬ１を有する。選択された画像５，６，７及び８は、類似性のテストに適合する第二の連続的な選択された画像のサブ系列ＳＢ２を構成する。第二の連続的なサブ系列ＳＢ２は、４つの選択された画像の長さＬ２を有する。選択された画像９，１０及び１１は、類似性のテストに適合する第三の連続的な選択された画像のサブ系列ＳＢ３を構成する。第三の連続的なサブ系列は、３つの選択された画像の長さＬ３を有する。

図２の上側水平セクションでは、ショットＳＨの連続した安定な部分ＳＰは示される。この連続した安定した部分ＳＰは、予め定義された類似性のテストに適合する選択された画像の最長の連続的なサブ系列である、選択された画像の第二の連続的なサブ系列ＳＢ２と時間的に一致する。従って、連続した安定な部分ＳＰは、ショットＳＨの最長の安定な部分を構成する。この文脈において、用語「安定」とは、画像のコンテンツの安定度を示し、連続した安定な部分ＳＰは、比較的長い期間について比較的スタティックである。

ショットの最長の安定した部分である、図２に示されるショットの連続した安定な部分ＳＰから画像が選択される。ショットの連続した安定な部分ＳＰから選択された画像は、関連しているショットの代表画像ＲＩを構成する。原理上、選択された画像は、ショットの連続した安定な部分ＳＰにおける画像である。これは、ショットの連続した安定な部分ＳＰは比較的スタティックであるためであり、この連続した安定な部分に含まれる画像は互いに比較的類似していることを意味する。さもなければ、第二のサブ系列ＳＢ２を構成する選択された画像５，６，７及び８は、類似性のテストに適合しない。図２において、代表画像ＲＩであるように選択された画像は、連続する安定な部分ＳＰの中心にある。これは単なる例である。第一の画像又は最後の画像のような連続した安定した部分ＳＰの他の画像が、代表画像ＲＩを構成するように選択される場合もある。代表画像ＲＩは、ランダムに選択される。

代表画像ＲＩは、比較的良好な品質からなる。これは、画像のコンテンツの観点で比較的安定であるショットの一部から代表画像ＲＩが選択されるからである。例えば、画像は符号化されている場合、符号化の損失は、図２に示されたショットの連続した安定した部分ＳＰにおいて比較的適度である。これは、その部分における画像が比較的類似しているからである。例えば、動き予測及び量子化を含めて、ＭＰＥＧ規格に従って画像が符号化されていると仮定する。その場合、図２に示される連続した安定した部分ＳＰにおける画像の動き予測は、比較的正確である。比較的小さい残差が存在する。さらに、連続した安定な部分ＳＰにおける画像は、適度な程度の量子化を典型的に受ける。

図３は、安定なショット部分を識別するモジュールＳＰＩの実現を機能的に例示する。この実現は、簡単さのため、安定なショット部分を識別するモジュールＳＰＩと呼ばれる。安定なショット部分を識別するモジュールＳＰＩは、様々な機能モジュールである、画像の特性を決定するモジュールＩＰＤ、画像の特性を比較するモジュールＩＰＣ、閾値と比較するモジュールＴＨＣ、及びサブ系列を識別するモジュールＳＢＩを含む。ソフトウェアに基づいた実現について、図３は、少なくとも部分的に本方法を表すものとして考えることができ、それにより機能モジュール、又は機能モジュールのセットが本方法のステップとして考えられる。

図３に例示される安定なショット部分を識別するモジュールＳＰＩは、基本的に以下のように動作する。画像の特性を決定するモジュールＩＰＤは、選択された画像の少なくとも１つの画像の特性を決定する。画像の特性を決定するモジュールＩＰＤは、それぞれ選択された画像ＳＩについて、画像の特性のそれぞれのセットＩＰを提供する。ある画像の特性のセットＩＰは、例えば輝度ヒストグラム、色度ヒストグラム、テクスチャ情報及びエッジ情報を含む。画像の特性は、ＭＰＥＧ７として知られる規格で定義された情報の形式をとる場合がある。

画像の特性を比較するモジュールＩＰＣは、予め定義されたスキームＳＣＨに従って、考慮中の選択された画像の特性のセットＩＰを、別の選択された画像の画像の特性のセットと比較する。例えば予め定義されたスキームＳＣＨは、考慮中の選択された画像が、考慮中の選択された画像に直前で先行する選択された画像と画像の特性の観点で比較されることを提供する。別の例として、予め定義されたスキームＳＣＨは、考慮中の画像に直前で先行する選択された画像が類似性のテストに適合する連続的な選択された画像のサブ系列に属すること、といったケースに当てはまるか否かをはじめに検証する。考慮中の画像は、先に定義されたケースが当てはまる場合、この連続的な選択された画像のサブ系列を開始する選択された画像と画像の特性ＩＰの観点で比較される。

予め定義されたスキームＳＣＨについて、画像の特性を比較するモジュールＩＰＣは、考慮中の選択された画像について画像の特性の差のセットを決定する。画像の特性の差のセットは、予め定義されたスキームＳＣＨに従って行われた画像の特性の比較から得られる。画像の特性を比較するモジュールＩＰＣは、考慮中の選択された画像の画像の特性の差を差のメトリックＤＭに結合し、差のメトリックは、１次元の差の測度を構成する。画像の特性を比較するモジュールＩＰＣは、それぞれ選択された画像ＳＩについてそれぞれの差のメトリックＤＭを提供する。選択された画像の差のメトリックＤＭは、選択された画像が、予め定義されたスキームＳＣＨに従って選択された画像が比較される１以上の他の選択された画像に比較的類似している場合に、比較的低い値を有する。逆に、差のメトリックＤＭは、予め定義されたスキームＳＣＨに従って比較された画像が比較的異なる場合に、比較的高い値を有する。

閾値を比較するモジュールＴＨＣは、画像の特性を比較するモジュールＩＰＣが提供するそれぞれの差のメトリックＤＭを、ある閾値ＴＨと比較する。この比較は、それぞれ選択された画像ＳＩについてそれぞれ類似性の判定ＳＤを提供する。選択された画像の類似性の判定ＳＤは、選択された画像の差のメトリックＤＭが閾値ＴＨ以下である場合に正である。さもなければ、類似性の判定ＳＤは負である。実際に、類似性の判定ＳＤは、画像の特性の観点で選択された画像が比較された１以上の他の選択された画像に関して、考慮される選択された画像が十分に類似しているか否かを示す。別の言い方をすれば、類似性の判定ＳＤは、比較された選択された画像が予め定義された類似性のテストに適合するか否かを示す。

サブ系列を識別するモジュールＳＢＩは、閾値と比較するモジュールＴＨＣが提供した、それぞれの類似性の判定ＳＤに基づいて、予め定義された類似性のテストに適合する選択された画像の１以上のサブ系列ＳＢを識別する。正の類似性の判定が負の類似性の判定に従うものと仮定する。その場合、正の類似性の判定は、類似性のテストに適合する選択された画像のサブ系列の開始をマークする。サブ系列は、正の類似性の判定が基づく選択された画像を少なくとも含む。さらに、更なる正の類似性の判定が上述された正の類似性の判定に従うと仮定する。その場合、サブ系列は、いわば長期に及び、この更なる正の類似性の判定が基づいている選択された画像を更に含む。サブ系列は、負の類似性の判定が生じるまで、長期に及び続ける。次いで、負の類似性の判定は、選択された画像のサブ系列の終了をマークする。新たな正の類似性の判定は、選択された画像の新たなサブ系列の開始をマークする。

閾値ＴＨは、いわば差のメトリクスＤＭを類似性の判定ＳＤに変換するために使用されるものであり、重要なパラメータである。閾値ＴＨは、予め定義された類似性のテストの重大度を表す。閾値ＴＨが余りに高い場合、選択された画像のサブ系列ＳＢが滅多に識別されないか、全く識別されない。逆に、閾値ＴＨが余りに低い場合、全ての選択されたショットの画像は、ショット全体をカバーする単一のサブ系列に属しているとして識別される。閾値ＴＨの適切なレベルは、例えば経験に基づくやり方で決定される場合がある。

サブ系列を識別するモジュールＳＢＩは、図１に例示される安定なショット部分を識別するモジュールＳＰＩの出力に対応する出力を提供する。すなわち、サブ系列を識別するモジュールＳＢＩは、予め定義された類似性のテストに適合するとして識別された、１以上の連続的な選択された画像のサブ系列ＳＢを示すサブ系列マーカＳＭを提供する。サブ系列マーカＳＭは、識別された連続的な選択された画像のサブ系列ＳＢに関する位置情報及び長さ情報を提供する。

図４は、安定なショット部分を識別するモジュールＳＰＩが実行する様々な動作を概念的に例示する。図４は、図２にも例示される、ショットの選択された画像ＳＩを表す上側の水平セクションを含む。すなわち、図４の上側の水平セクションは、図２の下側の水平セクションと対応する。選択された画像ＳＩは、１から１２までで番号付けされており、時間Ｔを表す水平方向の軸に一様に配置される。図４は、それぞれのメトリクスＤＭが示される中央の水平セクションを含む。図４は、それぞれの類似性の判定ＳＤが示される下側の水平方向セクションを更に有する。

図４は、予め定義されたスキームＳＣＨが、考慮中の選択された画像が直前に先行する選択された画像と比較されることを与える例を示す。図４では、僅かに湾曲された矢印は、これらの画像の比較を例示する。選択された画像２が考慮中であると仮定する。その場合、選択された画像２は、画像の特性の観点で、選択された画像２と比較される。この比較により、差のメトリックＤＭ２が得られる。差のメトリックＤＭ２は、いわば負の類似性の判定（−）に変換する。これは、差のメトリックＤＭ２が上述された閾値ＴＨを超えるためである。選択された画像３が考慮中であると仮定する。その場合、選択された画像３は、画像の特性の観点で、選択された画像２と比較される。この比較により差のメトリックＤＭ３が得られ、差のメトリックＤＭ３は、正の類似性の判定（＋）に変換する。これは、差のメトリックＤＭ３が閾値ＴＨ以下であるためである。

図４は、類似性の判定における負から正への遷移が予め定義された類似性の基準に適合する選択された画像のサブ系列ＳＢの開始をマークすることを例示する。類似性の判定における正から負の遷移は、サブ系列ＳＢの終了をマークする。サブ系列は、１以上の連続するの正の類似性の判定が基づいた選択された画像を含む。例えば、差のメトリックＤＭ３は、正の類似性の判定（＋）に変換するものであり、差のメトリックＤＭ２により先行され、差のメトリック２は、負の類似性の判定（−）に変換する。これは、選択された画像の第一のサブ系列ＳＢ１の開始をマークする。差のメトリックＤＭ３は、差のメトリックＤＭ４により後続され、差のメトリックは、負の類似性の判定（−）に変換する。これは、第一のサブ系列ＳＢ１の終了をマークする。差のメトリックＤＭ３は、選択された画像２及び３に基づいており、第一のサブ系列ＳＢ１を形成する。

別の例として、差のメトリックＤＭ６は、負の類似性の判定（＋）に変換するものであり、差のメトリックＤＭ５により先行され、差のメトリックＤＭ５は、負の類似性の判定（−）に変換する。これは、選択された画像の第二のサブ系列ＳＢ２の開始をマークする。差のメトリックＤＭ６は、差のメトリックＤＭ７及びＤＭ８により後続され、これらはそれぞれ、正の類似性の判定（＋）に同様に変換する。第二のサブ系列ＳＢ２は、そのまま継続する。差のメトリックＤＭ９は、負の類似性の判定（−）に変換する。これは、第二のサブ系列ＳＢ２の終了をマークする。３つの連続した差のメトリックＤＭ６，ＤＭ７及びＤＭ８が存在し、これら３つの差のメトリックは、連続した正の類似性の判定（＋）に変換する。これら３つの差のメトリックＤＭ６，ＤＭ７及びＤＭ８は、選択された画像５，６，７及び８に基づいており、これらは連続して生じており、従って第二のサブ系列ＳＢ２を形成する。

図５は、ビデオブラウザＶＢＲを例示する。ビデオブラウザＶＢＲは、セクション定義モジュールＳＤＦ、代表画像の選択モジュールＲＩＳ及びナビゲーションイネーブルモジュールＮＡＶを含む。これら更なる機能モジュールは、例えば図１に例示されるビデオプロセッサＶＰＲに含まれる。代替的に、図５に例示される機能モジュールは、別のビデオプロセッサに含まれる。何れの場合においても、ソフトウェアに基づく実現について、図３は、少なくとも部分的に本方法を表現するとして考えることができ、それにより機能モジュール又は機能モジュールの組み合わせは、本方法のステップとして考えられる。

図５に例示されるビデオブラウザＶＢＲは、図１に例示されたビデオプロセッサＶＰＲが提供した結果を使用する。これらの結果は、ビデオＶＤにおけるそれぞれのショットＳＨについて決定されたそれぞれの代表画像ＲＩを含む。結果は、それぞれの代表画像のそれぞれの長さの指示ＬＩを更に含む。上述されたように、これらの結果は、それぞれの代表画像を効果的に示す、それぞれのショットＳＨのぞれぞれの代表画像の識別子ＩＲの形式である。それぞれの長さの指示ＬＩは、それぞれの代表画像の識別子ＩＲに含むことができる。全てのこのデータは、図１に例示されるアレンジメントに対応するデータストレージアレンジメントＤＳＡに記憶されるか、又はデータが転送される別のデータストレージアレンジメントに記憶される。

ビデオブラウザＶＢＲは、基本的に以下のように動作する。セクションを定義するモジュールＳＤＦは、映像ＶＤにおいてそれぞれのセクションＳＥを定義するのを可能にする。例えば、映像ＶＤは、所与の長さのそれぞれ連続する時間間隔をカバーするそれぞれのセクションＳＥに効果的に分割される。更なる例として、映像ＶＤは、それぞれ１０分の時間間隔に分割することができる。係る分割は、例えば映像ＶＤが映画又はブロードキャスト記録である場合に適切である。セクションを定義するモジュールＳＤＦは、特定のセクションを様々なサブセクションに小分割する。例えば、特定の１０分の時間間隔は、それぞれ１分の時間間隔に小分割される。

映像ＶＤが個人の記録を含む場合、それぞれのセクションＳＥは、記録の日時に基づいて定義される。例えば、互いの後に手短かに行われた記録は、間違いなく相関し、従ってあるセクションにグループ分けされる。同じ日に行われた記録もあるセクションにグループ分けすることができる。これらの記録は、例えば誕生日、結婚、又は特定の目的地を訪れる日帰り旅行のような特定のイベントに関する。連続する日で行われた記録もあるセクションにグループ分けすることができる。例えば記録は、旅行に関する場合がある。これらの例は、セクションが記録の日時に基づいて異なる階層レベルで定義されることを示す。

代表画像を選択するモジュールＲＩＳは、あるセクションＳＥにおけるそれぞれのショットＳＨのそれぞれの代表画像の長さの指示ＬＩを取得する。代表画像を選択するモジュールＲＩＳは、最長の長さの指示ＬＩ_k＝ＭＡＸを決定するように、これらそれぞれの長さの指示を比較する。代表画像を選択するモジュールＲＩＳは、この最長の長さの指示ＬＩを有する代表画像ＲＩ_kを選択する。この選択された代表画像ＲＩ_kは、セクションの代表画像ＲＩ_SEを構成する。代表画像を選択するモジュールＲＩＳは、定義された映像ＶＤのそれぞれのセクションについてそれぞれの代表画像を定義する。

図６は、代表画像を選択するモジュールが実行する動作を例示する。図６は、映像ＶＤにおける特定のセクションＳＥを表す上側の水平セクションを有する。この特定のセクションＳＥは、異なる長さの４つのそれぞれのショットＳＨ１〜ＳＨ４を含む。これら４つのそれぞれのショットＳＨ１〜ＳＨ４は、４つのそれぞれの代表画像ＲＩ₁〜ＲＩ₄を有する。４つのそれぞれの代表画像ＲＩ₁〜ＲＩ₄は、４つのそれぞれの長さの指示ＬＩ₁〜ＬＩ₄を有する。これは、図６の下側の水平セクションで示される。ショットＳＨ３はセクションＳＥにおける４つのそれぞれのショットＳＨ１〜ＳＨ４のなかで最長ではないが、ショットＳＨ３の代表画像ＲＩ₃は、最長の長さの指示ＬＩ₃＝５を有する。しかし、ショットＳＨ３は、予め定義された類似性のテストに適合する選択された画像の連続的なサブ系列を有しており、この連続的なサブ系列は、他の３つのショットＳＨ１，ＳＨ２及びＳＨ４の何れかにおける任意の他の連続的なサブ系列よりも長い。別の言い方をすれば、ショットＳＨ３は、４つのそれぞれのショットＳＨ１〜ＳＨ４において識別された安定なビデオ部分のうちで最長の安定なビデオ部分を含む。結果的に、ショットＳＨ３の代表画像ＲＩ₃は、最長の長さの指示ＬＩ₃＝５であり、従ってセクションＳＥの代表画像ＲＩ_SEを構成するように選択される。

代表画像を選択するモジュールＲＩＳは、ショットを関連付けするモジュールＳＡＭ及び長さの指示をアップグレードするモジュールＬＩＵを任意に含む。これらのモジュールは、２以上の交互する一連の類似のショットをもつ、あるビデオセクションにおいて代表画像を選択するために使用される。あるビデオセクションは、２人の人物Ａ及びＢ間の会話を表し、それにより人物Ａのショット及び人物Ｂのショットは、誰が話しているかに依存して交互に生じる。実際に、ビデオセクションは、人物Ａの単一のショット及び人物Ｂの単一のショットを含み、これらのショットは、数回にわたり入れ替えられる。

ショットを関連付けするモジュールＳＡＭは、あるショットを別のショットと比較して、あるショットと他のショットが予め定義されたショットの類似性のテストに適合するか否かを検証する。ショットの類似性のテストは、画像の類似性のテストが基づいている画像の特性と同じ画像の特性に基づいており、この画像の特性は、図１〜４を参照して上述されたように、選択された画像の連続的なサブ系列を識別するために使用される。図３を参照して、画像の特性を決定するモジュールＩＰＤは、決定された画像の特性ＩＰのそれぞれのセットを記憶する。次いで、ショットを関連付けするモジュールＳＡＭは、これらの結果を使用して、２つのショットが予め定義されたショットの類似性のテストに適合しているか否かを判定する。２つのショットが予め定義された類似性のテストに適合している場合、ショットを関連付けするモジュールＳＡＭは、２つのショットを互いに関連付けする。同様にやり方で、ショットを関連付けするモジュールＳＡＭは、なお更なるショットを互いに関連する２つのショットと関連付けする。

長さの指示をアップグレードするモジュールＬＩＵは、少なくとも１つの他のショットと関連付けされたショットの代表画像ＲＩの長さの指示ＬＩをアップグレードする。すなわち、長さの指示ＬＩは、この指示ＬＩに、ショットに関連するそれぞれの他のショットのそれぞれの代表画像のそれぞれの長さの指示を加えることでアップグレードされる。更には、単一の代表画像は、互いに関連されるそれぞれのショットについて保持される。この単一の代表画像は、上述されたようにアップグレードされた長さの指示を有する。長さの指示がアップグレードされた場合、代表画像を選択するモジュールＲＩＳは、このアップグレードされた長さの指示を考慮してセクションの代表画像ＲＩ_SEを決定する。

ナビゲーションイネーブルモジュールＮＡＶは、映像ＶＤにおけるそれぞれのセクションについて選択されたそれぞれの代表画像ＲＩを含むナビゲーションスクリーンＮＶＳを生成する。ナビゲーションスクリーンＮＶＳでは、それぞれの代表画像ＲＩは、映像ＶＤにおけるそれぞれのセクションと関連されるそれぞれの領域に含まれる。それぞれの領域は、代表画像に加えて、テクスチャ情報を更に含む場合がある。テクスチャ情報は、例えば特定の時間間隔、又は記録の日時、或いはこれらの両者を示す。何れの場合であっても、特定のセクションは、特定のセクションと関連される領域であって、その代表画像を含む領域を選択することで選択可能である。この選択は、例えばナビゲーションスクリーン上のポインタ及びコンピュータマウスにより達成される。セクションを定義するモジュールＳＤＦは、この選択されたセクションを、代表画像を選択するモジュールＲＩＳが上述されたやり方で代表画像を決定するそれぞれのサブセクションに分割する。

図７は、ナビゲーションスクリーンＮＶＳを例示する。この例では、ナビゲーションスクリーンは、映像ＶＤにおける５つのそれぞれのセクションＳＥ１〜ＳＥ５を表す。５つのそれぞれのセクションＳＥ１〜ＳＥ５は、上述されたように選択された５つの代表画像ＲＩ_SE1〜ＲＩ_SE5により表される。５つの代表画像ＲＩ_SE1〜ＲＩ_SE5は、５つのそれぞれのセクションＳＥ１〜ＳＥ５に関連する５つのそれぞれの領域ＡＥ１〜ＡＥ２に含まれる。例では、セクションＳＥ３が選択され、これによりこのセクションに関連する領域ＡＥ３がハイライト表示される。

図６に例示される代表画像を選択するモジュールＲＩＳは、映像ＶＤ全体について代表画像ＲＩを選択する役割を果たす。そのようにするため、代表画像を選択するモジュールＲＩＳは、上述された動作に類似の動作を実行する。すなわち、代表画像を選択するモジュールＲＩＳは、映像ＶＤ全体におけるそれぞれのショットＳＨのそれぞれの代表画像ＲＩについてそれぞれの長さの指示ＬＩを取得する。代表画像を選択するモジュールＲＩＳは、これらのそれぞれの長さの指示ＬＩを比較して、最長の長さの指示を決定する。次いで、代表画像を選択するモジュールＲＩＳは、この最長の長さの指示を有する代表画像を選択する。この選択された代表画像は、映像全体について代表画像を構成する。

図８は、ビデオサーチエンジンＶＳＥを例示する。ビデオサーチエンジンＶＳＥは、サーチモジュールＳＲＣＨ、サーチ結果を処理するモジュールＳＲＰ、及びサーチ結果を指示するモジュールＳＲＩを含む。ビデオサーチエンジンＶＳＥは、映像の集合ＶＤＣに通信可能に結合される。それぞれの代表画像ＲＩ_{VD_1}〜ＲＩ_{VD_N}は、先のパラグラフで記載されたように、集合におけるそれぞれの映像ＶＤ＿１〜ＶＤ＿Ｎについて選択される。

ビデオサーチエンジンＶＳＥは、基本的に以下のように動作する。サーチモジュールＳＲＣＨは、サーチ基準ＣＴを受信し、これに応じて、サーチ基準ＣＴに適合する集合におけるそれぞれの映像を識別する。サーチ結果を処理するモジュールＳＲＰは、サーチ基準ＣＴに適合するそれぞれの映像のうち、画像の類似性のテストにそれぞれの代表画像が適合するそれぞれの映像を識別する。この画像の類似性のテストは、１以上の画像の特性に基づいており、その場合、図３で例示された画像の特性を比較するモジュールＩＰＣに関して、上述された動作を含む。画像の類似性のテストは、比較的厳密である。少なくとも部分的に同じであるそれぞれの映像が識別された場合、これらそれぞれの映像の代表画像は、比較的類似しているか、更には同じである。これは、上述されたように、十分に類似していることが分かっている画像の最長のサブ系列から代表画像が選択されているためである。

サーチ結果を指示するモジュールＳＲＩは、単一のサーチ結果のアイテムとして一緒に、画像の類似性のテストにそれぞれの代表画像が適合するそれぞれの映像を指示する。単一のサーチ結果アイテムとして指示されたそれぞれの映像は、典型的に少なくとも部分的に、同一である。単一のサーチ結果のアイテムとして少なくとも部分的に同一であるそれぞれの映像を指示することは、サーチ結果を理解及び評価することにおいてユーザを支援する。

添付図面を参照して上述された詳細な説明は、特許請求の範囲で定義された、本発明及び更なる特徴の例示である。本発明は様々な異なるやり方で実現することができる。これを例示するため、多くの代替が簡単に示される。

本発明は、ビデオコンテンツの代表画像の指示に関連する様々なタイプの製品又は方法におうて利用するために適用される。例えば、本発明は、ホームシネマ装置のようなビデオコンテンツを処理可能な何れかのタイプの家電装置において利用するために使用される。また、本発明は、何れかのタイプの装置における汎用プロセッサにより実行可能なソフトウェアプログラムの形式である。

例えば図１に例示されるビデオプロセッサＶＰＲは、ビデオをダウンロードすることができるビデオサーバに一部を形成する。次いで、クライアント端末は、ビデオサーバからビデオを、ビデオサーバが生成したショットカットマーカ及び代表画像識別子と共にダウンロードする。図３で例示されるビデオブラウザＶＢＲは、代表画像の識別子、特にこれらの識別子に含まれる長さの指示に基づいて便利なブラウジングを可能にするように、クライアント端末の一部を形成する。

ショットを通して一様に分散された選択された画像の連続的なサブ系列を取得するように、あるショットから画像を選択する様々な方法が存在する。サブサンプリングは、有利ではあるが必須ではない。原理的に、あるショットの全ての画像が選択される。サブサンプリングが選択された場合、選択された画像は、正確に等間隔で配置される必要はない。例えば、選択された画像は、僅かな不規則さを示す時間グリッド上に配置される場合がある。

予め定義された類似性のテストに適合する連続的な選択された画像のサブ系列を識別する様々なやり方が存在する。例えば、第一のフェーズにおいて全ての画像を分析し、第二のフェーズにおいて、予め定義された類似性のテストを受けることができる画像分析の結果を取得することも可能である。更には、選択された画像を互いに比較する様々な異なるスキームが存在する。例えば、選択された画像は、予め定義された類似性のテストに適合することが分かっている更に先行する選択された画像と同様に、直前に先行する選択された画像と比較される。しかし、係るアプローチは、先に記載されたアプローチよりも計算が集中する。さらに、予め定義された類似性のテストはそれぞれの画像の特性についてそれぞれの差のメトリクスを決定することを含む。その場合、それぞれの閾値は、それぞれ部分的な類似性の判定を行うため、それぞれの差のメトリクスについて定義される。それぞれの部分的な類似性の判定は、例えばＡＮＤ関数により全体の類似性の判定に効果的にグループ分けされる。

予め定義された類似性のテストに適合する選択された画像の最長の連続的なサブ系列と時間的に一致するショットの連続する安定な部分のうち、そのショットの代表画像を選択する様々なやり方が存在する。代表画像は、最長の連続するサブ系列における選択された画像のうちの１つである。また、代表画像は、２つの係る選択された画像間で一時的に配置される画像である場合がある。何れかの特定の選択スキームが使用される場合がある。これは、予め定義された類似性のテストに適合する選択された画像の最長の連続的なサブ系列と時間的に一致するショットの連続した安定な部分において、画像は比較的類似しているためである。原理的に、最長の連続的なサブ系列と時間的に一致するショットの連続的な安定な部分からランダムに選択される場合もある。

用語「画像」は、広義の意味で理解されるべきである。この用語は、視覚的な情報を表す任意のデータのタイプを包含する。例えば、この用語は、例えばピクチャ、フレーム及びフィールドのような他の用語と交換可能である。

一般に、本発明を実現する様々なやり方が存在し、それにより異なる実現は異なるトポロジーを有する場合がある。所与のトポロジーにおいて、単一のモジュールは、幾つかの機能を実行するか、幾つかのモジュールは、単一の機能を一緒に実行する。この観点で、図面は非常に図式的である。例えば、図３を参照して、画像の特性を決定するモジュールＩＰＤ及び画像の特性を比較するモジュールＩＰＣは、単一のソフトウェアモジュールの一部を形成する。

ハードウェア、ソフトウェア又はこれらの両者により実現される様々な機能が存在する。ソフトウェアに基づく実現の記載は、ハードウェアに基づく実現を排除するものではなく、逆に、ハードウェアに基づく実現の記載は、ソフトウェアに基づく実現の記載を排除するものではない。１以上の専用回路と同様に１以上の適切にプログラムされたプロセッサを有するハイブリッドの実現も可能である。例えば、図面を参照して上述された様々な機能は、１以上の専用回路により実現され、それにより特定の回路トポロジーは、特定の機能を定義する。

命令のセット、すなわちソフトウェアを記憶及び配信する様々なやり方が存在し、このソフトウェアは、本発明に従って代表画像を識別するのを可能にする。例えば、ソフトウェアは、例えば磁気ディスク、光ディスク又はメモリ回路のような適切な媒体で記憶される。ソフトウェアが記憶される媒体は、個別の製品として又はソフトウェアを実行する別の製品と共に供給される。係る媒体は、ソフトウェアが実行されるのを可能にする製品の一部である場合がある。また、ソフトウェアは、有線、無線、又はハイブリッドである、通信ネットワークを介して配信される場合もある。例えばソフトウェアは、インターネットを介して配信される場合がある。ソフトウェアは、サーバによりダウンロードされるために利用可能にされる。ダウンロードは、支払いを受ける場合がある。

上述された記載は、添付図面を参照した詳細な説明は、本発明の限定ではなく例示であることを示している。特許請求の範囲に含まれる様々な代替が存在する。請求項における参照符号は、請求項を限定するものとして解釈されるべきではない。単語「備える“comprising”」は、請求項で列挙されたエレメント又はステップ以外のエレメント又はステップの存在を排除するものではない。エレメント又はステップに先行する単語“ａ”又は“ａｎ”は、複数の係るエレメント又はステップの存在を排除するものではない。それぞれの従属の請求項がそれぞれの更なる特徴を定義する事実は、請求項で反映された特徴以外の更なる特徴の組み合わせを排除するものではない。

本発明の態様によれば、映像における少なくとも１つのショットの代表画像を決定する方法が提供され、あるショットは、特定の位置から見たあるシーンを表す画像の連続的な系列である。本方法は、あるショットを通して一様に分散される連続的な選択された画像の系列を得るように、前記ショットから画像が選択されるショットサンプリングステップ、予め定義された類似性のテストに適合する選択された画像の少なくとも１つの連続的なサブ系列を識別する安定なショット部分の識別ステップ、予め定義された類似性のテストに適合する最長の連続する選択された画像のサブ系列と時間的に一致するショットの連続的な部分から画像が選択される、代表画像の指定ステップ。

安定なショット部分の識別ステップでは、以下の一連のステップがそれぞれの選択された画像について有利にも実行される。選択された画像の少なくとも１つの画像の特性（image property）が、選択された画像の差の測度を決定するように、別の選択された画像の特性と比較される差の測度を決定するステップ。選択された画像が、選択された画像の差の測度がある閾値を下回るか否かに依存して、類似度のテストに適合する連続する選択された画像のサブ系列に属するか、属さないとして分類される差の測度を評価するステップ。

選択された画像は直接に隣接する選択された画像と比較される場合がある。

直前に先行する選択された画像が類似性のテストに適合する連続する選択された画像のサブ系列に属する場合に、選択された画像はこの連続する選択された画像のサブ系列を開始する選択された画像と比較される場合がある。係るスキームは、画像のコンテンツが連続するサブ系列を通して緩やかにではあるが、確実に変化する意味で、連続するサブ系列における画像のコンテンツの緩やかな「ドリフト」を回避するのを可能にする。係る緩やかなドリフトは、選択された画像が直接に隣接している選択された画像のみと比較されるときに生じる場合がある。

Claims

ある映像における少なくとも１つのショットの代表画像を決定する方法であって、
前記ショットは、特定の位置から見たあるシーンを表す連続的な画像の系列であり、
当該方法は、
前記ショットを通して一様に分散された連続的な選択された画像の系列を取得するために画像が選択される、ショットサンプリングステップと、
予め定義された類似性のテストに適合する少なくとも１つの連続的な選択された画像のサブ系列が識別される、安定なショット部分の識別ステップと、
選択された画像が前記ショットの代表画像を構成するように、前記予め定義された類似性のテストに適合する最長の連続的な選択された画像のサブ系列と時間的に一致するショットの連続する部分から画像が選択される、代表画像の指定ステップと、
を含む方法。
前記安定なショット部分の識別ステップにおいて、それぞれの選択された画像について、以下の一連のステップである、
選択された画像の差の測度を決定するように、前記選択された画像の少なくとも１つの画像の特性が予め定義されたシーンに従って別の選択された画像の特性と比較される、差の測度の決定ステップと、
前記選択された画像の差の測度がある閾値を下回るか否かに依存して、前記選択された画像が、前記類似性のテストに適合する連続的な選択された画像のサブ系列に属するとして分類される、差の測度の評価ステップと、
を実行する、請求項１記載の方法。
前記予め定義されたスキームは、前記選択された画像が直接隣接している選択された画像と比較されることを定義する、
請求項２記載の方法。
前記予め定義されたスキームは、直前に先行する選択された画像が前記類似性のテストに適合する連続的な選択された画像のサブ系列に属する場合に、前記選択された画像は、この連続的な選択された画像のサブ系列を開始する選択された画像と比較される、
請求項２記載の方法。
前記差の測度の決定ステップにおいて、それぞれの画像の特性の差は差のメトリックに結合され、前記差のメトリックは、差の測度を構成し、前記それぞれの画像の特性の差は、前記選択された画像のそれぞれの画像の特性を少なくとも１つの他の選択された画像の特性と比較することで得られる、
請求項２記載の方法。
前記ショットサンプリングステップでは、Ｎを１よりも大きい整数として、それぞれの一連のＮ個の連続した画像のうちから１つの画像が選択される、
請求項１記載の方法。
前記代表画像の決定ステップでは、前記代表画像について長さの指示が提供され、前記長さの指示は、前記代表画像が選択された前記ショットの連続した部分によりカバーされる時間間隔を表す、
請求項１記載の方法。
あるショットが、少なくとも１つのショットと比較されたときに、ショットの類似性のテストに適合する前記少なくとも１つの他のショットと関連付けされる、ショットの関連付けステップと、
前記ショットの前記代表画像の前記長さの指示が、前記ショットに関連付けされたそれぞれの他のショットのそれぞれの代表画像のそれぞれの長さの指示と加算されることでアップグレードされる、長さの指示のアップグレードステップと、
を含む請求項７記載の方法。
映像をブラウジングする方法であって、
当該方法は、請求項記載の方法を実行することで得られた結果を使用し、前記結果は、前記映像に含まれるそれぞれのショットについて決定されるそれぞれの代表画像、及び前記それぞれの代表画像についてのそれぞれの長さの指示を含み、
当該方法は、
前記映像におけるそれぞれのセクションが定義される、セクションの定義ステップと、
前記映像におけるそれぞれのセクションについて、
セクションにおけるそれぞれのショットのそれぞれの代表画像についてそれぞれの長さの指示が比較され、前記セクションの代表画像を構成するために最長の長さの指示を有する代表画像が選択される、代表画像の選択ステップ、
が実行される、方法。
前記ビデオにおけるそれぞれのセクションについてそれぞれの代表画像が選択され、
当該方法は、
前記ビデオにおけるそれぞれのセクションについて前記それぞれの代表画像を含むナビゲーションスクリーンが生成される、ナビジェーションイネーブルステップと、前記それぞれの代表画像は、前記それぞれのセクションと関連されるそれぞれの選択可能な領域に含まれる、
請求項９記載のビデオをブラウジングする方法。
請求項７記載の方法を実行することで得られた結果を使用する、ビデオの代表画像を決定する方法であって、
前記結果は、前記映像に含まれるそれぞれのショットについて決定されるそれぞれの代表画像、及び前記それぞれの代表画像についてのそれぞれの長さの指示を含み、
前記それぞれの代表画像のそれぞれの長さの指示が比較され、前記映像の代表画像を構成するように、最長の長さの指示を有する代表画像が選択される、代表画像の選択ステップを含む、ビデオの代表画像を決定する方法。
映像の集合において映像をサーチする方法であって、
当該方法は、請求項１１記載の方法を実行することで得られる結果を使用し、
前記結果は、前記集合におけるそれぞれの映像のそれぞれの代表画像を含み、
当該方法は、
サーチ基準に適合する前記集合におけるそれぞれの映像が識別される、サーチステップと、
前記サーチ基準に適合する前記それぞれの映像のうち、前記それぞれの代表画像が画像の類似性のテストに適合するそれぞれの映像が識別される、サーチ結果の処理ステップと、
前記それぞれの代表画像が前記画像の類似性のテストに適合するそれぞれの映像が、単一のサーチ結果のアイテムとして一緒に指示される、サーチ表示ステップと、
を含む映像の集合において映像をサーチする方法。
映像における少なくとも１つのショットの代表画像を決定するビデオプロセッサであって、
前記ショットは、特定の位置から見たあるシーンを表す連続的な画像の系列であり、
あるショットを通して一様に分散される連続的な選択された画像の系列を取得するように、前記ショットから画像を選択するショットサンプリングモジュールと、
予め定義された類似性のテストに適合する選択された画像の少なくとも１つの連続的なサブ系列を識別する安定なショット部分の識別モジュールと、
前記予め定義された類似性のテストに適合する選択された画像の最長の連続的なサブ系列と時間的に一致する前記ショットの連続する部分から画像を選択する、代表画像の指示モジュールとを備え、選択された画像は、前記ショットの代表画像を構成する、
ビデオプロセッサ。
請求項７記載の方法を実行することで得られた結果が記憶される記憶媒体であって、
前記結果は、前記映像に含まれるそれぞれのショットについて決定されたそれぞれの代表画像、及び前記それぞれの代表画像についてのそれぞれの長さの指示を含む、
記憶媒体。
命令のセットを実行可能なプロセッサに、請求項１記載の方法を実行させる命令のセットを含むコンピュータプログラム。