JP2016517640A - ビデオの画像サマリ - Google Patents

Abstract

さまざまな実施は、コミックブック又は物語抽象とも呼ばれる、画像サマリを提供することに関する。ある特定の実施では、構成ガイドからの１つ又は複数のパラメータがアクセスされる。構成ガイドは、ビデオの画像サマリを構成するための１つ又は複数のパラメータを含む。ビデオはアクセスされる。ビデオの画像サマリが生成される。画像サマリは、構成ガイドからの１つ又は複数のアクセスされたパラメータに従う。

Description

ビデオの画像サマリに関係する実施が記述される。様々な個別の実施は、構成可能な、ファイン−グレーン（fine-grain）の、階層的な、シーンベースの分析を使用して、ビデオの画像サマリを作成することに関係する。

ビデオはしばしば、長くなり得るものであり、潜在的なユーザが、ビデオに何が含まれるかを決定すること、および、ユーザがビデオを見たいかどうかを決定することを困難にする。様々なツールが、さらにはストーリーブック、またはコミックブック、または物語抽象（narrative abstraction）と呼ばれる、画像サマリを作成するために存在する。画像サマリは、ビデオのコンテンツを要約する、または表すことが意図された、一連の静止ショットを提供する。画像サマリを作成するための利用可能なツールを改善すること、および、作成される画像サマリを改善し続ける必要がある。

一般的な特徴によると、構成ガイドからの１つまたは複数のパラメータがアクセスされる。上記構成ガイドは、ビデオの画像サマリを構成するための１つまたは複数のパラメータを含む。上記ビデオはアクセスされる。上記ビデオに対する上記画像サマリが生成される。上記画像サマリは、上記構成ガイドからの上記１つまたは複数のアクセスされたパラメータに従う。

１つまたは複数の実施の詳細は、添付の図面および下記の記述で説明される。１つの個別の様式で記述される場合でさえ、実施は、様々な様式で構成または実施され得るということが明確であるはずである。例えば実施は、方法として行われ得るものであり、または、例えば、動作群を行うように構成される装置、もしくは、動作のセットを行うための命令を記憶する装置などの装置として実施され得るものであり、または、信号で実施され得る。他の特徴および特性は、その付随する図面および特許請求の範囲との連関で考えられる、その後に続く詳細な記述から明らかとなろう。

ビデオシーケンスに対する階層的構造の例を示す図である。 注釈付きスクリプト、または脚本の例を示す図である。 画像サマリを生成するためのプロセスの一例のフロー線図を示す図である。 画像サマリを生成するためのシステムの一例のブロック線図を示す図である。 画像サマリを生成するためのプロセスに対するユーザインターフェイスの一例のスクリーンショットを示す図である。 画像サマリからの出力ページの一例のスクリーンショットを示す図である。 画像サマリ内のピクチャをシーンに割り振るためのプロセスの一例のフロー線図を示す図である。 希望するページ数に基づき画像サマリを生成するためのプロセスの一例のフロー線図を示す図である。 構成ガイドからのパラメータに基づき画像サマリを生成するためのプロセスの一例のフロー線図を示す図である。

画像サマリは有利には、例えば、高速ビデオブラウジング、メディアバンクプレビューイング、または、メディアライブラリプレビューイングを含み、ユーザ生成された、および／または、ユーザ生成されないコンテンツを管理する（検索する、索出する、その他）、多くの環境およびアプリケーションで使用され得る。メディア消費に対する需要が増大していると、画像サマリを使用し得る環境およびアプリケーションは、増えることが予想される。

画像サマリ生成ツールは、完全自動であり、または、構成のためのユーザ入力を可能とし得る。各々は、その利点および欠点を有する。例えば、完全自動な解決策からの結果は、迅速に提供されるが、消費者の多くには魅力的でない場合がある。しかしながら対照的に、ユーザ構成可能な解決策との複雑な対話は、柔軟性および制御を可能とするが、初心者の消費者を挫折させる場合がある。様々な実施が、自動的な動作およびユーザ構成可能な動作のバランスをとることを試行する実施を含めて、この出願で提供される。１つの実施は、消費者に、出力画像サマリに対して希望するページ数の単純な入力を指定することにより、画像サマリをカスタマイズする能力を提供する。

図１を参照すると、階層的構造１００が、ビデオシーケンス１１０に対して提供されている。ビデオシーケンス１１０は、一連のシーンを含み、図１は、ビデオシーケンス１１０を始めるシーン１ １１２、シーン１ １１２の後に続くシーン２ １１４、ビデオシーケンス１１０の２つの終了からの不特定の距離でのシーンであるシーンｉ １１６、および、ビデオシーケンス１１０内の最後のシーンであるシーンＭ １１８を例示する。

シーンｉ １１６は、一連のショットを含み、階層的構造１００は、シーンｉ １１６を始めるショット１ １２２、シーンｉ １１６の２つの終了からの不特定の距離でのショットであるショットｊ １２４、および、シーンｉ １１６内の最後のショットであるショットＫ_i １２６を例示する。

ショットｊ １２４は、一連のピクチャを含む。これらのピクチャの１つまたは複数は、典型的には、画像サマリを形成するプロセスで、ハイライトピクチャ（しばしばハイライトフレームと呼ばれる）として選択される。階層的構造１００は、第１のハイライトピクチャ１３２、第２のハイライトピクチャ１３４、および、第３のハイライトピクチャ１３６を含む、ハイライトピクチャとして選択されている３つのピクチャを例示する。典型的な実施では、ハイライトピクチャとしてのピクチャの選択は、さらには、画像サマリに含まれているピクチャを結果として生じさせる。

図２を参照すると、注釈付きスクリプト、または脚本２００が提供されている。スクリプト２００は、典型的なスクリプトの様々なコンポーネントを、コンポーネント間の関係性と同じように良好に例示する。スクリプトは、例えばワープロ文書を含む、種々の形式で提供され得る。

スクリプトまたは脚本は頻繁に、映画またはテレビ番組に対する脚本家により書かれた作品として定義される。スクリプトでは、各々のシーンは典型的には、例えば、「誰」（キャラクタまたは複数のキャラクタ）、「何」（状況）、「いつ」（時刻）、「どこ」（動作の場）、および、「なぜ」（動作の目的）を定義するように記述される。スクリプト２００は、単一のシーンに対するものであり、後に続くコンポーネントを、それらのコンポーネントに対する典型的な定義および解説とともに含む。

１．シーン見出し：シーン見出しは、新しいシーン開始を示すように書かれ、一部のワードが短縮され、すべてのワードが大文字にされた状態で、１行でタイプされる。具体的には、シーンの場所は、シーンが生じる時刻の前に記録される。屋内はＩＮＴ．と短縮され、例えば構造の内側を指す。屋外はＥＸＴ．と短縮され、例えば屋外を指す。

スクリプト２００は、屋外、Ｊｏｎｅｓ牧場の小屋の前方であるとして、シーンの場所を識別するシーン見出し２１０を含む。シーン見出し２１０はさらには、日没として時刻を識別する。

２．シーン描写：シーン描写は、左の余白から右の余白に向かってページの間にタイプされる、シーンの描写である。キャラクタの名は、それらが描写で使用される最初にすべて大文字で表示される。シーン描写は典型的には、何がスクリーン上に出現するかを記述し、これを指し示すためのワード「ビデオ上で」により前置きをされ得る。

スクリプト２００は、ワード「ビデオ上で」により指し示されるように、何がビデオ上に出現するかを記述するシーン描写２２０を含む。シーン描写２２０は、３つの部分を含む。シーン描写２２０の第１の部分は、Ｔｏｍ Ｊｏｎｅｓを紹介し、彼の歳（「２２」）、外見（「風化させられた顔」）、背景（「屋外での生活」）、場所（「塀の上に」）、および、現時の活動（「地平線を見る」）を与える。

シーン描写２２０の第２の部分は、一時点でのＴｏｍの心の状態（「心は、何羽かの鳥が頭上を飛ぶようにさまよう」）を記述する。シーン描写２２０の第３の部分は、Ｊａｃｋの助力の申し出への応答での動作（「私たちを見て、立ち上がる」）を記述する。

３．話すキャラクタ：話しているキャラクタの名を指すためにすべて大文字が使用される。

スクリプト２００は、３つの話すキャラクタ指示２３０を含む。第１および第３の話すキャラクタ指示２３０は、Ｔｏｍが話しているということを示す。第２の話すキャラクタ指示２３０は、Ｊａｃｋが話しているということ、およびさらには、Ｊａｃｋはオフスクリーン（「Ｏ．Ｓ．」）である、すなわち、スクリーンに現れないということを示す。

４．独白：キャラクタが話しているテキストが、上述されたように、ページ中央のすべて大文字であるキャラクタの名の下に置かれる。

スクリプト２００は、独白インジケータ２４０により指し示される独白の４つのセクションを含む。第１および第２のセクションは、Ｔｏｍの犬に関する問題、および、それらの問題へのＴｏｍの反応を記述する、Ｔｏｍの第１の独話に対するものである。独白の第３のセクションは、Ｊａｃｋの助力の申し出（「彼をあなたのためにトレーニングして欲しいですか？」）である。独白の第４のセクションは、Ｔｏｍの返答（「ああ、してくれますか？」）である。

５．会話指示：会話指示は、キャラクタの独白が始まる前に、またはそれが始まる際に、キャラクタが見る、または話す様子を記述する。この会話指示は、キャラクタ名より下で、または、独白の内部の別個のライン上で、括弧内にタイプされる。

スクリプト２００は、２つの会話指示２５０を含む。第１の会話指示２５０は、Ｔｏｍが「鼻を鳴らす」ということを示す。第２の会話指示２５０は、Ｔｏｍが「感謝の驚きの表情」を有するということを示す。

６．ビデオ遷移：ビデオ遷移は、解説不要であり、ビデオ内の遷移を示す。

スクリプト２００は、表示されたシーンの終了でビデオ遷移２６０を含む。ビデオ遷移２６０は、次第に黒へ、および次いで、次のシーン（示されない）に対するフェードインを含む。

図３は、画像サマリを生成するためのプロセス３００の一例のフロー線図を示す。プロセス３００は、ユーザ入力（３１０）を受信することを含む。ユーザ入力を受信することは、例えば、パラメータは固定され得るものであり、ユーザによる選択を必要としない場合があるので、任意の動作である。しかしながらユーザ入力は、様々な実施では、
（ｉ）例えばビデオファイル名、ビデオ解像度、および、ビデオモードを含む、画像サマリが望まれるビデオを識別する情報、
（ｉｉ）例えばスクリプトファイル名を含む、ビデオに対応するスクリプトを識別する情報、
（ｉｉｉ）例えば、画像サマリに対して望まれるページの最大数、画像サマリ内のページのサイズ、および／もしくは、画像サマリのページに対するフォーマット設定情報（例えば、画像サマリ内のピクチャ間の間隙に対するサイズ）を含む、望まれる画像サマリ出力を記述する情報、
（ｉｖ）画像サマリを生成する際に使用されることになるビデオの範囲、
（ｖ）例えば、（ｉ）重み付けとの関連によってこの出願で考察されるパラメータの任意のもの、（ｉｉ）重み付けで強調するための主要キャラクタの名（例えば、Ｊａｍｅｓ Ｂｏｎｄ）、（ｉｉｉ）重み付けで強調するためのメインキャラクタの数に対する値、（ｉｖ）重み付けで強調するためのハイライト動作もしくは対象のリスト（例えばユーザは主として、ムービー内のカーチェイスに関心を引き起こされる場合がある）などの、シーン重み付けで使用されるパラメータ、
（ｖｉ）例えば、画像サマリに対して望まれるページの最大数を記述する情報などの、ビデオの様々な部分（例えば、シーン）に対して、画像サマリ内の利用可能なページを割り当てる（budget）際に使用されるパラメータ、
（ｖｉｉ）例えば、ピクチャ品質の尺度を選択するパラメータなどの、ビデオ内のピクチャを評価する際に使用されるパラメータ、ならびに／または、
（ｖｉｉｉ）例えば、ショットごとに選択されることになるピクチャの数などの、画像サマリに含めるためにシーンからピクチャを選択する際に使用されるパラメータ
の、１つまたは複数を含む。

プロセス３００は、相互に対応するスクリプトおよびビデオを同期させること（３２０）を含む。例えば典型的な実施では、ビデオおよびスクリプトは、両方とも単一のムービーに対するものである。同期させる動作３２０の少なくとも１つの実施は、スクリプトを、すでにビデオと同期させられているサブタイトルと同期させる。様々な実施は、同期を、スクリプトのテキストをサブタイトルと相関させることにより行う。スクリプトはそのことにより、サブタイトルによって、ビデオタイミング情報を含むビデオと同期させられる。１つまたは複数のそのような実施は、例えば、Ｍ．Ｅｖｅｒｉｎｇｈａｍ、Ｊ．Ｓｉｖｉｃ、および、Ａ．Ｚｉｓｓｅｒｍａｎ、「’Ｈｅｌｌｏ！ Ｍｙ ｎａｍｅ ｉｓ ．．． Ｂｕｆｆｙ．’ Ａｕｔｏｍａｔｉｃ Ｎａｍｉｎｇ ｏｆ Ｃｈａｒａｃｔｅｒｓ ｉｎ ＴＶ Ｖｉｄｅｏ」、Ｐｒｏｃ． Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆ．、２００６（「Ｅｖｅｒｉｎｇｈａｍ」参照）に記述されているような動的タイムウォーピング方法などの、知られている技法を使用して、スクリプト−サブタイトル同期を行う。Ｅｖｅｒｉｎｇｈａｍ参照のコンテンツは、ここに参照によりそれらの全体で、動的タイムウォーピングの考察を含む、ただしそれに制限されない、すべての目的のために組み込まれている。

同期させる動作３２０は、同期させられるビデオを出力として提供する。同期させられるビデオは、元のビデオを、何らかの様式でスクリプトとの同期を示す追加的な情報も含む。様々な実施は、例えば、スクリプトの様々な部分に対応するピクチャに対するビデオタイムスタンプを決定し、次いで、それらのビデオタイムスタンプを、スクリプトの対応する部分に挿入することにより、ビデオタイムスタンプを使用する。

同期させる動作３２０からの出力は、様々な実施では、変更（例えば、注釈）、および、例えば上述されたような、注釈付きスクリプトを伴わない、元のビデオである。他の実施は、スクリプトを変更する代わりに、またはそれへの追加で、ビデオをまさに変更する。さらに他の実施は、ビデオまたはスクリプトのいずれも変更するのではなく、同期させる情報を別個に提供する。さらに、さらなる実施は、同期を行うことさえない。

プロセス３００は、ビデオ内の１つまたは複数のシーンに重み付けすること（３３０）を含む。他の実施は、例えばショット、または、シーンのグループなどの、ビデオの異なる部分に重み付けする。様々な実施は、シーンの重みを決定する際に、後に続く要素の１つまたは複数を使用する。

１．ビデオ内の開始するシーン、および／または、ビデオ内の終了するシーン：開始および／または終了シーンは、様々な実施では、タイムインジケータ、ピクチャ番号インジケータ、または、シーン番号インジケータを使用して示される。

ａ．Ｓ_startは、ビデオ内の開始するシーンを示す。

ｂ．Ｓ_endは、ビデオ内の終了するシーンを示す。

２．メインキャラクタの出現頻度：
ａ．Ｃ_rank［ｊ］、ｊ＝１、２、３、…、Ｎであり、Ｃ_rank［ｊ］は、ビデオ内の第ｊのキャラクタの出現頻度であり、ただしＮは、ビデオ内のキャラクタの総合的な数である。

ｂ．Ｃ_rank［ｊ］＝ＡＮ［ｊ］／ＴＯＴＡＬであり、ただしＡＮ［ｊ］は、第ｊのキャラクタの出現数であり、

である。出現数（キャラクタ出現）は、キャラクタがビデオ内にあるということの回数である。Ｃ_rank［ｊ］の値は、したがって、０から１の間の数であり、すべてのキャラクタのランク付けを、それらがビデオ内に出現する回数に基づき提供する。

キャラクタ出現は、例えば、スクリプトを検索することによってなど、様々な方途で決定され得る。例えば図２のシーンでは、名「Ｔｏｍ」は、シーン描写２２０内に２回、および、話すキャラクタ２３０として２回、出現する。名「Ｔｏｍ」の発生を計数することにより、私たちは例えば、（ｉ）スクリプト内のワード「Ｔｏｍ」の何らかの出現により決定されるような、Ｔｏｍがシーン内に出現するという事実を反映するための、１回の発生、（ｉｉ）例えば、「Ｔｏｍ」が、話すキャラクタ２３０のテキストのように出現する回数により決定されるような、別のキャラクタの介在する独白を伴わない独白の数を反映するための、２回の発生、（ｉｉｉ）「Ｔｏｍ」がシーン描写２２０のテキスト内に出現する回数を反映するための、２回の発生、または、（ｉｖ）「Ｔｏｍ」が、シーン描写２２０のテキスト、もしくは、話すキャラクタ２３０のテキストのいずれかの一部として出現する回数を反映するための、４回の発生を累算し得る。

ｃ．Ｃ_rank［ｊ］は、降順の順で分類される。したがってＣ_rank［１］は、最も頻繁に発生するキャラクタに対する出現頻度である。

３．シーンの長さ：
ａ．ＬＥＮ［ｉ］、ｉ＝１、２、…、Ｍは、典型的にはピクチャの数で測定される、第ｉのシーンの長さであり、ただしＭは、スクリプト内で定義されるシーンの総合的な数である。

ｂ．ＬＥＮ［ｉ］は、図４との関連によって、後述される同期ユニット４１０で算出され得る。スクリプト内に記述される各々のシーンは、ビデオ内のピクチャの期間にマッピングされることになる。シーンの長さは、例えば、シーンに対応するピクチャの数として定義され得る。他の実施は、シーンの長さを、例えば、シーンに対応するタイムの長さとして定義する。

ｃ．各々のシーンの長さは、様々な実施では、後に続く公式により正規化される。

Ｓ_LEN［ｉ］＝ＬＥＮ［ｉ］／Ｖｉｄｅｏ＿Ｌｅｎ、ｉ＝１、２、…、Ｍ、
ただし、

である。

４．シーン内のハイライトされる動作または対象のレベル：
ａ．Ｌ_high［ｉ］、ｉ＝１、２、…、Ｍは、第ｉのシーン内のハイライトされる動作または対象のレベルとして定義され、ただしＭは、スクリプト内で定義されるシーンの総合的な数である。

ｂ．ハイライトされる動作または対象を伴うシーンは、例えば、スクリプトでのハイライトワード検出により検出され得る。例えば、例えば見る、転ずる、走る、登る、キスする等の、様々なハイライト動作ワード（または、ワードのグループ）を検出することによるものであり、または、例えばドア、テーブル、水、カー、銃、オフィス等の、様々なハイライト対象ワードを検出することによるものである。

ｃ．少なくとも１つの実施形態ではＬ_high［ｉ］は、例えば、下記式によりスケール化される、第ｉのシーンのシーン描写に出現するハイライトワードの数により単純に定義され得る。

Ｌ_high［ｉ］＝Ｌ_high［ｉ］／ｍａｘｉｍｕｍ（Ｌ_high［ｉ］、ｉ＝１、２、…、Ｍ）
少なくとも１つの実施では、開始シーンおよび終了シーンを除いて、すべての他のシーン重み（シーン「ｉ」に対する重みとして示される）は、下記式により算出される。

ただし、
− ＳＨＯＷ［ｊ］［ｉ］は、ビデオの第ｊのメインキャラクタの、シーン「ｉ」に対する出現数である。これは、シーン「ｉ」で発生するＡＮ［ｊ］の一部である。ＳＨＯＷ［ｊ］［ｉ］は、シーンを走査し、ＡＮ［ｊ］を決定するために行われるのと同じタイプの計数を行うことにより算出され得る。
− Ｗ［ｊ］、ｊ＝１、２、…、Ｎ、α、および、βは、重みパラメータである。これらのパラメータは、所望される結果が達せられるように、ベンチマークデータセットからのデータトレーニングによって定義され得る。あるいは重みパラメータは、ユーザによりセットされ得る。１つの個別の実施形態では、
Ｗ［１］＝５、Ｗ［２］＝３、および、Ｗ［ｊ］＝０、ｊ＝３、…、Ｎであり、
α＝０．５であり、
β＝０．１である。

様々なそのような実施では、Ｓ_startおよびＳ_endは、画像サマリ内の開始シーンおよび終了シーンの表現を増やすために、最も高い重みを与えられる。これは、開始シーンおよび終了シーンが典型的にはビデオのナレーションにおいて重要であるので行われる。開始シーンおよび終了シーンの重みは、１つのそのような実施に対して、下記のように算出される。

ＳＣＥ_Weight［１］＝ＳＣＥ_Weight［Ｍ］
＝ｍａｘｉｍｕｍ（ＳＣＥ_wieght［ｉ］、ｉ＝２、３、…、Ｍ−１）＋１
プロセス３００は、ビデオ内のシーンの中で画像サマリのピクチャを割り当てること（３４０）を含む。様々な実施が、ユーザが、ユーザ入力動作３１０で、ビデオ（例えば、ムービーコンテンツ）から生成される画像サマリの最大長さ（すなわち、ＰＡＧＥＳと呼ばれる、ページの最大数）を構成することを可能とする。変数ＰＡＧＥＳは、下記式を使用して、画像サマリのハイライトピクチャの最大数Ｔ_highlightに変換される。

Ｔ_highlight＝ＰＡＧＥＳ＊ＮＵＭＦ_p
ただしＮＵＭＦ_pは、画像サマリの各々のページに割り振られるピクチャ（しばしばフレームと呼ばれる）の平均数であり、少なくとも１つの実施形態では５に設定され、さらには、（例えば、ユーザ入力動作３１０で）ユーザ対話式動作により設定され得る。

その入力を使用して、少なくとも１つの実施は、下記式から、第ｉのシーンに割り振られることになる、（画像サマリのハイライトピクチャ選択のための）ピクチャ割り当て数を決定する。

この式は、利用可能なピクチャの端数を、シーンの総合的な重みの端数に基づいて割り振り、次いで、天井関数を使用して切り上げる。割り当て動作の終了に向かって、Ｔ_highlightを超過することなくすべてのシーン割り当て数を切り上げることは可能でない場合があるということが予想されるべきである。そのような事例では、様々な実施は、例えばＴ_highlightを超過し、他の実施は、例えば切り捨てることを始める。

様々な実施は、シーン以外のビデオの一部に重み付けするということを想起されたい。多くのそのような実施では、動作３４０は頻繁に、ビデオの重み付け部分（必ずしもシーンではない）の中で画像サマリのピクチャを割り当てる動作によって置き換えられる。

プロセス３００は、シーン内の、または、より一般的にはビデオ内のピクチャを評価すること（３５０）を含む。様々な実施では、各々のシーン「ｉ」に対して、魅力的品質（Appealing Quality）が、下記のように、シーン内のあらゆるピクチャに対して算出される。

１．ＡＱ［ｋ］、ｋ＝１、２、…、Ｔ_iは、第ｉのシーン内の各々の画像の魅力的品質を示し、Ｔ_iは、第ｉのシーン内のピクチャの総数である。

２．魅力的品質は、例えば、ＰＳＮＲ（ピーク信号ノイズ比（Peak Signal Noise Ratio））、鮮鋭度レベル、色彩調和レベル（例えば、ピクチャの色が相互に良好に調和するかどうかを算定するための主観分析）、および／または、美的レベル（例えば、色、レイアウト、その他の主観評価）などの画質要素に基づき算出され得る。

３．少なくとも１つの実施形態ではＡＱ［ｋ］は、例えば下記関数を使用して算出される、ピクチャの鮮鋭度レベルとして定義される。

ＡＱ［ｋ］＝ＰＩＸ_edges／ＰＩＸ_total
ただし、
− ＰＩＸ_edgesは、ピクチャ内のエッジ画素数であり、
− ＰＩＸ_totalは、ピクチャ内の画素の総数である。

プロセス３００は、画像サマリに対してピクチャを選択すること（３６０）を含む。この動作３６０はしばしば、ハイライトピクチャの選択と言われる。様々な実施では、各々のシーン「ｉ」に対して、下記動作が行われる。
− ＡＱ［ｋ］、ｋ＝１、２、…、Ｔ_iは、降順の順でソートされ、トップのＦＢｕｇ［ｉ］ピクチャが、最終的な画像サマリに含まれるように、シーン「ｉ」に対してハイライトピクチャとして選択される。
− （ｉ）ＡＱ［ｍ］＝ＡＱ［ｎ］ならば、または、より一般的には、ＡＱ［ｍ］がＡＱ［ｎ］の閾値以内であるならば、ならびに、（ｉｉ）ピクチャｍおよびピクチャｎが同じショット内にあるならば、ピクチャｍおよびピクチャｎの１つのみが、最終的な画像サマリのために選択されることになる。これは、同様の品質のものである、同じショットからのピクチャが、両方は最終的な画像サマリに含まれないということを確実にする助けとなる。代わりに、別のピクチャが選択される。しばしば、そのシーンに対して含まれる追加的なピクチャ（すなわち、含まれる最後のピクチャ）は、異なるショットからのものになる。例えば、（ｉ）シーンが３つのピクチャ、ピクチャ「１」、「２」、および、「３」を割り当てられ、（ｉｉ）ＡＱ［１］がＡＱ［２］の閾値以内であり、したがって、（ｉｉｉ）ピクチャ「２」が含まれるのではなく、ピクチャ「４」が含まれるならば、（ｉｖ）ピクチャ４はピクチャ２とは異なるショットからのものであるという場合が、しばしばある。

他の実施は、シーン（または、割り当てが適用されたビデオの他の部分）からどのピクチャを画像サマリに含めるべきかを決定する、種々の方法論の任意のものを行う。１つの実施は、最も高い魅力的品質（すなわち、ＡＱ［１］）を有する、各々のショットからのピクチャをとり、ＦＢｕｇ［ｉ］内に残存するピクチャが存するならば、ショットに関わらず、最も高い魅力的品質を伴う残存するピクチャが選択される。

プロセス３００は、画像サマリを提供すること（３７０）を含む。様々な実施では、提供すること（３７０）は、画像サマリをスクリーン上に表示することを含む。他の実施は、記憶および／または送信のために画像サマリを提供する。

図４を参照すると、システム４００のブロック線図が示されている。システム４００は、画像サマリを生成するためのシステムの例である。システム４００は、例えばプロセス３００を行うために使用され得る。

システム４００は、入力として、ビデオ４０４、スクリプト４０６、および、ユーザ入力４０８を受け付ける。これらの入力の提供は、例えばユーザ入力動作３１０に対応し得る。

ビデオ４０４およびスクリプト４０６は、相互に対応する。例えば典型的な実施では、ビデオ４０４およびスクリプト４０６は、両方とも単一のムービーに対するものである。ユーザ入力４０８は、下記で解説されるように、種々のユニットの１つまたは複数に対する入力を含む。

システム４００は、スクリプト４０６およびビデオ４０４を同期させる同期ユニット４１０を含む。同期ユニットの少なくとも１つの実施は、同期させる動作３２０を行う。

同期ユニット４１０は、同期されたビデオを出力として提供する。同期されたビデオは、元のビデオ４０４も、何らかの様式でスクリプト４０６との同期を示す追加的な情報も含む。前述のように、様々な実施は、例えば、スクリプトの様々な部分に対応するピクチャに対するビデオタイムスタンプを決定し、次いで、それらのビデオタイムスタンプを、スクリプトの対応する部分に挿入することにより、ビデオタイムスタンプを使用する。他の実施は、ピクチャに対してよりむしろ、シーンまたはショットに対してビデオタイムスタンプを決定および挿入する。スクリプトの一部分とビデオの一部分との間の対応を決定することは、例えば、（ｉ）当技術分野で知られている様々な様式で、（ｉｉ）この出願で記述される様々な様式で、または、（ｉｉｉ）スクリプトを読み出しビデオを見る人のオペレータにより、行われ得る。

同期ユニット４１０からの出力は、様々な実施では、変更（例えば、注釈）、および、例えば上述されたような、注釈付きスクリプトを伴わない、元のビデオである。他の実施は、スクリプトを変更することの代わりに、またはそのことへの追加で、ビデオを変更する。さらに他の実施は、ビデオまたはスクリプトのいずれも変更するのではなく、同期させる情報を別個に提供する。さらに、さらなる実施は、同期を行うことさえない。明確であるはずであるように、同期ユニット４１０からの出力のタイプに依存して、様々な実施は、元のスクリプト４０６を、システム４００の他のユニット（例えば、下記で記述される重み付けユニット４２０など）に提供する必要はない。

システム４００は、重み付けユニット４２０を含み、その重み付けユニット４２０は、入力として、（ｉ）スクリプト４０６、（ｉｉ）同期ユニット４１０からのビデオ４０４および同期情報、ならびに、（ｉｉｉ）ユーザ入力４０８を受信する。重み付けユニット４２０は、例えば、これらの入力を使用して重み付け動作３３０を行う。様々な実施は、ユーザが、例えば、ユーザ入力４０８を使用して、第１および最後のシーンが、最も高い重みを有することになる、またはそうではないか否かを指定することを可能とする。

重み付けユニット４２０は、出力として、分析されている各々のシーンに対するシーン重みを提供する。一部の実施ではユーザは、例えばムービーの第１の１０分のみなどの、ムービーの一部分のみの画像サマリを用意することを希望し得るということに留意されたい。したがって、すべてのシーンが必ずしも、あらゆるビデオにおいて分析されるわけではない。

システム４００は、割り当てユニット４３０を含み、その割り当てユニット４３０は、入力として、（ｉ）重み付けユニット４２０からのシーン重み、および、（ｉｉ）ユーザ入力４０８を受信する。割り当てユニット４３０は、例えば、これらの入力を使用して割り当て動作３４０を行う。様々な実施は、ユーザが、例えば、ユーザ入力４０８を使用して、天井関数（または、例えば床関数）が、割り当て動作３４０の割り当て算出で使用されるか否かを指定することを可能とする。さらに他の実施は、ユーザが、画像サマリのピクチャを、シーン重みに基づきシーンに比例的に割り当てない非線形式を含む、種々の割り当て式を指定することを可能とする。例えば一部の実施は、より高く重み付けされるシーンに、ますますより高いパーセンテージを与える。

割り当てユニット４３０は、出力として、あらゆるシーンに対するピクチャ割り当て数（すなわち、あらゆるシーンに割り振られるピクチャの数）を提供する。他の実施は、例えば、あらゆるシーンに対するページ割り当て、または、各々のショットに対する割り当て数（例えば、ピクチャまたはページ）などの、異なる割り当て出力を提供する。

システム４００は、評価ユニット４４０を含み、その評価ユニット４４０は、入力として、（ｉ）同期ユニット４１０からのビデオ４０４および同期情報、ならびに、（ｉｉ）ユーザ入力４０８を受信する。評価ユニット４４０は、例えば、これらの入力を使用して評価動作３５０を行う。様々な実施は、ユーザが、例えば、ユーザ入力４０８を使用して、何のタイプの魅力的品質要素が使用されることになるか（例えば、ＰＳＮＲ、鮮鋭度レベル、色調和レベル、美的レベル）、およびさらには、特定の式、または、利用可能な式の中の選択を指定することを可能とする。

評価ユニット４４０は、出力として、考えの下にある１つまたは複数のピクチャの評価を提供する。様々な実施は、考えの下にあるあらゆるピクチャの評価を提供する。しかしながら他の実施は、例えば、各々のショット内の第１のピクチャのみの評価を提供する。

システム４００は、選択ユニット４５０を含み、その選択ユニット４５０は、入力として、（ｉ）同期ユニット４１０からのビデオ４０４および同期情報、（ｉｉ）評価ユニット４４０からの評価、（ｉｉｉ）割り当てユニット４３０からの割り当て、ならびに、（ｉｖ）ユーザ入力４０８を受信する。選択ユニット４５０は、例えば、これらの入力を使用して選択動作３６０を行う。様々な実施は、ユーザが、例えば、ユーザ入力４０８を使用して、あらゆるショットからの最良なピクチャが選択されることになるか否かを指定することを可能とする。

選択ユニット４５０は、出力として、画像サマリを提供する。選択ユニット４５０は、例えば、提供する動作３７０を行う。画像サマリは、様々な実施では、記憶装置に、送信装置に、または、提示装置に提供される。出力は、様々な実施では、データファイル、または、送信されるビットストリームとして提供される。

システム４００は、提示ユニット４６０を含み、その提示ユニット４６０は、入力として、例えば、選択ユニット４５０、記憶装置（図示せず）、または、例えば画像サマリを含むブロードキャストストリームを受信する受信器（図示せず）から、画像サマリを受信する。提示ユニット４６０は、例えば、テレビジョン、コンピューター、ラップトップ、タブレット、セル電話、または、何らかの他の通信装置もしくは処理装置を含む。様々な実施での提示ユニット４６０は、それぞれ下記の図５および６で示されるような、ユーザインターフェイスおよび／またはスクリーンディスプレイを提供する。

システム４００の要素は、例えば、ハードウェア、ソフトウェア、ファームウェア、または、それらの組み合わせにより実施され得る。例えば、行われることになる機能に対する適切なプログラミングを伴う１つまたは複数の処理装置が、システム４００を実施するために使用され得る。

図５を参照すると、ユーザインターフェイススクリーン５００が提供されている。ユーザインターフェイススクリーン５００は、画像サマリを生成するためのツールから出力される。ツールは、図５では「Ｍｏｖｉｅ２Ｃｏｍｉｃ」と名付けられている。ユーザインターフェイススクリーン５００は、プロセス３００の実施の部分として使用され得るものであり、システム４００の実施を使用して生成され得る。

スクリーン５００は、ビデオセクション５０５およびコミックブック（画像サマリ）セクション５１０を含む。スクリーン５００はさらには、ソフトウェアの進行の指示を提供する進行フィールド５１５を含む。スクリーン５００の進行フィールド５１５は、「ページレイアウトを表示する…」と記す更新を表示して、ソフトウェアが今ページレイアウトを表示しているということを示している。進行フィールド５１５は、ソフトウェアの進行に従って、表示される更新を変化させることになる。

ビデオセクション５０５は、ユーザが、
− 解像度フィールド５２０を使用して、ビデオ解像度を指定すること、
− 幅フィールド５２２および高さフィールド５２４を使用して、ビデオ内のピクチャの幅および高さを指定すること、
− モードフィールド５２６を使用して、ビデオモードを指定すること、
− ファイル名フィールド５２８を使用して、ビデオに対するソースファイル名を指定すること、
− ブラウズボタン５３０を使用して、利用可能なビデオファイルをブラウズし、開くボタン５３２を使用して、ビデオファイルを開くこと、
− ピクチャ番号フィールド５３４を使用して、（別個のウィンドウで）表示するためのピクチャ番号を指定すること、
− スライダバー５３６を使用して、（別個のウィンドウで）表示するためのビデオピクチャを選択すること、ならびに、
− ナビゲーションボタングルーピング５３８を使用して、（別個のウィンドウで表示される）ビデオ内をナビゲートすること
を含めて、ビデオ情報の様々な項目を指定すること、および、ビデオと対話することを可能とする。

コミックブックセクション５１０は、ユーザが、
− 読み出し構成フィールド５５０を使用して、新しい画像サマリが生成されることになるかどうか（「いいえ」）、または、以前に生成された画像サマリが再使用されることになるかどうか（「はい」）を示すこと（例えば、画像サマリがすでに生成されているならば、ソフトウェアは、以前の計算を２度繰り返すことなく、構成を読み出して、以前に生成された画像サマリを示すことが可能である。）、
− 漫画化（cartoonization）フィールド５５２を使用して、画像サマリが、アニメーション化された見かけを伴って生成されることになるかどうかを指定すること、
− 始まる範囲フィールド５５４および終了する範囲フィールド５５６を使用して、画像サマリの生成で用いるビデオの範囲を指定すること、
− ＭａｘＰａｇｅｓフィールド５５８を使用して、画像サマリに対するページの最大数を指定すること、
− ページ幅フィールド５６０およびページ高さフィールド５６２を使用して、画像サマリページのサイズを指定することであって、それらのフィールドの両方は画素の数で指定される（他の実施は、他の単位を使用する）、画像サマリページのサイズを指定すること、
− 水平間隙フィールド５６４および垂直間隙フィールド５６６を使用して、画像サマリページ上のピクチャ間の間隔を指定することであって、それらのフィールドの両方は画素の数で指定される（他の実施は、他の単位を使用する）、画像サマリページ上のピクチャ間の間隔を指定すること、
− 分析ボタン５６８を使用して、画像サマリを生成することのプロセスを起動すること、
− 取消ボタン５７０を使用して、画像サマリを生成することのプロセスを放棄し、ツールを閉じること、ならびに、
− ナビゲーションボタングルーピング５７２を使用して、（別個のウィンドウで表示される）画像サマリをナビゲートすること
を含めて、画像サマリに対する様々なまとまりの情報を指定すること、および、画像サマリと対話することを可能とする。

スクリーン５００は、構成ガイドの実施を提供するということが明確であるはずである。スクリーン５００は、ユーザが、様々な考察されるパラメータを指定することを可能とする。他の実施は、追加的なパラメータを、スクリーン５００に示されたパラメータのすべてを提供しながら、またはそれらを提供せずに、提供する。様々な実施はさらには、決まったパラメータを自動的に指定し、および／または、デフォルト値をスクリーン５００で提供する。上記で検討されたように、スクリーン５００のコミックブックセクション５１０は、ユーザが、少なくとも、（ｉ）画像サマリを生成する際に使用されるビデオからの範囲、（ｉｉ）生成される画像サマリ内のピクチャの幅、（ｉｉｉ）生成される画像サマリ内のピクチャの高さ、（ｉｖ）生成される画像サマリ内のピクチャを分離するための水平間隙、（ｖ）生成される画像サマリ内のピクチャを分離するための垂直間隙、または、（ｖｉ）生成される画像サマリの希望されるページ数を示す値の、１つまたは複数を指定することを可能とする。

図６を参照すると、スクリーンショット６００が、図５の考察で述べられた「Ｍｏｖｉｅ２Ｃｏｍｉｃ」ツールの出力から提供されている。スクリーンショット６００は、ユーザインターフェイススクリーン５００で示される仕様に従って生成される１ページ画像サマリである。例えば、
− スクリーンショット６００は、５００画素のページ幅を有し（ページ幅フィールド５６０を確認されたい）、
− スクリーンショット６００は、７００画素のページ高さを有し（ページ高さフィールド５６２を確認されたい）、
− 画像サマリは、１ページのみを有し（ＭａｘＰａｇｅｓフィールド５５８を確認されたい）、
− スクリーンショット６００は、８画素のピクチャ間の垂直間隙６０２を有し（垂直間隙フィールド５６６を確認されたい）、
− スクリーンショット６００は、６画素のピクチャ間の水平間隙６０４を有する（水平間隙フィールド５６４を確認されたい）。

スクリーンショット６００は、６つのピクチャを含み、それらのピクチャは、ユーザインターフェイススクリーン５００で識別されるビデオからのハイライトピクチャである（ファイル名フィールド５２８を確認されたい）。６つのピクチャは、ビデオ内の出現の順に、
− ６つのピクチャの最も大きいものであり、スクリーンショット６００の上部に沿って位置設定され、敬礼する男性の前方の遠近図を示す、第１のピクチャ６０５、
− 第１のピクチャ６０５の約半分のサイズであり、第１のピクチャ６０５の左手の一部の下の、スクリーンショット６００の左手側に沿った中ほどに位置設定され、女性の顔を、彼女が彼女の隣の男性と話し合うように示す、第２のピクチャ６１０、
− 第２のピクチャ６１０と同じサイズであり、第２のピクチャ６１０の下に位置設定され、建物および図像標示の前方の一部分を示す、第３のピクチャ６１５、
− 最も小さいピクチャであり、第２のピクチャ６１０の半分のサイズよりも少なく、第１のピクチャ６０５の右手側の下に位置設定され、相互に話し合う２人の男性の、影で暗くされた画像の前方の遠近図を提供する、第４のピクチャ６２０、
− 第２のピクチャ６１０より多少小さく、第４のピクチャ６２０の約２倍のサイズであり、第４のピクチャ６２０の下に位置され、共同墓地の景色を示す、第５のピクチャ６２５、ならびに、
− 第５のピクチャ６２５と同じサイズであり、第５のピクチャ６２５の下に位置され、異なる会話において相互に話し合う、第２のピクチャ６１０からの女性および男性の別の画像を示し、再び女性の顔にピクチャの焦点を合わせた、第６のピクチャ６３０
である。

６つのピクチャ６０５〜６３０の各々は、自動的にサイズ設定され、ピクチャの焦点を関心の対象に合わせるようにクロッピングされる。ツールはさらには、ユーザが、ピクチャ６０５〜６３０の任意のものを使用してビデオをナビゲートすることを可能とする。例えばユーザが、ピクチャ６０５〜６３０の１つの上でクリックする、または、（決まった実施では）その上方にカーソルを置くとき、ビデオは、ビデオのその点から再生することを始める。様々な実施ではユーザは、巻き戻す、高速で進める、および、他のナビゲーション動作を使用することが可能である。

様々な実施は、画像サマリのピクチャを下記の順に、すなわち、（ｉ）ビデオ内のピクチャの時間的な順、（ｉｉ）ピクチャにより表されるシーンのシーンランク付け、（ｉｉｉ）画像サマリのピクチャの魅力的品質（ＡＱ）格付け、および／もしくは、（ｉｖ）画素での、画像サマリのピクチャのサイズに基づく順に配置する。さらに、画像サマリのピクチャ（例えば、ピクチャ６０５〜６３０）のレイアウトは、いくつもの実施では最適化される。より一般的には画像サマリは、決まった実施では、欧州特許出願第２２０７１１１号に記述されている実施の１つまたは複数に従って作り出され、その特許出願は、ここに参照によりその全体で、すべての目的のために組み込まれている。

明確であるべきであるように、典型的な実施ではスクリプトは、例えばビデオタイムスタンプによって注釈付けされるが、ビデオは変更されない。したがって、ピクチャ６０５〜６３０が元のビデオからとられ、ピクチャ６０５〜６３０の１つをクリックすると、元のビデオはそのピクチャから再生を始める。他の実施は、スクリプトの変更への追加で、またはその代わりに、ビデオを変更する。さらに他の実施は、スクリプトまたはビデオのいずれも変更するのではなく、むしろ、別個の同期させる情報を提供する。

６つのピクチャ６０５〜６３０は、ビデオからの実際のピクチャである。すなわちピクチャは、例えば漫画化特性を使用してアニメーション化されていない。他の実施は、しかしながら、画像サマリにピクチャを含める前に、ピクチャをアニメーション化する。

図７を参照すると、プロセス７００のフロー線図が示されている。一般的に話せばプロセス７００は、画像サマリ内のピクチャを異なるシーンに割り振る、または割り当てる。プロセス７００の変形形態は、ピクチャをビデオの異なる部分に割り当てることを可能とし、それら部分は必ずしもシーンではない。

プロセス７００は、第１のシーンおよび第２のシーンにアクセスすること（７１０）を含む。少なくとも１つの実施では動作７１０は、ビデオ内の第１のシーン、および、ビデオ内の第２のシーンにアクセスすることにより行われる。

プロセス７００は、第１のシーンに対する重みを決定すること（７２０）、および、第２のシーンに対する重みを決定すること（７３０）を含む。重みは、少なくとも１つの実施では、図３の動作３３０を使用して決定される。

プロセス７００は、第１のシーンに対する重みに基づき、第１のシーンに対して使用するピクチャの量を決定すること（７４０）を含む。少なくとも１つの実施では動作７４０は、第１の部分からのピクチャがどれほどビデオの画像サマリで使用されることになるかを識別する、第１の数を決定することにより行われる。いくつものそのような実施では第１の数は、１つまたは複数であり、第１の部分に対する重みに基づき決定される。ピクチャの量は、少なくとも１つの実施では、図３の動作３４０を使用して決定される。

プロセス７００は、第２のシーンに対する重みに基づき、第２のシーンに対して使用するピクチャの量を決定すること（７５０）を含む。少なくとも１つの実施では動作７５０は、第２の部分からのピクチャがどれほどビデオの画像サマリで使用されることになるかを識別する、第２の数を決定することにより行われる。いくつものそのような実施では第２の数は、１つまたは複数であり、第２の部分に対する重みに基づき決定される。ピクチャの量は、少なくとも１つの実施では、図３の動作３４０を使用して決定される。

図８を参照すると、プロセス８００のフロー線図が示されている。一般的に話せばプロセス８００は、ビデオに対する画像サマリを生成する。プロセス８００は、画像サマリに対するページの希望される数を示す値にアクセスすること（８１０）を含む。値は、少なくとも１つの実施では、図３の動作３１０を使用してアクセスされる。

プロセス８００は、ビデオにアクセスすること（８２０）を含む。プロセス８００は、ビデオに関して、アクセスされる値に基づくページ計数を有する画像サマリを生成すること（８３０）をさらに含む。少なくとも１つの実施では動作８３０は、ビデオに関する画像サマリを生成することにより行われ、画像サマリはページの総合的な数を有し、ページの総合的な数は、画像サマリに対するページの希望される数を示す、アクセスされる値に基づく。

図９を参照すると、プロセス９００のフロー線図が示されている。一般的に話せばプロセス９００は、ビデオに対する画像サマリを生成する。プロセス９００は、画像サマリに関する構成ガイドからのパラメータにアクセスすること（９１０）を含む。少なくとも１つの実施では動作９１０は、ビデオの画像サマリを構成するための１つまたは複数のパラメータを含む構成ガイドからの、１つまたは複数のパラメータにアクセスすることにより行われる。１つまたは複数のパラメータは、少なくとも１つの実施では、図３の動作３１０を使用してアクセスされる。

プロセス９００は、ビデオにアクセスすること（９２０）を含む。プロセス９００は、ビデオに対して、アクセスされるパラメータに基づき画像サマリを生成すること（９３０）をさらに含む。少なくとも１つの実施では動作９３０は、ビデオに関する画像サマリを生成することにより行われ、画像サマリは、構成ガイドからの１つまたは複数のアクセスされたパラメータに従う。

プロセス９００の、または他のプロセスの様々な実施は、ビデオ自体に関係する１つまたは複数のパラメータにアクセスすることを含む。そのようなパラメータは、例えば、ビデオ解像度、ビデオ幅、ビデオ高さ、および／または、ビデオモードも、スクリーン５００のビデオセクション５０５との関連によってより早期に記述されているような、他のパラメータも含む。様々な実施では、（画像サマリ、ビデオ、または、何らかの他の特徴に関係する）アクセスされるパラメータは、例えば、（ｉ）自動的にシステムにより、（ｉｉ）ユーザ入力により、および／または、ユーザ入力スクリーン（例えば、スクリーン５００など）内のデフォルト値により提供される。

プロセス７００は、様々な実施では、システム４００を使用して、プロセス３００の選択される動作を実行して行われる。同様にプロセス８００および９００は、様々な実施では、システム４００を使用して、プロセス３００の選択される動作を実行して行われる。

様々な実施では、シーンのすべてを表示するための十分なピクチャが画像サマリ内に存在しない。他の実施に対しては、理論的には十分なピクチャが存在する場合があるが、より高い重み付けされたシーンが、より多いピクチャを与えられることを考えると、これらの実施は、画像サマリ内のシーンのすべてを表示する前に、利用可能なピクチャを使い果たす。したがって、これらの実施の多くの変形形態は、（画像サマリ内の）ピクチャを先ずより高い重み付けされたシーンに割り振る特性を含む。そのように、実施が、（画像サマリ内の）利用可能なピクチャを使い果たす場合、より高い重み付けされたシーンが表示されている。多くのそのような実施は、シーンを、シーン重みが減少する順で処理し、したがって、すべてのより高い重み付けされたシーンが、それらに割り振られた（画像サマリ内の）ピクチャを有するまで、（画像サマリ内の）ピクチャをシーンに割り振らない。

画像サマリ内のすべてのシーンを表示すための「十分な」ピクチャを有さない様々な実施では、生成される画像サマリは、ビデオの１つまたは複数のシーンからのピクチャを使用し、１つまたは複数のシーンは、１つまたは複数のシーンを含むビデオのシーン間で区別するランク付けに基づき決定される。決まった実施は、この特性をシーン以外のビデオの部分に適用し、そのことによって、生成される画像サマリは、ビデオの１つまたは複数の部分からのピクチャを使用し、１つまたは複数の部分は、１つまたは複数の部分を含むビデオの部分間で区別するランク付けに基づき決定される。いくつもの実施は、画像サマリ内の（例えば、ビデオの）第１の部分を、第１の部分に対する重みをビデオの他の部分のそれぞれの重みと比較することにより、表示すべきかどうかを決定する。決まった実施では部分は、例えばショットである。

一部の実施は、（例えば、シーンの）ランク付けを使用して、（ｉ）画像サマリ内のシーンを表示すべきかどうかを決定すること、および、（ｉｉ）表示されるシーンからのピクチャをどれほど画像サマリに含めるべきかを決定することの両方を行うということが明確であるはずである。例えばいくつもの実施は、画像サマリ内のすべての位置が満たされるまで、シーンを、重みの減少する順（シーン間で区別するランク付け）で処理する。そのような実施は、そのことにより、どのシーンが画像サマリ内で表示されるかを、シーンは、重みの減少する順で処理されるので、重みに基づき決定する。そのような実施はさらには、各々の表示されるシーンからのどれほど多くのピクチャが画像サマリに含まれるかを、例えば、シーンの重みを使用して、シーンに対しての割り当てられるピクチャの数を決定することにより決定する。

上記の実施の一部の変形形態は、初期には、画像サマリ内のピクチャの数を与えられると、すべてのシーンが画像サマリ内で表されることが可能になるか否かを決定する。答えが、（画像サマリ内の）利用可能なピクチャの不足に起因して「いいえ」であるならば、いくつものそのような実施は、画像サマリ内で、より多くのシーンを表示することが可能であるように、割り振り体系を変化させる（例えば、１つのピクチャのみを各々のシーンに割り振る）。このプロセスは、シーン重みを変化させることと同様の結果を作り出す。再び答えが、（画像サマリ内の）利用可能なピクチャの不足に起因して「いいえ」であるならば、一部の他の実施は、シーン重みに関する閾値を使用して、低い重み付けがされたシーンを、画像サマリのすべてで考慮されていることから排除する。

様々な実施は、選択されるピクチャを画像サマリ内に単純にコピーするということに留意されたい。しかしながら他の実施は、選択されるピクチャを画像サマリ内に挿入する前に、選択されるピクチャ上で様々な処理技法の１つまたは複数を行う。そのような処理技法は、例えば、クロッピング、再サイズ設定、スケール化、アニメーション化（例えば、「漫画化」効果を適用すること）、フィルタリング（例えば、低通過フィルタリング、または、ノイズフィルタリング）、色増強または修正、および、光レベル増強または修正を含む。選択されるピクチャはそれでもなお、選択されるピクチャが、画像サマリ内に挿入されることに先行して処理される場合でも、画像サマリで「使用される」と考えられる。

ユーザが、画像サマリに対するページまたはピクチャの希望される数を指定することを可能とする、様々な実施が記述される。いくつもの実施は、しかしながら、ページまたはピクチャの数をユーザ入力なしで決定する。他の実施は、ユーザが、ページまたはピクチャの数を指定することを可能とするが、ユーザが値を提供しないならば、これらの実施は、決定をユーザ入力なしでする。ページまたはピクチャの数をユーザ入力なしで決定する様々な実施では、数は、例えば、ビデオ（例えば、ムービー）の長さ、または、ビデオ内のシーンの数に基づきセットされる。２時間のランレングスを有するビデオに対しては、画像サマリに対する（様々な実施での）ページの典型的な数は、近似的に３０ページである。ページごとに６つのピクチャが存在するならば、そのような実施でのピクチャの典型的な数は、近似的に１８０である。

いくつかの実施が記述されている。これらの実施の変形形態が、この開示により企図される。いくつかの変形形態が、図での、および実施での要素の多くは、様々な実施では任意であるという事実により得られる。例えば、
− ユーザ入力動作３１０およびユーザ入力４０８は、決まった実施では任意である。例えば決まった実施では、ユーザ入力動作３１０およびユーザ入力４０８は含まれない。いくつものそのような実施は、パラメータのすべてを固定し、ユーザがパラメータを構成することを可能としない。個別の特性が、決まった実施では任意であるということを（ここで、および、この出願内のどこか他の所で）明言することにより、一部の実施は特性を要することになり、他の実施は特性を含まないことになり、さらに他の実施は、特性を、利用可能なオプションとして提供し、（例えば）ユーザが、その特性を使用すべきかどうかを決定することを可能とすることになるということが理解される。
− 同期動作３２０および同期ユニット４１０は、決まった実施では任意である。いくつもの実施は、スクリプトおよびビデオが、画像サマリを生成するツールにより受信されるときに、スクリプトおよびビデオはすでに同期させられているので、同期を行う必要はない。他の実施は、それらの実施はシーン分析をスクリプトなしで行うので、スクリプトおよびビデオの同期を行わない。スクリプトを使用しない様々なそのような実施は、代わりに、（ｉ）クローズキャプションテキスト、（ｉｉ）サブタイトルテキスト、（ｉｉｉ）ボイス認識ソフトウェアを使用してテキストに変えられたオーディオ、（ｉｖ）例えばハイライト対象およびキャラクタを識別するために、ビデオピクチャ上で行われる対象認識、または、（ｖ）同期で有用である、以前に生成された情報を提供するメタデータの、１つまたは複数を使用および分析する。
− 評価動作３５０および評価ユニット４４０は、決まった実施では任意である。いくつもの実施は、ビデオ内のピクチャを評価しない。そのような実施は、選択動作３６０を、ピクチャの魅力的品質以外の１つまたは複数の判定基準に基づき行う。
− 提示ユニット４６０は、決まった実施では任意である。先に記述されているように、様々な実施は、画像サマリを提示することなく、記憶または送信のために画像サマリを提供する。

いくつかの変形形態が、図での、および実施での１つまたは複数の要素を、排除することなく修正することにより得られる。例えば、
− 重み付け動作３３０および重み付けユニット４２０は、例えば以下のものなどの、いくつかの異なる方法でシーンに重み付けし得る。

１．シーンの重み付けは、例えば、シーン内のピクチャの数に基づき得る。１つのそのような実施は、シーン内のピクチャの数に比例する重みを割り当てる。したがって重みは、例えば、ビデオ内のピクチャの総数により割られた、シーン内のピクチャの数（ＬＥＮ［ｉ］）に等しい。

２．シーンの重み付けは、シーン内のハイライトされる動作または対象のレベルに比例し得る。したがって１つのそのような実施では、重みは、ビデオ内のハイライトされる動作または対象の総合的なレベル（すべての「ｉ」に対するＬ_high［ｉ］の和）により割られた、シーン「ｉ」に対するハイライトされる動作または対象のレベル（Ｌ_high［ｉ］）に等しい。

３．シーンの重み付けは、シーン内の１つまたは複数のキャラクタの出現数に比例し得る。したがって様々なそのような実施では、シーン「ｉ」に対する重みは、ｊ＝１…Ｆに対するＳＨＯＷ［ｊ］［ｉ］の和に等しく、ただしＦは、例えば、３（ビデオのトップの３つのメインキャラクタのみが考えられるということを示す）、または何らかの他の数であるように、選定または設定される。Ｆの値は、異なる実施では、および、異なるビデオコンテンツに対しては、異なって設定される。例えばＪａｍｅｓ Ｂｏｎｄムービーでは、Ｆは、画像サマリが、Ｊａｍｅｓ Ｂｏｎｄおよび主要敵役に焦点を合わせられるように、比較的小さい数に設定され得る。

４．上記の例の変形形態は、シーン重みのスケール化を提供する。例えば様々なそのような実施では、シーン「ｉ」に対する重みは、ｊ＝１…Ｆに対する（ｇａｍｍａ［ｉ］＊ＳＨＯＷ［ｊ］［ｉ］）の和に等しい。「ｇａｍｍａ［ｉ］」は、スケール化値（すなわち、重み）であり、例えば、主要キャラクタ（例えば、Ｊａｍｅｓ Ｂｏｎｄ）の出現を、より強調するように使用され得る。

５．「重み」は、異なる実施では異なるタイプの値により表され得る。例えば様々な実施では、「重み」は、ランク付け、反対の（逆順）ランク付け、または、算出される測定基準もしくはスコア（例えば、ＬＥＮ［ｉ］）である。さらに、様々な実施では重みは正規化されないが、他の実施では重みは、結果として生じる重みが０から１の間であるように正規化される。

６．シーンの重み付けは、他の実施に対して考察された重み付け戦略の１つまたは複数の組み合わせを使用して行われ得る。組み合わせは例えば、和、積、比、差、天井、床、平均、メディアン、モード、その他であり得る。

７．他の実施は、シーンに、ビデオ内のシーンの位置との関わりなしに重み付けし、したがって、最も高い重みを第１および最後のシーンに割り当てない。

８．様々な追加的な実施は、シーン分析および重み付けを異なる様式で行う。例えば一部の実施は、スクリプトの異なる、または追加的な部分を検索する（例えば、動作または対象に対するハイライトワードを求めて、シーン描写への追加で、すべての独白を検索する）。追加的に、様々な実施は、シーン分析および重み付けを行う際に、スクリプト以外の項目を検索するものであり、そのような項目は例えば、（ｉ）クローズキャプションテキスト、（ｉｉ）サブタイトルテキスト、（ｉｉｉ）ボイス認識ソフトウェアを使用してテキストに変えられたオーディオ、（ｉｖ）例えばハイライト対象（または動作）およびキャラクタ出現を識別するために、ビデオピクチャ上で行われる対象認識、または、（ｖ）シーン分析を行う際の使用のために以前に生成された情報を提供するメタデータを含む。

９．様々な実施は、重み付けの概念を、シーンとは異なるピクチャのセットに適用する。様々な実施（例えば、短いビデオを必然的に含む）では、（シーンよりむしろ）ショットが重み付けされ、ハイライトピクチャ割り当て数が、ショット重みに基づきショットの中で割り振られる。他の実施では、重み付けされる単位は、シーンより大きく（例えば、シーンはグルーピングされ、または、ショットはグルーピングされる）、または、ショットより小さい（例えば個々のピクチャは、例えばピクチャの「魅力的品質」に基づき重み付けされる）。シーンまたはショットは、様々な実施では、種々の属性に基づきグルーピングされる。一部の例は、（ｉ）シーンもしくはショットを、長さに基づき一体にグルーピングすること（例えば、近接する短いシーンをグルーピングすること）、（ｉｉ）同じタイプのハイライトされた動作もしくは対象を有する、シーンもしくはショットを一体にグルーピングすること、または、（ｉｉｉ）同じメインキャラクタを有する、シーンもしくはショットを一体にグルーピングすることを含む。
− 割り当て動作３４０および割り当てユニット４３０は、画像サマリピクチャをシーン（または、ビデオの何らかの他の部分）に、様々な様式で割り振り得る、または割り当て得る。いくつものそのような実施は、ピクチャを例えば、より高い重み付けされたシーンに、ピクチャの、非比例的により高い（または、より低い）シェアを与える、非線形割り当てに基づき割り当てる。いくつもの他の実施は単純に、ショットごとに１つのピクチャを割り当てる。
− 評価する動作３５０および評価ユニット４４０は、ピクチャを例えば、ピクチャ内に存在するキャラクタ、および／または、シーン内のピクチャの位置に基づき評価し得る（例えば、シーン内の第１のピクチャ、および、シーン内の最後のピクチャは、より高い評価を受け得る）。他の実施は、各々の個々のピクチャに対してよりむしろ、全体のショットまたはシーンに対して、単一の評価（典型的には、数）を提示して、全体のショットまたはシーンを評価する。
− 選択動作３６０および選択ユニット４５０は、ピクチャを、画像サマリに含まれることになるハイライトピクチャとして、他の判定基準を使用して選択し得る。いくつものそのような実施は、あらゆるショット内の第１つまたは最後のピクチャを、ハイライトピクチャとして、ピクチャの品質に関わらず選択する。
− 提示ユニット４６０は、種々の異なる提示装置で実施され得る。そのような提示装置は例えば、テレビジョン（「ＴＶ」）（ピクチャインピクチャ（「ＰＩＰ」）機能性を伴う、または伴わない）、コンピューターディスプレイ、ラップトップディスプレイ、パーソナルディジタルアシスタント（「ＰＤＡ」）ディスプレイ、セル電話ディスプレイ、および、タブレット（例えば、ｉＰａｄ）ディスプレイを含む。提示装置は、異なる実施では、主要スクリーンまたは２次スクリーンのいずれかである。さらに他の実施は、異なる、または追加的な感覚性の提示を提供する提示装置を使用する。ディスプレイ装置は典型的には、視覚的な提示を提供する。しかしながら、他の提示装置は例えば、（ｉ）例えばスピーカを使用する、聴覚性の提示、または、（ｉｉ）例えば、例えば個別の振動性のパターンを提供する、振動装置、もしくは、他の触覚の（タッチベースの）感覚性の指標を提供する装置を使用する、触覚の提示を提供する。
− 記述される実施の要素の多くは、さらにさらなる実施を作り出すために、順に並べ直され得る、または、再配列され得る。例えば、プロセス３００の動作の多くは、システム４００の考察により示唆されるように再配列され得る。様々な実施は、ユーザ入力動作を、例えば、重み付け動作３３０、割り当て動作３４０、評価する動作３５０、または、選択する動作３６０の、１つまたは複数のすぐ前などの、プロセス３００内の１つまたは複数の他の場所に移す。様々な実施は、評価する動作３５０を、例えば、重み付け動作３３０または割り当て動作３４０の、１つまたは複数のすぐ前などの、プロセス３００内の１つまたは複数の他の場所に移す。

記述される実施のいくつもの変形形態は、さらなる特性を追加することを必然的に含む。そのような特性の１つの例は、重大なストーリー点が意図せず漏らされないような、「暴露なし（no spoilers）」特性である。ビデオの重大なストーリー点は、例えば、誰が殺人犯であるか、または、どのように救出もしくは脱出が達成されるかを含み得る。様々な実施の「暴露なし」特性は、例えば、例えばクライマックス、大詰、終局、または、結末の部分である、任意のシーンからの、または代替的に、任意のショットからのハイライトを含まないことにより動作する。これらのシーンまたはショットは、例えば、（ｉ）ビデオの（例えば）最後の１０分内のすべてのシーンもしくはショットが除外されるべきであるということを想定することにより、または、（ｉｉ）除外されることになるシーンおよび／もしくはショットを識別するメタデータにより決定され得るものであり、メタデータは、例えばレビュア、コンテンツ製作者、または、コンテンツプロバイダにより提供される。

様々な実施は、重みを、階層的なファイン−グレーン構造の１つまたは複数の異なるレベルに割り当てる。構造は例えば、シーン、ショット、および、ピクチャを含む。様々な実施は、シーンに、この出願の全体を通して記述されるような、１つまたは複数の様式で重み付けする。様々な実施は、さらには、または代替的に、ショットおよび／またはピクチャに、さらにはこの出願の全体を通して記述される１つまたは複数の様式を使用して重み付けする。ショットおよび／またはピクチャの重み付けは、例えば、後に続く様式の１つまたは複数で行われ得る。
（ｉ）ピクチャの魅力的品質（ＡＱ）は、ピクチャに対する暗黙の重みを提供し得る（例えば、プロセス３００の動作３５０を確認されたい）。与えられるピクチャに対する重みは、決まった実施では、与えられるピクチャに対するＡＱの実際の値である。他の実施では重みは、例えば、ＡＱのスケール化された、または正規化されたバージョンなど、ＡＱの実際の値に基づく（その値に等しくない）。
（ｉｉ）他の実施では、与えられるピクチャに対する重みは、ＡＱ値の大きさの順に並べられたリスティングでの、ＡＱ値のランク付けに等しい、または、そのランク付けに基づく（例えば、ＡＱ値をランク付けする、プロセス３００の動作３６０を確認されたい）。
（ｉｉｉ）ＡＱはさらには、ショットに対する重み付けを提供する。任意の与えられるショットに対する実際の重みは、様々な実施では、ショットの構成物ピクチャのＡＱ値に等しい（または、それらの値に基づく）。例えばショットは、ショット内のピクチャの平均ＡＱに等しい、または、ショット内のピクチャの任意のものに対する最も高いＡＱに等しい重みを有する。
（ｉｖ）他の実施では、与えられるショットに対する重みは、ＡＱ値の大きさの順に並べられたリスティングでの、ショットの構成物ピクチャのランク付けに等しい、または、そのランク付けに基づく（例えば、ＡＱ値をランク付けする、プロセス３００の動作３６０を確認されたい）。例えば、より高いＡＱ値を伴うピクチャは、（ランク付けである）大きさの順に並べられたリスティングで、より高く出現し、それらの「より高いランク付けされた」ピクチャを含むショットは、最終的な画像サマリで表示される（または、より多いピクチャによって表示される）、より高い確率を有する。これは、最終的な画像サマリに含まれ得る、任意の与えられるショットからのピクチャの数を、追加的な規則が制限する場合でさえ真である。任意の与えられるショットに対する実際の重みは、様々な実施では、大きさの順に並べられたＡＱリスティングでの、ショットの構成ピクチャの位置に等しい（または、それらの位置に基づく）。例えばショットは、ショットのピクチャの（大きさの順に並べられたＡＱリスティングでの）平均位置に等しい（または、その位置に基づく）、または、ショットのピクチャの任意のものに対する最も高い位置に等しい（または、その位置に基づく）重みを有する。

いくつかの独立したシステムまたは製品が、この出願で提供される。例えばこの出願は、元のビデオおよびスクリプトによって開始する画像サマリを生成するためのシステムを記述する。しかしながら、この出願はさらには、例えば以下のものを含めて、いくつかの他のシステムを記述する。
− システム４００のユニットの各々は、別個の、および独立した、エンティティおよび発明として、自立できる。したがって例えば、同期システムは例えば、同期ユニット４１０に対応し得るものであり、重み付けシステムは重み付けユニット４２０に対応し得るものであり、割り当てシステムは割り当てユニット４３０に対応し得るものであり、評価システムは評価ユニット４４０に対応し得るものであり、選択システムは選択ユニット４５０に対応し得るものであり、提示システムは提示ユニット４６０に対応し得る。
− さらに、少なくとも１つの重みおよび割り当てシステムは、シーン（または、ビデオの他の部分）に重み付けすること、および、ピクチャ割り当て数を、シーン（または、ビデオの他の部分）の中で、重みに基づき割り振ることの機能を含む。重みおよび割り当てシステムの１つの実施は、重み付けユニット４２０および割り当てユニット４３０からなる。
− さらに、少なくとも１つの評価および選択システムは、ビデオ内のピクチャを評価すること、および、決まったピクチャを、評価に基づき選択して、画像サマリに含めることの機能を含む。評価および選択システムの１つの実施は、評価ユニット４４０および選択ユニット４５０からなる。
− さらに、少なくとも１つの割り当ておよび選択システムは、ピクチャ割り当て数を、ビデオ内のシーンの中で割り振ること、および次いで、決まったピクチャを（割り当てに基づき）選択して、画像サマリに含める機能を含む。割り当ておよび選択システムの１つの実施は、割り当てユニット４３０および選択ユニット４５０からなる。評価ユニット４４０により行われるそれと同様の評価機能が、さらには、割り当ておよび選択システムの様々な実施に含まれる。

この出願で記述される実施は、種々の利点の１つまたは複数を提供する。そのような利点は、例えば、
− 画像サマリを生成するためのプロセスを提供することであって、プロセスが、（ｉ）ユーザ入力に適合的である、（ｉｉ）ビデオ内の各々のピクチャを評価することによりファイン−グレーン化される、および／または、（ｉｉｉ）シーンと、ショットと、個々のピクチャとを分析することにより階層的である、プロセスを提供すること、
− 重みを、シーン、ショット、および、ハイライトピクチャを含む階層的ファイン−グレーン構造の異なるレベルに割り当てること、
− 例えば、ビデオの内部のシーン位置、メインキャラクタの出現頻度、シーンの長さ、および、シーン内のハイライトされる動作または対象のレベル／分量などの、１つまたは複数の特性を考えることにより、シーン（または、ビデオの他の部分）に対する重要度（重み）の異なるレベルを識別すること、
− 画像サマリに対するハイライトピクチャを選択する際に、ピクチャの「魅力的品質」要素を考えること、
− シーン、ショット、および、ハイライトピクチャの重みを定義する際に、ナレーションプロパティを維持することであって、「ナレーションプロパティ」を維持することが、画像サマリの典型的な視聴者が、画像サマリのみを視聴することにより、それでもビデオのストーリーを理解することが可能であるように、画像サマリでのビデオのストーリーを保つことを指す、ナレーションプロパティを維持すること、
− 例えば、ハイライト動作／ワードの存在、および、メインキャラクタの存在を考えることによってなどで、重みまたはランク付けを決定するときに、どれほどシーン、ショット、または、ピクチャが「関心を引き起こす」ものであるかに関係付けられる要素を考えること、ならびに／あるいは、
− 画像サマリを生成する際に、シーンと、ショットと、個々のピクチャとを分析する階層的プロセスで、下記要素：（ｉ）開始シーンおよび終了シーンを優遇すること、（ｉｉ）メインキャラクタの出現頻度、（ｉｉｉ）シーンの長さ、（ｉｖ）シーン内のハイライトされる動作もしくは対象のレベル、または、（ｖ）ピクチャに対する「魅力的品質」要素の、１つまたは複数を使用すること
を含む。

この出願は、種々の異なる環境で使用され得る、および、種々の異なる目的に対して使用され得る実施を提供する。一部の例は、制限なしで、以下のことを含む。
− 実施は、ＤＶＤまたはオーバーザトップ（「ＯＴＴ」）ビデオアクセスに対する自動的なシーン選択メニューのために使用される。
− 実施は、擬似予告編生成のために使用される。例えば画像サマリは、宣伝として提供される。画像サマリ内のピクチャの各々は、ユーザに、ピクチャ上でクリックすることにより、そのピクチャで始まるビデオのクリップを提供する。クリップの長さは、様々な様式で決定され得る。
− 実施は、例えばアプリとしてパッケージ化され、（例えば、様々なムービーまたはＴＶシリーズの）ファンが、１回分の話の、シーズンの、全体のシリーズの、その他の概要を作成することを可能とする。ファンは、関連性のあるビデオを選択し、または、例えばシーズンに対する、もしくはシリーズに対するインジケータを選択する。これらの実施は、例えば、ユーザが、数日にわたるショーの全体のシーズンを、あらゆるショーのあらゆる分を見る必要なく「見る」ことを望むときに有用である。これらの実施はさらには、先行のシーズンをレビューするために、または、自身に、以前に何を見たかを思い出させるために有用である。これらの実施はさらには、ユーザが、ユーザが見たコンテンツのトラックを維持することを可能にする、娯楽日記として使用され得る。
− 完全に構造化されたスクリプトによらずに（例えば、クローズドキャプションのみによって）動作する実施は、テレビジョン上で、ＴＶ信号を調査および処理することにより動作し得る。ＴＶ信号はスクリプトを有さないが、そのような実施は、追加的な情報（例えば、スクリプト）を有する必要はない。いくつものそのような実施は、視聴されるすべてのショーの画像サマリを自動的に作成するように設定され得る。これらの実施は、例えば、（ｉ）娯楽日記を作成する際に、または、（ｉｉ）親が、彼らの子がＴＶで何を見ていたかを追跡する際に有用である。
− 実施は、上述されたようにＴＶで動作しようとそうでなかろうと、電子番組ガイド（「ＥＰＧ」）番組記述を改善するために使用される。例えば一部のＥＰＧは、ムービーまたはシリーズ１回分の話の３ラインテキスト記述のみを表示する。様々な実施は、代わりに、潜在的な視聴者にショーの要旨を与える、対応する妥当な会話を伴うピクチャ（またはクリップ）の自動化された抽出物を提供する。いくつものそのような実施は、プロバイダにより供与されるショー上で、ショーを放送することに先行してバルクラン（bulk-run）され、結果として生じる抽出物は、ＥＰＧによって利用可能にされる。

この出願は、図１の階層的構造、図２のスクリプト、図４のブロック線図、図３および７〜８のフロー線図、ならびに、図５〜６のスクリーンショットを含む、多数の図を提供する。これらの図の各々は、種々の実施に対する開示を提供する。
− 例えばブロック線図は確かに、装置またはシステムの機能ブロックの相互接続を記述する。しかしながら、ブロック線図はプロセスフローの記述を提供することも、明確であるべきである。例として、図４はさらには、図４のブロックの機能を行うためのフロー線図を提示する。例えば、重み付けユニット４２０に対するブロックはさらには、シーン重み付けを行うことの動作を表し、割り当てユニット４３０に対するブロックはさらには、シーン割り当てを行うことの動作を表す。図４の他のブロックは同様に、このフロープロセスを記述するように解釈される。
− 例えばフロー線図は確かに、フロープロセスを記述する。しかしながら、フロー線図は、フロープロセスを行うためのシステムまたは装置の機能ブロック間の相互接続を提供することも、明確であるべきである。例えば図３との関連によって、同期させる動作３２０に対するブロックはさらには、ビデオおよびスクリプトを同期させることの機能を行うためのブロックを表す。図３の他のブロックは同様に、このシステム／装置を記述するように解釈される。さらに、図７〜８はさらには、同様の手法で、それぞれのシステムまたは装置を記述するように解釈され得る。
− 例えばスクリーンショットは確かに、ユーザに示されるスクリーンを描写する。しかしながら、スクリーンショットは、ユーザと対話するためのフロープロセスを記述することも、明確であるべきである。例えば図５はさらには、ユーザに、画像サマリを構築するためのひな形を提示すること、入力をユーザから受け付けること、および次いで、画像サマリを構築すること、および場合によっては、プロセスを反復し、画像サマリを精緻化するプロセスを記述する。さらに、図６はさらには、同様の手法で、それぞれのフロープロセスを記述するように解釈され得る。

私たちはこうして、いくつかの実施を提供した。しかしながら、追加的なアプリケーションも、記述された実施の変形形態が、企図され、私たちの開示内にあると考えられるということが留意されるべきである。追加的に、記述された実施の特性および特徴は、他の実施に対して適合され得る。

様々な実施が、「画像」および／または「ピクチャ」に言及する。用語「画像」および「ピクチャ」は、この文書の全体を通して互換的に使用され、広い用語であることが意図される。「画像」または「ピクチャ」は、例えば、フレームの、またはフィールドの、すべてまたは部分であり得る。用語「ビデオ」は、画像（またはピクチャ）のシーケンスを指す。画像またはピクチャは、例えば、様々なビデオコンポーネント、または、それらの組み合わせの任意のものを含み得る。そのようなコンポーネント、または、それらの組み合わせは、例えば、輝度、色度、（ＹＵＶまたはＹＣｂＣｒまたはＹＰｂＰｒの）Ｙ、（ＹＵＶの）Ｕ、（ＹＵＶの）Ｖ、（ＹＣｂＣｒの）Ｃｂ、（ＹＣｂＣｒの）Ｃｒ、（ＹＰｂＰｒの）Ｐｂ、（ＹＰｂＰｒの）Ｐｒ、（ＲＧＢの）赤、（ＲＧＢの）緑、（ＲＧＢの）青、Ｓ−ビデオ、および、これらのコンポーネントの任意のものの負数または正数を含む。「画像」または「ピクチャ」は、さらには、または代替的に、例えば、典型的な２次元ビデオ、露光マップ、２Ｄビデオピクチャに対する視差マップ、２Ｄビデオピクチャに対応するデプスマップ、または、エッジマップを含む、様々な異なるタイプのコンテンツを指す。

現在の原理の「１つの実施形態」または「実施形態」または「１つの実施」または「実施」への言及は、それらの他の変形形態へも、実施形態との接続で記述される、個別の特性、構造、特性等々が、現在の原理の少なくとも１つの実施形態に含まれることを意味する。したがって、明細書の全体を通して様々な場で出現する、フレーズ「１つの実施形態では」または「実施形態では」または「１つの実施では」または「実施では」の出現も、任意の他の変形形態の出現も、必ずしもすべて同じ実施形態を指しているわけではない。

追加的に、この出願、または、その特許請求の範囲は、様々なまとまりの情報を「決定すること」に言及する場合がある。情報を決定することは、例えば、情報を推定すること、情報を算出すること、情報を予測すること、または、情報をメモリから索出することの、１つまたは複数を含み得る。

さらに、この出願、または、その特許請求の範囲は、様々なまとまりの情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、情報を索出すること（例えば、メモリから索出すること）、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移すこと、情報をコピーすること、情報を消去すること、情報を算出すること、情報を決定すること、情報を予測すること、または、情報を推定することの、１つまたは複数を含み得る。

例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、および、「ＡおよびＢの少なくとも１つ」の事例での、後に続く「／」、「および／または」、および、「の少なくとも１つ」の任意のものの使用は、第１のリスティングされるオプション（Ａ）のみの選択、または、第２のリスティングされるオプション（Ｂ）のみの選択、または、両方のオプション（ＡおよびＢ）の選択を網羅することが意図されるということが正しく認識されるべきである。さらなる例として、「Ａ、Ｂ、および／または、Ｃ」、および、「Ａ、Ｂ、および、Ｃの少なくとも１つ」、および、「Ａ、Ｂ、または、Ｃの少なくとも１つ」の事例では、そのようなフレージングは、第１のリスティングされるオプション（Ａ）のみの選択、または、第２のリスティングされるオプション（Ｂ）のみの選択、または、第３のリスティングされるオプション（Ｃ）のみの選択、または、第１および第２のリスティングされるオプション（ＡおよびＢ）のみの選択、または、第１および第３のリスティングされるオプション（ＡおよびＣ）のみの選択、または、第２および第３のリスティングされるオプション（ＢおよびＣ）のみの選択、または、すべての３つのオプション（ＡおよびＢおよびＣ）の選択を網羅することが意図される。これは、この、および関係付けられる技術分野での通常の熟練の者により直ちに明らかなように、同じように多くのリスティングされる項目に対して拡張され得る。

追加的に、多くの実施は、例えばポストプロセッサーまたはプリプロセッサーなどのプロセッサーで実施され得る。この出願で考察されるプロセッサーはまさに、様々な実施では、例えばプロセス、機能、または、動作を行うように集団的に構成される、多重のプロセッサー（サブプロセッサー）を含む。例えばシステム４００は、システム４００の動作を行うように集団的に構成される、多重のサブプロセッサーを使用して実施され得る。

本明細書で記述される実施は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または、信号で実施され得る。実施の単一の形式の文脈で考察されるのみ（例えば、方法としてのみ考察される）の場合でさえ、考察される特性の実施はさらには、他の形式（例えば、装置またはプログラム）で実施され得る。装置は例えば、適切なハードウェア、ソフトウェア、および、ファームウェアで実施され得る。方法は例えば、一般的に例えばコンピューター、マイクロプロセッサ、集積された回路、または、プログラマブル論理装置を含む処理装置を指す、例えばプロセッサーなどの装置で実施され得る。プロセッサーはさらには、例えば、エンドユーザ間の情報の通信を容易にする、コンピューター、ラップトップ、セル電話、タブレット、ポータブル／パーソナルディジタルアシスタント（「ＰＤＡ」）、および、他の装置などの通信装置を含む。

本明細書で記述される様々なプロセスおよび特性の実施は、種々の異なる機器またはアプリケーションで実施され得る。そのような機器の例は、符号化器、復号器、ポストプロセッサー、プリプロセッサー、ビデオコーダ、ビデオ復号器、ビデオコーデック、ウェブサーバー、テレビジョン、セットトップボックス、ルータ、ゲートウェイ、モデム、ラップトップ、パーソナルコンピューター、タブレット、セル電話、ＰＤＡ、および、他の通信装置を含む。明確であるはずであるように、機器は、移動可能であり得るものであり、移動可能な乗物に設置される場合さえある。

追加的に方法は、プロセッサーにより行われている命令により実施され得るものであり、そのような命令（および／または、実施により作り出されるデータ値）は、例えば、集積された回路、ソフトウェア搬送波、または、例えばハードディスク、コンパクトディスケット（「ＣＤ」）、光学ディスク（例えば、しばしばディジタルバーサタイルディスクまたはディジタルビデオディスクと呼ばれるＤＶＤなど）、ランダムアクセスメモリ（「ＲＡＭ」）、もしくは、読み出しのみのメモリ（「ＲＯＭ」）などの他の記憶装置などの、プロセッサー可読メディア上に記憶され得る。命令は、プロセッサー可読メディア上で有形に実施されるアプリケーションプログラムを形成し得る。命令は例えば、ハードウェア、ファームウェア、ソフトウェア、または、組み合わせの状態であり得る。命令は例えば、オペレーティングシステム、別個のアプリケーション、または、２つの組み合わせに見出され得る。プロセッサーは、したがって例えば、プロセスを実行するように構成される装置、および、プロセスを実行するための命令を有するプロセッサー可読メディア（記憶装置など）を含む装置の両方として特性付けられ得る。さらにプロセッサー可読メディアは、命令への追加で、または命令の代わりに、実施により生出されるデータ値を記憶し得る。

当技術分野での熟練の者には明瞭となるように、実施は、例えば記憶または送信され得る情報を搬送するようにフォーマットされた種々の信号を作り出し得る。情報は例えば、方法を行うための命令、または、記述される実施の１つにより作り出されるデータを含み得る。

例えば信号は、データとして、構文を書き記す、もしくは読み出すための規則を搬送するように、または、データとして、構文規則を使用して生成される実際の構文値を搬送するようにフォーマットされ得る。そのような信号は例えば、（例えば、スペクトルの無線周波数部分を使用して）電磁波として、または、ベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えば、データストリームを符号化すること、および、搬送波を、符号化されるデータストリームによって変調することを含み得る。信号が搬送する情報は例えば、アナログまたはディジタル情報であり得る。信号は、知られているように、種々の異なる有線リンクまたは無線リンクによって送信され得る。信号は、プロセッサー可読メディア上に記憶され得る。

いくつかの実施が記述された。それでも、様々な修正がされ得るということが理解されよう。例えば異なる実施の要素が、他の実施を作り出すように、組み合わされ、補完され、修正され、または、除去され得る。追加的に、通常の熟練の者は、他の構造およびプロセスが、開示されるものの代わりに使われ得るものであり、結果として生じる実施は、開示される実施と、少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を実行して、少なくとも実質的に同じ結果を成し遂げることになるということを理解するであろう。したがって、これらおよび他の実施が、この出願により企図される。

ＳＣＥ_Weight［１］＝ＳＣＥ_Weight［Ｍ］
＝ｍａｘｉｍｕｍ（ＳＣＥ _Weight ［ｉ］、ｉ＝２、３、…、Ｍ−１）＋１
プロセス３００は、ビデオ内のシーンの中で画像サマリのピクチャを割り当てること（３４０）を含む。様々な実施が、ユーザが、ユーザ入力動作３１０で、ビデオ（例えば、ムービーコンテンツ）から生成される画像サマリの最大長さ（すなわち、ＰＡＧＥＳと呼ばれる、ページの最大数）を構成することを可能とする。変数ＰＡＧＥＳは、下記式を使用して、画像サマリのハイライトピクチャの最大数Ｔ_highlightに変換される。

いくつかの実施が記述された。それでも、様々な修正がされ得るということが理解されよう。例えば異なる実施の要素が、他の実施を作り出すように、組み合わされ、補完され、修正され、または、除去され得る。追加的に、通常の熟練の者は、他の構造およびプロセスが、開示されるものの代わりに使われ得るものであり、結果として生じる実施は、開示される実施と、少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を実行して、少なくとも実質的に同じ結果を成し遂げることになるということを理解するであろう。したがって、これらおよび他の実施が、この出願により企図される。
［付記１］
ビデオの画像サマリを構成するための１つ又は複数のパラメータを含む構成ガイドからの１つ又は複数のパラメータにアクセスするステップと、
前記ビデオにアクセスするステップと、
前記ビデオの前記画像サマリを生成するステップであって、前記画像サマリは前記構成ガイドからの前記１つ又は複数のアクセスされたパラメータに従う、前記ステップと、
を有する、方法。
［付記２］
前記１つ又は複数のアクセスされたパラメータは、画像サマリの希望するページ数を指し示す値を含み、
前記生成された画像サマリは総ページ数を有し、前記総ページ数は前記画像サマリ内の前記希望するページ数を指し示す、前記アクセスされた値に基づく、付記１に記載の方法。
［付記３］
前記１つ又は複数のアクセスされたパラメータは、（ｉ）前記画像サマリの生成において使用されるビデオからの範囲、（ｉｉ）前記生成された画像サマリ内のピクチャの幅、（ｉｉｉ）前記生成された画像サマリ内のピクチャの高さ、（ｉｖ）前記生成された画像サマリ内のピクチャを分離するための水平間隔、（ｖ）前記生成された画像サマリ内のピクチャを分離するための垂直間隔、又は（ｖｉ）前記生成された画像サマリの希望するページ数を指し示す値の１つ又は複数を含む、付記１に記載の方法。
［付記４］
前記画像サマリを生成するステップは、
前記ビデオ内の第１のシーン、および前記ビデオ内の第２のシーンにアクセスするステップと、
前記第１のシーンの重みを決定するステップと、
前記第２のシーンの重みを決定するステップと、
前記第１のシーンからのピクチャがどれだけの数、前記ビデオの前記画像サマリ内に使用されるかを識別する第１の数を決定するステップであって、前記第１の数は１以上であり、前記第１のシーンの重みに基づき決定される、前記ステップと、
前記第２のシーンからのピクチャがどれだけの数、前記ビデオの前記画像サマリ内に使用されるかを識別する第２の数を決定するステップであって、前記第２の数は１以上であり、前記第２のシーンの重みに基づき決定される、前記ステップと、
を含む、付記１に記載の方法。
［付記５］
前記１つ又は複数のアクセスされたパラメータは、画像サマリの希望するページ数を指し示す値を含み、
前記第１の数を決定するステップは、前記画像サマリ内の前記希望するページ数を指し示す、前記アクセスされた値にさらに基づく、付記４に記載の方法。
［付記６］
前記構成ガイドからの前記１つ又は複数のアクセスされたパラメータは、ユーザが提供するパラメータを含む、付記１に記載の方法。
［付記７］
前記画像サマリ内の前記希望するページ数を指し示す、前記アクセスされた値は、ユーザが提供する値である、付記２に記載の方法。
［付記８］
前記画像サマリを生成するステップは、
前記第１のシーン内の第１のピクチャおよび前記第１のシーン内の第２のピクチャにアクセスするステップと、
前記第１のピクチャの１つ又は複数の特徴に基づき、前記第１のピクチャの重みを決定するステップと、
前記第２のピクチャの１つ又は複数の特徴に基づき、前記第２のピクチャの重みを決定するステップと、
前記第１のピクチャの重みおよび前記第２のピクチャの重みに基づき、前記画像サマリ内の前記第１のシーンのための前記第１の数のピクチャの一部となる前記第１のピクチャおよび前記第２のピクチャの１つ又は複数を選択するステップと、
をさらに含む、付記４に記載の方法。
［付記９］
前記第１の数を決定するステップは、（ｉ）前記第１のシーンの重みと（ｉｉ）重み付けされた全シーンの全重みとの比率に基づく、付記４に記載の方法。
［付記１０］
前記第１のシーンの重みが前記第２のシーンの重みよりも重いとき、前記第１の数は、少なくとも前記第２の数と同じ大きさである、付記４に記載の方法。
［付記１１］
前記第１のシーンの重みを決定するステップは、前記ビデオに対応するスクリプトからの入力に基づく、付記４に記載の方法。
［付記１２］
前記第１のシーンの重みを決定するステップは、（ｉ）前記ビデオからの１又は複数の主要キャラクタの前記第１のシーンにおける出現率、（ｉｉ）前記第１のシーンの長さ、（ｉｉｉ）前記第１のシーンにおけるハイライトの数、又は（ｉｖ）前記ビデオにおける前記第１のシーンの位置の１つ又は複数に基づく、付記４に記載の方法。
［付記１３］
前記第１のシーンの重みを決定するステップは、ユーザ入力に基づく、付記４に記載の方法。
［付記１４］
前記生成された画像サマリは、前記ビデオの１つ又は複数の部分からのピクチャを使用し、前記１つ又は複数の部分の少なくとも１つからの前記画像サマリ内で使用されるピクチャの数が前記部分のランク付けに基づき決定される、付記１に記載の方法。
［付記１５］
前記生成された画像サマリは、前記ビデオの１つ又は複数の部分からのピクチャを使用し、前記１つ又は複数の部分は、前記１つ又は複数の部分を含む前記ビデオの部分間を区別するランク付けに基づき決定される、付記１に記載の方法。
［付記１６］
前記画像サマリを生成するステップは、
前記ビデオ内の第１の部分、および前記ビデオ内の第２の部分にアクセスするステップと、
前記第１の部分の重みを決定するステップと、
前記第２の部分の重みを決定するステップと、
前記第１の部分からのピクチャがどれだけの数、前記ビデオの前記画像サマリ内に使用されるかを識別する第１の数を決定するステップであって、前記第１の数は、１つ又は複数であり、前記第１の部分の重みに基づき決定される、前記ステップと、
前記第２の部分からのピクチャがどれだけの数、前記ビデオの前記画像サマリ内に使用されるかを識別する第２の数を決定するステップであって、前記第２の数は、１つ又は複数であり、前記第２の部分の重みに基づき決定される、前記ステップと、
を含む、付記１に記載の方法。
［付記１７］
付記１から１６のいずれかに記載の方法の１つ又は複数を実行するよう構成された装置。
［付記１８］
（ｉ）ビデオの画像サマリを構成するための１つ又は複数のパラメータを含む構成ガイドからの１つ又は複数のパラメータにアクセスし、（ｉｉ）前記ビデオにアクセスし、（ｉｉｉ）前記ビデオの前記画像サマリを生成するように構成された画像サマリ生成部であって、前記画像サマリは、前記構成ガイドからの前記１つ又は複数のパラメータに従う、前記画像サマリ生成部、
を備えた、付記１７に記載の装置。
［付記１９］
ビデオの画像サマリを構成するための１つ又は複数のパラメータを含む構成ガイドからの１つ又は複数のパラメータにアクセスする手段と、
前記ビデオにアクセスする手段と、
前記ビデオの前記画像サマリを生成する手段であって、前記画像サマリは、前記構成ガイドからの前記１つ又は複数のアクセスされたパラメータに従う、前記手段と、
を備えた、付記１７に記載の装置。
［付記２０］
付記１から１６のいずれかに記載の方法の１つ又は複数を実行するよう全体として構成された１つ又は複数のプロセッサーを備えた、付記１７に記載の装置。
［付記２１］
１つ又は複数のプロセッサーに付記１から１６のいずれかに記載の方法の１つ又は複数を全体として実行させるための命令を格納したプロセッサー読み取り可能な記録媒体。

Claims (21)

1. ビデオの画像サマリを構成するための１つ又は複数のパラメータを含む構成ガイドからの１つ又は複数のパラメータにアクセスするステップと、
   前記ビデオにアクセスするステップと、
   前記ビデオの前記画像サマリを生成するステップであって、前記画像サマリは前記構成ガイドからの前記１つ又は複数のアクセスされたパラメータに従う、ステップと、
   を有する、方法。
2. 前記１つ又は複数のアクセスされたパラメータは、画像サマリの希望するページ数を指し示す値を含み、
   前記生成された画像サマリは総ページ数を有し、前記総ページ数は前記アクセスされた値に基づく、請求項１に記載の方法。
3. 前記１つ又は複数のアクセスされたパラメータは、（ｉ）前記画像サマリの生成において使用されるビデオからの範囲、（ｉｉ）前記生成された画像サマリ内のピクチャの幅、（ｉｉｉ）前記生成された画像サマリ内のピクチャの高さ、（ｉｖ）前記生成された画像サマリ内のピクチャを分離するための水平間隔、（ｖ）前記生成された画像サマリ内のピクチャを分離するための垂直間隔、又は（ｖｉ）前記生成された画像サマリの希望するページ数を指し示す値の１つ又は複数を含む、請求項１に記載の方法。
4. 前記画像サマリを生成するステップは、
   前記ビデオ内の第１のシーン、および前記ビデオ内の第２のシーンにアクセスするステップと、
   前記第１のシーンの重みを決定するステップと、
   前記第２のシーンの重みを決定するステップと、
   前記第１のシーンからのピクチャがどれだけの数、前記ビデオの前記画像サマリ内に使用されるかを識別する第１の数を決定するステップであって、前記第１の数は１以上であり、前記第１のシーンの重みに基づき決定される、ステップと、
   前記第２のシーンからのピクチャがどれだけの数、前記ビデオの前記画像サマリ内に使用されるかを識別する第２の数を決定するステップであって、前記第２の数は１以上であり、前記第２のシーンの重みに基づき決定される、ステップと、
   を含む、請求項１に記載の方法。
5. 前記１つ又は複数のアクセスされたパラメータは、画像サマリの希望するページ数を指し示す値を含み、
   前記第１の数を決定するステップは、前記画像サマリの希望するページ数を指し示す、前記アクセスされた値にさらに基づく、請求項４に記載の方法。
6. 前記構成ガイドからの前記１つ又は複数のアクセスされたパラメータは、ユーザが提供するパラメータを含む、請求項１に記載の方法。
7. 前記画像サマリの希望するページ数を指し示す、前記アクセスされた値は、ユーザが提供する値である、請求項２に記載の方法。
8. 前記画像サマリを生成するステップは、
   前記第１のシーン内の第１のピクチャおよび前記第１のシーン内の第２のピクチャにアクセスするステップと、
   前記第１のピクチャの１つ又は複数の特徴に基づき、前記第１のピクチャの重みを決定するステップと、
   前記第２のピクチャの１つ又は複数の特徴に基づき、前記第２のピクチャの重みを決定するステップと、
   前記第１のピクチャの重みおよび前記第２のピクチャの重みに基づき、前記画像サマリ内の前記第１のシーンについての前記第１の数のピクチャの一部となる前記第１のピクチャおよび前記第２のピクチャの１つ又は複数を選択するステップと、
   をさらに含む、請求項４に記載の方法。
9. 前記第１の数を決定するステップは、（ｉ）前記第１のシーンの重みと（ｉｉ）重み付けされた全シーンの全重みとの比率に基づく、請求項４に記載の方法。
10. 前記第１のシーンの重みが前記第２のシーンの重みよりも高いとき、前記第１の数は、少なくとも前記第２の数と同じ大きさである、請求項４に記載の方法。
11. 前記第１のシーンの重みを決定するステップは、前記ビデオに対応するスクリプトからの入力に基づく、請求項４に記載の方法。
12. 前記第１のシーンの重みを決定するステップは、（ｉ）前記ビデオからの１又は複数の主要キャラクタの前記第１のシーンにおける出現率、（ｉｉ）前記第１のシーンの長さ、（ｉｉｉ）前記第１のシーンにおけるハイライトの数、又は（ｉｖ）前記ビデオにおける前記第１のシーンの位置の１つ又は複数に基づく、請求項４に記載の方法。
13. 前記第１のシーンの重みを決定するステップは、ユーザ入力に基づく、請求項４に記載の方法。
14. 前記生成された画像サマリは、前記ビデオの１つ又は複数の部分からのピクチャを使用し、前記１つ又は複数の部分の少なくとも１つからの前記画像サマリ内で使用されたピクチャの数が前記部分のランク付けに基づき決定される、請求項１に記載の方法。
15. 前記生成された画像サマリは、前記ビデオの１つ又は複数の部分からのピクチャを使用し、前記１つ又は複数の部分は、前記１つ又は複数の部分を含む前記ビデオの部分間を区別するランク付けに基づき決定される、請求項１に記載の方法。
16. 前記画像サマリを生成するステップは、
    前記ビデオ内の第１の部分、および前記ビデオ内の第２の部分にアクセスするステップと、
    前記第１の部分の重みを決定するステップと、
    前記第２の部分の重みを決定するステップと、
    前記第１の部分からのピクチャがどれだけの数、前記ビデオの前記画像サマリ内に使用されているかを識別する第１の数を決定するステップであって、前記第１の数は、１つ又は複数であり、前記第１の部分の重みに基づき決定される、ステップと、
    前記第２の部分からのピクチャがどれだけの数、前記ビデオの前記画像サマリ内に使用されているかを識別する第２の数を決定するステップであって、前記第２の数は、１つ又は複数であり、前記第２の部分の重みに基づき決定される、ステップと、
    を含む、請求項１に記載の方法。
17. 請求項１乃至１６に記載の方法の１つ又は複数を実行するよう構成された装置。
18. （ｉ）ビデオの画像サマリを構成するための１つ又は複数のパラメータを含む構成ガイドからの１つ又は複数のパラメータにアクセスし、（ｉｉ）前記ビデオにアクセスし、（ｉｉｉ）前記ビデオの前記画像サマリを生成するように構成された画像サマリ生成部であって、前記画像サマリは、前記構成ガイドからの前記１つ又は複数のパラメータに従う、画像サマリ生成部、
    を備えた、請求項１７に記載の装置。
19. ビデオの画像サマリを構成するための１つ又は複数のパラメータを含む構成ガイドからの１つ又は複数のパラメータにアクセスする手段と、
    前記ビデオにアクセスする手段と、
    前記ビデオの前記画像サマリを生成する手段であって、前記画像サマリは、前記構成ガイドからの前記１つ又は複数のアクセスされたパラメータに従う、と、
    を備えた、請求項１７に記載の装置。
20. 請求項１乃至１６に記載の方法の１つ又は複数を実行するよう全体として構成された１つ又は複数のプロセッサーを備えた、請求項１７に記載の装置。
21. １つ又は複数のプロセッサーに請求項１乃至１６に記載の方法の１つ又は複数を全体として実行させるための命令を格納したプロセッサー読み取り可能な記録媒体。