JP2008537617A - オーディオビジュアルプログラムの一部を選択するための方法及び装置 - Google Patents

Abstract

本発明は、オーディオビジュアル文書の一部を選択する方法に関する。先ず、文書は、オーディオビジュアル系列の少なくとも２つの群を抽出するように、少なくとも２つの副分割手段により解析される。次いで、２つの副分割手段の各々に関連する選択基準が入力される。最後に、前に入力された選択基準全てに対応する系列のリストが生成される。改善にしたがって、系列は、オーディオビジュアル文書を生成するように時系列の順に結合される。本発明はまた。上記方法にしたがって選択された系列を表示するための装置に関する。

Description

本発明は、映像文書から抽出される映像系列を選択し、再生する方法及びその方法を実施する装置に関する。本発明は、特に、映像系列が、ユーザによりアクティブにされる複数の抽出手段から選択されるときに適用される。

本発明の背景は、映像文書からの映像系列の抽出についての背景である。今日、非常に多くの映像文書が制作され、したがって、手動でソーティング及び副分割することはもはや、不可能であり、それ故、それらのコンテンツを自動的に解析するためのロバストなツールを開発することが重要である。映像文書を副分割する多くの自動化技術が存在している。映像文書を副分割する目的の１つは、映像文書の最良の瞬間をそれから抽出することと、それらの最良の瞬間を結合することにより概要をユーザに提供することができることである。スポーツイベントの分野においては、特に、映像コンテンツ解析手段の要請が存在している。解析手段は各々のスポーツに対して適応されることが可能であるが、これは、行われるスポーツが存在するのと同程度に多い方法を必要とし、特定の技術が、同一のスポーツに多かれ少なかれ適合され、そしてその逆も真である。

例えば、４５分間の前半及び後半にプレーされるサッカーのような一部のスポーツは、時間に大きく依存するものである。他のスポーツについては、例えば、勝者は２又は３セットを勝った者であるテニスにおいては、支配するのはスコアであり、その勝利が得られるまで、長い時間を要する。それ故、制約、即ち、時間か又はスコアを考慮し、映像文書を解析し、そして映像文書から映像系列を抽出することが重要である。

スポーツイベントは、アクションを最良に捕捉することができるように、プレーしているところの周りに配置された多くの固定カメラから撮影される。伝送において、オペレータはビューポイント、即ち、現時点のアクションを最良にレポートするカメラを選択する。公表処理が基づくこの基本的な制御システムから、全てのプロのスポーツ映像により共有される制作ルールの集合が構築される。このために、送信されるスポーツ文書は、既に、それ自体で、複数のソースから抽出された系列の結合されたものである。

オペレータが、サッカーの試合において、特定の系列、例えば、ゴールに結び付くアクションについて特に興味をもたれると考える場合、それ故、オペレータはそれらのアクションをマークし、その場合、それらの系列はスローモーションで送信される。本出願者が出願した国際公開第０１／０３３７７号パンフレットにおいては、スローモーション系列の抽出からの概要を生成する、即ち、その概要を生成するスローモーション系列の結合を生成する方法について記載されている。しかしながら、この技術は先ず、その系列を選択し、それをスローモーショで送信するように、ユーザによる選択を必要とする。

文書が予め、処理されていない場合、文書は系列に副分割され、次いで、それらを特徴付けるように高レベルの情報を自動的に抽出する解析手段を有することは重要である。それらの系列は、その場合、ナビゲーションコマンドにより容易にアクセス可能である。ユーザは、それ故、文書をブラウズし、特定のイベントを検索することができる。

第１の解析技術は、関連文書及び関連映像構造モデルの種類を推測的に認識する映像文書の構造を検索することを有する。この技術は、スポーツイベントを解析するために用いられる。その解析は、関連スポーツに固有の固定構造及び用いられる編集ルールに関連するよりランダムな構造を考慮することを有する。用いられる一評価方法については、本出願者が２００２年１０月２８日に出願した仏国特許発明第０２．１３９７７号明細書及び仏国特許発明第０２．１３９７８号明細書に詳細について記載されている。

他の技術は、系列を抽出すること及びイベントの種類にしたがってそれらの系列をインデックス化することを有する。それ故、テニスについては、ファーストサーブのミス、パッシングショット等を見つけることが可能である。それらのインデックスに基づくナビゲーションは、しかしながら、スコアに制約されるスポーツに興味を有するものであり、そのナビゲーションにおいては、インデックスの数は構造要素の数に比べて少ないことが可能である。このような種類のスポーツにおいては、好適なナビゲーション方法は、それ故、構造を用いることによる。インデックスは、映像コンテンツについて重要な且つ特徴的な瞬間を指し示すリストについて作成される。

時間制約のスポーツの場合、インデックスについてのテーブルが優れている。サッカーの例においては、サッカーの試合の構造（特定の数のショットより成る前半及び後半）は比較的粗末である。インデックスについてのテーブルを、試合の構造の副分割から即座に導き出すことはできない。この場合、インデックス抽出専用のアルゴリズムを開発することが必要である。

ＴＥＲＡＧＵＣＨＩによる米国特許出願公開第２００２／１８４２２０号明細書において、種々の基準にしたがってオーディオビジュアル文書をインデックス化するための方法について記載されている。図２１及び対応するテキストにおいて、野球の試合の系列への副分割について示されている。それらの系列は所定のアクションにより特徴付けられ、一の又は他の表現に割り当てられている。この文書においては、インデックス化以外の何れの方法による副分割については、示唆はない。

ＹＥＯによる米国特許第５７０８７６７号明細書においては、種々の系列のグラフを決定するために、オーディオビジュアル文書を自動的に副分割する方法について記載されている。そのグラフは、その場合、リンクによりスクリーンにおける小さい画像により表される。表示される画像は、ユーザが系列毎にナビゲートすることを可能にするインデックスとしての役割を果たす。この文書においては、インデックス化以外の何れの方法による副分割につては、示唆はない。

ロチェスター大学による米国特許出願公開第２００４／０１４０６１号明細書においては、スポーツ（サッカー）に結び付けられたオーディオビジュアル文書の解析及び副分割方法について記載されている。その方法は、スローモーション系列及びゴールを見つけることを可能にする。ＥＲＤＥＬＹＩによる米国特許第６６３０５２２号明細書においては、スポーツ文書の映像系列においてナビゲートすることを可能にするユーザインターフェースについて記載されている。映像系列は、ユーザが表示されるメニューを用いて選択することができる基準にしたがって選択される。全てのそれらの文書は、ユーザに単独の副分割手段のみを与え、最終的には、系列の選択における何れの優れた処理を可能にしない。
国際公開第０１／０３３７７号パンフレット 仏国特許発明第０２．１３９７７号明細書 仏国特許発明第０２．１３９７８号明細書 米国特許出願公開第２００２／１８４２２０号明細書 米国特許第５７０８７６７号明細書 米国特許出願公開第２００４／０１４０６１号明細書 米国特許第６６３０５２２号明細書

それ故、各々の解析技術は、解析される文書の性質にしたがった有利点を有することが理解できる。本発明は、ユーザの興味に最良に対応するような方式で、文書からの系列を記録する又は文書からの系列を再生するように、文書からの系列を抽出する新規な方法を提供する。

このために、本発明は、オーディオビジュアル文書の一部を選択する方法であって、少なくとも２つの異なる副分割手段による文書の解析のための段階を有し、それらの２つの副分割手段は、オーディオビジュアル文書から抽出される系列の２つの異なる群を生成する、方法であり、その方法はまた、
− 少なくとも２つの系列選択基準の登録の段階であって、各々の基準は少なくとも２つの副分割手段のうちの一に関連する、段階と、
− 登録され、副分割手段に関連する選択基準にしたがった群の少なくとも１つの系列の選択の段階であって、選択された系列の少なくとも１つの一部は他の群の他の系列に共通であり、このような他の系列は、他の副分割手段と関連する他の登録された選択基準に対応する、段階と
を有することを特徴とする、方法に関する。

このように、ユーザは、正式に選択された系列がユーザの希望に対応するように、副分割手段の各々に対して特定の選択基準を選択することができる。表示される文書の一部の選択は、それ故、一の又は他の副分割手段が用いられる場合より、より改善されている。

最初の改善にしたがって、ユーザは、系列が選択される群において副分割手段を選択することができる。このように、選択された系列は、ユーザにより選択される副分割手段にしたがった副分割により得られる。

他の改善にしたがって、方法はまた、選択された系列を結合することにより得られる概要を生成するための段階を有する。第１の変形にしたがって、この概要を構成する系列は、最初のオーディオビジュアル文書において規定されている時系列順に順序付けられる。第２の変形にしたがって、この概要を構成する系列は、選択基準の登録により規定される順序に順序付けられる。このように、ユーザは、正式に生成される概要がどのように組織化されるかを選択することができる。

他の改善にしたがって、最初のオーディオビジュアル文書は、異なるソースから得られる最初の文書及び／又は最後の文書を有する。方法は、最初の文書及び／又は最後の文書を選択するための段階であって、副分割手段が、最初の文書及び／又は最後の文書から系列の群を生成する、段階を有する。このように、ユーザは、副分割手段による最適な副分割の対象である文書を選択することができる。

他の改善にしたがって、方法は、他の最初の文書及び／又は最後の文書から抽出された他の系列と、選択された系列を置き換える段階であって、新しい系列は、最初の文書において副分割された系列と同じ時間窓を有する、段階を有する。このように、ユーザは、他のソースからもたらされる他の系列と、選択基準により選択された系列を置き換えることができ、そのことは、ユーザにとって更に興味深く思えるものである。

他の改善にしたがって、方法は、副分割手段の一により生成される系列に割り当てられる満足度を生成するための段階を有する。この満足度は、それ故、選択基準であり、その選択基準は、ユーザが系列の選択を改善し、そしてそれらの系列の最も満足度の高いもののみを維持することを可能にする。第１の変形にしたがって、満足度は、音声のような、系列の物理量の解析からもたらされる。この変形は、満足度を自動的に演算することを可能にする。第２の変形にしたがって、満足度は、手動で入力され、そのことは、対象の選択基準を入力することを可能にする。

他の改善にしたがって、グラフィックバーが表示され、そのグラフィックバーは、時間にしたがって最初の文書の少なくとも一部を表し、選択された系列の位置を示す。それ故、ユーザは、最初の文書のどの瞬間に、選択された系列が抽出されたかを理解することができる。改善にしたがって、グラフィックバーは、各々の系列表現に関連するアイコン、その系列に関連する満足度の値を示す。

本発明の他の手段は、少なくとも２つの異なる副分割手段を有する映像コンテンツを表示するための装置であって、各々の副分割手段は映像文書又はオーディオビジュアル文書から抽出される映像系列の群を生成する、装置であって、その装置は、グラフィックインターフェースであって、
− 選択基準のリストを各々表示する、少なくとも２つの領域であって、それらの各々は副分割手段に関連する、少なくとも２つの領域と、
− 基準のそれらの２つの表示されるリストの各々から少なくとも１つの基準を選択するための手段と、
− 副分割手段と関連する選択基準にしたがって選択される群の少なくとも１つの系列を表示するための領域であって、選択された系列の少なくとも一部は他の群の他の系列に共通であり、このような他の系列は他の副分割手段と関連する他の選択基準に対応する、領域と、
を有する、グラフィックインターフェースを有する、装置である。

本発明の他の特徴及び有利点については、添付図を参照して、限定的でなく、例示とみなされる下記の実施形態から明らかになる。

図１は、系列を選択し、そしてそれらを再生する又はそれらを記録するために用いられる段階についての一般的なフロー図である。好適な例示としての実施形態にしたがって、方法は５つの段階を有する。第１段階１．１において、オーディオビジュアル文書が生成される。このオーディオビジュアル文書は、音声成分に関連する可能性があるディジタル画像データファイルである。その画像は有利にアニメ化されるが、その文書はまた、写真を有することが可能である。第２段階１．２において、文書は、容易にダウンロード可能な形で記憶される。次いで、段階１．３において、文書は、系列に副分割する方法により処理される。少なくとも２つの解析技術が、系列の２つの群を生成するように実施され、それらの群の各々は特定の選択基準を有する。次いで、段階１．４において、文書は、表示装置にダウンロードされ、ユーザは、予め用いられている２つの解析技術にしたがった選択基準を入力することができる。系列の２つの副群が、その場合に、生成され、副群の各々の系列は、予め生成された群から抽出され、そして入力された選択基準に対応するものである。段階１．５において、予め入力された選択基準の全てに対応する系列が選択される。解析及び副分割手段の一又は他にしたがった時間副分割は同程度に異なり、選択された系列は、少なくとも一部が入力された基準全てに対応する系列である。このために、系列は、最初の副群から取られる。この系列の少なくとも一部が他の副群に属す他の系列に共通である場合には、その系列は選択され、そうでない場合には、それは拒否される。その選択処理は、最初の群の系列全てが処理されたときに、停止する。段階１．６において、選択された系列は、入力された基準に対応する文書の区画を生成するように、再生される及び／又は記録される。

図２は、オーディオビジュアル文書生成状況を示し、このように生成されるオーディオビジュアル文書は、その場合、本発明の主題の１つである方法にしたがって処理される。図２は、サッカーの試合に関するものであるが、この実施例は限定的なものではなく、何れの他のオーディオビジュアル文書が、他のスポーツ又はスポーツの異なる分野において、適切であることが可能であり、そして本発明により用いられることが可能である。

図２に示すシステムは、
− イベントを撮影するカメラ及びマイクロホンのセットと、
− ピッチの周りに備えられているカメラ及びマイクロホンからもたらされるオーディオビジュアルコンテンツを受信し、有効な処理の後にそれらを記憶するための局部オーディオビジュアルコンテンツシステムと、
を有する。

例示としての一実施形態にしたがって、スポーツイベントの組織化に関連する局部制御システムは、
− ライブの供給のための生成ユニットと、
− レポート（その日の概要、試合のレポート等）を作成するための編集ユニットと、
− 自動構造化及びインデックス化ユニットと、
− 手動インデックス化ユニットと、
− アーカイビングユニットと、
を有する。

各々のカメラからもたらされるストリームは、一日中、リアルタイムに註釈を付けられ、特に、時間経過と共にストリームの画像を参照することを可能にする時間マーキングを有する。各々のカメラからの映像コンテンツは、オペレータにより処理される最初の文書を有する。現時点のアクションにしたがって、オペレータは、スポーツイベントと関連する及び送信される最後の文書を生成するように最初の文書の部分を選択する。変形にしたがって、自動構造化及びインデックス化モジュールは、一日中、生成される最初の文書を処理し、それらの文書にメタデータを付加する。いつでも、オペレータは、高レベルのメタデータを付加することにより、手動で介入することができる。オペレータは、特定の系列が、特定の基準に対して、より具体的に対応する可能性が高いようにマークすることができる。例えば、サッカーの試合中に、限定された選手の特に華々しいアクションは、自動システムによっては殆ど検知されない。この種類の情報は、典型的には、手動で入力される。改善にしたがって、オペレータは、満足度を所定の系列に関連付ける。インデックスが重要である場合、この特定の興味をもたれている系列はスローモーションの対象になることが可能である。自動註釈付け及び有効な手動註釈付けの後、それを最初の文書に有効に関連付けることによる最後の文書がアーカイビングされ、及び／又は再生ユニットに送信され、その場合の目的は、特定の基準及び特定のレポート（例えば、試合又はトーナメントの日の概要）に対応するユーザ系列の要請により再生することである。

一旦、文書が記憶されると、記憶ユニットか又は再生ユニットのどちらかにおけるインデックス化技術により、その文書が処理されることが可能である。文書の処理は、限定された基準に対応する系列にその文書を副分割することを有し、この処理に後いて、文書に関連するメタデータは、調査エンジンを用いて各々の系列を選択し、そして検索するように用いられる。

文書を解析する第１手段は、文書の構造を認識することに基づき、その構造は階層ショットへの副分割を可能にする。例えば、図３に、テニスの試合の階層構造が示されている。その試合はセットに副分割され、セット自体はゲームに副分割され、更に、ポイントに副分割されている。

映像の構造は、有意味の意味単位への副分割として定義されることが可能である。スポーツの映像文書の場合には、このような構造化はまた、特に、関連するスポーツの種類の構造の知識及び編集ルールの知識を用いて、異なる意味単位を指定するためのフェーズを有する。オーディオビジュアル文書の構造化は、ゲームのルールにより課せられる構造の要素に対する、又は映像文書が生成された方法に関連する要素に対するショットの関係を特定することを有する。

図４は、テニスの試合を有するオーディオビジュアル文書の構造を示している。文書の系列の副分割は、テニスの試合に固有の構造（ポイント、ゲーム、セット及び試合）及び明示的テークルールに依存する。編集に直接、由来する単位は、図４における表示“他”（Ｏで表されている）で表されている。

例示として、幾つかの編集ルールを列挙することができる。
− テークは、ポイントの間に変化しない（それ故、ポイントは、単独のショットのみに関連する）。
− ２つのポイント間に、幾つかのクローズアップ又はスローモーション系列が挿入される。
− コマーシャルが、２ゲーム毎に及びセットの間に挿入される。

文書の構造は、複数の段階において解析される。第１段階は、映像をショットに副分割する段階を有する（ショットはテーク単位により特徴付けられる）。各々のショットは、関連するショットを有する画像全てを表す重要な画像と関係する。各々の画像は、次のように表される特定の複数の特徴と関係する。
− ショットの持続時間
− ショットのアクティビティ（画像における動きに関連する）
− 重要な画像における色の分布
− 重要な画像のテクスチャ
それらの低レベルの属性は、ゲームのショット又は他のショットと異なるショットを特徴付けるように用いられる（各々のクラスに属す確率が演算される）。

そのアルゴリズムの第２段階は、複数の意味単位を検索するように、ショットの正式に特定された系列に対して文書についての推測的な既知の構造を適用する段階を有する。換言すれば、意味単位を各々のショット又はショットの群との関連付けを求める。

各々の意味単位は、関連する単位を特徴付ける低レベルの属性の値を表す複数の確率分布と関連する。例えば、２つのセット（Ａｓで表されている）を分離する及び２つの点（Ａｐで表されている）を分離する“他”の種類の意味単位の場合を取ることにする。持続時間属性に関連する分布の各々について考慮することにする。“他”の種類に隣接するショットの群が長く続けば続く程、単位Ａｓを関連付ける確率は大きくなり、Ａｐを関連付ける確率は小さくなる。

１つの意味単位から他の意味単位への遷移はまた、所謂、遷移確率により特徴付けられる。例えば、意味単位の種類のセット１からセット２への遷移に関連する遷移確率は低く、セット１からＡｓへの遷移を表す遷移確率は高い。

確率値Ｐｔ及びＰｕのセットは、初期の学習フェーズにおいて演算される。数時間の映像は手動でラベル付けされ、関連する確率が演算される。ここでは、映像文書の構造は明示的に考慮されないが、学習からもたらされることを特記しておく。このことは、純粋に決定論的な方法によっては失敗する可能性がある状態（非常に低いが非ゼロである発生確率を有する学習処理においては確認されない状態）を表すことを適切に可能にする。映像文書は、その場合、有効な再調節全てを探索し、意味単位におけるショットの群のラベル化に関連する確率と遷移に関連する確率との積を最大化する１つの再調節のみを維持することにより構造化される。

文書を解析する第２手段は、特定の映像要素にしたがったショットの特徴化に基づいている。図５は、インデックスを自動的に抽出するための装置の実施例を示している。そのようなインデックスの抽出は、並列して作用するそしてビジュアル及び／又は音声情報を入力として取る検出器を用いて行われる。映像の各々のショット又はショット群について、各々の検出器は、関連するインデックスが映像のこの瞬間に与えられるかどうかを示すシステムに対して応答する。それらの検出器は、処理される映像の種類に強く依存している。例えば、サッカーについては、有利にプログラムされる検出器は、次について、即ち、
− ゴール
− フリーキック
− コーナーキック
− ゴールに到るアクション
− 等
についての検出器である。

他の解析手段がまた、可能である。例えば、音声の振幅は、系列を規定するための手段になることが可能である。実際には、例えば、テニスにおいては、ポイントは、観客からの拍手で終了し、このために、分析手段は、文書を音声ボリュームにおける鮮鋭な増加によりインターカットされる系列に副分割する。更に、観客の音声パワーは、ポイントの興味に比例する。また、選手の動きは、他の解析技術として列挙するには価値があるものである。最後に、系列の開始及び終了を設定するように手動で介入し、この情報をメタデータとして入力することは、いつでも可能であり、そしてまた、満足度をそれに割り当てることが可能である。

一旦、文書が解析されると、正式に生成されたメタデータは、文書のオーディオビジュアル情報に追加される。ユーザは、その場合、処理及び表示装置、典型的には、十分に大きい記憶容量を備えているパーソナルコンピュータを用いて、この文書を検討する。関連メタデータが、構造要素及びインデックス要素を抽出するように用いられる。このメタデータは、ポインタアドレス及び持続時間を有し、それ故、文書の系列を規定し、属性値は系列の種類を特徴付ける。

調査エンジンが、次の文書のセットを処理することができる。
− 既に処理された単独の文書であって、この所謂“最後の”文書は、例えば、オペレータにより送信される試合のオーディオビジュアルコンテンツである。それは、既に処理された結果であり、その結果が有する系列は、既に選択されたコンテンツである。それは既にメタデータを有する。
− イベントを自動的に撮影するカメラのようなソースからもたらされる、１つ又はそれ以上の、所謂“最初の”文書。最初の文書のコンテンツは、何れの処理の影響下に置かれず、メタデータを有しない。または、
− 最後の文書、及びこの最後の文書のソースである複数の最初の文書。

ユーザは、スクリーンを備えたユーザ用のコンピュータにおいて調査エンジンを立ち上げる。有利であることに、その調査エンジンは、コンピュータのメモリに記憶されている実行可能プログラムの形で作成される。このことは、しかしながら、この実行可能なプログラムを有するアセンブリにより与えられる機能、中央演算処理装置及びコンピュータの作用メモリが、別個に製造される、又は、例えば、専用の電子回路、ＡＳＩＣＳ又はＤＳＰにより製造されない可能性を排除するものではない。調査エンジンは、オーディオビジュアル文書の集合を選択することにより立ち上げられる。この集合においては、所謂“参照”文書は、構造要素及びインデックス要素を得るように、解析手段により処理される文書である。

調査エンジンは、本発明の例示としての一実施形態にしたがって、図６により示されているスクリーンレイアウトを表示する。ユーザは、方向キー及び機能キーを有するキーボードを有し、領域の１つ又はそれ以上の要素を階層化する図形インデックスを移動させるようにそれらのキーを用いる。ユーザは、階層化要素を選択するように“ＥＮＴＥＲ”を押す。その変形は、マウスのようなポインティング装置を有する。ユーザは、マウスを用いてポインタを移動させ、ポインティングされる要素を選択するようにマウスのボタンをクリックする。好適な実施形態にしたがって、スクリーンは、次のような７つの主領域に副分割される。

領域１（左上）：この領域は、選択された文書の構造を示す。その構造は、＋及び−アイコンにより与えられる階層レベルを開く及び閉じることにより階層的にブラウズされることができる。ユーザは方向キーを用いてこの構造内をナビゲートし、ファンクションキー（代表的には、ＥＮＴＥＲキー）を押すことによりその構造の要素を選択する。選択されたレベルは、異なる輪郭及び背景の色により図形的に階層化される。

領域２（中央上）：これは、領域１の要素を選択することによりその構造によって、又は、領域３の要素を選択することによりインデックス要素によって、選択される映像系列を表示する領域である。

領域３（右上）：この領域は、属性に対応するインデックス要素を選択するための属性を有する。有利であることに、それらの属性は、選手の一又は他と関連する副レベルを有する。このように、ユーザは、系列が特定の選手又はチームの一又は他に関連するかどうかにしたがって、系列を選択することができる。ユーザが属性を選択する瞬間から、この属性は、その系列についての選択基準になる。ユーザがまた、領域１におけるインデックス要素を選択した場合、その選択された２つの系列は、同時に両方の基準に対応する。しかしながら、一の又は他の解析手段により得られた系列は、時間副分割期間においては、通常、同じではない。デフォルトで、調査エンジンは、インデックス系列はユーザにとって興味があるために、意味単位を有するインデックス系列を優先順位付けする。サッカーを例として取り上げる。ユーザが、“得点をリードするチーム２”及び“後半”の基準を選択する場合、チーム２がリードする系列、及び後半に位置しているその系列の少なくとも一部が選択される。例えば、この系列は、チーム２がゴールし、２対１でリードする前半の終了に開始し、後半に、チーム１がゴールし、３対２とリードして終了する。変形にしたがって、ユーザにより入力された基準により選択された系列は、ユーザによる選択にしたがって、解析手段の一又は他により実行される副分割により得られる。この選択は、オプションとしてアクセス可能な副メニューにより入力され、ユーザは、保有系列を副分割するためにモードを規定するように、“構造により解析する”又は“インデックスにより解析された”のどちらかを選択する。

領域４（スクリーン中央）：この領域は、文書の全部又は一部を表すグラフィックバーである。そのバーは、ユーザにより選択されることができる系列に対応するセグメントに副分割されている。デフォルトで、調査エンジンはインデックス系列を優先順位付けし、それらのインデックス系列は、セグメントにより表されているインデックス系列である。上記段落に記載されている同じ変形にしたがって、ユーザは、ユーザにより入力された基準により選択された系列が解析手段の一又は他からもたらされることを選択するように、副メニューを用いる。ユーザがインデックスに基づく解析手段を選択する場合、グラフィックバーは、グラフィックバーのセグメントとしてインデックス要素を示す。セグメントの幅は系列の持続時間に比例している。図６の実施例においては、ユーザは、ゲーム４及び５におけるプレーヤー１の成功裏のパッシングショットを領域３において選択している。グラフィックバーにおいて、プレーヤー１により行われた２つのパッシングショットを示す系列がシェーディングにより階層化されている。２つの縦の線は、抽出基準により選択され、領域２において表示されている系列の画像が位置している瞬間と、領域５において表示されている概要の系列の画像が位置している瞬間とを表している。このように、ユーザは、正式に表示される瞬間を経時的に位置付けることができる。ユーザが、系列に関連するセグメントを直接、選択する場合、この系列は領域２において表示され、領域５からアクティブにされる挿入コマンドにより概要に挿入されることが可能である。

領域５（左下）：この領域は、要素を挿入しなさい、時系列順に系列をソートしなさい、挿入順にソートしなさい、等の概要管理コマンドを有する。ユーザが、選択構造要素及び／又はインデックス要素により得られた系列又は複数の系列を挿入するように決定するとき、そのユーザは、“挿入”とマークされたアイコンをアクティブにする。ユーザが、概要から系列を削除したいと思う場合、そのユーザは、領域４のグラフィックバーにおけるこの系列と関連するセグメントをアクティブにする。領域６は、その場合、追加のチェックを可能にする系列のコンテンツを表示する。現時点の概要からその系列を削除するように、ユーザは、領域５において“削除”とマークされたアイコンをアクティブにする。ユーザが、現時点で選択され、時系列順に記録される概要を構成する系列を欲しいと思う場合、そのユーザは、“時系列”とマークされたアイコンをアクティブにする。しかしながら、ユーザが、系列が選択された順序で概要に記録されるように現時点で選択されている系列を欲しいと思う場合、そのユーザは、“手動”とマークされたアイコンをアクティブにする。このようにして生成された概要は、コンピュータに記憶されている映像データファイルである。

領域６（中央下）：この領域は、構造要素又はインデックス要素を選択することにより得られる概要の映像を有する。その概要は、時系列順に系列を連結することにより得られる。有利であることに、グラフィックバーは、セグメントが概要に組み込まれているか又は組み込まれていないかを示すように図形区画を用いる。この実施例においては、図形区画はクロスハッチング線で示されている。時間カウンタが、領域６と並んで表示され、ユーザにより要求される挿入により現時点で作成される概要の全体的な持続時間を示している。

領域７（右下）：この領域は、読み出し、巻き戻し、早送り、画像停止の概要表示コマンドを有する。それらのコマンドをアクティブにすることは、領域６における映像コンテンツにおいて直接、行われる。

本発明の重要な特徴にしたがって、１つ又はそれ以上の系列の選択は、文書の構造（例えば、試合４又は５の系列）及びインデックス（例えば、パッシングショットによりプレーヤーが勝ったポイント）に関連する基準を選択することにより行われることが可能である。領域１及び３は、その場合、ユーザが１つ又はそれ以上の表示要素を選択することにより、個別にアクティブにされることが可能である。要素が階層化されていない場合、解析手段は選択されず、系列の選択に含まれない。それ故、ユーザは、
− 文書の構造解析により規定される基準を用いることにより系列を選択し、
− 文書に適用されるインデックスにより規定される基準を用いて、系列を選択し、又は
− 上記の両方を行う
ことができる。

図６により示している実施例においては、ユーザは、試合のゲーム４及び５において、プレーヤー１により行われたパッシングショットを選択している。

ユーザは、２つの方法で、彼の調査エンジンを用いることができる。ユーザは系列のみを表示したいと思い、この場合、彼は、領域１、２及び３のみを用い、又は、ユーザは、表示される領域全てを用いることにより、文書の概要を生成したいと思う。第１の方法の場合、ユーザは、構造要素か又はインデックス要素のどちらかを選択することにより映像コンテンツでナビゲートする。単独のインターフェースを用いることにより、ユーザは迅速にナビゲートし、そして文書解析の結果を十分に探索することが可能である。第２の方法の場合、ユーザは、限定された基準にしたがって概要を生成し、後に表示するように、又は他のユーザに転送するようにこの概要を記録する。

テニスを例に取ると、一日中、コートの周りに備えられたカメラは、スポーツ上の複数の偶然の遭遇を自動的に撮影することになる。後に、ジャーナリストは、それらの偶然の遭遇の１つの概要を構成したいと思う。そのジャーナリストは、その場合、カメラにより得られた最初の文書にアクセスする。彼は、最初の文書の１つを先ず、解析するアプリケーションを立ち上げる。その解析は、上記の技術に基づいていて、数分後、そのアプリケーションは、その偶然の遭遇に対応するインデックステーブル及び構造テーブルを生成する。そのアプリケーションは、次いで、インデックステーブルからの系列か又は試合の構造解析により生成される系列のどちらかをユーザが選択することを可能にするメニューを表示する。

改善にしたがって、各々に関連するメタデータアイテムは満足度を表現する。第１変形にしたがって、このインデックスはオペレータにより手動で入力される。第２変形にしたがって、このインデックスは、例えば、系列の全体的な音声レベルを解析することにより自動的に演算される。観客の興奮のレベルを反映するその音声レベルが高ければ高い程、それらの同じ観客の系列による満足度は大きい。例示としての一実施形態にしたがって、インデックスは、１つ又はそれ以上の
（外１）

シンボルの表示により表される３つのレベルを有する。それらのシンボルは、系列表示の領域２における右下に表れる。それらのシンボルはまた、グラフィックバーのセグメントにおいて表れる。このように、ユーザは、示される系列の満足度をグラフィックバーにより容易に認識することができる。この要求にしたがって、図６により示しているスクリーンレイアウトに新しい領域８を付加することができる。この領域は、ユーザにより選択されることができる３つのボタン、即ち、１つのボタンマークの
（外２）

、第２マークの
（外３）

及び第３マークの
（外４）

を有する。ユーザは、好ましい満足度レベルにしたがってボタンを選択し、そうすることにより、ユーザは、構造要素及びインデックス要素により規定される他の基準に付加基準を付加する。例えば、ユーザは、インデックス解析により“パッシングショット”とマークされ、非常に高い満足度のインデックスを有する、第３セットの系列を選択することができる。

他の改善にしたがって、図６のスクリーンレイアウトは、ユーザが異なるソースを選択することを可能にする新しい領域９を有する。スポーツイベントは、最初の文書を生成する複数のカメラにより、通常、撮影される。そのイベントに関連する最後のオーディオビジュアル文書は、それらの最初の文書から抽出された部分を結合したものである。通常、オペレータはソースを選択し、最後の文書に含まれる部分を規定する。この最後の文書から、その解析技術は構造要素又はインデックス要素を生成する。それらの要素は所定の時間窓において規定される。調査エンジンが種々のソースからもたらされる最初の文書にアクセスする場合、オペレータは、最後の文書の系列を、最初の文書から得、同じ時間窓により規定された他の系列と置き換えるように選択することができる。このために、領域９は、最初の文書を供給するソースに対応するアイコンと、最後の文書を選択するためのアイコンとを有する。最後の文書のアイコンは、調査エンジンを立ち上げるときにデフォルトで選択される。調査エンジンのユーザは、領域２において表示されている最後の文書の系列を選択し、次いで、点滅する他のソースのアイコンを選択する。そのソースからもたらされる系列は同じ時間窓により規定され、その場合、領域２に表示される。その系列は、ユーザが領域５において“挿入”アイコンをアクティブにする場合、概要に挿入されることが可能である。この系列の表示が終了するとき、他のソースのアイコンはオフに切り替えられ、デフォルトにより選択される最後の文書のアイコンによりに初期状態に復帰する。

ユーザが最初の文書のみを有し、最後の文書を有しない場合、領域９は、最後の文書に関連するアイコンを有しない。それ故、ユーザは、限定された特徴を有する時間帯のイベントの全体の持続時間をユーザが副分割することを可能にする参照文書を有しない。この課題を解決するように、始めに、調査エンジンのユーザは、ソースを選択するために同じ新しい窓を用い、解析手段を立ち上げ、その解析手段をこのソースにより生成される最初の文書に適用する。一旦、解析が終了すると、最初の文書はデフォルト文書になる。ソースのアイコンを選択することにより、ユーザは、デフォルトの最初の文書の系列を、同じ時間窓を有し、領域０において選択されたソースにより生成された最初の文書からもたらされる他の系列と置き換えることが可能である。

図７は、上記の改善による新しいスクリーンレイアウトを示している。そのスクリーンページは２つの新しい領域を示している。両方の構造及びインデックス解析手段の管理領域を並んで位置している領域８は、現時点で表示されている系列に満足度をユーザが割り当てることを可能にする。改善にしたがって、４つのレベルを有するこのインデックスは、各々のセグメントにおいてドットがない状態、１つの、２つの又は３つのドットの表示によりグラフィックバーに表れる。この場合、グラフィックバーは、かなり興味がもてる系列を即座にユーザに提供し、そのセグメントを選択することにより、領域２にその系列を表示する。領域９は、表示領域２の上に位置している。この領域は、ユーザが探している系列のソースを、又はユーザが解析したいと思う文書のソースを、ユーザが選択することを可能にする５つのアイコンを有する。

ここでは、テニスの試合の概要を生成するように、調査エンジンを用いる実施例を示している。ユーザは、第１セット、次いで、第１ゲーム、最終ポイント及び最終的にラリーを含む系列を選択することにより階層をナビゲートする。選択された系列は、領域２においてすぐに再生される。ユーザは、それ故、それについて実際に興味がもてるものであるかどうかをチェックすることができる。系列が興味を持てるものである場合、ユーザは、概要を構成する系列の集合にこの系列を追加するように、領域５における“挿入”ボタンをクリックする。

ユーザは、ショット全てが概要に組み込まれるように、同じ方法を実行する。ユーザが、興味がもてる可能性があるショットを予め特定していない場合、ユーザは、コンテンツを即座にナビゲートして、概要に含まれているポイントを選択するようにインターフェースを用いることができる。

最後に、ユーザは、最後のセットの最後のゲームの最後のショットを選択することによりマッチポイントを付加する。

改善にしたがって、ユーザは、記憶目的でこのようにして生成される概要のフォーマットを規定することができる。例えば、その概要は、インターネットから容易にダウンロードされるｈｔｍｌタイプのページを有することが可能である。

本発明が特許請求の範囲における本発明の範囲から逸脱することなく、多くの他の特定の形の実施形態を可能にすることは、当業者には明らかである。したがって、本発明の上記の実施形態は、例示とみなされるべきものであり、特許請求の範囲における範囲内で変形可能である。

本発明の例示としての一実施形態にしたがったステップの一般的なフロー図である。 本発明を実施するように用いられるオーディオビジュアルコンテンツを取得するためのシステムを示す図である。 テニスの試合の階層構造を示す図である。 テニスの試合のようなオーディオビジュアル文書のセグメント化の仕方を示す図である。 オーディオビジュアル文書においてインデックスの系列を抽出するための機構を示す図である。 オーディオビジュアル文書の系列を選択し、再生することを可能にする本発明の一実施形態にしたがったスクリーンレイアウトを示す図である。 系列を選択するために２つの改善を有する本発明の他の実施形態にしたがったスクリーンレイアウトを示す図である。

Claims (19)

1. オーディオビジュアル文書の一部を選択する方法であって、少なくとも２つの異なる副分割手段により前記文書の解析のためのステップを有し、前記２つの副分割手段は、前記オーディオビジュアル文書から抽出された系列の２つの異なる群を生成し、前記選択する方法はまた：
   少なくとも２つの系列選択基準を入力するステップであって、各々の基準は前記少なくとも２つの副分割手段の一に割り当てられる、ステップと、
   入力されていて、副分割手段と関連する選択基準にしたがって群の少なくとも１つの系列を選択するステップであって、前記選択された系列の少なくとも１つの一部は他の群の他の系列と共通であり、このような他の系列は他の副分割手段と関連する他の入力されている選択基準に対して対応する、ステップと、
   を有することを特徴とする選択する方法。
2. 請求項１に記載の選択する方法であって、副分割手段を選択するためのステップであって、前記選択された系列は、前記選択された副分割手段により生成された系列の前記群から抽出される、ステップを有することを特徴とする選択する方法。
3. 請求項１又は２に記載の選択する方法であって、前記選択された系列を結合することにより得られる概要を生成するためのステップであって、前記系列は初期オーディオビジュアル文書において規定されている時系列順に順序付けられる、ステップを有する、ことを特徴とする選択する方法。
4. 請求項１又は２に記載の選択する方法であって、前記選択された系列を結合することにより得られる概要を生成するためのステップであって、前記系列は、前記選択基準の入力により規定される順序に順序付けられる、ステップを有する、ことを特徴とする選択する方法。
5. 請求項１乃至４の何れか一項に記載の選択する方法であって、前記初期オーディオビジュアル文書は、異なるソースから得られる最初の文書及び／又は最後の文書を有し、前記方法は、最初の文書及び／又は最後の文書を選択するステップであって、前記副分割手段は、前記選択された最初の文書及び／又は最後の文書から系列の群を生成する、ステップを有する、ことを特徴とする選択する方法。
6. 請求項５に記載の選択する方法であって、選択された系列を、前記選択された系列と同じ時間窓を有する他の最初の文書及び／又は最後の文書から抽出された他の系列と置き換えるステップを有する、ことを特徴とする選択する方法。
7. 請求項１乃至６の何れか一項に記載の選択する方法であって、前記副分割手段の１つにより生成された系列に割り当てられる満足度を生成するステップであって、前記満足度は選択基準である、ステップを有する、ことを特徴とする選択する方法。
8. 請求項７に記載の選択する方法であって、前記満足度は、音声のような前記系列の物理量の解析からもたらされる、ことを特徴とする選択する方法。
9. 請求項７に記載の選択する方法であって、前記満足度は手動で入力される、ことを特徴とする選択する方法。
10. 請求項１乃至９の何れか一項に記載の選択する方法であって、時間にしたがって前記初期文書の少なくとも一部を表現し、前記選択された系列の位置を示すグラフィックバーを表示するためのステップを有する、ことを特徴とする選択する方法。
11. 請求項７、８又は９に従属する請求項１０に記載の選択する方法であって、系列に関連する満足度の値を示す前記系列の表現に関連する少なくとも１つのアイコンを表示するためのステップを有する、ことを特徴とする選択する方法。
12. 少なくとも２つの異なる副分割手段を有する映像コンテンツを表示するための装置であって、各々の副分割手段は、映像文書又はオーディオビジュアル文書から抽出された映像系列の群を生成し、前記装置は、グラフィックインターフェースであって：
    選択基準のリストを各々、表示する少なくとも２つの領域であって、各々が副分割手段に関連している、少なくとも２つの領域と、
    ２つの表示される基準のリストの各々から少なくとも１つの基準を選択するための手段と、
    副分割手段と関連する選択基準にしたがって選択された群の少なくとも１つの系列を表示するための領域であって、前記選択された系列の少なくとも一部は他の群の他の系列と共通であり、前記他の系列旗の副分割手段と関連する他の選択基準に対応する、領域と、
    を有する、グラフィックインターフェースを有する、ことを特徴とする映像コンテンツを表示するための装置。
13. 請求項１２に記載の映像コンテンツを表示するための装置であって、副分割手段を選択する手段であって、前記選択された系列は、前記選択された副分割手段により生成された系列の群から抽出される、手段を有する、ことを特徴とする映像コンテンツを表示するための装置。
14. 請求項１２又は１３に記載の映像コンテンツを表示するための装置であって、前記選択された系列を結合することにより得られる概要を生成する手段であって、前記系列は、初期オーディオビジュアル文書において規定される時系列順に順序付けられている、ことを特徴とする映像コンテンツを表示するための装置。
15. 請求項１２乃至１４の何れか一項に記載の映像コンテンツを表示するための装置であって、前記副分割手段の１つにより生成された系列に割り当てられる満足度を生成する手段であって、前記満足度は選択基準である、手段を有する、ことを特徴とする映像コンテンツを表示するための装置。
16. 請求項１５に記載の映像コンテンツを表示するための装置であって、前記満足度を生成する手段は音声のような前記系列の物理量を解析することを有する、ことを特徴とする映像コンテンツを表示するための装置。
17. 請求項１５に記載の映像コンテンツを表示するための装置であって、前記満足度を生成する手段は前記満足度を手動で入力することを有する、ことを特徴とする映像コンテンツを表示するための装置。
18. 請求項１５乃至１７の何れか一項に記載の映像コンテンツを表示するための装置であって、系列に関連する満足度の値を示す前記系列の表現に関連する少なくとも１つのアイコンを表示する手段を有する、ことを特徴とする映像コンテンツを表示するための装置。
19. 請求項１２乃至１８の何れか一項に記載の映像コンテンツを表示するための装置であって、時間にしたがって前記初期文書の少なくとも一部を表現し、前記選択された系列の一部を示すグラフィックバーを表示する手段を有する、ことを特徴とする映像コンテンツを表示するための装置。

Images