JP2009529726A - 内容アクセス木 - Google Patents

Abstract

ビデオストリームの部分を表現する方法を提供する。ここでビデオストリームは少なくとも一つのセグメントを備え、セグメントは少なくとも一つのシーンを備え、シーンは少なくとも一つのフレームを備える。更に前記少なくとも一つのセグメント、シーン及びフレームの形式を定める方法を提供する。その結果、ビデオストリームの少なくとも一つのセグメントを使用中のセグメントとして指定し、表示するシーンは使用中のセグメントの部分となる。
【選択図】図１

Description

本願の原理は一般に画像表示システム及び画像表示方法に関し、より詳細には、ビデオストリームのセグメント、シーン、及び個々のフレームの、画像及び特性を分類し表示するシステム及び方法に関する。

最近は、一般消費者向けビデオ製品は、アナログカセットテープからデジタル形式に移行している。デジタルビデオディスク（ＤＶＤ）の形態のビデオが現在最も普及している形式である。Blu-Ray（商標）や高精細度デジタルビデオディスク（ＨＤ−ＤＶＤ）のような、新しい、より高密度のビデオ形式も近年発表されている。

一般消費者向けに、ある形式に収めたデジタルビデオデータは、販売に先立って一般にデジタル的に圧縮し符号化している。多くの場合、符号化は何らかの形の圧縮を含む。ＤＶＤの場合、ビデオはＭＰＥＧ−２標準を用いて符号化する。また、Blu-Ray（商標）及びＨＤ−ＤＶＤ両形式も同様にデータをディスクに符号化した形式で格納する。しかし、圧縮システムは複雑であるし、最高の画質を保ちながら最高の圧縮を実現したいので、一度には主として１フレーム又は１シーンを符号化しなければならない。しばしば、長編劇場映画をBlu-Ray（商標）やＨＤ−ＤＶＤ用に圧縮する場合、符号化に８時間以上かかることもある。

ビデオのシーンを符号化した後に、その結果の符号化したビデオが精確であるか検証しなければならない。普通は、動く対象の数が多いシーンの場合は、符号化率を下げる必要がある。これにより、符号化したフレームの各々が完成した製品で正しく表示されることを保証する。従って、ビデオを表示し符号化するソフトウェアプログラムが一般に使用される。

従来、映像製作の作業にかかわるほとんどの利用者インターフェースは、二つの主機能を含む。すなわち、時間線と下見窓である。一般に、利用者が見ることができるのは、ビデオ内容のストリームからの一つのフレームだけである。このとき利用者は、時間線を用いて個々ばらばらのフレームに任意の順でアクセスする。具体的には、望むフレームが下見窓に現れるまで、時間線のカーソルを時間線の軸に沿って動かす。確かにこうすることによって、利用者はビデオストリームの内容に任意の順でアクセスできるのだが、利用者は時間線と下見窓との両方に注意を払わなければならない。また、利用者は、特定のフレーム又はシーンを探すのに、時間線をずっとスクロールしなければならない。このようなアクセスは非効率的であり、時間もかかり得る。

特許文献１は、編集中のファイルが参照する、節の集合を含むファイル範囲を切り替えるシステムを記述している。また、シーンのグラフを編集するツールにより、利用者は、編集中のＶＲＭＬの内容を参照する節を、階層木の形式で表示することができる。

特許文献２は、利用者が、継続するフレームを通して追跡される、ビデオフレームの箇所を指定できる、画像処理システムを開示している。これにより、再生、照明及び圧縮復元の品質を補償することができる。

特許文献３は、種々の形式の複合媒体内容に関する情報を提示するグラフィカル利用者インターフェースを開示している。

特許文献４は、視覚シーンを表現するのに、関連する視覚要素の時間的及び空間的な値を示すグラフを用いることを開示している。この特許文献４は、時間的事象の時間を拡大縮小及び切り取りを行うことによる、視覚シーンのデータの時間的な変換を更に開示している。

ビデオストリームの既知の部分に効果的かつ任意の順でアクセスするシステム又は方法を提供するいかなる公知例も存在しない。必要なのは、ビデオの内容のデータを階層的な方法で表示できる、利用者に優しいインターフェースである。また、かかる利用者インターフェースにより、利用者は、シーン、フレーム等を、論理的な群に自動又は手動で区分けできることが望ましい。この論理的な群は、かかるシーン又はフレームが含む視覚データの特性に基づいてアクセスし分析することができる。長編ビデオをまるごと処理するのは時間がかかるので、理想的なシステムであれば更に、利用者はビデオのいかなる部分をも選択的に操作でき、効果的な移動のために筋書を表示できるであろう。
２００３年４月２２日にIshikawaに付与された米国特許第6,552,721号 ２００４年８月１０日にBatesらに付与された米国特許第6,774,908号 ２００６年１月２６日にStarkらが出願した米国特許出願第20060020962号 １９９９年１０月１４日にFrenchらが出願した米国特許出願第1999052050号

本願の原理は、ビデオの内容の部分を階層的な方法で表示することに向けられている。

本発明の一観点によれば、ビデオストリームの部分を表現する方法を提供する。ここでビデオストリームは少なくとも一つのセグメントを備え、セグメントは少なくとも一つのシーンを備え、シーンは少なくとも一つのフレームを備える。更に前記少なくとも一つのセグメント、シーン及びフレームの形式を定める方法を提供する。その結果、ビデオストリームの少なくとも一つのセグメントを使用中のセグメントとして指定し、表示するシーンは使用中のセグメントの部分となる。

本発明の別の観点によれば、ビデオストリームのデータを階層形式によって操作及び符号化する、利用者インターフェースを提供する。階層形式は、少なくとも一つのクラス縮小画像、少なくとも一つのシーン縮小画像、少なくとも一つのフレーム縮小画像を含む。クラス縮小画像はビデオストリームからの複数のシーンを表現し、各々のクラス縮小画像は少なくとも一つ、関連する情報帯を備える。シーン縮小画像はクラス中のシーンを表現し、各々のシーンは少なくとも一つのフレームを備え、各々のシーン縮小画像は少なくとも一つ、関連する情報帯を備える。各々のフレーム縮小画像はシーン中のフレームを表現し、少なくとも一つ、関連する情報帯を備える。更に、本観点は、関連する縮小画像のフレーム番号、フレーム時間及びクラス情報を表示する、各々の情報帯を含んでもよい。

本発明のまた別の観点によれば、ビデオストリームデータを階層形式によってグラフィカル利用者インターフェースにおいて表示する方法を提供する。この方法は、少なくとも一つのシーン縮小画像、少なくとも一つのフレーム縮小画像、及び少なくとも一つの分類を表示することを含む。シーン縮小画像はシーンを表現し、各々のシーンは少なくとも一つのフレームを備える。各々のフレーム縮小画像はシーン中のフレームを表現する。各々の分類は少なくとも一つのシーンを備える。本観点は、少なくとも一つのセグメント縮小画像を表示することを更に含んでもよい。セグメント縮小画像は連続するデジタル画像のセグメントを表現し、各々のセグメントは少なくとも一つのシーンを備え、ここで、表示される各々のシーンはセグメントの部分である。かかる観点においては、本方法は、各々のセグメントの先頭と末尾とを自動的に決定しつつ、及び各々のシーンの先頭と末尾とを自動的に決定しつつ、ビデオストリームデータを取り込むことを含むこともできる。本観点は、少なくとも一つのボタンを表示することを更に含んでもよい。これにより利用者はビデオストリームの少なくとも一部分を符号化することができる。

本願の原理の利点、本質、及び種々の付加的な機能は、添付の図面との関連で詳細に記述する例示的な実施例を考慮することで、よりよく明らかになる。

図面は本願の原理の概念を例示する目的のものであり、本願の原理を例示する唯一可能な構成であるとは限らない。

本願の原理は、ビデオストリームからの画像を、階層的にアクセスできる木に表示し、符号化並びに後続の、ビデオ品質の評価及び操作を可能とする、システム及び方法を提供する。

本願の原理はビデオ表示システムの観点で記述していることを理解する必要がある。しかしながら、本願の原理は遥かに広いものであり、表示又は利用者との相互作用が可能な、いかなるデジタル複合媒体システムをも含みうる。また、本願の原理は、計算機、電話、セットトップボックス、衛星通信等により表示されるデータの操作を含む、いかなるビデオの表示又は編集の方法にも適用可能である。本願の原理は個人用計算機の観点で記述している。しかしながら、本願の原理の概念を他の相互作用的な電子表示装置に拡張してもよい。

図に示す要素は、ハードウェア、ソフトウェア、又はこれらの組み合わせの種々の形態で実装してもよいことを理解する必要がある。好適には、これらの要素は、一つ以上の適切にプログラムされた汎用装置（処理装置、記憶装置及び入出力インターフェースを含んでもよい）におけるハードウェアとソフトウェアとの組合せで実装する。

本願の記述は本願の原理を例示する。従って、当業者は、本願の原理を実施し、本願の原理の趣旨および範囲に含まれる種々の翻案（本願に明示的に記述して又は示していなくとも）を考案することが可能であると考えられる。

本願に記載する全ての例と条件表現とは説明を目的とするものであり、これにより読者が本願の原理と概念を理解する手助けになることが期待されている。本願の原理と概念は、当業の進歩のために発明者が寄与するものである。本願に記載する全ての例と条件表現とは、かかる個別に記載する例と条件とに限定せずに解釈しなければならない。

また、本願の原理の、原理、観点、及び実施例、並びにこれらの個別の例を記載する本願の全ての陳述は、これらの構造的と機能的との両方の等価物を含むことを意図している。更に、かかる等価物は、現在既知の等価物と将来作られる等価物（即ち、構造に関らず、同一の機能を実行するように作られる要素）との双方を含むことを意図している。

従って、例えば、本願に示す区画図は、本願の原理の、原理を実施する例示的な要素の概念的な像を表現していると、当業者は理解できる。同様に、いかなる流れ表、流れ図、状態遷移図、擬似命令等も、種々の過程を表現していると理解できる。これら種々の過程は、計算機可読媒体によって実質的に表現することができ、従って、計算機又は処理装置（かかる計算機又は処理装置が明示的に示されているか否かに関らず）が実行することができる。

図に示す種々の要素の機能は、専用のハードウェア又は適切なソフトウェアに関するソフトウェアを実行することができるハードウェアを用いることによって提供できる。処理装置が機能を提供する場合には、単一の専用処理装置、単一の共有される処理装置、又は複数の個々の処理装置であってそのうちのいくつかが共有されてもよいものが、機能を提供してもよい。また、明示的に「処理装置」又は「制御装置」という語を用いても、ソフトウェアを実行できるハードウェアを排他的に参照していると解釈してはならない。かかる語は、制限無しに、デジタル信号処理装置（ＤＳＰ）ハードウェア、ソフトウェアを格納する読み出し専用記憶装置（ＲＯＭ）、任意読書可能記憶装置（ＲＡＭ）及び不揮発性記憶装置を暗黙に含んでもよい。更に、機能を表示画面に提供する場合には、表示画面は、視覚情報を表現するハードウェアのいかなる型のものであってもよい。これは制限無しに、ＣＲＴ、ＬＣＤ、プラズマ又はＬＥＤ表示画面（有機又はそれ以外）及び他のいかなる表示装置（既知又は未知）を含んでもよい。

本願に記述する符号化又は圧縮の機能は、デジタル的に互換な符号化又は圧縮のいかなる形態を取ってもよい。これは任意のＭＰＥＧビデオ若しくは音声符号化、任意の可逆若しくは非可逆の圧縮若しくは符号化、又は任意の他の占有若しくは公開標準の符号化若しくは圧縮を含んでもよいが、それらに限定されない。更に、符号化という言葉と圧縮という言葉とは相互に交換可能に用いてもよいと理解する必要がある。双方の言葉は、デジタルソフトウェア、ハードウェア、又はソフトウェアとハードウェアとの組合せの、任意の種類によって取り込まれるデータストリームを準備することを指す。

通常の及び／又は特別の、その他のハードウェアも、含まれてもよい。同様に、図に示すいかなるスイッチ、ボタン又は決定区画も、概念を示すものにすぎない。これらの機能は、プログラム論理の操作によって、専用の論理回路によって、プログラム制御と専用論理回路との相互作用によって、又は手動でさえ、実現してもよい。文脈からより明確に理解されるように、個別の手法は実装者が選択することができる。

本願の請求項において、特定の機能を実行するための手段として表現するいかなる要素も、その機能を実行するいかなる方法をも含むことが意図されている。例えば次を含む：（ａ）その機能を実行する回路要素の組合せ；又は（ｂ）任意の形態のソフトウェアであり、従って、ファームウェア、マイクロコード等を含み、そのソフトウェアを実行するために適切な回路と組み合わされ、その機能を実現するソフトウェア。かかる請求項が定義する本願の原理は、記載の種々の方法が提供する機能は、請求項が要求する方法で組み合わされ結び付けられるという事実に存する。従って、これらの機能を提供できるいかなる方法も、本願に示す方法と同等であるとみなされる。

図面の個々の詳細を参照する際に、同様の参照番号は類似の又は同一の要素を複数の図を通して同定する。まず図１に、本願の原理の実施例による内容アクセス木の要素階層１００の例示的な実施例の区画図を示す。まず、少なくとも一つの完全なビデオストリーム１０１が操作の対象となる。完全なビデオストリームは複数のファイルを含んでもよく、また、より大きなビデオストリームの部分であってもよい。

はじめに、完全なビデオストリーム１０１はセグメントの群１０２を含むことに注意しなければならない。ここでセグメント１０３の各々は引き続きシーンの群１０４を含む。ここでシーン１０５の各々は引き続きフレームの群１０６を含む。

完全なビデオストリーム１０１は、セグメントの群１０２を含む。セグメントの群１０２は、複数のセグメント１０３を備える。セグメント１０３の総体が、元の完全なビデオストリーム１０１の全体を含む。

セグメント１０３は完全なビデオストリーム１０１の部分の直線的表現であってもよい。例えば、各々のセグメントは、初期設定で、５分のビデオストリームを表現してもよい。また、各々のセグメントは、完全なビデオストリーム１０１の少なくとも５分を表現するが、５分の印の後の最初のシーンの末尾で打ち切ってもよい。利用者は初期設定のセグメント長を決めてもよい。利用者はまた、自動的に生成されるセグメントの期間を編集してもよい。更に、セグメントは固定数のシーン又は他のいかなる合理的な区分けを表現してもよい。

例えば、一つの有用な実施例では、各々のセグメントは、類似のビデオ特性に基づき分類されるシーン１０５の非直線的分類であってもよい。また別の有用な実施例では、各々のセグメント１０３は、任意の別の基準により論理的にクラス分けされるシーンの群１０４を含むクラスであってもよい。

各々のセグメント１０３はシーンの群１０４を含む。ここでシーンの群１０４は複数の個々のシーン１０５を含む。一つの有用な実施例では、シーンは完全なビデオストリーム１０１の、連続する直線的部分を表現してもよい。

同様に、各々のシーン１０５はフレームの群１０６を含む。フレームの群１０６は、複数の個々のフレーム１０７を含む。一つの特に有用な実施例では、各々のフレーム１０７は標準的なビデオのフレームである。

図２に、階層形式でビデオストリームの内容を生成し表示するシステム２００の例示的な実施例の流れ図を示す。このシステム２００は、非相互作用的な部分を区画２０１に、相互作用的な部分を区画２０２に有してもよい。

システムアーキテクチャーを作る個々の区画部品の詳細は、当業者には既知なので、その記述は本願の原理の理解に十分な詳細度にとどめる。

システムの、区画２０１の非相互作用的な部分では、システムは区画２０３においてビデオ内容を取り込んでもよく、区画２０４においてビデオ内容データを生成してもよく、区画２０５において内容アクセス木のためのデータを生成してもよい。区画２０１のシステムの非相互作用的な部分は、自動化された手法で実行してもよいし、既に存在していてもよいし、例えばシステム２００の以前の操作で作成してもよいし、他の補助的又は独立したシステムが作成してもよい。

区画２０３でビデオ内容を取り込む場合、ビデオ内容は記憶媒体に取り込んでもよい。記憶媒体は例えば次を含むがこれに限定されない：任意読書可能記憶装置（ＲＡＭ）、任意の種類の計算機利用可能格納媒体、計算機網、又は実時間伝送。システム２００は次に区画２０４でビデオ内容データを生成してもよい。区画２０４におけるこの生成の工程は、シーンの検出、度数分布図の生成、色とシーンの類似性とビット速度とフレームのクラス分けとに基づくシーンとフレームとのクラス分け、及び縮小画像の生成を含んでもよい。現在、シーン間の遷移を自動的に検出するソフトウェアと算法は広く用いられており、当業者には周知である。

区画２０５でシステムは、内容アクセス木を表示するために有用なデータを更に生成してもよい。このデータは例えば次を含んでもよいがこれに限定されない：ビデオ内容を表示する際の表示選択肢を初期設定するために、又は任意のビデオデータに注釈を施すために、データの要素の関係を管理するのに必要な、索引、印又はその他の、生成されるデータ。区画２０４及び区画２０５で生成されるいかなるデータも、将来の利用又は再利用のために保存してもよい。かかる保存は、生成過程におけるいかなる時点で行ってもよい。かかる保存の機能は、当業者には容易に明らかであり、従って、いかなる既知の又は未知の方法によって実装してもよい。

システム２００の相互作用的な部分である区画２０２は、次に、区画２０１の非相互作用的な部分がその前に準備したデータを操作の対象としてもよい。内容アクセス木システム２００は、区画２０６において、システム２００の区画２０１の非相互作用的な部分が生成したデータを取り込んでもよい。表示するデータは、区画２０７において、直線的即ち時間線に沿った表現の形態を取ってもよいし、また、区画２０９において、論理的な分類及び／又はクラス表示を含んでもよい。一つの有用な実施例では、時間線に沿った表現と論理的な表現との双方を表示するので、利用者は時間線から選択したシーンを手作業で分類してもよい。

区画２０７において時間線に沿った表現を生成したなら、区画２０８では時間線を表示し、これを用いてセグメント、シーン、及びフレームに対して任意の順でアクセスすることが可能となる。ビデオのセグメント、シーン及びフレームは、区画２１１において表示要素として利用者に提示される。

区画２０９において論理的な（クラス分け）表現を生成したなら、区画２１０では分類又はクラスの表現を表示し、任意の順でアクセスすることが可能となる。この表現は、利用者が変更又は定義してもよいし、かわりに自動的に生成してもよい。

例えば、クラス又はシーンを自動的に分類した利用者インターフェースを利用者に提示してもよい。ここで利用者インターフェースを用いて、自動的にクラス分けしたクラスやシーンを手作業で変更できる。

区画２０７における直線的な（時間線に沿った）表現と、区画２０９における論理的な（クラス分け）表現との両方の場合で、セグメント、シーン及びフレームは、次に区画２１１で表示する。一つの有用な実施例では、セグメントを使用中にしてもよく、この場合、使用中のセグメントからのシーンを表示する。また、シーンを使用中にしてもよく、その結果、表示するフレームは使用中のシーンに従属することになる。

また、区画２１２においてビデオデータを表示してもよい。とりわけ有用な実施例では、このビデオデータはシーンとセグメントとの各々の、分類又はクラス分けの特性であってもよい。別のとりわけ有用な実施例では、各々のフレームに関係するデータを表示してもよい。一つの実施例では、これは色のデータ、フレームのビット速度のデータ、又は任意の他の有用なデータの形態を取ってもよい。

次に区画２１３において利用者は表示しているデータの中を移動し選択することができる。一つの有用な実施例では、利用者は使用中のセグメントを選択できてもよい。ここで使用中のセグメントの内容を反映して、表示するシーンとフレームが変わる。同様に、この有用な実施例では、利用者は選択により使用中のシーンを変更してもよい。これは例えば、希望するシーンでマウスをクリックすることにより行い、すると新しく選択した使用中のシーンに含まれるフレームを表示する。

区画２１４では、利用者は、各セグメント、シーン、フレーム又は分類に関するデータを変更してもよい。有用な実施例の一つでは、各々の分類は、関連する媒介変数の初期設定を備えてもよい。例えば（しかしこれに限らない）色の情報、符号化のビット速度、等である。かかる有用な実施例の一つでは、媒介変数の初期設定は、シーンを分類に追加する場合に、その媒介変数の初期設定を新しく追加するシーンに適用するようなものであってもよい。利用者はまた、区画２１４において、シーンを分類に集約してもよい。一つの有用な実施例では、分類は複数のシーンを含み、符号化過程において分類をシーンと同様に扱ってもよい。別の有用な実施例では、利用者はまた、シーンの印を変更してもよい。即ち、シーンを検出する自動化過程を覆して、どのフレームがシーンに属するかを指定してもよい。

利用者が、区画２１３で利用可能なビデオデータの中を移動する機会を得て、区画２１４でいかなる変更をも行った後で、利用者は区画２１５において、セグメント、シーン又は分類のいかなるものも、又はその全てを、符号化又は再符号化してもよい。符号化又は再符号化の過程は遠隔の計算機で行ってもよいし、利用者の端末計算機で行ってもよい。一つの有用な実施例では、セグメント、シーン、又は分類は、符号化のための待ち行列に入れる。すると利用者は、ビデオデータの他の部分を見たり検証したりしてもよく、その間に指定した部分が符号化又は再符号化される。シーンの符号化は優先順位を与えてもよい。これにより、符号化を非直線的な方法で進行させることができる。区画２１５の符号化及び再符号化の後で、新たに符号化したセグメント、シーン又は分類は、次に、再表示される。一つの有用な実施例では、利用者は次に、符号化したビデオの部分が適切に表示されることをもって、区画２１５での符号化又は再符号化が適切に行われたことを検証してもよい。利用者が、全てのビデオシーンが適切に符号化されたことに満足し、区画２１４でデータの変更をそれ以上行う必要が無い場合、区画２１６でビデオ符号化の仕事を完了する。一つの有用な実施例では、ビデオは主ディスクに収納してもよい。主ディスクは複写を行いその後複製した媒体を販売する。

図３に、ビデオストリームの内容を階層形式で表示するインターフェース３００の例示的な実施例の図を示す。システムアーキテクチャーを作る個々の部品の詳細は、当業者には既知なので、その記述は本願の原理の理解に十分な詳細度にとどめる。メニュー、ボタン、及び他類似の相互作用項目のような随意のインターフェース要素は、相互に交換可能であると当業者には既知であり、本願の原理を限定する意図は無い。

インターフェース３００の要素は、可視表示領域又は表示画面３０１の内部に表示する。一つのとりわけ有用な実施例においては、表示画面３０１は、個人用計算機に接続した計算機表示画面、可搬型計算機の画面等であってもよいが、これに限定されない。表示画面は時間線３０２を含んでもよい。時間線３０２は、完全なビデオストリームの時間系列並びに表示中のセグメント、シーン、及びフレームが表現する時間の一点を示す。時間線は時間線指標３０４を含んでもよい。時間線指標３０４は現在使用中のセグメント若しくはクラス並びにシーンの位置を示す。時間線指標３０４は手で動かしてもよく、これにより、時間線指標３０４が移動した先の時間に対応するセグメント及びシーンにアクセスできる。時間線３０２は時間線帯３０３を更に含んでもよい。時間線帯３０３はビデオストリームの内容の全体の長さを表現する。

とりわけ有用な実施例は、セグメント表示要素の群３０５を表示する表示画面を含んでもよい。セグメント表示要素の群３０５は複数のセグメント表示要素３０６を含む。セグメント表示要素３０６はそのセグメントを表現する縮小画像又は他の視覚情報を表示してもよい。また、セグメント表示要素３０６のうちの一つは、一つ以上の追加の視覚要素３０７を備えてもよい。追加の視覚要素３０７は、そのセグメント表示要素３０６が表示しているセグメントが、使用中のセグメントであり、シーン表示要素３０９は使用中のセグメントの部分であることを示す。一つの有用な実施例では、使用中のセグメントを示す追加の視覚要素３０７は、使用中のセグメントを囲むブロック、アウトライン、又は色つきの背景であってもよい。また別の有用な実施例では、追加の視覚要素３０７は使用中のシーン又は使用中のフレームを示すために用いてもよい。

セグメントの群はまた、その群に関連する、一つ以上の移動ボタンの群３１０を備えてもよい。移動ボタンの群３１０の各々は、単発移動ボタン３１２及び跳躍ボタン３１１を含んでもよい。単発移動ボタン３１２は、シーン表示要素の群３０８の部分として表示されるシーンを右又は左にスクロールしてもよい。これにより、使用中のセグメント又は使用中のクラスの部分だが、表示されていないシーンに、利用者がアクセスできるようになる。また、跳躍ボタン３１１により、利用者は、セグメントの先頭又は末尾のシーンに直接進むことができる。とりわけ有用な実施例では、これらのボタンが有用でありうるのは、セグメント又はクラスのシーンの数が、シーンを表示するのに使える場所に収まらない場合である。また、かかる移動ボタンの群はシーン及びフレームと関連付けてもよく、同様にシーン及びフレームをスクロールするために用いてもよい。

とりわけ有用な実施例はまた、シーン表示要素の群３０８を表示する表示画面を含んでもよい。シーン表示要素の群３０８は複数のシーン表示要素３０９を含む。表示するシーンは現在使用中のセグメント又はクラスからのシーンであり、追加の視覚要素３０７で表現してもよい。シーン表示要素３０９はそのシーンを表現する縮小画像又は他の視覚情報を示してもよい。また、シーン表示要素３０９のうちの一つは、一つ以上の追加の視覚要素３０７を備えてもよい。追加の視覚要素３０７は、そのシーン表示要素３０９が表現しているシーンが、使用中のシーンであり、フレーム表示要素３１４は使用中のシーンの部分であることを示す。

別のとりわけ有用な実施例では、表示画面はまた、フレーム表示要素の群３１３を表示してもよい。フレーム表示要素の群３１３は、複数のフレーム表示要素３１４を含む。フレーム表示要素３１４の各々は、個別のフレームを表示する。フレーム表示要素３１４に表示するフレームは、使用中のシーンからのフレームであり、従ってまた、使用中のセグメント又は使用中のクラスからのものである。

別のとりわけ有用な実施例は、度数分布図の群３１５を含んでもよい。度数分布図の群３１５は、複数の度数分布図３１６を備える。度数分布図３１６の各々は、フレーム表示要素３１４の個々に対応してもよく、フレーム表示要素３１４に表示するフレームに関する情報を表示してもよい。例えば、度数分布図３１６はビット速度、フレームの色の情報等に関する情報を表示してもよい。

図４に、インターフェース表示要素としてのセグメント表示要素３０６の例示的な実施例の詳細図を示す。インターフェース表示要素は、セグメント、クラス若しくはシーンの縮小画像表現又は個々のフレームの縮小画像を表示するために用いてもよい。縮小画像は、縮小画像表示領域４０３に表示してもよい。インターフェース表示要素としてのセグメント表示要素３０６はまた、上部情報帯４０１及び下部情報帯４０５を備えてもよい。とりわけ有用な実施例では、上部情報帯４０１は、表示する縮小画像が表現するビデオ内容のストリーム中での時間等の情報４０２を表示してもよい。同様に、とりわけ有用な実施例では、下部情報帯４０５に、インターフェース表示要素としてのセグメント表示要素３０６に表示する縮小画像のフレーム番号等の情報４０６を表示させてもよい。また、上部情報帯４０１及び下部情報帯４０５は、クラスに関する情報又は類似の情報を伝達するために用いてもよい。例えば、上部情報帯４０１及び下部情報帯４０５は、セグメント、クラス、シーン、又はフレームに関する特性に基づくクラス分けを示す色をつけてもよい。

インターフェース表示要素としてのセグメント表示要素３０６はまた、追加のインターフェース視覚要素４０４を示す領域を備えてもよい。この追加のインターフェース視覚要素４０４は、どのセグメント又はクラスが現在使用中であるかを示すために随意に備えてよい。

図５に、利用者のインターフェース３００の一つの例示的な実施例の図を示す。かかる利用者のインターフェースでは、利用者は、時間線のカーソルを動かすことによって、セグメント、シーン及びフレームの中を移動することができてもよい。かわりに、利用者はセグメントを単にクリックしてもよい。これにより、そのセグメントが使用中になり、表示するシーンとフレームが変わる。ここで表示するシーンとフレームは選択したセグメントの部分である。同様に、利用者はシーンを単にクリックしてもよい。これにより、そのシーンが使用中のシーンとして選択され、表示するフレームが変わる。ここで表示するフレームは使用中のシーンの部分である。

図６に、本願の原理による内容アクセス木のデータを表示し操作する画面配置の、別な例示的な実施例の詳細図を示す。この実施例では、図３のインターフェース３００は追加の作用又は表示要素を含んでもよい。

複数の分類表示要素６０５を含む、分類表示要素の群６０４を表示してもよい。各々の分類表示要素６０５は追加の視覚要素で表現してもよい。各々の分類表示要素６０５に属するシーンのフレーム表示要素３１４は、利用者が吟味しやすいように、追加の視覚要素を表示してもよい。一つの有用な実施例では、利用者は、シーン表示要素３０９を適切な分類表示要素６０５にドラッグ＆ドロップすることにより、シーン表示要素３０９を分類できてもよい。かわりの実施例では、利用者はマウスを用いてシーン表示要素３０９をクリックし、ドロップダウンメニューから分類表示要素６０５を選んでもよい。

インターフェース６００はまた、一つ以上の作用ボタンの群６０１を備えてもよい。作用ボタンの群６０１は、複数の作用ボタン６０６を含む。一つ以上の作用ボタン６０６はシーン又は分類の各々に関係してもよい。作用ボタン６０６を用いて、利用者はシーン又は分類を、最初の符号化、再符号化、又はフィルターをかけるための、待ち行列に入れることができてもよい。とりわけ有用な実施例では、最初の符号化を行っていないシーン又は分類は、作用ボタン６０６を備えることになる。これにより作用ボタン６０６に関連するシーン又は分類を符号化する。別の有用な実施例では、作用ボタン６０６を用いて、利用者はまた、シーン又は分類にフィルターをかけることができてもよい。また、利用者はいかなる縮小画像又は情報帯もマウスの右のボタンでクリックしてもよく、これにより利用者は選択した縮小画像又は情報帯について、作用を及ぼしたり情報を見たりすることができる。

インターフェース６００はまた、シーンの印６０２を同様に表示してもよい。一つの有用な実施例では、シーンの印６０２は、利用者が、シーンの境界（例えばシーンにおけるフレームの区分け）を視覚的に識別できるような方法で配置される。別の有用な実施例では、利用者はシーンの印６０２をマウスでクリックして、シーンの境界を作成又は削除してもよい。この実施例では、利用者は、シーンの印６０２を選択することにより、元のビデオデータを取り込んだ際に行われた自動的なシーンの検出を修正してもよい。

フレーム表示要素３１４に関連するフレーム情報の印６０３もまた、インターフェースに表示してよい。フレーム情報の印６０３は、フレーム表示要素３１４の部分であってもよいし、又はフレーム表示要素３１４へのいかなる論理的関連においてでも表示してよい。一つのとりわけ有用な実施例では、フレームの符号化の型を文字で表示してもよい。例えば、フレーム情報の印６０３は、フレームが単独で圧縮されていること（I）、フレームが他の二つのフレームから補間されていること（B）、又はフレームが他の一つのフレームとの差分として圧縮されていること（P）を示してもよい。

ビデオ内容を階層的な方法で表示するシステムと方法の好適な実施例を記述した。これは例示的であることと、制限的でないこととを意図している。前述の教示に照らせば、当業者が変更と翻案を行うことが可能であることに注意を促す。従って、開示された本願の原理の特定の実施例に変更を施してもよいことを理解しなければならない。かかる変更は添付の請求項に示す本願の原理の範囲及び趣旨に含まれる。本願の原理について特許関連法令が要求する詳細な説明を行った。請求項は特許請求の範囲に示す。

本願の原理による実施例による、内容アクセス木の要素階層の例示的な実施例の区画図である。 本願の原理による一つの実施例による、内容アクセス木によってビデオ内容を表示する典型的なシステムの流れ図である。 本願の原理による、内容アクセス木のデータを表示し操作する画面配置の例示的な実施例の区画図である。 本願の原理による、内容アクセス木の単一の要素の詳細な例示的な実施例を示す区画図である。 本願の原理の実施例である、利用者インターフェースの詳細な例示的な実施例を示す図である。 本願の原理による、内容アクセス木のデータを表示し操作する画面配置の、別の詳細な例示的な実施例を示す区画図である。

Claims (21)

1. 少なくとも一つのシーンを備える少なくとも一つのセグメントを備えるビデオストリームの部分を示し、ここで前記シーンは少なくとも一つのフレームを備える工程、及び
   前記少なくとも一つのセグメント、シーン及びフレームの形式を定め、その結果前記ビデオストリームの少なくとも一つのセグメントを使用中のセグメントとして指定し、表示する前記シーンは前記使用中のセグメントの部分であり、一つのシーンが使用中のシーンであり、表示するフレームは使用中のシーンの部分である工程、
   を含む方法。
2. 前記使用中のセグメントを選択するために、前記少なくとも一つのセグメントは選択可能であり、セグメントの選択により、利用者に前記使用中のセグメントの前記少なくとも一つのシーンを閲覧することを許可する、請求項１の方法。
3. 前記使用中のセグメントを視覚要素で示す工程を更に含む、請求項１の方法。
4. 前記使用中のシーンを選択し、利用者に前記使用中のシーンの前記少なくとも一つのフレームを閲覧することを許可するために、前記少なくとも一つのシーンは利用者が選択可能である、請求項１の方法。
5. 前記使用中のシーンを画像要素で示す工程を更に含む、請求項１の方法。
6. 少なくとも一つの度数分布図と表示するフレームとを関連付ける工程を更に含み、ここで前記度数分布図は前記関連付けられたフレームの少なくとも一つの特性を表現する、請求項１の方法。
7. 利用者に前記ビデオストリームの少なくとも一つのシーンを符号化することを許す工程を更に含む、請求項１の方法。
8. 前記システム、前記シーン及び前記フレームは前記符号化されたビデオストリームを表示し、前記ビデオストリームの少なくとも一つのシーンを再符号化する工程を更に含む、請求項７の方法。
9. シーンの印を視覚要素で表現する工程を更に含み、ここでシーンの印は、シーンに含まれる前記フレームを決定するために、利用者が選択可能である、請求項１の方法。
10. 少なくとも一つの分類を更に含み、各々の分類は少なくとも一つのシーンを含み、ここで前記分類に含まれる前記シーンは利用者が選択可能である、請求項１の方法。
11. 前記少なくとも一つの分類は前記利用者の前記選択で符号化してもよく、選択された分類に含まれる前記シーンは個別に符号化される、請求項１０の方法。
12. 時間線を備える前記使用中のセグメントを選択する工程を更に含み、ここで前記使用中のシーンは前記時間線を用いて選択可能である、請求項１の方法。
13. ビデオストリームからの複数のシーンを表現する少なくとも一つのクラス縮小画像、ここで前記少なくとも一つのクラス縮小画像は、関連する情報帯を含み、かつ、使用中にするために利用者が選択可能であり；
    クラスにおけるシーンを表現する少なくとも一つのシーン縮小画像、ここで前記シーンは、少なくとも一つのフレーム及び関連する情報帯を備え、かつ、使用中にするために利用者が選択可能であり、前記少なくとも一つのシーン縮小画像は前記使用中のクラスに含まれ；
    少なくとも一つのフレーム縮小画像、ここで前記フレーム縮小画像はシーンにおけるフレームを表現し、かつ、関連する情報帯及び関連するフレーム情報の印を備え、前記少なくとも一つのフレーム縮小画像は前記使用中のシーンに含まれ；及び
    利用者に前記ビデオストリームの少なくとも一部分を符号化することを許す少なくとも一つの符号化ボタン；
    を含む階層構造；及び
    少なくとも一つのクラス縮小画像、少なくとも一つのシーン縮小画像、少なくともフレーム縮小画像、及び少なくとも一つの符号化ボタンを表示するインターフェース、ここでセグメントが使用中のセグメントとして指定されるのは、表示される前記シーンが前記使用中のセグメントに含まれるようにであり、及びここで一つのシーンは使用中のシーンとして指定され、表示される前記フレームは前記使用中のシーンに含まれる；
    を含む利用者インターフェース。
14. 前記情報帯は前記関連する縮小画像のフレーム番号及びフレーム時間を表示する、請求項１３の利用者インターフェース。
15. クラスに関連する前記情報帯は前記関連するクラスに関するクラス情報を表示する、請求項１３の利用者インターフェース。
16. シーンを表現する少なくとも一つのシーン縮小画像を表示する工程、ここで前記シーンは少なくとも一つのフレームを含み；
    少なくとも一つのフレーム縮小画像を表示する工程、ここで前記フレーム縮小画像は前記シーンにおけるフレームを表現し；
    少なくとも一つの分類を表示する工程、ここで前記分類は少なくとも一つのシーンを含み；
    相互作用的な利用者インターフェース、少なくとも一つのシーン縮小画像、及び少なくとも一つのフレーム縮小画像を表示する工程、ここで一つのシーンは使用中のシーンとして指定され、表示される前記フレームは前記使用中のシーンの部分であり；及び
    前記利用者に少なくとも一つのシーンを符号化することを許可する工程；
    を含む方法。
17. 連続するデジタル画像のセグメントを表現する少なくとも一つのセグメント縮小画像を表示する工程を更に含み、ここで前記セグメントは少なくとも一つのシーンを備え、表示される各々のシーンはセグメントの部分である、請求項１６の方法。
18. ビデオストリームデータを取り込む工程；
    各々のセグメントの先頭と末尾とを自動的に決定する工程；及び
    各々のシーンの先頭と末尾とを自動的に決定する工程；
    を更に含む、請求項１７の方法。
19. 時間線を表示する工程、ここで前記時間線はビデオストリームデータの少なくとも一部分の長さを表現し；及び
    前記時間線の時間を選択することにより、利用者に、表示される前記少なくとも一つのシーン縮小画像及び表示される前記少なくとも一つのフレーム縮小画像を決定することを許可する工程；
    を更に含む、請求項１６の方法。
20. 前記利用者に少なくとも一つの分類中の全てのシーンを符号化することを許す少なくとも一つのボタンを表示する方法を更に含む、請求項１６の方法。
21. 各々のシーンの先頭と末尾を手で編集する工程を更に含む、請求項１６の方法。

Images