JP2003517786A

JP2003517786A - ビデオ制作システムおよび方法

Info

Publication number: JP2003517786A
Application number: JP2001546152A
Authority: JP
Inventors: ピーター，ロワンケロック，; スリクマー，カライクディスブラマニアム，; ラマナスパッドマナハン，; リアング，キーゴー，
Original assignee: ケント・リッジ・デジタル・ラブス
Priority date: 1999-12-16
Filing date: 1999-12-16
Publication date: 2003-05-27
Also published as: ATE398382T1; US7702014B1; DE69938904D1; EP1944770A2; WO2001045391A1; EP1247396A1; EP1944770A3; EP1247396B1

Abstract

(57)【要約】動画像セグメント（１０８）を処理するシステムを開示する。本システムは記述子（１１０）を作成し、対応する動画像セグメント（１０８）に対する少なくとも一つの値をこの記述子に特有のものにする記述子インスタンシエータを含む。本システムは更に、少なくとも二つの動画像セグメントに対応する少なくとも一つの記述子の値に従って少なくとも二つの動画像セグメントを選定する手段と少なくとも二つの動画像セグメントに対応する少なくとも一つの記述子の値に従って少なくとも二つの動画像セグメントを配列づけする手段とを含み、少なくとも二つの動画像セグメントから出力ビデオ制作を組立てる動画像コンストラクタを含む。

Description

【発明の詳細な説明】

【０００１】（技術分野）本発明は、一般にビデオ制作に関する。特に、本発明は、ビデオ制作用のビデ
オ再目的化、編集およびファイル保管に関する。

【０００２】（背景技術）今日のノンリニアビデオエディタは、ビデオプレーヤによるフィルムカッティ
ングと線形ダブ編集のような従来の編集方法から生まれた。これらのツールは、
望む結果が単一で高品質なビデオ制作であるシナリオに好適である。しかし、こ
れらのツールにより素早くビデオ制作の複数の編集代替案を考えることは不可能
であり、これは新しいビデオエディタにとっては支障になる。それゆえ、ビデオ
制作の初心者は、初心者が素早く作成できるものは何でも“使う”か、あるいは
代替案を探すのに多くの時間を費やすかのどちらか一方を強いられる。

【０００３】根本的に異なるビデオ制作ツールを必要とする多くの傾向が見られる。このよ
うな傾向は、被撮影や被記録映像素材、特に非専門家により撮影された映像素材
量の急激な増加の中に見られる。ディジタルビデオ（ＤＶ）カメラのような製品
をもたらす技術開発やブレークスルーは、ますます多くのビデオ素材をディジタ
ルフォーマットで専門家の、あるいは専門家に近い技術品質で撮影したり、記録
することを意味する。しかし、従来のツールによるこの種のビデオ素材を編集す
る費用は、多くの場合に法外に高いものである。

【０００４】別の傾向は、周知の放送以外のパラダイムやＶＣＲパラダイムを視聴するビデ
オ素材の拡張に見られる。視聴者は、視聴するビデオ素材に関し、どれぐらい長
く、どの順序で等の制御を増やしたがる。この傾向は、教育および専門家環境の
ノンフィクションビデオ素材に特に当てはまる。更に、この傾向は、例えば、種
々の視聴者デモグラフィを目指して種々の強調を伴う、種々の長さのビデオ制作
において、ビデオ素材の本体を複数形式で利用可能にする必要性が高まることを
意味する。

【０００５】更に別の傾向は、ディジタルフォーマット内やインタネット上で入手可能なビ
デオ素材量の有効性の指数関数的な増加に見られる。この傾向は、記述子による
ビデオ素材の有効な記述が必要であることを促すことになり、その結果、特定目
的に適切なビデオ素材が記述子の使用により役立つビデオ素材の大きな主要部か
ら検索される。ＭＰＥＧ−７規格に関係する動画像エキスパートグループ（ＭＰ
ＥＧ）の尽力による標準化を推し進める今日のビデオ素材記述の領域に大きな興
味がある。しかし、大きな課題がこのような尽力に直面し、この課題は二つの相
補的事実から生じる。第一に、ビデオ素材の信号分析によりビデオ素材から自動
的に抽出され、且つ、それゆえにこのようなビデオ素材に関連する記述子は、こ
れらの記述子が多くの利用者に理解されるためには、低レベルすぎて有効でなく
、且つ、通常の文脈において意味を持たないので、意味力が不足しがちである。
第二に、意味論的に強力な記述子はビデオ制作ツールにより手動で入力されたビ
デオ素材に関係するけれども、このプロセスは面倒で時間を消費するもので、従
って、このプロセスは多くの用途において投資効果がない。それゆえ、前述の傾
向の少なくとも一つを取扱うビデオ制作ツールの必要性が明らかになる。

【０００６】（概要）ビデオ素材の記述子の作成とビデオ制作プロセスを自動化する記述子の使用を
促進するビデオ制作システムを提供する。

【０００７】本発明の第一態様によれば、動画像セグメントを処理するシステムを提供する
。本システムは、記述子を作成し、動画像セグメントに対応する少なくとも一つ
の値を記述子に特有のものにする手段を含む。本システムはまた、少なくとも二
つの動画像セグメントから出力ビデオ制作物を組立てる手段を含み、この手段は
少なくとも二つの動画像セグメントに対応する少なくとも一つの記述子の値によ
って少なくとも二つの動画像セグメントを選定する手段および、少なくとも二つ
の動画像セグメントに対応する少なくとも一つの記述子の値によって少なくとも
二つの動画像セグメントを配列する手段を含む。

【０００８】本発明の第二態様によれば、動画像セグメントを処理する方法を提供する。本
方法は、記述子を作成し、動画像セグメントに対応する少なくとも一つの値を記
述子に特有のものにする工程を含む。本方法はまた、少なくとも二つの動画像セ
グメントから出力ビデオ制作物を組立てる工程を含み、この組立工程は、少なく
とも二つの動画像セグメントに対応する少なくとも一つの記述子の値に従って少
なくとも二つの動画像セグメントを選定する工程と、少なくとも二つの動画像セ
グメントに対応する少なくとも一つの記述子の値に従って少なくとも二つの動画
像セグメントを配列する工程を含む。

【０００９】本発明の第三態様によれば、動画像セグメントを処理する計算機プログラム製
品を提供する。本製品は、動画像セグメントを処理する計算機使用可能媒体内に
具現化した計算機読取り可能プログラムコード手段を有する前記媒体を含む。本
製品は、記述子を作成し、動画像セグメントに対応する少なくとも一つの値を記
述子に特有のものにする計算機読取り可能プログラムコード手段を持つ。本製品
はまた、少なくとも二つの動画像セグメントから出力ビデオ制作物を組立てる計
算機読取り可能プログラムコード手段を持ち、この手段は少なくとも二つの動画
像セグメントに対応する少なくとも一つの記述子の値に従って少なくとも二つの
動画像セグメントを選定し、且つ、少なくとも二つの動画像セグメントに対応す
る少なくとも一つの記述子の値に従って少なくとも二つの動画像セグメントを配
列する計算機読取り可能プログラムコード手段である。

【００１０】本発明の第四態様によれば、動画像セグメントを記述するシステムを提供する
。本システムは、第一記述子を作成し、第一動画像セグメントに対応する第一の
値を第一記述子に特有のものにする手段を含む。本システムはまた、前記第一動
画像セグメントと前記少なくとも一つの他の動画像セグメントとに対応する少な
くとも一つの他の記述子の値に従って前記第一動画像セグメントを少なくとも一
つの他の動画像セグメントでグループ分けする手段を含む。更に、本発明は、前
記第一の値を前記少なくとも一つの他の動画像セグメントに対応する前記第一記
述子に特有のものにする手段を含む。

【００１１】本発明の第五態様によれば、動画像セグメントを記述する方法を提供する。本
方法は、第一記述子を作成し、第一動画像セグメントに対応する第一の値を第一
記述子に特有のものにする工程を含む。本方法はまた、第一動画像セグメントと
少なくとも一つの他の動画像セグメントとに対応する少なくとも一つの他の記述
子の値に従って第一動画像セグメントを少なくとも一つの他の動画像セグメント
でグループ分けする工程を含む。更に、本方法は、第一の値を少なくとも一つの
他の動画像セグメントに対応する第一記述子に特有のものにする工程を含む。

【００１２】本発明の第六態様によれば、動画像セグメントを記述する計算機プログラム製
品を提供する。本製品は、動画像セグメントを記述する計算機使用可能媒体に具
現化した計算機読取り可能プログラムコード手段を有する前記媒体を含む。この
計算機プログラム製品は、第一記述子を作成し、第一動画像セグメントに対応す
る第一の値を第一記述子に特有のものにする計算機読取り可能プログラムコード
手段を持つ。本製品はまた、第一動画像セグメントと少なくとも一つの他の動画
像セグメントとに対応する少なくとも一つの他の記述子の値に従って第一動画像
セグメントを少なくとも一つの他の動画像セグメントでグループ分けする計算機
読取り可能プログラムコード手段を持つ。

【００１３】（発明の開示）既存ビデオ素材からビデオ制作とビデオ素材の記述子とを作成するビデオ制作
システムを開示する。このようなビデオ制作システム（今後は本システムと呼ぶ
）は、ビデオ制作に関係してそれに付随する幾つかの傾向と課題のうち少なくと
も一つを取扱う。このような傾向には、撮影ビデオ素材量の増加、ビデオ素材視
聴パラダイムの拡張、およびディジタルフォーマット内とインタネット上で利用
可能なビデオ素材量の利用度を含む。

【００１４】本システムは、スプレッドシート、グラフ化ツール、およびノンリニアビデオ
エディタの特徴を組合せるディスプレイパラダイムを伴う。本システムはまた、
ビデオ素材を領域分割し、種々の組合せと配列に再接続することができ、その間
に、ビデオ素材の動画像セグメントは自動的および／あるいは手動で定義され、
選定され、記述子の値により配列される。

【００１５】本システムは、ビデオ素材の主要部の選定サブセットを種々の配列で視聴する
ことによりビデオ素材の主要部に精通したい利用者を支援する。更に、本システ
ムは、例えば、従来のビデオ編集プロセスの前に、ビデオ素材の主要部を組合せ
てビデオ制作を形成する種々の方式を調べたい利用者を支援できる。本システム
は更に、ビデオ素材の主要部からビデオ制作を作成したい利用者を支援できる。
更に、本システムは、後でビデオ素材の検索および再目的化を可能にするビデオ
素材の主要部の記述を作成したい利用者を支援できる。また、本システムは、ビ
デオ制作と記述に関連した他の作業を実行したい利用者を支援できる。

【００１６】本システムの機能と有効性は、本システムにより利用者がビデオ制作作業にお
いて半自動方式で容易に素早く多くの可能性を試みることができる方法次第であ
る。

【００１７】本システムは、多くのビデオ制作シナリオにおいてビデオ再目的化、編集、フ
ァイル保管するツールとして使用される。このようなシナリオでは、利用者は既
存ビデオ制作からビデオ素材を再使用して新しいビデオ制作を作成する。ビデオ
素材を再使用するプロセスは“再目的化”として知られる。別のシナリオでは、
利用者はビデオ素材の主要部を利用して、例えば異なる期間、異なる対象の視聴
者等の幾つかの異なるが関連したビデオ制作を作成する。更に別のシナリオでは
、利用者は多くの可能な配列を非常に素早く調べ、ビデオ制作の一つ以上の“ラ
フなカット”を作成する。別のシナリオでは、ビデオ編集の専門家ではない利用
者がビデオ制作を作成しながら多くの可能性や代替案を試みることができる。対
照的に、編集の効果を前もって上手く可視化できるビデオ編集の専門家はあまり
に多くの代替案を試す必要はない。更に別のシナリオでは、利用者は時間が“洗
練さ”よりも重要なので、ビデオ制作を非常に速く作成する。

【００１８】本システムはまた、会話型ビデオ素材の作成にも使用される。本システムは、
ビデオ素材を急速に試験する多くの“経路”を可能にする。これは分岐ビデオ技
術を用いるビデオゲームの作成に役立つ。更に、本システムは、他のメディア、
例えば静止画像や音声を編集し、再目的化し、あるいは記録保管するために使用
される。

【００１９】本質的に、本システムは、単一枠組内にビデオ制作ツールの包括的組と新しい
ビデオ制作を作成する能力を備える。ツールの組は、既存の記述子が加速プロセ
スにおいて追加の記述子の作成を支援する幾つかの種類の記述子を定義して入力
するためのものである。新しいビデオ制作はこれらの記述子の一つ以上の値によ
りビデオ素材の動画像セグメントを選定し、配列すること（およびビデオ素材を
任意に再領域分割すること）により作成される。このビデオ素材は動画像および
音声両方のコンテンツから成る。

【００２０】本システムは更に、一方の軸がビデオ素材の領域分割に関係し、且つ、他方の
軸が記述子に関係する二次元（２Ｄ）グリッドを特徴とするグラフィックユーザ
インタフェイス（ＧＵＩ）を備える。２Ｄグリッドは、ビデオコンテンツ（例え
ばキーフレームにより）および／あるいは音声コンテンツ（例えば波形により）
の表示と複数の記述子（例えば番号やグラフ形態で）の値を同時に示す。ＧＵＩ
は、ツールの組を支援して相互作動してビデオ素材を記述し、再目的化する。

【００２１】本システムがビデオ素材の主要部（今後は“入力ビデオ素材”として一般に知
られる）を与えられると、本システムは利用者が二つのことを本質的に行う手段
を備える。第一に、利用者は入力ビデオ素材から新しいビデオ制作（“出力ビデ
オ制作”）を作成できる。これは、入力ビデオ素材を領域分割し、動画像セグメ
ントのサブセットを選定し、選択動画像セグメントを配列することにより出力ビ
デオ制作を形成することにより達成される。領域分割、選定、および配列の三つ
のプロセスは記述子の値により本システムで遂行されるか、あるいは利用者によ
り手動で遂行される。

【００２２】領域分割は外部、すなわち本システムの外部で行われる。利用者は、柔軟性よ
く入力ビデオ素材の自動（すなわち記述子の駆動）処理と手動処理を交互に行う
。利用者は、出力ビデオ制作の広い可能性を調べるために自動処理から始め、次
に、その結果を手動で微調整する。このプロセス中に何時でも、利用者は、出力
ビデオ制作の最終形態を決める前の現在の動画像セグメントの選定および配列か
ら生じるビデオ制作の全て、あるいは一部を見ることができる。

【００２３】第二に、利用者は、ビデオ素材の意味論的に強力な記述や注釈を速く作成でき
る。これらの記述はおそらく異なる利用者により、および注釈を作成した利用者
が予知あるいは予想できないやり方により、後のビデオ素材の再利用を可能にす
る。例えば、注釈を用いてビデオファイル保管からビデオ素材を検索したり、あ
るいは自動ビデオコンストラクタによりビデオ素材から新しいビデオ制作を作成
できる。結果として、出力ビデオ制作の多くの可能性を速く試すことができ、こ
の場合の目的は、種々の記述の効果、および任意の記述を適用する種々の方法を
利用者に調べさせることであり、その結果、利用者は注釈をユーザ仕様要求に最
適化させることができる。

【００２４】入力ビデオ素材は、編集済み素材（異なる目的用に最初に作成された一つ以上
の完成されたビデオ制作のような）、あるいは、初めて組立てられる未編集の生
ビデオ素材、あるいは、この二つの任意な組合せからなる。本システムは、この
ような手段をこの後に述べる機能を組合せることにより提供する。

【００２５】（入力ビデオ素材の動画像セグメントへのスライシング）本システムは主に、任意時間範囲の入力ビデオ素材の隣接片である動画像“セ
グメント”で動作する。自動領域分割は“ショット境界検出”のような周知の技
術により、あるいは、一つ以上の記述子の値の著しい変化を検出するような他の
技術により達成される。領域分割はまた手動で遂行、つまり微調整される。また
、ある場合には、入力ビデオ素材は、さらなる領域分割を必要としない一組の個
別分割、あるいは個々の分割と分割を必要とするビデオ素材の混合とからなる。
それゆえに、領域分割は本システムの重要な態様であるが、本システムによる領
域分割は本システムの全ての変形において必ずしも実行されるものではない。

【００２６】（動画像セグメントに対する記述子の統合と作成）記述子は一片のデータつまり、動画像セグメントのある特徴を記述するデータ
構造である。記述子は簡単な数値、ベクトル、マトリックス、多次元数値単位、
Ｂｏｏｌｅａｎ値、テキスト記号列等である。記述子は、ビデオ素材に埋め込ま
れた記述子のような初期に作成された記述子の移入；信号分析や映像／音声コン
テンツの他の処理による記述子の抽出；手動入力；および他の記述子の一つ以上
の組からの公式ないしはアルゴリズム的導出を含む方法で生じる。本システムの
重要な特徴は、既存の記述子を足場にして追加記述子を容易に規定し、作成でき
る枠組を備えることである。しかし、本システムは実際の記述子仕様書に依存し
たり、限定されるものではない。

【００２７】（自動動画像セグメント選定）本システムにより一つ以上の記述子の値が所定基準に整合する（例えば所定の
範囲に入る）かどうかに従って動画像セグメントを選定できる（すなわち、出力
ビデオ制作の一部に含まれる）。この機能は、入力ビデオ素材の動画像セグメン
トの種々のサブセットを選ぶことにより自動的に種々の出力ビデオ制作の定義を
可能にする。

【００２８】（自動動画像セグメントの再配列）本システムはまた、一つ以上の動画像セグメントの記述子の値により動画像セ
グメントを配列することができる（すなわち、出力ビデオ制作を構成する順番で
順序づける）。例えば、動画像セグメントは低い値から高い値の順に、あるいは
任意の値からの距離の順に配列される。この機能は種々の方法で入力ビデオ制作
の動画像セグメントを配列することにより自動的に種々の出力ビデオ制作の定義
を可能にする。

【００２９】（新しいビデオ制作の自動構築）利用者はいつでも現配列内の現組の選定動画像セグメントに対応する出力ビデ
オ制作を視聴できる。これは、例えば、図１および図２に示すＧＵＩにおける“
プレイ”トランスポート制御をマウスでクリックすることにより遂行される。し
たがって、種々の出力ビデオ制作を視聴したい利用者は、記述子値と“プレイ”
トランスポート制御のクリックとによりビデオ素材を簡単に再選定や再配列でき
る。このような動作は多くの場合に各出力ビデオ制作に対して二回のマウスクリ
ックを伴う。利用者が自分の仕様要求に見合う出力ビデオ制作形態を見つけたな
ら（一般的に自動領域分割、選定および配列に加えて手動による調整を伴う）、
利用者はこの形態を最終出力ビデオ制作として送出する。本システムのある変形
では、この機能は、動画像セグメント間に画像遷移（例えば溶暗）と音声遷移（
例えばクロス−フェード）を挿入することを可能にする遷移発生器により補足さ
れる。これらの遷移は、出力ビデオ制作をより見易く、心地良く聴けるようにす
るのに役立つ。

【００３０】（発明を実施するための最良の形態）本発明の代替実施例による本システムの変形と付随動作について図１〜図１０
により説明する。

【００３１】（グラフィックユーザインタフェイス（ＧＵＩ））図１ａ、図１ｂおよび図２は、本発明の三つの各実施例による三つのシステム
変形のディスプレイの主要構成要素を示す。第一実施例による第一システム１０
０のＧＵＩは、図１ａに示すようにグリッド画面１０２、モニタ画面１０４、お
よびアウトライン画面１０６を含む。

【００３２】グリッド画面１０２は第一システム１００用の主要作業空間である。グリッド
画面１０２は入力ビデオ素材（列１０８当り一つ）の動画像セグメントと記述子
の組（コラム１１０当り一つ）を示す。更に、特別コラム１１２を用いて動画像
セグメントの現選定および配列を利用者に見せる画像“早見表”を表示する。こ
れは、例えば、動画像セグメントの音声部の波形表示からなる一組の“音声早見
表”を表示する第二コラム１１４により補足される。記述子コラム１１０の各セ
ル１１６は一つの動画像セグメントに対する一つの値を示す。

【００３３】利用者は、グリッド画面１０２を用いる場合に四つの主な仕事を行う。第一に
、利用者は、コラム１１０を付加することで記述子を定義する。この記述子は前
述した四つの種類のどれかである。それゆえ、コラム１１０を明示して、初期に
作成した記述子の値の移入と表示；信号解析や画像／音声コンテンツの他の処理
により抽出された記述子の値の計算と表示；マニュアル記述子の値の入力と表示
；および公式やアルゴリズムにより他の記述子から得た記述子の値の計算と表示
、のどれかを可能にできる。第一システム１００では、コラム１１０の目的を明
示するためのユーザインタフェイス機構は、利用者がコラムヘッダ上をマウスク
リックする時に現れるダイヤログボックスである。

【００３４】第二に、マニュアル記述子の場合に、利用者は、グリッド画面１０２のセル内
に手動で値を入力し、記述子と関係する動画像セグメントに伝える。

【００３５】第三に、利用者は、動画像セグメントを一つ以上の記述子の値により出力ビデ
オ制作に含めたり、排除する領域分割選定則を適用する。これはコラム９（“情
報コンテンツ”記述子）に図示され、ここでは動画像セグメント１１８を排除す
る。理由は、このような記述子に関して動画像セグメント１１８の値が所定の閾
値以下になり、一方で他の全ての動画像セグメントを選定するからである。この
動作を遂行するためのユーザインタフェイス機構は例えば、特定記述子用の“選
定”列１２０のセル内の一回のマウスクリックであり、その後にこのような記述
子を作る際に一つないしは、幾つかの制御選定をもたらす。選定則の仕様、例え
ば、閾値と、幾つかの記述子を選定プロセスで共に用いる場合に記述子を他の記
述子と論理的に組合せるべき方法は、利用者が同一セル内で右クリックする際に
ポップアップする一つ以上のダイヤログボックスのようなユーザインタフェイス
機構を通じて制御される。

【００３６】第四に、利用者は、記述子の値により動画像セグメントを再配置する。これは
、簡単な値による選別（例えば図１ａのコラム６に示すように最低値から最高値
に）や距離による選別によって行われる。第一システム１００では、ユーザイン
タフェイス機構は動画像セグメント選定のために記述したものに非常に類似する
。

【００３７】モニタ画面１０４は動画像セグメントの現選定および配列から生じる出力ビデ
オ制作を見るために使用される。モニタ画面１０４のトランスポート制御１２２
は標準的な機能の組：最初からの再生；現点からの再生；休止；停止；１フレー
ムだけの前進；１フレームだけの逆転；高速前進；および高速巻戻し、を使用可
能にする。他のシステム変形では、当業者に周知の追加のトランスポートおよび
ブラウジング制御、例えば“スクラブ制御”を組込む。

【００３８】アウトライン画面１０６は動画像セグメント当り１キーフレームを用いて動画
像セグメントの現選定および配列から生じる出力ビデオ制作のアウトラインを提
供する。システム変形は動画像セグメントをループモードで再生する運動アイコ
ンを使用でき、このような技術は当業者には周知である（付録Ｄに記述）。

【００３９】ディスプレイの三つの画面の構成要素は相互に密接に動作してビデオ素材の別
の画面を作る。例えば、現選定設定によりフィルタされる動画像セグメントはグ
リッド画面１０２で灰色にされ、それゆえ、アウトライン画面１０６には現れな
い。別の事例として、出力ビデオ制作内の現位置はグリッド画面１０２とアウト
ライン画面１０６内の小さな三角形１２４により、且つ、モニタ画面１０４内の
あるフレーム１２６の存在により、三つの画面全てに表示される。利用者がプレ
イ制御１２２をクリックすると、出力ビデオ制作はモニタ画面１０４に示される
。同時に、小さな三角形１２４はグリッド画面１０２の右側下に、且つ、アウト
ライン画面１０６の上部に沿って動き、再生ビデオ素材の現位置を示す。

【００４０】記述子により動画像セグメントを選定し配列することに加えて、利用者はグリ
ッド画面１０２とアウトライン画面１０６の両方において直接に個々の動画像セ
グメントを操作できる。第一システム１００により利用者は一つ以上の動画像セ
グメント上で直接に削除、挿入および再配置（例えばドラッグ・アンド・ドロッ
プにより）のような標準作業を遂行できる。再度、三つの画面１０２、１０４、
および１０６が密に相互動作して、ある画面内で実行した変更が他の画面に直ち
に反映される。

【００４１】本発明の第二実施例による第二システム２００のＧＵＩが図１ｂに示される。
このＧＵＩは第一システム１００のＧＵＩと多くの点で異なる。このような相違
の一つは、第二システム２００のＧＵＩ内でグリッド画面２０２とモニタ画面２
０３しか用いないことである。別の相違は、記述子が列２０４を形成し、動画像
セグメントがコラム２０６を形成するグリッド画面２０２と図１ａのグリッド画
面１０２との間でのＸ軸とＹ軸の交換である。Ｘ軸は、距離の単位が時間の単位
を示す時間軸である。それゆえ、図１ｂでは、異なる期間の動画像セグメントは
異なる幅のコラム２０６をもたらし、一方で図１ａの動画像セグメントは期間に
関らずに等しい間隔を割当てられる。ある記述子の値はグラフで表示される。更
に、記述子のあるものは単一動画像セグメントに対して多くの連続値を持つ時系
列（すなわち、時間内の種々の点、一般的には等時間間隔での値の組）に表示さ
れる。例えば、“テンポ”記述子２０８と“音声振幅”記述子２１０は時系列で
表示され、セグメント当り多くの値を持つ。対照的に、図１ａのグリッド画面１
０２内の各記述子は動画像セグメント当り単一の値を持つ。

【００４２】グリッド画面２０２では、“動画像セグメント”コラム２１２により表示され
た記述子値によりビデオ素材を再領域分割する機能がある。この事例では、“Ｙ
オメガ”が記述子制御領域分割（“動画像セグメント”コラム２１２内の小さな
円２１４がこれを示す）として設定され、特にビデオ素材はＹオメガの値の変化
に関して領域分割される。この種の動的領域分割を遂行するユーザインタフェイ
ス機構は、所定の記述子制御動画像セグメントを作るための“動画像セグメント
”コラム２１２内の左クリックと、領域分割則（値、最小動画像セグメント長等
の変更）を規定するためにダイヤログボックスを開くための右クリックとからな
る。

【００４３】グリッド画面２０２では、間隔を使えるので、画像コンテンツを動画像セグメ
ント当り１以上のキーフレームにより表示する。また、音声コンテンツを一連の
音声早見表ではなく連続波形として表示する。更に、最終列２１６は出力ビデオ
制作内の各動画像セグメントの始動フレーム番号を示す。

【００４４】図１ａのアウトライン画面１０６は第二システム２００のＧＵＩから省かれる
。このような構成は、動画像セグメント当り複数のキーフレームがある水平方向
の一組のキーフレームとして画像をグリッド画面２０２に表示する場合に重要と
されない。

【００４５】本発明の第三実施例による第三システム（どの図にも示されない）では、第二
システム２００のＧＵＩは当業者に周知の別のユーザインタフェイス構成要素に
より補足される。これらの構成要素は幾種類ものソフトウエア・アプリケーショ
ン、例えばメニュ、スクロールバー、およびＷｉｎｄｏｗ系表示装置に一般に使
用される他の構成要素から得られる。また、使用される構成要素には、例えば、
時間−符合表示、個々の動画像セグメントの入力／出力点を再生し修正するポッ
プアップ画面、水平および垂直ズーミング、およびノンリニアビデオエディタに
用いる他の構成要素がある。更に、列とコラムを操作して挿入、除去、複写、分
割、カットおよび張付けのような構成要素と、グリッド状やテーブル状インタフ
ェイスによる他のプログラムとスプレッドシートとに用いる他の構成要素を使用
する。

【００４６】本発明の第四実施例による第四システム（どの図にも示されない）では、利用
者は幾つかの表示事例間を素早く切換えることができる。この表示は一組のデー
タで示される。これは、例えば第四システムに関係する一つのプログラムの複数
の事例を同時に運用可能にするか、あるいは図１ａに示すグリッド画面１０２、
モニタ画面１０４、アウトライン画面１０６をプログラムの単一事例内で利用で
きるようにするかのどちらかによって支援される。このような場合に、データは
標準的な方法でカットや張付けのような事例間を転送される。これらのデータ転
送方法は、当業者には周知の用途プログラムの標準的な特徴である。

【００４７】（本システムの使用）ここに述べた本発明の実施例によるシステムは、利用者が一般に任意の配列で
使用できる多数の機能を持つ。しかし、利用者が多くの場合に採用する工程の代
表的な順番がある。代表的な簡単なシナリオを図３のフローチャートに示す。利
用者は最初に本システム内にビデオ素材（“入力ビデオ素材”）を移入する（工
程３０２）。入力ビデオ素材が既に領域分割されていない場合（工程３０４の検
査のように）、利用者は本システムに入力ビデオ素材を、例えば画像ショット、
あるいは音声情報の形態に対応する動画像セグメントに領域分割させる（工程３
０６）。利用者は、本システムにより与えられた（そうでなければ、本システム
から利用可能な）信号解析機能により本システムに記述子を自動的に抽出させる
（工程３０８）。次に、利用者は、本システムにこれらの記述子の一つ以上の値
を使用させて入力ビデオ素材の多数の動画像セグメントを選定させ、残りをフィ
ルタさせる（工程３１０）。例えば、利用者は、０．６未満の音声尤度量を持つ
入力ビデオ素材の全ての動画像セグメントをフィルタしたり、あるいは選定動画
像セグメントから２０％以上異なる総合輝度を持つ全ての動画像セグメントをフ
ィルタする。

【００４８】その後に、利用者は本システムに一つ以上の記述子の値を使用させて動画像セ
グメントを配列させる（工程３１２）。例えば、利用者は動画像セグメントの音
声コンテンツのピーク振幅を用いて動画像セグメントを「最も喧しい」から「最
も静か」に順序づける。次に、利用者は、本システムに先の工程から生じる順序
に選定動画像セグメントを再生させて（工程３１４）、入力ビデオ素材から作成
した新しい出力ビデオ制作を再生する。利用者は、この新しい出力ビオデ制作が
利用者の仕様要求に見合うかを調べ、その結果を視聴する。

【００４９】利用者が検査（工程３１６）としての結果を好めば、利用者は本システムに、
この結果を新しい画像ファイルとして移入させ（工程３１８）、利用者の作業は
終了する。しかし、多くの場合、一般に結果が利用者の仕様要求に素早く見合う
ことはない。それゆえ、利用者は追加記述子を組込んだり作成する（工程３２０
）、あるいはビデオ素材の全てや一部を再領域分割する（工程３２２）、新しい
記述子値に基づく動画像セグメントを選定／配列する、結果を見る、より多くの
記述子を組込み形成するように循環して戻る等の反復プロセスに入る。追加記述
子は先に述べた任意の種類である。

【００５０】図３に関係して述べた多くの工程は、本システムにより自動的に実行され、工
程当り数個の簡単な利用者の作業（例えば、マウスクリック）を単に必要とする
。

【００５１】このプロセスの任意の点では、利用者は例えば、グリッド画面１０２、２０２
、アウトライン画面１０６の個々の動画像セグメントの“ドラッギングやドロッ
ピング”により動画像セグメントを手動で選定し配列する。ビデオ素材を手動で
再領域分割する、すなわち、動画像セグメントの“イン”と“アウト”点を直接
に調整することも可能である。一般に、記述子値による選定および配列のプロセ
スが出力ビデオ制作の“ラフカット”を作成した後に、その結果をマニュアル作
業により微調整する。

【００５２】このプロセスの任意の点で、利用者は、自らが変えたくない出力ビデオ制作の
部分を凍結し、他の部分を働かせる。例えば、ある動画像セグメント境界を凍結
し、再領域分割を適用する。選定と配列の両方にも凍結を適用する。ある動画像
セグメントあるいは、全動画像セグメントの領域分割選定状況を凍結するので、
任意数の動画像セグメントを任意長さにサブ配列できる。

【００５３】この凍結工程は図３に示されないが、グリッド画面１０２や２０２内の動画像
セグメントに陰影をつけるように特定の色を用いるような機構により利用者に凍
結状態を表示する。例えば、図１ａの列１０８や図１ｂのコラム２０６は適切な
色で陰影をつけられる。

【００５４】（記述子）記述子の導入、明示、利用を伴うプロセスは本システムにとって重要である。
前述した記述子の種類はその根源により四つの種類に分類される。

【００５５】（移入記述子）本システムは、ビデオ素材に埋め込んだり連結方式で初期に作成した記述子を
移入する。これらの記述子は動画像セグメントに連結されるテキストスクリプト
の動画像セグメントを含み、キーワード記述子として機能する。このような記述
子はまた、カメラ機器により作成した記述子、例えばタイム−オブ−シューティ
ング、焦点距離、カメラに取付けた衛星測位システム（例えばＧＰＳ）により作
成した地理的位置等を含む。更に、これらの記述子は本システムにより初期のセ
ッションからセーブされた記述子を含む。ある場合には、これらの記述子は移入
プロセスの一部として判読や変換を必要とする。例えば、重要なキーワードを記
述子に変換し、前置詞や接続詞のような接続語を捨てるためにスクリプトをフィ
ルタすることが望まれる。本システムは一組のこのような移入処理モジュールを
付属する。

【００５６】（抽出記述子）入力ビデオ素材の画像コンテンツや音声コンテンツに信号解析技術や他の種類
の処理を適用することにより、入力ビデオ素材から記述子を抽出する。代表的な
事例はカラーヒストグラム、オーディオスペクトルグラム、聴覚強度量、物体境
界、動きベクトル、カテゴリ尤度量（例えば動画像セグメントＸの音声コンテツ
が演説である確率）等である。このような多くの記述子は当業者には周知であり
、新しい記述子は常に定義される。

【００５７】このような自動抽出記述子は一般に“低レベル”であり、つまり、これらの記
述子は統計と信号の他の一般的特性を表すが、利用者が最も興味を持ちそうな“
高レベル”意味情報の種類でない（付録Ｂに記述）。このような記述子を更に分
析して高レベルの意味情報を抽出する場合でさえも、結果は一般的に信頼性がな
い。例えば、利用者は入力ビデオ素材からビル・クリントンの全ショットや群集
の波の全ショットを識別したいが、自動的“ビル・クリントン検出器”は現に最
新技術を超えたものである。“人々の波検出器”は一般的に全く信頼性がなく、
つまり、このような検出器は高い割合で人々の波のショットを見失ったり、ある
いは高い割合で偽陽画（例えば、恐らく風の中で波打つ木）を与えたりする。

【００５８】本システムは十分に信号分析記述子を利用するように工夫されているが、任意
の特定信号処理アルゴリズムに限定されるものでなく、あるいはこれに左右され
るものでもない。第一に、本システムにより利用者は記述子値により入力ビデオ
素材のフィルタおよび／あるいは再配列の結果を“一瞥”できる。第二に、本シ
ステムは意味情報のより信頼性のある抽出を得るためにこの種の複数の記述子を
組合せる。それゆえ、本システムは、ソフトウエアモジュール（すなわち、一組
の命令）、ハードウエアモジュール、あるいはファームウエアモジュールとして
実行される任意の信号分析記述子を取込むことのできる枠組みである。信号分析
記述子を適用するプロセスでは、本システムは入力ビデオ素材の各動画像セグメ
ントに対するデータ要素あるいは、一組の要素を作る。ここでは、データ要素は
単一数、ベクトル、アレイ、Ｂｏｏｌｅａｎ値、文字列、構造、あるいは他の任
意データタイプの要素である。

【００５９】これらの記述子をシステムアーキテクチャ用のプラグインとして書込むことに
より、信号分析記述子を作成でき、常に追加のプラグイン記述子を本システムに
付加できる。利用者は、例えば図１ｂのグリッド画面２０２の列のヘッダ上をク
リックし、且つ、全利用可能記述子のドロップダウン表から記述子を選定するこ
とにより常にこれらの記述子のどれかを利用できる。

【００６０】信号分析による記述子抽出に加えて、所定の単純であるが強力な記述子を入力
ビデオ素材と入力ビデオ素材の編成とから直接に抽出できる。このような一つの
事例は、動画像セグメントの時間幅を記述子として使用する場合であり、別の事
例は、入力ビデオ素材内の動画像セグメントの配列を順序記述子（すなわち、第
一、第二、第三・・・第ｎ）に変換する場合である。

【００６１】別の事例は、動画像セグメントを選択するかあるいは選択しないかのどちらか
を示すＢｏｏｌｅａｎ値である選定状態を各動画像セグメントが持つ場合である
。常に全動画像セグメントに対する選定状態の組を記述子に変換できる。このよ
うな選定状態の任意数の記述子を作成し、それにより利用者は後で初期の組の選
定に戻ることができる。

【００６２】更に別の事例は、現動画像セグメント配列を順序記述子に常に変換し、このよ
うな任意数の配列記述子を作成する場合である。全動画像セグメントに対する一
組の選定記述子と全動画像セグメントに対する一組の配列記述子の組合せは、ビ
デオ素材を再領域分割した場合を除くあらゆる場合に出力ビデオ制作を完全に作
成する。それゆえ、このような一対の記述子が作成されると、利用者は対の記述
子により形成された出力ビデオ制作のバージョンに後で素早く戻れる。これによ
り利用者は、初期バージョン（これらのバージョンが手動による処理を含む場合
に特に重要である）を捨てることなく互いに大きく異なる多くの可能性を利用し
、且つ、種々のバージョンを両者間で遅れを最小にして再生することにより種々
のバージョンを互いに比較できる。

【００６３】更に別の事例は、配列記述子の作成が付随する手動配列プロセスを用いて意味
記述子を作成することである。例えば、利用者は動画像セグメントがどれくらい
“幸せ”か、すなわち“最も幸せ”から“最も悲しい”まで、による配列で動画
像セグメントをドラッグ・アンド・ドロップできる。次に、利用者が配列記述子
を作成すると、記述子は事実上、“幸福”記述子になる（あるものは多くの場合
に全自動プロセスにより抽出できない）。このような記述子は実際に、あらゆる
意味で真の“幸福”記述子でない“幸福順序”を表す一組の値を与えるが、多く
の目的では、このような記述子は全く適切である。

【００６４】（マニュアル記述子）これらは、利用者が自動手段により作成できない、あるいは作成したくない記
述子であり、それゆえに、本システム内に手動で入力する必要のある記述子であ
る。この種の記述子は多くの意味記述子（例えば、図１ａの“ジョージ”の存在
を示す記述子）とテキスチャ記述子（例えば、図１ａの場所を示す記述子）を含
む。本システムはマニュアル記述子の数と種類を付加できることにより、例えば
、図１ｂのグリッド画面２０２内に新しい列を挿入することにより、この種の記
述子に対する入力を支援する。

【００６５】本システムはとりわけ記述子値の関連動画像セグメントへの高速伝搬を支援す
る。高速伝搬は、一つ以上のマニュアル記述子が単一動画像セグメントに対して
割当てられた後に、これらの値を図４ａおよび図４ｂのフローチャートに示すよ
うに関係組の動画像セグメントに素早く複製するプロセスに属する。このプロセ
スは、多数の動画像セグメント（表示により、代表的ムービは１０００以上のシ
ョットがある）がある場合に重要であり、もしそうならば多数のマニュアル記述
子を伴う。

【００６６】本システムが高速伝搬を支援するのに使う主要機構は再配列である。この機構
を用いて互いに近接する関係動画像セグメントをディスプレイ内（例えば、関係
するコラムを共に群らせるように、図１ｂのグリッド画面２０２内）に取入れ、
マニュアル記述子の値をこれらの関係動画像セグメントに容易に複製できる。

【００６７】一般的な場合に、自動記述子を用いて動画像セグメントを分類するので、その
結果、新しいマニュアル記述子はディスプレイ内の近くにある動画像セグメント
に容易に複製される。この機構の変形では、本システムを操作して、一つ以上の
マニュアル記述子を全動画像セグメントに伝搬するもので、全動画像セグメント
に対してある自動記述子の値は所定の範囲内にある。

【００６８】図４ａでは、高速伝搬プロセスに関る工程を説明する。マニュアル記述子が存
在しない（例えば、図１ｂの列として表れない）場合（工程４０２の検査）、利
用者は記述子を例示する（工程４０４）。それから、利用者は１領域分割（ソー
スセグメント）に対するマニュアル記述子に値を割当てる（工程４０６）。次に
、利用者は一つ以上の他の記述子を選んで再配列を制御する（工程４０８）。利
用者は主に、利用者が伝搬したいマニュアル記述子と何らかの相関性を持つと思
われる記述子を選ぶ。次に、利用者は他の記述子の値に従って本システムに動画
像セグメント全て、あるいは動画像セグメントのあるサブセットを再配列するよ
うに命令する（工程４１０）。その目的は類似の動画像セグメントをソースセグ
メント近くに運び、ソースセグメントからのそれらの差（一つ以上の記述子に関
して）により動画像セグメントを順序づけることである。

【００６９】その後に利用者はソースセグメント近くにある一つ以上の動画像セグメントを
選定し、これら近くの動画像セグメントにソースセグメントのマニュアル記述子
の値を複製するように本システムに命令する（工程４１２）。

【００７０】ソースセグメントの値を割当てられる必要がある残りの動画像セグメントがあ
るが、工程４０８の再配列作業がこれらの動画像セグメントをソースセグメント
に類似のものと評価しないので近くに存在しない残りの動画像セグメントがある
場合（工程４１４）、利用者は工程４０８に戻って制御再配列に対して種々の記
述子を選ぶ。

【００７１】異なるマニュアル記述子の値を割当てられる必要のある動画像セグメントがあ
る場合（工程４１６で検査）、利用者は工程４０６に戻る。

【００７２】図４ｂでは、工程４１２内の作業をソースセグメントのマニュアル記述子の値
の隣接動画像セグメントへの伝搬に関係して詳しく述べる。マニュアル記述子の
値を検索する（工程４２０）。次に、マニュアル記述子の値が伝搬される隣接あ
るいは近隣の目標動画像セグメントのリストを得る（工程４２２）。このリスト
上の第一目標動画像セグメントを選定する（工程４２４）。ソースセグメントに
対するマニュアル記述子の値をこの目標動画像セグメントに複製する（工程４２
６）。このリストの終端に達するかどうかに関して検査を行う（工程４２８）。
終端に達しない場合、このリスト上の次の目標動画像セグメントを選定し（工程
４３０）、本システムは工程４２６に戻る。

【００７３】このような高速伝搬プロセスは、自動記述子が利用者がマニュアル記述子で表
示したい特徴に漠然とのみ相関性のある場合でさえも有効である。類似の動画像
セグメントを集約する傾向のある任意の規則配列は、マニュアル記述子を入れる
場合に、この傾向が全く弱くても有用である。例として、利用者はある動画像セ
グメントを四つの記述子である“都市道路”、“冬”、“晴天”、および“人波
”で表示し、次にこの記述子や、その一部を他の動画像セグメントへの伝搬を望
む。これを達成するために、利用者は自動抽出カラー記述子（例えば、この場合
にカラーコントラスト；晴天、雪の道路画像は非常に高コントラストである故に
）と自動抽出動き記述子（例えば、振れる腕を示すこともある相関性のない運動
の多くの小領域）により動画像セグメントを配列する。利用者の希望は、ラベル
である“都市道路”、“冬”、“晴天”、および“人波”の一部や全てを適用す
る動画像セグメントを相応に高い割合に合成クラスタ化により分類することであ
る。今日の自動抽出記述子の厳しい制限にもかかわらず、多くの場合に、このプ
ロセスはマニュアル記述子入力作業を実質的に容易にするように十分に上手く働
き、必要ならば、利用者が個々の動画像セグメントの記述子を編集することによ
り改良できる第一近似を備える。

【００７４】この種の機構は、動画像セグメントを複数動画像セグメントと任意例動画像セ
グメントとの間の差により順序配列する場合に特に有効である。この差は例えば
、ｎ次元記述子空間内の任意の動画像セグメントからのユークリッド距離により
明示される。

【００７５】（誘導記述子）本システムはまた、とりわけ、既存記述子の組合せとしてこれらの記述子を定
義することにより新しい記述子の作成に役立つ。この組合せ方法は、変数として
一つ以上の他の記述子を含む公式として新しい記述子を定義する公式に従う。ま
た、この組合せ方法は、一つ以上の他の記述子から新しい記述子がどのように生
成されるかを述べる一組の指令として新しい記述子を定義するアルゴリズムに従
う。

【００７６】例えば、前述の“人波のある晴れた冬の道路”情景では、新しい記述子Ｘをカ
ラーコントラスト記述子と特定動き記述子の加重和として定義する。一般的に利
用者は図１ｂに示すグリッド画面２０２の列のヘッダをクリックし、且つ、ダイ
ヤログボックス内に所要公式を入力することによりＸを作成する。利用者が記述
子を定義し、関連ダイヤログボックスを閉じると、本システムはビデオの全動画
像セグメントに対してこの新しい記述子の値を計算し、列のセル内を更新値で満
たす。次に、利用者は本システムにこの新しい記述子の値をフィルタし、分類さ
せる。

【００７７】公式を入力する代りに、利用者は前述のリストから信号分析記述子を選定した
のと同じ方式で定義済み組の公式とアルゴリズムから一つの公式を選定する。本
システムは記述子導出のために一組の最も標準的で有用な公式およびアルゴリズ
ムを提供する。

【００７８】一般に、この時に利用者は新しい記述子を不十分であると見出す。例えば、記
述子Ｘは雪を背景にしてアシが揺れる情景に対して所望の群集情景と同じ値の範
囲を与える。しかし、次に利用者は、群集情景（恐らく喧しい）と揺れるアシ（
恐らく静粛）の音声レベルには相当な差があることを知り、記述子Ｘを音声音量
記述子Ｌと組合せた別の記述子Ｙを作成することにより、この事実を活用する。
この組合せは公式（例えば、Ｙ＝Ｌ＊Ｘ）に従うが、代りにＹはアルゴリズムプ
ロセスから得た記号列である。例えば、（（Ｌ＞−１５）と（Ｘ＞１０００））
であれば、Ｙ＝“冬の道路における人波の動き”であり、その他にはＹ＝“ ”である。

【００７９】したがって、複合階層構造内に潜在的に他の記述子の組合せから記述子を構築
することにより、利用者は入力ビデオ素材の意味要素に全く良い相関のある記述
子に到達できる。階層構造では、記述子を誘導型である他の記述子から引出す。
次に、これらの記述子を用いて画像の動画像セグメントを選定し配列し、あるい
は先の使用のためにビデオコンテンツを表示する新記述子を作る。例えば、記述
子“冬の道路における人波の動き”は画像ファイル保管用途に有用である。全て
の自動誘導記述子のように、これらの誘導記述子は完全で全体的に正確な意味を
記述することはめったにない。しかし、これらの誘導記述子は利用者がビデオ素
材や、利用者が改善する最終結果に対して素早く作成した近似の種々の構成配置
を調べるには少なくとも有効な方法になる。

【００８０】（領域分割）領域分割は幾つかの課題を伴う本システムにとって重要な態様である。本シス
テムでは、動画像セグメントは一時的に一片の入力ビデオ素材において任意時間
Ｘから後の任意時間Ｙにまで及ぶ。動画像セグメントは単一フレームから一片の
入力ビデオ素材の全長にまで任意長さで存在する。概して、動画像セグメントは
、ショット、情景等の視覚情報、あるいは画面外ナレーションの文章やパラグラ
フのような聴覚情報に基づく動画像セグメントから得た意味単位である。動画像
セグメントは任意の方法で互いに重複するので、このような重複を避けることが
望ましいけれども、入力ビデオ素材の部分は一つ以上の動画像セグメントに属す
ることになる。

【００８１】領域分割は本システムの外部、あるいは本システムの内部で、あるいは両方で
行われる。外部から遂行されるビデオ素材の領域分割は本システムを使う前に行
われ、ビデオ素材を処理する。言換えれば、入力ビデオ素材は予め領域分割され
、その後で本システムに移入される。対照的に、内部から遂行される領域分割は
動的に行われる。すなわち、所望すれば、入力ビデオ素材は本システムの動作中
に何時でも再領域分割される。

【００８２】（自動領域分割）ビデオ素材を領域分割するための自動化技術が多々あり、そのどれかは外部的
、あるいは内部的に適用される。当業者に周知の共通技術はショット境界検出で
ある（付録Ａに記述）。領域分割は音声情報を用いて、例えば、平均音声振幅が
閾値以下になるたびに新しい動画像セグメントを作成することにより、あるいは
演説対音楽を識別することにより（付録Ｂに記述）、あるいはスピーカの変化可
能性を認識することにより（付録Ｃに記述）行われる。

【００８３】本システムでは、内部的に遂行される任意の自動領域分割を一つ以上の時系列
記述子上の動作として取扱う。このような場合に、領域分割動作を形成するのに
含まれるプロセスを図５にフローチャートとして示す。

【００８４】記述子を先ず取込み、且つ／あるいは作成する（工程５０２）。ここでは前述
の方法のどれかにより記述子を移入し、抽出し、手動入力し、あるいは生成する
。その後で、動画像セグメント用の基準として使用すべき一つ以上の有効記述子
を選ぶ（工程５０４）。この工程は図１ｂを引用して述べたＧＵＩを通じて利用
者により制御可能である。

【００８５】次に、利用者は領域分割則を定義したり、あるいは本システムにより与えられ
た一組の領域分割則から選ぶ（工程５０６）。これらは、選択記述子から点の内
外、すなわち、動画像セグメントの始点と終点の時間基準で動画像セグメントの
導出を支配する公式すなわち手続き則である。単一記述子用の一つの共通種類の
規則は記述子のどちらか、あるいは記述子の時間微分の一つの閾値交差である。
多くの場合に、この規則の適用は、明かな事象として計数するために閾値を交差
しなければならない量と期間を支配する規則で補足される必要がある。動画像セ
グメントが複数の記述子に基づく場合では、この規則は記述子の相互作用を含む
もので、例えば、全体の領域分割則は個々の記述子に対する規則に重ね合せたＢ
ｏｏｌｅａｎＡＮＤ、ＯＲおよびＮＯＴ演算子の関数である。次に、選定ある
いは明示された領域分割則はビデオ素材を領域分割するために適用される（工程
５０８）。

【００８６】自動領域分割の事例として、音声振幅記述子を作成する。この音声振幅がある
最小時間に対して所定の閾値以下に落ち、その後で閾値を超えてクロスバックす
るたびに新しい動画像セグメントを作成するように領域分割則が定義される。別
の事例では、一組のカラーヒストグラム、動きベクトル、および他の視覚記述子
を明示し、ある公式においてこれらの記述子を組合せて新しい記述子Ｘを作り、
次にＸの第二微分が閾値を超えるたびに新しい動画像セグメントを作成するとい
う規則によりビデオ素材を領域分割する。

【００８７】本システムでは、自動領域分割はスカラー記述子のみでなく、ベクトル、マト
リックスおよび記号列のような複雑な記述子をも用いて実行される。

【００８８】（再領域分割）多くの場合に、領域分割は入力ビデオ素材を処理する初期段階で行われる。利
用者が選定や配列、マニュアル記述子の作成、時系列記述子の動画像セグメント
当りの単一値（この後に詳述する）への減少のような他の種類の処理に進むと、
利用者は通常は領域分割において小さな変化のみを作る。この理由は、主要な再
領域分割、とりわけ自動領域分割が作成された選定／配列／記述子構造を変造し
がちだからである。それにもかかわらず、時にはプロセス内の後で主要な再領域
分割を行うことが必要になり、したがって、本システムは再領域分割の支援を行
う。再領域分割を支援する際に、二つのグループの内包する課題を検討する。

【００８９】懸念の第一グループの課題は、再領域分割動作がビデオ素材の構成を、ビデオ
素材を初期の選定および配置処置により再構成するシナリオに適用すべきである
。一般に、領域分割および再領域分割は、利用者が出力ビデオ制作に対してでなく
、入力ビデオ素材（すなわち、元の配列や流れにおける動画像セグメント）に適
用したいプロセスである。

【００９０】事例は利用者が一時的に作業をし、出力ビデオ制作を含む動画像セグメントの
選定／配列を作成するシナリオである。その後で、例えば利用者がショットをベ
ースにするよりもむしろ音声特性に基づくビデオ素材の領域分割を試みたいため
に、利用者はビデオ素材を再領域分割することを決める。実際、この場合に利用
者が望むことは入力ビデオ素材を元の配列に再領域分割することであり、しかし
、現出力ビデオ制作を含む選定／配列を損なうものではない。

【００９１】図６では、この種の再領域分割プロセスを説明する。場合によっては、本シス
テムは再領域分割後に現選定／配列を再適用することができず、あるいは、利用
者の期待する方法でそのようなことができない。それゆえ、利用者に警告をし（
工程６０２）、利用者に作業を取消させることが望ましい。利用者が先に進むこ
とに決めた場合、本システムは先ず全動画像セグメントの選定状態（ＳＥＬ_CUR
）を維持する（工程６０４）。次に、本システムは現出力ビデオ制作を含む動画
像セグメント（ＳＥＱ_CUR）の組の配列を維持する（工程６０６）。

【００９２】本システムは、全動画像セグメントを選定し、いかなる再配列をもしないで、
元の選定／配列状態、すなわち入力ビデオ素材の状態に復帰し（工程６０８）、
次に再領域分割を実行する（工程６１０）。その後に、本システムはＳＥＬ_CUR
を用いて先の選定状態を新しい組の動画像セグメントに適用し（工程６１２）、
その後で、ＳＥＱ_CURを用いて再領域分割の前に同じ方法で新しい組の動画像セ
グメントを配列する（工程６１４）。

【００９３】本システムは工程６１２と工程６１４の動作を常にできるものではなく、また
、その結果は必ずしも利用者が期待するものでない。一般に、この技術は、再領
域分割が動画像セグメントの予め既存する組の始点と終点で比較的小さな調整を
伴う場合に成功するが、再領域分割が動画像セグメント位置や動画像セグメント
の総数に大きな変化を引起す場合には部分的にしか有効でない。

【００９４】本発明の第五実施例による第五システム（どの図にも示されない）では、二つ
のグリッド画面がある（例えば、図１および図２それぞれにグリッド画面１０２
、２０２）。第一グリッド画面は入力ビデオ素材を元の状態で示し、第二グリッ
ド画面は現出力ビデオ制作を含む動画像セグメントを示す。それゆえに第一グリ
ッド画面を用いてビデオ素材を再領域分割し、第二グリッド画面では選定／配列
状態を操作し、追加記述子を作成／調整する。これらの画面を“同期”させ、第
一グリッド画面の動画像セグメントの変化を第二グリッド画面内に自動的に反映
させる。

【００９５】概して、各グリッド画面は図１ｂに示すグリッド画面２０２を少し簡素化した
バージョンである。第一グリッド画面は選定および配列コラムを持たないし、第
二グリッド画面は動画像セグメントコラムを持たない。また、一般的に両方の画
面に記述子の完全な組を示すことは望ましくなく、例えばマニュアル記述子を第
一グリッド画面から省く。利用者はこのような選択肢を好みにより制御する。

【００９６】図２ａ、図２ｂ、図２ｃおよび図２ｄに示すように本発明の第六実施例による
第六システムでは、三つの全ての動作、すなわち、領域分割、選定、および配列
は個々のグリッド画面で行われる。領域分割画面２５２は動画像セグメント境界
２５４（点線）を重畳した元の状態で入力ビデオ素材を示し、これらの動画像セ
グメント境界２５４を明示し調整するのに使用される。選定画面２６０はこれら
の動画像セグメントの各々の選定状態を示し、利用者にこれらの選定状態を変え
させる。配列画面２７０は出力ビデオ制作を含む新しい順序で選定動画像セグメ
ントを示し、利用者に配列を変えさせる。三つの画面の各々は特異な記述子の組
を持つことができる。これらの画面を同期させて、領域分割画面２５２で行う動
画像セグメントの変化を選定画面２６０と配列画面２７０内に反映させ、選定画
面２６０内で行う選定状態の変化を配列画面２７０内に反映させる。モニタ画面
２８０は領域分割画面、選定画面や配列画面から画像を再生できる。

【００９７】領域分割画面、選定画面、および配列画面では、トップバー２９０があり、各
画面の識別を行う。各画面内のスター２９２を用いて各画面内で行う作業の種類
が基準とする記述子を識別する。各画面内の実線２９４は各画面内の現在の位置
を示す。画面が利用者に活用されない場合、これはモニタ画面２８０に示すフレ
ームに対応する。

【００９８】三つの各画面に、“入力セグメント番号”２９６とスケールコラム２９８とし
て知られる特別記述子を示す。セグメント番号記述子２９６は動画像セグメント
の順序数であり、本システムにより計算され自動的に表示される。スケールコラ
ム２９８は各画面内の最終コラムとして常に現れ、その各画面の各記述子に最大
値と最小値を与える。

【００９９】図２ｂに示すように、非選定動画像セグメントは選定画面２６０内で陰影をつ
けられ、これらの非選定動画像セグメントは図２ｃの配列画面２７０内に現れな
い。また、図２ｃの配列画面２７０では、記述子“Ｄ＿ファジィＧ３”２９９は
その記述子に対する各セルの左下に表示される数字を含む。これらの値は対応動
画像セグメントに対する記述子Ｄ＿ファジィＧ３の値を示す。

【０１００】懸念の課題の第二グループは、記述子、特に動画像セグメント当り単一値の記
述子を作成した後にビデオ素材を再領域分割する場合に記述子を取扱う方法であ
る。この課題を説明するために、予め１０個の動画像セグメントが存在するとこ
ろで再領域分割により一つの動画像セグメントをもたらす場合を検討する。１０
個の動画像セグメントに対する個々の記述子の値、あるいはそれらの時間的範囲
は再領域分割中に失われる。新しい動画像セグメントが古い動画像セグメントを
クロスカットする場合、すなわち、動画像セグメント境界が再領域分割プロセス
において移動される場合にそれほど重大でないが潜在的に不要な事例が発生する
。このような場合に既存組の記述子値が持続されると、記述子値が新しく形成さ
れた動画像セグメントに正しく適用しないという危険性がある。

【０１０１】個々に、あるいは共に適用されるこの課題を管理し、利用者が選ぶ点で再領域
分割に適用する方法が幾つかある。例えば、抽出記述子と誘導記述子は、これら
の記述子が生成する定義、すなわち記述子を計算するのに必要な公式、アルゴリ
ズムや手順を含むので、再計算される。抽出記述子の場合に、新しい値は信号分
析により入力ビデオ素材から再計算され、誘導記述子の場合には、新しい値は他
の記述子から再計算される。

【０１０２】再計算ができない記述子では、既存の動画像セグメントの値を複製したり、組
合せたりして“最良試み”理念により新しい組の動画像セグメントの値を作る。
例えば、１０個の動画像セグメントが一つになる場合に、単一の新しい値は１０
個の既存の組から自動的に誘導されなければならない。数値記述子では、これは
１０個の平均値や、最大値あるいは最小値である。テキスト記号配列のような非
数値記述子では、これは１０個の値の最初のもの、あるいは１０個の最も共通の
ものである。この手法には多くの可能な変形があり、利用者が選定する選択肢と
して与えられる。

【０１０３】別の事例では、任意のポテンシャルロスやデータのミスアプリケーションがあ
る場合に利用者に警告することが一般に望ましい。これにより利用者は先に進む
かどうかを決めることができ、利用者が先に進むことを決めると、後の検索を可
能にするために現状況をセーブするように利用者に促す。

【０１０４】更に別の事例とより精巧な解決策では、本システムは複数の領域分割例を支援
し、すなわち、本システムは一組以上の動画像セグメント点を記述するデータと
これらの複数の動画像セグメントの各々に対する記述子の値を保持する。

【０１０５】本発明の第七実施例による第七システム（どの図にも示されない）では、種々
の記述子に対する種々の組の動画像セグメント点を維持する。これは一般的に、
幾つかのマニュアル記述子がある場合に最も有効である。ある事例として、男性
が女性に続いて部屋に入り、男性が離れる前にしばらく二人が話すという配列の
画像ショットを検討する。この画像ショットが三つの記述子、“男性がいる”、
“女性がいる”、および“会話をする”により記述される場合、もし記述子が正
確に適用されるなら、これらの三つの記述子の時間的スパンが重なり合う。この
ようなシステムはこの事例のこれらの三つの記述子の各々に対する動画像セグメ
ント情報を維持する。この機能は動画像セグメント選定／配列と共同で実施され
る。例えば、“男性がいる”記述子が動画像セグメント選定に対して選ばれると
、入力ビデオ素材は自動的に領域分割されるので、“男性がいる”動画像セグメ
ントのインポイントは男性が入る正確な時間に設定されるし、アウトポイントは
男性が去る正確な時間に設定される。次に、“女性がいる”を動画像セグメント
選定において記述子として選ぶなら、この記述子に符合してこの画像ショットは
再領域分割される。

【０１０６】（マニュアル領域分割）上記事例において、“男性がいる”動画像セグメントに対するインおよびアウ
ト点をどのように作成するかという課題が持ちあがる。このような場合の解決策
はマニュアル領域分割、すなわち手動調整による領域分割にある。本システムは
、利用者が動画像セグメントを作成し、ビデオ素材を視聴する一方で、動画像セ
グメント・イン点および動画像セグメント・アウト点をフレーム精度すなわち良
い精度、例えば音声サンプル精度にまで調整するプロセスを行う。このプロセス
は周知のユーザインタフェイス技術により行われる。例えば、多数のノンリニア
ビデオエディタは利用者が“クリップ”を作成し、動画像セグメント・イン点お
よびアウト点を調整するような方法である。このプロセスは動画像セグメント間
にラインを移動することにより図１ｂのグリッド画面２０２内で直接に行われる
。例えば、利用者は先ず当該領域にズームし、次にマウスを動画像セグメントを
分離する垂直ライン２１８の一つに引張る。種々の記述子に対する種々の組の領
域分割点を支援する任意システムでは、このプロセスは個々の記述子に対して実
行される。言換えれば、図１ｂのグリッド画面２０２内の垂直ライン全体を移動
する代りに、利用者は本システムのグリッド画面内の特定記述子に対応する垂直
ラインの一部を移動するのみである。このような方法で動画像セグメント境界を
動かすことは一般的に入力ビデオ素材を再配列する前にのみ意味があり、その場
合に、グリッド画面内のラインの両側にある動画像セグメントは入力ビデオ素材
内の単一ショットの隣接部分である。

【０１０７】（時系列から動画像セグメント当りの単一値への記述子の削減）本システムにより利用者は削減プロセスにより、時系列記述子、例えば図１ｂ
の“音声振幅”記述子２１０をセグメント当り一つの値を持つ記述子、例えば図
１ｂの“ショット長”記述子２２０に変換できる。このプロセスは削減の効用に
より支援され、利用者は削減用記述子を選択し、削減規則を選定できる。事例と
して、セグメント当りの単一値はそのセグメントに対する全時系列値の平均、時
系列値の最大値や最小値、あるいはこのような機能の他のものである。このプロ
セスを可能にするユーザインタフェイス機構は、例えば、利用者に列の最左にマ
ウスクリックすることにより図１ｂの列を選定させる。その後で、利用者は“セ
グメント当りの単一値に削減”の標題のメニュを選定し、ダイヤログボックスに
提示された幾つかの削減規則の一つを選定する。

【０１０８】（動画像セグメント階層構造）動画像セグメントも階層構造内に存在する。例えば、ビデオ制作全体は動画像
セグメントであると同時に、ビデオ制作全体を構成する情景は別の動画像セグメ
ントとして存在し、この情景を構成するショット全体はまだより多数の動画像セ
グメントとして存在する。これらの動画像セグメントは全てディスプレイに同時
に表示され、この選択肢は本システム内で利用者に利用されるが、このことは次
の理由で好ましくはない。それは、階層構造の存在はビデオ素材を出力ビデオ制
作に複製させることになるからである。

【０１０９】利用者に動画像セグメントの階層構造を形成させる二つの作業方法があり、こ
れらを図７、図８ａおよび図８ｂを参照して説明する。第一作業方法は図７のフ
ローチャートに示す上下分解プロセスと一致する。利用者は入力ビデオ素材を少
数の長い動画像セグメントに領域分割することにより始める（工程７０２）。利
用者は記述子をこれらの長い動画像セグメントに適用し（工程７０４）、工程７
０６の検査で必要な場合に、長い動画像セグメントを短い動画像セグメントに細
分割する（工程７０８）。利用者が動画像セグメントを細分割する場合に、複製
のようなコンフリクトを避けるように“親”動画像セグメントを除去するか隠す
（工程７１０）。しかし、本システムが工程７１０の作業を行う前に、本システ
ムは細分割作業中に親動画像セグメントの記述子値を“子供”動画像セグメント
全てに伝搬させることにより細分割を支援する（工程７１２）。本システムは更
に、抽出記述子と誘導記述子のどれか、あるいは全てを子供セグメントに対して
それぞれ再計算する作業を行う（工程７１４と工程７１６）。子供セグメントへ
の細分割は自動あるいはマニュアル領域分割プロセスである。

【０１１０】第二作業方法は図８ａおよび図８ｂのフローチャートに示す逆さ分解プロセス
と一致する。このプロセスは、一般に多くの短いセグメントであり、且つ、記述
子を例示し、且つ、ビデオ制作を形成するように選定と配列が施される多数の動
画像セグメントを含むシナリオにより図８ａを参照して説明する。この分解プロ
セスの目的は親セグメントを形成するために動画像セグメントのグループを共に
併合し、それにより出力ビデオ制作の描写を簡素化することである。

【０１１１】逆さ分解の場合に、利用者は初めにビデオ素材を子供セグメントとして知られ
た一組の動画像セグメントに領域分割する（工程８０２）。利用者は前述の選定
および配列プロセスにより出力ビデオ制作を作成する（工程８０４）。その後に
、利用者は被併合の一組の子供セグメントを選ぶ（工程８０６）。ここで選ばれ
たセグメントは現出力ビデオ制作内に隣接する。続いて、利用者は本システムに
命令して動画像セグメントを併合させ、親セグメントを形成する（工程８０８）
。

【０１１２】親セグメントが形成されると、利用者は任意に本システムに指令して親セグメ
ントを形成するように併合された前記一組の子供セグメントを除去するか隠す（
工程８１０）。利用者は必要な場合には種々のグループの隣接動画像セグメント
の併合を継続する（工程８１２）。

【０１１３】工程８０８で本システムにより行われる動作を図８ｂを参照して更に詳細に説
明する。本システムは併合される動画像セグメントのリストを作る（工程８２０
）。その後で、本システムは子供セグメントを連結することにより親セグメント
を作成する（工程８２２）。特に、本システムは、第一子供セグメントの始動時
間に等しく、且つ、その持続期間は子供セグメント全ての持続期間の和に等しい
出力ビデオ制作始動時間を持つ新しい動画像セグメントを作成する。

【０１１４】本システムは各記述子の公式／アルゴリズムにより親セグメントの全抽出記述
子を再計算する（工程８２４）。次に、移入されたマニュアル記述子の場合には
、本システムは各子供セグメント内の対応記述子の値から親セグメントに対する
各記述子の値を引出す（工程８２６）。この作業は幾つかのユーザ選択可能方法
の一つにより行われる。例えば、数値記述子の場合には、平均値を用いるし、記
号列記述子の場合には、子供セグメントの組に頻繁に見られる記号列の値を選ぶ
のが好ましい選択肢である。この作業中に情報が若干失われことがあり、利用者
は簡単な描写のために入換えを容認する。

【０１１５】全抽出記述子が再計算され、移入およびマニュアル記述子が親セグメントの値
を割当てられると、本システムは親セグメントに対する誘導記述子の組を計算す
る（工程８２８）。

【０１１６】多くの場合、利用者が入力ビデオ素材を分析し、注釈をつけるときに上下分解
プロセスで主に始め、続いて、利用者が出力ビデオ制作を作成するときに逆さ分
解プロセスに進むことにより利用者は両方の作業方法を用いる。

【０１１７】本システムはこのシステムのデータ構造内に動画像階層構造を表示する。この
ために動画像セグメントを併合および非併合するような可能性が追加され、それ
で利用者は子供セグメントを単一親セグメントに畳込み、その後で親セグメント
を再び子供セグメントとして解体し、異なるが一般的に関連した記述子は階層構
造の各レベル内に存在する。この種のマルチレベル描写が本システムのデータ構
造内に蓄積されると、利用者が併合図と分解図の間を交互に行き交うときに、デ
ータの紛失もなく、本システムがデータを再計算する必要もなくなる。

【０１１８】更に、本システムはまた動画像セグメントの幾つかの種々の階層構造を共存さ
せることができ、ひとつは親セグメントが入力ビデオ素材内で隣接する一組の子
供セグメントからなる入力ビデオ素材の階層と、もう一つは動画像セグメントの
代替階層クラスタ化を示す階層である。例えば、動画像セグメントの代替クラス
タ化は、親セグメントが一つの可能な出力ビデオ制作内に隣接する一組の子供セ
グメントからなる一つ以上の可能な出力ビデオ制作に対応する。

【０１１９】（選定）選定機能は本発明の実施例のどれか一つによるシステムにとって重要な部分で
ある。動画像セグメントが出力ビデオ制作に現れる領域選定を明示する。デフォ
ルトにより、全ての動画像セグメントが選定されるが、これらの動画像セグメン
トが選定されなければ、出力ビデオ制作から動画像セグメントが排除される。

【０１２０】選定機能は幾つかのことを領域分割機能と共に共有する。例えば、選定は記述
子値により自動的に、あるいは手動で遂行される。マニュアル選定の場合に、選
択か選択されないかどうかの選定状態は、例えば図１ｂのグリッド画面２０２の
動画像セグメントコラムの最上部を右クリックし、“選定動画像セグメント”や
“非選定動画像セグメント”選択肢のどちらかを選ぶことにより制御される。

【０１２１】記述子値による選定の自動制御プロセスを図９のフローチャートを参照して説
明する。このプロセスは記述子の組込みや作成、およびこのような記述子の一つ
以上の選択に影響して選定プロセスを制御する（工程９０２）。次に、記述子値
が選定決定に変換する方法を支配する規則を形成する（工程９０４）。代表的な
領域分割規則は整合選定則であり、記述子の値が任意目標値に正確に整合する場
合に動画像セグメントを選定するものである。別の代表的規則は近接選定則であ
り、記述子の値が所定の制限量未満だけ任意の目標値と異なる場合にセグメント
を選定するものである。更に、一般的な規則は範囲選定則であり、記述子の値が
任意の範囲内に入る場合にセグメントを選定するものである。

【０１２２】領域分割の場合のように、選定機構は単一記述子則をＢｏｏｌｅａｎ関係ＡＮ
Ｄ、ＯＲおよびＮＯＴと組合せることにより複数記述子の値次第で行われる。

【０１２３】動画像セグメントに適用する選定則を形成した後に、動画像セグメントを本シ
ステムにより識別し（工程９０６）、この識別セグメントの記述子値が選定則に
よる基準を満たす場合に検査する（工程９０８）。識別セグメントの記述子値が
基準を満たすかどうかに依って、識別セグメントを“選定”（工程９１０）、あ
るいは“未選定”（工程９１２）と印す。次に、本システムは印付きセグメント
が選定則に対して検査される最終セグメントであるかを調べる（工程９１４）。
別の未検査セグメントがあれば、本システムはこのセグメントを識別し（工程９
１６）、その後で工程９０８に戻る。

【０１２４】自動選定を行うために、本システムはスカラー記述子のみでなく、ベクトル、
マトリックスおよび記号列のようなより複雑な記述子をも用いることができる。

【０１２５】（配列づけ）配列づけ機能は本発明の実施例によるどのシステムにとっても重要な部分であ
る。動画像セグメント配列は出力ビデオ制作内の動画像セグメントの順序である
。何時でも、現出力ビデオ制作は現配列内の選定セグメントの組からなる。現配
列は動画像セグメントが図１ｂのグリッド画面２０２および図１ａのアウトライ
ン画面１０６内で左から右に現れる順序である。

【０１２６】配列づけは記述子値により自動的に、あるいは手動で行われる。マニュアル配
列づけの場合に、その順序は動画像セグメントをドラッグしたりドロップするよ
うな作業により確定される。例えば、図１ｂのグリッド画面２０２内のセグメン
トコラムの最上部をクリックし、このコラムを別の場所に水平にドラッグするこ
とにより、マニュアル配列づけを行う。

【０１２７】記述子値による配列づけの自動制御プロセスを図１０のフローチャートを参照
して説明する。このプロセスは記述子の組込みや作成に、且つ、一つ以上の記述
子の選択に影響し、配列づけプロセスを制御する（工程９５０）。記述子値が配
列づけ決定に変換する方法を支配する規則を定義する（工程９５２）。代表的規
則は値による分類則であり、動画像セグメントを記述子の値、例えば最低値から
最高値にまで、あるいはその逆により選別する。別の代表的規則は距離による分
類則であり、記述子値が任意目標値とどの程度異なるか、例えば単一数値差やユ
ークリッド距離により動画像セグメントを選別する。この規則を用い、動画像セ
グメントの目標セグメントとの類似性により動画像セグメントを選別するときに
、この規則は特に強力である。

【０１２８】領域分割機能と選定機能と同様に、配列づけ機能は複数記述子の値に依り行わ
れる。複数記述子配列づけ機能は前述の公式／アルゴリズム方式の記述子を組合
せて行われる。配列づけ機構は、配列づけが先ず一つの記述子の値により確定さ
れる階層的分類を伴い、第一記述子が多くの動画像セグメントに対して同じ値を
持つ場合に他の記述子に頼る。これは語をアルファベットで選別する、すなわち
、語を第一文字に基づいて選別し、次にその範囲内で第二文字に基づいて選別す
るプロセスに類似している。

【０１２９】次に配列づけ規則を用いて全選定動画像セグメントの順序を確立する（工程９
５４）。この順序にセグメントをつなぎ合わせて出力ビデオ制作を作る（工程９
５６）。

【０１３０】自動配列づけを行うために、本システムはスカラー記述子のみでなく、ベクト
ル、マトリックスおよび記号列のようなより複雑な記述子をも用いることができ
る。

【０１３１】本発明の実施例は計算機、例えば図１１に示す汎用計算機により実行される。
特に、図１から図１０を参照して説明した本システムの機能性や処理はソフトウ
エアや計算機プログラムとして計算機上で実行される。ビデオ制作のための本シ
ステムと方法は計算機により実行されるソフトウエア内の指令により実行される
。このソフトウエは処理工程を実施する一つ以上のモジュールとして実行される
。モジュールは特定機能や関連機能を通常行う計算機プログラムの一部である。
更に、先に説明したように、モジュールは他の構成要素やモジュール用に使うパ
ッケージ機能性ハードウエアユニットである。

【０１３２】特に、ソフトウエアは以下に述べる記憶装置を含む計算機読取り可能媒体内に
記憶される。ソフトウエアは計算機読取り可能媒体から計算機に装填され、次に
計算機により実行される。計算機プログラム製品は計算機読取り可能媒体を含み
、この媒体上に計算機により実行されるソフトウエアや計算機プログラムを記録
する。計算機内で計算機プログラム製品を使用する効果は、本発明の実施例に従
って低データ伝送速度、且つ、理解できる音声通信を備えた装置を提供できるこ
とである。

【０１３３】本システム２８を具体例を示すために提供するが、本発明の範囲と精神から逸
脱することなく他の構成形態を用いることもできる。実施例を実行する計算機は
ＩＢＭ−ＰＣ／ＡＴｓ、Ｍａｃｉｎｔｏｓｈ（商標）ＰＣｓファミリの一つ、Ｓ
ｕｎＳｐａｒｃｓｔａｔｉｏｎ（商標）、ワークステーション等を含む。前述
の計算機は、本発明の実施例を実行する単なる代表的な種類にすぎない。一般的
に、この後に述べる実施例のプロセスは計算機読取り可能媒体としてハードディ
スク駆動装置（図１１にブロック２９として示した）に記録され、プロセッサ３
０により読取り制御されるソフトウエアすなわちプログラムとして内在する。プ
ログラムおよびデータの中間記憶装置は、おそらくハードディスク駆動装置２９
と同調した半導体メモリ３１により達成される。

【０１３４】ある事例では、ＣＤ−ＲＯＭやフレキシブルディスク（両方ともブロック２９
で一般的に示した）上に符号化されたプログラムを利用者に供給し、あるいは、
例えば、計算機に接続されたモデム装置経由でネットワークから利用者が読取る
ことができる。更に、このソフトウエアは、磁気テープ、ＲＯＭや集積回路、光
磁気ディスクを含む他の計算機読取り可能媒体、計算機と別の装置間の無線や赤
外線伝送チャネル、ＰＣＭＣＩＡカードのような計算機読取り可能カード、およ
びｅメールや、ウェブサイト等に記録された情報を含むインタネットとイントラ
ネットから計算機システム２８に装填される。前記媒体は単なる代表的な適切な
計算機読取り可能媒体である。他の計算機読取り可能媒体は本発明の範囲と精神
から逸脱することなく実際に使用される。

【０１３５】前述のように、ビデオ制作のために画像を再目的化し、編集し、ファイル保管
する方法、システム、および計算機プログラム製品について開示されている。多
数の実施例が説明されている。しかし、この開示に鑑みて、多数の変化および／
あるいは変更が本発明の範囲と精神から逸脱しないで行われ得ることは当業者に
は明らかである。

【図面の簡単な説明】

【図１ａ】本発明の一実施例によるビデオ制作システムの一変形のＧＵＩを示す。

【図１ｂ】本発明の別の実施例によるビデオ制作システムの別の変形のＧＵＩを示す。

【図２ａ】本発明の更なる実施例によるビデオ制作システムの更なる変形のＧＵＩを示す
。

【図２ｂ】本発明の更なる実施例によるビデオ制作システムの更なる変形のＧＵＩを示す
。

【図２ｃ】本発明の更なる実施例によるビデオ制作システムの更なる変形のＧＵＩを示す
。

【図２ｄ】本発明の更なる実施例によるビデオ制作システムの更なる変形のＧＵＩを示す
。

【図３】本発明の実施例によるシステムを用いたシナリオを説明するフローチャートで
ある。

【図４ａ】図２のシステムのマニュアル記述子の高速伝搬のプロセスを説明するフローチ
ャートである。

【図４ｂ】図３のシステムの動画像セグメントに記述子値を伝達するプロセスを説明する
フローチャートである。

【図５】図２のシステムの自動領域分割プロセスを説明するフローチャートである。

【図６】図２のシステムの入力ビデオ素材の自動領域分割プロセスを説明するフローチ
ャートである。

【図７】図２のシステムの動画像セグメントの上下分解プロセスを説明するフローチャ
ートである。

【図８ａ】図２のシステムの動画像セグメントの逆さ分解プロセスを説明するフローチャ
ートである。

【図８ｂ】図２のシステムの動画像セグメントを併合するプロセスを説明するフローチャ
ートである。

【図９】図２のシステムの自動領域分割選択プロセスを説明するフローチャートである
。

【図１０】記述子値に基づく自動配列プロセスを説明するフローチャートである。

【図１１】本発明の実施例を実行する汎用計算機を示す。

【手続補正書】

【提出日】平成１４年６月２６日（２００２．６．２６）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００３８

【補正方法】変更

【補正の内容】

【００３８】アウトライン画面１０６は動画像セグメント当り１キーフレームを用いて動画
像セグメントの現選定および配列から生じる出力ビデオ制作のアウトラインを提
供する。システム変形は動画像セグメントをループモードで再生する運動アイコ
ンを使用でき、このような技術は当業者には周知である。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００５７

【補正方法】変更

【補正の内容】

【００５７】このような自動抽出記述子は一般に“低レベル”であり、つまり、これらの記
述子は統計と信号の他の一般的特性を表すが、利用者が最も興味を持ちそうな“
高レベル”意味情報の種類でない。このような記述子を更に分析して高レベルの
意味情報を抽出する場合でさえも、結果は一般的に信頼性がない。例えば、利用
者は入力ビデオ素材からビル・クリントンの全ショットや群集の波の全ショット
を識別したいが、自動的“ビル・クリントン検出器”は現に最新技術を超えたも
のである。“人々の波検出器”は一般的に全く信頼性がなく、つまり、このよう
な検出器は高い割合で人々の波のショットを見失ったり、あるいは高い割合で偽
陽画（例えば、恐らく風の中で波打つ木）を与えたりする。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００８２

【補正方法】変更

【補正の内容】

【００８２】（自動領域分割）ビデオ素材を領域分割するための自動化技術が多々あり、そのどれかは外部的
、あるいは内部的に適用される。当業者に周知の共通技術はショット境界検出で
ある。領域分割は音声情報を用いて、例えば、平均音声振幅が閾値以下になるた
びに新しい動画像セグメントを作成することにより、あるいは演説対音楽を識別
することにより、あるいはスピーカの変化可能性を認識することにより行われる
。

───────────────────────────────────────────────────── フロントページの続き (72)発明者パッドマナハン，ラマナスシンガポール国 120506 ウエスト・コースト・ドライブナンバー08−219、ブロック 506 (72)発明者ゴー，リアング，キーシンガポール国 130022 ドーヴァー・クレセントナンバー09−350、ブロック 22 Ｆターム(参考） 5C053 FA14 GB11 JA01

Claims

【特許請求の範囲】

【請求項１】動画像セグメントを処理するシステムであって、記述子を作成し、対応する動画像セグメントの少なくとも一つの値をこの記述
子に特有のものにする手段と、少なくとも二つの動画像セグメントから出力ビデオ制作物を組立てる手段で、
前記少なくとも二つの動画像セグメントに対応する少なくとも一つの記述子の値
によって前記少なくとも二つの動画像セグメントを選定する手段および前記少な
くとも二つの動画像セグメントに対応する少なくとも一つの記述子の値によって
前記少なくとも二つの動画像セグメントを配列する手段を含む手段と、を含むシ
ステム。
【請求項２】更に、少なくとも一つのグリッドを表示する手段を含み、前
記少なくとも一つのグリッドの各々が基準として第一軸用に前記少なくとも二つ
の動画像セグメントの表現と第二軸用に前記少なくとも二つの動画像セグメント
に対応する前記少なくとも一つの記述子とを持ち、前記少なくとも一つのグリッ
ド内の各セルが前記少なくとも二つの動画像セグメントの一方に対応する前記少
なくとも一つの記述子の一つに特有の少なくとも一つの値の表現を表示する請求
項１に記載のシステム。
【請求項３】前記少なくとも一つのグリッドが複数の列を含み、前記複数
の列が、前記少なくとも二つの動画像セグメントを視覚的に表現する列と、前記少なくとも二つの動画像セグメントの音声コンテンツを視覚的に表現する
列と、前記少なくとも二つの動画像セグメントの一方に対応する記述子の複数の値の
時系列グラフ表現を行う列とを含み、前記少なくとも二つの動画像セグメントの各々の時間存続範囲が前記複数列の
一つに示される請求項２に記載のシステム。
【請求項４】前記少なくとも一つのグリッドが更に、第一および第二グリ
ッドを含み、ビデオ素材を前記システムに入力すると、前記第一グリッドが前記
入力ビデオ素材を実質的に元の状態で表現し、第二グリッドが前記出力ビデオ制
作物を表現し、且つ、前記第一グリッドへの変化が前記第二グリッドへ対応する
変化を引起す請求項３に記載のシステム。
【請求項５】更に、動画像セグメント間に遷移を作成する手段を含む請求
項１に記載のシステム。
【請求項６】遷移を作成する前記手段が動画像セグメント間で動画像分解
あるいは音声クロスフェードを作成する手段を含む請求項５に記載のシステム。
【請求項７】記述子を作成する前記手段が前記システムへの移入の前に記
述子とこの記述子に特有の少なくとも一つの値とを移入する手段を含む請求項１
に記載のシステム。
【請求項８】記述子を作成する前記手段が動画像コンテンツあるいは音声
コンテンツの信号分析を前記動画像セグメントに適用することにより動画像セグ
メントに対応する記述子の値を抽出する手段を含む請求項１に記載のシステム。
【請求項９】記述子を作成する前記手段が前記少なくとも二つの動画像セ
グメント内のその位置に従って順序数を割当てることにより前記少なくとも二つ
の動画像セグメントの一方に対応する記述子の値を作成する手段を含む請求項１
に記載のシステム。
【請求項１０】少なくとも一つの値を記述子に特有のものにする前記手段
が少なくとも一つの他の記述子に対する基準を持つ公式ないしはアルゴリズムを
含む請求項１に記載のシステム。
【請求項１１】更に、前記システムに入力されたビデオ素材を動画像セグ
メントに領域分割する手段を含み、前記手段が、前記入力ビデオ素材内の少なくとも一つの時間領域を識別し、前記領域を動画
像セグメントとして表現する手段と、前記識別手段が基づく少なくとも一つの記述子を選択する手段と、前記識別手段を支配する少なくとも一つの領域分割則を定義する手段とを含む
請求項１に記載のシステム。
【請求項１２】前記領域分割手段が第一組の動画像セグメントを第二組の
動画像セグメントに再領域分割する手段を含む請求項１１に記載のシステム。
【請求項１３】前記領域分割手段が更に、前記第一組の動画像セグメント
に対応する記述子の値を選択的に複製したり結合することによって、前記第二組
の動画像セグメントの各々に対応する前記記述子の値を生成する手段を含む請求
項１２に記載のシステム。
【請求項１４】前記領域分割手段が前記少なくとも一つの記述子の各々に
対して種々の組の動画像セグメントを識別し表現する手段を含む請求項１１に記
載のシステム。
【請求項１５】更に、前記システムに入力されたビデオ素材を、利用者の
直接操作により動画像セグメントの始点と終点の定義あるいは調整を可能にする
ことで、動画像セグメントに領域分割する手段を含む請求項１に記載のシステム
。
【請求項１６】更に、前記少なくとも二つの動画像セグメントの一方に対
応する記述子の複数の時間的連続値から単一値を生成する手段を含む請求項１に
記載のシステム。
【請求項１７】更に、単一動画像セグメントを複数の動画像セグメントに
細分割する手段を含み、前記単一動画像セグメントに対応する記述子の値を漸進
的分解により前記複数の動画像セグメントに対応する記述子に複製する請求項１
に記載のシステム。
【請求項１８】更に、複数の動画像セグメントを単一動画像セグメント内
に集めることにより前記複数の動画像セグメントを併合する手段を含み、前記単
一動画像セグメントに対応する記述子の値を前記複数の動画像セグメントに対応
する記述子の値から生成する請求項１に記載のシステム。
【請求項１９】更に、前記出力ビデオ制作物の再生を行う手段を含む請求
項１に記載のシステム。
【請求項２０】前記選定手段が、前記少なくとも一つの記述子の値が目標
値の範囲内に実質的にあるかどうかによって、前記少なくとも二つの動画像セグ
メントを選定する請求項１に記載のシステム。
【請求項２１】前記選定手段が更に、利用者の直接操作により前記少なく
とも二つの動画像を手動で選定する手段を含む請求項１に記載のシステム。
【請求項２２】前記配列づけ手段が前記少なくとも一つの記述子の値と目
標値の間の差に従って前記少なくとも二つの動画像セグメントを順序づける請求
項１に記載のシステム。
【請求項２３】前記配列づけ手段が更に、利用者の直接操作により前記少
なくとも二つの動画像セグメントを手動で配列づけする手段を含む請求項１に記
載のシステム。
【請求項２４】動画像セグメントを処理する方法であって、記述子を作成し、対応する動画像セグメントの少なくとも一つの値をこの記述
子に特有のものにする工程と、少なくとも二つの動画像セグメントから出力ビデオ制作物を組立てる工程とを
含み、前記組立工程が、前記少なくとも二つの動画像セグメントに対応する少なくとも一つの記述子の
値に従って前記少なくとも二つの動画像セグメントを選定する工程と、前記少なくとも二つの動画像セグメントに対応する少なくとも一つの記述子の
値に従って前記少なくとも二つの動画像セグメントを配列づけする工程とを含む
方法。
【請求項２５】更に、少なくとも一つのグリッドを表示する工程を含み、
前記少なくとも一つのグリッドの各々が基準として第一軸用に前記少なくとも二
つの動画像セグメントの表現と第二軸用に前記少なくとも二つの動画像セグメン
トに対応する前記少なくとも一つの記述子とを有するもので、前記少なくとも一
つのグリッド内の各セルが前記少なくとも二つの動画像セグメントの一方に対応
する前記少なくとも一つの記述子の一つに特有のものにした少なくとも一つの値
の表現を表示する請求項２４に記載の方法。
【請求項２６】前記少なくとも一つのグリッドを表示する前記工程が複数
の列を表示する工程を含み、前記複数の列が、前記少なくとも二つの動画像セグメントを視覚的に表現する列と、前記少なくとも二つの動画像セグメントの音声コンテンツを視覚的に表現する
列と、前記少なくとも二つの動画像セグメントの一方に対応する記述子の複数の値の
時系列グラフ表現を行う列とを含み、前記少なくとも二つの動画像セグメントの各々の時間存続範囲が前記複数列の
一つに示される請求項２５に記載の方法。
【請求項２７】前記少なくとも一つのグリッドを表示する前記工程が第一
および第二グリッドを表示する工程を含み、入力ビデオ素材が与えられると、前
記第一グリッドが前記入力ビデオ素材を実質的に元の状態で表現し、第二グリッ
ドが前記出力ビデオ制作物を表現し、前記第一グリッドへの変化が前記第二グリ
ッドへ対応する変化を引起す請求項２６に記載の方法。
【請求項２８】更に、動画像セグメント間に遷移を作成する工程を含む請
求項２４に記載の方法。
【請求項２９】遷移を作成する前記工程が動画像セグメント間で動画像分
解あるいは音声クロスフェードを作成する工程を含む請求項２８に記載の方法。
【請求項３０】記述子を作成する前記工程が前記システムへの移入の前に
記述子とこの記述子に特有の少なくとも一つの値とを移入する工程を含む請求項
２４に記載の方法。
【請求項３１】記述子を作成する前記工程が動画像コンテンツあるいは音
声コンテンツの信号分析を前記動画像セグメントに適用することにより動画像セ
グメントに対応する記述子の値を抽出する工程を含む請求項２４に記載の方法。
【請求項３２】記述子を作成する前記工程が前記少なくとも二つの動画像
セグメント内のその位置に従って順序数を割当てることにより前記少なくとも二
つの動画像セグメントの一方に対応する記述子の値を作成する工程を含む請求項
２４に記載の方法。
【請求項３３】少なくとも一つの値を記述子に特有のものにする前記工程
が少なくとも一つの他の記述子に対する基準を持つ公式ないしアルゴリズムによ
り前記少なくとも一つの値を前記記述子に特有のものにする工程を含む請求項２
４に記載の方法。
【請求項３４】更に、入力ビデオ素材を動画像セグメントに領域分割する
工程を含み、前記工程が、前記入力ビデオ素材内の少なくとも一つの時間領域を識別し、前記領域を動画
像セグメントとして表現する工程と、前記識別手段が基づく少なくとも一つの記述子を選択する工程と、前記識別手段を支配する少なくとも一つの領域分割則を定義する工程とを含む
請求項２４に記載の方法。
【請求項３５】領域分割する前記工程が第一組の動画像セグメントを第二
組の動画像セグメントに再領域分割する工程を含む請求項３４に記載の方法。
【請求項３６】領域分割する前記工程が更に、前記第一組の動画像セグメ
ントに対応する前記記述子の値を選択的に複製したり結合することで前記第二組
の動画像セグメントの各々に対応する記述子の値を引出す工程を含む請求項３５
に記載の方法。
【請求項３７】領域分割する前記工程が前記少なくとも一つの記述子の各
々に対して種々の組の動画像セグメントを識別し表現する工程を含む請求項３４
に記載の方法。
【請求項３８】更に、利用者の直接操作により動画像セグメントの始点と
終点の定義や調整を可能にすることで入力ビデオ素材を動画像セグメントに領域
分割する工程を含む請求項２４に記載の方法。
【請求項３９】更に、前記少なくとも二つの動画像セグメントの一方に対
応する記述子の複数の時間連続値から単一値を引出す工程を含む請求項２４に記
載の方法。
【請求項４０】更に、単一動画像セグメントを複数の動画像セグメントに
細分割する工程を含み、前記単一動画像セグメントに対応する記述子の値を漸進
分解により前記複数の動画像セグメントに対応する記述子に複製する請求項２４
に記載の方法。
【請求項４１】更に、前記複数の動画像セグメントを単一動画像セグメン
ト内に集めることにより複数の動画像セグメントを併合する工程を含み、前記単
一動画像セグメントに対応する記述子の値を前記複数の動画像セグメントに対応
する記述子の値から引出す請求項２４に記載の方法。
【請求項４２】更に、前記出力ビデオ制作物を再生する工程を含む請求項
２４に記載の方法。
【請求項４３】前記選定工程が前記少なくとも一つの記述子の値が目標値
の範囲内に実質的にあるかどうかによって前記少なくとも二つの動画像セグメン
トを選定する工程を含む請求項２４に記載の方法。
【請求項４４】前記選定工程が利用者の直接操作により前記少なくとも二
つの動画像セグメントを手動で選定する工程を含む請求項２４に記載の方法。
【請求項４５】前記配列づけ工程が前記少なくとも一つの記述子の値と目
標値の間の差に従って前記少なくとも二つの動画像セグメントを順序づける工程
を含む請求項２４に記載の方法。
【請求項４６】前記配列づけ工程が更に、利用者の直接操作により前記少
なくとも二つの動画像セグメントを手動で配列づけする工程を含む請求項２４に
記載の方法。
【請求項４７】動画像セグメントを処理する計算機プログラム製品であっ
て、動画像セグメントを処理する計算機使用可能媒体に具現化した計算機読取り可
能プログラムコード手段を有する前記媒体を含み、記述子を作成し、対応する動画像セグメントに対する少なくとも一つの値をこ
の記述子に特有のものにする計算機読取り可能プログラムコード手段と、前記少なくとも二つの動画像セグメントに対応する少なくとも一つの記述子の
値によって前記少なくとも二つの動画像セグメントを選定する計算機読取り可能
プログラムコード手段、および前記少なくとも二つの動画像セグメントに対応す
る少なくとも一つの記述子の値によって前記少なくとも二つの動画像セグメント
を配列づけする計算機読取り可能プログラムコード手段を含む、少なくとも二つ
の動画像セグメントから出力ビデオ制作物を組立てる計算機読取り可能プログラ
ムコード手段と、を有する計算機プログラム製品。
【請求項４８】更に、少なくとも一つのグリッドを表示する計算機読取り
可能プログラムコード手段を含み、前記少なくとも一つのグリッドの各々が基準
として第一軸用に前記少なくとも二つの動画像セグメントの表現と第二軸用に前
記少なくとも二つの動画像セグメントに対応する前記少なくとも一つの記述子と
を持ち、前記少なくとも一つのグリッド内の各セルが前記少なくとも二つの動画
像セグメントの一方に対応する前記少なくとも一つの記述子の一つに特有のもの
にした少なくとも一つの値の表現を表示する請求項４７に記載の製品。
【請求項４９】前記少なくとも一つのグリッドを表示する前記計算機読取
り可能プログラムコード手段が複数の列を表示する計算機読取り可能プログラム
コード手段を含み、前記複数の列が、前記少なくとも二つの動画像セグメントを視覚的に表現する列と、前記少なくとも二つの動画像セグメントの音声コンテンツを視覚的に表現する
列と、前記少なくとも二つの動画像セグメントの一方に対応する記述子の複数の値の
時系列グラフ表現を行う列とを含み、前記少なくとも二つの動画像セグメントの各々の時間存続範囲が前記複数列の
一つに示される請求項４７に記載の製品。
【請求項５０】前記少なくとも一つのグリッドを表示する前記計算機読取
り可能プログラムコード手段が更に、第一および第二グリッドを表示する計算機
読取り可能プログラムコード手段を含み、入力ビデオ素材が与えられると、前記
第一グリッドが前記入力ビデオ素材を実質的に元の状態で表現し、第二グリッド
が前記出力ビデオ制作物を表現し、前記第一グリッドへの変化が前記第二グリッ
ドへ対応する変化を引起す請求項４９に記載の製品。
【請求項５１】更に、動画像セグメント間に遷移を作成する計算機読取り
可能プログラムコード手段を含む請求項４７に記載の製品。
【請求項５２】遷移を作成する前記計算機読取り可能プログラムコード手
段が動画像セグメント間で動画像分解あるいは音声クロスフェードを作成する計
算機読取り可能プログラムコード手段を含む請求項５１に記載の製品。
【請求項５３】記述子を作成する前記計算機読取り可能プログラムコード
手段が前記システムへの移入の前に記述子とこの記述子に特有のものにした少な
くとも一つの値とを移入する計算機読取り可能プログラムコード手段を含む請求
項４７に記載の製品。
【請求項５４】記述子を作成する前記計算機読取り可能プログラムコード
手段が動画像コンテンツあるいは音声コンテンツの信号分析を前記動画像セグメ
ントに適用することにより動画像セグメントに対応する記述子の値を抽出する計
算機読取り可能プログラムコード手段を含む請求項４７に記載の製品。
【請求項５５】記述子を作成する前記計算機読取り可能プログラムコード
手段が前記少なくとも二つの動画像セグメント内のその位置に従って順序数を割
当てることにより前記少なくとも二つの動画像セグメントの一方に対応する記述
子の値を作成する計算機読取り可能プログラムコード手段を含む請求項４７に記
載の製品。
【請求項５６】少なくとも一つの値を記述子に特有のものにする前記計算
機読取り可能プログラムコード手段が少なくとも一つの他の記述子に対する基準
を持つ公式ないしはアルゴリズムにより前記少なくとも一つの値を前記記述子に
特有のものにする計算機読取り可能プログラムコード手段を含む請求項４７に記
載の製品。
【請求項５７】更に、入力ビデオ素材を動画像セグメントに領域分割する
計算機読取り可能プログラムコード手段を含み、前記計算機読取り可能プログラ
ムコード手段が、前記入力ビデオ素材内の少なくとも一つの時間領域を識別し、前記領域を動画
像セグメントとして表現する計算機読取り可能プログラムコード手段と、前記識別手段が基づく少なくとも一つの記述子を選択する計算機読取り可能プ
ログラムコード手段と、前記識別手段を支配する少なくとも一つの領域分割則を定義する前記計算機読
取り可能プログラムコード手段とを含む請求項４７記載の製品。
【請求項５８】領域分割用の前記計算機読取り可能プログラムコード手段
が第一組の動画像セグメントを第二組の動画像セグメントに再領域分割する計算
機読取り可能プログラムコード手段を含む請求項５７に記載の製品。
【請求項５９】領域分割する前記計算機読取り可能プログラムコード手段
が更に、前記第一組の動画像セグメントに対応する記述子の値を選択的に複製し
たり結合することによって、前記第二組の動画像セグメントの各々に対応する前
記記述子の値を引出す計算機読取り可能プログラムコード手段を含む請求項５８
に記載の製品。
【請求項６０】領域分割する前記計算機読取り可能プログタムコード手段
が前記少なくとも一つの記述子の各々に対して種々の組の動画像セグメントを識
別し表現する計算機読取り可能プログラムコード手段を含む請求項４７に記載の
製品。
【請求項６１】更に、利用者の直接操作により動画像セグメントの始点と
終点の定義あるいは調整を可能にすることで入力ビデオ素材を動画像セグメント
に領域分割する計算機読取り可能プログラムコード手段を含む請求項５７に記載
の製品。
【請求項６２】更に、前記少なくとも二つの動画像セグメントの一方に対
応する記述子の複数の時間的連続値から単一値を生成する計算機読取り可能プロ
グラムコード手段を含む請求項４７に記載の製品。
【請求項６３】更に、単一動画像セグメントを複数の動画像セグメントに
細分割する計算機読取り可能プログラムコード手段を含み、前記単一動画像セグ
メントに対応する記述子の値を漸進的分解により前記複数の動画像セグメントに
対応する記述子に複製する請求項４７に記載の製品。
【請求項６４】更に、複数の動画像セグメントを単一動画像セグメント内
に集めることにより前記複数の動画像セグメントを併合する計算機読取り可能プ
ログラムコード手段を含み、前記単一動画像セグメントに対応する記述子の値を
前記複数の動画像セグメントに対応する記述子の値から引出す請求項４７に記載
の製品。
【請求項６５】更に、前記出力ビデオ制作物の再生を行う計算機読取り可
能プログラムコード手段を含む請求項４７に記載の製品。
【請求項６６】前記少なくとも二つの動画像セグメントに対応する少なく
とも一つの記述子の値に従って前記少なくとも二つの動画像セグメントを選定す
る前記計算機読取り可能プログラムコード手段が前記少なくとも一つの記述子が
目標値の範囲内に実質的にあるかどうかに従って前記少なくとも二つの動画像セ
グメントを選定する計算機読取り可能プログラムコード手段を含む請求項４７に
記載の製品。
【請求項６７】前記少なくとも二つの動画像セグメントに対応する少なく
とも一つの記述子の値に従って前記少なくとも二つの動画像セグメントを選定す
る前記計算機読取り可能プログラムコード手段が利用者の直接操作により前記少
なくとも二つの動画像セグメントを手動で選定する計算機読取り可能プログラム
コード手段を含む請求項４７に記載の製品。
【請求項６８】前記少なくとも二つの動画像セグメントに対応する少なく
とも一つの記述子の値に従って前記少なくとも二つの動画像セグメントを配列づ
けする前記計算機読取り可能プログラムコード手段が前記少なくとも一つの記述
子の値と目標値の間の差に従って前記少なくとも二つの動画像セグメントを順序
づける計算機読取り可能プログラムコード手段を含む請求項４７に記載の製品。
【請求項６９】前記少なくとも二つの動画像セグメント手段に対応する少
なくとも一つの記述子の値に従って前記少なくとも二つの動画像セグメントを配
列づけする前記計算機読取り可能プログラムコード手段が利用者の直接操作によ
り前記少なくとも二つの動画像セグメントを手動で配列づけする計算機読取り可
能プログラムコード手段を含む請求項４７に記載の方法。
【請求項７０】動画像セグメントを記述するシステムであって、第一記述子を作成し、対応する動画像セグメントに対する第一の値を第一記述
子に特有のものにする手段と、前記第一動画像セグメントと前記少なくとも一つの他の動画像セグメントとに
対応する少なくとも一つの他の記述子の値に従って前記第一動画像セグメントを
少なくとも一つの他の動画像セグメントでグループ分けする手段と、前記第一の値を前記少なくとも一つの他の動画像セグメントに対応する前記第
一記述子に特有のものにする手段とを含むシステム。
【請求項７１】更に、前記少なくとも一つの他の記述子を選定する手段を
含む請求項７０に記載のシステム。
【請求項７２】前記グループ分け手段が前記第一動画像セグメントと前記
少なくとも一つの他の動画像セグメントとに対応する少なくとも一つの他の記述
子の前記値を比較する手段を含む請求項７１に記載のシステム。
【請求項７３】前記グループ分け手段が更に、前記第一動画像セグメント
と前記少なくとも一つの他の動画像セグメントを選別する手段を含む請求項７２
に記載のシステム。
【請求項７４】前記グループ分け手段が更に、値による選別、距離による
選別、公式選別、アルゴリズム選別や階層構造選別を含む選別技術により前記第
一動画像セグメントと前記少なくとも一つの他の動画像セグメントを選別する手
段を含む請求項７３に記載のシステム。
【請求項７５】前記グループ分け手段が更に、ディスプレイを有するユー
ザインタフェイスにより前記第一動画像セグメントおよび前記少なくとも一つの
他の動画像セグメントの表現を視覚検査する手段を含む請求項７３に記載のシス
テム。
【請求項７６】前記グループ分け手段が更に、前記表現の視覚検査後に、
前記第一の値を前記少なくとも一つの他の動画像セグメントに対応する前記第一
記述子に特有のものにする前記ユーザインタフェイス手段により作動する手段を
含む請求項７５に記載のシステム。
【請求項７７】前記第一記述子を作成し、前記第一の値をこの記述子に特
有のものにする前記手段が前記第一の値を前記第一記述子に手動で割当てる手段
を含む請求項７３に記載のシステム。
【請求項７８】前記第一記述子を作成し、前記第一の値をこの記述子に特
有のものにする前記手段が意味力を有する前記第一の値を前記第一記述子に手動
で割当てる手段を含む請求項７７に記載のシステム。
【請求項７９】前記第一動画像セグメントおよび前記少なくとも一つの他
の動画像セグメントに対応する前記少なくとも一つの他の記述子を自動的に抽出
する請求項７８に記載のシステム。
【請求項８０】動画像セグメントを記述する方法であって、第一記述子を作成し、対応する動画像セグメントに対する第一の値をこの記述
子に特有のものにする工程と、前記第一動画像セグメントおよび前記少なくとも一つの他の動画像セグメント
に対応する少なくとも一つの他の記述子の値に従って前記第一動画像セグメント
を少なくとも一つの他の動画像セグメントでグループ分けする工程と、前記第一の値を前記少なくとも一つの他の動画像セグメントに対応する前記第
一記述子に特有のものにする工程とを含む方法。
【請求項８１】更に、前記少なくとも一つの他の記述子を選定する工程を
含む請求項８０に記載の方法。
【請求項８２】前記グループ分け工程が前記第一動画像セグメントおよび
前記少なくとも一つの他の動画像セグメントに対応する少なくとも一つの他の記
述子の前記値を比較する工程を含む請求項８１に記載の方法。
【請求項８３】前記グループ分け工程が更に、前記第一動画像セグメント
と前記少なくとも一つの他の動画像セグメントを選別する工程を含む請求項８２
に記載の方法。
【請求項８４】前記グループ分け工程が更に、値による選別、距離による
選別、公式選別、アルゴリズム選別や階層構造選別を含む選別技術により前記第
一動画像セグメントと前記少なくとも一つの他の動画像セグメントを選別する工
程を含む請求項８３に記載の方法。
【請求項８５】前記グループ分け工程が更に、ディスプレイを有するユー
ザインタフェイスにより前記第一動画像セグメントおよび前記少なくとも一つの
他の動画像セグメントの表現を視覚検査する工程を含む請求項８３に記載の方法
。
【請求項８６】前記グループ分け工程が更に、前記表現の視覚検査後に、
前記第一の値を前記少なくとも一つの他の動画像セグメントに対応する前記第一
記述子に特有のものにする前記ユーザインタフェイス手段により作動する工程を
含む請求項８５に記載の方法。
【請求項８７】前記第一記述子を作成し、前記第一の値をこの記述子に特
有のものにする前記工程が前記第一の値を前記第一記述子に手動で割当てる工程
を含む請求項８３に記載の方法。
【請求項８８】前記第一記述子を作成し、前記第一の値をこの記述子に特
有のものにする前記工程が意味力を有する前記第一の値を前記第一記述子に手動
で割当てる工程を含む請求項８７に記載の方法。
【請求項８９】前記第一記述子を作成する前記工程が更に、前記第一動画
像セグメントと前記少なくとも一つの他の動画像セグメントとに対応する少なく
とも一つの他の記述子を自動的に抽出する工程を含む請求項８８に記載の方法。
【請求項９０】動画像セグメントを記述する計算機プログラム製品であっ
て、動画像セグメントを記述する計算機使用可能媒体に具現化した計算機読取り可
能プログラムコード手段を有する前記媒体を含み、第一記述子を作成し、対応する動画像セグメントに対する第一の値をこの記述
子に特有のものにする計算機読取り可能プログラムコード手段と、前記第一動画像セグメントおよび前記少なくとも一つの他の動画像セグメント
に対応する少なくとも一つの他の記述子の値に従って前記第一動画像セグメント
を少なくとも一つの他の動画像セグメントでグループ分けする計算機読取り可能
プログラムコード手段と、前記第一の値を前記少なくとも一つの他の動画像セグメントに対応する前記第
一記述子に割当てる計算機読取り可能プログラムコード手段とを有する計算機プ
ログラム製品。
【請求項９１】更に、前記少なくとも一つの他の記述子を選定する計算機
読取り可能プログラムコード手段を含む請求項９０に記載の製品。
【請求項９２】グループ分けのための前記計算機読取り可能プログラムコ
ード手段が前記第一動画像セグメントと前記少なくとも一つの他の動画像セグメ
ントとに対応する少なくとも一つの他の記述子の前記値を比較する計算機読取り
可能プログラムコード手段を含む請求項９１に記載の製品。
【請求項９３】グループ分けのための前記計算機読取り可能プログラムコ
ード手段が更に、前記第一動画像セグメントと前記少なくとも一つの他の動画像
セグメントを選別する計算機読取り可能プログラムコード手段を含む請求項９２
に記載の製品。
【請求項９４】グループ分けのための前記計算機読取り可能プログラムコ
ード手段が更に、値による選別、距離による選別、公式選別、アルゴリズム選別
や階層構造選別を含む選別技術により前記第一動画像セグメントと前記少なくと
も一つの他の動画像セグメントを選別する計算機読取り可能プログラムコード手
段を含む請求項９３に記載の製品。
【請求項９５】グループ分けのための前記計算機読取り可能プログラムコ
ード手段が更に、ディスプレイを有するユーザインタフェイスにより前記第一動
画像セグメントおよび前記少なくとも一つの他の動画像セグメントの表現を視覚
検査する計算機読取り可能プログラムコード手段を含む請求項９３に記載の製品
。
【請求項９６】グループ分けのための前記計算機読取り可能プログラムコ
ード手段が更に、前記表現の視覚検査の後に、前記第一の値を前記少なくとも一
つの他の動画像セグメントに対応する前記第一記述子に特有のものにする前記ユ
ーザインタフェイス計算機読取り可能プログラムコード手段により作動する手段
を含む請求項９５に記載の製品。
【請求項９７】前記第一記述子を作成し、前記第一の値をこの記述子に特
有のものにする前記計算機読取り可能プログラムコード手段が前記第一の値を前
記第一記述子に手動で割当てる計算機読取り可能プログラムコード手段を含む請
求項９３に記載の製品。
【請求項９８】前記第一記述子を作成し、前記第一の値をこの記述子に特
有のものにする前記計算機読取り可能プログラムコード手段が意味力を有する前
記第一の値を前記第一記述子に手動で割当てる計算機読取り可能プログラムコー
ド手段を含む請求項９７に記載の製品。
【請求項９９】前記第一記述子を作成し、前記第一の値をこの記述子に特
有のものにする前記計算機読取り可能プログラムコード手段が前記第一動画像セ
グメントと前記少なくとも一つの他の動画像セグメントとに対応する前記少なく
とも一つの他の記述子を自動的に抽出する計算機読取り可能プログラムコード手
段を含む請求項９８に記載の製品。