JP4103193B2

JP4103193B2 - Editing system and editing method

Info

Publication number: JP4103193B2
Application number: JP26368998A
Authority: JP
Inventors: 敦今井; 且明守分; 健志河村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-09-17
Filing date: 1998-09-17
Publication date: 2008-06-18
Anticipated expiration: 2018-09-17
Also published as: JP2000100130A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像と画像を合成し、それに特殊効果等を施して編集処理を行う編集システム及び編集方法に関する。
【０００２】
【従来の技術】
近年、ビデオカメラから得られたビデオデータを編集するポストプロダクションの分野においては、素材のデータを記録する記録媒体としてディスクを使用したノンリニア編集システムがある。このノンリニア編集システムにおいて行われる編集処理としては、さまざまな種類の編集処理がある。例えば、複数の素材をつなぎ合わせて所望のビデオプログラムを作成するためのビデオ編集処理や、キー信号によって複数の素材を合成するための合成処理や、素材に対して特殊効果処理を施す特殊効果処理等が存在する。一般に、このビデオ編集処理は編集装置で行われ、合成処理はビデオスイッチャで行われ、特殊効果処理は特殊効果装置において行われる。
【０００３】
今日、ディスク状記録媒体のランダムアクセス性の向上によって、複数チャンネルのビデオデータに対して同時にアクセスできるようになり、この結果、複数チャンネルのビデオデータをリアルタイムで処理する編集システムが要望されるようになってきた。例えば、テレビジョン放送のコマーシャル作成用の編集業界や映画プログラム作成用の編集業界等では、数十から数百の素材を使用して編集処理を行うと共に、異なる種類の編集処理を組み合わせて使用することが要望されている。さらに、これらの複数種類の編集処理を何度も繰り返し行うことによって高度でかつ複雑な編集結果データを生成することが要求されてきた。
【０００４】
かかる編集処理を実現するために、編集処理の内容を多層からなるレイヤ構造で示すタイムラインを使った編集システムが提案されている。
【０００５】
かかる編集システムは、モニタに上記タイムラインを表示することによって編集処理の内容をユーザに対して視覚的に分かりやすいように示すと共に、マウス等のポインティングデバイスを使って編集処理も容易に行うことができるようにしている。
【０００６】
【発明が解決しようとする課題】
このような従来からの編集システムでは、編集処理の内容が複雑になるのに従ってその処理内容を把握することが困難になるものの、タイムラインを完成させなければ編集処理内容を確認することができなかった。換言すると、タイムラインが完成する前には編集中の処理内容について確認することができなかった。
【０００７】
したがって、編集処理の結果に問題があった場合は、タイムラインの構成を何度も組み替える必要があり、編集操作が非常に不便であった。
【０００８】
本発明は、このような実情に鑑みて提案されたものであり、編集処理中の結果を容易に確認することができる編集システム及び編集方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述の課題を解決するために、本発明は、複数の編集単位となるクリップを編集して編集処理済みの結果クリップを生成する編集システムにおいて、時間を管理しながらクリップに所定処理を施すクリップ処理層を複数有するクリップ処理手段と、上記各クリップ処理層にそれぞれ対応する複数のオブジェクトを有し、上記各オブジェクトをそれぞれ接続して１つの階層構造を形成することで上記各クリップ処理層の階層を決定する階層決定手段と、オブジェクトを指示する指示手段と、上記クリップ処理手段による処理内容をタイムラインとして表示手段に表示させ、上記階層決定手段により形成される階層構造をオブジェクト間で結線することによって上記表示手段に表示させる表示制御手段とを備え、上記表示制御手段は、タイムラインの各レイヤに対して少なくとも素材クリップ・合成処理・出力のそれぞれに対応する各オブジェクトの１つを設定し、タイムラインのレイヤ単位に各オブジェクトを位置させて上記表示手段に表示させ、上記指示手段により指示されるオブジェクト及びそのオブジェクトの色を変えて上記表示手段に表示させ、上記クリップ処理手段は、一のクリップ処理層による所定処理済みのクリップを当該一のクリップ層よりも上位の階層にあるクリップ処理層に所定処理を行わせると共に、上記指示手段により指示されるオブジェクトに対応するクリップ処理層の処理内容を中間結果として出力することを特徴とする。
【００１０】
また、本発明は、複数の編集単位となるクリップを編集して編集処理済みの結果クリップを生成する編集方法において、複数のクリップ処理層が時間を管理しながらクリップに所定処理を施すクリップ処理ステップと、上記各クリップ処理層にそれぞれ対応する複数のオブジェクトを有し、上記各オブジェクトをそれぞれ接続して１つの階層構造を形成することで上記各クリップ処理層の階層を決定する階層決定ステップと、上記クリップ処理ステップにおける処理内容をタイムラインとして表示手段に表示させ、上記階層決定ステップにおいて形成される階層構造をオブジェクト間で結線することによって上記表示手段に表示させる表示制御ステップとを有し、上記表示制御ステップでは、タイムラインの各レイヤに対して少なくとも素材クリップ・合成処理・出力のそれぞれに対応する各オブジェクトの１つを設定し、タイムラインのレイヤ単位に各オブジェクトを位置させて上記表示手段に表示させ、上記指示手段により指示されるオブジェクト及びそのオブジェクトの色を変えて上記表示手段に表示させ、上記クリップ処理ステップでは、一のクリップ処理層による所定処理済みのクリップを当該一のクリップ層よりも上位の階層にあるクリップ処理層に所定処理を行わせると共に、指示手段により指示されるオブジェクトに対応するクリップ処理層の処理内容を中間結果として出力することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１２】
１．編集システムの全体構成
本発明は、例えば図１に示す構成の編集システム１に適用される。編集システム１は、当該システム全体をコントロールするワークステーション２を備えている。ワークステーション２は、ＣＰＵ（中央処理ユニット）や各種処理回路、或いはフロッピーディスクドライブやハードディスクドライブ等を備える本体２Ａと、当該本体２Ａに接続されるディスプレイ２Ｂ、キーボード２Ｃ、マウス２Ｄ及びペン・タブレット２Ｅとを有している。このようなワークステーション２は、編集のためのアプリケーション・ソフトウェアがハードディスクドライブに予めインストールされており、オペレーティングシステムの基で当該アプリケーション・ソフトウェアを動作させることにより編集用のコンピュータとして起動する。
【００１３】
このアプリケーション・ソフトウェアを動作させたときには、ディスプレイ２Ｂ上にＧＵＩ（グラフィカル・ユーザ・インターフェイス）のためのグラフィック表示が表示されるようになされており、上述したペン・タブレット２Ｅやマウス２Ｄを使用して、当該ディスプレイ２Ｂに表示される所望のグラフィック表示を選択すれば、所望の編集コマンドをこのワークステーション２に対して入力し得る。また編集に係わる各種数値データ等も、キーボード２Ｃを介してこのワークステーション２に対して入力し得る。
【００１４】
なお、このワークステーション２は、編集コマンドや各種数値データがユーザの操作により入力されると、その編集コマンドや各種数値データに応じた制御データを後述するデバイスコントローラ３に出力するようになされており、これによりデバイスコントローラ３を介してこの編集システム１を構成する各機器を制御し得る。但し、ビデオディスクレコーダ５に関しては、デバイスコントローラ３を介さずとも、一部の機能を直接制御することができる。
【００１５】
またこのワークステーション２には、そのデバイスコントローラ３を介してビデオデータが入力され、編集素材の画像や編集後の画像等をディスプレイ２Ｂに表示し得る。
【００１６】
デバイスコントローラ３は、ワークステーション２からの制御データを受けて、実際に各機器を制御する制御装置である。このデバイスコントローラ３に対しては、ダイアル操作子やスライド操作子等を有した専用コントローラ４が接続されており、これによりこの編集システム１ではワークステーション２のキーボード２Ｃやマウス２Ｄ或いはペン・タブレット２Ｅでは入力し得ないような漸次変化する制御データも入力し得る。
【００１７】
デバイスコントローラ３は、ワークステーション２や専用コントローラ４からの制御データを受け、その制御データに対応する機器を制御する。例えばビデオディスクレコーダ５に対しては、デバイスコントローラ３は、素材の再生や編集後の素材の記録を指示する。この指示を受けたビデオディスクレコーダ５は、その指示に応じて、内部のディスク状記録媒体に記録されている所望素材のビデオデータやオーディオデータを再生して出力したり、或いは編集されたビデオデータやオーディオデータを当該ディスク状記録媒体に記録する。
【００１８】
同様に、ビデオテープレコーダ（ＶＴＲ）６に対しても、デバイスコントローラ３は、素材の再生を指示する。この指示を受けたビデオテープレコーダ６は、その指示に応じて、内部のビデオテープに記録されている所望素材のビデオデータやオーディオデータを再生して出力する。なお、この編集システム１の場合には、ビデオテープレコーダ６に記録されているビデオデータは一旦ビデオディスクレコーダ５にダウンロードされてから素材のビデオデータとして扱われる。
【００１９】
デバイスコントローラ３は、スイッチャ７に対しては、ビデオディスクレコーダ５、ビデオテープレコーダ６又はビデオカメラ８から出力されるビデオデータの選択を指示する。この指示を受けたスイッチャ７は、その指示に応じて、入力される所望素材のビデオデータを選択してディジタルマルチエフェクタ９に出力したり、デバイスコントローラ３を介してワークステーション２に出力したり、或いは入力される所望素材のビデオデータを順次選択してつなぎ合わせたり、編集したビデオデータをモニタ１０に出力して表示させたり、その編集したビデオデータをビデオディスクレコーダ５に戻して記録させたりする。
【００２０】
デバイスコントローラ３は、ディジタルマルチエフェクタ９に対しては、各種エフェクト処理を指示する。この指示を受けたディジタルマルチエフェクタ９は、その指示に応じて、入力される所望素材のビデオデータに対して、モザイク処理や３次元的な画像変換処理等の特殊効果処理やトランジションエフェクト等のエフェクト処理、或いは画像合成処理等を施し、その結果得られるビデオデータを再びスイッチャ７に戻してワークステーション２やモニタ１０或いはビデオディスクレコーダ５等に出力する。
【００２１】
デバイスコントローラ３は、オーディオミキサ１１に対しては、ビデオディスクレコーダ５やビデオテープレコーダ６から出力されるオーディオデータの編集を指示する。オーディオミキサ１１は、その指示に応じて、所望のオーディオ素材を合成処理（ミキシング）し、その合成処理されたオーディオデータを再びビデオディスクレコーダ５に戻して記録させる。
【００２２】
かくしてこのような構成を有する編集システム１では、ワークステーション２を介して所望の編集コマンドを入力することにより、ビデオディスクレコーダ５やビデオテープレコーダ６に記録されている多種多様な複数の素材のビデオデータを使用して、高度でかつ複雑な所望のビデオデータを容易に作成することができる。これにより従来のようにユーザが編集システムを構成する各機器を直接操作しなくても、ワークステーション２を操作するだけで各種編集を行うことができる。
【００２３】
２．ワークステーションの構成
この項では、編集システム１の中心的存在であるワークステーション２の構成について説明する。図２に示すように、ワークステーション２は、コマンドデータやビデオデータを伝送するためのシステムバス２０、ワークステーション２の全体を制御するＣＰＵ２１、デバイスコントローラ３より供給されるビデオデータＳ１に対して画像処理等を行うビデオプロセッサ２２、ディスプレイ２Ｂに表示されるビデオデータやＧＵＩのためのグラフィック表示を管理する表示コントローラ２３、ローカルハードディスクドライブ（ローカルＨＤＤ）２４Ａを制御するためのＨＤＤインターフェイス２４、フロッピー（登録商標）ディスクドライブ（ＦＤＤ）２５Ａを制御するためのＦＤＤインターフェイス２５、キーボード２Ｃ、マウス２Ｄ及びペン、タブレット２Ｅ等のポインティングデバイスからのコマンドに基づいて制御コマンドを生成するポインティングデバイスインターフェイス２６、デバイスコントローラ３に対して制御データＳ２を送出するためのソフトウェアドライバを備えた外部インターフェイス２７を有している。
【００２４】
システムバス２０は、ワークステーション２内部でビデオデータやコマンドデータ、或いはアドレスデータ等の伝送を行うためのバスであり、ビデオデータを伝送するための画像データバス２０Ａと、コマンドデータやアドレスデータを伝送するためのコマンドデータバス２０Ｂとからなる。
【００２５】
画像データバス２０Ａには、ＣＰＵ２１、ビデオプロセッサ２２、表示コントローラ２３、ＨＤＤインターフェイス２４及びＦＤＤインターフェイス２５がそれぞれ接続されている。当該ＣＰＵ２１、ビデオプロセッサ２２、表示コントローラ２３、ＨＤＤインターフェイス２４及びＦＤＤインターフェイス２５はこの画像データバス２０Ａを介してビデオデータの伝送を行う。
【００２６】
一方、コマンドデータバス２０Ｂには、ＣＰＵ２１、ビデオプロセッサ２２、表示コントローラ２３、ＨＤＤインターフェイス２４、ＦＤＤインターフェイス２５、ポインティングデバイスインターフェイス２６及び外部インターフェイス２７がそれぞれ接続されており（すなわちワークステーション２内部の全てのブロックが接続されている）、当該コマンドデータバス２０Ｂを介してコマンドデータやアドレスデータの伝送を行う。
【００２７】
ＣＰＵ２１は、ワークステーション２全体の制御を行うブロックであり、ワークステーション２のオペレーティングシステムが格納されているＲＯＭ２１Ａと、アップロードされたアプリケーション・ソフトウェアやデータベース等が格納されるＲＡＭ２１Ｂとを有している。ワークステーション２を起動する場合には、ＣＰＵ２１はＲＯＭ２１Ａに記憶されているオペレーティングシステムに基づいて動作することにより起動する。またアプリケーション・ソフトウェアをこの起動中のオペレーティングシステムの下で起動する場合には、ＣＰＵ２１はまずハードディスクドライブ２４Ａのハードディスクに記録されているアプリケーション・ソフトウェアを読み出してＲＡＭ２１Ｂにアップロードし、その後、当該アプリケーション・ソフトウェアを実行して起動する。
【００２８】
なお、アプリケーション・ソフトウェアは機能毎に分割されてモジュール化されており、後述するように大きく分けて、素材のつなぎ合わせ等を行うための編集モジュールと、素材の重ね合わせ等といった合成処理を行うための合成モジュールと、素材の３次元的な画像変換等といった特殊効果処理を行うための特殊効果モジュールと、これらモジュールの起動やモジュール間のデータの受け渡し等を管理する制御モジュールとによって構成されている。すなわちこのシステムの場合には、アプリケーション・ソフトウェアを起動したときには、まず制御モジュールが起動し、ユーザより編集指示が入力されると、その制御モジュールの管理の下で対応するモジュール（編集モジュール、合成モジュール又は特殊効果モジュール）を適宜起動して、ユーザより指示された編集を行う。
【００２９】
ビデオプロセッサ２２は、ワークステーション２に入力されるＳＤＩ（Serial Digital Interface）規格のビデオデータＳ１を受け取り、当該ビデオデータＳ１に対してデータ変換を施すと共に、その変換されたビデオデータを一時的にバッファリングするためのブロックである。具体的には、ビデオプロセッサ２２は、当該ビデオプロセッサ２２の全体を制御するプロセッサコントローラ２２Ａと、受け取ったビデオデータＳ１のペイロード部からコンポジットビデオ信号を抽出し、かつ当該コンポジットビデオ信号をディジタルのコンポーネントビデオデータに変換するデータ変換部２２Ｂと、データ変換部２２Ｂから送出される数フレーム分のビデオデータを一時的に記憶するフレームメモリ２２Ｃとによって構成される。
【００３０】
プロセッサコントローラ２２Ａは、データ変換部２２Ｂに対して制御信号を送出することにより当該データ変換蔀２２Ｂのデータ変換動作を制御すると共に、当該データ変換部２２ＢにビデオデータＳｌからタイムコードを抽出させる。またプロセッサコントローラ２２Ａは、フレームメモリ２２Ｃに対して制御信号を送出することにより当該フレームメモリ２２Ｃのリード／ライトタイミング及びリード／ライトアドレスを制御する。なお、リードタイミングに関しては、プロセッサコントローラ２２Ａは、表示コントローラ２３に送出するタイムコードとビデオデータ（フレームデータ）とが対応するようにフレームメモリ２２Ｃのリードタイミングを制御する。
【００３１】
データ変換部２２Ｂは、プロセッサコントローラ２２Ａからの制御信号に基づいてコンポジットビデオ信号をディジタルのコンポーネントビデオデータに変換する。なお、タイムコードはこの変換過程において抽出される。この変換により得られたビデオデータは上述したようにフレームメモリ２２Ｃに送出され、また抽出されたタイムコードはプロセッサコントローラ２２Ａに送出される。
【００３２】
フレームメモリ２２Ｃは、データ変換部２２Ｂから供給されるビデオデータを一時的に記憶する。このフレームメモリ２２Ｃのリード／ライトタイミングは、上述したようにプロセッサコントローラ２２Ａによって制御される。このフレームメモリ２２Ｃは少なくとも２個のフレームメモリから構成され、少なくとも２フレーム分のビデオデータを記憶し得る。
【００３３】
このフレームメモリ２２Ｃに記憶されたビデオデータは、プロセッサコントローラ２２Ａの読み出し制御に基づいて読み出される。その際、フレームメモリ２２Ｃに記憶されたビデオデータの全画素を読み出すのではなく、所定の間隔で間引いて読み出すことにより画像サイズを原画像よりも小さくする。このようにして画像サイズが小さく変換されたビデオデータは、素材又は編集結果の確認用としてディスプレイ２Ｂの所定表示エリアに表示されるため、画像データバス２０Ａを介して表示コントローラ２３に送出される。
【００３４】
表示コントローラ２３は、ディスプレイ２Ｂに表示されるデータを制御するための制御ブロックである。表示コントローラ２３はメモリコントローラ２３ＡとＶＲＡＭ（ビデオ・ランダム・アクセス・メモリ）２３Ｂとを有している。メモリコントローラ２３Ａはワークステーション２の内部同期に従ってＶＲＡＭ２３Ｂのリード／ライトタイミングを制御する。このＶＲＡＭ２３Ｂには、ビデオプロセッサ２２のフレームメモリ２２Ｃから送出されたビデオデータ及びＣＰＵ２１によって生成されるイメージデータが、メモリコントローラ２３Ａからのタイミング制御信号に基づいて記憶される。このＶＲＡＭ２３Ｂに記憶されたビデオデータやイメージデータは、ワークステーション２の内部同期に基づいたメモリコントローラ２３Ａからのタイミング制御信号に基づいて読み出され、ディスプレイ２Ｂに表示される。
【００３５】
この場合、イメージデータによるグラフィック表示がＧＵＩのためのグラフィック表示となる。なお、ＣＰＵ２１からＶＲＡＭ２３Ｂに送出さるイメージデータは、例えばウィンドウやカーソル、或いはスクロールバーやデバイスを示すアイコン等のイメージデータである。
【００３６】
かくしてこのワークステーション２においては、これらのイメージデータやビデオデータをディスプレイ２Ｂに表示することにより、当該ディスプレイ２Ｂにユーザ操作のためのＧＵＩや素材又は編集結果の画像を表示する。ＨＤＤインターフェイス２４は、ワークステーション２内部に設けられたローカルハードディスクドライブ２４Ａと通信するためのインターフェイスブロックである。このＨＤＤインターフェイス２４とハードディスクドライブ２４Ａとは、ＳＣＳｌ（ Small Computer System Interface）の伝送フォーマットに基づいて通信を行う。
【００３７】
ハードディスクドライブ２４Ａには、このワークステーション２で起動するアプリケーション・ソフトウェアがインストールされており、当該アプリケーション・ソフトウェアを実行する場合には、このハードディスクドライブ２４Ａから読み出されてＣＰＵ２１のＲＡＭ２１Ｂにアップロードされる。またこのアプリケーション・ソフトウェアを終了する際には、ＲＡＭ２１Ｂに記憶されている編集オペレーションによって生成された各種情報（例えば編集素材に関するデータベースの情報等）は、このハードディスクドライブ２４Ａを介してハードディスクにダウンロードされる。
【００３８】
ＦＤＤインターフェイス２５は、ワークステーション２内部に設けられたフロッピーディスクドライブ２５Ａと通信するためのインターフェイスブロックである。このＦＤＤインターフェイス２５とフロッピーディスクドライブ２５Ａとは、ＳＣＳＩの伝送フォーマットに基づいて通信を行う。
【００３９】
ポインティングデバイスインターフェイス２６は、ワークステーション２に接続されたキーボード２Ｃ、マウス２Ｄ及びペン・タブレット２Ｅからの情報を受信するインターフェイスブロックである。ポインティングデバイスインターフェイス２６はキーボード２Ｃに設けられたボタンからの入力情報を受け取り、受け取った入力情報をデコードしてＣＰＵ２１に送出する。同様に、ポインティングデバイスインターフェイス２６は、マウス２Ｄに設けられた２次元ロータリーエンコーダの検出情報と、マウス２Ｄに設けられた左右のボタンのクリック情報（すなわちボタン押下による選択指定情報）とを当該マウス２Ｄから受け取り、受け取ったそれらの情報をデコードしてＣＩＰＵ２１に送出する。同様に、ポインティングデバイスインターフェイス２６は、ペン・タブレット２Ｅからの２次元の位置データを受け取り、受け取ったその位置データをデコードしてＣＰＵ２１に送出する。このようなポインティングデバイスインターフェイス２６からの情報に基づいて、ＣＰＵ２１は、ディスプレイ２Ｂに表示されるＧＵＩのうちいずれのコマンドボタンが指示されたか認識し得ると共に、キーボード２Ｃより入力された各種データを認識し得、それらに対応する制御を行うことができる。
【００４０】
外部インターフェイス２７は、ワークステーション２の外部に接続されたデバイスコントローラ３と通信するためのブロックである。外部インターフェイス２７はＣＰＵ２１で生成された再生コマンドや記録コマンド等の各種制御コマンドを所定の通信プロトコルのデータに変換するドライバを有しており、当該ドライバを介して制御コマンドデータＳ２をデバイスコントローラ３に送出する。
【００４１】
３．編集システムにおける編集の原理
この項では、編集システム１における編集の原理について以下に順を追って説明する。
【００４２】
（３−１）編集用のアプリケーション・ソフトウェアの基本構成
まず始めにこの項では、ワークステーション２において用意されている編集用のアプリケーション・ソフトウェアの基本構成について説明する。図３に示すように、この編集システム１においては、機能毎にモジュール化された編集用のアプリケーション・ソフトウェアがワークステーション２に用意されている。このモジュール化されたアプリケーション・ソフトウェアは、大きく分けて、素材のつなぎ合わせ処理等の編集処理を行う編集モジュールＥＭと、素材の重ね合わせ処理等の合成処理を行う合成モジュールＣＭと、素材に対する特殊効果処理を行う特殊効果モジュールＳＭと、これら機能毎にモジュール化された編集モジュールＥＭ、合成モジュールＣＭ及び特殊効果モジュールＳＭの起動等を管理する制御モジュールＣＮＴＭとによって構成される。このような構成を有するアプリケーション・ソフトウェアは、ハードディスクドライブ２４ＡからＲＡＭ２１Ｂにアップロードされると、まず制御モジュールＣＮＴＭが起動し、その制御モジュールＣＮＴＭの管理の下で、各モジュールＥＭ、ＣＭ及びＳＭがそれぞれユーザからの指示に応じて適宜起動する。
【００４３】
クリップデータベースＣＤＢは、ビデオディスクレコーダ５及びＲＡＭ２１Ｂによって構成され、素材のビデオデータや編集に関する各種データを記憶している。各モジュールＥＭ、ＣＭ及びＳＭは、ユーザより指定された素材をクリップデータベースＣＤＢから読み出し、上述したスイッチャ７やディジタルマルチエフェクタ９等のハードウェアを使用しながら、その素材に対してユーザの指示に応じた編集を行い、その結果得られる編集された後の素材をクリップデータベースＣＤＢに登録する。また各モジュールＥＭ、ＣＭ及びＳＭは、編集に使用した各種パラメータ等の編集に関するデータもクリップデータベースＣＤＢに登録する。なお、クリップデータベースＣＤＢとしては、主に素材のビデオデータをビデオディスクレコーダ５に記憶し、編集に関する各種データをＲＡＭ２１Ｂに記憶する。
【００４４】
（３−２）クリップの定義
本発明による編集システム１では各素材はクリップと呼ばれる単位で扱われる。この項では、このクリップについて定義する。本発明による編集システム１では、ビデオ動画データの１シーケンスをクリップビデオデータと定義し、そのクリップビデオデータがどのようにして生成されたものであるか管理するデータをクリップ管理データと定義し、さらにこれらのクリップビデオデータとクリップ管理データからなるデータをクリップと定義する。また本発明による編集システム１では、ソースビデオデータから単に切り出すことにより生成された素材を素材クリップ（ＭＣ：Material Clip）と呼び、その素材クリップを編集することにより生成された素材を結果クリップ（ＦＣ：Fat Clip）と呼ぶ。
【００４５】
本発明による編集システム１では、素材クリップＭＣや結果クリップＦＣからなる複数のクリップを、クリップ間の関係に基づいた階層構造によって管理する。この様子を図４に示す例を参照しながら、以下に説明する。
【００４６】
図４に示す例では、結果クリップＦＣ−００８は、素材クリップＭＣ−００１、素材クリップＭＣ−００２及び素材クリップＭＣ−００３の３つの素材クリップを合成することによって生成されたクリップである。すなわち、結果クリップＦＣ−００８と、素材クリップＭＣ−００１、素材クリップＭＣ−００２及び素材クリップＭＣ−００３との関係は、上下関係になっている。このような上下関係にある場合、素材クリップＭＣ−００１、素材クリップＭＣ−００２及び素材クリップＭＣ−００３は結果クリップＦＣ−００８の配下にあることからそれぞれ下位クリップと呼ばれ、逆に結果クリップＦＣ−００８はこれら下位クリップを統括して生成されたものであることから上位クリップと呼ばれる。
【００４７】
同様に、結果クリップＦＣ−００９は、素材クリップＭＣ−００４に対して特殊効果を施すことによって生成されたクリップである。このため素材クリップＭＣ−００４は結果クリップＦＣ−００９の下位クリップとなり、逆に結果クリップＦＣ−００９は素材クリップＭＣ−００４の上位クリップとなる。
【００４８】
結果クリップＦＣ−０１０は、結果クリップＦＣ−００８と結果クリップＦＣ−００９とを編集する（この場合、例えばワイプ等によってつなぎ合わせる）ことによって生成された結果クリップである。このため結果クリップＦＣ−００８及び結果クリップＦＣ−００９はそれぞれ結果クリップＦＣ−０１０の下位クリップとなり、結果クリップＦＣ−０１０は結果クリップＦＣ−００８及び結果クリップＦＣ−００９の上位クリップとなる。
【００４９】
このように各クリップ間には上下関係があり、この編集システム１では、クリップデータベースＣＤＢにおいてこのクリップ間の上下関係を基に当該クリップを階層構造で管理する。なお、何ら編集処理に使用されない素材クリップは他のクリップと関係し合っていないが、そのような素材クリップはリンク先がないものとして管理される。またここで示した例は、あくまで一例であってクリップ間の上下関係としてはその他の組み合わせも当然存在する。
【００５０】
（３−３）合成処理の概念
続いてこの項では、合成モジュールＣＭで行う合成処理の概念について説明する。図４に示した結果クリップＦＣ−００８のビデオイメージは、素材クリップＭＣ−００１、素材クリップＭＣ−００２及び素材クリップＭＣ−００３のビデオイメージを合成処理（すなわちコンポジット処理）することによって生成される。この合成処理の概念を図５及び図６に示す。図５は、３つの素材クリップＭＣ−００１、ＭＣ−００２及びＭＣ−００３のビデオイメージを合成する様子を示しており、図６は、合成処理によって生成される結果クリップＦＣ−００８のビデオイメージを表している。
【００５１】
本発明による編集システム１においては、複数のクリップの合成を行う場合、各クリップを１つのレイヤ（層）とみなし、そのレイヤを重ねることにより合成処理を行う。図５に示す例では、第１のレイヤＬ１として素材クリップＭＣ−００３を指定し、第２のレイヤＬ２として素材クリップＭＣ−００２を指定し、第３のレイヤＬ３として素材クリップＭＣ−００１を指定している。各レイヤＬ１、Ｌ２及びＬ３に割り当てられた素材クリップを合成する場合には、レイヤＬ１を最下層としてその上に順次各レイヤＬ２、Ｌ３を重ねて行くことにより行われる。すなわち第１のレイヤＬ１として指定された素材クリップＭＣ−００３のビデオイメージ（例えば背景を表すイメージ）の上に、第２のレイヤＬ２として指定された素材クリップＭＣ−００２のビデオイメージ（例えば人物を表すイメージ）を重ね合わせて合成し、さらにその合成したビデオイメージの上に第３のレイヤＬ３として指定された素材クリップＭＣ−００１のビデオイメージ（例えばキャラクタを表すイメージ）を重ね合わせて合成する。このような合成処理により、図６に示すような３つの素材が重なり合ったようなビデオイメージの結果クリップＦＣ−００８を生成することができる。
【００５２】
なお、この図５に示す例では、３つのレイヤＬ１〜Ｌ３にそれぞれ割り当てられた素材クリツブＭＣ−００３、ＭＣ−００２及びＭＣ−００１を合成する例を示したが、本発明による編集システム１では、レイヤの数は特に限定されるものではない。
【００５３】
４．ＧＵＩ表示
各モジュールを起動したときにワークステーション２のディスプレイ２Ｂに表示されるＧＵＩ画面について説明する。
【００５４】
（４−１）メインウィンドウの構成
ディスプレイ２Ｂには、図７に示すように、メインウィンドウ３０が表示される。
上記メインウィンドウ３０は、編集に必要な機能をメニュー表示したメニュー（Menu）ウィンドウ３１と、使用頻度の高い機能のメニューのみを表示したツールバー（Tool Bar）ウィンドウ３２と、ビンツリー（Bin Tree）ウィンドウ３３を有し、さらに、必要に応じて、ビン（Bin）ウィンドウ３４，ランコントロール（Run Control）ウィンドウ３５，素材クリップＭＣ等の画像を編集前にプレビューして確認するためのプレビュー（Preview）ウィンドウ３６，結果クリップＦＣを作成するためのエディッタ（Editor）ウィンドウ４０とを有する。
【００５５】
メニューウィンドウ３１は、画像の編集処理に必要な全ての機能のメニューを有し、例えば新規に結果クリップＦＣを作成するためのニュー（New）メニュー、作成終了した結果クリップＦＣに名前を付けて保存するためのセイブ（Save）メニュー、中間結果を生成するためのインターリム・メイク（Interim Make）メニュー等を有する。
【００５６】
ビンツリーウィンドウ３３は、ビンウィンドウ３４の中に入っている素材クリップＭＣ，結果クリップＦＣ等がどのような場所に入っているかをツリー構造によって示すものである。
【００５７】
ビンウィンドウ３４の中には、カット編集等に使用される様々な画像の素材クリップＭＣ、既にある程度編集された結果クリップＦＣ、画像を加工処理等するためのオブジェクトが入っている。
【００５８】
ランコントロールウィンドウ３５は、現在の再生時刻であるカレントタイムを示す後述するカレントバーの位置を移動させるものである。なお、この詳細な説明については後述する。
【００５９】
プレビューウィンドウ３６は、図示しないプレビューボタン、ビューボタン、オールプレビューボタン又はオールビューボタンを操作したときに、素材クリップＭＣ又は結果クリップＦＣのビデオデータによる画像を表示するエリアである。このような表示エリアを設けたことにより、編集作業をしながら素材クリップＭＣ又は編集の結果生成された結果クリップＦＣのビデオイメージを確認することができる。
【００６０】
（４−２）エディッタウィンドウの構成
エディッタウィンドウ４０は、結果クリップＦＣを取り扱う、換言すると結果クリップを生成するものである。エディッタウィンドウ４０は、図８に示すように、現在の時刻等を表示するカレントタイム（Current Time）エリア４１、編集開始点や編集終了点の時刻を表示するインアウトタイム（In Out Time）エリア４２、スケールセレクト（Scale Select）エリア４３、コ・タイムライン（Co Timeline）４４、タイムスケール（Time Scale）エリア４５、各オブジェクトの時間的位置を表示編集するタイムライン（Time Line）４６、データの流れを示すオブジェクトが表示されるオブジェクト（Object）エリア４７とを有する。
【００６１】
カレントタイムエリア４１には、現在の時刻であるカレントタイム（例えば「00:00:01:02」：０時間０分１秒２フレーム）が表示される。なお、このカレントタイムは、タイムライン４６上でカレントタイムバー５１が位置する時刻である。カレントタイムバー５１の位置は、上述したランコントロールウィンドウ３５を用いて変更することができる。
【００６２】
ランコントロールウィンドウ３５は、図９に示すように、１０個のＧＵＩ表示されたボタンによって構成される。各ボタンは、それぞれクリックされることによって以下のようにカレントバーの位置を移動させる機能を有する。
【００６３】
トップ（Top）ボタン２０１は、先頭の結果クリップＦＣにカレントタイムバー５１を移動させる。プレビアス・キーフレーム（Previous KF）ボタン２０２は、現在のカレントタイムバー５１が示す時刻の直前のキーフレームＫＦに、カレントタイムバー５１を移動させる。プレビアス・フレーム（Previous Frame）ボタン２０３は、現在のカレントタイムバー５１が示す時刻の直前のフレームにカレントタイムバー５１を移動させる。ストップボタン２０４は、即時にカレントタイムバー５１の動きを停止させる。ラン（Run）ボタン２０５は、１倍速でカレントタイムバー５１を動かす。ネクストフレーム（Next Frame）ボタン２０６は、現在のカレントタイムバー５１が示す時刻の直後のフレームにカレントタイムバー５１を移動させる。ネクストキーフレーム（Next KF）ボタン２０７は、現在のカレントタイムバー５１が示す時刻の直後のキーフレームにカレントタイムバー５１を移動させる。ゴーツー（Goto）ボタン２０８は、指定されるキーフレーム番号のキーフレームＫＦ、又は指定される時刻にカレントタイムバー５１を移動させる。エンド（End）ボタン２０９は、最後の結果クリップＦＣの終わりの部分にカレントタイムバー５１を移動させる。クリエイト・キーフレーム（Create KF）ボタン２１０は、現在のカレントタイムバー５１が示す位置（時刻）に新しいキーフレームＫＦを作成する。これにより、クリップの制御とキーフレームＫＦに関連する制御を行うことができる。
【００６４】
インアウトタイムエリア４２は、編集開始点たるイン点の時刻（例えば「00:00:01:02」）と、編集終了点たるアウト点の時刻（例えば「00:00:01:22」）が表示される。イン点とアウト点は、選択状態すなわち編集処理の対象となっている素材クリップＭＣ又は結果クリップＦＣの先頭と終点を示す。なお、タイムライン４６上の各レイヤＬにおいて、イン点からアウト点までの範囲を「セル」という。
【００６５】
スケールセレクトエリア４３は、タイムライン４６の時間方向の大きさ（スケール）を設定するものであり、図８に示すように、タイムライン４６上の１フレームの大きさを設定する「Frame」、１秒間の大きさを設定する「Second」、１分間の大きさを設定する「Min」とがある。「Frame」は、４つのチェックボックスを有し、左から順に、単位時間１フレーム，２フレーム，５フレーム，１０フレームを意味する。「Second」は、５つのチェックボックスを有し、左から順に、単位時間１秒，２秒，５秒，１０秒，２０秒を意味する。「Min」は、４つのチェックボックスを有し、左から順に、単位時間１分，２分，５分，１０分を意味する。
【００６６】
ここで、図１０に示すタイムスケールの表を用いて、単位時間当たりの表示ステップについて説明する。
例えば図８に示すように、「Frame」の単位時間１フレームのチェックボックスがチェックされると、ビデオデータのレイヤＬにはサムネイルピクチャ（Thumbnail Picture）が１フレーム毎に表示され、表示される単位ステップ（Show Time Step）は５フレームになる。サムネイルピクチャとは、画像の素材クリップＭＣがあるレイヤＬに設定されている場合において当該レイヤに表示される簡易画像をいう。例えば図８に示すレイヤＬ３に表示されている画像が該当する。なお、サムネイルピクチャの横対縦の比は４対３であり、例えばタイムライン４６の各レイヤの幅が３０ピクセルの場合には、サムネイルピクチャは４０×３０ピクセルの縮小画像となる。このとき、タイムスケールエリア４５では、「00:00:01:00」の次に「00:00:01:05」が表示されていることから、５フレーム単位で表示されている。同様に図１０によると、例えば「Second」の単位時間２秒のチェックボックスがチェックされると、ビデオデータのレイヤＬにはサムネイルピクチャが６０フレーム毎に表示され、表示される単位ステップは１０秒になる。
【００６７】
コ・タイムライン４４は、タイムライン４６によって指定した編集内容を表示したものである。この場合、タイムライン４６においては、画面の制約上、全ての編集内容を一度に全部表示することができないので、このコ・タイムライン４４においてその編集内容を縮小したグラフィックイメージを表示することにより、全体としてどのような編集内容を指定しているのかを容易に把握し得るようになされている。例えばタイムライン４６においていくつかの素材クリップＭＣを合成するような編集内容を指定した場合には、その編集内容に合わせて、各レイヤに指定されたクリップを示す棒状グラフィックイメージがそれぞれ重なったようなグラフィックイメージがコ・タイムラインに表示される。
【００６８】
これによりユーザはこの表示を見て、指定されている編集内容の全貌を把握し得ると共に、その内容がいくつかのクリップの合成処理であることを容易に把握し得る。
【００６９】
タイムスケールエリア４５には、プレビューエリア４５ａとインアウトエリア４５ｂとがあり、上述した単位ステップ当たりの時間が表示される。プレビューエリア４５ａには、図示しないプレビューボタンを操作したとき、プレビューの対象画像のビデオデータの範囲を示す青色のバーが表示される。インアウトエリア４５ｂには、編集開始点から編集終了点までの範囲を示す黄色のバーが表示される。
【００７０】
タイムライン４６は、合成処理を行う編集対象のクリップを各レイヤに対して指定するためのエリアである。この編集システム１においては、その１つ１つに合成処理の素材となるクリップを指定することができる。なお、このタイムライン４６としては表示範囲が限られており、一度に全てのレイヤＬを表示することができない。しかしながらこのタイムライン４６の右端に表示されているスクロールボタンを操作することにより、タイムライン４６を上下方向にスクロールさせることができるので、これによって所望のレイヤを表示させることができるようになっている。このタイムライン４６においては、各レイヤの１つ１つに合成処理の素材となるクリップが対応する。
【００７１】
オブジェクトエリア４７には、タイムライン４６を構成する各レイヤの接続状態を示すオブジェクト５２が表示される。各オブジェクト５２は、各レイヤに対応して１つずつ存在する。
【００７２】
このオブジェクト５２は、ビンウィンドウ３４からドラッグ・アンド・ドロップによりオブジェクトエリア４７に貼り付けられる。オブジェクト５２は、垂直方向においてはタイムライン４６の行単位（各レイヤ単位）に位置し、水平方向においては自由に位置することができる。
【００７３】
５．操作方法
（５−１）エディッタウィンドウの起動
図７に示すビンウィンドウ３４には、上述したように、複数の素材クリップＭＣや結果クリップＦＣが入っている。ユーザが結果クリップＦＣをダブルクリックすると、当該結果クリップＦＣを編集するためのエディッタウィンドウ４０が表示される。また、タイムライン４６の各レイヤ上のいずれかのセル（クリップ）をダブルクリックしても、当該クリップを編集するためのエディッタウィンドウ４０が表示される。
【００７４】
なお、新たに結果クリップＦＣを生成する場合は、ビンウィンドウ３４に空の結果クリップＦＣを予め作成しておく必要がある。以下の説明では、空の結果クリップＦＣのエディッタウィンドウ４０を用いて、結果クリップＦＣの実体を作成する場合について説明する。
【００７５】
（５−２）タイムラインの作成
上記エディッタウィンドウ４０が起動すると、上述の図７に示すように、空のタイムライン４６及びオブジェクトエリア４７が表示される。
【００７６】
ユーザは、ビンウィンドウ３４の中から所望の素材クリップＭＣ（又は結果クリップＦＣやオブジェクト等）をクリックすることにより、当該素材クリップＭＣを選択する。このような処理を行うと、素材クリップＭＣのセルが表示される。そして、これをドラッグ・アンド・ドロップにより所望の位置に置けば、その位置にレイヤが形成され、当該レイヤに対して素材クリップＭＣが設定される。なお、素材クリップＭＣは、垂直方向ではレイヤ単位で、水平方向ではフレーム単位で設定される。
【００７７】
また、タイムライン４６にセルを設定した後、当該セルをドラッグして水平方向のみに移動させることもできる。さらに、セルのイン点やアウト点をドラッグ・アンド・ドロップして、その設定位置を変更することもできる。
【００７８】
なお、クリップを示すセルの長さは、そのクリップのデュレーション（クリップの始まりから終わりまでの時間）に対応した長さになっている。また、各セルの中には、クリップ名又はキー処理名を示す文字が表示されるようになされており、これによりどのクリップ又はキー処理が設定された一目で分かるようになっている。
【００７９】
（５−３）オブジェクトの作成
ユーザは、ビンウィンドウ３４の中から所望のオブジェクトをクリックすることにより、当該オブジェクトを選択する。そして、これをドラッグ・アンド・ドロップによりオブジェクトエリア４７の所望の位置に置けば、オブジェクトが設定される。このとき、オブジェクトは、垂直方向においてはレイヤ単位で設定される。すなわち、オブジェクトは、各レイヤの水平線上に設定される。
【００８０】
なお、オブジェクトは、オブジェクトエリア４７に設定された後であっても、ドラッグすることによって移動することができる。かくして、オブジェクトエリア４７に、複数のオブジェクトを設定することができる。
【００８１】
オブジェクトエリア４７に複数のオブジェクトを設定すると、次に、各オブジェクトを結線する必要がある。
【００８２】
ここで、図１１に示すように、オブジェクト５２は、オブジェクトボディ５３に入力用コネクタ５４（５４ａ，５４ｂ）、ビュースイッチ５５（５５ａ，５５ｂ）、出力用コネクタ５６を備え、入力用コネクタ５４にビデオデータ又はパラメータが入力する入力ライン５７（５７ａ，５７ｂ）が接続され、出力用コネクタ５６に出力用ライン５８が接続されて構成される。なお、オブジェクト５２は、各入力用コネクタ５４のうち主要なものを、詳しくは後述するように、主要入力用コネクタとして取り扱っている。
【００８３】
出力用コネクタ５６をクリックすると、当該出力用コネクタ５６を起点とする配線モードに移行する。そして、他のオブジェクト５２の入力用コネクタ５４をクリックすると、これらのコネクタ間で結線され、配線モードが終了する。なお、ここでは、出力用コネクタ５６を起点として結線する場合について説明したが、入力用コネクタ５４を起点とする場合も同様にして結線することができる。
【００８４】
このようにして結線されたオブジェクト５２には、ビデオデータやパラメータ等がオブジェクトボディ５３の下方から入力される。そして、オブジェクト５２は、上記ビデオデータやパラメータ等をオブジェクトボディ５３の右方から出力する。なお、入力用ライン５７及び出力用ライン５８の色は、信号の種類によって異なっている。例えば、ビデオデータ入出力ラインは青色、キーの入出力ラインは赤色、ビデオデータとキーの入出力ラインマゼンダ色、パラメータの入出力ラインは緑色である。
【００８５】
また、例えばビュースイッチ５５ｂをクリックすると、図１２に示すように、入力用コネクタ５４ｂ及びこれに接続している入力用ライン５７ｂが消える。但し、単に、入力用ライン５７ｂが表示されなくなるだけで、入力用ライン５７ｂを介して接続されている他のオブジェクトとの関係がなくなるわけではない。これにより、多くのオブジェクト５２があるときは、ビュースイッチ５５をクリックすることによって、オブジェクト構成を簡易に表示することができる。
【００８６】
図１３は、オブジェクトボディ５３に多くの入力用ライン５７及び出力用ライン５８が接続されているときのオブジェクト５２を示す図である。
上記オブジェクト５２は、図示しない他のオブジェクトと入力用ライン５７ａ〜５７ｃ，５７ｅを介して接続されている。なお、ビュースイッチ５５ｄがクリックされていることから、入力用コネクタ５４ｄと接続している入力用ラインは存在しているものの、その入力用ラインは表示されていない。さらに、上記オブジェクト５２は、４つの出力用コネクタ５６ａ，５６ｂ，５６ｃ，５６ｄを有し、これらのそれぞれに出力用ライン５８ａ，５８ｂ，５８ｃ，５８ｄが接続されている。
【００８７】
（５−４）信号のプロパティ
また、入力用コネクタ５４がダブルクリックされると、当該入力用コネクタ５４に接続される入力用ライン５７の信号のダイアログボックスが表示される。例えば図１１に示すオブジェクト５２において、入力用コネクタ５４ａがダブルクリックされると、図１４に示すように、入力用コネクタ５４ａに入力される信号のダイアログボックス６０が表示される。
【００８８】
上記ダイアログボックス６０は、入力用コネクタ５４ａに入力される信号がビデオデータであることを示すビデオ（Video）チェックボックス６１と、それがキーであることを示すキー（Key）ボックス６２と、ビデオ信号及びキーであることを示すビデオ・アンド・キー（Video and Key）チェックボックス６３とを有する。上記ダイアログボックス６０は、３つのチェックボックスのうちいずれか１つにチェック印を付すことによって、入力用コネクタ５４ａに入力される信号の種類を明示し、図１４の場合、上記入力用ライン５７の信号はビデオデータであることを示している。
【００８９】
但し、上記ダイアログボックス６０が開いているときに、他のチェックボックス、例えばキーチェックボックスにクリックしてチェック印を付してもよい。これにより、入力用ライン５７の信号はキー信号に変更される。
【００９０】
また、ダイアログボックス６０は、入力用コネクタ５４ａに入力される信号がパラメータの時はそのパラメータの内容を示すことがあり、例えば図１５に示すように、３次元パラメータである「3D Transform」を表示することもある。
【００９１】
また、オブジェクト５２のオブジェクトボディ５３がダブルクリックされると、図１６に示すように、当該オブジェクト５２のプロパティを示すオブジェクト・ダイアログボックス７０が表示される。
【００９２】
オブジェクト・ダイアログボックス７０は、当該オブジェクト５２の名前、入力用コネクタ５４及び出力用コネクタ５６の一覧、キーフレームに入らないパラメータの表示及び設定を行うためのものである。上記オブジェクト・ダイアログボックス７０は、具体的には図１６に示すように、入力用コネクタ５４に入力される信号として「Layer1」，「BackGround」，「3D」，「Parameter」のスイッチボックスを示し、出力用コネクタ５６から出力される信号として「Layered」，「Parameter」のスイッチボックスを表示している。スイッチボックスをクリックしてチェック印を取ると、そのスイッチボックスに対応する入力用コネクタ５４に信号が入力されないようになる。なお、再び上記スイッチボックスをクリックしてチェック印を付けると、上記入力用コネクタ５４に信号が入力されるようになる。
【００９３】
また、オブジェクト・ダイアログボックス７０は、バイパス（Bypass）スイッチボックス７１を有する。バイパススイッチボックス７１は、上記オブジェクト５１の上述した主要入力用コネクタ５４から入力される信号をそのまま出力（バイパス）するか否かの切り替えを行うものである。すなわち、オブジェクト５２は、バイパススイッチボックス７１がチェックされると、上記主要入力用コネクタ５４に入力される信号をそのまま外部に出力するようになっている。
【００９４】
６．結果クリップＦＣの生成
（６−１）文字の映像化
つぎに、図１７に示す簡単な構成のタイムライン４６及びオブジェクトを用いて、文字を映像化する結果クリップＦＣを生成する場合について説明する。
上記タイムライン４６は、レイヤＬ１とレイヤＬ２とによって構成される。レイヤＬ１は、文字データからその文字の画像を生成するレイヤである。レイヤＬ２は、所定の文字データを所定の時刻に出力するレイヤであり、ここでは３つのキーフレームＫＦを有する。ここでは、キーフレームＫＦ１は「今日は」、キーフレームＫＦ２は「天気が」、キーフレームＫＦ３は「よい。」の文字データである。
【００９５】
また、各レイヤＬ１，Ｌ２に対応して、オブジェクトが設けられている。第１のオブジェクト７１は、レイヤＬ２に対応し、キーフレームＫＦ１〜ＫＦ３による所定の時刻になると「今日は」，「天気が」「よい。」の文字データを、それぞれ出力用コネクタを介して第２のオブジェクト７２に供給する。第２のオブジェクト７２は、レイヤＬ１に対応し、上記文字データに基づいて、順次その文字の画像を生成して出力する。これにより、「今日は天気がよい。」という画像（テロップ）が生成される。
【００９６】
以上のように、タイムラインと当該タイムラインの各レイヤに対応するオブジェクトとを用いることによって、タイムラインに従って画像の時間管理を行うことができ、オブジェクトの接続関係によって各レイヤの接続関係を容易に認識することができ、ユーザは容易に編集作業を行うことができる。
【００９７】
（６−２）中間結果の生成
上述したエディッタウィンドウ４０は、タイムラインやオブジェクトを用いて編集処理を行って、最終のオブジェクトから出力される編集結果を結果クリップＦＣとして出力する。タイムライン４６がレイヤの多層構造となり、それに伴ってオブジェクトの数が非常に大きくなると、オブジェクトの途中の段階でどのような画像が生成されているのか確認する必要が生じる。そこで、途中のオブジェクトであっても、その中間結果を生成して画像を確認することができるようになっている。
【００９８】
ここで、図１８に示すように、タイムライン４６及びオブジェクトが構成されている場合を例に挙げて説明する。
タイムライン４６において、レイヤＬ５は、”Take12”という名前のカット画像のレイヤである。レイヤＬ４は、画像の動きから３次元パラメータを生成するレイヤである。なお、ここでは、オブジェクト８２の中間結果の生成について説明するため、他のレイヤについては記載を省略する。一方、オブジェクト８１は、レイヤＬ５に対応するものであり、”Take12”の画像をオブジェクト８２に供給する。オブジェクト８２は、供給される画像に基づいてその画像の動きを示す３次元パラメータを生成して出力する。
【００９９】
ここで、中間結果を生成すべく、オブジェクト８２をクリックし、さらに、図７に示すメニューウィンドウ３１の中からインターリム・メイク・メニューを選択すると、オブジェクト８２がアイコン化される。オブジェクト８２がアイコン化されると、図１９に示すように、レイヤＬ４，Ｌ５のクリップが真っ黒になり、オブジェクト８２は編集することができなくなる。なお、中間結果によって生成されたものが画像である場合は、アイコン化されたオブジェクト８２の内容をプレビュー等することにより、オブジェクト８２の出力内容を確認することができる。
【０１００】
さらに、オブジェクト８２を選択（クリック）した状態でメニューウィンドウ３１の中から”Save As（名前を付けて保存）”を選択すると、上記オブジェクト８２の内容が保存され、オブジェクト８２の出力内容の結果クリップＦＣが生成される。
【０１０１】
そして、中間結果を破棄して再度編集作業を行うときは、上記オブジェクト８２を選択し、さらに、メニューウィンドウの中からアン・メイク（UnMake）メニューを選択すればよい。このとき、中間結果が破棄され、オブジェクト８２以降のオブジェクトについての編集処理が可能になる。
【０１０２】
（６−３）ユーザ定義による結果クリップＦＣの生成
また、単に中間結果を生成するのではなく、途中のオブジェクトの出力を結果クリップＦＣとして生成することもできる。
【０１０３】
ここで、図２０に示すように、タイムライン４６及びオブジェクトが構成されている場合を例に挙げて説明する。
タイムライン４６において、レイヤＬ６は、”Take12”という名前のカット画像のレイヤである。レイヤＬ５は、キーフレームＫＦ１，ＫＦ２，ＫＦ３のタイミングで画像の色に変化を与えるレイヤである。なお、他のレイヤについては記載を省略する。一方、オブジェクト８３は、レイヤＬ６に対応するものであり、”Take12”の画像をオブジェクト８４に供給する。オブジェクト８４は、供給される画像に対して、上記各キーフレームＫＦのタイミングに従って、色に変化を与えて出力する。
【０１０４】
そして、オブジェクト８４又はレイヤＬ５のクリップを選択した状態でメニューウィンドウ３１の中から”Save As”を選択すると、タイムラインを持ったイフェクトとして結果クリップＦＣを生成することができる。このようにして生成された結果クリップＦＣは、ビンウィンドウ３４のなかに現れ、他の結果クリップＦＣを生成するために再利用することができるようになる。
【０１０５】
（６−４）その他の例
以下、タイムライン４６及びオブジェクトエリア４７に配置されるオブジェクトの構成の一例を示し、その内容について説明する。
【０１０６】
図２１に、メイン画像にタイトル画像を乗せる場合における、タイムライン４６及びオブジェクトエリア４７に配置されたオブジェクトの一例要の部構成図を示す。
タイムライン４６は、レイヤＬ１からレイヤＬ４までの４つのレイヤによって構成される。レイヤＬ４は、画像”ＸＸＸ”のビデオデータのレイヤである。レイヤＬ３は、上記画像”ＸＸＸ”に表示されるタイトル画像”ＺＺＺ”の文字データを示すレイヤである。レイヤＬ２は、合成処理を行うレイヤであり、ここでは、画像”ＸＸＸ”にタイトル画像”ＺＺＺ”を合成する。レイヤＬ１は、出力を示すレイヤである。
【０１０７】
オブジェクトエリア４７には、各レイヤに対応したオブジェクト１０１〜１０４が設けられている。オブジェクト１０１は、レイヤＬ４の真横に設けられ、当該レイヤＬ４に対応している。オブジェクト１０２は、レイヤＬ３の真横に設けられ、当該レイヤＬ３に対応している。オブジェクト１０３は、レイヤＬ２の水平線上に設けられ当該レイヤＬ２に対応していると共に、オブジェクト１０１，１０２からのラインと接続している。オブジェクト１０４は、レイヤＬ４の水平線上に設けられ当該レイヤＬ４に対応していると共に、オブジェクト１０３からのラインと接続している。
【０１０８】
そして、オブジェクト１０１は、時刻「00:01:00」になると、画像”ＸＸＸ”のビデオデータを出力する。オブジェクト１０２は、時刻「00:01:10」になると、タイトル画像”ＺＺＺ”の文字データを出力する。オブジェクト１０３は、オブジェクト１０１からのビデオデータを出力すると共に、キーフレームＫＦ１（時刻「00:01:40」），ＫＦ２（時刻「00:02:50」），ＫＦ３（時刻「00:03:15」）のタイミングで”ＺＺＺ”の文字データを合成して出力する。オブジェクト１０４は、オブジェクト１０３からのビデオデータを外部に出力する。
【０１０９】
このように、タイムライン４６は各レイヤＬの時間を管理し、各オブジェクトは各レイヤＬの接続関係を構成することによって、レイヤＬの順番に関係なく、柔軟にデータの加工処理を行うことができる。
【０１１０】
図２２に、メイン画像にタイトル画像を乗せてそのタイトル画像をモーションキャプチャーで動かす場合における、タイムライン４６及び各オブジェクトの要部構成図を示す。
【０１１１】
タイムライン４６は、レイヤＬ１〜レイヤＬ６までの６つのレイヤＬによって構成される。レイヤＬ６は、物体の動きを検出してその動きのパラメータを出力するモーション・キャプチャー（Motion Capture）のレイヤである。レイヤＬ３は、入力される３次元のパラメータに基づいて入力画像を移動する３Ｄトランスフォーム（3D Transform ）のレイヤである。なお、レイヤＬ１，Ｌ２は、上述した図２１に示すレイヤＬ１，Ｌ２と同じである。レイヤＬ４，Ｌ５は、それぞれ図２１に示すレイヤＬ３，Ｌ４と同じである。
【０１１２】
オブジェクトエリア４７には、各レイヤＬ６〜Ｌ１にそれぞれ対応したオブジェクト１０５〜１１０が設けられている。オブジェクト１０５は、ある画像の動きをとらえてその動きを示す３次元パラメータを出力するものである。オブジェクト１０６は、メイン画像”ＸＸＸ”のビデオデータを出力する。オブジェクト１０７は、タイトル画像”ＺＺＺ”の文字データを出力する。オブジェクト１０８は、オブジェクト１０５及びオブジェクト１０７の出力ラインに接続されている。オブジェクト１０９は、オブジェクト１０６及びオブジェクト１０８の出力ラインに接続されている。オブジェクト１１０は、オブジェクト１０９の出力ラインに接続され、このラインからの画像を外部に出力する。
【０１１３】
そして、オブジェクト１０８は、オブジェクト１０５からの３次元パラメータに基づいて、オブジェクト１０７からのタイトル画像”ＺＺＺ”を動かして、この動きのあるタイトル画像をオブジェクト１０９に供給する。オブジェクト１０９は、オブジェクト１０６から供給される画像”ＸＸＸ”を出力すると共に、キーフレームＫＦ１，ＫＦ２，ＫＦ３のタイミングになると、オブジェクト１０８からのタイトル画像を合成してオブジェクト１１０に供給する。オブジェクト１１０は、オブジェクト１０９からの画像を外部に出力する。
【０１１４】
このように、メイン画像に単なるタイトル画像を合成するだけでなく、動きのあるタイトル画像を容易に合成することができる。
【０１１５】
図２３に、メイン画像にタイトル画像を乗せて当該タイトル画像をモーションキャプチャーと３Ｄで動かす場合における、タイムライン４６及び各オブジェクトの要部構成図を示す。
【０１１６】
タイムライン４６は、レイヤＬ１〜レイヤＬ７までの７つのレイヤＬによって構成される。レイヤＬ７は、任意の物体が動いていることを示すレイヤである。なお、レイヤＬ１〜Ｌ６は、図２２に示すレイヤＬ１〜Ｌ６と同じである。
【０１１７】
オブジェクトエリア４７には、各レイヤＬ７〜Ｌ１にそれぞれ対応したオブジェクト１１１〜１１７が設けられている。オブジェクト１１１は、３次元パラメータを出力する。オブジェクト１１２は、オブジェクト１１１の出力ラインに接続されている。オブジェクト１１３は、メイン画像”ＸＸＸ”のビデオデータを出力する。オブジェクト１１４は、タイトル画像”ＺＺＺ”の文字データを出力する。オブジェクト１１５は、オブジェクト１１２及びオブジェクト１１４の出力ラインに接続されている。オブジェクト１１６は、オブジェクト１１２及びオブジェクト１１５の出力ラインに接続されている。オブジェクト１１７は、オブジェクト１１６の出力ラインに接続され、このラインからの画像を外部に出力する。
【０１１８】
そして、オブジェクト１１２は、オブジェクト１１１からの任意の物体の動きに基づいて、３次元パラメータを出力する。オブジェクト１１５は、オブジェクト１１２からの３次元パラメータに基づいてオブジェクト１１４からのタイトル画像”ＺＺＺ”を動かして、この動きのあるタイトル画像をオブジェクト１１６に供給する。オブジェクト１１６は、オブジェクト１１３から供給される画像”ＸＸＸ”を出力すると共に、キーフレームＫＦ１，ＫＦ２，ＫＦ３のタイミングになると、オブジェクト１１５からのタイトル画像を合成してオブジェクト１１７に供給する。オブジェクト１１７は、オブジェクト１１６からの画像を外部に出力する。
【０１１９】
このように、ある任意の物体の動きと共にメイン画像に合成されるタイトル画像を動かすことができる。
【０１２０】
図２４に、図２３と同様の機能を有するタイムライン４６及び各オブジェクトの要部構成図を示す。具体的には図２３において、オブジェクト１１５のビュースイッチ１１５ａをクリックすることによってオブジェクト１１４及びレイヤＬ４を消去し、さらに、オブジェクト１１６のビュースイッチ１１６ａをクリックすることによってオブジェクト１１３及びレイヤＬ５を消去している。
【０１２１】
したがって、タイムライン４６は、レイヤＬ１〜Ｌ５の５つのレイヤＬによって構成されている。
【０１２２】
このように、所定のビュースイッチをクリックすることによって、当該ビュースイッチに対応する入力用コネクタに、入力されるライン以下のオブジェクト及びレイヤＬを消去して、簡易な表示を行っている。
【０１２３】
図２５に、６面体を表示する場合における、タイムライン４６及び各オブジェクトの要部構成図を示す。
【０１２４】
タイムライン４６は、レイヤＬ１〜Ｌ１８までも１８個のレイヤＬによって構成されている。レイヤＬ１８は、立方体の全体の動きを示すグローブ・ムーブ（Global Move）のレイヤである。レイヤＬ１５〜Ｌ１７は、立方体の各面のパラメータを示すキューブ（Cube）のレイヤである。レイヤＬ１４は、立方体の一面である画像”Video Side-1”を示すビデオデータのレイヤである。レイヤＬ１３は、３次元パラメータに基づいて画像を動かす３Ｄトランスフォーム（3D Transform）のレイヤである。また、レイヤＬ１２，Ｌ１１、レイヤＬ１０，レイヤＬ９、レイヤＬ８，Ｌ７、レイヤＬ６，Ｌ５、レイヤＬ４，Ｌ３は、上述したレイヤＬ１４，Ｌ１３と同様である。レイヤＬ２は、画像の合成を示すコンバイン（Combine）のレイヤである。レイヤＬ１は、出力処理を行うアウトプット（Output）のレイヤである。
【０１２５】
オブジェクトエリア４７には、図２５に示すように、各レイヤＬ１８〜Ｌ１にそれぞれ対応したオブジェクト１１８〜１３３が設けられている。なお、レイヤＬ１１５〜Ｌ１７には、オブジェクト１１９が対応している。
【０１２６】
オブジェクト１１８は、レイヤＬ１８に対応し、延滞の動きを示すパラメータを出力する。オブジェクト１１９は、レイヤＬ１５，Ｌ１６，Ｌ１７に対応し、オブジェクト１１８からのパラメータに基づいて、立方体の６面のそれぞれについてのパラメータを出力する。オブジェクト１２０は、レイヤＬ１４に対応し、６面体の１面のビデオデータを出力する。オブジェクト１２１は、オブジェクト１２０からのビデオデータ及びオブジェクト１１９からの２つのパラメータに基づいて、上記６面体の１面を動かして、このビデオデータを出力する。また、オブジェクト１２２，１２３、オブジェクト１２４，１２５、オブジェクト１２６，１２７，オブジェクト１２８，１２９、オブジェクト１３０，１３１は、それぞれ上述したオブジェクト１２０，１２１と同様の処理をする。オブジェクト１３２は、レイヤＬ２に対応し、オブジェクト１２１，１２３，１２５，１２７，１２９，１３１からの各６面体のビデオデータを合成して出力する。オブジェクト１３３は、レイヤＬ１に対応し、オブジェクト１３２からの動く立方体の画像を外部に出力する。
【０１２７】
このように、タイトル画像のみならず、各画像に動きを与えてこれらを合成して出力することができる。
【０１２８】
図２６に、画面の全部又は一部を所定の色に付するペイント機能を有する場合における、タイムライン４６及び各オブジェクトの要部構成図を示す。
【０１２９】
タイムライン４６は、レイヤＬ１〜Ｌ４までの４つのレイヤＬによって構成されている。レイヤＬ４は、上述したモーション・キャプチャーのレイヤである。レイヤＬ３は、背景の画像であるバックグランドビデオ（Background Video）のレイヤである。レイヤＬ２は、画像に所定の色を付するペイント（Paint）のレイヤである。レイヤＬ１は、アウトプットのレイヤである。
【０１３０】
オブジェクトエリア４７には、レイヤＬ４〜Ｌ１にそれそれ対応したオブジェクト１３４〜１３７が設けられている。オブジェクト１３４は、レイヤＬ４に対応し、物体の動きを示すパラメータを出力する。オブジェクト１３５は、レイヤＬ３に対応し、背景となる画像のビデオデータを出力する。オブジェクト１３６は、レイヤＬ２に対応し、オブジェクト１３５からの背景画像に対して、オブジェクト１３４からのパラメータに基づいて色の変化が動くようにする処理をする。オブジェクト１３７は、レイヤＬ１に対応し、オブジェクト１３６からの色が変化する背景画像を外部に出力する。
【０１３１】
このように、物体だけでなく、色の変化等を与えることができる。
【０１３２】
図２７に、３次元データを生成する場合におけるタイムライン４６及び各オブジェクトの要部構成図を示す。
【０１３３】
タイムライン４６は、レイヤＬ１〜Ｌ３までの３つのレイヤＬによって構成されている。レイヤＬ３は、生成すべき３次元パラメータの元となる、移動物体のビデオデータを示すソースビデオ（Source Video）のレイヤである。レイヤＬ２は、移動物体のビデオデータから３次元パラメータを生成するモーション・キャップチャ・パラメータ（Motion Capture Parameter）のレイヤである。レイヤＬ１は、アウトプットのレイヤである。
【０１３４】
オブジェクトエリア４７には、レイヤＬ３〜Ｌ１にそれそれ対応したオブジェクト１３８〜１４０が設けられている。オブジェクト１３８は、移動物体のビデオデータを出力する。オブジェクト１３９は、オブジェクト１３８からのビデオデータに基づいて移動物体の３次元パラメータを生成して出力する。オブジェクト１４０は、オブジェクト１３９からの３次元パラメータを外部に出力する。
【０１３５】
このように、タイムライン４６及びオブジェクト１３８〜１４０の構成によって、３次元パラメータを生成することができる。
【０１３６】
以上詳細に説明したように、本発明を適用した編集システム１は、タイムラインによってデータやパラメータの時間管理を行い、オブジェクトによってタイムラインを構成する各レイヤの接続関係を示すことによって、複雑で手間のかかる編集作業を容易に行うことができる。
【０１３７】
このとき、途中のオブジェクトが出力する中間結果を生成したり、ユーザ定義による結果クリップＦＣを生成することができ、従来より容易に編集作業を行うことができる。
【０１３８】
また、一部のオブジェクトを消去することによって視覚的に編集処理の内容を容易に把握することができ、また、オブジェクトのプロパティを表示するようにして、オブジェクトに対して入出力する信号の設定も容易に行うことができる。
【０１３９】
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計の変更等をすることができ、例えばメインウィンドウ３０やエディッタウィンドウ４０の構成は図７及び図８の構成に限定されるものではないのは勿論である。
【０１４０】
【発明の効果】
本発明に係る編集システム及び編集方法によれば、各クリップ処理層の時間管理を行うとともに、一のクリップ処理層による所定処理済みのクリップを当該一のクリップ層よりも上位の階層にあるクリップ処理層に所定処理を行わせ、最上位の階層のクリップ処理層から出力される所定処理済みのクリップを結果クリップとして出力するにあたり、タイムラインの各レイヤに対して少なくとも素材クリップ・合成処理・出力のそれぞれに対応する各オブジェクトの１つを設定し、タイムラインのレイヤ単位に各オブジェクトを位置させて上記表示手段に表示させ、上記指示手段により指示されるオブジェクト及びそのオブジェクトの色を変えて上記表示手段に表示させ、一のクリップ処理層による所定処理済みのクリップを当該一のクリップ層よりも上位の階層にあるクリップ処理層に所定処理を行わせると共に、上記指示手段により指示されるオブジェクトに対応するクリップ処理層の処理内容を中間結果として出力するので、編集処理中の結果を容易に確認することができる。すなわち、ユーザは、任意のオブジェクトに対応するクリップ処理層の出力を確認することができるので、複雑な編集処理を行う場合であっても、編集途中の段階の処理内容を容易に確認することができる。
【図面の簡単な説明】
【図１】本発明を適用した編集システムの構成を示すブロック図である。
【図２】上記編集システムの主要構成であるワークステーションの内部構成を示すブロック図である。
【図３】上記編集システムが有する各モジュール及びクリップデータベースの構成図である。
【図４】クリップの階層的管理を説明するための図である。
【図５】合成処理の内容を説明するための図である。
【図６】合成処理によって生成されるビデオイメージを説明するための図である。
【図７】上記ワークステーションのディスプレイに表示されるメニューウィンドウを説明するための図である。
【図８】上記メニューウィンドウ内のエディッタウィンドウを説明するための図である。
【図９】エディッタウィンドウに表示されるカレントタイムバーを調整する機能を有するランコントロールウィンドウを説明する図である。
【図１０】単位時間当たりの表示ステップについて説明するためのタイムスケールの図である。
【図１１】エディッタウィンドウ内のオブジェクトエリアに設けられるオブジェクトの構成を説明するための図である。
【図１２】上記オブジェクトの構成を説明するための図である。
【図１３】上記オブジェクトの構成を説明するための図である。
【図１４】入力用コネクタに入力される信号のダイアログボックスを説明するための図である。
【図１５】入力用コネクタに入力される信号がパラメータである場合のダイアログボックスを説明するための図である。
【図１６】オブジェクトのプロパティを示すオブジェクト・ダイアログボックスを説明するための図である。
【図１７】タイムラインとオブジェクトの構成の一例を示す図である。
【図１８】オブジェクトの中間結果の生成を説明するために用いられるタイムラインとオブジェクトの構成を示す図である。
【図１９】オブジェクトの中間結果の生成を説明するために用いられるタイムラインとオブジェクトの構成を示す図である。
【図２０】ユーザ定義による結果クリップの生成を説明するために用いられるタイムラインとオブジェクトの構成を示す図である。
【図２１】ビデオにタイトルを載せる場合のタイムライン及びオブジェクトの構成を示す図である。
【図２２】メイン画像にタイトル画像を乗せてそのタイトル画像をモーションキャプチャーで動かす場合におけるタイムライン及び各オブジェクトの要部構成図である。
【図２３】メイン画像にタイトル画像を乗せて当該タイトル画像をモーションキャプチャーと３Ｄで動かす場合におけるタイムライン及び各オブジェクトの要部構成図である。
【図２４】メイン画像にタイトル画像を乗せて当該タイトル画像をモーションキャプチャーと３Ｄで動かす場合におけるタイムライン及び各オブジェクトの要部構成図である。
【図２５】６面体を表示する場合におけるタイムライン及び各オブジェクトの要部構成図である。
【図２６】画面の全部又は一部を所定の色に付するペイント機能を有する場合におけるタイムライン及び各オブジェクトの要部構成図である。
【図２７】３次元データを生成する場合におけるタイムライン及び各オブジェクトの要部構成図である。
【符号の説明】
１編集システム、２ワークステーション、３０メニューウィンドウ、４０エディッタウィンドウ、４６タイムライン、４７オブジェクトエリア[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an editing system and an editing method for performing an editing process by combining an image and an image and applying a special effect or the like to the image.
[0002]
[Prior art]
In recent years, in the field of post-production for editing video data obtained from a video camera, there is a non-linear editing system using a disk as a recording medium for recording material data. There are various types of editing processes performed in this nonlinear editing system. For example, video editing processing to create a desired video program by connecting multiple materials, composition processing to combine multiple materials with key signals, and special effect processing to apply special effect processing to materials Etc. exist. Generally, this video editing process is performed by an editing apparatus, the composition process is performed by a video switcher, and the special effect process is performed by a special effect apparatus.
[0003]
Today, the random accessibility of disc-shaped recording media enables simultaneous access to multiple channels of video data, resulting in a need for an editing system that processes multiple channels of video data in real time. It has become. For example, in the editing industry for creating television broadcast commercials and the editing industry for creating movie programs, editing processing is performed using tens to hundreds of materials, and different types of editing processing are used in combination. It is requested. Furthermore, it has been required to generate sophisticated and complicated editing result data by repeatedly performing these plural types of editing processes.
[0004]
In order to realize such an editing process, an editing system using a timeline that shows the contents of the editing process in a multi-layered structure has been proposed.
[0005]
Such an editing system displays the above timeline on a monitor so that the contents of the editing process can be easily understood visually for the user, and the editing process can be easily performed using a pointing device such as a mouse. I can do it.
[0006]
[Problems to be solved by the invention]
In such a conventional editing system, it becomes difficult to grasp the contents of the editing process as the contents of the editing process become complicated, but the contents of the editing process cannot be confirmed unless the timeline is completed. It was. In other words, before the timeline was completed, it was not possible to confirm the processing contents being edited.
[0007]
Therefore, when there is a problem in the result of the editing process, it is necessary to rearrange the structure of the timeline many times, and the editing operation is very inconvenient.
[0008]
The present invention has been proposed in view of such a situation, and an object thereof is to provide an editing system and an editing method capable of easily confirming a result during editing processing.
[0009]
[Means for Solving the Problems]
In order to solve the above problems, The present invention In an editing system that edits a clip as a plurality of editing units and generates a result clip that has undergone editing processing, clip processing means having a plurality of clip processing layers for performing predetermined processing on the clip while managing time, and each of the above clip processing Hierarchy determining means for determining a hierarchy of each of the clip processing layers by having a plurality of objects corresponding to each layer and connecting each of the objects to form one hierarchical structure; and an instruction means for instructing the object And display control means for displaying the processing content by the clip processing means on the display means as a timeline and displaying the hierarchical structure formed by the hierarchy determining means on the display means by connecting the objects between the objects. With The display control means sets at least one of the objects corresponding to each of the material clip, the composition process, and the output for each layer of the timeline, and positions each object for each layer of the timeline to display the display Display on the display means, change the object indicated by the instruction means and the color of the object, and display on the display means, The clip processing means causes a clip processing layer at a higher level than the one clip layer to perform predetermined processing on a clip that has been subjected to predetermined processing by one clip processing layer, and By instruction means The processing content of the clip processing layer corresponding to the instructed object is output as an intermediate result.
[0010]
The present invention also provides: In an editing method that edits clips that are multiple editing units and generates edited clips, multiple clip processing layers perform predetermined processing while managing time. Clip processing steps to be applied; Each clip processing layer has a plurality of objects corresponding to each other, and each of the objects is connected to form one hierarchical structure so that each clip processing layer has a hierarchy. Display control for displaying a hierarchy determination step to be determined and processing contents in the clip processing step on the display means as a time line, and displaying on the display means by connecting the hierarchical structure formed in the hierarchy determination step between objects In the above display control step, at least one object corresponding to each of the material clip, composition processing, and output is set for each layer of the timeline, and each object is set for each layer of the timeline. Is displayed on the display means, and the object indicated by the instruction means and the color of the object are changed and displayed on the display means. In the clip processing step, A clip that has been subjected to predetermined processing by one clip processing layer is subjected to predetermined processing in a clip processing layer that is higher than the one clip layer, and By instruction means The processing content of the clip processing layer corresponding to the instructed object is output as an intermediate result.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0012]
1. Overall configuration of editing system
The present invention is applied to an editing system 1 having the configuration shown in FIG. The editing system 1 includes a workstation 2 that controls the entire system. The workstation 2 includes a main body 2A including a CPU (central processing unit), various processing circuits, a floppy disk drive, a hard disk drive, and the like, a display 2B, a keyboard 2C, a mouse 2D, and a pen / tablet 2E connected to the main body 2A. And have. Such a workstation 2 is preliminarily installed with application software for editing in a hard disk drive, and is activated as an editing computer by operating the application software under the operating system.
[0013]
When this application software is operated, a graphic display for GUI (graphical user interface) is displayed on the display 2B, and the above-described pen tablet 2E and mouse 2D are used. If a desired graphic display displayed on the display 2B is selected, a desired editing command can be input to the workstation 2. Various numerical data relating to editing can also be input to the workstation 2 via the keyboard 2C.
[0014]
The workstation 2 is configured to output control data corresponding to the editing command and various numerical data to a device controller 3 to be described later when an editing command and various numerical data are input by a user operation. Thus, each device constituting the editing system 1 can be controlled via the device controller 3. However, some functions of the video disk recorder 5 can be directly controlled without using the device controller 3.
[0015]
In addition, video data is input to the workstation 2 via the device controller 3, and an image of the editing material, an image after editing, and the like can be displayed on the display 2B.
[0016]
The device controller 3 is a control device that receives control data from the workstation 2 and actually controls each device. The device controller 3 is connected to a dedicated controller 4 having a dial operator, a slide operator, and the like. With this editing system 1, the keyboard 2C, the mouse 2D or the pen / tablet 2E of the workstation 2 is connected. Then, gradually changing control data that cannot be input can be input.
[0017]
The device controller 3 receives control data from the workstation 2 or the dedicated controller 4 and controls equipment corresponding to the control data. For example, for the video disk recorder 5, the device controller 3 instructs the reproduction of the material and the recording of the material after editing. Upon receiving this instruction, the video disk recorder 5 reproduces and outputs the video data and audio data of the desired material recorded on the internal disk-shaped recording medium or edits the video data in accordance with the instruction. And audio data are recorded on the disc-shaped recording medium.
[0018]
Similarly, the device controller 3 instructs the video tape recorder (VTR) 6 to reproduce the material. In response to the instruction, the video tape recorder 6 reproduces and outputs video data and audio data of a desired material recorded on the internal video tape. In the case of the editing system 1, the video data recorded on the video tape recorder 6 is once downloaded to the video disk recorder 5 and then handled as material video data.
[0019]
The device controller 3 instructs the switcher 7 to select video data output from the video disk recorder 5, video tape recorder 6, or video camera 8. In response to this instruction, the switcher 7 selects video data of the desired material to be input and outputs it to the digital multi-effector 9, or outputs it to the workstation 2 via the device controller 3, Alternatively, input video data of desired materials are sequentially selected and joined, the edited video data is output and displayed on the monitor 10, and the edited video data is returned to the video disk recorder 5 for recording. .
[0020]
The device controller 3 instructs the digital multi-effector 9 to perform various effect processes. In response to this instruction, the digital multi-effector 9 performs special effects processing, such as mosaic processing and three-dimensional image conversion processing, and effects such as transition effects, on the input video data of the desired material. Processing or image composition processing is performed, and the video data obtained as a result is returned to the switcher 7 and output to the workstation 2, the monitor 10, the video disk recorder 5, or the like.
[0021]
The device controller 3 instructs the audio mixer 11 to edit audio data output from the video disk recorder 5 or the video tape recorder 6. In response to the instruction, the audio mixer 11 synthesizes (mixes) the desired audio material, and returns the synthesized audio data to the video disk recorder 5 for recording again.
[0022]
Thus, in the editing system 1 having such a configuration, by inputting a desired editing command via the workstation 2, videos of a wide variety of materials recorded on the video disk recorder 5 and the video tape recorder 6 are recorded. The data can be used to easily create sophisticated and complex desired video data. As a result, the user can perform various types of editing simply by operating the workstation 2 without directly operating the devices constituting the editing system.
[0023]
2. Workstation configuration
In this section, the configuration of the workstation 2 which is the central existence of the editing system 1 will be described. As shown in FIG. 2, the workstation 2 has an image for video data S1 supplied from a system bus 20 for transmitting command data and video data, a CPU 21 for controlling the entire workstation 2, and a device controller 3. A video processor 22 that performs processing, a display controller 23 that manages video data displayed on the display 2B and graphic display for GUI, an HDD interface 24 for controlling a local hard disk drive (local HDD) 24A, a floppy (registration) (Trademark) FDD interface 25, keyboard 2C, mouse 2D and pen for controlling disk drive (FDD) 25A , It has a pointing device interface 26 for generating a control command based on a command from a pointing device such as a tablet 2E, and an external interface 27 having a software driver for sending control data S2 to the device controller 3.
[0024]
The system bus 20 is a bus for transmitting video data, command data, address data, and the like inside the workstation 2, and transmits command data and address data to the image data bus 20A for transmitting video data. And a command data bus 20B.
[0025]
A CPU 21, a video processor 22, a display controller 23, an HDD interface 24, and an FDD interface 25 are connected to the image data bus 20A. The CPU 21, video processor 22, display controller 23, HDD interface 24, and FDD interface 25 transmit video data via the image data bus 20A.
[0026]
On the other hand, a CPU 21, a video processor 22, a display controller 23, an HDD interface 24, an FDD interface 25, a pointing device interface 26, and an external interface 27 are connected to the command data bus 20B (that is, all of the internal components of the workstation 2). Command data and address data are transmitted via the command data bus 20B.
[0027]
The CPU 21 is a block that controls the entire workstation 2, and includes a ROM 21A that stores the operating system of the workstation 2, and a RAM 21B that stores uploaded application software, a database, and the like. When starting the workstation 2, the CPU 21 is started by operating based on the operating system stored in the ROM 21A. When the application software is started under this operating system, the CPU 21 first reads the application software recorded on the hard disk of the hard disk drive 24A, uploads it to the RAM 21B, and then the application software. Run to start.
[0028]
Note that the application software is divided into modules for each function, and can be roughly divided as will be described later in order to perform composition processing such as editing modules for joining materials and overlaying of materials. A special effect module for performing special effect processing such as three-dimensional image conversion of a material, and a control module for managing the activation of these modules and the exchange of data between modules. . That is, in this system, when the application software is started, the control module is started first, and when an editing instruction is input from the user, the corresponding module (edit module, synthesis module) under the control of the control module. Alternatively, the special effect module) is appropriately activated to perform editing instructed by the user.
[0029]
The video processor 22 receives SDI (Serial Digital Interface) standard video data S1 input to the workstation 2, performs data conversion on the video data S1, and temporarily buffers the converted video data. This is a block for ringing. Specifically, the video processor 22 extracts a composite video signal from a processor controller 22A that controls the entire video processor 22 and the payload portion of the received video data S1, and converts the composite video signal into digital component video. The data conversion unit 22B converts data into data, and the frame memory 22C temporarily stores video data for several frames transmitted from the data conversion unit 22B.
[0030]
The processor controller 22A controls the data conversion operation of the data converter 22B by sending a control signal to the data converter 22B, and causes the data converter 22B to extract a time code from the video data S1. Further, the processor controller 22A controls the read / write timing and read / write address of the frame memory 22C by sending a control signal to the frame memory 22C. Regarding the read timing, the processor controller 22A controls the read timing of the frame memory 22C so that the time code transmitted to the display controller 23 corresponds to the video data (frame data).
[0031]
The data converter 22B converts the composite video signal into digital component video data based on the control signal from the processor controller 22A. The time code is extracted in this conversion process. The video data obtained by this conversion is sent to the frame memory 22C as described above, and the extracted time code is sent to the processor controller 22A.
[0032]
The frame memory 22C temporarily stores the video data supplied from the data converter 22B. The read / write timing of the frame memory 22C is controlled by the processor controller 22A as described above. The frame memory 22C is composed of at least two frame memories and can store video data for at least two frames.
[0033]
The video data stored in the frame memory 22C is read based on the read control of the processor controller 22A. At this time, not all the pixels of the video data stored in the frame memory 22C are read out, but the image size is made smaller than the original image by thinning out the pixels at a predetermined interval. The video data whose image size has been reduced in this way is displayed in a predetermined display area of the display 2B for confirmation of the material or the editing result, and is therefore sent to the display controller 23 via the image data bus 20A.
[0034]
The display controller 23 is a control block for controlling data displayed on the display 2B. The display controller 23 includes a memory controller 23A and a VRAM (video random access memory) 23B. The memory controller 23A controls the read / write timing of the VRAM 23B according to the internal synchronization of the workstation 2. The VRAM 23B stores the video data sent from the frame memory 22C of the video processor 22 and the image data generated by the CPU 21 based on the timing control signal from the memory controller 23A. The video data and image data stored in the VRAM 23B are read based on the timing control signal from the memory controller 23A based on the internal synchronization of the workstation 2 and displayed on the display 2B.
[0035]
In this case, the graphic display based on the image data is the graphic display for the GUI. The image data sent from the CPU 21 to the VRAM 23B is image data such as a window, a cursor, a scroll bar, or an icon indicating a device.
[0036]
Thus, in the workstation 2, by displaying these image data and video data on the display 2B, the GUI for the user operation, the material, or the image of the edited result is displayed on the display 2B. The HDD interface 24 is an interface block for communicating with a local hard disk drive 24A provided in the workstation 2. The HDD interface 24 and the hard disk drive 24A perform communication based on a transmission format of SCSl (Small Computer System Interface).
[0037]
Application software that is activated on the workstation 2 is installed in the hard disk drive 24A. When the application software is executed, the application software is read from the hard disk drive 24A and uploaded to the RAM 21B of the CPU 21. When the application software is terminated, various types of information (for example, database information related to editing material) generated by the editing operation stored in the RAM 21B are downloaded to the hard disk via the hard disk drive 24A. .
[0038]
The FDD interface 25 is an interface block for communicating with a floppy disk drive 25 </ b> A provided in the workstation 2. The FDD interface 25 and the floppy disk drive 25A perform communication based on the SCSI transmission format.
[0039]
The pointing device interface 26 is an interface block that receives information from the keyboard 2C, the mouse 2D, and the pen / tablet 2E connected to the workstation 2. The pointing device interface 26 receives input information from buttons provided on the keyboard 2C, decodes the received input information, and sends it to the CPU 21. Similarly, the pointing device interface 26 uses the detection information of the two-dimensional rotary encoder provided in the mouse 2D and the click information of the left and right buttons provided on the mouse 2D (that is, selection designation information by pressing the button) in the mouse 2D. The received information is decoded and sent to the CIPU 21. Similarly, the pointing device interface 26 receives the two-dimensional position data from the pen tablet 2E, decodes the received position data, and sends it to the CPU 21. Based on such information from the pointing device interface 26, the CPU 21 can recognize which command button of the GUI displayed on the display 2B is designated, and recognizes various data input from the keyboard 2C. The control corresponding to them can be performed.
[0040]
The external interface 27 is a block for communicating with the device controller 3 connected to the outside of the workstation 2. The external interface 27 has a driver that converts various control commands such as a reproduction command and a recording command generated by the CPU 21 into data of a predetermined communication protocol, and sends the control command data S2 to the device controller 3 via the driver. Send it out.
[0041]
3. Editing principles in the editing system
In this section, the principle of editing in the editing system 1 will be described step by step.
[0042]
(3-1) Basic configuration of application software for editing
First, in this section, the basic configuration of editing application software prepared in the workstation 2 will be described. As shown in FIG. 3, in the editing system 1, editing application software modularized for each function is prepared in the workstation 2. This modularized application software is broadly divided into an editing module EM that performs editing processing such as material joining processing, a synthesis module CM that performs synthesis processing such as material overlay processing, and special effects on materials. A special effect module SM that performs processing, and a control module CNTM that manages the activation of the editing module EM, the synthesis module CM, and the special effect module SM that are modularized for each function. When the application software having such a configuration is uploaded from the hard disk drive 24A to the RAM 21B, the control module CNTM is first activated. Under the control of the control module CNTM, each module EM, CM, and SM is a user. Starts up appropriately according to instructions from.
[0043]
The clip database CDB is composed of the video disk recorder 5 and the RAM 21B, and stores video data of materials and various data related to editing. Each module EM, CM, and SM reads the material specified by the user from the clip database CDB, and uses the above-described hardware such as the switcher 7 and the digital multi-effector 9, and responds to the user's instruction on the material. The edited material obtained as a result is registered in the clip database CDB. Each module EM, CM, and SM also registers data related to editing such as various parameters used for editing in the clip database CDB. As the clip database CDB, mainly video data of material is stored in the video disk recorder 5, and various data relating to editing are stored in the RAM 21B.
[0044]
(3-2) Definition of clip
In the editing system 1 according to the present invention, each material is handled in units called clips. This section defines this clip. In the editing system 1 according to the present invention, one sequence of video moving image data is defined as clip video data, data for managing how the clip video data is generated is defined as clip management data, and these Data consisting of clip video data and clip management data is defined as a clip. In the editing system 1 according to the present invention, a material generated simply by cutting out from source video data is called a material clip (MC), and a material generated by editing the material clip is a result clip (FC). : Fat Clip).
[0045]
In the editing system 1 according to the present invention, a plurality of clips including material clips MC and result clips FC are managed by a hierarchical structure based on the relationship between clips. This will be described below with reference to the example shown in FIG.
[0046]
In the example illustrated in FIG. 4, the result clip FC-008 is a clip generated by combining three material clips of the material clip MC-001, the material clip MC-002, and the material clip MC-003. That is, the relationship between the result clip FC-008, the material clip MC-001, the material clip MC-002, and the material clip MC-003 is vertically related. In such a vertical relationship, the material clip MC-001, the material clip MC-002, and the material clip MC-003 are each subordinate to the result clip FC-008, and are therefore called the lower clips. Since -008 is generated by unifying these lower clips, it is called an upper clip.
[0047]
Similarly, the result clip FC-009 is a clip generated by applying a special effect to the material clip MC-004. Therefore, the material clip MC-004 becomes a lower clip of the result clip FC-009, and conversely, the result clip FC-009 becomes an upper clip of the material clip MC-004.
[0048]
The result clip FC-010 is a result clip generated by editing the result clip FC-008 and the result clip FC-009 (in this case, for example, connecting them by wipe or the like). For this reason, the result clip FC-008 and the result clip FC-009 are the lower clips of the result clip FC-010, respectively, and the result clip FC-010 is the upper clip of the result clip FC-008 and the result clip FC-009.
[0049]
As described above, there is a vertical relationship between the clips. In the editing system 1, the clip is managed in a hierarchical structure based on the vertical relationship between the clips in the clip database CDB. Note that a material clip that is not used for editing processing is not related to other clips, but such a material clip is managed as having no link destination. Moreover, the example shown here is only an example, and other combinations naturally exist as the vertical relationship between the clips.
[0050]
(3-3) Concept of composition processing
Next, in this section, the concept of synthesis processing performed by the synthesis module CM will be described. The video image of the result clip FC-008 shown in FIG. 4 is generated by synthesizing the video images of the material clip MC-001, the material clip MC-002, and the material clip MC-003 (that is, composite processing). The concept of this synthesis process is shown in FIGS. FIG. 5 shows how the video images of the three material clips MC-001, MC-002, and MC-003 are combined, and FIG. 6 shows the video image of the result clip FC-008 generated by the combining process. Represents.
[0051]
In the editing system 1 according to the present invention, when combining a plurality of clips, each clip is regarded as one layer (layer), and the combining process is performed by overlapping the layers. In the example shown in FIG. 5, the material clip MC-003 is designated as the first layer L1, the material clip MC-002 is designated as the second layer L2, and the material clip MC-001 is designated as the third layer L3. is doing. When the material clips assigned to the layers L1, L2, and L3 are synthesized, the layer L1 is used as the lowest layer, and the layers L2, L3 are sequentially stacked thereon. That is, on the video image of the material clip MC-003 specified as the first layer L1 (for example, an image representing the background), the video image of the material clip MC-002 specified as the second layer L2 (for example, a person is added). The image of the material clip MC-001 designated as the third layer L3 (for example, an image representing a character) is superimposed and combined on the combined video image. With such a composition process, a clip FC-008 can be generated as a result of a video image in which three materials as shown in FIG. 6 overlap.
[0052]
In the example shown in FIG. 5, the example is shown in which the material clips MC-003, MC-002 and MC-001 assigned to the three layers L1 to L3 are combined. The number of layers is not particularly limited.
[0053]
4). GUI display
A GUI screen displayed on the display 2B of the workstation 2 when each module is activated will be described.
[0054]
(4-1) Main window configuration
As shown in FIG. 7, a main window 30 is displayed on the display 2B.
The main window 30 includes a menu window 31 displaying functions necessary for editing, a tool bar window 32 displaying only menus of frequently used functions, and a bin tree window 33. And, if necessary, a preview window 36 for previewing and confirming images such as a bin window 34, a run control window 35, and a material clip MC before editing. , An editor window 40 for creating a result clip FC.
[0055]
The menu window 31 has menus for all functions necessary for image editing processing. For example, a new menu for creating a new result clip FC, and a name for the finished result clip FC are saved. And a Save menu for generating intermediate results, an Interim Make menu for generating intermediate results, and the like.
[0056]
The bin tree window 33 indicates where the material clip MC, the result clip FC, and the like contained in the bin window 34 are located by a tree structure.
[0057]
The bin window 34 contains various image material clips MC used for cut editing and the like, a result clip FC that has already been edited to some extent, and objects for processing the image.
[0058]
The run control window 35 moves the position of a current bar, which will be described later, indicating the current time that is the current playback time. This detailed description will be described later.
[0059]
The preview window 36 is an area for displaying an image based on video data of the material clip MC or the result clip FC when a preview button, a view button, an all preview button, or an all view button (not shown) is operated. By providing such a display area, it is possible to check the video image of the material clip MC or the result clip FC generated as a result of editing while performing the editing operation.
[0060]
(4-2) Configuration of the editor window
The editor window 40 handles the result clip FC, in other words, generates a result clip. As shown in FIG. 8, the editor window 40 includes a current time area 41 for displaying the current time and the like, and an in out time area 42 for displaying the time of the edit start point and the edit end point. , Scale Select area 43, Co Timeline 44, Time Scale area 45, Timeline 46 for displaying and editing the time position of each object, Data flow And an object area 47 in which an object indicating the above is displayed.
[0061]
In the current time area 41, the current time that is the current time (for example, “00: 00: 01: 02”: 0 hour, 0 minute, 1 second, 2 frames) is displayed. The current time is the time at which the current time bar 51 is located on the timeline 46. The position of the current time bar 51 can be changed using the above-described run control window 35.
[0062]
As shown in FIG. 9, the run control window 35 includes 10 GUI-displayed buttons. Each button has a function of moving the position of the current bar as follows when clicked.
[0063]
A top button 201 moves the current time bar 51 to the top result clip FC. The previous key frame (Previous KF) button 202 moves the current time bar 51 to the key frame KF immediately before the time indicated by the current current time bar 51. The previous frame button 203 moves the current time bar 51 to the frame immediately before the time indicated by the current current time bar 51. The stop button 204 immediately stops the movement of the current time bar 51. A Run button 205 moves the current time bar 51 at 1 × speed. A Next Frame button 206 moves the current time bar 51 to a frame immediately after the time indicated by the current current time bar 51. A next key frame (Next KF) button 207 moves the current time bar 51 to a key frame immediately after the time indicated by the current current time bar 51. A Goto button 208 moves the current time bar 51 to a key frame KF of a designated key frame number or a designated time. An End button 209 moves the current time bar 51 to the end portion of the last result clip FC. The create key frame (Create KF) button 210 creates a new key frame KF at the position (time) indicated by the current current time bar 51. As a result, the control of the clip and the control related to the key frame KF can be performed.
[0064]
The in-out time area 42 includes an in-point time that is an editing start point (for example, “00: 00: 01: 02”) and an out-point time that is an editing end point (for example, “00: 00: 01: 22”). Is displayed. The In point and Out point indicate the selected state, that is, the beginning and end point of the material clip MC or the result clip FC that is the target of editing processing. In each layer L on the timeline 46, the range from the In point to the Out point is referred to as a “cell”.
[0065]
The scale select area 43 is for setting the size (scale) of the timeline 46 in the time direction. As shown in FIG. 8, “Frame”, 1 for setting the size of one frame on the timeline 46. There are “Second” for setting the size of the second and “Min” for setting the size of the one minute. “Frame” has four check boxes, and means 1 frame, 2 frames, 5 frames, and 10 frames in order from the left. “Second” has five check boxes and means unit times 1 second, 2 seconds, 5 seconds, 10 seconds, and 20 seconds in order from the left. “Min” has four check boxes and means unit times 1 minute, 2 minutes, 5 minutes, and 10 minutes in order from the left.
[0066]
Here, the display step per unit time will be described using the time scale table shown in FIG.
For example, as shown in FIG. 8, when the “Frame” unit time 1 frame check box is checked, a thumbnail picture (Thumbnail Picture) is displayed for each frame on the layer L of the video data, and is displayed. The step (Show Time Step) is 5 frames. A thumbnail picture refers to a simple image displayed on a layer L when the material clip MC of the image is set to the layer L. For example, the image displayed on the layer L3 shown in FIG. Note that the horizontal to vertical ratio of the thumbnail picture is 4: 3. For example, when the width of each layer of the timeline 46 is 30 pixels, the thumbnail picture is a reduced image of 40 × 30 pixels. At this time, since “00: 00: 01: 05” is displayed after “00: 00: 01: 00” in the time scale area 45, it is displayed in units of 5 frames. Similarly, according to FIG. 10, for example, when the check box of “Second” with a unit time of 2 seconds is checked, a thumbnail picture is displayed every 60 frames on the layer L of the video data, and the displayed unit step is 10 seconds. become.
[0067]
The co-timeline 44 displays the edited content specified by the timeline 46. In this case, the timeline 46 cannot display all the edited contents at once because of screen restrictions. Therefore, by displaying a graphic image in which the edited contents are reduced on the co-timeline 44, As a whole, it is possible to easily grasp what editing contents are designated. For example, when editing contents for combining several material clips MC are specified in the timeline 46, bar-shaped graphic images indicating clips specified for the respective layers are overlapped in accordance with the editing contents. A graphic image is displayed on the co-timeline.
[0068]
As a result, the user can grasp the entire picture of the designated editing content by seeing this display, and can easily grasp that the content is the synthesis processing of several clips.
[0069]
The time scale area 45 includes a preview area 45a and an in / out area 45b, and displays the time per unit step described above. In the preview area 45a, when a preview button (not shown) is operated, a blue bar indicating the video data range of the preview target image is displayed. In the in-out area 45b, a yellow bar indicating the range from the edit start point to the edit end point is displayed.
[0070]
The timeline 46 is an area for designating a clip to be edited to be combined for each layer. In the editing system 1, a clip that is a material for composition processing can be designated for each of the editing systems 1. Note that the display range of the timeline 46 is limited, and all layers L cannot be displayed at once. However, by operating the scroll button displayed at the right end of the timeline 46, the timeline 46 can be scrolled up and down, so that a desired layer can be displayed. . In the timeline 46, a clip that is a material for the composition process corresponds to each layer.
[0071]
In the object area 47, an object 52 indicating the connection state of each layer constituting the timeline 46 is displayed. There is one object 52 corresponding to each layer.
[0072]
The object 52 is pasted on the object area 47 by drag and drop from the bin window 34. The object 52 is positioned in the row unit (each layer unit) of the timeline 46 in the vertical direction, and can be freely positioned in the horizontal direction.
[0073]
5. Method of operation
(5-1) Starting up the editor window
As described above, the bin window 34 shown in FIG. 7 contains a plurality of material clips MC and result clips FC. When the user double-clicks the result clip FC, an editor window 40 for editing the result clip FC is displayed. Further, even when any cell (clip) on each layer of the timeline 46 is double-clicked, the editor window 40 for editing the clip is displayed.
[0074]
When a new result clip FC is generated, it is necessary to create an empty result clip FC in the bin window 34 in advance. In the following description, a case will be described in which the substance of the result clip FC is created using the editor window 40 of the empty result clip FC.
[0075]
(5-2) Creation of timeline
When the editor window 40 is activated, an empty timeline 46 and an object area 47 are displayed as shown in FIG.
[0076]
The user clicks a desired material clip MC (or a result clip FC or an object) from the bin window 34 to select the material clip MC. When such processing is performed, the cell of the material clip MC is displayed. If this is placed at a desired position by drag and drop, a layer is formed at that position, and a material clip MC is set for the layer. The material clip MC is set in units of layers in the vertical direction and in units of frames in the horizontal direction.
[0077]
Alternatively, after setting a cell on the timeline 46, the cell can be dragged and moved only in the horizontal direction. Furthermore, the setting position can be changed by dragging and dropping the cell's In and Out points.
[0078]
Note that the length of the cell indicating the clip is a length corresponding to the duration of the clip (the time from the start to the end of the clip). In each cell, a character indicating a clip name or a key processing name is displayed so that any clip or key processing can be recognized at a glance.
[0079]
(5-3) Object creation
The user clicks on a desired object from the bin window 34 to select the object. Then, if this is placed at a desired position in the object area 47 by drag and drop, the object is set. At this time, the object is set in units of layers in the vertical direction. That is, the object is set on the horizontal line of each layer.
[0080]
Even after the object is set in the object area 47, the object can be moved by dragging. Thus, a plurality of objects can be set in the object area 47.
[0081]
When a plurality of objects are set in the object area 47, it is necessary to connect each object next.
[0082]
Here, as shown in FIG. 11, the object 52 includes an input connector 54 (54a, 54b), a view switch 55 (55a, 55b), and an output connector 56 in the object body 53. An input line 57 (57a, 57b) for inputting data or parameters is connected, and an output line 58 is connected to the output connector 56. The object 52 handles the main one of the input connectors 54 as a main input connector as will be described in detail later.
[0083]
When the output connector 56 is clicked, a transition is made to a wiring mode starting from the output connector 56. Then, when the input connector 54 of another object 52 is clicked, connection is made between these connectors, and the wiring mode ends. Here, the case where the connection is made starting from the output connector 56 has been described, but the case where the connection is made starting from the input connector 54 can be similarly made.
[0084]
Video data, parameters, and the like are input to the object 52 thus connected from below the object body 53. Then, the object 52 outputs the video data, parameters, etc. from the right side of the object body 53. Note that the colors of the input line 57 and the output line 58 differ depending on the type of signal. For example, the video data input / output line is blue, the key input / output line is red, the video data and key input / output line is magenta, and the parameter input / output line is green.
[0085]
For example, when the view switch 55b is clicked, as shown in FIG. 12, the input connector 54b and the input line 57b connected thereto disappear. However, just because the input line 57b is not displayed, the relationship with other objects connected via the input line 57b is not lost. Thus, when there are many objects 52, the object configuration can be easily displayed by clicking the view switch 55.
[0086]
FIG. 13 is a diagram illustrating the object 52 when many input lines 57 and output lines 58 are connected to the object body 53.
The object 52 is connected to other objects (not shown) via input lines 57a to 57c and 57e. Since the view switch 55d is clicked, there is an input line connected to the input connector 54d, but the input line is not displayed. Further, the object 52 has four output connectors 56a, 56b, 56c, and 56d, and output lines 58a, 58b, 58c, and 58d are connected to the respective connectors.
[0087]
(5-4) Signal properties
When the input connector 54 is double-clicked, a signal dialog box for the input line 57 connected to the input connector 54 is displayed. For example, in the object 52 shown in FIG. 11, when the input connector 54a is double-clicked, a dialog box 60 for signals input to the input connector 54a is displayed as shown in FIG.
[0088]
The dialog box 60 includes a video check box 61 indicating that a signal input to the input connector 54a is video data, a key box 62 indicating that the signal is a key, and a video signal. And a video and key check box 63 indicating that it is a key. The dialog box 60 clearly indicates the type of signal input to the input connector 54a by adding a check mark to any one of the three check boxes. In the case of FIG. The signal indicates video data.
[0089]
However, when the dialog box 60 is open, another check box such as a key check box may be clicked to add a check mark. As a result, the signal on the input line 57 is changed to a key signal.
[0090]
Further, when the signal input to the input connector 54a is a parameter, the dialog box 60 may indicate the content of the parameter. For example, as shown in FIG. 15, the dialog box 60 displays “3D Transform” which is a three-dimensional parameter. Sometimes.
[0091]
When the object body 53 of the object 52 is double-clicked, an object dialog box 70 indicating the properties of the object 52 is displayed as shown in FIG.
[0092]
The object dialog box 70 is used to display and set the name of the object 52, a list of the input connector 54 and the output connector 56, and parameters that do not fit in the key frame. Specifically, as shown in FIG. 16, the object dialog box 70 shows “Layer1”, “BackGround”, “3D”, and “Parameter” switch boxes as signals input to the input connector 54. “Layered” and “Parameter” switch boxes are displayed as signals output from the output connector 56. When a check mark is clicked by clicking a switch box, no signal is input to the input connector 54 corresponding to the switch box. If the switch box is clicked again to place a check mark, a signal is input to the input connector 54.
[0093]
The object dialog box 70 has a bypass switch box 71. The bypass switch box 71 switches whether or not the signal input from the main input connector 54 of the object 51 is output (bypassed) as it is. That is, when the bypass switch box 71 is checked, the object 52 outputs the signal input to the main input connector 54 as it is.
[0094]
6). Result clip FC generation
(6-1) Character visualization
Next, a description will be given of a case in which a result clip FC that visualizes characters is generated using the timeline 46 and objects having a simple configuration shown in FIG.
The timeline 46 includes a layer L1 and a layer L2. The layer L1 is a layer that generates an image of the character from the character data. The layer L2 is a layer that outputs predetermined character data at a predetermined time, and has three key frames KF here. Here, the key frame KF1 is character data “Today”, the key frame KF2 is “weather is”, and the key frame KF3 is “good”.
[0095]
An object is provided corresponding to each of the layers L1 and L2. The first object 71 corresponds to the layer L2, and character data of “Today”, “Weather is good”, and “Good” are respectively sent via the output connector at a predetermined time by the key frames KF1 to KF3. The second object 72 is supplied. The second object 72 corresponds to the layer L1, and sequentially generates and outputs an image of the character based on the character data. As a result, an image (telop) “The weather is good today” is generated.
[0096]
As described above, by using the timeline and the object corresponding to each layer of the timeline, the time management of the image can be performed according to the timeline, and the connection relation of each layer can be easily achieved by the connection relation of the object. And the user can easily perform editing work.
[0097]
(6-2) Generation of intermediate results
The above-described editor window 40 performs an editing process using a timeline or an object, and outputs an editing result output from the final object as a result clip FC. When the timeline 46 has a multi-layer structure of layers, and the number of objects becomes very large accordingly, it is necessary to confirm what kind of image is generated at a stage in the middle of the object. Therefore, even an intermediate object can generate an intermediate result and check an image.
[0098]
Here, as shown in FIG. 18, a case where a timeline 46 and objects are configured will be described as an example.
In the timeline 46, the layer L5 is a layer of a cut image named “Take12”. The layer L4 is a layer that generates a three-dimensional parameter from the motion of the image. Here, in order to explain generation of the intermediate result of the object 82, description of other layers is omitted. On the other hand, the object 81 corresponds to the layer L5 and supplies an image of “Take12” to the object 82. The object 82 generates and outputs a three-dimensional parameter indicating the movement of the image based on the supplied image.
[0099]
Here, in order to generate an intermediate result, when the object 82 is clicked and the interrim / make / menu is selected from the menu window 31 shown in FIG. 7, the object 82 is iconified. When the object 82 is iconified, the clips of the layers L4 and L5 become black as shown in FIG. 19, and the object 82 cannot be edited. If the image generated by the intermediate result is an image, the output content of the object 82 can be confirmed by previewing the content of the iconified object 82.
[0100]
Furthermore, when “Save As (Save As)” is selected from the menu window 31 with the object 82 selected (clicked), the contents of the object 82 are saved, and the result clip of the output contents of the object 82 is clipped. FC is generated.
[0101]
When the intermediate result is discarded and the editing operation is performed again, the object 82 is selected, and an unmake menu is selected from the menu window. At this time, the intermediate result is discarded, and the editing process for the objects after the object 82 becomes possible.
[0102]
(6-3) Generation of result clip FC by user definition
Further, instead of simply generating an intermediate result, an output of an intermediate object can be generated as a result clip FC.
[0103]
Here, as shown in FIG. 20, a case where a timeline 46 and objects are configured will be described as an example.
In the timeline 46, the layer L6 is a layer of a cut image named “Take12”. The layer L5 is a layer that changes the color of the image at the timing of the key frames KF1, KF2, and KF3. In addition, description is abbreviate | omitted about another layer. On the other hand, the object 83 corresponds to the layer L6 and supplies an image of “Take12” to the object 84. The object 84 changes the color and outputs the supplied image according to the timing of each key frame KF.
[0104]
When “Save As” is selected from the menu window 31 with the object 84 or the clip of the layer L5 selected, the result clip FC can be generated as an effect having a timeline. The result clip FC generated in this way appears in the bin window 34 and can be reused to generate another result clip FC.
[0105]
(6-4) Other examples
Hereinafter, an example of the configuration of the objects arranged in the timeline 46 and the object area 47 will be shown and the contents thereof will be described.
[0106]
FIG. 21 shows a partial configuration diagram of an example of objects arranged in the timeline 46 and the object area 47 when the title image is placed on the main image.
The timeline 46 is composed of four layers from the layer L1 to the layer L4. The layer L4 is a layer of video data of the image “XXX”. The layer L3 is a layer indicating the character data of the title image “ZZZ” displayed on the image “XXX”. The layer L2 is a layer for performing the synthesis process, and here, the title image “ZZZ” is synthesized with the image “XXX”. The layer L1 is a layer indicating an output.
[0107]
In the object area 47, objects 101 to 104 corresponding to each layer are provided. The object 101 is provided directly beside the layer L4 and corresponds to the layer L4. The object 102 is provided directly beside the layer L3 and corresponds to the layer L3. The object 103 is provided on the horizontal line of the layer L2, corresponds to the layer L2, and is connected to the lines from the objects 101 and 102. The object 104 is provided on the horizontal line of the layer L4, corresponds to the layer L4, and is connected to the line from the object 103.
[0108]
Then, the object 101 outputs video data of the image “XXX” at time “00:01:00”. The object 102 outputs the character data of the title image “ZZZ” at time “00:01:10”. The object 103 outputs the video data from the object 101, and also includes key frames KF1 (time “00:01:40”), KF2 (time “00:02:50”), KF3 (time “00:03:15”). The character data “ZZZ” is synthesized and output at the timing “)”. The object 104 outputs the video data from the object 103 to the outside.
[0109]
In this way, the timeline 46 manages the time of each layer L, and each object configures the connection relationship of each layer L, so that data processing can be performed flexibly regardless of the order of the layers L. it can.
[0110]
FIG. 22 shows a main part configuration diagram of the timeline 46 and each object when the title image is placed on the main image and the title image is moved by motion capture.
[0111]
The timeline 46 is composed of six layers L from layer L1 to layer L6. The layer L6 is a motion capture layer that detects the motion of an object and outputs parameters of the motion. The layer L3 is a 3D transform layer that moves an input image based on an input three-dimensional parameter. The layers L1 and L2 are the same as the layers L1 and L2 shown in FIG. Layers L4 and L5 are the same as layers L3 and L4 shown in FIG. 21, respectively.
[0112]
In the object area 47, objects 105 to 110 corresponding to the respective layers L6 to L1 are provided. The object 105 captures the motion of a certain image and outputs a three-dimensional parameter indicating the motion. The object 106 outputs video data of the main image “XXX”. The object 107 outputs the character data of the title image “ZZZ”. The object 108 is connected to the output lines of the objects 105 and 107. The object 109 is connected to the output lines of the object 106 and the object 108. The object 110 is connected to the output line of the object 109 and outputs an image from this line to the outside.
[0113]
Then, the object 108 moves the title image “ZZZ” from the object 107 based on the three-dimensional parameter from the object 105, and supplies this moving title image to the object 109. The object 109 outputs the image “XXX” supplied from the object 106 and, at the timing of the key frames KF1, KF2, and KF3, synthesizes the title image from the object 108 and supplies it to the object 110. The object 110 outputs the image from the object 109 to the outside.
[0114]
In this way, not only a simple title image can be combined with the main image, but also a moving title image can be easily combined.
[0115]
FIG. 23 shows a main part configuration diagram of the timeline 46 and each object when the title image is placed on the main image and the title image is moved in motion capture and 3D.
[0116]
The timeline 46 is composed of seven layers L from layer L1 to layer L7. The layer L7 is a layer indicating that an arbitrary object is moving. The layers L1 to L6 are the same as the layers L1 to L6 shown in FIG.
[0117]
In the object area 47, objects 111 to 117 corresponding to the respective layers L7 to L1 are provided. The object 111 outputs a three-dimensional parameter. The object 112 is connected to the output line of the object 111. The object 113 outputs video data of the main image “XXX”. The object 114 outputs the character data of the title image “ZZZ”. The object 115 is connected to the output lines of the object 112 and the object 114. The object 116 is connected to the output lines of the objects 112 and 115. The object 117 is connected to the output line of the object 116 and outputs an image from this line to the outside.
[0118]
Then, the object 112 outputs a three-dimensional parameter based on the movement of an arbitrary object from the object 111. The object 115 moves the title image “ZZZ” from the object 114 based on the three-dimensional parameter from the object 112, and supplies the title image with this movement to the object 116. The object 116 outputs the image “XXX” supplied from the object 113 and, at the timing of the key frames KF1, KF2, and KF3, synthesizes the title image from the object 115 and supplies it to the object 117. The object 117 outputs the image from the object 116 to the outside.
[0119]
In this way, the title image synthesized with the main image can be moved together with the movement of an arbitrary object.
[0120]
FIG. 24 shows a timeline 46 having the same function as in FIG. Specifically, in FIG. 23, the object 114 and the layer L4 are deleted by clicking the view switch 115a of the object 115, and the object 113 and the layer L5 are deleted by clicking the view switch 116a of the object 116. Yes.
[0121]
Therefore, the timeline 46 is composed of five layers L, layers L1 to L5.
[0122]
In this way, by clicking a predetermined view switch, objects and layers L below the input line are deleted from the input connector corresponding to the view switch, and a simple display is performed.
[0123]
FIG. 25 shows a main part configuration diagram of the timeline 46 and each object in the case of displaying a hexahedron.
[0124]
The timeline 46 includes 18 layers L from the layers L1 to L18. The layer L18 is a global move layer indicating the entire movement of the cube. The layers L15 to L17 are cube layers indicating parameters of each surface of the cube. The layer L14 is a layer of video data indicating an image “Video Side-1” which is one side of a cube. The layer L13 is a 3D transform layer that moves an image based on a three-dimensional parameter. The layers L12 and L11, the layer L10, the layer L9, the layers L8 and L7, the layers L6 and L5, and the layers L4 and L3 are the same as the layers L14 and L13 described above. The layer L2 is a combine layer indicating image synthesis. The layer L1 is an output layer that performs output processing.
[0125]
In the object area 47, as shown in FIG. 25, objects 118 to 133 corresponding to the respective layers L18 to L1 are provided. Note that the objects 119 correspond to the layers L115 to L17.
[0126]
The object 118 corresponds to the layer L18 and outputs a parameter indicating the overdue motion. The object 119 corresponds to the layers L15, L16, and L17, and outputs parameters for each of the six surfaces of the cube based on the parameters from the object 118. The object 120 corresponds to the layer L14 and outputs video data of one face of a hexahedron. The object 121 moves one surface of the hexahedron based on the video data from the object 120 and the two parameters from the object 119, and outputs this video data. The objects 122 and 123, the objects 124 and 125, the objects 126 and 127, the objects 128 and 129, and the objects 130 and 131 perform the same processing as the objects 120 and 121 described above, respectively. The object 132 corresponds to the layer L2, and synthesizes and outputs the hexahedron video data from the objects 121, 123, 125, 127, 129, and 131. The object 133 corresponds to the layer L1 and outputs a moving cube image from the object 132 to the outside.
[0127]
In this way, not only the title image but also each image can be given a motion and synthesized and output.
[0128]
FIG. 26 shows a main part configuration diagram of the timeline 46 and each object in a case where a paint function for attaching all or part of the screen to a predetermined color is provided.
[0129]
The timeline 46 is composed of four layers L from layers L1 to L4. The layer L4 is the above-described motion capture layer. The layer L3 is a background video layer which is a background image. The layer L2 is a paint layer that adds a predetermined color to the image. The layer L1 is an output layer.
[0130]
In the object area 47, objects 134 to 137 corresponding to the layers L4 to L1 are provided. The object 134 corresponds to the layer L4 and outputs a parameter indicating the motion of the object. The object 135 corresponds to the layer L3 and outputs video data of an image as a background. The object 136 corresponds to the layer L <b> 2 and performs a process of causing the color change to move based on the parameter from the object 134 with respect to the background image from the object 135. The object 137 corresponds to the layer L1, and outputs a background image from the object 136 whose color changes.
[0131]
In this way, not only an object but also a color change or the like can be given.
[0132]
FIG. 27 shows a main part configuration diagram of the timeline 46 and each object when generating three-dimensional data.
[0133]
The timeline 46 is composed of three layers L from layers L1 to L3. The layer L3 is a source video layer indicating video data of a moving object, which is a source of a three-dimensional parameter to be generated. The layer L2 is a layer of a motion capture parameter (Motion Capture Parameter) that generates a three-dimensional parameter from video data of a moving object. The layer L1 is an output layer.
[0134]
In the object area 47, objects 138 to 140 corresponding to the layers L3 to L1 are provided. The object 138 outputs video data of a moving object. The object 139 generates and outputs a three-dimensional parameter of the moving object based on the video data from the object 138. The object 140 outputs the three-dimensional parameter from the object 139 to the outside.
[0135]
As described above, a three-dimensional parameter can be generated by the configuration of the timeline 46 and the objects 138 to 140.
[0136]
As described above in detail, the editing system 1 to which the present invention is applied performs time management of data and parameters by a timeline, and shows the connection relationship of each layer that constitutes the timeline by an object. Such editing work can be easily performed.
[0137]
At this time, an intermediate result output by an intermediate object can be generated, or a user-defined result clip FC can be generated, and editing can be performed more easily than in the past.
[0138]
In addition, it is possible to easily grasp the contents of the editing process visually by deleting some objects, and to set the signal to be input to and output from the object by displaying the object properties. It can be done easily.
[0139]
The present invention is not limited to the above-described embodiment, and the design can be changed within the scope described in the claims. For example, the configuration of the main window 30 and the editor window 40 can be changed. Of course, the configuration is not limited to that shown in FIGS.
[0140]
【The invention's effect】
According to the editing system and the editing method of the present invention, time management of each clip processing layer is performed, and a clip that has been subjected to predetermined processing by one clip processing layer is processed at a higher level than the one clip layer. In order to make a layer perform predetermined processing and output a clip that has been processed in advance as a result clip output from the clip processing layer of the highest hierarchy, For each layer of the timeline, set at least one of the objects corresponding to each of the material clip, the composition process, and the output, position each object on the timeline layer basis, and display it on the display unit. The object indicated by the instruction means and the color of the object are displayed on the display means, and a clip that has been subjected to predetermined processing by one clip processing layer is placed on a clip processing layer that is higher than the one clip layer. Since the predetermined processing is performed and the processing content of the clip processing layer corresponding to the object instructed by the instruction means is output as an intermediate result, The result during the editing process can be easily confirmed. That is, since the user can confirm the output of the clip processing layer corresponding to an arbitrary object, even when performing a complicated editing process, it is possible to easily confirm the processing contents in the middle of editing. it can.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an editing system to which the present invention is applied.
FIG. 2 is a block diagram showing an internal configuration of a workstation which is a main configuration of the editing system.
FIG. 3 is a configuration diagram of each module and clip database included in the editing system.
FIG. 4 is a diagram for explaining hierarchical management of clips;
FIG. 5 is a diagram for explaining the contents of a composition process.
FIG. 6 is a diagram for explaining a video image generated by a composition process.
FIG. 7 is a diagram for explaining a menu window displayed on the display of the workstation.
FIG. 8 is a diagram for explaining an editor window in the menu window;
FIG. 9 is a diagram illustrating a run control window having a function of adjusting a current time bar displayed in an editor window.
FIG. 10 is a time scale diagram for explaining display steps per unit time.
FIG. 11 is a diagram for explaining a configuration of an object provided in an object area in an editor window.
FIG. 12 is a diagram for explaining the configuration of the object.
FIG. 13 is a diagram for explaining a configuration of the object.
FIG. 14 is a diagram for explaining a dialog box of a signal input to the input connector.
FIG. 15 is a diagram for explaining a dialog box when a signal input to the input connector is a parameter.
FIG. 16 is a diagram for explaining an object dialog box indicating object properties;
FIG. 17 is a diagram illustrating an example of a configuration of a timeline and an object.
FIG. 18 is a diagram illustrating a structure of a timeline and an object used for explaining generation of an intermediate result of an object.
FIG. 19 is a diagram illustrating a structure of a timeline and an object used for explaining generation of an intermediate result of an object.
FIG. 20 is a diagram illustrating a configuration of a timeline and an object used for explaining generation of a result clip by user definition.
FIG. 21 is a diagram illustrating a configuration of a timeline and an object when a title is placed on a video.
FIG. 22 is a main part configuration diagram of a timeline and each object when a title image is placed on a main image and the title image is moved by motion capture.
FIG. 23 is a main line configuration diagram of a timeline and each object when a title image is placed on a main image and the title image is moved by motion capture and 3D.
FIG. 24 is a main part configuration diagram of a timeline and each object when a title image is placed on a main image and the title image is moved by motion capture and 3D.
FIG. 25 is a main part configuration diagram of a timeline and each object when displaying a hexahedron;
FIG. 26 is a main line configuration diagram of a timeline and each object when it has a paint function for attaching all or part of the screen to a predetermined color.
FIG. 27 is a main part configuration diagram of a timeline and each object when generating three-dimensional data.
[Explanation of symbols]
1 editing system, 2 workstations, 30 menu window, 40 editor window, 46 timeline, 47 object area

Claims

In an editing system that edits clips that are multiple editing units and generates edited clips,
Clip processing means having a plurality of clip processing layers for performing predetermined processing on the clip while managing time;
A hierarchy determining unit that has a plurality of objects corresponding to each of the clip processing layers, and determines the hierarchy of the clip processing layers by connecting the objects to form a hierarchical structure;
An instruction means for indicating an object ;
Display processing means for displaying the processing content by the clip processing means on the display means as a timeline, and displaying the display means by connecting the hierarchical structure formed by the hierarchy determining means between the objects ,
The display control means sets at least one of the objects corresponding to each of the material clip, the composition process, and the output for each layer of the timeline, and positions each object for each layer of the timeline to display the display Display on the display means, change the object indicated by the instruction means and the color of the object, and display on the display means,
The clip processing means causes a clip processed layer on a layer higher than the one clip layer to perform predetermined processing on a clip that has been subjected to predetermined processing by one clip processing layer, and applies the object indicated by the instruction means An editing system that outputs processing contents of a corresponding clip processing layer as an intermediate result.

2. The editing system according to claim 1, wherein the display control means changes the color of the object indicated by the instruction means and the layer corresponding to the object, and causes the display means to display .

The editing system according to claim 1, wherein the clip processing means outputs the intermediate result as a result clip.

In the editing method of editing a clip that becomes a plurality of editing units and generating a result clip that has been edited,
A clip processing step in which a plurality of clip processing layers perform predetermined processing on the clip while managing time ;
A hierarchy determining step for determining a hierarchy of each of the clip processing layers by having a plurality of objects corresponding to each of the clip processing layers and connecting the objects to form a hierarchical structure ;
A display control step for displaying the processing content in the clip processing step on the display means as a timeline and displaying the hierarchical structure formed in the hierarchy determination step on the display means by connecting between the objects;
Have
In the display control step, at least one object corresponding to each of the material clip, composition processing, and output is set for each layer of the timeline, and each object is positioned in units of layers of the timeline. Display on the display means, change the object indicated by the instruction means and the color of the object, and display on the display means,
In the clip processing step, a clip that has been subjected to predetermined processing by one clip processing layer is subjected to predetermined processing by a clip processing layer that is higher than the one clip layer, and corresponds to an object that is instructed by the instruction unit. An editing method characterized in that the processing content of the clip processing layer to be output is output as an intermediate result.

5. The editing method according to claim 4, wherein in the display control step, the object indicated by the instruction means and the color of the layer corresponding to the object are changed and displayed.

5. The editing method according to claim 4, wherein , in the clip processing step, the intermediate result is output as a result clip.