JP2005278212A

JP2005278212A - 画像編集方法及び画像編集装置

Info

Publication number: JP2005278212A
Application number: JP2005125127A
Authority: JP
Inventors: Seiichi Hirai; 誠一平井; Hirotada Ueda; 博唯上田
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 1996-11-15
Filing date: 2005-04-22
Publication date: 2005-10-06

Abstract

【課題】動画像に付随する音声の編集作業が、画像表示面でのアイコン操作により容易に行なえるようにした動画像音声編集方法を提供すること。
【解決手段】動画情報の中の編集を施こすべき部分を選択し、その部分にある複数のフレーム単位の画像を横方向に配置したフィルムイメージ状の画像列１２１、１２２と、該画像列に並んで配置され、図形の幅が前記画像列に関係する音声情報のレベル設定値に対応させた少なくとも２本の横バー１２６Ａ、１２６Ｂとを表示させ、動画情報の中の編集を施こすべき部分での音声情報の編集を、前記横バー１２６Ａ、１２６Ｂ上での画面表示操作により行なうようにしたもの。
【選択図】図１

Description

本発明は、テレビジョン放送番組、或いはビデオ番組などの動画像制作に用いられる動画像編集方法に係り、特に動画像に付随している音声情報の編集方法に関する。

近年、コンピュータを用いることによる高機能化されたテレビジョン放送番組やビデオ番組の制作方法が急速に進展している。ビデオテープレコーダを用い、そのテープカウンタを頼りに、早送り、巻き戻し動作を繰り返すような映像編集技法ではなく、廉価で取り扱いや保存が容易なハードディスクに格納した画像を用いて編集を行なう、いわゆるダイレクト方式の技法を用いた動画像編集装置が、最近、にわかに注目されるようになってきた。

ところで、ここで言う動画像とは、時系列的にそれぞれ独立して並べられた複数のフレーム単位の画像からなるものであり、動画として表示することができる画像情報や音声情報あるいはその二つの情報からなる情報のことである。

ところで、画像編集作業は、何れにしても編集者の有するフィーリングで判断されるべき作業が中心となる。画像編集方法としては、編集映像画面で映像を操作するための表示、いわゆるアイコン表示（以下アイコンと称す）を画像情報と関連付けて用いることにより画像編集を行なう方式の装置が使用されている。

図２２と図２３は、このような画像編集装置の従来技術において、時系列な映像素材（動画像）のうちの所望のカット（複数のフレーム単位画像の連なり）または他の複数のカットにより構成されるシーンと他の所望のカットまたはシーンとのエフェクト編集、すなわち、画像の内容を変化させながら画像の内容が切り替わる編集を行なうときでの画面表示例を示したものである。

ここで、まず図２２は、コンピュータ支援による編集作業用画面の表示例で、次に図２３は、コンピュータ支援による編集作業用画面の別の表示例である。これらの編集作業は、ともに市販されている代表的な画像編集用ソフトウエアを使用する。

このとき用いられる編集装置の一般的な構成は、コンピュータをベースとしたシステムであり、より具体的には、中央処理ユニット、メモリ及びオペレータにより操作される種々の装置を備えた典型的かつ汎用的なコンピュータ構成によるものである。

図２４は、（従来技術による）画像編集システムの一例で、コンピュータ４０１を備えており、このコンピュータ４０１に、例えば１９インチの寸法の表示スクリーンを有するモニタ４０７が接続されている。

ビデオ再生ユニット（ＶＴＲ）４０２は、ＮＴＳＣ方式、ＰＡＬ方式、或いはその他のフォーマット方式の任意のビデオ情報（画像情報）を再生することができる。このビデオ再生ユニット４０２から再生されたビデオ情報がビデオキャプチャ／フレーム記憶ユニット４０３に送られ、そこにデジタル情報化されて格納される。

こうしてビデオキャプチャ／フレーム記憶ユニット４０３に格納されたビデオ情報は、次に伸長器／圧縮器４０４を介してディスクアクセラレータ４０５に供給される。この伸長器／圧縮器４０４は、ビデオ情報を圧縮伸長するもので、現在最も高速のＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃｃｏｄｉｎｇＥｘｐｅｒｔｓＧｒｕｐ）チップを用いた伸長／圧縮プロセッサが多く用いられている。

次にディスクアクセラレータ４０５は、ビデオ再生ユニット４０２からビデオキャプチャ／フレーム記憶ユニット４０３に送られ格納されたビデオ情報を、１台又は複数台のディスク記憶ユニット４０６へ送信し、又はそこから受信するためのものである。

コンピュータ４０１は、制御信号４０８、４０９、及び４１０によって、画像編集装置の各構成部分、すなわち、ビデオキャプチャ／フレーム記憶ユニット４０３、伸長器／圧縮器４０４、ディスクアクセラレータ４０５を制御する。

そして、ディスク記憶ユニット４０６に記憶されたビデオ情報は、これから実行すべき編集作業及び他の作業のため、コンピュータ４０１からの制御信号４０８、４０９、及び４１０によってディスク記憶ユニット４０６から読み出され、ディスクアクセラレータ４０５、伸長器／圧縮器４０４を介してビデオキャプチャ／フレーム記憶ユニット４０３に読み取ることができるようになっている。

この図２４に示した装置は、所望のビデオ情報にアクセスするためには、原理的にビデオテープの巻き取り動作が必要な従来のシーケンシャル・ファイル装置とは異なり、ビデオ情報に「直ちに」アクセス（ランダム・アクセス）できるという特徴があり、このため、上記したように、ダイレクト方式の技法を用いるものである。

上記した図２２と図２３は、編集作業時、モニタ４０７に表示される第１と第２の編集作業用の画面例である。図２２と図２３において、２１０、３１３で示す縦のラインは、編集作業時の基準位置を表示するための、現在位置バーとよばれる図形である。

図２３の画面の３０２、３０３は、上記現在位置バーの位置を基準とした編集対象のカットあるいはシーンの位置および範囲を相対的に表示するためのタイムラインである。それぞれの編集対象のカットあるいはシーンの属する画像情報ごとにタイムライン表示用のトラックが割り当てられることで、その対応するトラック名が付けられる。

また、図２２の画面の２０３は、編集された後のカットあるいはシーンの位置および範囲を相対的に表示するためのタイムライン、さらに、３０４は、二つのタイムライン３０２と３０３の画像の合成編集時に合成される範囲を示すタイムラインである。

２０１（図２２）、３０１（図２３）はタイムライン・ウインドウで、そのウインドウ上に上記タイムラインが表示される。なお、タイムライン２０３、３０２、３０３は、画面操作によりスクロール移動させることができる。

２０５はプログラム・ウインドウで、タイムライン・ウインドウ２０１中に表示されているタイムライン２０３の画像のシーンを確認するために、ディスク記憶ユニット４０６から読み出されたビデオ情報によりその画像が表示される。なお、画像表示の再生開始および再生停止の位置である、マーク・イン位置及びマーク・アウト位置を、図２４のコンピュータ４０１が接続された指示装置であるマウス（図示せず）により指示するためのボタン群が合わせて表示されている。

２０６、３０６はワーキングビン・ウインドウ、或いはプロジェクト・ウインドウと呼ばれるウインドウで、ディスク記憶ユニット４０６に記録されているビデオ情報（画像情報）、主に編集された編集画像情報を表示するものである。

そして、エフェクト編集を行なうためには、各種のビデオエフェクトパターンを一覧表示するためのウインドウ３０５と、エフェクトの種類やその効果量を設定するためのエフェクト設定ウインドウ３１２とが、あるいは、これら２つのウインドウの機能を合わせ有するビデオエフェクトパネルウインドウ２０７が設けてある。

エフェクト編集とは、画像に対してワイプ・エフェクトやディゾルブ・エフェクトなどの特殊効果処理を施す編集である。ワイプ・エフェクトとは、画像Ａから画像Ｂへ転換する過程で、ある変化するパターンで画像Ａを拭き取るようにして画面から消し去り、代わりに画像Ａを消し去った領域に別の画像Ｂが現れてくるような画像処理である。ディゾルブ・エフェクトとは、画像Ａを画像Ｂに転換する過程で、画像Ａの輝度が徐々に低下して消滅するまでの間に画像Ｂが徐々に現れてくる画像処理である。エフェクト編集にはワイプ・エフェクトやディゾルブ・エフェクト以外の他の特殊効果処理も含まれる。

次に、エフェクト編集に必要な動作を、これら図２２と図２３により、さらに詳しく説明する。
＜図２２の場合＞まず、ワーキングビン・ウインドウ２０６に表示されたシーンまたはカット毎に異なる映像素材のうちの２つがマウスの操作によってそれぞれ選択され、タイムライン２０３上につなぎ合わせるための順序でもって配置される。次いで、さらにマウスにより、二つの映像素材のつなぎ合わせの位置にバー２１０が移動させられることで、その移動された位置におけるエフェクト編集が開始される。

すなわち、ビデオエフェクトパネルウインドウ２０７に表示された、エフェクトの種類を選択するメニューバー２０８や、マウスと同様にコンピュータ４０１に接続されたキーボード（図示せず）からの数値入力によりエフェクト時間が設定可能なウインドウ２０９、さらに、その他の設定量、例えば左から右へ場面転換する縦ワイプの境界の幅、ぼかしなどの量を設定可能なスライダーを操作することで、ユーザの好みに合わせた編集を行なうのである。

このとき、編集されたシーンまたはカットのエフェクトの様子は、編集された後の複数の静止画像２０２が、タイムライン・ウインドウ２０１上に、所定のフレーム間隔で並べて表示されることにより、知ることができるようになっている。ここでの所定のフレーム間隔数については可変設定が可能であり、この設定は、プログラム・ウインドウ２０５中のメニューバー中から所定のメニューが選択されることで行なうのである。

＜図２３の場合＞まず、プロジェクト・ウインドウ３０６に表示された、シーンあるいはカットの異なる映像素材のうちの２つがそれぞれ選択され、タイムライン３０２、３０３上にそれぞれＡロール、Ｂロールとして配置される。ここでＡロール、Ｂロールとは、２つのシーンまたはカットを合成編集する場合に、それらのおのおのを区別して呼称するためのものであり、この場合の合成編集をＡＢロール編集とも称す。

次に、エフェクト時間を設定するためにタイムライン３０３がマウスにより移動されて、タイムライン３０２と横軸（時間軸）方向に所定の重ね合わせ幅となるようにする。
さらに、ビデオエフェクトパターン表示ウインドウ３０５に表示された各種エフェクトパターンからいずれか１つのパターンがユーザにより選択されると、エフェクト設定ウインドウ３１２が表示されると共に、選択されたパターンを表わすエフェクトパターン記号がタイムライン３０４上の上記重ね合わせの範囲に表示される。

そこで、エフェクト設定ウインドウ３１２においてエフェクトの設定量を可変するように操作してユーザの好みの編集を行なう。
このとき、タイムライン・ウインドウ３０１内のタイムライン３０２、３０３上における所定のフレーム間隔で、それぞれ編集前の静止画像表示が行われるが、このフレーム間隔数設定は、スライダー３１５にて行われるのである。

ところで、動画像には、音声が随伴しているのが一般的であり、この場合、音声についての編集も必要になるが、このときの音声の編集形態としては、大別して次の２種の形態がある。

まず、第１の形態は、映像Ａの或るシーンに、映像Ｂの或るシーンをつなぎ合わせる際に、そのつなぎ目において、音声Ａを徐々に減衰させると共に、音声Ｂを徐々に増大させ、この状態を重ね合わせる、いわゆるオーバーラップ編集である。

このオーバーラップ編集は、つなぎ目での音声の突然の変化によって生じる不自然さを防止し、スムーズなシーンの切り替えを可能にするなどの目的で使用されるものである。
次に、第２の形態は、映像に付随している音声とは別に、新たな音声を映像に付加する編集、いわゆるミキシング編集である。このミキシング編集は、ＢＧＭ（バック・グランド・ミュージック）などを映像に付加したい場合に用いられる。

ところで、これらの編集を行う際、従来の放送番組制作現場において主流となっていた方法は、２台のＶＴＲを用意し、これら２台の再生出力をミキサーに入力し、編集者が、再生されてくる音声を聴きながらミキサーを操作し、各音声の減衰の度合いと、増大の度合いとを再生中に決めながら行なう方法であった。

上記従来技術は、編集作業を容易にする点について配慮が充分にされているとはいえず、編集作業に高い熟練が必要で、且つ多大の労力、時間を要するという問題があった。
すなわち、上記したように、これらの編集に際して、従来技術では、２台のＶＴＲを用意し、これら２台の再生出力をミキサーに入力し、編集者が、再生されてくる音声を聴きながらミキサーを操作し、各音声の減衰の度合いと、増大の度合いとを再生中に決めなければならないので、作業に高い熟練を要する上、編集の修正・変更を行う場合は、ＶＴＲを一旦巻戻して、最初からやり直す必要があり、このため、多大の労力と時間を必要とするのである。

また、従来から用いられている、いわゆるノンリニア編集においては、タイムライン方式による編集形態が主流になっている。この方式は、時間軸方向を表示画面の横方向に置き換えて帯状に表示したウインドウにおいて、映像・音声の各素材をマウス操作を用いて挿入することにより編集を進めていくものである。

しかし、このタイムライン方式でも、映像・音声共に、それぞれその時間長に応じた長さを有する帯で表示されるだけであるため、オーバーラップ編集での編集点やミキシング編集でのミキシング開始点を決定する場合に、映像を確認しながらの作業が困難であるという問題があった。

本発明は、画像のエフェクト編集や音声編集をコンピュータグラフィカルユーザインタフェース画面上での操作で簡単にかつ早くできる編集方法と編集システムおよびその編集処理を実行するプログラムを格納した記録媒体を提供する。

本発明は、音声情報と動画像情報とを含む映像情報素材をコンピュータ支援のもとで編集処理を行うための編集方法と編集システムを提供する。
本発明による編集方法および編集システムにおいては、映像情報素材の情報が記憶装置に格納され、記憶装置から映像情報が読み出され、読み出された映像情報が表示装置の画面に表示され、ユーザの指示に応じて映像情報の編集位置を画面の映像情報表示上で表示され、ユーザの指示があった場合に編集位置の変更が行われ、表示された編集位置の映像情報に対してユーザが指定した編集処理が施され、そして編集された映像情報が画面に表示される。

従って、ユーザは、画面上で編集素材と編集結果の両方を同時に確認しながら編集処理ができる。
本発明の他の実施例によれば動画像情報の編集に連動して関連する音声情報の表示が変更される。

本発明の別の実施例によれば、動画像情報の画素を間引くことにより縮小動画像を作成して前記記憶装置に格納され、記憶装置より読み出した縮小動画像からフィルムイメージの動画像を作成してそれが画面で編集素材として表示される。

さらに、本発明の目的は、動画像に付随する音声の編集作業が、画像表示画面でのアイコン操作により容易に行なえるようにした動画像音声編集方法を提供することにある。

本発明の動画像音声編集方法は、画像情報に対応する音声情報および前記音声情報とからなる映像素材の編集処理を行う動画像編集方法において、複数の映像素材を記憶装置に記憶し、記憶装置から編集を行う複数の映像素材を読み出し、読み出した複数の映像素材の画像情報と音声情報を表示装置の画面に並べて表示し、音声情報の音量レベルの制御可能な図形幅を有するバー図形を表示装置の画面に表示し、バー図形の図形幅を変更することにより映像情報の編集とは独立に音声情報の編集が行なえること。

本発明の動画像音声編集装置は、画像情報に対応する音声情報および前記音声情報とからなる映像素材の編集処理を行う動画像編集装置において、複数の映像素材を記憶装置に記憶する手段と、記憶装置から編集を行う複数の映像素材を読み出す手段と、読み出した複数の映像素材の画像情報と音声情報を表示装置の画面に並べて表示する手段と、音声情報の音量レベルの制御可能な図形幅を有するバー図形を表示装置の画面に表示する手段と、映像情報の編集とは独立にバー図形の図形幅を変更する手段とを有すること。

上記発明が解決しようとする課題に記載した目的は、映像情報に含まれる動画情報及び音声情報の編集を、画面表示操作により行なうようにした動画像音声編集方法において、動画情報の中の編集を施こすべき部分を選択し、その部分にある複数のフレーム単位の画像を画面の所定の方向、例えば横方向に配置したフィルムイメージ状の画像列と、該画像列に並んで配置され、図形の幅が前記画像列に関係する音声情報のレベル設定値に対応させた少なくとも２本の横バー図形とを表示させ、前記動画情報の中の編集を施こすべき部分での音声情報の編集を、前記横バー図形上での画面表示操作により行なうようにして達成される。

映像情報の編集すべき部分の画像が、表示画面上で左右に並んだフィルムイメージとして表示されているので、この画像表示を見ることにより、画像情報と音声情報の対応が可能になり、ここで横バー図形上での対応した部分の画面表示操作をすればよいので、音声情報の編集が容易になる。

本発明によれば、映像と音声の関係が一目瞭然に得られるので、映像を見ながらの音声の編集点の決定・修正・変更を容易に得ることができる。また、本発明によれば、編集に使用する画像が人間の感性に近い直感的な表示として得られるので、音声の編集に際して特に熟練度を要せず、この点でも容易に編集を行なうことができる。

以下、本発明について、図示の実施形態により詳細に説明する。図２は、このような動画像編集に使用される装置の一例を示したもので、この装置は以下に説明する各部分で構成されている。

各種制御を処理するＣＰＵ５０１、画像編集に用いるシーンやカットの画像情報及び編集状態を表す階層構造（ツリー構造）などの、各種の情報を表示するモニタ５０８、ＣＰＵ５０１の各種制御プログラムなどを記憶するメモリ５０２、上記画像情報や音声情報およびそれらに関する情報を記憶する記憶装置、例えば、磁気記録装置５０６、モニタ５０８に表示するための画像を記憶するフレームバッファメモリ５０７、複数のシーンからなる画像あるいはシーンにおける、カットとカットの間の変化点であるシーン変化点を検出するシーン変化点検出部５０３、入力装置としてのマウス（又はキーボード）５０９、ビデオテープレコーダ（以下、ＶＴＲと称す）５０５からの画像情報を圧縮して圧縮画像データを生成し、また、圧縮画像データを伸張してＶＴＲ５０５からの画像情報と同等の画像情報を再生する圧縮伸張部５１１、ＶＴＲ５０５にそれぞれ接続されたビデオインタフェース５０４およびオーディオインタフェース５１２などで構成されている。

また、磁気記憶装置５０６に記憶された画像情報からは、ＣＰＵ５０１の制御により、元の画像素材から情報量が例えば１／６４にまびきされた高速表示用縮小画像が生成され、磁気記憶装置５０６に記憶される。

そして、これらＣＰＵ５０１、メモリ５０２、シーン変化点検出部５０３、ビデオインタフェース５０４、オーディオインタフェース５１２、磁気記録装置５０６、フレームバッファ５０７は、それぞれバス５１０に接続されており、このことによりＣＰＵ５０１からのアクセスにより各部が制御されるようになっている。

シーン変化点検出部５０３は、入力された動画像を各フレーム毎に色分布の変化の様子を解析し、カットとカットの間の変化点であるシーン変化点を検出する。画像縮小部５１３は、オリジナルの映像素材から画素を間引くことにより高速表示用動画像を作成する。磁気記憶装置５０６は、高速表示用動画像を記憶すると共に、検出部５０３からの検出結果と高速表示用動画像との関係を記述した動画像解析情報を記憶する。

モニタ５０８は、磁気記憶装置５０６に記憶された高速表示用動画像を、その解析情報に基づき表示すると共に、ユーザにＧＵＩ（グラフィカル・ユーザ・インタフェース）、すなわちマウスやキーボード等の入力装置の操作を用いて画像表示された所定の表示領域を選択することを基本として、様々なデータ入力操作を行なうと共に、その操作に対応した出力表示が行なわれるようにしたインタフェースを実現するための編集画面を提供する。

フレームバッファ５０７は、モニタ５０８に表示するための画像を記憶する。メインメモリ５０２は、各種制御プログラムなどを記憶する。マウスまたはキーボード５０９は、各種オペレートの指示入力装置として用いられる。

ビデオインタフェース５０４は、ＶＴＲ（ビデオテープレコーダ）５０５からの映像信号を入力し、この装置で扱う動画フォーマットに変換する。画像圧縮伸張部５１１は、オリジナル映像情報をデータ圧縮し、また、圧縮された情報を伸張する。オーディオインタフェース５１２は、ＶＴＲ５０５とコンピュータとの間で音声信号データがやり取りできるように音声信号に関わる変換処理を行う。ＣＰＵ５０１は、上記の各部を制御し、それらの動作を管理する。

そして、これらシーン変化点検出部５０３、磁気記憶装置５０６、モニタ５０８、フレームバッファ５０７、メインメモリ５０２、マウスまたはキーボード５０９、ビデオインタフェース５１２、画像圧縮伸張部５１１、オーディオインタフェース５１２は、ＣＰＵ５０１と共に、バス５１０に接続されており、ＣＰＵ５０１からのアクセス信号により制御される。

なお、磁気記憶装置５０６の代りに、他の記憶媒体、例えば、光磁気記憶装置を用いても良く、或いはネットワークを介してバス５１０に接続されたリモートファイルを用いるようにしても良い。

ＣＰＵ５０１は、シーン変化点検出部５０３で検出されたシーン変化点検出情報をもとに、高速表示用動画像の中からシーンまたはカットの変わり目の画像を取り出し、その画像が属しているシーンまたはカットの代表となる画像を、図１３に示すツリー構造表示用ウインドウ１３０１内のアイコン画像１３０２〜１３０４としてモニタ５０８に表示させるようにする。なお、アイコンとは、画面表示操作用の小画像または図形のことである。

そこで、ユーザ（編集作業者）は、このモニタ５０８の画面に表示された図１３に示す画像を編集操作対象とし、このアイコン編集画面上で階層構造（ツリー構造）として組み立てることにより、編集を進めていく。

図１３のツリー構造において、中位の階層にある画像、例えば画像１３０３は、それに属する下位の階層の複数の画像１３０２を一つのまとまりとして表現したもので、物語でいうところの章・節に相当し、同様に最上位の階層にある画像１３０４が例えば中位の階層にある複数の画像１３０３を表したもので、ストーリー全体に相当する。

この方法によれば、シーン、カットを単位とした編集を行えるので、ストーリーの組立が容易になり、しかも、入力された動画像に対するシーンまたはカット単位の分割がほぼ自動的に行われるので、ユーザの手をほとんど煩わすことがなく、さらに、動画像を階層構造で記憶して管理することができるので、必要なシーン、カットの検索が容易になるなどの利点があり、動画像編集に際してのユーザの負担を軽減することができる。

図２に示す実施例の編集システムは、動画像に付随する音声の編集作業、例えばオーバーラップ編集やミキシング編集が、画像表示画面でのアイコン操作により容易に行なえるようにした動画像音声編集方法を提供する。

図２の実施例による音声編集では、映像情報の編集すべき部分の画像が、表示画面上で左右に並んだフィルムイメージとして表示されている。この画像表示を見ることにより、画像情報と音声情報の対応が可能になり、ここで横バー図形上での対応した部分の画面表示操作をすればよいので、音声情報の編集が容易になる。

次に、この図２の動画像編集装置を用いた本発明の一実施形態での動作について、図２と図３を用いて説明する。なお、このとき、図３では、矢印がＣＰＵ５０１による制御処理を表わす。

まず、オペレータからのマウス又はキーボード５０９による指示により、ＶＴＲ５０５に装着済みのビデオテープから映像信号および映像信号が出力され、映像信号と音声信号が磁気記憶装置５０６へ登録される処理が開始される。このとき、ＶＴＲ５０５から１フレーム単位の動画像がビデオインタフェース５０４、バス５１０を介して、シーン変化点検出部５０３に供給される（図３の処理７０１）。

シーン変化点検出部５０３は、この入力された動画像をデジタル化して、各画像間の色分布情報を解析し、シーン変化点の検出を行う（処理７０２）。これにより、シーン変化点検出部５０３によって生成されたシーン変化点のフレーム番号からなる動画像解析情報が、磁気記憶装置５０６に記憶される（処理７０３）。

また、同時に、高速表示用動画像が磁気記憶装置５０６に格納される（処理７０４）。この高速表示用動画像は、シーン変化点検出部５０３に入力された動画像とイメージ上同じデータを、各種表示を行うためのＧＵＩ（グラフィカル・ユーザ・インタフェース）環境のサイズに合わせて縮小化処理（処理７０５）したものであり、本編集装置において操作の対象とされるものである。

一般的に、符号化された動画像の中から、任意の画像を映像信号に戻して画像再生するためには、符号化された動画像を復号化する必要があり、ＣＰＵ５０１では、この復号化のための処理時間を要する。しかして、この実施形態では、上記したように、予め高速表示用の縮小画像を格納しているので、復号化処理は行なわず、そのための復号化処理時間が不要になり、全体の処理時間をより短くすることができる。

さらに、シーン変化点検出処理（処理７０２）と高速表示用動画像の磁気記憶装置５０６への格納（処理７０４）と同時に、動画像を画像圧縮伸張部５１１により画像圧縮技術を用いて符号化し（処理７０６）、符号化された動画像が磁気記憶装置５０６に格納される（処理７０７）。なお、この格納された符号化された動画像は、高速表示性を必要としない場合、例えば編集最終結果を詳細に見たい場合などに用いられるものである。

一方、ＶＴＲ５０５で再生された音声出力信号も、オーディオインタフェース５１２を介して、デジタル化された音声情報となって、磁気記憶装置５０６に格納される（処理７０８）。

次に、編集作業者（オペレータ）は、磁気記録装置５０６に登録した高速表示用動画像の読み出しを、マウスまたはキーボード５０９により指示する。これにより、ＣＰＵ５０１は、対応する動画像のシーン解析情報を磁気記憶装置５０６から読み出し、その情報に基づいて各シーンの例えば第１フレーム目の画像だけ高速表示用動画像から読み出し、図４に示すように、モニタ５０８のメインウインドウ４２１に表示する。

このときのメインウインドウ上での動画像表示などのアイコンが、この実施形態で操作対象となる。そして、オペレータは、このアイコンをモニタ表示画面上で操作し、図４のツリー構造表示用ウインドウ４２１に示されている階層構造（ツリー構造）状に組み立てることにより、ストーリーに従った動画像を作成していくのである。以下、具体的な事例として、図４に示すツリー構造に対するオーバーラップ編集を例として説明する。

アイコン４２２に代表されるシーン（以下シーンＡと称する）と、アイコン４２５に代表されるシーン（以下シーンＢと称する）との間に音声のオーバーラップ編集を施す場合、先ず、編集モードへの移行は、アイコン４２２とアイコン４２５をマウス５０９でクリックした後、ボタン群４２６の中のオーバーラップ編集ボタンをクリックすることで行われる。これにより編集画面４２０が表示され、この画面を拡大すると図１に示すようになる。

図１において、１２１、１２２は、それぞれシーンＡとシーンＢに属する動画像（以下、画像Ａ、画像Ｂと記す）の所定区間の各フレームの高速表示用動画像を時系列的に左から右にフィルムイメージ状に配置して表示させた縮小動画像列である。

次に１２３、１２４は、それぞれシーンＡ、シーンＢに対応する音声（以下、音声Ａ、音声Ｂと記す）の波形表示部であり、記録装置５０６から読み出される。このとき、シーンのつなぎ目は１２５で表される。

そして、これらの表示は、オペレータが画像列の表示する画像の隣接フレーム間隔を設定するためのアイコン（以下、設定アイコンと称す）１２８を操作することにより、設定したフレーム数おきに縮小画像が表示される。さらに、表示位置設定アイコン１２７を操作することにより、画像列１２１、１２２全体の中で任意の区間の表示ができるようになっている。

次に、つなぎ目１２５およびその近傍において、音声Ａを減衰させ、音声Ｂを増大させるように、適応的に音量を可変制御するオーバーラップ編集を行なうために、音量制御レベル（ボリューム・コントロール・レベル）の値を各音声情報に応じて設定する。ＣＰＵ５０１は磁気記憶装置５０６から、音声Ａと音声Ｂそれぞれの編集対象の音声情報を読み出し、読み出された音声情報を基としてその編集対象部分に所定の減衰率で減衰させた音声情報を新たに生成し、生成された音声情報をＣＰＵ５０１から磁気記憶装置５０６に書き込み直す。

その場合、各音声情報の編集対象部分の範囲を選択し、かつ所定の減衰率を設定することで、音量の制御を可能とするための操作機能としては横バー図形表示部１２６からなる表示図形によって得られるようになっている。ここで、まず横バー１２６Ａは音声Ａに対応し、その黒ぬりされた各所の上下幅が音声Ａの各所定期間に設定されたボリューム・コントロール・レベルを表わす。次に横バー１２６Ｂは音声Ｂに対応して、その黒ぬりされた各所の上下幅が音声Ｂの各所定期間に設定されたボリューム・コントロール・レベルを表わす。

本発明の音声編集によれば、音声振幅レベルの調整のみならず、他の音声パラメータ、例えば種々の音質レベルの内の一つや音程レベルを、任意に指定した編集区間において調整することもできる。例えば、バー図形１２６上の白丸１２９〜白丸１３２は、そのような音声パラメータの調整区間を指定するためのアイコンであり、バー図形１２６の斜め部分の傾斜は音声パラメータが徐々に変化することを示す。音声の振幅レベル、音質レベルおよび音程レベルのパラメータを指定するボタンアイコン６３１、６３２、６３３を図６のウインドウ中に設けることができる。オペレータは編集対象の音声パラメータをボタンアイコン６３１，６３２，６３３のどれかをマウスでクリックして選択する。また、ボタンアイコン６３４をマウスで指定すると、編集区間（フェード時）の音声にエコー効果が施される。

次に白丸図形１２９は、音声Ａのレベル減衰開始点設定用の設定アイコンである。白丸図形１３０は音声Ａのレベル減衰終了点設定用の設定アイコンである。白丸図形１３１は音声Ｂのレベル増加開始点設定用の設定アイコンである。そして白丸図形１３２は音声Ｂのレベル増加終了点設定用の設定アイコンである。

フィルムイメージの画像列１２１、１２２と音声波形表示部１２３、１２４、横バー表示部１２６、表示位置設定アイコン１２７、それや表示間隔設定アイコン１２８は、互いに連動して表示制御されており、操作結果は即時に反映される。

そこで、オペレータは、フィルムイメージ状の画像列１２１、１２２と音声波形とを見ながら、横バー１２６Ａ、１２６Ｂを操作することによりオーバーラップ編集を行なうようになっている。

さらに、別の実施例の編集画面４２０の様子を図１５に示す。図１５において、１２１、１２２は、それぞれシーンＡとシーンＢに属する動画像（以下、画像Ａ、画像Ｂと記す）の所定区間の各フレームの高速表示用動画像を時系列的に左から右にフィルムイメージ状に配置して表示させた縮小動画像列である。

なお、縮小動画像列それぞれの点線で記された部分は、編集された画像列には含まれない、すなわち、影響を及ぼさない映像部分であることを表している。
次に１２３、１２４は、それぞれシーンＡ、シーンＢに対応する音声（以下、音声Ａ、音声Ｂと記す）の波形表示部であり、記録装置５０６から読み出される。このとき、シーンのつなぎ目は１２５で表される。

以下、図１５において、図１と同じ符号を付けられているものはそれぞれ同じであり、説明を省略する。なお、１３６、１３７は、それぞれ編集された画像イメージ列と同じく編集された音声イメージ（音声波形）列とを表す。

ここで、この実施形態による横バー１２６Ａ、１２６Ｂによる音声編集処理について、図５を参照して説明する。オペレータは、映像を見ながら４点の白丸図形１２９〜１３２を指定し横方向に移動させるだけの簡単な作業で、音声Ａ減衰開始点位置５２１、同終了点位置５２２、音声Ｂ増加開始点位置５２３、同終了点位置５２４、スプリット量５２５、５２６、フェード時間長５２７、５２８、トランジション時間長５２９など、編集に必要な各種のパラメータを任意設定することができる点にある。

例えば、いま、白丸図形１２９をマウスドラッグして、図５（ａ）の位置５２１から、図５（ｂ）に示すように、位置５２３に移動させたとすると、音声Ａの減衰開始時点位置５２１が例えば画像の１フレームだけ遅くなる。これに応じて音声Ａのスプリット量５２５とフェード時間長５２７、そして音声Ａと音声Ｂ間の音声トランジション時間長５２９も例えば１フレーム分減少し、これにより音声Ａは、図５（ａ）のときよりも速やかに減衰するようになる。

次に、白丸図形１３０を、図５（ａ）の位置５２２から、図５（ｃ）に示すように、位置５３０に移動させたとすると、今度は音声Ａの減衰終了が例えば１フレームだけ遅くなり、音声Ａのフェード時間長、音声Ａと音声Ｂ間の音声トランジション時間長が例えば１フレーム分増加し、音声Ａは、図５（ａ）の場合より緩やかに減衰するようになる。

一方、白丸図形１３１を、図５（ａ）の位置５２３から、図５（ｄ）に示すように、位置５２１に移動させたとすると、音声Ｂの増加開始時間が例えば１フレームだけ早くなり、音声Ｂのスプリット量とフェード時間長が例えば１フレーム分増加し、この結果、音声Ｂは、より早い時点からより緩やかに増加するようになる。

また、白丸図形１３２を、図５（ａ）の位置５２２から、図５（ｅ）に示すように、位置５２４に移動させたとすると、音声Ｂの増加終了時間が例えば１フレームだけ早くなり、音声Ｂのフェード時間長と音声Ａと音声Ｂ間の音声トランジション時間長が例えば１フレーム分減少し、音声Ｂは、より速やかに増加するようになる。

従って、このようにすることにより、この実施形態によれば、シーンのつなぎ目でも音声がよりスムーズに聞こえるように、容易に編集を進めて行くことができることになる。
ところで、この実施形態では、４点の白丸図形１２９、１３０、１３１、１３２の移動は、画面４２０上でフィルムイメージで表示されている画像列１２１、１２２の各画像上をマウスでクリックすることによっても与えられるように構成してある。さらに、横バー表示部１２６そのものの位置をマウスでドラッグすることもでき、映像と音声との対応付けをずらすことも可能にしてある。

次に、作業を終わり、編集結果を決定する場合には、ＯＫボタン１３５をマウスでクリックすることにより、与えられるように構成してある。これにより、上記操作結果が反映され編集された動画像が磁気記憶装置５０６に格納され、同時にツリー構造情報の変更が行われ、この結果、動画像編集装置のメインウインドウ上でのツリー構造の表示は図１１に示すように変わる。このとき、音声も含めて編集を実施したという情報は、図１１の図形１００１として、同じく動画像編集装置のメインウインドウ上に表示される。

また、この編集決定前に、編集状態について確認したい場合には、図１のプレビューボタン１３３をマウスでクリックしてやれば良い。これにより、図１４に示すように、画像圧縮伸張部５１１で圧縮して格納してある６４０×４８０サイズの映像がモニタ５０８のウインドウ４３０に再生されるように構成してあり、編集状態を容易に確認することができる。

次に、この実施形態では、シーンのつなぎ目に、ワイプ、ディゾルブ等の画像の特殊効果処理を同時に行いたい場合も、同様の方法で編集を行うことができるように構成されている。以下、映像のエフェクト編集に伴う音声編集の動作について説明する。

このときの、編集モードへの移行は、前述のオーバーラップ編集と同様な動作による。図４に示すメインウインドウ上で、アイコン４２２とアイコン４２５をマウス５０９でクリックした後、ボタン群４２６の中のワイプ、ディゾルブ等の特殊効果処理ボタン４２８、４２９をクリックすることで行う。これにより、移行後の編集画面４２０は図６に示すようになる。

図２１の表示画面は、オペレータによりワイプ処理が選択された場合の編集画面である。ここで画像列１２１、１２２と、音声Ａ、音声Ｂの波形表示部１２３、１２４、横バー表示部１２６、横バー１２６Ａ、１２６Ｂ、表示間隔設定アイコン１２８、表示位置設定アイコン１２７、それに白丸図形１２９〜１３２は、図１で説明した通りである。

この図６において、まず６０５は、画像Ａ、画像Ｂに対してワイプ処理を行った結果、得られた編集後の画像をフィルムイメージ状の縮小動画像列として表示したものである。このときのワイプ効果の種類は、オペレータによるワイプパターン６０６の選択により決定される。

６０７は、画像Ａと画像Ｂの間のワイプの長さを表わす横バー表示部で、ここでの２本の横バー６０７Ａ、６０７Ｂが、それぞれ画像Ａと画像Ｂが表示されている部分の長さを表わすようになっている。従って、これらの横バー６０７Ａ、６０７Ｂが重なっている部分でワイプの長さが表わされることになる。

そこで、これらの重なり部分における音声Ａの減衰、音声Ｂの増大の度合いを決定する機能は、横バー表示部１２６によって実現される。このとき、白丸図形１２９が音声Ａの減衰開始点を、白丸図形１３０は音声Ａの減衰終了点を与えるものである。同様に、白丸図形１３１は音声Ｂの増大開始点を、白丸図形１３２は音声Ｂの増大終了点を与えるものである。

そして、これらの表示において、オペレータは、表示間隔設定アイコン１２８を操作することで、任意の範囲を選択して表示させることができる。また、表示位置設定アイコン１２７を操作することで、任意の区間を選択して表示させることができる。このとき、フィルムイメージのカット列や音声波形表示、各バーや各アイコンは、互いに連動し、各バーや各アイコンに対する操作結果は、即時に互いへ反映される。

次に、横バー表示部１２６によるエフェクト編集処理について、図７と図８により説明する。オペレータは、図６に示すフィルムイメージ状に表示された動画像列１２１、１２２と音声波形表示部１２３、１２４を見ながら、横バー表示部６０７と横バー表示部１２６を操作することによりワイプ、ディゾルブなど、画像の特殊効果処理時のオーバーラップ編集を行う。

まず図７（ａ）は、オペレータが横バー６０７Ａ、６０７Ｂをマウスにより操作し、画像Ａと画像Ｂに重なり部分を与えた状態を示したものである。この重なり部分の長さがワイプの長さとなる。このとき、横バー１２６Ａ、１２６Ｂは、横バー６０７Ａ、６０７Ｂに与えられた操作に連動し、自動的に図７（ａ）に示す状態になる。

次に、図７（ａ）に示す状態から、白丸図形１２９をマウスドラッグして、図７（ｂ）に示す位置に移動させたとすると、音声Ａのスプリット量７１５が例えば１フレーム分発生し、フェード時間長７１７と、音声Ａと音声Ｂ間の音声トランジション時間長７１９はそれぞれ例えば１フレーム分増加し、ワイプ開始より早い時点から音声Ａの減衰開始が始まるようにすることができる。

一方、白丸図形点１３０を、図７（ａ）の状態から、図８（ａ）の位置に移動させると、音声Ａのフェード時間長７１７と、音声Ａと音声Ｂ間の音声トランジション時間長７１９がそれぞれ例えば１フレーム分増加し、ワイプ終了後も音声Ａが聞こえるという効果を与えることができる。

また、図７（ａ）の状態から、白丸図形１３１を、図８（ｂ）の位置に移動させたとすると、音声Ｂのスプリット量７１６が例えば１フレーム分発生し、音声Ｂのフェード時間長７０８が例えば１フレーム分減少し、ワイプ開始位置からの音声Ｂの増大開始が遅くなる。

さらに、図７（ａ）の状態から、白丸図形１３２を、図８（ｃ）の位置に移動させると、音声Ｂのフェード時間長７１８が例えば１フレーム分減少し、ワイプ終了時点よりも早く音声Ｂは増大を完了する。この結果、画像のエフェクト編集においても、音声がよりスムーズに聞こえるようにすることができる。このときでも、編集結果の決定と、決定前の画像再生による確認は、前述のシーンのつなぎ目におけるオーバーラップ編集と同じ方法で行なうことができる。

次に、この実施形態による音声ミキシング編集動作について、具体的な事例として、同じく図１３に示したツリー構造で表示されたアイコン１３０３に代表されるシーンに、ＢＧＭ（バック・グラウンド・ミュージック）をミキシング編集する場合を挙げて説明する。

最初に、音声ミキシング編集モードへの移行前の操作について説明する。この場合、まず、ＢＧＭが含まれている音声データが、予め磁気記憶装置５０６に格納してあることが要件となる。そして、この前提のもとで、この音声データを本編集装置上へ読み出すための指示が、マウス又はキーボード５０９により行われる。

そうすると、ＣＰＵ５０１は、図１３に示す動画像のアイコン１３０２〜アイコン１３０４と同様に表示されるアイコン１３０５（以下、音声アイコンと記す）を作成する。
音声データを編集装置上で扱うために必要な音声アイコン１３０５を設定した後、動画像のアイコンと同様に、この音声アイコン１３０５をマウスでクリックすることにより、音声再生や挿入作業が行なえるようになる。

次に、音声ミキシング編集モードへの移行方法について説明する。編集モードへの移行の方法は、例えば、以下に述べる２通りがある。第１の方法は、音声アイコン１３０５をマウスでドラッグし、アイコン１３０３にドロップする。第２の方法は音声アイコン１３０５とアイコン１３０３を選択し、ボタン群４２６の所定のボタンをマウスでクリックすることにより画面表示が移行し、移行後の編集画面は図９に示すようになる。

この図９において、９３１は、図１３のアイコン１３０３に代表されるシーンに属する動画像の一定区間の各フレームを、前述の場合と同様、フィルムイメージ状に表示させた縮小動画像列である。このとき、アイコン１３０３に代表されるシーンに属する音声は、波形表示部９３２に示され、ミキシングすべき音声の波形は波形表示部９３３に表示される。

横バー表示部９３４に表示される横バー９３４Ｍの黒ぬりされた垂直方向の幅がミキシングすべき音声の所定の期間ごとのボリューム・コントロール・レベルを表わし、白丸図形９０５がミキシング増大完了点を表わす。

なお、ここでの表示位置設定アイコン１２７や表示間隔設定アイコン１２８、それにＯＫボタン１３５、プレビューボタン１３３は、何れも前述の場合と同じ機能を持ち、これらとフィルムイメージや音声波形表示とは互いに連動し、各バーや各アイコンに対する操作結果は即時に互いに反映される。

図９のミキシング編集画面で、まずオペレータは、フィルムイメージで表示された動画像列９３１を見ながら、マウスにより白丸図形９３５を指定して横バー９３４Ｍ上を動かすことにより、音声のミキシング増大完了点を設定することができる。

このとき、横バー９３４Ｍには、図示のように、音声を不自然なくミキシングできるように、ミキシング開始時には徐々にミキシング音声が増大し、図示してないが、ミキシング終了時にはミキシング音声を徐々に減衰させる機能も備えている。

なお、この実施形態では、フィルムイメージで表示された動画像列９３１の上をマウスでクリックすることでも、音声のミキシング増大完了点を与えることができる。すなわち、図１０（ａ）に示す状態において、いま、画像列９３１の中のフレーム９３１Ｆを音声情報のミキシング増大開始点にしたい場合には、このフレーム９３１Ｆの上をマウスでクリックする。そうすると、ミキシングすべき音声のレベルを表わす横バー９３４Ｍ上の図形９３５が連動してフレーム９３１Ｆに移動し、図１０（ｂ）に示すようになる。

そこで、今度は、白丸図形９３５をマウスで移動させ、図１０（ｃ）に示す状態にすると、区間９０６において、音声のボリューム・コントロール・レベルが徐々に増加していくようにミキシングされることになる。

なお、図示はしてないが、音声ミキシングの終了時点もマウスにより音声の横バー９３４Ｍ上で指定することができる。
編集処理を終わり、編集結果を決定する場合には、図９のＯＫボタン１３５をマウスでクリックする。以上の編集処理の結果を反映させた動画像が磁気記憶装置５０６に格納されると同時にツリー構造情報の変更が行われる。この結果、表示は元のメインウインドウ１３０１に戻る。このときのツリー構造の表示は図１２に示すようになり、ここで、音声情報１３０５のミキシング編集が実施されたという情報は、前述の場合と同様、図形１１０１としてメインウインドウ１３０１上に表示される。

一方、この編集作業完了前に、編集状態について確認したい場合には、プレビューボタン１３３をマウスでクリックしてやれば、画像圧縮伸張部５１１で圧縮して格納してある６４０×４８０サイズの映像がモニタ５０８に再生され、前述の場合と同じく、編集状態を容易に確認することができる。

次に、図１、図６、図９に示した編集画面を使用する編集処理をコンピュータの制御により行う場合の手順を図１６〜図２１のフローチャートを参照して説明する。図１６および図１７は、図１に示すオーバーラップ編集の手順を示すフローチャートである。オーバーラップ編集のモードがオペレータにより選択されると、ステップ１４０で、メモリ５０２中に設定されているＲＥＤＲＡＷ＿ＦＬＡＧを”０”値に初期設定する。ステップ１４１で、図１に示すウインドウ４２０をモニタ５０８で表示させる。ステップ１４２で、マウス５０９からの割込入力処理を行う。

ステップ１４３で、設定アイコン１２７が押されるイベントが発生したか否かの判定を行う。表示位置設定アイコン１２７が押された場合には、ステップ１４４でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ１４５で、メモリ５０２にオペレータにより指定された表示位置を書き込む。

ステップ１４３で、イベント発生がないと判断された場合には、ステップ１４６で、表示間隔設定アイコン１２８が押されるイベントの発生があるかないかの判定を行う。表示位置設定アイコン１２８が押された場合には、ステップ１４７でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ１４８で、メモリ５０２にオペレータにより指定された表示間隔を書き込む。

ステップ１４６で、イベント発生がないと判断された場合には、ステップ１４９で、音声パラメータアイコン６３１〜６３３のどれかが押されるイベントの有無の判定を行う。パラメータアイコン６３１〜６３３のいずれかが押された場合には、ステップ１５０でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ１５１で、メモリ５０２にオペレータにより指定されたコントロールパラメータの種類を書き込む。

ステップ１４９で、イベント発生がないと判断された場合には、ステップ１５２で、エコーアイコン６３４が押されるイベントの有無の判定を行う。エコーアイコン６３４が押された場合には、ステップ１５３でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ１５４で、メモリ５０２にエコー効果の情報を書き込む。

ステップ１５２で、イベント発生がないと判断された場合には、ステップ１５５で、白丸図形１２９が押されるイベントの有無の判定を行う。白丸図形１２９が押された場合には、ステップ１５６でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ１５７で、メモリ５０２に音声Ａのフェードアウト開始時間を書き込む。

ステップ１５５で、イベント発生がないと判断された場合には、ステップ１５８で、白丸図形１３０が押されるイベントの有無の判定を行う。白丸図形１３０が押された場合には、ステップ１５９でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ１６０で、メモリ５０２に音声Ａのフェードアウト終了時間を書き込む。

ステップ１５８で、イベント発生がないと判断された場合には、ステップ１６１で、白丸図形１３１が押されるイベントの有無の判定を行う。白丸図形１３１が押された場合には、ステップ１６２でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ１６３で、メモリ５０２に音声Ｂのフェードイン開始時間を書き込む。

ステップ１６１で、イベント発生がないと判断された場合には、ステップ１６４で、白丸図形１３２が押されるイベントの有無の判定を行う。白丸図形１３２が押された場合には、ステップ１６５でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ１６６で、メモリ５０２に音声Ｂのフェードイン終了時間を書き込む。

ステップ１６４で、イベント発生がないと判断された場合には、ステップ１６７で、画像列１２１が押されるイベントの有無の判定を行う。画像列１２１が押された場合には、ステップ１６８でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ１６９で、予め選択されている各白丸図形の状態に応じて、メモリ５０２に音声Ａあるいは音声Ｂのフェードイン時間情報やフェードアウト時間情報を書き込む。

ステップ１６７で、イベント発生がないと判断された場合には、ステップ１７０で、画像列１２２が押されるイベントの有無の判定を行う。画像列１２２が押された場合には、ステップ１７１でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ１７２で、予め選択されている各白丸図形の状態に応じて、メモリ５０２に音声Ａあるいは音声Ｂのフェードイン時間情報やフェードアウト時間情報を書き込む。

ステップ１７０で、イベント発生がないと判断された場合には、ステップ１７３で、横バー表示部１２６が押されるイベントの有無の判定を行う。横バー表示部１２６が押された場合には、ステップ１７４でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ１７５で、メモリ５０２に映像と音声の対応関係の値を書き込む。

ステップ１７３で、イベント発生がないと判断された場合には、ステップ１７６で、プレビューボタン１３３が押されるイベントの有無の判定を行う。ブレビューボタン１３３が押された場合には、ステップ１７７でブレビューウインドウ４３０を開く。さらにステップ１７８で、ウインドウ４２０を閉じる。

ステップ１７６で、イベント発生がないと判断された場合には、ステップ１７９で、ＯＫボタン１３５が押されるイベントの有無の判定を行う。０Ｋボタン１３５が押された場合には、ステップ１８０で編集結果の画像をモニタで表示させて、その編集結果を磁気記憶装置５０６に格納する。

ステップ１７９で、イベント発生がないと判断された場合あるいはステップ１８０の処理が行われた後には、ステップ１８１で、ＣＡＮＣＥＬボタン１３４が押されるイベントの有無の判定を行う。ＣＡＮＣＥＬボタン１３４が押された場合には、ステッブ１７８の処理を行う。

ステップ１８１で、イベント発生がないと判断された場合あるいはステップ１４５、１４８、１５１、１５４、１５７、１６０、１６３、１６６、１６９、１７２および１７５の内いずれか一つの処理が行われた後には、ステップ１８２で、ＲＥＤＲＡＷ＿ＦＬＡＧが”１”かどうかの判定を行う。ステップ１８２でＲＥＤＲＡＷ＿ＦＬＡＧ＝”１”と判定された場合には、ステップ１８３で編集された内容に応じた画面をモニタで表示させる。ステップ１８２でＲＥＤＲＡＷ＿ＦＬＡＧが”１”でないと判定された場合には、ステップ１４０に戻る。もしステップ１７８の処理が行われた場合は、オーバーラップ編集モードは一旦終了される。

次に、図１８及び図１９は、図６に示すワイプ編集の手順を示すフローチャートである。ワイプ編集のモードがオペレータにより選択されると、ステップ２４０で、メモリ５０２中に設定されているＲＥＤＲＡＷ＿ＦＬＡＧを”０”値に初期設定する。ステップ２４１で、図６に示すウインドウ４２０をモニタ５０８で表示させる。ステップ２４２で、マウス５０９からの割込入力処理を行う。

ステップ２４３で、設定アイコン１２７が押されるイベントの有無の判定を行う。表示位置設定アイコン１２７が押された場合には、ステップ２４４でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ２４５で、メモリ５０２にオペレータにより指定された表示位置を書き込む。

ステップ２４３で、イベント発生がないと判断された場合には、ステップ２４６で、表示間隔設定アイコン１２８が押されるイベントの有無の判定を行う。表示位置設定アイコン１２８が押された場合には、ステップ２４７でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ２４８で、メモリ５０２にオペレータにより指定された表示間隔を書き込む。

ステップ２４６で、イベント発生がないと判断された場合には、ステップ２４９で、横バー６０７が押されるイベントの有無の判定を行う。横バー６０７が押された場合には、ステップ２５０でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ２５１で、メモリ５０２にオペレータにより指定された映像の重ね合わせ量を書き込む。

ステップ２４９で、イベント発生がないと判断された場合には、ステップ２５２で、白丸図形１２９が押されるイベントの有無の判定を行う。白丸図形１２９が押された場合には、ステップ２５３でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ２５４で、メモリ５０２に音声Ａのフェードアウト開始時間を書き込む。

ステップ２５２で、イベント発生がないと判断された場合には、ステップ２５５で、白丸図形１３０が押されるイベントの有無の判定を行う。白丸図形１３０が押された場合には、ステップ２５６でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ２５７で、メモリ５０２に音声Ａのフェードアウト終了時間を書き込む。

ステップ２５５で、イベント発生がないと判断された場合には、ステップ２５８で、白丸図形１３１が押されるイベントの有無の判定を行う。白丸図形１３１が押された場合には、ステップ２５９でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ２６０で、メモリ５０２に音声Ｂのフェードイン開始時間を書き込む。

ステップ２５８で、イベント発生がないと判断された場合には、ステップ２６１で、白丸図形１３２が押されるイベントの有無の判定を行う。白丸図形１３２が押された場合には、ステップ２６２でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ２６３で、メモリ５０２に音声Ｂのフェードイン終了時間を書き込む。

ステップ２６１で、イベント発生がないと判断された場合には、ステップ２６４で、画像列１２１が押されるイベントの有無の判定を行う。画像列１２１が押された場合には、ステップ２６５でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ２６６で、予め選択されている各白丸図形の状態に応じて、メモリ５０２に音声Ａまたは音声Ｂのフェードイン時間情報またはフェードアウトの時間情報を書き込む。

ステップ２６４で、イベント発生がないと判断された場合には、ステップ２６７で、画像列１２２が押されるイベントの有無の判定を行う。画像列１２２が押された場合には、ステップ２６８でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ２６９で、予め選択されている各白丸図形の状態に応じて、メモリ５０２に音声Ａまたは音声Ｂのフェードイン時間情報またはフェードアウトの時間情報を書き込む。

ステップ２６７で、イベント発生がないと判断された場合には、ステップ２７０で、横バー表示部１２６が押されるイベントの有無の判定を行う。横バー表示部１２６が押された場合には、ステップ２７１でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ２７２で、メモリ５０２に映像と音声の対応関係の値を書き込む。

ステップ２７０で、イベント発生がないと判断された場合には、ステップ２７３で、プレビューボタン１３３が押されるイベントの有無の判定を行う。プレビューボタン１３３が押された場合には、ステップ２７４でプレビューウインドウを開く。さらにステップ２７５で、ウインドウ４２０を閉じる。

ステップ２７３で、イベント発生がないと判断された場合には、ステップ２７６で、ＯＫボタン１３５が押されるイベントの有無の判定を行う。ＯＫボタン１３５が押された場合には、ステップ２７７で編集結果の画像をモニタで表示させて、その編集結果を磁気記憶装置５０６に格納する。

ステップ２７６で、イベント発生がないと判断された場合またはステップ２７５の処理が行われた後には、ステップ２７８で、ＣＡＮＣＥＬボタン１３４が押されるイベントの有無の判定を行う。ＣＡＮＣＥＬボタン１３４が押された場合には、ステップ２７５の処理を行う。

ステップ２７８で、イベント発生がないと判断された場合またはステップ２４５、２４８、２５１、２５４、２５７、２６０、２６３，２６６、２６９及び２７２の内いずれか一つの処理が行われた後には、ステップ２７９で、ＲＥＤＲＡＷ＿ＦＬＡＧが”１”かどうかの判定を行う。ステップ２７９で、ＲＥＤＲＡＷ＿ＦＬＡＧ＝”１”と判定された場合には、ステップ２８０で編集された内容に応じた画面をモニタで表示させる。ステップ２８０でＲＥＤＲＡＷ＿ＦＬＡＧが”１”でないと判定された場合には、ステップ２４０に戻る。もしステップ２７５の処理が行われた場合は、ワイプ編集モードは一旦終了される。

次に、図２０及び図２１は、図９に示すミキシング編集の手順を示すフローチャートである。ミキシング編集のモードがオペレータにより選択されると、ステップ３４０で、メモリ５０２中に設定されているＲＥＤＲＡＷ＿ＦＬＡＧを”０”値に初期設定する。ステップ３４１で、図９に示すウインドウ４２０をモニタ５０８で表示させる。ステップ３４２で、マウス５０９からの割込入力処理を行う。

ステップ３４３で、設定アイコン１２７が押されるイベントの発生の有無の判定を行う。表示位置設定アイコン１２７が押された場合には、ステップ３４４でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ３４５で、メモリ５０２にオペレータにより指定された表示位置を書き込む。

ステップ３４３で、イベント発生がないと判断された場合には、ステップ３４６で、表示間隔設定アイコン１２８が押されるイベントの発生の有無の判定を行う。表示間隔設定アイコン１２８が押された場合には、ステップ３４７でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ３４８で、メモリ５０２にオペレータにより指定された表示間隔を書き込む。

ステップ３４６で、イベント発生がないと判断された場合には、ステップ３４９で、横バー表示部９３４が押されるイベントの有無の判定を行う。横バー表示部９３４が押された場合には、ステップ３５０でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ３５１で、メモリ５０２にオペレータにより指定されたミキシング音声のフェードイン開始点を書き込む。

ステップ３４９で、イベント発生がないと判断された場合には、ステップ３５２で画像列９３１が押されるイベントの有無の判定を行う。イベント発生がないと判断された場合には、ステップ３５３でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ３５４で、メモリ５０２に音声のフェードイン開始時間を書き込む。

ステップ３５２で、イベント発生がないと判断された場合には、ステップ３５５で、白丸図形９３５が押されるイベントの有無の判定を行う。白丸図形９３５が押された場合には、ステップ３５６でＲＥＤＲＡＷ＿ＦＬＡＧを”１”値にセットする。さらにステップ３５７で、メモリ５０２に音声フェードイン終了時間を書き込む。

ステップ３５５で、イベント発生がないと判断された場合には、ステップ３５８で、ブレビューボタン１３３が押されるイベントの有無の判定を行う。プレビューボタン１３３が押された場合には、ステップ３５９でブレビューウンイドウ４３０を開く。さらにステップ３６０で、ウインドウ４２０を閉じる。

ステップ３５８で、イベント発生がないと判断された場合には、ステップ３６１で、ＯＫボタン１３５が押されるイベントの有無の判定を行う。ＯＫボタン１３５が押された場合には、ステップ３６２で編集結果の画像をモニタで表示させて、その編集結果を磁気記憶装置５０６に格納する。

ステップ３６１で、イベント発生がないと判断された場合あるいはステップ３６２の処理が行われた後には、ステップ３６３で、ＣＡＮＣＥＬボタン１３４が押されるイベントの有無の判定を行う。ＣＡＮＣＥＬボタン１３４が押された場合には、ステップ３６０の処理を行う。

ステップ３６３で、イベント発生がないと判断された場合またはステップ３４５、３４８、３５１、３５４及び３５７の内いずれか一つの処理が行われた後には、ステップ３６４で、ＲＥＤＲＡＷ＿ＦＬＡＧが”１”かどうかの判定を行う。ステップ３６４で、ＲＥＤＲＡＷ＿ＦＬＡＧ＝”１”と判定された場合には、ステップ３６５で編集された内容に応じた画面をモニタで表示させる。ステップ３６４でＲＥＤＲＡＷ＿ＦＬＡＧが”１”でないと判定された場合には、ステップ３４０に戻る。もしステップ３６０の処理が行われた場合は、ミキシング編集モードを一旦終了する。

図１６〜図２１に示したフローチャートで表される編集処理プログラムは、ＣＰＵ５０１により読み取り可能なコード信号形式でメモリ５０２に格納されている。メモリ５０２は半導体メモリやＣＤ−ＲＯＭあるいは磁気ディスクや光ディスクのような記録媒体であってもよい。

本発明は、以上説明した実施例に限るものではなく、上記の開示に基づき当業者であれば様々な改良や変更が可能であることは明らかである。

本発明の実施形態による編集画面表示の一例を示す摸式図である。本発明の実施形態で使用されている動画編集装置の一例を示すブロック図である。本発明の実施形態で使用されている動画編集装置による動作を示す説明図である。本発明の実施形態による編集画面表示の一例を示す摸式図である。本発明の実施形態でオーバーラップ音声編集を行う際の動作説明図である。本発明の実施形態による編集画面表示の他の一例を示す摸式図である。本発明の実施形態でワイプ・ディゾルブ等の映像の特殊効果がなされていた場合にオーバーラップ音声編集を行う際の動作説明図である。本発明の実施形態でワイプ・ディゾルブ等の映像の特殊効果がなされていた場合にオーバーラップ音声編集を行う際の動作説明図である。本発明の実施形態による編集画面表示の更に別の一例を示す摸式図である。本発明の実施形態で音声ミキシング編集を行う際の動作説明図である。本発明の実施形態でオーバーラップ音声編集を行った後での表示画面の摸式図である。本発明の実施形態で音声ミキシング編集を行った後での表示画面の摸式図である。本発明の実施形態で編集用表示の前での表示画面の摸式図である。本発明の実施形態で編集状態を確認するための再生表示画面の摸式図である。本発明の実施形態による編集画面表示の別の例を示す摸式図である。図１に示すオーバーラップ編集の手順を示すフローチャートである。図１に示すオーバーラップ編集の手順を示すフローチャートである。図６に示すワイプ編集の手順を示すフローチャートである。図６に示すワイプ編集の手順を示すフローチャートである。図９に示すミキシング編集の手順を示すフローチャートである。図９に示すミキシング編集の手順を示すフローチャートである。エフェクト編集の画面表示の一例を示す説明図である。エフェクト編集の画面表示の他の例を示す説明図である。従来技術による動画像編集装置の一例を示すブロック構成図である。

符号の説明

１２１、１２２フィルムイメージによる画像列
１２３、１２４音声信号波形表示部
１２５つなぎ目
１２６横バー表示部
１２６Ａ、１２６Ｂ音声信号のレベルを表わす横バー
４２１ツリー構造表示用ウインドウ
５０１ＣＰＵ
５０２メインメモリ
５０３シーン変化点検出部
５０４ビデオインタフェース
５０５ＶＴＲ
５０６磁気記憶装置
５０７フレームバッファメモリ
５０８モニタ
５０９マウス（キーボード）
５１０バス
５１１画像圧縮伸張部
５１２オーディオインタフェース
５１３画像縮小部

Claims

画像情報に対応する音声情報および前記音声情報とからなる映像素材の編集処理を行う動画像編集方法において、
複数の前記映像素材を記憶装置に記憶し、前記記憶装置から編集を行う複数の映像素材を読み出し、該読み出した複数の映像素材の画像情報と音声情報を表示装置の画面に並べて表示し、前記音声情報の音量レベルの制御可能な図形幅を有するバー図形を前記表示装置の画面に表示し、前記バー図形の図形幅を変更することにより前記映像情報の編集とは独立に音声情報の編集が行なえることを特徴とする動画像音声編集方法。
画像情報に対応する音声情報および前記音声情報とからなる映像素材の編集処理を行う動画像編集装置において、
複数の前記映像素材を記憶装置に記憶する手段と、前記記憶装置から編集を行う複数の映像素材を読み出す手段と、該読み出した複数の映像素材の画像情報と音声情報を表示装置の画面に並べて表示する手段と、前記音声情報の音量レベルの制御可能な図形幅を有するバー図形を前記表示装置の画面に表示する手段と、前記映像情報の編集とは独立に前記バー図形の図形幅を変更する手段とを有することを特徴とする動画像音声編集装置。