JP2001155468A

JP2001155468A - 動画像編集方法及び動画像編集を実行するプログラムを記録した機械読み取り可能な記録媒体

Info

Publication number: JP2001155468A
Application number: JP33747299A
Authority: JP
Inventors: Masanori Sumiyoshi; 正紀住吉; Hirotada Ueda; 博唯上田
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 1999-11-29
Filing date: 1999-11-29
Publication date: 2001-06-08

Abstract

(57)【要約】【課題】編集作業に用いるツリー構造が、映像データを
基準にした構成となっているため、音声の有無の表現や
音声を基準にした編集作業に不向きであった。【解決手段】音声データの有無と、その状態を明確にす
るために、M-アイコンの隣に表示機能を設ける。さら
に、音声を基準にした編集作業を行うために、音声M-ア
イコンを導入する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビジョン放送
番組制作、ビデオ番組制作、ビデオ編集などに使用する
動画像編集装置、あるいは映像素材ライブラリなどの映
像検索に使用する動画像検索装置に適用可能な映像処理
方法、映像処理装置および映像処理方法を記録したコン
ピュータプログラム製品に関する。

【０００２】

【従来の技術】コンピュータの高速化、高機能化に対応
して、ソフトウェアの多様化、高機能化が急速に進展し
ている。近年、これらコンピュータ、ソフトウェアをテ
レビジョン放送やビデオ番組を制作する制作設備に使用
することによって高機能化が行われている。

【０００３】特に、番組制作は、画像データと音声デー
タとからなる画像情報の編集に、例えば、取り扱いや保
存が容易で廉価なハードディスクを使用したランダムア
クセスが可能な情報記憶装置を有する動画像編集装置を
使用して画像情報の編集を行っており、さらに、高機能
化、多様化しているコンピュータ、ソフトウェアを採用
することによって、ますます高機能化が行われている。

【０００４】このような動画像編集装置の従来例の１つ
として、ツリー構造を用いて編集を行うものがある。ツ
リー構造を用いて編集を行う方法について、図３と図２
１を用いて説明する。図３はツリー構造を用いて編集を
行う動画像編集装置の構成の一例を示すブロック図であ
る。301はCPU（Central Processing Unit）、302はメモ
リ、303はカット変化点検出部、304はVTR、305はビデオ
インターフェース、306は磁気記憶装置、307はフレーム
バッファ、308はモニタ、309は入力装置、310はバス、3
11は映像信号出力端子である。図３において、メモリ30
2、カット変化点検出部303、ビデオインターフェース30
5、磁気記憶装置306、フレームバッファ307、モニタ308
及び、入力装置309はバス310を通してCPU301に接続され
ている。また、ビデオインターフェース305には更にVTR
304と映像信号出力端子311が接続されている。

【０００５】この動画像編集装置での従来の編集方法に
ついて説明する。図２１はツリー構造を用いて編集を行
う編集用ウインドウの一例を示す図である。100は編集
用ウインドウ、101は編集エリア、102は素材エリア、10
3は素材エリア102に表示された映像素材M-アイコン、10
4はツリー構造、105は編集機能ボタン群、107〜109はス
ライダ部、110は動画像再生ボタン、121は編集中のカッ
トを表すM-アイコン、122は編集中のシーンを表すM-ア
イコン、123は編集中のいくつかのシーンの集合を表すM
-アイコン、124は特定の撮影テーマ（例えば、番組）を
表すM-アイコン、125はオーディオエディットボタンで
ある。図２１において、VTR304から入力された映像はビ
デオインターフェース305で変換され、カット変化点検
出部303に入力される。カット変化点検出部においては
カット変化点を検出し、検出した変化点で映像を分割し
てカット毎にまとめて素材エリア102に表示する。この
表示されたカットをM-アイコン(Moving Icon)と称す
る。このM-アイコンには、そのカットを代表する縮小静
止画像が表示され、そのカットの長さを表すために厚み
があるように表示されるが本説明及び図面では省略する
ことがある。オペレータは、この素材の中から編集に使
用するカット（以下、M-アイコンと称する）を、モニタ
308を見ながら、マウスやキーボード等の入力装置309を
使いGUI（Graphical User Interface）操作によって編
集エリア101に移動し、ツリー構造104に組み上げていく
ことで編集作業を進めていく。このようにツリー構造を
用いることで、ツリー構造単位での入れ替えや削除ある
いは、M−アイコン単位での挿入，削除、入れ替えを容
易に行うことができる。

【０００６】他の、従来技術としてタイムラインを用い
た動画像編集方法がある。このタイムラインを用いた編
集方法の一例を図１８によって説明する。図１８はタイ
ムラインを用いた編集作業方法説明するための図であ
る。1700は編集欄、1701-1は映像素材、1701-2は音声素
材、1702-1は映像素材編集欄、1702-2は音声素材編集
欄、1703はスライダ部、1704は時間軸である。一般に、
タイムラインを用いた編集作業は、コンピュータ内に取
り込んだ（キャプチャした）映像データおよび音声デー
タを、それぞれ図１８に示すように時系列で並べていく
ことで行う。つまり、図１８において、時間軸t1704は
左から右に向かっている。映像素材1701-1は、編集欄17
00の映像素材編集欄1702-1の任意の（時間の）位置に、
音声素材1701-2は編集欄1700の音声素材編集欄1702-2の
任意の（時間の）位置に、それぞれマウス等を用いて配
置する。これによって、再生を行えばこの配置に従っ
て、左から右に向かって、時間順にそれぞれのクリップ
の再生が行われる。

【０００７】

【発明が解決しようとする課題】編集及び作成する番組
の種類よっては、例えばカラオケビデオや結婚披露宴の
ビデオ等の場合、これらの編集作業上の特徴としては、
カラオケビデオは初めに音声（音楽）が決まっており、
その歌詞の内容と、その長さに合わせて映像を挿入する
ものである。結婚披露宴は例えば気に入ったBGMに合わ
せて、その音楽の長さ分の映像データを挿入するなど、
音声を基準にした編集作業を行う場合があることであ
る。

【０００８】更には、撮影してきた素材に対して、その
音声のみを使用し、元の映像に別の映像を入れ替えると
いった作業をする場合もある。

【０００９】前述の従来技術には、映像データを基準に
して編集作業を行うようになっている。このため、音声
の有無やその状態の表現が不十分であり、音声データを
主体とする編集作業を行うことが容易ではない欠点があ
った。

【００１０】また、タイムラインを用いた動画像編集の
場合にも、一連の音声の中の、特定の区間に映像データ
を追加する作業は、音声データが１本のバーで表されて
いるため、目的の位置が分かり難く、編集作業に手間の
かかる欠点があった。また、素材をタイムラインに挿入
する際（例えば、音声の長さに合わせて映像を挿入する
場合など）には、あらかじめ決められた長さにするため
には、挿入前や挿入後に長さを調節する必要があり、作
業が手間取り、複雑になる欠点があった。。

【００１１】従って本発明の目的は、上記のような欠点
を除去し、音声を基準にした編集作業を行うために、ツ
リー構造を用いた動画像編集装置において、GUIの改良
をおこない、音声の状態を一見して把握でき、かつ編集
作業を効率的に行える編集方法を提供することにある。

【００１２】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の編集方法は、ツリー構造を用いた動画像
編集装置において、編集エリアと素材エリアに表示され
ているM-アイコンの隣に、音声データの有無と長さを音
声情報として追加表示し、一見で音声の情報を判別でき
るようにし、音声情報の表示を用いて音声データの削除
等の編集作業が行えるようにすることで編集効率が向上
した動画像編集方法を実現したものである。

【００１３】更に、音声データを主体としたM-アイコン
（以下、音声M-アイコンと称する）を導入することで、
音声を基準にした編集作業の作業効率を向上させたもの
である。

【００１４】

【発明の実施の形態】本発明の動画像編集装置は、基本
的に図３に示すブロック図で表されるシステム上に構築
される。図３において、ビデオインターフェース305に
は更にVTR304と画像信号出力端子311が接続されてい
る。図３において、CPU301他、各構成要素は、バス310
が接続している他の構成要素と信号を送受し合い、各構
成要素はCPU301からのアクセス信号により制御される。
また、CPU301への指示はオペレータが入力装置（マウス
等のポインティングデバイスまたはキーボード）309に
よって行う。VTR304は、複数のシーンからなる一連の動
画像を再生し、再生した動画像をビデオインターフェー
ス305に送る。ビデオインターフェース305は、VTR304か
ら送られてきた動画像をこの動画像編集装置で扱うフォ
ーマットに変換し、カット変化点検出部303及びメモリ3
02並びに磁気記憶装置306に送る。また、ビデオインタ
ーフェース305は、バス310を介して磁気記憶装置306か
ら出力される信号情報を画像出力端子311を介して出力
する。カット変化点検出部303は送られてきた動画像か
らカットの変化点を検出する。メモリ302は、CPU301の
各種制御プログラムを記憶する。CPU301は、カット変化
点検出部303で検出されたカットの変化点のフレーム番
号と、M-アイコンと、M-アイコンファイル名と、カット
番号と、シーケンス番号と、それらを制御するための制
御情報とを磁気記憶装置306に格納する。また、動画像
情報はVTR304からの入力だけでなく、バス310を介して
他の記憶手段（例えば、DVD，CD，MOディスク等）との
間で直接または間接的に入出力処理を行うことも可能で
ある。更にまた、磁気記憶装置306の代りに、他の記憶
媒体、例えばMOディスク記憶装置を用いたりあるいはネ
ットワークを介したリモートファイルを用いたり、これ
ら１つではなく、複数を組合わせて用いてもよい。ま
た、これら記憶装置に記憶される映像情報が格納時には
圧縮され、出力時には伸張されて処理されることもあ
る。磁気記憶装置306に記録された、動画像を構成する
画像データは複数のシーンの集合として定義できる。ま
た「カット」は、カメラでの１回の撮影動作開始から終
了までの区間で撮影されたフレーム画像の集合として定
義される。この動画像編集装置では、M-アイコンがこの
区間のフレーム画像と１対１に対応するGUIとなってい
る。ここで「M-アイコン」は、複数のフレームからなる
動画像全体あるいはシーンを高速に表示して見るため
に、カット変化点検出部303が検出したカット変化点の
画像を高速表示用及びカットの代表画像として表示する
画像サイズ（例えば、80×60画素、64×48画素等）に合
せて縮小した表示用画像であり、磁気記憶装置306に格
納される。

【００１５】また「シーン」は、ある決まった撮影対象
を撮影した複数のカットを集合したものである。複数の
シーンはさらに特定の撮影テーマ（例えば、番組）とし
てまとめることができる。このように、映像素材は複数
のカットと、複数のカットをいくつかまとめたシーン
と、いくつかのシーンをまとめた撮影テーマ（あるいは
題名）を有する動画というような、階層構造の映像デー
タとして整理できる。フレーム番号、カット番号、シー
ケンス番号のデータはこの階層構造に整理されており、
制御情報はこれらの階層構造情報を含んでいる。ここ
で、カット番号とは複数のフレームからなるカットに、
シリアルに付与されている番号である。シーケンス番号
とはシーンを構成する複数のカットの順序を表わす番号
である。モニタ308は動画像編集に用いるシーン、カッ
トおよび編集状態を表す階層構造（ツリー構造）の情報
などを表示するGUI画面で、オペレータはこのGUI画面に
よって入力装置309から動画像編集装置に指示を与え
る。フレームバッファ307は、モニタ308に表示するため
の画像を記憶する。上記装置により、動画像をこのよう
な階層構造で記憶して管理することができ、オペレータ
がシーンやカットを単位とした編集作業を行うことがで
きる。

【００１６】カットの変化点を検出する手段としては、
例えば、平成２年特許公開番号第１８４１８１号公報に
示されているように、各画像間の照度や音量，色調など
を解析し、この変化が著しい部分をカットの変化点とし
て検出するものがある。また、上述の編集装置の動作
や、M-アイコン（表示用画像）を用いて、ツリー構造を
作成しながら編集を行う方法は、例えば、平成１０年特
許公開番号第５１７３３号公報に記載されている。

【００１７】本発明の編集方法の一実施例を図２１と図
６を用いて説明する。図２１はツリー構造を用いて編集
を行う編集用ウインドウの一例を示す図で、既に従来技
術として説明した。図６は本発明の編集用ウインドウの
一実施例を示す図である。図２１で説明した構成要素と
同一の機能の構成要素には同一の番号を付した。その
他、100′は編集用ウインドウ、110は動画像再生ボタン
である。図２１は、モニタ308に表示される編集作業中
の編集画面の一例であるが、本発明に係わる記述はまだ
なされていない。図２１において、編集エリア101の中
では、編集中のカットを表すM-アイコン121が複数個集
合して、その階層の上部にシーンを表すM-アイコン122
を構成し、更に、該シーンを表すM-アイコン122が複数
個集合してその階層の上部にいくつかのシーンの集合を
表すM-アイコン123を構成する。最後に該いくつかのシ
ーンの集合を表すM-アイコン123が複数個集合して番組
を表すM-アイコン124を構成し、M-アイコンのツリー構
造104となっている。尚、表示の都合上、図中のM-アイ
コンには、それぞれ表示されるべき表示画像を省略す
る。編集エリア101では、以下に述べるようにM-アイコ
ンを階層構造に構築することによって編集を行う。ま
ず、編集中のカットを表すM-アイコン121の「イ」と
「ロ」と「ハ」が集ってシーンを表すM-アイコン122の
「ヘ」となり、編集中のカットを表すM-アイコン121の
「ニ」と「ホ」が集ってシーンを表すM-アイコン122の
「ト」となる。また、シーンを表すM-アイコン122の
「ヘ」と「ト」とが集っていくつかのシーンの集合を表
すM-アイコン123の「チ」となる。更にまた、いくつか
のシーンの集合を表すM-アイコン123の「チ」と「リ」
とが集って番組を表すM-アイコン124の「ヌ」が構成さ
れている。

【００１８】上記の例ではツリー構造の階層数は４であ
るが、ツリー構造の階層数は任意であり、構成するM-ア
イコンの数も異なることはもちろんである。また編集エ
リア101や素材エリア102の画面の大きさに限りがあるた
め、図２１では全てのM-アイコン103，121〜124やツリ
ー構造104がすべて表示しきれない。従って、スライダ
部107〜109を操作して編集エリア101や素材エリア102の
表示範囲を移動して、所望の部分を表示させながら編集
作業を進める。スライダ部107は横方向に編集エリア101
の表示画面をスライドさせ、スライダ部108は縦方向に
編集エリア101の表示画面をスライドさせる。またスラ
イダ部109は縦方向に素材エリア102の表示画面をスライ
ドさせる。また素材エリア102は、カット変化点検出部3
03で検出された各々のカットから抽出されたM-アイコン
103を編集に使用するため一時的に置いて一覧表示する
ためのエリアである。画像の呼出しを行った段階では、
M-アイコン103は素材エリア102に時系列順に左から右、
上から下に向かって表示される。オペレータは、この中
から任意のM-アイコン103を編集用のエリア101に移動ま
たはコピーして、編集（つまり、いわゆる番組を作成す
る）作業を行う。上述のようにして、図２１ではすでに
編集エリア101にはツリー構造104ができている。ここで
更に素材エリア102内からM-アイコン103のいずれかを選
択して編集を続ける。以降の説明は図６によって行う。
図６は本発明の編集ウインドウ一実施例を示す図であ
る。これまで説明した構成要素と同一の機能の構成要素
には同一の番号を付した。その他、401はスプリットボ
タンである。本発明では、音声編集を容易にするため
に、音声情報の表示音声M−アイコンを追加している。

【００１９】図６において、まず初めに、音声情報（BG
M等の音楽を含む）の表示について説明する。GUIとして
は、図２に示すように、編集エリア101及び素材エリア1
02に表示されているM-アイコン103，121〜124の右隣に
音声情報表示の領域を設ける。図２は本発明の音声情報
表示の一実施例を示す図である。200は編集エリア101ま
たは素材エリア102に表示されるM-アイコン、250は音声
M-アイコン、201は映像素材を録画する際に同時に取り
込まれた映像に付属する音声の情報（音声の有無と長
さ）を表す音声情報領域（音声トラックI）、202〜204
はそれぞれM-アイコン200に別途追加した音声情報を表
示する領域で202は音声情報領域（音声トラックII）、2
03は音声情報領域（音声トラックIII）、 204は音声情
報領域（音声トラックIV）、205は音声の長さを示す奥
行、206は音声マーク、207はポップアップメニュー、20
8はスライダー部である。図２において、図２(a)に示す
ように、M-アイコン200の右隣には４つの音声情報領域2
01〜204と音声マーク206によって構成された音声M-アイ
コン250が表示される。更に、音声情報領域201は付属音
声データが存在しない場合には表示を変え、例えばグレ
ー表示になっている。ここで、音声情報領域202〜204に
関しては、音声が追加されていない状態では、モニタ30
8上に表示せず、音声を追加する都度音声情報領域202、
音声情報領域203、音声情報領域204の順に表示が追加さ
れる。また、図２(b)に示すように、音声情報領域201〜
204はそれぞれの音声の長さを、奥行205の長さで表現す
る。図２(c)に示す音声マーク206は、音声トラック数が
４つよりも多い場合の表示例の１つである。音声情報表
示領域201〜204の中央に「記号」を表示することによっ
て４つより多く音声トラックが存在することを示す。例
えば、「▽」マークがあれば更にトラックIVからV，V
I，‥‥‥方向に移動し、「△」に変れば、これ以上付
属する音声トラックがないことを示す。また「△」と
「▽」との両方がある場合にはどちらにも表示していな
い音声トラックがあることを示す。音声トラックの表示
を移動させる場合には、「△」または「▽」をマウスで
クリックすることで行う。例えば、「△」を押すと音声
トラックの番号の若い方に表示が変り、「▽」を押すと
音声トラックの番号が多くなる方に表示が変わる。ま
た、この他の移動の方法として、キーボードの矢印キー
を用いる方法でもよい。図２(d)は、音声トラック数が
４つよりも多い場合の別の表示例である。音声M-アイコ
ン250をマウスで右クリックすることによって、そのM-
アイコン200に付属する音声情報領域のメニュー（音声
トラック）をポップアップメニュー207の中に表示させ
る。オペレータは、ポップアップメニュー207に作成さ
れたスライダー部208を動作させることで、目的の音声
トラックを選択し、M-アイコン200の横の音声M-アイコ
ン250に表示させることができる。また、音声トラック
を削除する方法は、表示されている音声情報表示の任意
の表示を選択し、キーボード309のdeleteキーを押すこ
とで行える。ここで、音声トラックとして、I，II,II
I，IVが使用され、表示されている状態で、音声トラッ
クIIについて削除の操作を行った場合について述べる。
この場合には、図２の203で示されるトラックIIIの音声
情報表示が消去される。なおこの時、音声トラックIV以
降に挿入されている音声データの移動（例えば音声トラ
ックIVのデータをIIIに移動する）は行わないものとす
るが、もちろん移動するようにしてもよい。

【００２０】図２２は音声トラック数が４つよりも多い
場合の別の表示例である。従来技術で説明した構成要素
と同一の機能の構成要素には同一の番号を付した。その
他、206′は音声マーク、250′は音声アイコンである。
図２２(a)では、M-アイコン200の右隣には４つの音声情
報領域201〜204と音声マーク206′によって構成された
音声M-アイコン250′が表示される。音声トラック数が
４つよりも多い場合には、図２２(a)のように、音声情
報表示の中央に黒色の“○印”を表示する。移動させる
場合には、この“○印”をマウスでクリックし、左右方
向にドラッグさせることで行う。例えば、“○印”を左
に移動させると、トラックIII，IV，V，VIを表示し、さ
らに左に移動させるとV，VI，VII，VIIIを表示する。逆
に、IX，X，XI，XIIが表示されている状態で、右に移動
させると、VII，VIII，IX，Xが表示される。

【００２１】図４は本発明の音声情報表示をした編集用
ウインドウの一実施例を示す図である。これまで説明し
た構成要素と同一の機能の構成要素には同一の番号を付
した。その他、100-1は編集用ウインドウ、101-1は編集
エリア、102-1は素材エリア、103′は素材エリア102-1
に存在するM-アイコン、121′は編集中のカットを表すM
-アイコン、122′は編集中のシーンを表すM-アイコン、
123′は編集中のいくつかのシーンの集合を表すM-アイ
コン、124′は特定の撮影テーマ（例えば、番組）を表
すM-アイコン、104′はツリー構造、401はスプリットボ
タンである。ここで、図１１のフローチャートを用いて
音声情報が表示される手順の一実施例を説明する。図１
１は本発明において音声情報をモニタ308の表示画面上
に表示する処理動作を示すフローチャートである。ま
ず、オペレータが入力装置309を用いて磁気記憶装置306
に格納してある素材ファイルを読み出す（ステップ110
0）。そしてCPU301は読み出した素材についてその音声
の有無をチェックする（ステップ1101）。次にチェック
の結果をM-アイコン情報へ登録する（ステップ1102）。
更に、このM-アイコン情報に従って音声情報をモニタ30
8の表示画面上の各M-アイコン103′の隣の所定の位置に
表示する（ステップ1103）。このようにして素材エリア
102′のM-アイコンに音声情報が表示される。また、オ
ペレータがこれらM-アイコンを編集作業のために編集エ
リア101′へ移動すれば、編集エリア101′でも音声情報
が表示される。もちろん、過去に編集作業を行い、磁気
記憶装置306に記録・保存されているツリー構造情報を
読み出して、編集エリア上にツリー構造104′を再現し
た場合にも、音声情報が表示される。

【００２２】ここで、素材を録画した際の付属の音声
（トラックIに相当する音声情報領域201に表示される音
声）の有無については、後述する方法により未使用とし
た場合と、そのM-アイコンに含まれる音声データの値が
全て“0”の場合に「無し」とする。これは、音声を入
力せずに録画した場合や、別途音声データを無音に書き
換えた場合などである。また、後から追加した音声（ト
ラックII以降）については、各音声トラックの情報がそ
のM-アイコンに与えられているが否かで判定する。

【００２３】次に音声M-アイコンと実際の編集作業につ
いて説明する。音声M-アイコンとは、音声データを主体
としたM-アイコンである。この音声M-アイコンは、予め
作成してある音声ファイルを、動画像編集装置で扱える
フォーマット変換して該装置上に読み込んだり、通常
（映像＋音声）のM-アイコンを選択し、スプリットボタ
ン401を押すことで作成される。ここで、選択したM-ア
イコンに音声情報を追加する方法について図１２のフロ
ーチャートを用いて説明する。

【００２４】図１２は本発明のM-アイコンに音声情報を
追加する実施例を説明するフローチャートである。まず
オペレータがは、音声情報を追加したい任意のM-アイコ
ンを選択する（ステップ1200）。そして、スプリットボ
タン401を押す（ステップ1201）。次にCPU301は、選択
したM-アイコンの位置（M-アイコンがどこに属している
か）の判定を行う（ステップ1202）。すなわち、素材エ
リア102にある場合や、ツリー構造の最下層のM-アイコ
ンである場合には、そのM-アイコンが対象となる。ま
た、ツリー構造の上位のM-アイコンである場合には、そ
の下にあるM-アイコン全てが対象となる。次に、CPU301
は対象となるM-アイコン（あるいは音声M-アイコン）の
音声データを用い、映像データとして例えば青色の映像
（R,G,B=0,0,255）のデータ（もちろん、映像データは
青色である必要はなく、黒色や文字など何であってもよ
い）を追加して動画像ファイルを作成し、併せて、代表
画面表示用の縮小表示画像（たとえば、青地に音符マー
クを重ねてもよい）を作成し、新たに音声M-アイコンを
作成する（ステップ1203）。この作成された音声M-アイ
コンに対する各種情報（図９参照：詳細は後述する）が
CPU301により計算及び作成され、M-アイコン情報に記述
される（ステップ1204）。そして図５のM-アイコン501
で示すようなGUI部品（縮小表示画像として音符マーク
を重ね合せた場合）で表示される（ステップ1205）。図
５は、本発明の素材エリアの一実施例を示す図である。
編集エリアその他の編集用ウインドウは省略している。
これまで説明した構成要素と同一の機能の構成要素には
同一の番号を付した。その他、102-1は素材エリア、105
-1は編集機能ボタン群、501，501′，501-1は音声M-ア
イコン、103′-1，103′-2，103′-3はそれぞれ音声M-
アイコン501，501′，501-1を付属させたM-アイコンで
ある。編集作業にこの音声M-アイコン501，501′，501-
1を用いる際には、編集エリアへM-アイコン103′-1，10
3′-2，103′-3の内から所望のM-アイコンを移動させれ
ばよい。なお、このようにして作成した音声M-アイコン
をそのまま再生（プレビュー）させる（即ち、所望の音
声M-アイコンを選択し、動画像再生ボタン110を押す）
ことによって、青色の映像が再生され同時に音声が再生
される。

【００２５】編集作業では、M-アイコンおよび音声M-ア
イコンについて作成された種々の情報に基づいて制御が
行われる。図９によって作成された種々の情報について
説明する。図９は本発明の情報データの一実施例の構成
を説明する図である。901はカット番号を記録する領
域、902は映像データの有無を記録する領域、917は映像
データのIN点の情報を記録する領域、917-2は追加音声
トラックIIのデータのＩＮ点の情報を記録する領域、９
１８−２は追加音声トラックIIのデータのOUT点の情報
を記録する領域、902-1は付属音声データの有無を記録
する領域、903-11は付属音声の減衰の開始点の情報を記
録する領域、903-12は付属音声の増加の終了点の情報を
記録する領域、903-13は付属音声のレベル情報を記録す
る領域、903-20は追加音声トラックIIの有無とアドレス
情報を記録する領域、903-21は追加音声トラックIIのデ
ータの減衰の開始点を記録する領域、903-22は追加音声
トラックIIのデータの増加の終了点を記録する領域、90
3-23は追加音声トラックIIの音声のレベルを記録する領
域、903-30は追加音声トラックIIIの有無とアドレス情
報を記録する領域、‥‥‥、903-40は追加音声トラック
IVの有無とアドレス情報を記録する領域、‥‥‥、916-
1は長さ固定設定の有無を記録する領域である。このM-
アイコンの情報はメモリ302に格納されており、適宜CPU
301により参照され、処理される。また、この情報はオ
ペレータの指示により、任意の時点で磁気記憶装置306
に格納される。

【００２６】以下、図９を用いて各情報の内容について
説明する。まずカット番号の領域901に記録される情報
は、各々のM-アイコンを特定する「カット番号」であ
る。これは新たにキャプチャ作業を行った場合や磁気記
憶装置306から素材（M-アイコン）を読み出した時、あ
るいは素材をコピーしたり分割した場合など、新たなM-
アイコンが作成される時点で、固有の値が割り当てられ
る。次に、「映像データの有無」を示すフラグ領域902
を設ける。通常のM-アイコンを読み出した場合には映像
データが存在するので「有」であり（例えば、“1”と
する）、音声M-アイコンを作成した場合には「無」を代
入する（例えば、“0”を格納する）。この「映像デー
タの有無」の情報が“1”でない場合には後述する操作
により映像データを挿入することができる。また、映像
データを挿入した際には、そのフラグ領域を“1”に書
き換える。ただし、音声M-アイコンの全ての音声に対し
て映像データが挿入されていない場合には、このフラグ
の値に、例えば、“-1”を代入して区別する。更に、映
像データのIN点の情報を保存する領域917と映像データ
のOUT点の情報を保存する領域918がある。これらの領域
917と918の情報により、音声M-アイコンに対して、映像
データが長い場合は余った映像をプレビューせず、短い
場合は残りの領域に映像を追加する作業を行う。例え
ば、「映像データの有無」を示すフラグ領域902に“-
1”が記録されている場合には、映像データのOUT点から
その音声M-アイコンの最終フレームまでの区間に映像が
挿入されておらず、逆に「映像データの有無」フラグ領
域902が“1”で、映像データのOUT点がM-アイコンの長
さよりも長い場合には、挿入した映像データが余ってい
ることを表している。次に、領域902-1で示すのは、映
像と共に録画した「付属音声データの有無」を示すフラ
グである。このフラグが「無」である場合には、音声デ
ータは再生されず、またGUI上でもグレー表示される。
このフラグは、付属音声のデータが全て“0”である場
合や、後述の手順により、音声データの「未使用」を指
示した場合に「無」を設定する。また、録画を行った際
や、音声M-アイコンを作成した時などの初期状態では
「有」である。なお、このデータはトラックIとして扱
われ、音声M-アイコンの長さ（尺度）の基準となる。

【００２７】領域903-11は、「音声の減衰の開始点」の
情報であり、音声の減衰処理（フェードアウト：FADE O
UT）を開始させるフレーム番号である。領域903-12は、
「音声の増加の終了点」の情報であり、音声の増加処理
（フェードイン：FADE IN）を終了させフレーム番号で
ある。つまり、この情報により１フレーム目から「音声
の増加の終了点」の領域903-12で示すフレームまでがフ
ェードインの区間となり、「音声の減衰の開始点」903-
11で示すフレームから最終フレームまでがフェードアウ
トの区間である。領域903-13で示す情報は「付属音声の
レベル」である。これは通常再生（つまりフェードイン
やフェードアウトの施されていない区間の再生）におけ
る、音声レベルの設定値である。

【００２８】903-20，903-30，903-40，‥‥‥では、後
から追加した音声データの格納されているアドレスを格
納する。この情報は初期状態では“NULL”であり、音声
を追加した際にそのアドレスを代入する。この情報が
“NULL”でない場合にGUI上にその領域に格納された情
報が表示され、“NULL”にするとその情報表示が消去さ
れる。領域902-2には、追加音声トラックII202に格納さ
れた音声データの長さ（フレーム数）が格納される。こ
の長さと映像のフレーム数を比較して、奥行205の長さ
表示の描画を行う。領域917-2では追加音声トラックII
に格納された音声デ−タの先頭が、映像データの何フレ
ーム目から始まるのかのIN点情報を記述し、領域918-2
には、追加音声トラックIIに格納された音声データが何
フレーム目まで挿入されているかのOUT点情報を記述す
る。領域903-21、903-22にはそれぞれ、追加音声トラッ
クIIに格納された音声データの減衰の開始点（フェード
アウト点）と増加の終了点（フェードイン点）の情報を
格納し、領域903-23には追加音声トラックIIに格納され
た音声のレベルを記述する。以下、その他の追加音声ト
ラックの情報等について同様に格納する。

【００２９】更に、本発明の動画像編集方法では、ツリ
ー構造での編集作業を行うために、図１６に示すように
各種情報を作成している。図１６は本発明の情報データ
の構成の一実施例を示す図である。1500は最上位のM-ア
イコンに対する情報即ち画像管理情報を格納する領域、
1501はツリー構造における最上位のM-アイコンの階層番
号を格納する領域、1502はツリー構造における最上位の
M-アイコンの動画番号を格納する領域、1503は自身の動
画像の下位構造である子となるシーン番号を格納する領
域、1504は自身の動画像の子となる各シーンのM-アイコ
ンの表示座標を格納する領域、1505は最上位のM-アイコ
ンに対する情報即ち画像管理情報を格納する領域1500が
格納している子となるシーン番号の管理情報を格納する
領域、1501-1はツリー構造におけるシーン番号1のM-ア
イコンの階層番号を格納する領域、1506はツリー構造に
おけるシーン番号1のM-アイコンのシーンの階層番号を
格納する領域、1507はシーン番号1の親（上位）となる
動画番号を格納する領域、1508はシーン番号1の子とな
る各カットの番号を格納する領域、1504-1はシーン番号
1の子となる各カットのM-アイコンの表示座標を格納す
る領域、1509は各シーンの子となる各カット番号の画像
情報を格納する領域、1501-2はツリー構造におけるカッ
ト番号1の階層番号を格納する領域、1510はカット番号1
のカット番号を格納する領域、1511はカット番号1のカ
ット番号を格納する領域、1512はカット番号1の縮小表
示用ファイル名を格納する領域、1513はカット番号1のM
-アイコンのアドレスを格納する領域、1504-2はそのカ
ット画像が有する各M-アイコンの表示座標1504を格納す
る領域である。また、シーン管理情報1506において、シ
ーン番号1の子となる各カットのM-アイコンの表示座標
を格納する領域1504-1が終ると、次にツリー構造におけ
るシーン番号2のM-アイコンのシーンの階層番号を格納
する領域及びそれに続く情報領域が続く。また、同様
に、カット画像情報1509において、カット番号1のM-ア
イコンの表示座標を格納する領域1504-2が終ると、次に
ツリー構造におけるカット番号2のM-アイコンのシーン
の階層番号を格納する領域及びそれに続く情報領域が続
く。

【００３０】更に、これら相互の情報に基づいてツリー
構造が表示・制御される。以下、編集作業の具体的な例
について説明するが、まず初めに、図１３と図１４とを
用いて編集作業（データの挿入作業）の全体の処理の概
略を説明し、その後具体的な実施例を示す。図１３と図
１４は本発明の動画像編集装置の一実施例を示すフロー
チャートである。

【００３１】まずステップ1300において、オペレータ
は、任意のM-アイコン（あるいは音声M-アイコン）を選
択する。そして分岐ステップ1301では、この選択された
M-アイコンが編集エリア内にある場合にはステップ1302
に進み、素材エリア内にある場合にはステップ1304に進
む。ステップ1302では、別のM-アイコン（あるいは音声
M-アイコン）に対して挿入作業を行いステップ1303に進
む。ステップ1303では、CPU301がツリー構造の構成要素
の入れ替え（各M-アイコンや音声M-アイコンやツリー構
造毎の入れ替え）命令であると判断し、ツリー構造の入
れ替え（あるいは、M-アイコンや音声M-アイコンの入れ
替え）を行い、入力待ちの状態に戻る。

【００３２】また選択したM-アイコン（あるいは音声M-
アイコン）が素材エリア内のものである場合には、ステ
ップ1304において、これをツリー構造に挿入する場合で
ある場合はステップ1305に進み、音声が付随せず映像の
み時にはに分岐し、音声のみの時にはに分岐する。
この時、挿入元のM-アイコンのデータの種類としては、 (1) 映像+音声（通常のM-アイコン） (2) 映像データのみ（通常のM-アイコンを、ctrlキーを
押しながらドラッグ＆ドロップする） (3) 音声のみ（音声M-アイコン）の３種類に分けられる。

【００３３】まずステップ1305において、通常の（従来
どおりの）M-アイコンを挿入する場合、即ち、挿入先が
M-アイコンである場合にはステップ1302に進み、以下、
前述のようにツリー構造の入れ替えが行われる。また、
音声M-アイコンである場合にはステップ1306に進む。ス
テップ1306では、挿入先のM-アイコンに音声トラックの
空きがあるか否かの判定を行い、空きが無い場合にはス
テップ1309に進み、トラックの空きが存在する場合には
ステップ1307に進む。ステップ1309では、「挿入不可」
のメッセージを出力し（ここで、動画像編集装置により
扱える音声トラックの総数は、装置が構築されたコンピ
ュータの仕様により決定される）、入力待ちの状態の戻
る。ステップ1307では、挿入した映像データと音声デー
タを用いて、新たなM-アイコンとそれに対応する動画像
ファイルを作成しステップ1308に進む。更に、ステップ
1308においてM-アイコンの情報およびツリー構造情報の
書換えを行い、入力待ちの状態に戻る。

【００３４】次に、ステップ1304において映像のみのデ
ータを挿入する場合（に分岐する場合）を説明する。
このデータはM-アイコンを選択し、ctrlキーを押しなが
らドラッグ＆ドロップすることで作成及び挿入される。
なお、編集装置によっては、映像データのみのM-アイコ
ンはそのままでは存在せず、編集作業の過程でテンポラ
リの情報として作成される場合があってもよい。まず、
ステップ1311において、M-アイコンに挿入する場合に
は、に分岐する。前述のようにM-アイコンでは、「映
像データの有無」フラグが「有」になっているため挿入
することはできない。従ってこの場合にはステップ1310
において「挿入不可」のメッセージを出力する。次に、
音声M-アイコンに挿入する場合にはステップ1312に分岐
し、CPU301は音声トラックの空きを調査し、無い場合に
は分岐に分岐する。空きが存在する場合にはステップ
1313に進み、ステップ1313では、挿入した映像データ
と、元の音声データを用いて新たなM-アイコンと動画像
ファイルを作成する。更に、ステップ1314において、M-
アイコンの情報とツリー構造情報の書き換えを行い、分
岐に進む。

【００３５】最後に、音声M-アイコンを挿入する場合で
ある分岐では、ステップ1321において、音声M-アイコ
ンをM-アイコンに挿入する場合にはステップ1322に進
み、音声M-アイコンに挿入する場合にはステップ1325に
進む。ステップ1322では、音声トラックの空きをチェッ
クし、無い場合には分岐に進み、エラーメッセージの
出力を行う。また、空きが存在する場合にはステップ13
23にすすむ。ステップ1323では、挿入した音声データ
と、元の映像データおよび音声データを用いて、新たな
M-アイコンと動画像ファイルを作成しステップ1324に進
む。次に音声M-アイコンに挿入する場合であるステップ
1325では、まず音声トラックの空きをチェックし、無け
れば分岐に進み、エラーメッセージの出力を行う。ま
た、空きがある場合にはステップ1316に進む。ステップ
1316では、挿入した音声データと、元の音声データおよ
び映像データ（青色）を用いて、新たなM-アイコンと動
画像ファイルを作成しステップ1324に進む。そして、ス
テップ1324では、M-アイコンの情報およびツリー構造情
報の書換えを行い分岐に進む。以上が、M-アイコンお
よび音声M-アイコンを用いた編集操作の動作概略であ
る。

【００３６】以下、まず初めにニュース番組でよく見ら
れるような、例えば街頭でインタビューした音声に別の
映像を挿入する（付け替える）場合についてを、具体的
な実施例として説明する。図１は編集エリアに挿入され
た音声M-アイコンを簡単に説明するための図である。ま
た、素材エリアは省略している。これまで説明した構成
要素と同一の機能の構成要素には同一の番号を付した。
その他、101-2は編集エリア、104-1はツリー構造、601
と605は音声M-アイコン、602〜604はM-アイコン、503と
504は音声アイコンである。

【００３７】手順としては、まず初めに、基準となる音
声データの作成を行う。オペレータは、インタビューし
た素材（M-アイコン：映像＋音声）をキャプチャし、素
材エリア102に読み出す（図４の素材エリア102′参
照）。次に所望のM-アイコンをマウス309を用いて選択
し、動画像再生ボタン110によってプレビュー機能等を
起動して実際に使用する区間の映像を特定（例えば、ト
リミング作業を行う）する。次に、そのM-アイコンを選
択したままの状態でスプリットボタン401を押す。これ
によって前述のようにCPU301は、そのM-アイコンの音声
情報と青色の映像情報を用いて新たに音声M-アイコンと
動画像ファイルを作成する。次に、オペレータは作成さ
れた音声M-アイコンを編集エリア101に移動する。これ
により、基準となる音声M-アイコンが用意された（図１
の音声M-アイコン601参照）。

【００３８】図１において、音声M-アイコンに挿入する
映像データを用意するが、その対象としては、上述のよ
うに、映像＋音声（通常のM-アイコン）映像データのみ音声のみ（音声M-アイコン）が挙げられるが、ここでは、「映像データのみ」を挿入
する場合を例として説明する。音声M-アイコンの場合と
同様に、使用する素材（M−アイコン）を素材エリアに
読み出す。オペレータはトリミング機能等を用いて、読
み出したM-アイコンの中で使用する映像の区間を設定す
る。次に、このM-アイコンをctrlキーを押した状態で、
編集エリア101-2に移動した前述の音声M-アイコン601上
に移動させる（ドラッグ＆ドロップする）。この時CPU3
01は、M-アイコンの映像データと、音声M-アイコンの音
声データを用いて、新たにM-アイコンと動画像ファイル
を作成する。更に、CPU301はツリー構造の情報に対し
て、作成したM-アイコンの情報を入れ替える。これによ
り、作成されたM-アイコンがプレビュー等の機能でアク
セスされるようになり、編集作業は終了である。

【００３９】ここまでは、特に断わらずに挿入元の長さ
（尺）と、挿入先の長さ（尺）が同一の場合について説
明してきたが、挿入される音声M-アイコンやM-アイコン
と挿入する各データとの間で、その長さの関係には次の
３つの関係がある。挿入先M−アイコン＞挿入するデータ挿入先M−アイコン＝挿入するデータ挿入先M−アイコン＜挿入するデータまず初めに、挿入先のM-アイコンの長さの方が長いの
場合について図１を用いて説明する。図１において、挿
入先の音声M-アイコン601に映像データAのM-アイコン60
3と映像データBのM-アイコン604を挿入した結果とし
て、まだ、挿入先の音声の方が長い(音声M-アイコンが
残っている）状態を示す音声M-アイコン605を示してい
る。このように、音声データが余った部分について、右
隣に新たに音声M-アイコンが作成され、ツリー構造とし
て結合される。図１のM-アイコン602に示したのがこの
状態である。この図の場合、映像データAのM-アイコン6
03が作られ、音声M-アイコン601の音声データから、映
像データAと同じ長さ分の音声データが切り取られ音声M
-アイコン503となって映像データAのM-アイコン603に付
随する。更に、映像データBのM-アイコン604が作られ、
映像データAと同じ長さ分切りとられた音声M-アイコン6
01の音声データから、映像データBの長さ分の音声デー
タが切り取られ音声M-アイコン504となって映像データB
のM-アイコン604に付随する。そしてそれでも、音声M-
アイコン601の音声データの長さは、映像データAと映像
Bのデータより長いため、余っているので、この余り部
分で新たな音声M-アイコン605が作られる。最後にこれ
らはM-アイコン602として、ツリー構造で構成される。

【００４０】次に、挿入先の音声M-アイコンと、挿入す
るデータとが同じ長さであるの場合についてである
が、この場合には今まで説明してきたように、そのまま
データが挿入される。

【００４１】最後に、挿入する映像の方が長いの場合
である。この場合を図８によって説明する。図８は挿入
する映像のデータが挿入先の音声データより長い場合の
一実施例を説明する図である。これまで説明した構成要
素と同一の機能の構成要素には同一の番号を付した。そ
の他、101-3は編集エリア、606は挿入する映像データA
によって作られたM−アイコン、502は音声M-アイコン、
800は映像データAからカットされた部分である。図８に
示すように、映像データが、音声M-アイコンの音声デー
タよりも長く表示される。更に、この音声データよりも
長い部分800については、グレー表示される。なお、こ
のグレー表示された部分については、プレビュー時には
再生されない。以上、音声M-アイコンに映像データを追
加する場合について説明した。なお、本実施例では映像
データを挿入することができる対象は、音声M-アイコン
のみである（通常のM-アイコンには挿入できない）。

【００４２】次に、通常のM-アイコンや音声M-アイコン
に対して、その長さよりも長い音声データ（音声M-アイ
コン）を挿入した場合の一実施例を図７によって説明す
る。図７は挿入する音声データが挿入先のM-アイコンの
持つデータより長い場合を説明する図である。これまで
説明した構成要素と同一の機能の構成要素には同一の番
号を付した。その他、101-4は編集エリア、104-2はツリ
ー構造、701，703，704， 706はM-アイコン、751-1，75
1-2，753，754は音声M-アイコン、701′はM-アイコン70
1に音声データが挿入された後のM-アイコン、751-2は挿
入された音声M-アイコン、751-1′はM-アイコン701に音
声データが挿入された後の音声M-アイコン、702は余っ
た音声データの部分を示すグレー表示部分、104-2′は
音声データ挿入後の一部のツリー構造である。図７にお
いて、M-アイコン706とその下位のM-アイコン703，70
4，701とそれらに付随した音声M-アイコン753，754，75
1-1で構成されているツリー構造104-2がある。この中の
M-アイコン701に更に、その長さよりも長い音声データ
（音声M-アイコン）を挿入した場合には、そのM-アイコ
ン701の長さ分の音声M-アイコン751-2のうち、音声デー
タの余った部分702がグレー表示される。また、余った
音声データについてはプレビュー時には再生されない。
逆に短い音声データを挿入した場合には、図７の下側に
示すM-アイコン701″と音声M-アイコン751-1″に更に追
加された音声M-アイコン751-2″のように短く表示され
る。

【００４３】ここで、音声M-アイコンに対して、映像デ
ータが挿入されたものの中で、映像データの挿入されて
いない領域の無いものについては、M-アイコンの情報の
うち、図９の映像データの有無を記録する領域902で示
す「映像データの有無」のフラグが「有」（例えば
“１”）と書換えられ、通常のM-アイコンとして扱われ
るようになる。従って、さらに映像データを追加するこ
とはできない。ただし、音声M-アイコンの追加は可能で
ある。

【００４４】なお、音声情報の表示の別の実施例を図１
７に示す。図１７は編集エリア上のM-アイコンと音声M-
アイコンの一表示例を示す図である。これまで説明した
構成要素と同一の機能の構成要素には同一の番号を付し
た。その他、101-5は編集エリア、104-3はツリー構造、
703，704， 706′，717，718はM-アイコン、753，754，
757-1，757-2，758-1，758-2は音声M-アイコン、1600は
赤く色づけした辺、1601は青く色づけした辺である。図
１７に示すように、映像に付属する音声の長さを基準に
して、それよりも長いあるいは短い映像や音声データに
対して、例えば長い場合には青色1600で、短い場合には
赤色1601で右辺および上辺に色付けを行ってもよい。

【００４５】次に、別の具体的な実施例として、音声の
長さに合わせて（長さを変えないで）映像データや音声
データを追加する場合について説明する。これは、例え
ばカラオケのビデオの編集を行う場合などのように、音
楽を含む音声の長さが予め決められている場合の編集で
ある。まず初めに、音声M-アイコンを作成する。その方
法としては例えば、音楽ファイルを動画像編集装置に読
み込んで、一連の音声M-アイコンを作成し、えいぞうん
を挿入する区画となる何小節か毎の音声M-アイコンに分
割すれば良い。その方法としては、本発明を構築する動
画像編集装置に別途作成されているセパレート機能、即
ち、モニタ308上に表示させたプレビューウィンドウ
で、動画像（映像＋音声）を再生しながら、目的のフレ
ームでスペースキーを押すことでM-アイコン分割する機
能を用いて行うことができる。なお、この音楽（声）を
聞きながら、セパレートを行う機能については、例えば
特開平10-51734号公報に述べられている。

【００４６】更にまた次に、上述のようにして作成した
音声M-アイコンに対して、映像データを挿入する場合を
説明する。ここで、音声M-アイコンに挿入する映像デー
タが、挿入先の音声M-アイコンよりも長い場合には、余
った部分については、その右側に新たに残りの部分の音
声M-アイコンが作成されることは、既に説明した通りで
ある。しかし、カラオケビデオのような、決まった長さ
に編集する作業では、個々の設定された音声M-アイコン
の長さが変動すると、混乱を生じる場合がある。そこ
で、本発明の一実施例では、M-アイコンの情報に、「長
さ固定設定」フラグ916（図９）を設けている。このフ
ラグ916の設定は、例えば、既に説明した図６におい
て、編集用ウィンドウ100′にプルダウンメニュー126を
作成し、その中の個々のメニューの中（図示していな
い）で設定できるようにしてもよく、別の方法では、キ
ーボード上の何れかのキーに割り当ててもよい。

【００４７】上述の手段により、「長さの固定」を設定
した音声M-アイコンに、映像データを挿入した例が図１
９である。図１９は編集エリア上のM-アイコンと音声M-
アイコンの一表示例を示す図である。これまで説明した
構成要素と同一の機能の構成要素には同一の番号を付し
た。その他、101-6は編集エリア、781と782と783は音声
M-アイコン、1801は音声M-アイコンに対して入力映像の
方が長いM-アイコン、1802は音声M-アイコンに対して入
力映像の方が短いM-アイコン、1803は音声M-アイコンと
入力映像の長さが同じM-アイコン、1800は音声M-アイコ
ン781〜783をそれぞれ有するM-アイコン1801〜1803の上
位のM-アイコン、104-4はツリー構造、1810は元の音声M
-アイコンよりも長い部分、1811は映像データの方が短
い部分である。図１９に示すように、映像データAのM-
アイコン1801では、元の音声M-アイコン781の音声デー
タよりも長い部分1810については、グレー表示されてい
る（また、プレビュー時には再生されない）。次にM-ア
イコン1802で示したのは、映像データBの方が音声M-ア
イコン782の音声データよりも短い場合である。図１９
に示すように、まだ映像が挿入されていない部分につい
ては、グレー表示により明示されている（プレビュー時
には、青色の映像が再生される）。M-アイコン1803で
は、音声M-アイコン783の音声データの長さと映像デー
タCの長さが同じであるのでグレー表示はない。このよ
うに、「長さ固定」が設定されているため、設定されて
いない時のように自動的に新たな音声M-アイコンは作成
されず、より簡単に長さに合わせた編集を行うことがで
きる。

【００４８】なお、この残りの映像部分については、先
に述べたように、M-アイコンの情報917，918（図９）に
記述された情報を用いて、さらに映像データを挿入する
ことができる（さらに追加した場合には、それらの情報
等が書換えられる）。

【００４９】次に、音声データに対しての編集について
説明する。編集の対象は、動画像（M-アイコン）に付属
した、あるいは、後から追加した音声であり、図１０及
び図１５を用いて説明する。図１５は音声によって動画
像を編集する場合の処理動作を説明するためのフローチ
ャート、図１０は本発明の一実施例の音声編集を行うた
めの編集ウインドウを説明するための図である。これま
で説明した構成要素と同一の機能の構成要素には同一の
番号を付した。その他、1100は音声編集用ウインドウ、
1000は選択したM-アイコン（動画像）に含まれる映像デ
ータをフィルムの形式状に時間順に所定の時間間隔で並
べて表示したフィルムイメージ、1001は録画した映像に
付属の音声データの出力レベル波形の表示欄、1002は上
から順に音声トラックII〜IVの音声データの出力レベル
波形の表示欄、1003は音声データを挿入する位置のタイ
ムコードの表示欄、1004は追加した音声データの長さを
タイムコードで表示する表示欄、1005はフェードインの
長さの表示欄、1006はフェードアウトの長さの表示欄、
1007は動画像に付属した音声の状態の表示欄、1008は追
加した音声II〜IVの挿入位置の状態をそれぞれ示す表示
欄、1010は編集作業を行う音声データを選択する選択ボ
タン、1011はその音声データを使用するか否かを選択す
る選択ボタン、1012はデリートボタン、1013はOKボタ
ン、1023はキャンセルボタン、1014は動画像に付属の音
声のレベルを調節するスライダー、1015は音声トラック
II〜IVの音声レベルを調整するスライダー、1016はチェ
ックボタン、1017と1018はトリミングボタン、1019は矢
印、1022はスライダである。図１５における音声の編集
方法において、ステップ1400では、編集用ウインドウか
ら所望のM-アイコンを選択するとステップ1401に進む。
ステップ1401ではオーディオエディットボタン125を押
すことによってステップ1402に進む。ステップ1402で
は、この時、選択したM-アイコンが素材エリアのもので
あるか、または、編集エリア内のツリー構造上の複数の
M-アイコンである場合にはステップ1403に進み、その他
の場合にはステップ1404に進む。ステップ1403では、エ
ラーメッセージの表示を行い、入力待ちの状態に戻る。
ステップ1404では図１０に示す音声編集用ウィンドウ10
00を表示させステップ1405に進む。ここで、音声編集用
ウインドウ1100に示すされる表示のうち、表示欄1001〜
1002では該当する音声データがない場合には、その表示
欄はグレー表示される。また、後述の方法により編集す
るトラックを変更した場合には、そのトラックに対応す
る音声波形が表示される。また、タイムコードの表示欄
1003と1004で表示する値は入力装置309を用いて直接設
定することができる。なお、これらの長さを入力装置30
9を用いて設定すると、設定した音声データの先頭から
その長さ分の音声が追加される。また、追加した音声よ
りも長い値を設定した場合には、エラーとなり、入力前
の値に戻される。更にまた、フェードイン、フェードア
ウトのタイムコードの表示欄1005と1006で表示する値
も、入力装置309を用いて直接設定することが可能であ
る。音声の状態を示す表示欄1007と1008は、各バーの左
端がIN点であり、右端がOUT点を示す。入力装置309によ
り、スライダー部を左右に移動させることで、IN点の設
定を行う。また、斜めに表示された区間がフェードイン
及びフェードアウトの区間を示している。さらに、各ス
ライダー部の下側の「○」印をクリックし移動させるこ
とで、該当する音声のトリミングを行える。ここで、移
動しようとする音声データが複数のM-アイコンにまたが
っている場合には、移動することにより、他のM-アイコ
ンに対して影響を与えるため、メッセージを表示し、注
意を促す。オペレータがOKボタン1013を押すと、音声デ
ータをそのM-アイコン内で移動させる。即ち、他のM-ア
イコンの音声データは移動しない。もし全体を移動させ
たい場合には、キャンセルボタン1023を押し、あらため
てその音声が全て含まれるツリー構造の上位のM-アイコ
ンを選択してやり直せば良い。なお、この設定は入力装
置を用いて設定することができ、ここで、設定した値
は、前述のタイムコードや音声波形表示と相互に連動し
ており、その状態が瞬時に反映される。選択ボタン1010
で選択した音声のデータが表示欄1003〜1006に表示され
る。次に、選択ボタン1011は、その音声データを使用す
るか否かを選択するボタンであり、このチェックを外す
とその音声は再生されなくなる。また、選択ボタン1010
で選択して、デリートボタン1012を押すと、選択された
音声データは消去され、領域903-20〜903-40等（図９）
の該当するアドレスに「NULL」が代入される。なお、動
画像付属の音声を選択した状態でデリートボタン1012を
押下すると、その音声のデータは全て“0”に書換えら
れる。即ち、この状態でOKボタン1013を押下すると、M-
アイコンの右隣に表示されたGUIでは、音声表示がグレ
ー表示される。

【００５０】スライダー1014と1015は、該当する音声の
出力レベルを調整する。従って、付属の音声のレベルを
調節するためのスライダー1014の値を“0”にすると、
音声は再生されない。音声トラックII〜IVの音声レベル
の調整スライダー1015も同様である。なお、選択ボタン
1011で未使用とした音声トラックのスライダーはグレー
表示され、操作が行えないようになる。また、チェック
ボタン1016を押すと、現在の音声の状態をプレビューで
聞くことができる。次に、トリミング機能は、映像＋音
声全体に対して行われ、IN点1017でIN点を、OUT点1018
でOUT点の設定を行う。また、トリミングされた区間
は、矢印1019で示すことにより、フィルムイメージ1000
を囲んで表現する（後ろ側の矢印は図示していない）。

【００５１】図１５のフローチャートに戻る。ステップ
1405では、音声データの挿入位置の変更をスライダー等
により行いステップ1406に進む。ステップ1406では、選
択したM-アイコンがツリー構造の最下層のM−アイコン
であった場合にはステップ1047に分岐し、上位のM-アイ
コンである場合にはステップ1408に分岐する。ステップ
1407では、移動した音声データが他のM−アイコンにま
たがっているか否かの判定を行い、他のM-アイコンにま
たがっていればステップ1409に分岐し、否であればステ
ップ1411に進む。同様にツリー構造の上位のM-アイコン
を選択した場合のステップ1408では、その音声データが
他のツリー構造のまたがっているか否かの判定を行い、
またがっていればステップ1409に分岐し、否であればス
テップ1411に進む。ステップ1409では、例えば「音声が
分断されます」等のメッセージを出力しステップ1410に
進む。ステップ1410では、オペレータがNoを指定すると
ステップ1406に分岐し、処理を中断し元の状態に戻す。
また、Yesを選択するとステップ1411に進む。

【００５２】ステップ1411では音声データの移動を行い
ステップ1412に進む。更にステップ1412では、図１０の
OKボタン1013を押すと、ステップ1413でM-アイコン及び
動画像ファイルの作成を行い、ステップ1414でM-アイコ
ンの情報およびツリー構造情報の書き換えを行う。な
お、このような音声編集の実施例の詳細については、特
開平１０−２００８５５号公報で詳しく述べられてい
る。

【００５３】次に、音声編集用ウィンドウ1100（図１
０）における任意の音声トラックの表示方法について説
明する。この場合には、スライダ1022を動作させること
で、目的の音声トラックを表示させることができる。な
お、このスライダー1022を動作させた場合には、音声波
形表示欄1001及び1002と、挿入位置の設定を行う表示欄
1007と1008及びそれらのスライダー部や、選択ボタン10
10及び1011、また、出力レベル（Mix Level）調整用ス
ライダー群1021も連動して移動及び表示させる。

【００５４】次に、音声データの挿入位置を移動させた
場合の、「音声情報表示」の表示方法について、図１９
を用いて説明する。上述のようにして、音声データの挿
入位置の変更を行うと、その変更内容に従って、M-アイ
コンの情報の「追加音声トラックのデータの長さ」（例
えば図９の領域910），「追加音声トラックのデータのI
N点」（例えば図９の領域911），「追加音声トラックの
データのOUT点」（例えば図９の領域912）の情報が書換
えられる。

【００５５】「音声情報表示」では、その情報を用い
て、その表示の変更を行う。図２０は編集エリア上のM-
アイコンと音声M-アイコンの一表示例を示す図である。
これまで説明した構成要素と同一の機能の構成要素には
同一の番号を付した。その他、101-7は編集エリア、791
と792と793は音声M-アイコン、1901，1902，1903はM-ア
イコン、1900はM-アイコン1901〜1903の上位のM-アイコ
ン、104-5はツリー構造である。図２０では、音声トラ
ックIIIについて示してある。図２０は、音声データがM
-アイコン1901の先頭から挿入され、M-アイコンの途中
まで音声データがある場合を、音声M-アイコン791が示
している。この場合、CPU301は、M-アイコン1901の長さ
を読み出し、トラックIIIの音声データの長さをこれと
比較して、「音声情報表示」を描画する座標値を計算し
描画を行う。次に、音声M-アイコン792は、このデータ
がM-アイコン1902の途中から挿入され、最後までデータ
がある場合を示している。更に、音声M-アイコン793で
は、この音声データがM-アイコン1903の途中から挿入さ
れ、かつ途中でデータ終わっている場合を示している。
これら音声M-アイコン792と793についても、「音声情報
表示」の描画方法は、音声M-アイコン791の場合と同様
である。

【００５６】更に、編集作業中に任意のM-アイコンをコ
ピーした場合には、音声情報（トラックの状態）はその
ままコピーされる。

【００５７】

【発明の効果】音声の状態をM-アイコンの隣に表示する
ことにより、音声の有無を容易に確認することができ
る。また、音声M-アイコンを用いることで、音声を基準
にした編集作業を行うことができる。

【図面の簡単な説明】

【図１】本発明の音声M-アイコンの一実施例を示す
図。

【図２】本発明の音声M-アイコンの一実施例を説明す
る示す図。

【図３】動画像編集装置の一実施例の構成を示すブロ
ック図。

【図４】本発明の編集用ウインドウの一実施例を示す
図。

【図５】本発明の素材エリアの一実施例を示す図。

【図６】本発明の編集用ウインドウの一実施例を示す
図。

【図７】本発明の音声M-アイコンの一実施例を示す
図。

【図８】本発明の音声M-アイコンの一実施例を示す
図。

【図９】本発明の情報データの構成の一例を示す図。

【図１０】本発明の音声編集用ウィンドウの一実施例
を示す図。

【図１１】本発明の一実施例を説明するフローチャー
ト。

【図１２】本発明の一実施例を説明するフローチャー
ト。

【図１３】本発明の動画像編集方法の一実施例を示す
フローチャート。

【図１４】本発明の動画像編集方法の一実施例を示す
フローチャート。

【図１５】本発明の動画像編集方法の一実施例を示す
フローチャート。

【図１６】本発明の情報データの構成の一実施例を示
す図。

【図１７】本発明のM-アイコンと音声M-アイコンの表
示の一実施例を示す図。

【図１８】従来の編集方法の一例を示す図。

【図１９】本発明の編集エリアの一実施例を示す図。

【図２０】本発明の編集エリアの一実施例を示す図。

【図２１】従来の編集用ウインドウの一例を示す図。

【図２２】本発明の音声M-アイコンの一実施例を説明
する示す図。

【符号の説明】

100，100′，100-1：編集用ウインドウ、 101，101-
1，101-2，101-3，101-4，101-5，101-6，101-7：編集
エリア、 102，102-1：素材エリア、 103，103′，10
3′-1，103′-2，103′-3： M-アイコン、 104，10
4′，104-1，104-2，104-2′，104-3，104-4，104-5：
ツリー構造、 105，105-1：編集機能ボタン群、 107
〜109：スライダ部、 110：動画像再生ボタン、 12
1，121′：カットを表すM-アイコン、 122，122′：シ
ーンを表すM-アイコン、 123，123′：いくつかのシー
ンの集合を表すM-アイコン、 124，124′：特定の撮影
テーマを表すM-アイコン、 125：オーディオエディッ
トボタン、 126：プルダウンメニュー、 200： M-ア
イコン、 201，202，203，204：音声情報領域、 20
5：奥行、 206，206′：音声マーク、 207：ポップア
ップメニュー、 208：スライダー部、 250，250′：
音声M-アイコン、 301：CPU、 302：メモリ、 303：
カット変化点検出部、 304：VTR、 305：ビデオイン
ターフェース、 306：磁気記憶装置、 307：フレーム
バッファ、 308：モニタ、 309：入力装置、 310：
バス、 311：映像信号出力端子、 401：スプリットボ
タン、 501，501-1，501′：音声M-アイコン、 502，
503，504：音声M-アイコン、 601，605：音声M-アイコ
ン、 602〜604，606：M-アイコン、 701，701′，70
3，704， 706，706′：M-アイコン、 702：グレー表示
部分、 751-1，751-1′，751-1″，751-2，751-2″，7
53，754，757-1，757-2，758-1，758-2：音声M-アイコ
ン、 781〜783：音声M-アイコン、 791〜793：音声M-
アイコン、 800：カット部分、901，902，902-1，902-
2，902-3，902-4，‥‥‥，903-11，903-12，903-13，9
03-21，903-22，903-23，‥‥‥，903-20，903-30，903
-40，‥‥‥，916-1，‥‥‥，917，917-2，918，918-
2：領域、 1000：フィルムイメージ、 1001，1002：
出力レベル波形の表示欄、 1003，1004：音声データの
長さをタイムコードで表示する表示欄、 1005：フェー
ドインの長さの表示欄、 1006：フェードアウトの長さ
の表示欄、 1007：動画像に付属した音声の状態の表示
欄、 1008：音声II〜IVの挿入位置の状態を示す表示
欄、 1010，1011：選択ボタン、 1012：デリートボタ
ン、 1013：OKボタン、 1014，1015：スライダー、
1016：チェックボタン、 1017，1018：トリミングボタ
ン、 1019：矢印、 1023：キャンセルボタン、 110
0：音声編集用ウインドウ、 1600：赤く色づけした
辺、1601：青く色づけした辺、 1700：編集欄、 1701
-1：映像素材、 1701-2：音声素材、 1702-1：映像素
材編集欄、 1702-2：音声素材編集欄、 1703：スライ
ダ部、 1704：時間軸、 1800〜1803：M-アイコン、
1810，1811：部分、1900〜1903：M-アイコン。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C023 AA02 AA12 AA14 AA38 CA01 CA04 DA04 5C053 FA05 FA14 FA23 HA29 JA01 JA16 KA03 KA24 LA06 LA11 5D110 AA04 AA13 AA27 AA29 CA05 CA06 CA44 CD22 CD26 CF13 CJ07 CJ13

Claims

【特許請求の範囲】

【請求項１】表示装置に表示された編集画面上で、該
編集画面上の表示を操作することにより音声データを含
めた動画像編集を行う動画像編集方法であって、複数の
フレーム画像の集合からなるカット画像と、該カット画
像を縮小表示した表示画像を前記編集画面上の編集エリ
ア上で階層構造状に構成及び表示することによって動画
像を編集する動画像編集方法において、前記表示画像の近傍に、前記音声データ情報の表示を行
うことを特徴とする動画像編集方法。
【請求項２】表示装置に表示された編集画面上で、該
編集画面上の表示を操作することにより音声データを含
めた動画像編集を行う動画像編集方法であって、複数の
フレーム画像の集合からなるカット画像と、該カット画
像を縮小表示した表示画像を前記編集画面上の編集エリ
ア上で階層構造状に構成及び表示することによって動画
像を編集する動画像編集方法において、前記音声データ
に基づく音声表示画像を作成し、該音声表示画像と前記
表示画像とによって動画像編集することを特徴とする動
画像編集方法。
【請求項３】請求項１または請求項２記載の動画像編
集方法において、前記音声表示画像が、前記音声データ
の長さまたは音声データの有無の少なくとも１つに基づ
いて動画像編集することを特徴とする動画像編集方法。
【請求項４】請求項１または請求項２または請求項３
記載の動画像編集方法において、前記音声表示画像の表
示が、音声データの挿入位置に応じてその表示位置を変
化することを特徴とする動画像編集方法。
【請求項５】請求項１または請求項２または請求項３
記載の動画像編集方法において、前記表示画像の表示
が、挿入した映像データがカットの長さよりも長い場合
には余った部分を、短い場合には足りない部分をグレー
表示することを特徴とする動画像編集方法。
【請求項６】請求項５記載の動画像編集方法におい
て、前記グレー表示された前記映像データをプレビュー
する時に、余った部分は再生せず、また足りない部分に
ついては青色の映像を表示することを特徴とする動画像
編集方法。
【請求項７】請求項１または請求項２または請求項３
記載の動画像編集方法において、前記音声表示画像の表
示が、挿入した前記音声データがカットの長さよりも長
い場合には余った部分をグレー表示し、短い場合には足
りない部分をグレー表示することを特徴とする動画像編
集方法。
【請求項８】請求項７記載の動画像編集方法におい
て、前記グレー表示された前記音声データをプレビュー
する時に、余った部分を再生しないことを特徴とする動
画像表示方法。
【請求項９】コンピュータに、素材ファイルを読み出すステップと、読み出された素材ファイルについて音声の有無をチェッ
クするステップと、チェックされた結果を映像情報ファイルに記述するステ
ップと、該映像情報ファイルの情報に基づいて、音声情報の表示
画像をモニタ画面上の映像情報の表示画像の隣に表示す
るステップと、を行わせるプログラムを記録した機械読
み取り可能な記録媒体。
【請求項１０】コンピュータに、ユーザの指示に従って、モニタ画面上の映像情報の表示
画像を選択するステップと、選択した映像情報の表示画像の位置情報を判定するステ
ップと、判定した位置情報に応じて、音声情報の表示画像を作成
するステップと、作成された音声情報の表示画像に対する映像情報及び音
声情報を映像情報ファイルに記述するステップと、記述された映像情報ファイルに基づいて、音声情報の表
示画像を前記モニタ画面上の映像情報の表示画像の隣に
表示するステップと、を行わせるプログラムを記録した
機械読み取り可能な記録媒体。
【請求項１１】コンピュータに、ユーザの指示に従って、モニタ画面上の表示画像を選択
するステップと、選択した表示画像の前記モニタ画面上の位置が編集エリ
ア内か素材エリア内かを判定するステップと、前記表示画像が前記編集エリア内にある場合には、挿入
を行いツリー構造を入れ替えるステップと、を行わせる
プログラムを記録した機械読み取り可能な記録媒体。