JP2000059720A - 連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法およびその処理手順を記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 映像や音声等といった連続メディアの論理構
造と、その構成単位／要素（映像では画像フレーム、音
声では波形データ）を容易に理解できるように表示する
ことができない。 【解決手段】 フレーム表示部８ａにより動画像の各画
像フレームを連続して画面の横方向に表示し、改行部８
ｃによりシーンの変化点を区切りとして改行し、行単位
で各シーンを表示する構成とする。また各改行位置には
改行マーク明示部８ｄにより改行マークを明示してシー
ンの単位を理解し易くする。また、表示枠設定部ｅで設
定した画面の表示枠を超える場合には、折り返し部８ｆ
によりその表示枠で折り返して次の行に表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像の動画像フレ
ームや音声の波形データ等の連続メディア情報を、コン
ピュータにより、ＣＲＴ（Cathode Ray Tube）やＬＣＤ
（Liquid CrystalDisplay）等からなる表示装置の画面
上へ表示する技術と、キーボードやマウス等からなる入
力装置から入力されるオペレータからの操作指示に基づ
き、画面上に表示した連続メディア情報を編集する技術
に係わり、特に、情報内容を理解し易く、また、細かな
編集作業を容易とするのに好適な連続メディア情報の表
示・編集装置と連続メディア情報の表示・編集方法およ
びその処理手順を記録した記録媒体に関するものであ
る。

【０００２】

【従来の技術】ビデオデッキやビデオカメラなどＡＶ機
器の低価格化に伴う普及によって、誰にでも簡単に映像
を撮影・獲得することができる。また、ハードウェアや
ソフトウェアによる処理速度の向上によって、撮影した
映像をデジタル化してコンピュータ上で映像を再生した
り編集したりすることができる。

【０００３】このようなコンピュータを用いて、デジタ
ル化した映像を編集する従来技術として、例えば、アビ
ドテクノロジー(Avid Technology）社製のＡＶＩＤ／１
メディアコンポーザ（MEDIA COMPOSER）や、特開平７−
４６４６２号公報（「映像プログラムを編集する方法と
装置」）に記載のアドビ（Adobe）社製のプレミア（Pre
miere）などがある。

【０００４】これらの技術の特徴は、編集対象となる映
像を表示する際、映像を構成しているフレーム画像を映
画のフィルムのように一列に並べて表示することであ
る。以下、図１６を用いて、このフレームを編集単位と
したフレーム単位編集技術について説明する。

【０００５】図１６は従来のフレーム単位編集技術での
画面表示例を示す説明図である。コンピュータシステム
の表示装置の画面上のウィンドウ３００には、編集対象
となる人物の映像を表示するための行３１０と、車の映
像を表示するための行３３０が設けられている。ここで
編集対象となる映像は、一連のフレーム画像の列として
構成されている。例えば、行３１０における人物の映像
はフレーム画像１１１〜１１３から、また、車の映像は
フレーム画像１２１〜１２４から構成されている。

【０００６】このようなフレーム単位での編集技術の特
徴は、フレーム画像の列を映画のフィルムのように直線
状に並べた映像表現を用いて、映像編集を行うことであ
る。しかし、この技術では、映像中のフレーム画像列を
一直線状に配置するため、一度に全てのフレーム画像を
１ウィンドウの表示枠内に表示することができない。表
示枠外の映像内容を確認するためには、オペレータは、
スクロールバー３０１を用いて、フレーム画像列をスク
ロールする。

【０００７】また、本例では、「映像１」と「映像２」
の２つの映像を１つに繋ぎあわせる編集処理時の画面を
表示している。ここでは、「映像１」の人物の映像か
ら、「映像２」の車の映像に切り替わる際、人物の画像
の端からだんだんと車の画像が現れてくる「ワイプ」と
呼ばれる映像特殊効果を付加している。具体的には、人
物の映像末尾フレーム画像１１２，１１３と、車の映像
の先頭のフレーム画像１２１，１２２とを合成した画像
を、映像編集結果の画像としている。

【０００８】上述のメディアコンポーザ等の典型的なフ
レーム単位編集技術では、このような特殊効果付け編集
操作を、ユーザに分かり易く提示するために、特別に、
特殊効果表示用の行３２０を備えている。また、実際に
２つの映像が合成される個所に「ワイプ」といった特殊
効果付けアイコン３２１が表示される。このような、編
集対象のフレーム画像列を映画のフィルムのように一直
線状に並べた映像表現を用いた映像編集技術が、フレー
ム単位映像編集技術である。

【０００９】このフレーム単位映像編集技術は、従来、
内容の確認が難しかったＶＨＳや８ｍｍ形式のビデオテ
ープのような映像を、映画のフィルムの切り張りのよう
な直感的な操作で映像が編集できる。しかし、フレーム
画像列を一直線状に配置すると、どこにどのような映像
シーンが存在するかを探しにくくなる。

【００１０】例えば、映像には通常、オープニングシー
ンや人が現れるシーンやエンディングシーンなど、シー
ンまたはカットと呼ばれる一連の論理的な映像区間を表
す単位が存在するが、フレーム単位編集技術では、この
ような論理的な映像区間は何も考慮せず、ただ映像中の
物理的な単位であるフレーム画像列のみを並べている。
そのため、どこからどこまでが一連のシーンなのかが分
かりにくい。さらには、ある人物が登場するシーンだけ
を削除したい場合などには、どのフレーム位置でシーン
が切り替わっているかを、オペレータが１フレームずつ
ずらして確認する必要がある。

【００１１】このようなフレーム単位編集技術の問題点
を解決するための従来技術として、例えば、特開平７−
７９４０４号公報（「ビデオの代表画像一覧作成方法お
よび装置」）および特開平５−２６８５１７号公報
（「動画像編集システムの表示方法」）に記載されてい
る日立製作所製の映像編集ソフトウェアMediachef/CUT
がある。この技術では、映像の論理単位であるシーンを
編集の基本単位としたシーン単位編集技術を用いてい
る。以下、図１７を用いて、このシーンを編集の基本単
位としたシーン単位編集技術について説明する。

【００１２】図１７は、従来のシーン単位編集技術での
画面表示例を示す説明図である。コンピュータシステム
の表示装置の画面上のウィンドウ４００には、編集対象
となる４つの映像シーンがそれぞれシーンブロックイコ
ン形式で表示されている。本編集技術では、前述の図１
６の人物のシーンを表す映像１１１〜１１３はシーンブ
ロックアイコン４１０として、同じく車の映像シーン１
２１〜１２４はシーンブロックアイコン４２０として表
示され、さらに、新たなコント漫才の映像シーンがシー
ンブロックアイコン４３０として、また、家の映像シー
ンがシーンブロックアイコン４４０として表示されてい
る。

【００１３】本例の各シーンブロックアイコン４１０〜
４４０では、シーン中の特徴的なフレームの画像がアイ
コン画像として表面に表示され、またシーンの名称がア
イコン画像の下に表示され、さらに、そのシーンの時間
長が直方体状の各シーンブロックアイコン４１０〜４４
０の奥行きとして表示されている。このように、シーン
単位の編集技術では、論理的な構造であるシーンだけを
シーンブロックアイコン４１０〜４４０により表示する
ことで、映像中にどのようなシーンが存在するのかが一
目で分かる。

【００１４】また、このシーン単位の編集では、あるシ
ーンブロックアイコンを選択して、削除したり移動した
りすることで簡単にシーンの編集を行なうことができ
る。例えば、図１７において、家のシーンをコントのシ
ーンの前に移動するには、まずマウスカーソル１７０に
より家のシーンのシーンブロックアイコン４４０を選択
し、マウスカーソル１７０をコントのシーンのシーンブ
ロックアイコン４３０の前に移動する。これにより、シ
ーンの並び替えが行われ、シーンブロックアイコン４４
０がシーンブロックアイコン４３０の前に移動する。

【００１５】このように、シーン単位編集技術では、フ
レーム単位編集技術では難しかった論理的なシーンの移
動や削除を簡単に行なうことができる。尚、シーン単位
編集技術によっては、いくつかのシーンブロックアイコ
ンをグループ化することができ、グループ化したシーン
ブロックアイコンとグループ内シーンブロックアイコン
を木構造で表現することができるものもある。この技術
では、より実際の映像の論理構造にそった編集が可能で
ある。

【００１６】しかし、このシーン単位編集技術では、シ
ーンをシーンブロックアイコンとして表現しているた
め、シーン内の細かいフレーム画像の変化が捕らえにく
くなる。例えば、先述の車のシーンの場合、図１６のフ
レーム単位編集技術では、フレーム画像１２１〜１２４
によって表現されているので、車が左方向に動いている
ことが容易に把握できる。しかし、本図１７のシーン単
位編集技術では、ある１枚のシーンを代表するフレーム
画像だけがシーンブロックアイコン上に表示されるた
め、車が停まっているのか、車が動いていてもどの程度
のスピードで動いているのかが把握しにくい。

【００１７】また、このシーン単位編集技術では、フレ
ーム画像列が表示されないため、フレーム単位編集では
簡単に行なうことができた先述のような（「ワイプ」に
よる９フレーム間での特殊効果付けや、さらには、ある
フレーム区間内での字幕の挿入など、フレーム単位の編
集作業が難しくなっている。

【００１８】以上のような映像編集時の問題は、映像以
外の連続メディア、例えば音声の編集にも存在する。ま
ず、図１６のウィンドウ３００における映像・音声編集
画面を用いて、メディアコンポーザなどでも用いられて
いる典型的な音声編集技術を説明する。

【００１９】この音声編集技術では、音声波形を一直線
状に配置して表現する。図１６では、行３１０の「映像
１」に付随する音声を音声トラック３４０として表現し
ている。同様に、行３３０の「映像２」に付随する音声
を音声トラック３５０として表現している。これらの音
声トラック３４０，３５０は、映像編集の際と同様に、
マウスやスクロールバーなどを用いることによって、音
声の区間を選択したり、選択した音声を加工したりする
ことができる。

【００２０】このような音声編集技術にも、先のフレー
ム単位映像編集と同じく、音声全体の論理構造が把握し
づらいという問題がある。すなわち、音声も映像と同じ
ように、オープニングソングやインタビューの話者の音
声などのような、論理構造が存在するが、音声をこのよ
うな一直線状に表現しているため、どこからどこまでが
インタビュアーの声なのかが分かりにくい。

【００２１】また、音声編集に関しても、映像の場合の
ようなシーン単位編集技術を考案することもできる。し
かし、映像のシーン単位編集と同じく、音声中のどの部
分でボリュームが変化するかなど、シーンブロックアイ
コンを見ただけでは把握できない情報がある。

【００２２】

【発明が解決しようとする課題】解決しようとする問題
点は、従来の技術では、コンピュータでの編集処理にお
いて、オペレータは、映像や音声等といった連続メディ
アの論理構造を容易に理解しながら、同時に、その構成
単位／要素（映像では画像フレーム、音声では波形デー
タ）も容易に理解することができない点である。

【００２３】本発明の目的は、これら従来技術の課題を
解決し、コンピュータを用いた映像や音声等といった連
続メディアの編集作業を効率化することが可能な連続メ
ディア情報の表示・編集装置と連続メディア情報の表示
・編集方法およびその処理手順を記録した記録媒体を提
供することである。

【００２４】

【課題を解決するための手段】上記目的を達成するた
め、本発明の連続メディア情報の表示・編集装置と連続
メディア情報の表示・編集方法は、例えば動画像の各画
像フレームを連続して画面の横方向に表示する場合、シ
ーンの変化点を区切りとして改行し、行単位で各シーン
を表示する構成とする。

【００２５】そして、各改行位置には改行マークを明示
して、シーンの単位を理解し易くする。尚、画面の表示
枠を超える場合には、スクロール操作等を行なっても良
いが、その表示枠で強制的に折り返して次の行に表示す
ることでも良い。この場合には改行マークは明示しな
い。

【００２６】また、画面上の各行の先頭から、および、
先頭の行から後続の行方向へ、所定の経過時間を表す目
盛線を表示し、各フレームおよび各シーンの時間位置を
容易に理解できるようにする。また、行先頭の前の領域
に、この行に表示されている全フレームに対応する従来
技術で作成されるシーンブロックアイコン情報も合わせ
て表示する。

【００２７】また、オペレータが編集対象のフレームを
指定すると、その対象フレーム部分をハイライト表示す
ることで、指定の良否を容易に判断できるようにし、か
つ、その移動等の編集操作を容易とする。また、例え
ば、複数のフレームを１行に結合する場合、各結合部分
を他の部分より大きく表示する等して、結合編集の結果
を容易に判断できるようにする。さらに、結合編集した
行の次の行から、結合編集前の各フレーム行の表示状態
をウィンドウ表示する。

【００２８】

【発明の実施の形態】以下、本発明の実施の形態を、図
面により詳細に説明する。図１は、本発明の連続メディ
ア情報の表示・編集装置の本発明に係る構成の一実施例
を示すブロック図である。本図１において、１はＣＲＴ
やＬＣＤ等からなる表示装置、２はキーボードやマウ
ス、トラックボール等からなる入力装置、３はＣＰＵ
（Central ProcessingUnit）やＲＡＭ（Random Access
Memory）等からなり蓄積プログラム方式によるコンピュ
ータ処理を行ない本発明に係わる連続メディア情報の表
示および編集処理を行なう表示・編集装置、４はＨＤＤ
（Hard Disk Drive）等からなる補助記憶装置、５はビ
デオテープレコーダ等からなり映像と音声情報を入力す
る連続メディア情報入力装置、６は表示・編集装置３で
処理する本発明に係わる表示・編集処理の手順からなる
プログラムを記録した光ディスク、７は光ディスク６を
駆動してそのプログラムを表示・編集装置３に入力する
光ディスク駆動装置である。

【００２９】表示・編集装置３には、光ディスク６から
読み込んだプログラムにより、フレーム単位での表示と
編集を行なうための表示処理部８と編集表示処理部９が
構成され、また、連続メディア情報入力装置５から入力
した映像や音声情報などのアナログ信号をコンピュータ
処理可能なデジタル信号に変換するデータ変換部１０が
設けられている。

【００３０】表示処理部８は、フレーム表示部８ａ、区
切り検出部８ｂ、改行部８ｃ、改行マーク明示部８ｄ、
表示枠設定部８ｅ、折り返し部８ｆ、横方向時間目盛表
示部８ｇ、縦方向時間目盛表示部８ｈ、シーンブロック
アイコン表示部８ｉを有し、編集表示処理部９は、結合
表示処理部９ａとアウトライン編集表示処理部９ｂを有
している。

【００３１】このような構成により表示・編集装置３
は、連続メディア情報入力装置５から入力される映像と
音声を、画像フレームと波形データに変換して表示装置
１のウィンドウ画面上に表示し、入力装置２からのオペ
レータからの操作指示に基づき、表示した画像フレーム
と波形データに対する編集処理を行なう。

【００３２】この表示処理において、表示・編集装置３
は、フレーム表示部８ａにより、画像フレームや波形デ
ータを横方向に順に表示する。この時、区切り検出部８
ｂにより、画像フレームや波形データの論理的な区切
り、すなわち、シーンの変化点を検出し、改行部８ｃに
より、この検出したシーンの変化点毎に画像フレームや
波形データの表示を改行する。

【００３３】このように、画像フレームや波形データ
を、シーン単位で行を変えて表示するので、編集処理を
行なうオペレータは、各画像フレームや波形データの論
理構造、すなわち各シーン構造を容易に理解することが
できると共に、その構成単位／構成要素、すなわち、画
像フレームや波形データの内容も容易に理解することが
でき、それらの編集作業を効率的に行なうことができ
る。

【００３４】また、各シーンの改行位置には、改行マー
ク明示部８ｄにより、改行マークをハイライト表示す
る。これにより、オペレータは、シーンの単位を理解し
易くなる。また、表示枠設定部８ｅにより、画面横方向
の表示領域が設定され、この表示領域を越えるシーンの
各画像フレームや波形データは、折り返し部８ｆによ
り、その領域から折り返して次の行に表示する。尚、こ
の折り返し位置に対しては、改行マーク明示部８ｄによ
る改行マークのハイライト表示は行なわない。

【００３５】また、横方向時間目盛表示部８ｇと縦方向
時間目盛表示部８ｈにより、画面上の各行の先頭から、
および、先頭の行から後続の行方向へ、所定の経過時間
を表す目盛線を表示する。これにより、オペレータは、
各フレームおよび各シーンの時間位置を容易に理解でき
る。さらに、シーンブロックアイコン表示部８ｉによ
り、行先頭の前の領域に、この行に表示されている全フ
レームに対応するシーンブロックアイコン情報も合わせ
て表示する。

【００３６】そして、編集処理において、入力装置２を
介してオペレータが編集対象のフレームを表示措置１の
画面上で指定すると、表示・編集装置３は、編集表示処
理部９により、例えば移動編集等を行なうと共に、その
対象フレーム部分をハイライト表示する。これにより、
オペレータは、自分の指定操作の良否を容易に判断する
ことができ、また、その移動等の編集操作経過および結
果を容易に確認することができる。

【００３７】また、この編集操作において、その指示
が、複数のフレームを１行に結合するものであれば、結
合表示処理部９ａにより、指示通り各フレームを結合す
ると共に、その各結合部分を他の部分より大きく表示す
る。これにより、オペレータは、結合編集の結果を容易
に判断することができる。さらに、アウトライン編集表
示処理部９ｂにより、結合編集した行の次の行から、結
合編集前の各行のシーンの表示状態を小さめのウィンド
ウで表示する。

【００３８】以上の一連のフレーム画像列を（従来技術
のように単純に一直線状に並べるのではなく）、映像の
論理的なシーンの切れ目でフレーム画像列を区切って改
行表示していくような映像表現処理は、表示・編集装置
３に、ワープロ（ワードプロセッサ）の文章表示技術や
編集技術のメタファを摘用したものである。以下、この
ようなワープロの文章表示技術や編集技術について説明
する。

【００３９】まずワープロの文章表示・編集技術と映像
の表示・編集技術との関係についてに説明し、次に、表
示・編集装置３について説明し、そして、最後に、音声
に対する表示・編集装置３の処理動作を説明する。

【００４０】映像、音声、静止画像、文字列と様々なメ
ディアの中でも、文字列は古くから用いられてきてお
り、その表示技術や編集技術には、これまで様々な技術
が開発されてきた。文字列は、元をただせば単なる文字
の並びである。しかし、文字列は実際には意味を持って
おり（通常、文章と呼ばれる）、単語や一文、および章
や節などの論理構造が存在する。このような論理構造
は、紙やワープロの文章では、句読点や改行、および章
や節の見出しなどを用いて、ページと呼ばれる平面上に
敷き詰めることにより、分かりやすく表現されている。

【００４１】映像も単なるフレーム画像の並びであり、
また、シーンと呼ばれる論理構造も存在する。しかし、
そのフレーム画像列の論理構造を分かりやすく表現する
技法がないことが問題であった。そこで、映像に対して
も、文字列と同様に、改行や句読点、ページなどの概念
を適用できれば、文字列からなる文章を理解するのと同
様に簡単に映像を表現できる。

【００４２】そこで、映像の表現技術として、映像に対
して論理的な区切りを表現する改行という概念を加え
る。具体的には、一続きの映像を表示するために、
（ａ）表示対象となる映像の開始位置から映像中の論理
的な切り替わり時点までの映像部分区間を、この映像部
分区間の時間長に比例した長さのフレーム画像の列とし
て表示し、（ｂ）次回表示位置を、（ａ）で表示した前
回のフレーム画像列表示位置の隣に移動し、（ｃ）表示
対象映像から、（ａ）で既に表示した映像部分区間を取
り除いた残りの映像区間を新たな表示対象映像とする。
そして、この処理を、少なくとも２回行なう。

【００４３】さらに、この映像の表示・編集技術を、音
声などにも適用する。すなわち、映像に対する表現技術
を、音声、アニメーション、スライドショー、映像、お
よびこれらが多重化されたメディア等の連続メディアに
も適用可能にするため、次の技術を用いる。

【００４４】まず、（ｄ）表示対象となる連続メディア
の開始位置から、この連続メディア中の論理的な切り替
わり点までの連続メディア部分区間を、連続メディア部
分区間の区間長に比例した長さの棒状表現で表示し、
（ｅ）次回表示位置を、（ｄ）で表示した前回の棒状表
示領域の隣に移動し、（ｆ）表示対象連続メディアか
ら、（ｄ）で既に表示した連続メディア部分区間を取り
除いた残りの連続メディア区間を新たな表示対象連続メ
ディアとする。そして、この処理を、少なくとも２回行
なう。

【００４５】以下、まず、図２，図４，図５を用いて、
図１における連続メディア情報の表示・編集装置３の基
本的な表現動作例および編集動作例を、映像を対象とし
て説明し、次に、図３を用いて音声を対象として説明
し、さらに、図６〜図１１を用いて、データ構造と処理
フローの例を説明し、最後に、図１２〜図１５を用い
て、本例の使い勝手をさらに向上させる技術について説
明する。

【００４６】図２は、図１における表示・編集装置の本
発明に係わる第１の処理動作例を示す説明図である。本
例は、図１の表示装置１の画面上における表示・編集装
置３による処理結果を示すものであり、ウィンドウ１０
０には、フレーム画像表示領域１５１が表示されてい
る。そして、編集対象映像として、フレーム画像１１１
〜１１３、これに引き続き、フレーム画像１２１〜１２
４、フレーム画像１３１〜１３２、フレーム画像１４１
〜１４３が、一続きのフレーム画像列として構成された
映像を表示している。

【００４７】本例の表示技術の最大の特徴は、このよう
な一連の映像を、従来のフレーム単位編集技術のように
一直線状に表示するのではなく、フレーム画像列を映像
の論理的な単位毎、つまりシーン毎にフレーム画像列を
改行して表示することにある。この場合、「シーン１」
を表すフレーム画像１１１〜１１３が最上段の行として
表示され、同様に「シーン２」を表すフレーム画像１２
１〜１２４が第２行、「コント」のシーンを表すフレー
ム画像１３１〜１３２が第３行、「家」のシーンを表す
フレーム画像１４１〜１４３が第４行に表示される。

【００４８】このように、フレーム列を改行表示するこ
とによって、次のような効果が得られる。 （１）オペレータは、行の並びを見ることによって、映
像中にどのようなシーンが存在するのかという、映像の
論理構造を、容易に把握できる。 （２）また、各行を見ることによって、（２−１）行の
長さ（本図２ではフレーム画像の枚数）から、各シーン
の時間長を容易に把握でき、（２−２）行の表示内容か
ら、各シーン内でのフレーム画像の遷移状況など、シー
ンの内容を容易に把握できる。

【００４９】本図２の例では、このような表示内容の理
解性をより一層向上するために、さらに幾つかの工夫を
している。工夫の１つ目は、各行に表示されているシー
ンの情報を、より分かりやすくユーザに提示するため
に、フレーム画像表示領域１５１の隣に、シーン情報表
示領域１５０を表示している。

【００５０】そして、シーン情報表示領域１５０には、
フレーム画像表示領域１５１の各行の位置に対応して、
各行が表しているシーンの情報を、従来技術で作成され
るシーンブロックアイコンにより、シーン情報表示領域
１５０に表示している。すなわち、シーン情報として、
シーン中のフレーム画像列の中から最もシーンを良く表
しているフレーム画像と、シーンの内容を表すシーンの
名称と、シーン長さを表すアイコンの３次元的な奥行き
表現とを、１つのアイコンとして表示している。

【００５１】例えば、第一行目のフレーム画像１１１〜
１１３のシーンに対応するシーン情報を、シーン情報表
示領域１５０中の同じ位置にシーンブロックアイコン１
１０として表示している。このシーンアイコン１１０に
は、シーンを代表するフレーム画像としてフレーム画像
１１２を表示し、シーン名称として「シーン１」という
文字列を表示し、アイコンの奥行きとして、３次元的な
奥行きをシーンの長さに比例した長さ分だけ表示してい
る。

【００５２】工夫の２つ目は、フレーム画像表示領域１
５１に、３０秒あるいは１分など、ある決まった時間位
置を表す時間目盛線を表示することである。本図２の例
では、シーンの先頭から３０秒目を表す時間目盛線１５
３と、同様に１分の位置を表す時間目盛線１５４を表示
している。このような一種の補助線をフレーム画像表示
領域１５１中に表示することにより、オペレータは、各
シーンの時間長をより具体的に把握することができる。

【００５３】工夫の３つ目は、よりワープロ風の編集技
術に似せるために、改行マーク１５６を表示している。
工夫の４つ目は、映像中の区間を選択できるようにする
ことであり、詳細は以降の例にて説明する。尚、図２で
は、ユーザがマウスカーソル１７０を使って映像の区間
を選択し、選択された区間をハイライト領域１６０で表
示している。

【００５４】次に、図２の説明の補足として、他の似た
ような映像表示技術と本例の技術との相違点を説明す
る。他の映像表示技術の１つ目として、従来技術で説明
したメディアコンポーザに備わっている素材映像管理ウ
ィンドウについて説明する。

【００５５】すなわち、従来技術の素材映像管理ウィン
ドウには、複数の映像ファイル中の１映像ファイルを、
本例の技術と同様に、１映像ファイル中のフレーム画像
列として一つの行として表示し、複数の映像ファイル
を、本例の技術と同様に複数の行として表現することに
よって、複数の映像ファイルの構成を分かりやすく表示
している。しかし、本例の技術が表示対象とする映像
は、この技術とは違って、複数の独立したシーン群では
なく、一続きの映像をその並び通りに改行したものであ
る。

【００５６】他の映像表示技術の２つ目として、図１７
で示した従来技術のシーン単位編集のようなシーンブロ
ックアイコン群の表示技術において、複数のシーンブロ
ックアイコンの並びを、本例と同様に、あるまとまり毎
に改行する技術も考えられる。しかし、このような表示
技術では、複数のシーンを横並びに表示することはでき
るが、その表示行の長さは、本例のようにシーンの時間
長を表すのではなく、論理的なシーンの数を表すのみで
あり、シーン時間長を直感的に把握することはできな
い。

【００５７】また、映像の表示技術ではないが、従来の
文章の表示技術と本例の技術的な違いについて説明す
る。従来の文章の表示技術が対象とするデータは、文字
列のみであり、本例の技術が対象とする連続メディア情
報ではない。連続メディア情報には、それを再生するた
めの時間情報があり、単純な文字列とは異なる。また、
連続メディア情報は、ある時間ではその一部しか参照す
ることができず、このため従来技術ではその全容やその
論理構造の把握が難しくなっていた。これに比べて文字
列は時間情報がないため、文字列全体を同時に２次元の
紙上に表現することができる。

【００５８】図３は、図１における表示・編集装置の本
発明に係わる第２の処理動作例を示す説明図である。本
例は、映像に付属した音声トラックを編集している画面
であり、このように、処理対象が音声の場合、図２のフ
レーム画像表示領域１５１ではなく、音声波形表示領域
２５１を表示する。

【００５９】本例の場合、図２における映像のシーン２
（シーンブロックアイコン１２０で表示）と、コントシ
ーン（シーンブロックアイコン１３０で表示）に付随す
る音声を表示している。このような音声編集の場合、シ
ーン２のフレーム画像１２１〜１２４の表示に代わっ
て、本例では、シーン２に付随する音声トラックの波形
を折れ線グラフを描画した棒状領域２１１を使って表示
している。この棒状領域２１１の長さは、音声シーンの
時間長を、画面上の時間目盛の縮尺に従って表示してい
る。尚、音声のトラック表現技術としては、実波形の折
れ線グラフ以外にも、波形のボリュームの大きさをグラ
フ化した表現を用いてもよい。

【００６０】本例では、図１の場合と同様に、マウスカ
ーソル１７０を用いて選択した音声区間をハイライト表
示領域２６０として表示している。このように、図１に
おける表示・編集装置３では、映像の表示・編集以外に
も、音声も編集できる。これから容易に類推できるよう
に、表示・編集装置３は、時間情報を持った、他の連続
メディアにも適用できる。

【００６１】例えば、他の連続メディアとして考えられ
るものとしては、数枚のスライドを数秒おきに表示する
ようなスライドショーや、スライドではなく、インター
ネットの動くＷＷＷページのようなプログラムを含んだ
ＨＴＭＬ文書なども考えられる。さらには、これら基本
的な連続メディアを連続して一列に並べた複合連続メデ
ィアや、これら連続メディアを平行して複数持つマルチ
トラック形式の連続メディアにも対応することができ
る。

【００６２】以降、主に連続メディアが映像の場合の表
示・編集操作の技術例について説明するが、これらの技
術は全て音声などの連続メディアにも適用できる。図４
は、図１における表示・編集装置の本発明に係わる第３
の処理動作例を示す説明図である。本例は、図１におけ
る表示・編集装置の編集動作例を示し、特に、編集区間
の選択操作例を示している。

【００６３】図４（ａ）では、マウスカーソル１７０で
指定される画面上の１点をクリックすることによって、
映像中のあるフレームの位置を指定する例を示してい
る。また、図４（ｂ）では、マウスカーソル１７０で指
定される画面上の２点をクリックすることによって、映
像区間を指定する例を示している。そして、図４（ｃ）
では、ある１つのシーンの全体を選択する操作例を示し
ている。

【００６４】尚、本例では採用していないが、マウスが
クリックされた際、マウスカーソル１７０で指定された
映像の位置に対応するフレーム画像を別ウィンドウで表
示したり、もしくは、指定された映像の位置から始まる
映像を別ウィンドウに再生したりすることも容易に実現
できる。

【００６５】図４（ａ）において、映像中のフレーム画
像１１２の位置を指定するためには、マウスカーソル１
７０をフレーム画像１１２の上に移動し、マウスをクリ
ックする。このようにして映像中のフレーム画像１１２
の位置を指定したこととなり、該当する指定位置のフレ
ーム画像１１２がハイライト領域５６０によって強調表
示される。

【００６６】また、図４（ｂ）において、フレーム画像
１１２〜１１３、１２１〜１２２からなる映像区間を選
択して指定するためには、まず、マウスカーソル１７０
を選択範囲の先頭位置であるフレーム画像１１２上に移
動し、マウスの左ボタンをクリックし（図４（ａ）の表
示となる）、次に、マウスカーソル１７０を選択範囲の
終了位置であるフレーム画像１２２上に移動し、マウス
の右ボタンをクリックする。この操作を行なうと、複数
のフレーム画像に渡る映像区間を選択したこととなり、
該当する選択範囲のフレーム画像１１２〜１１３、１２
１〜１２２がハイライト領域５６１，５６２によって強
調表示される。

【００６７】さらに、図４（ｃ）において、ある１つの
シーン、ここでは、「シーン１」の全体、つまりフレー
ム画像１１１〜１１３を選択するためには、選択したい
シーンを表している行のうち、フレーム画像以外の場所
をマウスでクリックする。図４（ｃ）の例では、シーン
ブロックアイコン１１０をクリックしている。この操作
を行うことによって、「シーン１」のフレーム画像列全
体が選択されたことになり、選択区間がハイライト表示
領域５６４によって、ハイライト表示される。さらに、
図４（ｃ）の例では、シーン全体が選択された場合は、
該当するシーンブロックアイコンも別のハイライト表示
領域５６３を用いてハイライト表示される。

【００６８】図５は、図１における表示・編集装置の本
発明に係わる第４の処理動作例を示す説明図である。本
例は、図１における表示・編集装置の選択区間に対する
編集処理動作例を示しており、特に、図４の操作で指
定、選択された映像区間に対して、区間の切取や挿入な
どの映像の並びを変更する編集操作と、選択された映像
区間のフレーム画像列の各々に対して画像のぼかしなど
を行うフレーム画像フィルタ編集操作を行なっている。

【００６９】選択区間に対する編集操作では、図５
（ａ）に示すように、まず初めに、オペレータが、これ
から編集を行いたい映像区間を図４で示した操作で選択
する。そして次に、図５（ｂ）に示すように、編集メニ
ュー１８１を指定し、編集プルダウンメニュー１８３内
からオペレータが望む区間編集処理を選択する。このよ
うにして選択された映像区間に対する編集処理を行な
う。

【００７０】選択できる区間編集処理として、本例で
は、編集メニュー１８１で示すように、選択した映像区
間の切り取り、切り取った映像区間を挿入（貼り付け）
を、また、フレーム画像フィルタ編集として、メニュー
１８４で示すように、フレーム画像列の明るさ調整、同
じく画像をぼかす処理、同じくフレーム画像内に字幕を
表示する処理を用意している。

【００７１】図５（ｃ−１）では、区間映像編集処理と
して「切り取り」選択した場合の編集結果表示を示して
いる。編集処理によって図５（ａ）において先に選択さ
れた映像区間（フレーム画像１２１〜１２２）が編集映
像から削除され、それに伴って画面からも該当する映像
区間が表示されなくなる。

【００７２】図５（ｃ−２）では、区間映像編集処理と
して「字幕挿入」を選択した場合の編集結果表示を示し
ている。編集処理によって、図５（ａ）で先に選択され
た映像区間中の全フレーム画像１２１〜１２２に対し
て、字幕を表示する画像処理が施され、その画像処理結
果のフレーム画像１２１ａ〜１２２ａが作成され、それ
に伴って画面上の該当する映像区間のフレーム画像の表
示も更新される。

【００７３】以上が、図１における表示・編集装置３の
基本的な表示処理および編集操作、処理である。次に、
図６〜図１１を用いて、図１の表示・編集装置３で扱う
データ構造例と処理動作例を説明する。図６は、図１に
おける表示・編集装置で処理するデータ構造例を示す説
明図であり、図７〜図１１は、図１における表示・編集
装置の本発明に係わる第１〜第５の処理手順例を示すフ
ローチャートである。

【００７４】図６で示すように、メディア情報７０１
に、編集対象となる映像全体の情報を格納する。また、
図２におけるフレーム画像表示領域１５１中に表示され
る行の並び、つまりシーンの並びを表すシーン情報７１
１、７２１などが、リスト構造として格納されている。
メディア情報７０１には、実際に編集される映像ファイ
ルに対し、そのファイル名７０２と、その映像の時間長
（メディア長７０３）、および、編集処理時に用いるシ
ーン情報リストへのポインタ（シーン列７０４）が格納
されている。

【００７５】１つの表示行、または、１つのシーン
（「シーン１」）を表すシーン情報７１１は、各行に表
示するシーンアイコンで用いるアイコン画像７１２と、
このシーンアイコンの下に表示するシーンのコメント７
１３（文字列）、および、シーンの映像ファイル中での
このシーンの開始位置７１４と同終了位置７１５と、シ
ーンの並びのうち次に表示されるシーンのシーン情報７
２１（「シーン２」）へのポインタ７１６から構成され
ている。

【００７６】図７に示す処理は、図１における表示・編
集装置３が、本発明に係わる処理動作として一番始めに
実行する処理フローを示している。映像の編集を始める
場合、編集対象となる映像ファイルを指定する。この場
合に呼ばれる処理がファイルを開く処理フロー（ステッ
プ８００）である。以下、その内容を説明する。

【００７７】まず、ステップ８０１において、指定され
た映像ファイルから、図６に示すようなデータ構造を作
成する。尚、ユーザが、この映像ファイルに対応するデ
ータ構造をファイルに格納していた場合、ファイルを開
く際に映像ファイルと共に、このデータ構造ファイルの
名称が指定された場合などは、ステップ８０１の処理は
不要である。

【００７８】次にステップ８０２において、ステップ８
０１の処理で作成されたデータ構造を元に、図２に示す
ような表現形態で、映像を表示する。次にステップ８０
３では、編集に用いる選択区間の情報を初期化する。本
例では、この初期表示時は、映像ファイルの先頭フレー
ム位置を選択することにしている。最後にステップ８０
４のループ処理において、ユーザが編集処理の終了を指
示するまで、ユーザ操作イベントに対応した編集処理を
行う。

【００７９】このステップ８０４のループ内では、ま
ず、ステップ８１１の処理により、ユーザのマウスクリ
ックやメニュー選択、あるいはカーソル移動などの操作
イベントを得る。次に、ステップ８１２での条件に対応
した分岐により、ユーザ操作イベント毎に対応した処理
を選択する。例えば、画面をクリックされた場合は、画
面クリック処理８２１を、また、編集メニューが選択さ
れた場合は、編集メニュー処理８２２を行う。そして、
編集終了メニュー（ファイルメニューの中にあるものと
する）が選択された場合は、ステップ８０４のループ処
理を終了する。

【００８０】図８は、図７におけるステップ８０１の処
理の詳細を示すフローチャートである。本例は、指定さ
れた映像ファイルから、編集処理のために必要なデータ
構造である図６のメディア情報を作成する処理例を示し
ている。まずステップ９０１において、メディアの情報
を格納するメモリ領域（図６の７０１）に、映像ファイ
ル名と映像ファイルの時間長を設定する。

【００８１】次に、ステップ９０２において、新しくシ
ーン情報のメモリ領域（図６の７１１）を生成し、その
シーン情報を先のメディア情報のシーン列の先頭位置
（図６の７０４）に設定する。さらに、ステップ９０３
において、生成したシーン情報に初期値として、シーン
開始位置に位置「０」、末尾位置にメディア情報に設定
したメディア長（時間長）を設定する。

【００８２】そして、ステップ９０４のループ処理を行
う。このステップ９０４のループ処理では、制御変数ｉ
を１からカウントし、複数のシーン情報を作成していく
処理を行う。すなわち、まず、ステップ９１０におい
て、現在のシーン情報のアイコン画像に、シーンの開始
位置のフレーム画像を設定し、さらに、シーンの名称を
表すコメント領域に「シーンｉ」という名前をつける
（ｉは変化する）。

【００８３】次に、現シーンを論理的な区切り単位で分
割するために、ステップ９１１では、映像をシーンの開
始位置から１フレームずつ再生し、シーンが変化する点
であるシーン変化点があるフレーム位置を探す。シーン
変化点を求める技術としては、フレーム画像列中の隣接
する２枚のフレーム画像間の画像的な差分量を求め、そ
の画像差分量が、あるしきい値より大きくなった場合、
そのフレーム画像位置をシーン変化点位置とする等が考
えられる。

【００８４】そして、次に、ステップ９０４のループの
終了判定を行う。尚、先のステップ９１１の処理では、
映像の末尾の位置もシーン変化点となるようにする。こ
のため、ステップ９１２の処理での条件において、シー
ン変化点の位置が映像末尾位置の場合、映像読込みが終
了したと判断する。映像がまだ末尾位置まで達していな
い場合、ステップ９１３の処理を行う。

【００８５】このステップ９１３の処理では、現在のシ
ーン情報を、シーン変化点の位置で前後２つのシーン情
報に分割する処理を行なう。まず、新しいシーン情報メ
モリ領域を生成し、次に、新しいシーン情報のシーン先
頭位置を先のシーン変化点位置に、シーン末尾位置を現
在のシーン情報の末尾位置を設定する。その後、現在の
シーン情報の末尾位置を「シーン変化点−１」の値に更
新し、さらに、現在のシーン情報の次ポインタに新しい
シーン情報を設定する。

【００８６】ステップ９０４のループ処理の最後、ステ
ップ９１４では、先の新しいシーンを次ループで用いる
現在のシーン情報とする。尚、ステップ９０４のループ
中のステップ９１２における条件て、映像末尾まで読込
みを完了した場合、ステップ９２１に進む。そして、ス
テップ９２１では、現在のシーン情報の次ポインタにリ
スト構造の終端を表す「なし」値を設定し、その後、ス
テップ９２２でステップ９０４のループを終了する。

【００８７】図９は、図７におけるステップ８０２の処
理の詳細を示すフローチャートである。本例は、映像デ
ータを表示する処理例を示しており、まず、ステップ１
００１において、画面上の表示位置を画面左上に設定す
る。次に、ステップ１００２において、表示開始シーン
として、連続メディア情報からシーン情報リストの先頭
にあるシーン情報を得る。尚、より望ましい実現例とし
て、ステップ１００２で指定する表示開始シーンを変更
させることにより、スクロール表示機能を提供すること
も考えられる。この場合、スクロールバーやカーソル移
動等の操作などにあわせて、この表示開始シーンを変更
させれば良い。

【００８８】次に、ステップ１００３のループ処理にお
いて、画面内に映像データを表示する処理を行う。ま
ず、ステップ１０１１において、現在のシーン情報か
ら、シーンのアイコン画像とシーンのコメント文字列を
表示する。次に、ステップ１０１２において、シーンの
開始位置から終了位置までの内容を画面上に表示する。
この際、画面上に表示する形状は横長の棒状領域で、そ
の表示長さは「（シーンの時間長）×表示係数Ｋ」とな
るようにする。

【００８９】例えば、図２での映像データの表示の場
合、シーンの開始位置から終了位置までのフレーム画像
をフィルムのように横に並べた表示を行う。また、図３
のような音声データの表示の場合、シーン中の音声波形
をグラフ状に表示すれば良い。尚、ここで表示係数Ｋ
は、プログラム起動時などに予め設定しておく。また、
この表示係数Ｋを画面のズーム表示用に用いることもで
きる。例えば、表示係数Ｋを小さくすることにより、時
間が長いシーンでも画面からはみ出すことなく表示する
ことができる。

【００９０】次に、ステップ１０１３では、表示位置を
一行下に移動する。この時の移動幅は、例えば、フレー
ム画像の高さ×２などにすれば良い。ステップ１００３
のループ処理の最後では、シーン情報の次ポインタをた
どって次のシーン情報を得る。そして、表示位置が画面
の範囲内である間ループし、画面外に出た場合に、ステ
ップ１００３のループ処理を終了する。

【００９１】次のステップ１００４のループ処理では、
時間軸を表示する。すなわち、ステップ１０２１におい
て、予め指定した３０秒もしくは１分などの表示時間幅
毎に縦線を引いていく。縦線のＸ座標位置は、ループカ
ウントｉ＝０〜ｎとすると、「表示時間幅×ｉ×表示係
数Ｋ」となる。

【００９２】図１０は、図７におけるステップ８２１の
処理の詳細を示すフローチャートである。本例は、画面
クリック時の処理動作を示し、画面をクリックされた
際、ステップ１１０１において、まず、クリック位置か
ら、画面上のどのシーンが指定されたかを調べる処理を
行い、次に、クリック位置のＹ座標から、クリックされ
た行位置Ｒを求める。行位置Ｒを求めるには、例えば、
Ｙ座標値を図９のステップ１０１３の処理で用いた表示
行幅で割れば良い。さらに、ステップ１１０１において
は、メディアのシーン列の先頭からＲ番目のシーン情報
を得る処理を行う。

【００９３】ステップ１１０２では、条件に応じた分岐
処理を行なう。すなわち、クリックされたＸ座標を元
に、クリック位置がシーン情報表示領域１５０かフレー
ム画像表示領域１５１かの判定を行う。もし、クリック
位置がシーン情報表示領域１５０の場合、ステップ１１
１１において、該当するシーン全体を選択する処理を行
う。ここでは、選択開始位置および選択終了位置に、ス
テップ１１０１の処理で得たシーン情報の開始位置と終
了位置を設定する。

【００９４】また、クリック位置がフレーム画像表示領
域１５１の場合、ステップ１１１３以降、フレーム単位
で選択位置を設定する処理を行う。まず、ステップ１１
１３の処理で、画面上のクリック位置からシーン中の時
間位置を計算する。ここでは、クリック位置のＸ座標
を、映像の表示で用いた表示係数Ｋで割ることによっ
て、シーン中の時間位置Ｃを求める。この時間位置と
は、該当するシーンの開始位置を０とした時間位置であ
る。

【００９５】ステップ１１１４の条件分岐処理では、ク
リックした時間位置Ｃが選択したシーンの長さ（＝シー
ン．終了位置−シーン．開始位置）より長い場合、ステ
ップ１１２１において、時間位置Ｃをシーンの長さにす
る補正処理を行う。このようにして、シーン中の時間位
置Ｃが決定したら、ステップ１１１５において、左クリ
ックか右クリックかに従った選択処理を行う。左クリッ
クの場合、ステップ１１２３において、選択開始位置を
シーン．開始位置＋（シーン内）時間位置Ｃとする。

【００９６】また、右クリックの場合、ステップ１１２
５において、選択終了位置をシーン．開始位置＋（シー
ン内）時間位置Ｃとする。画面クリック処理の最後、ス
テップ１１０３の処理として、更新された選択開始位置
から選択終了位置までの領域を選択状態表示（図２にお
ける符号１６０で示すようなハイライト表示）にする。

【００９７】図１１は、図７におけるステップ８２２の
処理の詳細を示すフローチャートである。本例は、編集
メニューが選択された時の処理動作例を示している。編
集メニューが選択された場合、まず、ステップ１２０１
において、現在の選択区間に対応したシーン情報を得
る。得られた情報は、選択開始位置が存在するシーン情
報（開始シーン情報）、選択終了位置が存在するシーン
情報（終了シーン情報）、開始シーン情報の次のシーン
情報から終了シーン情報の１つ手前のシーン情報までの
中間のシーン情報の列（中間シーン列）からなる。

【００９８】開始シーン情報を探すには、メディア．シ
ーン列を先頭から順次参照していき、シーンの先頭位置
≦選択開始位置≦シーンの末尾位置となるシーン情報を
探せば良い。同様に終了シーン情報を探すには、シーン
の先頭位置≦選択終了位置≦シーンの末尾位置となるシ
ーン情報を探せば良い。そして、中間シーン列は、先頭
シーン情報と末尾シーン情報から容易に得ることができ
る。

【００９９】次に、ステップ１２０２での条件分岐処理
において、選択された編集メニューを判定する。選択さ
れた編集メニューが「切り取り」の場合、選択区間を切
り取り、切り取った選択区間をクリップボードにコピー
する処理を行う。すなわち、まず、ステップ１２１１に
おいて、選択区間をクリップボード用に格納する。具体
的には、まず開始シーン、中間シーン列、終了シーンの
複製を作成し、その後、開始シーンの複製の先頭位置を
選択開始位置に、終了シーンの複製の終了位置を選択終
了位置に更新し、最後に、クリップボードに複製を格納
する処理を行う。

【０１００】また、次のステップ１２１２において、選
択区間を実際に削除する処理を行う。具体的には、ま
ず、中間シーン列をメディア．シーン列のリストから削
除し、その後、開始シーンの終了位置を選択開始位置−
１に、また、終了シーンの開始位置を選択終了位置＋１
に更新する。

【０１０１】ステップ１２０２で、選択された編集メニ
ューが「挿入」の場合、ステップ１２１５において、ク
リップボードに格納されているシーン列を、開始シーン
の直後に挿入する処理を行う。また、ステップ１２０２
で、選択された編集メニューが「フィルタ」の場合、ス
テップ１２１７において、映像ファイルのうち、選択開
始位置から選択終了位置までのフレーム画像１枚ずつに
対して、字幕処理やぼかし処理などの画像処理を行う。

【０１０２】例えば、ぼかしフィルタの場合、映像ファ
イルから取り出したフレーム画像に対して、移動平均フ
ィルタと呼ばれるような画像処理技法を用いてぼかし処
理を施し、その後そのフレーム画像を映像ファイルに書
き戻す処理を行う。また、字幕処理の場合は、ユーザが
指定した文字列を指定されたフォント、表示位置でフレ
ーム画像上に描画し、描画されたフレーム画像を映像フ
ァイルに書き戻す。

【０１０３】尚、本例では、処理の簡略化のため、フィ
ルタメニュー指定時に、直接、画像処理を施している。
しかし、望ましくは、直接画像処理を行うのではなく、
繰り返し行われる編集処理の情報を別途記録しておき、
ユーザが指示した時点で画像処理をバッチ的に動作させ
た方が、ユーザの使い勝手および処理効率が良い。この
ような編集メニュー処理の最後、ステップ１２０３の処
理において、編集が終わった映像を再表示する。

【０１０４】次に、図１２〜図１５を用いて、図１にお
ける表示・編集装置３による、さらに使い勝手を向上さ
せる表現技術および編集操作技術について説明する。図
１２は、図１における表示・編集装置の本発明に係わる
第５の処理動作例を示す説明図である。本例は、図１に
おける表示・編集装置の表示処理動作にページの概念を
導入した場合の画面構成を示している。

【０１０５】ワープロにおる文字列編集にもページと呼
ばれる概念があるように、本例の連続メディア情報の表
示・編集技術にもページの概念を導入する。本例でのペ
ージの大きさを表す単位としては、時間を用いる。そし
て、本図１２では、ページ幅を１分間、ページ高さを５
分間として設定した場合の、ページ単位表示モードの画
面例を示している。

【０１０６】本例の特徴は、「シーン２」（フレーム画
像１３０１〜１３０６）の内、ページの表示時間幅を超
えた部分（フレーム画像１３０５，１３０６）が折り返
し表示されていることと、ページ縦時間軸１３１１を表
示していることである。すなわち、「シーン２」は、こ
こでは１分３０秒程度の長さであるが、先頭から一分間
のフレーム画像１３０１〜１３０４と、残りのフレーム
画像１３０５〜１３０６の２つに分離されて表示されて
いる。またページ縦時間軸には、「５：００」のような
時刻表示領域１３１２を設けている。

【０１０７】このように、ページ幅と高さを意識した表
示モードを導入することによって、オペレータは、映像
の時間長をより分かりやすく把握できるようになる。本
モードは特にＴＶ番組でのＣＭ挿入位置などの確認に最
適である。尚、このような表示を行うためには、図９の
ステップ１０１２における映像の表示処理を、各時間幅
毎にシーンを区切って表示するように変更すれば良い。
また、このステップ１０２１の時間軸表示処理におい
て、縦線の時間軸だけでなく、横線の時間軸も表示する
ように変更を施せば良い。

【０１０８】図１３は、図１における表示・編集装置の
本発明に係わる第６の処理動作例を示す説明図である。
本例は、図１における表示・編集装置による結合表示動
作時の画面構成例を示している。映像に、カーチェイス
のシーン列などのような数秒からなる短いシーンが多数
存在するシーンが存在すると、画面上の表示行数が非常
に多くなり、シーンの論理構造が把握しににくなる。こ
のようなシーン列は、画面上では１つのシーンとしてま
とめて扱えたほうが便利である。

【０１０９】このような理由から、複数のシーンを１つ
のシーンとして同一行に表現する表示技術を用意した。
本図１３の例では、図２のシーンブロックアイコン１１
０の「シーン１」とシーンブロックアイコン１２０の
「シーン２」およびシーンブロックアイコン１３０の
「コント」の各シーン列を結合し、「新シーン」（シー
ンブロックアイコン１４１０）として表示している。

【０１１０】このシーンブロックアイコン１４１０の
「新シーン」のフレーム画像列としては、結合した各シ
ーンのフレーム画像１４１１〜１４１３、１４２１〜１
４２３、１４３１を表示している。特に、本例では、結
合していることを強調するため、結合中の各シーンの先
頭フレーム画像１４１１，１４２１，１４３１を大きな
フレーム画像で強調表示している。もちろん強調表示は
なくとも良い。

【０１１１】このような結合表現を提供するには、図６
のデータ構造のうち、シーン情報７１１に、新たに「結
合シーン列」というポインタ格納項目を設け、このポイ
ンタの先に結合されたシーン列を別途保持しておけば良
い。また、図９の映像表示処理手順のステップ１０１２
においてシーンを表示する際に、「結合シーン列」中の
シーン情報列から適宜シーン情報とフレーム画像を取り
出し、画面上に表示すれば良い。

【０１１２】図１４は、図１における表示・編集装置の
本発明に係わる第７の処理動作例を示す説明図である。
本例は、図１における表示・編集装置によるシーンのア
ウトライン表示動作時の画面構成例である。図１３に示
したようなシーンの結合表示を用いた場合、結合された
シーンをさらに結合するなど、各々のシーンに階層関係
があらわれるようになる。

【０１１３】本例は、このような階層関係を直接扱うも
のであり、図１３で説明したシーンブロックアイコン１
４１０の「新シーン」下部に、結合編集された「シーン
１」（シーンブロックアイコン１１０）と、「シーン
２」（シーンブロックアイコン１２０）、および、「コ
ント」（シーンブロックアイコン１３０）をぶら下げ表
示している。

【０１１４】またフレーム画像表示領域１５５１にも、
結合されたシーン列に対応するフレーム画像列を、表示
開始位置を少し右にずらしたインデント表示で表示して
いる（領域１５０１）。このように、シーンの階層構造
を、インデントやぶら下げ表示することによって、映像
の論理構造を、ワープロにおける章や節のアウトライン
編集を使っているかのように、容易に把握することが可
能となる。

【０１１５】このような表示を行うには、図９の映像表
示処理でのステップ１０１２と１０１３との処理の間
に、「映像の表示（パラメタはシーン．結合シーン
列）」のような再帰的な関数呼び出し処理を挿入すれば
良い。尚、映像の編集操作などは、クリック位置によっ
てどの結合階層領域（領域１５５１または領域１５０
１）で編集処理が発生したのかを判断した後、該当する
領域上の映像シーン列に対して従来の処理を行えば良
い。

【０１１６】図１５は、図１における表示・編集装置に
よる編集機能とワープロでの文章編集機能との比較対応
例を示す説明図である。本例の表においては、各ワープ
ロ編集の機能１６０１〜１６０８（「文字列」、「１
行」、「フォント変更」、「行間調整」、「検索」、
「ヘッダ／フッタ」、「差込印刷」、「文章チェッ
ク」）に対応する本例の連続メディア情報の表示・編集
技術による機能（「本発明の映像編集」）が示されてい
る。

【０１１７】本例では、「文字列」に「フレーム画像列
（＝映像）」、「１行」に「１シーン」、「フォント変
更」に「特殊効果付け（ぼかし）、「行間調整」に「２
シーン間のワイプ等」、「検索」に「同種映像検索」、
「ヘッダ／フッタ」に「オープニング／エンディン
グ」、「差込印刷」に「映像編集テンプレート」、「文
章チェック」に「不正映像検査」のそれぞれの機能が対
応付けられている。

【０１１８】上述したように、本例の連続メディア情報
の表示・編集装置３および表示・編集方法では、ワープ
ロ編集で文字列を編集するように、フレーム画像列、つ
まり映像を簡単に編集することができる。すなわち、本
例では、フレーム画像列を１本線状に並べる（１６０
１）だけではなく、ワープロ編集での改行編集（１６０
２）のように、意味のある映像シーン毎に改行表示して
いる。

【０１１９】これを更に発展して考えると、ワープロに
よる文章編集で有効な様々な編集技術は、本例の表示・
編集装置および方法による映像編集技術に容易に適用す
ることができる。例えば、ワープロで選択した文字列の
フォントを変更する操作（１６０３）を本例の映像編集
に適用した例として、図５で説明した選択映像区間に対
する編集操作技術が挙げられる。

【０１２０】このようなワープロの編集機能を本例の表
示・編集装置の編集機能に適用するという発想によっ
て、図１５の表に示すような、より使いやすい映像編集
技術を考えることができる。

【０１２１】例えば、ワープロの行と行の間を調整する
行間調整（１６０４）の操作方法を映像編集に適用する
場合を考える。ワープロでは２つ以上の行を選択して、
行間調整メニューを選択することにより、行間の長さ等
を調整できる。この文章編集の行間調整は、映像編集の
場合、例えば、２つのシーン間のワイプなどの特殊効果
付けとして捕らえることができる。このことから、映像
編集の操作として、２つ以上のシーンを選択した後、シ
ーン間特殊効果付けメニューを選択するという、シーン
間特殊効果付けの新しい指定方法を容易に考えることが
できる。

【０１２２】同様の考えから、ワープロで言う文字列の
検索機能（１６０５）は、本例の映像編集では、指定し
た映像と同様の映像を探し出し、見つけ出した映像区間
を選択状態にする、という映像編集技術として適用でき
る。この同様の映像を見つける技術としては、映像に付
与されたキーワードを元に条件に見合う映像区間を見つ
ける技術や、フレーム画像の画像差分量がある基準値よ
り小さい映像区間を見つける技術などが考えられる。

【０１２３】またワープロで言うページのヘッダやフッ
タ等の編集機能（１６０６）は、本例の映像編集では、
オープニング／エンディング映像編集機能として適用で
きる。また、ワープロで言う差込印刷機能（１６０７）
は、本例の映像編集では、映像の編集内容のテンプレー
トを用意し、そのテンプレートに様々な映像を挿入する
という、映像編集テンプレート機能として適用できる。

【０１２４】さらに、ワープロの文章チェックやスペル
チェックなどの機能（１６０８）は、人の潜在意識に作
用すると言われるサブリミナル映像シーン（１秒未満の
ごく短いシーン）を自動的に指摘する等の不正映像検査
機能と考えることができる。尚、このサブリミナル映像
シーンを自動的に見つける技術としては、例えば、特開
平０９−０７４５７５号公報に記載の「動画像の特徴場
面表示方法及び装置」等が挙げられる。

【０１２５】以上、図１〜図１５を用いて説明したよう
に、本実施例の連続メディア情報の表示・編集装置と連
続メディア情報の表示・編集方法では、例えば動画像の
各画像フレームを連続して画面の横方向に表示する場
合、シーンの変化点を区切りとして改行し、行単位で各
シーンを表示する。そして、各改行位置には改行マーク
を明示して、シーンの単位を理解し易くする。また、画
面の表示枠を超える場合には、その表示枠で折り返して
次の行に表示する。尚、この場合には改行マークは明示
しない。

【０１２６】また、画面上の各行の先頭から、および、
先頭の行から後続の行方向へ、所定の経過時間を表す目
盛線を表示し、各フレームおよび各シーンの時間位置を
容易に理解できるようにする。また、行先頭の前の領域
に、この行に表示されている全フレームに対応する従来
技術で作成されるシーンブロックアイコン情報も合わせ
て表示する。

【０１２７】また、オペレータが編集対象のフレームを
指定すると、その対象フレーム部分をハイライト表示す
ることで、指定の良否を容易に判断できるようにし、か
つ、その移動等の編集操作を容易とする。また、例え
ば、複数のフレームを１行に結合する場合、各結合部分
を他の部分より大きく表示する等して、結合編集の結果
を容易に判断できるようにする。さらに、結合編集した
行の次の行から、結合編集前の各フレーム行の表示状態
をウィンドウ表示する。

【０１２８】このように、本実施例によれば、一続きの
映像データのフレーム画像列を一直線状ではなく、意味
のある区間ごとに改行表示するので、映像の論理構造と
映像のフレーム構成との両方の把握が容易になる。ま
た、音声情報等、映像以外の連続メディアにも同様に適
用できるので、連続メディアの論理構造と連続メディア
の構成要素との両方を把握するのも容易になる。また、
このような見た目での理解の容易さにより、連続メディ
アの編集操作もも容易となる。

【０１２９】尚、本発明は、図１〜図１５を用いて説明
した実施例に限定されるものではなく、その要旨を逸脱
しない範囲において種々変更可能である。例えば、本例
では、画面の表示枠を超える場合には、その表示枠で折
り返して次の行に表示しているが、折り返し表示するこ
となく、スクロール操作等を行ない表示するようにして
も良い。また、本例では、映像区間の選択操作におい
て、マウスを用いる例で説明しているが、通常のワープ
ロの操作と同様に、キーボードのカーソルキー等を用い
て映像区間を選択することもできる。

【０１３０】また、本例では、連続メディアの格納形態
としては、ビデオテープレコーダ等の蓄積メディアを用
いているが、これに限定しなくとも良く、例えば、ＴＶ
やラジオなどのストリーミング形式の連続メディアでも
良い。このようなストリーミング形式の連続メディアの
場合は、連続メディアの終端位置を仮想的に無限大とし
て扱えば良い。

【０１３１】

【発明の効果】本発明によれば、コンピュータでの編集
処理において、オペレータは、映像や音声等といった連
続メディアの論理構造を容易に理解しながら、同時に、
その構成単位／要素（映像では画像フレーム、音声では
波形データ）も容易に理解することができ、コンピュー
タを用いた映像や音声等といった連続メディアの編集作
業を効率的に行なうことが可能である。

【図面の簡単な説明】

【図１】本発明の連続メディア情報の表示・編集装置の
本発明に係る構成の一実施例を示すブロック図である。

【図２】図１における表示・編集装置の本発明に係わる
第１の処理動作例を示す説明図である。

【図３】図１における表示・編集装置の本発明に係わる
第２の処理動作例を示す説明図である。

【図４】図１における表示・編集装置の本発明に係わる
第３の処理動作例を示す説明図である。

【図５】図１における表示・編集装置の本発明に係わる
第４の処理動作例を示す説明図である。

【図６】図１における表示・編集装置で処理するデータ
構造例を示す説明図である。

【図７】図１における表示・編集装置の本発明に係わる
第１の処理手順例を示すフローチャートである。

【図８】図１における表示・編集装置の本発明に係わる
第２の処理手順例を示すフローチャートである。

【図９】図１における表示・編集装置の本発明に係わる
第３の処理手順例を示すフローチャートである。

【図１０】図１における表示・編集装置の本発明に係わ
る第４の処理手順例を示すフローチャートである。

【図１１】図１における表示・編集装置の本発明に係わ
る第５の処理手順例を示すフローチャートである。

【図１２】図１における表示・編集装置の本発明に係わ
る第５の処理動作例を示す説明図である。

【図１３】図１における表示・編集装置の本発明に係わ
る第６の処理動作例を示す説明図である。

【図１４】図１における表示・編集装置の本発明に係わ
る第７の処理動作例を示す説明図である。

【図１５】図１における表示・編集装置による編集機能
とワープロでの文章編集機能との比較対応例を示す説明
図である。

【図１６】従来のフレーム単位編集技術での画面表示例
を示す説明図である。

【図１７】従来のシーン単位編集技術での画面表示例を
示す説明図である。

【符号の説明】

１：表示装置、２：入力装置、３：表示・編集装置、
４：補助記憶装置、５：連続メディア情報入力装置、
６：光ディスク、７：光ディスク駆動装置、８：表示処
理部、８ａ：フレーム表示部、８ｂ：区切り検出部、８
ｃ：改行部、８ｄ：改行マーク明示部、８ｅ：表示枠設
定部、８ｆ：折り返し部、８ｇ：横方向時間目盛表示
部、８ｈ：縦方向時間目盛表示部、８ｉ：シーンブロッ
クアイコン表示部、９：編集表示処理部、９ａ：結合表
示処理部、９ｂ：アウトライン編集表示処理部、１０：
データ変換部、１００：ウィンドウ、１１０，１２０，
１３０，１４０：シーンブロックアイコン、１１１〜１
１３：フレーム画像、１２１〜１２４：フレーム画像、
１２１ａ〜１２２ａ：フレーム画像、１３１〜１３２：
フレーム画像、１４１〜１４３：フレーム画像、１５
０：シーン情報表示領域、１５１：フレーム画像表示領
域、１５３，１５４：時間目盛線、１５６：改行マー
ク、１６０：ハイライト領域、１７０：マウスカーソ
ル、１８１：編集メニュー、１８３：編集プルダウンメ
ニュー、１８４：メニュー、２１１，２２１：棒状領
域、２５１：音声波形表示領域、２６０，５６０〜５６
４：ハイライト表示領域、３００：ウィンドウ、３０
１：スクロールバー、３１０，３２０，３３０：行、３
２１：アイコン、３４０，３５０：音声トラック、４０
０：ウィンドウ、４１０〜４４０：シーンブロックアイ
コン、７０１：メディア情報、７１１，７２１：シーン
情報、７０２：ファイル名、７０３：メディア長、７０
４：シーン列、７１２：アイコン画像、７１３：コメン
ト、７１４：開始位置、７１５：終了位置、７１６：ポ
インタ、１３０１〜１３０６：フレーム画像、１３１
１：ページ縦時間軸、１３１２：時刻表示領域、１４１
０：シーンブロックアイコン、１４１１〜１４１３，１
４２１〜１４２３，１４３１：フレーム画像、１５０
１：領域、１５５１：フレーム画像表示領域、１６０１
〜１６０８：機能（「文字列」、「１行」、「フォント
変更」、「行間調整」、「検索」、「ヘッダ／フッ
タ」、「差込印刷」、「文章チェック」）。

フロントページの続き (72)発明者 山光 忠 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア開発本部内 Ｆターム(参考） 5C023 AA04 AA07 AA08 AA13 AA14 AA18 AA31 AA34 AA38 AA40 BA01 BA15 CA01 CA04 CA05 DA03 DA08 EA10 5C053 FA06 FA14 FA21 FA24 GB09 GB11 GB12 GB19 HA30 HA40 JA01 JA16 KA05 KA24 LA06 LA11

Claims (12)

【特許請求の範囲】
1. 【請求項１】 映像の画像フレームや音声の波形データ
   等の連続メディア情報を表示装置の画面上に表示し、入
   力装置から入力される操作指示に基づき上記画面上に表
   示した連続メディア情報の編集処理を行なう連続メディ
   ア情報の表示・編集装置であって、上記連続メディア情
   報を上記画面の一方向に順に表示する手段と、上記連続
   メディア情報の論理的な区切りを検出する手段と、該手
   段で検出した区切り毎に上記連続メディア情報の表示を
   改行する手段とを有することを特徴とする連続メディア
   情報の表示・編集装置。
2. 【請求項２】 請求項１に記載の連続メディア情報の表
   示・編集装置において、上記検出した区切り位置に改行
   マークを明示する手段を設けたことを特徴とする連続メ
   ディア情報の表示・編集装置。
3. 【請求項３】 請求項１、もしくは、請求項２のいずれ
   かに記載の連続メディア情報の表示・編集装置におい
   て、上記連続メディア情報を表示する画面の表示枠を制
   限する手段と、該手段で制限された表示枠を超えた連続
   メディア情報を折り返し次の行に表示する手段とを設け
   たことを特徴とする連続メディア情報の表示・編集装
   置。
4. 【請求項４】 請求項１から請求項３のいずれかに記載
   の連続メディア情報の表示・編集装置において、上記連
   続メディア情報の行先頭からの所定の経過時間を表す目
   盛線を表示する手段を設けたことを特徴とする連続メデ
   ィア情報の表示・編集装置。
5. 【請求項５】 請求項１から請求項４のいずれかに記載
   の連続メディア情報の表示・編集装置において、上記連
   続メディア情報を表示した先頭の行から後続の行方向
   へ、所定の経過時間を表す目盛線を表示する手段を設け
   たことを特徴とする連続メディア情報の表示・編集装
   置。
6. 【請求項６】 請求項１から請求項５のいずれかに記載
   の連続メディア情報の表示・編集装置において、上記連
   続メディア情報を表示した行先頭の前の領域に、該行に
   表示されている連続メディア情報に対応して別途作成さ
   れたシーンブロックアイコン情報を表示する手段を設け
   たことを特徴とする連続メディア情報の表示・編集装
   置。
7. 【請求項７】 請求項１から請求項６のいずれかに記載
   の連続メディア情報の表示・編集装置において、上記連
   続メディア情報の上記入力装置を介して指定された部分
   を他の部分と異なる特定表現で表示する手段を設けたこ
   とを特徴とする連続メディア情報の表示・編集装置。
8. 【請求項８】 請求項１から請求項７のいずれかに記載
   の連続メディア情報の表示・編集装置において、上記入
   力装置を介して指定された連続メディア情報の部分を、
   上記入力装置から入力される編集操作指示に従って編集
   する手段を設けたことを特徴とする連続メディア情報の
   表示・編集装置。
9. 【請求項９】 請求項１から請求項８のいずれかに記載
   の連続メディア情報の表示・編集装置において、上記入
   力装置から入力される編集操作指示に従って、複数の連
   続メディア情報を結合して一つの行に表示する手段と、
   上記複数の連続メディア情報のそれぞれの結合部分を他
   の部分と異なる表現で表示する手段とを設けたことを特
   徴とする連続メディア情報の表示・編集装置。
10. 【請求項１０】 請求項９に記載の連続メディア情報の
    表示・編集装置において、上記複数の連続メディア情報
    を結合して表示した行の次の行から、結合編集前の表示
    状態をウィンドウ表示する手段を設けたことを特徴とす
    る連続メディア情報の表示・編集装置。
11. 【請求項１１】 映像の画像フレームや音声の波形デー
    タ等の連続メディア情報を表示装置の画面上に表示し、
    入力装置から入力される操作指示に基づき上記画面上に
    表示した連続メディア情報の編集処理を行なう処理装置
    の連続メディア情報の表示・編集方法であって、請求項
    １から請求項１０のいずれかに記載の各手段による処理
    により、上記連続メディア情報の表示と編集を行なうこ
    とを特徴とする連続メディア情報の表示・編集方法。
12. 【請求項１２】 コンピュータで読み取られ処理される
    データおよびプログラムを記録する記録媒体であって、
    請求項１から請求項１０のいずれかに記載の各手段によ
    る上記連続メディア情報の表示と編集のための処理手順
    をコンピュータに実行させるためのプログラムを記録し
    たことを特徴とする記録媒体。