JPH05290549A

JPH05290549A - 映像編集支援装置

Info

Publication number: JPH05290549A
Application number: JP4112404A
Authority: JP
Inventors: Hiroshi Haseyama; 宏長谷山; Yuji Oba; 有二大庭; Tomoaki Tanaka; 知明田中
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1992-04-06
Filing date: 1992-04-06
Publication date: 1993-11-05

Abstract

(57)【要約】【目的】映像の編集に際し、複数の分割基準により複
数のカットポイントを検出し、ショットの自動分割を行
う。【構成】映像ソース１１を再生／記録装置１２Ａで再
生し、表示装置１５Ａに表示する。これを見ながら、操
作者１７は入力装置１６から入力を行い、インデックス
付与部１３Ｂでインデックスを付与する。編集に際して
ショット自動分割処理部１３Ａは、あらかじめ設けられ
た複数の基準で分割された複数のカットポイントのう
ち、特定のものを選んで表示装置１５Ｂに表示させる。
そして、ショットの長さの変更指示を「長く」，「短
く」などの簡単な指示で入力装置１６から与えると、別
のカットポイントが表示装置１５Ｂに表示される。こう
した処理を数回繰り返すだけで、映像編集を行うことが
できることを特徴としている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、蓄積された映像の編集
において、指示を与えると自動で映像を編集する映像編
集支援装置に関するものである。更に詳しくいえば、一
連の蓄積映像（以下、映像ファイルと呼ぶ）から、ある
意味を持つ一連の映像（以下、ショットと呼ぶ）の自動
分割を行い表示する。この表示を見て、利用者が「もっ
と長く」あるいは「もっと短く」といった簡単な指示を
与えることにより、自動分割するショットの長さを変更
し再度表示する。この繰り返しにより、編集作業を行う
映像編集支援装置に関するものである。

【０００２】

【従来の技術】蓄積映像の編集において、映像ファイル
の全てを注意深く視聴した後、映像内容のメモなどを頼
りにショット分割を行っていた。また、静止画状態で映
像内容を確認しながらショット分割する方法では、ショ
ット連続位置の誤認などによって、当初のショット分割
イメージと編集後イメージとの誤差が大きいものとな
る。これを防ぐため、一連の動画をコマ送り状態で再生
確認した後に必要な部分を複写するという作業を繰り返
すことにより編集を行う場合など、編集後の映像イメー
ジを確認するための、および音声のつながりを確認する
ために、確認の繰り返しが必要であり、迅速な編集や連
続映像を見たときに考えた編集のイメージに対して、正
確なショット分割が困難であるという欠点もあった。さ
らに、ショット分割に係わる全ての作業を自動化するこ
とはできず、手動で行うことしかできなかった。

【０００３】映像の場合には、検索のためのキーを付け
にくいので、文字の場合のように容易には検索処理が行
えない。ただ、動画像の場合には、人間が目印になる信
号、すなわち、インデックスを特定のフレームにあらか
じめ付けておき、それを頼りに検索する方法などが使わ
れている。この例として、ある種のビデオテープレコー
ダには、検索のための信号を録画開始時に対応づけてビ
デオテープに記録して、録画開始点の検索を効率化して
いるものや、レーザディスクにも同様な構成のチャプタ
ーサーチのような機能があるものがある。インデックス
は、特定の映像の固まりに対しては機械的に付けること
ができる。しかし、録画開始位置等の単純な自動記録以
上にインデックスを付けようとすると、個々の静止画の
内容を確かめながらの作業となるので、人手に頼る以外
に方法はなかった。

【０００４】カットポイントの検出方法としては、長
坂、田中：１９９０前期情処学全大１Ｑ−５，ｐｐ，６
４２、大辻、外村、大庭：１９９１春信学全大Ｄ−６７
５，ｐｐ，７−３８７、大辻、外村、大庭：１９９１秋
信学全大Ｄ−２１０，ｐｐ，６−２１２などの方法があ
る。

【０００５】また、ショット分割基準の一例として、映
像内の被写体に注目して考えると、物体領域の抽出方法
としては、長尾、相馬、安藤他：１９９０信学技報ＩＥ
９０−１０５、阿居院、井手、長橋：１９９１秋信学全
大Ｄ−２６７，ｐｐ，６−２６９、乾、細野、山田：１
９９１秋信学全大Ｄ−１９１，ｐｐ，６−１９３などの
方法がある。

【０００６】領域抽出後の処理としては、上田、間瀬、
末永：１９９１秋信学全大Ｄ−２２０，ｐｐ，６−２２
２、井上、小山：１９９１秋信学全大Ｄ−２００，ｐ
ｐ，６−２０２、小山、井上：１９９１ＴＶ学年次大Ｉ
ＴＥＣ’９１２１−１，ｐｐ，３８１などの方法があ
る。

【０００７】

【発明が解決しようとする課題】蓄積映像の編集におい
て、ショット分割を行うためには、映像ファイルの全て
を注意深く視聴する必要があり、時間がかかる作業であ
る。また、静止画状態で映像内容を確認しながらショッ
ト分割を行った場合は、当初の連続表示時に考えた編集
イメージと、編集後編集イメージとの誤差が大きいもの
となってしまうという欠点があった。さらにこれを防ぐ
ため、静止画による編集作業を行いながら、そこまでで
き上がった編集映像を確認するという作業の繰り返しを
行わざるを得ず、大変に煩雑な作業であるという欠点も
あった。

【０００８】画像の場合には、検索のためのキーを付け
にくく、録画開始位置等の単純な自動記録以上にインデ
ックスを付けようとすると、人手に頼る以外の方法はな
かったため、見た瞬間のイメージを、その映像フレーム
と対応して記録することは大変困難であった。

【０００９】本発明の目的は、カットポイントの検出に
加え、ショットの自動分割も行うことができる映像編集
支援装置を提供することにある。

【００１０】

【課題を解決するための手段】本発明にかかる映像編集
支援装置は、映像および音声内容に対する目印となるイ
ンデックス情報を記録するインデックス付与部と、あら
かじめ設けた複数の基準によりショットを自動検出し、
編集に際して、特定の基準により定められたショットの
長さの変更の指示に対して別の基準により定められたカ
ットポイントを候補として示すショット自動分割処理部
と、候補のショットを表示する表示装置とを備えたもの
である。そして、ショット自動分割処理部は、ショット
の自動検出に用いる複数の基準の１つとして音声情報を
用いたものである。

【００１１】

【作用】本発明においては、あらかじめ複数の分割基準
により、短いショット長分割から長いショット長分割ま
での複数のショット分割を自動的に行い、利用者がイン
デックスを設定してある部分は、同一インデックス情報
が付けられている一連の映像フレームのショット分割に
近い分割例を、インデックスが付けられていない部分
は、分割長が短い分割と長い分割の中間の分割例を利用
者へ提示する。利用者が自分の頭の中でイメージしてい
るショット分割映像と比較して、「もっと長く」あるい
は「もっと短く」といった簡単な対話を繰り返すこと
で、映像編集を行うことが可能となる。いいかえれば、
複数の条件（基準）により映像の切れ目を自動検出する
ので、一度おおまかに映像ファイルの内容を見れば、そ
のとき使用者が設定したインデックス情報に基づいて表
示されるショット単位の映像に対して簡単な指示を与
え、ショットを並べる順番を決め、必要により複数の映
像ファイルの内容と組み合わせるといった手順だけで編
集を行うことが可能となり、映像フレーム番号とその映
像内容の記録、利用者のイメージしたショット分割範囲
の記録およびその映像内容のイメージ描写といった複雑
な作業にかかわる無駄時間をなくし、効率的に編集作業
を行える。さらに、記憶違い、誤認による誤編集をも回
避できる。

【００１２】そして、映像情報については、物体の領域
抽出および領域抽出後の物体追跡などの処理に加え、領
域抽出された各物体の特徴を抽出する。各物体の特徴抽
出は、焦点深度、移動状況、変化状態、カメラ操作との
関係などの条件により抽出を行い、ショット分割の基準
とする。ショット分割の一例としては、抽出された１
つ、あるいは複数の特定の物体が画面内にある間は１つ
のショットと見なす。また、シーンチェンジからシーン
チェンジの間に挟まれた映像でも、特定の被写体が画面
内になくなった場合は、ショットとして分割する場合も
あり得る。

【００１３】音声情報については、音楽の切れ目、音声
認識による特定話者の発声状況、ノイズレベルやノイズ
特性、などが分割基準となる。

【００１４】

【実施例】図１は本発明の一実施例を示す構成図であ
る。図中の番号は次のものを表している。１１は映像ソ
ースで、レーザディスク、ビデオテープなどに記録され
た映像媒体である。映像ソース１１は再生／記録装置１
２Ａによって主制御部１３へ取り込む。１３Ｂは利用者
１７のキー操作によって映像内容にインデックスを付け
るインデックス付与部である。利用者１７が映像内容を
見ながら任意のキーを操作することにより、映像フレー
ム番号とキーの内容を記録する。１３Ａはショット自動
分割処理部であり、１つの映像ファイルに対して複数の
ショット分割の処理を行い記憶しておく。１２Ｂは再生
／記録装置であり、利用者１７との対話により利用者１
７のイメージしているショット分割ができあがった時点
で、ショット単位の映像を映像媒体に記録する。編集作
業の最後にショット単位の映像の順番を並べ替える場合
および他映像ファイルのショットを組み合わせる場合
は、再生／記録装置１２Ａと１２Ｂを交互に使用するこ
とで入れ替えを行う。１４は表示制御部であり、ショッ
ト分割映像の表示および主制御部１３の出力を表示する
ための映像合成制御部である。１５Ａおよび１５Ｂは表
示装置であり、表示制御部１４により合成された内容を
表示する。１６はキーボードやマウスなどの入力装置で
あり、利用者１７がインデックス情報やショット分割範
囲の修正などを指示する装置である。

【００１５】図２はカットポイント検出およびショット
分割の例である。２１−１〜２１−４はカットポイント
検出の一例としてシーンチェンジ単位の分割を示した例
である。すなわち、２１−１、２１−２、２１−３、２
１−４の各々の間は、それぞれ撮影を一旦停止し、再度
撮影を開始しているため、前映像内容との差分の大きい
シーンチェンジ部分となっており、カットポイントの切
れ目として検出している。２２−１、２２−２は利用者
１７が設定したインデックス情報による分割である。２
２−１は飛行機に着目し、２２−２は自動車に着目して
いることが分かる。ただし、２２−１と２２−２の切れ
目で、１枚の自動車の映像が飛行機の映像として誤設定
されている。これは、通常速度の映像を見ながら設定し
たため、キーを押したり離したりするタイミングにずれ
があることを示している。２３は音声情報から分割した
例であり、この映像は全て切れ目のない音楽が記録され
ている。このように、１つの映像ファイルでも分割方法
により複数の分割が可能である。

【００１６】図３はショットの自動分割例および調整時
の動作を説明した図であり、３１は映像ファイルを示
す。３２は前記利用者１７の設定したインデックスで、
この例ではインデックス文字Ａ，Ｂが用いられている。
インデックス文字Ａ，Ｂは、例えば、飛行機と自動車を
映像内容とする。３３は調整前の表示用分割情報、３４
〜３８は複数のショット自動分割例を示す。はじめに、
調整前の表示状況を見ると、インデックス３２が設定さ
れている部分はインデックス情報に基づいて分割し、イ
ンデックス３２のない部分は中間的な分割を行っている
分割３６を採用している。

【００１７】次に、利用者１７の指示により分割点を変
更する場合の処理を図４により説明する。ここでは、代
表的な４方法について記述する。４０〜４３は方法１〜
方法４である。４０−８が図３の３３に相当する調整前
の表示対象となっている部分であり、利用者１７の判断
を要求している現分割点が４０−９である。ここで、利
用者から「長く」という指示があると、調整前の表示対
象となっている分割方法の次の分割点４０−１１よりも
時間的に前に存在し、現分割点よりも後に存在する。他
の分割基準による複数の分割点、すなわち選択対象範囲
より次候補を選択する。

【００１８】方法１では、現分割点と次分割点の時間間
隔を半分にした値に一番近い分割点４０−１０を選択
し、この分割点の映像を利用者１７へ表示し、次の指示
を受ける。方法２では、選択対象の分割点の中で、時間
的に一番早い分割点を選択する場合を示し、方法３で
は、一番遠い分割点を選択する場合を示している。ま
た、方法４では、複数のデータから該当するデータを検
索する場合に用いられる代表的な検索方法の式ｎ／εを
用いた分割点の選択を行っている。ここで、εは自然対
数の底で、２．７１８、ｎは１または２である。

【００１９】さらに、例は記述していないが、次分割点
を越えた範囲を選択対象として選択したり、利用者１７
の分割点抽出傾向により、例えば、音楽の切れ目を分割
点とする傾向があれば、それ以降の表示対象分割情報を
当該、傾向にそった基準により分割したものと置き換え
る、などの制御を行うことにより、さらに、利用し易い
装置を構成できる。

【００２０】図５は表示装置の画面構成例である。５０
と６０は図１の表示装置１５Ａ，１５Ｂに対応してい
る。手順を追って説明すると、利用者１７は、はじめに
映像内容を一通り見る。これには、動画ウインドウ６２
および映像操作ボタン６３を使う。また、映像内容に対
するインデックス情報を設定する場合は、図１に示した
キーボードを使用する。自動分割の開始および終了は、
ボタン６４−１によ６４−２により指示する。分割開始
ボタン６４−１を操作すると、各種の映像分割基準によ
りカットポイント検出およびショットの分割を開始し、
複数の種類の分割を終了すると、自動分割されたショッ
ト単位の映像５２−１〜５２−３を表示する。表示内容
は映像５２−１はショットの先頭の映像、映像５２−２
はショットの中間の映像、映像５２−３はショットの最
後の映像である。５１は２通りの表示内容を表示する静
止画ウインドウであり、映像５２−１の前、あるいは５
２−１と５２−２の間の一番短く分割されているショッ
トの頭の映像を表示する。同様に、ウインドウ５３は映
像５２−３の後、あるいは映像５２−２と５２−３の間
の静止画を表示する。これにより、一度も映像内容を確
認せずに利用することも可能である。

【００２１】５４，５６に示した「長く」あるいは「短
く」等のボタンによりショット分割点の延長あるいは短
縮を行う。延長あるいは短縮を行うショットの部分は、
映像５２−１あるいは５２−３のどちらかの枠をクリッ
クすることにより決定する。また、「全体長く」「全体
短く」のボタン５５，５７が押された場合は、前後とも
にショット分割点の延長あるいは短縮を行う。

【００２２】ショット映像が利用者１７のイメージに合
致した時点で、「調整終了」のボタン５８を押す。これ
により、該ショットは調整後ショット表示ウィンドウ６
１へ設定される。ここでもショットの表示内容はショッ
トの始め、中間および最後の映像である。このようにし
て、すべてのショットを調整し終わった場合、あるいは
途中で分割終了ボタンにより調整を中断した場合、各シ
ョット毎の編集に移る。ショット毎の編集方法として
は、順番入れ替え，複写，削除，ボタン６４−３による
他の映像ファイルのショット組み込みなどが可能であ
る。また、各ウィンドウに表示された映像にインデック
スが付けられている場合は、映像合成表示することによ
り、利用者１７の当初の分割イメージを確認できる。ま
た、「長く」「短く」といった指示はマイクロホンによ
る音声指示としてもよく、これにより操作が極めて容易
となる。

【００２３】図６は主制御部の動作を説明したフローチ
ャートである。なお、（Ｓ１）〜（Ｓ１２）は各ステッ
プを示す。編集作業を開始し、はじめに（Ｓ１）利用者
１７が映像内容を確認する際、主制御部１３ではキーの
操作を監視（Ｓ２）している。もし、キーを押した場合
は、該映像フレーム番号とキー内容をインデックス情報
として記憶する（Ｓ３）。分割開始の指示（Ｓ４）がな
ければ引き続いてキーボード操作の監視を続ける。映像
内容の確認が終了し、分割開始指示を行った場合、複数
の分割基準によりショットの自動分割を行う処理および
複数の分割範囲を記憶する（Ｓ５）。すべての種類の自
動分割が終了した時点で、図３で説明した調整前の表示
用分割情報３３に従って表示を開始する（Ｓ６）。表示
されたショットを確認して、必要によりショット長の変
更を指示する（Ｓ７）。指示により、図４で説明したシ
ョット分割範囲の変更方法で、分割範囲の変更を行い表
示する（Ｓ８）。この作業を利用者１７のイメージに合
うまで繰り返す。調整終了の指示（Ｓ９）により、該シ
ョットをショット分割調整後のショット表示ウィンドウ
６１へ表示する（Ｓ１０）。分割終了ボタン６４−２に
よる中断あるいは最終フレームまで調整が終わった場合
以外は次のショットへ移る（Ｓ１１）。また、調整が終
了した場合には、必要によりショットの並べ替え、他の
映像ファイルのショットの組み込みなどの編集を行い、
編集作業は終了（Ｓ１２）となる。

【００２４】

【発明の効果】以上説明したように、本発明は、映像お
よび音声内容に対する目印となるインデックス情報を記
録するインデックス付与部と、あらかじめ設けた複数の
基準によりショットを自動検出し、編集に際して、特定
の基準により定められたショットの長さの変更の指示に
対して別の基準により定められたカットポイントを候補
として示すショット自動分割処理部と、候補のショット
を表示する表示装置とを備えたので、ショットの自動検
出と利用者との対話によって、１回おおまかに映像ファ
イルの内容を見れば、そのとき利用者が設定したインデ
ックス情報を参考として、ショット分割が自動的に行わ
れる。利用者は、自動分割されたショット長に対して簡
単な変更指示を与えたり、ショット単位の映像の順番を
決めるなどの処理だけで映像編集を行うことが可能とな
る。すなわち、内容確認、内容記録にかかわる無駄時間
を省き、効率的に編集作業を行える。また、記憶違いや
誤認による不正確な映像編集を回避できる。さらに、映
像内容を事前に確認することができない場合でも、迅速
な映像編集を行うことが可能である。

【００２５】また、ショット自動分割処理部は、ショッ
トの自動検出に用いる複数の基準の１つとして音声情報
を用いたので、特定話者の発生状況などを利用する分割
により、編集後の映像内容で音声が途中で欠落してしま
うなどの不具合が発生しない。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図であ
る。

【図２】本発明の映像の分割方法の説明図である。

【図３】本発明のショットの自動分割例および調整時の
動作を説明した図である。

【図４】本発明のショット分割長の変更を行う場合の動
作を説明する図である。

【図５】本発明の表示装置の画面構成の説明図である。

【図６】図１に示す実施例の利用手順を示すフローチャ
ートである。

【符号の説明】

１１映像ソース１２Ａ再生／記録装置１２Ｂ再生／記録装置１３主制御部１３Ａショット自動分割処理部１３Ｂインデックス付与部１４表示制御部１５Ａ表示装置１５Ｂ表示装置１６入力装置１７利用者

Claims

【特許請求の範囲】

【請求項１】映像および音声の編集を行う装置の支援
装置であって、前記映像および音声内容に対する目印と
なるインデックス情報を記録するインデックス付与部
と、あらかじめ設けた複数の基準によりショットを自動
検出し、編集に際して、特定の基準により定められたシ
ョットの長さの変更の指示に対して別の基準により定め
られたカットポイントを候補として示すショット自動分
割処理部と、候補のショットを表示する表示装置とを備
えたことを特徴とする映像編集支援装置。
【請求項２】ショット自動分割処理部は、ショットの
自動検出に用いる複数の基準の１つとして音声情報を用
いることを特徴とする請求項１に記載の映像編集支援装
置。