JP2003158710A - 映像オブジェクト編集装置及び映像オブジェクト編集プログラム - Google Patents

Abstract

(57)【要約】 【課題】 映像をオブジェクト単位で扱う際の映像オブ
ジェクトの時空間形状及びメタデータを編集することが
できる映像オブジェクト編集装置及び映像オブジェクト
編集プログラムを提供する。 【解決手段】 映像オブジェクト編集装置１０は、入力
手段１と、オブジェクト編集制御手段２と、オブジェク
ト情報蓄積媒体１２にアクセスしてオブジェクト情報や
メタデータの読み出し及び書き込みを行なうオブジェク
ト情報蓄積媒体アクセス手段３と、映像蓄積媒体１３に
蓄積されている映像を読み込む映像蓄積媒体アクセス手
段４と、タイムライン生成手段５と、映像合成手段６と
を備える構成とした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像コンテンツの
制作支援に係わり、例えば映像の見た目を編集したり、
映像にメタデータを付加したり、映像を検索したり、映
像を管理したり、あるいは映像を表示する映像オブジェ
クト編集装置及び映像オブジェクト編集プログラムに関
する。

【０００２】

【従来の技術】従来、映像コンテンツの制作は、カメ
ラ、文字スーパー、コンピュータグラフィクス等の時系
列情報を、映像のプレビューワ及びタイムライン表示を
参照しつつ、編集する手法が行なわれている（参考文献
１：ソニー株式会杜、編集システム、特開平１０−１６
２５５６号公報）。前記の手法は、タイムラインによる
時間軸表示と、プレビューワによる映像表示の連携によ
り、効率的な映像編集を実現する手法である。また、映
像検索手法は、色や動きといった映像特徴量やメタデー
タに基づいて、類似画像を検索する手法などがＭＰＥＧ
−７標準化の過程において数多く提案されている（参考
文献２：宮崎等、ＭＰＥＧ−７を用いた番組情報検索シ
ステムの開発２００１年映像情報メデイア学会年次大
会、１６−５、２００１年、ｐ．２３３）（参考文献
３：宮原等、ＭＰＥＧ−７利用画像部分検索システムの
試作、２００１年映像情報メデイア学会年次大会、５−
７、２００１年、ｐ．６７）。

【０００３】図１５は従来の映像編集装置７０の構成例
を示したブロック図である。映像編集装置７０は、外部
に接続されたマウス等の入力装置１１から入力信号が入
力され、映像編集装置７０内で処理する入力情報（マウ
スの位置情報等）に変換する入力手段７１と、入力手段
７１から入力される入力情報に基づいて映像フレーム単
位の映像編集を行なう映像編集制御手段７２と、映像を
蓄積する映像蓄積媒体１３にアクセスして映像を蓄積し
たり、あるいは、映像を読み出す映像蓄積媒体アクセス
手段７３と、単数乃至複数の映像シーケンスの映像存在
時刻範囲情報に基づいて、映像シーケンス間の演算を可
視化するタイムライン描画信号を生成するタイムライン
生成手段７４と、映像蓄積媒体アクセス手段７３により
読み出された映像信号と映像編集制御手段７２により編
集された映像信号を合成した表示信号を生成する映像合
成手段７５と、を備えて構成されている。また、前記タ
イムライン描画信号は、外部に接続されたタイムライン
表示装置１４（ＣＲＴ等）によって表示することができ
る。また、前記表示信号は、外部に接続された映像表示
装置１５（ＣＲＴ等）によって表示することができる。

【０００４】前記のような従来の映像編集装置７０で
は、映像編集制御手段７２が、映像蓄積媒体アクセス手
段７３を通じて映像蓄槓媒体１３から読み出した単独乃
至複数の映像フレーム（映像信号）に対して入力装置１
１からの所定の情報に基づいて、カット、ディゾルブ、
ワイプ等の演算や操作を行なって、映像の見た目を編集
する作業が行なわれている。

【０００５】

【発明が解決しようとする課題】従来技術における映像
の編集は、図１５に示した例のように映像フレーム単位
で実行されるものが主流である。すなわち、編集の最小
単位は映像フレームであり、実現されるカット、ワイ
プ、フェード、ディゾルブ等の映像編集効果は、ある映
像シーケンスの映像フレームと、別の映像シーケンスの
映像フレームとの間の演算処理によるものであった。し
かも、映像オブジェクトに対する関連データであるメタ
データの付与や、複数映像オブジェクトの存在時刻の論
理演算によるシーン検索を行なう手法は考えられていな
い。

【０００６】また、映像検索手法も、色や動きといった
映像特徴量やメタデータに基づいて最適なカットあるい
は映像フレームを検索するものが主流であり、映像オブ
ジェクト毎のタイムライン間の論理演算によって該当映
像フレームや該当映像オブジェクトを検索し、可視化
し、頭出しする手法はなかった。さらに、前記した参考
文献３で述べられているような手法は、映像フレーム内
の映像オブジェクトを検索するものであるが、これは映
像の局所的な特徴量とメタデータとに基づいた手法であ
り、タイムライン上で論理演算を行なって視覚的にオブ
ジェクト存在時刻範囲を検索する手法ではない。

【０００７】本発明は、従来の映像編集手法における問
題点に鑑みてなされたものであり、映像をオブジェクト
単位で扱う際の映像オブジェクトの時空間形状及びメタ
データを編集することができる映像オブジェクト編集装
置及び映像オブジェクト編集プログラムを提供すること
を目的とする。

【０００８】

【課題を解決するための手段】本発明では前記課題を解
決するために以下の構成に係るものとした。まず、請求
項１に記載の映像オブジェクト編集装置は、蓄積媒体に
蓄積された映像の読み込みを行なう映像蓄積媒体アクセ
ス手段と、蓄積媒体に蓄積された少なくともその映像に
存在する映像オブジェクトの時刻及び映像オブジェクト
形状を含んだオブジェクト情報の読み込み及び書き出し
を行なうオブジェクト情報蓄積媒体アクセス手段と、外
部入力信号を、映像オブジェクトの編集動作を示す入力
情報に変換する入力手段と、この入力情報に基づいて、
映像オブジェクト単位の編集制御を行なうオブジェクト
編集制御手段と、前記オブジェクト情報に基づいて、前
記映像内における前記映像オブジェクトが存在する時刻
範囲を表示するタイムラインを生成するタイムライン生
成手段と、前記オブジェクト情報に基づいて、前記映像
内における前記映像オブジェクトの形状を生成して、前
記映像蓄積媒体アクセス手段で読み出された映像と合成
する映像合成手段と、を備える構成とした。

【０００９】かかる構成によれば、映像オブジェクト編
集装置は、映像蓄積媒体アクセス手段によって、蓄積媒
体に蓄積された映像の読み込みを行ない、オブジェクト
情報蓄積媒体アクセス手段によって、蓄積媒体に蓄積さ
れた少なくともその映像に存在する映像オブジェクトの
時刻及び映像オブジェクト形状を含んだオブジェクト情
報の読み込み及び書き出しを行なうことができる。そし
て、映像オブジェクト編集装置は、入力手段によって、
外部入力信号を、映像オブジェクトの編集動作を示す入
力情報に変換することで、オブジェクト編集制御手段に
よって、前記読み込まれたオブジェクト情報に基づいて
映像オブジェクト単位の編集制御を行なうことができ
る。また、映像オブジェクト編集装置は、その編集時
に、前記オブジェクト情報に基づいて、タイムライン生
成手段によって、前記映像内における前記映像オブジェ
クトが存在する時刻範囲を表示するタイムラインを生成
し、映像合成手段によって、前記映像内における前記映
像オブジェクトの形状と前記映像とを合成することがで
きる。

【００１０】また、請求項２に記載の映像オブジェクト
編集装置は、請求項１に記載の映像オブジェクト編集装
置において、映像オブジェクト形状を新たに描画するこ
とにより作成する、またはオブジェクト情報に基づい
て、既存の映像オブジェクト形状の一部を消去も含めて
変更する形状描画処理手段を備える構成とした。

【００１１】かかる構成によれば、映像オブジェクト編
集装置は、形状描画処理手段によって、映像オブジェク
ト形状を、新たに描画することにより、新規に映像オブ
ジェクトを作成したり、オブジェクト情報に基づいて、
既存の映像オブジェクト形状の変更を行ない、前記オブ
ジェクト情報を更新する。

【００１２】さらに、請求項３に記載の映像オブジェク
ト編集装置は、請求項１または請求項２に記載の映像オ
ブジェクト編集装置において、オブジェクト情報に基づ
いて、既存の映像オブジェクトの映像オブジェクト形状
を分割して複数の映像オブジェクトに再編成する、また
は既存の複数の映像オブジェクトの映像オブジェクト形
状を単一映像オブジェクトの映像オブジェクト形状に併
合する空間分割・併合処理手段を備える構成とした。

【００１３】かかる構成によれば、映像オブジェクト編
集装置は、空間分割・併合処理手段によって、オブジェ
クト情報を変更することで、既存の映像オブジェクトの
映像オブジェクト形状を分割して複数の映像オブジェク
トに再編成したり、既存の複数の映像オブジェクトの映
像オブジェクト形状を単一映像オブジェクトの映像オブ
ジェクト形状に併合し、前記オブジェクト情報を更新す
る。

【００１４】また、請求項４に記載の映像オブジェクト
編集装置は、請求項１または請求項３のいずれか１項に
記載の映像オブジェクト編集装置において、オブジェク
ト情報に基づいて、既存の映像オブジェクトを指定時刻
範囲の内外で分割し、それぞれ別の映像オブジェクトと
して再編成する、または複数の時間軸に沿って存在する
複数の映像オブジェクトを単一の時間軸に沿って存在す
るように併合する時間分割・併合処理手段を備える構成
とした。

【００１５】かかる構成によれば、映像オブジェクト編
集装置は、時間分割・併合処理手段によって、オブジェ
クト情報を変更することで、既存の映像オブジェクトを
指定時刻範囲の内外で分割し、それぞれ別の映像オブジ
ェクトとして再編成したり、複数の時間軸に沿って存在
する複数の映像オブジェクトを単一の時間軸に沿って存
在するように併合し、前記オブジェクト情報を更新す
る。

【００１６】また、請求項５に記載の映像オブジェクト
編集装置は、請求項１または請求項４のいずれか１項に
記載の映像オブジェクト編集装置において、オブジェク
ト情報に、映像オブジェクトの関連情報であるメタデー
タを付与し、あるいは既存のメタデータの内容を修正す
るメタデータ処理手段を備える構成とした。

【００１７】かかる構成によれば、映像オブジェクト編
集装置は、メタデータ処理手段によって、入力手段から
入力される入力情報に基づいて、オブジェクト情報に新
たにメタデータを付与し、あるいは、すでに映像オブジ
ェクト毎に付与されているメタデータの内容を変更す
る。

【００１８】さらにまた、請求項６に記載の映像オブジ
ェクト編集装置は、請求項１または請求項５のいずれか
１項に記載の映像オブジェクト編集装置において、オブ
ジェクト編集制御手段が、オブジェクト情報の時刻に基
づいて、指定された映像オブジェクトの存在する時刻範
囲を検索し、または処理対象時刻を前記指定された映像
オブジェクトの存在する時刻へ移動する機能を備える構
成とした。

【００１９】かかる構成によれば、映像オブジェクト編
集装置は、オブジェクト編集制御手段によって、オブジ
ェクト情報の時刻に基づいて、指定された映像オブジェ
クトの存在する時刻範囲を検索し、前記時刻範囲内の代
表時刻を一つ選択することで、処理対象時刻を前記代表
時刻へ変更する。

【００２０】さらに、請求項７に記載の映像オブジェク
ト編集装置は、請求項１または請求項６のいずれか１項
に記載の映像オブジェクト編集装置において、オブジェ
クト編集制御手段が、オブジェクト情報に基づいて、映
像オブジェクト形状の集合演算、または映像オブジェク
トの存在時刻範囲に関する論理演算を行なうことによっ
て、映像オブジェクト単位の編集を行なう構成とした。

【００２１】かかる構成によれば、映像オブジェクト編
集装置は、オブジェクト編集制御手段によって、映像オ
ブジェクト形状毎の和集合や積集合といった集合演算を
行ない新たな映像オブジェクト形状を生成したり、前記
オブジェクト情報の時刻に基づいて、時間方向の論理和
や論理積といった論理演算を行なうことで、映像オブジ
ェクトを時間方向に編集したり、前記論理演算結果に基
づいて、該当する時刻に存在する映像オブジェクトを検
索する。

【００２２】また、請求項８に記載の映像オブジェクト
編集装置は、請求項１または請求項７のいずれか１項に
記載の映像オブジェクト編集装置において、タイムライ
ン生成手段が、平面内の一軸を時間軸の帯としたタイム
ラインを生成し、前記映像内における前記映像オブジェ
クトが存在する時刻範囲を前記時間軸の帯の有無、色ま
たは模様によって表わす構成とした。

【００２３】かかる構成によれば、映像オブジェクト編
集装置は、タイムライン生成手段によって、指定した時
間内の映像内に存在する映像オブジェクトを、その映像
オブジェクト単位のタイムラインとして視覚化した、タ
イムライン描画信号を生成する。

【００２４】さらに、請求項９に記載の映像オブジェク
ト編集装置は、請求項１または請求項８のいずれか１項
に記載の映像オブジェクト編集装置において、映像合成
手段が、オブジェクト形状情報に基づいて、多角形また
は曲線形状を映像オブジェクトの形状として、映像オブ
ジェクトが存在する映像と合成する構成とした。

【００２５】かかる構成によれば、映像オブジェクト編
集装置は、映像合成手段によって、映像内における映像
オブジェクトのオブジェクト形状情報に基づいて、映像
オブジェクトの存在領域を視覚化した表示信号を生成す
る。

【００２６】さらにまた、請求項１０に記載の映像オブ
ジェクト編集装置は、請求項１または請求項９のいずれ
か１項に記載の映像オブジェクト編集装置において、外
部のハードウェア、ネットワークまたはソフトウェアと
の制御信号を送受信するインタフェース手段を備え、こ
の制御信号に基づいて、前記オブジェクト編集制御手段
が、映像オブジェクトの編集を行なう構成とした。

【００２７】かかる構成によれば、映像オブジェクト編
集装置は、インタフェース手段によって、外部のハード
ウェア、ネットワークまたはソフトウェアとの制御信号
を送受信することで、入力手段を介さずに直接外部から
の制御信号をオブジェクト編集制御手段に通知し、映像
オブジェクトの編集を行なう。

【００２８】また、請求項１１に記載の映像オブジェク
ト編集プログラムは、蓄積媒体に蓄積された、映像と少
なくともその映像に存在する映像オブジェクトの時刻及
び映像オブジェクト形状を含んだオブジェクト情報とに
基づいて、映像オブジェクトを編集するためにコンピュ
ータを以下の手段により機能させるように構成した。

【００２９】すなわち、前記映像の読み込みを行なう映
像蓄積媒体アクセス手段、前記オブジェクト情報の読み
込み及び書き出しを行なうオブジェクト情報蓄積媒体ア
クセス手段、外部入力信号を、映像オブジェクトの編集
動作を示す入力情報に変換する入力手段、この入力情報
に基づいて、映像オブジェクト単位の編集制御を行なう
オブジェクト編集制御手段、前記オブジェクト情報に基
づいて、前記映像内における前記映像オブジェクトが存
在する時刻範囲を表示するタイムラインを生成するタイ
ムライン生成手段、前記オブジェクト情報に基づいて、
前記映像内における前記映像オブジェクトの形状を生成
して、前記映像蓄積媒体アクセス手段で読み出された映
像と合成する映像合成手段とした。

【００３０】かかる構成によれば、映像オブジェクト編
集プログラムは、映像蓄積媒体アクセス手段によって、
蓄積媒体に蓄積された映像の読み込みを行ない、オブジ
ェクト情報蓄積媒体アクセス手段によって、蓄積媒体に
蓄積された少なくともその映像に存在する映像オブジェ
クトの時刻及び映像オブジェクト形状を含んだオブジェ
クト情報の読み込み及び書き出しを行なうことができ
る。そして、映像オブジェクト編集装置は、入力手段に
よって、外部入力信号を、映像オブジェクトの編集動作
を示す入力情報に変換することで、オブジェクト編集制
御手段によって、前記読み込まれたオブジェクト情報に
基づいて映像オブジェクト単位の編集制御を行なうこと
ができる。また、映像オブジェクト編集装置は、その編
集時に、前記オブジェクト情報に基づいて、タイムライ
ン生成手段によって、前記映像内における前記映像オブ
ジェクトが存在する時刻範囲を表示するタイムラインを
生成し、映像合成手段によって、前記映像内における前
記映像オブジェクトの形状と前記映像とを合成すること
ができる。

【００３１】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。 （第一の実施の形態：映像オブジェクト編集装置の構
成）図１は、本発明の第一の実施の形態に係る映像オブ
ジェクト編集装置の全体構成を示すブロック図である。
図１に示すように、映像オブジェクト編集装置１０は、
入力手段１と、オブジェクト編集制御手段２と、オブジ
ェクト情報蓄積媒体アクセス手段３と、映像蓄積媒体ア
クセス手段４と、タイムライン生成手段５と、映像合成
手段６とを備えている。

【００３２】また、映像オブジェクト編集装置１０は、
外部に入力装置１１と、オブジェクト情報を蓄積したオ
ブジェクト情報蓄積媒体１２と、映像を蓄積した映像蓄
積媒体１３と、タイムラインの表示を行なうタイムライ
ン表示装置１４と、映像を表示する映像表示装置１５と
を接続しているものとする。この入力装置１１は、例え
ば、キーボード、マウス、タブレット、デジタイザ、タ
ッチパネル、トラックボール、ジョイスティック、ダイ
ヤル、ボタン等の入力デバイスの１つ以上により構成さ
れたものである。

【００３３】入力手段１は、外部に接続された入力装置
１１から入力される入力信号を、映像オブジェクト編集
装置１０内で処理される入力情報に変換するものであ
る。この入力情報には、指示情報、座標情報、時刻情報
等がある。例えば、キーボード、ボタン等の各キーある
いはボタンに対応させて、どの動作を行なうか（映像再
生、映像オブジェクト編集等）を定義しておいて、定義
されたキーまたはボタンが押下されたときに、その動作
を指示情報として出力する。また、例えば、マウスボタ
ン押下（クリック）時に、マウスカーソルが指し示す画
面上の座標を座標情報として出力する。また、例えば、
ダイヤルによって表示させる映像フレームの出現時刻を
指定する場合、そのダイヤルによって入力される入力信
号を時刻情報として出力する。

【００３４】オブジェクト編集制御手段２は、入力手段
１からの入力情報に基づいて、映像オブジェクト、映像
オブジェクトの存在時刻範囲及び位置を認識し、その認
識した情報に基づいて映像オブジェクト及びメタデータ
の編集を行なうものである。ここで、オブジェクト編集
制御手段２は、オブジェクト情報蓄積媒体アクセス手段
３に映像の時刻情報を通知することで、オブジェクト情
報蓄積媒体アクセス手段３を介してオブジェクト情報蓄
積媒体１２からオブジェクト形状等のオブジェクト情報
を取得したり、オブジェクト情報の書き換えを行なう。
また、オブジェクト編集制御手段２は、映像蓄積媒体ア
クセス手段４に映像の時刻情報を通知することで、映像
蓄積媒体アクセス手段４を介して映像蓄積媒体１３から
映像信号を出力させる。

【００３５】さらに、オブジェクト編集制御手段２は、
映像中の映像オブジェクトが存在する時刻範囲等を示す
オブジェクト存在時刻範囲情報をタイムライン生成手段
５へ通知する。また、映像オブジェクトの形状や、位置
座標等を示すオブジェクト形状情報を映像合成手段６へ
通知する。

【００３６】オブジェクト情報蓄積媒体アクセス手段３
は、オブジェクト情報蓄積媒体１２にアクセスしてオブ
ジェクト情報やメタデータの読み出し及び書き込みを行
なうものである。なお、オブジェクト情報蓄積媒体１２
は映像オブジェクトの時々刻々と変化する位置、形状情
報及びメタデータを時系列形式、時刻情報を付与した表
形式、あるいは前記各形式の圧縮形式で蓄積したもの
で、例えば、固定デイスク、半導体メモリ、磁気テー
プ、磁気ディスク、光磁気ディスク、及び光ディスク
（ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ
Ｗ）のいずれか、またはその組み合わせにより構成され
たものである。

【００３７】映像蓄積媒体アクセス手段４は、映像蓄積
媒体１３にアクセスして、映像蓄積媒体１３に蓄積され
ている映像フレームの画素データあるいは圧縮データを
映像信号として読み出し、映像合成手段６へ通知するも
のである。例えば、前記映像フレームがＭＰＥＧ２等で
圧縮されている場合は、その映像フレームの伸張を行な
う。なお、映像蓄積媒体１３は、前記映像フレームの画
素データあるいは圧縮データを蓄積したもので、オブジ
ェクト情報蓄積媒体１２と同様の媒体（ＲＯＭ、ＣＤ−
ＲＯＭ等の読み出し専用メモリを含む）で構成されてい
る

【００３８】タイムライン生成手段５は、オブジェクト
編集制御手段２から出力されるオブジェクト存在時刻範
囲情報に基づいて、各映像オブジェクトの存在時刻範囲
を解析して、現在表示されている映像内に存在する映像
オブジェクトの存在時刻範囲を帯グラフとして表示する
タイムライン描画信号を生成するものである。またこの
とき、マウス等の移動に応じて動作するカーソルをタイ
ムライン描画信号に重畳する。このタイムライン描画信
号は、外部に接続されたタイムライン表示装置１４に表
示される。このタイムライン表示装置１４は、例えば、
ＣＲＴ、ＬＣＤ、ＰＤＰ、ＬＥＤ、ＥＬ、電光表示板、
機械式ディスプレイ等の表示デバイスとすることができ
る。

【００３９】映像合成手段６は、映像蓄積媒体アクセス
手段４から読み出された映像信号と、オブジェクト編集
制御手段２から出力されたオブジェクト形状情報とに基
づいて、映像蓄積媒体アクセス手段４から読み出された
映像信号上に映像オブジェクトの空間存在範囲（映像オ
ブジェクトの形状）を合成した表示信号を生成するもの
である。この表示信号は、外部に接続された映像表示装
置１５に表示される。

【００４０】また、映像合成手段６は、オブジェクト編
集制御手段２からの指示に基づいて画面上に、矢印、十
字印、またはアイコンを重畳することで、カーソル表示
を行なったり、ボタン、スライダ、ダイヤル、エディッ
トボックス、プルダウンメニュー等の仮想的なコントロ
ールの表示を行なったり、タイムコードをビットマップ
化して表示することも可能である。この映像表示装置１
５は、タイムライン表示装置１４と同様の表示デバイス
を用いることができる。

【００４１】なお、本実施の形態では、タイムライン生
成手段５及び映像合成手段６には、それぞれ別の表示装
置（タイムライン表示装置１４及び映像表示装置１５）
を接続する形態であるが、１つの表示装置を共有させ
て、タイムライン生成手段５及び映像合成手段６の出力
をそれぞれ別のウィンドウとして表示させることも可能
である。

【００４２】次に、図１及び図２に基づいて、オブジェ
クト編集制御手段２について詳細に説明する。図２は図
１に示したオブジェクト編集制御手段２の詳細構成例を
示したブロック図である。オブジェクト編集制御手段２
は、解析手段２０、ＲＡＭ２１、集合演算処理部２２
（集合演算処理手段）、形状描画処理部２３（形状描画
処理手段）、空間分割・併合処理部２４（空間分割・併
合処理手段）、時間分割・併合処理部２５（時間分割・
併合処理手段）、論理演算処理部２６、メタデータ処理
部２７（メタデータ処理手段）及び時刻カウンタ２８を
含む構成とした。

【００４３】解析手段２０は、入力手段１からの入力情
報を解析して映像、タイムライン、ツールボックス（後
記する）のいずれが選択されたかの判定を行なうもので
ある。そして、その選択領域に基づいて、ユーザが指定
した各情報（ユーザ指定画像座標、ユーザ指定オブジェ
クトＩＤ、メタデータ情報、ユーザ指定ツールＩＤ、ユ
ーザ指定時刻、ユーザ指定時刻範囲）をＲＡＭ２１に記
憶させる。

【００４４】ＲＡＭ２１は、各種データを一時的に記憶
する形状ＲＡＭ（ランダムアクセスメモリ）２１ａ、画
像座標レジスタ２１ｂ、オブジェクトＩＤレジスタ２１
ｃ、メタデータレジスタ２１ｄ、ツールＩＤレジスタ２
１ｅ、時刻レジスタ２１ｆ、ＩＮ点／ＯＵＴ点レジスタ
２１ｇ、タイムテーブル２１ｈを内部に形成している。

【００４５】ここで、形状ＲＡＭ２１ａは、ある指定時
刻における各オブジェクトの形状（ビットマップ等）を
一時的に記憶するメモリ領域で、画像座標レジスタ２１
ｂは、ユーザの指定する画像座標を一時的に記憶するメ
モリ領域で、オブジェクトＩＤレジスタ２１ｃは、ユー
ザの指定する映像オブジェクトのＩＤを一時的に記憶す
るメモリ領域である。

【００４６】また、メタデータレジスタ２１ｄは、映像
オブジェクトに設定するメタデータ情報を一時的に記憶
するメモリ領域であり、ツールＩＤレジスタ２１ｅは、
ユーザの指定する編集ツールのＩＤを一時的に記憶する
メモリ領域でツールを切り替える切り替え信号として使
用される。

【００４７】また、時刻レジスタ２１ｆは、ユーザの指
定する時刻または、時刻カウンタ２８により自動的にカ
ウントアップ／カウントダウンされる処理対象時刻を一
時的に記憶するメモリ領域で、ＩＮ点／ＯＵＴ点レジス
タ２１ｇは、ユーザの指定する時刻範囲を一時的に記憶
するメモリ領域で、タイムテーブル２１ｈは、オブジェ
クト蓄積媒体アクセス手段５を通じて取得された映像オ
ブジェクト毎の時々刻々の存在／非存在を時刻対映像オ
ブジェクトの表形式で一時的に記憶するメモリ領域であ
る。

【００４８】集合演算処理部２２は、指定された時刻の
映像フレーム内での映像オブジェクト形状に対して、和
集合、積集合、またはこれらを組み合わせた集合演算を
行なう処理部である。また、形状描画処理部２３は、指
定された時刻の映像フレーム内での映像オブジェクト形
状の作成や変更等を行なう処理部である。また、空間分
割・併合処理部２４は、指定された時刻の映像フレーム
内での映像オブジェクト形状を分割あるいは併合する処
理部である。

【００４９】この集合演算処理部２２、形状描画処理部
２３及び空間分割・併合処理部２４は、ツールＩＤレジ
スタ２１ｅに記憶されたユーザ指定ツールＩＤ（ツール
切り替え信号）に基づいて、各処理部が切り替えられて
起動される。そして前記各処理部で生成される映像オブ
ジェクト（編集後オブジェクト形状）は形状ＲＡＭ２１
ａに記憶され、映像合成手段６へオブジェクト形状とし
て通知される。

【００５０】時間分割・併合処理部２５は、ＩＮ点／Ｏ
ＵＴ点レジスタに記憶されている指定時刻範囲に基づい
て、映像オブジェクトの時間方向の分割あるいは併合を
行なう処理部である。また、論理演算処理部２６は、前
記指定時刻範囲に基づいて、映像オブジェクトの時間方
向の否定、論理和等の論理演算を行なう処理部である。
この時間分割・併合処理部２５及び論理演算処理部２６
は、ツールＩＤレジスタ２１ｅに記憶されたユーザ指定
ツールＩＤ（ツール切り替え信号）に基づいて、各処理
部が切り替えられて起動される。

【００５１】メタデータ処理部２７は、ユーザが指定し
た映像オブジェクトに付加するメタデータレジスタ２１
ｄに基づいて、オブジェクト蓄積媒体アクセス手段３へ
メタデータを通知する。ここで、メタデータとは、映像
オブジェクトの属性、特性、関連データ等を表わすデー
タで、例えば、識別子、名前、画像特徴量、関連する画
像データ等をいう。

【００５２】時刻カウンタ２８は、ＩＮ点／ＯＵＴ点レ
ジスタ２１ｇで指定される指定時刻範囲において、自動
的に時刻をカウントアップまたはカウントダウンし、時
刻レジスタ２１ｆ内の時刻情報を更新するものである。

【００５３】ここで、図３及び図４に基づいて、映像オ
ブジェクト及び映像オブジェクト形状について説明す
る。図３は、映像オブジェクトを時空間領域において視
覚的に表わした図である。また、図４は、映像オブジェ
クト形状の表現の例を視覚的に表わした図である。

【００５４】図３に示すように、映像オブジェクト３０
は、映像シーンに含まれる特定の物体に対応した空間及
び時間方向に拡がりを有する領域である。また、映像オ
ブジェクト形状３１とは、ある特定の時刻の映像フレー
ム内における映像オブジェクト領域の２次元形状であ
る。

【００５５】図４の例では、映像オブジェクト形状は、
図４（１）に示すような映像信号により表現された映像
オブジェクト４０に対して、図４（２）に示すような２
次元のビットマップ表現４１、あるいは、図４（３）に
示すような輪郭の頂点４２ａを結んで形成される多角形
表現４２、輪郭の曲線表現（図示せず）、またはこれら
の組み合わせにより表現される。なお、映像オブジェク
ト形状は単連結である必要はなく、複数の連結領域の集
合で構成されてもよい。

【００５６】このビットマップ表現４１は、映像オブジ
ェクトのマスクデータとして映像合成手段６によって、
映像信号に重畳されて表示信号として出力される。この
マスクデータの重畳方法では、例えば、マスクデータ内
外によって映像信号の輝度、色相、彩度を変化させ、マ
スクデータ内外のいずれか一方を単色またはパターンで
塗りつぶし、またはマスク境界線を描画することで実現
することができる。

【００５７】次に、図１０に基づいて、タイムラインに
ついて説明する。図１０は、タイムライン表示装置１４
に表示されたタイムラインの一例を視覚的に表わした図
である。図１０に示すように、タイムラインとは、各映
像オブジェクトが各時刻において存在するか否かを帯グ
ラフにより可視化した図表をいう。この帯グラフの有無
によって、タイムコード５２で指定された時間内にどの
映像オブジェクトが存在しているかを判断することがで
きる。また、この帯グラフは、色や模様を変えることで
映像オブジェクトの時間的重なりや、映像オブジェクト
の種類を区別して表示することができる。

【００５８】図１０の例では、人物名Ａ、人物名Ｂ等の
オブジェクト名５１で特定される映像オブジェクトが、
映像上のどの時刻（タイムコード５２）に存在するかを
帯グラフで表わしている（オブジェクト存在時刻範囲５
３）。このように映像オブジェクトは、１つの映像の同
じ時刻（タイムコード５２）に複数存在する場合もあ
る。

【００５９】次に、図１３に基づいて、オブジェクト情
報について説明する。図１３は、オブジェクト情報のデ
ータ形式の一例である。図１３（１）は、オブジェクト
情報の実体である時刻４１と、その時刻４１の映像フレ
ームに存在する映像オブジェクトを特定する識別子であ
る映像オブジェクト識別子４２及び映像オブジェクトの
形状情報を示す映像オブジェクト形状４３を、時系列の
表形式で表わしたものである。

【００６０】また、図１３（２）は、映像オブジェクト
の映像オブジェクト識別子４２ごとに、対応するメタデ
ータである映像オブジェクト名４４とＵＲＩ（Uniform
Resource Identifiers）４５とを表形式で表わしたもの
である。これによって、ある時刻４１の映像オブジェク
ト識別子４２から、間接的にメタデータである映像オブ
ジェクト名４４やＵＲＩ４５を参照することができる。

【００６１】（第一の実施の形態：映像オブジェクト編
集装置の動作）次に、図１、図２、図５乃至図７に基づ
いて、本発明の第一の実施の形態に係る映像オブジェク
ト編集装置１０の動作について説明する。図５及び図６
は、オブジェクト編集制御手段２の動作を示すフローチ
ャートである。図７は映像オブジェクト編集装置１０で
どの種類の編集を行なうかを指定するために画面上に表
示されるツールボックスの例を示している。

【００６２】映像オブジェクト編集装置１０、入力装置
１としてマウスを用いた場合、ユーザはタイムライン表
示装置１４または映像表示装置１５の画面上に表示され
ているカーソルをマウス操作で移動して、表示画面をク
リックすることにより動作を行なう。

【００６３】ユーザによりマウスが移動されたり、クリ
ックされると、マウス移動、押下信号などのマウスの操
作信号が入力信号として入力手段１に入力され、映像オ
ブジェクト編集装置１０で処理を行なう入力情報に変換
されて、オブジェクト編集制御手段２へ通知される。

【００６４】そして、オブジェクト編集制御手段２は、
解析手段２０で前記入力信号がマウスクリックかどうか
を判断し（ステップＳ１）、クリックされた場合（Ｙｅ
ｓ）はマウス押下座標を取得し（ステップＳ２）、押下
された場所はがタイムライン表示装置１４に表示された
タイムライン上かどうかを判断し（ステップＳ３）、タ
イムライン上である場合（Ｙｅｓ）は、取得したマウス
座標に該当するタイムラインのオブジェクトＩＤと時刻
に変換し（ステップＳ４）、得られたオブジェクトＩＤ
をオブジェクトＩＤレジスタ２１ｃへ書き込み（ステッ
プＳ５）、得られた時刻を時刻レジスタ２１ｆへ書き込
んで（ステップＳ６）、終了する。これにより、タイム
ライン表示装置１４に表示されたタイムライン上にある
映像オブジェクトと、その映像オブジェクトが存在する
時刻情報がオブジェクト編集制御手段２内に記憶され
る。

【００６５】また、ステップＳ３で、マウスの押下がタ
イムライン上でないと判断された場合（Ｎｏ）、ステッ
プＳ７に進み、マウスの押下が映像表示装置１５に表示
された映像表示上かどうかを判断し（ステップＳ７）、
映像表示上である場合（Ｙｅｓ）は、マウス座標を画像
座標に変換し、これを画像座標レジスタ２１ｂに書き込
む（ステップＳ８）。そして、ツールＩＤレジスタ２１
ｅから、すでにユーザにより選択されたツールＩＤを読
み込み（ステップＳ９）、そのツールＩＤに対応したツ
ールを用いて、映像オブジェクトの編集（空間編集）を
行ない、その編集結果であるオブジェクト形状に基づい
て、形状ＲＡＭ２１ａの画像座標の書き換えを行なう
（ステップＳ１０）。

【００６６】例えば、ツールＩＤレジスタ２１ｅに図７
に示したツールボックス１６にある消しゴムのツールＩ
Ｄ（４）が記憶され、マウスの形状が消しゴム形状にな
っていたとすると、消しゴムツール（既存のペイントソ
フトウェア）により、マウスを移動させることで該当す
るオブジェクトの形状ＲＡＭ２１ａの内容を書き換える
ことができる。この形状ＲＡＭ２１ａの内容は、映像合
成手段６に通知することで映像表示装置１５の画面上に
表示される。なお、この消しゴムによるオブジェクトの
消去動作は、マウスボタンがクリックされている状態
で、マウスの移動（ドラッグ）信号を占有し、マウスボ
タンが離された段階で処理を終了する。なお、このステ
ップＳ１０のオブジェクト空間編集動作の詳細について
は後記する。

【００６７】一方、ステップＳ７でマウスの押下が映像
表示上でない場合（Ｎｏ）は、図６のステップＳ１９へ
進み、マウスの押下がツールボックス上かどうかを判断
し、ツールボックス上でない場合（Ｎｏ）は処理を終了
する。また、マウスの押下がツールボックス上である場
合（Ｙｅｓ）は、マウスの押下部分が図７に示すような
ツールボックス上のブラシツールかどうかを判断し（ス
テップＳ２０）、マウスの押下部がブラシツールでない
場合（Ｎｏ）はステップＳ２２に進み、マウスの押下部
分がブラシツールである場合（Ｙｅｓ）はステップＳ２
１に進んで、ツールＩＤレジスタ２１ｅに「１」を設定
して処理を終了する。

【００６８】また、ステップＳ２２に進んだ場合、マウ
スの押下部分が前記ツールボックス上の塗りつぶしツー
ルかどうかを判断し、マウスの押下部分が塗りつぶしツ
ールでない場合（Ｎｏ）はステップＳ２４に進み、マウ
スの押下部分が塗りつぶしツールである場合（Ｙｅｓ）
は、ツールＩＤレジスタ２１ｅを「２」に設定して（ス
テップＳ２３）、処理を終了する。

【００６９】さらに、ステップＳ２４に進んだ場合、マ
ウスの押下部分が前記ツールボックス上の併合ツールか
どうかを判断し、マウスの押下部分が併合ツールでない
場合（Ｎｏ）はステップＳ２６に進み、マウスの押下部
分が併合ツールである場合（Ｙｅｓ）は、ツールＩＤレ
ジスタ２１ｅを「９」に設定して（ステップＳ２５）、
処理を終了する。

【００７０】また、ステップＳ２６に進んだ場合、マウ
スの押下部分が前記ツールボックス上のＡＮＤツールか
どうかを判断し、マウスの押下部分がＡＮＤツールでな
い場合（Ｎｏ）は処理を終了する。また、マウスの押下
部分がＡＮＤツールである場合（Ｙｅｓ）は、ツールＩ
Ｄレジスタ２１ｅを「１６」に設定して（ステップＳ２
７）、処理を終了する。

【００７１】一方、図５のステップＳ１でマウスが押下
されたと判断されない場合（Ｎｏ）は、マウスがドラッ
グ（マウスボタンを押下しながらのマウス移動）された
かどうかを判断し（ステップＳ１１）、ドラッグされな
い場合（Ｎｏ）は処理を終了し、ドラッグされた場合
（Ｙｅｓ）、そのドラッグがタイムライン表示装置１４
に表示されたタイムライン上であるかどうかを判断し
（ステップＳ１２）、タイムライン上でない場合（Ｎ
ｏ）は処理を終了する。

【００７２】また、ドラッグがタイムライン上である場
合（Ｙｅｓ）は、ドラッグの方向を判断し（ステップＳ
１３）、前記方向が横（時刻軸）方向である場合は、マ
ウス座標をタイムライン上の時刻に変換した後（ステッ
プＳ１４）、ドラッグの開始・終了の各点に対応した時
刻であるＩＮ点とＯＵＴ点をＩＮ／ＯＵＴ点レジスタ２
１ｇに設定して（ステップＳ１５）処理を終了する。

【００７３】また、ステップＳ１３でドラッグの方向
が、縦（オブジェクトＩＤ）方向と判断された場合はド
ラッグ開始・終了のマウス座標をドラッグ開始のオブジ
ェクトＩＤと、ドラッグ終了のオブジェクトＩＤとの２
つのＩＤ対（オブジェクトＩＤ対）に変換し（ステップ
Ｓ１６）、ＩＮ／ＯＵＴ点レジスタ２１ｇからＩＮ点と
ＯＵＴ点を読み込み（ステップＳ１７）、前記したオブ
ジェクトＩＤ対の各タイムラインのＩＮ点／ＯＵＴ点内
を統合、交換あるいは分割して（ステップＳ１８）処理
を終了する。なお、このステップＳ１８のオブジェクト
時間編集動作の詳細については後記する。

【００７４】以上の動作によって、映像オブジェクトの
作成、修正、追加、削除、空間分割、空間併合、時間分
割、時間併合、並びに映像オブジェクトの検索を、ツー
ルボックスの空間編集ツール１６ａ、時間編集ツール１
６ｂの各ツールを起動することで実現することができ
る。また、メタデータの付与及び修正は、編集された映
像オブジェクトに対して、例えばキーボード等からメタ
データを入力するものであり、フローチャートとしては
図示していない。

【００７５】なお、本フローチャートでは、代表的なツ
ールが選択された場合について説明を行なったが、実際
にはツールボックス１６上の空間編集ツール１６ａ、時
間編集ツール１６ｂ、論理、集合演算ツール１６ｃの全
てのツールについて、同様に動作させることができる。

【００７６】また、映像オブジェクト編集装置１０は、
コンピュータにおいて、入力手段１、オブジェクト編集
制御手段２、オブジェクト情報蓄積媒体アクセス手段
３、映像蓄積媒体アクセス手段４、タイムライン生成手
段５、及び映像合成手段６の各機能を、プログラムで実
現することも可能であり、各機能プログラムを結合して
映像オブジェクト編集プログラムとして動作させること
も可能である。

【００７７】（映像オブジェクト編集装置の動作例：空
間編集）次に、映像オブジェクトの空間編集の動作につ
いて詳細に説明する。なお、この動作は、図５のステッ
プＳ１０の動作に該当する。また、映像オブジェクトの
空間編集とは、ある時刻の映像フレーム内における映像
オブジェクトを編集することをいう。

【００７８】まず、映像オブジェクトの作成及び修正
は、映像オブジェクト形状のビットマップ表現を、既存
のぺイントソフトウェアであるブラシツールや消しゴム
ツールによって、描画し、修正し、または消去すること
で実現することができる。また、映像オブジェクト形状
の作成及び修正は、多角形または曲線による映像オブジ
ェクト形状の輪郭表現の頂点または制御点を、追加し、
移動し、または削除することでも実現することができ
る。

【００７９】また、映像オブジェクトの追加及び削除
は、映像に対して、新規に映像オブジェクトを設定した
り、すでに存在する映像オブジェクトを削除したりす
る。例えば、映像オブジェクトの追加は、映像オブジェ
クト形状として、空の新規ビットマップや空の新規頂点
・制御点集合を割り当てることで実現することができ
る。また、映像オブジェクトの削除は、すでに存在する
映像オブジェクト形状のビットマップまたは頂点・制御
点集合を破棄することで実現することができる。

【００８０】さらに、映像オブジェクトの空間分割及び
併合は、すでに存在する複数の映像オブジェクトを１つ
の映像オブジェクト形状に併合し、１つの映像オブジェ
クトの映像オブジェクト形状として再編成したり、すで
に存在する映像オブジェクトをある指定時刻範囲の内外
で分割し、それぞれ別の映像オブジェクトとして再編成
することによって実現することができる。

【００８１】ここで、図１、図２及び図８に基づいて、
映像オブジェクトの空間分割について説明する。図８
は、映像オブジェクトの空間分割の一例を視覚的に表わ
した図である。また、図８（１）は、映像表示装置１５
上に表示されたある時刻での映像オブジェクト形状をビ
ットマップ表現した内容を表わしており、図８（２）
は、映像オブジェクトを分割した状態を表わしている。
この例では、図８（１）の映像オブジェクトＡは「人」
と「車」が一体化したオブジェクトとなっているが、
「人」と「車」の境に、例えば既存の描画ツールを用い
て、線描画を行なうことで、領域を分割する。

【００８２】このように、映像オブジェクトを分割後、
映像オブジェクト形状に基づいて、複数のビットマップ
に再編成することができる。また、分割後の各映像オブ
ジェクト形状は、互いに交わりをもつこともできるし、
分割前に映像オブジェクト形状内に含まれていた部分領
域が、分割後のいずれの映像オブジェクトにも含まれな
い場合も許される。

【００８３】次に、図９に基づいて、映像オブジェクト
の空間併合について説明する。図９は、映像オブジェク
トの空間分割の一例を視覚的に表わした図である。そし
て、図９（１）は、映像表示装置１５上に表示されたあ
る時刻での映像フレームの内容をビットマップ表現した
内容を表わしており、図９（２）は、映像オブジェクト
を併合した状態を表わしている。この例では、図１０
（１）の「車」が２つの映像オブジェクトＡ及び映像オ
ブジェクトＢに分割されたオブジェクトとなっている
が、図９（２）では、映像オブジェクトＡ及び映像オブ
ジェクトＢを併合して映像オブジェクトＣとしている。

【００８４】この映像オブジェクトの空間併合は、集合
演算処理部２２において行なわれる。すなわち、映像オ
ブジェクト形状間の和集合を求めることで、映像オブジ
ェクトの併合を行なう。なお、併合後の映像オブジェク
ト形状は、必ずしも単連結となる必要はなく、複数の連
結領域の集合となってもよい。

【００８５】以上説明した映像オブジェクトの空間編集
は、オブジェクト編集制御手段２によって、ユーザが指
定した映像オブジェクトのオブジェクトＩＤ（オブジェ
クトＩＤレジスタ２１ｃに一時記憶）と、ユーザが指定
し、変更を行なった映像オブジェクトの画像座標（画像
座標レジスタ２１ｂに一時記憶）に基づいて、形状ＲＡ
Ｍ２１ａに記憶されているオブジェクト形状が変更さ
れ、このオブジェクト形状が映像合成手段６に通知され
る。

【００８６】そして、映像合成手段６が、オブジェクト
編集制御手段２から通知されるオブジェクト形状と、映
像蓄積媒体アクセス手段４から通知される映像情報とに
基づいて、映像オブジェクトの空間存在範囲を合成した
表示信号を生成する。

【００８７】（映像オブジェクト編集装置の動作例：時
間編集）次に、映像オブジェクトの時間編集の動作につ
いて詳細に説明する。なお、この動作は図５のステップ
Ｓ１８の動作に該当する。また、映像オブジェクトの時
間編集とは、時系列の映像フレームに出現する映像オブ
ジェクトを時刻によって編集することをいう。

【００８８】まず、映像オブジェクトの時間分割及び併
合は、すでに存在する映像オブジェクトをある指定時刻
範囲の内外で分割し、それぞれ別の映像オブジェクトと
して再編成したり、すでに存在する複数の映像オブジェ
クトを指定時刻範囲で１つの映像オブジェクトヘ統合す
ることで実現することができる。

【００８９】ここで、図１、図２及び図１１に基づい
て、映像オブジェクトの時間分割について説明する。図
１１は、映像オブジェクトの時間分割の一例を視覚的に
表わした図である。また、図１１（１）は、タイムライ
ン表示装置１４上に表示されたある時刻範囲における映
像オブジェクトのタイムラインを表わしており、図１１
（２）は、映像オブジェクトを時間分割した後のタイム
ラインを表わしている。この例では、ユーザが入力装置
１１によって、時間分割を行なう対象映像オブジェクト
である小道具Ａと分割時刻範囲５５とを指定する。そし
て、対象映像オブジェクトである小道具Ａのオブジェク
ト存在時刻範囲（分割前）５３ａを分割時刻範囲５５の
内外で分割し、図１１（２）に示すように、オブジェク
ト存在時刻範囲（分割後）５３ｂを有する小道具Ｂ、オ
ブジェクト存在時刻範囲（分割後）５３ｃを有する小道
具Ｃの２つの異なる映像オブジェクトとして再編成す
る。

【００９０】また、例えば、対象映像オブジェクト（小
道具Ａ）のオブジェクト存在時刻範囲（分割前）５３ａ
を分割時刻範囲５５の内外で分割し、一方を小道具Ａと
して残し、他方を新規に生成した別の映像オブジェクト
として再編成してもよい。

【００９１】次に、図１２に基づいて、映像オブジェク
トの時間併合について説明する。図１２は、映像オブジ
ェクトの時間併合の一例を視覚的に表わした図である。
また、図１２（１）は、タイムライン表示装置１４上に
表示されたある時刻範囲における映像オブジェクトのタ
イムラインを表わしており、図１２（２）は、映像オブ
ジェクトを時間併合した後のタイムラインを表わしてい
る。この例では、ユーザが入力装置１１によって、時間
併合を行ないたい対象オブジェクトである小道具Ｂと、
小道具Ｃを指定する。そして、対象映像オブジェクトで
ある小道具Ｂのオブジェクト存在時刻範囲（併合前）５
３ｄと、小道具Ｃのオブジェクト存在時刻範囲（併合
前）５３ｅとを併合し、図１２（２）に示すように、オ
ブジェクト存在時刻範囲（併合後）５３ｆとなる小道具
Ａを映像オブジェクトとして再編成する。

【００９２】この映像オブジェクトの時間併合は、論理
演算処理部２６において行なわれる。すなわち、映像オ
ブジェクトの時空間存在領域の和集合を求めることで、
映像オブジェクトの時間併合を行なう。あるいは、時間
併合前の対象映像オブジェクトである小道具Ｂ、小道具
Ｃに対して同一の識別子を付与し、これらを同一視する
ことによって仮想的に時間併合を行ない、小道具Ａとし
て映像オブジェクトを再編成する形態であっても構わな
い。

【００９３】また、映像オブジェクトの検索は、ユーザ
が指定する映像オブジェクトの存在する時刻を表示した
り、指定時刻に存在する映像オブジェクトのタイムライ
ンを表示させる。

【００９４】ここで、図１、図２及び図１０に基づい
て、映像オブジェクトの検索について説明する。図１０
は、タイムラインによる映像オブジェクトの検索例を示
した図である。この例では、まず、ユーザが入力装置１
１によって、検索を行ないたい映像オブジェクトのオブ
ジェクト名５１（例えば人物Ａと人物Ｂ）をチェックボ
ックス５４によって指定し、検索を実行する。そして、
オブジェクト編集制御手段２内の論理演算処理部２６
が、映像オブジェクトの存在時刻範囲に関する論理積演
算（例えば論理積）を行ない、人物Ａと人物Ｂとのオブ
ジェクト存在時刻範囲５３が共通となる時刻範囲を知
る。そして、そのオブジェクト存在時刻範囲５３をタイ
ムラインとして表示させることで、処理対象時刻を移動
することができる。これによって、複数映像オブジェク
トが同時に出現する時刻を検索することができる。

【００９５】以上説明した映像オブジェクトの時間編集
は、オブジェクト編集制御手段２によって、時刻レジス
タ２１ｆに記憶されている処理対象となる時刻情報と、
ＩＮ点／ＯＵＴ点レジスタ２１ｇに記憶されているユー
ザが指定した時刻範囲と、タイムテーブル２１ｈに記憶
されているオブジェクト存在時刻範囲とが、タイムライ
ン生成手段５に通知される。

【００９６】そして、タイムライン生成手段５が、オブ
ジェクト編集制御手段２から通知されるオブジェクト存
在時刻範囲等に基づいて、映像オブジェクトの存在時刻
範囲を図表形式に変換したタイムライン描画信号を生成
する

【００９７】（映像オブジェクト編集装置の動作例：メ
タデータ編集）次に、図１、図２及び図１３に基づい
て、映像オブジェクトのメタデータ編集の動作について
詳細に説明する。ここで、映像オブジェクトのメタデー
タ編集とは、すでに存在する映像オブジェクトに対し、
メタデータを付与し、またその内容を編集することい
う。

【００９８】このメタデータの付与及び修正は、メタデ
ータ編集ウィンドウを生成して各種メタデータのユーザ
入力を促すことで編集を行なう。なお、このメタデータ
編集ウィンドウは、図１３（２）に示したオブジェクト
情報蓄積媒体１２に蓄積されたオブジェクト情報のメタ
データに基づいて生成され、映像合成手段６を介して映
像表示手段１５に表示される。

【００９９】例えば、ユーザは、キーボード（入力装置
１１）から映像オブジェクトの映像オブジェクト識別子
４２、映像オブジェクト名４４、またはＵＲＩ４５等の
メタデータのうち必要な情報を入力する。入力されたメ
タデータは、オブジェクト編集制御手段２のメタデータ
レジスタ２１ｄに一時記憶される。そして、オブジェク
ト編集制御手段２は、メタデータレジスタ２１ｄのメタ
データの情報に基づいて、オブジェクト情報蓄積媒体ア
クセス手段３を介してオブジェクト情報蓄積媒体１２へ
の書き込み、追加・修正、または削除を行なう。

【０１００】（第二の実施の形態：映像オブジェクト編
集装置の構成）図１４は、本発明の第二の実施の形態に
係る映像オブジェクト編集装置の全体構成を示すブロッ
ク図である。図１４に示すように、映像オブジェクト編
集装置１０Ｂは、図１に示した映像オブジェクト編集装
置１０にインタフェース手段７が付与されて構成されて
いる。インタフェース手段７以外の構成は図１に示した
ものと同一の符号を付し、その説明は省略する。また、
外部にプラグイン１６を接続しているものとする。

【０１０１】インタフェース手段７（７₁，７₂，…，７
_n）は、外部システムであるプラグイン１６との接続口
である。例えば、インタフェース手段７の一部あるいは
全部をコネクタ、プラグ等の物理的な接続口とすること
ができる。この場合、物理的な接続口であるインタフェ
ース手段７には、ハードウェア機器のプラグイン１６を
接続することができる。

【０１０２】また、例えば、インタフェース手段７の一
部あるいは全部をアプリケーションブログラムインタフ
ェースとすることができる。この場合、該アプリケーシ
ョンプログラムインタフェースに接続されるプラグイン
１６は、ソフトウェアプラグインとすることができる。

【０１０３】プラグイン１６（１６₁，１６₂，…，１６
_n）は、映像オブジェクト編集装置１０Ｂに接続される
外部のハードウェア、またはソフトウェアである。例え
ば、プラグイン１６は、映像オブジェクト編集における
映像オブジェクト描画を自動化するためのハードウェア
またはソフトウェアとすることができる。この場合、例
えば、映像オブジェクトの自動抽出手法や自動追跡手法
をプラグインすることができる。

【０１０４】前記映像オブジェクトの自動抽出手法また
は自動追跡手法であるプラグイン１６は、入力装置１１
からの入力信号に基づいて、オブジェクト編集制御手段
２及びインタフェース手段７を介して、起動される。そ
して、映像オブジェクトの自動抽出手法または自動追跡
手法であるプラグイン１６は、映像蓄積媒体１３から、
映像蓄積媒体アクセス手段４、オブジェクト編集制御手
段２、及びインタフェース手段７を介して、映像情報を
読み出し、その映像情報（色情報、輝度情報等）に基づ
いて映像オブジェクト領域を抽出または追跡し、その抽
出または追跡の結果を、インタフェース手段７を介して
オブジェクト編集制御手段２へ返す。

【０１０５】以上の一連の動作により、図１に示した第
一の実施の形態である映像オブジェクト編集装置１０に
おいては、手動によって実行される映像オブジェクト形
状の描画を、図１４に示した第二の実施の形態である映
像オブジェクト編集装置１０Ｂでは，自動的に実行する
ことができる。

【０１０６】なお、前記映像オブジェクトの自動抽出手
法または自動追跡手法であるプラグイン１６は、例え
ば、情報融合による抽出・追跡手法（三須等、複数情報
の融合によるサッカー選手のロバストな追跡法、信学技
報、IE2001-4７、pp.23-30、２001）を利用することが
できる。

【０１０７】以上、一実施形態に基づいて本発明を説明
したが、本発明はこれに限定されるものではない。例え
ば、インタフェース手段７（７₁，７₂，…，７_n）をネ
ットワークに接続するためのポートとし、プラグイン１
６はネットワークに接続された外部機器と接続し、例え
ばＴＣＰ／ＩＰ等による、通信によってリモート運転を
行なうことができる。また、例えば、ルータ等を介し
て、遠隔地からの制御を行なうことも可能である。

【０１０８】

【発明の効果】以上説明したとおり、本発明に係る映像
オブジェクト編集装置及びプログラムでは、以下に示す
優れた効果を奏する。

【０１０９】請求項１に記載の発明によれば、映像オブ
ジェクト編集装置は、映像表示と、その映像内に存在す
る映像オブジェクトの存在時間を表示したタイムライン
表示を参照することができるので、効率的に映像オブジ
ェクトの編集や検索を行なうことができる。これによっ
て、今までは実現されていなかった映像オブジェクト単
位での編集を行なうことができ、例えば、デジタル放送
における映像コンテンツ制作を効率的に行なうことがで
きる。

【０１１０】請求項２乃至請求項４に記載の発明によれ
ば、映像オブジェクト編集装置は、映像内における映像
オブジェクトを個々に作成、変更、映像オブジェクトの
分割・併合、並びに時間軸に沿った映像オブジェクトの
分割・併合を行ない、その領域を映像オブジェクトとし
て設定することができるので、例えば、映像コンテンツ
製作者の意図する領域を自由に映像コンテンツとするこ
とができる。

【０１１１】請求項５に記載の発明によれば、映像オブ
ジェクト編集装置は、映像オブジェクト毎のメタデータ
の付与、あるいはメタデータの変更を行なうことができ
るので、映像オブジェクトに対して必要な情報を関連付
けて記憶させることができる。これによって、映像オブ
ジェクトを指定する方法が容易になり、映像コンテンツ
の編集及び検索の作業効率を高めることができる。

【０１１２】請求項６に記載の発明によれば、映像オブ
ジェクト編集装置は、指定した時刻範囲によって、映像
オブジェクトを検索することができ、また、その映像オ
ブジェクトの存在時刻へ処理対象時刻を移動させること
ができる。また、効率的に短時間で映像オブジェクトの
編集作業を行なうことができる。

【０１１３】請求項７に記載の発明によれば、映像オブ
ジェクト編集装置は、映像オブジェクト形状を複数の集
合演算によって、編集することができる。また、時間軸
上の映像オブジェクトの検索において、複数の論理演算
によって映像オブジェクトの検索を行なうことができ
る。これによって、映像オブジェクトの編集作業を効率
的に行なうことができる。

【０１１４】請求項８に記載の発明によれば、映像オブ
ジェクト編集装置は、映像内における映像オブジェクト
の存在時間をタイムラインで視覚化することができるの
で、映像オブジェクトの編集時にそのタイムラインを参
照することで、映像オブジェクトの存在時間を容易に把
握することができる。

【０１１５】請求項９に記載の発明によれば、映像オブ
ジェクト編集装置は、映像と映像オブジェクト形状とを
合成して表示するので、映像内における映像オブジェク
トの存在領域を視覚的に確認することができる。これに
よって、映像オブジェクトの編集において、映像コンテ
ンツ製作者は、実際の映像オブジェクトを参照すること
で、正確に編集を行なうことができる。

【０１１６】請求項１０に記載の発明によれば、映像オ
ブジェクト編集装置は、外部のハードウェア、ネットワ
ークまたはソフトウェアとの制御信号を送受信すること
ができるので、例えば、外部の映像オブジェクト検出装
置や、映像オブジェクト検出プログラムとの間で制御信
号を送受信することで、映像オブジェクトの編集作業を
自動化させることができる。

【０１１７】請求項１１に記載の発明によれば、映像オ
ブジェクト編集プログラムは、映像表示と、その映像内
に存在する映像オブジェクトの存在時間を表示したタイ
ムライン表示を参照することができるので、効率的に映
像オブジェクトの編集や検索を行なうことができる。こ
れによって、今までは実現されていなかった映像オブジ
ェクト単位での編集を行なうことができ、例えば、デジ
タル放送における映像コンテンツ制作を効率的に行なう
ことができる。

【図面の簡単な説明】

【図１】本発明の第一の実施の形態に係る映像オブジェ
クト編集装置の全体構成を示すブロック図である。

【図２】図１に示したオブジェクト編集制御手段の詳細
例を示したブロック図である。

【図３】映像オブジェクトを時空間領域において視覚的
に表わした模式図である。

【図４】映像オブジェクト形状の表現の例を視覚的に表
わした模式図である。

【図５】本発明の第一の実施形態の映像オブジェクト編
集装置の編集動作（１／２）を示したフローチャートで
ある。

【図６】本発明の第一の実施形態の映像オブジェクト編
集装置の編集動作（２／２）を示したフローチャートで
ある。

【図７】編集情報を入力するためのツールボックスの構
成例を示した模式図である。

【図８】映像オブジェクトの空間分割の一例を視覚的に
表わした模式図である。

【図９】映像オブジェクトの空間併合の一例を視覚的に
表わした模式図である。

【図１０】タイムライン表示の一例を視覚的に表わした
模式図である。

【図１１】タイムラインの時間分割の一例を視覚的に表
わした模式図である。

【図１２】タイムラインの時間併合の一例を視覚的に表
わした模式図である。

【図１３】オブジェクト情報蓄積媒体に蓄積する映像オ
ブジェクト情報の形式を視覚的に表わした模式図であ
る。

【図１４】本発明の第二の実施の形態に係る映像オブジ
ェクト編集装置の構成例を示したブロック図である。

【図１５】従来の映像編集装置の構成例を示したブロッ
ク図である。

【符号の説明】

１…入力手段 ２…オブジェクト編集制御手段 ３…オブジェクト情報蓄積媒体アクセス手段 ４…映像蓄積媒体アクセス手段 ５…タイムライン生成手段 ６…映像合成手段 ７…インタフェース手段 １０…映像オブジェクト編集装置 １１…入力装置 １２…オブジェクト情報蓄積媒体 １３…映像蓄積媒体 １４…タイムライン表示装置 １５…映像表示装置 １６…プラグイン ２０…解析手段 ２１…ＲＡＭ ２２…集合演算処理部 ２３…形状描画処理部 ２４…空間分割・併合処理部 ２５…時間分割・併合処理部 ２６…論理演算処理部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 鄭 文濤 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5C052 AA01 AA16 AC08 DD10 5C053 FA14 GB37 LA11 LA14 5C059 KK36 MB16 MB18 MB21 RB18 RC04 SS11 UA39

Claims (11)

【特許請求の範囲】
1. 【請求項１】 蓄積媒体に蓄積された、映像と少なくと
   もその映像に存在する映像オブジェクトの時刻及び映像
   オブジェクト形状を含んだオブジェクト情報とに基づい
   て、映像オブジェクトを編集する映像オブジェクト編集
   装置であって、 前記蓄積媒体の映像の読み込みを行なう映像蓄積媒体ア
   クセス手段と、 前記蓄積媒体のオブジェクト情報の読み込み及び書き出
   しを行なうオブジェクト情報蓄積媒体アクセス手段と、 外部入力信号を、映像オブジェクトの編集動作を示す入
   力情報に変換する入力手段と、 この入力情報に基づいて、映像オブジェクト単位の編集
   制御を行なうオブジェクト編集制御手段と、 前記オブジェクト情報に基づいて、前記映像内における
   前記映像オブジェクトが存在する時刻範囲を表示するタ
   イムラインを生成するタイムライン生成手段と、 前記オブジェクト情報に基づいて、前記映像内における
   前記映像オブジェクトの領域形状を生成して、前記映像
   蓄積媒体アクセス手段で読み出された映像と合成する映
   像合成手段と、 を備えたことを特徴とする映像オブジェクト編集装置。
2. 【請求項２】 映像オブジェクト形状を新たに描画する
   ことにより作成する、または前記オブジェクト情報に基
   づいて、既存の映像オブジェクト形状の一部を消去も含
   めて変更する形状描画処理手段を備えたことを特徴とす
   る請求項１に記載の映像オブジェクト編集装置。
3. 【請求項３】 前記オブジェクト情報に基づいて、既存
   の映像オブジェクトの映像オブジェクト形状を分割して
   複数の映像オブジェクトに再編成する、または既存の複
   数の映像オブジェクトの映像オブジェクト形状を単一映
   像オブジェクトの映像オブジェクト形状に併合する空間
   分割・併合処理手段を備えたことを特徴とする請求項１
   または請求項２に記載の映像オブジェクト編集装置。
4. 【請求項４】 前記オブジェクト情報に基づいて、既存
   の映像オブジェクトを指定時刻範囲の内外で分割し、そ
   れぞれ別の映像オブジェクトとして再編成する、または
   複数の時間軸に沿って存在する複数の映像オブジェクト
   を単一の時間軸に沿って存在するように併合する時間分
   割・併合処理手段を備えたことを特徴とする請求項１乃
   至請求項３のいずれか１項に記載の映像オブジェクト編
   集装置。
5. 【請求項５】 前記オブジェクト情報に、映像オブジェ
   クトの関連情報であるメタデータを付与し、あるいは既
   存のメタデータの内容を修正するメタデータ処理手段を
   備えたことを特徴とする請求項１乃至請求項４のいずれ
   か１項に記載の映像オブジェクト編集装置。
6. 【請求項６】 前記オブジェクト編集制御手段は、前記
   オブジェクト情報の時刻に基づいて、指定された映像オ
   ブジェクトの存在する時刻範囲を検索し、または処理対
   象時刻を前記指定された映像オブジェクトの存在する時
   刻へ移動する機能を備えたことを特徴とする請求項１乃
   至請求項５のいずれか１項に記載の映像オブジェクト編
   集装置。
7. 【請求項７】 前記オブジェクト編集制御手段は、前記
   オブジェクト情報に基づいて、映像オブジェクト形状の
   集合演算、または映像オブジェクトの存在時刻範囲に関
   する論理演算を行なうことによって、映像オブジェクト
   単位の編集を行なうことを特徴とする請求項１乃至請求
   項６のいずれか１項に記載の映像オブジェクト編集装
   置。
8. 【請求項８】 前記タイムライン生成手段は、平面内の
   一軸を時間軸の帯としたタイムラインを生成し、前記映
   像内における前記映像オブジェクトが存在する時刻範囲
   を前記時間軸の帯の有無、色または模様によって表わす
   ことを特徴とする請求項１乃至請求項７のいずれか１項
   に記載の映像オブジェクト編集装置。
9. 【請求項９】 前記映像合成手段は、前記オブジェクト
   形状情報に基づいて、多角形または曲線形状を映像オブ
   ジェクトの形状として、前記映像オブジェクトが存在す
   る前記映像と合成することを特徴とする請求項１乃至請
   求項８のいずれか１項に記載の映像オブジェクト編集装
   置。
10. 【請求項１０】 外部のハードウェア、ネットワークま
    たはソフトウェアとの制御信号を送受信するインタフェ
    ース手段を備え、 この制御信号に基づいて、前記オブジェクト編集制御手
    段が、映像オブジェクトの編集を行なうことを特徴とす
    る請求項１乃至請求項９のいずれか１項に記載の映像オ
    ブジェクト編集装置。
11. 【請求項１１】 蓄積媒体に蓄積された、映像と少なく
    ともその映像に存在する映像オブジェクトの時刻及び映
    像オブジェクト形状を含んだオブジェクト情報とに基づ
    いて、映像オブジェクトを編集するためにコンピュータ
    を、 前記蓄積媒体の映像の読み込みを行なう映像蓄積媒体ア
    クセス手段、 前記蓄積媒体のオブジェクト情報の読み込み及び書き出
    しを行なうオブジェクト情報蓄積媒体アクセス手段、 外部入力信号を、映像オブジェクトの編集動作を示す入
    力情報に変換する入力手段、 この入力情報に基づいて、映像オブジェクト単位の編集
    制御を行なうオブジェクト編集制御手段、 前記オブジェクト情報に基づいて、前記映像内における
    前記映像オブジェクトが存在する時刻範囲を表示するタ
    イムラインを生成するタイムライン生成手段、 前記オブジェクト情報に基づいて、前記映像内における
    前記映像オブジェクトの領域形状を生成して、前記映像
    蓄積媒体アクセス手段で読み出された映像と合成する映
    像合成手段、 として機能させることを特徴とする映像オブジェクト編
    集プログラム。