JP2002218385A

JP2002218385A - データ処理装置、データ処理方法及び記憶媒体

Info

Publication number: JP2002218385A
Application number: JP2001011768A
Authority: JP
Inventors: Yoshiki Ishii; 芳季石井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-01-19
Filing date: 2001-01-19
Publication date: 2002-08-02

Abstract

(57)【要約】【課題】素材となる情報データの再生手順を容易に変
更すると共に、元の素材データを容易に復元可能とす
る。【解決手段】データ処理装置は、情報データ及び前記
情報データの再生手順を示す再生記述データとを処理す
る装置であって、前記情報データの一部のデータを用い
て新たに加工データを生成する加工データ処理手段と、
前記情報データのうち前記一部のデータの代わりに前記
加工データを再生するよう前記再生記述データを変更す
る記述データ処理手段とを備える構成とした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はデータ処理装置、デ
ータ処理方法、及び記憶媒体に関し、特には、動画像デ
ータや音声データ等の編集処理に関する。

【０００２】

【従来の技術】近年、デジタルＶＴＲやＤＶＤプレーヤ
等のデジタル画像データを扱う機器が普及し、また、Ａ
Ｖ機器やコンピュータの進歩により動画像の編集がスタ
ジオだけでなく家庭においても行われるようになってき
た。

【０００３】例えば、ノンリニア編集と呼ばれるビデオ
編集システムにおいては、例えば、図１３に示すような
素材となる動画Ａ１３０１、動画Ｂ１３０２の動画デー
タを編集し、動画Ｃ１３０３を生成する。このように従
来のノンリニア編集では、素材となる画像データを、カ
ットイン、カットアウトによる時間方向の切り出しや、
並べ替え、更にはカット間のワイプ効果などのエフェク
トを加えて画像をレンダリングし、新たな動画データを
生成するシステムが一般的である。

【０００４】また、動画像データは一般にその情報量が
多いので、圧縮符号化されていることが多く、素材デー
タがこのように圧縮符号化されている場合には編集を行
う際に一度デコードしてから編集を行い、その後再び符
号化する。

【０００５】また、近年、動画像データや音声データ等
の再生処理を制御するための記述言語が提案されてい
る。

【０００６】例えば、ＳＭＩＬ(Synchronized Multimed
ia Integration Language)などがその一例である。ＳＭ
ＩＬでは、動画像や静止画像などの画像データの同期再
生、逐次再生や、あるいは、テキストや音声など、他の
メディアデータの再生処理を指示することができる。ま
た、画像データの表示切り替え時に適用される特殊効果
なども指定できる。

【０００７】

【発明が解決しようとする課題】しかし、従来のノンリ
ニア編集システムでは、ワイプやディゾルブのような追
加効果の処理を直接画像データに対して施してしまうた
め、後で追加効果のみを削除することや、あるいは別の
効果に差し替えることができず、また、素材となった部
分と追加効果処理が施されている部分とを識別すること
ができない。

【０００８】また、再生記述言語を用いてビデオエフェ
クトを付加することが可能であり、この再生記述言語を
書き替えることで効果の内容を差し替えることもでき
る。

【０００９】しかし、ＳＭＩＬのような再生記述言語を
用いて自由な再生手順や特殊効果を記述可能となって
も、実際に再生処理を行う再生環境によっては指示され
たとおりの再生が不可能である場合がある。例えば、再
生環境によっては記述されている特殊効果をリアルタイ
ムに実行することができず、特殊効果に関する記述が無
視されてしまうこともある。

【００１０】従って、高度で複雑なビデオエフェクトを
記述することは、記述方式の仕様として不可能であっ
た。

【００１１】本発明は前述の如き問題点を解決すること
を目的とする。

【００１２】本発明の他の目的は、素材となる情報デー
タの再生手順を容易に変更すると共に、元の素材データ
を容易に復元可能とするところにある。

【００１３】本発明の更に他の目的は、再生環境に依存
せず、高度で複雑なエフェクトを可能とするところにあ
る。

【００１４】

【課題を解決するための手段】前記の如き目的を達成す
るため、本発明は、情報データ及び前記情報データの再
生手順を示す再生記述データとを処理する装置であっ
て、前記情報データの一部のデータを用いて新たに加工
データを生成する加工データ処理手段と、前記情報デー
タのうち前記一部のデータの代わりに前記加工データを
再生するよう前記再生記述データの内容を変更する記述
データ処理手段とを備える構成とした。

【００１５】

【発明の実施の形態】以下、本発明の実施形態について
説明する。

【００１６】図１は本発明が適用される編集装置の構成
を示すブロック図である。本形態の編集装置は、ＭＰＥ
Ｇ２のトランスポートストリーム（以下ＭＰＥＧ２−Ｔ
Ｓ）の形式で符号化され、光磁気ディスクやハードディ
スク等に記録された画像情報や音声情報などを編集処理
するものである。

【００１７】図１において、１０１は画像処理部であ
り、動画像データを処理して加工データを生成する。１
０３は光磁気ディスクやハードディスク等の蓄積部であ
り、動画像データや音声データその他のメディアデータ
を記憶している。また、後述のように再生記述データも
記憶する。１０５は表示制御部で、画像処理部１０１あ
るいは蓄積部１０５より出力される画像データやディス
クＩ／Ｆ１１７を介してディスク１１９より再生される
画像データに応じた画像のほか、各種のメニューや操作
パネル等を表示部１０７に表示する。１０９はデータバ
スである。

【００１８】１１１は装置各部の動作を制御するＣＰ
Ｕ、１１３はＣＰＵ１１１による処理に用いられるメモ
リ、１１５は記録再生処理や編集処理を指示するための
操作部である。操作部１１５は記録再生等、各種のキー
を備える構成や、あるいは、キーボード、マウス等の構
成をとることも可能である。１１７はディスクＩ／Ｆで
あり、光磁気ディスク１１９に対して動画像データや音
声データ等のメディアデータのほか、再生記述データを
記録再生する。１１９は光磁気ディスクであり、不図示
のスロットを介して装置１００に対して挿入、排出され
る。１２１はＩＥＥＥ１３９４等のデジタルＩ／Ｆであ
り、蓄積部１０３に記憶された動画像データや音声デー
タあるいは、光磁気ディスク１１９より再生された動画
像データや音声データを、符号化されたままの形態、こ
こではＭＰＥＧ２−ＴＳに従う形式で外部機器に出力す
ると共に、外部機器より符号化されたデータを入力す
る。

【００１９】次に、本形態における動画像データの編集
処理について説明する。本形態の編集装置では、操作部
１１５を操作することで、表示部１０７に表示される画
像を確認しながら蓄積部１０３に記憶された動画像デー
タに対し、各種のビデオエフェクトを施すことができ
る。

【００２０】本形態では、図３（ａ）に示した再生記述
データによりその再生手順が指示されている画像データ
に対して編集処理を行う場合について説明する。

【００２１】図３（ａ）は蓄積部１０３に記憶されてい
る再生記述データの様子を示す図である。図３（ａ）の
再生記述データにおいて、データオブジェクトＡ３０１
及びデータオブジェクトＢ３０２はそれぞれ、蓄積部１
０３に記憶されている動画Ａ４０１、動画Ｂ４０２の順
に再生を指定するデータオブジェクトである。本形態の
再生記述データには、編集処理を行う前の各データオブ
ジェクトには各動画像データの再生開始点、再生終了点
を指定する再生時間指定情報は含まれていないものとす
る。

【００２２】図３（ａ）の再生記述データによれば、図
４（ａ）に示すように、データオブジェクトＡ３０１で
指定された動画データＡ４０１が先頭から終端まで再生
され、引き続きデータオブジェクトＢ３０２で指定され
た動画データＢ４０２が先頭から終端まで再生される。

【００２３】次に、動画Ａ４０１と動画Ｂ４０２の間に
遷移効果を付加する場合の処理について説明する。本形
態では、データオブジェクトＡ３０１で指定された動画
データＡ４０１の終端の１秒と、データオブジェクトＢ
３０２で指定された動画データＢ４０２の先頭の１秒
を、例えばワイプ効果のようなビデオエフェクトを付加
して遷移させる場合を説明する。

【００２４】図１はこのような編集処理におけるＣＰＵ
１１１の処理を説明するためのフローチャートである。
操作部１１５を用いてユーザにより前述のような編集処
理の指示、即ち、動画像データＡ４０１の終端１秒と動
画像データＢ４０２の先頭１秒をワイプ効果を付加して
遷移するという指示があると、ＣＰＵ１１１は図１のフ
ローを開始する。

【００２５】編集処理が開始されると、ＣＰＵ１１１は
まず、前述のようなユーザの指示に従い加工タイプを選
択し、動画像に加える効果を選択する（ステップＳ２０
１）。本形態ではワイプによる遷移効果が選択されてい
る。次に、蓄積部１０３より再生記述データを読み出し
てメモリ１１３に記憶する。そして、この再生記述デー
タにおいて、追加する効果適用時間に対しての、先行す
る元のデータオブジェクトの有無を判定する（Ｓ２０
２）。

【００２６】この有無はステップＳ１０１で選択された
効果に応じて決まるものである。本形態のワイプ効果は
動画データＡ４０１から動画データＢ４０２への遷移効
果であり、データオブジェクトＡ３０１が先行する元デ
ータオブジェクトに相当するので判定はＹとなる。すな
わち先行データオブジェクトの有無判定結果は、２つの
動画間での遷移効果および、フェードアウトのような単
一動画内の終端部分での効果の場合はＹであり、たとえ
ばフェードインのような単一動画内の先頭部分での効果
の場合はＮである。

【００２７】ステップＳ２０２の判定結果によって、本
形態のようにＹの場合はステップＳ２０３から始まる先
行データオブジェクトに対する終了点復元情報の付加の
処理に進み、フェードインのような映像先頭部分のみの
効果の場合はＮの分岐でステップＳ２０７の後続データ
オブジェクト判定までスキップする。

【００２８】ステップＳ２０３では先行データオブジェ
クトの終了点指定の有無を判定する。前述のように本形
態では加工前の各データオブジェクトには再生時間指定
情報は含まれていないため、判定はＮでありステップＳ
２０４の終了点計算処理に進み、先行データオブジェク
トの本来の終了点を計算する。再生記述データのデータ
オブジェクトが再生時間指定情報を含まない場合の終了
点は先行データオブジェクトで指定された動画データ全
体の再生時間に等しい。また、既存の動画データフォー
マットには再生時間情報ないしは各フレームのタイムコ
ードなどの時間情報が付加されていることが一般的であ
るので、全体の再生時間はこれらを用いて容易に計算す
ることができる。

【００２９】次に、ステップＳ２０５において、ワイプ
処理を施す加工データの再生時間分だけ再生終了点をシ
フトし、再生時において、動画データＡのうち遷移効果
の部分、ここでは終端部分の１秒間は加工データが代わ
りに再生されるよう、再生記述データのデータオブジェ
クトＡの内容を変更し、データオブジェクトＡ３０１’
を得る。

【００３０】図３（ｂ）はデータオブジェクトＡ３０
１’に対し、この終了点移動処理後の再生時間指定情報
３０４を追加した様子を示している。図４の４０１’に
本形態の処理による動画データＡの終了点移動の様子を
示す。

【００３１】次に、ステップＳ２０６では、データオブ
ジェクトＡ３０１’の終了点を元の再生終了点に復元す
るため時間指定復元情報３０６を生成し、データオブジ
ェクトＡ３０１’に付加する。この時間指定復元情報
は、ステップＳ２０５の終了点移動処理にて用いた加工
データの再生時間の情報に基づいて生成することができ
る。

【００３２】このように、先行データオブジェクトの処
理が終了すると、次に、ステップＳ２０７ではステップ
Ｓ２０２と同様に、加工タイプに応じて追加する効果適
用時間に対しての、後続する元のデータオブジェクトの
有無を判定する。

【００３３】ステップＳ２０７の判定結果によって、本
形態のようにＹの場合はステップＳ２０８から始まる後
続データオブジェクトに対する開始点復元情報の付加の
処理に進み、フェードアウトのような映像終端部分のみ
の効果の場合はＮの分岐でステップＳ２１２までスキッ
プする。

【００３４】ステップＳ２０８では後続データオブジェ
クトの開始点指定の有無を判定する。前述のように本形
態では加工前の各データオブジェクトには再生時間指定
情報は含まれていないため、判定はＮでありステップＳ
２０９の開始点計算処理に進み後続データオブジェクト
の本来の開始点を計算する。再生時間指定情報を含まな
い場合の開始点は先行データオブジェクトで指定された
動画データの開始時間に等しく、通常これは“０”であ
る。

【００３５】次に、ステップＳ２１０において、再生開
始点を加工データの再生時間分だけシフトし、再生時に
おいて、動画データＢのうち遷移効果の部分、ここでは
再生開始端から１秒間は加工データが替わって再生され
るよう、再生記述データのデータオブジェクトＢの内容
を変更し、データオブジェクトＢ３０２’を得る。

【００３６】図３（ｂ）はデータオブジェクトＢ３０
２’に対し、この開始点移動処理後の再生時間指定情報
３０５を追加した様子を示している。図４の４０２’に
本形態の処理による動画データＢの再生開始点の移動の
様子を示す。

【００３７】次に、ステップＳ２１１では、データオブ
ジェクトＢ３０２’の開始点を復元するための時間指定
復元情報３０７を生成し、データオブジェクトＢ３０
２’に付加する。この時間指定復元情報は、ステップＳ
２０５の終了点移動処理にて用いた加工データの再生時
間の情報に基づいて生成することができる。

【００３８】次に、ステップＳ２１２において、加工動
画データを生成する。

【００３９】本形態では、動画データＡの終端１秒の映
像と動画データＢの先頭１秒の映像を素材映像として、
ワイプ効果を加えた新たな効果データＡ−Ｂ４０３を生
成する。

【００４０】ここで、ワイプ効果を加えた効果データＡ
−Ｂの生成動作について説明する。

【００４１】ＣＰＵ１１１は、蓄積部１０３より動画デ
ータＡの終端部分の１秒間の動画像データと、動画デー
タＢの先頭部分の１秒間の動画像データとを読み出し、
画像処理部１０１に出力する。画像処理部１０１は蓄積
部１０３より出力された各動画像データを内部のメモリ
に記憶する。

【００４２】蓄積部１０３より再生された動画像データ
は前述のようにＭＰＥＧ２の形式で符号化されている。
画像処理部１０１は画像データの符号化、復号化を行う
ＣＯＤＥＣ部や復号された画像データに対し、ワイプや
ディゾルブ処理を施す特殊効果部を有し、ＣＰＵ１１１
からの指示に従い、動画像データＡ及び動画像データＢ
をそれぞれ復号し、復号した画像データに対し、ワイプ
処理を施した後、再びＭＰＥＧ２の形式で符号化して効
果データを生成し、内部のメモリに記憶する。なお、以
上の処理はハードウエアにて実現してもよいが、マイク
ロプロセッサを用いたソフトウェア処理によっても実現
可能である。

【００４３】ＣＰＵ１１１は画像処理部１０１により効
果データが生成されると、その効果データを画像処理部
１０１より読み出し、蓄積部１０３に記憶する。

【００４４】次に、ステップＳ２１３において、前述の
ように得られた効果データＡ−Ｂ４０３を指定するデー
タオブジェクトである加工データオブジェクトＡ−Ｂ３
０３を生成し、メモリ１１３に記憶した再生記述データ
のデータオブジェクトＡ３０１’とデータオブジェクト
Ｂ３０２’の間に追加する。そして、ステップＳ２１４
において、この加工データオブジェクトＡ−Ｂ３０３に
対して加工データ識別情報３０８を付加し、最終的な再
生記述データを生成した後、この再生記述データをメモ
リ１１３より読み出し、蓄積部１０３に出力する。

【００４５】このように、編集するべきデータに関する
全ての処理が終了すると、ＣＰＵ１１１は表示部１０７
に対して編集処理が終了した旨の表示を行う。

【００４６】次に、再生記述データとして前述のＳＭＩ
Ｌを用いた場合の処理を説明する。

【００４７】図５はＳＭＩＬによる再生記述データの様
子を示す図である。尚、図５は本形態の処理に関連する
部分の記述のみを抜き出したものであり、他の記述エレ
メントは省略されている。

【００４８】図５の例では先行する動画データ、後続す
る動画データの再生時間がそれぞれ１０秒、追加する効
果の時間が１秒の遷移効果であるとしている。図５のmo
v1.mpg、mov2.mpgがそれぞれ元の先行画像データ、後続
画像データであり、trans1_2.mpgがmov1.mpgの終端の１
秒とmov2.mpgの開始部分１秒の映像がワイプ効果で切り
替わる１秒のレンダリング済み加工動画データである。

【００４９】図５（ｂ）の１行目が図３のデータオブジ
ェクトＡ２０１’に対応し、加工後の再生時間指定情報
３０４としてmov1.mpgの再生時間１０秒から、加工デー
タの再生時間１秒を引いた９秒を示すデータが、ＳＭＩ
Ｌ標準の終了点記述に従ってclipEnd=”9s”と記述され
ている。

【００５０】さらにこのデータオブジェクトには時間指
定復元情報２０６として、終了点のシフト量１秒が、本
形態の独自の記述エレメントを用いてtailShift=”1s”
と記述されている。

【００５１】２行目は図３の加工データオブジェクトＡ
−Ｂ３０３に対応し、加工データ識別情報３０８が、本
形態の独自の記述エレメントを用いてrclipFor=”trans
ition”と記述されている。

【００５２】３行目は図３のデータオブジェクトＢ３０
２’に対応し、加工後の再生時間指定情報３０５として
mov2.mpgの先頭に加工データの再生時間１秒を加えた１
秒を示すデータが、ＳＭＩＬ標準の開始点記述に従って
clipBegin=”1s”と記述されている。さらにこのデータ
オブジェクトには時間指定復元情報３０７として、開始
点のシフト量１秒が、本形態の独自の記述エレメントを
用いてheadShift=”1s”と記述されている。

【００５３】このように本形態では、既存の標準記述エ
レメントを用いて再生時間を指定しているので、本形態
を適用して特殊効果を追加した再生記述データは標準の
再生記述データとの再生互換性を持つ。

【００５４】図５について説明すると、本形態による独
自の記述エレメントrclipFor、tailShiftおよびheadShi
ftはＳＭＩＬの標準記述エレメントに従う再生処理にお
いては無視されるので、mov1.mpgを９秒間再生後、tran
s1_2.mpgを再生し、その後mov2.mpgを先頭から１秒後か
ら再生する。

【００５５】その結果、図４（ｂ）に示すように、動画
Ａ３０１’→効果Ａ−Ｂ３０３→動画Ｂ３０２’という
順序で再生が行われ、mov1.mpgのラスト１秒からmov2.m
pg先頭部分１秒へのワイプ効果が付加された一連の編集
された動画像を再生することができる。このワイプ効果
部分はワイプ効果を付加したレンダリング済の動画デー
タtrans1_2.mpgが再生されているだけであるため、再生
機の機能に頼ることなく標準の動画再生機能のみで実現
できることが本形態の特徴である。

【００５６】次に、このように追加した特殊効果を削除
し、元の状態に戻す場合の処理について説明する。

【００５７】図６はＣＰＵ１１１による加工データの削
除の処理を示すフローチャートである。ユーザが操作部
１１５を操作して削除すべき編集データを選択し、削除
の指示があると、図６のフローを開始する。

【００５８】削除の指示があると、ＣＰＵ１１１はま
ず、蓄積部１０３より再生記述データを読み出し、メモ
リ１１３に記憶する。そして、削除する加工データオブ
ジェクトＡ−Ｂに対して、再生時間軸上において加工デ
ータオブジェクトが指定する動画データと連続して再生
される、先行する動画データを指定するデータオブジェ
クトの有無を判定する（ステップＳ６０１）。

【００５９】図４（ｂ）に示したように、本形態では動
画データＡ４０１’が効果データＡ−Ｂ４０３に対して
先行する動画データであり、これを指定しているデータ
オブジェクトＡ３０１’が先行データオブジェクトに相
当するため、判定の結果はＹとなりステップＳ６０２へ
進む。

【００６０】再生記述データの先頭のように先行データ
オブジェクトが存在しない場合、あるいは再生連続かつ
先行するデータオブジェクトが加工データ識別情報を含
む場合は再生時間指定を復元すべき元データオブジェク
トではないと判定できるので、ステップＳ６０６の後続
データオブジェクトの判定処理までスキップする。先行
データオブジェクトが加工データオブジェクトであるの
は、フェードアウトからフェードインのような単一動画
データに対する効果が連続する場合である。

【００６１】ステップＳ６０２では、前記のように判定
された処理対象の先行データオブジェクトについて時間
指定復元情報の有無を判定する。ここで先行データオブ
ジェクトが時間指定復元情報を含まなければ、このデー
タオブジェクトは加工データオブジェクトを追加する際
の終了点移動の対象ではなかったことが判定できるの
で、ステップＳ６０７まで処理をスキップする。

【００６２】本形態ではデータオブジェクトＡ３０１’
は時間指定復元情報３０６を含んでいるため判定はＹと
なり、ステップＳ６０３で時間指定復元情報３０６に応
じて再生時間指定情報３０４を変更し、終了点を復元す
る。具体的な復元方法については図５のＳＭＩＬへの適
用例を用いて後述する。そして、ステップＳ６０４にお
いて、すでに不要となった終了点復元情報３０６を削除
する。

【００６３】この段階で、すでに、再生記述データに従
い効果を追加する前と等価な再生を行うことができる
が、再生記述データとしての最適化を図るならば、ステ
ップＳ６０５において復元された終了点が動画データそ
のものの終端と一致するかどうかを判定し、一致する場
合はステップＳ６０６において終了点の指定を削除する
ことができる。最適化が必要でない場合ステップＳ６０
５、Ｓ６０６は省略可能である。

【００６４】図５のＳＭＩＬによる記述例を用いてこの
再生時間の復元操作を説明する。

【００６５】図５（ｂ）の２行目のデータオブジェクト
が本形態による加工データ識別情報であるところの記述
エレメントrclipForを含む加工データオブジェクトであ
り、１行目が先行データオブジェクトである。先行デー
タオブジェクトは本発明による時間指定復元情報である
ところの記述エレメントtailShiftを含んでいるため、c
lipEnd=”9s”はtailShiftの値”1s”を用いてclipEnd
=”10s”と復元することができる。前述のようにmov1.m
pgの再生時間は１０秒であるからclipEnd=”10s”は省
略可能であり、これを削除することにより、図５（ａ）
の１行目の記述に戻すことが可能である。

【００６６】続いて後続データオブジェクトに対して同
様の再生時間指定復元処理を行う。

【００６７】ステップＳ６０７において、削除する加工
データオブジェクトＡ−Ｂに対して、再生時間軸上にお
いて加工データオブジェクトが指定する動画データと連
続して再生される、後続の動画データを指定するデータ
オブジェクトの有無を判定する。

【００６８】図４（ｂ）に示したように、本形態では動
画データＢ４０２’が効果データＡ−Ｂ４０３に対して
後続する動画データであり、これを指定しているデータ
オブジェクトＢ３０２’が後続データオブジェクトに相
当するため、判定の結果はＹとなりステップＳ６０８へ
進む。

【００６９】再生記述データの最後のように後続データ
オブジェクトが存在しない場合、あるいは再生連続かつ
後続するデータオブジェクトが加工データ識別情報を含
む場合は再生時間指定を復元すべき元データオブジェク
トではないと判定できるので、ステップ５１４までスキ
ップする。後続データオブジェクトが加工データオブジ
ェクトであるのは、フェードアウトからフェードインの
ような単一動画データに対する効果の連続の場合であ
る。

【００７０】次に、ステップＳ６０９では、前記のよう
に判定された処理対象の後続データオブジェクトについ
て時間指定復元情報の有無を判定する。ここで後続デー
タオブジェクトが時間指定復元情報を含まなければ、こ
のデータオブジェクトは加工データオブジェクトを追加
する際の開始点移動の対象ではなかったことが判定でき
るので、ステップＳ６１３まで処理をスキップする。

【００７１】本形態ではデータオブジェクトＢ３０２’
は時間指定復元情報３０７を含んでいるため判定はＹと
なり、ステップＳ６０９で時間指定復元情報３０７に応
じて再生時間指定情報３０５を変更し、開始点を復元す
る。具体的な復元方法については図５のＳＭＩＬへの適
用例を用いて後述する。次に、ステップＳ６１０ではす
でに不要となった開始点復元情報を削除する。

【００７２】この段階で、すでに、再生記述データに従
い効果を追加する前と等価な再生を行うことができる
が、再生記述データとしての最適化を図るならば、ステ
ップＳ６１１において復元された開始点が動画データそ
のものの先頭（‘０ｓ’）であるかどうかを判定し、先
頭である場合はステップＳ６１２において開始点の指定
情報を削除することができる。最適化が必要でない場合
ステップＳ６１１、Ｓ６１２は省略可能である。

【００７３】図５のＳＭＩＬによる記述例を用いてこの
再生時間指定復元操作を説明する。

【００７４】図５（ｂ）の２行目のデータオブジェクト
が本形態による加工データ識別情報であるところの記述
エレメントrclipForを含む加工データオブジェクトであ
り、３行目が後続データオブジェクトである。

【００７５】後続データオブジェクトは本発明による時
間指定復元情報であるところの記述エレメントheadShif
tを含んでいるため、clipBegin=”1s”はheadShiftの
値”1s”を用いてclipBegin=”0s”と復元することがで
きる。前述のようにmov1.mpgの先頭は０秒であるからcl
ipEnd=”0s”は省略可能であり、これを削除することに
より、図５（ａ）の２行目の記述に戻すことが可能であ
る。

【００７６】最後にステップＳ６１３では加工データ識
別情報をもつ加工データオブジェクトＡ−Ｂを削除す
る。図５（ｂ）では２行目の記述データは削除され、加
工前の状態に戻すことができる。そして、このように加
工前の状態に変更した再生記述データをメモリ１１３よ
り読み出し、蓄積部１０３に記憶する。なお、このと
き、効果データＡ−Ｂについては蓄積部１０３に記憶し
たままにしてあるが、Ｓ６１３において効果データＡ−
Ｂを蓄積部１０３より削除することで、記憶エリアを有
効に用いることも可能である。

【００７７】以上に述べたように、本形態によれば、動
画像データのうち指定された部分に対して特殊効果処理
を施した画像データを新たに生成し、元の動画像データ
の代わりにこの新たに生成した加工画像データを再生す
るよう、再生記述データ中の再生時間指定情報を変更し
ているので、再生環境が高度で複雑な特殊効果処理を実
行することができない場合であっても、所望の特殊効果
を付加した編集画像を得ることができる。

【００７８】また、このとき、再生記述データに対し、
時間指定復元情報を付加しているので、加工データを削
除した場合にも、元の動画データの再生時間を正確に復
元することができる。

【００７９】また、加工データはすでに特殊効果処理が
施された状態で符号化されているため、蓄積部１０３よ
り再生記述データに従って動画像データＡ，Ｂ及び加工
データを再生し、ＤＩＦ１２１より符号化された状態で
外部機器に出力した場合でも、外部機器においても同様
に所望の特殊効果を付加した編集画像を得ることができ
る。

【００８０】次に、本発明の第２の実施形態として、図
７（ａ）のように再生時間指定情報が付加されている再
生記述データに従って再生される動画データＡと動画デ
ータＢとの間に遷移効果を付加する処理について説明す
る。

【００８１】図７は本形態にて扱う再生記述データの様
子を示す図である。

【００８２】図７において、データオブジェクトＡ７０
１及びおよびデータオブジェクトＢ７０２は再生記述デ
ータにおいて各々図８（ａ）の動画Ａ８０１、動画Ｂ８
０２を指定するデータオブジェクトである。本形態にお
いては前述の第１の実施形態とは異なり、加工前の各デ
ータオブジェクトには各動画データの再生開始点・再生
終了点を指定する再生時間指定情報が含まれている。

【００８３】この場合、データオブジェクトＡ７０１で
指定された動画Ａ８０１が再生時間指定情報７０３の記
述に従い開始点１から終了点１まで再生され、引き続き
データオブジェクトＢ７０２で指定された動画Ｂ８０２
が再生時間指定情報７０４の記述に従い開始点２から終
了点２まで再生される。

【００８４】図９（ａ）はＳＭＩＬによって記述された
再生時間指定情報付きの再生記述データを示す図であ
る。尚、図は本形態に対応する部分の記述のみを抜き出
したものであり、他の記述エレメントは省略されてい
る。

【００８５】この例ではmov1.mpgの先頭から２秒後（開
始点１）から再生を開始し、先頭から８秒後（終了点
１）まで再生する。引き続きmov2.mpgの先頭から３秒後
（開始点２）から再生し、先頭から９秒後（終了点２）
まで再生する。これらの再生時間指定情報はＳＭＩＬ標
準記述エレメントを用いて記述されている。

【００８６】次に動画Ａ８０１と動画Ｂ８０２の間に遷
移効果を追加挿入する手順を説明する。以下の処理も図
１のＣＰＵ１１１により、図２のフローを実行すること
で実現する。

【００８７】本形態ではデータオブジェクトＡ７０１で
指定された動画Ａ８０１の指定された終了点の前１秒か
らデータオブジェクトＢ７０２で指定された動画Ｂ８０
２の指定された開始点の後１秒へ、ワイプ効果付きで遷
移させる場合を説明する。

【００８８】編集処理が開始されると、ＣＰＵ１１１は
まず、前述のようなユーザの指示に従い加工タイプを選
択し、動画像に加える効果を選択する（ステップＳ２０
１）。本形態ではワイプによる遷移効果が選択されてい
る。次に、蓄積部１０３より再生記述データを読み出し
てメモリ１１３に記憶する。そして、この再生記述デー
タにおいて、追加する効果適用時間に対しての、先行す
る元のデータオブジェクトの有無を判定する（ステップ
Ｓ２０２）。

【００８９】この有無はステップ１０２で選択された効
果に応じて決まるものである。本形態のワイプ効果は動
画データＡ４０１から動画データＢ４０２への遷移効果
であり、データオブジェクトＡ３０１が先行する元デー
タオブジェクトに相当するので判定はＹとなる。

【００９０】ステップＳ２０３では先行データオブジェ
クトの終了点指定の有無を判定する。前述のように本形
態では加工前の各データオブジェクトに再生時間指定情
報を含むため、判定はＹでありステップＳ２０５に進
む。

【００９１】次に、ステップＳ２０５において、先行デ
ータオブジェクト本来の終了点指定を加工データの再生
時間分だけシフトし、再生時において、動画データＡの
うち遷移効果の部分は加工データが替わって再生される
よう、再生記述データのデータオブジェクトＡ７０１の
内容を変更し、データオブジェクトＡ７０１’を得る。

【００９２】図７の再生時間指定情報７０３’はデータ
オブジェクトＡに対し、この終了点移動処理を行ったこ
とを示している。図８（ｂ）に動画Ａの本来の終了点１
が終了点１’に変更された様子を示す。図９（ｂ）の１
行目はＳＭＩＬによる再生記述データの記述例であり、
終了点移動処理によって図９（ａ）の１行目の本来の終
了点指定clipEnd=”8s”がclipEnd=”7s”に変更されて
いる。

【００９３】次に、ステップＳ２０６では、データオブ
ジェクトＡ７０１’の終了点を元の再生終了点に復元す
るため時間指定復元情報２０６を生成し、データオブジ
ェクトＡ７０１’に付加する。

【００９４】図９（ｂ）の１行目のtailShift=”1s”は
時間指定復元情報を表す記述エレメントであり、clipEn
d=”8s”からclipEnd=”7s”に終了点が１秒シフトされ
たことを表している。

【００９５】このように、先行データオブジェクトの処
理が終了すると、次に、ステップＳ２０７ではステップ
Ｓ２０２と同様に、加工タイプに応じて追加する効果適
用時間に対しての、後続する元のデータオブジェクトの
有無を判定する。この有無はステップＳ２０１で選択さ
れた効果に応じて決まるものである。本形態のワイプ効
果は動画Ａ８０１から動画Ｂ８０２への遷移効果であ
り、データオブジェクトＢ７０１が後続する元データオ
ブジェクトに相当するので判定はＹとなる。

【００９６】次に、ステップＳ２０８において、後続デ
ータオブジェクトの開始点指定の有無を判定する。前述
のように本形態では加工前の各データオブジェクトが再
生時間指定情報を含んでいるため、判定はＹであり、ス
テップＳ２１０に進む。

【００９７】ステップＳ２１０において、後続データオ
ブジェクト本来の再生開始点を加工データの再生時間分
だけシフトし、再生時において、動画データＢのうち遷
移効果の部分は加工データが替わって再生されるよう、
再生記述データのデータオブジェクトＢの内容を変更
し、データオブジェクトＢ７０２’を得る。

【００９８】図７の再生時間指定情報７０４’はデータ
オブジェクトＢに対し、この開始点移動処理を行ったこ
とを示している。図８（ｂ）に動画Ｂの本来の終了点２
が終了点２’に変更された様子を示す。図９（ｂ）の３
行目の記述では、開始点移動処理によって図９（ａ）の
２行目の本来の開始点指定clipBegin=”3s”がclipBegi
n=”4s”に変更されている。

【００９９】次に、ステップＳ２１１では、データオブ
ジェクトＢ３０２’の開始点を復元するための時間指定
復元情報２０７を生成し、データオブジェクトＢ３０
２’に付加する。この時間指定復元情報は、ステップＳ
２０５の終了点移動処理にて用いた加工データの再生時
間の情報に基づいて生成することができる。

【０１００】図９（ｂ）の３行目のheadShift=”1s”は
時間指定復元情報を表す記述エレメントであり、clipBe
gin=”3s”からclipBegin=”4s”に開始点が１秒シフト
されたことを表している。

【０１０１】次に、ステップＳ２１２において、動画Ａ
データ８０１の指定された終了点の前１秒から終了点ま
での映像と、動画Ｂデータ８０２の指定された開始点か
ら開始点の後１秒までの映像を素材映像として、ワイプ
効果を加えた新たな動画クリップ効果Ａ−Ｂデータ８０
３を生成する。この加工データの生成処理は前述の実施
形態と同様である。

【０１０２】次に、ステップＳ２１３において、前述の
ように得られた効果データＡ−Ｂ８０３を指定するデー
タオブジェクトである加工データオブジェクトＡ−Ｂ７
０５を生成し、メモリ１１３に記憶した再生記述データ
のデータオブジェクトＡ７０１’とデータオブジェクト
Ｂ７０２’の間に追加する。そして、ステップＳ２１４
において、この加工データオブジェクトＡ−Ｂ７０５に
対して加工データ識別情報７０８を付加し、最終的な再
生記述データを生成した後、この再生記述データをメモ
リ１１３より読み出し、蓄積部１０３に出力する。

【０１０３】図９（ｂ）の２行目は加工データオブジェ
クトＡ−Ｂ７０５に対応し、加工データ識別情報７０８
が、記述エレメントを用いてrclipFor=”transition”
と記述されている。

【０１０４】このように再生記述データの内容を変更す
ると共に、加工データを生成することで、図８（ｂ）に
示すように、動画Ａ８０１’→効果Ａ−Ｂ８０３→動画
Ｂ８０２’という順序で再生が行われ、mov1.mpgの本来
の再生終了点の１秒前からmov2.mpgの本来の再生開始点
の１秒後にわたるワイプ効果が付加された一連の編集さ
れた動画像を再生することができる。このワイプ効果部
分はワイプ効果を付加したレンダリング済の動画データ
trans1_2.mpgが再生されているだけであるため、再生機
の機能に頼ることなく標準の動画再生機能のみで実現で
きることが本形態の特徴である。

【０１０５】また、このように生成した加工データオブ
ジェクトを削除する場合も、前述の実施形態で説明した
ように、図６のフローに従い、ＣＰＵ１１１により同じ
手順で行うことができる。ここでは図９（ｂ）のＳＭＩ
Ｌによる記述例を用いて説明する。

【０１０６】図９（ｂ）において、２行目のデータオブ
ジェクトが加工データ識別情報であるところの記述エレ
メントrclipForを含む加工データオブジェクトであり、
１行目が先行データオブジェクトである。先行データオ
ブジェクトは時間指定復元情報であるところの記述エレ
メントtailShiftを含んでいるため、clipEnd=”7s”はt
ailShiftの値”1s”を用いてclipEnd=”8s”と復元する
ことができる。前述のようにmov1.mpgの再生時間は１０
秒であるから、本来の再生終了点にてmov1.mpgの再生を
終了させるためにはclipEnd=”8s”は省略不可でありこ
のまま残る。終了時間復元後のTailShift記述エレメン
トは削除される。

【０１０７】同様に、３行目が後続データオブジェクト
であり、時間指定復元情報であるところの記述エレメン
トheadShiftを含んでいるため、clipBegin=”4s”はhea
dShiftの値”1s”を用いてclipBegin=”3s”と復元する
ことができる。前述のようにmov1.mpgの先頭は０秒であ
るから、mov2.mpgを本来の再生開始点より再生するため
にはclipEnd=”3s”は省略不可でありこのまま残る。開
始時間復元後のheadShift記述エレメントは削除され
る。最後に加工データオブジェクトとして２行目の記述
データは削除され、図９（ａ）の加工前の状態に戻すこ
とができる。

【０１０８】このように、本形態においては、動画像デ
ータのうち指定された部分に対して特殊効果処理を施し
た画像データを新たに生成すると共に、元の動画像デー
タの再生開始点、再生終了点が再生記述データにより既
に規定されている場合であっても、元の動画像データの
代わりにこの新たに生成した加工画像データを再生する
よう、元の再生記述データの内容に従い再生記述データ
中の再生時間指定情報を変更しているので、再生環境が
高度で複雑な特殊効果処理を実行することができない場
合であっても、所望の特殊効果を付加した編集画像を得
ることができる。

【０１０９】また、このとき、再生記述データに対し、
時間指定復元情報を付加しているので、加工データを削
除した場合にも、元の動画データの再生時間を正確に復
元することができる。

【０１１０】さて、本発明を適用する編集処理におい
て、再生記述データのデータオブジェクトにおける再生
時間の指定単位に制限がない場合には、加工データの長
さおよび、加工データの追加による開始点、終了点の移
動はユーザにより指定された特殊効果処理の内容に応じ
て決定すればよい。

【０１１１】たとえば１秒のワイプ効果であれば前述の
実施形態で説明したように１秒の加工データを作成し、
元のデータオブジェクトの開始点、終了点を１秒ずつ移
動した後、加工データのデータオブジェクトを追加すれ
ばよい。

【０１１２】一方、記憶されている動画像データの符号
化形式や、蓄積部１０３あるいは光磁気ディスク１１９
における論理的、物理的な記録フォーマットなどの関係
で、データオブジェクトにおける再生時間の指定単位に
制限がある場合が考えられる。

【０１１３】このような場合においても、目的とする効
果部分を含むデータの境界に一致するように動画像デー
タを取り出して加工データを作成し、それにあわせて開
始点、終了点を移動することにより本発明を適用するこ
とができる。

【０１１４】以下、このように、再生時間の指定単位に
制限がある場合における加工データの生成処理及び、そ
れに伴う再生開始点、終了点の移動処理について説明す
る。

【０１１５】図１０は、動画像データの符号化の単位に
一致するように動画像データを取り出し、加工データを
生成する場合の様子を示す図である。

【０１１６】本形態では、前述のように、動画像データ
はＭＰＥＧ２の形式で符号化されており、符号化の単位
としてＭＰＥＧ符号化におけるＧＯＰ(Group Of Pictur
es)を想定している。ＭＰＥＧでは通常、１５フレーム
の動画像データで１つのＧＯＰを形成する。また、ＭＰ
ＥＧではフレーム内符号化とフレーム間符号化とを選択
的に用いて符号化を行うため、最小で１ＧＯＰの単位で
しか再生することができない。

【０１１７】そこで、例えば、図１０に示すように、動
画データＡ１００１における１つのＧＯＰの途中でワイ
プ処理の開始が指定され、また、動画データＢ１００２
の１つのＧＯＰの途中でワイプ処理の終了が指定された
場合、ワイプ処理の開始、終了部分を含むＧＯＰを単位
として動画データＡ１００１及び動画データＢ１００２
を抽出する。そして、ワイプ効果時間を含むＧＯＰの境
界に一致するよう、加工データオブジェクトで指定する
効果データＡ−Ｂ１００３を作成する。

【０１１８】そして、これにあわせて動画データＡ１０
０１の再生終了点および、動画データＢ１００２の再生
開始点もＧＯＰの境界となるよう、再生記述データのデ
ータオブジェクトに対して再生時間指定情報及び、時間
指定復元情報を付加している。

【０１１９】このように、画像データの符号化の単位に
一致するように画像データを切り出して加工データを生
成することにより、符号化の単位でしか動画データを再
生することができない場合においても、所望の編集処理
を施した動画像データを得ることが可能となる。

【０１２０】また、図１１は、記録メディア上のアクセ
ス単位に一致するように動画像データを取り出し、加工
データを生成する様子を示した図である。

【０１２１】例えば、ＤＶＤビデオプレーヤにおいて
は、ＶＯＢＵ（Video Object Unit）と呼ばれる単位で
アクセスを行う。

【０１２２】そこで、例えば、図１１に示すように、動
画データＡ１１０１における１つのＶＯＢＵの途中のデ
ータでワイプ処理の開始が指定され、また、動画データ
Ｂ１１０２の１つのＶＯＢＵの途中のデータでワイプ処
理の終了が指定された場合、ワイプ処理の開始、終了部
分を含むＶＯＢＵを単位として動画データＡ１００１及
び動画データＢ１００２を抽出する。そして、ワイプ効
果時間を含むＶＯＢＵの境界に一致するよう、加工デー
タオブジェクトで指定する効果データＡ−Ｂ１１０３を
作成する。

【０１２３】そして、これにあわせて動画データＡ１１
０１の再生終了点および、動画データＢ１１０２の再生
開始点もＶＯＢＵの境界となるよう、再生記述データの
データオブジェクトに対して再生時間指定情報及び、時
間指定復元情報を付加している。

【０１２４】このように、メディアにおける画像データ
のアクセスの単位に一致するように画像データを切り出
して加工データを生成することにより、画像データのア
クセスの単位に制限がある場合においても、所望の編集
処理を施した動画像データを得ることが可能となる。

【０１２５】また、図１２は、ヘッダ情報を含むブロッ
クの単位に一致するように動画像データを取り出し、加
工データを生成する様子を示す図である。

【０１２６】例えば、動画データの形式によっては、再
生に必要な情報を保持するヘッダ情報を所定の周期で挿
入するものがある。このような動画データを再生する場
合、ヘッダ情報が得られるまで画像データをデコードす
ることができない。

【０１２７】そこで、例えば、図１２に示すように、動
画データＡ１２０１におけるヘッダ情報を含む１つのブ
ロックの途中のデータでワイプ処理の開始が指定され、
また、動画データＢ１２０２におけるヘッダ情報を含む
１つのＶＯＢＵの途中のデータでワイプ処理の終了が指
定された場合、ワイプ処理の開始、終了部分を含むブロ
ックを単位として動画データＡ１２０１及び動画データ
Ｂ１２０２を抽出する。そして、ブロックの境界に一致
するよう、加工データオブジェクトで指定する効果デー
タＡ−Ｂ１２０３を作成する。このとき、新たに作成し
た加工データについてもヘッダ情報が付加されたブロッ
クが含まれる。

【０１２８】そして、これにあわせて動画データＡ１２
０１の再生終了点および、動画データＢ１２０２の再生
開始点もブロックの境界となるよう、再生記述データの
データオブジェクトに対して再生時間指定情報及び、時
間指定復元情報を付加している。

【０１２９】このように、ヘッダ情報が付加されたブロ
ックの境界に一致するように画像データを切り出して加
工データを生成することにより、再生される画像が元の
動画像データから加工データに移行した場合でもヘッダ
情報が得られるまでの間画像データのデコードを停止す
ることなく、所望の編集処理を施した動画像データを得
ることが可能となる。

【０１３０】なお、前述の実施形態ではプログラムデー
タをＳＭＩＬにて記述した場合について説明したが、こ
れ以外にも、ＸＭＬ(eXtensible Markup Language)、Ｓ
ＧＭＬ(Standard Generalized Markup Language)、ＨＴ
ＭＬ(Hyper Text Markup Language)等にて記述すること
も可能である。

【０１３１】また、本形態では画像、音声データのデコ
ード処理や合成処理等をハード構成にて実現したが、マ
イクロコンピュータを用いたソフトウェア処理にて実現
してもよい。

【０１３２】この場合、前記ソフトウェアのプログラム
コード自体が前述した実施の形態の機能を実現すること
になり、そのプログラムコード自体、およびそのプログ
ラムコードをコンピュータに供給するための手段、例え
ばかかるプログラムコードを格納した記憶媒体は本発明
を構成する。かかるプログラムコードを記憶する記憶媒
体としては、例えばフロッピー（登録商標）ディスク、
ハードディスク、光ディスク、光磁気ディスク、ＣＤ−
ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ
等を用いることができる。

【０１３３】また、コンピュータが供給されたプログラ
ムコードを実行することにより、上述の実施の形態で説
明機能が実現されるだけでなく、そのプログラムコード
がコンピュータにおいて稼働しているＯＳ（オペレーテ
ィングシステム）或いは他のアプリケーションソフト等
の共同して上述の実施の形態で示した機能が実現される
場合にもかかるプログラムコードは本発明の実施形態に
含まれることは言うまでもない。

【０１３４】更に、供給されたプログラムコードがコン
ピュータの機能拡張ボードやコンピュータに接続された
機能拡張ユニットに備わるメモリに格納された後、その
プログラムコードの指示に基づいてその機能拡張ボード
や機能拡張ユニットに備わるＣＰＵ等が実際の処理の一
部または全部を行い、その処理によって上述した実施の
形態の機能が実現される場合にも本発明に含まれる。

【０１３５】

【発明の効果】以上、述べたように本発明によれば、素
材となる情報データの再生手順を容易に変更することが
できるとともに、元の素材データを容易に復元可能とな
る。

【図面の簡単な説明】

【図１】本発明が適用される編集装置の構成を示すブロ
ック図である。

【図２】図１の装置による編集処理を説明するフローチ
ャートである。

【図３】図１の装置にて扱う再生記述データの様子を示
す図である。

【図４】図２のフローチャートに従う編集処理を説明す
るための図である。

【図５】図３の再生記述データの具体例を示す図であ
る。

【図６】図１の装置による編集処理を説明するためのフ
ローチャートである。

【図７】図１の装置にて扱う再生記述データの他の具体
例を示す図である。

【図８】図１の装置による他の編集処理を説明するため
の図である。

【図９】図７の再生記述データの具体例を示す図であ
る。

【図１０】図１の装置による再生時間の移動処理を説明
するための図である。

【図１１】図１の装置による再生時間の移動処理の他の
例を示す図である。

【図１２】図１の装置による再生時間の移動処理の他の
例を示す図である。

【図１３】従来の編集処理の様子を示す図である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ１１Ｂ 27/02 ＫＦターム(参考） 5C023 AA11 AA12 AA13 AA34 AA35 BA11 CA01 DA04 5C053 FA14 GB38 HA33 KA01 KA24 5C059 KK36 MA00 RB02 RC00 RC12 SS11 TA73 TB03 TC31 TD11 UA05 UA38 5D110 CA05 CA06 CA16 CD07 CD15

Claims

【特許請求の範囲】

【請求項１】情報データ及び前記情報データの再生手
順を示す再生記述データとを処理する装置であって、前記情報データの一部のデータを用いて新たに加工デー
タを生成する加工データ処理手段と、前記情報データのうち前記一部のデータの代わりに前記
加工データを再生するよう前記再生記述データを変更す
る記述データ処理手段とを備えるデータ処理装置。
【請求項２】前記再生記述データは前記情報データの
再生時間に関する再生時間情報を含み、前記記述データ
処理手段は前記再生時間情報を変更することを特徴とす
る請求項１記載のデータ処理装置。
【請求項３】前記記述データ処理手段は、前記加工デ
ータの再生時間に従って前記再生時間情報を変更するこ
とを特徴とする請求項２記載のデータ処理装置。
【請求項４】前記再生時間情報は、前記情報データの
再生開始時間または再生終了時間を示し、前記記述デー
タ処理手段は前記再生開始時間または再生終了時間を前
記加工データの再生時間に従って変更することを特徴と
する請求項３記載のデータ処理装置。
【請求項５】前記記述データ処理手段は、前記加工デ
ータを再生せずに前記情報データの一部のデータを再生
するよう再生動作を復元するための復元情報を生成して
前記再生記述データに付加することを特徴とする請求項
１記載のデータ処理装置。
【請求項６】前記記述データ処理手段は更に、前記再
生動作の復元処理においては、前記復元情報を用いて前
記再生記述データの内容を再び変更することを特徴とす
る請求項５記載のデータ処理装置。
【請求項７】前記記述データ処理手段は前記加工デー
タの再生時間に従って前記復元情報を生成することを特
徴とする請求項５記載のデータ処理装置。
【請求項８】前記再生記述データは、前記情報データ
の再生手順を指定する元データオブジェクトを含み、前
記記述データ処理手段は前記加工データの再生を指定す
るための加工データオブジェクトを前記再生記述データ
に追加すると共に前記元データオブジェクトにおける前
記情報データの再生時間を指定する再生時間情報を前記
一部のデータの代わりに前記加工データが再生されるよ
う変更することを特徴とする請求項１記載のデータ処理
装置。
【請求項９】前記加工データと前記内容が変更された
再生記述データとを、前記情報データが記録されている
記録媒体に対して記録する記録手段を備えたことを特徴
とする請求項１記載のデータ処理装置。
【請求項１０】前記情報データは複数のブロックから
なる動画像データを含み、前記記述データ処理手段は前
記加工データの再生開始位置または再生終了位置が前記
動画像データのブロックの境界に一致するよう前記再生
記述データを変更することを特徴とする請求項１記載の
データ処理装置。
【請求項１１】前記複数のブロックはそれぞれ、前記
動画像データの再生処理に必要なヘッダ情報を有するこ
とを特徴とする請求項１０記載のデータ処理装置。
【請求項１２】前記情報データは符号化された動画像
データを含み、前記記述データ処理手段は前記加工デー
タの再生開始位置または再生終了位置が前記動画像デー
タの符号化単位の境界に一致するよう前記再生記述デー
タを変更することを特徴とする請求項１記載のデータ処
理装置。
【請求項１３】前記動画像データは所定数のフレーム
を単位としてフレーム内符号化とフレーム間符号化とを
選択的に用いて符号化されていることを特徴とする請求
項１２記載のデータ処理装置。
【請求項１４】前記動画像データはＭＰＥＧ方式に従
って符号化されており、前記符号化単位は前記ＭＰＥＧ
方式におけるＧＯＰであることを特徴とする請求項１２
記載のデータ処理装置。
【請求項１５】前記情報データは記録メディアに記録
されており、前記記述データ処理手段は前記加工データ
の再生開始位置または再生終了位置が前記記録メディア
上の前記情報データアクセス単位に一致するよう前記再
生記述データを変更することを特徴とする請求項１記載
のデータ処理装置。
【請求項１６】前記加工データ処理手段は、異なる複
数の前記情報データを同時に用いて所定の処理を行うこ
とにより前記加工データを生成することを特徴とする請
求項１記載のデータ処理装置。
【請求項１７】前記情報データは動画像データを含
み、前記加工データ処理手段は異なる複数の前記動画像
データに対して合成処理を施すことにより前記加工デー
タを生成することを特徴とする請求項１記載のデータ処
理装置。
【請求項１８】前記動画像データは符号化されてお
り、前記加工データ処理手段は前記動画像データを復号
する復号手段と、前記復号された複数の動画像データに
対して合成処理を施す合成処理手段と、前記合成処理さ
れた動画像データを符号化して前記加工データを生成す
る符号化手段とを含むことを特徴とする請求項１７記載
のデータ処理装置。
【請求項１９】情報データと前記情報データの一部の
データを用いて生成された加工データ及び、前記情報デ
ータ中の前記一部のデータの代わりに前記加工データを
再生するよう前記情報データと前記加工データの再生手
順を指定する再生記述データとを処理する装置であっ
て、前記加工データを再生せずに前記情報データの一部のデ
ータを再生するよう前記再生記述データの内容を変更
し、再生動作を復元する記述データ処理手段を備えたデ
ータ処理装置。
【請求項２０】前記再生記述データは前記情報データ
の再生時間に関する再生時間情報と、前記加工データの
再生時間に関連する復元情報とを含み、前記記述データ
処理手段は前記復元情報に基づいて前記再生時間情報を
変更することを特徴とする請求項１９記載のデータ処理
装置。
【請求項２１】前記再生記述データは前記再生時間情
報を含み前記情報データの再生動作を指定する情報デー
タオブジェクトと、前記復元情報を含み前記加工データ
の再生動作を指定する加工データオブジェクトとを有
し、前記記述データ処理手段は更に前記加工データオブ
ジェクトを削除することを特徴とする請求項２０記載の
データ処理装置。
【請求項２２】情報データ及び前記情報データの再生
手順を示す再生記述データとを処理する方法であって、前記情報データの一部のデータを用いて加工データを生
成すると共に、前記情報データのうち前記一部のデータ
の代わりに前記加工データを再生するよう前記再生記述
データの内容を変更するデータ処理方法。
【請求項２３】前記再生記述データは前記情報データ
の再生時間に関する再生時間情報を含み、前記再生時間
情報の内容を変更することを特徴とする請求項２２記載
のデータ処理方法。
【請求項２４】前記加工データの再生時間に従って前
記再生時間情報の内容を変更することを特徴とする請求
項２３記載のデータ処理方法。
【請求項２５】前記再生時間情報は、前記情報データ
の再生開始時間または再生終了時間を示し、前記再生開
始時間または再生終了時間を前記加工データの再生時間
に従って変更することを特徴とする請求項２４記載のデ
ータ処理方法。
【請求項２６】前記加工データを再生せずに前記情報
データの一部のデータを再生するよう再生動作を復元す
るための復元情報を生成して前記再生記述データに付加
することを特徴とする請求項２２記載のデータ処理方
法。
【請求項２７】前記再生動作の復元処理においては、
前記復元情報を用いて前記再生記述データの内容を再び
変更することを特徴とする請求項２６記載のデータ処理
方法。
【請求項２８】前記加工データの再生時間に従って前
記復元情報を生成することを特徴とする請求項２６記載
のデータ処理方法。
【請求項２９】前記再生記述データは、前記情報デー
タの再生手順を指定する元データオブジェクトを含み、
前記加工データの再生を指定するための加工データオブ
ジェクトを前記再生記述データに追加すると共に前記元
データオブジェクトにおける前記情報データの再生時間
を指定する再生時間情報を前記一部のデータの代わりに
前記加工データが再生されるよう変更することを特徴と
する請求項２２記載のデータ処理方法。
【請求項３０】前記加工データと前記内容が変更され
た再生記述データとを、前記情報データが記録されてい
る記録媒体に対して記録することを特徴とする請求項２
２記載のデータ処理方法。
【請求項３１】前記情報データは複数のブロックから
なる動画像データを含み、前記加工データの再生開始位
置または再生終了位置が前記動画像データのブロックの
境界に一致するよう前記再生記述データを変更すること
を特徴とする請求項２２記載のデータ処理方法。
【請求項３２】前記複数のブロックはそれぞれ、前記
動画像データの再生処理に必要なヘッダ情報を有するこ
とを特徴とする請求項２２記載のデータ処理方法。
【請求項３３】前記情報データは符号化された動画像
データを含み、前記加工データの再生開始位置または再
生終了位置が前記動画像データの符号化単位の境界に一
致するよう前記再生記述データを変更することを特徴と
する請求項２２記載のデータ処理方法。
【請求項３４】前記動画像データは所定数のフレーム
を単位としてフレーム内符号化とフレーム間符号化とを
選択的に用いて符号化されていることを特徴とする請求
項３３記載のデータ処理方法。
【請求項３５】前記動画像データはＭＰＥＧ方式に従
って符号化されており、前記符号化単位は前記ＭＰＥＧ
方式におけるＧＯＰであることを特徴とする請求項３３
記載のデータ処理方法。
【請求項３６】前記情報データは記録メディアに記録
されており、前記加工データの再生開始位置または再生
終了位置が前記記録メディア上の前記情報データアクセ
ス単位に一致するよう前記再生記述データを変更するこ
とを特徴とする請求項２２記載のデータ処理方法。
【請求項３７】異なる複数の前記情報データを同時に
用いて所定の処理を行うことにより前記加工データを生
成することを特徴とする請求項２２記載のデータ処理方
法。
【請求項３８】前記情報データは動画像データを含
み、異なる複数の前記動画像データに対して合成処理を
施すことにより前記加工データを生成することを特徴と
する請求項２２記載のデータ処理方法。
【請求項３９】前記動画像データは符号化されてお
り、前記加工データを生成する処理は、前記動画像デー
タを復号する処理と、前記復号された複数の動画像デー
タに対して合成処理を施す合成処理と、前記合成処理さ
れた動画像データを符号化して前記加工データを生成す
る処理とを含むことを特徴とする請求項３８記載のデー
タ処理方法。
【請求項４０】情報データと前記情報データの一部の
データを用いて生成された加工データ及び、前記情報デ
ータ中の前記一部のデータの代わりに前記加工データを
再生するよう前記情報データと前記加工データの再生手
順を指定する再生記述データとを処理する方法であっ
て、前記加工データを再生せずに前記情報データの一部のデ
ータを再生するよう前記再生記述データの内容を変更
し、再生動作を復元するデータ処理方法。
【請求項４１】前記再生記述データは前記情報データ
の再生時間に関する再生時間情報と、前記加工データの
再生時間に関連する復元情報とを含み、前記復元情報に
基づいて前記再生時間情報を変更することを特徴とする
請求項４０記載のデータ処理方法。
【請求項４２】前記再生記述データは前記再生時間情
報を含み前記情報データの再生動作を指定する情報デー
タオブジェクトと、前記復元情報を含み前記加工データ
の再生動作を指定する加工データオブジェクトとを有
し、更に、前記加工データオブジェクトを削除すること
を特徴とする請求項４１記載のデータ処理方法。
【請求項４３】請求項２２から請求項４２に記載の方
法をコンピュータを用いて実現するためのプログラムを
記憶した記憶媒体。
【請求項４４】符号化された複数の動画像データと前
記動画像データの再生手順を指定する再生記述データと
を処理する装置であって、前記動画像データを復号する復号手段と、前記復号された複数の動画像データのそれぞれ一部のデ
ータを用いて合成処理を行う合成手段と、前記合成手段から出力された動画像データを符号化する
ことにより加工データを生成する符号化手段と、前記複数の動画像データの前記一部のデータの代わりに
前記加工データを再生するよう前記再生記述データを生
成する記述データ処理手段と、前記符号化手段より出力される加工データと前記記述デ
ータ処理手段により生成された再生記述データとを、前
記複数の動画像データが記録されている記憶メディアに
対して記録する記録手段とを備えるデータ処理装置。