JP2001197427A

JP2001197427A - 符号化ストリーム編集装置および符号化ストリーム編集方法

Info

Publication number: JP2001197427A
Application number: JP2000006607A
Authority: JP
Inventors: Yuichi Kawaguchi; 雄一川口; Koji Arimura; 耕治有村; Kenichi Noritomi; 賢一乗富
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-01-14
Filing date: 2000-01-14
Publication date: 2001-07-19

Abstract

(57)【要約】【課題】編集の精度を画像フレーム単位とし、効率的
にそして正確に編集できる符号化ストリーム編集装置、
符号化ストリーム編集方法、及びその編集方法をコンピ
ュータに実行させるためのプログラムを記録した記録媒
体を提供する【解決手段】編集範囲指示部１０１が所望の編集範囲
を指示すると、切り出し範囲決定部１０２が編集範囲に
相当する切り出し範囲をフレーム単位で決定する。再符
号化部１０５が復号不可能なデータを再符号化し、スト
リーム出力部１０３が切り出し範囲を切り出し、符号化
ストリーム挿入部１１０あるいは符号化ストリーム多重
化部１０６が再符号化されたデータを切り出されたデー
タに付加して新しい符号化ストリームを生成する。時間
情報書換え部１０７は、時刻管理情報が連続になるよう
に、符号化ストリームの時間情報を書き換える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のデータ列が
多重化された符号化ストリームを編集する符号化ストリ
ーム編集装置および方法並びに当該方法を実行するため
のプログラムを記録した媒体に関するものである。

【０００２】

【従来の技術】大量の画像データおよび音声データを圧
縮して、１つのビットストリームとして多重化し、光デ
ィスク装置や磁気テープなどの記録媒体に記録するため
に、ＭＰＥＧ（Motion Picture Expert Group）方式が
用いられている。ＭＰＥＧ方式は、国際規格機構（ＩＳ
Ｏ）が規格化したビットストリームの解釈およびその復
号処理について規定した規格であり、ＭＰＥＧ１標準と
してＩＳＯ１１１７２が、ＭＰＥＧ２標準としてＩＳＯ
１３８１８が標準化されている。ＭＰＥＧ１標準および
ＭＰＥＧ２標準では、画像信号の圧縮符号化の方式を定
めたＭＰＥＧビデオ、及び／又は音声信号の圧縮符号化
の方式を定めたＭＰＥＧオーディオを、同期再生を含め
統合して１本のストリームにするとともに、アプリケー
ションで使用するデータも付加して多重化するＭＰＥＧ
システムが規定されている。ＭＰＥＧシステム多重化の
規格として、ＩＳＯ１１１７２−１およびＩＳＯ１３８
１８−１が、ＭＰＥＧビデオの符号化の規格として、Ｉ
ＳＯ１１１７２−２およびＩＳＯ１３８１８−２が、Ｍ
ＰＥＧオーディオの符号化の規格として、ＩＳＯ１１１
７２−３およびＩＳＯ１３８１８−３が定められてい
る。

【０００３】ＭＰＥＧビデオストリームでは、Ｉピクチ
ャ、Ｐピクチャ、Ｂピクチャの３種類の符号化画像が規
定されている。Ｉピクチャは、他のピクチャを参照せ
ず、そのピクチャ自身で符号化が完結している画像であ
る。Ｐピクチャは、前方予測符号化を用いて、時間的に
過去のＩピクチャまたは過去のＰピクチャから予測して
符号化された画像である。このため、復号化するために
は過去のＩピクチャまたはＰピクチャが必要となる。Ｂ
ピクチャは、双方向予測符号化を用いて、時間的に過去
および未来のＩピクチャまたはＰピクチャから予測して
符号化された画像である。このため、復号化するために
は、過去および未来のＩピクチャまたはＰピクチャが必
要となる。

【０００４】ＭＰＥＧビデオストリームは、これらのピ
クチャの集合体、すなわちＧＯＰ（Group Of Picture）
の集合である。一般に、ＧＯＰはランダムアクセスと高
符号化効率を実現するため、Ｉピクチャ、Ｐピクチャ、
Ｂピクチャの組合せによって構成され、ＧＯＰの最初の
符号化画像は、Ｉピクチャである。Ｉピクチャは参照画
面を用いずに独立して復号化できるため、ＧＯＰはＭＰ
ＥＧデータからのランダムアクセスを行うポイントとし
て利用することが出来る。

【０００５】ＭＰＥＧオーディオストリームは、ＡＡＵ
（Audio Access Unit：オーディオアクセスユニット）
の集合であり、ＡＡＵは、１つ１つ単独でオーディオ信
号に復号できる最小単位である。ＭＰＥＧシステムスト
リームは、ＭＰＥＧビデオストリーム、ＭＰＥＧオーデ
ィオストリーム、その他アプリケーション制御用のデー
タなどを含み、それらが同期再生できるように、ビデオ
やオーディオの再生単位ごとに、いつ復号再生すべきか
の情報を付加して１つに多重化された符号化ストリーム
である。

【０００６】図１１は、ＭＰＥＧシステムストリームを
構成するパックを説明する図である。ＭＰＥＧシステム
ストリームは、パック１３０１を単位として構成されて
おり、パック１３０１は、パックヘッダ１３０２と１つ
以上のパケット１３０３から構成される。パックヘッダ
１３０２には、符号化したストリームを復号する時の時
刻基準となるＳＣＲ（System Clock Reference）の値が
記録されているＳＣＲフィールド１３０４がある。パケ
ット１３０３は、パケットヘッダ１３０８と映像や音声
のストリームが記録されるパケットデータ１３０７から
構成されている。パケットヘッダ１３０８には、パケッ
トデータに含まれるビデオやオーディオを再生単位ごと
に再生出力させるための時刻管理情報であるＰＴＳ（Pr
esentation Time Stamp)が記録されているＰＴＳフィー
ルド１３０５と、復号の時刻管理情報であるＤＴＳ（De
coding Time Stamp）が記録されているＤＴＳフィール
ド１３０６がある。

【０００７】このようなＭＰＥＧシステムストリームの
一部分を切り出して、新しいＭＰＥＧシステムストリー
ムを作成する編集システムが求められている。図１２
は、１つのＭＰＥＧシステムストリームＡから一部を切
り出して、新しいストリームＢを作成する場合を説明す
る図である。ＭＰＥＧシステムストリームＡの切り出し
範囲７０２が指定されると、範囲７０２はＭＰＥＧシス
テムストリームＡから切り出されて、新しいＭＰＥＧシ
ステムストリームＢが作成される。

【０００８】図１３は、複数のＭＰＥＧシステムストリ
ーム、ここでは２つのストリームＣ及びＤから一部を切
り出して、新しいストリームＥを作成する場合を説明す
る図である。２つのＭＰＥＧシステムストリームＣから
範囲７０６を切り出し、ＭＰＥＧシステムストリームＤ
から範囲７０７を切り出して、２つの切り出し範囲７０
６及び７０７を結合して、新しいＭＰＥＧシステムスト
リームＥを作成する。

【０００９】図１４は、ＭＰＥＧシステムストリームを
編集する編集装置の構成を示した図である。編集装置
は、画像データを再生するディスプレイや音声データを
再生するスピーカなどの再生装置１２０２、キーボード
やマウスのような使用者が編集点を指定するための入力
装置１２０３、使用者の要求に応じて符号化ストリーム
を編集する編集装置１２０４、及び符号化ストリームを
記憶するハードディスクドライブやＭＯなどの記録装置
１２０５を備える。

【００１０】記録装置１２０５に記憶された符号化スト
リームは、編集装置１２０４を通じて再生装置１２０２
上に再生される。そして、再生装置１２０２に符号化デ
ータが表示された状態で、使用者が入力装置１２０３を
通じて編集の切り出し位置を指定することにより、切り
出し範囲が決定される。切り出し範囲を切り出し、新し
いＭＰＥＧストリームを作成し、記録装置１２０５へ書
き込む。

【００１１】このように、ＭＰＥＧシステムストリーム
の一部の区間を指定して、新しいＭＰＥＧシステムスト
リームを作成する編集装置として、例えば、特開平１０
−５１７２９号公報がある。図１５は、特開平１０−５
１７２９号公報に開示された圧縮画像音声編集装置にお
ける、切り出し処理のフローチャートを示し、図１６
は、図１５に示されるフローチャートに従って切り出さ
れるパケットを説明するための図である。

【００１２】以下、図１５と図１６を用いて従来の技術
の切り出し編集処理について説明する。使用者が、編集
対象の映像ストリーム９２０の編集開始位置９０１及び
編集終了位置９０７を入力し、編集範囲９０４を設定す
る（Ｓ８０１）。編集装置は、設定された編集範囲９０
４から、実際に切り出し可能な範囲を決定する。すなわ
ち、編集開始位置９０１から、符号化ストリームを前方
検索してＧＯＰヘッダ９０２を検索し（Ｓ８０２）、検
索したＧＯＰヘッダ９０２の開始位置を実際の切り出し
開始位置９０５に決定し（Ｓ８０３）、実際の切り出し
開始位置９０５から蓄積順で音声データを含むパケット
９０６を音声の開始データとし（Ｓ８０４）、編集終了
位置９０７から、符号化ストリームを前方検索してＧＯ
Ｐヘッダ９０８を検索し（Ｓ８０５）、そのＧＯＰヘッ
ダの位置を実際の切り出し終了位置９１０に決定する
（Ｓ８０６）。

【００１３】決定した実際の切り出し開始位置９０５か
ら、実際の切り出し終了位置９１０まで、パケットとそ
のパケットを含むパックを記憶部に出力する（Ｓ８０
７）。実際の切り出し終了位置９１０のパケットまで出
力すると（Ｓ８０８）、実際の切り出し終了位置９１０
以降初めて現われる音声パケットを検索し（Ｓ８０
９）、その音声パケット９１１を出力する（Ｓ８１
０）。以上の処理により、符号化ストリームから実際の
切り出し範囲９０９で新しい符号化ストリームを作成す
ることができる。

【００１４】

【発明が解決しようとする課題】しかしながら、従来の
技術では、切り出しの単位をＧＯＰ単位としているた
め、使用者が指定した編集開始位置で示した画像フレー
ム９０１とは異なる画像９１２が切り出し後の開始画像
となる。また、使用者が指定した編集終了位置９０７と
は異なる画像９１３が切り出し後の終了画像となる。し
たがって、使用者が本来切り出したい画像から切り出し
を正確に行うことが出来ないため、切り出した符号化ス
トリームに必要のない画像が入っていたり、あるいは必
要な画像が入っていないという問題があった。また、先
に述べたように、ビデオストリームのＰピクチャとＢピ
クチャは、それぞれのピクチャ自身の情報だけでは、復
号が出来ないため、これらのピクチャを切り出しの開始
点とすることが出来ない。

【００１５】本発明は上記問題に鑑みてなされたもので
あり、編集の精度を画像フレーム単位とし、効率的にそ
して正確に編集できる符号化ストリーム編集装置、及び
編集方法、そして編集方法をコンピュータに実行させる
ためのプログラムを記録した記録媒体を提供することを
目的とする。

【００１６】

【課題を解決するための手段】上記目的を達成するため
に、請求項１に係る符号化ストリーム編集装置は、複数
のデータ列が多重化された符号化ストリームを編集する
符号化ストリーム編集装置であって、符号化ストリーム
の所望の範囲を１つ以上、編集範囲としてフレーム単位
で指示する編集範囲指示部と、符号化ストリームにおい
て、編集範囲に相当する各データ列の範囲を含み且つ該
編集範囲に相当する各データ列を同期再生することがで
きる範囲を、切り出し範囲としてフレーム単位で決定す
る切り出し範囲決定部と、切り出し範囲を符号化ストリ
ームから切り出して、新しい符号化ストリームを生成
し、所望の装置へ出力するストリーム出力部と、を備え
ることを特徴とするものである。

【００１７】また、請求項２に係る符号化ストリーム編
集装置は、請求項１に記載の符号化ストリーム編集装置
において、さらに、切り出し範囲のうち同期再生に不要
なデータを検出する検出部と、不要なデータを無効なデ
ータに変換するデータ無効化部と、を備えることを特徴
とするものである。

【００１８】請求項３に係る符号化ストリーム編集装置
は、請求項１又は２に記載の符号化ストリーム編集装置
において、切り出し範囲決定部が、編集範囲内のデータ
だけでは復号不可能なデータをフレーム単位で切り出し
範囲から除き、さらに、符号化ストリーム編集装置が、
復号不可能なデータを再符号化する再符号化部と、再符
号化されたデータを切り出し範囲に結合する符号化スト
リーム多重化部と、を備えることを特徴とするものであ
る。

【００１９】請求項４に係る符号化ストリーム編集装置
は、請求項１に記載の符号化ストリーム編集装置におい
て、切り出し範囲決定部が、編集範囲内のデータだけで
は復号不可能なデータをフレーム単位で切り出し範囲か
ら除き、さらに、符号化ストリーム編集装置が、復号不
可能なデータを再符号化する再符号化部と、切り出し範
囲のうち同期再生に不要なデータを検出する検出部と、
再符号化部によって再符号化されたデータのサイズが検
出部によって検出された不要なデータの領域のサイズ以
下である場合、再符号化されたデータをデータ領域に挿
入する符号化ストリーム挿入部と、再符号化部によって
再符号化されたデータのサイズが検出部によって検出さ
れた不要なデータの領域のサイズより大きい場合、ある
いは検出部によって不要なデータが検出されなかった場
合、再符号化されたデータを切り出し範囲に結合する符
号化ストリーム多重化部と、符号化ストリーム挿入部に
よってデータの挿入が行われなかった場合、不要なデー
タを無効なデータに変換するデータ無効化部と、を備え
ることを特徴とするものである。

【００２０】請求項５に係る符号化ストリーム編集装置
は、請求項１に記載の符号化ストリーム編集装置におい
て、切り出し範囲決定部が、編集範囲内のデータだけで
は復号不可能なデータをフレーム単位で切り出し範囲か
ら除き、さらに、符号化ストリーム編集装置が、復号不
可能なデータを再符号化する再符号化部と、切り出し範
囲のうち同期再生に不要なデータを検出する検出部と、
再符号化部によって再符号化されたデータを検出部によ
って検出された不要なデータの領域に挿入する符号化ス
トリーム挿入部と、再符号化されたデータが不要なデー
タの領域に入りきらない場合、余剰となるデータを切り
出し範囲に結合し、検出部によって不要なデータが検出
されない場合、再符号化されたデータを該切り出し範囲
に結合する符号化ストリーム多重化部と、符号化ストリ
ーム挿入部によってデータが挿入されない場合、不要な
データを無効なデータに変換するデータ無効化部と、を
備えることを特徴とするものである。

【００２１】また、請求項６に係る符号化ストリーム編
集装置は、請求項１から５のいずれかに記載の符号化ス
トリーム編集装置において、さらに、編集範囲の同期再
生に必要な時間情報を書き換える時間情報書換え部を備
えることを特徴とするものである。

【００２２】上記目的を達成するために、請求項７に係
る符号化ストリーム編集方法は、複数のデータ列が多重
化された符号化ストリームを編集する符号化ストリーム
編集方法であって、符号化ストリームの所望の範囲を１
つ以上、編集範囲としてフレーム単位で指示する編集範
囲指示ステップと、符号化ストリームにおいて、編集範
囲に相当する各データ列の範囲を含み且つ編集範囲に相
当する各データ列を同期再生することができる範囲を、
切り出し範囲としてフレーム単位で決定する切り出し範
囲決定ステップと、切り出し範囲を符号化ストリームか
ら切り出して、新しい符号化ストリームを生成し、所望
の装置へ出力するストリーム出力ステップと、を備える
ことを特徴とするものである。

【００２３】また、請求項８に係る符号化ストリーム編
集方法は、請求項７に記載の符号化ストリーム編集方法
において、さらに、切り出し範囲のうち同期再生に不要
なデータを検出する検出ステップと、不要なデータを無
効なデータに変換するデータ無効化ステップと、を備え
ることを特徴とするものである。

【００２４】また、請求項９に係る符号化ストリーム編
集方法は、請求項７又は８に記載の符号化ストリーム編
集方法において、切り出し範囲決定ステップが、編集範
囲内のデータだけでは復号不可能なデータをフレーム単
位で切り出し範囲から除くステップを備え、さらに、符
号化ストリーム編集方法が、復号不可能なデータを再符
号化する再符号化ステップと、再符号化されたデータを
切り出し範囲に結合する符号化ストリーム多重化ステッ
プと、を備えることを特徴とするものである。

【００２５】また、請求項１０に係る符号化ストリーム
編集方法は、請求項７に記載の符号化ストリーム編集方
法において、切り出し範囲決定ステップは、編集範囲内
のデータだけでは復号不可能なデータをフレーム単位で
切り出し範囲から除くステップを備え、さらに、符号化
ストリーム編集方法が、復号不可能なデータを再符号化
する再符号化ステップと、切り出し範囲のうち同期再生
に不要なデータを検出する検出ステップと、再符号化ス
テップによって再符号化されたデータのサイズが検出ス
テップによって検出された不要なデータの領域のサイズ
以下である場合、再符号化されたデータを該データ領域
に挿入する符号化ストリーム挿入ステップと、再符号化
ステップによって再符号化されたデータのサイズが検出
ステップによって検出された不要なデータの領域のサイ
ズより大きい場合、あるいは検出ステップによって不要
なデータが検出されなかった場合、再符号化されたデー
タを切り出し範囲に結合する符号化ストリーム多重化ス
テップと、符号化ストリーム挿入ステップによってデー
タの挿入が行われなかった場合、不要なデータを無効な
データに変換するデータ無効化ステップと、を備えるこ
とを特徴とするものである。

【００２６】また、請求項１１に係る符号化ストリーム
編集方法は、請求項７に記載の符号化ストリーム編集方
法において、切り出し範囲決定ステップが、編集範囲内
のデータだけでは復号不可能なデータをフレーム単位で
切り出し範囲から除くステップを備え、さらに、符号化
ストリーム編集方法が、復号不可能なデータを再符号化
する再符号化ステップと、切り出し範囲のうち同期再生
に不要なデータを検出する検出ステップと、再符号化ス
テップによって再符号化されたデータを検出ステップに
よって検出された不要なデータの領域に挿入する符号化
ストリーム挿入ステップと、再符号化されたデータが不
要なデータの領域に入りきらない場合、余剰となるデー
タを切り出し範囲に結合し、検出ステップによって不要
なデータが検出されない場合、該再符号化されたデータ
を切り出し範囲に結合する符号化ストリーム多重化ステ
ップと、符号化ストリーム挿入ステップによってデータ
が挿入されない場合、不要なデータを無効なデータに変
換するデータ無効化ステップと、を備えることを特徴と
するものである。

【００２７】また、請求項１２に係る符号化ストリーム
編集方法は、請求項７から１１のいずれかに記載の符号
化ストリーム編集方法において、さらに、編集範囲の同
期再生に必要な時間情報を書き換える時間情報書換えス
テップを備えることを特徴とするものである。

【００２８】また、上記目的を達成するために、請求項
１３に係る、複数のデータ列が多重化された符号化スト
リームを編集する符号化ストリーム編集方法をコンピュ
ータに実行させるためのプログラムを記録した記録媒体
は、プログラムが、符号化ストリームの所望の範囲を１
つ以上、編集範囲としてフレーム単位で指示する編集範
囲指示ステップのコードと、符号化ストリームにおい
て、編集範囲に相当する各データ列の範囲を含み且つ編
集範囲に相当する各データ列を同期再生することができ
る範囲を、切り出し範囲としてフレーム単位で決定する
切り出し範囲決定ステップのコードと、切り出し範囲を
符号化ストリームから切り出して、新しい符号化ストリ
ームを生成し、所望の装置へ出力するストリーム出力ス
テップのコードと、を備えることを特徴とするものであ
る。

【００２９】また、請求項１４に係る記憶媒体は、請求
項１３に記載の記憶媒体において、プログラムが、さら
に、切り出し範囲のうち同期再生に不要なデータを検出
する検出ステップのコードと、不要なデータを無効なデ
ータに変換するデータ無効化ステップのコードと、を備
えることを特徴とするものである。

【００３０】また、請求項１５に係る記憶媒体は、請求
項１３又は１４に記載の記憶媒体において、切り出し範
囲決定ステップのコードは、編集範囲内のデータだけで
は復号不可能なデータをフレーム単位で切り出し範囲か
ら除くステップのコードを備え、さらに、プログラム
が、復号不可能なデータを再符号化する再符号化ステッ
プのコードと、再符号化されたデータを切り出し範囲に
結合する符号化ストリーム多重化ステップのコードと、
を備えることを特徴とするものである。

【００３１】また、請求項１６に係る記憶媒体は、請求
項１３に記載の記憶媒体において、切り出し範囲決定ス
テップのコードは、編集範囲内のデータだけでは復号不
可能なデータをフレーム単位で切り出し範囲から除くス
テップのコードを備え、さらに、プログラムが、復号不
可能なデータを再符号化する再符号化ステップのコード
と、切り出し範囲のうち同期再生に不要なデータを検出
する検出ステップのコードと、再符号化ステップによっ
て再符号化されたデータのサイズが検出ステップによっ
て検出された不要なデータの領域のサイズ以下である場
合、再符号化されたデータを該データ領域に挿入する符
号化ストリーム挿入ステップのコードと、再符号化ステ
ップによって再符号化されたデータのサイズが検出ステ
ップによって検出された不要なデータの領域のサイズよ
り大きい場合、あるいは検出ステップによって不要なデ
ータが検出されなかった場合、再符号化されたデータを
切り出し範囲に結合する符号化ストリーム多重化ステッ
プのコードと、符号化ストリーム挿入ステップによって
データの挿入が行われなかった場合、不要なデータを無
効なデータに変換するデータ無効化ステップのコードと
を備えることを特徴とするものである。

【００３２】また、請求項１７に係る記憶媒体は、請求
項１３に記載の記憶媒体において、切り出し範囲決定ス
テップのコードは、編集範囲内のデータだけでは復号不
可能なデータをフレーム単位で切り出し範囲から除くス
テップのコードを備え、さらに、プログラムが、復号不
可能なデータを再符号化する再符号化ステップのコード
と、切り出し範囲のうち同期再生に不要なデータを検出
する検出ステップのコードと、再符号化ステップによっ
て再符号化されたデータを検出ステップによって検出さ
れた不要なデータの領域に挿入する符号化ストリーム挿
入ステップのコードと、再符号化されたデータが不要な
データの領域に入りきらない場合、余剰となるデータを
切り出し範囲に結合し、検出ステップによって不要なデ
ータが検出されない場合は、再符号化されたデータを該
切り出し範囲に結合する符号化ストリーム多重化ステッ
プのコードと、符号化ストリーム挿入ステップによって
データが挿入されない場合、不要なデータを無効なデー
タに変換するデータ無効化ステップのコードと、を備え
ることを特徴とするものである。

【００３３】また、請求項１８に係る記憶媒体は、請求
項１３から１７のいずれかに記載の記憶媒体において、
プログラムが、さらに、編集範囲の同期再生に必要な時
間情報を書き換える時間情報書換えステップを備えるこ
とを特徴とするものである。

【００３４】

【発明の実施の形態】以下、図面を用いて、本発明の実
施の形態について説明する。なお、全図を通じて同様の
構成には、同一符号を付与する。図１は、本実施の形態
による符号化ストリーム編集装置の構成を示すブロック
図である。編集対象として映像データと音声データとが
多重化されたＭＰＥＧシステムストリームを例に挙げ
て、以下、本実施の形態による符号化ストリーム編集装
置について説明する。

【００３５】符号化ストリーム編集装置１２０には、外
部から使用者が入力した編集したい範囲１つ以上を受け
て、編集範囲をフレーム単位で指示する編集範囲指示部
１０１、編集範囲に相当する符号化ストリーム中の映像
データ及び音声データの区間を含み且つ編集範囲の映像
及び音声を同期再生することができる範囲を切り出し範
囲としてフレーム単位で決定する切り出し範囲決定部１
０２、切り出し範囲を符号化ストリームから切り出し
て、新しい符号化ストリームを生成し、出力するストリ
ーム出力部１０３が備えられている。

【００３６】符号化ストリーム編集装置１２０は、編集
対象となる符号化ストリームを記録しているハードディ
スクドライブや光ディスクのような記録装置１４０、及
び、符号化ストリーム編集装置１２０を搭載可能なＭＰ
ＥＧ処理装置のメモリ１４１と接続している。符号化ス
トリーム編集装置１２０は、使用者の指示する編集範囲
に従い、記録装置１４０に記録されている符号化ストリ
ームから新しいストリームを作成し、記録装置１４０に
記録する。

【００３７】さらに、符号化ストリーム編集装置１２０
は、編集範囲とできるだけ同じ再生信号、好ましくは編
集範囲と同じ再生信号を得るために、切り出し範囲のう
ち同期再生に不要なデータを検出する検出部１０８、及
び検出部１０８によって検出された不要なデータを無効
なデータに変換するデータ無効化部１０４を備える。

【００３８】また、編集範囲とできるだけ同じ再生信
号、好ましくは編集範囲と同じ再生信号を得るために、
切り出し範囲決定部１０２は、編集範囲内のデータだけ
では復号不可能なデータをフレーム単位で切り出し範囲
から除き、符号化ストリーム編集装置１２０は、さら
に、復号不可能なデータを再符号化する再符号化部１０
５と、再符号化されたデータを切り出し範囲に結合する
符号化ストリーム多重化部１０６と、検出部１０８によ
って検出された不要なデータの領域に再符号化されたデ
ータを挿入する符号化ストリーム挿入部１１０を備え
る。

【００３９】また、符号化ストリーム編集装置１２０
は、使用者が編集したい所望の範囲が複数の場合、各編
集範囲の再生出力と復号の時間を記録した時刻管理情報
とが連続になるように、ＭＰＥＧシステムストリームの
同期再生に必要な時間情報を変換する時間情報書換え部
１０７を備える。

【００４０】図２は、本実施の形態による符号化ストリ
ーム編集装置１２０をプログラムとして実現する場合
の、ハードウェア構成の一例を示した図である。図２に
おけるハードウェアの構成では、システムプログラムに
したがって端末の各種動作を制御するＣＰＵ１００５、
ディスプレイ１００１やスピーカ１００８のような再生
装置、ビデオＲＡＭ１００２、マウス１００３、キーボ
ード１００４、主記憶装置１００６、及び外部記憶装置
１００７がバス１００９を通じて互いに接続されてい
る。

【００４１】ビデオＲＡＭ１００２は、ディスプレイ１
００１に表示する画像データを記憶する。キーボード１
００４は、キーボード１００４上のキーが操作される
と、その操作キーに対応するキーのコードをＣＰＵ１０
０５に与える。マウス１００３は、マウス１００３上の
ボタンが操作されると、そのボタンに対応するコードを
ＣＰＵ１００５に与え、マウス１００３が移動すると、
その移動に対応したコードをＣＰＵ１００５に与える。

【００４２】図２では、図１に示す「外部からの入力」
は使用者がマウス１００３やキーボード１００４を使っ
て入力することによって実現され、メモリ１４１は主記
憶装置１００６に該当する。また、符号化ストリーム編
集装置１２０は、外部記憶装置１００７に格納された編
集処理用プログラムが主記憶装置１００６に読み出さ
れ、ＣＰＵ１００５がプログラムに従って編集処理を行
うことによって、実現される。

【００４３】次に、符号化ストリーム編集装置の動作の
一例について説明する。ここで取り上げる符号化ストリ
ーム編集装置では、符号化ストリーム挿入部１１０は、
再符号化部によって再符号化されたデータを検出部１０
８によって検出された不要なデータの領域に挿入し、符
号化ストリーム多重化部１０６は、データサイズが大き
すぎて符号化ストリーム挿入部１１０によって挿入しき
れなかった余剰の再符号化データを、あるいは、検出部
１０８によって不要なデータが検出されなかったために
切り出し範囲に挿入されなかった再符号化データを、切
り出し範囲に結合し、データ無効化部１０４が、符号化
ストリーム挿入部によってデータの挿入が行われなかっ
た場合、不要なデータを無効なデータに変換するものと
する。

【００４４】図３は、符号化ストリーム編集装置１２０
の概略した処理手順を示したフローチャートである。使
用者が切り出し編集を行いたい編集範囲を、マウス１０
０３やキーボード１００４から編集装置１２０へ指示す
る（Ｓ２０１）。編集装置１２０は、指示された編集範
囲から、編集対象の符号化ストリームから実際に切り出
し編集を行う範囲を決定する（Ｓ２０２）。編集対象の
符号化ストリームから、実際に切り出し編集を行う範囲
の符号化ストリームを切り出して、ＭＰＥＧ規格に準拠
した独立した新たな符号化ストリームを生成する（Ｓ２
０３）。編集対象が複数存在する場合には（Ｓ２０
４）、Ｓ２０２からの処理を繰り返す。

【００４５】（編集範囲指示ステップＳ２０１）ステッ
プＳ２０１についてさらに詳しく説明する。使用者は、
記録装置１４０に記録された編集対象となるＭＰＥＧス
トリームをディスプレイ１００１やスピーカ１００８な
どの再生装置で再生しながら、編集を開始したい画像フ
レームの表示中に、編集開始点を入力する。編集開始点
の入力は、例えばマウス１００３のボタンを押したり、
キーボード１００４のキー操作などにより行われる。使
用者が編集開始点を入力すると、編集装置１２０の編集
範囲指示部１０１は、編集開始点入力の際にディスプレ
イ１００１に表示されている画像の画像フレームの位置
情報を、編集開始画像フレームの位置として取得する。
同様の処理により、使用者が編集を終了したい編集終了
点を入力すると、編集範囲指示部１０１は、編集終了画
像フレームの位置情報を取得する。

【００４６】位置情報は、例えば、符号化ストリームの
先頭からのバイト位置やビデオＣＤやＤＶＤなどの光デ
ィスクのＴＯＣ（Table Of Contents）エリアに書かれ
た再生開始点の情報のＴＯＣ情報で示される。以上の処
理で使用者の設定した編集開始画像フレームの位置情報
と編集終了画像フレームの位置情報、および編集対象の
ファイル名が、切り出し範囲決定部１０２に送られる。
また、符号化ストリームから複数の編集区間を切り出
し、切り出された編集区間を連結する連結編集を行う場
合、メモリ１４１に連結編集する編集区間の位置情報を
記憶させる。

【００４７】（切り出し範囲決定ステップＳ２０２）図
４は、切り出し範囲決定ステップＳ２０２のさらに詳細
な処理手順を示すフローチャートである。図５は、符号
化ストリームからの画像フレームの切り出しを説明する
図である。図中のＩはＩピクチャ、ＰはＰピクチャ、Ｂ
はＢピクチャを表しており、それぞれに付加されている
０、１、２、…、の数値はピクチャが再生される順序を
表している。

【００４８】図５（ａ）は、符号化ストリームの画像フ
レームを蓄積順と再生順に並べた図である。図５（ｂ）
は、図５（ａ）のＩ２ピクチャが編集開始画像フレーム
である場合の、切り出し前と切り出し後のフレームの並
びを示す図である。図５（ｃ）は、図５（ａ）のＰ５ピ
クチャが編集開始画像フレームである場合の、切り出し
前と切り出し後のフレームの並びを示す図である。図５
（ｄ）は、図５（ａ）のＢ１ピクチャが編集開始画像フ
レームである場合の、切り出し前と切り出し後のフレー
ムの並びを示す図である。図５（ｅ）は、図５（ａ）の
Ｉ２ピクチャが編集終了画像フレームである場合の、切
り出し前と切り出し後のフレームの並びを示す図であ
る。図５（ｆ）は、図５（ａ）のＰ５ピクチャが編集終
了画像フレームである場合の、切り出し前と切り出し後
のフレームの並びを示す図である。図５（ｇ）は、図５
（ａ）のＢ４ピクチャが編集終了画像フレームの場合
の、切り出し前と切り出し後のフレームの並びを示す図
である。なお、図５（ｂ）〜（ｇ）中でのピクチャの並
びは、全て蓄積順である。

【００４９】以下、図４および図５を用いて切り出し範
囲決定ステップＳ２０２の詳細な説明を行う。ステップ
Ｓ４０１において、符号化ストリームの切り出しを開始
する際に再符号化が必要となる画像フレームを、切り出
し範囲決定部１０２が決定する。記録装置１４０から編
集開始画像フレームを読み出し、編集開始画像フレーム
のピクチャの種類を判断する。読み出された編集開始画
像フレームがＩピクチャの場合、Ｉピクチャは単独で復
号できるため、再符号化の必要はなく、再符号化画像は
ない。編集開始画像フレームがＰピクチャの場合、Ｐピ
クチャは単独で復号することができないため、そのＰピ
クチャを再符号化するピクチャとして決定し、位置情報
をメモリ１４１に記憶する。編集開始画像フレームがＢ
ピクチャの場合、Ｂピクチャは単独で復号化できないた
め、再生順でそのＢピクチャからＩまたはＰピクチャが
現われるまでの区間に含まれるＢピクチャは再符号化が
必要となり、該当するＢピクチャを再符号化するピクチ
ャとして決定し、位置情報をメモリ１４１に記憶する。

【００５０】Ｓ４０２において、符号化ストリームを切
り出す際に、符号化ストリームに蓄積された画像フレー
ムのうち、再符号化せずにそのまま切り出して、新しく
生成される符号化ストリームに再利用できる画像フレー
ム群の先頭位置（以下、再利用開始画像）を決定する。

【００５１】（１）編集開始画像フレームがＩピクチャ
の場合について説明する。再生順でＩ２ピクチャを編集
開始画像フレームとすると、図５（ａ）より、Ｉ２、Ｂ
３、Ｂ４、…の順序で再生されることがわかる。Ｉピク
チャは単独で復号できるため、図５（ｂ）に示すよう
に、編集開始画像フレームであるＩ２ピクチャを再利用
開始画像に決定する。再利用開始画像よりも後のストリ
ームには、Ｂ０ピクチャおよびＢ１ピクチャが含まれて
いるが、Ｂ０ピクチャおよびＢ１ピクチャは、Ｉ２ピク
チャよりも再生順では前の画像フレームであり、切り出
し後にＩ２ピクチャから再生する場合には、再生される
ことのないピクチャ、すなわち不要なデータである。そ
こで、再利用開始画像を決定したときに、検出部１０８
によって不要なデータ、すなわち、蓄積順で再利用開始
画像よりも後ろにあるが、再生順では再生されないデー
タ（以下、非再生データ）を検出し、検出された非再生
データの位置をメモリ１４１に記憶しておく。

【００５２】（２）編集開始画像フレームがＰピクチャ
の場合について説明する。Ｐ５ピクチャを編集開始画像
フレームとすると、図５（ａ）より、Ｐ５、Ｂ６，Ｂ
７、Ｐ８…の順序で再生されるが、Ｓ４０１の処理によ
りＰ５は再符号化が必要になることがわかる。よって図
５（ｃ）に示すように、蓄積順で編集開始画像フレーム
の次のＩまたはＰピクチャ、ここではＰ８ピクチャを再
利用開始画像に決定する。

【００５３】（３）編集開始画像フレームがＢピクチャ
の場合について説明する。Ｂ１が編集開始画像フレーム
とすると、図５（ａ）より、Ｂ１、Ｉ２、Ｂ３…の順序
で再生されるが、Ｓ４０１の処理によりＢ１は再符号化
が必要なことがわかる。したがって図５（ｄ）に示すよ
うに、蓄積順でＢ１ピクチャの前のＩまたはＰピクチ
ャ、ここではＩ２ピクチャを再利用開始画像に決定す
る。ここで、図５（ｄ）の切り出し後のストリームにお
いて、Ｂ０は再生されないデータであり、またＢ１は再
符号化されるため、再生には用いられないデータであ
る。したがって、検出部１０８によりＢ０、Ｂ１の位置
情報を検出し、検出された位置情報は非再生データの位
置情報として、メモリ１４１に記憶される。以上の処理
が画像フレームの再利用開始画像の決定の処理である
（Ｓ４０２）。

【００５４】次に、編集開始画像フレームの再生時間情
報と最も近い再生時間情報をもつ音声データを符号化ス
トリームから検索し、検索した音声データを同期再生す
る音声データ（以下、先頭同期再生音声）に決定する。
再生時間情報は、符号化ストリームが図１１に示すパケ
ット構成であるパックの場合、パケットヘッダ１３０８
のＰＴＳフィールド１３０５から取得できる（Ｓ４０
３）。

【００５５】図６は、Ｓ４０４、及び後述のＳ４０８を
より詳細に説明するための図である。図６には、先頭同
期再生音声データを含む音声パケット３０１、画像パケ
ット３０２、３０３、３０６、３０７、再利用開始画像
位置の画像パケット３０４、編集終了画像位置の画像パ
ケット３０５、終端同期再生音声を含む音声パケット３
０８を含む符号化ストリームの例が示されている。Ｓ４
０４では、Ｓ４０２で決定した再利用開始画像とＳ４０
３で決定した先頭同期再生音声の位置情報とを比較し
て、蓄積順序で前にあるデータを、符号化ストリームの
切り出し開始位置に決定し、メモリ１４１に記憶する。
例えば、図６では、先頭同期再生音声を含む音声パケッ
ト３０１が再利用開始画像を含んだ画像パケット３０４
よりも蓄積順で前にあるため、先頭同期再生音声３０１
の開始位置が、符号化ストリームの切り出し開始位置と
して決定される。この時に、音声パケット３０１と画像
パケット３０４との間にある画像パケット３０２、３０
３に多重化されている画像フレームは、音声パケット３
０１から切り出した場合に符号化ストリームとして出力
されるが、再利用開始画像よりも前にあり、再生される
ことのないデータ（以下、不要データ）を含んでいる。
したがって、検出部１０８によりパケット３０２、３０
３の不要データの位置情報もメモリ１４１に記憶する。
以上Ｓ４０１〜Ｓ４０４により、切り出し開始位置が決
定される。

【００５６】続いて、切り出し終了位置の決定処理に移
る。編集終了画像フレームの位置から符号化ストリーム
を切り出す際に、再符号化が必要となる画像フレームを
決定する。編集終了画像フレームがＩピクチャの場合、
再符号化する画像フレームは存在しない。編集終了画像
フレームがＰピクチャの場合、再符号化する画像フレー
ムは存在しない。編集終了画像フレームがＢピクチャの
場合、蓄積順でそのＢピクチャから次のＩまたはＰピク
チャの間に現われるＢピクチャを再符号化画像フレーム
の位置情報としてメモリ１４１に記憶する（Ｓ４０
５）。

【００５７】次に、符号化ストリームの画像フレームの
うち、再符号化せずに、そのまま切り出して、新しく生
成される符号化ストリームに再利用できる画像フレーム
群の最後のフレーム位置（以下、再利用終了画像とい
う）を決定する（Ｓ４０６）。

【００５８】（１）編集終了画像フレームがＩピクチャ
の場合について説明する。Ｉ２ピクチャを編集終了画像
フレームとすると、図５（ａ）より、Ｂ０、Ｂ１、Ｉ２
の順序で再生されることがわかる。従って、図５（ｅ）
に示すように、編集終了画像フレームのＩピクチャか
ら、次のＩピクチャまたはＰピクチャまでの間のＢピク
チャのうち、最後のＢピクチャ、ここではＢ１を再利用
終了画像に決定する。Ｂピクチャが１枚もない場合は、
編集終了画像フレームのＩピクチャ自身が再利用終了画
像となる。

【００５９】（２）編集終了画像フレームがＰピクチャ
の場合について説明する。Ｐ５ピクチャを編集終了画像
フレームとすると、図５（ａ）より、Ｂ３、Ｂ４、Ｐ５
の順序で再生されることがわかる。したがって、図５
（ｆ）に示すように、Ｉピクチャと同様、蓄積順で編集
終了画像フレームのＰピクチャから、次のＩピクチャま
たはＰピクチャまでの間のＢピクチャのうち、最後に蓄
積されているＢピクチャ、ここではＢ４を、再利用終了
画像に決定する。Ｂピクチャが１枚もない場合は、編集
終了画像フレームのＰピクチャ自身が再利用終了画像と
なる。

【００６０】（３）編集終了画像フレームがＢピクチャ
の場合について説明する。Ｂ４ピクチャを編集終了画像
フレームとすると、図５（ａ）より、Ｂ０、Ｂ１、Ｉ
２、Ｂ３、Ｂ４の順序で再生されるが、Ｓ４０５の処理
によりＢ３、Ｂ４は再符号化が必要になることがわか
る。したがって図５（ｇ）に示すように、蓄積順で編集
終了画像フレームより前のＩまたはＰピクチャの、その
直前の画像フレームであるＢ１ピクチャを再利用終了画
像と決定する。以上の処理が、Ｓ４０６の処理である。

【００６１】次に、Ｓ４０３と同様、編集終了画像フレ
ームの再生時間情報と最も近い再生時間情報をもつ音声
データを符号化ストリームから検索し、検索した音声デ
ータを同期再生する音声データ（以下、終端同期再生音
声）に決定する（Ｓ４０７）。

【００６２】Ｓ４０８へすすみ、Ｓ４０６で決定した再
利用終了画像とＳ４０７で決定した終端同期再生音声の
位置情報とを比較して、蓄積順序で後ろにあるデータ
を、符号化ストリームの切り出し終了位置に決定し、メ
モリ１４１に記憶する。

【００６３】図６を用いて、Ｓ４０８についてさらに詳
細に説明する。終端同期再生音声を含む音声パケット３
０８が、再利用終了画像を含む画像パケット３０５より
も蓄積順で後ろにあるため、終端同期再生音声を含む音
声パケット３０８を、符号化ストリームの切り出し終了
位置として決定する。再利用終了画像よりも後ろにある
画像パケット３０６、３０７に多重化された画像フレー
ムは、Ｓ４０４の処理と同様に、不要データとしてその
位置情報が記録される（Ｓ４０８）。以上Ｓ４０５〜Ｓ
４０８の処理により、切り出し終了位置が決定される。

【００６４】Ｓ４０１とＳ４０５で決定した再符号化が
必要な画像フレームを、切り出したあとの符号化ストリ
ームだけで再生可能となるように、再符号化部１０５に
より、一旦復号化し、復号化したデータから再符号化し
て、新しい画像フレームを作成して、メモリ１４１に記
憶する。なお、複数の再符号化が必要な画像フレームが
ある場合は、ＩＰＰＰ…、あるいはＩＩＩ…、ＩＰＢＢ
Ｐ…などのようにＭＰＥＧビデオストリームに準拠した
ストリームであればよい（Ｓ４０９）。以上が、切り出
し範囲決定ステップＳ２０２の説明である。

【００６５】（ストリーム出力ステップＳ２０３）図
７、図８、及び図９を参照しながらステップＳ２０３に
ついて詳細に説明する。図７は、ストリーム出力ステッ
プＳ２０３をより詳細に示したフローチャートである。
図８は、切り出し開始側のデータから生成される新しい
符号化ストリームを説明する図で、切り出し開始側にあ
る４つのパック１１２３〜１１２６の各構成を示す。図
９は、切り出し終了側のデータから生成される新しい符
号化ストリームを説明する図で、切り出し終了側にある
４つのパック１１２８〜１１３１の各構成を示す。

【００６６】まず、図８及び図９に共通する、各図の１
段目及び２段目に示されたストリームの構成について説
明する。各図１段目に示されているように、符号化スト
リームの編集範囲を、パック１１２３からパック１１３
０までと仮定し、パック１１２３は、切り出し開始位置
のデータを含むパック、パック１１３０は切り出し終了
のデータを含むパックとする。また、データ１１１０、
１１１１、１１１９,１１２２は、ステップＳ４０９で
再符号化された再符号化データを表す。パック１１３１
については後述する。各パック１１２３〜１１３１に
は、各図２段目に示されているように、パックヘッダと
パケットがそれぞれ含まれている。

【００６７】図８の３段目を参照しながら、切り出す前
のパック１１２３〜１１２６の構成例について説明す
る。パック１１２３は、パックヘッダ、パケットヘッ
ダ、先頭同期再生音声のＡＡＵ１１０１、及び、ＡＡＵ
１１０２、１１０３を含む音声データである。パック１
１２４は、パックヘッダ、パケットヘッダ、不要データ
１１０４を含む画像データである。パック１１２５は、
パックヘッダ、パケットヘッダ、不要データ１１０５、
及び再利用開始画像のピクチャヘッダ１１０６を含む画
像データである。パック１１２６は、パックヘッダ、パ
ケットヘッダ、及び非再生データ１１０７を含む画像デ
ータである。

【００６８】図９の３段目を参照しながら、切り出す前
のパック１１２８〜１１３０の構成例について説明す
る。パック１１２８は、パックヘッダ、パケットヘッ
ダ、及び、再利用終了画像のピクチャヘッダ１１１４を
含む画像データである。パック１１２９は、パックヘッ
ダ、パケットヘッダ、不要データ１１１３を含む画像デ
ータである。パック１１３０は、パックヘッダ、パケッ
トヘッダ、ＡＡＵ１１１５、終端同期再生音声のＡＡＵ
１１１６、及び、不要データ１１１７を含む音声データ
である。

【００６９】以下、図７、図８、及び図９を用いて、ス
トリーム出力ステップＳ２０３を説明する。まず、スト
リーム出力部１０３は、新しく生成される符号化ストリ
ームの先頭側に付される再符号化画像フレームのデータ
１１１０、１１１１のサイズと、再符号化画像フレーム
データ１１１０、１１１１に付加されるＭＰＥＧビデオ
ストリームに準拠するヘッダ（以下、ＭＰＥＧビデオヘ
ッダ）のサイズとの合計と、再利用開始画像のピクチャ
ヘッダ１１０６より前に存在する不要データ１１０４お
よび１１０５のデータサイズとを比較し、再符号化画像
フレーム１１１０、１１１１を挿入できるかを判定する
（Ｓ５０１）。挿入できる場合はステップＳ５０３へす
すむ。挿入できない場合はステップＳ５０２へすすむ。

【００７０】ステップＳ５０２では、切り出し開始位置
を含むパック１１２３を記録装置１４０へ出力する前
に、符号化ストリーム多重化部１０６が、挿入できない
余剰の再符号化画像フレームをＭＰＥＧビデオストリー
ムに準拠した符号化ストリームとしてパケットに挿入
し、さらにパックに多重化し、ストリーム出力部１０３
を介して記憶装置１４０に出力する。なお、再符号化画
像フレームのデータのサイズは、挿入したサイズ分減じ
られて管理される。

【００７１】次に、記録装置１４０に格納された符号化
ストリームから切り出し範囲をメモリ１４１に読み込む
（Ｓ５０３）。読み込みは、切り出し開始位置に決定し
たパケットを含むパック１１２３から、パック単位で行
う。

【００７２】ストリーム出力部１０３は、読み込まれた
パックがステップＳ２０２で不要データ及び非再生デー
タとしてメモリ１４１に記憶されたパックであるか否か
を判定する（ステップＳ５０４）。読み込まれたパック
がメモリ１４１に記憶されていれば、後述するＳ５０１
０〜Ｓ５０１８の処理を実行し、メモリ１４１に記憶さ
れていなければ、ステップＳ５０１６へすすむ。

【００７３】Ｓ５０１６では、ステップＳ２０１で記憶
された連結編集を行う編集区間であるか否かを判定す
る。連結編集をする場合、時間情報書き換え部１０７に
より、連結する符号化ストリームの時刻基準参照値と再
生出力の時刻管理情報および復号の時刻管理情報とが、
複数指定した編集区間のうち、先頭の符号化ストリーム
の時刻基準参照値からの連続した値となるように、パッ
クヘッダ１３０２のＳＣＲフィールド１３０４の値を書
き換える（Ｓ５０１７）。また、時間情報書き換え部１
０７により、パケットに含まれるＭＰＥＧビデオストリ
ーム及びＭＰＥＧオーディオストリームの再生時間情報
および復号時間情報であるパケットヘッダ１３０８のＰ
ＴＳフィールド１３０５とＤＴＳフィールド１３０６を
書き換え（Ｓ５０１８）、ステップＳ５０５へすすむ。

【００７４】ステップＳ５０５では、メモリ１４１に記
憶しているパックおよびパケットを記録装置１４０へ出
力する（Ｓ５０５）。Ｓ５０６で、切り出し終了位置１
１３０であるか否かを判断し、切り出し終了位置１１３
０が検出されるまで、ステップＳ５０３からステップＳ
５０５までの処理を繰り返す。切り出し終了位置１１３
０が含まれるパックを出力した後、Ｓ４０５で決定され
た、切り出し終了側に付加される再符号化画像フレーム
のデータが残っているかを判定する（Ｓ５０７）。

【００７５】再符号化画像フレームのデータが残ってい
る場合は、符号化ストリーム多重化部１０６により、残
っている再符号化画像フレームのデータをＭＰＥＧビデ
オストリームに準拠した符号化ストリームとしてパケッ
トに挿入し、さらに新たに作成したパック１１３１に多
重化して、パック１１３１を記録装置１４０に出力する
（Ｓ５０８）。図９では、再符号化画像データ１１１９
のうち不要データ１１１３の領域に入りきれないデータ
１１１９−１と、再符号化画像データ１１２２とがパッ
ク１１３１に多重化されている。

【００７６】図１０は、ステップＳ２０２でメモリ１４
１に記憶されたパックに対して行う一連の処理のフロー
チャートである。図８、９を参照しながら、図１０のフ
ローチャートについて説明する。メモリ１４１に記憶し
た情報より、不要データがあるかを判定し（Ｓ５０１
０）、不要データがあると判定された場合、さらに再符
号化画像データがあるかを判定する（Ｓ５０１１）。不
要データがないと判定された場合は、ステップＳ５０１
４へすすむ。ステップＳ５０１１において再符号化画像
データがないと判定された場合は、不要データ部分をデ
ータ無効化部１０４により、パディングパケットに変換
する。パディングパケットとは、ＭＰＥＧストリームの
再生時にデコーダによって捨てられるデータである（Ｓ
５０１２）。

【００７７】ステップＳ５０１１において再符号化画像
データがあると判定された場合は、符号化ストリーム挿
入部１１０により、不要データ部分に再符号化画像デー
タを挿入する（Ｓ５０１３）。例えば、図８の３段目で
は、パック１１２４には不要データ１１０４、パック１
１２５には不要データ１１０５が含まれているので、パ
ック１１２４の不要データ１１０４部分に、再符号化画
像フレームのデータ１１１０とＭＰＥＧビデオヘッダ１
１０８とを挿入し、パック１１２５の不要データ１１０
５部分に、再符号化画像フレームのデータ１１１１とＭ
ＰＥＧビデオヘッダ１１０９とを挿入する。再符号化画
像フレームのデータのサイズは、挿入したサイズ分減じ
られて管理される。なお、再符号化画像データには、切
り出しの先頭部分に挿入する画像データと切り出しの終
端部分に挿入する画像データがあるが、先頭の部分の画
像データを挿入した後、パック１１２４、１１２５にま
だ挿入できるサイズがあったとしても、先頭の不要デー
タ部分には、終端側の再符号化画像データ１１１９、１
１２２を挿入しない。また、不要データ１１０４の領域
に、再符号化データ１１１０とヘッダ１１０８とを挿入
しても、データ領域が余る場合は、再符号化データ１１
１１とヘッダ１１０８とをその余った部分に挿入しても
よい。

【００７８】次に、非再生データがあるかを判定する
（Ｓ５０１４）。非再生データがある場合には、非再生
データ部分をデータ無効化部１０４によりパディングパ
ケットに変換する。パック１１２６は、非再生データ１
１０７を含むので、非再生データ１１０７と同じサイズ
でパディングパケット１１１２を作成し、非再生データ
部分に挿入する（Ｓ５０１５）。

【００７９】以上説明した処理により、使用者が指示し
たＭＰＥＧストリームの編集範囲を画像フレーム単位で
編集し、独立して再生可能な新たなＭＰＥＧストリーム
を生成することができ、効率的にそして正確に符号化ス
トリームを編集することができる。

【００８０】なお、符号化ストリーム編集装置が実装さ
れるデバイスあるいはシステムによって、符号化ストリ
ーム編集装置は、上述の構成をすべて備える必要はな
い。例えば、編集対象として予測符号化が用いられてい
ないデータ列を扱う場合（例えば、すべてＩピクチャで
構成された映像データの場合）、符号化ストリーム編集
装置は、少なくとも、編集範囲指示部１０１、切り出し
範囲決定部１０２、ストリーム出力部１０３、を備えて
いればよい。この場合、編集範囲とできるだけ同じ再生
信号を、好ましくは編集範囲と同じ再生信号を得るため
に、符号化ストリーム編集装置に、不要なデータ部分を
検出する検出部１０８と無効データ化部で無効化するデ
ータ無効化部１０４とを設けてもよい。

【００８１】また、例えば、上述の実施の形態におい
て、検出部１０８によって検出された不要なデータ部分
は全て、データ無効化部１０４により無効化され、再符
号化部１０５によって再符号化されたデータは全て、符
号化ストリーム多重化部１０６によって切り出し範囲に
結合されるように設定し、符号化ストリーム挿入部１１
０を構成要素から外してもよい。また、例えば、検出部
１０８によって検出された不要なデータ部分が検出され
ると、再符号化部１０５によって再符号化されたデータ
は、符号化ストリーム挿入部１１０によって不要なデー
タ部分に挿入され、挿入できなかった余剰データは、符
号化ストリーム多重化部１０６によって切り出し範囲に
結合されるように設定してもよい。

【００８２】なお、本実施の形態では、使用者が、編集
の開始位置、および編集の終了位置として画像フレーム
を指示した場合について説明してきたが、使用者は、音
声フレームを編集範囲として指示することもできる。ま
た、映像データ及び音声データを多重化したＭＰＥＧシ
ステムストリームを編集対象としたが、編集対象はそれ
に限らず、例えば、複数のデータ列を多重化したマルチ
メディアデータを編集対象とすることができる。また、
ストリーム出力部１０３が出力する符号化ストリームの
記録先を記録装置としたが、例えばイーサネットなどで
構成されるネットワークで接続された、他の装置であっ
てもかまわない。また、編集範囲の指示においては、編
集したいＭＰＥＧストリームに対して複数の範囲を指示
してもかまわない。もちろん、編集したいＭＰＥＧスト
リームが複数であってもよい。

【００８３】さらに、本実施の形態では、時間情報書き
換え部１０７は、複数の編集範囲を連結する際に、各編
集範囲の再生出力と復号の時間を記録した時刻管理情報
とが連続になるように、時間情報を書き換えたが、編集
範囲が１つの場合でも、時間情報を書き換える必要性が
あれば、時間情報の書き換えを行うことができる。

【００８４】また、本実施の形態では、符号化ストリー
ムの編集処理を符号化ストリーム編集装置というハード
ウェアで実現した場合について説明したが、符号化スト
リーム編集装置が実現する機能の一部あるいはその全体
は、所定のプログラムデータが格納された記憶装置（Ｒ
ＯＭ、ＲＡＭ、ハードディスクなど）と、当該プログラ
ムデータを実行するＣＰＵとによって実現できることは
いうまでもない。この場合、各プログラムデータは、Ｃ
Ｄ−ＲＯＭやフロッピーディスクなどの記録媒体、ある
いはネットワークを介して導入されてもよい。

【００８５】

【発明の効果】以上説明したように、本発明は、複数の
データ列が多重化された符号化ストリームを編集する符
号化ストリーム編集装置であって、符号化ストリームの
所望の範囲を１つ以上、編集範囲としてフレーム単位で
指示する編集範囲指示部と、符号化ストリームにおい
て、編集範囲に相当する各データ列の範囲を含み且つ該
編集範囲に相当する各データ列を同期再生することがで
きる範囲を、切り出し範囲としてフレーム単位で決定す
る切り出し範囲決定部と、切り出し範囲を符号化ストリ
ームから切り出して、新しい符号化ストリームを生成
し、所望の装置へ出力するストリーム出力部と、を備え
る。

【００８６】また、本発明は、複数のデータ列が多重化
された符号化ストリームを編集する符号化ストリーム編
集方法であって、符号化ストリームの所望の範囲を１つ
以上、編集範囲としてフレーム単位で指示する編集範囲
指示ステップと、符号化ストリームにおいて、編集範囲
に相当する各データ列の範囲を含み且つ該編集範囲に相
当する各データ列を同期再生することができる範囲を、
切り出し範囲としてフレーム単位で決定する切り出し範
囲決定ステップと、切り出し範囲を符号化ストリームか
ら切り出して、新しい符号化ストリームを生成し、所望
の装置へ出力するストリーム出力ステップと、を備え
る。

【００８７】また、本発明は、複数のデータ列が多重化
された符号化ストリームを編集する符号化ストリーム編
集方法をコンピュータに実行させるためのプログラムを
記録した記録媒体であって、プログラムは、符号化スト
リームの所望の範囲を１つ以上、編集範囲としてフレー
ム単位で指示する編集範囲指示ステップのコードと、符
号化ストリームにおいて、編集範囲に相当する各データ
列の範囲を含み且つ該編集範囲に相当する各データ列を
同期再生することができる範囲を、切り出し範囲として
フレーム単位で決定する切り出し範囲決定ステップのコ
ードと、切り出し範囲を符号化ストリームから切り出し
て、新しい符号化ストリームを生成し、所望の装置へ出
力するストリーム出力ステップのコードと、を備える。

【００８８】従って、本発明によれば、使用者が指示し
た編集範囲を画像フレーム単位で正確に切り出しを行
い、符号化ストリームの一部、あるいは複数の符号化ス
トリームの一部を連結して出力することにより、使用者
が指示した編集範囲の独立して再生可能な新たな符号化
ストリームの生成することができ、効率的にそして正確
に符号化ストリームを編集することができる。

【図面の簡単な説明】

【図１】本実施の形態による符号化ストリーム編集装置
の構成を示すブロック図である。

【図２】本実施の形態による符号化ストリーム編集装置
１２０をプログラムとして実現する場合の、ハードウェ
ア構成の一例を示した図である。

【図３】符号化ストリーム編集装置１２０の概略した処
理手順を示したフローチャートである。

【図４】切り出し範囲決定ステップＳ２０２のさらに詳
細な処理手順を示すフローチャートである。

【図５】符号化ストリームからの画像フレームの切り出
しを説明する図である。

【図６】Ｓ４０４、及びＳ４０８をより詳細に説明する
ための図である。

【図７】ストリーム出力ステップＳ２０３をより詳細に
示したフローチャートである。

【図８】切り出し開始側のデータから生成される新しい
符号化ストリームを説明する図である。

【図９】切り出し終了側のデータから生成される新しい
符号化ストリームを説明する図である。

【図１０】ステップＳ２０２でメモリ１４１に記憶され
たパックに対して行う一連の処理のフローチャートであ
る。

【図１１】ＭＰＥＧシステムストリームを構成するパッ
クを説明する図である。

【図１２】１つのＭＰＥＧシステムストリームから一部
を切り出して、新しいストリームＢを作成する場合を説
明する図である。

【図１３】２つのストリームから一部を切り出して、新
しいストリームＥを作成する場合を説明する図である。

【図１４】ＭＰＥＧシステムストリームを編集する編集
装置の構成を示した図である。

【図１５】従来の圧縮画像音声編集装置における、切り
出し処理のフローチャートを示した図である。

【図１６】図１５に示されるフローチャートに従って切
り出されるパケットを説明するための図である。

【符号の説明】

１０１編集範囲指示部１０２切り出し範囲決定部１０３ストリーム出力部１０４データ無効化部１０５再符号化部１０６符号化ストリーム多重化部１０７時間情報書換え部１０８検出部１１０符号化ストリーム挿入部１２０符号化ストリーム編集装置１４０記録装置１４１メモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者乗富賢一大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5C053 FA14 FA24 GB06 GB08 GB11 GB40 JA22 KA01 KA24 5C059 KK39 MA00 PP05 PP06 PP07 RC04 SS20 SS30

Claims

【特許請求の範囲】

【請求項１】複数のデータ列が多重化された符号化ス
トリームを編集する符号化ストリーム編集装置であっ
て、上記符号化ストリームの所望の範囲を１つ以上、編集範
囲としてフレーム単位で指示する編集範囲指示部と、上記符号化ストリームにおいて、上記編集範囲に相当す
る各データ列の範囲を含み且つ該編集範囲に相当する各
データ列を同期再生することができる範囲を、切り出し
範囲としてフレーム単位で決定する切り出し範囲決定部
と、上記切り出し範囲を上記符号化ストリームから切り出し
て、新しい符号化ストリームを生成し、所望の装置へ出
力するストリーム出力部と、を備えることを特徴とする符号化ストリーム編集装置。
【請求項２】請求項１に記載の符号化ストリーム編集
装置において、さらに、上記切り出し範囲のうち同期再生に不要なデータを検出
する検出部と、上記不要なデータを無効なデータに変換するデータ無効
化部と、を備えることを特徴とする符号化ストリーム編
集装置。
【請求項３】請求項１又は２に記載の符号化ストリー
ム編集装置において、上記切り出し範囲決定部は、上記編集範囲内のデータだ
けでは復号不可能なデータをフレーム単位で上記切り出
し範囲から除き、さらに、上記符号化ストリーム編集装置は、上記復号不可能なデータを再符号化する再符号化部と、上記再符号化されたデータを上記切り出し範囲に結合す
る符号化ストリーム多重化部と、を備えることを特徴とする符号化ストリーム編集装置。
【請求項４】請求項１に記載の符号化ストリーム編集
装置において、上記切り出し範囲決定部は、上記編集範囲内のデータだ
けでは復号不可能なデータをフレーム単位で上記切り出
し範囲から除き、さらに、上記符号化ストリーム編集装置は、上記復号不可能なデータを再符号化する再符号化部と、上記切り出し範囲のうち同期再生に不要なデータを検出
する検出部と、上記再符号化部によって再符号化されたデータのサイズ
が上記検出部によって検出された不要なデータの領域の
サイズ以下である場合、該再符号化されたデータを該デ
ータ領域に挿入する符号化ストリーム挿入部と、上記再符号化部によって再符号化されたデータのサイズ
が上記検出部によって検出された不要なデータの領域の
サイズより大きい場合、あるいは上記検出部によって不
要なデータが検出されなかった場合、上記再符号化され
たデータを上記切り出し範囲に結合する符号化ストリー
ム多重化部と、上記符号化ストリーム挿入部によってデータの挿入が行
われなかった場合、上記不要なデータを無効なデータに
変換するデータ無効化部と、を備えることを特徴とする符号化ストリーム編集装置。
【請求項５】請求項１に記載の符号化ストリーム編集
装置において、上記切り出し範囲決定部は、上記編集範囲内のデータだ
けでは復号不可能なデータをフレーム単位で上記切り出
し範囲から除き、さらに、上記符号化ストリーム編集装置は、上記復号不可能なデータを再符号化する再符号化部と、上記切り出し範囲のうち同期再生に不要なデータを検出
する検出部と、上記再符号化部によって再符号化されたデータを上記検
出部によって検出された不要なデータの領域に挿入する
符号化ストリーム挿入部と、上記再符号化されたデータが上記不要なデータの領域に
入りきらない場合、余剰となるデータを上記切り出し範
囲に結合し、上記検出部によって上記不要なデータが検
出されない場合、該再符号化されたデータを該切り出し
範囲に結合する符号化ストリーム多重化部と、上記符号化ストリーム挿入部によってデータが挿入され
ない場合、上記不要なデータを無効なデータに変換する
データ無効化部と、を備えることを特徴とする符号化ストリーム編集装置。
【請求項６】請求項１から５のいずれかに記載の符号
化ストリーム編集装置において、さらに、上記編集範囲の同期再生に必要な時間情報を書き換える
時間情報書換え部を備えることを特徴とする符号化スト
リーム編集装置。
【請求項７】複数のデータ列が多重化された符号化ス
トリームを編集する符号化ストリーム編集方法であっ
て、上記符号化ストリームの所望の範囲を１つ以上、編集範
囲としてフレーム単位で指示する編集範囲指示ステップ
と、上記符号化ストリームにおいて、上記編集範囲に相当す
る各データ列の範囲を含み且つ該編集範囲に相当する各
データ列を同期再生することができる範囲を、切り出し
範囲としてフレーム単位で決定する切り出し範囲決定ス
テップと、上記切り出し範囲を上記符号化ストリームから切り出し
て、新しい符号化ストリームを生成し、所望の装置へ出
力するストリーム出力ステップと、を備えることを特徴とする符号化ストリーム編集方法。
【請求項８】請求項７に記載の符号化ストリーム編集
方法において、さらに、上記切り出し範囲のうち同期再生に不要なデータを検出
する検出ステップと、上記不要なデータを無効なデータに変換するデータ無効
化ステップと、を備えることを特徴とする符号化ストリ
ーム編集方法。
【請求項９】請求項７又は８に記載の符号化ストリー
ム編集方法において、上記切り出し範囲決定ステップは、上記編集範囲内のデ
ータだけでは復号不可能なデータをフレーム単位で上記
切り出し範囲から除くステップを備え、さらに、上記符号化ストリーム編集方法は、上記復号不可能なデータを再符号化する再符号化ステッ
プと、上記再符号化されたデータを上記切り出し範囲に結合す
る符号化ストリーム多重化ステップと、を備えることを特徴とする符号化ストリーム編集方法。
【請求項１０】請求項７に記載の符号化ストリーム編
集方法において、上記切り出し範囲決定ステップは、上記編集範囲内のデ
ータだけでは復号不可能なデータをフレーム単位で上記
切り出し範囲から除くステップを備え、さらに、上記符号化ストリーム編集方法は、上記復号不可能なデータを再符号化する再符号化ステッ
プと、上記切り出し範囲のうち同期再生に不要なデータを検出
する検出ステップと、上記再符号化ステップによって再符号化されたデータの
サイズが上記検出ステップによって検出された不要なデ
ータの領域のサイズ以下である場合、該再符号化された
データを該データ領域に挿入する符号化ストリーム挿入
ステップと、上記再符号化ステップによって再符号化されたデータの
サイズが上記検出ステップによって検出された不要なデ
ータの領域のサイズより大きい場合、あるいは上記検出
ステップによって不要なデータが検出されなかった場
合、上記再符号化されたデータを上記切り出し範囲に結
合する符号化ストリーム多重化ステップと、上記符号化ストリーム挿入ステップによってデータの挿
入が行われなかった場合、上記不要なデータを無効なデ
ータに変換するデータ無効化ステップと、を備えることを特徴とする符号化ストリーム編集方法。
【請求項１１】請求項７に記載の符号化ストリーム編
集方法において、上記切り出し範囲決定ステップは、上記編集範囲内のデ
ータだけでは復号不可能なデータをフレーム単位で上記
切り出し範囲から除くステップを備え、さらに、上記符号化ストリーム編集方法は、上記復号不可能なデータを再符号化する再符号化ステッ
プと、上記切り出し範囲のうち同期再生に不要なデータを検出
する検出ステップと、上記再符号化ステップによって再符号化されたデータを
上記検出ステップによって検出された不要なデータの領
域に挿入する符号化ストリーム挿入ステップと、上記再符号化されたデータが上記不要なデータの領域に
入りきらない場合、余剰となるデータを上記切り出し範
囲に結合し、上記検出ステップによって上記不要なデー
タが検出されない場合、該再符号化されたデータを該切
り出し範囲に結合する符号化ストリーム多重化ステップ
と、上記符号化ストリーム挿入ステップによってデータが挿
入されない場合、上記不要なデータを無効なデータに変
換するデータ無効化ステップと、を備えることを特徴とする符号化ストリーム編集方法。
【請求項１２】請求項７から１１のいずれかに記載の
符号化ストリーム編集方法において、さらに、上記編集範囲の同期再生に必要な時間情報を書き換える
時間情報書換えステップを備えることを特徴とする符号
化ストリーム編集方法。
【請求項１３】複数のデータ列が多重化された符号化
ストリームを編集する符号化ストリーム編集方法をコン
ピュータに実行させるためのプログラムを記録した記録
媒体であって、上記プログラムは、上記符号化ストリームの所望の範囲を１つ以上、編集範
囲としてフレーム単位で指示する編集範囲指示ステップ
のコードと、上記符号化ストリームにおいて、上記編集範囲に相当す
る各データ列の範囲を含み且つ該編集範囲に相当する各
データ列を同期再生することができる範囲を、切り出し
範囲としてフレーム単位で決定する切り出し範囲決定ス
テップのコードと、上記切り出し範囲を上記符号化ストリームから切り出し
て、新しい符号化ストリームを生成し、所望の装置へ出
力するストリーム出力ステップのコードと、を備えることを特徴とする記憶媒体。
【請求項１４】請求項１３に記載の記憶媒体におい
て、上記プログラムは、さらに、上記切り出し範囲のうち同期再生に不要なデータを検出
する検出ステップのコードと、上記不要なデータを無効なデータに変換するデータ無効
化ステップのコードと、を備えることを特徴とする記憶
媒体。
【請求項１５】請求項１３又は１４に記載の記憶媒体
において、上記切り出し範囲決定ステップのコードは、上記編集範
囲内のデータだけでは復号不可能なデータをフレーム単
位で上記切り出し範囲から除くステップのコードを備
え、さらに、上記プログラムは、上記復号不可能なデータを再符号化する再符号化ステッ
プのコードと、上記再符号化されたデータを上記切り出し範囲に結合す
る符号化ストリーム多重化ステップのコードと、を備えることを特徴とする記憶媒体。
【請求項１６】請求項１３に記載の記憶媒体におい
て、上記切り出し範囲決定ステップのコードは、上記編集範
囲内のデータだけでは復号不可能なデータをフレーム単
位で上記切り出し範囲から除くステップのコードを備
え、さらに、上記プログラムは、上記復号不可能なデータを再符号化する再符号化ステッ
プのコードと、上記切り出し範囲のうち同期再生に不要なデータを検出
する検出ステップのコードと、上記再符号化ステップによって再符号化されたデータの
サイズが上記検出ステップによって検出された不要なデ
ータの領域のサイズ以下である場合、該再符号化された
データを該データ領域に挿入する符号化ストリーム挿入
ステップのコードと、上記再符号化ステップによって再符号化されたデータの
サイズが上記検出ステップによって検出された不要なデ
ータの領域のサイズより大きい場合、あるいは上記検出
ステップによって不要なデータが検出されなかった場
合、上記再符号化されたデータを上記切り出し範囲に結
合する符号化ストリーム多重化ステップのコードと、上記符号化ストリーム挿入ステップによってデータの挿
入が行われなかった場合、上記不要なデータを無効なデ
ータに変換するデータ無効化ステップのコードと、を備えることを特徴とする記憶媒体。
【請求項１７】請求項１３に記載の記憶媒体におい
て、上記切り出し範囲決定ステップのコードは、上記編集範
囲内のデータだけでは復号不可能なデータをフレーム単
位で上記切り出し範囲から除くステップのコードを備
え、さらに、上記プログラムは、上記復号不可能なデータを再符号化する再符号化ステッ
プのコードと、上記切り出し範囲のうち同期再生に不要なデータを検出
する検出ステップのコードと、上記再符号化ステップによって再符号化されたデータを
上記検出ステップによって検出された不要なデータの領
域に挿入する符号化ストリーム挿入ステップのコード
と、上記再符号化されたデータが上記不要なデータの領域に
入りきらない場合、余剰となるデータを上記切り出し範
囲に結合し、上記検出ステップによって上記不要なデー
タが検出されない場合、該再符号化されたデータを該切
り出し範囲に結合する符号化ストリーム多重化ステップ
のコードと、上記符号化ストリーム挿入ステップによってデータが挿
入されない場合、上記不要なデータを無効なデータに変
換するデータ無効化ステップのコードと、を備えることを特徴とする記憶媒体。
【請求項１８】請求項１３から１７のいずれかに記載
の記憶媒体において、上記プログラムは、さらに、上記編集範囲の同期再生に必要な時間情報を書き換える
時間情報書換えステップを備えることを特徴とする記憶
媒体。