JP2000165802A - ストリーム編集装置と編集方法 - Google Patents

Abstract

(57)【要約】 【課題】 画質の劣化を抑えてストリームを所望の箇所
で繋ぎ合わせることができる編集装置を提供する。 【解決手段】 第１のストリームをデコードする第１の
デコーダ20と、第２のストリームをデコードする第２の
デコーダ21と、第１のデコーダまたは第２のデコーダで
デコードされたデータを再エンコードするエンコーダ1
8、19と、エンコーダでの再エンコードを編集点の前後
の再エンコード区間だけに制限し、再エンコード区間の
前の区間では第１のストリームを選択し、再エンコード
区間の後の区間では第２のストリームを選択する編集に
切り替える切替手段13、16とを設ける。２台のデコーダ
を用いてリアルタイムでの編集を行なうことができ、再
エンコード区間を制限して画像劣化を抑えることができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオやオーディ
オが多重された符号化ストリームを編集する編集装置と
編集方法に関し、特に、二つのストリームを途中で繋い
で一つのストリームを作成する編集をリアルタイムで実
施できるようにしたものである。

【０００２】

【従来の技術】ビデオデータやオーディオデータをＤＶ
Ｄ等の記録媒体に記録する場合に、そのデータ量を削減
するため、圧縮符号化が行なわれる。

【０００３】映像や音声の代表的な圧縮符号化方式であ
るＭＰＥＧ方式では、動画像を圧縮符号化する場合に、
ＤＣＴや予測符号化を利用してデータ量の削減が行なわ
れる。 図１１には、この符号化を行なうエンコーダを
示している。

【０００４】このエンコーダは、入力した画像フレーム
データと画像メモリ47に蓄積された画像フレームデータ
との差分を出力する減算部41と、この差分にＤＣＴ変換
を施すＤＣＴ変換部42と、ＤＣＴ変換で得られたＤＣＴ
係数を量子化する量子化部43と、データを可変長符号化
する可変長符号化部49と、可変長符号化されたデータを
一時蓄積するバッファ20と、量子化された値を逆量子化
する逆量子化部44と、逆量子化部44の出力に逆ＤＣＴ変
換を施す逆ＤＣＴ変換部45と、画像メモリ47に蓄積され
た画像フレームデータと逆ＤＣＴ変換部45の出力とを加
算して、入力した画像データを再現する加算部46と、こ
の画像データを蓄積する画像メモリ47と、入力画像と画
像メモリ47の画像データとを比較して動きベクトル（Ｍ
Ｖ）を算出する動きベクトル検出部48とを備えている。

【０００５】このエンコーダは、フレーム間予測符号化
を行なう場合には、画像データが入力すると、動きベク
トル検出部48が、入力画像データと画像メモリ47に蓄積
された画像データとを比較して、動きベクトル（ＭＶ）
を算出し、画像メモリ47及び可変長符号化部49に出力す
る。

【０００６】入力画像データが入力した減算部41には、
画像メモリ47から動きを補償した画像データが読み出さ
れ、減算部41は、入力画像データと、画像メモリ47から
読み出された画像データとの差分を出力する。

【０００７】この差分データはＤＣＴ変換部42に出力さ
れ、ＤＣＴ変換部42は、差分データにＤＣＴ変換を施
し、そのＤＣＴ係数を量子化部43に出力し、ＤＣＴ変換
のタイプを可変長符号化部49に伝える。

【０００８】量子化部43は、バッファ20からの量子化特
性情報（Ｑuant）で指定された量子化ステップでＤＣＴ
係数の量子化を行なう。量子化された結果とＱuantとは
可変長符号化部49に出力され、また、量子化された結果
は、逆量子化部44Ｑuantにも出力される。

【０００９】可変長符号化部49は、入力する動きベクト
ル、ＤＣＴタイプ、Ｑuant及び量子化部43の出力を可変
長符号化する。符号化されたデータは、バッファ20に一
時記録された後、ストリームとして出力される。

【００１０】一方、量子化部43の出力は、逆量子化部44
で逆量子化され、逆ＤＣＴ変換部45で逆ＤＣＴ変換さ
れ、加算部46で、画像メモリ47に蓄積された画像データ
と加算されて、入力画像データが再生され、この画像デ
ータが新たに画像メモリ47に蓄積され、次に入力する画
像データを減算するために使用される。

【００１１】なお、フレーム間予測を使わないフレーム
内符号化（イントラ）の場合には、画像メモリ47からの
画像データの読みだしは行なわれず、ＤＣＴ処理等だけ
が行なわれる。

【００１２】また、フレーム間予測を使う場合でも、画
像メモリ47に蓄積された過去の画像から予測する順方向
フレーム間予測符号化や、画像メモリ47に蓄積された未
来の画像から予測する逆方向フレーム間予測符号化等の
符号化方法がある。

【００１３】ＭＰＥＧでは、入力フレームが、イントラ
のマクロブロックだけを含むＩピクチャ、イントラ及び
順方向フレーム間予測符号化のマクロブロックを含むＰ
ピクチャ、または、イントラ、順方向フレーム間予測符
号化及び逆方向フレーム間予測符号化のマクロブロック
を含むＢピクチャとして符号化される。

【００１４】図１０は、こうして符号化されたビデオデ
ータに、オーディオデータが多重され、蓄積メディアの
フォーマットに適合するストリーム（データ列）が生成
されるまでの過程を示している。

【００１５】入力動画像は、入力時のフレーム順序とは
異なる順序に並べ替えられ、Ｉ、Ｐ、Ｂピクチャに符号
化されて、ビデオのエレメンタリ・ストリーム（ＥＳ）
が生成される。また、オーディオデータは、例えば２４
ｍｓごとに区切られて圧縮符号化され、オーディオのＥ
Ｓが生成される。これらのＥＳは、適宜の大きさに分割
され、ヘッダを付けてパケットが形成される。このヘッ
ダには、パケットデータの再生時期を表すＰＴＳ（Pres
entation Time Stamp）などが付される。

【００１６】これらのパケットは、ヘッダを付けてパッ
クとして多重化され、ストリームが完成する。図９に
は、パック化したストリームを示している。

【００１７】このストリームは、ＤＶＤ等の蓄積メディ
アに蓄積される。再生時には、蓄積メディアからストリ
ームが読み出され、それぞれのパケットデータがデコー
ドされ、ＰＴＳで規定された時期に再生される。

【００１８】

【発明が解決しようとする課題】蓄積メディアに蓄積さ
れた複数のストリームから所望のコンテンツのストリー
ムを作成する場合に、蓄積されたストリームを読み出し
て繋ぎ直すストリームの編集が行なわれる。

【００１９】従来、一つのストリームＡの途中に他のス
トリームＢを繋ぎ合わせてストリームＣを生成する場合
には、ストリームＡを切り替え箇所までデコードし、こ
れを再エンコードしてストリームＣの前半部分を作成
し、次いで、ストリームＢの切り替え箇所以降をデコー
ドし、これをストリームＣの後半部分として再エンコー
ドすることによりストリームＣを編集している。

【００２０】この編集方法では、再エンコードによっ
て、編集した画像の画質が劣化するという問題点があ
る。

【００２１】また、ストリーム同士を、直接、繋ぎ合わ
せる編集も行なわれているが、この場合には、ストリー
ムの切り替え箇所が、ビデオデータのＩピクチャの位置
に限定される。

【００２２】ＭＰＥＧ方式では、ビデオデータが１枚の
Ｉピクチャと複数のＰピクチャ及びＢピクチャとを含む
ＧＯＰ（Group of Pictures)を単位としてグループ化さ
れており、１ＧＯＰには通常１５枚（０．５秒）のピク
チャが含まれている。このＧＯＰのＩピクチャ以外のＰ
ピクチャやＢピクチャの箇所でストリームを切り替えた
場合には、そのピクチャ単独でフレーム画像を再生する
ことができないため、次にＩピクチャが現れるまで、画
像の乱れが続くことになる。

【００２３】また、これらの編集処理は、いずれもオフ
ラインで行なわれており、その処理に多くの時間を要し
ている。

【００２４】本発明は、こうした従来の問題点を解決す
るものであり、画質の劣化を抑えてストリームを所望の
箇所で繋ぎ合わせることができ、また、そのストリーム
の編集をリアルタイムで実施することができる編集方法
を提供し、その方法を実施する編集装置を提供すること
を目的としている。

【００２５】

【課題を解決するための手段】そこで、本発明の編集装
置では、第１のストリームと第２のストリームとを任意
の編集点で切り替える編集を行なうため、第１のストリ
ームをデコードする第１のデコーダと、第２のストリー
ムをデコードする第２のデコーダと、第１のデコーダま
たは第２のデコーダでデコードされたデータを再エンコ
ードするエンコーダと、エンコーダの再エンコードを編
集点の前後の再エンコード区間だけに制限し、再エンコ
ード区間の前の区間では第１のストリームを選択し、再
エンコード区間の後の区間では第２のストリームを選択
する選択手段とを設けている。

【００２６】また、本発明の編集方法では、２台のデコ
ーダを用いて第１及び第２のストリームをデコードし、
デコードしたデータを選択して編集点の前後の区間だけ
再エンコードを実施し、その他の区間ではストリームを
選択するようにしている。

【００２７】このように、２台のデコーダを用いている
ため、ストリームの任意の箇所で、リアルタイムでスト
リーム編集を行なうことができる。また、再エンコード
の区間を制限しているため、画像劣化を抑えることがで
きる。

【００２８】

【発明の実施の形態】本発明の請求項１に記載の発明
は、符号化された２つのストリームを編集点で切り替え
る編集装置において、第１のストリームをデコードする
第１のデコーダと、第２のストリームをデコードする第
２のデコーダと、第１のデコーダまたは第２のデコーダ
でデコードされたデータを再エンコードするエンコーダ
と、エンコーダでの再エンコードを編集点の前後の再エ
ンコード区間だけに制限し、再エンコード区間の前の区
間では第１のストリームを選択し、再エンコード区間の
後の区間では第２のストリームを選択する選択手段とを
設けたものであり、２台のデコーダを用いてリアルタイ
ムでの編集を行なうことができ、また、再エンコード区
間を制限して画像劣化を抑えることができる。

【００２９】請求項２に記載の発明は、選択手段が、再
エンコード区間を、第１のストリームの編集点を含むＧ
ＯＰの先頭から、第２のストリームの編集点を含むＧＯ
Ｐの末尾までに制限するようにしたものであり、再エン
コード区間以外でのストリームの選択編集をＧＯＰの単
位で行なうことができる。

【００３０】請求項３に記載の発明は、編集したストリ
ームのヘッダ情報を統一的に作り直すヘッダ生成手段を
設けたものであり、フレーム番号の飛びやＰＴＳの欠落
を修正することができるため、編集したストリームをデ
コードするデコーダの構成が簡略化できる。

【００３１】請求項４に記載の発明は、エンコーダが、
第１のデコーダまたは第２のデコーダによってデコード
された符号化情報を利用して再エンコードするようにし
たものであり、再エンコードによる画像劣化を抑えるこ
とができる。

【００３２】請求項５に記載の発明は、符号化情報とし
て、ピクチャタイプ、Ｑｕａｎｔ及びＤＣＴタイプの情
報を利用するようにしたものであり、限られたパラメー
タを使用して、全てのパラメータを使用するときと同程
度の効果を上げることができる。

【００３３】請求項６に記載の発明は、エンコーダが、
符号化のビットレートを変換して再エンコードを行なう
とき、 新Ｑｕａｎｔ＝元Ｑｕａｎｔ×（新ビットレート／元ビ
ットレート） から算出される新Ｑｕａｎｔを用いてエンコードを行な
うようにしたものであり、画質劣化を抑えて、ビットレ
ートを変換することができる。

【００３４】請求項７に記載の発明は、エンコーダに、
デコードされたデータと符号化情報とがそれぞれ異なる
ケーブルを用いて別機器から転送されるようにしたもの
であり、ストリームの再生器とデコーダとが別の機器か
ら成るシステムにおいても、符号化時のパラメータを利
用して画質劣化を抑えることが可能になる。

【００３５】請求項８に記載の発明は、第１のストリー
ム及び第２のストリームのビデオパケット及びオーディ
オパケットを分離する分離手段と、一方のストリームの
ビデオパケットと他方のストリームのオーディオパケッ
トとを多重化する多重化手段とを設けたものであり、第
２のストリームの画像に第１のストリームの音声を組み
合わせることなどが可能になる。

【００３６】請求項９に記載の発明は、エンコーダが、
再エンコード区間の編集点より前の区間の再エンコード
を第２のストリームの選択が済んだ後に行なうようにし
たものであり、編集点が予め分かっていない場合に、こ
うした編集でリアルタイムと感じられる編集を行なうこ
とができる。

【００３７】請求項１０に記載の発明は、符号化された
２つのストリームを編集点で切り替える編集方法におい
て、２台のデコーダを用いて各ストリームをデコード
し、デコードしたデータを選択して編集点の前後の区間
だけ再エンコードを実施し、その他の区間ではストリー
ムを選択するようにしたものであり、２台のデコーダを
用いて、任意のストリーム位置において、リアルタイム
で編集することができ、また、再エンコード区間を制限
して画像劣化を抑えることができる。

【００３８】請求項１１に記載の発明は、再エンコード
を実施する区間を、第１のストリームの編集点を含むＧ
ＯＰの先頭から、第２のストリームの編集点を含むＧＯ
Ｐの末尾までとしたものであり、再エンコード区間以外
でのストリームの選択編集をＧＯＰの単位で行なうこと
ができる。

【００３９】請求項１２に記載の発明は、編集したスト
リームのヘッダ情報を統一的に作り直すようにしたもの
であり、フレーム番号の飛びやＰＴＳの欠落を修正する
ことができるため、高度の機能を持つデコーダでなくて
も、編集したストリームをデコードすることができる。

【００４０】請求項１３に記載の発明は、デコーダでデ
コードした符号化情報を利用して再エンコードを行なう
ようにしたものであり、再エンコードによる画質劣化を
抑えることができる。

【００４１】請求項１４に記載の発明は、符号化情報と
して、ピクチャタイプ、Ｑｕａｎｔ及びＤＣＴタイプの
情報を利用するようにしたものであり、限られたパラメ
ータを使用して、全てのパラメータを使用するときと同
程度の効果を上げることができる。

【００４２】請求項１５に記載の発明は、再エンコード
で、符号化のビットレートを変換するとき、 新Ｑｕａｎｔ＝元Ｑｕａｎｔ×（新ビットレート／元ビ
ットレート） から算出される新Ｑｕａｎｔを用いてエンコードを行な
うようにしたものであり、画質劣化を抑えて、ビットレ
ートを変換することができる。

【００４３】請求項１６に記載の発明は、各ストリーム
のビデオパケットとオーディオパケットとを分離し、一
方のストリームのビデオパケットと他方のストリームの
オーディオパケットとを多重化してストリームを生成す
るようにしたものであり、音声だけを他のストリームの
ものと入れ換えることができる。

【００４４】請求項１７に記載の発明は、編集点より前
の区間の再エンコードを、後から行なうようにしたもの
であり、編集点が予め分かっていない場合に、こうした
編集でリアルタイムと感じられる編集を行なうことがで
きる。

【００４５】以下、本発明の実施の形態について、図面
を用いて説明する。

【００４６】（第１の実施形態）第１の実施形態の編集
装置は、図１に示すように、ＤＶＤ−ＲＡＭ11に記録さ
れたストリームを編集し、編集後のストリームを再びＤ
ＶＤ−ＲＡＭ11に記録する。

【００４７】この編集装置は、ＤＶＤ−ＲＡＭ11からの
ストリームの読み出しや、ストリームの書き込みを制御
するストリームコントローラ12と、ストリームをデコー
ドして、復号化したビデオ信号及びオーディオ信号を出
力する２台のＡＶデコーダ20及び21と、復号化されたビ
デオ信号を再エンコードしてビデオＥＳを出力するビデ
オエンコーダ18と、復号化されたオーディオ信号を再エ
ンコードしてオーディオＥＳを出力するオーディオエン
コーダ19と、ビデオＥＳ及びオーディオＥＳを多重化し
てパック化したストリームを生成する多重部17と、スト
リームをそのまま遅延して出力する遅延器15と、モニタ
用のビデオ信号及びオーディオ信号をデコードするＡＶ
デコーダ22と、ビデオエンコーダ18に入力するビデオ信
号を選択する切替スイッチ24と、オーディオエンコーダ
19に入力するオーディオ信号を選択する切替スイッチ24
と、多重部17または遅延器15からのストリームを選択し
て出力する切替スイッチ16と、切替スイッチ16、23、24
の切り替えを制御するタイミングコントローラ13と、こ
の装置の各部の動作を制御するシステムコントローラ14
とを備えている。

【００４８】図２は、この編集装置の動作を説明するた
めの図である。ここでは、ストリーム０の区間Ａ及びＢ
の部分と、ストリーム１の区間Ｃ及びＤの部分とを組み
合わせてストリーム３を生成している。区間Ｂと区間Ｃ
との間が編集点である。各ストリーム内の等間隔の区分
はＧＯＰ単位を表しており、各ＧＯＰの先頭にＩピクチ
ャが存在する。編集点はＧＯＰの途中にあり、ＧＯＰの
先頭とは一致していない。

【００４９】区間Ｂは、編集点を含むストリーム０のＧ
ＯＰの先頭から編集点までの区間を表しており、区間Ａ
は、それ以前の区間を表している。また、区間Ｃは、編
集点を含むストリーム１のＧＯＰの編集点から、そのＧ
ＯＰの末尾までの区間を表しており、区間Ｄは、それ以
降の区間を表している。

【００５０】この編集装置は、編集に際して、区間Ａで
は、ＤＶＤ−ＲＡＭ11から読み出したストリーム０のデ
ータをそのまま使用する。区間Ｂでは、ストリーム０を
ＡＶデコーダ20でデコードし、それをエンコーダ18、19
で再エンコードする。区間Ｃでは、ストリーム１をＡＶ
デコーダ21でデコードし、それをエンコーダ18、19で再
エンコードする。また、区間Ｄでは、ＤＶＤ−ＲＡＭ11
から読み出したストリーム１のデータをそのまま使用す
る。

【００５１】従って、生成されたストリーム３におい
て、再エンコードされた部分は、区間Ｂ及び区間Ｃだけ
であるため、画質の劣化が少ない。

【００５２】この編集装置のストリームコントローラ12
は、ＤＶＤ−ＲＡＭ11からストリーム０及びストリーム
１を読みだし、ストリーム０の編集点とストリーム１の
編集点とが丁度一致するように、タイミングを調整しな
がら双方のストリームを出力する。また、ＡＶデコーダ
20は、入力するストリーム０をデコードし、ＡＶデコー
ダ21は、入力するストリーム１をデコードする。

【００５３】タイミングコントローラ13は、区間Ａで
は、遅延器15から出力されるストリーム０のデータを選
択するように切替スイッチ16を制御する。そのため、ス
トリームコントローラ12から出力された区間Ａのストリ
ーム０のデータは、遅延されて再びストリームコントロ
ーラ12に入力し、ＤＶＤ−ＲＡＭ11に書き込まれる。

【００５４】タイミングコントローラ13は、区間Ｂで
は、切替スイッチ16を多重部17側に切り替え、また、切
替スイッチ23、24をＡＶデコーダ20側を選択するように
切り替える。

【００５５】そのため、区間Ｂでは、ＡＶデコーダ20で
デコードされたストリーム０のビデオデータが、ビデオ
エンコーダ18で再エンコードされ、また、ストリーム０
のオーディオデータが、オーディオエンコーダ19で再エ
ンコードされる。

【００５６】ビデオエンコーダ18で生成されたビデオＥ
Ｓと、オーディオエンコーダ19で生成されたオーディオ
ＥＳとは、多重部17で多重化されてパック化したストリ
ームが形成され、切替スイッチ16を経てストリームコン
トローラ12に入力し、ＤＶＤ−ＲＡＭ11に、区間Ａのス
トリーム０に続けて記録される。なお、遅延器15は、区
間Ｂのデータがデコード、エンコード及び多重化の処理
によって遅延する時間に相当する遅延を区間Ａのデータ
に与えている。

【００５７】タイミングコントローラ13は、区間Ｃで
は、切替スイッチ23、24をＡＶデコーダ21側に切り替え
る。そのため、区間Ｃでは、ＡＶデコーダ21でデコード
されたストリーム１のビデオデータが、ビデオエンコー
ダ18で再エンコードされ、また、オーディオデータが、
オーディオエンコーダ19で再エンコードされる。ビデオ
エンコーダ18で生成されたビデオＥＳと、オーディオエ
ンコーダ19で生成されたオーディオＥＳとは、多重部17
で多重化されてパック化したストリームが形成され、切
替スイッチ16を経てストリームコントローラ12に入力
し、ＤＶＤ−ＲＡＭ11に、区間Ｂのストリーム０に続け
て記録される。

【００５８】タイミングコントローラ13は、区間Ｄで
は、遅延器15から出力されるストリーム１のデータを選
択するように切替スイッチ16を制御する。そのため、ス
トリームコントローラ12から出力された区間Ｄのストリ
ーム１のデータは、遅延されて再びストリームコントロ
ーラ12に入力し、ＤＶＤ−ＲＡＭ11に、区間Ｃのストリ
ーム１のデータに続けて記録される。

【００５９】このように、この実施形態の編集装置で
は、２つのデコーダを使用しているため、ストリームの
編集をリアルタイムで行なうことができる。また、この
装置では、区間Ａと区間Ｄではビットストリーム編集を
行ない、編集点前後の区間Ｂと区間Ｃの短期間だけ再符
号化を行なっている。そのため、再符号化による画質の
劣化を感じさせずにストリームを繋ぎ合わせることがで
きる。

【００６０】なお、実施形態では、区間Ａのストリーム
０及び区間Ｄのストリーム１についても、ＤＶＤ−ＲＡ
Ｍ11から読み出した後、再書き込みを行なっているが、
区間Ａのストリーム０は書き換えを行なわずに、また、
区間Ｄのストリーム１は、ＤＶＤ−ＲＡＭ上で所定エリ
アに移動する処理によって、実施形態の場合と同様の結
果を得ることもできる。

【００６１】（第２の実施形態）第２の実施形態では、
編集したストリームのパケットヘッダに付さているＰＴ
Ｓやフレーム番号などを付け直す処理について説明す
る。

【００６２】第１の実施形態では、図２に示すように、
ストリーム０とストリーム１とを繋ぎ合わせてストリー
ム３を形成しているから、パケットヘッダに含まれるＰ
ＴＳやフレーム番号などが、ストリーム０の部分とスト
リーム１の部分とで連続していない。そのため、このス
トリーム３をデコードするデコーダは、不連続なＰＴＳ
やフレーム番号を解釈して、連続的に映像を再生した
り、映像に同期させて音声を再生したりする複雑な機能
を必要としている。

【００６３】第２の実施形態の編集装置は、合成したス
トリームが、複雑な機能を持たないデコーダでもデコー
ドできるように、ヘッダ情報を再編集する。

【００６４】この装置は、図３に示すように、ストリー
ムからビデオパケットとオーディオパケットとを分離す
る分離部25と、パケットヘッダを付け直してパック化し
たストリームを生成する多重部26と、多重部26への入力
を選択する切替スイッチ27、28とを備えている。その他
の構成は第１の実施形態と変わりがない。

【００６５】多重部26は、図４に示すように、ビデオパ
ケットのヘッダを生成するビデオパケットヘッダ生成部
32と、このヘッダを用いてビデオパケットを生成するビ
デオパケット生成部31と、オーディオパケットのヘッダ
を生成するオーディオパケットヘッダ生成部34と、この
ヘッダを用いてオーディオパケットを生成するオーディ
オパケット生成部33と、パックヘッダを生成するパック
ヘッダ生成部35と、パックに多重化するパケットの種類
を決定する受信バッファ検証部36と、この決定に従って
出力を選択する切替スイッチ37とを具備している。

【００６６】この編集装置の編集動作は、基本的には、
図２で説明した第１の実施形態の装置と同じであり、パ
ケットのヘッダを付け直している点だけが相違してい
る。

【００６７】タイミングコントローラ13は、区間Ｂ及び
Ｃでは、切替スイッチ27、28がエンコーダ18、19側を選
択するように制御する。そのため、区間Ｂ及びＣでは、
ビデオエンコーダ18でエンコードされたビデオＥＳとオ
ーディオエンコーダ19でエンコーダされたオーディオＥ
Ｓとが多重部26に入力する。

【００６８】多重部26のビデオパケットヘッダ生成部32
は、入力するビデオＥＳに対するパケットヘッダを作成
する。ビデオパケット生成部31は、ビデオＥＳを適宜の
長さに分割し、それぞれに、ビデオパケットヘッダ生成
部32で作成されたパケットヘッダを組み合わせてビデオ
パケットを作成する。

【００６９】また、オーディオパケットヘッダ生成部34
は、入力するオーディオＥＳに対するパケットヘッダを
作成する。オーディオパケット生成部33は、オーディオ
ＥＳを適宜の長さに分割し、それぞれに、オーディオパ
ケットヘッダ生成部34で作成されたパケットヘッダを組
み合わせてオーディオパケットを作成する。

【００７０】また、パックヘッダ生成部35は、パックに
付すヘッダを生成する。

【００７１】受信バッファ検証部36は、受信機のバッフ
ァシミュレーションを行ない、パックに多重化するパケ
ットの種類を決定し、決定したパケットを切替スイッチ
37で順次選択して出力する。

【００７２】こうして、多重部26からは、図９に示すよ
うに、パック化したストリームが出力される。

【００７３】また、タイミングコントローラ13は、区間
Ｄでは、切替スイッチ27、28が分離部25側を選択するよ
うに制御する。

【００７４】分離部25は、区間Ｄのストリーム１からビ
デオパケットとオーディオパケットとを分離し、分離さ
れたビデオパケット及びオーディオパケットが切替スイ
ッチ27、28を介して多重部26に入力する。

【００７５】多重部26のビデオパケットヘッダ生成部32
及びオーディオパケットヘッダ生成部34は、これらのヘ
ッダを作り直し、新しいヘッダを付けたパケットがビデ
オパケット生成部31及びオーディオパケット生成部33で
作成される。

【００７６】受信バッファ検証部36は、先の場合と同じ
ように、パックに多重化するパケットの種類を決定し、
切替スイッチ37で順次選択して、パック化したストリー
ムを出力する。

【００７７】このように、この編集装置では、区間Ｂ、
Ｃのストリームだけで無く、区間Ｄのストリームについ
てもパケットヘッダを作り直している。そのため、区間
Ｂ、Ｃ及びＤのストリームのヘッダに、区間Ａのストリ
ーム０のヘッダと連続性を持つフレーム番号やＰＴＳを
付すことによって、完結した一本のストリームに仕立て
ることができ、簡単な構造のデコーダでもデコードが可
能なストリームとすることができる。

【００７８】（第３の実施形態）第３の実施形態では、
再エンコードによる画像劣化を極力抑えるための編集方
法について説明する。

【００７９】第３の実施形態の編集装置は、図５に示す
ように、デコーダ20、21、22から符号化時のパラメータ
を入手し、それを基にエンコーダ18、19での符号化を制
御するシステムコントローラ14を備えている。その他の
構成は、第２の実施形態と変わりがない。

【００８０】動画像の符号化では、図１１で説明したよ
うに、ピクチャタイプや、Ｑｕａｎｔ、ＤＣＴタイプ、
動きベクトル（ＭＶ）、マクロブロック（ＭＢ）タイプ
などをパラメータとして符号化が行なわれる。エンコー
ダ側は、これらのパラメータの情報をデコーダ側に伝
え、デコーダは、これらの情報を基に符号化されたデー
タのデコードを実施する。

【００８１】ピクチャタイプは、Ｉ、Ｐ、Ｂピクチャの
別を示しており、フレーム当たり２ビットを使って表さ
れる。

【００８２】Ｑｕａｎｔは、量子化幅を指定するパラメ
ータであり、ＭＢ当たり５ビットを使って表される。

【００８３】ＤＣＴタイプは、フレームＤＣＴとフィー
ルドＤＣＴとの別を示しており、ＭＢ当たり１ビットを
使って表される。

【００８４】ＭＶは、ＭＢ当たり６ビット以上を使って
表される。

【００８５】ＭＢタイプは、ＭＢの符号化モードを示し
ており、ＭＢ当たり１〜８ビットを使って表される。

【００８６】デコーダ20、21でデコードされたビデオデ
ータをビデオエンコーダ18で再エンコードする場合に
は、デコードする前の符号化で使用されていたパラメー
タを同じように使用することにより、画質劣化を少なく
することができる。これは、同じパラメータを使用する
ことによって、元の符号化が再現されるからである。

【００８７】そこで、この編集装置では、システムコン
トローラ14が、デコーダ20、21、22でデコードされたパ
ラメータの情報を入手し、それをビデオエンコーダ18に
伝えている。ビデオエンコーダ18は、伝えられたパラメ
ータを使って再エンコードを実行する。こうすることに
より、画質劣化を改善することができる。

【００８８】また、これらのパラメータの全てを同一に
しなくても、ピクチャタイプ、Ｑｕａｎｔ及びＤＣＴタ
イプのパラメータに関して同一の値を使うだけで、画質
劣化を相当程度改善することができる。

【００８９】図６は、再エンコードに際して、全パラメ
ータを同一にした場合、ピクチャタイプ、Ｑｕａｎｔ及
びＤＣＴタイプを同一にした場合、及び、同一のパラメ
ータを利用しなかった場合のそれぞれにおけるＳＮＲを
示している。

【００９０】この図６から分かるように、ピクチャタイ
プ、Ｑｕａｎｔ及びＤＣＴタイプを同一にするだけで、
全パラメータを同一にした場合と殆ど変わらない特性を
得ることができる。

【００９１】また、この３つのパラメータは、ＭＶやＭ
Ｂタイプに比べてデータ量が少ないため、情報の伝達を
効率的に行なうことができる。

【００９２】従って、システムコントローラ14は、デコ
ーダ20、21、22からピクチャタイプ、Ｑｕａｎｔ及びＤ
ＣＴタイプのパラメータだけを入手してビデオエンコー
ダ18に伝え、ビデオエンコーダ18は、ピクチャタイプ、
Ｑｕａｎｔ及びＤＣＴタイプのパラメータについては、
システムコントローラ14から与えられた値を用いること
によって、再エンコードでの画質劣化を抑えることがで
きる。

【００９３】また、再エンコードに際して、デコード前
の符号化のビットレート（元Ｒａｔｅ）を変更すること
が必要になる場合がある。例えば、ビットレートの異な
る２つのストリームを繋ぎ合わせるときには、一方のス
トリームを再エンコードして、他方のストリームのビッ
トレートに合わせる必要がある。

【００９４】このような場合は、Ｑｕａｎｔの値を、次
式（１）に従って調整する。 元Ｒate ： 新Ｒate ＝ 元Ｑuant ： 新Ｑuant 新Ｑuant ＝ 元Ｑuant×（新Ｒate／元Ｒate） （１）

【００９５】この新Ｑｕａｎｔを用いて再エンコードを
行なうことにより、画質劣化を抑えた状態でビットレー
トを新Ｒａｔｅに変換することができる。これは、元の
符号化では、目立たない画像部分の量子化ステップを大
きくして圧縮率を稼ぎ、目立つ画像部分では量子化ステ
ップを小さくして画像品質を上げる処理が行なわれてい
るが、（１）式による変換では、この関係を維持したま
まビットレートを変えているため、再エンコードでの画
質劣化を抑えることができる。

【００９６】つまり、目立たない部分で量子化ステップ
を大きく符号化された領域は、視覚的には目立たないが
ノイズが多く含まれる。これに対し、量子化ステップを
小さく符号化した領域はノイズが少なく信号成分が多
い。これらの領域の再エンコードを行なう場合、ノイズ
成分の多いところは忠実にノイズ成分を符号化する必要
はないので、量子化ステップを大きく符号化して圧縮率
を稼ぎ、信号成分が多い領域は、量子化ステップを小さ
く符号化してノイズ成分を抑えることにより、再エンコ
ード後の画質劣化を抑えることが可能である。従って、
元の符号化での量子化ステップの大小関係を維持しなが
ら再エンコードを行なうことにより画質劣化を抑えた符
号化を実現できる。

【００９７】また、この元の符号化のパラメータを使っ
て再エンコードでの画質劣化を抑える方法は、モニタを
持つＭＰＥＧストリーム再生器と、再生画像を再エンコ
ードする編集器とが別体で構成された従来のシステムに
も適用することができる。

【００９８】このシステムでは、再生器から編集器に、
再生された映像信号とオーディオ信号とが伝送され、再
生器側での切替え操作によって、編集器に送られる映像
の内容が切り替えられる。

【００９９】このシステムの再生器と編集器との間に、
映像信号及びオーディオ信号の伝送ケーブルの他に、パ
ラメータのためのデータ転送用ケーブルを接続する。

【０１００】そして、パラメータとビデオフレームとの
関係が不明にならないように、再生器から編集器に伝送
するビデオ信号のブランキング期間にストリーム中のＩ
Ｄ及びＰＴＳを多重し、一方、データ転送用ケーブルを
通じて転送するパラメータにも、同様にＩＤとＰＴＳと
を多重する。

【０１０１】こうすることにより、編集器では、元の符
号化のパラメータを使用して、再エンコードを実施する
ことができ、再エンコードによる画質劣化を抑えること
ができる。

【０１０２】また、このとき、パラメータとして、デー
タ量が少ないピクチャタイプ、Ｑｕａｎｔ及びＤＣＴタ
イプの値だけを伝送することにより、伝送の信頼性を維
持しつつ、画質劣化に対する高い抑制効果を得ることが
できる。

【０１０３】（第４の実施形態）第４の実施形態では、
音声の吹き替えが可能な編集装置について説明する。

【０１０４】この装置は、図７に示すように、ストリー
ム１からビデオパケットとオーディオパケットとを分離
する分離部25と、ストリーム０からビデオパケットとオ
ーディオパケットとを分離する分離部29と、多重部26へ
の入力を選択する切替スイッチ27、28とを備えている。
その他の構成は第２の実施形態と変わりがない。

【０１０５】この装置では、分離部29が、ストリーム０
のビデオパケットとオーディオパケットとを分離し、ま
た、分離部25が、ストリーム１のビデオパケットとオー
ディオパケットとを分離する。分離されたビデオパケッ
ト及びオーディオパケットは、切替スイッチ27、28の選
択に応じて、多重部26に取り込まれて、パック化したス
トリームに組み込まれる。

【０１０６】そのため、図８に示すように、区間Ｄにお
いて、ストリーム１のビデオパケットを切替スイッチ27
で選択し、また、ストリーム０のオーディオパケットを
切替スイッチ28で選択することにより、ストリーム１の
映像はそのままで、音声だけをストリーム０の音声で入
れ換えたストリームを編集することができる。

【０１０７】（第５の実施形態）第５の実施形態では、
編集者がモニタに映る映像を見ながら編集を行なう場合
の編集方法について説明する。

【０１０８】第１の実施形態で説明した編集は、編集点
が事前に分かっている場合の編集方法であり、そのため
に、図２の区間Ｂの先頭からの再エンコードが可能にな
る。しかし、編集者がモニタを見ながら編集点を決める
編集では、編集装置に編集点が予め知らされていない。
こうした場合の編集方法を図１及び図２を用いて説明す
る。

【０１０９】この編集装置の区間Ａにおける動作は、第
１の実施形態と同じである。また、区間Ｂについては、
編集装置は、編集点を知らないため、区間Ｂを識別する
ことができない。そのため、区間Ａと同じ動作が続けら
れ、区間Ａ及びＢのストリーム０がＤＶＤ−ＲＡＭ11に
記録される。

【０１１０】編集者によって編集点が設定されると、タ
イミングコントローラ13は、切替スイッチ23、24をＡＶ
デコーダ21側を選択するように切り替え、また、切替ス
イッチ16を、多重部17側を選択するように切り替える。

【０１１１】そのため、区間Ｃのストリーム１のデータ
が、ＡＶデコーダ21でデコードされた後、ビデオエンコ
ーダ18及びオーディオエンコーダ19で再エンコードさ
れ、多重部17、切替スイッチ16を経てストリームコント
ローラ12に入力し、ＤＶＤ−ＲＡＭ11に記録される。こ
の区間Ｃの動作は、第１の実施形態と同じである。

【０１１２】また、タイミングコントローラ13は、区間
Ｄでは、遅延器15から出力されるストリーム１のデータ
を選択するように切替スイッチ16を制御する。その結
果、ストリーム１のデータが、遅延されて再びストリー
ムコントローラ12に入力し、ＤＶＤ−ＲＡＭ11に記録さ
れる。この区間Ｄの動作は、第１の実施形態と同じであ
る。

【０１１３】こうして、ストリームの編集が終了する
と、編集装置は、区間Ｂに相当するストリーム０の部分
を読みだし、デコードと再エンコードとを行ない、これ
をＤＶＤ−ＲＡＭ11の該当箇所に記録する。

【０１１４】このように、編集点が事前に分かっていな
い場合には、区間Ｂの部分だけを後回しにして、ストリ
ームの編集を行ない、区間Ｂの再エンコードを後程実施
してストリームを補完する。この区間Ｂの時間は、長く
ても０．５秒程度であるから、編集者は、実質上リアル
タイムでの編集と受け取ることができる。

【０１１５】なお、区間Ｂについて再エンコードを行な
わないと、再生画像に乱れが生じる。これは、図１０で
説明したように、符号化されたピクチャの順序が原画像
のフレーム順序と異なるため、ＧＯＰの途中で切られる
と、再生に必要なフレームの幾つかが消失するためであ
る。再エンコードの実施により、こうした画像の乱れを
防ぐことができる。

【０１１６】

【発明の効果】以上の説明から明らかなように、本発明
の編集装置及び編集方法では、２台のデコーダを用いる
ことによって、任意のストリーム位置で、リアルタイム
によるストリームの編集を行なうことができる。また、
再エンコード区間を限定しているため、編集したストリ
ームの画像劣化を抑えることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における編集装置の構
成を示すブロック図、

【図２】本発明の第１の実施形態における編集装置の動
作を説明する図、

【図３】本発明の第２の実施形態における編集装置の構
成を示すブロック図、

【図４】第２の実施形態における編集装置の多重部の構
成を示すブロック図、

【図５】本発明の第３の実施形態における編集装置の構
成を示すブロック図、

【図６】第３の実施形態の効果を説明するグラフ、

【図７】本発明の第４の実施形態における編集装置の構
成を示すブロック図、

【図８】本発明の第４の実施形態における編集装置の動
作を説明する図、

【図９】パック化したストリームを示す図、

【図１０】ＭＰＥＧ方式のストリームの説明図、

【図１１】ＭＰＥＧ方式の動画像のエンコーダを示すブ
ロック図である。

【符号の説明】

11 ＤＶＤ−ＲＡＭ 12 ストリームコントローラ 13 タイミングコントローラ 14 システムコントローラ 15 遅延器 16、23、24、27、28 切替スイッチ 17、26 多重部 18 ビデオエンコーダ 19 オーディオエンコーダ 20、21、22 ＡＶデコーダ 25、29 分離部 31 ビデオパケット生成部 32 ビデオパケットヘッダ生成部 33 オーディオパケット生成部 34 オーディオパケットヘッダ生成部 35 パックヘッダ生成部 36 受信バッファ検証部 37 切替スイッチ 41 減算部 42 ＤＣＴ変換部 43 量子化部 44 逆量子化部 45 逆ＤＣＴ変換部 46 加算部 47 画像メモリ 48 動きベクトル検出部 49 可変長符号化部 50 バッファ

Claims (17)

【特許請求の範囲】
1. 【請求項１】 符号化された２つのストリームを編集点
   で切り替える編集装置において、 第１のストリームをデコードする第１のデコーダと、 第２のストリームをデコードする第２のデコーダと、 第１のデコーダまたは第２のデコーダでデコードされた
   データを再エンコードするエンコーダと、 前記エンコーダでの再エンコードを編集点の前後の再エ
   ンコード区間だけに制限し、前記再エンコード区間の前
   の区間では第１のストリームを選択し、前記再エンコー
   ド区間の後の区間では第２のストリームを選択する選択
   手段とを備えることを特徴とする編集装置。
2. 【請求項２】 前記選択手段が、前記再エンコード区間
   を、前記第１のストリームの編集点を含むＧＯＰの先頭
   から、前記第２のストリームの編集点を含むＧＯＰの末
   尾までに制限することを特徴とする請求項１に記載の編
   集装置。
3. 【請求項３】 編集したストリームのヘッダ情報を統一
   的に作り直すヘッダ生成手段を具備することを特徴とす
   る請求項１に記載の編集装置。
4. 【請求項４】 前記エンコーダが、前記第１のデコーダ
   または第２のデコーダによってデコードされた符号化情
   報を利用して再エンコードを行なうことを特徴とする請
   求項１に記載の編集装置。
5. 【請求項５】 前記符号化情報として、ピクチャタイ
   プ、量子化特性指定情報（Ｑｕａｎｔ）及びＤＣＴタイ
   プの情報を利用することを特徴とする請求項４に記載の
   編集装置。
6. 【請求項６】 前記エンコーダが、符号化のビットレー
   トを変換して再エンコードを行なうとき、 新Ｑｕａｎｔ＝元Ｑｕａｎｔ×（新ビットレート／元ビ
   ットレート）から算出される新Ｑｕａｎｔを用いてエン
   コードを行なうことを特徴とする請求項４に記載の編集
   装置。
7. 【請求項７】 前記エンコーダに、デコードされたデー
   タと符号化情報とがそれぞれ異なるケーブルを用いて別
   機器から転送されることを特徴とする請求項４乃至６に
   記載の編集装置。
8. 【請求項８】 前記第１のストリーム及び第２のストリ
   ームのビデオパケット及びオーディオパケットを分離す
   る分離手段と、一方のストリームのビデオパケットと他
   方のストリームのオーディオパケットとを多重化する多
   重化手段とを具備することを特徴とする請求項１に記載
   の編集装置。
9. 【請求項９】 前記エンコーダが、前記再エンコード区
   間の編集点より前の区間の再エンコードを前記第２のス
   トリームの選択が済んだ後に行なうことを特徴とする請
   求項１に記載の編集装置。
10. 【請求項１０】 符号化された２つのストリームを編集
    点で切り替える編集方法において、 ２台のデコーダを用いて各ストリームをデコードし、デ
    コードしたデータを選択して編集点の前後の区間だけ再
    エンコードを実施し、その他の区間ではストリームを選
    択することを特徴とする編集方法。
11. 【請求項１１】 前記再エンコードを実施する区間を、
    第１のストリームの編集点を含むＧＯＰの先頭から、第
    ２のストリームの編集点を含むＧＯＰの末尾までとする
    ことを特徴とする請求項１０に記載の編集方法。
12. 【請求項１２】 編集したストリームのヘッダ情報を統
    一的に作り直すことを特徴とする請求項１０に記載の編
    集方法。
13. 【請求項１３】 前記デコーダでデコードした符号化情
    報を利用して前記再エンコードを行なうことを特徴とす
    る請求項１０に記載の編集方法。
14. 【請求項１４】 前記符号化情報として、ピクチャタイ
    プ、Ｑｕａｎｔ及びＤＣＴタイプの情報を利用すること
    を特徴とする請求項１３に記載の編集方法。
15. 【請求項１５】 前記再エンコードで、符号化のビット
    レートを変換するとき、 新Ｑｕａｎｔ＝元Ｑｕａｎｔ×（新ビットレート／元ビ
    ットレート）から算出される新Ｑｕａｎｔを用いてエン
    コードを行なうことを特徴とする請求項１３に記載の編
    集方法。
16. 【請求項１６】 各ストリームのビデオパケットとオー
    ディオパケットとを分離し、一方のストリームのビデオ
    パケットと他方のストリームのオーディオパケットとを
    多重化してストリームを生成することを特徴とする請求
    項１０に記載の編集方法。
17. 【請求項１７】 前記編集点より前の区間の再エンコー
    ドを、後から行なうことを特徴とする請求項１０に記載
    の編集方法。