JP2000032449A

JP2000032449A - 画像情報処理装置および方法、並びに提供媒体

Info

Publication number: JP2000032449A
Application number: JP19400898A
Authority: JP
Inventors: Akira Sugiyama; 晃杉山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-07-09
Filing date: 1998-07-09
Publication date: 2000-01-28

Abstract

(57)【要約】【課題】ビットレートを平均化する。【解決手段】タイミングジェネレータ５１は、V-Blan
king信号を検出し、V-Blanking信号が解除されたタイミ
ングに同期して、信号GOP_STARTを発生し、ビットレー
トカウンタ５２に出力する。ビットレートカウンタ５２
は、信号GOP_STARTに同期してカウンタをリセットし、
ビットレートストリームに含まれる有効な符号量をカウ
ントし、その値を比較部５３に出力する。その後、タイ
ミングジェネレータ５１は、V-Blanking信号が再度発生
したタイミングに同期して、信号GOP_ENDを発生し、比
較部５３に出力する。比較部５３は、信号GOP_ENDが入
力されたタイミングに同期して、有効な符号量を示すカ
ウント値と、CPUインタフェース５４からのビットレー
トとを比較し、その差を示す信号Stuffing_valueをスタ
ッフィングカウンタ５５に出力する。スタッフィングカ
ウンタ５５は、差信号Stuffing_valueの値だけカウント
し、その間、信号Stuffing_enableをスイッチ５６に出
力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像情報処理装置
および方法、並びに提供媒体に関し、特に、デジタル画
像情報のビットレートを平均化する画像情報処理装置お
よび方法、並びに提供媒体に関する。

【０００２】

【従来の技術】近年において、デジタル映像信号を記録
媒体に記録したり伝送したりするためのフォーマットが
数種類提供されている。一般に、デジタル映像信号は、
データ量が極めて多いため、これを記録媒体に長時間記
録する場合、圧縮符号化することが必要である。この圧
縮符号化方法の代表的なものとして、MPEG(Moving Pict
ure Image Coding Experts Group)方式が知られてい
る。MPEG方式は、動き補償予測符号化と離散コサイン変
換（DCT:Discrete Cosine Transform)符号化とを組み合
わせたハイブリット方式である。すなわち、まず最初に
ビデオ信号のフレーム間の差分を取ることにより、時間
軸方向の冗長度を落とした後、離散コサイン変換を用い
て空間軸方向の冗長度を落として能率良く符号化が行わ
れる。

【０００３】ところで、記録媒体として磁気テープ等の
テープ状記録媒体を用いるビデオテープレコーダにおい
ては、回転ヘッドを用い、テープの走行方向に対して斜
めに傾斜したトラック、いわゆるヘリカルトラックを形
成するように記録がなされるている。このようなヘリカ
ルトラックが記録形成されたテープ状記録媒体を、２倍
速、３倍速、あるいはサーチのように、高速でテープを
走行させる場合、回転ヘッドのテープ状での軌跡の角度
が記録トラックの傾き角度とは異なってくるため、ヘリ
カルトラックに記録された信号の全てを再生することが
できなくなる。すなわち、高速再生時には、各ヘリカル
トラックの一部を走査（トレース）するような再生が行
われる。

【０００４】MPEG方式を用いて圧縮符号化を行い、その
データをテープ状記録媒体に記録すると、上述したサー
チ等の高速再生を行った場合、各ヘリカルトラックの一
部しかトレースされないので、再生されたデータを有効
に活用して高品質の再生画像を得ることが困難になる。

【０００５】このため、MPEG方式をそのままテープ状記
録媒体の圧縮符号化方式に用いるよりも、高速再生時に
もある程度有効な画像再生が行える圧縮符号化方法を用
いることが好ましい。

【０００６】このことを考慮して、先に本願出願人は、
MPEG方式と同様に動き補償予測符号化と離散コサイン変
換符号化とを組み合わせたハイブリット方式であり、マ
クロブロックを単位として、マクロブロック内の全DCT
ブロックの各DC係数をまとめ、また全DCTブロックの各A
C係数の低次成分から高次成分までを、それぞれ次数毎
にまとめて順次配列して、テープ状記録媒体に記録する
ことにより、サーチ等の高速再生時、マクロブロック内
の画像再生に重要な全てのDC係数および低次のAC係数を
再生できるようにした圧縮符号化方式の記録フォーマッ
ト（以下、SXフォーマットと記述する）を提案してお
り、SXフォーマットのデータ構造については、例えば特
願平１０−０９１９９３号に記述されている。

【０００７】ところで、画像データが符号化されたデー
タストリームを任意の伝送路に伝送する場合、ビットレ
ートをその伝送路に適した値に平均化することが必要と
なる。

【０００８】従来において、そのビットレートの平均化
は、スタッフィングにより実現されている。ここで、従
来において行われているGOP単位のスタッフィングにつ
いて、図１９を参照して説明する。ビットレートを平均
化したいビットストリームには、有効な情報が連続して
存在しているのではなく間隔が存在する。そこで、この
ビットストリームに含まれる有効な情報量を把握するた
めに、１GOP毎にビットストリームは、一旦、メモリに
記憶されて有効な情報量が確認された後、パッキング
（ビットアライン）され、その情報量と目標とするビッ
トレートとが比較され、その差の分（Stuffing長）だけ
スタッフィングビット”０”が付加（スタッフィング）
されて出力される。したがって、目標のビットレートに
平均化されたビットストリームには、有効な情報が連続
して存在する（スタッフィングビットは情報として無意
味であるが、ビットストリームを平均化するための有効
な情報である）。

【０００９】

【発明が解決しようとする課題】しかしながら、上述し
た従来のスタッフィングにおいては、パッキングを実施
するためにメモリが必要であるとともに、パッキング処
理によって生ずる遅延（図１９の例では１GOP）が大き
い課題があった。

【００１０】本発明はこのような状況に鑑みてなされた
ものであり、V-Blanking信号の期間にスタッフィングを
実行することにより、平均化処理によって生ずる遅延を
減少させるものである。

【００１１】

【課題を解決するための手段】請求項１に記載の画像情
報処理装置は、データストリームに含まれる所定の信号
を検知する検知手段と、データストリームに含まれる有
効な画像情報の量を計測する計測手段と、計測手段が計
測した有効な画像情報の量と所定のビットレートを比較
する比較手段と、比較手段の比較結果に基づいて、検知
手段が検知した所定の信号が存在する期間に、データス
トリームに所定のデータを付加する付加手段とを備える
ことを特徴とする。

【００１２】請求項４に記載の画像情報処理方法は、デ
ータストリームに含まれる所定の信号を検知する検知ス
テップと、データストリームに含まれる有効な画像情報
の量を計測する計測ステップと、計測ステップで計測し
た有効な画像情報の量と所定のビットレートを比較する
比較ステップと、比較ステップの比較結果に基づいて、
検知ステップで検知した所定の信号が存在する期間に、
データストリームに所定のデータを付加する付加ステッ
プとを含むことを特徴とする。

【００１３】請求項５に記載の提供媒体は、データスト
リームに含まれる所定の信号を検知する検知ステップ
と、データストリームに含まれる有効な画像情報の量を
計測する計測ステップと、計測ステップで計測した有効
な画像情報の量と所定のビットレートを比較する比較ス
テップと、比較ステップの比較結果に基づいて、検知ス
テップで検知した所定の信号が存在する期間に、データ
ストリームに所定のデータを付加する付加ステップとを
含む処理を画像情報処理装置に実行させるコンピュータ
が読み取り可能なプログラムを提供することを特徴とす
る。

【００１４】請求項１に記載の画像情報処理装置におい
ては、検知手段が、データストリームに含まれる所定の
信号を検知し、計測手段が、データストリームに含まれ
る有効な画像情報の量を計測し、比較手段が、計測手段
が計測した有効な画像情報の量と所定のビットレートを
比較し、付加手段が、比較手段の比較結果に基づいて、
検知手段が検知した所定の信号が存在する期間に、デー
タストリームに所定のデータを付加する。

【００１５】請求項４に記載の画像情報処理方法、およ
び請求項５に記載の提供媒体においては、検知ステップ
で、データストリームに含まれる所定の信号を検知し、
計測ステップで、データストリームに含まれる有効な画
像情報の量を計測し、比較ステップで、計測ステップで
計測した有効な画像情報の量と所定のビットレートを比
較し、付加ステップで、比較ステップの比較結果に基づ
いて、検知ステップで検知した所定の信号が存在する期
間に、データストリームに所定のデータを付加する。

【００１６】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。

【００１７】すなわち、請求項１に記載の画像情報処理
装置は、データストリームに含まれる所定の信号を検知
する検知手段（例えば、図８のタイミングジェネレータ
５１）と、データストリームに含まれる有効な画像情報
の量を計測する計測手段（例えば、図８のビットレート
カウンタ５２）と、計測手段が計測した有効な画像情報
の量と所定のビットレートを比較する比較手段（例え
ば、図８の比較部５３）と、比較手段の比較結果に基づ
いて、検知手段が検知した所定の信号が存在する期間
に、データストリームに所定のデータを付加する付加手
段（例えば、図８のスイッチ５６）とを備えることを特
徴とする。

【００１８】また、請求項３に記載の画像情報処理装置
は、ビットレートを低下させる低下手段（例えば、図２
の変換部２２）をさらに備え、比較手段は、有効な画像
情報の量が所定のビットレートよりも大きい場合、低下
手段を制御する信号を発生することを特徴とする。

【００１９】但し勿論この記載は、各手段を記載したも
のに限定することを意味するものではない。

【００２０】本発明を適用したビデオカセットレコーダ
の構成について、図１を参照して説明する。はじめにビ
デオカセットレコーダの記録系の構成について説明す
る。シリアルデータ入力部(SDI_IN)１は、ビデオ信号と
オーディオ信号が多重されたシリアル信号SDI Inの入力
を受け付けてパラレル信号に変換し、その入力の位相基
準信号Input Syncをトリガ回路(TG)１５に出力するよう
になされている。さらに、入力部１は、変換したパラレ
ル信号からビデオ信号とオーディオ信号を分離して、ビ
デオ信号をSXエンコーダ(SX_ENC)２に出力し、オーディ
オ信号を遅延部(DL)３に出力する。

【００２１】SXエンコーダ２は、入力されたビデオ信号
を、SXフォーマットに基づいて圧縮符号化し、符号化し
た信号SX1をECC(Error Correction Coding)エンコーダ
(ECC_ENC)４に出力する。遅延部３は、ビデオ信号がSX
エンコーダ２において符号化される間、対応するオーデ
ィオ信号AU1を遅延してECCエンコーダ４に出力するよう
になされている。

【００２２】ECCエンコーダ４は、SXフォーマットで圧
縮符号化されたビデオ信号SX1と非圧縮のオーディオ信
号AU1を入力信号として、誤り訂正符号化を実行し、出
力信号REC DATAをイコライザ(EQ)５に出力する。イコラ
イザ５は、入力された信号REC DATAを記録信号REC RFに
変換して回転ドラム(DRUM)６に供給する。回転ドラム６
は、取り付けられている記録ヘッド（図示せず）に、入
力された記録信号REC RFを供給し、磁気テープ(TAPE)７
に記録させるようになされている。

【００２３】次に、ビデオカセットレコーダの再生系の
構成について説明する。回転ドラム６の再生ヘッド（図
示せず）は、磁気テープ７に記録されている磁気信号を
再生して再生信号PB RFをイコライザ５に出力する。イ
コライザ５は、入力された再生信号PB RFに位相等化処
理を施してECCデコーダ(ECC_DEC)８に出力する。ECCデ
コーダ８は、入力された信号PB DATAに対して、誤り訂
正復号(Error CorrectionDecoding)を実行して、再生ビ
デオ信号SXPBと再生オーディオ信号AUPBを分離するとと
もに、圧縮されている再生ビデオ信号SXPBをSXデコーダ
(SX_DEC)９、シリアルデータ出力部(SDTI)１０、および
MPEG変換部１１に出力し、再生オーディオ信号AUPBを遅
延部１２に出力する。

【００２４】SXデコーダ９は、入力されたSXフォーマッ
トの再生ビデオ信号SXPBを復号してシリアルデータ出力
部(SDI_OUT)１３に供給する。

【００２５】MPEG変換部１１は、入力された再生ビデオ
信号SXPB（SXフォーマット）をMPEGフォーマットに変換
して、出力部１４に出力するようになされている。

【００２６】遅延部１２は、入力された再生オーディオ
信号AUPBを遅延して、対応する再生ビデオ信号SXPBとの
タイミングを合わせ、オーディオ遅延信号AUDL1乃至AUD
L3として、シリアルデータ出力部１３、シリアルデータ
出力部１０、またはシリアルデータ出力部１４に出力す
る。

【００２７】シリアルデータ出力部１３は、SXデコーダ
９から入力されたビデオ信号Videooutと遅延部１２から
入力された遅延オーディオ信号AUDL1をマッピングし、
シリアル信号として出力するようになされている。

【００２８】シリアルデータ出力部１０は、ECCデコー
ダ８から入力された再生ビデオ信号SXPB（SXフォーマッ
ト）と遅延部１２から入力された遅延オーディオ信号AU
DL2をマッピングし、シリアル信号として、この情報記
録装置と同じようにSXフォーマットで圧縮符号化された
画像情報を処理することができる他の装置（図示せず）
に出力するようになされている。

【００２９】シリアルデータ出力部１４は、MPEG変換部
１１から入力されたMPEGフォーマットのビデオ信号と遅
延部１２から入力された遅延オーディオ信号AUDL3をマ
ッピングし、シリアル信号としてMPEGフォーマットの画
像情報を処理することができる他の装置（図示せず）に
出力するようになされている。

【００３０】トリガ回路１５は、外部から入力される外
部基準信号REF Inから基準信号Reference Syncを抽出
し、抽出した基準信号Reference Sync、または入力部１
から入力された位相基準信号Input Syncのうちの一方の
基準信号に同期して、タイミングパルスを発生して各部
に供給する。システムコントローラ(SYSCON)１６、およ
びサーボ回路(SERVO)１７は、信号SY_SVを用いて互いに
連携を取りながら、それぞれ制御信号SY_IO，SERVO_IO
を出力して各部を制御するようになされている。

【００３１】図２は、MPEG変換部１１の詳細な構成を示
している。ECCデコーダ８からMPEG変換部１１に入力さ
れたSXストリーム（再生ビデオ信号(SXPB)）は、可変長
復号部２１、およびヘッダ付加部２４に供給される。可
変長復号部２１は、可変長符号化されているSXストリー
ムをDCT係数が得られるまで部分的に復号することによ
り、データの境界を明確にし、データの並び替えが可能
な信号STRM1を変換部２２に出力するようになされてい
る。

【００３２】変換部２２は、入力信号STRM1に対して、S
XフォーマットとMPEGフォーマットとの相違点であるデ
ータの並び等を修正する。さらに、変換部２２は、スタ
ッフィング部２５から供給される制御信号CUTが”１”
である場合、DCT係数の高次の非ゼロ係数を０に置換し
て出力信号STRM2を生成し、それを可変長符号化部２３
に出力する。

【００３３】可変長符号化部２３は、入力信号STRM2の
うちの可変長符号化されていない部分に対して可変長符
号化を施して出力信号STRM3としてヘッダ付加部２４に
出力する。

【００３４】ここで、可変長復号部２１乃至可変長符号
化部２３の処理をまとめると、図３に示すようになる。
変換部２２に相当する０置換部３２は、制御信号CUTに
基づいて、可変長復号部３１（可変長復号部２１に相当
する）から入力されたDCT係数の高次の非ゼロ係数を０
に置換して、可変長符号化部３３に出力する。０に置換
されたDCT係数は、可変長符号化部３３（可変長符号化
部２３に対応する）において符号化されるが、その符号
量は、０に置換される以前のDCT係数が符号化されてい
た符号量よりも確実に減少している。

【００３５】このように、符号化されているデータスト
リームの全てを一旦復号することなく、その一部を復号
し、DCT係数の高次の非ゼロ係数を０に置換するだけ
で、容易に任意のビットレートに変換することができ
る。

【００３６】また、高次のDCT係数を０に置換して、そ
の符号系列を再生した場合、０への置換によって生ずる
画像劣化は、人間の視覚特性上分かり難いので、実質的
に、画像の劣化を抑止してビットレートを変換すること
ができる。

【００３７】図２に戻る。ヘッダ付加部２４は、予め入
力されたSXストリームから、入力信号STRM3のタイミン
グ等を検出し、MPEGで規定されている各種のヘッダ情報
（その詳細については後述する）を作成する。その後、
可変長符号化部２３から入力された入力信号STRM3に作
成したヘッダ情報を付加し、出力信号STRM4をスタッフ
ィング部２５に出力するようになされている。

【００３８】スタッフィング部２５は、入力信号STRM4
のGOP(Group Of Picture)単位でのデータ長を計算し、
データ長が所定値に達していない場合、入力信号STRM4
にスタッフィングビット”０”を挿入して、GOP単位の
データ長の平均化を図り、MPEGフォーマットの出力信号
MPEG Streamをシリアルデータ出力部１４（図１）に出
力する。反対に、GOP単位のデータ長が所定のデータ長
を越える場合、スタッフィング部２５は、制御信号CUT
を”１”にして変換部２２に出力する。

【００３９】システムコントロールインタフェース２６
は、外部CPUからの制御信号SYSCONInterfaceに基づい
て、可変長復号部２１乃至スタッフィング部２５を制御
するようになされている。

【００４０】次に、MPEG変換部１１のビットレート変換
処理について、図４のフローチャートを参照して説明す
る。この処理は、可変長復号部２１から変換部２２にビ
デオ信号STRM1が入力されたときに開始される。

【００４１】ステップＳ１において、変換部２２は、可
変長復号部２１から信号の入力が終了したか否かを判定
する。信号の入力が終了したと判定された場合、処理を
終了し、信号の入力が終了していないと判定された場
合、ステップＳ２に進む。ステップＳ２において、変換
部２２は、DCT係数の最高次からの順番を示すパラメー
タＮ（Ｎは０乃至６３）を０に初期化する。

【００４２】ステップＳ３において、変換部２２は、DC
T係数の高次からＮ個の非ゼロ係数を０に置換して、可
変長符号化部２３に出力する。可変長符号化部２３は、
入力信号のうちの可変長符号化されていない部分に対し
て可変長符号化を施してヘッダ付加部２４に出力する。
ヘッダ付加部２４は、入力された信号に、予め作成した
ヘッダ情報を付加してスタッフィング部２５に出力す
る。

【００４３】ステップＳ４において、スタッフィング部
２５は、ヘッダ付加部２４から入力された信号STRM4の
ビットレートが、予め設定されたビットレート以内であ
るか否かを判定する。ビットレートが予め設定されたビ
ットレート以内ではない（設定されたビットレートを超
えている）と判定された場合、ステップＳ５に進む。ス
テップＳ５において、スタッフィング部２５は、制御信
号CUTを”１”として変換部２２に出力する。この制御
信号CUTに対応して、変換部２２は、パラメータＮを１
だけインクリメントし、ステップＳ３に戻る。

【００４４】その後、ステップＳ４において、スタッフ
ィング部２５に入力された信号STRM4のビットレートが
予め設定されたビットレート以内であると判定されるま
で、ステップＳ３乃至Ｓ５の処理が繰り返され、ステッ
プＳ４において、スタッフィング部２５に出力される信
号のビットレートが予め設定されたビットレート以内で
あると判定された場合、ステップＳ６に進む。

【００４５】ステップＳ６において、変換部２２は、シ
ステムコントローラインタフェース２６による制御に基
づいて、パラメータＮを１だけデクリメントし、ステッ
プＳ３に戻る。

【００４６】ステップＳ７において、スタッフィング部
２５は、入力された信号STRM4のビットレートが予め設
定されたビットレートに達するまで、信号STRM4にスタ
ッフィングビット”０”を挿入する。なお、このスタッ
フィング処理の詳細については、図８を参照して後述す
る。

【００４７】次に、MPEG変換部１１のスタートコードエ
ミュレーション防止処理について説明する。この処理
は、主にヘッダ付加部２４において実行される。上述し
たように、MPEG変換部１１は、SXフォーマットのデータ
をMPEGフォーマットのデータに変換する処理を実行して
おり、SXフォーマットに特有な、例えば、画像編集用の
情報は、MPEGフォーマットには規定されていないので、
この情報はMPEGフォーマットのユーザデータフィールド
に記述されている。このMPEGのユーザデータフィールド
は、他のMPEGのデータフィールドとは異なって、特に規
定が存在せず（フリーフォーマットであり）、任意の情
報を記述できるが、その反面、スタートコードエミュレ
ーションを引き起こす可能性がある。

【００４８】ここで、スタートコードエミュレーション
について説明する。MPEGにおいては、各データフィール
ドの先頭を示す特別なデータパターンとして、２３ビッ
ト連続する”０”と、それに続く１ビットの”１”との
組み合わせをスタートコードとして規定しており、ユー
ザフィールド以外のデータフィールドにおいては、各フ
ィールドの先頭以外で”０”が２３ビット連続すること
を禁止している。しかしながら、ユーザデータフィール
ドにおいては、そこに記述するデータは任意であり、ユ
ーザは、意識的に０が２３ビット連続することを避けて
データを記述する必要がある。

【００４９】スタートコードエミュレーションとは、ユ
ーザデータフィールドに記載されたデータが、偶然にス
タートコードと一致してしまうことであり、これは、画
像破綻を引き起こす可能性が高い致命的なエラーとな
る。

【００５０】そこで、本実施の形態においては、ヘッダ
付加部２４が、図５に示すように、ユーザデータフィー
ルドの１６ビット毎にマーカビット”１”を挿入して、
スタートコードエミュレーションを防止している。

【００５１】図６は、ヘッダ付加部２４のスタートコー
ドエミュレーション防止処理を実施する部分の詳細な構
成を示しており、図７は各部の動作タイミングを示して
いる。バッファ４１は、ユーザデータフィールドに記述
するユーザデータを記憶しており、図７に示すように、
クロック信号に同期して、ユーザデータを１６ビットず
つレジスタ４６に供給する。したがって、バッファ４１
の容量は、（最大ユーザデータ長／１６）から求められ
る値以上の容量が必要である。

【００５２】ビットずれ測定部４２は、ユーザデータス
タートコード(0x000001B2)に同期してリセットされる４
ビットのカウンタ４３、およびカウント値を１ずつ増加
する加算器４４から構成され、その出力を制御信号ctと
してデータ選択部４７に出力する。レジスタ４５は、バ
ッファ４１から供給された１６ビットのユーザデータを
記憶しており、クロックに同期して、記憶しているユー
ザデータreg1をレジスタ４６、およびデータ選択部４７
に出力する。レジスタ４６は、レジスタ４５から入力さ
れた１６ビットのユーザデータを記憶し、クロックに同
期して記憶しているユーザデータreg2（１クロックサイ
クル前のreg1と同一のユーザデータ）をデータ選択部４
７に出力する。

【００５３】データ選択部４７は、レジスタ４５から入
力されたユーザデータreg1、およびレジスタ４６から入
力されたユーザデータreg2の３２ビット幅のユーザデー
タのうちの所定の１５ビットを、ビットずれ測定部４２
からの制御信号ctの値に基づいて選択し、出力するよう
になされている。例えば、図７の一点鎖線部分に示すよ
うに、制御信号ctの値が３である場合、データ選択部４
７は、３２ビット幅のユーザデータd3[1]乃至d2[16]の
うちの１５ビットのユーザデータd3[4]乃至d2[2]を選択
し、制御信号ctの値が４である場合（次のクロックサイ
クルでは）、ユーザデータd4[5]乃至d3[3]を選択する。
マーカビット発生部４８は、データ選択部４７から１５
ビットのユーザデータが出力された後、マーカビット”
１”を出力する。

【００５４】このように、出力においては、マーカビッ
トを挿入するので、その出力速度は、バッファ４１から
の入力速度に比べて遅くなる。すなわち、１６回のクロ
ックサイクルに対して１５ワードの入力データしか処理
（出力）できない。そこで、バッファ４１は、１６回の
クロックサイクルに１回の割合で（図７の例では、制御
信号ctが１４であるとき）、レジスタ４５へのユーザデ
ータの供給を待機するように制御される。

【００５５】なお、本実施の形態の場合、ユーザデータ
に占めるマーカビットの割合は、6.25(=1/16)％であ
り、２３ビット毎にマーカビットを挿入した場合（4.35
(=1/23)％）と比較すると、1.9％だけユーザデータの伝
送効率が低下する。しかしながら、ビデオ信号全体に占
めるユーザデータフィールドの割合は数百分の一である
ので、ビデオ信号のストリーム全体としては、伝送効率
の低下は十分に抑えられる（それほど低下していない）
ということができる。

【００５６】次に、スタッフィング部２５のスタッフィ
ング処理について説明する。図８は、スタッフィング部
２５の詳細な構成を示している。スタッフィング部２５
（図２）に入力されるビットストリーム（図２の出力信
号STRM4に相当する）は、タイミングジェネレータ５
１、ビットレートカウンタ５２、および遅延部(DL)５７
に供給される。

【００５７】タイミングジェネレータ５１は、ビットス
トリームに含まれている信号であって、図９に示すよう
に、ビットストリーム中に有効なデータが存在しない区
間を示しており、１フレーム毎に存在するV-Blanking信
号（通常のビデオ信号の１フィールド毎に存在する垂直
帰線期間の信号に対応する）を検出する。そして、タイ
ミングジェネレータ５１は、V-Blanking信号が解除され
た（有効なデータが現れた）タイミングに同期して、信
号GOP_STARTを発生し、ビットレートカウンタ５２に出
力する。ビットレートカウンタ５２は、信号GOP_START
に同期してカウンタをリセットし、ビットレートストリ
ームに含まれる有効な符号量をカウントし、その値を比
較部５３に出力する。

【００５８】その後、タイミングジェネレータ５１は、
V-Blanking信号が再度発生した（有効なデータが消え
た）タイミングに同期して、信号GOP_ENDを発生し、比
較部５３に出力する（ここでは、１GOP＝１ピクチャと
されている）。

【００５９】比較部５３は、信号GOP_ENDが入力された
タイミングに同期して、ビットレートカウンタ５２から
入力された有効な符号量を示すカウント値と、CPUイン
タフェース(CPU_IF)５４（図２のシステムコントローラ
インタフェース２６に相当する）に予め設定されている
ビットレートTarget_bit_rateとを比較する。カウント
値がビットレートTarget_bit_rateよりも小さい場合、
比較部３は、その差を示す信号Stuffing_valueをスタッ
フィングカウンタ５５に出力する。

【００６０】スタッフィングカウンタ５５は、入力され
た差信号Stuffing_valueの値だけカウント動作（計時動
作）を実行し、その間、信号Stuffing_enableをスイッ
チ５６に出力する。スイッチ５６には、遅延部５７によ
り、タイミングジェネレータ５１乃至スタッフィングカ
ウンタ５５の処理に対応する遅延が施されたビットスト
リーム、およびスタッフィングビット”０”が供給され
ており、スイッチ５６は、信号Stuffing_enableが入力
されている間、ビットストリームに”０”をスタッフィ
ングする。

【００６１】一方、比較部５３により、カウント値がビ
ットレートTarget_bit_rateよりも大きいと判定された
場合、比較部５３は制御信号CUTに”１”を立てて変換
部２２（図２）に出力する。なお、この制御信号CUTに
対応して変換部２２は、上述したように、DCT係数の高
次の非０係数を０に置換する。

【００６２】このように、本実施の形態においては、映
像信号に含まれるV-Blanking信号が存在する期間にスタ
ッフィングを行うので、パッキングの必要がない。した
がって、パッキングのためのメモリも必要ない。さら
に、パッキングを行わないので、システムディレイを最
小とする（リアルタイム処理を行う）ことが可能であ
る。

【００６３】次に、MPEG変換部１１のMPEGデータストリ
ーム修正処理について説明するが、その前に、MPEGデー
タストリームの構造について、図１０および図１１を参
照して説明する。

【００６４】MPEGフォーマットにおいては、スライスが
１つの可変長符号系列である。可変長符号系列とは、可
変長符号を復号しなければデータの境界を検出できない
単位である。なお、図中において、個々の可変長符号系
列の境界は、実線で示されており、それ以外の境界は破
線で示されている。

【００６５】図１０に示すように、データストリームの
最上層であるシーケンス層は、ヘッダ部と複数のGOPか
ら構成されている。GOP層は、ヘッダ部と複数のピクチ
ャから構成されている。ピクチャ層は、ヘッダ部と複数
のスライスから構成されている。さらに、スライス層
は、ヘッダ部と１つ以上のマクロブロックで構成されて
いる。

【００６６】シーケンス層、GOP層、ピクチャ層、スラ
イス層、およびマクロブロック層の先頭には、バイト単
位に整列された（バイトアラインされた）識別コードSC
(Start Code)が配される。なお、上述したヘッダ部は、
ヘッダ(header)、拡張データ(extension)、またはユー
ザデータ(extension user data)をまとめて、記述した
ものである。ヘッダ部（ヘッダと拡張データ、またはヘ
ッダとユーザデータ）は、それぞれ可変長符号系列であ
る。

【００６７】シーケンス層のヘッダには、画像（ピクチ
ャ）のサイズ（縦横方向の画素数）が記述されており、
GOP層のヘッダには、タイムコード、およびGOPを構成す
るピクチャ数が記述されている。

【００６８】スライス層に含まれるマクロブロックは複
数のブロックの集合であり、ブロックの符号系列は、量
子化されたDCT係数の系列を０係数の連続回数(Run)、お
よびその直後の非０係数(Level)を１つの単位として可
変長符号化したものである。マクロブロック、並びにマ
クロブロック内のブロックには、バイトアラインされた
識別コードは付加されない（１つの可変長符号系列では
ない）。

【００６９】図１１に示すように、マクロブロックは、
画像（ピクチャ）を１６画素×１６画素の格子状に分割
したものであり、マクロブロックを水平方向に連結した
ものがスライスである。連続するスライスの前のスライ
スの最後のマクロブロックと、次のスライスの先頭のマ
クロブロックとは、連続しており、スライス間のマクロ
ブロックオーバラップを形成することは許されていな
い。

【００７０】スライスのピクチャ内の垂直位置(MB Row)
はスライス層のヘッダに記述されており（図１１の例で
は、mb_row=3が記述されており）、スライスの先頭のマ
クロブロックの水平位置(MB Column)は、スライス層の
先頭のマクロブロック層に記述されている（図１１の例
では、mb_column=2が記述されている）。画像（ピクチ
ャ）内におけるマクロブロックの絶対位置（マクロブロ
ックアドレス）は、画像の水平方向のマクロブロック数
MB Width（シーケンス層のヘッダの画像サイズ(Vertica
l size,Horizontal size)のHorizontal sizeから計算さ
れる）を用いて、次式のように表すことができる。マク
ロブロックアドレス＝((MB Row)-1)×(MB Width)＋(MB
Column)

【００７１】スライス層における先頭から２番目以降の
マクロブロック層には、直前のマクロブロックとのマク
ロブロックアドレスの差が記述されている（図１１の例
では、スライス層の２番目のマクロブロック層には差＝
＋２が、３番目のマクロブロック層には差＝＋１が、そ
れぞれ記述されている）。あるマクロブロックにマクロ
ブロックアドレスの差として２以上が記述されていた場
合、それは、直前のマクロブロックとそのマクロブロッ
クとの間のマクロブロックがスキップされたことを意味
している。ただし、スライスの先頭および末尾のマクロ
ブロック（図１１のmb_column=2のマクロブロックとmb_
column=8のマクロブロック）はスキップすることが禁止
されている。

【００７２】上述した規定によれば、スライス層の先頭
のマクロブロック層の水平位置と、次のスライス層の先
頭のマクロブロック層の水平位置の差から、スライス内
のマクロブロックの数を計算することができる。また、
シーケンス層のヘッダに記述された画像サイズ(Vertica
l size,Horizontal size)から、画像内の垂直方向のマ
クロブロックの数(Vertical size)、および水平方向の
マクロブロック数(Horizontal size)を計算することが
できる。このように、符号系列の一部、それもスタート
コードの近傍を復号するだけで、GOPのピクチャ数、画
像内のマクロブロック構成、およびスライス内のマクロ
ブロック数といったデータストリームの骨格を知ること
ができる。

【００７３】次に、MPEGデータストリーム修正処理につ
いて説明する。例えば、図１２(A)に示すように、スラ
イス層の５番目のマクロブロック層にエラーが混入して
いた場合、そのマクロブロック層の復号は不可能であ
り、同じ可変長符号系列内のそれより後の６番目乃至９
番目のマクロブロック層の復号も不可能となる。しかし
ながら、９番目のマクロブロックに続くスタートコード
（スライススタートコード(SSC)）は、バイトアライン
されているため、可変長符号を復号することなく、４バ
イトのパターンマッチングを行うだけで検出される。し
たがって、このスライススタートコード以降のマクロブ
ロックは復号することができる。

【００７４】このスライススタートコードに続くヘッダ
を復号して垂直位置MB Rowを取得し、これに続く先頭マ
クロブロックの最初の符号を復号して水平位置MB Colum
nを取得して、そのマクロブロックのマクロブロックア
ドレスを得ることができる。このマクロブロックアドレ
スから、途中のマクロブロックで復号不能となったスラ
イスの先頭マクロブロックのマクロブロックアドレスを
減算すれば、途中のマクロブロックで復号不能となった
スライスに含まれるマクロブロックの総数が得られる。
さらに、この総数から復号不能になる以前に正しく復号
できたマクロブロックの数を減算すれば、復号できなか
ったマクロブロックの数を得ることができる。

【００７５】また、例えば、復号できないマクロブロッ
クに連続して、シーケンスヘッダコード(SHC)、グルー
プスタートコード(GSC)、またはピクチャスタートコー
ド(PSC)が存在するか、もしくは、復号できないマクロ
ブロックに連続してシーケンスエンドコード(SEC)が存
在する場合、途中のマクロブロックで復号不能となった
スライスで画像が完結しているはずである。そこで、適
宜に、各層のヘッダ部のスタートコードの近傍を復号し
てGOPのピクチャ数、画像内のマクロブロック構成、お
よびスライス内のマクロブロック数を取得し、この全マ
クロブロック数から、スライスの先頭マクロブロックの
マクロブロックアドレスの値、および復号不能となる以
前に正しく復号できたマクロブロックの数を減算すれ
ば、復号できなかったマクロブロックの数を得ることが
できる。

【００７６】具体的な計算は、以下の通りである。例え
ば、途中のマクロブロックで復号不能となったスライス
の先頭マクロブロックの垂直位置MB Rowが”３”であ
り、そのスライスの先頭マクロブロックの水平位置MB C
olumnが”２”であり、復号できないマクロブロックに
続くスライス層のヘッダに記述された垂直位置MB Row
が”３”であり、それに続く先頭マクロブロックの水平
位置MB Columnが”１１”である場合、復号不能となっ
たマクロブロックを含むスライス内のマクロブロック数
は、”９”（＝１１−２）である。そのうちの４番目の
マクロブロックまで正しく復号できたとすると、復号で
きなかったマクロブロックの数は５となる。

【００７７】このような正しく復号されなかったマクロ
ブロックをMPEGのシンタックスを守る所定のマクロブロ
ックに置換することが、MPEGデータストリ−ム修正処理
である。所定のマクロブロックとしては、例えば、ブラ
ック（輝度信号が0x10であり、色差信号が0x80である）
マクロブロック、発生する符号量が最も少ないグレー
（輝度信号、および色差信号が0x80である）マクロブロ
ック、または平坦な図柄のマクロブロックが考えられ
る。

【００７８】図１２乃至図１６は、正しく復号されなか
ったマクロブロックを所定のマクロブロックに置換する
方法を示している。例えば、図１２(A)に示すように、
スライス層の先頭から５番目のマクロブロックにエラー
が混入していた場合、図１２(B)に示すように、５番目
乃至９番目のマクロブロックを所定のマクロブロックに
置換することができる。または、図１２(C)に示すよう
に、５番目乃至８番目のマクロブロックをスキップして
９番目のマクロブロックを所定のマクロブロックに置換
することができる。あるいは、図１２(D)に示すよう
に、５番目および９番目のマクロブロックを所定のマク
ロブロックに置換して、６番目乃至８番目のマクロブロ
ックをスキップすることができる。さらに、図１２(E)
に示すように、１番目乃至９番目のマクロブロックを所
定のマクロブロックに置換することができる。または、
図１２(F)に示すように、１番目および９番目のマクロ
ブロックを所定のマクロブロックに置換して、２番目乃
至８番目のマクロブロックをスキップすることができ
る。

【００７９】図１３(A)に示すように、スライス層のヘ
ッダにエラーが混入していた場合、図１３(B)に示す例
では、そのスライス層のスタートコードを除く全てのデ
ータが置換されている。図１４(A)に示すように、ピク
チャ層のヘッダにエラーが混入していた場合、図１４
(B)に示す例では、そのピクチャ層のスタートコードを
除く全てのデータが置換されている。図１５(A)に示す
ように、GOP層のヘッダにエラーが混入していた場合、
図１５(B)に示す例では、そのGOP層のスタートコードを
除く全てのデータが置換されている。図１６(A)に示す
ように、シーケンス層のヘッダにエラーが混入していた
場合、図１６(B)に示す例では、そのシーケンス層のス
タートコードを除く全てのデータが置換されている。ま
た、図１６(C)に示す例では、そのシーケンス層のシー
ケンススタートコード(SSC)がシーケンスエンドコード
(SEC)に置換されている。

【００８０】図１７は、MPEG変換部１１のMPEGデータス
トリーム修正処理を実行する部分の構成例を示してい
る。可変長復号部６１は、図２の可変長復号部２１に相
当し、メモリ６２、置換区間制御部６３、マクロブロッ
ク(MB)係数系列発生部６４、およびスイッチ６５は、図
２の変換部２２に相当し、可変長符号化部６６は、図２
の可変長符号化部２３に相当する。

【００８１】可変長復号部６１は、入力されたデータス
トリームを復号し、ヘッダとマクロブロックの単位に分
割してメモリ６２に出力する。したがって、可変長復号
部６１には、スタートコードを検出し、ヘッダを解読し
て、RunとLevelにまで復号できる能力が必要であるが、
DCT係数の系列まで復号する能力は必要ない。

【００８２】また、可変長復号部６１は、入力されたデ
ータストリーム中のエラー（復号不能なエラーマクロブ
ロック）を検出して置換区間制御部６３に通知するよう
になされている。さらに、可変長復号部６１は、解読し
たヘッダに記述されている各種パラメータ（画像のサイ
ズ、垂直位置MB Row、水平位置MB Column、および復号
済みマクロブロック数等）を置換区間制御部６３および
可変長符号化部６６に出力する。

【００８３】置換区間制御部６３は、可変長復号部６１
からのエラー通知と各種パラメータに基づいて、異常箇
所を判断してマクロブロックを置換する区間を決定し、
決定結果に対応してマクロブロック係数系列発生部６
４、およびスイッチ６５を制御する。

【００８４】マクロブロック係数系列発生部６４は、エ
ラーマクロブロックと置換するマクロブロックの係数系
列を発生する。例えば、ブラックのマクロブロックに置
換する場合、イントラマクロブロックとして、輝度信号
ブロックに0x10、色差信号ブロックに0x80の係数系列が
発生される。また、最も発生符号量が少ないグレーのマ
クロブロックに置換する場合、イントラマクロブロック
として、輝度信号ブロック、および色差信号ブロックに
0x80の係数系列が発生される。さらに、任意の図柄のマ
クロブロックに置換する場合、前後の影響を受けないイ
ントラマクロブロックとし、DC成分だけで構成される平
坦な図柄が発生される。

【００８５】スイッチ６５は、メモリ６２から供給され
るヘッダの符号系列、およびマクロブロックの係数系
列、またはマクロブロック係数系列発生部６４から供給
される置換用のマクロブロックの係数系列を、置換区間
制御部６３による制御に基づいて切り換え、可変長符号
化部６６に出力する。

【００８６】可変長符号化部６６は、入力された係数系
列を符号化して出力する。なお、このとき、メモリ６２
から入力されたヘッダは、既に符号化されているのでそ
のまま流用される。

【００８７】図１８は、MPEG変換部１１のMPEGデータス
トリーム修正処理を実行する部分の他の構成例を示して
いる。同図において、可変長符号部６１、置換区間制御
部６３、およびスイッチ６５は、図１７に示した構成と
同様であるので、その説明は省略する。

【００８８】メモリ７２は、ヘッダ毎、およびマクロブ
ロック毎に分割された符号系列を記憶する。マクロブロ
ック符号系列発生部７４は、置換用マクロブロックの符
号系列を発生する。例えば、ブラックやグレイのイント
ラマクロブロック、単純フレーム間予測であって符号化
不要である（DCT係数を持たない）Ｐピクチャ用マクロ
ブロック、または１つ前のマクロブロックと予測方向と
動きベクトルが同じである符号化不要のＢピクチャ用マ
クロブロックが予め記憶されており、可変長復号部６１
から入力されるパラメータに対応して、これらの置換用
マクロブロックの符号系列がスイッチ６５に供給され
る。

【００８９】マクロブロック(MB)パッキング部７６は、
スイッチ６５から入力される符号系列（メモリ７２から
供給された符号系列、またはマクロブロック符号系列発
生部７４から供給された符号系列）をパッキングして
（８ビットにビットアレイして）出力する。

【００９０】図１７に示した実施の形態の図１８に示し
た実施の形態に対する優位性は、以下の通りである。す
なわち、メモリ７２（図１８）は、復号される前の、圧
縮された符号系列を記憶するので、係数系列を記憶する
メモリ６２よりも、その容量は小さいものでよい。ただ
し、マクロブロックの符号系列とともに、その符号長を
記憶する必要がある。また、マクロブロック単位の符号
系列のパッキングを行うだけなので、再符号化部７６
（図１８）は、符号化を行う可変長符号化部６６（図１
７）よりも、その回路の規模が圧倒的に小さい。マクロ
ブロック符号系列発生部７４は、単純フレーム間予測で
あって符号化不要であるＰピクチャ用マクロブロック、
または１つ前のマクロブロックと予測方向と動きベクト
ルが同じである符号化不要のＢピクチャ用マクロブロッ
ク（スキップされるマクロブロック）を供給できるの
で、実質上、エラーマクロブロック部分をフリーズさせ
て補正することができる。

【００９１】なお、上述したMPEGデータストリーム修正
処理は、可変長符号の復号、および再符号化を実行する
ものの、量子化や逆量子化を経ないので、エラーに関係
しない箇所のマクロブロックの画質の劣化は発生しな
い。

【００９２】また、上記各処理を行うコンピュータプロ
グラムは、磁気ディスク、CD-ROM等の情報記録媒体より
なる提供媒体のほか、インターネット、デジタル衛星な
どのネットワーク提供媒体を介してユーザに提供するこ
とができる。

【００９３】

【発明の効果】以上のように、請求項１に記載の画像情
報処理装置、請求項４に記載の画像情報処理方法、およ
び請求項５に記載の提供媒体によれば、有効な情報量と
所定のビットレートを比較し、その差に基づいて、所定
に信号が存在する期間に、データストリームにスタッフ
ィングビットを付加することにより、平均化処理によっ
て生ずる遅延を減少させることが可能となる。

【図面の簡単な説明】

【図１】本発明を適用したビデオカセットレコーダの構
成を示すブロック図である。

【図２】図１のMPEG変換部１１の詳細な構成を示すブロ
ック図である。

【図３】MPEG変換部１１の処理を説明する図である。

【図４】MPEG変換部１１のビットレート変換処理を説明
するフローチャートである。

【図５】MPEG変換部１１のスタートコードエミュレーシ
ョン防止処理を説明する図である。

【図６】図２のヘッダ付加部２４のスタートコードエミ
ュレーション防止処理に関わる部分の構成を示すブロッ
ク図である。

【図７】MPEG変換部１１のスタートコードエミュレーシ
ョン防止処理を説明する図である。

【図８】スタッフィング部２５の詳細な構成を示すブロ
ック図である。

【図９】スタッフィング部２５のスタッフィング処理を
説明するフローチャートである。

【図１０】MPEGフォーマットのデータ構造を説明する図
である。

【図１１】MPEGフォーマットのデータ構造を説明する図
である。

【図１２】MPEG変換部１１のMPEGデータストリーム修正
処理を説明する図である。

【図１３】MPEG変換部１１のMPEGデータストリーム修正
処理を説明する図である。

【図１４】MPEG変換部１１のMPEGデータストリーム修正
処理を説明する図である。

【図１５】MPEG変換部１１のMPEGデータストリーム修正
処理を説明する図である。

【図１６】MPEG変換部１１のMPEGデータストリーム修正
処理を説明する図である。

【図１７】MPEG変換部１１のMPEGデータストリーム修正
処理に関わる部分の構成の一例を示すブロック図であ
る。

【図１８】MPEG変換部１１のMPEGデータストリーム修正
処理に関わる部分の構成の他の一例を示すブロック図で
ある。

【図１９】従来のスタッフィングを説明する図である。

【符号の説明】

１１ MPEG変換部，２１可変長復号部，２２変
換部，２３可変長符号化部，２４ヘッダ付加
部，２５スタッフィング部，２６システムコン
トロールインタフェース，５１タイミングジェネレ
ータ，５２ビットレートカウンタ，５３比較
部，５４ CPUインタフェース，５５スタッフィン
グカウンタ，５６スイッチ，５７遅延部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C053 FA20 FA21 FA23 GB05 GB06 GB07 GB08 GB15 GB17 GB23 GB26 GB37 KA01 KA20 KA24 LA06 5C059 KK21 KK22 KK26 KK40 MC21 MC26 MC31 MC32 MC34 ME01 PP04 RF09 RF17 RF18 SS02 SS11 SS12 SS20 TA41 TA43 TA49 TA57 TA60 TB03 TC18 TC19 TC37 TD07 TD11 UA02 UA05

Claims

【特許請求の範囲】

【請求項１】画像情報が符号化されたデータストリー
ムのビットレートを平均化する画像情報処理装置におい
て、前記データストリームに含まれる所定の信号を検知する
検知手段と、前記データストリームに含まれる有効な前記画像情報の
量を計測する計測手段と、前記計測手段が計測した前記有効な画像情報の量と所定
のビットレートを比較する比較手段と、前記比較手段の比較結果に基づいて、前記検知手段が検
知した前記所定の信号が存在する期間に、前記データス
トリームに所定のデータを付加する付加手段とを備える
ことを特徴とする画像情報処理装置。
【請求項２】前記所定の信号は、V-Blanking信号であ
ることを特徴とする請求項１に記載の画像情報処理装
置。
【請求項３】前記ビットレートを低下させる低下手段
をさらに備え、前記比較手段は、前記有効な画像情報の量が前記所定の
ビットレートよりも大きい場合、前記低下手段を制御す
る信号を発生することを特徴とする請求項１に記載の画
像情報処理装置。
【請求項４】画像情報が符号化されたデータストリー
ムのビットレートを平均化する画像情報処理方法におい
て、前記データストリームに含まれる所定の信号を検知する
検知ステップと、前記データストリームに含まれる有効な前記画像情報の
量を計測する計測ステップと、前記計測ステップで計測した前記有効な画像情報の量と
所定のビットレートを比較する比較ステップと、前記比較ステップの比較結果に基づいて、前記検知ステ
ップで検知した前記所定の信号が存在する期間に、前記
データストリームに所定のデータを付加する付加ステッ
プとを含むことを特徴とする画像情報処理方法。
【請求項５】画像情報が符号化されたデータストリー
ムのビットレートを平均化する画像情報処理装置に、前記データストリームに含まれる所定の信号を検知する
検知ステップと、前記データストリームに含まれる有効な前記画像情報の
量を計測する計測ステップと、前記計測ステップで計測した前記有効な画像情報の量と
所定のビットレートを比較する比較ステップと、前記比較ステップの比較結果に基づいて、前記検知ステ
ップで検知した前記所定の信号が存在する期間に、前記
データストリームに所定のデータを付加する付加ステッ
プとを含む処理を実行させるコンピュータが読み取り可
能なプログラムを提供することを特徴とする提供媒体。