JP2001145108A

JP2001145108A - 画像情報変換装置及び方法

Info

Publication number: JP2001145108A
Application number: JP32726299A
Authority: JP
Inventors: Kazufumi Sato; 数史佐藤; Takeshi Kubozono; 猛窪園; Shintaro Okada; 紳太郎岡田; Iku Ryuu; イクリュウ; Hisafumi Yanagihara; 尚史柳原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-11-17
Filing date: 1999-11-17
Publication date: 2001-05-25

Abstract

(57)【要約】【課題】画像圧縮情報の符号量を低減する。【解決手段】画像情報が直交変換及び動き補償により
複数のピクチャタイプの符号化画像に符号化されてなる
画像圧縮情報が入力され、この画像圧縮情報を変換する
ものであって、入力された圧縮画像情報を可変長復号部
４で可変長復号し、逆量子化部５で逆量子化し、帯域制
限部７で帯域制限し、量子化部８で量子化し、可変長符
号化部１１で可変長符号化し、上記帯域制限部７は、画
像情報が直交変換の際に分割された複数の直交変換ブロ
ックについて、この直交変換ブロックに跨って帯域制限
を施す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、いわゆるＭＰＥＧ
（Moving Picture Experts Group）などの様に離散コサ
イン変換（Discrete Cosine Transformation;DCT）等の
直交変換と動き補償によって圧縮された画像情報（ビッ
トストリーム）を、衛星放送、ケーブルＴＶ、インター
ネットなどのネットワークメディアを介して受信する際
に、もしくは光ディスク、磁気ディスクのような記憶メ
ディア上で処理する際に用いられる画像情報変換装置及
び方法に関するものである。

【０００２】

【従来の技術】近年、画像情報をデジタルとして取り扱
い、その際、効率の高い情報の伝送、蓄積を目的とし、
画像情報特有の冗長性を利用して、離散コサイン変換等
の直交変換と動き補償により圧縮するいわゆるＭＰＥＧ
などの方式に準拠した装置が、放送局などの情報配信、
及び一般家庭における情報受信の双方において普及しつ
つある。

【０００３】特に、いわゆるＭＰＥＧ−２（ISO/IEC 13
818-2 ）は、汎用画像符号化方式として定義されてお
り、飛び越し走査画像及び順次走査画像の双方、並びに
標準解像度画像及び高精細画像を網羅する標準で、プロ
フェッショナル用途及びコンシューマー用途の広範なア
プリケーションに今後とも用いられるものと予想され
る。

【０００４】いわゆるＭＰＥＧ−２圧縮方式を用いるこ
とにより、例えば７２０×４８０画素を持つ標準解像度
の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０
×１０８８画素を持つ高解像度の飛び越し走査画像であ
れば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割
り当てることで、高い圧縮率と良好な画質の実現が可能
である。

【０００５】しかしながら、高解像度の画像情報は膨大
であり、上記で述べた様ないわゆるＭＰＥＧ等の符号化
方式を用いて圧縮しても、十分な画質を得るためには、
例えば画枠が１９２０画素×１０８０画素の３０Ｈｚの
飛び越し走査画像の場合には、１８〜２２Ｍｂｐｓ程
度、若しくはそれ以上の符号量（ビットレート）を必要
とするといった問題がある。

【０００６】例えば、衛星放送、ケーブルＴＶなどのネ
ットワークメディアとして伝送する際には、伝送経路の
バンド幅に合わせて、或いは、また、光ディスク、磁気
ディスクのような記憶メディア上で処理する際には記録
媒体の容量に合わせて、画質劣化を最小限に抑えながら
更なる符号量（ビットレート）の削減を行う必要性があ
る。

【０００７】このような符号量（ビットレート）の削減
の必要性は、高解像度画像のみならず、標準解像度画像
（例えば画枠が７２０画素×４８０画素の３０Ｈｚの飛
び越し走査画像）の画像圧縮情報（ビットストリーム）
を、上述の様に、ネットワークメディア、若しくは記憶
メディア上で処理する場合にも生じることが考えられ
る。

【０００８】かかる問題を解決する手段として、考えら
れるのが、階層符号化（スケーラビリティ）、若しくは
画像情報変換（トランスコーディング）が挙げられる。

【０００９】前者に関連して、いわゆるＭＰＥＧ−２で
は、ＳＮＲ（Signal to Noise Ratio ）スケーラビリテ
ィが標準化されており、これによって、高ＳＮＲの画像
圧縮情報（ビットストリーム）と低ＳＮＲの画像圧縮情
報（ビットストリーム）を階層的に符号化することを可
能としている。

【００１０】しかしながら、階層符号化を行うために
は、符号化の時点で、バンド幅若しくは記憶容量の拘束
条件が既知である必要があるが、実際のシステムにおい
ては、未知であることが殆どである。

【００１１】従って、後者の方が、実際のシステムに則
した、より自由度の高い方式であると言える。

【００１２】画像情報変換装置（トランスコーダ）の構
成としては、基本的に、入力となる画像圧縮情報（ビッ
トストリーム）を復号或いは部分復号する復号部と、復
号部の出力を再符号化する符号化部の並列接続になる
が、復号部から符号化部への情報（画素データ）の受け
渡しを、空間領域或いは周波数領域で行う２通りの構成
が考えられる。

【００１３】前者の階層符号化（スケーラビリティ）
は、演算処理量は大きいが、出方となる圧縮情報（ビッ
トストリーム）の復号画像の劣化を最小限に抑えること
が可能で、主として放送用機器等のアプリケーションに
用いられる。

【００１４】一方、後者の画像情報変換（トランスコー
ディング）は、前者に比べ、若干の画質劣化を引き起こ
すものの、より少ない演算処理量での実現が可能で、主
として民生用機器のアプリケーションに用いられる。

【００１５】

【発明が解決しようとする課題】ところで、上述した従
来の画像情報変換装置においては、画像圧縮情報（ビッ
トストリーム）の符号量（ビットレート）を低減するた
めに帯域制限を行う際に、ブロック歪み等の画像の劣化
が生じていた。

【００１６】また、従来の画像情報変換装置において
は、画像圧縮情報（ビットストリーム）の符号量の低減
が不十分であった。

【００１７】本発明は、上述の実情に鑑みて提案される
ものであって、帯域制限の際の画像の劣化を抑制すると
共に、画像圧縮情報の符号量を十分に低減するような画
像情報変換装置及び方法を提供することを目的とする。

【００１８】

【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る画像情報変換装置は、画像情報が直
交変換及び動き補償により符号化された画像圧縮情報が
入力され、この画像圧縮情報を変換するものであって、
画像圧縮情報を周波数領域で画像情報に復号する復号手
段と、上記復号手段にて復号された画像情報に対して、
画像情報が直交変換の際に分割された複数のブロックに
ついて、このブロックに跨って帯域制限を施す帯域制限
手段と、上記帯域制限手段にて帯域制限を施された画像
情報を符号化して画像圧縮情報とする符号化手段とを有
するものである。

【００１９】また、本発明に係る画像情報変換方法は、
画像情報が直交変換及び動き補償により符号化された画
像圧縮情報が入力され、この画像圧縮情報を変換するも
のであって、画像圧縮情報を周波数領域で画像情報に復
号する復号工程と、上記復号工程にて復号された画像情
報に対して、画像情報が直交変換の際に分割された複数
のブロックについて、このブロックに跨って帯域制限を
施す帯域制限工程と、上記帯域制限工程にて帯域制限を
施された画像情報を符号化して画像圧縮情報とする符号
化工程とを有するものである。

【００２０】すなわち、本発明は、いわゆるＭＰＥＧ等
の、離散コサイン変換（Discrete Cosine Transformati
on;DCT）をはじめとする直交変換と動き補償によって符
号化された画像圧縮情報（ビットストリーム）を入力と
し、第１の符号バッファ、圧縮情報解析部、情報バッフ
ァ、可変長復号部、逆量子化部、第１の加算部、遅延バ
ッファ、帯域制限部、量子化部、符号量制御部、第２の
符号バッファ、可変長符号化部、動き補償誤差補正部を
兼ね備え、また、動き補償誤差補正部の構成要素とし
て、逆量子化部、第２の加算部、逆離散コサイン変換
部、ビデオメモリ、動き補償予測部、離散コサイン変換
部を兼ね備え、出力画においては帯域制限による水平方
向のブロック歪のない状態で、より少ない符号量（ビッ
トレート）を持つ画像圧縮情報（ビットストリーム）を
出力する手段を提供する。

【００２１】また、本発明は、帯域制限部として、画面
内符号化画像であるＩピクチャ用に、ブロックすなわち
ＤＣＴブロックに跨って帯域を制限するオーバーラップ
型帯域制限部を兼ね備え、順方向予測符号化画像である
Ｐピクチャ及び双方向予測符号化画像であるＢピクチャ
用にＤＣＴブロック内帯域制限部を兼ね備え、出力画に
おいては帯域制限による水平方向のブロック歪のない状
態で、より少ない符号量（ビットレート）を持つ画像圧
縮情報（ビットストリーム）を出力する手段を提供す
る。

【００２２】上記構成において、圧縮情報解析部におい
ては、画像圧縮情報（ビットストリーム）の構文解析を
行って以下の処理に必要な、符号化された情報を抽出
し、それらの情報のうち、以下の処理に必要なものを情
報バッファに格納し、可変長復号部においては、圧縮情
報解析部から抽出される走査方式に関する情報（ジグザ
グスキャン若しくはオルタネートスキャン）に応じて、
可変長符号化された離散コサイン係数を可変長復号し、
逆量子化部においては、圧縮情報解析部から抽出される
量子化に関する情報（量子化スケール、及び量子化行
列）に応じて、離散コサイン変換係数の逆量子化を行
い、遅延バッファにおいては、後段の帯域制限部におけ
る処理のため、１マクロブロック分の遅れを生じるよう
ＤＣＴデータを格納すると同時に、スライスの最後のマ
クロブロックを処理する場合にはスライスヘッダのデー
タも格納し、帯域制限部においては、Ｉピクチャに対し
てＤＣＴブロックに跨った帯域制限を行うことで画像の
持つ解像度を落とし、量子化部においては、出力となる
画像圧縮情報（ビットストリーム）の画像情報量（ター
ゲットビットレート）に応じた量子化幅により、離散コ
サイン係数の再量子化を行い、可変長復号部において
は、離散コサイン係数の可変長符号化を行い、符号量制
御部においては、可変長復号された後の画像圧縮情報が
符号バッファのオーバーフロー若しくはアンダーフロー
を起こさないように、与えられた目標符号量、及び情報
バッファから抽出される情報量子化部における量子化幅
の制御を行う。

【００２３】動き補償誤差補正部を有する場合には、各
マクロブロックの動き補償誤差（但し帯域制限による誤
差を除く）をビデオメモリに格納し、この格納された誤
差値を、入力となる画像圧縮情報（ビットストリーム）
より抽出される、動きベクトルと予測モードに関する情
報に応じて取り出し、誤差補正を行う。

【００２４】また、上記構成で、帯域制限部において
は、Ｉピクチャに対してはＤＣＴブロックに跨った帯域
制限を行い、Ｐピクチャ及びＢピクチャに対してはＤＣ
Ｔブロック内でのフィルタ処理を行うことで、画像の持
つ解像度を落とす構成も考えられる。

【００２５】

【発明の実施の形態】以下、本発明に係る画像情報変換
装置及び方法の実施の形態について、図面を参照して説
明する。

【００２６】まず、本実施の形態の説明に先立って、本
実施の形態の前提となる画像情報変換装置（トランスコ
ーダ）について説明する。

【００２７】図１に示すように、この画像情報変換装置
は、入力される画像圧縮情報を蓄積する第１の符号バッ
ファ１と、第１の符号バッファ１から出力される画像圧
縮情報の圧縮情報を解析する圧縮情報解析部２と、圧縮
情報解析部２から出力された圧縮情報を蓄積する情報バ
ッファ３と、圧縮情報解析部２から出力された画像圧縮
情報に対して可変長符号化を施す可変長符号化部４とを
有している。

【００２８】また、画像情報変換装置は、可変長符号化
部４にて復号された画像情報に逆量子化を施す逆量子化
部５と、逆量子化部５の出力から動き補償誤差補正部１
２の出力を減算する第１の加算部６と、第１の加算部６
からの出力に対して帯域制限を施す帯域制限部７と、情
報バッファ３から出力に基づいて符号量を制御する符号
量制御部９とを有している。

【００２９】さらに、画像情報変換装置は、帯域制限部
７及び符号量制御部９からの出力に基づいて量子化を行
う量子化部８と、量子化部８からの出力を可変長符号化
する可変長符号化部１１と、量子化部８からの出力に基
づいて動き補償の誤差を補正する動き補償誤差補正部１
２と、可変長符号化部１１からの出力を符号量制御部９
からの制御に応じて蓄積する第２の符号バッファ１０と
を有している。

【００３０】動き補償誤差補正部１２は、量子化部８か
らの出力に対して逆量子化を施す逆量子化部１３と、逆
量子化部１３の出力から第１の加算部６の出力を減算す
る第２の加算部１４と、第２の加算部１４からの出力に
対して逆離散コサイン変換を施す逆離散コサイン変換部
１５とを有している。

【００３１】また、動き補償誤差補正部１２は、逆離散
コサイン変換部１５からの出力画像を蓄積するビデオメ
モリ１６と、ビデオメモリ１６からの出力に対して動き
補償予測を施す動き補償予測部１７と、動き補償予測部
１７からの出力に対して離散コサイン変換を施す離散コ
サイン変換部１８とを有している。

【００３２】なお、動き補償誤差補正部１２は、多少の
画質劣化を許しても回路規模をより縮小したいという場
合には、省略することができる。

【００３３】この画像情報変換装置は、可変長復号部４
から可変長符号化部１１への情報（画像データ）の受け
渡しを、周波数領域で行うものである。

【００３４】以下では、まず、動き補償誤差補正部１２
を備えない構成の画像情報変換装置の動作原理について
述べる。

【００３５】入力となる、多くの符号量（高いビットレ
ート）を持つ画像圧縮情報（ビットストリーム）は、ま
ず、第１の符号バッファ１に格納される。

【００３６】画像圧縮情報（ビットストリーム）は、い
わゆるＭＰＥＧ−２で規定されているＶＢＶ（Video Bu
ffering Verifier）、すなわち仮想バッファによる符号
量の残量の拘束条件を満たすよう符号化されている。従
って、第１の符号バッファ１において、オーバーフロ
ー、アンダーフローを起こすことはない。

【００３７】第１の符号バッファ１に格納された画像圧
縮情報（ビットストリーム）は、次に、圧縮情報解析部
２に送られ、ここで、いわゆるＭＰＥＧ−２で定められ
た構文（シンタクス）に従って、画像圧縮情報（ビット
ストリーム）中から情報を抽出し、その情報に従って以
下の再符号化処理を実行する。

【００３８】特に、後述する様に、符号量制御部９の動
作に必要となる、ピクチャの符号化のタイプ（picture_
coding_type ）や、各マクロブロック毎の量子化値（q_
scale）等の情報は、情報バッファ３に格納される。

【００３９】可変長復号部４においては、まず、画面内
で符号化されたイントラマクロブロックの直流成分に関
しては、隣のブロックとの差分値として符号化されてい
るデータを、その他の係数に関しては、ランとレベルに
より符号化されたデータを可変長復号し、量子化された
一次元の離散コサイン変換係数を得る。

【００４０】次に、圧縮情報解析部３により抽出され
た、画像の走査方式（ジグザグスキャン、若しくはオル
タネートスキャン）に関する情報を元に、それぞれ図２
のＡに示したジグザグスキャン又は図２のＢに示したオ
ルタネートスキャンの方式により、量子化された離散コ
サイン変換係数を二次元データとして再配列する。

【００４１】二次元データとなった、量子化された離散
コサイン変換係数は、圧縮情報解析部３により抽出され
た、量子化幅、及び量子化行列に関する情報を元に、逆
量子化部５において逆量子化が行われる。

【００４２】逆量子化部５の出力として得られる離散コ
サイン変換係数は、帯域制限部７において、ブロック毎
に、水平方向高域成分係数の削減が行われる。

【００４３】図３に、帯域制限部７における処理の一例
を示す。この図の例では、輝度信号に関しては、図３の
Ａに示すように、８×８離散コサイン変換係数のうち、
水平方向低域成分である８×６係数のみの値を保存し、
残りを０と置きかえる。

【００４４】色差信号に関しては、図３のＢに示すよう
に、８×８離散コサイン変換係数のうち、水平方向低域
成分である８×４係数のみの値を保存し、残りを０と置
きかえる。

【００４５】なお、入力となる画像圧縮情報（ビットス
トリーム）が、飛び越し走査画像のものである場合に
は、フレーム離散コサイン変換モードの際に、フィール
ド間の時間差に関する情報を、離散コサイン変換係数
の、垂直方向高域成分が含むことになり、その制限を行
うことは大幅な画質劣化に繋がるため、垂直方向の帯域
制限は行わない。

【００４６】また、この例で示したように、劣化がより
人間の目に付きやすい輝度信号に比べ、より人間の目に
付きにくい色差信号に対して、より大きく帯域制限を行
うことで、画質劣化を最小限に抑えながら、再量子化の
歪みを低減することが考えられる。

【００４７】尚、帯域制限部７における処理は図３に示
したものに限らない。例えば、０と置き換える代わり
に、予め用意した重み係数を離散コサイン変換の水平方
向高域成分に乗じることで同様の効果をもたらすことが
出来る。

【００４８】帯域制限部７の出力となる８×８離散コサ
イン係数は、量子化部８によって量子化が行われる。そ
の際用いられる量子化幅は、符号量制御部９によって、
後述の手法により決定される。

【００４９】続いて、符号量制御部９における動作原理
について述べる。

【００５０】いわゆるMPEG-2 Test Model 5(ISO/IEC JT
C1/SC29/WG11 N0400) で用いられている手法では、ま
ず、第１のステップとして、ＧＯＰ（group of picture
s ）内の各ピクチャに対する割当ビット量を、割当て対
象ピクチャを含め、ＧＯＰ内でまだ符号化されていない
ピクチャに対して割り当てられるビット量を基にして配
分される。

【００５１】ＧＯＰ内のピクチャとしては、画面内符号
化画像であるＩピクチャ、順方向予測符号化画像である
Ｐピクチャ及び双方向予測符号化画像であるＢピクチャ
があり得る。

【００５２】次に、第２のステップとして、第１のステ
ップで求められた各ピクチャに対する割当てビット量
を、実際の符号量と一致させるため、各ピクチャ毎に独
立に設定した３種類の仮想バッファの容量を基に、量子
化スケールコードをマクロブロック単位のフィードバッ
ク制御で求める。

【００５３】第３のステップでは、第２のステップで求
められた量子化スケールコードを、視覚的に劣化の目立
ちやすい平坦部でより細かく量子化し、劣化の比較的目
立ちにくい絵柄の複雑な部分でより粗く量子化する様
に、各マクロブロック毎のアクティビティによって変化
させている。

【００５４】実用上用いられているいわゆるＭＰＥＧ−
２画像情報符号化装置も、このTestModel 5で定められ
た方式に準じたアルゴリズムによって符号量制御が行わ
れている。

【００５５】しかしながら、この方式を、図１に示した
ような画像情報変換装置の符号化部にそのまま適用する
には、２つの問題点がある。第一の問題点は、先述の第
１のステップに関する問題である。

【００５６】すなわち、いわゆるＭＰＥＧ−２にしたが
って画像情報を符号化する画像情報符号化装置において
は、予めＧＯＰ構造が与えられており、これに基づいて
第１のステップの動作を行うことが可能であるのに対
し、図１に示した画像情報変換装置においては、ＧＯＰ
構造は、入力となる画像圧縮情報（ビットストリーム）
の、１ＧＯＰ分の情報全てを構文（シンタクス）解析す
ることで既知となる。

【００５７】ＧＯＰの長さは固定であるとは限らず、実
用上用いられているいわゆるＭＰＥＧ−２に従う画像情
報符号化部では、シーンチェンジを検出し、それに応じ
て適応的にＧＯＰの長さを画像圧縮情報（ビットストリ
ーム）中で制御するというものも存在する。

【００５８】第二の問題点は、先述の第３のステップに
関する問題である。すなわち、いわゆるＭＰＥＧ−２に
従う画像情報符号化装置においては、アクティビティ
を、原画の輝度信号画素値を用いて算出している。しか
しながら、図１に示した画像情報変換装置は、いわゆる
ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）
を入力としており、原画の輝度信号画素値を知ることは
出来ない。

【００５９】本実施の形態では、第一の問題点を解決す
る方法として、以下のような、疑似ＧＯＰを定義し、こ
れに基づいた符号量制御を行う。

【００６０】擬似ＧＯＰとは、１つのＩピクチャ、及び
複数のＰピクチャ及びＢピクチャから構成される擬似的
なＧＯＰである。その長さは可変であり、画像圧縮情報
（ビットストリーム）中で、どのようにＩピクチャを検
出するかに依存する。

【００６１】以下では、図４を用いて、擬似ＧＯＰがど
の様に構成されるかを説明する。

【００６２】図１の情報バッファ３は、図４に示すよう
な、ピクチャの符号化のタイプ（picture_coding_type
）を格納する環状バッファを持っている。

【００６３】環状バッファは、いわゆるＭＰＥＧで規定
されている、１ＧＯＰに含むことの出来る最大フレーム
数と同じ２５６のピクチャの符号化のタイプ（picture_
coding_type ）を格納するだけの容量を持つ。環状バッ
ファの各要素には、予め初期値が格納されている。

【００６４】図４において、画像圧縮情報（ビットスト
リーム）に含まれる各フレームの情報が、Ｐ，Ｂ，Ｂ，
Ｉ，Ｂ，Ｂまで処理され、次のＰピクチャの処理を行う
場合を考える。

【００６５】この時、まず、図１に示した画像情報変換
装置のの圧縮情報解析部２に含まれる、フィードフォワ
ードバッファによって、数フレーム分のピクチャの符号
化のタイプ（picture_coding_type ）を先読みし、環状
バッファの要素を更新する。フォワードバッファの大き
さは任意であるが、図４の例では６フレームとしてあ
る。次に、環状バッファの状態から、現在のＩピクチャ
を差すポインタＰ_a 及び、次のＩピクチャを差すポイン
タＰ_b を参照することで、擬似ＧＯＰの長さが決定され
る。最後に、フィードフォワードバッファの最後のフレ
ームを差すポインタＰ_d と、既に決定された擬似ＧＯＰ
の長さから、擬似ＧＯＰの構成が決定される。このよう
にして決定された擬似ＧＯＰの構成が、｛Ｂ₁ , Ｂ₂ , Ｐ₁ , Ｂ₃ ，Ｂ₄ ，Ｉ₁ ，Ｂ₅ , Ｂ₆ ,
…，Ｐ_L ，Ｂ_M-1 ，Ｂ_M｝の様であった場合、擬似ＧＯＰの大きさＬ＿ｐｇｏｐ
は、次の式で与えられる。

【００６６】

【数１】

【００６７】この時、Ｉピクチャ，Ｐピクチャ，Ｂピク
チャの目標符号量（ターゲットビット）Ｔｉ，Ｔｐ，Ｔ
ｂはそれぞれ、次の式で与えられる。

【００６８】

【数２】

【００６９】

【数３】

【００７０】

【数４】

【００７１】但し、Θ、Ωは、それぞれ、擬似ＧＯＰ内
において、既に処理が終わったフレーム、及びこれから
処理が行われるフレームを差し、フレームレートをＦ、
出力となる画像圧縮情報の符号量（ビットレート）をＢ
とすれば、次の式で与えられる。

【００７２】

【数５】

【００７３】

【数６】

【００７４】ここで、Ｘ（・）は、各フレームの複雑さ
を表すパラメータ（global complexity measure ）であ
り、図１に示した画像情報変換装置の圧縮情報解析部２
でプリパーシングを行う際、当該フレームの総符号量
（ビット数）Ｓ、及び平均量子化スケールコードＱを予
め算出しておき、次の式のように求める。

【００７５】

【数７】

【００７６】Ｋｐ及びＫｂは、それぞれ、いわゆるMPEG
-2 Test Model 5 で定められている通り、Ｉピクチャの
量子化スケールコードを基準とした、Ｐピクチャ，Ｂピ
クチャの量子化スケールコードの比率であり、以下の値
の時、常に全体の画質が最適化されると仮定する。

【００７７】

【数８】

【００７８】第二の問題点を解決する方法を以下に述べ
る。

【００７９】入力となる画像圧縮情報（ビットストリー
ム）における、各マクロブロックの量子化スケールＱ
は、符号化時に、原画の輝度信号画素値を用いて算出さ
れたものである。

【００８０】そこで、まず、図１に示した画像情報変換
装置の圧縮情報解析部２でプリパーシングを行う際、当
該フレーム内の各マクロブロックの量子化スケールＱ、
及び符号量（ビット数）Ｂを摘出し、情報バッファ３に
格納すると同時に、当該フレーム全体のＱ，Ｂの平均値
Ｅ（Ｑ）、Ｅ（Ｂ）、或いは、また、その積の平均値Ｅ
（ＱＢ）を予め算出し、その値を情報バッファ３に格納
する。

【００８１】符号量制御部９においては、情報バッファ
６に格納されたＱ、Ｂの情報を元に、以下のいずれかの
式によって、正規化アクティビティＮ＿ａｃｔを算出す
る。

【００８２】

【数９】

【００８３】

【数１０】

【００８４】

【数１１】

【００８５】このうち、式（１０）と式（１１）は等価
処理となる。画質をＳＮＲで評価した場合、式（９）の
方がより高い画質となるが、主観画質は、式（１０）若
しくは式（１１）で与えられるものの方が良い。ところで、今、あるマクロブロックに対する、入力とな
る画像圧縮情報（ビットストリーム)における量子化値
がＱ１で、符号量制御部１２において、上記の方式によ
り算出された、出力となる画像圧縮情報（ビットストリ
ーム）に対する量子化値がＱ２になつたとする。

【００８６】図１に示した画像情報変換装置は、符号量
（ビットレート）を削減するためのものであるから、Ｑ
１＞Ｑ２となった場合には、一度粗く量子化されたマク
ロブロックが、再量子化された結果より細かく量子化さ
れたことになる。

【００８７】粗く量子化されたことによる歪みは、細か
く再量子化されることでは低減されない。

【００８８】また、このマクロブロックに対してビット
が多く使われることになり、このため、他のマクロブロ
ックに割り当てられるビットの減少を招き、更なる画質
劣化を引き起こす。

【００８９】このため、Ｑ１＞Ｑ２である場合には、Ｑ
１＝Ｑ２とすることにする。以上、符号量制御部１２に
おける一連の処理の流れを、図５を参照して説明する。

【００９０】最初のステップＳ１においては、プリパー
シングにより、疑似ＧＯＰ構成を決定する。ステップＳ
２においては、各フレームの目標量（ターゲットビッ
ト）を算出する。ステップＳ３においては、仮想バッフ
ァを用いて符号量を制御する。ステップＳ４において
は、ＤＣＴ領域で算出されるアクティビティに基づく適
応的な量子化を行う。

【００９１】ステップＳ５においては、不等式Ｑ１＞Ｑ
２を満足するか否かによって分岐する。この不等式を満
足する場合には、ステップＳ６にてＱ１を出力する。こ
の不等式を満足しない場合には、ステップＳ７にてＱ２
を出力する。そして、この一連の工程を終了する。

【００９２】量子化部８において量子化が行われた離散
コサイン変換係数は、可変長復号部１１によって、可変
長符号化されるが、その際、離散コサイン変換係数の直
流成分に関しては、１ブロック前の直流成分係数を予測
値としてその差分を符号化し、その他の成分に関して
は、予め設定された走査方式（ジグザグスキャン若しく
はオルタネートスキャン）に基づいて１次元の配列デー
タに並べ変えられた後、連続する０係数の数（ラン）及
び非０係数（レベル）のペアを事象とした可変長符号化
を行う。

【００９３】ブロック内の走査順で、それ以降の係数が
全て０となった場合、ＥＯＢ（Endof Block）と呼ばれ
る符号を出力し、そのブロックに対する可変長符号化を
終了する。

【００９４】ジグザグスキャン及びオルタネートスキャ
ンは、図２のＡ及び図２のＢを参照して先に説明した。

【００９５】今、入力となる画像圧縮情報（ビットスト
リーム）における、あるブロックの係数が、図６のＡに
示すようになっていたとする。●は非０係数、○は０係
数である。

【００９６】これに、例えば、図３のＡに示したよう
な、離散コサイン変換係数の水平高域成分の削減を施し
たとすると、非０係数の分布は図６のＢのようになる。

【００９７】これを、ジグザグスキャンのまま再符号化
すると、最後の非０係数のスキャン番号は５０になる
が、走査変換を行い、オルタネートスキャンで改めて符
号化することにより、最後の非０係数のスキャン番号は
４４になる。

【００９８】これにより、ＥＯＢ信号を、ジグザグスキ
ャンの場合より早いスキャン番号で設定することが可能
となり、その分量子化幅としてより細かな値を割り当
て、再量子化に伴う量子化歪みを低減することが可能と
なる。

【００９９】次に、図１に示した画像情報変換装置の動
き補償誤差補正部１２の動作原理について述べる。

【０１００】まず、動き補償誤差の生じる原因について
述べる。原画像の画素値を０とし、この画像値に対す
る、入力となる画像圧縮情報（ビットストリーム）の量
子化幅をＱ１とし、再符号化後の画像圧縮情報（ビット
ストリーム）における、この画素値に対する量子化幅を
Ｑ２とする。

【０１０１】量子化幅Ｑ１，Ｑ２で復号された時の、参
照画像の画素値をそれぞれＬ（Ｑ１），Ｌ（Ｑ２）と表
すことにする。

【０１０２】いわゆるＭＰＥＧ−２に従う画像情報符号
化装置においては、インターマクロブロックの画素は、
まず、０−Ｌ（Ｑ１）が計算されて、この差分値に離散
コサイン変換が施されて符号化される。

【０１０３】一方、図１に示した画像情報変換装置で、
動き補償誤差補正部１２を含まない構成を考えると、符
号量（ビットレート）の削減が行われた、出力となる画
像圧縮情報（ビットストリーム）が、いわゆるＭＰＥＧ
−２に従って画像情報を復号する画像情報復号部で復号
される際には、画像圧縮情報（ビットストリーム）中の
離散コサイン変換係数は、０−Ｌ（Ｑ２）を、離散コサ
イン変換して符号化したものと見なして復号を行う。

【０１０４】図１に示した画像情報変換装置において、
一般的に、Ｑ１＝Ｑ２は成立しない。このような現象
が、Ｐピクチャ、Ｂピクチャで生じるため、動き補償に
伴う誤差が発生する。

【０１０５】更に、Ｐピクチャで生じた画質劣化は、後
続のＰピクチャ、及びそれを参照とするＢピクチャに伝
播し、更なる画質劣化に繋がる。

【０１０６】このような原理により、ＧＯＰの先頭でま
た良好な画質に戻るという現象（ドリフト）が生じるこ
とになる。

【０１０７】動き補償誤差補正部１２の動作原理に関し
て次に述べる。

【０１０８】量子化部８の出力となる量子化された離散
コサイン変換係数は、可変長符号化部１１に伝送される
とともに、逆量子化部１３にも伝送され、ここで、量子
化幅と量子化行列に関する情報を元に逆量子化行列に関
する情報を元に逆量子化が施される。

【０１０９】逆量子化部１３の出力となる離散コサイン
変換係数と、逆量子化部８の出力となる離散コサイン変
換係数との差分が第２の加算部１４において算出され、
この出力画が逆離散コサイン変換部１５に入力されて逆
離散コサイン変換を施される。

【０１１０】その出力は、動き補償誤差補正情報とし
て、ビデオメモリ１６に格納される。

【０１１１】入力となる画像圧縮情報（ビットストリー
ム）内における動き補償予測モード情報（フィールド動
き補償予測モード或いはフレーム動き補償予測モード、
及び、前方向予測モード、後方向予測モード、或いは、
双方向予測モード）及び、動きベクトル情報を元に、ビ
デオメモリ１６内の誤差データを元に、動き補償予測部
１７において動き補償が行われ、これによって生成され
たデータが、空間領域での誤差補正値となる。

【０１１２】この補正値を入力とし、離散コサイン変換
部１８において離散コサイン変換を施すことで、周波数
領域での誤差補正値を得る。

【０１１３】逆離散コサイン変換部１５及び離散コサイ
ン変換部１８では、例えば、文献“A fast computation
al algorithm for the discrete cosine transform”(I
EEETrans.Commun.,vol.25,no.9,pp.1004-1009,1977 ）
に示されている様な高速アルゴリズムを適用することが
可能である。

【０１１４】また、逆離散コサイン変換部１５及び離散
コサイン変換部１８において、水平方向の離散コサイン
係数は、帯域制限部７において高域成分係数が０と置き
直されているため、これに対する逆離散コサイン変換及
び離散コサイン変換を省くことで、回路規模及び演算処
理量を削減することが可能である。

【０１１５】更に、画像における色差信号の劣化は、輝
度信号の劣化に比べ、人間の目には分かり難いという特
色を有しているため、上記の動き補償誤差補正を、輝度
信号のみに適用することで、画質劣化を最小に保ちなが
ら回路規模及び演算処理量を大幅に削減することも考え
られる。

【０１１６】また、Ｐピクチャにおける誤差はＢピクチ
ャに伝播するが、Ｂピクチャにおける誤差はそれ以上伝
播しない。一方、Ｂピクチャには双方向予測モードを含
み、多大なる演算処理量を要する。

【０１１７】そこで、Ｐピクチャにのみ動き補償誤差補
正を行うことで、画質劣化を最小に保ちながら回路規模
及び演算処理量を大幅に削減することも考えられる。

【０１１８】Ｂピクチャにおける処理を行わないこと
で、ビデオメモリ１６の容量を削減することも可能とな
る。

【０１１９】ところで、８点の原信号に８次の離散コサ
イン変換を施し、これに重み係数を乗じた後８次の逆離
散コサイン変換を施すという一連の処理は、一種のフィ
ルタバンクであると見なすことが出来る。

【０１２０】例えば図３のＡに示したような高域処理を
行った場合、この操作と等価なフィルタバンクは、以下
の行列にて求められる。

【０１２１】

【数１２】

【０１２２】このフィルタバンクの振幅特性及び位相特
性を図７に示す。

【０１２３】このフィルタバンクは対称であるため、独
立な特性は４通りである。図７のＡはバンク０及びバン
ク７、図７のＢはバンク１及びバンク６、図７のＣはバ
ンク２及びバンク５、図７のＤはバンク３及びバンク４
に関するものである。

【０１２４】図からも分かる通り、各バンクにおける特
性はそれぞれ異なったものとなっており、特に、図７の
Ａに示したバンク０及びバンク７に関しては、遮断特性
が余り良好なものであるとは言えず、帯域制限の役割を
十分に果たしているとは言い難い。

【０１２５】これは、出力画像において、ブロック歪と
して観測されるものである。

【０１２６】次に、上述のような画像情報変換装置を前
提として、本発明の実施の形態について図面を参照して
説明する。

【０１２７】図８に、本発明による第１の実施の形態と
して、帯域制限に対する動き補償誤差補正を行わない画
像情報変換装置のブロック図を示す。

【０１２８】画像情報変換装置は、入力される画像圧縮
情報を蓄積する第１の符号バッファ１と、第１の符号バ
ッファ１から出力される画像圧縮情報の圧縮情報を解析
する圧縮情報解析部２と、圧縮情報解析部２から出力さ
れた圧縮情報を蓄積する情報バッファ３と、圧縮情報解
析部２から出力された画像圧縮情報に対して可変長符号
化を施す可変長符号化部４とを有している。

【０１２９】また、画像情報変換装置は、可変長符号化
部４にて復号された画像情報に逆量子化を施す逆量子化
部５と、逆量子化部５の出力から動き補償誤差補正部１
２の出力を減算する第１の加算部６と、第１の加算部６
から出力を所定時間遅延させる遅延バッファ２１と、遅
延バッファ２１からの出力に対して帯域制限を施す帯域
制限部７と、情報バッファ３から出力に基づいて符号量
を制御する符号量制御部９とを有している。

【０１３０】さらに、画像情報変換装置は、帯域制限部
７及び符号量制御部９からの出力に基づいて量子化を行
う量子化部８と、量子化部８からの出力を可変長符号化
する可変長符号化部１１と、量子化部８からの出力に基
づいて動き補償の誤差を補正する動き補償誤差補正部１
２と、可変長符号化部１１からの出力を符号量制御部９
からの制御に応じて蓄積する第２の符号バッファ１０と
を有している。

【０１３１】動き補償誤差補正部１２は、量子化部８か
らの出力に対して逆量子化を施す逆量子化部１３と、逆
量子化部１３の出力から帯域制限部７の出力を減算する
第２の加算部１４と、第２の加算部１４からの出力に対
して逆離散コサイン変換を施す逆離散コサイン変換部１
５とを有している。

【０１３２】また、動き補償誤差補正部１２は、逆離散
コサイン変換部１５からの出力画像を蓄積するビデオメ
モリ１６と、ビデオメモリ１６からの出力に対して動き
補償予測を施す動き補償予測部１７と、動き補償予測部
１７からの出力に対して離散コサイン変換を施す離散コ
サイン変換部１８とを有している。

【０１３３】なお、この第１の実施の形態については、
簡単のために、上述した本実施の形態の前提となる画像
情報変換装置と共通する部分については、同一の符号を
付して説明を省略することにする。

【０１３４】第１の実施の形態の画像情報変換装置の動
作原理は、遅延バッファ２５及び帯域制限部２６以外に
関しては、図１に示した画像情報変換装置と同様である
ため、以下では遅延バッファ２５及び帯域制限部２６の
動作原理について述べる。

【０１３５】図９に、文献“Compositing and Manipula
tion of Video Signals for Multimedia Network Video
Services"(Shih―Fu Chang,P h.D Dissertation,Unive
rsity ofCalifornia at Berkeley,1993）に述べられて
いる、ＤＣＴブロックに跨った帯域制限の手法を示す。

【０１３６】今、帯域制限のための０位相低域通過フィ
ルタ（ＬＰＦ）を、…，ｈ２，ｈ１，ｈ０，ｈ１，ｈ
２，…とする。

【０１３７】図９において、このフィルタは最大１７ｔ
ａｐまで取ることが出来る。このフィルタより、図に示
すような２４×８行列Ｈを構築する。この行列Ｈは、当
該ＤＣＴブロックｘ、一つ前のＣＤＴブロックａ及び一
つ後のＤＣＴブロックｂに対して処理を施す。

【０１３８】この時、ＤＣＴブロックに跨ったフィルタ
処理を空間領域で表すと、次の式のようになる。

【０１３９】

【数１３】

【０１４０】式（１３）をＤＣＴ領域に変換すると以下
の式（１４）の様に表される。

【０１４１】ここで、Ｃは８次の離散コサイン変換行列
である。

【０１４２】

【数１４】

【０１４３】但し、Ｃは直交変換を表す行列ゆえ、次の
式の関係があることに注意する。

【０１４４】

【数１５】

【０１４５】式（１４）において、Ｃ・ａ，Ｃ・ｘ，Ｃ
・ｂは画像圧縮情報（ビットストリーム）中の離散コサ
イン変換係数そのものである。

【０１４６】したがって、Ｃ・Ｈ_a・Ｃ^T，Ｃ・Ｈ₀・
Ｃ^T，Ｃ・Ｈ_b・Ｃ^Tを予め算出しておくことにより、式
（１４）の実行が可能である。但し、式（１４）の実行
には、当該ＤＣＴブロックｘの一つ先のＤＣＴブロック
ａが必要となるため、遅延バッファ２５を必要とする。

【０１４７】出力されるＤＣＴブロックがスライスの最
後である場合には、スライスヘッダも遅延バッファに格
納する必要がある。

【０１４８】スライスとは、開始コードを有する一連の
データ列の中の最小単位であり、任意の長さの（１６画
素幅の）マクロブロックの帯である。このスライスは、
ピクチャを跨ることはできない。

【０１４９】或いは、このＤＣＴブロックに対しては帯
域制限を行わない、或いは、ＤＣＴブロック内で閉じた
帯域制限を行うことも考えられる。

【０１５０】また、飛び越し走査画像に関しては、図１
０における３つのブロックａ，ｘ，ｂが同じである保証
はないため、式（１４）の実行に先立ち、ＤＣＴモード
の変換が必要となる場合もある。尚、図１０に示したＤ
ＣＴブロックに跨るフィルタ処理を輝度信号のみに適用
し、色差信号に対してはＤＣＴブロック内でのフィルタ
処理を行っても良い。また、図１０に示した方法は、Ｉ
ピクチャのみにしか適用出来ず、Ｐピクチャ及びＢピク
チャに対しては、以下の２つの理由から適用不可能であ
る。第一の理由を図１１に示す。図のように、Ｐピクチ
ャ及びＢピクチャにおいては、隣り合ったマクロブロッ
クの動きベクトルの値は一般的に異なる。

【０１５１】このため、動き補償によって参照ブロック
の空間的連続性が保証されないので、フィルタをかける
と誤差を生じてしまう。第二の理由を図１２に示す。図
のように、Ｐピクチャ及びＢピクチャにおいては、イン
トラマクロブロックとインターマクロブロックが隣り合
う可能性があるが、このような場所では参照フレームの
情報がなければ整合の取れた演算が不可能となる。

【０１５２】以上の理由から、図１０に示した帯域制限
はＩピクチャに対してのみ施す。

【０１５３】しかしながら、これを図１に示した画像情
報変換装置で行うと、Ｉピクチャは帯域制限のかかった
画像が出力されるが、Ｐピクチャ及びＢピクチャに対し
ては、動き補償誤差補正のため、帯域制限のかからない
画像が出力されてしまう。

【０１５４】このため、ぼけた感じの画像がシャープな
画像の間に突然現れることになり、フラッシュ現象とし
て観測されてしまう。

【０１５５】これを防ぐため、図９に示した第１の実施
の形態の画像情報変換装置においては、帯域制限に対す
る動き補償誤差補正を行わない構成となっている。

【０１５６】続いて、本発明の第２の実施の形態の画像
情報変換装置について、図１２を参照して説明する。

【０１５７】第２の実施の形態は、Ｉピクチャに属する
マクロブロックに対してはＤＣＴブロックに跨ったフィ
ルタ処理を行い、Ｐピクチャ及びＢピクチャに対しては
ＤＣＴブロック内で閉じたフィルタ処理を行う画像情報
変換装置である。

【０１５８】この画像情報変換装置は、入力される画像
圧縮情報を蓄積する第１の符号バッファ１と、第１の符
号バッファ１から出力される画像圧縮情報の圧縮情報を
解析する圧縮情報解析部２と、圧縮情報解析部２から出
力された圧縮情報を蓄積する情報バッファ３と、圧縮情
報解析部２から出力された画像圧縮情報に対して可変長
符号化を施す可変長符号化部４とを有している。

【０１５９】また、画像情報変換装置は、可変長符号化
部４にて復号された画像情報に逆量子化を施す逆量子化
部５と、逆量子化部５の出力から動き補償誤差補正部１
２の出力を減算する第１の加算部６とを有している。

【０１６０】さらに、画像情報変換装置は、第１の加算
部６からの出力を所定時間遅延させる遅延バッファ３２
と、遅延バッファ３２からの出力に対してブロックに跨
って（オーバーラップ）帯域制限を施す第１の帯域制限
部３３と、第１の加算部６からの出力に対してブロック
内で帯域制限を施す第２の帯域制限部３４とを有してい
る。

【０１６１】そして、画像情報変換装置は、第１の加算
部６からの出力を、遅延バッファ３２又は第２の帯域制
限部３４に切り替えて入力する第１の切り替えスイッチ
３１と、第１の帯域制限部３３又は第２の帯域制限部３
４からの出力を切り替える第２の切り替えスイッチ３５
とを有している。

【０１６２】さらに、画像情報変換装置は、第２の切り
替えスイッチ３５及び符号量制御部９からの出力に基づ
いて量子化を行う量子化部８と、量子化部８からの出力
を可変長符号化する可変長符号化部１１と、量子化部８
からの出力に基づいて動き補償の誤差を補正する動き補
償誤差補正部１２と、可変長符号化部１１からの出力を
符号量制御部９からの制御に応じて蓄積する第２の符号
バッファ１０とを有している。

【０１６３】動き補償誤差補正部１２は、量子化部８か
らの出力に対して逆量子化を施す逆量子化部１３と、逆
量子化部１３の出力から第１の加算部６の出力を減算す
る第２の加算部１４と、第２の加算部１４からの出力に
対して逆離散コサイン変換を施す逆離散コサイン変換部
１５とを有している。

【０１６４】また、動き補償誤差補正部１２は、逆離散
コサイン変換部１５からの出力画像を蓄積するビデオメ
モリ１６と、ビデオメモリ１６からの出力に対して動き
補償予測を施す動き補償予測部１７と、動き補償予測部
１７からの出力に対して離散コサイン変換を施す離散コ
サイン変換部１８とを有している。

【０１６５】なお、この第２の実施の形態については、
簡単のために、上述した本実施の形態の前提となる画像
情報変換装置と共通する部分については、同一の符号を
付して説明を省略することにする。

【０１６６】第２の実施の形態の画像情報変換装置の動
作原理は、遅延バッファ３２，第１の帯域制限部（オー
バーラップ）３３及び第２の帯域制限部（ブロック内）
３４以外に関しては、図１に示した本実施の形態の前提
となる画像情報変換装置と同様であり、遅延バッファ３
２及び第１の帯域制限部（オーバーラップ）３３に関し
ては、図８に示した第２の実施の形態の画像情報変換装
置における遅延バッファ２１及び帯域制限部７と同様で
あるため、以下では第２の帯域制限部（ブロック内）３
４の動作原理について述べる。

【０１６７】図８に示した第２の実施の形態の画像情報
変換装置でも述べた通り、図９で示したＤＣＴブロック
に跨った帯域制限を行うことは、Ｐピクチャ及びＢピク
チャに対しては不可能である。

【０１６８】しかしながら、Ｉピクチャに対してのみ帯
域制限を施すことは、フラッシュ現象の原因となる。

【０１６９】これを回避する第一の手段としては、図８
に示した第１の実施の形態の画像情報変換装置のよう
に、帯域制限に対しては動き補償誤差補正を行わないと
いうことがある。

【０１７０】第二の手段としては、図１２に示す第２の
実施の形態の画像情報変換装置のように、Ｉピクチャに
対しては、図９に示したようなＤＣＴブロックに跨った
帯域制限を行い、Ｐピクチャ及びＢピクチャに対して
は、図３に示したようなＤＣＴブロック内での帯域制限
を行う。

【０１７１】しかしながら、ＩピクチャにおいてＤＣＴ
ブロックに跨って帯域制限を行うフィルタの特性と、Ｐ
ピクチャ及びＢピクチャにおいてＤＣＴブロック内で帯
域制限を行う特性に著しく差がある場合には、やはりフ
ラッシュ現象が観測される。

【０１７２】そこで、以下では、ＤＣＴブロックで閉じ
た帯域制限を行うための重み係数として、ＤＣＴ領域に
おいて重み係数を乗じることが、原信号を対象拡張し、
これに０位相の有限インパルス応答（Finite Impulse R
esponse; FIR）フィルタを施すのと等価であることを利
用して設計する手法について述べる。

【０１７３】文献“Symmetric Convolution and the Di
screte Sine and Cosine Transform”(Stephen A.Martu
cci,IEEE Trans.on Signal Processing,vol.42 No.5,p
p.1038―1051,1993) 等にも述べられている通り、８点
離散信号｛ｘ０，…，ｘ７｝に８次の離散コサイン変換
を施す処理は、この離散信号を対称拡張した１６点離散
信号｛x 7， …，x o，xo，…x 7｝に16次の離散フーリ
エ変換を施すことと等価である。

【０１７４】次に、離散フーリエ変換における畳み込み
−積構造について、図１３を用いて説明する。

【０１７５】今、図１３のＡに示すように、Ｎ点離散信
号｛ｘ（０），…，ｘ（Ｎ−１）｝離散フーリエ変換を
｛Ｘ（０），…，Ｘ（Ｎ−１）｝とし、周波数領域にお
ける係数｛Ｘ（０），…，Ｘ（Ｎ−１）｝に、重み係数
｛Ｈ（０），…，Ｈ（Ｎ−１）｝を乗じることを考え
る。

【０１７６】図１３のＢに示すように、重み係数｛Ｈ
（０），…，Ｈ（Ｎ−１）｝を逆フーリエ変換して得ら
れる係数を｛ｈ（０），…，ｈ（Ｎ―１）｝とすると、
周波数領域で、係数｛Ｘ（０），…，Ｘ（Ｎ―１）｝と
重み係数｛Ｈ（０），…，Ｈ（Ｎ−１）｝のそれぞれを
乗じ、係数√Ｎを乗じることは、空間領域においては、
Ｎ点離散信号｛ｘ（０），…，ｘ（Ｎ−１）｝と係数
｛ｈ（０），…，ｈ（Ｎ−１）｝の巡回畳み込みを施す
ことと等価である。

【０１７７】巡回畳み込みとは、以下の式で定義される
ものである。

【０１７８】

【数１６】

【０１７９】但し、次の式に従う。

【０１８０】

【数１７】

【０１８１】

【数１８】

【０１８２】すなわち、｛ｘ（n）｝及び｛ｈ（ｎ）｝
は、｛ｘ（ｎ）｝及び｛ｈ（n）｝を周期Ｎで周期化す
るよう拡張したものである。

【０１８３】従って、図１３のＣに示すように、巡回畳
み込みにより得られた信号｛ｙ（０），…，ｙ（Ｎ−
１）｝と、積により得られた信号｛Ｙ（０），…，Ｙ
（Ｎ−１）｝とは、離散フーリエ変換と逆離散フーリエ
変換の関係にある。

【０１８４】同様に、離散コサイン変換における畳み込
み−積構造は図１４に示すようになる。

【０１８５】すなわち、図１４のＡは、離散信号｛ｘ
（７），…，ｘ（０），ｘ（０），…，ｘ（７）｝と、
ＤＣＴ計数｛Ｘｃ（０），…，Ｘｃ（７）｝とは、８次
の離散コサイン変換及び逆離散コサイン変換の関係にあ
ることを示している。

【０１８６】すなわち、図１４のＢは、重み計数｛０，
ｈ（７），…，ｈ（０）），…，ｈ（７）｝と、ＤＣＴ
領域における重み計数｛Ｗｅ，Ｗ（７），…，Ｗ（０）
…，Ｗ（７）｝とは、１６次の離散コサイン変換及び逆
離散コサイン変換の関係にあることを示している。

【０１８７】図１４のＣは、巡回畳み込みにより得られ
た信号｛ｙ（７），…，ｙ（０），ｙ（０），…，ｙ
（７）｝と、積により得られたＤＣＴ領域での信号｛Ｙ
ｃ（０），…，Ｙｃ（７）｝とは、８次の離散コサイン
変換と逆離散コサイン変換の関係にあることを示してい
る。

【０１８８】この図から、ＤＣＴ領域における重み係数
｛Ｗ（０），…，Ｗ（７）｝は以下の様に設計すれば良
いことが分かる。

【０１８９】まず、適当な方法により、最大１５タップ
の低域通過フィルタを設計する。この特性は、Ｉピクチ
ャに用いるＤＣＴに跨った処理に用いるフィルタと同等
の特性を持ったものでないとフラッシュ現象の原因とな
る。

【０１９０】次に、このフィルタに０を付加して１６次
の係数とし、図１４のＢに示した通り１６次の離散フー
リエ変換を施す。これより得られる係数のうち、｛Ｗ
（０），…，Ｗ（７）｝が所望の重み係数となる。

【０１９１】以上、入力としていわゆるＭＰＥＧ−２方
式による画像圧縮情報（ビットストリーム）を対象とし
てきたが、いわゆるＭＰＥＧ−１や、Ｈ．２６３などの
ように、直交変換と動き補償によって符号化された画像
圧縮情報（ビットストリーム）であれば、本発明と同様
の構成で符号量（ビットレート）及び画素数の削減が可
能である。

【０１９２】

【発明の効果】以上述べてきた様に、本発明は、いわゆ
るＭＰＥＧ−２画像圧縮情報（ビットストリーム）を入
力として、復号部から符号化部へのデータの受け渡しを
ＤＣＴ領域で行うものであって、ＤＣＴブロックに跨っ
た帯域制限を行うことにより、帯域制限に伴うブロック
歪が生じない状態でより少ない符号量（低ビットレー
ト）の画像圧縮情報（ビットストリーム）を出力する手
段を提供するものである。

【０１９３】また、本発明は、上記のＤＣＴブロックに
跨った処理はＩピクチャに対してのみ施すが、帯域制限
に対する動き補償誤差を補正しない、或いは、Ｐピクチ
ャ及びＢピクチャにおいてはブロック内で閉じた帯域制
限処理を行うことにより、出力画におけるフラッシュ現
象を回避する手段を提供するものである。

【図面の簡単な説明】

【図１】復号部から符号化部への情報（画像データ）の
受け渡しを、周波数領域で行う画像情報変換装置の構成
を示す図である。

【図２】画像圧縮情報（ビットストリーム）が、ジグザ
グスキャン及びオルタネートスキャンで符号化されてい
る場合の走査方式を示した図である。

【図３】図１の画像情報変換装置の帯域制限部における
動作を説明する図である。

【図４】図１の画像情報変換装置の符号量制御部におけ
る記事ＧＯＰを構成する方法を示した図である。

【図５】図１の画像情報変換装置で、符号量制御部にお
ける動作を示したフローチャートである。

【図６】図１の画像情報変換装置の可変長符号化部にお
いて、走査方式がジグザグスキャンであった場合に、帯
域制限を行った後、オルタネートスキャンに走査変換を
行う処理の利点を明らかにするための例を示した図であ
る。

【図７】図３のＡの処理をフィルタバンクと見なした時
の各バンクの振幅特性及び位相特性を示した図である。

【図８】帯域制限に対する動き補償誤差の補正を行わな
い画像情報変換装置の構成を示すブロック図である。

【図９】図８において、ＤＣＴブロックに跨った帯域制
限の処理を示した図である。

【図１０】図８に示した帯域制限がＰピクチャ及びＢピ
クチャに対しては適用不可能である第一の理由を示した
図である。

【図１１】図８に示した帯域制限がＰピクチャ及びＢピ
クチャに対しては適用不可能である第二の理由を示した
図である。

【図１２】Ｐピクチャ及びＢピクチャにおいて、ＤＣＴ
ブロックで閉じたフィルタ処理を行う画像情報変換装置
の構成を示すブロック図である。

【図１３】離散フーリエ変換における畳み込み−積構造
を示した図である。

【図１４】離散コサイン変換における畳み込み−積構造
を示した図である。

【符号の説明】

１第１の符号バッファ、２圧縮情報解析部、３情
報バッファ、４可変長符号化部、５逆量子化部、６
第１の加算部、７帯域制限部、８量子化部、９
符号量制御部、１０第２の符号バッファ、１１可変
長符号化部、１２動き補償誤差補正部、１３逆量子
化部、１４第２の加算部、１５逆離散コサイン変換
部、１６ビデオメモリ、１７動き補償予測部、１８
離散コサイン変換部

───────────────────────────────────────────────────── フロントページの続き (72)発明者岡田紳太郎東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者リュウイク東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者柳原尚史東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5C059 KK03 MA00 MA05 MA23 MC11 ME01 NN01 SS01 SS08 SS13 UA05 UA18 UA34 5J064 AA02 BA09 BA16 BC01 BC11 BC16 BD02 BD03

Claims

【特許請求の範囲】

【請求項１】画像情報が直交変換及び動き補償により
符号化された画像圧縮情報が入力され、この画像圧縮情
報を変換する画像情報変換装置において、画像圧縮情報を周波数領域で画像情報に復号する復号手
段と、上記復号手段にて復号された画像情報に対して、画像情
報が直交変換の際に分割された複数のブロックについ
て、このブロックに跨って帯域制限を施す帯域制限手段
と、上記帯域制限手段にて帯域制限を施された画像情報を符
号化して画像圧縮情報とする符号化手段とを有すること
を特徴とする画像情報変換装置。
【請求項２】上記直交変換とは、離散コサイン変換
（Discrete Cosine Transformation; DCT ）であり、上
記ブロックとは、画像情報が離散コサイン変換の際に分
割されたＤＣＴブロックであることを特徴とする請求項
１記載の画像情報変換装置。
【請求項３】上記圧縮画像情報は、画面内符号化画
像、表示順序で順方向に予測符号化された順方向予測符
号化画像並びに表示順序で順方向及び逆方向に予測符号
化された双方向予測符号化画像を有する画像群を単位と
して構成され、上記帯域制限手段は、上記画面内符号化
画像に対してブロックに跨って帯域制限を施すことを特
徴とする請求項１記載の画像情報変換装置。
【請求項４】上記画像情報を構成する画面は、複数の
ブロックからなるマクロブロックから構成され、上記帯
域制限手段は、隣接するマクロブロックについて、直交
変換のモード変換を行ってから帯域制限を施すことを特
徴とする請求項１記載の画像情報変換装置。
【請求項５】上記画像情報を上記ブロックごとに蓄積
するバッファを有し、上記帯域制限手段は、上記バッフ
ァを介して送られたデータに対して帯域制限を施すこと
を特徴とする請求項１記載の画像情報変換装置。
【請求項６】上記画像情報を構成する画面は、複数の
ブロックからなるマクロブロックにて構成されるデータ
列であるスライスから構成され、上記帯域制限手段は、
スライスの最後のマクロブロックのブロックに対して
は、帯域制限を施さないか、ブロック内で閉じた帯域制
限を施すかのいずれかであることを特徴とする請求項５
記載の画像情報変換装置。
【請求項７】上記画像情報を構成する画面は、複数の
ブロックからなるマクロブロックにて構成されるデータ
列であるスライスから構成され、上記帯域制限手段は、
スライスの最後のマクロブロックを処理する際には、ス
ライスのヘッダ情報を上記バッファに格納することを特
徴とする請求項５記載の画像情報変換装置。
【請求項８】上記画像情報は、輝度信号及び色差信号
から構成され、上記帯域制限手段は、輝度信号に対して
はブロックに跨った処理を施すが、色差信号に対して
は、ブロック内で閉じた処理を施すことを特徴とする請
求項３記載の画像情報変換装置。
【請求項９】上記画面内符号化画像に対しては、動き
補償による誤差補正を行わないことを特徴とする請求項
３記載の画像情報変換装置。
【請求項１０】上記帯域制限手段は、上記順方向予測
符号化画像及び双方向予測符号化画像に対しては、ブロ
ック内で閉じた帯域制限を施すことを特徴とする請求項
３記載の画像情報変換装置。
【請求項１１】上記帯域制限手段は、零位相の有限イ
ンパルス応答フィルタと等価なことを利用して、ブロッ
ク内で閉じた帯域制限を行うための重み付けを施すこと
を特徴とする請求項１０記載の画像情報変換装置。
【請求項１２】上記帯域制限手段は、零位相の有限イ
ンパルス応答フィルタと等価なことを利用して、ブロッ
ク内で閉じた帯域制限を行うための重み付けを施すこと
を特徴とする請求項１１記載の画像情報変換装置。
【請求項１３】画像情報が直交変換及び動き補償によ
り符号化された画像圧縮情報が入力され、この画像圧縮
情報を変換する画像情報変換方法において、画像圧縮情報を周波数領域で画像情報に復号する復号工
程と、上記復号工程にて復号された画像情報に対して、画像情
報が直交変換の際に分割された複数のブロックについ
て、このブロックに跨って帯域制限を施す帯域制限工程
と、上記帯域制限工程にて帯域制限を施された画像情報を符
号化して画像圧縮情報とする符号化工程とを有すること
を特徴とする画像情報変換方法。
【請求項１４】上記直交変換とは、離散コサイン変換
（Discrete Cosine Transformation; DCT ）であり、上
記ブロックとは、画像情報が離散コサイン変換の際に分
割されたＤＣＴブロックであることを特徴とする請求項
１３記載の画像情報変換方法。
【請求項１５】上記圧縮画像情報は、画面内符号化画
像、表示順序で順方向に予測符号化された順方向予測符
号化画像並びに表示順序で順方向及び逆方向に予測符号
化された双方向予測符号化画像を有する画像群を単位と
して構成され、上記帯域制限工程は、上記画面内符号化
画像に対してブロックに跨って帯域制限を施すことを特
徴とする請求項１３記載の画像情報変換方法。