JP2003052054A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

(57)【要約】 【課題】 画像圧縮情報をMPEG２方式からMPEG４方式に
変換する際に生じる色の滲みを低減させる。 【解決手段】 色差成分解像度変換部５１は、MPEG２方
式の画像圧縮情報の色差成分の８×８のDCT係数からな
るマクロブロックの低域成分の４×４のDCT係数を、MPE
G４方式のマクロブロックとして量子化部５２に出力す
る。量子化部５２は、入力されたマクロブロックを量子
化し、スキャン部５３に出力する。スキャン部５３は、
マクロブロックを符号化し、ユーザデータバッファ５４
に出力する。ユーザデータバッファ５４は、イントラMB
アドレス情報記憶部５６より入力されるイントラMBアド
レス情報と共に４×４のマクロブロックの符号化情報を
一時的に記憶し、ユーザデータ可変長符号化部５５に出
力する。ユーザデータ可変長符号化部５５は、入力され
たデータを順次可変長符号化し、MPEG４のフォーマット
のユーザデータのエリアに挿入する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び方法、記録媒体、並びにプログラムに関し、特に、MP
EG（Moving Picture Experts Group）２方式で圧縮され
た画像をMPEG４方式で圧縮された画像に変換すること
で、より低ビットレートの画像データを生成する場合、
この画像を表示するときに生じる画質の劣化を低減でき
るようにした画像処理装置および方法、記録媒体、並び
にプログラムに関する。

【０００２】

【従来の技術】近年、画像データをデジタル情報として
取り扱い、効率の高い情報の伝送、蓄積を目的とするた
め、画像データ特有の冗長性を利用した離散コサイン変
換等の直交変換と動き補償により圧縮するMPEGなどの方
式に準拠した装置が、放送局などの情報配信用として、
または、一般家庭における情報受信用として普及しつつ
ある。

【０００３】特に、MPEG２（ISO/IEC 13818-2）は、飛
び越し走査画像、および、順次走査画像、並びに、標準
解像度画像、および、高精細画像に対応する汎用画像符
号化方式の標準規格として定義されている。このためMP
EG２は、放送業界などの業務用途、および、一般ユーザ
向けの用途と言った広範なアプリケーションソフトウェ
アに今後とも用いられるものと予想される。また、MPEG
２の圧縮方式を用いることにより、例えば、720画素×4
80画素から構成される標準解像度の飛び越し走査画像で
あれば4乃至8 Mbpsの符号量（ビットレート）を、ま
た、1920画素×1088画素から構成される高解像度の飛び
越し走査画像であれば18乃至22 Mbpsの符号量（ビット
レート）を、それぞれに割り当てることで、高い圧縮率
と良好な画質を維持しつつ圧縮することができ、その伝
送や蓄積を実現することが可能となっている。

【０００４】

【発明が解決しようとする課題】ところで、今後、広く
普及されるデジタル放送においても、上述のような圧縮
方式によって画像情報が伝送されることが予想される
が、その規格は、標準解像度画像用、および、高解像度
画像用のものが、それぞれに設定されているため、受信
装置としては、この両方の規格を満足し、標準解像度画
像、および、高解像度画像の両者を復号できるものが望
まれている。しかしながら、標準解像度画像を復号させ
ることができる受信装置が、より安価な構成で、かつ、
高解像度画像をも復号させることができるようにするに
は、高解像度画像の画質劣化を最小限に抑えながら何ら
かの方式により、画素のデータを間引いて処理できるよ
うにする必要が生じることになる。また、これらの問題
は、伝送媒体を介して授受される画像情報のみならず、
例えば、光ディスクやフラッシュメモリなどの蓄積媒体
においても同様の問題が生じることになる。

【０００５】これまで、MPEG２は、主として放送用に適
合する高画質符号化を対象としていたが、MPEG１よりも
低い符号量（ビットレート）、すなわち、より高い圧縮
率の符号化方式には対応していなかった。最近、携帯端
末装置の普及により、このような符号化方式の要求が高
まり、この要求に対応したMPEG４符号化方式の標準化が
行われた。MPEG４の画像符号化方式に関しては、1998年
12月にISO/IEC14496-2が、その国際標準規格として承認
されている。

【０００６】その結果、デジタル放送用に一度符号化さ
れたMPEG２画像圧縮情報を、携帯端末装置などで処理す
るために、より低い符号量（ビットレート）のMPEG４画
像圧縮情報に変換することが可能となっている。

【０００７】図１は、これらの要求により開発された従
来の画像変換装置１の構成を示している。画像変換装置
１は、MPEG２方式で圧縮された飛び越し走査画像の画像
圧縮情報をMPEG４方式で圧縮された順次走査の画像圧縮
情報に変換する。

【０００８】画像変換装置１のピクチャタイプ判別部１
１は、入力されたMPEG２方式で圧縮された圧縮画像が、
各々、I（Intra Coded）ピクチャ、P（Predictive Code
d）ピクチャ、または、B（Bidirectionally Predictive
Coded）ピクチャのいずれであるかを判別し、このう
ち、Bピクチャを破棄し、IピクチャとPピクチャのみを
抽出してMPEG２画像情報抽出部１２に出力する。

【０００９】MPEG２画像情報抽出部１２は、ピクチャタ
イプ判別部１１より入力された、離散コサイン変換（DC
T：Discrete Cosine Transform）係数からなるIピクチ
ャとPピクチャの画像データに逆離散コサイン変換（IDC
T：Inverse DCT）処理を施し、画素データに変換して画
素空間間引き部１３と動きベクトル合成部１５に出力す
る。画素空間間引き部１３は、入力された画像データの
画素数を水平方向に１／２となるように間引きし、さら
に、垂直方向には、トップフィールド画像とボトムフィ
ールド画像のいずれか一方のフィールド画像を抽出する
ことで、垂直方向に画素数を１／２に間引き処理し、こ
れらの処理により生成された画像により水平方向と垂直
方向の画素数を１／２に間引きした順次走査画像を生成
し、MPEG４画像情報符号化部１４、および、動きベクト
ル検出部１６に出力する。

【００１０】動きベクトル合成部１５は、MPEG２画像情
報抽出部１２より入力された画像から動きベクトルを合
成して、動きベクトル検出部１６に出力する。動きベク
トル検出部１６は、動きベクトル合成部１５により合成
された動きベクトルを、画素空間間引き部１３より入力
された画素数が水平方向、および、垂直方向にそれぞれ
１／２に間引きされた画像に対応付けて動きベクトルの
情報を変換し（マッピングし）、間引きされた画像に対
応した動きベクトルを生成し、MPEG４画像情報符号化部
１４に出力する。

【００１１】MPEG４画像情報符号化部１４は、画素空間
間引き部１３より入力される、水平方向、および、垂直
方向のそれぞれの画素数が１／２に間引きされた順次走
査画像の画像データを、離散コサイン変換し、動きベク
トル検出部１６より入力された動きベクトルに基づい
て、MPEG４方式で圧縮された順次走査の画像圧縮情報を
生成し、出力する。

【００１２】次に、画像変換装置１の動作について説明
する。ピクチャタイプ判別部１１は、入力されたMPEG２
方式で圧縮された圧縮画像情報のうち、IピクチャとPピ
クチャのみを抽出し、MPEG２画像情報抽出部１２に出力
する。MPEG２画像情報抽出部１２は、入力された、Iピ
クチャとPピクチャのDCT係数にIDCT処理を施し、画素空
間間引き部１３、および、動きベクトル合成部１５に出
力する。

【００１３】画素空間間引き部１３は、入力された画像
の水平方向、および、垂直方向について、その画素数を
１／２に間引き処理し、MPEG４画像情報符号化部１４に
出力すると共に、動きベクトル検出部１６に出力する。
動き検出部１６は、動きベクトル合成部１５により合成
された動きベクトルを、画素空間間引き部１３より入力
された、水平方向、および、垂直方向に画素数が１／２
だけ間引きされた画像データに対応するように動きベク
トルを変換し（マッピングし）、対応する動きベクトル
を生成してMPEG４画像情報符号化部１４に出力する。MP
EG４画像情報符号化部１４は、画素空間間引き部１３よ
り入力された間引きされた画像の各画素をDCT変換し、
動きベクトル検出部１６より入力される動きベクトルに
基づいて、MPEG４の画像圧縮情報を生成し出力する。

【００１４】このように、画像変換装置１は、MPEG２方
式で圧縮された画像をMPEG４方式で圧縮された画像に変
換する。しかしながら、画像変換装置１においては、画
像データの間引き処理が画素空間間引き部１３により実
行されるため、MPEG２画像情報抽出部１２、および、MP
EG４画像情報符号化部１４において、それぞれ、離散コ
サイン変換（DCT）処理、および、逆離散コサイン変換
（IDCT）処理を実行し、画像データを各画素の状態（以
下、画素ドメインと称する）にして間引き処理をする必
要があり、膨大な量の計算処理が必要となってしまうと
いう問題があった。

【００１５】そこで、画素ドメインによる間引き処理を
DCT係数の状態（DCTドメイン）で処理することが提案さ
れている。尚、DCTドメインにおける間引き処理につい
ては、上述と同様であるので、その説明は省略する。

【００１６】ところで、上述の各マクロブロック（８画
素×８画素）は、水平方向、および、垂直方向につい
て、２×２個（水平方向×垂直方向）の計４個のMPEG２
方式で圧縮されたマクロブロックを、MPEG４方式で圧縮
された１個のマクロブロック（８画素×８画素）に順次
変換する処理を実行している。このとき、４個のマクロ
ブロックが全てイントラマクロブロックである場合（I
ピクチャの場合）、各マクロブロックの平均値を求め
て、MPEG４方式で圧縮された画像データに対応する１個
のマクロブロックを生成している。また、Pピクチャの
場合、全てがインターマクロブロックの場合、４個のマ
クロブロックの動きベクトルの平均を求めて、各マクロ
ブロックの予測差分情報に基づいて、参照画像に加算
（または、減算）することでMPEG４方式の圧縮画像の１
個のマクロブロック（MB）を求めている。

【００１７】しかしながら、Pピクチャの場合、例え
ば、図２で示すように、マクロブロックB０乃至B３から
なる２×２個のMPEG２方式で圧縮された画像のマクロブ
ロックがあるとき、マクロブロックB０がイントラマク
ロブロックで、マクロブロックB１乃至B３がインターマ
クロブロックであるとすると、マクロブロックＢ１乃至
Ｂ３は、インターマクロブロックであるので動きベクト
ルが存在し、それぞれの動きベクトルを求めることが可
能であるが、イントラマクロブロックであるマクロブロ
ックＢ０は、自らが単独で復号可能なマクロブロックで
あることから、動きベクトルが求められない。結果とし
て、マクロブロックB０乃至B３においては、正確な平均
動きベクトルを算出することができず、さらに、マクロ
ブロックＢ０は、イントラマクロブロックであるにも関
わらず、平均動きベクトルより求められた予測差分情報
が、加算（または減算）されることになるので、本来の
マクロブロックB０に対して、過剰に予測差分情報が加
算されることがあるため、変換後のMPEG４方式で圧縮さ
れた画像データのマクロブロックの値は、過飽和状態と
なってしまうという恐れがあった。尚、図５において、
マクロブロックB１乃至B３に示す、矢印が各マクロブロ
ックの動きベクトルを示す。

【００１８】また、図３で示すように、マクロブロック
B０乃至B３がいずれもインターマクロブロックであった
としても、各々の動きベクトルの方向が一致していない
ような場合、その動きベクトルの平均を求めて予測差分
情報を求めても、色差成分を正確に表現することはでき
ない。すなわち、例えば、マクロブロックＢ０乃至Ｂ３
の各動きベクトルの大きさが同じで、各々が直交するよ
うな場合、平均動きベクトルは０を取ることになり、正
しい動きベクトルを表現することができない。

【００１９】結果として、MPEG２方式で圧縮された画像
をMPEG４方式で圧縮された画像に変換すると、色差成分
を正確に表現することができず、色の滲みが生じてしま
うという課題があった。

【００２０】本発明はこのような状況に鑑みてなされた
ものであり、画質の劣化を抑えて、MPEG２方式で圧縮さ
れた画像をMPEG４方式で圧縮された画像に変換できるよ
うにするものである。

【００２１】

【課題を解決するための手段】本発明の第1の画像処理
装置は、第１の圧縮方式で圧縮された画像データを輝度
成分と色差成分に分離する分離手段と、色差成分の、水
平方向、および、垂直方向に、それぞれ２ｎ個のDCT係
数からなる第１のマクロブロックから、DCT係数の直流
成分から水平方向、および、垂直方向に、それぞれｎ個
までのDCT係数からなる第２のマクロブロックを抽出す
るマクロブロック抽出手段と、マクロブロック抽出手段
により抽出された第２のマクロブロックを、第２の圧縮
方式で圧縮された画像データの色差成分として符号化す
る色差成分符号化手段とを備えることを特徴とする。

【００２２】前記第１の圧縮方式は、MPEG2方式とする
ようにすることができ、第２の圧縮方式は、MPEG４方式
とするようにすることができる。

【００２３】前記MPEG２方式で圧縮された画像データの
うち、Iピクチャと、Pピクチャを抽出するピクチャ抽出
手段をさらに設けるようにすることができ、分離手段に
は、MPEG２方式で圧縮された画像データのうち、Iピク
チャ、および、Pピクチャを輝度成分と色差成分に分離
させるようにすることができる。

【００２４】前記分離手段、マクロブロック抽出手段、
および、色差成分符号化手段からなる系とは異なる系
に、間引き手段と、合成符号化手段とをさらに設けるよ
うにすることができ、間引き手段には、MPEG２方式で圧
縮された画像データの、Iピクチャ、および、Pピクチャ
の輝度成分と色差成分のそれぞれの、水平方向、およ
び、垂直方向に２ｎ個のDCT係数からなる第３のマクロ
ブロックのDCT係数を、水平方向、および、垂直方向
に、各２個の計４個毎に、１列おき、および、１段おき
に間引いて、水平方向、および、垂直方向に、２ｎ個の
DCT係数からなる輝度成分、および、色差成分の１個の
第４のマクロブロックを生成させるようにすることがで
き、合成符号化手段には、間引き手段により生成された
第４のマクロブロックを合成して、符号化し、MPEG４方
式で圧縮された画像データを生成させるようにすること
ができる。

【００２５】前記MPEG２方式で圧縮された画像データの
イントラマクロブロックアドレス情報を生成する生成手
段をさらに設けるようにさせることができ、色差成分符
号化手段には、第２のマクロブロックと共に、イントラ
マクロブロックアドレス情報も第２の圧縮方式で圧縮さ
れた画像データの色差成分として符号化させるようにす
ることができる。

【００２６】前記合成符号化手段には、間引き手段によ
り生成された第４のマクロブロックを合成して、符号化
すると共に、MPEG４のフォーマット中のユーザデータ領
域に、色差成分符号化手段によりMPEG４方式で圧縮され
た画像データの色差成分として符号化された複数の色差
成分の第２のマクロブロックを多重化し、MPEG４方式で
圧縮された画像データを生成させるようにすることがで
きる。

【００２７】前記合成符号化手段には、間引き手段によ
り生成された第４のマクロブロックを合成して、符号化
し、MPEG４方式で圧縮された画像データを生成すると共
に、色差成分符号化手段によりMPEG４方式で圧縮された
画像データの色差成分として符号化された複数の色差成
分の第２のマクロブロックと時分割多重化して所定のス
トリームデータを生成させるようにすることができる。

【００２８】本発明の第1の画像処理方法は、第１の圧
縮方式で圧縮された画像データを輝度成分と色差成分に
分離する分離ステップと、色差成分の、水平方向、およ
び、垂直方向に、それぞれ２ｎ個のDCT係数からなる第
１のマクロブロックから、DCT係数の直流成分から水平
方向、および、垂直方向に、それぞれｎ個までのDCT係
数からなる第２のマクロブロックを抽出するマクロブロ
ック抽出ステップと、マクロブロック抽出ステップの処
理で抽出された第２のマクロブロックを、第２の圧縮方
式で圧縮された画像データの色差成分として符号化する
色差成分符号化ステップとを含むことを特徴とする。

【００２９】本発明の第1の記録媒体のプログラムは、
第１の圧縮方式で圧縮された画像データの輝度成分と色
差成分との分離を制御する分離制御ステップと、色差成
分の、水平方向、および、垂直方向に、それぞれ２ｎ個
のDCT係数からなる第１のマクロブロックから、DCT係数
の直流成分から水平方向、および、垂直方向に、それぞ
れｎ個までのDCT係数からなる第２のマクロブロックの
抽出を制御するマクロブロック抽出制御ステップと、マ
クロブロック抽出制御ステップの処理で抽出が制御され
た第２のマクロブロックの、第２の圧縮方式で圧縮され
た画像データの色差成分としての符号化を制御する色差
成分符号化制御ステップとを含むことを特徴とする。

【００３０】本発明の第1のプログラムは、第１の圧縮
方式で圧縮された画像データの輝度成分と色差成分との
分離を制御する分離制御ステップと、色差成分の、水平
方向、および、垂直方向に、それぞれ２ｎ個のDCT係数
からなる第１のマクロブロックから、DCT係数の直流成
分から水平方向、および、垂直方向に、それぞれｎ個ま
でのDCT係数からなる第２のマクロブロックの抽出を制
御するマクロブロック抽出制御ステップと、マクロブロ
ック抽出制御ステップの処理で抽出が制御された第２の
マクロブロックの、第２の圧縮方式で圧縮された画像デ
ータの色差成分としての符号化を制御する色差成分符号
化制御ステップとをコンピュータに実行させることを特
徴とする。

【００３１】本発明の第２の画像処理装置は、画像デー
タから第１のマクロブロックを分離する分離手段と、画
像データの輝度成分の水平方向、および、垂直方向の２
ｎ個のDCT係数からなる第２のマクロブロックの情報よ
り輝度成分画像を生成する輝度成分画像生成手段と、分
離手段により分離された第１のマクロブロックより色差
成分画像を生成する色差成分画像生成手段と、輝度成分
画像と色差成分画像を合成して画像を再生する再生手段
とを備えることを特徴とする。

【００３２】前記所定の画像圧縮方式は、MPEG４方式と
するようにさせることができる。

【００３３】前記MPEG４方式で圧縮された画像データ
は、Iピクチャ、または、Pピクチャより構成された画像
データとするようにさせることができる。

【００３４】前記所定の画像圧縮方式で圧縮された画像
データには、第１のマクロブロックの情報に加えて、そ
のうちのイントラマクロブロックのマクロブロックアド
レスであるイントラマクロブロックアドレス情報を含ま
せるようにすることができる。

【００３５】前記輝度成分画像生成手段には、輝度成分
画像の動き補償処理を実行する輝度成分画像動き補償手
段と、第２のマクロブロックのマクロブロックアドレス
と、イントラマクロブロックアドレスとを比較する比較
手段と、比較手段の比較結果に基づいて、第２のマクロ
ブロックがイントラマクロブロックである否かを判定す
る輝度成分判定手段を設けるようにさせることができ、
輝度成分画像動き補償手段には、輝度成分判定手段の判
定結果に基づいて、輝度成分画像の動き補償処理を実行
させるようにすることができる。

【００３６】前記色差成分画像生成手段には、色差成分
画像の動き補償処理を実行する色差成分画像動き補償手
段と、第１のマクロブロックのマクロブロックアドレス
と、イントラマクロブロックアドレスを比較する比較手
段と、比較手段の比較結果に基づいて、第１のマクロブ
ロックが、イントラマクロブロックである否かを判定す
る色差成分判定手段を設けるようにさせることができ、
色差成分画像動き補償手段には、色差成分判定手段の判
定結果に基づいて、色差成分画像の動き補償処理を実行
させるようにすることができる。

【００３７】本発明の第２の画像処理方法は、画像デー
タから第１のマクロブロックを分離する分離ステップ
と、画像データの輝度成分の水平方向、および、垂直方
向の２ｎ個のDCT係数からなる第２のマクロブロックよ
り輝度成分画像を生成する輝度成分画像生成ステップ
と、分離ステップの処理で分離された第１のマクロブロ
ックより色差成分画像を生成する色差成分画像生成ステ
ップと、輝度成分画像と色差成分画像を合成して画像を
再生する再生ステップとを含むことを特徴とする。

【００３８】本発明の第２の記録媒体のプログラムは、
画像データからの第１のマクロブロックの分離を制御す
る分離制御ステップと、画像データの輝度成分の水平方
向、および、垂直方向の２ｎ個のDCT係数からなる第２
のマクロブロックより輝度成分画像の生成を制御する輝
度成分画像生成制御ステップと、分離制御ステップの処
理で分離が制御された第１のマクロブロックより色差成
分画像の生成を制御する色差成分画像生成制御ステップ
と、輝度成分画像と色差成分画像の合成と画像の再生を
制御する再生制御ステップとを含むことを特徴とする。

【００３９】本発明の第２のプログラムは、画像データ
からの第１のマクロブロックの分離を制御する分離制御
ステップと、画像データの輝度成分の水平方向、およ
び、垂直方向の２ｎ個のDCT係数からなる第２のマクロ
ブロックより輝度成分画像の生成を制御する輝度成分画
像生成制御ステップと、分離制御ステップの処理で分離
が制御された第１のマクロブロックより色差成分画像の
生成を制御する色差成分画像生成制御ステップと、輝度
成分画像と色差成分画像の合成と画像の再生を制御する
再生制御ステップとをコンピュータに実行させることを
特徴とする。

【００４０】本発明の第1の画像処理装置および方法、
並びにプログラムにおいては、第１の圧縮方式で圧縮さ
れた画像データが輝度成分と色差成分に分離され、色差
成分の、水平方向、および、垂直方向に、それぞれ２ｎ
個のDCT係数からなる第１のマクロブロックから、DCT係
数の直流成分から水平方向、および、垂直方向に、それ
ぞれｎ個までのDCT係数からなる第２のマクロブロック
が抽出され、抽出された第２のマクロブロックが、第２
の圧縮方式で圧縮された画像データの色差成分として符
号化される。

【００４１】本発明の第２の画像処理装置および方法、
並びにプログラムにおいては、画像データから第１のマ
クロブロックが分離され、画像データの輝度成分の水平
方向、および、垂直方向の２ｎ個のDCT係数からなる第
２のマクロブロックの情報より輝度成分画像が生成さ
れ、分離された第１のマクロブロックより色差成分画像
が生成され、輝度成分画像と色差成分画像が合成されて
画像が再生される。

【００４２】

【発明の実施の形態】図７は、本発明に係る画像変換装
置３１の一実施の形態の構成を示す図である。

【００４３】画像変換装置３１のピクチャタイプ判別部
４１は、画像変換装置１のピクチャタイプ判別部１１と
同様のものであり、入力されたMPEG２方式で圧縮された
圧縮画像が、各々、Iピクチャ、Pピクチャ、または、B
ピクチャのいずれであるかを判別し、このうち、Bピク
チャを破棄し、IピクチャとPピクチャのみを抽出して可
変長復号部４２に出力する。

【００４４】可変長復号部４２は、Iピクチャ、また
は、Pピクチャからなる可変長符号化信号を復号し、逆
量子化部４３に出力すると共に、動きベクトルの情報な
どを含む、シンタックス情報をシンタックス変換部５０
に出力する。逆量子化部４３は、可変長復号部４２より
入力された復号されたIピクチャ、または、Pピクチャの
１フレーム分の画像信号を逆量子化し、８×８のDCT係
数の複数のマクロブロックからなる画像信号を生成し、
その輝度成分をフレーム／フィールド変換部４４に、そ
の色差成分を色差解像度変換部４９，５１にそれぞれ出
力する。

【００４５】フレーム／フィールド変換部４４は、入力
された８×８のDCT係数のマクロブロックからなる輝度
成分の１フレーム分の画像データをトップフィールド画
像データとボトムフィールド画像データに分離し、いず
れか一方のDCT係数からなるフィールド画像データを用
いるようにすることで、DCT係数の数を垂直方向に１／
２だけ間引き処理し、輝度解像度変換部４５に出力す
る。輝度解像度変換部４５は、フレーム／フィールド変
換部４４より入力される垂直方向にDCT係数の数が１／
２に間引き処理された画像データに、水平方向にDCT係
数の数を１／２とするように間引き処理を施して、合成
部４６に出力する。

【００４６】色差解像度変換部４９は、逆量子化部４３
より入力されたDCT係数からなる色差成分の画像データ
の画素数を水平方向と垂直方向にそれぞれ１／２だけ間
引き処理し、合成部４６に出力する。合成部４６は、輝
度解像度変換部４５より入力された水平方向、および、
垂直方向にDCT係数の数が１／２に間引きされた８×８
のDCT係数により構成されるマクロブロックからなる輝
度成分の画像データと、色差解像度変換部４９より入力
される水平方向、および、垂直方向にDCT係数の数が１
／２に間引きされた色差成分の画像データを合成して、
量子化部４７に出力する。

【００４７】量子化部４７は、水平方向、および、垂直
方向に画素数が１／２に間引きされたDCT係数からなる
画像データを量子化して可変長符号化部４８に出力す
る。シンタックス変換部４８は、可変長復号部４２より
入力されるMPEG２方式で圧縮された画像データのシンタ
ックス情報を、MPEG４方式に対応するシンタックス情報
に変換し、可変長符号化部４８に出力する。

【００４８】可変長符号化部４８は、量子化部４７より
入力される水平方向、および、垂直方向にDCT係数の数
が１／２に間引きされた画像データをシンタックス変換
部４８より入力されるシンタックス情報に基づいてMPEG
４方式の画像圧縮情報に変換して出力する。

【００４９】色差解像度変換部５１は、逆量子化部４３
より入力される８×８の色差成分のDCT係数のうち、低
域の４×４の色差成分のDCT係数のみを抽出し、水平方
向、および、垂直方向にDCT係数を１／２に間引き処理
し、量子化部５２に出力する。尚、色差解像度変換部５
１は、DCT係数を１／２に間引く処理については後述す
る。

【００５０】量子化部５２は、色差解像度変換部５１よ
り入力された４×４のDCT係数を量子化してスキャン部
５３に出力する。

【００５１】スキャン部５３は、量子化部５２より入力
された量子化されている４×４のDCT係数をスキャン処
理し、RUN、LEVEL、および、EOF（End of Flame）の情
報に基づいて、３次元VLC（Variable Lengths Coding）
により所定の信号に変換し、ユーザデータバッファ５４
に出力する。

【００５２】イントラマクロブロック（MB）アドレス情
報記憶部５６は、可変長復号部４２より入力されるイン
トラMBのアドレス情報を記憶し、適宜、記憶したイント
ラMBアドレス情報をユーザデータバッファ５４に出力す
る。ユーザデータバッファ５４は、イントラマクロブロ
ックアドレス情報記憶部５６より入力されるイントラMB
アドレス情報と共に、４×４のDCT係数を一時的に記憶
し、ユーザデータ可変長符号化部５５に出力する。

【００５３】ユーザデータ可変長符号化部５５は、ユー
ザデータバッファ５４より入力された４×４のDCT係数
の情報をユーザデータとして可変長符号化し、可変長符
号化部４８より出力されるMPEG４の画像圧縮情報に挿入
する。ユーザデータとは、MPEG４で定義されている画像
圧縮情報のフォーマット中に存在する画像データ以外の
データを格納することができるリザーブエリアに書き込
むデータであり、MPEG４方式で画像を圧縮伸張する機器
を製造する製造メーカ毎に設定することが可能なデータ
である。本発明においては、その部分に４×４のDCT係
数の情報を挿入させている。

【００５４】次に、図５のフローチャートを参照して、
図４の画像変換装置３１がMPEG２方式で圧縮された画像
圧縮情報をMPEG４方式で圧縮された画像圧縮情報に変換
する処理について説明する。

【００５５】ステップＳ１において、ピクチャタイプ判
別部４１は、入力された画像圧縮情報からIピクチャとP
ピクチャを抽出して、可変長復号部４２に出力する。ス
テップＳ２において、可変長符号化部４２は、入力され
たIピクチャとPピクチャよりシンタックス情報をシンタ
ックス変換部５０に、マクロブロックのテクスチャ情報
を逆量子化部４３に、イントラマクロブロックアドレス
情報をイントラMBアドレス情報記憶部５６に記憶させ
る。

【００５６】ステップＳ３において、逆量子化部４３
は、入力されたテクスチャ情報を逆量子化し、輝度成分
をフレーム／フィールド変換部４４に、色差成分を色差
解像度変換部４９，５１にそれぞれ出力し、イントラMB
アドレス情報記憶部５６は、入力されたイントラMBアド
レス情報を記憶し、適宜ユーザデータバッファ５４に出
力し、シンタックス変換部５０は、入力されたシンタッ
クスをMPEG２方式に対応するものからMPEG４方式に対応
するものに変換し、適宜可変長符号化部４８に出力す
る。

【００５７】ステップＳ４において、フレーム／フィー
ルド変換部４４は、フレームDCTモードのマクロブロッ
クのDCT係数をフィールドDCTモードに変換し、垂直方向
のDCT係数の数を１／２に間引きして、輝度解像度変換
部４５に出力する。

【００５８】ステップＳ５において、輝度解像度変換部
４５は、フィールドDCTモードに変換された（垂直方向
に１／２だけ間引きされた）DCT係数からなるMPEG２方
式で圧縮された４個のマクロブロックから、１個のMPEG
４の８×８の輝度成分のDCT係数を生成し、合成部４６
に出力する。

【００５９】ここで、フレーム／フィールド変換部４４
と輝度解像度変換部４５により施される間引き処理の詳
細について説明する。フレーム／フィールド変換部４４
と輝度解像度変換部４５は、より詳細には、水平方向、
および、垂直方向に２個ずつの計４個ずつのマクロブロ
ックの、順次、水平方向、および、垂直方向の画素数を
１／２に間引くことで、1個のマクロブロック（各マク
ロブロックは、８画素×８画素とする）を生成してい
る。

【００６０】まず、フレーム／フィールド変換部４４
は、以下に示す式（１）を実行することにより垂直方向
の画素数を１／２に間引く。

【００６１】 B_j＝DCT（f1）・B_1j＋DCT（f2）・B_2j・・・（１）

【００６２】ここで、B_1j，B_2jは、図６に示すよう
に、同一マクロブロックではない、垂直方向にそれぞれ
上下に配列されたマクロブロックを示し、B_jは、上下
に配列されたマクロブロックB_1j，B_2jを垂直方向に画
素数を１／２間引きしたマクロブロックを示し、f1，f2
は、図７（Ａ），（Ｂ）のそれぞれのフィルタを示す。
また、DCT（）は、各係数がDCT係数であることを示して
いる。

【００６３】すなわち、例えば、図６で示すマクロブロ
ックB_11，B_21，B_12，B_22は、式（１）により、垂直
方向に各マクロブロックのDCT係数が1段おきに間引きさ
れることになる。

【００６４】次に、フレーム／フィールド変換部４４
は、以下に示す式（２）によりDCT係数の高域成分であ
る、マクロブロックの図中右半分のDCT係数を0に置き換
える。

【００６５】 B_j［0・・・7］［4・・・7］←0・・・（２）

【００６６】ここで、B_j［0・・・7］［4・・・7］
は、上述の式（１）により垂直方向に１／２に間引きさ
れたマクロブロックB_jの係数の垂直方向に下から0乃至
7番目までで、かつ、水平方向に左から4乃至７番目のDC
T係数を示し、式（２）は、これらのDCT係数を０に変換
することを示している。フレーム／フィールド変換部４
４が、この式（２）の処理を実行することにより、高域
成分のDCT係数を0に置き換えるので、以降の演算処理を
軽減させることができる。

【００６７】次に、輝度解像度変換部４７は、以下に示
す式（３）の処理をマクロブロックに施すことにより、
水平方向のDCT係数の数を１／２に間引きする。

【００６８】 B＝B_1・DCT（f1_T）＋B_2・DCT（f2_T）・・・（３）

【００６９】ここで、Bは、水平方向、および、垂直方
向に１／２に間引き処理されたマクロブロックを示し、
B_1，B_2は、垂直方向にDCT係数が１／２に間引き処理
された左右に配置されているマクロブロックを示し、f1
_T，f2_Tは、図４（Ａ），（Ｂ）のそれぞれのフィルタ
の転置行列を示す。

【００７０】式（３）の処理により、式（１）と同様に
水平方向のDCT係数が間引きされる。

【００７１】ここで、図５のフローチャートの説明に戻
る。

【００７２】ステップＳ６において、色差解像度変換部
４９は、逆量子化部４３より入力されたMPEG２方式で圧
縮された画像データの４個のマクロブロックの水平方
向、および、垂直方向について、DCT係数の数をそれぞ
れ１／２に間引きして、１個の８×８の色差成分からな
るをDCT係数を生成し、合成部４６に出力する。すなわ
ち、色差解像度変換部４９は、DCT係数からなる色差成
分の画像データの画素数（DCT係数）を、上述の式
（１）乃至式（３）を上述と同様に利用して、水平方向
と垂直方向にそれぞれ１／２だけ間引き処理し合成部４
６に出力する。

【００７３】ステップＳ７において、色差解像度変換部
５１は、MPEG２方式で圧縮された画像データの色差成分
の１個のマクロブロックのDCT係数のうち、低域成分の
４×４のDCT係数を抽出することで、水平方向、およ
び、垂直方向に１／２間引きして、４×４の色差成分か
らなるDCT係数を生成し、量子化部５２に出力する。

【００７４】ステップＳ８において、合成部４６は、輝
度成分と色差成分の８×８のDCT係数を合成し量子化部
４７に出力する。ステップＳ９において、量子化部４
７，７２は、それぞれに入力された８×８DCT係数と４
×４DCT係数を量子化して、可変長符号化部４８、およ
び、スキャン部５３にそれぞれ出力する。

【００７５】ステップＳ１０において、スキャン部５３
は、入力された４×４の色差成分のDCT係数を所定のス
キャン方法でスキャンし、３次元VLCにより符号化して
ユーザデータバッファ５４に出力する。尚、スキャン方
法については、詳細を後述する。

【００７６】ステップＳ１１において、ユーザデータバ
ッファ５４は、イントラマクロブロックアドレス情報と
スキャン部５３により入力された符号化されたデータを
ユーザデータとして一時的に記憶し、適宜ユーザデータ
可変長符号化部５５に出力する。ステップＳ１２におい
て、可変長符号化部４８は、量子化部４７より入力され
た８×８のDCT係数からなるマクロブロックをシンタッ
クス変換部５０より入力されるMPEG４対応のシンタック
スに基づいて、MPEG４方式の画像圧縮情報を生成すると
共に、ユーザデータ可変長符号化部５５は、ユーザデー
タバッファ５４より適宜読み込まれるユーザデータを可
変長符号化して、MPEG４方式で圧縮された画像圧縮情報
に挿入する。

【００７７】すなわち、ステップＳ７において、色差解
像度変換部５１は、色差解像度変換部４９のように２×
２個のMPEG２方式の画像データに対応したマクロブロッ
クを水平方向、および、垂直方向に１／２に間引くこと
により、１個のMPEG４方式の画像データに対応したマク
ロブロックを生成しているのではなく、MPEG２方式の画
像データに対応した８×８のDCT係数からなる１個のマ
クロブロックの４×４の低域成分のDCT係数のみを抽出
することで、水平方向、および、垂直方向に１／２に間
引き処理を施し、MPEG４方式の画像データに対応した4
×４のDCT係数からなる1個のマクロブロックを生成して
いる。より詳細には、図８で示すように、MPEG２方式の
画像データに対応した４個のマクロブロックＢ０乃至Ｂ
１を水平方向、および、垂直方向に１／２に間引く場
合、色差解像度変換部５１は、各マクロブロックＢ０乃
至Ｂ３について、水平方向、および、垂直方向に間引き
処理を実行し、MPEG４方式の画像データに対応した４×
４のマクロブロックＢ０'乃至Ｂ３'を生成している。

【００７８】また、例えば、MPEG４方式の画像データに
対応したマクロブロックＢ０が図８で示すように、Ｘ０
０乃至Ｘ３３で示すように構成されていた場合、ステッ
プＳ１０において、スキャン部５３が、図９で示すよう
に順次スキャンし、読み込んだ係数に対応する３次元VL
Cの処理を施す。ここで、図９の数字は、スキャンされ
る順序を示している。すなわち、図８のマクロブロック
B０'は、X００、Ｘ１０、Ｘ０１、Ｘ０２、Ｘ１１、Ｘ
２０、Ｘ３０、Ｘ２１、Ｘ１２、Ｘ０３、Ｘ１３、Ｘ２
２、Ｘ３１、Ｘ３２、Ｘ２３、および、Ｘ３３の順序で
スキャンされ、この順序でスキャンされたデータに３次
元VLC処理が施されることになる。

【００７９】このため、生成されたMPEG４方式の画像デ
ータに対応した各マクロブロック毎に処理を施すことが
できるので、元のマクロブロックがインターマクロブロ
ックの場合、生成されたマクロブロックには、各マクロ
ブロック毎の動きベクトルによる動き保証処理を施すこ
とにより画像を再生させることができると共に、元のマ
クロブロックがイントラマクロブロック場合、単独で画
像を生成することが可能となる。

【００８０】そして、これらのデータをMPEG４方式の記
録フォーマット上のユーザデータのエリアに挿入するこ
とで、MPEG４方式の画像圧縮情報を生成する。

【００８１】次に、上述のように画像変換装置３１によ
り生成されたユーザデータを含むMPEG４画像圧縮情報を
再生する画像再生装置９１について、図１０を参照して
説明する。

【００８２】符号バッファ１０１は、入力されたユーザ
データを含むMPEG４画像圧縮情報を一時的に記憶するバ
ッファであり、適宜記憶したユーザデータを含むMPEG４
画像圧縮情報を圧縮情報解析部１０２に出力する。圧縮
情報解析部１０２は、入力された情報を解析し、MPEG４
の画像圧縮情報を可変長復号部１０３に出力すると共
に、ユーザデータをユーザデータ可変長復号部１０８に
出力する。

【００８３】可変長復号部１０３は、通常のMPEG４方式
で圧縮された、可変長符号からなる画像圧縮情報を復号
し、逆量子化部１０４に出力する。逆量子化部１０４
は、復号されたMPEG４方式の画像圧縮情報を逆量子化
し、輝度成分抽出部１０５に出力する。輝度成分抽出部
１０５は、逆量子化された画像圧縮情報のうち、輝度成
分のみを抽出して逆離散コサイン変換部１０６に出力す
る。

【００８４】逆離散コサイン変換部１０６は、入力され
た逆量子化されているDCTドメインの係数（DCT係数）を
逆離散コサイン変換し、画素ドメインの係数に変換した
後、加算器１０７に出力する。加算器１０７は、逆離散
コサイン変換部１０６より入力された画素ドメインの係
数と、動き補償部１１５より入力される予測画素成分を
加算し、輝度成分の画像データとしてフレームメモリ１
１５に出力し、記憶させる。

【００８５】ユーザデータ可変長復号部１０８は、圧縮
情報解析部１０２より入力された、可変長符号からなる
ユーザデータを可変長復号し、ユーザデータバッファ１
０９に出力する。ユーザデータバッファ１０９は、ユー
ザデータ可変長復号部１０８より入力されたユーザデー
タを一時的に記憶するバッファであり、適宜読み出して
逆スキャン部１１０に出力すると共に、イントラマクロ
ブロックアドレス情報を動き補償部１１３，１１５に出
力する。

【００８６】逆スキャン部１１０は、図９で示した順序
と逆の順序で３次元VLCを復号して、４×４のDCT係数か
らなるマクロブロックを生成して、逆量子化部１１１に
出力する。逆量子化部１１１は、逆スキャン部１１０よ
り入力された各マクロブロックのDCT係数を逆量子化し
て逆離散コサイン変換部１１２に出力する。逆離散コサ
イン変換部１１２は、逆量子化部１１１より入力された
マクロブロックを逆離散コサイン変換処理し、画素ドメ
インの係数に変換し、加算器１１３に出力する。

【００８７】加算器１１３は、逆離散コサイン変換部１
１２より入力された画素ドメインのマクロブロックに動
き補償部１１４より入力される予測差分情報を加算し
て、色差成分の画像データとしてフレームメモリ１１６
に出力する。

【００８８】動き補償部１１４は、ユーザデータバッフ
ァ１０９より入力されるイントラマクロブロックアドレ
ス情報に基づいて、今処理しているマクロブロックがイ
ンターマクロブロックである場合、４×４の係数からな
るマクロブロックの予測画素成分をフレームメモリ１１
６の画像情報から生成し、加算器１１３に出力すると共
に、今処理しているマクロブロックがイントラマクロブ
ロックである場合、予測画素成分の加算器１１３への出
力を停止する。

【００８９】動き補償部１１５は、動き補償部１１４と
同様の処理を実行し、ユーザデータバッファ１０９より
入力されるイントラマクロブロックアドレス情報に基づ
いて、今処理しているマクロブロックがインターマクロ
ブロックである場合、８×８の係数からなるマクロブロ
ックの予測画素成分をフレームメモリ１１６の画像情報
から生成し、加算器１０７に出力すると共に、今処理し
ているマクロブロックがイントラマクロブロックである
場合、予測画素成分の加算器１０７への出力を停止す
る。

【００９０】フレームメモリ１１６は、加算器１０７よ
り入力された輝度成分の画像データと、加算器１１３よ
り入力された色差成分の画像データを合成し、再生用の
画像を生成して出力する。

【００９１】次に、図１１のフローチャートを参照し
て、画像再生装置９１の画像再生処理を説明する。

【００９２】ステップＳ３１において、符号バッファ１
０１は、入力されたユーザデータを含むMPEG４方式で圧
縮された画像圧縮情報を一時的に記憶し、圧縮情報解析
部１０２に出力する。ステップＳ３２において、圧縮情
報解析部１０２は、入力された画像圧縮情報を解析し、
このうちMPEG４方式の画像圧縮情報を可変長復号部１０
３に出力し、ユーザデータをユーザデータ可変長復号部
１０８に出力する。

【００９３】ステップＳ３３において、可変長復号部１
０３は、可変長符号化されたMPEG４の画像圧縮情報を可
変長復号し、逆量子化部１０４に出力し、ユーザデータ
可変長復号部１０８は、入力されたユーザデータを可変
長復号し、ユーザデータバッファに一時的に記憶させ、
色差成分のDCT係数を逆スキャン部１１０に出力させる
と共に、イントラマクロブロック（MB）アドレス情報を
動き補償部１１４，１１５にそれぞれ出力させる。

【００９４】ステップＳ３４において、逆スキャン部１
１０は、ユーザデータバッファ１０９より入力された色
差成分の信号を逆スキャン処理し、４×４のDCT係数か
らなるマクロブロックを生成して、逆量子化部１１１に
出力する。

【００９５】ステップＳ３５において、逆量子化部１０
４，１１１は、可変長復号部１０３より入力されたマク
ロブロックの８×８のDCT係数、および、逆スキャン部
１１０より入力されたマクロブロックの４×４のDCT係
数を逆量子化し、それぞれ輝度成分抽出部１０５、およ
び、離散コサイン変換部１１２に出力する。

【００９６】ステップＳ３６において、輝度成分抽出部
１０５は、入力された逆量子化された８×８のDCT係数
からなるマクロブロックのうち、輝度成分のみを抽出し
て逆離散コサイン変換部１０６に出力する。ステップＳ
３７において、逆離散コサイン変換部１０６，１１２
は、それぞれに入力された逆量子化された８×８のDCT
係数と４×４のDCT係数に逆離散コサイン変換処理を施
し、それぞれを加算器１０７，１１３に出力する。

【００９７】ステップＳ３８において、動き補償部１１
４，１１５は、それぞれにユーザデータバッファ１０９
より入力されるイントラマクロブロックアドレス情報に
より、今処理しているマクロブロックがイントラMBであ
るか否かを判定し、例えば、イントラマクロブロックで
はないと判定した場合、すなわち、インターマクロブロ
ックであると判定した場合、その処理は、ステップＳ３
９に進む。

【００９８】ステップＳ３９において、動き補償部１１
４，１１５は、対応するマクロブロックの予測画素成分
をフレームメモリ１１６に記録されている画像データよ
り生成して、加算器１１３，１０７にそれぞれ出力す
る。ステップＳ４０において、加算器１０７，１１３
は、それぞれ逆離散コサイン変換部１０６，１１２より
入力された画素ドメインに変換された係数に動き補償部
１１４，１１５より入力された予測画素成分を加算し
て、生成した輝度成分の画像、および、色差成分の画像
を、それぞれフレームメモリ１１６に出力して、記憶さ
せる。

【００９９】ステップＳ４１において、フレームメモリ
１１６は、加算器１０７，１１３より入力された、それ
ぞれに対応する輝度成分の画像と色差成分の画像を合成
し、再生画像として出力する。

【０１００】ステップＳ３８において、今現在処理して
いるマクロブロックがイントラマクロブロックであると
判定された場合、ステップＳ３９の処理はスキップされ
る。すなわち、動き補償部１１４，１１５より予測画素
成分が加算器１０７，１１３に出力されない。

【０１０１】このように、色差成分については、元のマ
クロブロックの８×８のDCT係数の低域成分を抽出し
て、４×４のDCT係数からなるマクロブロックを生成
し、MPEG４のフォーマット中のユーザデータに挿入させ
ることにより処理されるため、そのマクロブロックがイ
ンターマクロブロックである場合、その各々のマクロブ
ロック毎の動きベクトルに対応して、動き補償処理が施
されるので色の滲みを低減させることが可能となる。ま
た、イントラマクロブロックが処理される場合、動き補
償部１１４より予測画素成分が出力されないので、イン
トラマクロブロックであるにもかかわらず、予測画素成
分が加算されて、画素値が飽和してしまうといったこと
が防止され、正しい画素値を求めることが可能となる。

【０１０２】また、画像変換装置３１により生成された
MPEG４方式で圧縮された画像圧縮情報は、ユーザデータ
が新たに含まれた情報であるので、ユーザデータを処理
するためのユーザデータ可変長符号化部１０８、ユーザ
データバッファ１０９、逆スキャン部１１０、逆量子化
部１１１、逆離散コサイン変換部１１２、加算器１１
３、および、動き補償部１１４を備えていない場合で
も、通常のMPEG４方式で圧縮された画像圧縮情報を再生
可能な画像再生装置であれば、再生させることが可能で
ある。

【０１０３】以上においては、４×４のDCT係数からな
る色差成分のマクロブロックのデータについて、MPEG４
のフォーマットのユーザデータに挿入させるようにして
きたが、ユーザデータにより転送可能なデータ量には制
限があるため、必ずしもリアルタイムで画像を再生でき
る程度の４×４のDCT係数からなる色差成分のマクロブ
ロックのデータを転送させることができない恐れがあ
る。そこで、４×４の色差成分のマクロブロックのデー
タをMPEG４方式で圧縮された画像圧縮情報と通常の多重
化方法で多重化して、多重化ストリームを生成し、この
多重化ストリームの情報を分離することでリアルタイム
で再生できるようにしてもよい。

【０１０４】図１２は、４×４の色差成分のマクロブロ
ックのデータをMPEG４方式で圧縮された画像圧縮情報に
通常の多重化方法で多重化して、圧縮情報を生成するよ
うにした画像変換装置３１を示している。この例におい
ては、図４のユーザデータバッファ５４、および、ユー
ザデータ可変長符号化部５５に代えて、付加情報可変長
符号化部１３１、および、多重化装置１３２が設けられ
ている。付加情報可変長符号化装置１３１は、付加情報
としての４×４の色差成分のマクロブロックのデータと
イントラマクロブロックアドレス情報を可変長符号化し
て、多重化装置１３２に出力する。すなわち、実質的
に、図４のユーザデータ可変長符号化部５５の処理と同
様の処理を実行する。多重化装置１３２は、MPEG４方式
で圧縮された画像圧縮情報と、付加情報可変長符号化装
置１３１より入力される付加情報として可変長符号化さ
れた４×４の色差成分のマクロブロックのデータを時分
割多重化して多重化ストリームを生成して出力する。

【０１０５】尚、生成された４×４の色差成分のマクロ
ブロックのデータをMPEG４方式で圧縮された画像圧縮情
報を多重化して多重化ストリームを生成する以外は、図
７の画像変換装置３１と同様であるので、その処理の説
明は省略する。

【０１０６】また、図１２の画像変換装置より出力され
た多重化ストリームを再生する画像再生装置９１につい
て、図１３を参照して説明する。

【０１０７】図１３の画像再生装置９１は、図１０の画
像再生装置９１に多重化分離部１４１、符号バッファ１
０１と同様な符号バッファ１４２−１，１４２−２、お
よび、ユーザデータに対応する部分に付加情報可変長符
号化部１４３が設けられている。多重化分離部１４１
は、図１２の画像変換装置３１に設けられた多重化装置
１３２の多重化方式で多重化された多重化ストリームを
付加情報とMPEG４方式で圧縮された画像圧縮情報に分離
し、MPEG４方式で圧縮された画像圧縮情報を符号バッフ
ァ１４２−１に、付加情報を符号バッファ１４２−２に
出力する。圧縮情報解析部１０２−１は、符号バッファ
１４２−１より入力されたMPEG４方式で圧縮された画像
圧縮情報を解析し、解析結果と共に可変長復号部１０３
に出力する。

【０１０８】圧縮情報解析部１０２−２は、符号バッフ
ァ１４２−２より入力された圧縮されている付加情報の
圧縮情報を解析し、解析結果と共に付加情報を付加情報
可変長復号部１４３に出力する。付加情報可変長復号部
１４３は、入力された解析結果と付加情報から、色差成
分の４×４のDCT係数からなるマクロブロックの情報を
逆スキャン部１１０に出力し、イントラマクロブロック
アドレス情報を動き補償部１１３，１１５に出力する。

【０１０９】このような構成とすることで、画像再生装
置９１は、リアルタイムで画像を再生するのに必要とさ
れる付加情報を受け取ることが可能となるので、MPEG４
方式で圧縮された画像圧縮情報の色差成分と輝度成分を
同時に処理することが可能となり、リアルタイムで再生
画像を生成することが可能となる。

【０１１０】尚、以上の例においては、８×８のDCT係
数からなるマクロブロックを４×４のマクロブロックに
変換する例について説明してきたが、DCT係数の構成は
それ以外でもよい。ただし、元のDCT係数の水平方向、
および、垂直方向の数は、偶数としないと、水平方向、
および、垂直方向に、その半分の個数のDCT係数からな
るマクロブロックに変換させることができない。

【０１１１】以上によれば、色差成分については、間引
き処理されたマクロブロックがインターマクロブロック
である場合、間引きされた各々のマクロブロック毎の動
きベクトルに対応して、動き補償処理が施されるので色
の滲みを低減させることが可能となる。また、イントラ
マクロブロックが処理される場合、イントラマクロブロ
ックであるにもかかわらず、予測画素成分が加算され
て、画素値が飽和してしまうといったことが防止され、
正しい画素値を求めることが可能となる。

【０１１２】上述した一連の処理は、ハードウェアによ
り実行させることもできるが、ソフトウェアにより実行
させることもできる。一連の処理をソフトウェアにより
実行させる場合には、そのソフトウェアを構成するプロ
グラムが、専用のハードウェアに組み込まれているコン
ピュータ、または、各種のプログラムをインストールす
ることで、各種の機能を実行させることが可能な、例え
ば汎用のパーソナルコンピュータなどに記録媒体からイ
ンストールされる。

【０１１３】図１５，図１６は、画像変換装置３１、お
よび、画像再生装置９１をソフトウェアにより実現する
場合のパーソナルコンピュータの一実施の形態の構成を
示している。パーソナルコンピュータのCPU２０１，３
０１は、パーソナルコンピュータの動作の全体を制御す
る。また、CPU２０１，３０１は、バス２０４，３０１
および入出力インタフェース２０５，３０５を介してユ
ーザからキーボードやマウスなどからなる入力部２０
６，３０６から指令が入力されると、それに対応してRO
M(Read Only Memory)２０２，３０２に格納されている
プログラムを実行する。あるいはまた、CPU２０１，３
０１は、ドライブ２１０，３１０に接続された磁気ディ
スク２１１，３１１、光ディスク２１２，３１２、光磁
気ディスク２１３，３１３、または半導体メモリ２１
４，３１４から読み出され、記憶部２０８，３０８にイ
ンストールされたプログラムを、RAM(Random Access Me
mory)２０３，３０３にロードして実行する。これによ
り、上述した画像処理装置の機能が、ソフトウェアによ
り実現されている。さらに、CPU２０１，３０１は、通
信部２０９，３０９を制御して、外部と通信し、データ
の授受を実行する。

【０１１４】プログラムが記録されている記録媒体は、
図１５，図１６に示すように、コンピュータとは別に、
ユーザにプログラムを提供するために配布される、プロ
グラムが記録されている磁気ディスク２１１，３１１
（フレキシブルディスクを含む）、光ディスク２１２，
３１２（CD-ROM(Compact Disc-Read Only Memory)，DVD
（Digital Versatile Disc）を含む）、光磁気ディスク
２１３，３１３（MD（Mini-Disc）を含む）、もしくは
半導体メモリ２１４，３１４などよりなるパッケージメ
ディアにより構成されるだけでなく、コンピュータに予
め組み込まれた状態でユーザに提供される、プログラム
が記録されているROM２０２，３０２や、記憶部２０
８，３０８に含まれるハードディスクなどで構成され
る。

【０１１５】尚、本明細書において、記録媒体に記録さ
れるプログラムを記述するステップは、記載された順序
に沿って時系列的に行われる処理は、もちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理を含むものである。

【０１１６】

【発明の効果】本発明の第1の画像処理装置および方
法、並びにプログラムによれば、第１の圧縮方式で圧縮
された画像データを輝度成分と色差成分に分離し、色差
成分の、水平方向、および、垂直方向に、それぞれ２ｎ
個のDCT係数からなる第１のマクロブロックから、DCT係
数の直流成分から水平方向、および、垂直方向に、それ
ぞれｎ個までのDCT係数からなる第２のマクロブロック
を抽出し、抽出した第２のマクロブロックを、第２の圧
縮方式で圧縮された画像データの色差成分として符号化
するようにした。

【０１１７】本発明の第２の画像処理装置および方法、
並びにプログラムによれば、画像データから第１のマク
ロブロックを分離し、画像データの輝度成分の水平方
向、および、垂直方向の２ｎ個のDCT係数からなる第２
のマクロブロックの情報より輝度成分画像を生成し、分
離した第１のマクロブロックより色差成分画像を生成
し、輝度成分画像と色差成分画像を合成して画像を再生
するようにした。

【０１１８】結果として、いずれにおいても、色差成分
については、間引き処理されたマクロブロックがインタ
ーマクロブロックである場合、間引きされた各々のマク
ロブロック毎の動きベクトルに対応して、動き補償処理
が施されるので色の滲みを低減させることが可能とな
る。また、イントラマクロブロックが処理される場合、
イントラマクロブロックであるにもかかわらず、予測画
素成分が加算されて、画素値が飽和してしまうといった
ことが防止され、正しい画素値を求めることが可能とな
る。

【図面の簡単な説明】

【図１】従来の画像変換装置の構成を示すブロック図で
ある。

【図２】図１の画像変換装置によるマクロブロックの間
引き処理を説明する図である。

【図３】図１の画像変換装置によるマクロブロックの間
引き処理を説明する図である。

【図４】本発明を適用した画像変換装置の一実施の形態
の構成を示す図である。

【図５】図４の画像変換装置の画像変換処理を説明する
フローチャートである。

【図６】図４の画像変換装置によるマクロブロックの間
引き処理を説明する図である。

【図７】図４の画像変換装置によるマクロブロックの間
引き処理を説明する図である。

【図８】図４の画像変換装置によるマクロブロックの間
引き処理を説明する図である。

【図９】図４の画像変換装置のスキャン部のスキャン処
理を説明する図である。

【図１０】本発明を適用した画像再生装置の一実施の形
態の構成を示す図である。

【図１１】図１０の画像再生装置の画像再生処理を説明
するフローチャートである。

【図１２】画像変換装置のその他の例を示す図である。

【図１３】画像再生装置のその他の例を示す図である。

【図１４】記録媒体を説明する図である。

【図１５】記録媒体を説明する図である。

【符号の説明】

３１ 画像変換装置， ４１ ピクチャタイプ判別部，
４２ 可変長復号部， ４３ 逆量子化部， ４４
フレーム／フィールド変換部， ４５ 輝度解像度変換
部， ４６ 合成部， ４７ 量子化部， ４８ 可変
長符号化部，４９ 色差解像度変換部， ５０ シンタ
ックス変換部， ５１ 色差解像度変換部， ５２ 量
子化部， ５３ スキャン部， ５４ ユーザデータバ
ッファ， ５５ ユーザデータ可変長符号化部， ５６
イントラMBアドレス情報記憶部， ９１ 画像再生装
置， １０１ 符号バッファ， １０２，１０２−１，
１０２−２ 圧縮情報解析部， １０３ 可変長符号化
部， １０４ 逆量子化部， １０５ 輝度成分抽出
部， １０６ 逆離散コサイン変換部， １０７加算
器， １０８ ユーザデータ可変長復号部， １０９
ユーザデータバッファ， １１０ 逆スキャン部， １
１１ 逆量子化部， １１２ 逆離散コサイン変換部，
１１３ 加算器， １１４，１１５ 動き補償部，
１１６ フレームメモリ， １３１ 付加情報可変長符
号化部， １３２ 多重化装置， １４１ 多重化分離
部， １４２−１，１４２−２ 符号バッファ， １４
３ 付加情報可変長復号部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 11/20 (72)発明者 矢ヶ崎 陽一 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C057 AA06 BA01 BB01 EA02 EA07 EE01 EJ02 EL01 EM09 EM13 EM16 GL00 5C059 KK01 KK41 LB05 MA00 MA23 MC11 MC38 ME01 NN21 PP05 PP06 PP07 PP16 RB06 SS10 UA02 UA05 5C063 AA01 AB03 AB07 AC01 BA01 CA01 CA11 CA12

Claims (19)

【特許請求の範囲】
1. 【請求項１】 第１の圧縮方式で圧縮された画像データ
   を第２の圧縮方式で圧縮された画像データに変換する画
   像処理装置において、 第１の圧縮方式で圧縮された画像データを輝度成分と色
   差成分に分離する分離手段と、 前記色差成分の、水平方向、および、垂直方向に、それ
   ぞれ２ｎ個のDCT係数からなる第１のマクロブロックか
   ら、前記DCT係数の直流成分から水平方向、および、垂
   直方向に、それぞれｎ個までのDCT係数からなる第２の
   マクロブロックを抽出するマクロブロック抽出手段と、 前記マクロブロック抽出手段により抽出された前記第２
   のマクロブロックを、前記第２の圧縮方式で圧縮された
   前記画像データの色差成分として符号化する色差成分符
   号化手段とを備えることを特徴とする画像処理装置。
2. 【請求項２】 前記第１の圧縮方式は、MPEG2方式であ
   り、前記第２の圧縮方式は、MPEG４方式であることを特
   徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記MPEG２方式で圧縮された画像データ
   のうち、Iピクチャと、Pピクチャを抽出するピクチャ抽
   出手段をさらに備え、 前記分離手段は、前記MPEG２方式で圧縮された画像デー
   タのうち、前記Iピクチャ、および、前記Pピクチャを輝
   度成分と色差成分に分離することを特徴とする請求項２
   に記載の画像処理装置。
4. 【請求項４】 前記分離手段、前記マクロブロック抽出
   手段、および、前記色差成分符号化手段からなる系とは
   異なる系に、間引き手段と、合成符号化手段とをさらに
   備え、 前記間引き手段は、前記MPEG２方式で圧縮された画像デ
   ータの、前記Iピクチャ、および、前記Pピクチャの前記
   輝度成分と前記色差成分のそれぞれの、水平方向、およ
   び、垂直方向に２ｎ個のDCT係数からなる第３のマクロ
   ブロックのDCT係数を、水平方向、および、垂直方向
   に、各２個の計４個毎に、１列おき、および、１段おき
   に間引いて、水平方向、および、垂直方向に、２ｎ個の
   DCT係数からなる前記輝度成分、および、前記色差成分
   の１個の第４のマクロブロックを生成し、 前記合成符号化手段は、前記間引き手段により生成され
   た前記第４のマクロブロックを合成して、符号化し、前
   記MPEG４方式で圧縮された画像データを生成することを
   特徴とする請求項３に記載の画像処理装置。
5. 【請求項５】 前記MPEG２方式で圧縮された画像データ
   のイントラマクロブロックアドレス情報を生成する生成
   手段をさらに備え、 前記色差成分符号化手段は、前記第２のマクロブロック
   と共に、前記イントラマクロブロックアドレス情報も前
   記第２の圧縮方式で圧縮された前記画像データの色差成
   分として符号化することを特徴とする請求項２に記載の
   画像処理装置。
6. 【請求項６】 前記合成符号化手段は、前記間引き手段
   により生成された前記第４のマクロブロックを合成し
   て、符号化すると共に、MPEG４のフォーマット中のユー
   ザデータ領域に、前記色差成分符号化手段により前記MP
   EG４方式で圧縮された前記画像データの色差成分として
   符号化された複数の前記色差成分の第２のマクロブロッ
   クを多重化し、前記MPEG４方式で圧縮された画像データ
   を生成することを特徴とする請求項４に記載の画像処理
   装置。
7. 【請求項７】 前記合成符号化手段は、前記間引き手段
   により生成された前記第４のマクロブロックを合成し
   て、符号化し、前記MPEG４方式で圧縮された画像データ
   を生成すると共に、前記色差成分符号化手段により前記
   MPEG４方式で圧縮された前記画像データの色差成分とし
   て符号化された複数の前記色差成分の第２のマクロブロ
   ックと時分割多重化して所定のストリームデータを生成
   することを特徴とする請求項４に記載の画像処理装置。
8. 【請求項８】 第１の圧縮方式で圧縮された画像データ
   を第２の圧縮方式で圧縮された画像データに変換する画
   像処理装置の画像処理方法において、 第１の圧縮方式で圧縮された画像データを輝度成分と色
   差成分に分離する分離ステップと、 前記色差成分の、水平方向、および、垂直方向に、それ
   ぞれ２ｎ個のDCT係数からなる第１のマクロブロックか
   ら、前記DCT係数の直流成分から水平方向、および、垂
   直方向に、それぞれｎ個までのDCT係数からなる第２の
   マクロブロックを抽出するマクロブロック抽出ステップ
   と、 前記マクロブロック抽出ステップの処理で抽出された前
   記第２のマクロブロックを、前記第２の圧縮方式で圧縮
   された前記画像データの色差成分として符号化する色差
   成分符号化ステップとを含むことを特徴とする画像処理
   方法。
9. 【請求項９】 第１の圧縮方式で圧縮された画像データ
   を第２の圧縮方式で圧縮された画像データに変換する画
   像処理装置を制御するプログラムであって、 第１の圧縮方式で圧縮された画像データの輝度成分と色
   差成分との分離を制御する分離制御ステップと、 前記色差成分の、水平方向、および、垂直方向に、それ
   ぞれ２ｎ個のDCT係数からなる第１のマクロブロックか
   ら、前記DCT係数の直流成分から水平方向、および、垂
   直方向に、それぞれｎ個までのDCT係数からなる第２の
   マクロブロックの抽出を制御するマクロブロック抽出制
   御ステップと、 前記マクロブロック抽出制御ステップの処理で抽出が制
   御された前記第２のマクロブロックの、前記第２の圧縮
   方式で圧縮された前記画像データの色差成分としての符
   号化を制御する色差成分符号化制御ステップとを含むこ
   とを特徴とするコンピュータが読み取り可能なプログラ
   ムが記録されている記録媒体。
10. 【請求項１０】 第１の圧縮方式で圧縮された画像デー
    タを第２の圧縮方式で圧縮された画像データに変換する
    画像処理装置を制御するコンピュータに、 第１の圧縮方式で圧縮された画像データの輝度成分と色
    差成分との分離を制御する分離制御ステップと、 前記色差成分の、水平方向、および、垂直方向に、それ
    ぞれ２ｎ個のDCT係数からなる第１のマクロブロックか
    ら、前記DCT係数の直流成分から水平方向、および、垂
    直方向に、それぞれｎ個までのDCT係数からなる第２の
    マクロブロックの抽出を制御するマクロブロック抽出制
    御ステップと、 前記マクロブロック抽出制御ステップの処理で抽出が制
    御された前記第２のマクロブロックの、前記第２の圧縮
    方式で圧縮された前記画像データの色差成分としての符
    号化を制御する色差成分符号化制御ステップとを実行さ
    せるプログラム。
11. 【請求項１１】 画像の色差成分の、水平方向、およ
    び、垂直方向のｎ個までのDCT係数からなる第１のマク
    ロブロックを含む、所定の画像圧縮方式で圧縮された画
    像データより前記画像を再生する画像処理装置におい
    て、 前記画像データから前記第１のマクロブロックを分離す
    る分離手段と、 前記画像データの輝度成分の水平方向、および、垂直方
    向の２ｎ個のDCT係数からなる第２のマクロブロックの
    情報より輝度成分画像を生成する輝度成分画像生成手段
    と、 前記分離手段により分離された前記第１のマクロブロッ
    クより色差成分画像を生成する色差成分画像生成手段
    と、 前記輝度成分画像と前記色差成分画像を合成して前記画
    像を再生する再生手段とを備えることを特徴とする画像
    処理装置。
12. 【請求項１２】 前記所定の画像圧縮方式は、MPEG４方
    式であることを特徴とする請求項１１に記載の画像処理
    装置。
13. 【請求項１３】 前記MPEG４方式で圧縮された画像デー
    タは、Iピクチャ、または、Pピクチャより構成された画
    像データであることを特徴とする請求項１２に記載の画
    像処理装置。
14. 【請求項１４】 所定の画像圧縮方式で圧縮された画像
    データは、前記第１のマクロブロックの情報に加えて、
    そのうちのイントラマクロブロックのマクロブロックア
    ドレスであるイントラマクロブロックアドレス情報を含
    むことを特徴とする請求項１１に記載の画像処理装置。
15. 【請求項１５】 前記輝度成分画像生成手段は、 輝度成分画像の動き補償処理を実行する輝度成分画像動
    き補償手段と、 前記第２のマクロブロックのマクロブロックアドレス
    と、前記イントラマクロブロックアドレスとを比較する
    比較手段と、 前記比較手段の比較結果に基づいて、前記第２のマクロ
    ブロックがイントラマクロブロックである否かを判定す
    る輝度成分判定手段を備え、 前記輝度成分画像動き補償手段は、前記輝度成分判定手
    段の判定結果に基づいて、輝度成分画像の動き補償処理
    を実行することを特徴とする請求項１４に記載の画像処
    理装置。
16. 【請求項１６】 前記色差成分画像生成手段は、 色差成分画像の動き補償処理を実行する色差成分画像動
    き補償手段と、 前記第１のマクロブロックのマクロブロックアドレス
    と、前記イントラマクロブロックアドレスを比較する比
    較手段と、 前記比較手段の比較結果に基づいて、前記第１のマクロ
    ブロックが、イントラマクロブロックである否かを判定
    する色差成分判定手段を備え、 前記色差成分画像動き補償手段は、前記色差成分判定手
    段の判定結果に基づいて、色差成分画像の動き補償処理
    を実行することを特徴とする請求項１４に記載の画像処
    理装置。
17. 【請求項１７】 画像の色差成分の、水平方向、およ
    び、垂直方向のｎ個までのDCT係数からなる前記第１の
    マクロブロックを含む、所定の画像圧縮方式で圧縮され
    た画像データより前記画像を再生する画像処理装置の画
    像処理方法において、 前記画像データから前記第１のマクロブロックを分離す
    る分離ステップと、 前記画像データの輝度成分の水平方向、および、垂直方
    向の２ｎ個のDCT係数からなる第２のマクロブロックよ
    り輝度成分画像を生成する輝度成分画像生成ステップ
    と、 前記分離ステップの処理で分離された前記第１のマクロ
    ブロックより色差成分画像を生成する色差成分画像生成
    ステップと、 前記輝度成分画像と前記色差成分画像を合成して前記画
    像を再生する再生ステップとを含むことを特徴とする画
    像処理方法。
18. 【請求項１８】 画像の色差成分の、水平方向、およ
    び、垂直方向のｎ個までのDCT係数からなる第１のマク
    ロブロックを含む、所定の画像圧縮方式で圧縮された画
    像データより前記画像を再生する画像処理装置を制御す
    るプログラムであって、 前記画像データからの前記第１のマクロブロックの分離
    を制御する分離制御ステップと、 前記画像データの輝度成分の水平方向、および、垂直方
    向の２ｎ個のDCT係数からなる第２のマクロブロックよ
    り輝度成分画像の生成を制御する輝度成分画像生成制御
    ステップと、 前記分離制御ステップの処理で分離が制御された前記第
    １のマクロブロックより色差成分画像の生成を制御する
    色差成分画像生成制御ステップと、 前記輝度成分画像と前記色差成分画像の合成と前記画像
    の再生を制御する再生制御ステップとを含むことを特徴
    とするコンピュータが読み取り可能なプログラムが記録
    されている記録媒体。
19. 【請求項１９】 画像の色差成分の、水平方向、およ
    び、垂直方向のｎ個までのDCT係数からなる第１のマク
    ロブロックを含む、所定の画像圧縮方式で圧縮された画
    像データより前記画像を再生する画像処理装置を制御す
    るコンピュータに、 前記画像データからの前記第１のマクロブロックの分離
    を制御する分離制御ステップと、 前記画像データの輝度成分の水平方向、および、垂直方
    向の２ｎ個のDCT係数からなる第２のマクロブロックよ
    り輝度成分画像の生成を制御する輝度成分画像生成制御
    ステップと、 前記分離制御ステップの処理で分離が制御された前記第
    １のマクロブロックより色差成分画像の生成を制御する
    色差成分画像生成制御ステップと、 前記輝度成分画像と前記色差成分画像の合成と前記画像
    の再生を制御する再生制御ステップとを実行させるプロ
    グラム。