JP2007166323A - 画像復号装置、および画像復号方法 - Google Patents

Abstract

【課題】 動き補償を用いて復号される画像の画質劣化を最小限に抑えると共に、動き補償において参照される復号画像データを記憶する記憶部の容量を低減する画像復号装置、および画像復号方法を提供する。
【解決手段】 符号化された画像情報を復号して復号画像データを出力する復号部２と、復号画像データを圧縮する際の圧縮率を決定する圧縮率決定部３と、圧縮率決定部３で決定された圧縮率に従い、復号画像データを圧縮して圧縮データを出力する圧縮部４と、圧縮データを記憶する記憶部５と、記憶部５から読み出された圧縮データを伸長する伸長部６を備える画像復号装置１である。この構成により、記憶部の容量削減と、復号される画像の画質劣化抑止が両立される。
【選択図】 図１

Description

本発明は、符号化された画像情報を復号する画像復号装置、および画像復号方法に関する。

近年、種々の画像情報の符号化方式、復号方式が提案されている。例えば、ＭＰＥＧ２やＭＰＥＧ４と呼ばれる規格が幅広く用いられている。ＭＰＥＧ２やＭＰＥＧ４などの画像符号化装置においては、符号量を削減するために、前後のフレームの画像情報を参照した動き予測を用いる。動き予測を用いる画像情報として、前のフレームの画像情報を参照するＰピクチャ、前後のフレームの画像情報を用いるＢピクチャなどがある。

これらＭＰＥＧ２やＭＰＥＧ４などで符号化された画像情報を復号する画像復号装置においては、動き予測で符号化されたフレームの復号を行う必要がある。すなわち、動き補償が必要となる。

動き補償においては、前後のフレームの復号結果を必要とするため、復号された復号画像データを記憶する記憶部が必要となる。このとき、参照する画像情報を多く必要とすることもあり、高容量の記憶部が必要とされ、画像復号装置の製造コストが増加する問題があった。

特許文献１は、この記憶部の増大を抑止する技術を開示する。

図１６は、従来の画像復号装置のブロック図であり、特許文献１に開示されている。復号部１００は、可変長復号器１０１、逆量子化器１０２、逆ＤＣＴ変換器１０３、加算器１０４、動き補償部１０５を備え、符号化された画像情報を復号する。フレームメモリ１０６は、動き補償の際に参照される復号画像データを一時的に記憶する。

圧縮器１０７は、復号画像データを任意の圧縮率で圧縮して、フレームメモリ１０６に圧縮された圧縮データを出力する。すなわち、フレームメモリ１０６においては、データ量が圧縮された圧縮データが記憶される。このため、フレームメモリに要求される容量が削減される。

伸長器１０８は、圧縮データを伸長して、動き補償部１０５に出力する。動き補償部１０５は、伸長された画像データを用いて、動き補償を行い、符号化された画像情報の復号を実行する。

しかしながら、特許文献１に開示される技術では、復号画像データがＩピクチャであっても、Ｐピクチャであっても、Ｂピクチャであっても、同じ圧縮率で復号画像データが圧縮される。この場合には、Ｐピクチャの復号においては、圧縮されたＩピクチャが参照される。同様に、Ｂピクチャの復号においては、圧縮されたＩピクチャと圧縮されたＰピクチャが参照される。更に、圧縮されたＩピクチャが参照されて復号されたＰピクチャが、再び圧縮されて、別のＰピクチャやＢピクチャの復号時の参照されることになる。このため、動き補償を用いて復号される画像再現性の不完全なＰピクチャとＢピクチャが圧縮されることで、更に不十分な情報を有する復号画像データとなる。この不十分な情報を有している復号画像データを参照して動き補償されて復号される、次のＰピクチャやＢピクチャは、復号における精度が非常に低下してしまう。

このため、フレームメモリに記憶する前に圧縮がされない場合に比べて、復号される画像の画質が劣化する問題があった。
特開平９−２４７６７３号公報

そこで本発明は、動き補償を用いて復号される画像の画質劣化を最小限に抑えると共に、動き補償において参照される復号画像データを記憶する記憶部の容量を低減する画像復号装置、および画像復号方法を提供することを目的とする。

第１の発明に関わる画像復号装置は、符号化された画像情報を復号して復号画像データを出力する復号部と、復号画像データを圧縮する際の圧縮率を決定する圧縮率決定部と、圧縮率決定部で決定された圧縮率に従い、復号画像データを圧縮して圧縮データを出力する圧縮部と、圧縮データを記憶する記憶部と、記憶部から読み出された圧縮データを伸長する伸長部を備える。

この構成により、復号画像データの態様により異なる圧縮率で圧縮を行うことができる。このため、復号画像データを記憶する記憶部の容量削減と、動き補償に用いられる復号画像データの画質劣化抑止が両立できる。

第２の発明に関わる画像復号装置では、記憶部における、圧縮データの記憶位置を制御する制御部を更に備える。

この構成により、圧縮率の違いによる、圧縮データの容量に差が生じても、記憶部へのデータ割付が効率的に行われる。

第３の発明に関わる画像復号装置では、制御部は、圧縮率によって記憶位置を変更する。

この構成により、圧縮率の違いによる、圧縮データの容量に差が生じても、記憶部へのデータ割付が効率的に行われる。

第４の発明に関わる画像復号装置では、記憶部においては、圧縮率の違いにより圧縮データを記憶する領域が異なり、制御部は、圧縮データの圧縮率に対応する領域を記憶位置として決定する。

この構成により、圧縮率の違いによる、圧縮データの容量に差が生じても、記憶部へのデータ割付が効率的に行われる。

第５の発明に関わる画像復号装置では、復号画像データの符号化方式を判定して判定結果を出力する判定部を備え、圧縮率決定部は、判定結果に従って圧縮率を決定する。

この構成により、符号化方式の違いに応じた圧縮率の決定がなされる。

第６の発明に関わる画像復号装置では、判定部は、復号画像データにおける動き予測の有無を判定し、判定結果に従って圧縮率を決定する。

この構成により、動き予測により符号化された復号画像データに対する圧縮率を、動き予測を含まずに符号化された復号画像データに対する圧縮率と異ならせることができる。

第７の発明に関わる画像復号装置では、判定部は、復号画像データが、Ｉピクチャ及びＰピクチャ及びＢピクチャのいずれであるかを判定し、圧縮率決定部は、判定結果に従って圧縮率を決定する。

この構成により、復号時の動き補償に用いられるピクチャタイプにより、圧縮率を異ならせることができる。

第８の発明に関わる画像復号装置では、圧縮率決定部は、動き予測を有する復号画像データの圧縮率を、動き予測を有さない復号画像データの圧縮率よりも高い値に決定する。

この構成により、動き補償に用いられる復号画像データの圧縮率が低くなり、情報欠落が減少する。結果として、動き補償により復号される画像の画質劣化が抑止される。

第９の発明に関わる画像復号装置では、圧縮率決定部は、Ｂピクチャである復号画像データに対する第１圧縮率と、Ｐピクチャである復号画像データに対する第２圧縮率と、Ｉピクチャである復号画像データに対する第３圧縮率が、好ましくは第１圧縮率≧第２圧縮率≧第３圧縮率、更に好ましくは第１圧縮率＞第２圧縮率＞第３圧縮率となるように、圧縮率を決定する。

この構成により、動き補償において多く用いられるＩピクチャの圧縮率が低くなり、情報欠落が減少する。結果として、動き補償でＩピクチャが用いられて復号された画像の画質劣化が抑止される。

第１０の発明に係る画像復号装置では、圧縮率決定部は、前記復号画像データに含まれる輝度データと前記復号画像データに含まれる色差データに対して、個別の前記圧縮率を決定する。 第１１の発明に関わる画像復号装置では、圧縮率決定部は、復号画像データに含まれる輝度データに対する圧縮率を、復号画像データに含まれる色差データに対する圧縮率よりも低い値に決定する。

これらの構成により、視認者への影響を少なくした上で、復号画像データの圧縮後の容量を少なくできる。

第１２の発明に関わる画像復号装置では、復号画像データの中心周波数を計測する計測部を更に備え、圧縮率決定部は、中心周波数により圧縮率を決定する。

この構成により、高周波成分を多く含む中心周波数が高い復号画像データの圧縮率を低く設定でき、情報欠落を低減できる。

第１３の発明に関わる画像復号装置では、圧縮率決定部は、中心周波数が所定の閾値以上である場合の圧縮率を、中心周波数が閾値未満である場合の圧縮率よりも低い値に決定する。

この構成により、高周波成分を多く含む中心周波数が高い復号画像データの圧縮率を低く設定でき、情報欠落を低減できる。

本発明によれば、記憶部に記憶される復号画像データが圧縮された圧縮データに変換されるので、記憶部の容量が削減され、コストが削減される。

また、復号画像データの態様によって圧縮率が異なるので、復号部で復号される際に参照画像情報として用いられる復号画像データの情報欠落を、最小に抑えることができる。結果として、復号される画像の画質劣化を抑止できる。

また、異なる圧縮率で圧縮される圧縮データの記憶位置が、圧縮率や画像種類により制御されることで、記憶部が効率的に使用される。

以下、図面を参照しながら、本発明の実施の形態を説明する。

（実施の形態１）
図１は、本発明の実施の形態１における画像復号装置のブロック図である。

まず、画像復号装置１の全体構成と動作の概略を説明する。

画像復号装置１は、復号部２、圧縮率決定部３、圧縮部４、記憶部５、伸長部６を備える。好ましくは、制御部７を備える。

符号化された画像情報は、復号部２で復号され、復号画像データが出力される。圧縮率決定部３は、復号画像データを圧縮する際の圧縮率を、復号画像データの態様に基づいて決定し、決定した圧縮率を圧縮部４に出力する。このとき、圧縮された圧縮データを用いる復号において、画質劣化を抑止するために、圧縮率決定部３は、復号画像データの態様に基づいて、後述するように異なる圧縮率を決定する。

圧縮部４は、決定された圧縮率により、復号画像データを圧縮して、圧縮データを記憶部５に出力する。記憶部５は、圧縮された圧縮データを記憶するので、圧縮部４の無い従来技術に比較して、記憶部５の容量が低減される。

記憶部５に記憶された圧縮データは、伸長部６で伸長されて、復号部２における復号時の参照画像情報として用いられる。

なお、このとき復号画像データの態様により圧縮率が異なるため、動き補償を伴う復号時に参照される参照画像情報の劣化が少なく、復号される画像情報の劣化も少なくなる。

復号された復号画像データは、再生されて画像表示される。

ここで、ＭＰＥＧ２に規定されているデータ構造について説明する。

図２は、ＭＰＥＧ２に規定されているデータ構造を示す。図３は、ＭＰＥＧ２に規定されているビットストリームと画面との対応関係図である。

ＭＰＥＧ２に規定されているビットストリームは、復号装置側で正しく受け取ることができるように、データ構造が細かく決められている。具体的には、図２に示されるように、シーケンス、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）、ピクチャ、スライス、マクロブロック、ブロックの順による階層構造を有する。

シーケンスは、１つ以上のＧＯＰから構成され、一般に１つのビデオプログラム全体の符号化信号に相当する。このシーケンスは、シーケンスヘッダで始まり、シーケンスエンドで終了する。

なお、シーケンスヘッダは、画像の大きさを表す情報、１秒間に符号化するフレームの数、通信速度など、シーケンス全体に関連する情報を含む。また、シーケンスヘッダに続いて、ＭＰＥＧ２の符号化信号であることを表す機能拡張情報が挿入され、入力画像信号形式などが指定される。

ＧＯＰは、フレーム内符号化が可能なＩピクチャ、過去のフレームのみを用いて前方向の動き補償をおこなうＰピクチャ、および過去と未来の両方のフレームを用いて双方向の動き補償をおこなうＢピクチャのうち、１つ以上のピクチャから構成される。なお、各ＧＯＰの最初のピクチャとして、必ずＩピクチャが挿入され、ＧＯＰヘッダには、画像復元時に音声などとの時間合わせを可能とするためのタイムスタンプ情報などが含まれる。

ピクチャは、１つ以上のスライスから構成される。図３に示されるように、ピクチャは、動画像信号を構成する１枚の画面（ｍ画素×ｎライン）に相当する。このピクチャのピクチャヘッダは、Ｉ、Ｐ、Ｂピクチャを識別するための情報や、各ピクチャの表示順序を指定する情報などを含む。また、ピクチャヘッダに続く機能拡張情報は、フレーム構造／フィールド構造の設定など、ＭＰＥＧ２で導入されている機能を指定する情報を含む。

スライスは、画面上における左から右への１つ以上のマクロブロックから構成される。スライス情報は、量子化特性を表す情報など、スライス内で使用される符号化情報を含む。なお、スライス内でのマクロブロックの配置は、通信回線でのエラーの影響が画面上で縦方向に及ばないように、左右に延伸されるだけで、上下に延伸されることはない。

マクロブロックは、図３に示されるように、４：２：０のフォーマット時には、８×８のＹ信号ブロック４個と、８×８のＣｒ信号ブロック１個と、８×８のＣｂ信号ブロック１個とから構成される。なお、マクロブロック情報は、マクロブロック単位で符号化制御をおこなうための情報などを含む。

ブロックは、図３に示されるように、４：２：０のフォーマット時には、８×８のＹ信号、Ｃｒ信号、Ｃｂ信号いずれかのＤＣＴ係数データから構成される。なお、このＤＣＴ係数データは、連続する可変長の符号化データとして構成される。

各ブロックは、ＥＯＢ（End of Block）コードで終了する。

以上のように、ＭＰＥＧ２ビットストリームは、６層からなる階層構造を有する。なお、図３には、４：２：０のフォーマット時のデータ構成を示したが、本発明はこれに限定されるものではなく、４：２：２のフォーマット時においても同様に適用される。

次に、各部の詳細について説明する。

まず、復号部２について説明する。

復号部２は、ＭＰＥＧ２やＭＰＥＧ４などの規格により符号化された画像情報を復号する。図１には示されていないが、可変長符号を復号する可変長復号器、逆量子化器、逆ＤＣＴ変換器、動き補償部などを含む。

Ｉピクチャに代表されるイントラ画像は、動き補償は用いられず、逆量子化と逆ＩＤＣＴにより復号される。ＰピクチャやＢピクチャは、動き補償が用いられて復号される。この動き補償において、復号対象の前後の復号画像データが用いられる。

復号部２で復号された復号画像データは、動き補償で用いられる参照画像情報として使われると共に、再生されて表示される画像として用いられる。

次に圧縮率決定部３について説明する。

圧縮率決定部３は、復号画像データを圧縮する際の圧縮率を決定する。復号画像データは、記憶部５に記憶されて、動き補償における参照画像情報として用いられる。このとき、復号画像データは、一定のビット量を有しているため、そのまま記憶部５に記憶されると、高容量の記憶部５が必要となる。このため、圧縮率決定部３で決定された圧縮率に従って、復号画像データが圧縮されて、記憶部５に記憶される。

圧縮率決定部３は、復号画像データの態様によって異なる圧縮率を決定する。

なお、圧縮率決定部３は、種々の方式に従って、圧縮対象の復号画像データの圧縮率を決定する。

ここで、圧縮率決定部３が決定する圧縮率は、例えばパーセンテージで表される。例えば、圧縮率「５０％」などの値が決定される。圧縮率「５０％」とは、圧縮後の情報量が、圧縮前の情報量の０．５倍になることを意味する。圧縮率「１００％」とは、圧縮後の情報量が、圧縮前の情報量と同じであることを意味する。

次に圧縮部４について説明する。

圧縮部４は、圧縮率決定部３で決定された圧縮率に従い、復号画像データを圧縮して圧縮データを記憶部５に出力する。ここで、復号画像データの態様により圧縮率が異なるので、復号画像データの態様によって、異なる容量の圧縮データが生成される。

圧縮部４は、種々の構成を有するが、図４に圧縮部４の一例を示す。図４は、本発明の実施の形態１における圧縮部の説明図である。

圧縮部４は、決定された圧縮率に従い、復号画像データを非可逆的に圧縮する。

圧縮部４は、ＤＣＴにより画素情報から周波数成分へ変換する周波数変換部１０と、周波数変換部１０で生成された周波数成分を、逆ＤＣＴにより圧縮する周波数成分圧縮部１１を備える。周波数成分圧縮部１１は、決定された圧縮率に従い周波数成分を圧縮する。

図４には、圧縮率「５０％」の場合の圧縮処理が示されている。まず、８画素の復号画像データが、周波数変換されて生成される。周波数変換で生成された８個の周波数係数は、高周波側の成分が削除されて、５０％の容量に圧縮される。高周波成分の係数が削減された後、低次数ＩＤＣＴが行われて、８画素が４画素に圧縮される。

８画素の復号画像データが圧縮率「７５％」で圧縮される場合には、８画素が６画素に圧縮される。

圧縮部４での圧縮動作を説明する。図５は、本発明の実施の形態１における圧縮処理を示すフローチャートである。

まずステップＳ１にて、圧縮率決定部３の圧縮率に基づいて、圧縮処理の実施の有無を決定する。ステップＳ１にて、圧縮処理の実施が決定された場合には、ステップＳ２にて復号画像データは、周波数変換される。

次いで、ステップＳ３にて、周波数成分が、決定された圧縮率により圧縮される。最後にステップＳ４にて、圧縮データが記憶部５に記憶される。

なお、圧縮率「１００％」である場合、すなわち圧縮されない場合には、圧縮処理がスキップされてもよく、圧縮部４をバイパスして記憶部５へ、復号画像データが直接記憶されても良い。

次に、記憶部５について説明する。

記憶部５は、フレームメモリなどが用いられる。復号画像データの態様によって圧縮率が異なるため、圧縮データの容量が異なる結果になる。このため、記憶部５は、圧縮率によってバンク分けされていることも好適である。

次に伸長部６について説明する。

伸長部６は、記憶部５に記憶されている圧縮データを伸長し、圧縮データを復号部２における参照画像情報として使用可能な状態にする。伸長部６は、圧縮部４と逆の処理を行う。

図６は、本発明の実施の形態１における伸長部のブロック図である。

伸長部６は、ＤＣＴ処理により伸長処理を行う周波数成分伸長部２１と、周波数成分伸長部２１で生成された周波数係数を逆ＤＣＴ処理にて画素情報に変換する逆周波数変換部２０を備える。

伸長部６は、圧縮率に応じた伸長率で伸長する。例えば、伸長部６は、圧縮率「７５％」の場合には、「７５％」の逆数の値で伸長する。圧縮率が「５０％」の場合には、伸長部６は、「５０％」の逆数の値で伸長する。

図７により、伸長処理の流れについて説明する。

図７は、本発明の実施の形態１における伸長処理を示すフローチャートである。

まず、ステップＳ１０にて、記憶部５から読み出された圧縮データを伸長するかを決定する。このとき、圧縮率決定部３から得た圧縮率に関する情報を基に、伸長率を計算する。

次に、伸長処理を行う場合には、ステップＳ１１にて、周波数成分が低次数ＤＣＴにより伸長される。このとき、計算された伸長率が用いられる。次いで、ステップＳ１２にて、逆周波数変換されて、ステップＳ１３にて、復号部２へ出力される。

なお、図６に示されるように、圧縮率「５０％」で圧縮された圧縮データは、高周波側成分を値「０」で補完して、８画素に伸長される。

次に、制御部７について説明する。

圧縮部４で圧縮された圧縮データは、記憶部５に記憶される。このとき、圧縮前のデータは、復号画像データの態様に関わらず、その容量は一定である。すなわちＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれであっても、その容量は一定である。しかし、圧縮された圧縮データの容量が変化する。このとき、復号画像データの態様により圧縮率が異なるので、復号画像データの態様により記憶部５に記憶される容量が相違する。このため、記憶部５に不作為に圧縮データが記憶されると、記憶部５内部に使用できない空き領域が生じる。例えば、図８に示されるように空き領域が生じる。図８は、本発明の実施の形態１における記憶部のデータ割付図である。

制御部７は、圧縮率の相違に対応して、記憶部５への圧縮データの書き込み時の記憶位置を制御する。すなわち、制御部７は、圧縮データ毎の圧縮率の違いに応じて、記憶部５の記憶位置を変更して、圧縮データを記憶部５に書き込む。このとき、記憶部５は、圧縮率の違いに応じて、圧縮データを記憶する記憶領域が予め異なっており、制御部７は、この異なる記憶領域に合わせて圧縮データの記憶位置を制御する。

図９は、本発明の実施の形態１における記憶部のデータ割付図である。

図９に示されるとおり、記憶部５は、予め３つの領域である、第１領域、第２領域、第３領域に分割されている。第１領域は、第１圧縮率で圧縮された圧縮データを記憶する領域である。第２領域は、第２圧縮率で圧縮された圧縮データを記憶する領域である。第３領域は、第３圧縮率で圧縮された圧縮データを記憶する領域である。

なお、第１圧縮率と第２圧縮率と第３圧縮率は、第１圧縮率、第２圧縮率、第３圧縮率の順に、圧縮率が低くなる。例えば、第１圧縮率は、圧縮率「５０％」であり、第２圧縮率は、圧縮率「７５％」であり、第３圧縮率は、圧縮率「１００％」である。

このため、第３領域がもっとも大きな記憶領域を持ち、第１領域が、最も小さな記憶領域をもっている。

なお、図８、図９の記憶部５は、縦方向はアドレス方向であり、図中に示されているアドレス値は、例示である。

制御部７は、第１圧縮率で圧縮された圧縮データについては第１領域を記憶位置として、記憶部５に指示を出力する。第１圧縮率で圧縮された圧縮データは、制御部７の指示に従い、第１領域に記憶される。

同様に、制御部７は、第２圧縮率で圧縮された圧縮データについては、第２領域を記憶位置として、第３圧縮率で圧縮された圧縮データについては、第３領域を記憶位置として、記憶部５に指示を出力する。制御部７の指示に従い、圧縮データは、それぞれ第２領域、第３領域に記憶される。

図９から明らかな通り、制御部７による記憶位置制御により、図８のような空き領域が生じず、記憶部５の効率的な活用が図られる。

また、圧縮されない場合に比べて、圧縮データは容量が小さくなっているので、記憶部５に要求される容量は小さくなり、コストが低減される。

制御部７は、圧縮率の違いにより、記憶部５への記憶位置を制御しても良いが、復号画像データの態様に応じて記憶位置を制御してもよい。

例えば、Ｂピクチャについては最も圧縮率の高い圧縮率「５０％」が適用されて圧縮される。Ｐピクチャについては、中間の圧縮率「７５％」が適用されて圧縮される。Ｉピクチャについては、最小の圧縮率「１００％」が適用されて圧縮される。

このとき、制御部７は、復号画像データが、Ｉピクチャであるか、Ｐピクチャであるか、Ｂピクチャであるかを判断する。次いで、制御部７は、Ｉピクチャである場合には、第１領域を記憶位置として指定し、Ｐピクチャである場合には、第２領域を記憶位置として指定し、Ｂピクチャである場合には、第３領域を記憶位置として指定する。

このように、制御部７は、復号画像データの態様に合わせて、記憶位置を制御してもよい。この場合であっても、記憶部５が、効率的に利用される。

なお、記憶部５への圧縮データの記憶は、ピクチャ単位であっても、スライス単位であっても、マクロブロック単位であってもよい。

以上の構成により、本発明の画像復号装置１は、復号画像データを圧縮した上で、記憶部５に記憶するので、復号画像データを圧縮しない場合に比べて、記憶部５の容量が削減できる。また、圧縮率の違いに応じて、記憶部５への圧縮データの記憶位置が制御されるので、記憶部５は効率的に使用され、更に容量が削減できる。

また、復号画像データの画像態様に応じて、圧縮率が切り替えられることで（参照画像情報の画像種類毎に異なる圧縮率が用いられることにより）、動き補償において用いられる参照画像情報の情報欠落を最小限にでき、最終的に復号される復号画像データの画質劣化が抑止される。

なお、Ｂピクチャに対する第１圧縮率、Ｐピクチャに対する第２圧縮率、Ｉピクチャに対する第３圧縮率は、第１圧縮率＞第２圧縮率＞第３圧縮率となるように決定されることが好ましいが、第１圧縮率と第２圧縮率と第３圧縮率の内の、いずれか２以上の圧縮率が同じ値で決定されても良い。すなわち、画像復号装置の設計容易性に応じて、第１圧縮率≧第２圧縮率≧第３圧縮率として決定されても良い。例えば、Ｂピクチャに対する第１圧縮率とＰピクチャに対する第２圧縮率は、同じ圧縮率とされることもありうる。

（実施の形態２）
次に、実施の形態２について説明する。

なお、実施の形態２においては、圧縮率決定のバリエーションについて説明する。

図１０は、本発明の実施の形態２における画像復号装置のブロック図である。判定部３０は、復号画像データの態様を様々な基準で判定し、判定結果を圧縮率決定部３に出力する。圧縮率決定部３は、判定結果に従い、復号画像データ毎の圧縮率を決定する。

判定部３０は、復号画像データの符号化方式を判定する。例えば、復号画像データが、動き予測を含んだ画像データであるか否かを判定する。すなわち、判定部３０は、復号画像データが動き補償を伴って復号される画像データであるかを判定する。

動き予測を含まない復号画像データが、高い圧縮率で圧縮されると、情報の欠落が大きくなるので、この復号画像データを参照画像情報として動き補償により復号される復号画像データの画質劣化が生じる。

このため、判定部３０の結果を受けた圧縮率決定部３は、動き予測を含む復号画像データの圧縮率を、動き予測を含まない復号画像データの圧縮率よりも高い値に決定する。

また、判定部３０は、復号画像データが、Ｉピクチャであるか、Ｐピクチャであるか、Ｂピクチャであるかを判定し、判定結果を圧縮率決定部３に出力する。例えば、復号画像データに含まれるピクチャヘッダの解析により、判定される。

圧縮率決定部３は、Ｉピクチャであるか、Ｐピクチャであるか、Ｂピクチャであるかによって異なる圧縮率を決定する。

圧縮率決定部３は、Ｂピクチャである復号画像データに対する第１圧縮率と、Ｐピクチャである復号画像データに対する第２圧縮率と、Ｉピクチャである復号画像データに対する第３圧縮率を決定する。このとき、第１圧縮率＞第２圧縮率＞第３圧縮率の順に、圧縮度合いが異なるように、圧縮率が決定される。

例えば、Ｂピクチャに対する第１圧縮率は、圧縮率「５０％」として決定される。Ｐピクチャに対する第２圧縮率は、圧縮率「７５％」として決定される。Ｉピクチャに対する第３圧縮率は、圧縮率「１００％」として決定される。

Ｉピクチャは、ＰピクチャとＢピクチャの動き補償時に、参照画像情報として用いられるので、低い圧縮率で圧縮されるのが好ましい（もしくは、圧縮されないことが好ましい）。Ｐピクチャは、Ｂピクチャの動き補償時に参照画像情報として用いられるので、中間程度の圧縮率で圧縮されるのが好ましい。Ｂピクチャは、動き補償時に参照画像情報として用いられることが無いので、高い圧縮率で圧縮されることが、記憶部５の容量削減の観点から好ましい。

このように、復号画像データの態様（Ｉピクチャであるか、Ｐピクチャであるか、Ｂピクチャであるか）に応じて、異なる圧縮率が決定されることで、復号画像データの画質劣化が抑止される。

すなわち、Ｉピクチャを参照画像情報として動き補償により復号されるＰピクチャは、圧縮率が「１００％」である（すなわち、圧縮されない）ことにより情報欠落の無いＩピクチャを参照画像情報として用いることができる。同様に、ＩピクチャとＰピクチャを参照画像情報として動き補償により復号されるＢピクチャは、圧縮率「１００％」のＩピクチャと、圧縮率「７５％」のＰピクチャを参照画像情報として用いることができる。

すなわち、動き補償における参照画像情報の圧縮による情報の欠落が最小限に抑えられる。結果として、動き補償により復号される復号画像データの画質劣化が抑止される。

一方、参照画像情報として用いられないＢピクチャは、高い圧縮率で圧縮されるので、記憶部５の容量が効率的に削減される。また、画質劣化が抑止されながらも、ＰピクチャとＢピクチャについては、圧縮されているので、記憶部５の容量は、削減されている。

上記の圧縮率の場合には、全ての復号画像データが、圧縮率「７５％」で圧縮された場合と同様の圧縮データサイズとなり、記憶部５の容量は、圧縮されない場合に比べて、２５％も削減される。

図１１に、復号画像データのピクチャの種類に応じた圧縮率の決定の流れを示す。

図１１は、本発明の実施の形態２における圧縮率決定を示すフローチャートである。

まず、判定部３０は、復号中の符号化データのピクチャヘッダを解析する。

ステップＳ３０にて、復号画像データがＩピクチャであると判定された場合には、ステップＳ３１にて、圧縮率決定部３は、圧縮率「１００％」を決定する。ステップＳ３２にて、復号画像データがＰピクチャであると判定された場合には、ステップＳ３３にて、圧縮率決定部３は、圧縮率「７５％」を決定する。いずれでも無い場合には、Ｂピクチャであるので、ステップＳ３４にて、圧縮率決定部３は、圧縮率「５０％」を決定する。

最後にステップＳ３５にて、決定された圧縮率に従い、圧縮部４は、復号画像データを圧縮する。

なお、実施の形態２で記載された圧縮率の値は例示であり、この値に限定されるものではない。

次に、判定部３０は、復号している画像情報が、輝度であるか色差であるかを判定する。判定部３０は、判定結果を圧縮率決定部３に出力し、圧縮率決定部３は、輝度と色差で異なる圧縮率を決定する。具体的には、圧縮率決定部３は、輝度情報に対する圧縮率を、色差情報に対する圧縮率よりも低い値に決定する。

輝度に対しては、視認者が敏感に反応するのに対して、色差に対しては、視認者の反応が低いことから、色差に対しては情報欠落が伴っても、高い圧縮率で圧縮することが、記憶部５の容量削減の点からも好ましいからである。

図１２を用いて、輝度と色差を基準とする圧縮率決定の処理を説明する。

図１２は、本発明の実施の形態２における圧縮率決定を示すフローチャートである。

まず、ステップＳ４０にて、復号されている画像情報が輝度であると判断された場合には、圧縮率決定部３は、ステップＳ４１にて、圧縮率「７５％」を決定する。輝度で無い場合には、色差であるので、圧縮率決定部３は、ステップＳ４２にて、圧縮率「５０％」を決定する。

なお、輝度と色差の違いにより、圧縮率が異なる場合には、制御部７は、圧縮率の違いに対応して、記憶位置を制御する。

以上のように、復号画像データのピクチャ種類や情報種別などの種々の基準に基づいて、圧縮率が決定されることで、画質劣化の抑止と、記憶部の容量削減に伴うコスト削減が両立される。

なお、図１３に示される構成も、本発明の画像復号装置として好適である。図１３は、本発明の実施の形態２における画像復号装置のブロック図である。

（実施の形態３）
次に、実施の形態３について説明する。

実施の形態３における画像復号装置は、復号画像データの中心周波数を算出して、算出された中心周波数の値に応じて、圧縮率を決定する。

図１４は、本発明の実施の形態３における画像復号装置の部分ブロック図である。図１４には、復号画像データの中心周波数を計測する計測部４０が表されている。

計測部４０は、復号画像データの中心周波数を計測する。具体的には、復号部２に含まれる可変長復号と逆量子化の後のデータから周波数成分を検出する。このとき、周波数成分の係数が任意の閾値と比較されて、中心周波数が決定される。例えば、係数が０となる周波数が、どの周波数であるかを計測して、中心周波数を計測する。

中心周波数が計測されることで、復号画像データの画像状態が判別される。すなわち、中心周波数が高ければ、複雑な画像であり、圧縮率を高くすると、情報欠落が生じやすい。一方、中心周波数が低ければ、圧縮率を高くしても情報欠落が生じにくい。

このため、計測部４０の結果を受けた圧縮率決定部３は、中心周波数の値に応じた圧縮率を決定する。例えば、中心周波数を決定する閾値が、周波数の低い方から第１閾値と第２閾値である場合には、中心周波数が第１閾値未満の場合には、第１圧縮率が決定される。同様に、中心周波数が第１閾値以上第２閾値未満の場合には、第２圧縮率が決定され、中心周波数が第２閾値以上の場合には、第３圧縮率が決定される。

ここで、第１圧縮率＞第２圧縮率＞第３圧縮率の順に圧縮率が高くなるように定められることで、情報欠落を抑えたい復号画像データの圧縮率を低くすることができる。

次に、図１５を用いて、圧縮率決定処理の流れを説明する。

図１５は、本発明の実施の形態３における圧縮率決定を示すフローチャートである。

Ｔｈ１、Ｔｈ２（Ｔｈ１＜Ｔｈ２）は入力された係数が高周波成分か否かを判定する閾値であり、外部のホストやＣＰＵから与えられる。

計測部４０は、処理ステップＳ１０２−５０にて、カウンタＣｏ１，２，３，４にに０を与え、復号中の画像情報の１フレームあたりのＮｘＮのブロック数をＴｎｕｍにセットする。

処理ステップＳ１０２−５１は、Ｔｈ１番目以降のＤＣＴ係数に非０であるか否かを判定し、上記処理結果が真（Ｔｈ１番目以降に非０の係数がある）場合は、処理ステップＳ１０２−５２にて、Ｔｈ２番目以降ののＤＣＴ係数に非０であるか否かを判定する。上記処理結果が真（Ｔｈ２番目以降に非０の係数がある）場合は、カウンタＣｏ１に値「１」を加える（処理ステップＳ１０２−５３）。上記処理結果が偽（Ｔｈ２番目以降に非０の係数がない）場合は、カウンタ２に１を加える（処理ステップＳ１０２−５４）。

また、Ｔｈ１番目以降のＤＣＴ係数に非０であるか否かを判定し、上記処理結果が真（Ｔｈ１番目以降に非０の係数がない）場合は、処理カウンタＣｏ３に値「１」を加える（処理ステップＳ１０２−５４） 。結果が偽の場合には、Ｃｏ３に値「１」を加える。

カウンタＣｏ４は入力されたＮｘＮのブロック数をカウントする（処理ステップＳ１０２−５５） 。処理ステップＳ１０２−５６はカウンタ４の値とＴｎｕｍの値と等しいか否かを判定する。判定結果が真の場合（カウンタ４＝Ｔｎｕｍ）となるまで、処理ステップＳ１０２−５１〜５６を繰り返す。判定結果が真の場合（カウンタ４＝Ｔｎｕｍ）は、処理ステップＳ１０２−５７にて、カウンタ１、２，３の大小関係を判定する（Ｃｏ１＞Ｃｏ２＞Ｃｏ３の順で高周波成分が多いといえる。）。処理ステップＳ１０２−６では、圧縮率決定部３は、判定結果に基づいて圧縮率を決定し、初期状態に戻る。

本発明は、例えば、ＭＰＥＧ２やＭＰＥＧ４などの符号化された画像情報の復号等の技術分野において好適に利用できる。

本発明の実施の形態１における画像復号装置のブロック図 ＭＰＥＧ２に規定されているデータ構造図 ＭＰＥＧ２に規定されているビットストリームと画面との対応関係図 本発明の実施の形態１における圧縮部の説明図 本発明の実施の形態１における圧縮処理を示すフローチャート 本発明の実施の形態１における伸長部のブロック図 本発明の実施の形態１における伸長処理を示すフローチャート 本発明の実施の形態１における記憶部のデータ割付図 本発明の実施の形態１における記憶部のデータ割付図 本発明の実施の形態２における画像復号装置のブロック図 本発明の実施の形態２における圧縮率決定を示すフローチャート 本発明の実施の形態２における圧縮率決定を示すフローチャート 本発明の実施の形態２における画像復号装置のブロック図 本発明の実施の形態３における画像復号装置の部分ブロック図 本発明の実施の形態３における圧縮率決定を示すフローチャート 従来の画像復号装置のブロック図

符号の説明

１ 画像復号装置
２ 復号部
３ 圧縮率決定部
４ 圧縮部
５ 記憶部
６ 伸長部
７ 制御部

Claims (16)

1. 符号化された画像情報を復号して復号画像データを出力する復号部と、
   前記復号画像データを圧縮する際の圧縮率を決定する圧縮率決定部と、
   前記圧縮率決定部で決定された圧縮率に従い、前記復号画像データを圧縮して圧縮データを出力する圧縮部と、
   前記圧縮データを記憶する記憶部と、
   前記記憶部から読み出された前記圧縮データを伸長する伸長部を備える画像復号装置。
2. 前記記憶部における、前記圧縮データの記憶位置を制御する制御部を更に備える請求項１記載の画像復号装置。
3. 前記制御部は、前記圧縮率によって前記記憶位置を変更する請求項２記載の画像復号装置。
4. 前記記憶部においては、前記圧縮率の違いにより前記圧縮データを記憶する領域が異なり、前記制御部は、前記圧縮データの圧縮率に対応する前記領域を前記記憶位置として決定する請求項２記載の画像復号装置。
5. 前記復号画像データの符号化方式を判定して判定結果を出力する判定部を備え、前記圧縮率決定部は、前記判定結果に従って前記圧縮率を決定する請求項１から４のいずれか記載の画像復号装置。
6. 前記判定部は、前記復号画像データにおける動き予測の有無を判定し、前記判定結果に従って前記圧縮率を決定する請求項５記載の画像復号装置。
7. 前記判定部は、前記復号画像データが、Ｉピクチャ及びＰピクチャ及びＢピクチャのいずれであるかを判定し、前記圧縮率決定部は、前記判定結果に従って前記圧縮率を決定する請求項５記載の画像復号装置。
8. 前記圧縮率決定部は、動き予測を有する前記復号画像データの圧縮率を、動き予測を有さない前記復号画像データの圧縮率よりも高い値に決定する請求項６記載の画像復号装置。
9. 前記圧縮率決定部は、Ｂピクチャである前記復号画像データに対する第１圧縮率と、Ｐピクチャである前記復号画像データに対する第２圧縮率と、Ｉピクチャである前記復号画像データに対する第３圧縮率が、好ましくは第１圧縮率≧第２圧縮率≧第３圧縮率、更に好ましくは第１圧縮率＞第２圧縮率＞第３圧縮率となるように、前記圧縮率を決定する請求項７記載の画像復号装置。
10. 前記圧縮率決定部は、前記復号画像データに含まれる輝度データと前記復号画像データに含まれる色差データに対して、個別の前記圧縮率を決定する請求項１から９のいずれか記載の画像復号装置。
11. 前記圧縮率決定部は、前記復号画像データに含まれる輝度データに対する前記圧縮率を、前記復号画像データに含まれる色差データに対する前記圧縮率よりも低い値に決定する請求項１０記載の画像復号装置。
12. 前記復号画像データの中心周波数を計測する計測部を更に備え、前記圧縮率決定部は、前記中心周波数により前記圧縮率を決定する請求項１から１１のいずれか記載の画像復号装置。
13. 前記圧縮率決定部は、前記中心周波数が所定の閾値以上である場合の圧縮率を、前記中心周波数が前記閾値未満である場合の圧縮率よりも低い値に決定する請求項１２記載の画像復号装置。
14. 符号化された画像情報を復号して復号画像データを出力する復号ステップと、
    前記復号画像データを圧縮する際の圧縮率を決定する圧縮率決定ステップと、
    前記圧縮率決定ステップで決定された圧縮率に従い、前記復号画像データを圧縮して圧縮データを出力する圧縮ステップと、
    前記圧縮データを記憶する記憶ステップと、
    前記記憶部された前記圧縮データを伸長する伸長ステップを備える画像復号方法。
15. 前記記憶ステップにおいては、前記圧縮率の違いにより前記圧縮データを記憶する領域が異なり、前記圧縮データの圧縮率に対応する前記領域を前記記憶位置として決定する制御ステップを備える請求項１４記載の画像復号方法。
16. 前記画像情報の符号化方式を判定して判定結果を出力する判定ステップを更に備え、前記圧縮率決定ステップは、前記判定結果に従って前記圧縮率を決定する請求項１４から１５のいずれか記載の画像復号方法。

Images