JP2013223035A - 画像復号装置、画像復号方法及びプログラム - Google Patents

Abstract

【課題】 入出力画像のビット深度よりも少ないビット深度の情報でＰＣＭ符号化されているブロックの画素の再生において、ビット深度の差分の分だけビットシフトしただけでは画素の再現性が不十分であるという課題があった。結果として再生される画像の画質が劣化してしまっていた。
【解決手段】 少ないビット深度の情報でＰＣＭ符号化されているブロックの画素の再生においては、復号処理において適切な補正を行う。
【選択図】 図１

Description

本発明は画像復号装置、画像復号方法及びプログラムおよび画像符号データに関し、特に非圧縮符号化ブロックに対する復号処理に関する。

動画像の圧縮記録の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４と略す）が知られている。（非特許文献１）
Ｈ．２６４においては、Ｉ＿ＰＣＭと呼ばれる、入力された画素を圧縮せずにそのままビットストリームに含める技術を用いることができる。
近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立され、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣ）として標準化が進められている。Ｈ．２６４同様、前記Ｉ＿ＰＣＭを用いることもできる。さらに、入力画像のビット深度よりも少ないビット数分の画素データをビットストリームに含めることができることが特徴となっている。（非特許文献２）
図５にそのビットストリームの構成例を示す。ＨＥＶＣにおいては、ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔヘッダと呼ばれるヘッダにｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８符号やｂｉｔ＿ｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８符号が画素深度情報を表す。また、Ｉ＿ＰＣＭ符号化画素の深度情報（以下、ＰＣＭ画素深度情報）としてはｐｃｍ＿ｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ１符号やｐｃｍ＿ｂｉｔ＿ｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ１符号が存在する。ヘッダデータに続いて、各ピクチャを符号化したピクチャデータが続く。ピクチャデータにはＩ＿ＰＣＭ符号化された画素の符号化データと予測を行って符号化を行った画素の符号化データが混在している。

ＩＴＵ−Ｔ Ｈ．２６４ （０３／２０１０） Ａｄｖａｎｃｅｄｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｈ１００３ インターネット＜ ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／８＿Ｓａｎ％２０Ｊｏｓｅ／ｗｇ１１／ ＞

ＨＥＶＣにおいて、入力画像のビット深度よりも少ないビット数の画素データを含めた場合、復号側では少ないビット数の画素データを入力画像のビット深度と同一のビット深度にするための補正処理が必要となる。ＨＥＶＣでは、入力画像のビット深度とビットストリームに含めた画素データのビット数との差分の分だけ画素データをビットシフトして補正を行うことで、少ないビット数を用いたＩ＿ＰＣＭにおける復号処理を実現している。
しかしながら、ビットシフトのみによって補正を行っているため、補正後の画素データの最大値はビットシフトによって発生する下位ビットの分だけ入力画像の最大値よりも必ず小さくなってしまう。例えばＰＣＭ画素深度情報の値が１で画素深度情報の値が８の場合ＰＣＭ符号化された情報の値は０または１の値をとるが、対応する再生画素はそれぞれＰＣＭ符号化された情報の値が０の場合は再生画素値は０となり、その値が１の場合は再生画素値は１２８となる。
また、補正後の画素データの中央値は入力画像の中央値とは異なるものとなってしまうため、画素の再現性において問題があった。
以上より、本発明は上述した課題を解決するためになされたものであり、少ないビットを用いたＩ＿ＰＣＭにおける復号処理において適切な補正を行うことで画素の劣化を防止することを目的としている。

前述の問題点を解決するため、本発明の画像復号方法は以下の構成を有する。すなわち、ビットストリームを復号して画像を再生する画像復号方法であって、予測を行う第１の符号化モードで符号化されているブロックを復号する第１の復号工程と、予測を行わない第２の符号化モードで符号化されているブロックを復号する第２の復号工程とを含み、前記第１の復号工程は、再生された予測誤差と予測を行った結果から第１再生画像を生成する第１再構成工程を有し、前記第２の復号工程は、前記第２の符号化モードで符号化されているブロックの画素情報のビット深度が出力画像のビット深度よりも小さい場合、前記出力画像のビット深度と前記画素情報のビット深度の差に基づいて前記画素情報をビットシフトして出力画素仮値を再生し、前記ビット深度の差分に基づいて前記出力画素仮値を補正して出力画素値を算出することにより第２再生画像を生成する第２再構成工程を有することを特徴とする。

本発明により、少ないビットを用いたＩ＿ＰＣＭにおいても、画素の劣化の少ない復号処理を行うことが可能となり、復号画像の画質をさらに向上させることができる。

実施形態１における画像復号装置の構成を示すブロック図 実施形態１における第２画像復号・再生部の詳細を示すブロック図 実施形態１に係る画像復号装置における画像復号処理を示すフローチャート 本発明の画像復号装置に適用可能なコンピュータのハードウェア構成例を示すブロック図 本復号装置で復号するビットストリーム構造の一例を示す図 実施形態２における画像復号装置の構成を示すブロック図 実施形態２に係る画像復号装置における画像復号処理を示すフローチャート

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
図１は、本発明の実施形態１に係る画像復号装置の構成を示すブロック図である。本実施形態では、図５に示したビットストリームの復号を例にとって説明する。但し、復号されるビットストリームはこれに限定されない。

１０１は符号化されたビットストリームを入力する端子である。１０２は分離復号部であり、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、またビットストリームのヘッダ部に存在する符号データを復号する。１０３は第１復号部であり、分離復号部１０２から出力された予測符号化画素情報を復号し、量子化パラメータ、量子化係数および予測情報を再生する。１０４は逆量子化・逆変換部であり、ブロック単位で量子化係数を入力し、再生した量子化パラメータで逆量子化を行って変換係数を得、さらに逆直交変換を行い、予測誤差を再生する。１０７はフレームメモリである。再生されたピクチャの画像データを格納しておく。１０５は第１画像再生部である。入力された予測情報に基づいてフレームメモリ１０７を適宜参照して予測画像データを生成する。そして、この予測画像データと逆量子化・逆変換部１０４で再生された予測誤差から再生画像データを再生し、出力する。１０６は第２画像復号・再生部である。分離復号部１０２から出力された画素深度情報およびＰＣＭ画素深度情報を用いてＰＣＭ画素情報から再生画像データを再生し、出力する。１０８は端子であり、再生された画像データを外部に出力する。

上記画像復号装置における画像の復号動作を以下に説明する。図１において、端子１０１から入力されたビットストリームは分離復号部１０２に入力される。分離復号部１０２では、ビットストリームから復号処理に関する情報や係数に関する符号データ、画素情報に関する符号データに分離し、ビットストリームのヘッダ部に存在する符号データを復号する。本実施形態では、まず図５に示されるビットストリームのヘッダ部を復号し、画素深度情報およびＰＣＭ画素深度情報を再生し後段に出力する。続いて、ピクチャデータのブロック単位の符号データ、すなわち予測符号化画素情報およびＰＣＭ画素情報を第１符号化部１０３、および第２画像復号・再生部１０６に出力する。復号対象ブロックが予測符号化されている場合には、予測符号化画素情報を第１復号部１０３に出力する。復号対象ブロックがＰＣＭ符号化されている場合には、ＰＣＭ画素情報を第２画像復号・再生部１０６に出力する。

第１復号部１０３では、分離復号部１０２から入力された予測符号化画素情報を復号し、量子化パラメータ、量子化係数および予測情報を再生する。再生された量子化パラメータ、量子化係数は逆量子化・逆変換部１０４に出力され、再生された予測情報は第１画像再生部１０５に出力される。

逆量子化・逆変換部１０４では、予測符号化されているブロックに関して、入力された量子化係数に対し量子化パラメータを用いて逆量子化を行って直交変換係数を生成し、さらに逆直交変換を施して予測誤差を再生する。再生された予測誤差は第１画像再生部１０５に入力される。

第１画像再生部１０５では、第１復号部１０３から入力された予測情報に基づいて、フレームメモリ１０７を適宜参照し、予測画像を生成する。この予測画像と逆量子化・逆変換部１０４から入力された予測誤差から画像データを再生し、フレームメモリ１０７に入力し、格納する。格納された画像データは予測の際の参照に用いられる。

一方、第２画像再生部１０６では、分離復号部１０２から入力された画素深度情報およびＰＣＭ画素深度情報を用いてＰＣＭ画素情報から再生画像データを生成し、フレームメモリ１０７に入力し、格納する。

本実施形態の第２画像復号・再生部１０６における再生画像データの生成処理について具体的に説明する。図２にその詳細なブロック図を示す。２０１は画素深度情報を入力する端子であり、２０２はＰＣＭ画素深度情報を入力する端子、２０３はＰＣＭ画素情報の符号化データを入力する端子である。ここでは画素深度情報の値をｄｓとし、ＰＣＭ画素深度情報の値をｄｐとする。２０４はビット深度差分算出部であり、画素深度情報値ｄｓとＰＣＭ画素深度情報値ｄｐの差分を求める。この差分値をｄｄとする。２０５はビット深度差分算出部２０４で算出された差分値ｄｄに基づいてオフセットを算出する補正値算出部である。２０６はＰＣＭ画素情報の符号化データを復号し、ＰＣＭ画素情報の値Ｐｐを再生するＩ＿ＰＣＭ復号部である。２０７は再生されたＰＣＭ画素情報値Ｐｐを所定のビット数だけビットシフトを行うビットシフト部である。２０８はビットシフト部２０７からの出力を補正値算出部２０５の出力で補正を行う画素値補正部である。２０９は端子であり、補正された画素値を出力する。

端子２０１から入力された画素深度情報値ｄｓと端子２０２から入力されたＰＣＭ画素深度情報値ｄｐはビット深度差分算出部２０４に入力される。ビット深度差分算出部２０４は（１）式に基づいて、その差分値ｄｄを求める
ｄｄ＝ｄｓ−ｄｐ …（１）
算出された差分値ｄｄは補正値算出部２０５とビットシフト部２０７に入力される。
補正値算出部２０５は差分値ｄｄから（２）式に従ってオフセット値Ｏｐを算出する。
Ｏｐ＝１＜＜（ｄｄ−１） …（２）
（２）式はすなわち、２の（ｄｄ−１）乗をオフセット値Ｏｐとすることを示す。
算出されたオフセット値Ｏｐは画素補正部２０８に入力される。

一方、ピクチャの復号において、Ｉ＿ＰＣＭ符号化された符号化データが端子２０３からＩ＿ＰＣＭ復号部２０６に入力される。Ｉ＿ＰＣＭ復号部２０６では符号化データを復号し、ＰＣＭ画素情報Ｐｐを再生する。再生されたＰＣＭ画素情報Ｐｐはビットシフト部２０７に入力され、差分値ｄｄだけ左にビットシフトを行い、画素値補正部２０８にその結果を入力する。画素値補正部２０８はビットシフト部２０７から入力された値にオフセット値Ｏｐを加算して補正を行い、再生画素値Ｐｃを端子２０９から出力する。

また、本実施形態では第２画素再生部を図２に示すような構成を取ったが、これに限定されない。例えば、ＰＣＭ画素情報Ｐｐに対して、画素深度情報値ｄｓとＰＣＭ画素深度情報値ｄｐから直接（３）の式の演算を行う補正部としても構わない。
Ｐｃ＝（（Ｐｐ＜＜（ｄｓ−ｄｐ））＋（１＜＜（ｄｓ−ｄｐ−１）） …（３）
（３）式はすなわち、Ｐｐと２の（ｄｓ−ｄｐ）乗の積と２の（ｄｓ−ｄｐ−１）乗との和をＰｃとすることを示す。

例えばＰＣＭ深度情報値（ｄｐ）が１で画素深度情報値（ｄｓ）が８の場合、ＰＣＭ画素深度値（Ｐｐ）は０または１の値をとる。しかし対応する再生画素はそれぞれＰＣＭ画素深度値（Ｐｐ）が０の場合は再生画素値（Ｐｃ）は６４、ＰＣＭ画素情報値（Ｐｐ）が１の場合は再生画素値（Ｐｃ）は１９２となる。例えばＰＣＭ深度情報値（ｄｐ）が４で画素深度情報値（ｄｓ）が８の場合、ＰＣＭ画素情報値（Ｐｐ）は０から１５の値をとるが、対応する再生画素値（Ｐｃ）は８から２４８の１６刻みの値となる。最後に図１に戻り、最終的に再生された画像データは端子１０８から外部に出力される。

図３は、実施形態１に係る画像復号装置における画像の復号処理を示すフローチャートである。

まず、ステップＳ３０１にて、分離復号部１０２はビットストリームから復号処理に関する情報や係数に関する符号データに分離して、ヘッダ部分の符号データを復号し、画素深度情報およびＰＣＭ画素深度情報を再生する。

ステップＳ３０２にて、分離復号部１０２はビットストリームのピクチャデータから復号対象のブロックに関する情報を復号し、予測符号化画素情報、ＰＣＭ画素情報を分離する。復号された復号対象のブロックに関する情報から、復号対象のブロックがＰＣＭ符号化されているか否かを示すＰＣＭ符号化ブロック判定情報を生成する。

ステップＳ３０３にて、画像復号装置はステップＳ３０２で生成されたＰＣＭ符号化ブロック判定情報に基づき、復号対象のブロックがＰＣＭ符号化されているか否かを判定する。ＰＣＭ符号化されている場合はステップＳ３０７に進み、そうでない場合、すなわち予測符号化されている場合はステップＳ３０４に進む。

ステップＳ３０４にて、第１復号部１０３はステップＳ３０２で分離された予測符号化画素情報を復号し、量子化パラメータ、量子化係数および予測情報を再生する。

ステップＳ３０５にて、逆量子化・逆変換部１０４はブロック単位で量子化係数に対し量子化パラメータで逆量子化を行って変換係数を得、さらに逆直交変換を行い、予測誤差を再生する。

ステップＳ３０６にて、第１画像再生部１０５はステップＳ３０４で生成された予測情報に基づいて予測画像を再生する。さらに再生された予測画像とステップＳ３０５で生成された予測誤差から画像データを再生する。

一方、ステップＳ３０７にて、第２画像復号・再生部１０６のＩ＿ＰＣＭ復号部２０６はＰＣＭ画素情報の符号化データを復号してＰＣＭ画素情報を再生する。ステップＳ３０８にて、第２画像復号・再生部１０６はステップＳ３０１で再生された画素深度情報およびＰＣＭ画素深度情報を用いてステップＳ３０７で再生されたＰＣＭ画素情報から画像データを再生する。本ステップにおける再生処理も上述の式（３）と同様に表される。

ステップＳ３０９にて、画像復号装置は全てのブロックの復号が終了したか否かの判定を行い、終了していれば復号処理を終了し、そうでなければ次のブロックを対象として、ステップＳ３０２に戻る。

以上の構成と動作により、特にステップＳ３０８でＰＣＭ符号化されたブロックの画素を適切に補正しながら再生することによりＰＣＭ符号化された画素の劣化を抑制しつつ画像の再生を行うことができる。

本実施形態では、図５に示されるビットストリームの復号について示したが、復号するビットストリームの構成はこれに限定されない。

また、第２画像再生部およびステップＳ３０７におけるＰＣＭ符号化されたブロックの画素の再生方法について、式（３）を用いて一例を示したが、再生方法は限定されない。あらゆるＰＣＭ画素に対し、ＰＣＭ画素深度情報および画素深度情報に対応したオフセット値が加算される方式であれば良い。

例えば、ＰＣＭ画素情報Ｐｐに対して、画素深度情報値ｄｓとＰＣＭ画素深度情報値ｄｑから下記（４）ないし（５）の式の演算を行っても構わない。
Ｐｐ＜（１＜＜（ｄｐ−１）を満たす場合
Ｐｃ＝（（Ｐｐ＜＜（ｄｓ−ｄｐ）） …（４）
それ以外の場合
Ｐｃ＝（（Ｐｐ＜＜（ｄｓ−ｄｐ））＋（（１＜＜（ｄｓ−ｄｐ））−１） …（５）
ここで（４）式は、Ｐｐと２の（ｄｓ−ｄｐ）乗の積をＰｃとすることを示し、（５）式は、Ｐｐと２の（ｄｓ−ｄｐ）乗の積と２の（ｄｓ−ｄｐ）乗と１との差との和をＰｃとすることを示す。

すなわち、補正値算出部２０５においてオフセットとして（１＜＜（ｄｓ−ｄｐ））−１）を算出し、画素値補正部において、入力されるビットシフトされた結果に基づいて加算の可否を決定しても良い。

例えばＰＣＭ深度情報値（ｄｐ）が１で画素深度情報値（ｄｓ）が８の場合、ＰＣＭ画素情報値（Ｐｐ）は０または１の値をとる。この場合、対応する再生画素はそれぞれＰＣＭ画素情報値（Ｐｐ）が０の場合、再生画素値（Ｐｃ）は０、ＰＣＭ画素情報値（Ｐｐ）が１の場合、再生画素値（Ｐｃ）は２５５となる。

例えばＰＣＭ深度情報値（ｄｐ）が４で画素深度情報値（ｄｓ）が８の場合、ＰＣＭ画素情報値は０から１５の値をとる。ＰＣＭ画素情報値が０から７の値をとる場合、式（４）の後段で加算される部分の値が０となるため、対応する再生画素値（Ｐｃ）は０から１１２の１６刻みの値となる。一方、ＰＣＭ画素情報値が８から１５の値をとる場合、式（４）の後段で加算される部分の値が１５となるため、対応する再生画素値（Ｐｃ）は１４３から２５５の１６刻みの値となる。この例では、ＰＣＭ符号化された画素のダイナミックレンジを維持しながら画像の再生を行うことができる。さらに本実施形態では、補正後のＰＣＭ符号化された画素の中央値が出力画像の画素の中央値と一致することになるため、ビットシフト演算による画質の劣化を抑制することもできる。

本実施形態では、補正値は線形な値を取る例を示したが、これに限定されず非線形な補正値を用いても構わない。なお、本実施形態ではＰＣＭ画素情報の符号化データが符号化されている場合について説明したが、そのままの値が含まれている場合はＩ＿ＰＣＭ復号部２０６を省略し、ステップＳ３０７を省略することが可能である。

＜実施形態２＞
図６は、本実施形態の画像復号装置の構成を示すブロック図である。図６において実施形態１の図１と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

本実施形態では、図５に示したビットストリームの復号を例にとって説明するが、ビットストリーム内の画素深度情報、ＰＣＭ画素深度情報およびＰＣＭ画素情報は輝度と色差で独立しているものとする。すなわち、輝度画素深度情報と色差画素深度情報、および輝度ＰＣＭ画素深度情報と色差ＰＣＭ画素深度情報がヘッダ部に存在し、輝度ＰＣＭ画素情報および色差ＰＣＭ画素情報がピクチャデータ部に存在しているものとする。もちろん復号されるビットストリームはこれに限定されない。

３０２は分離復号部であり、図１の分離復号部１０２同様、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、またビットストリームのヘッダ部に存在する符号データを復号する。図１の分離復号部１０２との違いは、輝度と色差それぞれ独立したＰＣＭ画素深度情報およびＰＣＭ画素情報を出力することにある。

３１０は輝度第２画像復号・再生部である。分離復号部３０２から出力された輝度画素深度情報および輝度ＰＣＭ画素深度情報を用いて輝度ＰＣＭ画素情報から輝度再生画像データを再生し、出力する。

３１１は色差第２画像復号・再生部である。分離復号部３０２から出力された色差画素深度情報および色差ＰＣＭ画素深度情報を用いて色差ＰＣＭ画素情報から色差再生画像データを再生し、出力する。

上記画像復号装置における画像の復号動作を以下に説明する。

分離復号部３０２では、ビットストリームから復号処理に関する情報や係数に関する符号データ、画素情報に関する符号データに分離し、ビットストリームのヘッダ部に存在する符号データを復号する。本実施形態では、まず図５に示されるビットストリームのヘッダ部を復号し、画素深度情報に含まれる輝度画素深度情報と色差深度情報およびＰＣＭ画素深度情報に含まれる輝度ＰＣＭ画素深度情報と色差ＰＣＭ画素深度情報を再生し、後段に出力する。具体的には、輝度第２画像復号・再生部３１０には輝度画素深度情報および輝度ＰＣＭ画素深度情報が出力され、色差第２画像復号・再生部３１１には色差画素深度情報および色差ＰＣＭ画素深度情報が出力される。続いて、ピクチャデータのブロック単位の予測符号化画素情報およびＰＣＭ画素情報に含まれる輝度ＰＣＭ画素情報および色差ＰＣＭ画素情報を第１符号化部１０３、輝度第２画像復号・再生部３１０および色差第２画像復号・再生部３１１に出力する。より具体的には分離復号部３０２は復号対象ブロックが予測符号化されている場合には、予測符号化画素情報を第１復号部１０３に出力する。復号対象ブロックがＰＣＭ符号化されている場合には、輝度ＰＣＭ画素情報を輝度第２画像復号・再生部３１０に出力し、色差ＰＣＭ画素情報を色差第２画像復号・再生部３１１に出力する。

輝度第２画像復号・再生部３１０では、分離復号部３０２から入力された輝度画素深度情報および輝度ＰＣＭ画素深度情報を用いて輝度ＰＣＭ画素情報から輝度再生画像データを生成し、フレームメモリ１０７に入力し、格納する。本実施形態の輝度第２画像復号・再生部３１０における輝度再生画像データの生成処理は、対象が輝度画素だけであることを除けば実施形態１の第２画像復号・再生部１０６と同様、図２に示されているため、説明を省略する。

また、色差第２画像復号・再生部３１１では、分離復号部３０２から入力された色差画素深度情報および指揮差ＰＣＭ画素深度情報を用いて色差ＰＣＭ画素情報から色差再生画像データを生成し、フレームメモリ１０７に入力し、格納する。本実施形態の色差第２画像復号・再生部３１１における色差再生画像データの生成処理は、対象が色差画素だけであることを除けば実施形態１の第２画像復号・再生部１０６と同様、図２に示されているため、説明を省略する。

図７は実施形態２に係る画像復号装置における画像復号処理を示すフローチャートである。実施形態１の図３と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

ステップＳ７０１にて、分離復号部３０２はビットストリームから復号処理に関する情報や係数に関する符号データに分離する。次にヘッダ部分の符号データを復号し、輝度画素深度情報、色差画素深度情報、輝度ＰＣＭ画素深度情報および色差ＰＣＭ画素深度情報を再生する。

ステップＳ７０７にて、輝度第２画像復号・再生部３１０のＩ＿ＰＣＭ復号部２０６は輝度ＰＣＭ画素情報の符号化データを復号して輝度ＰＣＭ画素情報を再生する。

ステップＳ７０８にて、輝度第２画像復号・再生部３１０はステップＳ７０１で再生された輝度画素深度情報および輝度ＰＣＭ画素深度情報を用いてステップＳ７０７で再生された輝度ＰＣＭ画素情報から輝度画像データを再生する。

ステップＳ７０９にて、色差第２画像復号再生部３１１のＩ＿ＰＣＭ復号部２０６は色差ＰＣＭ画素情報の符号化データを復号して色差ＰＣＭ画素情報を再生する。

ステップＳ７１０にて、色差第２画像復号再生部３１１はステップＳ７０１で再生された色差画素深度情報および色差ＰＣＭ画素深度情報を用いてステップＳ７０９で再生された色差ＰＣＭ画素情報から色差画像データを再生する。

以上の構成と動作により、特にステップＳ７０８およびＳ７１０で輝度および色差のＰＣＭ符号化されたブロックの画素を適切に補正しながら再生することにより、画素の劣化を抑制しつつ、輝度および色差に最適な補正をしつつ画像の再生を行うことができる。

なお、本実施形態では輝度と色差で独立した輝度第２画像復号・再生部３１０、色差第２画像復号・再生部３１１やステップＳ７０８、Ｓ７１０を設けたが、これらは同一の処理を行っても良いし、全く独立した処理を行っても構わない。例えば、輝度と色差の両方に前述の式（３）に示される処理を行っても良いし、輝度には式（４）ないし（５）に示される処理を行いつつ、色差には従来手法を用いるように組み合わせても良い。

さらに、画素深度情報とＰＣＭ画素深度情報が輝度、色度で異なる場合について説明したが、これに限定されず、同じ画素深度情報とＰＣＭ画素深度情報から上記のように輝度、色差で処理の内容を異ならせることも可能である。

また、それぞれの特徴にあった処理を行っても構わない。例えば、輝度に対しては式（４）ないし（５）に示される再生画素のダイナミックレンジが維持されるような処理を行いつつ、色差に対してはより中心付近の値が再生されるような補正を含めた再生処理を行っても良い。例えば、色差では色差ＰＣＭ深度情報値（ｄｐ）が１で色差画素深度情報値（ｄｓ）が８の場合を例にとって説明する。対応する再生画素はそれぞれ色差ＰＣＭ画素情報値（Ｐｐ）が０の場合は色差再生画素値（Ｐｃ）は９６、色差ＰＣＭ画素情報値（Ｐｐ）が１の場合は色差再生画素値（Ｐｃ）は１６０する。これは輝度の６４、１９２よりは中心である１２８に近い値となっている。このように非線形の補正を行ってももちろん構わない。

また、本実施形態では、輝度と色差で独立した再生処理を行ったが、色空間ごとに独立した再生処理を行うことも可能である。例えば、Ｙ色空間成分には式（４）ないし（５）に示される再生処理を行い、Ｕ色空間成分には式（３）に示される再生処理を行い、Ｖ色空間性分には従来通りの再生処理を行うようにしても構わない。

＜実施形態３＞
図１、図６に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。

図４は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ４０１は、ＲＡＭ４０２やＲＯＭ４０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ４０１は、図１、図６に示した各処理部として機能することになる。

ＲＡＭ４０２は、外部記憶装置４０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）４０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ４０２は、ＣＰＵ４０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ４０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ４０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部４０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ４０１に対して入力することができる。表示部４０５は、ＣＰＵ４０１による処理結果を表示する。また表示部４０５は例えば液晶ディスプレイで構成される。

外部記憶装置４０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置４０６には、ＯＳ（オペレーティングシステム）や、図１、図６に示した各部の機能をＣＰＵ４０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置４０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置４０６に保存されているコンピュータプログラムやデータは、ＣＰＵ４０１による制御に従って適宜、ＲＡＭ４０２にロードされ、ＣＰＵ４０１による処理対象となる。Ｉ／Ｆ４０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ４０７を介して様々な情報を取得したり、送出したりすることができる。４０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ４０１が中心となってその制御を行う。

＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (7)

1. ビットストリームを復号して画像を再生する画像復号方法であって、
   予測を行う第１の符号化モードで符号化されているブロックを復号する第１の復号工程と、
   予測を行わない第２の符号化モードで符号化されているブロックを復号する第２の復号工程とを含み、
   前記第１の復号工程は、再生された予測誤差と予測を行った結果から第１再生画像を生成する第１再構成工程を有し、
   前記第２の復号工程は、前記第２の符号化モードで符号化されているブロックの画素情報のビット深度が出力画像のビット深度よりも小さい場合、前記出力画像のビット深度と前記画素情報のビット深度の差に基づいて前記画素情報をビットシフトして出力画素仮値を再生し、前記ビット深度の差分に基づいて前記出力画素仮値を補正して出力画素値を算出することにより第２再生画像を生成する第２再構成工程を有することを特徴とする画像復号方法。
2. 前記第２再構成工程は前記ビット深度の差分に基づいてオフセットを算出し、前記出力画素仮値に前記オフセットを加算して出力画素値を算出することを特徴とする請求項１に記載の画像復号方法。
3. 前記第２再構成工程は、出力ビット深度、第２符号化モードで符号化されているブロックのビット深度および第２符号化モードで符号化されているブロックの画素情報から出力画素値を得ることを特徴とする請求項１又は請求項２に記載の画像復号方法。
4. ビットストリームを復号して画像を再生する画像復号装置であって、
   予測を行う第１の符号化モードで符号化されているブロックを復号する第１の復号手段と、
   予測を行わない第２の符号化モードで符号化されているブロックを復号する第２の復号手段とを含み、
   前記第１の復号手段は、再生された予測誤差と予測を行った結果から第１再生画像を生成する第１再構成手段を有し、
   前記第２の復号手段は、前記第２の符号化モードで符号化されているブロックの画素情報のビット深度が出力画像のビット深度よりも小さい場合、前記出力画像のビット深度と前記画素情報のビット深度の差に基づいて前記画素情報をビットシフトして出力画素仮値を再生し、前記ビット深度の差分に基づいて前記出力画素仮値を補正して出力画素値を算出することにより第２再生画像を生成する第２再構成手段を有することを特徴とする画像復号装置。
5. 前記第２再構成手段は前記ビット深度の差分に基づいてオフセットを算出し、前記出力画素仮値に前記オフセットを加算して出力画素値を算出することを特徴とする請求項４に記載の画像復号装置。
6. 前記第２再構成手段は、出力ビット深度、第２符号化モードで符号化されているブロックのビット深度および第２符号化モードで符号化されているブロックの画素情報から出力画素値を得ることを特徴とする請求項４又は請求項５に記載の画像復号装置。
7. コンピュータが読み出して実行することにより、前記コンピュータを、請求項４に記載の画像復号装置として機能させることを特徴とするプログラム。

Images