JP2010252294A - 画像復号装置 - Google Patents

Abstract

【課題】高速にサムネイル画像を作成可能とする画像復号装置を得る。
【解決手段】逆変換部１０３は、予測画像の生成に必要となる箇所のみに予測差分画素信号の算出範囲を制限する。画面内予測変換部１０６は、予測画素信号に対して４×４直交変換処理を施し予測ＤＣ成分を取得する。ＤＣ成分計算部１０７は、予測差分周波数成分のうちのＤＣ成分と予測ＤＣ成分を加算してＤＣ成分を復号画像として出力する。
【選択図】図１

Description

この発明は、Ｈ．２６４映像データを復号する画像復号装置に関するものである。

符号化された画像を再生するためには復号処理が必要とされる。しかし、完全な入力画像を再現するのではなく、画像の概要を知るなどのために、縮小した画像（以下、サムネイル）が取得できれば良い場合がある。
このため、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）符号化されたデータから、サムネイル画像を生成する技術がある（例えば、特許文献１参照）。この技術は、ＭＰＥＧ符号化におけるブロック毎のＤＣＴ（離散コサイン変換：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数のＤＣ（直流：Ｄｉｒｅｃｔ Ｃｕｒｒｅｎｔ）成分のみを用いてサムネイル画像を作成するものである。

特開２００３−２１９４２０号公報

上述のＭＰＥＧ符号化データからサムネイルを作成する技術では、Ｉピクチャに対してはＤＣＴ係数のＤＣ成分のみを用いてサムネイル画像を作成している。しかしながら、Ｈ．２６４符号化データのＩピクチャでは、隣接画素と対象ブロックとの差分を計算し、この差分を直交変換しているため単純に直交変換係数のＤＣ成分からサムネイル画像が作成できず、完全に復号してからフィルタ処理等を施し、サムネイル画像を作成する必要があった。

この発明は上記のような課題を解決するためになされたもので、隣接画素と対象ブロックとの差分を計算し、この差分を直交変換しているような符号化データであっても、高速にサムネイル画像を作成可能とする画像復号装置の提供を目的とする。

この発明に係る画像復号装置は、所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、画面内予測単位に従って予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、画面内予測方向に従って参照画素信号より予測画素信号を取得する画面内予測手段と、予測画素信号より画面内予測周波数成分信号を取得する画面内予測画像変換手段と、画面内予測周波数成分信号と予測差分周波数成分信号より復号画像信号を取得する画像信号取得手段とを備えたものである。

この発明の画像復号装置は、予測画像の生成に必要となる箇所のみに予測差分画素信号の算出範囲を制限する逆変換を行い、この予測差分画素信号に基づいて復号画像を出力するようにしたので、高速にサムネイル画像を作成することができる。

この発明の実施の形態１による画像復号装置の構成図である。 １６×１６予測モードにおける４つの予測モードを示す説明図である。 ４×４予測モードにおける９つの予測モードを示す説明図である。 この発明の実施の形態１による画像復号装置における画面内予測単位と予測差分画素信号を算出する範囲を示した説明図である。 この発明の実施の形態１による画像復号装置の逆変換部の処理内容を示すフローチャートである。 この発明の実施の形態２による画像復号装置の構成図である。 この発明の実施の形態２による画像復号装置における画面内予測単位と予測差分画素信号を算出する範囲を示した説明図である。 この発明の実施の形態２による画像復号装置の逆変換範囲決定部の処理内容を示すフローチャートである。 この発明の実施の形態３による画像復号装置の構成図である。 １６×１６予測モードにおける４つの予測モードにおける４×４ブロックのＤＣ成分を用いた予測画素生成を示す説明図である。 ４×４予測モードにおける４つの予測モードにおける４×４ブロックのＤＣ成分を用いた予測画素生成を示す説明図である。 ４×４ブロックのＤＣ成分を用いた予測画素生成時における参照画素生成を示す説明図である。 この発明の実施の形態４による画像復号装置の構成図である。 この発明の実施の形態４による画像復号装置の画面間ＤＣ成分予測部において簡易予測ＤＣ成分の算出方法を示す説明図である。 この発明の実施の形態５による画像復号装置の構成図である。 この発明の実施の形態５による画像復号装置の４×４予測の場合の合成対象画素算出の説明図である。 この発明の実施の形態５による画像復号装置の１６×１６予測の場合の合成対象画素算出の説明図である。 この発明の実施の形態５による画像復号装置の１６×１６予測の場合における算出を行う４×４ブロックの順序を示す説明図である。 図１８における（１）のブロックの合成対象画素算出の説明図である。 図１８における（２）のブロックの合成対象画素算出の説明図である。 図１８における（６）のブロックの合成対象画素算出の説明図である。 この発明の実施の形態６による画像復号装置の１６×１６予測の場合におけるモード０の合成対象画素算出の説明図である。 図２２における列毎の合成対象画素算出の説明図である。 この発明の実施の形態６による画像復号装置の１６×１６予測の場合におけるモード１の合成対象画素算出の説明図である。 図２４における行毎の合成対象画素算出の説明図である。 この発明の実施の形態６による画像復号装置の１６×１６予測の場合におけるモード３の合成対象画素算出の説明図である。 図２６におけるグループ毎の合成対象画素算出の説明図である。 この発明の実施の形態７による画像復号装置の構成図である。 この発明の実施の形態７による画像復号装置の１６×１６予測の場合の合成対象画素算出の説明図である。 この発明の実施の形態７による画像復号装置の１６×１６予測の場合の他の例の合成対象画素算出における予測モード０の場合の説明図である。 この発明の実施の形態７による画像復号装置の１６×１６予測の場合の他の例の合成対象画素算出における予測モード１の場合の説明図である。

実施の形態１．
図１は本発明に係る画像復号装置の実施の形態１の構成を示すブロック図である。
図示の画像復号装置は、可変長復号／逆量子化部１０１、符号化モード取得部１０２、逆変換部１０３、加算器１０４、画面内予測部１０５、画面内予測変換部１０６、ＤＣ成分計算部１０７を備えている。ここで、可変長復号／逆量子化部１０１は可変長復号手段と逆量子化手段を構成し、符号化モード取得部１０２は画面内符号化情報取得手段を、逆変換部１０３は逆変換手段を、加算器１０４は加算手段を、画面内予測部１０５は画面内予測手段を、画面内予測変換部１０６は画面内予測画像変換手段を、ＤＣ成分計算部１０７は画像信号取得手段をそれぞれ構成している。

可変長復号／逆量子化部１０１は、画面内符号化方式で符号化されているＨ．２６４方式の符号化ストリームである符号化データを入力すると、その符号化データを可変長復号及び逆量子化して、符号化の所定の単位である１６×１６マクロブロック（以下、マクロブロックと呼ぶ）毎の符号化情報と画像の周波数成分を取得する。
符号化モード取得部１０２は、可変長復号／逆量子化部１０１により取得されたマクロブロック毎の符号化情報より画面内予測の単位が１６×１６ブロック単位（１６×１６予測）であるか４×４ブロック単位（４×４予測）であるかを取得し、また、画面内予測の方向（モード）情報を取得する。
１６×１６予測には４つの予測モード（図２を参照、斜線部が予測画素生成に使用される隣接画素）が、また、４×４予測には９つの予測モード（図３を参照、斜線部が予測画素生成に使用される隣接画素）があり、隣接するどの画素から予測画像を生成するかを決定している。
逆変換部１０３は、可変長復号／逆量子化部１０１により取得された画像の周波数成分に逆変換処理を施し、予測差分画素信号を取得する。ただし、逆変換部１０３は、符号化モード取得部１０２により取得された画面内予測の単位を元に画面内予測に利用されうる箇所のみに予測差分画素信号を算出する範囲を制限する。

図４は、予測差分画素信号を算出する範囲を示した説明図、図５は、本発明の実施の形態１による画像復号装置の逆変換部１０３の処理内容を示すフローチャートである。
図４において、斜線部で示された領域のみの予測差分画素信号を算出するように逆変換処理が行われる。画面内予測の単位が４×４予測であった場合は、４×４ブロックの右端の１画素×４ライン及び下端の４画素×１ラインの範囲のみ予測差分画素信号を算出する（図５のステップＳＴ１０１→ステップＳＴ１０２）。画面内予測の単位が１６×１６予測であった場合は、マクロブロックの１６個の４×４ブロックの内、どのブロックなのかを判定する（ステップＳＴ１０１→ステップＳＴ１０３）。下端のブロックであった場合は、下端の４画素×１ラインの範囲の予測差分画素信号を算出する（ステップＳＴ１０４）。右端のブロックであった場合は、右端の１画素×４ラインの範囲の予測差分画素信号を算出する（ステップＳＴ１０５）。右下隅のブロックであった場合は、右端の１画素×４ライン及び下端の４画素×１ラインの範囲の予測差分画素信号を算出する（ステップＳＴ１０６）。結果として、１６×１６ブロックの右端の１画素×１６ライン及び下端の１６画素×１ラインの範囲の予測差分画素信号が算出される。

Ｈ．２６４符号化方式における４×４ブロックの直交変換は、加減算とビットシフトで行えるように定義されており、例えば、式（１）から式（１６）に示す逆変換では、式（１）から式（８）で示す水平方向変換が加減算３２回、ビットシフト８回で計算可能、式（９）から式（１６）で示す垂直方向変換が加減算３２回、ビットシフト８回で計算可能、合計で加減算６４回、ビットシフト１６回で予測差分画素信号を算出が可能である。

ｅ_i0＝ｄ_i0＋ｄ_i2 ｉ＝０…３ （１）
ｅ_i1＝ｄ_i0＋ｄ_i2 ｉ＝０…３ （２）
ｅ_i2＝（ｄ_i1＞＞１）−ｄ_i3 ｉ＝０…３ （３）
ｅ_i3＝ｄ_i1＋（ｄ_i3＞＞１） ｉ＝０…３ （４）

ｆ_i0＝ｅ_i0＋ｅ_i3 ｉ＝０…３ （５）
ｆ_i1＝ｅ_i1＋ｅ_i2 ｉ＝０…３ （６）
ｆ_i2＝ｅ_i1−ｅ_i2 ｉ＝０…３ （７）
ｆ_i3＝ｅ_i0−ｅ_i3 ｉ＝０…３ （８）

ｇ_0j＝ｆ_0j＋ｆ_2j ｊ＝０…３ （９）
ｇ_1j＝ｆ_0j＋ｆ_2j ｊ＝０…３ （１０）
ｇ_2j＝（ｆ_1j＞＞１）−ｆ_3j ｊ＝０…３ （１１）
ｇ_3j＝ｆ_1j＋（ｆ_3j＞＞１） ｊ＝０…３ （１２）

ｈ_0j＝ｇ_0j＋ｇ_3j ｊ＝０…３ （１３）
ｈ_1j＝ｇ_1j＋ｇ_2j ｊ＝０…３ （１４）
ｈ_2j＝ｇ_1j−ｇ_2j ｊ＝０…３ （１５）
ｈ_3j＝ｇ_0j−ｇ_3j ｊ＝０…３ （１６）

式（１）から式（１６）において、ｄ_ijは４×４ブロック内の画像周波数成分、ｆ_ijは水平方向変換後の値、ｈ_ijは逆変換後の予測差分画素値である。また、ｅ_ij及びｇ_ijはそれぞれ水平方向変換、垂直方向変換の計算で必要となる中間値である。
ここで上記の例において、４×４ブロックの右端の１画素×４ライン及び下端の４画素×１ラインの範囲のみ予測差分画素信号を算出する場合（ステップＳＴ１０２）を考えると、水平方向変換の計算に加減算３２回、ビットシフト８回、右端の１画素×４ライン及び下端の４画素×１ラインの範囲の垂直方向変換は式（１７）から式（２４）で計算可能で、加減算１７回、ビットシフト５回であり、合計で加減算４９回、ビットシフト１３回の計算で、予測差分画素信号を算出可能である。

ｇ_0j＝ｆ_0j＋ｆ_2j ｊ＝０…３ （１７）
ｇ_1j＝ｆ_0j＋ｆ_2j ｊ＝３ （１８）
ｇ_2j＝（ｆ_1j＞＞１）−ｆ_3j ｊ＝３ （１９）
ｇ_3j＝ｆ_1j＋（ｆ_3j＞＞１） ｊ＝０…３ （２０）

ｈ_0j＝ｇ_0j＋ｇ_3j ｊ＝３ （２１）
ｈ_1j＝ｇ_1j＋ｇ_2j ｊ＝３ （２２）
ｈ_2j＝ｇ_1j−ｇ_2j ｊ＝３ （２３）
ｈ_3j＝ｇ_0j−ｇ_3j ｊ＝０…３ （２４）

また、１６×１６予測においては１６個の４×４ブロックに対して、４×４直交変換が用いられており、１つの４×４ブロックにおいては、式（１）から式（１６）で示す加減算６４回、ビットシフト１６回で予測差分画素信号の算出が可能である。１６×１６マクロブロック全体では４×４ブロックが１６個あるので、加減算６４回×１６ブロック＝１０２４回、ビットシフト１６回×１６ブロック＝２５６回で、予測差分画素信号の算出が可能である。

１６×１６ブロックの右端の１画素×１６ライン及び下端の１６画素×１ラインの範囲のみを逆変換する場合を考えると、１６個の４×４ブロックのうち左上にある９つのブロックは逆変換不要、下端３つのブロックは下端４画素×１ライン（ステップＳＴ１０４）、右端３つのブロックは右端１画素×４ライン（ステップＳＴ１０５）、右下のブロックは右端の１画素×４ライン及び下端の４画素×１ライン（ステップＳＴ１０６）の予測差分画素信号の算出が必要となる。

下端４画素×１ラインの画素は、水平方向変換は、式（１）から式（８）で計算可能で、加減算３２回、ビットシフト８回、垂直方向変換は、式（３６）から式（３８）で計算可能で、加減算１２回、ビットシフト１回、合計で加減算４４回×３ブロック＝１３２回、ビットシフト９回×３ブロック＝２７回で、予測差分画素信号が算出可能である。

ｇ_0j＝ｆ_0j＋ｆ_2j ｊ＝０…３ （３６）
ｇ_3j＝ｆ_1j＋（ｆ_3j＞＞１） ｊ＝０…３ （３７）
ｈ_3j＝ｇ_0j−ｇ_3j ｊ＝０…３ （３８）
右端１画素×４ラインの画素は、水平方向変換は式（２５）から式（２７）で計算可能で、加減算１２回、ビットシフト４回、垂直方向変換は式（２８）から式（３５）で計算可能で、加減算８回、ビットシフト２回、合計で加減算２０回×３ブロック＝６０回、ビットシフト６回×３ブロック＝１８回で、予測差分画素信号が算出可能である。

ｅ_i0＝ｄ_i0＋ｄ_i2 ｉ＝０…３ （２５）
ｅ_i3＝ｄ_i1＋（ｄ_i3＞＞１） ｉ＝０…３ （２６）
ｆ_i3＝ｅ_i0−ｅ_i3 ｉ＝０…３ （２７）
ｇ_0j＝ｆ_0j＋ｆ_2j ｊ＝３ （２８）
ｇ_1j＝ｆ_0j＋ｆ_2j ｊ＝３ （２９）
ｇ_2j＝（ｆ_1j＞＞１）−ｆ_3j ｊ＝３ （３０）
ｇ_3j＝ｆ_1j＋（ｆ_3j＞＞１） ｊ＝３ （３１）
ｈ_0j＝ｇ_0j＋ｇ_3j ｊ＝３ （３２）
ｈ_1j＝ｇ_1j＋ｇ_2j ｊ＝３ （３３）
ｈ_2j＝ｇ_1j−ｇ_2j ｊ＝３ （３４）
ｈ_3j＝ｇ_0j−ｇ_3j ｊ＝３ （３５）

右下隅の４×４ブロックの右端の１画素×４ライン及び下端の４画素×１ラインの画素は、４×４予測と同様、加減算４９回、ビットシフト１３回で、予測差分画素信号が算出可能である。
１６×１６ブロックの右端の１画素×１６ライン及び下端の１６画素×１ラインの範囲の予測差分画素信号算出は、合計で加減算２４１回、ビットシフト５８回で、予測差分画素信号が算出可能である。

画面内予測部１０５では、画面内予測の単位と予測モードと参照画素信号とを用いて、画面内予測の単位毎の予測画素信号を生成する。
加算部１０４は、逆変換部１０３により取得された予測差分画像信号と画面内予測部１０５により取得された予測画素信号とを加算して、参照画素信号を取得する。ただし、参照画素信号を取得する範囲は、逆変換部１０３で予測差分画素信号を算出した範囲のみに限る。
画面内予測変換部１０６では、画面内予測部１０５により取得された予測画素信号に対して、４×４直交変換を施した場合の予測ＤＣ成分を算出する。ＤＣ成分＝４×４ブロックの予測画素信号の総和であるので、実際の直交変換は不要である。
ＤＣ成分計算部１０７では、可変長復号／逆量子化部１０１により取得された周波数成分のうちのＤＣ成分と画面内予測変換部１０６により取得された予測ＤＣ成分より復号後の画像信号を取得する。ＤＣ成分は変換単位のブロックにおける平均値と考えることができる。よってＤＣ成分だけを算出、出力すれば、ブロック中の画素の平均値を出力することになる。４×４直交変換のＤＣ成分のみで画像を作成すれば、縦横１／４に縮小した復号画像を出力することが可能である。

以上で明らかなように、この実施の形態１によれば、予測画像の生成に必要となる箇所のみに予測差分画素信号の算出範囲を制限する逆変換部１０３と、予測画素信号に対して４×４直交変換処理を施し予測ＤＣ成分を取得する画面内予測変換部１０６と、予測差分周波数成分のうちのＤＣ成分と予測ＤＣ成分を加算するＤＣ成分計算部１０７を設け、ＤＣ成分を復号画像として出力する構成としたので、少ない計算量で、１／４に縮小したサムネイル用画像を復号することができる効果を奏する。

以上のように、実施の形態１の画像復号装置によれば、所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、画面内予測単位に従って予測差分周波数成分信号画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、画面内予測方向に従って参照画素信号より予測画素信号を取得する画面内予測手段と、予測画素信号より画面内予測周波数成分信号を取得する画面内予測画像変換手段と、画面内予測周波数成分信号と予測差分周波数成分信号より復号画像信号を取得する画像信号取得手段とを備えたので、高速にサムネイル画像を作成することが可能となる。

実施の形態２．
上記実施の形態１では、画面内予測の単位によって、予測に利用されうる箇所のみに予測差分画素信号の算出範囲を制限したが、符号化されたフレーム全体の符号化情報を取得し、画面内予測の単位と画面内予測モードから実際に予測に利用される箇所を算出しておくことで、予測差分画素信号の算出範囲を更に制限するようにしてもよい。このような例を実施の形態２として次に説明する。

図６は、この発明の実施の形態２による画像復号装置を示す構成図である。
図６に示す画像復号装置は、可変長復号／逆量子化部２０１、符号化モード取得部２０２、逆変換部２０３、加算器１０４、画面内予測部１０５、画面内予測変換部１０６、ＤＣ成分計算部１０７、逆変換範囲決定部２０８を備えている。ここで、図１と同一の構成には同一の符号を付して説明を省略する。なお、可変長復号／逆量子化部２０１は可変長復号手段と逆量子化手段を構成し、符号化モード取得部２０２は画面内符号化情報取得手段を、逆変換部２０３は逆変換手段を構成している。また、逆変換範囲決定部２０８は画面内符号化情報取得手段を構成している。

可変長復号／逆量子化部２０１は、画面内符号化方式で符号化されているＨ．２６４方式の符号化ストリームである符号化データを入力すると、その符号化データを可変長復号及び逆量子化して、符号化の所定の単位であるマクロブロック毎の符号化情報と画像の周波数成分である直交変換係数を１フレーム分全て取得する。符号化モード取得部２０２は、１フレーム分の符号化情報からマクロブロック毎の画面内予測の単位と画面内予測モードを取得する。逆変換範囲決定部２０８は、符号化モード取得部２０２により取得された１フレーム分の画面内予測の単位と画面内予測モードより逆変換処理を行う範囲を決定する。

図７は、逆変換範囲決定部２０８における、予測差分画素信号の算出範囲の判定に係る説明図、図８は、本発明の実施の形態２による画像復号装置の逆変換範囲決定部２０８の処理内容を示すフローチャートである。
図７において、斜線部で示された領域は、逆変換部２０３において、予測差分画素信号を算出する範囲を示している。画面内予測の単位が４×４予測であった場合は（図８のステップＳＴ２０１）、４×４ブロックの予測モードに従って、予測画素として参照される箇所のみに逆変換の範囲を決定する（ステップＳＴ２０２）。マクロブロック内の１６個の４×４ブロック全てで範囲決定が終了するまで繰り返す（ステップＳＴ２０３）。画面内予測の単位が１６×１６予測であった場合は（ステップＳＴ２０１）、１６×１６予測モードに従って、予測画素として参照される箇所のみに逆変換の範囲を決定する（ステップＳＴ２０４）。上記処理をフレーム内の全てのマクロブロックに対して行う（ステップＳＴ２０５）。

逆変換範囲決定部２０８では、符号化モード取得部２０２により取得された予測単位ブロック毎の予測モード（図２及び図３を参照）に従って、周辺画素のうちどの画素信号が予測画素生成に必要かを判定する。図７の４×４ブロックＢ４₂₂、Ｂ４₃₀、Ｂ４₃₃のように判定によって逆変換不要なブロックも発生し、逆変換処理の計算量低減が可能となる。また、各ブロックにおいても、実際に予測に利用される画素信号のみを算出範囲としているため、例えば、４×４ブロックＢ４₂₃やＢ４₃₁、Ｂ４₃₂のように４画素分のみとなり、更に逆変換処理の計算量低減が可能となる。
逆変換部２０３は、逆変換範囲決定部２０８により取得された予測差分画素信号の算出範囲に従い、可変長復号／逆量子化部２０１により取得された画像の周波数成分に逆変換処理を施し、予測差分画素信号を取得する。
逆変換部２０３以降の動作については実施の形態１と同様であるため、ここでの説明は省略する。

以上のように、実施の形態２の画像復号装置によれば、予測差分画素が存在する単位のみに算出範囲を制限する逆変換範囲決定手段を備え、逆変換手段は、逆変換範囲決定手段の算出範囲で予測差分画素信号を取得するようにしたので、サムネイル画像取得処理における処理量を更に削減することができる。

また、実施の形態２の画像復号装置によれば、逆変換範囲決定手段は、予測差分画素が存在する単位内で、画面内予測単位と画面内予測方向とに基づいて求められる画面内予測に利用される箇所のみに算出範囲を制限するようにしたので、逆変換処理の計算量を更に低減することが可能となる。

実施の形態３．
上記実施の形態１または実施の形態２では、画面内の予測画素を生成して、この予測画素に直交変換を施し予測ＤＣ成分を求めていたが、既に復号されたＤＣ成分から予測ＤＣ成分を算出するように構成してもよく、これを実施の形態３として次に説明する。
図９は、この発明の実施の形態３による画像復号装置を示す構成図である。
図９の画像復号装置は、可変長復号／逆量子化部２０１、符号化モード取得部２０２、逆変換部２０３、加算器１０４、画面内予測部３０５、画面内予測変換部１０６、ＤＣ成分計算部３０７、逆変換範囲決定部２０８、画面内ＤＣ成分予測部３０９、予測選択部３１０を備えている。図中、図１または図６と同一の構成には同一の符号を付して説明を省略する。なお、画面内予測部３０５は画面内予測手段を、ＤＣ成分計算部３０７は画像信号取得手段を、画面内ＤＣ成分予測部３０９は画面内簡易予測手段をそれぞれ構成している。

画面内ＤＣ成分予測部３０９は、画面内予測の単位と予測モードと既に復号された復号後の画像信号とにより簡易予測ＤＣ成分を算出する。画面内予測部３０５は、参照画素信号または復号後の画像信号のいずれか一つと画面内予測の単位と予測モードとを用いて、画面内予測の単位毎の予測画素信号を生成する。予測選択部３１０は、符号化モード取得部２０２により取得された画面内予測単位及び予測モードより画面内ＤＣ成分予測部３０９と画面内予測部３０５のどちらで予測ＤＣ成分を算出するかを選択する。ＤＣ成分計算部３０７は、画面内ＤＣ成分予測部３０９により取得された簡易予測ＤＣ成分または画面内予測変換部１０６により取得された予測ＤＣ成分のいずれか一つと可変長復号／逆量子化部２０１より取得された周波数成分より復号後の画像信号を取得する。

以下、画面内ＤＣ成分予測部３０９の処理について説明する。図１０は復号対象となっているマクロブロックが１６×１６予測の場合における簡易予測ＤＣ成分生成の説明図である。
予測モード０の場合は、マクロブロックの上側にあるブロックのＤＣ成分を、同じ列にあるブロックの簡易予測ＤＣ成分として利用する。
ＤＣ₁₆(i,j)＝Ｒｊ_DC （３９）
ここで、ＤＣ₁₆(i,j)は、１６×１６ブロック内の簡易予測ＤＣ成分の値で、０≦ｉ≦３，０≦ｊ≦３である。Ｒｊ_DCは近隣ブロックＲ０からＲ３までのＤＣ成分の値を示している。
予測モード１の場合は、マクロブロックの左側にあるブロックのＤＣ成分を、同じ行にあるブロックの簡易予測ＤＣ成分として利用する。
ＤＣ₁₆(i-4,j)＝Ｒｊ_DC （４０）
ここで、ＤＣ₁₆(i-4,j)は、１６×１６ブロック内の簡易予測ＤＣ成分の値で、４≦ｉ≦７，０≦ｊ≦３である。Ｒｊ_DCは近隣ブロックＲ４からＲ７までのＤＣ成分の値を示している。

予測モード２の場合は、マクロブロックの上側及び左側にあるブロックのＤＣ成分の平均値を全ブロックの簡易予測ＤＣ成分として利用する。

ここで、ＤＣ₁₆(i,j)は、１６×１６ブロック内の簡易予測ＤＣ成分の値で、０≦ｉ≦３，０≦ｊ≦３である。Ｒｋ_DCは近隣ブロックＲ０からＲ７までのＤＣ成分の値を示している。

予測モード３の場合は、マクロブロックの上側，左側及び左上のブロックのＤＣ成分に重みをつけて簡易予測ＤＣ成分を算出する。重みは、例えば１６×１６予測の予測モード３の予測画素生成に従って決定しても良いし、近隣の４×４ブロックのＤＣ成分を反映しやすくするように決定しても良い。

ここで、ＤＣ₁₆(i,j)は、マクロブロック内にある４×４ブロック毎の簡易予測ＤＣ成分の値で、０≦ｉ≦３，０≦ｊ≦３である。Ｒｋ_DCは近隣ブロックＲ０からＲ８までのＤＣ成分の値、ｗ₁₆ｋ(i,j)は重みを示している。

図１１は復号対象となっているマクロブロックが４×４予測の場合における簡易予測ＤＣ成分生成の説明図である。
予測モード０の場合は、上側にあるブロックのＤＣ成分を、復号対象ブロックの簡易予測ＤＣ成分として利用する。
ＤＣ₄＝Ｒ０_DC （４３）
ここで、ＤＣ₄は、復号対象の４×４ブロック内の簡易予測ＤＣ成分の値、Ｒ０_DCは上側にあるブロックＲ０のＤＣ成分を示している。
予測モード１または予測モード８の場合は、左側にあるブロックのＤＣ成分を、復号対象ブロックの簡易予測ＤＣ成分として利用する。
ＤＣ₄＝Ｒ２_DC （４４）
ここで、ＤＣ₄は、復号対象の４×４ブロック内の簡易予測ＤＣ成分の値、Ｒ２_DCは左側にあるブロックＲ２のＤＣ成分を示している。
予測モード２の場合は、上側及び左側にあるブロックのＤＣ成分の平均値を、復号対象ブロックの簡易予測ＤＣ成分として利用する。
ＤＣ₄＝（Ｒ０_DC＋Ｒ２_DC）／２ （４５）
ここで、ＤＣ₄は、復号対象の４×４ブロック内の簡易予測ＤＣ成分の値、Ｒ０_DCは上側にあるブロックＲ０のＤＣ成分、Ｒ２_DCは左側にあるブロックＲ２のＤＣ成分を示している。

予測モード３または予測モード７の場合は、上側と左側と左上のブロックのＤＣ成分に重みをつけて簡易予測ＤＣ成分を算出する。重みは、４×４予測モードの予測画素生成に従って決定する。
ＤＣ₄＝ｗ₄０(m)・Ｒ０_DC＋ｗ₄１(m)・Ｒ１_DC （４６）
ここで、ＤＣ₄は、復号対象の４×４ブロック内の簡易予測ＤＣ成分の値、Ｒ０_DCは上側にあるブロックＲ０のＤＣ成分、Ｒ１_DCは右上にあるブロックＲ１のＤＣ成分を示している。ｍは４×４予測モードの番号、ｗ₄０(m)，ｗ₄１(m)は、Ｒ０_DCとＲ１_DCにかかる重みを示している。
予測モード４、予測モード５、予測モード６のいずれか一つの場合は、上側と右上のブロックのＤＣ成分に重みをつけて簡易予測ＤＣ成分を算出する。重みは、４×４予測モードの予測画素生成に従って決定する。
ＤＣ₄＝ｗ₄０(m)・Ｒ０_DC＋ｗ₄２(m)・Ｒ２_DC＋ｗ₄３(m)・Ｒ３_DC （４７）
ここで、ＤＣ₄は、復号対象の４×４ブロック内の簡易予測ＤＣ成分の値、Ｒ０_DCは上側にあるブロックＲ０のＤＣ成分、Ｒ１_DCは右上にあるブロックＲ１のＤＣ成分、Ｒ３_DCは左上にあるブロックＲ３のＤＣ成分を示している。ｍは４×４予測モードの番号、ｗ₄０(m)，ｗ₄２(m)，ｗ₄３(m)は、それぞれＲ０_DC，Ｒ２_DC，Ｒ３_DCにかかる重みを示している。

上記のようにして、既に復号されたＤＣ成分の値から簡易予測ＤＣ成分を作成可能である。
画面内予測部３０５では、参照画素信号及び復号後の画像信号より予測画素信号を取得する。
図１２は、画面内予測部３０５における、復号後の画像信号からの参照画素生成の説明図である。図１２において斜線部で示された画素と、色の付いた左側の隣接ブロックが予測画素生成に使用される画素及びブロックである。
左側の隣接ブロックは、復号後の画像信号はＤＣ成分であり、そのまま予測画素を生成することができない。ＤＣ成分は４×４ブロックにおける平均値を示しているため、予測画素を生成するときは、４×４ブロック内の画素値をＤＣ成分で代用する。
予測選択部３１０では、画面内予測の単位及び予測モードにより、画面内ＤＣ成分予測部３０９と画面内予測部３０５のどちらで予測ＤＣ成分を算出するかを選択するように構成している。
例えば、画面内予測単位が４×４ブロック単位で予測モードが５〜８などであった場合、予測画素信号の生成に複雑な処理が必要となるため、計算が簡易な画面内ＤＣ成分予測部３０９を選択するようにしても良い。
また、画面内予測の単位及び予測モード以外にも周波数成分や逆変換範囲決定部２０８で取得される範囲情報などによって決定するように構成しても良い。

以上のように、実施の形態３の画像復号装置によれば、画面内予測単位と画面内予測方向と復号画像信号より簡易予測周波数成分信号を取得する画面内簡易予測手段を備え、画像信号取得手段は、予測周波数成分信号または簡易予測周波数成分信号と、予測差分周波数成分信号とにより復号画像信号を取得するようにしたので、サムネイル画像を更に高速に復号することができる。

実施の形態４．
図１３は、この発明の実施の形態４による画像復号装置を示す構成図である。
図１３の画像復号装置は、可変長復号／逆量子化部４０１、符号化モード取得部４０２、逆変換部１０３、加算器１０４、画面内予測部３０５、画面内予測変換部１０６、ＤＣ成分計算部４０７、逆変換範囲決定部２０８、画面間ＤＣ成分予測部４０９、予測選択部４１０、フレームメモリ４１１を備えている。ここで、図１，６，９と同一の構成には同一の符号を付して説明を省略する。なお、可変長復号／逆量子化部４０１は可変長復号手段と逆量子化手段を構成し、符号化モード取得部２０２は符号化情報取得手段を、ＤＣ成分計算部４０７は画像信号取得手段を構成している。また、画面間ＤＣ成分予測部４０９は画面間予測手段を、フレームメモリ４１１は記憶手段を構成している。

可変長復号／逆量子化部４０１は、マクロブロック単位で画面内符号化または画面間符号化で符号化されているＨ．２６４方式の符号化ストリームである符号化データを入力すると、その符号化データを可変長復号及び逆量子化して、マクロブロック毎の符号化情報と画像の周波数成分である直交変換係数を取得する。
符号化モード取得部４０２は、マクロブロック毎の符号化情報からマクロブロックの符号化タイプを取得し、符号化タイプが画面内符号化の場合、画面内符号化予測の単位と画面内予測モードを取得し、符号化タイプが画面間符号化の場合、画面間符号化予測の単位と画面間の動き補償ベクトルとを取得する。
フレームメモリ４１１は、ＤＣ成分計算部４０７により取得された、既に復号された復号後画像を記憶しておく。
画面間ＤＣ成分予測部４０９は、画面間予測の単位と動き補償ベクトルに従って、フレームメモリ４１１に記憶されている復号画像より簡易予測ＤＣ成分を生成する。

図１４は、画面間ＤＣ成分予測部４０９による簡易予測ＤＣ成分生成の説明図である。図１４において、斜線部で示された４×４ブロックは、動き補償ベクトルにより決定された、簡易予測ＤＣ成分を取得する領域を示しており、Ｒ０からＲ３は、斜線部の領域を含んでいる４×４ブロックを示している。
簡易予測ＤＣ成分は以下の式（４８）に従って算出する。
ＤＣ＝（ｘ０ｙ０Ｒ０_DC＋ｘ１ｙ０Ｒ１_DC＋ｘ０ｙ１Ｒ２_DC＋ｘ１ｙ１Ｒ３_DC）／１６ （４８）
ここで、ＤＣは簡易予測ＤＣ成分の値、Ｒ０_DCからＲ３_DCは周辺ブロックのＤＣ成分の値、ｘ０，ｘ１は、予測ＤＣ成分算出領域が周辺ブロックと水平方向に重なっている長さ、ｙ０，ｙ１は、予測ＤＣ成分算出領域が周辺ブロックと垂直方向に重なっている長さである。

予測選択部４１０は、符号化モード取得部４０２により取得されたマクロブロックの符号化タイプにより画面間ＤＣ成分予測部４０９と画面内予測部３０５のどちらで予測信号を算出するかを選択する。
ＤＣ成分計算部４０７は、画面間ＤＣ成分予測部４０９により取得された簡易予測ＤＣ成分または画面内予測変換部１０６により取得された予測ＤＣ成分のいずれか一つと可変長復号／逆量子化部４０１より取得された周波数成分より復号後の画像信号を取得する。
また、本実施の形態４では、周辺ブロックのＤＣ成分より簡易予測ＤＣ成分を算出するように構成したが、周辺ブロックのＤＣ成分のうちいずれか一つを選択して簡易予測ＤＣ成分として利用しても良い。

この実施の形態４によれば、画面間ＤＣ成分予測部４０９とフレームメモリ４１１を備え、画面内符号化または画面間符号化された符号化データの復号を簡易化できるように構成したので、Ｈ．２６４方式の符号化ストリームから高速にサムネイル画像を復号可能である。また、フレームメモリ４１１に記憶される復号後画像は、実際の画像を縦横１／４にしたものであるため、復号に必要となるメモリ量を削減可能である。

以上のように、実施の形態４の画像復号装置によれば、所定の単位毎に画面内符号化方式または画面間符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、復号された参照画像を記憶する記憶手段と、符号化情報から画面内予測単位と画面内予測方向または画面間予測単位と画面間予測位置を取得する符号化情報取得手段と、量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、画面内予測単位に従って予測差分周波数成分信号より、画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、画面内予測方向に従って参照画素信号より予測画素信号を取得する画面内予測手段と、予測画素信号より画面内予測周波数成分信号を取得する画面内予測画像変換手段と、画面間予測単位と画面間予測位置をもとに、記憶手段で記憶された参照画像より画面間予測周波数成分信号を取得する画面間予測手段と、画面内予測周波数成分信号または画面間予測周波数成分信号と、予測差分周波数成分信号より復号画像信号を取得する画像信号取得手段とを備えたので、画面内符号化または画面間符号化された符号化データに対して高速にサムネイル画像を復号することができる。

尚、本実施の形態４において実施の形態３の構成を備えていてもよい。即ち、画面内予測単位と画面内予測方向と復号画像信号より簡易予測周波数成分信号を取得する画面内簡易予測手段を備え、画像信号取得手段は、画面内符号化方式で符号化されていた場合は、画面内予測周波数成分信号または簡易予測周波数成分信号と、予測差分周波数成分信号とにより復号画像信号を取得する。このようにすれば、サムネイル画像を更に高速に復号することができる。

実施の形態５．
本発明の実施の形態１において、ＤＣ成分を利用して縦横１／４に縮小した復号画像を出力する方法を示した。本実施の形態５では、ＤＣ成分を産出する過程で算出した参照画素信号を用いて縮小画像を生成する方法について説明する。
図１５は、実施の形態５における画像復号装置の構成を示すブロック図である。
実施の形態５の画像復号装置は、可変長復号／逆量子化部１０１、符号化モード取得部１０２、逆変換部１０３、加算器１０４、画面内予測部１０５、画素合成部５１２を備えている。ここで、可変長復号／逆量子化部１０１〜画面内予測部１０５は、実施の形態１と同様であるため、対応する部分に同一符号を付してその説明は省略する。

画素合成部５１２は、画素合成手段を構成している。加算器１０４から出力された参照画素は、復号された画素そのものであり、図４における「予測差分画素を算出する画素」に該当する画素が復号されていることになる。画素合成部５１２は、この参照画素のみを用いて、縦横１／２に縮小した復号画像を取得する。また、符号化モード取得部１０２から出力される予測単位の情報を元に、４×４予測の場合と１６×１６予測の場合に分けて処理を行う。

先ず、４×４予測の場合について説明する。縦横１／２に縮小した画像を得るための手段として、図１６に示した合成対象画素を算出することとする。合成対象画素と、図１６におけるＰ_ａ９、Ｐ_ａ１４、Ｐ_ａ１６に示した画素をあわせて４×４ブロックにおける縮小した復号画像とする。これは復号画像を更に縦横１／２にサンプリングした画像となる。
合成対象画素は、復号済みの参照画素から算出する。ここでは、合成対象画素をＰ_ａｘとし、参照画素をＰ_ａｉ（１≦ｉ≦１６）とする。算出方法は以下の式（４９）に示す。

これは、参照画素１６個の重みつき平均値である。ｗ_ｋを重みとしており、ｗ_ｋの総和は１である。重みは、合成対象画素からの距離を使うなどの方法がある。以下の式（５０）、（５１）、（５２）に隣接画素間の距離を１とした場合の例を示す。

ここで、ｗ_ｋの総和が１であるため、

である。

次に、１６×１６予測の場合について説明する。縦横１／２に縮小した画像を得るための手段として、図１７に示す４９個の合成対象画素を算出することとする。合成対象画素と、図１７におけるＰ_ｂ１〜Ｐ_ｂ１５に示した画素をあわせて、１６×１６ブロックにおける縮小した復号画像とする。これは４×４予測のときと同様に、復号画像を更に縦横１／２にサンプリングした画像となる。
合成対象画素は、復号済みの参照画素から算出する。算出は、左上の４×４ブロックから順に行われる。図１８に算出を行う４×４ブロックの順序を示す。

次に、図１８に（１）〜（１６）で示した各４×４ブロックにおける合成対象画素の作成方法を説明する。
図１９は、図１８における（１）のブロックの例である。先ず、Ｐ_ｃ５の画素をＰ_ｃ１、Ｐ_ｃ２、Ｐ_ｃ４の画素の重み付き平均値とする。次に、Ｐ_ｃ６の画素をＰ_ｃ２、Ｐ_ｃ３、Ｐ_ｃ５の重み付き平均値から算出する。同様に、Ｐ_ｃ８の画素をＰ_ｃ４、Ｐ_ｃ５、Ｐ_ｃ７の重み付き平均値とし、Ｐ_ｃ９の画素はＰ_ｃ５、Ｐ_ｃ６、Ｐ_ｃ８の重み付き平均値とする。これを式（５３）〜（５８）で表す。
Ｐ_Ｃ５＝（ｗ_ＤＰ_Ｃ１＋ｗ_ＴＰ_Ｃ２＋ｗ_ＬＰ_Ｃ４） （５５）
Ｐ_Ｃ６＝（ｗ_ＤＰ_Ｃ２＋ｗ_ＴＰ_Ｃ３＋ｗ_ＬＰ_Ｃ５） （５６）
Ｐ_Ｃ８＝（ｗ_ＤＰ_Ｃ４＋ｗ_ＴＰ_Ｃ５＋ｗ_ＬＰ_Ｃ７） （５７）
Ｐ_Ｃ９＝（ｗ_ＤＰ_Ｃ５＋ｗ_ＴＰ_Ｃ６＋ｗ_ＬＰ_Ｃ８） （５８）
上式におけるｗ_Ｄ、ｗ_Ｔ、ｗ_Ｌは重みである。重みは画素間の距離に応じてつけるなどの方法がある。また、重みの総和は１である。

図１８における（２）のブロックの合成対象画素についても同様に、左上、真上、左の参照画素もしくは合成済みの合成対象画素から画素値を算出していく。図２０に（２）のブロックにおける例を示す。既に、（１）のブロックについて合成対象画素を合成しており、Ｐ_ｄ４とＰ_ｄ７が合成済みである。以下の式（５９）〜（６２）に各合成対象画素の算出式を示す。
Ｐ_ｄ５＝（ｗ_ＤＰ_ｄ１＋ｗ_ＴＰ_ｄ２＋ｗ_ＬＰ_ｄ４） （５９）
Ｐ_ｄ６＝（ｗ_ＤＰ_ｄ２＋ｗ_ＴＰ_ｄ３＋ｗ_ＬＰ_ｄ５） （６０）
Ｐ_ｄ８＝（ｗ_ＤＰ_ｄ４＋ｗ_ＴＰ_ｄ５＋ｗ_ＬＰ_ｄ７） （６１）
Ｐ_ｄ９＝（ｗ_ＤＰ_ｄ５＋ｗ_ＴＰ_ｄ６＋ｗ_ＬＰ_ｄ８） （６２）

このような手法で合成対象画素を算出することで、図１８における左上のブロックから順に合成対象画素が算出可能であり、（３）〜（１６）のブロックについても順次、参照画素と合成済みの合成対象画素から合成対象画素を算出可能である。
尚、図２１に示すように、（６）のブロックにおいてＰ_ｅ５の画素を算出する場合は、Ｐ_ｅ１、Ｐ_ｅ２、Ｐ_ｅ３だけでなく、Ｐ_ｅ４、Ｐ_ｅ６の参照画素を利用しても良い。同じように、図１８における右端のブロック（（６），（８），（１４），（１６））や下端のブロック（（１１），（１２），（１５），（１６））においては、右側もしくは下側の参照画素（図１７におけるＰ_ｂ１〜Ｐ_ｂ１５）を使って合成対象画素を算出しても良い。

このようにして、左上のブロックから順に合成対象画素を算出する。尚、平均値を算出する際により多くの周辺の参照画素もしくは合成済みの合成対象画素を使っても良く、逆により少ない画素から算出しても良い。

以上示した方法により、４×４予測および１６×１６予測のいずれにおいても、復号済みの参照画素から１／２の縮小画像を作成することができる。この縮小画像を復号後画像として出力する。

以上のように実施の形態５の画像復号装置によれば、所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、画面内予測単位に従って予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、画面内予測方向に従って参照画素信号より予測画素信号を取得する画面内予測手段と、参照画素信号と画面内予測単位より復号画素の一部を合成して復号画像信号を取得する画素合成手段とを備えたので、より少ない処理量で縮小画像を算出することができる。

実施の形態６．
実施の形態５において、参照画素信号を元に縦横１／２の縮小画像を生成する方法を示した。本実施の形態６では、参照画素信号と予測モードを利用して、より適応的に縮小画素を生成する方法を示す。
本実施の形態６における図面上の構成は図１５に示した実施の形態５と同様であるため図１５を用いて説明する。実施の形態６において、可変長復号／逆量子化部１０１〜画面内予測部１０５の構成および動作は実施の形態５と同様であるが、画素合成部５１２の機能が異なっている。以下、画素合成部５１２について説明する。

先ず、４×４予測の場合について説明する。実施の形態１および図３で示した通り、Ｈ．２６４における４×４予測モードは９つある。通常、Ｈ．２６４符号化器は予測残差が最も少ない予測モードを選択する。従って、予測モードに対応する参照画素を用いて合成対象画素Ｐ_ａｘを算出することで、より正確に合成対象画素を合成できることが期待される。実際に、９つ予測モードそれぞれの場合における、図１６に示した合成対象画素Ｐ_ａｘの算出方法を式（６３）〜（７１）に示す。

ここで、予測モード２におけるｗ_ｋは重みである。実施の形態５と同様に距離に応じてつけるなどの方法がある。

次に、１６×１６予測の場合について説明する。実施の形態１および図２で示した通り、Ｈ．２６４における１６×１６予測モードは４つある。４つの方法それぞれの場合について、合成対象画素の合成方法を示す。
先ず、モード０（垂直予測）の場合は、図２２に示すように、１〜７の各列毎に合成対象画素を算出する。このとき、図２３に示すように、各列毎に上の参照画素をＰ_ｆｔ、下側の参照画素をＰ_ｆｂ、各列の７つの合成対象画素をＰ_ｆｉとする（１≦ｉ≦７）とする。このとき、合成対象画素Ｐ_ｆｉは、以下の式（７２）で算出する。

これは、４×４予測の場合と同様に、通常、Ｈ．２６４符号化器は予測残差が最も少ない予測モードを選択しているため、予測モードに対応する参照画素を用いて差分値を算出することで、より正確に合成対象画素Ｐ_ｆｉが算出できると考えられるためである。

以下、モード０の場合と同様、最も予測残差が小さくなることから、より正確に合成対象画素が算出可能な、各モードにおける合成対象画素の算出方法を示す。
モード１（水平予測）の場合は、図２４に示すように、１〜７の各行毎に合成対象画素を算出する。このとき、図２５に示すように、各行毎に左端の参照画素をＰ_ｇｌ、右端の参照画素をＰ_ｇｒ、各行の７つの合成対象画素をＰ_ｇｉとする（１≦ｉ≦７）とする。このとき、合成対象画素Ｐ_ｇｉは、以下の式（７３）で算出する。

モード２（ＤＣ予測）の場合は、図１７における６４個全ての参照画素の平均値を算出し、それを全ての合成対象画素の画素値とする。
モード３（平面予測）の場合は、図２６に示す１〜１３の各グループ毎に合成対象画素を算出する。このとき、図２７に示すように、各グループ毎に右上端の参照画素をＰ_ｈｒｔ、左下端の参照画素をＰ_ｈｌｂ、グループｊの合成対象画素をＰ_ｈｉとする（１≦ｉ≦ｎ_ｊ）とする。ｎ_ｊはグループｊの合成対象画素数であり、図２６から以下のとおりである。
ｎ_１＝ｎ_１３＝１ （７４）
ｎ_２＝ｎ_１２＝２ （７５）
ｎ_３＝ｎ_１１＝３ （７６）
ｎ_４＝ｎ_１０＝４ （７７）
ｎ_５＝ｎ_９＝５ （７８）
ｎ_６＝ｎ_８＝６ （７９）
ｎ_７＝７ （８０）
このとき、グループｊの合成対象画素Ｐ_ｈｉは、以下の式（８１）で算出する。

このようにして、予測モードを利用して、適応的に合成対象画素を算出可能である。
以上示した方法により、４×４予測および１６×１６予測のいずれにおいても、復号済みの参照画素と予測モードから１／２の縮小画像を作成することができる。予測モードを利用することで、合成対象画素の算出精度の向上が期待される。この縮小画像を復号後画像として出力する。

以上のように、実施の形態６の画像復号装置によれば、所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、画面内予測単位に従って予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、画面内予測方向に従って参照画素信号より予測画素信号を取得する画面内予測手段と、参照画素信号と画面内予測単位と画面内予測方向により復号画素の一部を合成して復号画像信号を取得する画素合成手段とを備えたので、より正確に合成対象画素を合成することができる。

実施の形態７．
実施の形態１において、ＤＣ成分を利用して縦横１／４に縮小した復号画像を出力する方法を示し、実施の形態５では、ＤＣ成分を産出する過程で算出した参照画素信号のみを用いて縮小画像を生成する方法について説明した。更に、実施の形態６では、参照画素信号と予測モードを用いて縮小画像を生成する方法について説明した。本実施の形態７では、ＤＣ成分と参照画素信号と予測モードから縮小画像を生成する方法に関するものである。

図２８は、実施の形態７における画像復号装置の構成を示すブロック図である。
実施の形態７の画像復号装置は、可変長復号／逆量子化部１０１、符号化モード取得部１０２、逆変換部１０３、加算器１０４、画面内予測部１０５、画面内予測変換部１０６、ＤＣ成分計算部７０７、画素合成部７１２を備えている。ここで、図１と同一の構成には同一の符号を付してその説明を省略する。

ＤＣ成分計算部７０７は、実施の形態１で示したＤＣ成分計算部１０７と全く同一である。実施の形態１では、ＤＣ成分を復号後画像として扱ったが、実施の形態６では、このＤＣ成分を利用して復号後画像を生成するため、出力をＤＣ成分と表記している。画素合成部７１２は、画素合成手段を構成している。ＤＣ成分計算部７０７から出力されたＤＣ成分と、加算器１０４から出力された参照画素信号から縦横１／２に縮小した復号画像を取得する。処理は４×４予測の場合と１６×１６予測の場合に分けて行う。

先ず、４×４予測の場合について説明する。図１６に示したように、４×４ブロック中、７つの画素（Ｐ_ａ７、Ｐ_ａ９、Ｐ_ａ１１、Ｐ_ａ１３〜Ｐ_ａ１６）が参照画素として復号済みである。更に、４×４ブロックの平均値の算出が可能なＤＣ成分を既に取得、算出済みである。４×４ブロックの平均値をＰ_{Ａｖｇ４×４}とすると、合成対象画素Ｐ_ａｘを以下の式（８２）のように算出する。

これは、合成対象画素とその周囲８画素の計９画素の平均値にあたる。

次に１６×１６予測の場合について２つの例を説明する。１６×１６ブロックは４つの４×４ブロックで構成されており、ここでは既に全ての４×４ブロックの平均値を既に取得している。各４×４ブロック内には基本的には４つの合成対象画素が存在しており、ここでは、４つ全ての対象画素を同一の値として算出する。具体的には、図２９に示すように、算出対象のある４×４ブロックの画素の平均値をＰ_{ｐＡｖｇ０}とし、その周囲の４×４ブロックの平均値をＰ_{ｐＡｖｇｉ}（１≦ｉ≦８）とする。このとき、４つの合成対象画素をＰ_Ｐｘとし、以下の式で算出する。

これは、周囲の４×４ブロックの重みつき平均値である。重みｗ_ｋは実施の形態５と同様、距離を用いて算出するなどの方法がある。

もう一つの１６×１６予測における例として、予測モードと４×４ブロックの平均値を利用する場合について説明する。
予測モード０の場合、図３０に示すように、ある４×４ブロック内の合成対象画素をＰ_ｑｉ（１≦ｉ≦４）、その真上にある予測画素をＰ_ｑｌ、Ｐ_ｑｒとし、更に４×４ブロックの画素の平均値をＰ_ｑＡｖｇする。このとき、合成対象画素を以下のように算出する。

予測画素として用いている画素の比を使うことで、正確な合成対象画素の算出ができると期待される。ただし、図１８における下端のブロック（（１１），（１２），（１５），（１６））の場合、４×４ブロックの平均値を合成対象画素としても良い。

同様に予測モード１の場合、図３１に示すように、ある４×４ブロック内の合成対象画素をＰ_ｒｉ（１≦ｉ≦４）、その左にある予測画素をＰ_ｒｔ、Ｐ_ｒｂとし、更に４×４ブロックの画素の平均値をＰ_ｒＡｖｇする。このとき、合成対象画素を以下のように算出する。

ただし、図１８における右端のブロック（（６），（８），（１４），（１６））の場合、４×４ブロックの平均値を合成対象画素としても良い。

予測モード２および３の場合は、４×４ブロックの平均値をそのまま合成対象画素とする。予測モード２の場合は、予測画素の値と１６×１６ブロック内画素の差分が小さいと考えられるため、４×４ブロックの平均値をそのまま用いる。また、予測モード３の場合は、計算が複雑になるため、４×４ブロックの平均値をそのまま用いる。

以上示した方法により、４×４予測および１６×１６予測のいずれにおいても、復号済みの参照画素と予測モードと４×４ブロックの画素の平均値から１／２の縮小画像を作成することができる。予測モードと画素の平均値を利用することで、合成対象画素の算出精度の向上が期待される。この縮小画像を復号後画像として出力する。

以上のように、実施の形態７の画像復号装置によれば、所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、画面内予測単位に従って予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、画面内予測方向に従って参照画素信号より予測画素信号を取得する画面内予測手段と、予測画素信号より画面内予測周波数成分信号を取得する画面内予測画像変換手段と、画面内予測周波数成分信号と予測差分周波数成分信号より、復号画像の所定の単位での平均値を出力する画像信号取得手段と、参照画素信号と画面内予測単位と画面内予測方向と復号画像の所定の単位での平均値により復号画素の一部を合成して復号画像信号を取得する画素合成手段とを備えたので、より正確に合成対象画素を合成することができる。

１０１，２０１，４０１ 可変長復号／逆量子化部、１０２，２０２，４０２ 符号化モード取得部、１０３，２０３ 逆変換部、１０４ 加算部、１０５，３０５ 画面内予測部、１０６ 画面内予測変換部、１０７，３０７，４０７，７０７ ＤＣ成分計算部、２０８ 逆変換範囲決定部、３０９ 画面内ＤＣ成分予測部、３１０，４１０ 予測選択部、４０９ 画面間ＤＣ成分予測部、４１１ フレームメモリ、５１２，７１２ 画素合成部。

Claims (9)

1. 所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、
   前記符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、
   前記量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、
   前記画面内予測単位に従って前記予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、
   前記予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、
   前記画面内予測方向に従って前記参照画素信号より前記予測画素信号を取得する画面内予測手段と、
   前記予測画素信号より画面内予測周波数成分信号を取得する画面内予測画像変換手段と、
   前記画面内予測周波数成分信号と前記予測差分周波数成分信号より復号画像信号を取得する画像信号取得手段とを備えた画像復号装置。
2. 画面内予測単位と画面内予測方向と復号画像信号より簡易予測周波数成分信号を取得する画面内簡易予測手段を備え、
   画像信号取得手段は、予測周波数成分信号または前記簡易予測周波数成分信号と、予測差分周波数成分信号とにより復号画像信号を取得することを特徴とする請求項１記載の画像復号装置。
3. 所定の単位毎に画面内符号化方式または画面間符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、
   復号された参照画像を記憶する記憶手段と、
   前記符号化情報から画面内予測単位と画面内予測方向または画面間予測単位と画面間予測位置を取得する符号化情報取得手段と、
   前記量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、
   前記画面内予測単位に従って前記予測差分周波数成分信号より、画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、
   前記予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、
   前記画面内予測方向に従って前記参照画素信号より前記予測画素信号を取得する画面内予測手段と、
   前記予測画素信号より画面内予測周波数成分信号を取得する画面内予測画像変換手段と、
   前記画面間予測単位と前記画面間予測位置をもとに、前記記憶手段で記憶された参照画像より画面間予測周波数成分信号を取得する画面間予測手段と、
   前記画面内予測周波数成分信号または前記画面間予測周波数成分信号と、前記予測差分周波数成分信号より復号画像信号を取得する画像信号取得手段とを備えた画像復号装置。
4. 画面内予測単位と画面内予測方向と復号画像信号より簡易予測周波数成分信号を取得する画面内簡易予測手段を備え、
   画像信号取得手段は、画面内符号化方式で符号化されていた場合は、画面内予測周波数成分信号または前記簡易予測周波数成分信号と、予測差分周波数成分信号とにより復号画像信号を取得することを特徴とする請求項３記載の画像復号装置。
5. 予測差分画素が存在する単位のみに算出範囲を制限する逆変換範囲決定手段を備え、
   逆変換手段は、前記逆変換範囲決定手段の算出範囲で予測差分画素信号を取得することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像復号装置。
6. 逆変換範囲決定手段は、予測差分画素が存在する単位内で、画面内予測単位と画面内予測方向とに基づいて求められる画面内予測に利用される箇所のみに算出範囲を制限することを特徴とする請求項５記載の画像復号装置。
7. 所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、
   前記符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、
   前記量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、
   前記画面内予測単位に従って前記予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、
   前記予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、
   前記画面内予測方向に従って前記参照画素信号より前記予測画素信号を取得する画面内予測手段と、
   前記参照画素信号と前記画面内予測単位より復号画素の一部を合成して復号画像信号を取得する画素合成手段とを備えた画像復号装置。
8. 所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、
   前記符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、
   前記量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、
   前記画面内予測単位に従って前記予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、
   前記予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、
   前記画面内予測方向に従って前記参照画素信号より前記予測画素信号を取得する画面内予測手段と、
   前記参照画素信号と前記画面内予測単位と前記画面内予測方向により復号画素の一部を合成して復号画像信号を取得する画素合成手段とを備えた画像復号装置。
9. 所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、
   前記符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、
   前記量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、
   前記画面内予測単位に従って前記予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、
   前記予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、
   前記画面内予測方向に従って前記参照画素信号より前記予測画素信号を取得する画面内予測手段と、
   前記予測画素信号より画面内予測周波数成分信号を取得する画面内予測画像変換手段と、
   前記画面内予測周波数成分信号と前記予測差分周波数成分信号より、復号画像の所定の単位での平均値を出力する画像信号取得手段と、
   前記参照画素信号と前記画面内予測単位と前記画面内予測方向と前記復号画像の所定の単位での平均値により復号画素の一部を合成して復号画像信号を取得する画素合成手段とを備えた画像復号装置。

Images