JP2022017254A - 符号化装置、復号装置及びプログラム - Google Patents

Abstract

【課題】予測画像を生成する際に非平滑予測画像及び平滑予測画像を適切に合成することで予測精度の低下を防ぐこと。【解決手段】本発明に係る符号化装置１のイントラ予測部１４ａは、参照画素に対して平滑化処理を施すことなくイントラ予測モードを用いて非平滑予測画像を生成するように構成されている非平滑イントラ予測部１４ａ１と、参照画素に対して平滑化処理を施した後にイントラ予測モードを用いて平滑予測画像を生成するように構成されている平滑イントラ予測部１４ａ２と、イントラ予測モード及び参照画素の位置に応じて重み係数を決定するように構成されている重み係数決定部１４ａ３と、重み係数を用いて、非平滑予測画像及び平滑予測画像を合成して予測画像を生成するように構成されている予測画像生成部１４ａ４とを具備する。【選択図】図２

Description

本発明は、符号化装置、復号装置及びプログラムに関する。

Ｈ.２６５/ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に代表される動画像（映像）符号化方式では、フレーム間の時間的相関を利用したインター予測及びフレーム内の空間的相関を利用したイントラ予測の２種類の予測を切り替えながら予測を行って残差信号を生成した後、直交変換処理やループフィルタ処理やエントロピー符号化処理を行い得られたストリームを出力するように構成されている。

ＨＥＶＣにおけるイントラ予測では、Ｐｌａｎａｒ予測やＤＣ予測や方向予測の計３５種類のイントラ予測モードが用意されており、エンコーダで決定されたイントラ予測モードに従って、隣接する復号済み参照画素を用いてイントラ予測を行うように構成されている。以下、特に記載が無い場合には、「参照画素」という記載は、復号済み参照画素を示すものとする。

ここで、ＨＥＶＣにおけるイントラ予測では、フレーム内で最も左上に位置する符号化対象ブロック（以下、「ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ」と呼ぶ）等、隣接する参照画素が存在しないＣＵでは、規定した値（１０ビットの動画像であれば「５１２」）を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成されている。

また、従来のＨＥＶＣでは、符号化処理が、左上からラスタースキャン順に行われるために、参照画素が復号済みでない場合がある。このような場合には、最も近い復号済み参照画素を０次外挿した値を用いて予測画像を生成するように構成されている。

とりわけ、従来のＨＥＶＣにおけるイントラ予測では、ラスタースキャン順による符号化処理により、ＣＵの左下側や右上側に位置する参照画素が復号済みでない場合が多く、このような場合に、復号済みでない参照画素が存在する方向からの方向予測を行うと予測精度が低下し、符号化効率が低減してしまうという問題点があった。

かかる問題点を解決するために、イントラ予測において、ＣＵ内に存在する複数の変換ブロック（以下、「ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ」と呼ぶ）に対する符号化処理順として、ラスタースキャン順（例えば、Ｚ型）の他、Ｕ型やＸ型等の符号化順に自由度を持たせることによって予測精度の向上を図る技術が知られている（非特許文献１参照）。

また、ＨＥＶＣで用いられているイントラ予測は、空間的に隣接する上側又は左側の参照画素を利用した予測であり、参照画素に近い位置の予測画素の精度が高く、参照画素から遠い位置の予測画素の精度が低くなる傾向にある。

したがって、ＣＵ/ＴＵのサイズが小さい場合には、イントラ予測の精度は高い傾向にあるが、ＣＵ/ＴＵのサイズが大きくなるにつれて、参照画素から遠い位置にある予測画素の割合が増え、予測画像全体の予測精度が低下する。また、ＣＵ/ＴＵのサイズが大きくなるにつれて、参照画素に含まれるブロック歪み等の符号化劣化が予測画像に伝搬する可能性が高くなる。

そこで、従来のＨＥＶＣでは、ＣＵ/ＴＵのサイズやイントラ予測モードの方向に応じて、参照画素に平滑化フィルタを適用した上で予測画像を生成するように構成されている。

一般的に、予測画像のうち、参照画素に近い位置の予測画素は、予測すべき原画像の有する真値に近くなりやすく、予測精度が高くなる傾向にある一方、参照画素から遠い位置の予測画素は、予測すべき原画像の有する真値から外れやすく、予測精度が低くなる傾向にあるため、ＨＥＶＣのように、平滑化された復号済み参照画素を用いたイントラ予測の方が、予測精度が高くなる傾向にある。

そこで、非特許文献２では、予測精度を高めるために、平滑化処理を施す前の参照画素により生成された予測画像（非平滑予測画像）及び平滑化処理を施した後の参照画素により生成された予測画像（平滑予測画像）を生成し、イントラ予測モードの方向及びＣＵ/ＴＵのサイズに応じて予め規定された重み係数を用いて非平滑予測画像及び平滑予測画像を合成することで、より精度の高い予測画像を生成する手法を提案している。

以下、図１２及び図１３に、かかる重み係数の一例について示す。

図１２（ａ）及び図１２（ｂ）は、ＨＥＶＣにおけるイントラ予測モードが２である場合の重み係数の分布の一例を示し、図１３（ａ）及び図１３（ｂ）は、ＨＥＶＣにおけるイントラ予測モードが１８である場合の重み係数の分布の一例を示す。

また、図１２（ａ）及び図１３（ａ）は、平滑化前参照画素を用いた予測画像（すなわち、非平滑予測画像）における重み係数の一例を示し、図１２（ｂ）及び図１３（ｂ）は、平滑化後参照画素を用いた予測画像（すなわち、平滑予測画像）における重み係数の一例を示す。

なお、図１２及び図１３において、黒い部分の重み係数は「０」であり、白い部分の重み係数は「１」である。

図１２及び図１３に示すように、参照画素に近い位置にある予測画素においては、非平滑予測画像の比重が高くなり、参照画素から遠い位置にある予測画素においては、平滑予測画像の比重が高くなる。

非特許文献２の手法では、イントラ予測モード及びＣＵ/ＴＵのサイズに応じて重み係数の分布を予め規定し、符号化対象のＣＵ/ＴＵのサイズやイントラ予測モードに応じて重み係数を切り替えて適用するように規定されている。

なお、本明細書の図において、イントラ予測モードの方向（予測方向）を示す矢印は、
ＨＥＶＣ規格書における記載と同様に、イントラ予測の対象の画素から参照画素に向かうものとする（以下同様）。

望月等、「平均値座標に基づいた適用イントラ予測方式」、情報処理学会研究報告、ｖｏｌ、２０１２-ＡＶＭ-７７、Ｎｏ.１２ Ａ.Ｓａｉｄ、Ｘ.Ｚｈａｏ、Ｊ.Ｃｈｅｎ、Ｍ.Ｋａｒｃｚｅｗｉｃｚ、Ｗ.-Ｊ.Ｃｈｉｅｎ、Ｆ.Ｚｈｏｕ、「Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｃｏｍｂｉｎａｔｉｏｎ」、ＭＰＥＧ ｄｏｃ. ｍ３７５０２及びＩＴＵ-Ｔ ＳＧ１６ Ｄｏｃ. ＣＯＭ１６-Ｃ１０１６、２０１５年１０月

上述のように、非特許文献２の手法では、イントラ予測に用いる参照画素の位置を考慮しておらず、イントラ予測に用いる参照画素の位置に右側や下側を含む場合（すなわち、右側や下側の隣接する参照画素を用いて予測画像を生成する場合）であっても、イントラ予測モード及びＣＵ/ＴＵのサイズに応じて重み係数を決定してしまう。

すなわち、非特許文献２の手法では、参照画素に近い位置においては、非平滑予測画像の方が、予測精度が高く、参照画素から遠い位置においては、平滑予測画像の方が、予測精度が高いにも関わらず、イントラ予測に用いる参照画素の位置によらずに、重み係数を決定してしまうため、予測精度が低下してしまい、符号化性能が低下してしまうという問題点があった。

そこで、本発明は、上述した課題を解決するためになされたものであり、予測画像を生成する際に非平滑予測画像及び平滑予測画像を適切に合成することで予測精度の低下を防ぐことができる符号化装置、復号装置及びプログラムを提供することを目的とする。

本発明の第１の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている符号化装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部を具備しており、前記イントラ予測部は、参照画素に対して平滑化処理を施すことなく前記イントラ予測モードを用いて非平滑予測画像を生成するように構成されている非平滑イントラ予測部と、前記参照画素に対して平滑化処理を施した後に前記イントラ予測モードを用いて平滑予測画像を生成するように構成されている平滑イントラ予測部と、前記イントラ予測モード及び前記参照画素の位置に応じて重み係数を決定するように構成されている重み係数決定部と、前記重み係数を用いて、前記非平滑予測画像及び前記平滑予測画像を合成して前記予測画像を生成するように構成されている予測画像生成部とを具備することを要旨とする。

本発明の第２の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するように構成されている復号装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部を具備しており、前記イントラ予測部は、参照画素に対して平滑化処理を施すことなく前記イントラ予測モードを用いて非平滑予測画像を生成するように構成されている非平滑イントラ予測部と、前記参照画素に対して平滑化処理を施した後に前記イントラ予測モードを用いて平滑予測画像を生成するように構成されている平滑イントラ予測部と、前記イントラ予測モード及び前記参照画素の位置に応じて重み係数を決定するように構成されている重み係数決定部と、前記重み係数を用いて、前記非平滑予測画像及び前記平滑予測画像を合成して前記予測画像を生
成するように構成されている予測画像生成部とを具備することを要旨とする。

本発明の第３の特徴は、コンピュータを、上述の第１の特徴に記載の符号化装置として機能させるためのプログラムであることを要旨とする。

本発明の第４の特徴は、コンピュータを、上述の第２の特徴に記載の復号装置として機能させるためのプログラムであることを要旨とする。

本発明によれば、予測画像を生成する際に非平滑予測画像及び平滑予測画像を適切に合成することで予測精度の低下を防ぐことができる符号化装置、復号装置及びプログラムを提供することができる。

図１は、第１の実施形態に係る符号化装置１の機能ブロックの一例を示す図である。 図２は、第１の実施形態に係る符号化装置１のイントラ予測部１４ａの機能ブロックの一例を示す図である。 図３は、第１の実施形態において用いられるイントラ予測モードの方向の一例を示す図である。 図４は、第１の実施形態における予測画像の生成方法の一例を示す図である。 図５は、第１の実施形態における予測画像の生成方法の一例を示す図である。 図６は、第１の実施形態に係る符号化装置１の動作の一例を示すフローチャートである。 図７は、第１の実施形態に係る符号化装置１の動作の一例を示すフローチャートである。 図８は、第１の実施形態に係る符号化装置１の動作の一例を示すフローチャートである。 図９は、第１の実施形態に係る符号化装置１の動作の一例を示すフローチャートである。 図１０は、第１の実施形態に係る復号装置３の機能ブロックの一例を示す図である。 図１１は、第１の実施形態に係る復号装置３のイントラ予測部３３ａの機能ブロックの一例を示す図である。 図１２は、従来技術について説明するための図である。 図１３は、従来技術について説明するための図である。

（第１の実施形態）
以下、図１～図１１を参照して、本発明の第１の実施形態に係る符号化装置１及び復号装置３について説明する。

ここで、本実施形態に係る符号化装置１及び復号装置３は、ＨＥＶＣ等の動画像符号化方式におけるイントラ予測に対応するように構成されている。なお、本実施形態に係る符号化装置１及び復号装置３は、イントラ予測を行う動画像符号化方式であれば、任意の動画像符号化方式に対応することができるように構成されている。

本実施形態に係る符号化装置１は、動画像を構成するフレーム単位の原画像をＣＵに分割して符号化するように構成されている。また、本実施形態に係る符号化装置１は、ＣＵを複数のＴＵに分割することができるように構成されていてもよい。以下、本実施形態で
は、ＣＵを複数のＴＵに分割するケースを例に挙げて説明するが、本発明は、ＣＵを複数のＴＵに分割しないケースであって、当該ＣＵの参照画素の位置が下側や右側を含む場合にも適用可能である。

なお、本実施形態では、フレーム内で最も左上に位置するＣＵ等、隣接する復号済み参照画素が存在しない符号化対象のＣＵでは、規定した値（１０ビットの動画像であれば「５１２」）を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成されているため、符号化対象のＣＵの左側に隣接する画素について全て参照画素とすることができるものとする。

図１に示すように、本実施形態に係る符号化装置１は、イントラ予測モード決定部１１と、ＴＵ分割決定部１２と、符号化順制御部１３と、逐次局部復号画像生成部１４と、メモリ１５と、エントロピー符号化部１６とを具備している。

イントラ予測モード決定部１１は、ＣＵに適用する最適なイントラ予測モードを決定するように構成されている。

ＴＵ分割決定部１２は、ＣＵを複数のＴＵに分割するか否かについて決定するように構成されている。なお、本実施形態では、ＣＵを複数のＴＵに分割する方法として、４分割のケースを例に挙げて説明しているが、ＣＵを複数のＴＵに分割する際の分割数や分割形状については、かかるケースに制限されるものではない。

符号化順制御部１３は、イントラ予測モード（例えば、イントラ予測モードの方向）に基づいてＣＵ内のＴＵの符号化順を決定するように構成されている。

例えば、符号化順制御部１３は、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合に、イントラ予測モード決定部１１によって決定されたイントラ予測モードの方向が右上から左下に向かう方向（図３に示すイントラ予測モード２～９）である場合（すなわち、左下から右上に向かって方向予測が行われる場合）に、ＣＵ内のＴＵの符号化順として、従来のラスタースキャン順でなく、ＣＵ内の左下のＴＵ→ＣＵ内の右下のＴＵ→ＣＵ内の左上のＴＵ→ＣＵ内の右上のＴＵという符号化順、或いは、ＣＵ内の左下のＴＵ→ＣＵ内の左上のＴＵ→ＣＵ内の右下のＴＵ→ＣＵ内の右上のＴＵという符号化順のうち、予め規定した符号化順を採用するように構成されていてもよい。

逐次局部復号画像生成部１４は、符号化順制御部１３によって決定された符号化順及びＣＵのＴＵへの分割方法に基づいて局部復号画像（ＴＵごとの復号画像）を生成するように構成されている。

具体的には、逐次局部復号画像生成部１４は、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合に、符号化順制御部１３により決定された符号化順に従って、逐次、局部復号画像を生成するように構成されている。

図１に示すように、逐次局部復号画像生成部１４は、イントラ予測部１４ａと、残差信号生成部１４ｂと、直交変換・量子化部１４ｃと、逆量子化部・逆直交変換部１４ｄと、局部復号画像生成部１４ｅとを具備している。

イントラ予測部１４ａは、イントラ予測モード決定部１１により決定されたイントラ予測モードを用いて予測画像を生成するように構成されている。すなわち、イントラ予測部１４ａは、かかるイントラ予測モードに応じて予測画像を生成する際に用いる参照画素の位置を決定し、かかる参照画素を用いて予測画像を生成するように構成されている。

さらに、イントラ予測部１４ａは、符号化順制御部１３によって決定された符号化順で、予測画像を生成するように構成されていてもよい。

図２に示すように、イントラ予測部１４ａは、非平滑イントラ予測部１４ａ１と、平滑イントラ予測部１４ａ２と、重み係数決定部１４ａ３と、予測画像生成部１４ａ４とを具備している。

非平滑イントラ予測部１４ａ１は、参照画素に対して平滑化処理を施すことなくイントラ予測モードを用いて非平滑予測画像を生成するように構成されている。

平滑イントラ予測部１４ａ２は、参照画素に対して平滑化処理を施した後にイントラ予測モードを用いて平滑予測画像を生成するように構成されている。

重み係数決定部１４ａ３は、イントラ予測モード及び参照画素の位置に応じて重み係数を決定するように構成されている。

図３に、本実施形態において用いられるイントラ予測モードの一例について示す。図３に示すように、本実施形態では、イントラ予測モード２～９は、カテゴリＡに分類され、イントラ予測モード１０～２６は、カテゴリＢに分類され、イントラ予測モード２７～３４は、カテゴリＣに分類されるものとする。

ここで、重み係数決定部１４ａ３は、参照画素の位置として下側及び右側の少なくとも一方が含まれている場合、イントラ予測モードの方向に応じて予め規定される重み係数を変換した係数を、重み係数として決定するように構成されていてもよい。

具体的には、重み係数決定部１４ａ３は、参照画素の位置として下側及び右側が含まれていない場合、イントラ予測モードの方向に応じて予め規定される重み係数を用いるように決定するように構成されていてもよい。

すなわち、重み係数決定部１４ａ３は、イントラ予測モードがカテゴリＢに属している場合、イントラ予測モードの方向に応じて予め規定される重み係数を用いるように決定するように構成されていてもよい。

例えば、重み係数決定部１４ａ３は、イントラ予測モードが１８である場合、図１３（ａ）及び（ｂ）に示す重み係数の分布を用いるように構成されていてもよい。ここで、非平滑予測画像に対して適用する重み係数の分布を「α」とすると、平滑予測画像に対して適用する重み係数の分布は「１－α」となる。

或いは、重み係数決定部１４ａ３は、イントラ予測モードがカテゴリＡに属している場合で、且つ、参照画素の位置として下側が含まれていない場合（左側の隣接する参照画素のみを用いて予測画像を生成する場合）、イントラ予測モードの方向に応じて予め規定される重み係数を用いるように決定するように構成されていてもよい。

例えば、重み係数決定部１４ａ３は、イントラ予測モードが２であり、参照画素の位置として下側が含まれていない場合、図１２（ａ）及び（ｂ）に示す重み係数の分布を用いるように構成されていてもよい。ここで、非平滑予測画像に対して適用する重み係数の分布を「α」とすると、平滑予測画像に対して適用する重み係数の分布は「１－α」となる。

或いは、重み係数決定部１４ａ３は、イントラ予測モードがカテゴリＣに属している場合で、且つ、参照画素の位置として右側が含まれていない場合、イントラ予測モードの方向に応じて予め規定される重み係数を用いるように決定するように構成されていてもよい。

一方、重み係数決定部１４ａ３は、参照画素の位置として下側が含まれている場合（下側の隣接する参照画素を用いて予測画像を生成する場合）、イントラ予測モードの方向を垂直方向に反転した方向に応じて予め規定される重み係数を垂直方向に反転した係数を、かかる重み係数として決定するように構成されていてもよい。

例えば、重み係数決定部１４ａ３は、イントラ予測モードがカテゴリＡに属している場合で、且つ、参照画素の位置として左側及び下側が含まれている場合（左側及び下側の隣接する参照画素を用いて予測画像を生成する場合）、イントラ予測モードの方向を垂直方向に反転した方向に応じて予め規定される重み係数を垂直方向に反転した係数を、かかる重み係数として決定するように構成されていてもよい。

ここで、「イントラ予測モードの方向を垂直方向に反転する」とは、図３の例では、イントラ予測モード２～９の方向とイントラ予測モード１８～１１の方向との間でそれぞれ変換することを意味する、すなわち、イントラ予測モード１０の方向を基準にして各イントラ予測モードの方向を線対称な位置関係にあるイントラ予測モードの方向に変換することを意味する。

図４（ａ）及び図４（ｂ）は、イントラ予測モードが２である場合で且つ参照画素の位置として左側及び下側が含まれている場合の重み係数の分布の一例を示し、図５（ａ）及び図５（ｂ）は、イントラ予測モードが１８である場合の重み係数の分布の例を示す。

また、図４（ａ）及び図５（ａ）は、平滑化前参照画素を用いた予測画像（すなわち、非平滑予測画像）における重み係数の一例を示し、図４（ｂ）及び図５（ｂ）は、平滑化後参照画素を用いた予測画像（すなわち、平滑予測画像）における重み係数の一例を示す。

なお、図４及び図５において、黒い部分の重み係数は「０」であり、白い部分の重み係数は「１」である。

ここで、「重み係数を垂直方向に反転する」とは、図４及び図５に示す重み係数の分布を垂直方向Ｖに反転することによって各参照画素に対応する重み係数を変換することを意味する。

例えば、図４（ａ）に示す重み係数の分布を垂直方向Ｖに反転すると図５（ｂ）に示す重み係数の分布となり、図４（ｂ）に示す重み係数の分布を垂直方向Ｖに反転すると図５（ａ）に示す重み係数の分布となる。

すなわち、イントラ予測モードが２である場合で且つ参照画素の位置として左側及び下側が含まれている場合の重み係数の分布を垂直方向に反転すると、イントラ予測モードが１８である場合の重み係数の分布となる。

換言すると、重み係数決定部１４ａ３は、イントラ予測モードが２であり、参照画素の位置として左側及び下側が含まれている場合、図１２（ａ）及び（ｂ）に示す重み係数の分布を用いる代わりに、図５に示すイントラ予測モードが１８である場合の重み係数の分布を垂直方向に反転した重み係数の分布（図４に示す重み係数の分布）を用いるように構
成されている。

また、「重み係数を垂直方向に反転する」とは、以下の（式１）及び（式２）に示すように、重み係数の分布をαとα’との間で変換することを意味する。

ここで、α及びα’の各要素である「α１１」～「αｍｎ」が各参照画素に対応する重み係数を示す。

さらに、重み係数決定部１４ａ３は、参照画素の位置として右側が含まれている場合（右側の隣接する参照画素を用いて予測画像を生成する場合）、イントラ予測モードの方向を水平方向に反転した方向に応じて予め規定される重み係数を水平方向に反転した係数を、かかる重み係数として決定するように構成されていてもよい。

例えば、重み係数決定部１４ａ３は、イントラ予測モードがカテゴリＣに属している場合で、且つ、参照画素の位置として上側及び右側が含まれている場合（上側及び右側の隣接する参照画素を用いて予測画像を生成する場合）、イントラ予測モードの方向を水平方向に反転した方向に応じて予め規定される重み係数を水平方向に反転した係数を、かかる重み係数として決定するように構成されていてもよい。

ここで、「イントラ予測モードの方向を水平方向に反転する」とは、図３の例では、イントラ予測モード１８～２５の方向とイントラ予測モード３４～２７の方向との間でそれぞれ変換することを意味する、すなわち、イントラ予測モード２６の方向を基準にして各イントラ予測モードの方向を線対称な位置関係にあるイントラ予測モードの方向に変換することを意味する。

また、「重み係数を水平方向に反転する」とは、図４及び図５に示す重み係数の分布を垂直方向Ｈに反転することによって各参照画素に対応する重み係数を変換することを意味する。

或いは、「重み係数を水平方向に反転する」とは、以下の（式３）及び（式４）に示すように、重み係数の分布をαとα’’との間で変換することを意味する。

ここで、α及びα’’の各要素である「α１１」～「αｍｎ」が各参照画素に対応する重み係数を示す。

予測画像生成部１４ａ４は、重み係数決定部１４ａ３によって決定された重み係数を用いて、非平滑予測画像及び平滑予測画像を合成して予測画像を生成するように構成されている。

残差信号生成部１４ｂは、イントラ予測部１４ａによって生成された予測画像と原画像との差分により残差信号を生成するように構成されている。

直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して直交変換処理及び量子化処理を施し、量子化された変換係数を生成するように構成されている。

逆量子化部・逆直交変換部１４ｄは、直交変換・量子化部１４ｃによって生成された量子化された変換係数に対して、再び逆量子化処理及び逆直交変換処理を施して残差信号を生成するように構成されている。

局部復号画像生成部１４ｅは、逆量子化部・逆直交変換部１４ｄによって生成された残差信号に対してイントラ予測部１４ａによって生成された予測画像を加えることで局部復号画像を生成するように構成されている。

メモリ１５は、逐次局部復号画像生成部１４によって生成された局部復号画像を参照画像として利用可能に保持するように構成されている。

エントロピー符号化部１６は、イントラ予測モード決定部１１によって決定されたイントラ予測モード等を含むフラグ情報や量子化された変換係数に対してエントロピー符号化処理を施してストリーム出力するように構成されている。

図６～図９に、本実施形態に係る符号化装置１において予測画像を生成する動作の一例について説明するためのフローチャートについて示す。

図６に示すように、ステップＳ１０１において、ＣＵを複数のＴＵに分割される場合に
は、本動作は、ステップＳ１０２に進む。一方、ステップＳ１０１において、ＣＵを複数のＴＵに分割されない場合には、本動作は、ステップＳ１０４に進む。

ステップＳ１０２において、イントラ予測モードがカテゴリＡに属している場合には、本動作は、図７に進み、イントラ予測モードがカテゴリＡに属していない場合には、本動作は、ステップＳ１０３に進む。

ステップＳ１０３において、イントラ予測モードがカテゴリＢに属している場合には、本動作は、図８に進み、イントラ予測モードがカテゴリＢに属していない場合（すなわち、イントラ予測モードがカテゴリＣに属している場合）には、本動作は、図９に進む。

ステップＳ１０４において、符号化装置１は、左側及び上側の参照画素を用いて予測画像を生成する。

図７に示すように、ステップＳ２０１において、参照画素の位置として左側及び下側が含まれている場合には、本動作は、ステップＳ２０２に進み、参照画素の位置として下側が含まれていない場合には、本動作は、ステップＳ２０４に進む。

ステップＳ２０２において、符号化装置１は、イントラ予測モードの方向を垂直方向に反転した方向に応じて予め規定される重み係数を算出する。

ステップＳ２０３において、符号化装置１は、算出した重み係数を垂直方向に反転した重み係数を用いて予測画像を生成する。

ステップＳ２０４において、符号化装置１は、イントラ予測モードの方向に応じて予め規定される重み係数を算出する。

ステップＳ２０５において、符号化装置１は、算出した重み係数を用いて予測画像を生成する。

図８に示すように、ステップＳ３０１において、符号化装置１は、イントラ予測モードの方向に応じて予め規定される重み係数を算出する。

ステップＳ３０２において、符号化装置１は、算出した重み係数を用いて予測画像を生成する。

図９に示すように、ステップＳ４０１において、参照画素の位置として上側及び右側が含まれている場合には、本動作は、ステップＳ４０２に進み、参照画素の位置として右側が含まれていない場合には、本動作は、ステップＳ４０４に進む。

ステップＳ４０２において、符号化装置１は、イントラ予測モードの方向を水平方向に反転した方向に応じて予め規定される重み係数を算出する。

ステップＳ４０３において、符号化装置１は、算出した重み係数を水平方向に反転した重み係数を用いて予測画像を生成する。

ステップＳ４０４において、符号化装置１は、イントラ予測モードの方向に応じて予め規定される重み係数を算出する。

ステップＳ４０５において、符号化装置１は、算出した重み係数を用いて予測画像を生
成する。

本実施形態に係る符号化装置１によれば、イントラ予測モードやＣＵ/ＴＵのサイズだけでなく参照画素の位置を考慮して重み係数を決定することができるので、予測画像を生成する際に非平滑予測画像及び平滑予測画像を適切に合成することで予測精度の低下を防ぐことができる。

例えば、図４に示すように、イントラ予測モード２を用いて予測画像を生成する場合、参照画素に近い左側及び下側に位置する予測画素については、非平滑予測画像の予測精度が高くなると考えられる一方、参照画素から遠い右上に位置する予測画素については、平滑予測画像の予測精度が高くなると考えられる。

したがって、本実施形態に係る符号化装置１によれば、参照画素の位置として左側及び右側が含まれている場合には、図１２に示す重み係数の分布を用いる代わりに、図４に示す重み係数の分布を用いることで、予測精度を向上させることができる。

また、本実施形態に係る復号装置３は、動画像を構成するフレーム単位の原画像をＣＵに分割して復号するように構成されている。また、本実施形態に係る復号装置３は、本実施形態に係る符号化装置１と同様に、ＣＵを複数のＴＵに分割することができるように構成されている。

図１０に示すように、本実施形態に係る復号装置３は、エントロピー復号部３１と、復号順制御部３２と、逐次復号画像生成部３３と、メモリ３４とを具備している。

エントロピー復号部３１は、符号化装置１から出力されたストリームに対してエントロピー復号処理を施すことによって、符号化装置１から出力されたストリームから、変換係数やフラグ情報等を復号するように構成されている。ここで、変換係数は、符号化装置１によって、フレーム単位の原画像をＣＵに分割して符号化された信号として得られた量子化された変換係数である。

復号順制御部３２は、イントラ予測モードに基づいてＣＵ内のＴＵの復号順を決定するように構成されている。

具体的には、復号順制御部３２は、エントロピー復号部３１によって出力されたＴＵ分割が行われた否か（ＣＵが複数のＴＵに分割されているか否か）について示すフラグ及びイントラ予測モードの方向に応じて、ＣＵ内のＴＵの復号順を決定するように構成されている。

例えば、復号順制御部３２は、符号化順制御部１３と同様に、ＣＵが複数のＴＵに分割されている場合で、且つ、イントラ予測モードの方向が右上から左下に向かう方向（すなわち、左下から右上に向かって方向予測が行われる場合）である場合、ＣＵ内の左下のＴＵ→ＣＵ内の右下のＴＵ→ＣＵ内の左上のＴＵ→ＣＵ内の右上のＴＵという復号順、或いは、ＣＵ内の左下のＴＵ→ＣＵ内の左上のＴＵ→ＣＵ内の右下のＴＵ→ＣＵ内の右上のＴＵという復号順のうち、予め規定した復号順で、復号処理を行うように構成されていてもよい。

逐次復号画像生成部３３は、復号順制御部３２によって決定された復号順及びＣＵのＴＵへの分割方法に基づいてＴＵごとの復号画像を生成するように構成されている。

具体的には、逐次復号画像生成部３３は、ＣＵが複数のＴＵに分割されている場合に、
復号順制御部３２によって決定された復号順に従って、エントロピー復号部３１によって出力された量子化された変換係数に対して、逐次、イントラ予測や逆量子化処理や逆直交変換処理を行うことによって、復号画像を生成するように構成されている。

図１０に示すように、逐次復号画像生成部３３は、イントラ予測部３３ａと、逆量子化・逆変換部３３ｂと、復号画像生成部３３ｃとを具備している。

イントラ予測部３３ａは、復号順制御部３２によって決定した復号順に従って、エントロピー復号部３１によって出力されたイントラ予測モードを用いて、予測画像を生成するように構成されていてもよい。

図１１に示すように、イントラ予測部３３ａは、非平滑イントラ予測部３３ａ１と、平滑イントラ予測部３３ａ２と、重み係数決定部３３ａ３と、予測画像生成部３３ａ４とを具備している。

非平滑イントラ予測部３３ａ１は、非平滑イントラ予測部１４ａ１と同様に、参照画素に対して平滑化処理を施すことなくイントラ予測モードを用いて非平滑予測画像を生成するように構成されている。

平滑イントラ予測部３３ａ２は、平滑イントラ予測部１４ａ２と同様に、参照画素に対して平滑化処理を施した後にイントラ予測モードを用いて平滑予測画像を生成するように構成されている。

重み係数決定部３３ａ３は、重み係数決定部１４ａ３と同様に、イントラ予測モード及び参照画素の位置に応じて重み係数を決定するように構成されている。

予測画像生成部３３ａ４は、予測画像生成部１４ａ４と同様に、重み係数決定部１４ａ３によって決定された重み係数を用いて、非平滑予測画像及び平滑予測画像を合成して予測画像を生成するように構成されている。

逆量子化・逆変換部３３ｂは、エントロピー復号部３１によって出力された量子化された変換係数に対して逆量子化処理及び逆変換処理（例えば、逆直交変換処理）を施すことによって、残差信号を生成するように構成されている。

復号画像生成部３３ｃは、イントラ予測部３３ａによって生成された予測画像と逆量子化・逆変換部３３ｂによって生成された残差信号とを加えることで復号画像を生成するように構成されている。

メモリ３４は、逐次復号画像生成部３３によって生成された復号画像を、イントラ予測及びインター予測のための参照画像として利用可能に保持するように構成されている。

なお、本実施形態に係る復号装置３において予測画像を生成する動作は、図６～図９に示す本実施形態に係る符号化装置１において予測画像を生成する動作と同一であるため、説明を省略する。

本実施形態に係る復号装置３によれば、イントラ予測モードやＣＵ/ＴＵのサイズだけでなく参照画素の位置を考慮して重み係数を決定することができるので、予測画像を生成する際に非平滑予測画像及び平滑予測画像を適切に合成することで予測精度の低下を防ぐことができる。

（その他の実施形態）
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

また、上述の実施形態では特に触れていないが、上述の符号化装置１及び復号装置３によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の記録媒体であってもよい。

或いは、上述の符号化装置１及び復号装置３内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。

１…符号化装置
１１…イントラ予測モード決定部
１２…ＴＵ分割決定部
１３…符号化順制御部
１４…逐次局部復号画像生成部
１４ａ…イントラ予測部
１４ａ１…非平滑イントラ予測部
１４ａ２…平滑イントラ予測部
１４ａ３…重み係数決定部
１４ａ４…予測画像生成部
１４ｂ…残差信号生成部
１４ｃ…直交変換・量子化部
１４ｄ…逆量子化部・逆直交変換部
１４ｅ…局部復号画像生成部
１５…メモリ
１６…エントロピー符号化部
３…復号装置
３１…エントロピー復号部
３２…復号順制御部
３３…逐次復号画像生成部
３３ａ…イントラ予測部
３３ａ１…非平滑イントラ予測部
３３ａ２…平滑イントラ予測部
３３ａ３…重み係数決定部
３３ａ４…予測画像生成部
３３ｂ…逆量子化・逆変換部
３３ｃ…復号画像生成部
３４…メモリ

Claims (4)

1. 動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化する符号化装置であって、
   前記符号化対象ブロックに対するイントラ予測処理に用いる参照画素の位置を決定する参照画素位置決定部と、
   前記決定した位置の参照画素に対して平滑化処理を施すことなくイントラ予測モードに基づいて非平滑画像を生成する第１生成部と、
   前記イントラ予測モードを用いて、平滑化処理を施した前記決定した位置の参照画素により予測画像を生成する第２生成部と、
   前記非平滑画像と前記予測画像との重み付き合成処理を行う重み付き合成部と、を具備し、
   前記重み付き合成部は、
   前記イントラ予測モードが水平方向のモードよりも小さい場合であって、且つ、前記決定した参照画素の位置が、前記符号化対象ブロックの左側に隣接する画素ラインに含まれる位置のみであるという条件が満たされた場合には、所定の重み係数を決定する処理を行い、当該条件が満たされない場合には、当該処理と異なる処理を行い、
   前記イントラ予測モードが垂直方向のモードよりも大きい場合であって、且つ、前記決定した参照画素の位置が、前記符号化対象ブロックの上側に隣接する画素ラインに含まれる位置のみであるという条件が満たされた場合には、所定の重み係数を決定する処理を行い、当該条件が満たされない場合には、当該処理と異なる処理を行うことを特徴とする符号化装置。
2. 動画像を構成するフレーム単位の原画像を分割して得られた復号対象ブロックを復号する復号装置であって、
   前記復号対象ブロックに対するイントラ予測処理に用いる参照画素の位置を決定する参照画素位置決定部と、
   前記決定した位置の参照画素に対して平滑化処理を施すことなくイントラ予測モードに基づいて非平滑画像を生成する第１生成部と、
   前記イントラ予測モードを用いて、平滑化処理を施した前記決定した位置の参照画素により予測画像を生成する第２生成部と、
   前記非平滑画像と前記予測画像との重み付き合成処理を行う重み付き合成部と、を具備し、
   前記重み付き合成部は、
   前記イントラ予測モードが水平方向のモードよりも小さい場合であって、且つ、前記決定した参照画素の位置が、前記復号対象ブロックの左側に隣接する画素ラインに含まれる位置のみであるという条件が満たされた場合には、所定の重み係数を決定する処理を行い、当該条件が満たされない場合には、当該処理と異なる処理を行い、
   前記イントラ予測モードが垂直方向のモードよりも大きい場合であって、且つ、前記決定した参照画素の位置が、前記復号対象ブロックの上側に隣接する画素ラインに含まれる位置のみであるという条件が満たされた場合には、所定の重み係数を決定する処理を行い、当該条件が満たされない場合には、当該処理と異なる処理を行うことを特徴とする復号装置。
3. コンピュータを、請求項１に記載の符号化装置として機能させるためのプログラム。
4. コンピュータを、請求項２に記載の復号装置として機能させるためのプログラム。

Images