JP2021122123A - 画像コーディング装置、画像デコーディング装置、及び画像処理機器 - Google Patents

Abstract

【課題】コーディングコストを増やしすぎずに、より正確なイントラ予測結果を得る画像コーディング／デコーディング方法、装置及び画像処理機器を提供する。【解決手段】イントラ予測方式を用いて予測単位の複数のサブ予測単位についてコーディング／デコーディングを行う画像コーディング方法であって、予測単位の予測モードを決定するステップと、予測単位の複数のサブ予測単位の残差情報をそれぞれ計算するステップと、予測単位の予測モード情報及び複数のサブ予測単位の残差情報をビット流に組み込むステップと、を含む。【選択図】図５

Description

本発明は、図形画像技術分野に関し、特に画像コーディング／デコーディング方法、装置及び画像処理機器に関する。

動画コーディング（「画像コーディング」ともいう）規格（例：ＭＰＥＧ ２、Ｈ．２６４／ＡＣＶ、Ｈ．２６５／ＨＥＶＣ）中のイントラコーディング（ｉｎｔｒａ ｃｏｄｉｎｇ、以後「イントラ予測コーディング」という場合もある）は、再構築された隣接画素を使用して現行のコーディング待ちブロックを予測する。該コーディング待ちブロックは、予測単位（ＰＵ、Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）と呼ぶことができる。

図１は、イントラ予測方式の概略図であり、図１に示すように、コーディング待ちブロック（ＰＵ）は、再構築された隣接画素によって予測することができる。ここで、コーディング単位（ＣＵ、Ｃｏｄｉｎｇ Ｕｎｉｔ）は、１つのＰＵによって予測可能であり、複数のＰＵによっても予測可能である。

図２は、ＣＵとＰＵとの間の関係の概略図であり、図２に示すように、１つのＣＵは、１つ又は４つのＰＵによって予測可能であり、ここで、各ＰＵは、自らの予測モード（Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅ）を有する。イントラコーディング方式を用いる場合、コーディング側は、まず予測単位の予測モード及び残差情報（Ｒｅｓｉｄｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ）を決定し、その後、これらの情報をビット流（「ビットストリーム」ともいう）中に組み込む。デコーディング側は、ビット流中から予測単位の予測モード情報及び残差情報を取得し、これらの情報に基づき画像を再構築する。

上の技術的背景についての説明は、本発明の技術手段について明確で、完全な説明を行うためのものであって、本分野当業者が理解しやすくするために記述されたものにすぎないことに注意しなければならない。これらの手段が本発明の背景技術部分に記述されているという理由だけで、上記技術手段が本分野当業者の公知であると考えてはならない。

しかし発明者は、現在の手段は予測単位を粒度としてイントラ予測を行うが、予測単位が大いと、予測結果が不正確になり、予測単位が小さいと、ビット流により多くの予測モード情報及び残差情報を組み込む必要があるため、コーディングコスト（又は「ビットコスト」という）が大きくなることが分かった。

本発明実施例は、画像コーディング／デコーディング方法、装置及び画像処理機器を提供し、コーディングコストを増やしすぎずに、より正確なイントラ予測結果を提供することが期待される。

本発明実施例の第１の面によれば、画像コーディング方法を提供し、イントラ予測方式を用いて予測単位の複数のサブ予測単位についてコーディングを行い、前記画像コーディング方法は、
前記予測単位の予測モードを決定するステップと、
前記予測単位の複数のサブ予測単位の残差情報をそれぞれ計算するステップと、
前記予測単位の予測モード情報及び前記複数のサブ予測単位の残差情報をビット流に組み込むステップと、を含む。

本発明実施例の第２の面によれば、画像コーディング装置を提供し、イントラ予測方式を用いて予想単位の複数のサブ予測単位についてコーディングを行い、前記画像コーディング装置は、
前記予測単位の予測モードを決定するモード決定部と、
前記予測単位の複数のサブ予測単位の残差情報をそれぞれ計算する情報計算部と、
前記予測単位の予測モード情報及び前記複数のサブ予測単位の残差情報をビット流に組み込むビット流コーディング部と、を含む。

本発明実施例の第３の面によれば、画像デコーディング方法を提供し、イントラ予測方式を用いて予測単位の複数のサブ予測単位についてデコーディングを行い、前記画像デコーディング方法は、
ビット流から予測単位の予測モード情報及び前記予測単位の複数のサブ予測単位の残差情報を取得するステップと、
前記予測単位の予測モード及び前記複数のサブ予測単位の残差情報に基づき、前記サブ予測単位の再構築画像をそれぞれ計算するステップと、を含む。

本発明実施例の第４の面によれば、画像デコーディング装置を提供し、イントラ予測方式を用いて予測単位の複数のサブ予測単位についてデコーディングを行い、前記画像デコーディング装置は、
ビット流から予測単位の予測モード情報及び前記予測単位の複数のサブ予測単位の残差情報を取得する情報取得部と、
前記予測単位の予測モード及び前記複数のサブ予測単位の残差情報に基づき、前記サブ予測単位の再構築画像をそれぞれ計算する画像再構築部と、を含む。

本発明実施例の第５の面によれば、画像処理機器を提供し、ここで、前記画像処理機器は、
前記画像コーディング装置を含むエンコーダ、及び／又は
前記画像デコーディング装置を含むデコーダを含む。

本発明実施例のもう１つの面によれば、コンピュータ可読プログラムを提供し、ここで、画像コーディング装置又は画像処理機器中で前記プログラムを実行する場合、前記プログラムは、前記画像コーディング装置又は画像処理機器に上記画像コーディング方法を実行させる。

本発明実施例のもう１つの面によれば、コンピュータ可読プログラムを格納した記憶媒体を提供し、ここで、前記コンピュータ可読プログラムは、画像コーディング装置又は画像処理機器に上記画像コーディング方法を実行させる。

本発明実施例は、コンピュータ可読プログラムを提供し、ここで、画像デコーディング装置又は画像処理機器中で前記プログラムを実行する場合、前記プログラムは、前記画像デコーディング装置又は画像処理機器に上記画像デコーディング方法を実行させる。

本発明実施例は、コンピュータ可読プログラムを格納した記憶媒体を提供し、ここで、前記コンピュータ可読プログラムは、画像デコーディング装置又は画像処理機器に上記画像デコーディング方法を実行させる。

本発明実施例の有益な効果は、予測単位の予測モードを決定し、前記予測単位の複数のサブ予測単位の残差情報をそれぞれ計算すること、並びに前記予測単位の予測モード情報及び前記複数のサブ予測単位の残差情報をビット流に組み込むことにある。これによって、コーディングコストを増やしすぎずに、より正確なイントラ予測結果を提供することができる。

以下の説明及び図面を参照すること。本発明の特定の実施形態を詳細に公開し、本発明の原理が用いることができる方式を明示している。本発明の実施形態の範囲は、それによって制限を受けるものではないことを理解しておかなければならない。添付の請求項の精神及び条項の範囲内で、本発明の実施形態は、多くの変化、変更及び等価を含む。

一実施形態が記述し且つ／又は示す特徴について、同一若しくは類似の形で１つ若しくはより多くのその他の実施形態中で使用し、その他の実施形態中の特徴と組み合わせ、又はその他の実施形態中の特徴を代替することができる。

用語「含む（包括／包含）」は、本明細書において使用する場合、特徴、部品全体、ステップ又はアセンブリの存在を指すが、１つ若しくはより多くのその他の特徴、部品全体、ステップ若しくはアセンブリの存在又は付加を排除するものではないことを強調しておかなければならない。

以下の図面を参照すれば、本発明の多くの面をよりよく理解することができる。図面中のパーツは、比例して描かれたものではなく、本発明の原理を示すためのものにすぎない。本発明のいくつかの部分を示し、記述しやすいように、図面中の対応する部分は、拡大され又は縮小されている可能性がある。

本発明の一図面又は一実施形態中で記述された要素及び特徴は、１つ若しくはより多くのその他の図面又は実施形態中で示された要素及び特徴と結合することができる。また、図面中の類似する記号は、図面中のいくつかの対応するパーツを表し、複数の実施形態中で使用される対応パーツを指すために用いることができる。
イントラ予測方式を示す図である。 ＣＵとＰＵとの間の関係を示す図である。 イントラ予測方式を用いてコーディングを行うことを示す図である。 イントラ予測方式を用いてデコーディングを行うことを示す図である。 本発明実施例１の画像コーディング方法を示す図である。 本発明実施例１のＰＵとｓｕｂ−ＰＵとの関係を示す図である。 本発明実施例１のもう１つの画像コーディング方法を示す図である。 本発明実施例１のラスタースキャン方式を示す図である。 本発明実施例１のＺスキャン方式を示す図である。 本発明実施例１のもう１つの画像コーディング方法を示す図である。 本発明実施例２の画像デコーディング方法を示す図である。 本発明実施例２のもう１つの画像デコーディング方法を示す図である。 本発明実施例２のもう１つの画像デコーディング方法を示す図である 本発明実施例３の画像コーディング装置を示す図である。 本発明実施例３のもう１つの画像コーディング装置を示す図である。 本発明実施例４の画像デコーディング装置を示す図である。 本発明実施例４の画像再構築部を示す図である。 本発明実施例５のエンコーダ又はデコーダを示す図である。

図面を参照し、以下の明細書によって、本発明の前述の及びその他の特徴が明確になるだろう。明細書及び図面中で、本発明の特定の実施形態を具体的に公開し、その中に本発明の原理を用いることができる一部実施形態を明らかにしている。本発明は、記述された実施形態に限定されず、反対に、本発明は、添付の請求項の範囲内に入るすべての変更、変形及び等価物を含むことを理解しておかなければならない。

図３は、イントラ予測方式を用いてコーディングを行うことを示す図であり、コーディング側の１つのＰＵに対する状況を示している。図３に示すように、各ＰＵについて、まず該ＰＵの予測モードを決定し、その後、予測画像（Ｐｒｅｄｉｃｔｉｏｎ ｉｍａｇｅ）を計算しても良い。原始画像及び予測画像に基づき、残差情報を計算してもよい。

図３に示すように、コーディング側は、残差情報についてコーディング演算を行っても良く、例えば、変換（Ｔｒａｎｓｆｏｒｍ）及び量子化（Ｑｕａｎｔｉｌｉｚａｔｉｏｎ）などの演算を行う。その後、コーディング演算後の残差情報についてデコーディング演算を行っても良く、例えば、逆量子化（ＩＱ、Ｉｎｖｅｒｓｅ Ｑｕａｎｔｉｌｉｚａｔｉｏｎ）及び逆変換（ＩＴ、Ｉｎｖｅｒｓｅ Ｔｒａｎｓｆｏｒｍ）などの演算を行い、デコーディング演算後の結果ｄｅｃ＿ｒｅｓｉを得る。その後、該ｄｅｃ＿ｒｅｓｉ及び予測画像に基づき、再構築画像（Ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｉｍａｇｅ）を計算し、該再構築画像を保存して後続のコーディングに用いても良い。

図３に示すように、コーディング側は、予測モード情報及び残差情報をビット流中に組み込んで良い。

図４は、イントラ予測方式を用いてデコーディングを行うことを示す図であり、デコーディング側の１つのＰＵに対する状況を示している。図４に示すように、デコーディング側は、ビット流から各ＰＵの予測モード情報及び残差情報を取得しても良く、その後、予測画像を算出しても良い。

図４に示すように、デコーディング側は、残差情報についてデコーディングを行っても良く、例えば、逆量子化（ＩＱ）及び逆変換（ＩＴ）などの演算を行い、デコーディング演算後の結果ｄｅｃ＿ｒｅｓｉを得る。その後、該ｄｅｃ＿ｒｅｓｉ及び予測画像に基づき再構築画像を計算し、該再構築画像を保存して後続のデコーディングに用いても良い。

以上は、コーディング側及びデコーディング側がイントラ予測方式を用いてコーディング及びデコーディングを行う場合を概略的に説明したものにすぎないが、本発明は、これに限定されないことに注意すべきである。例えば、予測モード情報は、決定後にビット流に組み込まれてもよいなど、実際の状況に応じて、具体的実施形態を決めても良い。また、予測モード及び残差情報の具体的内容、並びに残差情報を具体的にいかに計算するかなどに関しては、既存規格を参照しても良く、本発明ではこれ以上くどくどとは述べない。

以上の手段は、予測単位を粒度としてイントラ予測を行い、予測単位が大きいと、予測結果が不正確になり、予測単位が小さいと、ビット流により多くの予測モード情報及び残差情報を組み込む必要があるため、コーディングコストが大きくなる。以下では、本発明実施例を詳細に説明する。

［実施例１］
本発明実施例は、画像コーディング方法を提供し、イントラ予測方式を用いて予測単位（ＰＵ）の複数のサブ予測単位（ｓｕｂ−ＰＵ）についてコーディングを行う。

図５は、本発明実施例の画像コーディング方法を示す図であり、コーディング側から１つの予測単位について説明する。図５に示すように、前記画像コーディング方法は、
予測単位の予測モードを決定するステップ５０１と、
前記予測単位の複数のサブ予測単位の残差情報をそれぞれ計算するステップ５０２と、
前記予測単位の予測モード情報及び前記複数のサブ予測単位の残差情報をビット流に組み込むステップ５０３と、を含む。

本実施例において、サブ予測単位のサイズは、あらかじめ決定されてもよい。例えば、ＰＵの形状が正方形であろうが、長方形であろうが、その他の形状であろうが、ｓｕｂ−ＰＵは一貫して正方形であり、あらかじめ定義されたサイズを有してもよい。ここで、サブ予測単位のサイズ情報は、シーケンスパラメータセット（ＳＰＳ、Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）中に含まれ、又は画像パラメータセット（ＰＰＳ、Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）中に含まれ、又は事前決定値（例えば、デフォルト値）であってもよい。

図６は、本発明実施例のＰＵとｓｕｂ−ＰＵとの関係を示す略図であり、いくつかの例を示している。図６に示すように、例えば、ＰＵとｓｕｂ−ＰＵとは、ともに正方形であってもよく、１つのＰＵは、１６個のｓｕｂ−ＰＵに分割されてもよい。或いは、例えばＰＵは、長さが幅より小さい長方形であり、一方ｓｕｂ−ＰＵは、正方形であり、１つのＰＵが８つのｓｕｂ−ＰＵに分割されてもよい。或いは、例えばＰＵは、長さが幅より大きい長方形であり、一方ｓｕｂ−ＰＵは、正方形であり、１つのＰＵが８つのｓｕｂ−ＰＵに分割されてもよい。

図６に示すように、ｓｕｂ−ＰＵのサイズ及び形状は固定されていてもよく、例えば、４＊４（画素＊画素）又は８＊８であってもよい。図６は、ＰＵとｓｕｂ−ＰＵとの関係を概略的に示したものにすぎず、本発明は、これに限定されず、実際の状況に応じて具体的分割方式を決定してもよいことに注意すべきである。

本実施例において、１つの予測単位の複数のサブ予測単位は、同一の予測モードに対応する。すなわち、同一の予測単位の複数のサブ予測単位は、同一イントラ予測モードを共有する。これによって、各サブ予測単位の予測モード情報についてビット流コーディングを行う必要はなく、コーディングするビット流コストを増加しすぎることはない。また、予測単位をより細かい予測ブロックに分割するため、イントラ予測の正確性を高めることができる。

図７は、本発明実施例のもう１つの画像コーディング方法を示す図であり、コーディング側から１つの予測単位について説明する。図７に示すように、前記画像コーティング方法は、
予測単位の予測モードを決定するステップ７０１と、
前記予測単位の１つのサブ予測単位を選択するステップ７０２と、
前記予測単位の予測画像を計算する（ここで予測画像は、ｐｒｅｄｉｃｔｉｏｎと表しても良い）ステップ７０３と、
原始画像及び前記予測画像に基づき、前記サブ予測単位の残差情報を計算する（すなわち、ｒｅｓｉ＝ｏｒｉｇｉｎａｌ−ｐｒｅｄｉｃｔｉｏｎ。式中、ｒｅｓｉは、該サブ予測単位の残差情報を表し、ｏｒｉｇｉｎａｌは、原始画像を表す。残差情報を具体的にいかに計算するかに関しては、関連技術を参考にすることができる。）ステップ７０４と、
前記残差情報についてコーディング演算を行う（例えば、該ｒｅｓｉについて変換（Ｔｒａｎｓｆｏｒｍ）及び量子化（Ｑｕａｎｔｉｌｉｚａｔｉｏｎ）などの演算を行っても良いが、本発明は、これに限定されず、その他のコーディング演算であってもよい。コーディング演算を具体的にいかに行うかに関しては、関連技術を参考にすることができる。）ステップ７０５と、
コーディング演算後の残差情報についてデコーディング演算を行う（例えば、コーディング演算後の残差情報について逆量子化（ＩＱ、Ｉｎｖｅｒｓｅ Ｑｕａｎｔｉｌｉｚａｔｉｏｎ）及び逆変換（ＩＴ、Ｉｎｖｅｒｓｅ Ｔｒａｎｓｆｏｒｍ）などの演算を行っても良く、デコーディング後の結果ｄｅｃ＿ｒｅｓｉを得ても良い。しかし本発明は、これに限定されず、その他のデコーディング演算であってもよい。デコーディング演算を具体的にいかに行うかに関しては、関連技術を参考にすることができる。

本実施例において、コーディング演算及びデコーディング演算は、損失演算であるため、上記ステップ７０５およびステップ７０６を行った後、当初のｒｅｓｉと異なる結果を得ることができる。）ステップ７０６と、
デコーディング演算の結果及び予測画像に基づき、前記サブ予測単位の再構築画像を計算する（例えば、ｒｅｃｏ＝ｄｅｃ＿ｒｅｓｉ＋ｐｒｅｄｉｃｔｉｏｎ。式中、ｒｅｃｏは、該サブ予測単位の再構築画像を表す。）ステップ７０７と、
該再構築画像を保存する（本実施例においては、該再構築画像を後続のコーディングに用いても良い。）ステップ７０８と、
その他のサブ予測単位もあるかどうかを決定し、その他のサブ予測単位もある場合、ステップ７０２を実行し、次の予測単位の処理を続け、その他のサブ予測単位がない場合、ステップ７１０を実行しても良いステップ７０９と、
前記予測単位の予測モード情報及び前記複数のサブ予測単位の残差情報をビット流に組み込む（ここで、前記予測単位の予測モード情報は、ステップ７０１から取得してもよく、前記複数のサブ予測単位の残差情報は、ステップ７０５から取得してもよい）ステップ７１０と、
を含む。

図７は、本発明実施例を概略的に説明したものにすぎず、本発明は、これに限定されないことに注意すべきである。例えば、各ステップ間の実行順序を適宜調整してもよく、また、その他いくつかのステップを追加し、又はそのうちいくつかのステップを減らしてもよい。本分野当業者は、上記内容に基づき、適宜変形することができ、上記図面の記載のみに限定されるものではない。

例えば、予測単位全体の処理が完了してからビット流コーディングを行ってもよく、前記予測単位の予測モード情報または前記複数のサブ予測単位の残差情報を決定してから、すぐビット流コーディングを行ってもよく、実際の状況に応じて、ビット流コーディングのタイミングを決定しても良い。

本実施例において、予測単位中の各サブ予測単位の処理順序について、例えば、ラスタースキャン（ｒａｓｔｅｒ ｓｃａｎ）方式、又はＺ方式を用いてもよいが、本発明は、これに限定されない。

図８は、本発明実施例のラスタースキャン方式を示す図であり、いくつかのラスタースキャン方式の例を示している。図９は、本発明実施例のＺスキャン方式を示す図であり、いくつかのＺスキャン方式の例を示している。

本実施例において、予測単位が複数のサブ予測単位に分割されるかどうかについて指示してもよい。予測単位が複数のサブ予測単位に分割されるかどうかを指示する指示情報をビット流中に組み込んでもよく、これによって、適応的に予測単位を粒度として、イントラ予測を行い、又はサブ予測単位を粒度として、イントラ予測を行うことができる。

本実施例において、該指示情報は、例えば、１ビットラベルであってもよく、以下、ｉｎｔｒａ＿ｓｕｂ＿ｐｕ＿ｆｌａｇを例にとって説明する。ここで、ｉｎｔｒａ＿ｓｕｂ＿ｐｕ＿ｆｌａｇ＝０は、予測単位が複数のサブ予測単位に分割されていないこと表す。すなわち、予測単位を粒度としてイントラ予測を行う。ｉｎｔｒａ＿ｓｕｂ＿ｐｕ＿ｆｌａｇ＝１は、予測単位が複数のサブ予測単位に分割されていることを表す。すなわち、サブ予測単位を粒度としてイントラ予測を行う。

本実施例において、前記指示情報の粒度は、予測単位（ＰＵ）レベル、又はコーディング単位（ＣＵ）レベル、又はスライス（Ｓｌｉｃｅ）レベル、又は画像（Ｐｉｃｔｕｒｅ）レベル、又はシーケンス（Ｓｅｑｕｅｎｃｅ）レベルであってもよいが、本発明は、これに限定されない。

図１０は、本発明実施例のもう１つの画像コーディング方法を示す図であり、コーディング側から１つの予測単位について説明する。図１０は、指示情報の粒度が適応的に予測単位（ＰＵ）レベル又はサブ予測単位（ｓｕｂ−ＰＵ）レベルを使用する状況を概略的に示している。図１０に示すように、前記画像コーディング方法は、
予測単位を粒度とする（すなわち、サブ予測単位に分割しない）場合の予測モード（例えば、ｂｅｓｔ＿ｍｏｄｅ＿ｎｏ＿ｓｐｌｉｔで表わされる）を決定し、対応するコスト（例えば、ｂｅｓｔ＿ｃｏｓｔ＿ｎｏ＿ｓｐｌｉｔで表される）を計算するステップ１００１と、
サブ予測単位を粒度とする（すなわち、サブ予測単位に分割する）場合の予測モード（例えば、ｂｅｓｔ＿ｍｏｄｅ＿ｓｐｌｉｔで表される）を決定し、対応するコスト（例えば、ｂｅｓｔ＿ｃｏｓｔ＿ｓｐｌｉｔで表される）を計算する
（本実施例において、予測モードを具体的にいかに決定するか及びコストを具体的にいかに計算するかに関しては、関連技術を参考にすることができる。）ステップ１００２と、
ｂｅｓｔ＿ｃｏｓｔ＿ｓｐｌｉｔがｂｅｓｔ＿ｃｏｓｔ＿ｎｏ＿ｓｐｌｉｔより小さいかどうかを決定する（小さい場合は、ステップ１００４を実行し、そうでない場合は、ステップ１０１４を実行する。）
（本実施例において、ステップ１００４からステップ１０１３までは、サブ予測単位を分割する場合を示している。）ステップ１００３と、
ｉｎｔｒａ＿ｓｕｂ＿ｐｕ＿ｆｌａｇを１とし、ｂｅｓｔ＿ｃｏｓｔ＿ｓｐｌｉｔを用いてイントラ予測モードとするステップ１００４と、
前記予測単位の１つのサブ予測単位を選択するステップ１００５と、
前記サブ予測単位の予測画像を計算する
（ここで、予測画像は、ｐｒｅｄｉｃｔｉｏｎと表しても良い。）ステップ１００６と、
原始画像及び前記予測画像に基づき、前記サブ予測単位の残差情報を計算する
（すなわち、ｒｅｓｉ＝ｏｒｉｇｉｎａｌ−ｐｒｅｄｉｃｔｉｏｎ。式中、ｒｅｓｉは、該サブ予測単位の残差情報を表し、ｏｒｉｇｉｎａｌは、原始画像を表す。残差情報を具体的にいかに計算するかに関しては、関連技術を参考にすることができる。）ステップ１００７と、
前記残差情報についてコーディング演算を行う
（例えば、該ｒｅｓｉについて変換（Ｔｒａｎｓｆｏｒｍ）及び量子化（Ｑｕａｎｔｉｌｉｚａｔｉｏｎ）などの演算を行うが、本発明は、これに限定されず、その他のコーディング演算であってもよい。コーディング演算を具体的にいかに行うかに関しては、関連技術を参考にすることができる、）ステップ１００８と、
コーディング演算後の前記残差情報についてデコーディング演算を行う
（例えば、コーディング演算後の残差情報について逆量子化（ＩＱ、Ｉｎｖｅｒｓｅ Ｑｕａｎｔｉｌｉｚａｔｉｏｎ）及び逆変換（ＩＴ、Ｉｎｖｅｒｓｅ Ｔｒａｎｓｆｏｒｍ）などの演算を行っても良く、デコーディング後の結果ｄｅｃ＿ｒｅｓｉを得ても良いが、本発明は、これに限定されず、その他のデコーディング演算であってもよい。デコーディング演算を具体的にいかに行うかに関しては、関連技術を参考にすることができる。）ステップ１００９と、
デコーディング演算の結果及び前記予測画像に基づき、前記サブ予測単位の再構築画像を計算する
（例えば、ｒｅｃｏ＝ｄｅｃ＿ｒｅｓｉ＋ｐｒｅｄｉｃｔｉｏｎ。式中、ｒｅｃｏは、該サブ予測単位の再構築画像を表す。）ステップ１０１０と、
該再構築画像を保存する
（本実施例においては、該再構築画像を後続のコーディングに用いても良い）ステップ１０１１と、
その他のサブ予測単位もあるかどうかを決定し、その他のサブ予測単位もある場合、ステップ１００５を実行し、次のサブ予測単位の処理を続け、その他のサブ予測単位がない場合、ステップ１０１３を実行することができるステップ１０１２と、
前記予測単位の予測モード情報、指示情報（すなわち、ｉｎｔｒａ＿ｓｕｂ＿ｐｕ＿ｆｌａｇ）及び前記複数のサブ予測単位の残差情報をビット流に組み込む
（本実施例において、ステップ１０１４から１０２１までは、サブ予測単位に分割しない場合を示している。）ステップ１０１３と、
ｉｎｔｒａ＿ｓｕｂ＿ｐｕ＿ｆｌａｇを０とし、ｂｅｓｔ＿ｃｏｓｔ＿ｎｏ＿ｓｐｌｉｔを用いてイントラ予測モードとするステップ１０１４と、
前記予測単位の予測画像を計算する
（ここで予測画像は、ｐｒｅｄｉｃｔｉｏｎと表しても良い。）ステップ１０１５と、
原始画像及び前記予測画像に基づき、前記予測単位の残差情報を計算する
（すなわち、ｒｅｓｉ＝ｏｒｉｇｉｎａｌ−ｐｒｅｄｉｃｔｉｏｎ。式中、ｒｅｓｉは、該予測単位の残差情報を表し、ｏｒｉｇｉｎａｌは、原始画像を表す。残差情報を具体的にいかに計算するかに関しては、関連技術を参考にすることができる。）ステップ１０１６と、
前記残差情報についてコーディング演算を行う
（例えば、該ｒｅｓｉについて変換（Ｔｒａｎｓｆｏｒｍ）及び量子化（Ｑｕａｎｔｉｌｉｚａｔｉｏｎ）などの演算を行っても良いが、本発明は、これに限定されず、その他のコーディング演算であってもよい。コーディング演算を具体的にいかに行うかに関しては、関連技術を参考にすることができる。）ステップ１０１７と、
コーディング演算後の前記残差情報についてデコーディング演算を行う
（例えば、コーディング演算後の残差情報について逆量子化（ＩＱ、Ｉｎｖｅｒｓｅ Ｑｕａｎｔｉｌｉｚａｔｉｏｎ）及び逆変換（ＩＴ、Ｉｎｖｅｒｓｅ Ｔｒａｎｓｆｏｒｍ）などの演算を行っても良いが、本発明は、これに限定されず、その他のデコーディング演算であってもよい。デコーディング演算を具体的にいかに行うかに関しては、関連技術を参考にすることができる。）ステップ１０１８と、
デコーディング演算の結果及び予測画像に基づき、前記予測単位の再構築画像を計算する
（例えば、ｒｅｃｏ＝ｄｅｃ＿ｒｅｓｉ＋ｐｒｅｄｉｃｔｉｏｎ。式中、ｒｅｃｏは、該予測単位の再構築画像を表す。）ステップ１０１９と、
該再構築画像を保存する
（本実施例においては、該再構築画像を後続のコーディングに用いても良い。）ステップ１０２０と、
前記予測単位の予測モード情報、指示情報（すなわち、ｉｎｔｒａ＿ｓｕｂ＿ｐｕ＿ｆｌａｇ）及び残差情報をビット流に組み込むステップ１０２１と、を含む。

図１０は、本発明実施例を概略的に説明したものにすぎず、本発明は、これに限定されないことに注意すべきである。例えば、各ステップ間の実行順序を適宜調整してもよく、またその他いくつかのステップを追加し、又はそのうちいくつかのステップを減らしてもよい。本分野当業者は、上記内容に基づき適宜変形することができ、上記図面の記載のみに限定されるものではない。

また以上は、１つの予測単位を例にとって本発明を概略的に説明したものにすぎず、複数の予測単位についてそれぞれ上記ステップを用いてコーディングを行ってもよい。以上は、本発明に関連する各ステップ又は工程について説明したにすぎず、本発明は、これに限定されない。画像コーディング方法には、その他のステップ又は工程をさらに含んでもよく、これらのステップ又は工程の具体的内容に関しては、従来技術を参考にすることができる。

上記実施例からわかるように、予測単位の予測モードを決定し、前記予測単位の複数のサブ予測単位の残差情報をそれぞれ計算し、さらに前記予測単位の予測モード情報及び前記複数のサブ予測単位の残差情報をビット流に組み込む。これによって、コーディングコストを増やしすぎずに、より正確なイントラ予測結果を提供することができる。

［実施例２］
本発明実施例は、画像デコーディング方法を提供し、イントラ予測方式を用いて予測単位（ＰＵ）の複数のサブ予測単位（ｓｕｂ−ＰＵ）についてデコーディングを行う。本実施例２は、実施例１の画像コーディング方法に対応し、実施例１と同一の内容は、これ以上くどくどとは述べない。

図１１は、本発明実施例の画像デコーディング方法を示す図であり、デコーディング側から１つの予測単位について説明する。図１１に示すように、前記画像デコーディング方法は、
ビット流から予測単位の予測モード情報及び前記予測単位の複数のサブ予測単位の残差情報を取得するステップ１１０１と、
前記予測単位の予測モード及び前記複数のサブ予測単位の残差情報に基づき、前記サブ予測単位の再構築画像をそれぞれ計算するステップ１１０２と、を含む。

図１２は、本発明実施例のもう１つの画像デコーディング方法を示す図であり、デコーディング側から１つの予測単位について説明する。図１２に示すように、前記画像デコーディング方法は、
ビット流から予測単位の予測モード情報及び前記予測単位の複数のサブ予測単位の残差情報を取得するステップ１２０１を含む。

図１２に示すように、前記画像デコーディング方法は、
前記予測単位の１つのサブ予測単位を選択するステップ１２０２と、
前記サブ予測単位の予測画像を計算する
（ここで予測画像は、ｐｒｅｄｉｃｔｉｏｎと表しても良い。）ステップ１２０３と、
前記サブ予測単位の残差情報についてデコーディング演算を行う
（例えば、残差情報について逆量子化（ＩＱ、Ｉｎｖｅｒｓｅ Ｑｕａｎｔｉｌｉｚａｔｉｏｎ）及び逆変換（ＩＴ、Ｉｎｖｅｒｓｅ Ｔｒａｎｓｆｏｒｍ）などの演算を行っても良く、デコーディング後の結果ｄｅｃ＿ｒｅｓｉを得ても良いが、本発明は、これに限定されず、その他のデコーディング演算であってもよい。デコーディング演算を具体的にいかに行うかに関しては、関連技術を参考にすることができる。）ステップ１２０４と、
デコーディング演算の結果及び予測画像に基づき、前記サブ予測単位の再構築画像を計算する
（例えば、ｒｅｃｏ＝ｄｅｃ＿ｒｅｓｉ＋ｐｒｅｄｉｃｔｉｏｎ。式中、ｒｅｃｏは、該サブ予測単位の再構築画像を表す。）ステップ１２０５と
該再構築画像を保存する
（本実施例においては、該再構築画像を後続のデコーディングに用いても良い）ステップ１２０６と、
その他のサブ予測単位もあるかどうかを決定し、その他のサブ予測単位もある場合、ステップ１２０２を実行し、次のサブ予測単位の処理を続け、その他のサブ予測単位がない場合、当該予測単位の処理を完了しても良いステップ１２０７と、
をさらに含んでもよい。

本実施例において、さらに予測単位が複数のサブ予測単位に分割されるかどうかについて指示しても良い。予測単位が複数のサブ予測単位に分割されるかどうかを指示する指示情報をビット流中に組み込んでもよく、これによって、適応的に予測単位を粒度としてイントラ予測を行い、又はサブ予測単位を粒度としてイントラ予測を行っても良い。

図１３は、本発明実施例のもう１つの画像デコーディング方法を示す図であり、デコーディング側から１つの予測単位について説明する。図１３に示すように、前記画像デコーディング方法は、
ビット流から予測モード情報及び残差情報、並びにサブ予測単位に分割するかどうかを指示する指示情報（例えば、ｉｎｔｒａ＿ｓｕｂ＿ｐｕ＿ｆｌａｇで表される）を取得するステップ１３０１と、
ｉｎｔｒａ＿ｓｕｂ＿ｐｕ＿ｆｌａｇが１に等しいかどうかを決定し、等しい場合は、ステップ１３０３を実行し、そうでない場合は、ステップ１３０９を実行する
（本実施例においては、ｉｎｔｒａ＿ｓｕｂ＿ｐｕ＿ｆｌａｇを例にとって説明する。ここで、ｉｎｔｒａ＿ｓｕｂ＿ｐｕ＿ｆｌａｇ＝０は、予測単位が複数のサブ予測単位に分割されていないことを表す。すなわち、予測単位を粒度としてイントラ予測を行う。ｉｎｔｒａ＿ｓｕｂ＿ｐｕ＿ｆｌａｇ＝１は、予測単位が複数のサブ予測単位に分割されていることを表す。すなわち、サブ予測単位を粒度として、イントラ予測を行う。

本実施例において、ステップ１３０３からステップ１３０８までは、サブ予測単位に分割された場合を示している。）ステップ１３０２と、
前記予測単位の１つのサブ予測単位を選択するステップ１３０３と、
前記サブ予測単位の予測画像を計算する（ここで予測画像は、ｐｒｅｄｉｃｔｉｏｎと表しても良い。）ステップ１３０４と、
前記サブ予測単位の残差情報についてデコーディング演算を行う
（例えば、残差情報について逆量子化（ＩＱ、Ｉｎｖｅｒｓｅ Ｑｕａｎｔｉｌｉｚａｔｉｏｎ）及び逆変換（ＩＴ、Ｉｎｖｅｒｓｅ Ｔｒａｎｓｆｏｒｍ）などの演算を行っても良く、デコーディング後の結果ｄｅｃ＿ｒｅｓｉを得ても良いが、本発明は、これに限定されず、その他のデコーディング演算であってもよい。デコーディング演算を具体的にいかに行うかに関しては、関連技術を参考にすることができる。）ステップ１３０５と、
デコーディング演算の結果及び予測画像に基づき、前記サブ予測単位の再構築画像を計算する
（例えば、ｒｅｃｏ＝ｄｅｃ＿ｒｅｓｉ＋ｐｒｅｄｉｃｔｉｏｎ。式中、ｒｅｃｏは、該サブ予測単位の再構築画像を表す。）ステップ１３０６と、
該再構築画像を保存する
（本実施例においては、該再構築画像を後続のデコーディングに用いても良い。）ステップ１３０７と、
その他のサブ予測単位もあるかどうかを決定し、その他のサブ予測単位もある場合、ステップ１３０３を実行し、次のサブ予測単位の処理を続け、その他のサブ予測単位がない場合、本予測単位の処理を完了しても良い
（本実施例において、ステップ１３０９からステップ１３１２までは、サブ予測単位に分割しない場合を示している。）ステップ１３０８と、
前記予測単位の予測画像を計算する
（ここで予測画像は、ｐｒｅｄｉｃｔｉｏｎと表しても良い。）ステップ１３０９と、
前記予測単位の前記残差情報についてデコーディング演算を行う
（例えば、残差情報について逆量子化（ＩＱ、Ｉｎｖｅｒｓｅ Ｑｕａｎｔｉｌｉｚａｔｉｏｎ）及び逆変換（ＩＴ、Ｉｎｖｅｒｓｅ Ｔｒａｎｓｆｏｒｍ）などの演算を行うことができるが、本発明は、これに限定されず、その他のデコーディング演算であってもよい。デコーディング演算を具体的にいかに行うかに関しては、関連技術を参考にすることができる。）ステップ１３１０と、
デコーディング演算の結果及び予測画像に基づき、前記予測単位の再構築画像を計算する
（例えば、ｒｅｃｏ＝ｄｅｃ＿ｒｅｓｉ＋ｐｒｅｄｉｃｔｉｏｎ。式中、ｒｅｃｏは、該予測単位の再構築画像を表す。）ステップ１３１１と、
該再構築画像を保存する （本実施例においては、該再構築画像を後続のデコーディングに用いても良い）ステップ１３１２と、
を含む。

図１３は、本発明実施例を概略的に説明したものにすぎず、本発明は、これに限定されないことに注意すべきである。例えば、各ステップ間の実行順序を適宜調整してもよく、またその他いくつかのステップを追加し、又はそのうちいくつかのステップを減らしてもよい。本分野当業者は、上記内容に基づき、適宜変形することができるが、上記図面の記載のみに限定されるものではない。

また以上は、１つの予測単位を例にとって本発明を概略的に説明したものにすぎず、複数の予測単位についてそれぞれ上記ステップを用いてコーディングを行ってもよい。以上は、本発明に関連する各ステップ又は工程について説明したにすぎず、本発明は、これに限定されない。画像コーディング方法には、その他のステップ又は工程を含んでもよく、これらのステップ又は工程の具体的内容に関しては、従来技術を参考にすることができる。

上記実施例からわかるように、予測単位の予測モードを決定し、前記予測単位の複数のサブ予測単位の残差情報をそれぞれ計算し、さらに前記予測単位の予測モード情報及び前記複数のサブ予測単位の残差情報をビット流に組み込む。これによって、コーディングコストを増しすぎずに、より正確なイントラ予測結果を提供することができる。

［実施例３］
本発明実施例は、画像コーディング装置を提供し、イントラ予測方式を用いて予測単位の複数のサブ予測単位についてコーディングを行う。本発明実施例は、実施例１の画像コーディング方法に対応し、同一の内容は、これ以上くどくどとは述べない。

図１４は、本発明実施例の画像コーディング装置を示す図であり、図１４に示すように、画像コーディング装置１４００は、
前記予測単位の予測モードを決定するモード決定部１４０１と、
前記予測単位の複数のサブ予測単位の残差情報をそれぞれ計算する情報計算部１４０２と、
前記予測単位の予測モード情報及び前記複数のサブ予測単位の残差情報をビット流に組み込むビット流コーディング部１４０３と、を含む。

本実施例において、前記サブ予測単位のサイズは、あらかじめ決定されてもよい。サブ予測単位のサイズ情報は、シーケンスパラメータセットに含まれてもよく、又は画像パラメータセットに含まれてもよく、又は事前決定値であってもよいが、本発明は、これに限定されない。

本実施例において、前記予測単位の複数のサブ予測単位は、同一の予測モードに対応する。

図１５は、本発明実施例のもう１つの画像コーディング装置を示す図であり、図１５に示すように、画像コーディング装置１５００は、モード決定部１４０１と、情報計算部１４０２と、ビット流コーディング部１４０３とを含むのは、上で述べたとおりである。

図１５に示すように、情報計算部１４０２は、
各前記サブ予測単位について、前記サブ予測単位の予測画像を計算する予測画像計算部１５０１と、
原始画像及び前記予測画像に基づき、前記サブ予測単位の残差情報を計算する残差計算部１５０２と、を含んでもよい。

図１５に示すように、画像コーディング装置１５００は、
前記残差情報についてコーディング演算を行うコーディング演算部１５０３と、
コーディング演算後の前記残差情報についてデコーディング演算を行うデコーディング演算部１５０４と、
デコーディング演算の結果及び前記予測画像に基づき、前記サブ予測単位の再構築画像を計算する再構築画像計算部１５０５と、をさらに含んでもよい。

本実施例において、ビット流コーディング部１４０３は、前記予測単位が複数のサブ予測単位に分割されるかどうかを指示する指示情報を前記ビット流に組み込むために用いられてもよい。

本実施例において、前記指示情報は、１ビットラベルであってもよいが、本発明は、これに限定されない。ここで、前記指示情報の粒度は、予測単位レベルであってもよく、又はコーディング単位レベルであってもよく、又はスライスレベルであってもよく、又は画像レベルであってもよく、又はシーケンスレベルであってもよい。

以上は、本発明に関連する各パーツについて説明したに過ぎず、本発明は、これに限定されないことに注意すべきである。画像コーディング装置は、その他のパーツ又はモジュールをさらに含んでもよく、これらのパーツ又はモジュールの具体的内容に関しては、従来技術を参考にすることができる。

上記実施例からわかるように、予測単位の予測モードを決定し、前記予測単位の複数のサブ予測単位の残差情報をそれぞれ計算し、さらに前記予測単位の予測モード情報及び前記複数のサブ予測単位の残差情報をビット流に組み込む。これによって、コーディングコストを増やしすぎずに、より正確なイントラ予測結果を提供することができる。

［実施例４］
本発明実施例は、画像デコーディング装置を提供し、イントラ予測方式を用いて予測単位の複数のサブ予測単位についてデコーディングを行う。本発明実施例は、実施例２の画像デコーディング方法に対応し、同一の内容は、これ以上くどくどとは述べない。

図１６は、本発明実施例の画像デコーディング装置を示す図であり、図１６に示すように、画像デコーディング装置１８００は、
ビット流から予測単位の予測モード情報及び前記予測単位の複数のサブ予測単位の残差情報を取得する情報取得部１６０１と、
前記予測単位の予測モード及び前記複数のサブ予測単位の残差情報に基づき、前記サブ予測単位の再構築画像をそれぞれ計算する画像再構築部１６０２と、を含む。

図１７は、本発明実施例の画像再構築部を示す図であり、図１７に示すように、画像再構築部１６０２は、
各前記サブ予測単位について、前記サブ予測単位の予測画像を計算する予測画像計算部１７０１と、
前記サブ予測単位の残差情報についてデコーディング演算を行うデコーディング演算部１７０２と、
デコーディング演算の結果及び前記予測画像に基づき、前記サブ予測単位の再構築画像を計算する再構築画像計算部１７０３と、を含んでもよい。

本実施例において、情報取得ユニット１６０１は、前記ビット流から前記予測単位が複数のサブ予測単位に分割されるかどうかを指示する指示情報を取得するために用いられてもよい。

前記指示情報が、前記予測単位が複数のサブ予測単位に分割されないことを指示する場合、予測画像計算部１７０１は、前記予測単位の予測画像を計算するために用いられてもよく、デコーディング演算部１７０２は、前記予測単位の残差情報についてデコーディング演算を行うために用いられてもよく、再構築画像計算部１７０３は、デコーディング演算の結果及び前記予測画像に基づき、前記予測単位の再構築画像を計算するために用いられてもよい。

以上は、本発明に関連する各パーツについて説明したにすぎず、本発明は、これに限定されないことに注意すべきである。画像デコーディング装置は、その他のパーツ又はモジュールを含んでよく、これらのパーツ又はモジュールの具体的内容に関しては、従来技術を参考にすることができる。

上記実施例からわかるように、予測単位の予測モードを決定し、前記予測単位の複数のサブ予測単位の残差情報をそれぞれ計算し、さらに前記予測単位の予測モード情報及び前記複数のサブ予測単位の残差情報をビット流に組み込む。これによって、コーディングコストを増やしすぎずに、より正確なイントラ予測結果を提供することができる。

［実施例５］
本発明実施例は、画像処理機器を提供し、該画像処理機器は、エンコーダ及び／又はデコーダを含む。ここでエンコーダは、実施例３に記載の画像コーディング装置を含み、デコーダは、実施例４に記載の画像デコーディング装置を含む。

本発明実施例は、エンコーダをさらに提供する。
図１８は、本発明実施例のエンコーダを示す図である。図１８に示すように、エンコーダ１８００は、中央処理装置（ＣＰＵ）１００と、中央処理装置１００に結合されたメモリ１１０とを含んでもよい。ここで、該メモリ１１０は、各種データを保存し、また、情報処理プログラムをさらに格納し、中央処理装置１００の制御下で該プログラムを実行する。

一実施形態において、画像コーディング装置１４００又は１５００の機能は、中央処理装置１００中に集積されてもよい。ここで、中央処理装置１００は、実施例１に記載の画像コーディング方法を実現するように構成されてもよい。

もう１つの実施形態において、画像コーディング装置１４００又は１５００は、中央処理装置１００と分けて構成されてもよく、例えば、画像コーディング装置１４００又は１５００を中央処理装置１００と接続されたチップとして構成し、中央処理装置１００の制御によって、画像コーディング装置１４００又は１５００の機能を実現してもよい。

例えば、中央処理装置１００は、予測単位の予測モードを決定し、前記予測単位の複数のサブ予測単位の残差情報をそれぞれ計算し、並びに前記予測単位の予測モード情報及び前記複数のサブ予測単位の残差情報をビット流に組み込む制御をするように構成されてもよい。

また、図１８に示すように、エンコーダ１８００は、さらに入出力（Ｉ／Ｏ）機器１２０及びディスプレイ１３０などを含んでもよく、ここで、上記パーツの機能は、従来技術と類似し、ここではこれ以上くどくどとは述べない。エンコーダ１８００も、必ずしも図１８に示されたすべてのパーツを含む必要はなく、また、エンコーダ１８００は、さらに、図１８に示されていないパーツを含んでもよく、従来技術を参考にすることができることに注意すべきである。

本発明実施例は、デコーダをさらに提供し、該デコーダの構成は、図１８を参考にすることができる。

例えば、中央処理装置１００は、ビット流から予測単位の予測モード情報及び前記予測単位の複数のサブ予測単位の残差情報を取得し、並びに、前記予測単位の予測モード及び前記複数のサブ予測単位の残差情報に基づき、前記サブ予測単位の再構築画像をそれぞれ計算する制御をするように構成されてもよい。

本発明実施例は、コンピュータ可読プログラムを提供し、ここで、画像コーディング装置又は画像処理機器中で前記プログラムを実行する場合、前記プログラムは、前記画像コーディング装置又は画像処理機器に実施例１に記載の画像コーディング方法を実行させる。

本発明実施例は、コンピュータ可読プログラムを格納した記憶媒体を提供し、ここで、前記コンピュータ可読プログラムは、画像コーディング装置又は画像処理機器に実施例１に記載の画像コーディング方法を実行させる。

本発明実施例は、コンピュータ可読プログラムを提供し、ここで、画像デコーディング装置又は画像処理機器中で前記プログラムを実行する場合、前記プログラムは、前記画像デコーディング装置又は画像処理機器に実施例２に記載の画像デコーディング方法を実行させる。

本発明実施例は、コンピュータ可読プログラムを格納した記憶媒体を提供し、ここで、前記コンピュータ可読プログラムは、画像デコーディング装置又は画像処理機器に実施例２に記載の画像デコーディング方法を実行させる。

本発明の以上の装置及び方法は、ハードウェアによって実現されてもよく、ハードウェアがソフトウェアを結合して実現してもよい。本発明は、このようなコンピュータ可読プログラムに関し、該プログラムがロジックパーツによって実行される場合、該ロジックパーツに上記装置若しくは構成パーツを実現させ、又は該ロジックパーツに上記各種方法若しくはステップを実現させても良い。本発明はさらに、以上のプログラムを格納するための記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、ＤＶＤ、ｆｌａｓｈメモリなどに関する。

本発明実施例に記述された方法／装置を結合して、ハードウェア、処理装置が実行するソフトウェアモジュール又は両者の組み合わせとして直接具現化してもよい。例えば、図１４中に示された機能ブロック図中の１つ若しくは複数及び／又は機能ブロックの１つ若しくは複数の組合せ（例えば、モード決定部、情報計算部など）は、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよく、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、それぞれ図５に示された各ステップに対応してもよい。これらのハードウェアモジュールは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を利用してこれらのソフトウェアモジュールを固定化して実現してもよい。

ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイル磁気ディスク、ＣＤ−ＲＯＭ又は本分野において既知のその他いかなる形式の記憶媒体に位置してもよい。記憶媒体を処理装置に結合し、それによって処理装置を該記憶媒体から情報を読み取ることができるようにしてもよく、且つ該記憶媒体に情報を書き込んでもよく、又は該記憶媒体は、処理装置の構成部分であってもよい。処理装置及び記憶媒体は、ＡＳＩＣ中に位置してもよい。該ソフトウェアモジュールは、モバイル端末のメモリ中に格納されてもよく、モバイル端末に挿入可能なメモリカード中に格納されてもよい。例えば、機器（モバイル端末など）が大容量のＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置を採用している場合、該ソフトウェアモジュールは、該ＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置中に格納されてもよい。

図面中に記述された機能ブロック中の１つ若しくは複数及び／又は機能ブロックの１つ若しくは複数の組合せについて、本願に記述された機能を実行するための汎用処理装置、デジタル信号処理装置（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）その他のプログラマブルロジックデバイス、ディスクリートゲート若しくはトランジスタロジックデバイス、ディスクリートハードウェアアセンブリ又はその任意の適当な組合せとして実現されてもよい。図面に記述された機能ブロック中の１つ若しくは複数及び／又は機能ブロックの１つ若しくは複数の組合せについて、計算機器の組合せ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰ通信と結合した１つ若しくは複数のマイクロプロセッサ又はその他いかなるこの種の構成としても実現してもよい。

以上では具体的実施形態を結び付けて本発明を記述したが、本分野当業者は、これらの記述がすべて例示的なものであり、決して本発明保護範囲に対する制限ではないことを理解しなければならない。本分野当業者なら、本発明の精神および原理に基づいて、本発明について各種変形及び変更を行うことができ、これらの変形及び変更も本発明の範囲内にある。

以上の実施例を含む実施形態について、以下のような付記を開示する。
（付記１）
イントラ予測方式を用いて予測単位の複数のサブ予測単位についてコーディングを行う画像コーディング方法であって、
前記予測単位の予測モードを決定するステップと、
前記予測単位の複数のサブ予測単位の残差情報をそれぞれ計算するステップと、及び
前記予測単位の予測モード情報及び前記複数のサブ予測単位の残差情報をビット流に組み込むステップと、を含む画像コーディング方法。
(付記２)
前記サブ予測単位のサイズは、あらかじめ決定される、付記１に記載の画像コーディング方法。
（付記３）
サブ予測単位のサイズ情報は、シーケンスパラメータセットに含まれ、又は画像パラメータセットに含まれ、又は事前決定値である、付記２に記載の画像コーディング方法。
（付記４）
前記予測単位の複数のサブ予測単位は、同一の予測モードに対応する、付記１に記載の画像コーディング方法。
（付記５）
前記予測単位の複数のサブ予測単位の残差情報をそれぞれ計算する画像コーディング方法において、
各前記予測単位について、前記サブ予測単位の予測画像を計算する予ステップと、
原始画像及び前記予測画像に基づき、前記サブ予測単位の残差情報を計算するステップと、を含む付記１に記載の画像コーディング方法。
（付記６）
前記残差情報についてコーディング演算を行うステップと、
コーディング演算後の前記残差情報についてデコーディング演算を行うステップと、
デコーディング演算の結果及び前記予測画像に基づき、前記サブ予測単位の再構築画像を計算するステップと、をさらに含む、付記５に記載の画像コーディング方法。
（付記７）
前記予測単位が複数のサブ予測単位に分割されるかどうかを指示する指示情報を前記ビット流に組み込むステップを更に含む、付記１に記載の画像コーディング方法。
（付記８）
前記指示情報は、１ビットラベルである、付記７に記載の画像コーディング方法。
（付記９）
前記指示情報の粒度は、予測単位レベルであり、又はコーディング単位レベルであり、又はスライスレベルであり、又は画像レベルであり、又はシーケンスレベルである、付記７に記載の画像コーディング方法。
（付記１０）
イントラ予測方式を用いて予測単位の複数のサブ予測単位についてデコーディングを行う画像デコーディング方法であって、
ビット流から予測単位の予測モード情報及び前記予測単位の複数のサブ予測単位の残差情報を取得するステップと、
前記予測単位の予測モード及び前記複数のサブ予測単位の残差情報に基づき、前記サブ予測単位の再構築画像をそれぞれ計算するステップと、を含む、画像デコーディング方法。
（付記１１）
前記予測単位の予測モード及び前記複数のサブ予測単位の残差情報に基づき、前記サブ予測単位の再構築画像をそれぞれ計算する画像デコーディング方法であって、
各前記サブ予測単位について、前記サブ予測単位の予測画像を計算するステップと、
前記サブ予測単位の残差情報についてデコーディング演算を行うステップと、
デコーディング演算の結果及び前記予測画像に基づき、前記サブ予測単位の再構築画像を計算するステップと、を含む、付記１０に記載の画像デコーディング方法。
（付記１２）
前記サブ予測単位のサイズは、あらかじめ決定される、付記１０に記載の画像デコーディング方法。
（付記１３）
サブ予測単位のサイズ情報は、シーケンスパラメータセットに含まれ、又は画像パラメータセットに含まれ、又は事前決定値である、付記１２に記載の画像デコーディング方法。
（付記１４）
前記予測単位の複数のサブ予測単位は、同一の予測モードに対応する、付記１０に記載の画像デコーディング方法。
（付記１５）
ビット流から前記予測単位が複数のサブ予測単位に分割されるかどうかを指示するための指示情報を取得することを含む、付記１０に記載の画像デコーディング方法。
（付記１６）
前記指示情報は、１ビットラベルである、付記１５に記載の画像デコーディング方法。
（付記１７）
前記指示情報の粒度は、予測単位レベルであり、又はコーディング単位レベルであり、又はスライスレベルであり、又は画像レベルであり、又はシーケンスレベルである、付記１５に記載の画像デコーディング方法。
（付記１８）
前記指示情報が前記予測単位を複数のサブ予測単位に分割しないことを指示する場合、前記予測単位の予測モード及び残差情報に基づき、前記予測単位の再構築画像を計算することを含む、付記１５に記載の画像デコーディング方法。

Claims (8)

1. イントラ予測方式を用いて、予測単位もしくは前記予測単位の複数のサブ予測単位で処理を行う画像コーディング装置であって、
   前記予測単位の予測モードを決定するモード決定部と、
   前記予測単位を前記複数のサブ予測単位に分割する際に、前記予測単位の形状が長方形の場合にあらかじめ定められたサイズの複数の正方形のサブ予測単位に分割し、前記イントラ予測方式における粒度が前記複数の正方形のサブ予測単位である第１の場合におけるコーディングコストが、前記粒度が前記長方形の予測単位である第２の場合におけるコーディングコストよりも小さいかどうかを判定し、前記イントラ予測方式における粒度として、前記第１の場合の方が小さいと判定した場合には前記複数の正方形のサブ予測単位に決定し、前記第１の場合の方が小さくはないと判定した場合には前記長方形の予測単位に決定する判定部と、
   前記複数の正方形のサブ予測単位に決定した場合には、前記複数の正方形のサブ予測単位の画像を、決定した予測モードに基づきそれぞれ予測し、前記長方形の予測単位に決定した場合には、前記予測単位の画像を、決定した予測モードに基づき予測する画像予測処理部と、
   前記複数の正方形のサブ予測単位に決定した場合には、前記複数の正方形のサブ予測単位の残差情報を、原始画像及び予測した前記複数の正方形のサブ予測単位の画像を用いてそれぞれ取得し、前記長方形の予測単位に決定した場合には、前記長方形の予測単位の残差情報を、原始画像及び予測した前記長方形の予測単位の画像を用いて取得する残差情報取得部と、
   前記イントラ予測方式の前記粒度を指示するための指示情報と前記予測単位の予測モードの情報とをビットストリームに組み込むと共に、前記残差情報取得部にて取得した前記残差情報を前記ビットストリームに更に組み込むビットストリームコーディング部と、
   を含む画像コーディング装置。
2. サブ予測単位のサイズ情報は、シーケンスパラメータセットに含まれ、又は画像パラメータセットに含まれ、又は事前決定値である、請求項１に記載の画像コーディング装置。
3. 前記長方形の予測単位の複数の正方形のサブ予測単位は、同一の予測モードに対応する、請求項１に記載の画像コーディング装置。
4. 前記残差情報についてコーディング演算を行うコーディング演算部と、
   コーディング演算後の前記残差情報についてデコーディング演算を行うデコーディング演算部と、
   デコーディング演算の結果及び前記画像予測処理部により予測された画像に基づき、前記複数の正方形のサブ予測単位の再構築画像若しくは前記長方形の予測単位の再構築画像を計算する再構築画像計算部と、
   をさらに含む、請求項１に記載の画像コーディング装置。
5. 前記指示情報は、１ビットラベルである、請求項１に記載の画像コーディング装置。
6. 前記指示情報により指示される前記粒度は、予測単位レベルであり、又はコーディング単位レベルであり、又はスライスレベルであり、又は画像レベルであり、又はシーケンスレベルである、請求項１に記載の画像コーディング装置。
7. 請求項１から６のうちのいずれか一項に記載の画像コーディング装置より出力される前記ビットストリームから画像をデコーディングする画像デコーディング装置であって、
   前記ビットストリームに組み込まれた、前記指示情報及び前記予測モードの情報と前記複数の正方形のサブ予測単位の残差情報若しくは前記長方形の予測単位の残差情報とを取得する情報取得部と、
   前記指示情報が前記イントラ予測方式の粒度として前記複数の正方形のサブ予測単位を示す場合には、前記複数の正方形のサブ予測単位の画像を、取得した前記予測モード情報に基づきそれぞれ予測し、前記指示情報が前記イントラ予測方式の粒度として前記長方形の予測単位を示す場合には、前記長方形の予測単位の画像を、取得した前記予測モード情報に基づき予測する画像予測部と、
   前記指示情報が前記イントラ予測方式の粒度として前記複数の正方形のサブ予測単位を示す場合には、取得した前記複数の正方形のサブ予測単位の残差情報についてデコーディング演算を行い、前記指示情報が前記イントラ予測方式の粒度として前記長方形の予測単位を示す場合には、取得した前記長方形の予測単位の残差情報についてデコーディング演算を行うデコーディング演算部と、
   前記デコーディング演算部によるデコーディング演算の結果、及び、前記画像予測部により予測された画像を用いた計算により、前記複数の正方形のサブ予測単位の再構築画像若しくは前記長方形の予測単位の再構築画像をそれぞれ取得する再構築画像取得部と、
   を含む、画像デコーディング装置。
8. 請求項１に記載の画像コーディング装置を含むエンコーダ、及び
   請求項７に記載の画像デコーディング装置を含むデコーダ
   を含む、画像処理機器。

Images