JP2015181225A - 動画像符号化装置および動画像符号化方法 - Google Patents

Abstract

【課題】処理量を増加させることなく符号化効率を向上させた動画像符号化装置を提供する。
【解決手段】符号化対象ピクチャを符号化単位（基本ＣＵ）毎に分割して出力する分割部と、基本ＣＵのサイズ以下の大きさである予測単位（基本ＰＵ）毎に画面内予測もしくは画面間予測し予測画像を生成する予測処理部と、生成した予測画像と、符号化対象ピクチャのうち予測画像に対応する画像とを差分演算し、差分画像を生成する差分演算部と、生成された差分画像に対して直交変換および量子化処理し残差係数を生成する残差符号化部と、統合領域に含まれる複数の基本ＣＵを１つの新たなＣＵとして統合する統合部と、統合後のＣＵに対して設定される符号化情報および基本ＣＵに関する残差係数を、可変長符号化および算術符号化し、統合後の新たなＣＵに対する符号列を生成する符号列生成部とを備える。
【選択図】図２

Description

本開示は、入力された画像をブロックに分割して符号化する動画像符号化装置および、動画像符号化方法に関する。

近年、マルチメディアアプリケーションの発展に伴い、画像、音声およびテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積および伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、動画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ／ＩＥＣ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−３、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。また、現在は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と呼ばれる次世代動画像符号化方式の標準化活動が進んでいる。

このような動画像の符号化では、符号化対象の各ピクチャを符号化単位のブロックに分割し、ブロック毎に時間方向および空間方向の冗長性を削減することによって情報量を圧縮する。空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報から予測画像を生成し、得られた予測画像と符号化対象のブロックとの差分画像を取得する。また時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方の既に符号化が完了しているピクチャを参照してブロック単位で動きの検出および予測画像を生成し、得られた予測画像と符号化対象のブロックとの差分画像を取得する。これらの得られた差分画像に対して離散コサイン変換等の直交変換処理および量子化処理し、可変長符号化および算術符号化を用いて符号列を生成することで情報量が圧縮される。

図１は、ＨＥＶＣ規格に定義されている各ブロックサイズの組み合わせを説明するための概念図である。ＨＥＶＣ（非特許文献１）では、符号化単位（以下、「Ｃｏｒｄｉｎｇ Ｕｎｉｔ：ＣＵ」と称する）として、図１のように、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素の４種類のブロックサイズの中から任意のサイズを選択して使用することができる。

さらにＣＵを分割した単位であり、画面内予測符号化および画面間予測符号化において予測画像を生成する予測単位（以下、「Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ：ＰＵ」と称する）として、例えばＣＵサイズを３２ｘ３２画素とした場合、図１のように、３２×３２画素、１６×３２画素、１６×１６画素等の８種類のブロックサイズの中から任意のサイズを選択して使用することができる。例えば、撮像物の動きが複雑な画像では小さなブロックサイズを使用し、撮像物の動きが単純な画像では大きなブロックサイズを使用することで高い符号化効率を実現している。

さらにＣＵを分割した単位であり、前述の直交変換処理および量子化処理する直交変換単位（以下、「Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ：ＴＵ」と称する）として、図１のように、例えばＣＵサイズを３２ｘ３２画素とした場合、３２×３２画素、１６×１６画素、８×８画素、４×４画素の４種類のブロックサイズの中から任意のサイズを選択して使用することができる。例えば、細かい範囲で特徴が異なる画像では小さなブロックサイズを使用し、広い範囲で特徴が同じような画像では大きなブロックサイズを使用することで高い符号化効率を実現している。

ＩＴＵ−Ｔ Ｈ．２６５ ： Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ （０４／２０１３）

ＨＥＶＣでは、ＣＵとして４種類のブロックサイズを選択できる。しかし、符号化過程においてＣＵのブロック数を増やせば増やすほど、ＣＵ層におけるヘッダ情報の符号量が増える。その結果、符号化効率が悪くなることがある。

本開示は上記課題を鑑みてなされたものであり、ＣＵ層およびＰＵ層のヘッダ情報の符号量を抑制し、処理量を増加させることなく符号化効率を向上させた動画像符号化装置を提供する。

本開示にかかる動画像符号化装置は、符号化対象ピクチャを所定の符号化規格にて符号化し、符号列を生成する。動画像符号化装置は、符号化対象ピクチャを符号化単位（基本ＣＵ）毎に分割して出力する分割部と、出力される１つの基本ＣＵを少なくとも１つ以上に分割して得られる単位であって、基本ＣＵのサイズ以下の大きさである予測単位（基本ＰＵ）毎に画面内予測もしくは画面間予測し予測画像を生成する予測処理部と、生成した予測画像と、符号化対象ピクチャのうち予測画像に対応する画像とを差分演算し、差分画像を生成する差分演算部と、生成された差分画像に対して直交変換および量子化処理し残差係数を生成する残差符号化部と、（１）統合領域（Ｎ×Ｎ画素の領域）に属する複数の基本ＣＵおよび基本ＰＵがすべて同じブロックサイズかつ（２）統合領域に属する複数の基本ＰＵの予測情報が同じである場合に、統合領域に含まれる複数の基本ＣＵを１つの新たなＣＵとして統合する統合部と、統合後の新たなＣＵに対して設定される符号化情報および統合後の新たなＣＵ内に属していた統合前の複数の基本ＣＵに関する残差係数を可変長符号化および算術符号化し、統合後の新たなＣＵに対する符号列を生成する符号列生成部と、を備える。

以上より、本発明における動画像符号化装置は、ＣＵ層およびＰＵ層のヘッダ情報の符号量を抑制することが可能となり、処理量を増加させることなく符号化効率を向上させることが可能となる。

なお、本開示は、このような動画像符号化装置として実現することができるだけでなく、このような動画像符号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。

ＨＥＶＣ規格に定義されている各ブロックサイズの組み合わせを説明するための概念図である。 実施の形態１にかかる動画像符号化装置１００の構成を示すブロック図である。 実施の形態１にかかる各ブロックサイズの組み合わせを説明するための概念図である。 実施の形態１にかかる統合判定処理を示すフローチャートである。 実施の形態１にかかる統合判定処理を示すイメージ図である 実施の形態１にかかる統合判定処理を示すイメージ図である 実施の形態１にかかる統合判定処理を行うことにより出現する、各ブロックサイズの組み合わせを説明するための概念図である。 実施の形態２にかかる統合判定処理を示すフローチャートである。 実施の形態２にかかる統合判定処理を示すイメージ図である 実施の形態２にかかる統合判定処理を示すイメージ図である 実施の形態２にかかる統合判定処理の条件を説明するための概念図である。 実施の形態２にかかる統合判定処理を行うことにより出現する、各ブロックサイズの組み合わせを説明するための概念図である。 実施の形態３にかかる統合判定処理を示すフローチャートである。 実施の形態３にかかる統合判定処理を示すイメージ図である。 実施の形態３にかかる統合判定処理を示すイメージ図である。 実施の形態３にかかる統合判定処理を示すイメージ図である。 実施の形態３にかかる統合判定処理を行うことにより出現する、各ブロックサイズの組み合わせを説明するための概念図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
実施の形態１にかかる動画像符号化装置１００は、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、携帯情報端末およびパーソナルコンピューターなどに搭載されたマイクロプロセッサにより実現される。動画像符号化装置１００は、動画圧縮規格であるＨＥＶＣに従って、動画像データの符号化処理を実施する。本開示にかかる動画像符号化装置１００は、ＣＵ（Ｃｏｒｄｉｎｇ Ｕｎｉｔ）およびＰＵ（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）の符号化情報に基づいて、複数のＣＵを１つのＣＵに統合し、統合後のＣＵに対して１つのヘッダ情報を付与する。その結果、ＣＵ層およびＰＵ層のヘッダ情報の符号量を抑制することが可能となり、処理量を増加させることなく符号化効率を向上させることが可能となる。

以下、実施の形態１にかかる動画像符号化装置１００の構成および動作について、図面を参照しながら説明する。

［１−１．動画像符号化装置の構成］
動画像符号化装置１００の構成について説明する。図２は、実施の形態１にかかる動画像符号化装置１００の構成を示すブロック図である。

図２に示すように、動画像符号化装置１００は、ピクチャメモリ１０１と、基本ブロック分割部１０２と、基本ブロック単位処理ループ部１１１と、統合判定部１０７と、符号列生成部１０８とを備えている。そして、動画像符号化装置１００は、基本ブロック単位処理ループ部１１１として、予測残差符号化部１０３と、予測残差復号化部１０４と、ピクチャバッファ１０５と、予測処理部１０６、差分演算部１０９、加算演算部１１０とを備えている。この構成により、動画像符号化装置１００は、ピクチャ単位で入力された画像を基本ブロックに分割した後に、この分割された基本ブロックの単位で符号化処理を実施し、符号列を出力する。

続いて、動画像符号化装置１００を構成する各部について、詳細を説明する。

ピクチャメモリ１０１は、表示装置に表示される順番に沿って、ピクチャ単位で画像信号を入力する。ピクチャメモリ１０１は、入力した画像信号を、符号化する順番にピクチャ単位で並び替えて格納する。ピクチャメモリ１０１は、基本ブロック分割部１０２からの読出し命令を受け付けると、読出し命令にかかる入力画像信号である符号化対象の符号化対象ピクチャを基本ブロック分割部１０２に出力する。

分割部としての基本ブロック分割部１０２は、ピクチャメモリ１０１から順次入力される符号化対象のピクチャを符号化単位毎に分割して出力する。基本ブロック分割部１０２は、基本ブロック単位処理ループ部１１１における処理の基本単位である基本ブロックに分割する。動画像符号化装置１００は、基本ブロックのサイズをＨＥＶＣで規定されている６４×６４画素、および３２×３２画素よりも小さい１６×１６画素に限定する。基本ブロックは、ＨＥＶＣ規格にて定義されている符号化単位であるＣＵを１つ以上包含する。図３は、実施の形態１にかかる各ブロックサイズの組み合わせを説明するための概念図である。図３の「基本ＣＵサイズ」の列に示すように、基本ＣＵサイズは、１６×１６画素の基本ブロックに対して、１６×１６画素のサイズおよび、８×８画素のサイズを取り得る。１６×１６画素のサイズのＣＵは、１６×１６画素の基本ブロックに対して、１つ包含される。８×８画素のサイズのＣＵは、１６×１６画素の基本ブロックに対して、４つ包含される。以下、基本ブロックに包含されるこれらのＣＵを「基本ＣＵ」と称する。
基本ブロック分割部１０２は、入力されるピクチャを基本ブロックに分割するとともに、基本ＣＵのサイズを選択する。一般的に、基本ブロック分割部１０２は、入力されたピクチャの画素構成が複雑なときは小さなサイズの基本ＣＵを選択する一方、入力されたピクチャの画素構成が単純なときは大きなサイズの基本ＣＵを選択する。なお、図３の例に記載した基本ＣＵのうち一部のサイズを使用しない場合、もしくは、図３の例に記載されていないサイズで基本ブロック以下のサイズである基本ＣＵを使用した場合であっても同様の説明が可能である。

基本ブロック分割部１０２は、基本ブロック（基本ＣＵのサイズが選択済み）に分割したピクチャを、予測処理部１０６および差分演算部１０９に順次出力する。

予測処理部１０６は、基本ブロック分割部１０２から順次入力される基本ブロックに分割されたピクチャを基に、基本ブロック毎に画面内予測もしくは画面間予測のどちらか一方を用いて予測処理を行う。予測処理部１０６は、基本ＣＵをさらに分割した予測単位であるＰＵ（以下、「基本ＰＵ」と称する）毎に予測処理を行う。具体的には、図３の「基本ＰＵサイズ」の列に示すように、基本ＣＵのサイズが１６×１６画素であるとき、１６×１６画素の１つの基本ＰＵ、１６×８画素の２つの基本ＰＵまたは８×１６画素の２つの基本ＰＵのいずれかの基本ＰＵに分割される。但し、１６×８画素および、８×１６画素の基本ＰＵサイズは、画面間予測が選択されたときのみに使用される。一方、基本ＣＵのサイズが８×８画素であるとき、８×８画素の１つの基本ＰＵ、８×４画素の２つの基本ＰＵまたは４×８画素の２つの基本ＰＵ、もしくは４×４画素の４つの基本ＰＵのいずれかの基本ＰＵに分割される。但し、８×４画素および、４×８画素の基本ＰＵサイズは、画面間予測が選択されたときのみに使用される。４×４画素の基本ＰＵサイズは、画面内予測が選択されたときのみに使用される。一般的に、予測処理部１０６は、入力された基本ＣＵの画素構成が複雑なときは小さなサイズの基本ＰＵを選択する一方、入力された基本ＣＵの画素構成が単純なときは大きなサイズの基本ＰＵを選択する。なお、図３の例に記載した基本ＰＵのうち一部のサイズを使用しない場合、もしくは、図３の例に記載されていないサイズで基本ＣＵ以下のサイズである基本ＰＵを使用した場合であっても同様の説明が可能である。

画面内予測を用いる場合、予測処理部１０６は、符号化対象とするピクチャ内のブロックについて、同じピクチャ内の既に符号化済みの周辺のブロックの再構成画像信号を用いて予測処理する。再構成画像信号とは、後述する加算演算部１１０により生成された信号である。予測処理部１０６は、複数の画面内予測方法（画面内予測モード）の中から、符号化対象とするブロックの画素構成と最も類似度の高い予測画像を生成する画面内予測モードを１つ選択することで予測処理する。

一方、画面間予測を用いる場合、予測処理部１０６は、ピクチャバッファ１０５に格納されている既に符号化済みの別のピクチャの再構成画像信号を用いて予測処理する。具体的には、予測処理部１０６は、符号化対象とするブロックの画素構成と最も類似度の高い画素構成を持った領域を、既に符号化済みの別のピクチャの再構成画像の中から探索する。そして、予測処理部１０６は、いずれのピクチャの再構成画像を参照するか（以下、参照するピクチャの情報を「参照ピクチャ情報」と称する）、および、参照先のピクチャにおいて、符号化対象とするブロックに対応する位置からどの程度ずれた位置の再構成画像を参照するか（以下、位置のずれ量を示す情報を「動きベクトル情報」と称する）を決定することで予測画像を生成する。

差分演算部１０９は、基本ブロック分割部１０２から入力される基本ブロックにおける基本ＣＵに基づいて選択された基本ＰＵ単位の入力画像信号と、予測処理部１０６から入力される基本ＰＵ単位の予測画像信号との差分値である差分画像信号を生成する。差分演算部１０９は、生成した差分画像信号を予測残差符号化部１０３に出力する。

残差符号化部である予測残差符号化部１０３は、差分演算部１０９から入力される差分画像信号に対して直交変換処理し、得られた各周波数成分の直交変換係数に対し量子化処理する。その結果、予測残差符号化部１０３は、残差係数信号を生成する。予測残差符号化部１０３は、基本ＣＵを更に分割した直交変換単位であるＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）（以下、「基本ＴＵ」と称する）毎に直交変換処理および量子化処理を行う。具体的には、図３の「基本ＴＵサイズ」の列に示すように、基本ＣＵのサイズが１６×１６画素であるとき、１６×１６画素の１つの基本ＴＵ、もしくは８×８画素の４つの基本ＴＵに分割され得る。一方、基本ＣＵのサイズが８×８画素であるとき、８×８画素の１つの基本ＴＵ、もしくは４×４画素の４つの基本ＴＵに分割され得る。図３に示す例では、基本ＰＵが決定すると基本ＴＵが一意に割り当てられるため、基本ＴＵのサイズを選択するという処理は不要となる。これにより、処理量を大幅に削減することが可能となる。なお、図３の例に記載した基本ＴＵのうち一部のサイズを使用しない場合、もしくは、図３の例に記載されていないサイズで基本ＰＵ以下のサイズである基本ＴＵを使用した場合であっても同様の説明が可能である。

予測残差復号化部１０４は、予測残差符号化部１０３で処理した基本ＴＵを処理単位とする。予測残差復号化部１０４は、予測残差符号化部１０３から入力される残差係数信号に対して逆量子化処理し、さらに逆直交変換処理することで再構成差分画像信号を生成する。

加算演算部１１０は、予測残差復号化部１０４から入力される再構成差分画像信号と、予測処理部１０６から入力される予測画像信号とを基本ＰＵ単位で加算することにより再構成画像信号を生成する。

ピクチャバッファ１０５は、加算演算部１１０から入力される再構成画像信号を格納する。ピクチャバッファ１０５に格納された再構成画像信号は、現在の符号化対象ピクチャより時間的に後に符号化するピクチャの画面間予測処理で参照される。

統合部として機能する統合判定部１０７は、統合判定対象とする複数の基本ブロックについて、基本ブロック単位処理ループ部１１１の一連の処理が完了した時点で、当該複数の基本ブロックに属する基本ＣＵを統合して１つの統合された符号化単位（以下、「統合ＣＵ」と称する）とするかどうかを判定し、統合判定結果信号を生成する。つまり、統合判定部１０７は、複数の基本ブロックにより構成されるＮ×Ｎ画素（例えば３２×３２画素）領域に属する複数の基本ＣＵを１つの統合された統合ＣＵにするか否かを判断する。統合判定部１０７は、基本ＣＵを統合せずにそのまま符号列生成部１０８へと出力する第１動作のモードと、Ｎ×Ｎ画素領域内に属する複数の基本ＣＵを１つの新たなＣＵとして統合して符号列生成部１０８へと出力する第２動作のモードとを有する。統合判定部１０７は、統合判定結果に応じて、第１動作モードと、第２動作モードとを切り替えて実行する。すなわち、統合判定部１０７は、（１）Ｎ×Ｎ画素の領域に属する複数の基本ＣＵおよび基本ＰＵがすべて同じブロックサイズで、かつ（２）前記Ｎ×Ｎ画素の領域に属する複数の基本ＰＵの予測情報が同じである場合に、前記Ｎ×Ｎ画素の領域に含まれる複数の基本ＣＵを１つの新たなＣＵとして統合する。

符号列生成部１０８は、統合判定部１０７から入力される統合判定結果信号に従って、統合ＣＵ単位もしくは基本ＣＵ単位で、予測残差符号化部１０３から入力される残差係数信号、およびその他の復号化処理時に必要となる符号化情報信号に対して、可変長符号化および算術符号化することで符号列を生成する。すなわち、符号列生成部１０８は、統合後の新たなＣＵに対して設定される符号化情報および統合後の新たなＣＵ内に属していた統合前の複数の基本ＣＵに関する残差係数を、可変長符号化および算術符号化し、統合後の新たなＣＵに対する符号列を生成する。統合判定部１０７から統合ＣＵが出力される場合、統合ＣＵに対して設定される符号化情報および、統合ＣＵ内に属していた統合前の複数の基本ＣＵに関する残差係数を、可変長符号化および算術符号化することにより、統合ＣＵに対する符号列を生成する。

上記のように、動画像符号化装置１００では、基本ブロックサイズを１６×１６画素に限定した。これにより、図３に示すように、選択され得る基本ＣＵ／基本ＰＵ／基本ＴＵの組合せが、画面内予測を選択したときは３組のみ、画面間予測を選択したときは６組のみに限定することが可能となる。これにより、基本ブロック単位処理ループ部１１１の一連の処理において最適な組合せを選択するための処理量を大幅に削減することが可能となる。

なお、上記の実施の形態では、基本ブロックサイズを１６×１６画素に限定しているが、本開示はこれに限定されない。すなわち、基本ブロックサイズを制限せずに、ＨＥＶＣの規格にて定義されている図１の組合せから最適な組合せを選択するようにしてもよい。但し、この場合、基本ブロックサイズを制限したときと比べて、処理量が膨大になることになる。或いは、１６×１６画素には限定せずに、３２×３２画素などの他のブロックサイズにより限定することもできる。例えば、３２×３２画素のブロックサイズで限定した場合、基本ブロックサイズに属するＣＵおよびＰＵのブロックサイズの選択肢が多くなることから符号化効率の向上が見込める。一方、最適なＣＵおよびＰＵのブロックサイズを選ぶための処理量が増加する。従って、処理量の増加が許容できる動画像符号化装置では基本ブロックサイズとして大きなブロックサイズを使用する一方、処理量の増加が許容できない動画像符号化装置では基本ブロックサイズとして小さなブロックサイズを使用するようにしてもよい。

［１−２．統合判定部の動作］
実施の形態１にかかる統合判定部１０７は、複数の基本ブロックを包含する統合領域を定義している。統合判定部１０７は、統合領域に含まれる全ての基本ブロックについて、基本ブロック単位処理ループ部１１１の一連の処理が完了した時点で統合判定処理する。

統合判定部１０７における、複数の基本ブロックに属する基本ＣＵを統合して１つの統合ＣＵとするか否かを判定する方法について、図４、図５Ａ、図５Ｂを用いて具体的に説明する。図４は、実施の形態１にかかる統合判定処理を示すフローチャートである。図５Ａ、図５Ｂは、実施の形態１にかかる統合判定処理を示すイメージ図である。図４は、基本ブロックのサイズが１６×１６画素、統合領域のサイズが３２×３２画素とした場合の処理を示す。このとき、統合領域には４つの基本ブロックが包含されている。なお、統合領域のサイズとして、基本ブロックのサイズよりも大きなサイズであれば、基本ブロックのサイズに応じて３２×３２画素以外のサイズを使用してもよい。

まず、統合判定部１０７は、統合領域内に包含された４つの基本ブロックが、全て１６×１６画素の基本ＣＵかつ１６×１６画素の基本ＰＵから構成されているか否かを判定する（Ｓ３０１）。

Ｓ３０１の条件を満たさない場合（Ｓ３０１におけるＮｏ）、図５Ａのように、統合領域内の基本ＣＵは統合されない。

一方、Ｓ３０１の条件を満たす場合（Ｓ３０１におけるＹｅｓ）、統合判定部１０７は、統合領域内の４つの基本ＰＵの予測情報が全て同じであるか否かを判定する（Ｓ３０２）。具体的には、画面内予測の場合、統合領域内の４つの基本ＰＵの少なくとも画面内予測モードが全て同じであるか否かを判定する。すなわち、統合判定部１０７は、統合領域に含まれる全ての基本ＰＵが画面内予測であった場合、予測情報として少なくとも画面内予測モードが全て同じであるか否かを用いて第１動作モードと第２動作モードとを切り換える。一方、画面間予測の場合、統合領域内の４つの基本ＰＵの少なくとも動きベクトル情報および参照ピクチャ情報が全て同じであるか否かを判定する。すなわち、統合判定部１０７は、統合領域に含まれる全ての基本ＰＵが画面間予測であった場合、予測情報として少なくとも動きベクトル情報と参照ピクチャ情報とが全て同じであるか否かを用いて第１動作モードと第２動作モードを切り換える。

Ｓ３０２の条件を満たさない場合（Ｓ３０１におけるＮｏ）、図５Ａのように、当該統合領域内の基本ＣＵは統合されない。

一方、Ｓ３０２の条件を満たす場合（Ｓ３０１におけるＹｅｓ）、統合判定部１０７は、図５Ｂのように、４つの１６×１６画素の基本ＣＵを１つの３２×３２画素の統合ＣＵに統合する（Ｓ３０３）。

図６は、統合判定処理を行うことにより出現する、各ブロックサイズの組み合わせを説明するための概念図である。これらのブロックサイズが、符号列生成部１０８において可変長符号化および算術符号化の対象となる。図３と比較すると、統合判定処理によって、ＣＵサイズが３２×３２画素、ＰＵサイズが３２×３２画素、ＴＵサイズが１６×１６画素の構成からなる統合ＣＵが追加されているのが分かる。

以上のように、実施の形態１にかかる動画像符号化装置１００において、統合判定部１０７は、統合領域（複数の基本ブロックからなるＮ×Ｎ画素の領域）に属する複数の基本ＣＵおよび基本ＰＵがすべて同じブロックサイズかつ、統合領域に含まれる全ての基本ＰＵの予測情報が同じである場合に、統合領域に含まれる複数の基本ＣＵを１つの新たなＣＵとして統合する。そして、統合後の新たなＣＵに基づいて符号列を生成する。

図４に示す統合処理を行わない場合、基本ＰＵが同じ予測情報を持っていたとしても、
各基本ＰＵの予測情報をそれぞれ個別に符号列に記述することが必要となるため、ＣＵ層およびＰＵ層のヘッダ情報の符号量が無駄に発生してしまう。一方、統合処理を行った場合、統合された１つの予測情報のみを符号列に記述するのみでよいため、ＣＵ層およびＰＵ層のヘッダ情報の符号量を抑制することが可能となり、処理量を増加させることなく符号化効率を向上させることが可能となる。
なお、統合判定部１０７は、統合ＣＵにおいて、ＣＵおよびＰＵのみを統合する一方、ＴＵについては統合前のままとしている。これにより、統合後に残差係数信号を再構成する必要がなく、ＣＵ層およびＰＵ層のヘッダ情報の変更のみで統合ＣＵに変換することが可能となる。

（実施の形態２）
続いて、実施の形態２にかかる動画像符号化装置１００について、図面を参照しながら説明する。なお、動画像符号化装置１００の構成は、実施の形態１で説明したものと同様であるため、説明を省略する。

実施の形態２にかかる動画像符号化装置１００は、実施の形態１にかかる動画像符号化装置１００と、統合判定部１０７による統合判定処理が異なる。

図７は、実施の形態２にかかる統合判定処理を示すフローチャートである。図８Ａ、図８Ｂは、実施の形態２にかかる統合判定処理を示すイメージ図である。図７は、基本ブロックのサイズが１６×１６画素、統合領域のサイズが３２×３２画素とした場合の処理を示す。このとき、統合領域には４つの基本ブロックが包含されている。

まず、統合判定部１０７は、統合領域内に包含された４つの基本ブロックが、全て１６×１６画素の基本ＣＵかつ１６×１６画素の基本ＰＵから構成されているか否かを判定する（Ｓ３０１）。Ｓ３０１の条件を満たさない場合（Ｓ３０１におけるＮｏ）、図８Ａのように、統合領域内の基本ＣＵは統合されない。一方、Ｓ３０１の条件を満たす場合（Ｓ３０１におけるＹｅｓ）、統合判定部１０７は、統合領域内の４つの基本ＰＵについて統合可能な組合せを構成する基本ＰＵのみの予測情報が全て同じであるか否かを判定する（図７のＳ５０２）。図７のＳ５０２の判定の詳細を、図９を用いて説明する。

図９は、実施の形態２にかかる統合判定処理の条件を説明するための概念図である。図９のように、統合判定部１０７は、４つの基本ＰＵの予測情報が全て同じ場合、４つの基本ＰＵを統合した３２×３２画素の１つの統合ＰＵに統合する。また、４つの基本ＰＵの予測情報が全て同じではなくても、左右に隣り合う２組の基本ＰＵの予測情報がそれぞれ同じ場合は、統合判定部１０７は、上側の２つの基本ＰＵを統合した３２×１６画素のＰＵおよび、下側の２つの基本ＰＵを統合した３２×１６画素のＰＵの２つの統合ＰＵに統合する。また、４つの基本ＰＵの予測情報が全て同じではなくても、上下に隣り合う２組の基本ＰＵの予測情報がそれぞれ同じ場合は、統合判定部１０７は、左側の２つの基本ＰＵを統合した１６×３２画素のＰＵ、右側の２つのＰＵを統合した１６×３２画素の基本ＰＵの２つの統合ＰＵに統合する。なお、３２×１６画素の統合ＰＵおよび１６×３２画素の統合ＰＵは画面間予測の場合にのみ統合を選択可能であり、画面内予測の場合は３２×３２画素の統合ＰＵへの統合のみしか選択できない。

要するに、実施の形態２にかかる統合判定処理では、統合領域（Ｎ×Ｎ画素の領域）内に属する複数の基本ＰＵを、隣接する２つの基本ＰＵによる１組のグループに分けた場合であって、かつ、それぞれのグループに属する基本ＰＵの予測情報が同じである場合に、統合領域内に含まれる複数の基本ＰＵを１つの新たなＰＵとして統合する。そして、この場合、統合判定部１０７は、図８Ｂのように、４つの１６×１６画素の基本ＣＵを１つの３２×３２画素の統合ＣＵに統合する（図７のＳ３０３）。

図１０は、統合判定処理を行うことにより出現する、各ブロックサイズの組み合わせを説明するための概念図である。これらのブロックサイズが、符号列生成部１０８において可変長符号化および算術符号化の対象となる。図３と比較すると、統合判定処理によって、ＣＵサイズが３２×３２画素、ＰＵサイズが３２×３２画素、ＴＵサイズが１６×１６画素の構成からなる統合ＣＵ、並びに、ＣＵサイズが３２×３２画素、ＰＵサイズが３２×１６画素もしくは１６×３２画素、ＴＵサイズが１６×１６画素の構成からなる統合ＣＵが追加されているのが分かる。

以上のように、実施の形態２にかかる動画像符号化装置１００において、統合判定部１０７は、統合領域（Ｎ×Ｎ画素の領域）に属する複数の基本ＰＵを、隣接する２つの基本ＰＵを１組のグループに分けた場合に、分けたそれぞれのグループ内に属する基本ＰＵの予測情報が同じであるとき、統合領域に含まれる複数の基本ＣＵを１つの新たなＣＵとして統合する。そして、統合後の新たなＣＵに基づいて符号列を生成する。

例えば、統合判定部１０７は、統合領域（Ｎ×Ｎ画素の領域）のうち、上側半分の領域に含まれる全ての基本ＰＵの予測情報が同じ情報であり、かつ下側半分の領域に含まれる全ての基本ＰＵの予測情報が同じ情報であった場合、統合領域に含まれる複数の基本ＣＵを１つの新たなＣＵとして統合する。或いは、統合判定部１０７は、統合領域（Ｎ×Ｎ画素の領域）のうち、左側半分の領域に含まれる全ての基本ＰＵの予測情報が同じ情報であり、かつ右側半分の領域に含まれる全ての基本ＰＵの予測情報が同じ情報であった場合、統合領域に含まれる複数の基本ＣＵを１つの新たなＣＵとして統合する。

実施の形態１にかかる統合処理では４つの基本ＰＵの予測情報が全て同じ場合しか統合ＣＵへと統合されなかった。これに対し、実施の形態２にかかる統合処理では、２組の基本ＰＵの予測情報がそれぞれ同じ場合にも統合ＣＵへと統合されるため、より多くのＣＵを統合することが可能となる。これにより、ＣＵ層およびＰＵ層のヘッダ情報の符号量をさらに抑制することが可能となり、処理量を増加させることなく符号化効率を向上させることが可能となる。

なお、統合判定部１０７は、統合ＣＵにおいて、ＣＵおよびＰＵのみを統合する一方、ＴＵについては統合前のままとしている。これにより、統合後に残差係数信号を再構成する必要がなく、ＣＵ層およびＰＵ層のヘッダ情報の変更のみで統合ＣＵに変換することが可能となる。

（実施の形態３）
続いて、実施の形態３にかかる動画像符号化装置１００について、図面を参照しながら説明する。なお、動画像符号化装置１００の構成は、実施の形態１で説明したものと同様であるため、説明を省略する。

実施の形態３にかかる動画像符号化装置１００は、実施の形態１および２にかかる動画像符号化装置１００と、統合判定部１０７による統合判定処理が異なる。

実施の形態３にかかる統合判定部１０７では、複数の基本ブロックを包含する統合領域として、統合領域１と統合領域２の２段階の統合領域を定義している。統合判定部１０７は、統合領域に含まれる全ての基本ブロックについて、基本ブロック単位処理ループ部１１１の一連の処理が完了した時点で統合判定処理する。

統合判定部１０７における、複数の基本ブロックに属する基本ＣＵを統合して１つの統合ＣＵとするか否かを判定する方法について、図１１、図１２Ａ、図１２Ｂ、図１２Ｃを用いて具体的に説明する。図１１は、実施の形態３にかかる統合判定処理を示すフローチャートである。図１２Ａ、図１２Ｂ、図１２Ｃは、実施の形態３にかかる統合判定処理を示すイメージ図である。図１１は、基本ブロックが１６×１６画素、統合領域１が３２×３２画素、統合領域２が６４×６４画素とした場合の処理を示す。統合領域２は、統合領域１を包含している。このとき、統合領域１には４つの基本ブロックが包含されている。統合領域２には、４つの統合領域１が包含されている。すなわち、統合領域２には、１６個の基本ブロックが包含されている。なお、統合領域のサイズとして、基本ブロックのサイズよりも大きなサイズであれば、基本ブロックのサイズに応じて３２×３２画素および６４×６４画素以外のサイズを使用してもよい。

まず、統合判定部１０７は、統合領域１内に内包された４つの基本ブロックが、全て１６×１６画素の基本ＣＵかつ１６×１６画素の基本ＰＵから構成されているか否かを判定する（Ｓ８０１）。

Ｓ８０１の条件を満たさない場合（Ｓ８０１におけるＮｏ）、図１２Ａのように、統合領域１内の基本ＣＵは統合されない。

一方、Ｓ８０１の条件を満たす場合（Ｓ８０１におけるＹｅｓ）、統合判定部１０７は、統合領域１内の４つの基本ＰＵの予測情報が全て同じであるか否かを判定する（Ｓ８０２）。具体的には、画面内予測の場合、統合領域１内の４つの基本ＰＵの少なくとも画面内予測モードが全て同じであるか否かを判定する。また、画面間予測の場合、統合領域１内の４つの基本ＰＵの少なくとも動きベクトル情報および参照ピクチャ情報が全て同じであるか否かを判定する。

Ｓ８０２の条件を満たさない場合（Ｓ８０２におけるＮｏ）、図１２Ａのように、当該統合領域１内の基本ＣＵは統合されない。

一方、Ｓ８０２の条件を満たす場合（Ｓ８０２におけるＹｅｓ）、統合判定部１０７は、４つの１６×１６画素の基本ＣＵを１つの３２×３２画素の統合ＣＵ１に統合する（Ｓ８０３）。

統合判定部１０７は、Ｓ８０１からＳ８０３までの一連の処理を、統合領域２内に属する４つの全ての統合領域１について行う（Ｓ８０４）。すなわち、統合判定部１０７は、統合領域２内の全ての統合領域１についてＳ８０１からＳ８０３の一連の処理が完了していない場合（Ｓ８０４におけるＮｏ）、当該処理が完了していない統合領域１についてＳ８０１からＳ８０３までの一連の動作を行う。その結果、いずれの統合領域１についても統合処理が行われなかった場合、図１２Ａのように、統合領域２内の１６個の基本ＣＵは全て統合されない。一方、４つの統合領域１のうち一部の統合領域１のみが統合された場合、図１２Ｂのように、統合領域２内の一部の基本ＣＵについてのみ３２×３２画素の統合ＣＵ１に統合される。

次に、統合判定部１０７は、統合領域２内の全ての統合領域１についてＳ８０１からＳ８０３の一連の処理が完了した場合（Ｓ８０４におけるＹＥＳ）、統合領域２内に属する４つの統合領域１について、全てのＣＵが統合ＣＵ１に統合されているか否かを判定する（Ｓ８０５）。

Ｓ８０５の条件を満たさない場合（Ｓ８０５におけるＮｏ）、統合判定部１０７は、統合判定処理を終了する。

Ｓ８０５の条件を満たす場合（Ｓ８０５におけるＹｅｓ）、統合判定部１０７は、統合領域２内の４つの統合ＰＵ１の予測情報が全て同じであるかどうかを判定する（Ｓ８０６）。

Ｓ８０６の条件を満たさない場合（Ｓ８０６におけるＮｏ）、統合判定部１０７は、統合判定処理を終了する。

Ｓ８０６の条件を満たす場合（Ｓ８０６におけるＹｅｓ）、統合判定部１０７は、図１２Ｃのように、４つの３２×３２画素の統合ＣＵ１をさらに１つの６４×６４画素の統合ＣＵ２に統合する（Ｓ８０７）。動画像符号化装置１００は、基本ブロックのサイズをＨＥＶＣで規定されている６４×６４画素および３２×３２画素よりも小さい１６×１６画素に限定している。これにより、３２×３２画素の統合ＣＵ１への統合および、６４×６４画素の統合ＣＵ２への統合が可能となる。

図１３は、統合判定処理を行うことにより出現する、各ブロックサイズの組み合わせを説明するための概念図である。これらのブロックサイズが、符号列生成部１０８において可変長符号化および算術符号化の対象となる。図３と比較すると、統合判定処理によって、ＣＵサイズが３２×３２画素、ＰＵサイズが３２×３２画素、ＴＵサイズが１６×１６画素の構成からなる統合ＣＵ１、並びにＣＵサイズが６４×６４画素、ＰＵサイズが６４×６４画素、ＴＵサイズが１６×１６画素の構成からなる統合ＣＵ２が追加されているのが分かる。

以上のように、実施の形態３にかかる動画像符号化装置１００において、統合判定部１０７は、統合領域１（複数の基本ブロックからなるＮ×Ｎ画素の領域）に属する複数の基本ＣＵおよび基本ＰＵがすべて同じブロックサイズかつ、統合領域１に含まれる全ての基本ＰＵの予測情報が同じである場合に、統合領域１に含まれる複数の基本ＣＵを１つの新たな統合ＣＵ１として統合する。更に、統合判定部１０７は、統合領域２（複数の統合領域１からなる領域）内の全てのＣＵが統合ＣＵ１に統合されており、かつ、統合領域２内の全ての統合ＰＵ１の予測情報が同じである場合に、統合領域２に含まれる複数の基本ＣＵを１つの新たな統合ＣＵ２として統合する。そして、統合後の新たなＣＵに基づいて符号列を生成する。

実施の形態１にかかる統合処理では最大でも４つの基本ＣＵまでしか統合されなかった。これに対し、実施の形態３にかかる統合処理では、最大１６個の基本ＣＵまで統合されることになり、より多くのＣＵを１つのＣＵに統合することが可能となる。これにより、ＣＵ層およびＰＵ層のヘッダ情報の符号量をさらに抑制することが可能となり、処理量を増加させることなく符号化効率を向上させることが可能となる。

なお、統合判定部１０７は、統合ＣＵ１および統合ＣＵ２において、ＣＵおよびＰＵのみを統合する一方、ＴＵについては統合前のままとしている。これにより、統合後に残差係数信号を再構成する必要がなく、ＣＵ層およびＰＵ層のヘッダ情報の変更のみで統合ＣＵ１および統合ＣＵ２に変換することが可能となる。

（その他の実施形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜３を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１〜３で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１〜３において説明した各々の統合判定処理は、それぞれ個別に使用することに限定されない。すなわち、実施の形態１〜３において説明した各々の統合判定処理のうち、いずれか複数の処理を組合せて使用してもよい。例えば、図１１に示す実施の形態３のフローチャートにおいて、ステップＳ８０２およびステップＳ８０５の両方或いは一方を、図７に示す実施の形態２のフローチャートにおけるステップＳ５０２と置き換えてもよい。

さらに、上記の実施の形態１〜３で示した動画像符号化装置１００に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにしてもよい。これにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

また、上記の実施の形態１〜３で示した動画像符号化装置１００に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは各手段の一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、入力画像を構成する各ピクチャを符号化して動画像符号化データとして出力する動画像符号化装置に適用できる。例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、携帯情報端末およびパーソナルコンピューターなどに、本開示は適用可能である。

１００ 動画像符号化装置
１０１ ピクチャメモリ
１０２ 基本ブロック分割部
１０３ 予測残差符号化部
１０４ 予測残差復号化部
１０５ ピクチャバッファ
１０６ 予測処理部
１０７ 統合判定部
１０８ 符号列生成部
１０９ 差分演算部
１１０ 加算演算部
１１１ 基本ブロック単位処理ループ部

Claims (12)

1. 符号化対象ピクチャを所定の符号化規格にて符号化し、符号列を生成する動画像符号化装置であって、
   前記符号化対象ピクチャを符号化単位（基本ＣＵ）毎に分割して出力する分割部と、
   前記出力される１つの前記基本ＣＵを少なくとも１つ以上に分割して得られる単位であって、前記基本ＣＵのサイズ以下の大きさの予測単位（基本ＰＵ）毎に画面内予測もしくは画面間予測し予測画像を生成する予測処理部と、
   前記生成した予測画像と、前記符号化対象ピクチャのうち前記予測画像に対応する画像とを差分演算し、差分画像を生成する差分演算部と、
   前記生成された差分画像に対して直交変換および量子化処理し残差係数を生成する残差符号化部と、
   （１）Ｎ×Ｎ画素の領域に属する複数の基本ＣＵおよび基本ＰＵがすべて同じブロックサイズかつ（２）前記Ｎ×Ｎ画素の領域に属する複数の基本ＰＵの予測情報が同じである場合に、前記Ｎ×Ｎ画素の領域に含まれる複数の基本ＣＵを１つの新たなＣＵとして統合する統合部と、
   前記統合後の新たなＣＵに対して設定される符号化情報および前記統合後の新たなＣＵ内に属していた統合前の複数の基本ＣＵに関する残差係数を可変長符号化および算術符号化し、前記統合後の新たなＣＵに対する符号列を生成する符号列生成部と、を備えた、
   動画像符号化装置。
2. 前記統合部は、（１）前記基本ＣＵをそのまま出力する第１動作と、（２）Ｎ×Ｎ画素の領域に属する複数の前記基本ＣＵを１つの新たなＣＵとして統合し出力する第２動作を切り換えて実行し、
   前記符号列生成部は、（１）前記基本ＣＵが出力される場合、前記基本ＣＵに対して設定される符号化情報および前記基本ＣＵに関する残差係数を可変長符号化および算術符号化することにより符号列を生成し、一方（２）前記統合後の新たなＣＵが出力される場合、前記統合後の新たなＣＵに対して設定される符号化情報および前記統合後の新たなＣＵ内に属していた統合前の複数の基本ＣＵに関する残差係数を可変長符号化および算術符号化し、前記統合後の新たなＣＵに対する符号列を生成する、請求項１に記載の動画像符号化装置。
3. 前記統合部は、前記Ｎ×Ｎ画素の領域に属する複数の基本ＰＵを、隣接する２つの基本ＰＵを１組のグループに分けた場合、当該分けたそれぞれのグループに属する基本ＰＵの予測情報が同じである場合、前記Ｎ×Ｎ画素の領域に含まれる複数の基本ＣＵを１つの新たなＣＵとして統合する請求項１に記載の動画像符号化装置。
4. 前記統合部は、前記Ｎ×Ｎ画素の領域に含まれる全ての基本ＰＵの予測情報が同じ情報であった場合、前記Ｎ×Ｎ画素の領域に含まれる複数の基本ＣＵを１つの新たなＣＵとして統合する請求項３に記載の動画像符号化装置。
5. 前記統合部は、前記Ｎ×Ｎ画素の領域のうち、上側半分の領域に含まれる全ての基本ＰＵの予測情報が同じ情報であり、かつ下側半分の領域に含まれる全ての基本ＰＵの予測情報が同じ情報であった場合、前記Ｎ×Ｎ画素の領域に含まれる複数の基本ＣＵを１つの新たなＣＵとして統合する請求項３に記載の動画像符号化装置。
6. 前記統合部は、前記Ｎ×Ｎ画素の領域のうち、左側半分の領域に含まれる全ての基本ＰＵの予測情報が同じ情報であり、かつ右側半分の領域に含まれる全ての基本ＰＵの予測情報が同じ情報であった場合、前記Ｎ×Ｎ画素の領域に含まれる複数の基本ＣＵを１つの新たなＣＵとして統合する請求項３に記載の動画像符号化装置。
7. 前記統合部は、前記Ｎ×Ｎ画素の領域に含まれる全ての基本ＰＵが画面内予測であった場合、前記予測情報として少なくとも画面内予測モードを用いて前記第１動作と前記第２動作を切り換えて実行する請求項２に記載の動画像符号化装置。
8. 前記統合部は、前記Ｎ×Ｎ画素の領域に含まれる全ての基本ＰＵが画面間予測であった場合、前記予測情報として少なくとも動きベクトル情報と参照ピクチャ情報とを用いて前記第１動作と前記第２動作を切り換えて実行する請求項２に記載の動画像符号化装置。
9. 前記残差符号化部は、１つの前記基本ＣＵを少なくとも１つ以上に分割して得られる単位であって、前記基本ＣＵのサイズ以下の大きさである直交変換単位（以下、基本ＴＵと称す）毎に前記差分画像に対して直交変換および量子化処理し残差係数を生成し、
   前記統合部は、前記Ｎ×Ｎ画素の領域に含まれる複数の基本ＣＵを１つの新たなＣＵとして統合して出力する場合であっても、前記基本ＴＵは統合せずにそのまま前記残差符号化部において生成された残差係数を出力する請求項１に記載の動画像符号化装置。
10. 前記予測処理部、前記差分演算部および前記残差符号化部は、前記符号化対象ピクチャを１６×１６画素の大きさのブロック単位で処理し、前記基本ＣＵのブロックサイズとして、前記所定の符号化規格に規定されるＣＵのブロックサイズのうち、１６×１６画素又は、８×８画素の大きさのブロックサイズのみ利用して処理する請求項１に記載の動画像符号化装置。
11. 前記Ｎ×Ｎ画素の領域は、３２×３２画素又は、６４×６４画素の大きさである、請求項１０に記載の動画像符号化装置。
12. 符号化対象ピクチャを所定の符号化規格にて符号化し、符号列を生成する動画像符号化方法であって、
    前記符号化対象ピクチャを符号化単位である基本ＣＵ毎に分割して出力し、
    前記出力される１つの前記基本ＣＵを少なくとも１つ以上に分割して得られる単位であって、前記基本ＣＵのサイズ以下の大きさの予測単位である基本ＰＵ毎に画面内予測もしくは画面間予測し予測画像を生成し、
    前記生成した予測画像と、前記符号化対象ピクチャのうち前記予測画像に対応する画像とを差分演算し、差分画像を生成し、
    前記生成された差分画像に対して直交変換および量子化処理し残差係数を生成し、
    （１）前記Ｎ×Ｎ画素の領域に属する複数の基本ＣＵおよび基本ＰＵがすべて同じブロックサイズかつ（２）前記Ｎ×Ｎ画素の領域に属する複数の基本ＰＵの予測情報が同じである場合、前記Ｎ×Ｎ画素の領域に含まれる複数の基本ＣＵを１つの新たなＣＵとして統合し、
    前記統合後の新たなＣＵに対して設定される符号化情報および前記統合後の新たなＣＵ内に属していた統合前の複数の基本ＣＵに関する残差係数を可変長符号化および算術符号化し、前記統合後の新たなＣＵに対する符号列を生成する、
    動画像符号化方法。

Images