JP2011030217A - 画像符号化装置及び画像復号化装置 - Google Patents

Abstract

【課題】１フレームを複数の部分画像に分割して符号化する際、部分画像間で圧縮歪みの偏りをなくし、分割境界が検知されにくくする。
【解決手段】画像符号化装置は、１フレームの画像を複数の断片画像に分割し、前記複数の断片画像をＮ組（Ｎ：２以上の整数）に分けてＮ個の部分画像として出力する画像分割部と、前記Ｎ個の部分画像間で少なくとも１つの断片画像を交換し、各々の断片画像が混合されたＮ個の部分画像を出力する画像交換部と、前記画像交換部から出力された前記Ｎ個の部分画像を符号化する符号化部とを備えている。
【選択図】図１

Description

本発明は、高解像度の画像を複数の部分画像に分割して並列に圧縮符号化する画像符号化装置、及び圧縮符号化した画像を復号化する画像復号化装置に関する。

動画像は連続する複数のフレームから構成されている。放送局用または家庭用の記録機器に搭載されたコーデックは、たとえばフレームごとにまたは複数のフレーム間の差分を利用して、動画像を圧縮符号化する。圧縮符号化に要するコーデックの演算処理量は、１フレームを構成する画素の数（空間的な解像度）及びフレームレート（時間的な解像度）が高くなるにしたがって増大する。

このような動画像を実時間で圧縮符号化するために、１フレームを空間的に分割し、または、複数フレームを時間的に分割して、圧縮符号化処理を並列化する手法がよく知られている。しかしながら、動画像の圧縮符号化処理はフレームの空間的、時間的な相関を利用して効率的にデータ量を削減する技術であるため、並列化のための分割処理は圧縮効率を低下させる可能性がある。よって、従来から分割処理による圧縮効率の低下を最小限にする並列化方法の提案がなされている。これらの提案は、様々な組み合わせがあるものの、基本的な考え方として空間的な処理の分割と、時間的な処理の分割との２つに大別できる（たとえば特許文献１）。

「空間的な処理の分割」では、高解像度の映像信号が空間的に複数の部分画像に分割される。個々の部分画像はコーデックで並列に符号化され、圧縮データが得られる。最後に個々の圧縮データが統合される。このコーデックは、高解像度の画像を処理可能な性能を有している必要はなく、より解像度の低い画像を処理可能な性能を有していればよい。空間的な処理の分割によれば、部分画像に分割した境界において、空間的に隣接する画素間の相関を利用するフレーム内圧縮の効率は低下する。しかしながら従来、動き補償の探索範囲分だけ部分画像が相互にオーバーラップするように高解像度画像を分割することで、フレーム間圧縮の効率を低下させない工夫が見られていた。空間的な処理の分割は、並列化の処理単位を１フレーム内に限定できるため、処理遅延を小さくできる利点がある。

「時間的な処理の分割」では、１フレームの解像度はそのままに、１フレームあるいは複数フレームを１単位として動画像を再生期間で区切る。その結果、継続時間が比較的短いフレーム群が複数得られる。個々のフレーム群は、コーデックで並列に処理され圧縮データが得られる。最後に圧縮データが統合される。時間的な処理の分割は、フレーム内の隣接する画素間の相関を最大限利用することはできるため、フレーム内圧縮の効率を低下させることはない。しかしながら、フレーム群を独立に並列処理できる条件として、フレーム群の間にフレーム間の参照関係が無いことが必須となり、フレーム間圧縮の効率が低下する。例えば非特許文献１のＭＰＥＧ−２において、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）単位に並列処理する場合、ＧＯＰ間で参照関係のないＣｌｏｓｅｄ ＧＯＰにする必要がある。また、複数のＧＯＰを並列に処理するために大容量のフレームバッファメモリが必要となり、処理遅延が増大するという問題がある。処理遅延の増大は発生符号量を所定量に制御する符号量制御を困難にするため、並列処理のために時間的な分割が利用できる条件は限定される。

それゆえ、従来から高解像度の動画像を分割して圧縮符号化する場合には、空間的に画像を分割して並列処理することが多い。

特開昭５９−９７２７２号公報

ISO/IEC 13818-2 Information technology - Generic coding of moving pictures and associated audio information: Video ISO/IEC 14496-10 Information technology - Coding of audio-visual objects - Part10: Advanced video coding

従来知られている方法で入力映像を空間的に分割して並列に圧縮符号化すると、空間的に分割された複数の部分画像はそれぞれ異なる絵柄を含んでいるため、部分画像ごとに圧縮符号化の難易度が異なる。このため、可変長符号を採用する多くの圧縮符号化において同一の圧縮パラメータで圧縮符号化した場合には、分割した部分画像ごとの発生符号量がばらつく。反対に部分画像ごとの発生符号量が均等になるように部分画像ごとの圧縮パラメータを調整すると、部分画像ごとの圧縮歪みがばらつくことになり、視覚的に画面上の分割境界が検知され易くなる。個々の部分画像を独立に並列処理しながら、最終的に全ての部分画像で発生した符号の合計が所定量になるように符号量制御することは非常に困難である。

特に、近年高い圧縮効率で注目されているＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式（たとえば非特許文献２）において空間的な処理の分割を行うと、上述の問題はより顕著となる。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式は、１フレーム内で隣接する画素を参照することで大幅な圧縮効率の改善を達成している。しかしながら、部分画像と部分画像との境界においては、空間的に隣接していても異なる部分画像に属する画素間の相関は利用することができない。それゆえ、空間的な画像分割をＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式に適用すると、旧来の圧縮方式以上に大幅なフレーム内圧縮効率の低下が避けられない。

本発明は、上記課題を解決するためになされたものであり、その目的は、１フレームを複数の部分画像に分割して符号化する際、部分画像間で圧縮歪みの偏りをなくし、分割境界が検知されにくくすることにある。

本発明による画像符号化装置は、１フレームの画像を複数の断片画像に分割し、前記複数の断片画像をＮ組（Ｎ：２以上の整数）に分けてＮ個の部分画像として出力する画像分割部と、前記Ｎ個の部分画像間で少なくとも１つの断片画像を交換し、各々の断片画像が混合されたＮ個の部分画像を出力する画像交換部と、前記画像交換部から出力された前記Ｎ個の部分画像を符号化する符号化部とを備えている。

前記Ｎ個の部分画像の各々は、前記１フレームの画像を複数の領域に分割したときの各々に対応してもよい。

前記画像分割部は、前記１フレームの画像を前記Ｎ個の部分画像に分割する第１の画像分割部と、前記第１の画像分割部によって分割された前記Ｎ個の部分画像の各々をさらに分割して出力する第２の画像分割部とを備えていてもよい。

前記第２の画像分割部は、前記Ｎ個の部分画像の各々を、Ｎの整数倍の断片画像に分割してもよい。

前記画像分割部は、前記符号化部において予め定められているスライスの形状と同じ形状の断片画像を生成してもよい。

前記画像分割部は、形状が同じ複数の断片画像から構成される部分画像を生成してもよい。

前記画像分割部は、形状が異なる複数の断片画像から断片画像から構成される部分画像を生成してもよい。

前記スライスは、複数のマクロブロックから構成されており、前記画像分割部は、任意のマクロブロックに関して、隣接するマクロブロックが複数含まれるよう、前記断片画像を生成してもよい。

前記画像分割部は、前記符号化部において処理可能なサイズになるよう、前記Ｎ個の部分画像の各々のサイズを決定してもよい。

前記１フレームの画像のサイズが、前記符号化部において処理可能なサイズの整数倍でないときにおいて、前記画像符号化装置は、前記１フレームの画像のサイズを前記符号化部において処理可能なサイズの整数倍になるよう調整する画像拡張部をさらに備えていてもよい。

前記画像拡張部は、前記１フレームの画像に複数の画素を追加することによって、前記１フレームの画像のサイズを前記符号化部において処理可能なサイズの整数倍になるよう調整し、追加される前記複数の画素の各画素値は、前記１フレームの画像を構成する画素の画素値が取り得ない値を有していてもよい。

前記画像拡張部は、追加される前記複数の画素が前記Ｎ個の部分画像の各々に均等に含まれるよう、前記１フレームの画像のサイズを前記符号化部において処理可能なサイズの整数倍になるよう調整してもよい。

本発明による画像符号化装置は、符号化されたＮ個の部分画像の各々を復号化する復号化部と、復号化された前記Ｎ個の部分画像の各々を、所定の形状を有する複数の断片画像に分割する画像分割部と、予め定められた規則に基づいて、前記Ｎ個の部分画像間で少なくとも１つの断片画像を交換し、各々の断片画像が交換されたＮ個の部分画像を出力する復号画像交換部と、前記復号画像交換部から出力された前記Ｎ個の部分画像を１つの画像に統合し、復号化された画像を出力する復号統合部とを備えている。

前記符号化されたＮ個の部分画像のデータには、管理情報として、１フレームの画像から分割された部分画像の数の情報、各部分画像から分割された断片画像の形状の情報、断片画像の数の情報、符号化時における各断片画像の交換方法に関する規則の少なくとも１つが含まれており、前記画像符号化装置は、符号化されたＮ個の部分画像のデータとともに送信された前記管理情報を取得する符号化情報取得部をさらに備え、前記符号化情報取得部によって取得された前記管理情報に基づいて、前記画像分割部、前記復号画像交換部および前記復号統合部の少なくとも１つが動作してもよい。

本発明によれば、Ｎ個の部分画像間で少なくとも１つの断片画像を交換するため、空間的に分割された部分画像間の絵柄の偏りを改善して部分画像間で圧縮の難易度を平準化することが可能となる。さらにフレーム内の隣接画素の相関を高度に利用する圧縮方式であっても、スライス境界では隣接画素を参照しないため、スライス境界と断片画像の分割境界を一致させることで空間的な画像分割による圧縮効率の低下を防止できる。

実施形態１における画像符号化装置１０の構成を示すブロック図である。 第１の画像分割部１００の処理を模式的に示す図である。 第２の画像分割部１０１ａ〜１０１ｄの処理を模式的に示す図である。 画像交換部１０２における断片画像の交換方法を模式的に示す図である。 画像交換部１０２の混合ルールの一例を示す図である。 画像符号化装置１０の動作の手順を示すフローチャートである。 実施形態２における第２の画像分割部１０１ａ〜１０１ｄの部分画像の分割方法を示す図である。 実施形態２による入力画像の分割状態を示す図である。 実施形態２による画像交換部１０２によって断片画像が混合された部分画像群９００を示す図である。 入力された画像を、第１の画像分割部１００が２行４列の８つの部分画像に分割したときの例を示す図である。 実施形態３による画像符号化装置２０の構成を示す図である。 画像符号化装置２０の動作の手順を示すフローチャートである。 画像拡張部９００の機能を説明する模式図である。 （ａ）は、入力された画像の周囲に無効画素が付加された、拡張された入力画像１３００を示す図であり、（ｂ）は、入力された画像に、無効画素がＬ字型および十字型に付加された、拡張された入力画像１３０２を示す図である。 実施形態４による画像復号化装置３０の構成を示すブロック図である。 復号画像分割部１４０２ａ〜１４０２ｄの処理を模式的に示す図である。 復号画像交換部１４０３の処理を模式的に示す図である。 復号統合部１４０４における部分画像群１８００の統合方法を示す図である。 画像復号化装置３０の動作の手順を示すフローチャートである。 実施形態５による画像復号化装置４０の構成を示す図である。

以下、添付の図面を参照しながら、本発明による画像符号化装置および画像復号化装置の実施形態を説明する。

以下の実施形態では、画像符号化装置および画像復号化装置は、それぞれ放送局に設けられた記録機器および再生機器であるとして説明する。ただし、これは実施形態としての一例である。画像復号化装置のみが家庭用の再生機器であってもよいし、さらに画像符号化装置が家庭用の記録機器であってもよい。

（実施形態１）
（１−１．画像符号化装置の構成）
図１は、本実施形態における画像符号化装置１０の構成を示すブロック図である。画像符号化装置１０は、第１の画像分割部１００と、第２の画像分割部１０１ａ〜１０１ｄと、画像交換部１０２と、符号化部１０３ａ〜１０３ｄとを含む。

第１の画像分割部１００は、画像データを受け取る。第１の画像分割部１００は、受け取った画像データを、適切なサイズの画像になるよう画像データに空間的に分割する。分割された画像（以下「部分画像」という。）のデータは後の処理を経て、符号化部１０３ａ〜１０３ｄにおいて並列して符号化される。

図２は、第１の画像分割部１００の処理を模式的に示す。第１の画像分割部１００は入力画像３００の画像データを受け取って空間的な分割処理を行う。分割処理の結果、４つの部分画像群３０１が得られる。本実施形態においては、第１画像分割部１００は、入力画像を、互いに等しいサイズの４つの矩形の部分画像に分割する。図示されるように、本明細書においては、便宜上、各部分画像に左上から順に０、１、２、３と番号をつけて区別するものとする。

本実施形態においては、入力画像は、たとえば水平８１９２画素×垂直４３２０画素の、いわゆる「８Ｋ４Ｋ」と呼ばれるサイズの画像であるとする。そして、各部分画像０〜３は、水平２０４８画素×垂直１０８０画素のサイズの画像であるとする。

なお、上述の入力画像サイズおよび分割後の画像サイズは一例である。他の例として、第１の画像分割部１００は、水平７６８０画素×垂直４３２０画素の画像のデータを受け取り、水平１９２０画素×垂直１０８０画素の部分画像に分割してもよい。

また、本実施形態では、第１の画像分割部１００は、等しいサイズの矩形領域に４分割しているが、分割の形状および分割数に関してはこれに限定されるものではない。たとえば分割数は少なくとも２であればよい。

以下では第１の画像分割部１００の処理を、便宜的に「第１の分割処理」という。

図１に示す第２の画像分割部１０１ａ〜１０１ｄは、第１の画像分割部１００が分割した部分画像群３０１の部分画像０〜３をそれぞれ受け取り、各部分画像を、さらに空間的に分割する。本実施形態においては、第２の画像分割部の数は、第１の画像分割部１００によって生成された部分画像の数に等しいとする。第２の画像分割部１０１ａ〜１０１ｄは、部分画像の分割処理を並列的に行う。分割画像をさらに分割することによって得られた画像を、本明細書では以下「断片画像」と呼ぶ。

図３は、第２の画像分割部１０１ａ〜１０１ｄの処理を模式的に示す。

第２の画像分割部１０１ａ〜１０１ｄは、部分画像０〜３をそれぞれ受け取って空間的な分割処理を行う。具体的には、第２の画像分割部１０１ａ〜１０１ｄは、部分画像０〜３を、さらに小さい断片画像群４０１に再分割する。断片画像群４０１を構成する断片画像の数は、第１の画像分割部１００によって生成された部分画像の数である４の倍数である。

本実施形態において、第２の画像分割部１０１ａ〜１０１ｄは、各部分画像を短冊状の４つの断片画像に分割している。第２の画像分割部１０１ａ〜１０１ｄの分割処理によって得られた断片画像群４０１を構成する各断片画像は、各部分画像０〜３の番号の後にハイフン０、１、２、３と番号をつけて区別するものとする。

各部分画像０〜３が水平２０４８画素×垂直１０８０画素のサイズの画像とすると、断片画像のサイズは、水平２０４８画素×垂直２５６画素のサイズの画像であるとする。

なお、本実施形態では、第２の画像分割部１０１ａ〜１０１ｄは部分画像を短冊状に４分割しているが、分割の形状および分割数に関してはこれに限定されるものではない。また、第２の画像分割部１０１の分割数は、第１の画像分割部１００で分割した部分画像の数の整数倍でなくてもよい。後に詳述するように、断片画像を交換して混合することが可能な程度の数の断片画像が存在すれば平準化の効果は得られる。

なお、本実施形態では、部分画像を並列して処理するために、部分画像の数だけ第２の画像分割部１０１を有するとしている。ただしこれは一例である。第２の画像分割部１０１は少なくとも１つあればよく、分割処理を時分割で行ってもよい。

以下では第２の画像分割部１０１ａ〜１０１ｄの処理を、便宜的に「第２の分割処理」という。

さらに、本実施形態においては、第１の画像分割部１００および４つの第２の画像分割部をそれぞれ別に設けている。しかしながら、これらを１つの構成要素において行ってもよい。すなわち、先の例で言えば、１つの入力画像を空間的に分割して、部分画像を生成することなく１６の断片画像を生成してもよい。図１には、１つの入力画像を１６の断片画像に分割する画像分割部１０５が示されている。

図１に示す画像交換部１０２は、部分画像間で、部分画像を構成する断片画像を交換する処理を行う。

図４は、画像交換部１０２における断片画像の交換方法を模式的に示している。第１の画像分割部１００および第２の画像分割部１０１ａ〜１０１ｄによって生成された断片画像群５００には、部分画像ごとに４つの断片画像が含まれている。断片画像の合計は１６個である。

画像交換部１０２は、部分画像間で断片画像を交換して、混合された断片画像群５０１を生成し、さらに断片画像を４つずつまとめて部分画像０’、１’、２’、３’を生成する。本実施形態においては、第２の画像分割部１０１ａ〜１０１ｄは第１の画像分割部１００で分割した部分画像の数の倍数となるように断片画像に分割しているため、各部分画像０’、１’、２’、３’に全ての部分画像の断片画像が均等に含まれるように交換することができる。

一例として、図４によれば、断片画像が混合された部分画像０’は０−０、１−１、２−２、３−３から構成される。同様に断片画像が混合された部分画像１’、２’、３’にも、全ての部分画像０〜３の断片画像が含まれている。

図５は画像交換部１０２の混合ルールの一例を示す。本実施形態においては、画像混合ルールは以下の式で定義される。
混合された断片画像［ｘ］−［ｙ］ ＝ 断片画像［（ｘ＋ｙ）％Ｎ］−［ｙ］

ここで、［ｘ］−［ｙ］は、図３から図５における、断片画像を示す番号（０−０、０−１、０−２、０−３、１−０等）である。Ｎは、第１の画像分割部１００の分割数である。Ｍは第２の画像分割部１０１ａ〜１０１ｄの分割数である。またｘは０からＮ−１の整数、ｙは０からＭ−１の整数である。本実施形態ではＮ＝４、Ｍ＝４である。式中の％は剰余演算を意味する。

本実施形態では、上式に基づき断片画像を交換する形態について説明したが、画像交換部１０２は、全ての部分画像の断片画像を可能な限り均等になるように混合できればよく、本実施形態で開示した混合ルールでなくても同等の効果を得ることができる。本明細書においては、断片画像が混合された部分画像中に、各部分画像の少なくとも１つの断片画像が含まれているときは、断片画像が均等に混合されているという。

ただし、厳密に均等に混合されていなくてもよい。たとえば、部分画像を構成する少なくとも１つの断片画像が、他の部分画像を構成する断片画像と交換されていればよい。このような場合であっても、混合しない場合と比較すると本願発明の効果を得ることが可能だからである。

符号化部１０３ａ〜１０３ｄはそれぞれ、画像交換部１０２が出力する断片画像の交換後の部分画像を符号化する。符号化は、たとえばＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４規格に基づいて行われる。本実施形態では、符号化部１０３ａ〜１０３ｄは、第１の画像分割部１００で生成した部分画像の数だけ設けられており、部分画像を並列に符号化する。符号化部１０３ａ〜１０３ｄは、符号化された画像データを出力する。各画像データは、別個のデータとして出力されてもよいし、あるいは、４つのデータを１組として出力されてもよい。いずれの場合も、データの配置順序に一定の規則を設けておいてもよい。たとえば符号化部１０３ａが生成した画像データを先頭として、順次、符号化部１０３ｂが生成した画像データ、符号化部１０３ｃが生成した画像データ、符号化部１０３ｄが生成した画像データが出力されてもよい。

また、出力される各符号化画像データには、その符号化画像データが、符号化部１０３ａ〜１０３ｄのうちのどの符号化部によって処理されたかを示す情報が付加されてもよい。この情報は後述する復号化処理の際に参照される。この情報は、たとえば符号化データ中のメタデータとして、ＵＭＩＤ情報に埋め込まれてもよい。ＵＭＩＤ情報は各符号化データに一意に付加される識別情報である。

なお、本実施形態では、部分画像を並列して符号化処理するために、部分画像の数だけ符号化部１０３ａ〜１０３ｄを有する形態を説明する。このような構成は、現時点ではコストの面で有利であると考えられる。その理由は、上述の８Ｋ４Ｋサイズの画像を分割することなくそのまま符号化可能な回路の開発は進められているものの、そのような回路はまだ高価であり、その一方、分割されたサイズの画像を符号化可能な回路は容易かつ比較的安価に入手可能だからである。しかしながらこの構成は一例である。符号化部は少なくとも１つ設けられていればよい。符号化処理を時分割で並列的に行ってもよい。

（１−２．画像符号化装置１０の動作）
以下、図６を参照しながら、本実施形態における画像符号化装置１０の動作を説明する。

図６は、画像符号化装置１０の動作の手順を示すフローチャートである。

画像符号化装置１０に１フレームの画像データが入力される（ステップ２０１）。第１の画像分割部１００は、入力された画像データを、適切な画像サイズの画像データに空間的に分割する（ステップ２０２）。この結果、複数の部分画像が得られる。

第２の画像分割部１０１ａ〜１０１ｄは、第１の画像分割部１００によって生成された複数の部分画像の各々を、さらに空間的に分割する（ステップ２０３）。この結果、各部分画像から、複数の断片画像が得られる。

画像交換部１０２は、各部分画像間で、各部分画像を構成する断片画像を交換する（ステップ２０４）。

符号化部１０３ａ〜１０３ｄは、画像交換部１０２が出力する、断片画像が混合された部分画像０’、１’、２’、３’をそれぞれ受け取り、たとえばＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４に基づいて符号化する（ステップ２０５）。なお、符号化方式は、ＭＰＥＧ−２方式等であってもよい。画像符号化装置１０は、符号化部１０３ａ〜１０３ｄでそれぞれ符号化された圧縮画像データを出力する（ステップ２０６）。

このように、符号化部１０３ａ〜１０３ｄは、第１の画像分割部１００で分割した部分画像を直接符号化するのではなく、部分画像を第２の画像分割部１０１ａ〜１０１ｄで断片画像にさらに分割し、画像交換部１０２で断片画像を交換して作成した部分画像に対して、符号化を行う。これにより、空間的に分割された部分画像間の絵柄の偏りを改善し、断片画像が混合された部分画像間で圧縮の難易度を平準化することが可能となる。

（実施形態２）
実施形態１による第２の画像分割部１０１ａ〜１０１ｄは、短冊状の断片画像を生成するとした。

本実施形態による第２の画像分割部１０１ａ〜１０１ｄは、短冊状ではない形状の断片画像を生成する。以下、主として第２の画像分割部１０１ａ〜１０１ｄおよびその断片画像の形状を説明する。

なお、本実施形態による画像符号化装置の構成は、実施形態１による画像符号化装置１０の構成と同一である。よって本実施形態による画像符号化装置は、図１に記載された「画像符号化装置１０」であるとして説明する。

以下では、実施形態１と異なる実施形態２の構成および動作を説明する。特に説明がない構成要素およびその動作は、実施形態１と同じである。

図７は、本実施形態における第２の画像分割部１０１ａ〜１０１ｄの部分画像の分割方法を示す。第２の画像分割部１０１ａ〜１０１ｄは、図２に示すように矩形に分割された各部分画像を、図７に示すような形状の１０の断片画像に分割する。断片画像の分割数１０は、符号化部１０３ａ〜１０３ｄのスライス分割数が１０であることに由来する。なお、スライスの分割数および形状は、符号化部１０３ａ〜１０３ｄにおいて予め定められている。いずれも、符号化部１０３ａ〜１０３ｄの仕様に合わせて第２の画像分割部１０１ａ〜１０１ｄが部分画像を断片画像に分割する例である。

符号化部１０３ａ〜１０３ｄを複数用いて並列的に符号化する場合、第２の画像分割部１０１ａ〜１０１ｄは符号化部１０３ａ〜１０３ｄのスライスの分割境界に合わせて、部分画像を断片画像に分割する。このように分割する利点は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式のように隣接画素（または隣接マクロブロック）間の相関を利用する符号化においても、圧縮効率が低下しないことにある。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式では、スライス間では隣接画素を参照しない。したがって、スライスの分割境界に合わせて断片画像を分割すると、圧縮効率に影響は与えないことになる。なお本実施形態では、第２の画像分割部１０１ａ〜１０１ｄは、スライスを構成する任意のマクロブロックに関して、隣接するマクロブロックが複数含まれるよう断片画像を生成する。これにより、隣接するマクロブロックを利用して符号化が行われる。ここでいう「隣接」とは、水平方向に関する隣接のみならず、垂直方向に関する隣接も含む。

図８は、第１の画像分割部１００で入力画像を等しいサイズの矩形の４つの部分画像に分割し、第２の画像分割部１０１ａ〜１０１ｄは符号化部１０３ａ〜１０３ｄのスライス分割境界に合わせて１０個の断片画像に再分割した場合の分割状態を示している。

第２の画像分割部１０１ａ〜１０１ｄによって分割された断片画像は全て同じ形状ではない。よって、画像交換部１０２によって部分画像間で交換される断片画像には形状に関して制限が課される。本実施形態による画像交換部１０２は、形状が同じ断片画像同士を各部分画像間で交換し、断片画像が混合された部分画像を生成する。

図９は、本実施形態による画像交換部１０２によって断片画像が混合された部分画像群９００を示す。

本実施形態においては、画像混合ルールは以下の式で定義される。
混合された断片画像［ｘ］−［ｙ］ ＝ 断片画像［（ｘ＋ｙ）％Ｎ］−［ｙ］

ここで、［ｘ］−［ｙ］は、図８及び図９における、断片画像を示す番号（０−０、０−１、０−２、０−３、１−０等）である。Ｎは、第１の画像分割部１００の分割数である。Ｍは第２の画像分割部１０１ａ〜１０１ｄの分割数である。またｘは０からＮ−１の整数、ｙは０からＭ−１の整数である。本実施形態２ではＮ＝４、Ｍ＝１０である。式中の％は剰余演算を意味する。

本実施形態では、第２の画像分割部１０１ａ〜１０１ｄによる断片画像の分割数（１０）は、第１の画像分割部１００による部分画像の分割数（４）の倍数になっていないため、完全に均等に断片画像を混合することができない。しかしながら、部分画像間で断片画像を交換して混合することによる平準化の効果は十分に期待できる。

なお、上述した画像交換部１０２の交換ルールは一例である。他の混合ルールを採用してもよい。部分画像を構成する少なくとも１つの断片画像が、同じ形状の他の部分画像を構成する断片画像と交換されていればよい。この場合であっても混合しない場合と比較すると本願発明の効果を得ることが可能である。

なお、本実施形態では符号化部１０３ａ〜１０３ｄのスライス分割数が１０である例について説明したが、スライス分割数は１０でなくてもよい。また、第１の画像分割部１００による部分画像への分割数は４に限定されるものではない。

以下、部分画像への分割数に関する変形例を説明する。

たとえば図１０は、入力された画像を、第１の画像分割部１００が２行４列の８つの部分画像に分割したときの例を示す。また図１０には、各部分画像が第２の画像分割部によって分割されて得られた１０個の断片画像も示されている。この変形例においては、第２の画像分割部は８つ設けられていればよい。ただし、４つの第２の画像分割部１０１ａ〜１０１ｄが時分割でそれぞれ２つの部分画像を処理してもよい。または、第２の画像分割部を１つ設け、時分割で８つの部分画像を並列的に処理してもよい。なお、この変形例における各部分画像を構成する断片画像の形状は、図７に示す通りである。

図１０に示すように断片画像が生成された後、画像交換部１０２は各部分画像間で同じ形状を有する断片画像同士を交換する。その結果、図９に示される例よりも、絵柄の偏りがなくなる。そのような部分画像を、符号化部において符号化することにより、断片画像が混合された部分画像間で圧縮の難易度を平準化することが可能となる。

（実施形態３）
本実施形態においては、実施形態１または実施形態２の画像符号化装置１０の構成に、画像拡張部が追加された画像符号化装置を説明する。

図１１は、本実施形態による画像符号化装置２０の構成を示す。図１１に示される画像符号化装置２０の構成要素のうち、実施形態１の画像符号化装置１０の構成要素と同一の機能を有するものには同一の参照符号を付与し、説明を省略する。

画像拡張部９００は、入力された画像データの画像のサイズを拡張する機能を有している。画像サイズを拡張する目的は、符号化部１０３ａ〜１０３ｄで処理可能なサイズの部分画像を得ることができるよう、入力された画像データの画像のサイズを調整することにある。入力画像のサイズが符号化部１０３ａ〜１０３ｄで処理可能な画像サイズの整数倍でない場合には、そのままでは符号化部１０３ａ〜１０３ｄで符号化することが可能なサイズの部分画像を得ることができない。そのため、本実施形態においては、第１の画像分割部１００の前段に画像拡張部９００を設け、入力された画像データの画像のサイズを調整することとした。

以下、図１２および図１３を参照しながら、本実施形態による画像符号化装置２０の動作を説明する。図１２は、画像符号化装置２０の動作の手順を示すフローチャートである。また図１３は、画像拡張部９００の機能を説明する模式図である。本実施形態において、実施形態１の画像符号化装置の動作と異なる点は、画像拡張処理（ステップ１１０１）が存在する点であり、他の処理については、実施形態１と同一であり、説明を省略する。

まず画像拡張部９００は、入力画像１２００のサイズが、符号化部１０３ａ〜１０３ｄで処理可能な画像サイズの整数倍であるか否かを判定する。整数倍であるときは、画像拡張部９００はそれ以上の処理を行わず、受け取った入力画像のデータを第1の画像分割部１００に送る。一方、整数倍でないと判定したときは、画像拡張部９００は、入力画像１２００のサイズが符号化部１０３ａ〜１０３ｄで処理できる画像サイズの整数倍になるまで無効画素を挿入して画像サイズを拡張する。「無効画素」とは、たとえば全ての色成分の画素値がヌル（たとえば０）とされているパディング用の画素であるとする。なお、無効画素の画素値は、入力画像を構成する画素の画素値が取り得ない値であればよい。

たとえば図１３において、入力画像１２００のサイズが水平７６８０画素×垂直４０６４画素であったとする。一方、符号化部１０３ａ〜１０３ｄが処理可能な画像サイズは水平２０４８画素×垂直１０８０画素のサイズであるとする。

このとき画像拡張部９００は、入力画像１２００のサイズが、符号化部１０３ａ〜１０３ｄで処理可能な画像サイズの整数倍ではないと判定する。そして画像拡張部９００は、図１３に示すように、無効画素１２０１が挿入されて拡張された入力画像１２０３を生成する。無効画素１２０１は入力画像１２００にＬ字型に付加されて、入力画像を水平方向に５１２画素、垂直方向に２５６画素拡大する。

拡張された入力画像１２０３を画像拡張部９００が第１の画像分割部１００に送ると、第１の画像分割部１００は無効画素１２０１を含む画像を、複数の部分画像に分割する。その結果出力された部分画像群１２０２は、既存の符号化部１０３ａ〜１０３ｄを複数個（上述の例では４個）並列に使用して符号化処理が可能になる。なお、挿入する無効画素の画素値はどのような値であってもよい。

ただし、後述の画像復号化処理に関連して、復号化された画像が、無効画素を付加された画像であるか否か、および、無効画素が付加されている場合にはその画素数の情報が必要となる。そのため、画像拡張部９００は、画像拡張部９００から出力された画像が無効画素を含むか否かを示す情報および付加されている画素数の情報を生成することができる。たとえば、動画を構成する一連の画像に共通して無効画素が付加されたときは、画像拡張部９００はその符号化データに付随する管理情報に上述の情報を記述してもよい。または、符号化データ中の管理情報（メタデータ）として、ＵＭＩＤ情報に埋め込まれてもよい。ＵＭＩＤ情報は各符号化データに一意に付加される識別情報である。

なお、無効画素は、Ｌ字型で付加される必要はない。分割後の部分画像に無効画素が均等に含まれるように付加できれば、その方法は任意である。たとえば、図１４（ａ）は、入力された画像の周囲に無効画素が付加された、拡張された入力画像１３００を示す。水平方向および垂直方向に付加すべき画素数がそれぞれ２分され、そのそれぞれが、入力された画像の周囲に付加される。図１４（ａ）の例では、第１の画像分割部１００は、拡張された入力画像１３００を４等分して部分画像群１３０１を生成している。

また図１４（ｂ）は、入力された画像に、無効画素がＬ字型および十字型に付加された、拡張された入力画像１３０２を示す。水平方向および垂直方向に付加すべき画素数がそれぞれ２分され、入力された画像の水平方向の中央部分および右端部分に付加されるとともに、入力された画像の垂直方向の中央部分および下端部分に付加される。図１４（ｂ）の例では、第１の画像分割部１００は、拡張された入力画像１３０２を４等分して部分画像群１３０３を生成している。

このように無効画素を付加することにより、部分画像群１３０１または部分画像群１３０３において、部分画像間で無効画素の挿入面積を同一とし、絵柄の複雑度を平準化することができる。

（実施形態４）
（４−１．画像復号化装置の構成）
実施形態１から３は、画像データを符号化する画像符号化装置を説明した。

本実施形態および実施形態５は、符号化された画像データを復号化する画像復号化装置を説明する。より具体的には、本実施形態では主として実施形態１にかかる画像符号化装置によって符号化された画像を復号化する装置を説明する。

図１５は、本実施形態による画像復号化装置３０の構成を示すブロック図である。画像復号化装置３０は、復号化部１４０１ａ〜１４０１ｄと、復号画像分割部１４０２ａ〜１４０２ｄと、復号画像交換部１４０３と、復号統合部１４０４とを含む。

復号化部１４０１ａ〜１４０１ｄは、符号化された部分画像を受け取って復号化する。本実施形態では、復号化部１４０１ａ〜１４０１ｄは、符号化された部分画像のデータを並列的に復号化する。復号化部１４０１ａ〜１４０１ｄがどのような規則で各符号化データを受け取るかについては、たとえば符号化された画像データが、実施形態１にかかる符号化部１０３ａ、１０３ｂ、１０３ｃおよび１０３ｄから出力された順に記録媒体に記録されているときに、その順序で読み出され、順次復号化部１４０１ａ、１４０１ｂ、１４０１ｃおよび１４０１ｄに送られてもよい。

なお、本実施形態では、部分画像を並列して復号化処理するために、部分画像の数だけ復号化部１４０１ａ〜１４０１ｄを有する形態について説明する。この構成は現時点ではコストの面で有利であると考えられる。その理由は、実施形態１において、部分画像の数だけ符号化部１０３ａ〜１０３ｄを設けたことによる利点と同じである。しかしながらこの構成は一例である。復号化部は少なくとも１つあればよく、復号化処理を時分割で行ってもよい。

復号画像分割部１４０２ａ〜１４０２ｄは、符号化前に、第２の画像分割部１０１ａ〜１０１ｄで採用された分割方法に合わせて、復号化部１４０１ａ〜１４０１ｄが出力する画像データの画像を空間的に分割して、複数の断片画像を生成する。

たとえば本発明が１つの録画再生機器として実施される場合、その録画再生機器は、符号化時には上述の実施形態にかかる画像符号化装置として動作し、復号化時には本実施形態または後述の実施形態５にかかる画像復号化装置として動作する。そのような録画再生機器は、符号化時にどのような分割方法を採用したかを、たとえば内部に保持されている分割方法を示す情報に基づいて、または、予め設定された分割方法に基づいて、復号化時に容易に知ることができる。なお、分割方法を示す情報を画像符号化装置が符号化画像データに付随させることにより、画像復号化装置がその情報を参照して分割方法を特定してもよい。後者の方法であれば、画像符号化装置と画像復号化装置とが別体である場合にも有効である。

本実施形態では、符号化時の分割方法はあらかじめ決められており、復号画像分割部１４０２ａ〜１４０２ｄは、その分割方法に基づき、分割処理を行うとする。

図１６は、復号画像分割部１４０２ａ〜１４０２ｄの処理を模式的に示す。

復号画像分割部１４０２ａ〜１４０２ｄは、復号化部１４０１ａ〜１４０１ｄが出力する復号化された部分画像群１６００を受け取る。復号画像分割部１４０２ａ〜１４０２ｄは、あらかじめ決められた分割方法で断片画像１６０１に分割する。分割の結果、部分画像群１６００の各々は、短冊状の４つの断片画像１６０１に分割する。この分割方法は、実施形態１における分割方法と同じであり、各断片画像の形状およびサイズは、実施形態１における断片画像のそれらと同じである。

復号画像分割部１４０２ａ〜１４０２によって生成された断片画像群１６０１は、たとえば図４に示されるように、画像交換部１０２が生成した、混合された断片画像群５０１と同じ配置になっていることに留意されたい。

なお、本実施形態では、復号画像分割部１４０２ａ〜１４０２ｄは実施形態１にかかる分割方法と同じ方法で断片画像を生成するとした。しかしながら、分割の形状および分割数に関しては、符号化時に第２の画像分割部１０１ａ〜１０１ｄで分割した分割方法に合わせればよい。よって、断片画像は短冊状の形状に限定されるものではない。例えば、図７に示すような、実施形態２で採用された分割方法も採用され得る。第２の画像分割部１０１ａ〜１０１ｄが単純な水平分割ではないスライス分割に合わせて部分画像から断片画像を生成する場合、復号画像分割部１４０２ａ〜１４０２ｄはこの分割方法と同一の分割方法で、分割画像を断片画像に分割することとなる。

復号画像分割部１４０２ａ〜１４０２ｄは、復号化部１４０１ａ〜１４０１ｄが出力する部分画像を並列して分割処理し、断片画像を出力する。なお、本実施形態では、部分画像を並列して分割処理するために、部分画像の数だけ復号画像分割部１４０２ａ〜１４０２ｄを有する形態について説明するが、復号画像分割部１４０２ａ〜１４０２ｄは少なくとも１つあればよく、分割処理を時分割で行ってもよい。たとえば図１５には、復号画像分割部１４０２ａ〜１４０２ｄを１つの構成とした画像分割部１４０２が示されている。

再び図１５を参照する。

復号画像交換部１４０３は、符号化時に、画像交換部１０２で行った画像交換方法に合わせて、部分画像間で、部分画像を構成する断片画像を交換する処理を行う。本実施形態では、復号画像交換部１４０３は、符号化時の画像交換をあらかじめ記憶しており、それに基づき、交換処理を行う。

図１７は、復号画像交換部１４０３の処理を模式的に示す。

復号画像交換部１４０３は、符号化時に画像交換部１０２で行った画像交換方法に基づいて、部分画像間で、部分画像を構成する断片画像を交換する。たとえば実施形態１に関連して、混合された断片画像［ｘ］−［ｙ］ ＝ 断片画像［（ｘ＋ｙ）％Ｎ］−［ｙ］という画像混合ルールを説明した。復号画像交換部１４０３は、この演算式の右辺から左辺の演算を行って、断片画像を交換する。

本実施形態では、部分画像は、画像交換部１０２によって混合された断片画像群１７００で構成される。断片画像群１６０１は、画像交換部１０２によって生成された、部分画像０’、１’、２’、３’である。復号画像交換部１４０３は、画像交換部１０２が行った交換処理と逆の交換処理を行い、交換後の断片画像群１７０１を生成する。この断片画像群１７０１は、部分画像０，１，２，３として出力される。なお、部分画像０，１，２，３は、実施形態１における第２の画像分割部１０１ａ〜１０１ｄが生成した部分画像０，１，２，３と同じである。

復号統合部１４０４は、復号画像交換部１４０３が出力する部分画像を統合して、１つの復号化画像データにまとめて出力する。

図１８は、復号統合部１４０４における部分画像群１８００の統合方法を示している。復号統合部１４０４は、復号画像交換部１４０３から出力された部分画像０，１，２，３を受け取り、所定の配列方法でそれらを配置させる。たとえば、部分画像０の右に部分画像１を配置し、部分画像０の下に部分画像２を配置し、部分画像２の右に部分画像３を配置する。

復号統合部１４０４は、部分画像群１８００から１つの画像１８０１を構築して出力する。これにより、各部分画像は、配置された位置に対応する位置関係で出力画像１８０１として統合される。

上述の処理は、実施形態１における第１の画像分割部１００が部分画像群を生成して部分画像０，１，２，３として出力した処理と逆の処理である。

なお、本実施形態では、復号統合部１４０４は等しいサイズの４つの矩形領域を１つの画像に統合する例を説明したが、分割の形状および分割数に関しては、符号化時の分割方法と同一であればよく、図１８に示す例に限定されるものではない。

（４−２．画像復号化装置の動作）
以下、図１９を参照しながら、本実施形態における画像復号化装置３０の動作を説明する。

図１９は、画像復号化装置３０の動作の手順を示すフローチャートである。

本実施形態において、画像復号化装置３０に入力される符号化画像データは、実施形態１において画像符号化装置によって生成された符号化画像データであるとする。

画像復号化装置３０に符号化画像データが入力される（ステップ１５０１）。

復号化部１４０１ａ〜１４０１ｄは、入力された符号化画像データを符号化時の符号化方式に基づき、復号化する（ステップ１５０２）。たとえば復号化部１４０１ａ〜１４０１ｄは、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式に基づき、画像を復号化する。なお、復号化時の方式は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式に限られず、符号化時の方式と同一であればよい。

復号画像分割部１４０２ａ〜１４０２ｄは、復号化部１４０１ａ〜１４０１ｄが出力する部分画像を、第２の画像分割部１０１ａ〜１０１ｄで分割した分割方法に合わせて、空間的に分割する（ステップ１５０３）。

復号画像交換部１４０３は、各部分画像間で、各部分画像を構成する断片画像を交換する（ステップ１５０４）。

復号統合部１４０４は、復号画像交換部１４０３が出力する部分画像を、１つの復号化画像データにまとめる（ステップ１５０５）。画像復号化装置３０は、復号統合部１４０４でまとめた復号化画像データを出力する（ステップ１５０６）。

このように、復号化部１４０１ａ〜１４０１ｄは、符号化時に空間的に分割された部分画像間の絵柄の偏りを改善し、部分画像間で圧縮の難易度を平準化した符号化データを復号化することで、復号化時の処理を平準化することができる。さらに、符号化時の画像交換に対応した画像交換を行うことによって、符号化前の画像データを正しく復号化することができる。

なお、図１０に示される分割方法によって分割され、断片画像が交換され、符号化された場合であっても、画像復号化装置３０は上述の処理にしたがって処理を行うことにより、復号化される前の入力画像を構築して出力することができる。

（実施形態５）
実施形態５においては、実施形態４の画像復号化装置３０の構成に、符号化情報取得部が追加された画像復号化装置を説明する。

図２０は、本実施形態による画像復号化装置４０の構成を示す。図２０に示される画像復号化装置４０の構成要素のうち、実施形態４の画像復号化装置３０の構成要素と同一の機能を有するものには同一の参照符号を付与し、説明を省略する。

図２０において、符号化情報取得部１９００は、入力された符号化画像データから、符号化時の分割方法及び交換方法の情報を取得する。たとえば実施形態１〜３にかかる各画像符号化装置は、符号化時に第１の画像分割部１００、第２の画像分割部１０１ａ〜１０１ｄ及び画像交換部１０２における分割方法及び交換方法を、符号化データ中に格納していたとする。たとえば、実施形態５においては分割方法及び交換方法は符号化データ中のメタデータとして、ＵＭＩＤ情報に埋め込まれているとする。

符号化情報取得部１９００は、符号化データ中の分割方法及び交換方法の情報をメタデータのＵＭＩＤから取得する。そして、符号化情報取得部１９００は、復号画像分割部１２０２に分割方法の情報を出力し、復号画像交換部１２０３に交換方法の情報を出力し、復号統合部１４０４に分割方法の情報を出力する。

なお、実施形態５では、分割方法及び交換方法は符号化データ中のメタデータとして、ＵＭＩＤ情報に埋め込まれているとしたが、分割方法及び交換方法の情報を埋め込む場所は符号化データ中のＵＭＩＤに限定するものではない。符号化データに付随する管理情報に格納されてもよい。

以下、本実施形態による画像復号化装置４０の動作のうち、実施形態４による画像復号化装置３０と相違する点を説明する。

実施形態４では、復号画像分割部１４０２ａ〜１４０２ｄは、符号化時の分割方法をあらかじめ記憶しているとした。本実施形態では、復号画像分割部１４０２ａ〜１４０２ｄは、符号化情報取得部１９００より入力された符号化時の分割情報に基づき、分割処理を行う。

さらに、実施形態４では、復号画像交換部１４０３は、符号化時の交換方法をあらかじめ記憶しているとした。本実施形態では、復号画像交換部１４０３は、符号化情報取得部１９００より入力された符号化時の交換情報に基づき、交換処理を行う。

また実施形態４では、復号統合部１４０４は、符号化時の分割方法をあらかじめ記憶しているとした。本実施形態では、復号統合部１４０４は、符号化情報取得部１９００より入力された符号化時の分割情報に基づき、統合処理を行う。

このように、画像符号化装置と画像復号化装置間で、符号化時の分割方法及び交換方法に関する情報を符号化データの一部としてやりとりすることによって、分割方法及び交換方法の変更に柔軟に対応することができ、自動的に正しく分割前の画像に復号化、統合化することが可能になる。

上述の各実施形態およびその変形例にかかる装置の処理は、コンピュータである1つ以上のプロセッサが、種々の実行コードから構成されたコンピュータプログラムをメモリ上で実行することによって実現されてもよい。そのようなコンピュータプログラムには、たとえば図６、図１２および図１９に示される各フローチャートに基づく処理手順が規定されている。製品としてＣＤ−ＲＯＭ等の光ディスク、メモリカード等の半導体メモリなどに代表される記録媒体に記録されて市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。なお、プロセッサは、半導体回路にコンピュータプログラムを組み込んだＤＳＰ、チップ回路、光ディスクコントローラ等のハードウェアとして実現することも可能である。

本発明の画像符号化装置及び画像復号化装置によって、高解像度の動画像を圧縮符号化する際に、複数個のより解像度の低いコーデックを並列に利用することが可能になり、ビデオカメラを始めとする各種画像記録装置に適用することができ、有用である。

１００ 第１の画像分割部
１０１ａ〜１０１ｄ 第２の画像分割部
１０２ 画像交換部
１０３ａ〜１０３ｄ 符号化部
１０４ 統合部
９００ 画像拡張部
１４０１ａ〜１４０１ｄ 復号化部
１４０２ａ〜１４０２ｄ 復号画像分割部
１４０３ 復号画像交換部
１４０４ 復号統合部
１９００ 符号化情報取得部

Claims (14)

1. １フレームの画像を複数の断片画像に分割し、前記複数の断片画像をＮ組（Ｎ：２以上の整数）に分けてＮ個の部分画像として出力する画像分割部と、
   前記Ｎ個の部分画像間で少なくとも１つの断片画像を交換し、各々の断片画像が混合されたＮ個の部分画像を出力する画像交換部と、
   前記画像交換部から出力された前記Ｎ個の部分画像を符号化する符号化部と
   を備えた、画像符号化装置。
2. 前記Ｎ個の部分画像の各々は、前記１フレームの画像を複数の領域に分割したときの各々に対応する、請求項１に記載の画像符号化装置。
3. 前記画像分割部は、
   前記１フレームの画像を前記Ｎ個の部分画像に分割する第１の画像分割部と、
   前記第１の画像分割部によって分割された前記Ｎ個の部分画像の各々をさらに分割して出力する第２の画像分割部と
   を備えている、請求項１に記載の画像符号化装置。
4. 前記第２の画像分割部は、前記Ｎ個の部分画像の各々を、Ｎの整数倍の断片画像に分割する、請求項２または３に記載の画像符号化装置。
5. 前記画像分割部は、前記符号化部において予め定められているスライスの形状と同じ形状の断片画像を生成する、請求項１に記載の画像符号化装置。
6. 前記画像分割部は、形状が同じ複数の断片画像から構成される部分画像を生成する、請求項５に記載の画像符号化装置。
7. 前記画像分割部は、形状が異なる複数の断片画像から断片画像から構成される部分画像を生成する、請求項５に記載の画像符号化装置。
8. 前記スライスは、複数のマクロブロックから構成されており、
   前記画像分割部は、任意のマクロブロックに関して、隣接するマクロブロックが複数含まれるよう、前記断片画像を生成する、請求項５に記載の画像符号化装置。
9. 前記画像分割部は、前記符号化部において処理可能なサイズになるよう、前記Ｎ個の部分画像の各々のサイズを決定する、請求項１に記載の画像符号化装置。
10. 前記１フレームの画像のサイズが、前記符号化部において処理可能なサイズの整数倍でないときにおいて、前記１フレームの画像のサイズを前記符号化部において処理可能なサイズの整数倍になるよう調整する画像拡張部をさらに備えた、請求項１から請求項９のいずれかに記載の画像符号化装置。
11. 前記画像拡張部は、前記１フレームの画像に複数の画素を追加することによって、前記１フレームの画像のサイズを前記符号化部において処理可能なサイズの整数倍になるよう調整し、
    追加される前記複数の画素の各画素値は、前記１フレームの画像を構成する画素の画素値が取り得ない値を有する、請求項１０に記載の画像符号化装置。
12. 前記画像拡張部は、追加される前記複数の画素が前記Ｎ個の部分画像の各々に均等に含まれるよう、前記１フレームの画像のサイズを前記符号化部において処理可能なサイズの整数倍になるよう調整する、請求項１１に記載の画像符号化装置。
13. 符号化されたＮ個の部分画像の各々を復号化する復号化部と、
    復号化された前記Ｎ個の部分画像の各々を、所定の形状を有する複数の断片画像に分割する画像分割部と、
    予め定められた規則に基づいて、前記Ｎ個の部分画像間で少なくとも１つの断片画像を交換し、各々の断片画像が交換されたＮ個の部分画像を出力する復号画像交換部と、
    前記復号画像交換部から出力された前記Ｎ個の部分画像を１つの画像に統合し、復号化された画像を出力する復号統合部と
    を備えた、画像符号化装置。
14. 前記符号化されたＮ個の部分画像のデータには、管理情報として、１フレームの画像から分割された部分画像の数の情報、各部分画像から分割された断片画像の形状の情報、断片画像の数の情報、符号化時における各断片画像の交換方法に関する規則の少なくとも１つが含まれており、
    符号化されたＮ個の部分画像のデータとともに送信された前記管理情報を取得する符号化情報取得部をさらに備え、
    前記符号化情報取得部によって取得された前記管理情報に基づいて、前記画像分割部、前記復号画像交換部および前記復号統合部の少なくとも１つが動作する、請求項１３に記載の画像復号化装置。

Images