JP2016005014A - 動画符号化装置及び動画符号化方法 - Google Patents

Abstract

【課題】ランダムアクセス性を確保した動画像符号化処理においてメモリアクセスを効率化する。【解決手段】動画像を符号化する際に参照される画面を格子状のデータ格納領域であるグリッドに分割し、グリッドと該グリッド内のデータを記憶する記憶装置のアドレスとをそれぞれ対応付ける動画像符号化装置であって、グリッドの各々に格納されたデータをグリッド毎に可逆圧縮方式で圧縮する画像圧縮部１５２と、処理対象の対象グリッド内に該対象グリッドに隣接する隣接グリッド内の圧縮データを配置できる場合、隣接グリッド内の圧縮データを対象グリッド内の圧縮データに連続するように冗長に配置する冗長配置部１５３と、を有する動画像符号化装置である。【選択図】図３

Description

本件は、動画符号化装置及び動画符号化方法に関する。

動画像の符号化では動き補償予測（フレーム間予測）により情報量の圧縮が行われる。動き補償予測は、過去に符号化された参照用の画像データから符号化対象画面内の符号化対象領域と類似する領域を参照することで高い圧縮率を達成する技術である。動き補償予測では、外部メモリに記録された参照用の画像データの中の所定の位置から所定のサイズを有する矩形領域を読み出すランダムアクセスが必要である。例えばH.265/High Efficiency Video Coding（Ｈ．２６５／ＨＥＶＣ）における動き補償予測では、１画素単位の指定位置から、８×４画素、４×８画素〜６４×６４画素のサイズに小数画素精度の補完画像を生成するためのフィルタのタップ数を考慮した数画素大きなサイズを有する矩形領域を読み出す必要がある。

一般的に、動画像の符号化における外部メモリへのアクセスは、参照用の画像データに対するアクセスが支配的要因である。このため、消費電力を下げるためには参照用の画像データに対するアクセスの効率化が重要である。特に、４Ｋ（４，０９６×２，１６０画素）や８Ｋ（７，６８０×４，３２０画素）といった超高解像度画像の符号化において消費電力を下げるためには、動画像を符号化する動画像符号化装置単体の低電力化に加えて、外部メモリも合わせて低電力化することが重要である。

画像データへのアクセスを効率化する技術は多く提案されている。例えば画像データをブロック単位に可逆圧縮方式で圧縮する場合に、圧縮対象ブロックに隣接する隣接ブロックとの相関を利用して圧縮対象ブロックを圧縮することで圧縮率を高める技術がある（例えば特許文献１参照）。圧縮率が高まれば、圧縮した画像データを外部メモリに書き込んだり外部メモリから読み出したりする際の画像データの転送量を減らすことでき、アクセス効率が向上する。また、可逆圧縮方式でブロック単位に圧縮した画像データを、固定のグリッド（画像データを格納可能な格子状の領域）にそれぞれ配置することでランダムアクセスを確保する技術もある（例えば特許文献２参照）。

特開平９−２５２４０９号公報 特開２００６−３０３６８９号公報

しかしながら、上述した特許文献１には動き補償予測で必要とされるランダムアクセスが考慮されていない。また、特許文献２では、圧縮したブロック単位の画像データ、すなわち細切れの画像データが各グリッドにそれぞれ格納される。したがって、たとえ圧縮によって画像データの転送量が減っても細切れの画像データに対してアクセスすることになるため、結果的に無駄な転送時間が発生し、メモリアクセス効率が実効的に向上しないという課題がある。

この課題の一因は、近年高速化する低電力の外部メモリでは、リードコマンド（読み出し命令）やライトコマンド（書き込み命令）で実行されるデータ転送のバースト長が長くなる傾向にあることに起因する。また、別の一因として、外部メモリにおけるバンクのバンクアクティブから次のバンクアクティブまでの時間の制約は、Interface（Ｉ／Ｆ：インタフェース）の高速化に伴って相対的に長くなっており、同一のバンクに対してリードコマンドもしくはライドコマンドを連続させなければ、待ち時間が発生することも挙げられる。一方で、外部メモリの動作効率を維持して圧縮の効果を得るためには、ブロックサイズを大きくする必要があり、結果として無駄なアクセスが発生する。

そこで、１つの側面では、本件は、ランダムアクセス性を確保した動画像符号化処理においてメモリアクセスを効率化する動画像符号化装置及び動画像符号化方法を提供することを目的とする。

本明細書に開示の動画符号化装置は、動画像を符号化する際に参照される画面を格子状のデータ格納領域であるグリッドに分割し、前記グリッドと該グリッド内のデータを記憶する記憶装置のアドレスとをそれぞれ対応付ける動画像符号化装置であって、前記グリッドの各々に格納されたデータをグリッド毎に可逆圧縮方式で圧縮する圧縮手段と、処理対象の対象グリッド内に該対象グリッドに隣接する隣接グリッド内の圧縮データを配置できる場合、前記隣接グリッド内の圧縮データを前記対象グリッド内の圧縮データに連続するように冗長に配置する配置手段と、を有する動画像符号化装置である。

本明細書に開示の動画符号化方法は、動画像を符号化する際に参照される画面を格子状のデータ格納領域であるグリッドに分割し、前記グリッドと該グリッド内のデータを記憶する記憶装置のアドレスとをそれぞれ対応付ける動画像符号化方法であって、前記グリッドの各々に格納されたデータをグリッド毎に可逆圧縮方式で圧縮し、処理対象の対象グリッド内に該対象グリッドに隣接する隣接グリッド内の圧縮データを配置できる場合、前記隣接グリッド内の圧縮データを前記対象グリッド内の圧縮データに連続するように冗長に配置する、動画像符号化方法である。

本明細書に開示の動画像符号化装置及び動画像符号化方法によれば、ランダムアクセス性を確保した動画像符号化処理においてメモリアクセスを効率化することができる。

図１は、動画像符号化装置のブロック図の一例である。 図２は、動画像符号化部のブロック図の一例である。 図３は、画像処理部のブロック図の一例である。 図４は、冗長配置の一例を説明するための図である。 図５は、グリッドに対応する画素の一例を説明するための図である。 図６は、冗長配置の一例を説明するための図である。 図７は、管理テーブルの一例を説明するための図である。 図８は、外部メモリにおいてグリッド単位の圧縮データが格納されたデータ配置の一例を示す図である。 図９は、外部メモリにおいてグリッド単位の圧縮データが格納されたデータ配置の他の一例を示す図である。 図１０は、復号画面の書込み動作の一例を示すフローチャートである。 図１１は、冗長配置処理の一例を示すフローチャートである。 図１２は、冗長配置処理の他の一例を示すフローチャートである。 図１３は、参照領域の読出動作の一例を示すフローチャートである。 図１４は、実施形態に係る効果の一例について説明するための図である。

以下、本件を実施するための形態について図面を参照して説明する。

図１は、動画像符号化装置１００のブロック図の一例である。動画像符号化装置１００は、図１に示すように、動画像符号化部１１０、画像処理部１５０及びメモリコントローラ１９０を含んでいる。動画像符号化装置１００は、例えばLarge Scale Integration（ＬＳＩ：大規模集積回路）によって実現される。動画像符号化装置１００は、動画像符号化装置１００の外部に設けられた外部メモリ２００と連携しながら、入力された動画像を画面単位に順に符号化し、ストリームとして出力する。尚、外部メモリ２００にはSynchronous Dynamic Random Access Memory（ＳＤＲＡＭ）が利用される。

次に、図２を参照して、上述した動画像符号化部１１０の詳細を説明する。

図２は、動画像符号化部１１０のブロック図の一例である。
動画像符号化部１１０は、図２に示すように、動画像入力部１１１、第１のメモリアクセス部１１２、第２のメモリアクセス部１１３、減算部１１４、直交変換・量子化部（Ｔ／Ｑ）１１５、逆直交変換・逆量子化部（ＩＴ／ＩＱ）１１６、加算部１１７、イントラ予測部１１８、ループフィルタ部１１９、動き検出部１２０、エントロピー符号化部１２１、第３のメモリアクセス部１２２、ストリーム出力部１２３及びスイッチＳＷを含んでいる。尚、動画像符号化部１１０に含まれる各構成要素はハードウェア回路で実現されるが、２つのハードウェア回路を１つのハードウェア回路で実現してもよいし、１つのハードウェア回路を２つ以上のハードウェア回路に分散してもよい。後述する画像処理部１５０に含まれる各構成要素についても同様である。

動画像入力部１１１は、複数の画面（例えばピクチャやフレーム）を含む動画像の入力を受け付ける。動画像入力部１１１は、入力された動画像に含まれる画面１枚を符号化対象画面として第１のメモリアクセス部１１２に出力する。

第１のメモリアクセス部１１２は、動画像入力部１１１から符号化対象画面が入力されると、符号化対象画面を画像処理部１５０に出力する。また、第１のメモリアクセス部１１２は、ループフィルタ部１１９から後述する復号画面が入力されると、復号画面を画像処理部１５０に出力する。さらに、第１のメモリアクセス部１１２は、符号化対象画面や復号画面を外部メモリ２００に書き込ませるための書込要求（ライトリクエスト）を画像処理部１５０に出力する。

第２のメモリアクセス部１１３は、符号化対象画面、参照画面や参照画面の一部である矩形の参照領域を外部メモリ２００から読み出すための読出要求（リードリクエスト）を画像処理部１５０に出力する。当該処理は、動画像符号化装置１００内に設けられた動画像符号化装置１００全体の動作を制御する制御部（不図示）による制御に基づいて、行われる。第２のメモリアクセス部１１３は、読出要求に応じて取得した符号化対象画面を減算部１１４に出力する。また、第２のメモリアクセス部１１３は、読出要求に応じて取得した符号化対象画面、参照画面及び参照領域を動き検出部１２０に出力する。

減算部１１４は、符号化対象画面における符号化対象領域から、スイッチＳＷの切り替えにより出力された後述するフレーム間予測画像又はフレーム内予測画像を減算する。符号化対象領域とフレーム間予測画像又はフレーム内予測画像との差分により予測誤差が生成される。減算部１１４は生成した予測誤差を直交変換・量子化部１１５に出力する。減算部１１４は、予測誤差を出力すると、次の符号化対象領域から、該符号化対象領域に対応するフレーム間予測画像又はフレーム内予測画像を減算し、次の予測誤差を出力する。

直交変換・量子化部１１５は、入力された予測誤差に対しDiscrete Cosine Transform（ＤＣＴ：離散コサイン変換）を順に実行する。これにより、予測誤差は実空間領域から周波数領域に変換される。以下、周波数領域に変換された予測誤差をＤＣＴ係数と呼ぶ。直交変換・量子化部１１５は、ＤＣＴ係数を量子化パラメータ（ＱＰ）に応じて量子化する。量子化パラメータは、視覚特性や目標ビットレートに基づくパラメータである。直交変換・量子化部１１５は、量子化したＤＣＴ係数を逆直交変換・逆量子化部１１６及びエントロピー符号化部１２１に順に出力する。

逆直交変換・逆量子化部１１６は、入力されたＤＣＴ係数を順に逆量子化する。これにより、量子化前のＤＣＴ係数、すなわち周波数領域が再生される。逆直交変換・逆量子化部１１６は、各周波数領域に対しInverse Discrete Cosine Transform（ＩＤＣＴ：逆離散コサイン変換）を順に実行する。これにより、周波数領域は実空間領域に変換される。すなわち、予測誤差が再生される。逆直交変換・逆量子化部１１６は、再生した予測誤差を加算部１１７に出力する。

加算部１１７は、入力された予測誤差と、フレーム間予測画像又はフレーム内予測画像とを加算する。これにより、復号画像が順に再生される。加算部１１７は、復号画像をイントラ予測部１１８及びループフィルタ部１１９に順に出力する。

イントラ予測部１１８は、入力された復号画像に対して予測モードに従ったイントラ予測（フレーム内予測）を行って、符号化対象領域に対応するフレーム内予測画像を生成し、スイッチＳＷに出力する。

ループフィルタ部１１９は、入力された復号画像のノイズを順に低減する。ループフィルタ部１１９としては、例えばデブロッキングフィルタがある。ループフィルタ部１１９にSample Adaptive Offset（ＳＡＯ：画素適応オフセット）を含めてもよい。ループフィルタ部１１９は、ノイズを低減した復号画面（ローカルデコード画面）を生成する。ループフィルタ部１１９は生成した復号画面を第１のメモリアクセス部１１２に出力する。復号画面は画像処理部１５０及びメモリコントローラ１９０を介して外部メモリ２００に記録される。復号画面や復号画面の一部は後に第２のメモリアクセス部１１３から参照画面や参照領域として取得される。

動き検出部１２０は、入力された符号化対象画面と参照画面に基づいて、符号化対象領域毎に動きベクトルを検出する。動き検出部１２０は、動きベクトルを検出した後、検出した動きベクトルを利用して動き補償予測（フレーム間予測）を行う。具体的には、動き検出部１２０は、外部メモリ２００に記憶された参照画面の中から動きベクトルに対応する位置（後述するグリッドの位置を示すグリッド位置）の領域を参照し、参照した領域を参照領域として第２のメモリアクセス部１１３を介して取得する。参照領域は符号化対象領域の動きベクトルに応じた領域であるため、符号化対象領域と類似する。動き検出部１２０は、参照領域をフレーム間予測画像としてスイッチＳＷに出力する。また、動き検出部１２０は、検出した動きベクトルをエントロピー符号化部１２１に出力する。

スイッチＳＷは、イントラ予測部１１８から出力されたフレーム内予測画像と動き検出部１２０から出力されたフレーム間予測画像の画質を判定し、フレーム内予測画像又はフレーム間予測画像のいずれか画質の良い方を減算部１１４及び加算部１１７に出力する。

エントロピー符号化部１２１は、直交変換・量子化部１１５から出力されたＤＣＴ係数と動き検出部１２０から出力された動きベクトルをエントロピー符号化する。エントロピー符号化には、例えばハフマン符号化や算術符号化などが利用される。エントロピー符号化部１２１は、符号化したＤＣＴ係数と動きベクトルを多重化し、多重化情報として第３のメモリアクセス部１２２に出力する。

第３のメモリアクセス部１２２は、多重化情報が入力されると、これをメモリコントローラ１９０に出力する。メモリコントローラ１９０では、入力された多重化情報を外部メモリ２００に書き込む。また、第３のメモリアクセス部１２２は、上述した不図示の制御部による制御に基づいて、外部メモリ２００から多重化情報を取得し、取得した多重化情報をストリーム出力部１２３に出力する。
ストリーム出力部１２３は、入力された多重化情報をビットストリームとしてストリーム出力する。

次に、図３から図９までを参照して、上述した画像処理部１５０の詳細を説明する。
まず、図３から図７までを参照して、復号画面を書き込む際の処理について説明する。

図３は、画像処理部１５０のブロック図の一例である。図４は、冗長配置の一例を説明するための図である。図５は、グリッドに対応する画素の一例を説明するための図である。図６は、冗長配置の一例を説明するための図である。図７は、管理テーブルの一例を説明するための図である。

画像処理部１５０は、書込要求出力部１５１、画像圧縮部１５２、冗長配置部１５３、第１のバッファメモリ１５４、管理テーブル記憶部１５５、管理テーブル入替部１５６、読出要求出力部１５７、リードアクセス最適化部１５８、画像伸張部１５９及び第２のバッファメモリ１６０を含んでいる。第１のバッファメモリ１５４、管理テーブル記憶部１５５及び第２のバッファメモリ１６０は、例えばStatic Random Access Memory（ＳＲＡＭ）で実現される。

書込要求出力部１５１は、第１のメモリアクセス部１１２から書込要求と復号画面が入力されると、入力された復号画面を外部メモリ２００のアドレス（番地）と対応付けたグリッドに分割する。グリッドは、画像データを配置可能な格子状のデータ格納領域である。復号画面を分割することにより、各グリッドには復号画面の一部を構成する画像データがそれぞれ格納される。復号画面がグリッドに分割されることで画像データに対する各種の処理をグリッド毎に独立して行うことができる。尚、分割領域であるグリッドは例えばタイルとも呼ばれることもある。

具体的に説明すると、図４（ａ）に示すように、復号画面１０は、外部メモリ２００のアドレスと対応付いた２次元に連続する複数のグリッドに分割される。例えば、グリッド（ｘ，ｙ）は、外部メモリ２００のアドレス（ｘ，ｙ）と対応付いている。復号画面１０の一部を拡大して説明すると、グリッド１つひとつの大きさはｎ（ｘ軸方向）×ｍ（ｙ軸方向）画素の画像データを格納可能な大きさを有する。したがって、例えばグリッド（ｘ，ｙ）にはｎ×ｍ画素の大きさを有する画像データ「１」が格納されている。グリッド（ｘ＋３，ｙ）にはｎ×ｍ画素の大きさを有する画像データ「４」が格納されている。グリッド（ｘ，ｙ＋２）にはｎ×ｍ画素の大きさを有する画像データ「ａ」が格納されている。グリッド（ｘ＋３，ｙ＋２）にはｎ×ｍ画素の大きさを有する画像データ「ｄ」が格納されている。

ここで、図５に示すように、上述した各画像データは輝度Ｙや色差Ｃｂ，Ｃｒで表すことができる。また、グリッドに対応する画素の大きさも１６×４画素、８×８画素、１６×１２画素などで表すことができる。例えば、図５（ａ）に示すように、グリッドの大きさを１６×４画素と定め、画像データを輝度Ｙで表してもよい。同様に、図５（ｂ）及び図５（ｃ）に示すように、グリッドの大きさを８×８画素と定め、画像データを輝度Ｙで表したり、色差Ｃｂで表したりしてもよい。さらに、図５（ｄ）に示すように、グリッドの大きさを１６×１２画素と定め、画像データを輝度Ｙと色差Ｃｂ，Ｃｒの双方で表してもよい。さらに、色差形式についても、色差Ｃｂ，Ｃｒの水平方向及び垂直方向の画素数が輝度Ｙと等しい４：４：４、水平方向を半分に間引いた４：２：２、水平方向と垂直方向をともに半分に間引いた４：２：０のいずれであってもよい。尚、各画素はｐビット（例えば８ビット、１０ビット、１２ビット等）である。

書込要求出力部１５１は、復号画面をグリッドに分割し終えると、復号画面を画像圧縮部１５２に出力し、グリッドの画像データを外部メモリ２００に書き込ませるためのグリッド書込要求をメモリコントローラ１９０に出力する。

画像圧縮部１５２は、複数のグリッドに分割された復号画面が入力されると、各グリッドに格納された画像データをグリッド毎に可逆圧縮方式で圧縮する。これにより、各グリッドには圧縮した画像データがそれぞれ格納される。一方、画像圧縮部１５２が画像データを圧縮しても目標の圧縮率に到達しない場合には、グリッドは非圧縮の画像データを保持する。尚、可逆圧縮方式は特に限定されず、例えば既知のPortable Network Graphics（ＰＮＧ）やJoint Photographic Experts Group-Lossless（ＪＰＥＧ−ＬＳ）などが利用されてもよい。画像圧縮部１５２は、画像データを圧縮し終えると、復号画面を冗長配置部１５３に出力する。

冗長配置部１５３は、復号画面が入力されると、グリッド単位の圧縮後の画像データ（以下圧縮データと呼ぶ）をそれぞれ第１のバッファメモリ１５４に保持する。冗長配置部１５３は、処理対象となる対象グリッド内に、該グリッドに隣接する隣接グリッドに格納された圧縮データを配置できる場合、隣接グリッド内の圧縮データを対象グリッド内の圧縮データの右側に連続するように冗長に配置する。冗長配置部１５３は、配置できるか否かについて圧縮データのデータ量と対象グリッドのグリッドサイズ（格納容量）に基づいて判断する。

隣接グリッドは、対象グリッドの下側に位置する下隣接グリッド、対象グリッドの右下側に位置する右下隣接グリッドを含むが、隣接グリッドの範囲は下隣接グリッド及び右下隣接グリッドに限定されない。例えば、右下隣接グリッドの右側に位置する少なくとも１つのグリッドが隣接グリッドに含まれていてもよい。また、下隣接グリッドの下側及び右下側に位置する少なくとも１つのグリッドが隣接グリッドに含まれていてもよい。

ここで、図６を参照して、冗長配置の例を具体的に説明する。

図６（ａ）に示すように、グリッド（ｘ，ｙ）の対象グリッド（カレントグリッド）に格納された画像データ「１」、グリッド（ｘ，ｙ＋１）の下隣接グリッドに格納された画像データ「Ａ」及びグリッド（ｘ＋１，ｙ＋１）の右下隣接グリッドに格納された画像データ「Ｂ」がそれぞれ圧縮された結果、圧縮データ「１」が格納された対象グリッド内に、下隣接グリッドに格納された圧縮データ「Ａ」及び右下隣接グリッドに格納された圧縮データ「Ｂ」を配置できる場合には、対象グリッド内に下隣接グリッド及び右下隣接グリッドのそれぞれに格納された圧縮データを冗長に配置する。

図６（ｂ）に示すように、グリッド（ｘ＋３，ｙ）の対象グリッド（カレントグリッド）に格納された画像データ「４」及びグリッド（ｘ＋３，ｙ＋１）の下隣接グリッドに格納された画像データ「Ｄ」がそれぞれ圧縮された結果、圧縮データ「４」が格納された対象グリッド内に、下隣接グリッドに格納された圧縮データ「Ｄ」を配置できる場合には、対象グリッド内に下隣接グリッドに格納された圧縮データを冗長に配置する。

図６（ｃ）に示すように、グリッド（ｘ＋１，ｙ＋２）の対象グリッド（カレントグリッド）に格納された画像データ「ｂ」が圧縮された結果、圧縮データ「ｂ」が格納された対象グリッド内に、下隣接グリッドに格納された圧縮データを配置すると対象グリッドのグリッドサイズを超えてしまうが、圧縮データ「ｂ」のデータ量が対象グリッドの格納容量の１／２未満である場合には、対象グリッド内に圧縮データ「ｂ」を圧縮した状態のまま維持する。尚、圧縮データのデータ量を対象グリッドの格納容量の何分の１とするかについては、得られる効果に応じて適宜定めればよく、例えば１／３や３／４といったＭ／Ｎ（Ｍ、Ｎは自然数でＭはＮ未満）が利用されてもよい。

図６（ｄ）に示すように、グリッド（ｘ＋３，ｙ＋２）の対象グリッド（カレントグリッド）に格納された画像データ「ｄ」が圧縮された結果、予め定めた目標の圧縮率を達成できなかった場合には、対象グリッド内に非圧縮の画像データ「ｄ」を配置する。

この結果、図４（ｂ）に示すように、各グリッドには、配置可能であるか否かの判定結果によって圧縮データが冗長に配置されたり、圧縮データだけが配置されたり、非圧縮の画像データが配置されたりする。冗長配置部１５３は、各グリッドに対する処理が完了する毎にメモリコントローラ１９０に各グリッドの画像データを出力する。メモリコントローラ１９０は、画像データが入力されると、書込要求出力部１５１から出力されたグリッド書込要求に従って、圧縮データや非圧縮の画像データを外部メモリ２００におけるグリッドに対応する領域に格納する。

さらに、冗長配置部１５３は、各グリッドに配置された圧縮データの冗長状況を管理テーブルによって管理する。管理テーブルは、管理テーブル入替部１５６による外部メモリ２００への書込要求により外部メモリ２００で記憶され、読出要求に応じて適宜読み出される。尚、管理テーブルを外部メモリ２００に記憶させずに、管理テーブル記憶部１５５で記憶させる方が処理効率の観点から望ましい。管理テーブルは、図７に示すように、処理対象としての復号画面のグリッド位置毎に冗長情報を有する。冗長情報はグリッドにおける圧縮データの冗長配置状況を表している。例えば冗長情報「００」は画像データが非圧縮であることを表している。冗長情報「０１」は対象グリッドにはその対象グリッドの画像データが１／２に圧縮されて配置されていることを表している。冗長情報「１０」は対象グリッドには下隣接グリッドの圧縮データが含まれていることを表している。冗長情報「１１」は対象グリッドには下隣接グリッドと右下隣接グリッドのそれぞれの圧縮データが含まれていることを表している。このように、冗長配置状況を２ビットのデータで表すことができる。

尚、このような２ビットの冗長情報に代えて、１ビットの冗長情報が利用されてもよい。この場合、冗長情報「０」は画像データが非圧縮であることを表し、冗長情報「１」は対象グリッドには下隣接グリッドの圧縮データが含まれていることを表す。このような少ない情報量でも本件では消費電力の低減を図ることができる。さらに、上述した２ビットの冗長情報と異なる別の２ビットの冗長情報が利用されてもよい。この場合、上述した２ビットの冗長情報と同様に、冗長情報「００」は画像データが非圧縮であることを表し、冗長情報「１０」は対象グリッドには下隣接グリッドの圧縮データが含まれていることを表し、冗長情報「１１」は対象グリッドには下隣接グリッドと右下隣接グリッドのそれぞれの圧縮データが含まれていることを表す。しかしながら、冗長情報「０１」はダーティーを表している。ダーティーは、画像データが圧縮されているが隣接部分の画素データが無効であるため参照先から除外することを意味している。例えば、画像データが書き込まれる際にランダムアクセスで書き込まれる場合には、周辺のグリッドの更新により隣接部分の画素データの整合性がとれなくなる場合がある。このような場合、冗長情報「０１」が利用されて整合性が取れなくなった隣接部分の画素データが参照先から除外される。

次に、図３に加え、図８及び図９も参照して、参照領域を読み出す際の処理について説明する。

図８は、外部メモリ２００においてグリッド単位の圧縮データが格納されたデータ配置（メモリマップ）の一例を示す図である。図９は、外部メモリ２００においてグリッド単位の圧縮データが格納されたデータ配置（メモリマップ）の他の一例を示す図である。図８及び図９のいずれにおいても、グリッド位置の右側にアドレスが連続するように圧縮データが配置されている。

ここで、図８及び図９における各矩形領域Ｇはグリッドを表しており、矩形領域Ｇに格納される角が丸い領域は圧縮データを表している。例えば、図８（ａ）図８（ｂ）及び図９（ａ）におけるグリッド＃０のグリッドには、グリッド＃０の圧縮データとグリッド＃０のグリッドの下隣接グリッドの圧縮データが格納されている。例えば、図９（ｂ）におけるグリッド＃０のグリッドには、グリッド＃０の圧縮データとグリッド＃０のグリッドの下隣接グリッドの圧縮データとグリッド＃０のグリッドの右下隣接グリッドの圧縮データが格納されている。

読出要求出力部１５７は、第２のメモリアクセス部１１３から出力された読出要求を受け付けると、グリッドの画像データを外部メモリ２００から読み出すためのグリッド読出要求をリードアクセス最適化部１５８に出力する。読出要求には上述したグリッド位置が含まれているため、グリッド読出要求は当該グリッド位置を引き継ぐ。また、読出要求出力部１５７は、画像伸張部１５９から出力された上記読出要求に応じた参照領域を受け付けると、参照領域を第２のメモリアクセス部１１３に出力する。

リードアクセス最適化部１５８は、読出要求出力部１５７から出力されたグリッド読出要求を受け付ける。リードアクセス最適化部１５８は、グリッド読出要求を受け付けると、管理テーブル記憶部１５５に記憶された管理テーブルを参照する。リードアクセス最適化部１５８は、管理テーブルから読出対象のグリッド位置に対応する冗長情報に基づいて、外部メモリ２００のアドレスが連続するグリッドライン（図４（ｂ）のＸ軸方向の列）を読み出すためのリードアクセス要求をメモリコントローラ１９０に出力する。メモリコントローラ１９０は、リードアクセス要求に基づいて、外部メモリ２００におけるグリッド位置に格納された読出対象の圧縮データをグリッドへの重複アクセスを回避しながら読み出し、リードアクセス最適化部１５８に出力する。リードアクセス最適化部１５８は、リードアクセス要求に応じた圧縮データを読み出すと、圧縮データを画像伸張部１５９に出力する。

１ビットの冗長情報を利用する場合について説明すると、リードアクセスは、外部メモリ２００のアドレスが連続する最初のグリッドラインを読み込む。図８（ａ）に示すように、グリッド＃０のグリッド、グリッド＃１のグリッド及びグリッド＃２のグリッドには、それぞれ下隣接グリッドの圧縮データが格納されているため、リードアクセスが最初のグリッドラインを読み込めば、グリッド＃０からグリッド＃２のグリッドにそれぞれ格納された圧縮データを読み出すことができる。このように、各グリッドに冗長に配置された圧縮データをまとめて読み出すことができた場合には、次のグリッドラインへのリードアクセスはキャンセルされる。このようにグリッドラインを１つ飛ばしながら、圧縮データが順に読み出される。対照的に、図８（ｂ）に示すように、比較例におけるリードアクセスは、すべてのグリッドラインを読み込む。このため、実施形態におけるリードアクセスと比べて、比較例ではリードアクセスの長さに比例するリードコマンド数及びリードアクセスの本数を表すバンクアクティブ数が増加する。言い換えれば、本実施形態では比較例と比べてリードコマンド数及びバンクアクティブ数を減らすことができる。このように、メモリアクセスの効率が向上するため、消費電力を削減することができる。

また、図９（ａ）に示すように、例えばグリッド＃１のグリッドとその下隣接グリッドのそれぞれに非圧縮の画像データが格納されている場合、リードアクセスは、最初のグリッドラインを読み込んだ後、次のグリッドラインでは、最初のグリッドラインに含まれていなかったグリッドを読み込む。すなわち、グリッド＃１のグリッドの下隣接グリッドに格納された圧縮データが読み出される。さらに、図９（ｂ）に示すように、２ビットの冗長情報を利用する場合も１ビットの冗長情報を利用する場合と同様に、リードアクセスは、例えば３列目のグリッドラインを読み込んだ後、４列目のグリッドラインでは、３列目のグリッドラインに含まれていなかったグリッドを読み込む。このように、図９（ａ）及び図９（ｂ）のいずれにおいても、比較例と比べてメモリアクセスの効率が向上するため、消費電力を削減することができる。

画像伸張部１５９は、リードアクセス最適化部１５８から圧縮データの入力を受け付けると、圧縮後の画像データを第２のバッファメモリ１６０に保持する。画像伸張部１５９は、第２のバッファメモリ１６０に保持された圧縮データを順に伸張し、画像データとして読出要求出力部１５７に出力する。読出要求出力部１５７は画像データを参照領域として第２のメモリアクセス部１１３に出力する。

次に、図１０から図１３までを参照して、動画像符号化装置１００の動作について説明する。
まず、図１０から図１２までを参照して、復号画面を書き込む際の処理について説明する。

図１０は、復号画面の書込み動作の一例を示すフローチャートである。図１１は、冗長配置処理の一例を示すフローチャートである。図１２は、冗長配置処理の他の一例を示すフローチャートである。

図１０に示すように、画像圧縮部１５２は、書込要求出力部１５１から復号画面が入力されると、グリッド処理を開始する（ステップＳ１０１）。画像圧縮部１５２は、まず、最初のグリッドに格納された画像データを圧縮し（ステップＳ１０２）、グリッド処理を終了する（ステップＳ１０３）。ここで、画像圧縮部１５２は、まだグリッド処理が完了していないグリッドが存在する場合、次のグリッドに格納された画像データを圧縮する。このように、画像圧縮部１５２は画像データをグリッド毎に圧縮する。画像圧縮部１５２が画像データの圧縮を終えると、冗長配置部１５３は圧縮データに対し冗長配置処理を実行する（ステップＳ１０４）。

冗長配置部１５３は、画像圧縮部１５２から圧縮データが入力されると、図１１に示すように、グリッド処理を開始する（ステップＳ２０１）．冗長配置部１５３は、まず、最初のグリッドを処理対象（カレント）の対象グリッドとして選び、画像データを圧縮できたか否かを判断する（ステップＳ２０２）。冗長配置部１５３は、対象グリッドの画像データを圧縮できていなかったと判断した場合（ステップＳ２０２：ＮＯ）、対象グリッドを非圧縮としてマークする（ステップＳ２０３）。

一方、冗長配置部１５３は、対象グリッドの画像データを圧縮できていたと判断した場合（ステップＳ２０２：ＹＥＳ）、下隣接グリッドの圧縮データを加えて対象グリッドのグリッドサイズ以下になるか否かを判断する（ステップＳ２０４）。冗長配置部１５３は、下隣接グリッドの圧縮データを加えて対象グリッドのグリッドサイズ以下にならないと判断した場合（ステップＳ２０４：ＮＯ）、さらに、対象グリッドの圧縮データのデータ量が対象グリッドの１／２以上か否かを判断する（ステップＳ２０５）。冗長配置部１５３は、対象グリッドの圧縮データのデータ量が対象グリッドの１／２以上でないと判断した場合（ステップＳ２０５：ＮＯ）、対象グリッドを１／２未満圧縮としてマークする（ステップＳ２０６）。尚、冗長配置部１５３は、対象グリッドの圧縮データのデータ量が対象グリッドの１／２以上であると判断した場合（ステップＳ２０５：ＹＥＳ）、対象グリッドを非圧縮としてマークする（ステップＳ２０３）。

冗長配置部１５３は、下隣接グリッドの圧縮データを加えて対象グリッドのグリッドサイズ以下になると判断した場合（ステップＳ２０４：ＹＥＳ）、さらに、右下隣接グリッドの圧縮データを加えて対象グリッドのグリッドサイズ以下になるか否かを判断する（ステップＳ２０７）。冗長配置部１５３は、右下隣接グリッドの圧縮データを加えて対象グリッドのグリッドサイズ以下にならないと判断した場合（ステップＳ２０７：ＮＯ）、対象グリッドをカレントと下隣接としてマークする（ステップＳ２０８）。一方、冗長配置部１５３は、右下隣接グリッドの圧縮データを加えて対象グリッドのグリッドサイズ以下になると判断した場合（ステップＳ２０７：ＹＥＳ）、対象グリッドをカレントと下隣接としてマークする（ステップＳ２０９）。

冗長配置部１５３は、上述したステップＳ２０３，Ｓ２０６，Ｓ２０８又はＳ２０９の処理が完了すると、対象グリッドのマークに基づいて、圧縮データを結合し、メモリコントローラ１９０に出力する（ステップＳ２１０）。これにより、結合した圧縮データは、メモリコントローラ１９０により外部メモリ２００へ書き込まれる。冗長配置部１５３は、ステップＳ２１０の処理が完了すると、グリッド処理を終了する（ステップＳ２１１）。

ここで、冗長配置部１５３は、まだグリッド処理が完了していないグリッドが存在する場合、次のグリッドに格納された圧縮データに対しステップＳ２０２〜Ｓ２１０の処理を繰り返す。これにより、外部メモリ２００には、結合された圧縮データや非圧縮の画像データが順に格納される。冗長配置部１５３は、グリッド処理が完了した場合、冗長配置処理を終了する。これにより、復号画面の書込動作が終了する。

図１２に示すフローチャートは、図１１に示すフローチャートと比べてステップＳ２０５及びＳ２０６がない点、及びステップＳ２０４の処理で、冗長配置部１５３が、下隣接グリッドの圧縮データを加えて対象グリッドのサイズ以下にならないと判断した場合に、対象グリッドを非圧縮としてマークする点で相違する。図１２に示すフローチャートが実行されても、消費電力は削減できるが、グリッドのサイズとＳＤＲＡＭのコマンド発行の制約によっては、図１１に示すフローチャートが実行される方が消費電力はより一層削減できる場合がある。その場合、圧縮データが対象グリッドのグリッドサイズの１／２以上でない場合（１／２未満である場合）、対象グリッドの圧縮データをすべて読み出すようにリードアクセスすると、前半にある圧縮データは読み出せても、後半には圧縮データは存在しないため無駄なリードコマンド数を削減し、消費電力を削減する。

次に、図１３を参照して、参照領域を読み出す際の処理について説明する。

図１３は、参照領域の読出動作の一例を示すフローチャートである。
リードアクセス最適化部１５８が読出要求出力部１５７から出力されたグリッド読出要求を受け付けると、リードアクセス最適化部１５８は自身が有する統合キューと冗長情報を初期化する（ステップＳ３０１）。統合キューは、リードアクセス最適化部１５８が出力するリードアクセス要求を一時的に蓄え、所定の条件を満たした場合にリードアクセス要求を統合するためのデータ構造である。

リードアクセス最適化部１５８は、ステップＳ３０１の処理が完了すると、グリッドライン処理を開始する（ステップＳ３０２）。グリッドラインは、上述したように、Ｘ軸方向のグリッドの列である。これにより、グリッド位置に応じた１列分のグリッド（グリッドライン）が処理対象として選択される。リードアクセス最適化部１５８は、さらに、グリッド処理を開始する（ステップＳ３０３）。これにより、選択されたグリッドラインの中からグリッド位置に応じたいずれかのグリッドが処理対象のグリッドとして選択される。

リードアクセス最適化部１５８は、次いで、選択されたグリッドに割り当てられたグリッド位置に冗長情報が存在するか否かを判断する（ステップＳ３０４）。具体的には、リードアクセス最適化部１５８は、管理テーブル記憶部１５５を参照し、選択されたグリッドに割り当てられたグリッド位置に冗長情報「１０」や冗長情報「１１」（図７参照）が存在するか否かを判断する。リードアクセス最適化部１５８は、選択されたグリッドに割り当てられたグリッド位置に冗長情報が存在しないと判断した場合（ステップＳ３０４：ＮＯ）、そのグリッドの圧縮データを読み出すことを要求するリードアクセス要求をリクエスト対象として統合キューに格納し（ステップＳ３０５）、グリッド処理を終了する（ステップＳ３０８）。

一方、リードアクセス最適化部１５８は、選択されたグリッドに割り当てられたグリッド位置に冗長情報が存在すると判断した場合（ステップＳ３０４：ＹＥＳ）、さらに、統合キューにリードアクセス要求が存在するか否かを判断する（ステップＳ３０６）。リードアクセス最適化部１５８は、統合キューにリードアクセス要求が存在しないと判断した場合（ステップＳ３０６：ＮＯ）、グリッド処理を終了する（ステップＳ３０８）。一方、リードアクセス最適化部１５８は、統合キューにリードアクセス要求が存在すると判断した場合（ステップＳ３０６：ＹＥＳ）、直前までの統合キューの内容を束ねて、リードアクセス要求を出力し、冗長情報を更新する（ステップＳ３０７）。リードアクセス最適化部１５８は、ステップＳ３０７の処理を終了すると、グリッド処理を終了する（ステップＳ３０８）。

リードアクセス最適化部１５８は、選択したグリッドに対するグリッド処理を終了すると、まだグリッド処理を終えていないグリッドが存在するか否か判断し、グリッド処理を終えていないグリッドが存在する場合、ステップＳ３０４からステップＳ３０７の処理を繰り返す。これにより、選択されたグリッドラインの中からグリッド位置に応じた圧縮データを読み出すことができる。

さらに、リードアクセス最適化部１５８は、すべてのグリッド処理を終了すると、統合キューにリードアクセス要求が存在するか否かを判断する（ステップＳ３０９）。リードアクセス最適化部１５８は、統合キューにリードアクセス要求が存在すると判断した場合（ステップＳ３０９：ＹＥＳ）、統合キューの内容を束ねて、リードアクセス要求を出力し、冗長情報を更新する（ステップＳ３１０）。リードアクセス最適化部１５８は、統合キューにリードアクセス要求が存在しないと判断した場合（ステップＳ３０９：ＮＯ）、又はステップＳ３１０の処理を終了した場合、グリッドライン処理を終了する（ステップＳ３１１）。

リードアクセス最適化部１５８は、選択したグリッドラインに対するグリッドライン処理を終了すると、まだグリッドライン処理を終えていないグリッドラインが存在するか否か判断し、グリッドライン処理を終えていないグリッドラインが存在する場合、Ｙ軸方向の次のグリッドラインを選択し、ステップＳ３０３からステップＳ３１０の処理を繰り返す。これにより、グリッド位置に応じた圧縮データをすべて読み出すことができる。

リードアクセス最適化部１５８は、外部メモリ２００から圧縮データを読み出すと、圧縮データを画像伸張部１５９に出力する。画像伸張部１５９は、圧縮データを受け付けると、圧縮データを伸張し（ステップＳ３１２）、圧縮前の画像データを参照領域として読出要求出力部１５７に出力する。参照領域は、読出要求出力部１５７により第２のメモリアクセス部１１３に出力される。

以上説明したように、各グリッドの画像データを圧縮し、処理対象となる対象グリッドに、隣接グリッドの圧縮データを対象グリッドの圧縮データに連続するように冗長に配置して外部メモリ２００に格納する。これにより、圧縮データを読み出す際に、ランダムアクセス性を確保しながら、外部メモリ２００へのアクセスを減らすことができる。具体的には、バンクアクティブ数及びリートコマンド数を減らすことができる。この結果、メモリアクセスの効率が向上し、消費電力を削減することができる。

特に、小さなサイズのグリッド単位でランダムアクセスを実現する場合、画像データを圧縮することによって、メモリアクセスの効率を最大限に生かせるリードアクセスの「最短長」（バースト長と異なり、バンクインターリーブを使ってデータを連続して読み出せる最も短い長さ）より短くなるような場合に特に高い効果が得られる。例えば、最短長が２５６バイトであれば、２５６バイト（１６×１６画素×８ビット）のグリッドの画像データを圧縮すれば、データ量を減らせる可能性があるが、外部メモリ２００としては圧縮により浮いた（余った）期間を活用できないため、メモリアクセスの効率がさほど良くならない。このため、グリッドサイズを大きくするなどの対策が要求されるが、ランダムアクセスでは、グリッドサイズが４×４画素、８×８画素、１６×４画素といった小さなグリッドサイズとすることが望ましいため、ランダムアクセス性との適正化が図れない。

これに対し、本実施形態では、隣接グリッドの圧縮データを対象グリッドの圧縮データと併せ持っておくことで「無駄な期間が発生しない最短長」以上の圧縮データ組を構成できる可能性が高まる。さらに、隣接グリッドの圧縮データに対してもほとんど途切れることなく連続したアクセスも可能になる。

例えば、図１４（ａ）の比較例に示すように、２つのグリッドの圧縮データそれぞれが１／２に圧縮でき、最短長が１グリッド相当である場合には、画像データを圧縮したことによる効果は得られるが、外部メモリ２００を占有する時間については圧縮したことによる効果は得られない。対照的に、図１４（ｂ）の実施形態に示すように、１回のアクセスで、処理対象（カレント）の圧縮データだけでなく下隣接グリッドの圧縮データも取得できるため、比較例に対し外部メモリ２００を占有する時間を減らすことができる。また、１回のアクセスで冗長に配置した圧縮データを読み出すことができるため、全体的にアクセス回数を減らすことができる。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

なお、以上の説明に関して更に以下の付記を開示する。
（付記１）動画像を符号化する際に参照される画面を格子状のデータ格納領域であるグリッドに分割し、前記グリッドと該グリッド内のデータを記憶する記憶装置のアドレスとをそれぞれ対応付ける動画像符号化装置であって、前記グリッドの各々に格納されたデータをグリッド毎に可逆圧縮方式で圧縮する圧縮手段と、処理対象の対象グリッド内に該対象グリッドに隣接する隣接グリッド内の圧縮データを配置できる場合、前記隣接グリッド内の圧縮データを前記対象グリッド内の圧縮データに連続するように冗長に配置する配置手段と、を有する動画像符号化装置。
（付記２）前記圧縮データの配置状況を管理する管理情報を利用して、アクセスしたグリッドへの重複アクセスを回避しながら読出対象の圧縮データを読み出す読出手段と、読み出した前記圧縮データを伸張する伸張手段と、を有する付記１に記載の動画像符号化装置。
（付記３）前記配置手段は、前記対象グリッド内に前記隣接グリッド内の圧縮データを配置できない場合であって、前記対象グリッド内の圧縮データのデータ量が前記対象グリッドのグリッドサイズのＭ／Ｎ（Ｍ、Ｎは自然数でＭはＮ未満）未満であるとき、前記対象グリッド内の圧縮データを圧縮した状態のまま維持する付記１又は２に記載の動画像符号化装置。
（付記４）前記隣接グリッドは、前記対象グリッドの下側に位置する下隣接グリッド又は前記下隣接グリッドと前記対象グリッドの右下側に位置する右下隣接グリッドのいずれかを含む付記１から３のいずれか１項に記載の動画像符号化装置。
（付記５）動画像を符号化する際に参照される画面を格子状のデータ格納領域であるグリッドに分割し、前記グリッドと該グリッド内のデータを記憶する記憶装置のアドレスとをそれぞれ対応付ける動画像符号化方法であって、前記グリッドの各々に格納されたデータをグリッド毎に可逆圧縮方式で圧縮し、処理対象の対象グリッド内に該対象グリッドに隣接する隣接グリッド内の圧縮データを配置できる場合、前記隣接グリッド内の圧縮データを前記対象グリッド内の圧縮データに連続するように冗長に配置する、動画像符号化方法。
（付記６）前記圧縮データの配置状況を管理する管理情報を利用して、アクセスしたグリッドへの重複アクセスを回避しながら読出対象の圧縮データを読み出し、読み出した前記圧縮データを伸張する、付記５に記載の動画像符号化方法。
（付記７）前記対象グリッド内に前記隣接グリッド内の圧縮データを配置できない場合であって、前記対象グリッド内の圧縮データのデータ量が前記対象グリッドのグリッドサイズのＭ／Ｎ（Ｍ、Ｎは自然数でＭはＮ未満）未満であるとき、前記対象グリッド内の圧縮データを圧縮した状態のまま維持する付記５又は６に記載の動画像符号化方法。
（付記８）前記隣接グリッドは、前記対象グリッドの下側に位置する下隣接グリッド又は前記下隣接グリッドと前記対象グリッドの右下側に位置する右下隣接グリッドのいずれかを含む付記５から７のいずれか１項に記載の動画像符号化方法。

１００ 動画像符号化装置
１１０ 動画像符号化部
１５０ 画像処理部
１５１ 書込要求出力部
１５２ 画像圧縮部（圧縮手段）
１５３ 冗長配置部（配置手段）
１５８ リードアクセス最適化部（読出手段）
１５９ 画像伸張部（伸張手段）
１９０ メモリコントローラ
２００ 外部メモリ

Claims (5)

1. 動画像を符号化する際に参照される画面を格子状のデータ格納領域であるグリッドに分割し、前記グリッドと該グリッド内のデータを記憶する記憶装置のアドレスとをそれぞれ対応付ける動画像符号化装置であって、
   前記グリッドの各々に格納されたデータをグリッド毎に可逆圧縮方式で圧縮する圧縮手段と、
   処理対象の対象グリッド内に該対象グリッドに隣接する隣接グリッド内の圧縮データを配置できる場合、前記隣接グリッド内の圧縮データを前記対象グリッド内の圧縮データに連続するように冗長に配置する配置手段と、
   を有する動画像符号化装置。
2. 前記圧縮データの配置状況を管理する管理情報を利用して、アクセスしたグリッドへの重複アクセスを回避しながら読出対象の圧縮データを読み出す読出手段と、
   読み出した前記圧縮データを伸張する伸張手段と、
   を有する請求項１に記載の動画像符号化装置。
3. 前記配置手段は、前記対象グリッド内に前記隣接グリッド内の圧縮データを配置できない場合であって、前記対象グリッド内の圧縮データのデータ量が前記対象グリッドのグリッドサイズのＭ／Ｎ（Ｍ、Ｎは自然数でＭはＮ未満）未満であるとき、前記対象グリッド内の圧縮データを圧縮した状態のまま維持する請求項１又は２に記載の動画像符号化装置。
4. 前記隣接グリッドは、前記対象グリッドの下側に位置する下隣接グリッド又は前記下隣接グリッドと前記対象グリッドの右下側に位置する右下隣接グリッドのいずれかを含む請求項１から３のいずれか１項に記載の動画像符号化装置。
5. 動画像を符号化する際に参照される画面を格子状のデータ格納領域であるグリッドに分割し、前記グリッドと該グリッド内のデータを記憶する記憶装置のアドレスとをそれぞれ対応付ける動画像符号化方法であって、
   前記グリッドの各々に格納されたデータをグリッド毎に可逆圧縮方式で圧縮し、
   処理対象の対象グリッド内に該対象グリッドに隣接する隣接グリッド内の圧縮データを配置できる場合、前記隣接グリッド内の圧縮データを前記対象グリッド内の圧縮データに連続するように冗長に配置する、
   動画像符号化方法。

Images