JP2011193453A - 復号化装置及び復号化方法 - Google Patents

Abstract

【課題】消費電力の少なさと、段数の少なさとが両立できること。
【解決手段】算術復号化処理する際に、符号化条件を生成するＣＡＢＡＣ処理部と、算術復号化された後の符号化データを蓄積する第１蓄積媒体と、キャッシュデータを蓄積する第２蓄積媒体たるキャッシュと、キャッシュデータに基づいて、算術復号化処理された後の符号化データを処理するデコーダと、前記処理よりも前に、符号化条件に基づいて、キャッシュデータの格納方法を設定する設定部とを備える復号化装置が用いられる。
【選択図】図１０

Description

本発明は、動画像の復号化装置及び方法に関する。

現在、画像データのデジタル化が進むのに伴い、膨大なデータ量を必要とする動画データに対して画像符号化を行って、そのデータ量を低減して、記録、伝送されるようになってきている。

ここで、画像符号化方式としては、ＭＰＥＧ２（MPEG : Moving Picture Experts Group）やＭＰＥＧ４ ＡＶＣ／Ｈ．２６４（以下、Ｈ．２６４と略す：AVC「Advanced Video Coding」）等のような、高い効率の画像圧縮符号化方式がよく用いられる。これらの方式では、マクロブロックと呼ばれる矩形単位（通常、水平１６画素、垂直１６画素で構成される）毎に符号化する。また、圧縮効率を高めるために、前記マクロブロックの符号化の際に、当該マクロブロックの絵柄と類似する絵柄を、それ以前に符号化した、他のフィールドまたはフレームから探し出して、取り出す。そして、取り出した絵柄の画素値と、符号化を行う当該マクロブロックの画素値との差分値を符号化する。ここで、このような処理を、動き補償と呼ぶ。そして、画像符号化時には、どの位置の画素値を取り出したかを、動きベクトルとして、同時に符号化する。

次に、動き補償を用いて符号化されたデータの画像復号化装置の例を図６を用いて説明する。

図６は、従来の画像復号化装置６００を示す図である。

図６の６０１は符号化データ入力部、６０３は可変長復号化部、６０４は画素値復号化部、６０５は動きベクトル抽出部、６０６は動き補償部、６０７は画像出力部、６０８はメモリである。

図６の符号化データ入力部６０１から入力された、画像符号化されたデータは、マクロブロック単位で、可変長復号化部６０３で可変長復号化される。可変長復号化されたデータの中から、動きベクトル抽出部６０５では、このマクロブロックに対する動きベクトル情報（そのマクロブロックの復号化で用いられる動きベクトル情報）を抽出する。そして、この動きベクトル情報を用いて、メモリ６０８に記憶されている、既に（過去に）復号化された、複数の画素値の中から、動き補償に必要な画素値を読み出して、動き補償部６０６で、動き補償画素を生成する。

一方、画素値復号化部６０４では、可変長復号化部６０３で復号化されたデータを用いて、上記マクロブロックに対する動き補償差分データを生成する。そして、生成された動き補償差分データを、動き補償部６０６で得られる、読み出された過去の画素値（上述）から生成された動き補償値と加算して、画素データを復号化する。この、復号化された画素データは、一旦メモリ６０８に記憶されてから、ＴＶ等の再生タイミングに合わせて、画像出力部６０７から出力される。また、メモリ６０８に記憶された、復号化された画素データは、他のマクロブロックの動き補償にも利用される。

さて、図６のような構成によって、画像符号化されたデータを、動画データに復号化することが可能になる。そして、上記動き補償においては、マクロブロック毎、または、その分割された単位毎に、過去に復号化された、任意の位置の画素を参照することができる。このため、動き補償を実行するために、マクロブロック毎に、ランダムな位置の画素値を、メモリ６０８から読み出す必要が生じる。

一般に、画像復号化された画像データは、非常に大きなデータ量を有するため、上記メモリ６０８は、外付けのＤＲＡＭ（Dynamic Random Access Memory）で構成される。一方、ＤＲＡＭでは、マクロブロックのような小さな矩形単位で、ランダムに読み出すと、大きなオーバーヘッドが発生し、高速な読み出しが困難である。このため、ハイビジョン画像のような、高速、大容量の画像を復号化するためには、高価な高速ＤＲＡＭを多数並列に利用する必要が発生し、大きな回路コストと消費電力がかかってしまう。

このような課題を改善する例として、従来の画像復号化装置が、特許文献１（特開２００５−１０２１４４号公報）及び、特許文献２（特開２００６−３１４８０号公報）に開示されている。これらの特許文献で示される例の技術は、Ｈ．２６４符号化されたデータを復号化する際の、外部ＤＲＡＭへのメモリアクセスを削減する技術である。

図７は、従来の画像復号化装置７００を示す図である。

特許文献１及び特許文献２で示される画像復号化装置の例を図７を用いて説明する。図７で示される画像復号化装置７００は、図６で示される画像復号化装置６００から、さらに参照画像キャッシュ７０２を備える。図７で示される画像復号化装置７００を構成する要素のうち、図６で示される画像復号化装置６００を構成する要素と同じ機能を持つものは、同じ番号が付されており、それらの詳しい説明は省略する。

動きベクトル抽出部７０５は、可変長復号化部６０３で可変長復号化されたデータの中から、このマクロブロックに対する動きベクトル情報を抽出する。そして、この動きベクトル情報を用いて、動き補償に必要な画素の読み出しアクセスを、参照画像キャッシュ７０２に対して行う。参照画像キャッシュ７０２では、読み出しアクセスを受信して、当該参照画像キャッシュ７０２の内部に、必要な画素があれば、その画素を、動き補償部７０６に渡す。一方、必要な画素がない場合には、動き補償部７０６は、キャッシュミスと判断して、メモリ６０８に対して、読み出しアクセスを行う。メモリ６０８は、画素の読み出しアクセスを受信すると、その読み出しアクセスで要求された画素データを取得して、動き補償部７０６に送信する。また、このとき、メモリ６０８から、動き補償部７０６へと送信された上記画素データは、参照画像キャッシュ７０２にも渡され、参照画像キャッシュ７０２の内部にも格納される。

動き補償部７０６では、参照画像キャッシュ７０２又はメモリ６０８から、当該動き補償部７０６に入力された、参照画像の画素値を用いて、動き補償画素を生成する。そして、生成した動き補償画素を、画素値復号化部６０４に出力する。

なお、画素値復号化部６０４以降の、動画データ復号化のプロセスは、図６で示される画像復号化装置６００の場合と同様であるので、詳しい説明を省略する。

以上で説明したように、画像復号化装置に参照画像キャッシュ７０２を備えた場合、動き補償を行う際に必要となる、参照画像の画素値について、次の通りである。つまり、必要となる画素値が、参照画像キャッシュ７０２の内部に格納されている場合、メモリ６０８にアクセスする必要がなくなり、メモリ６０８にかかるアクセス量を削減することが可能となる。

特開２００５−１０２１４４号公報 特開２００６−３１４８０号公報

上述の背景技術で示した通り、特許文献１及び特許文献２で開示された技術では、マクロブロックの動き補償を行うために、外部メモリ（メモリ６０８）から読み出した参照画像データを、参照画像キャッシュ７０２に蓄える。そして、次以降のマクロブロックの動き補償を行うときに、必要となる参照画像が、参照画像キャッシュ７０２に蓄えられている上記参照画像データの画像である場合には、参照画像キャッシュ７０２から、蓄えられている、その参照画像の上記参照画像データを読み出す。このことで、外部メモリ（メモリ６０８）へのアクセスを削減している。

一方、キャッシュの構成は、一般的に、図８及び図９で示されるような構成である。

図８は、ダイレクトマッピング方式のキャッシュ（キャッシュ８００）を示すブロック図である。

ダイレクトマッピング方式のキャッシュ８００は、キャッシュメモリアレイ８０４と、比較器８０７とで構成されており、メモリアドレス８０１を入力として、データを読み出すシステムである。メモリアドレス８０１は、タグ部８０２とインデクス部８０３とで構成されており、インデクス部８０３を、キャッシュメモリアレイ８０４のアドレスとして、キャッシュメモリアレイ８０４から、データを読み出す。キャッシュメモリアレイ８０４には、キャッシュタグ８０５と、データ８０６との組が複数組格納されている。そして、キャッシュメモリアレイ８０４への読み出しアクセスが行われると、キャッシュタグ８０５と、データ８０６とを一つずつキャッシュメモリアレイ８０４が出力する。キャッシュメモリアレイ８０４から読み出されたキャッシュタグ８０５と、タグ部８０２とは、比較器８０７で比較され、一致する場合には、キャッシュヒットとして、データ８０６（データ８０６Ｉ）とともに、キャッシュヒットを示す信号（信号８０７Ｉ）を出力する。一致しない場合には、キャッシュミスを示す信号を比較器８０７が出力する。

図９は、セットアソシアティブ方式のキャッシュ（キャッシュ９００）を示すブロック図であり、特にウェイ数が２の場合の例である。

セットアソシアティブ方式のキャッシュ９００は、キャッシュメモリアレイ９０４と、ウェイ０比較器９０９と、ウェイ１比較器９１０と、論理和（論理和演算部）９１１と、データ選択部９１２と、で構成されている。このシステム、メモリアドレス８０１を入力として、データを読み出すシステムである。なお、メモリアドレス８０１は、図８のメモリアドレス８０１と同じ構成であるので、同じ記号を付け、詳しい説明は省略する。

キャッシュメモリアレイ９０４には、ウェイ０キャッシュタグ９０５と、ウェイ１キャッシュタグ９０６と、ウェイ０データ９０７と、ウェイ１データ９０８との組が複数組格納されている。キャッシュメモリアレイ９０４は、インデクス部８０３を入力として、読み出しアクセスが行われると、ウェイ０キャッシュタグ９０５と、ウェイ１キャッシュタグ９０６と、ウェイ０データ９０７と、ウェイ１データ９０８とが、それぞれ１つずつ出力される。読み出されたウェイ０キャッシュタグ９０５は、メモリアドレス８０１のタグ部８０２と、ウェイ０比較器９０９で比較され、一致した場合には、ウェイ０ヒット信号をウェイ０比較器９０９が有効にする。また、ウェイ１キャッシュタグ９０６は、タグ部８０２と、ウェイ１比較器９１０で比較され、一致した場合には、ウェイ１ヒット信号を、ウェイ１比較器９１０が有効にする。

ウェイ０ヒット信号と、ウェイ１ヒット信号とについては、論理和９１１で、それらの論理和がとられ、キャッシュヒット（キャッシュヒットか否かを示す信号９１１Ｉ）が、論理和９１１により出力される。

ウェイ０ヒット信号と、ウェイ１ヒット信号の両方が有効でなかった場合には、キャッシュミスが論理和９１１により出力される。

データ選択部９１２には、ウェイ０ヒット信号と、ウェイ１ヒット信号と、キャッシュメモリアレイ９０４から読み出された、ウェイ０データ９０７とウェイ１データ９０８とが入力される。

そして、データ選択部９１２は、ウェイ０ヒット信号が有効である場合には、ウェイ０データを選択し、ウェイ１ヒット信号が有効である場合には、ウェイ１データを選択して、選択されたデータ（データ９１２Ｉ）が、出力のデータとしてデータ選択部９１２により出力される。

以上で述べたように、キャッシュの構成には、ダイレクトマッピング方式及びセットアソシアティブ方式などの、種々の方式の構成がある。そして、さらに、キャッシュアレイに格納するタグとデータとの組の数であるエントリ数や、セットアソシアティブ方式におけるウェイ数などの点でも、多種多様な構成をとることができる。また、一般に、キャッシュを用いてシステムを作る場合には、そのシステムに最も適したキャッシュの構成を一意に決めて、実装することが多い。これは、キャッシュの特性上、キャッシュの構成（記憶されるキャッシュデータの格納方法）を変更する場合には、キャッシュの中身をクリアする必要があり、システム動作中に、動的にキャッシュの構成を変えられないためである。

一方、画像復号化装置に備えられるキャッシュにおいても、上述のように、構成を一意に決めて実装されていた。

ただ、画像復号化を行う上では、キャッシュの構成は、復号化される画像毎に、その画像に適した形の構成に変更されるのが望ましい。しかしながら、過去の画像復号化装置には、それらを変更する仕組みを有するものはなかった。

これは、復号化される画像に最も適したキャッシュの構成は、画像の復号化を実施するまでは明らかにならないという理由によるものである。つまり、復号化される画像によっては、その画像に対して、一意に決められた構成が適さず、不適切な構成で復号化がされてしまうことがある。

本発明は、キャッシュを備えた復号化装置において、キャッシュの構成を変更し、復号化する画像に適した構成を持つキャッシュで、復号化を実施して、キャッシュミスによって発生する、外部メモリへのアクセスのアクセス量を削減する目的を持つ。

なお、本発明の他の目的は、この削減のために用いられる情報（図１０の符号化条件２３ａを参照）が生成されるにも関わらず、行われる処理の段数が、比較的少ない段数（図１、図１０等で示される２段など）に維持できる復号化装置を提供することを含む。

なお、本発明の他の目的の少なくとも一部は、Ｈ．２６４のハイプロファイルでの復号化がされるのに際して比較的適切な動作ができる復号化装置（図１０などの復号化装置１００等を参照）を提供することを含む。

上記の課題を解決するために、本復号化装置は、少なくとも算術符号化処理を含む符号化処理によって得られる符号化データを復号化する復号化装置であって、前記符号化データを取得する取得部と、前記取得した符号化データを算術復号化処理し、当該符号化データに用いられた符号化条件および算術復号化された符号化データを生成する第１復号化部と、第１容量を有し、第１速度で、蓄積される情報の読出しが可能な蓄積媒体であって、前記符号化条件および前記算術復号化された符号化データを蓄積する第１蓄積媒体と、前記第１容量よりも小さい第２容量を有し、前記第１速度よりも早い第２速度で、蓄積される情報の読出しが可能な蓄積媒体であって、前記第１蓄積媒体に蓄積される既に復号化済みの画像データのうち一部の画像データであるキャッシュデータを蓄積する第２蓄積媒体と、前記第１蓄積媒体に蓄積される、復号化済みの前記画像データまたは前記第２蓄積媒体に蓄積される前記キャッシュデータに基づいて、前記算術復号化処理された符号化データを復号化処理する第２復号化部と、前記第２復号化部における現在の復号化対象の符号化データよりも前の符号化データを生成した際に得られた符号化条件に基づいて、前記第２蓄積媒体における前記キャッシュデータの格納方法を設定する格納方法設定部とを備える復号化装置である。

そして、例えば、前記第２復号化部における現在の復号化対象の符号化データ（例えば、第１の時刻の復号化対象である第１の符号化データ）よりも前の符号化データ（第１の時刻とは異なる第２の時刻の復号化対象の第２の符号化データ）を生成した際に得られた符号化条件に基づいて、前記第２蓄積媒体における前記キャッシュデータ（第２の符号化データが復号化対象である際のキャッシュデータ）の格納方法が設定されてもよい。

なお、例えば、前記第２復号化部における復号化処理（例えば、第２の符号化データの復号化処理）よりも前に、前記第２復号化部における復号化対象となる符号化データ（第２の符号化データ）の算術復号化処理に際して生成された前記符号化条件に基づいて、前記第２蓄積媒体における前記キャッシュデータ（第２の復号化データが復号化対象である際のキャッシュデータ）の格納方法を設定してもよい。

つまり、例えば、第２復号化部における復号化処理（第２の符号化データの復号化処理）よりも前に、その復号化処理での格納方法が設定されると共に、その設定よりも更に前に行われる算術復号化処理（第２の符号化データが生成される算術復号化処理）に際して、上述の符号化条件（第２の符号化データの符号化条件）が生成されてもよい。

つまり、この復号化装置は、例えば、算術符号化を利用して符号化された符号化ストリームを算術復号化して、算術復号化データを生成する算術復号化部と、生成された前記算術復号化データを二値データ復号化し、係数データ、参照画像情報及び画像多値データを生成する二値データ復号化部と、過去に復号化した画素値で構成される参照画像を蓄積する蓄積部と、前記蓄積部に蓄積される前記参照画像の画素データ及び、動きベクトル情報を用いて、動き補償信号を生成する動き補償部と、前記係数データ及び、前記動き補償信号を基に、復号化した画素値を生成する画素値復号化部と、前記動き補償部で利用した前記参照画像の画素データを蓄積する参照画素データキャッシュと、前記算術復号化データを基に、前記動き補償部が使用する参照画像と、当該参照画像の画素値とに関する前記参照画像情報を取得する参照画像情報取得部と、取得された前記参照画像情報を基に、前記参照画像データキャッシュの構成を作成する作成部とを備える復号化装置などでもよい。

なお、作成部は、具体的には、例えば、参照画素データキャッシュに設定される構成を特定するキャッシュ構成情報（ウェイ数など）を、参照画素データキャッシュなどの他の処理部に出力してもよい。そして、出力されたキャッシュ構成情報により特定される構成に、参照画素データキャッシュの構成が、当該他の処理部により変更されてもよい。こうして、作成部は、キャッシュ構成情報を出力して、出力された他の処理部に、変更の処理をさせることにより、当該構成を作成してもよい。

なお、参照画像データキャッシュは、例えば、実施の形態で詳しく説明されるように、蓄積されるデータのそれぞれの部分を、当該参照画像データキャッシュの保存領域が分割された１以上の分割領域における、その部分に対応する分割領域により蓄積してもよい。そして、参照画像データキャッシュの構成を作成するとは、具体的には、例えば、分割領域の個数を指定し、指定された個数だけの分割領域による蓄積をさせることであってもよい。

なお、入力される動画像を、画面間予測によって符号化する符号化装置において、入力された動画像を符号化して、符号化データと、画面間予測時に使用される参照画像とを出力する画像符号化部と、前記参照画像の蓄積を行う蓄積部と、前記参照画像が有する全体の領域よりも小さい管理領域毎に、当該参照画像の蓄積及び解放の制御を行う蓄積制御部と、前記動画像を構成する１枚の符号化対象画像を部分領域に分割し、前記部分領域毎に、部分領域動きベクトルを算出する領域動きベクトル算出部と、を備え、前記蓄積制御部は、複数の前記領域動きベクトルを基に、前記管理領域のうち、前記符号化対象画像を符号化する際に使用しないと判断した管理領域を解放して、符号化を行ってもよい。また、さらには、前記蓄積制御部は、複数の前記領域動きベクトルを基に、前記動画像信号を符号化する際に使用する前記管理領域毎の使用回数を計数し、当該計数結果を基に当該動画像信号を符号化する際に使用しない管理領域を判断して、管理領域を解放して、符号化を行ってもよい。このような符号化装置が、上記の復号化装置と組み合わせられてもよい。

本発明によれば、動画像を、算術符号化及び画面間予測符号化を利用して符号化した符号化ストリームを復号化して、前記動画像を生成する画像復号化装置において、動き補償を行う際に、参照画像の画素値を、メモリから読み出すことに起因するメモリアクセスの量を低減することが可能となる効果を奏する。

ひいては、例えば、メモリアクセスで消費される電力が小さくされて、消費電力が小さくできる。

処理の段数（行われる処理のパスの回数）が、比較的少ない段数（例えば、図１、図１０等で示される２段）に維持できる。

これにより、消費電力の少なさと、段数の少なさとが両立できる。

Ｈ．２６４のハイプロファイルでの復号化を行うのに際して、比較的適切な動作ができる復号化装置（図１、図１０の復号化装置１００など）が提供できる。

比較的早い時刻に必要な情報（符号化条件）が生成され、早い時刻から適切な処理がされて、例えば、比較的大幅に、消費電力が少なくできる。

図１は、実施の形態１の復号化装置の構成を示す図である。 図２は、実施の形態１の復号化装置の動作のフローを示す図である。 図３は、参照画像キャッシュの構成を決定する第４の方法における、復号化する画像と参照画像の関係を示す図である。 図４は、参照画像キャッシュの構成を決定する第５の方法における、参照画像キャッシュ構成決定部の構成を示す図である。 図５は、参照画像キャッシュの構成を決定する第５の方法における、参照画像キャッシュ構成決定部の動作のフローを示す図である。 図６は、動き補償を用いて符号化されたデータを復号化する画像復号化装置の例を示す図である。 図７は、参照画像キャッシュを備えた、動き補償を用いて符号化されたデータを復号化する画像復号化装置の例を示す図である。 図８は、ダイレクトマッピング方式のキャッシュの例を示す図である。 図９は、セットアソシアティブ方式のキャッシュの例を示す図である。 図１０は、復号化装置の構成を示す図である。 図１１は、蓄積されるキャッシュデータなどを示す図である。 図１２は、蓄積されるキャッシュデータなどを示す図である。 図１３は、対応関係のデータなどを示す図である。 図１４は、複数のアドレスなどを示す図である。

以下、図面を参照して、発明を実施するための形態を説明する。

実施の形態の復号化装置は、少なくとも算術符号化処理を含む符号化処理によって得られる符号化データ（図１０の符号化データ２１ｂ）を復号化する復号化装置１００であって、上述の符号化データ２１ｂを取得する入力部２１と、取得した符号化データ２１ｂを算術復号化処理し、当該符号化データ２１ｂの符号化に用いられた符号化条件２３ａおよび算術復号化された後の符号化データ２４ｄを生成するＣＡＢＡＣ処理部２２と、第１容量を有し、第１速度で、その蓄積媒体に蓄積される情報の読出しが可能な蓄積媒体（第１蓄積媒体２４）であって、上述された符号化条件２３ａおよび算術復号化された後の符号化データ２４ｄを蓄積する第１蓄積媒体（ＤＲＡＭ）２４と、第１蓄積媒体２４の第１容量よりも小さい第２容量を有し、第１蓄積媒体２４の第１速度よりも早い第２速度で、その蓄積媒体に蓄積される情報の読出しが可能な蓄積媒体であって、第１蓄積媒体２４に蓄積される既に復号化済みの画像データ２４ｅのうち一部の画像データ２４ｅＰのコピーであるキャッシュデータ２５ｄを蓄積する第２蓄積媒体（キャッシュ）２５と、第１蓄積媒体２４に蓄積される、復号化済みの画像データ２４ｅまたは第２蓄積媒体２５に蓄積されるキャッシュデータ２５ｄに基づいて、算術復号化処理された後の符号化データ２４ｄを復号化処理する第２復号化部（デコーダ）２６と、（第２復号化部２６における現在の復号化対象の符号化データ（第１の符号化データ）よりも前の）符号化データを生成した際に得られた符号化条件（符号化条件２３ａなど）に基づいて、第２蓄積媒体２５におけるキャッシュデータ２５ｄの格納方法を設定する設定部（格納方法設定部）２３と、を備える復号化装置（画像復号化装置）１００である。

つまり、例えば、符号化データ（第２の時刻における、第２復号化部２６の復号化対象の第２の符号化データ：符号化データ２４ｄ参照）をＣＡＢＡＣ処理部２２が生成した際に得られた符号化条件２３ａに基づいて、第２蓄積媒体２５における、当該符号化データ（第２の符号化データ）が第２復号化部２６により復号化される際のキャッシュデータ２５ｄの格納方法を設定してもよい。

なお、例えば、第２の符号化データは、第２復号化部２６における現在の復号化対象の符号化データ（上述の第２の時刻とは別の第１の時刻の復号化対象である第１の符号化データ）よりも前の（第１の符号化データとは別の）符号化データなどである。

つまり、復号化装置１００において、例えば、第１蓄積媒体２４に蓄積される、複合化済みの画像データ２４ｅまたは第２蓄積媒体２５に蓄積されるキャッシュデータ２５ｄに基づいて、算術復号化処理された符号化データ２４ｄ（上述の第２の符号化データなど）を復号化処理するデコーダ２６と、第２復号化部２６における符号化データ（第１の符号化データ）の復号化処理よりも前に、第２復号化部２６における復号化対象となる符号化データ（第２の符号化データ）の算術復号化処理に際して生成された符号化条件２３ａに基づいて、第２蓄積媒体２４におけるキャッシュデータ２５ｄ（第２の符号化データのキャッシュデータ）の格納方法を設定してもよい。

また、例えば、これにより、設定された、適切な格納方法で、キャッシュデータ２５ｄの蓄積がされて、キャッシュミスが少なくできる。これにより、ひいては、第２蓄積媒体２５へのアクセスが少なくされて、アクセスで消費される電力が小さくされ、消費電力が小さくできる。

しかも、復号化装置１００における処理の段数（行われる処理のパスの回数）が、少ない段数（例えば、図１、図１０で示される２段など）に維持できる。

こうして、消費電力の小ささと、段数の少なさとが両立できる。

なお、上述のようにして、段数が少なくされることにより、ひいては、例えば、処理が比較的簡単にされて、消費電力が、より大幅に少なくできる。

なお、上述の通り、第１段目の処理は、算術復号化処理である。

つまり、例えば、本復号化装置は、Ｈ．２６４のハイプロファイルでの復号化を行う復号化装置などである。これにより、Ｈ．２６４のハイプロファイルでの復号化をするのに際して、比較的適切な動作ができる復号化装置が提供される。

この復号化装置は、例えば、算術符号化を利用して符号化された符号化ストリームを算術復号化して、算術復号化データを生成する算術復号化部（算術符号復号化部１０２）と、生成された前記算術復号化データを二値データ復号化し、係数データ、参照画像情報及び画像多値データを生成する二値データ復号化部（二値データ復号化部１０６）と、過去に復号化した画素値で構成される参照画像を蓄積する蓄積部（外部ＤＲＡＭ１１１）と、前記蓄積部に蓄積される前記参照画像の画素データ及び、動きベクトル情報を用いて、動き補償信号を生成する動き補償部（動き補償部１０９）と、前記係数データ及び、前記動き補償信号を基に、復号化した画素値を生成する画素値復号化部（画素値復号化部１０８）と、前記動き補償部で利用した前記参照画像の画素データを蓄積する参照画素データキャッシュ（参照画像キャッシュ１１０）と、前記算術復号化データを基に、前記動き補償部が使用する参照画像と、当該参照画像の画素値とに関する前記参照画像情報を取得する参照画像情報取得部（参照画像情報取得部１０３）と、取得された前記参照画像情報を基に、前記参照画像データキャッシュの構成を作成する作成部（参照画像キャッシュ構成決定部１０４等）とを備える復号化装置（画像復号化装置）でもよい。

なお、動き補償部により使用される参照画像と、当該参照画像の画素値とに関する参照画像情報は、具体的には、例えば、複数の画像から、動き補償部により使用される参照画像を特定するとともに、特定される参照画像の画素値を特定してもよい。

また、構成を作成する際には、具体的には、例えば、構成を作成することにより、参照画像データキャッシュに対して、複数の処理のうちで、作成する構成に対応する処理をさせてもよい。ここで、それら複数の処理のそれぞれは、例えば、その処理がされる際に適する、動き補償部により利用される参照画像の数が、他の何れの処理での適切な数とも、異なってもよい。

なお、第２復号化部２６における現在の復号化対象の符号化データ（第１の符号化データ）よりも前の符号化データ（第１の符号化データとは別の第２の符号化データ）を生成した際に得られた符号化条件（第２の符号化データの符号化条件）に基づいて、第２蓄積媒体２５におけるキャッシュデータ（第１の符号化データが復号化対象である際のキャッシュデータ）の格納方法が設定部により設定されてもよい。

こうして、格納方法の設定に必要である情報（符号化条件）が、ＣＡＢＡＣ処理部２２での算術復号化に際して生成される。このため、第１段目（ＣＡＢＡＣ処理部２２）と、第２段目（デコーダ２６）以外の処理がされて、段数が増やされる必要がなく、少ない段数（例えば２段）が維持できる。しかも、第１段目の処理で生成され、比較的早い時刻に生成され、早い時刻から、符号化条件を用いた適切な処理がされ、十分に適切な処理ができる。

以下、詳しく説明される。

図１は、本実施の形態で示される復号化装置の実施例を示す図である。

画像復号化装置（復号化装置）は、算術符号化を利用して符号化された符号化ストリームを復号化して、前記符号化ストリームが復号化された画像データを出力する装置である。

そして、画像復号化装置は、入力部１０１、算術符号復号化部１０２、参照画像情報取得部１０３、参照画像キャッシュ構成決定部１０４、メモリ１０５、二値データ復号化部１０６、参照画像情報抽出部１０７、画素値復号化部１０８、動き補償部１０９、参照画像キャッシュ１１０、外部ＤＲＡＭ１１１、出力部１１２で構成されている。

符号化ストリームは、入力部１０１により当該画像復号化装置に入力される。入力された符号化ストリームは、算術符号復号化部１０２により算術復号化され、符号化ストリームが算術復号化された算術復号化データが生成される。生成された算術復号化データは、メモリ１０５に一旦格納される。

ここで、Ｈ．２６４符号化の場合には、算術復号化データは、２値化データとも呼ばれる。通常、算術符号の復号化処理では、その処理時間に大きなムラが発生する。このため、マクロブロック単位で処理する、画素値の復号化処理と同期して処理することができない。このため、復号化処理がされた後の算術復号化データについては、十分なマクロブロック数分のデータを、一旦メモリ（図１ではメモリ１０５）に記憶して、その後、マクロブロック単位の復号化処理に同期して、記憶されたデータが読み出されて、処理される。

次に、算術復号化された算術復号化データは、メモリ１０５に記憶されるのと並行して、参照画像情報取得部１０３に入力されて、入力された算術復号化データから参照画像情報が取得される。ここで、参照画像情報とは、後に動き補償部１０９で使用される、参照画像及び参照画像の画素値に関する情報である。

参照画像キャッシュ構成決定部１０４は、この参照画像情報を入力として、参照画像キャッシュ１１０の構成を決定するキャッシュ構成情報を出力する。

なお、ここで、Ｈ．２６４符号化を使用した場合、画素データの復号化は、画像単位もしくは、画像を分割して得られるスライス単位で行われることが多い。そこで、参照画像キャッシュ構成決定部１０４で、キャッシュ構成情報を出力することにより決定される、参照画像キャッシュ１１０の構成は、画像単位もしくはスライス単位で決定される。すなわち、参照画像キャッシュ構成決定部１０４は、画像単位もしくはスライス単位で、キャッシュ構成情報を出力する。

キャッシュ構成情報は、参照画像キャッシュ１１０に渡され、キャッシュ構成情報に対応する画像の画素データを復号化する際に、参照画像キャッシュ１１０を設定する。

つまり、キャッシュ構成情報が渡されることにより、渡されたキャッシュ構成情報に対応する画像の復号化に際して、そのキャッシュ構成情報の構成での処理が、参照画像キャッシュ１１０により行われる。

次に、メモリ１０５に記憶された、先述の算術復号化データは、二値データ復号化部１０６に、マクロブロック単位で読み出されて、二値データ復号化部１０６により、係数データ及び、参照画像情報及び、画像多値データの復号化が実施される。

ここで、復号化されたデータに対して、参照画像情報抽出部１０７では、このマクロブロックに対する動きベクトル、参照画像番号（ｒｅｆＩｄｘ）を検出する処理がされる。そして、検出されたこれら動きベクトル等を利用して、参照画像キャッシュ１１０から、動き補償に用いる参照画素（外部ＤＲＡＭ１１１に記憶された参照画素のコピーの参照画素）を読み出す。

ここで、参照画像キャッシュ１１０に、動き補償に用いる参照画素（コピー）が格納されていない場合がある。なお、この場合とは、いわゆるキャッシュミスした場合である。この場合には、外部ＤＲＡＭ１１１から、動き補償に用いる参照画素を読み出す。そして同時に、外部ＤＲＡＭ１１１から読み出された参照画素を、参照画像キャッシュ１１０に格納する。

動き補償部１０９では、参照画像キャッシュ１１０もしくは外部ＤＲＡＭ１１１から読み出された参照画素から、動き補償に用いる補間画素（図１のデータ１０９ｂ参照）を生成する。

画素値復号化部１０８では、二値データ復号化部１０６で復号化された係数データに、逆量子化、及び逆直交変換をして、復号化された係数データを、差分画素値に変換する。そして、変換された差分画素値を、動き補償部１０９で生成される、動き補償の補間画素と加算して、画素値を復号化し、復号化された画素値を、外部ＤＲＡＭ１１１に書き込む。

外部ＤＲＡＭ１１１に記憶された、復号化された画素値は、ＴＶ出力される等、接続される機器に同期して、出力部１１２から出力される。

図２は、上で説明した復号化装置（画像復号化装置）の動作のフロー（Ｓ１〜Ｓ１８）を示した図である。

図２に示されるように、Ｓ１では、符号化データを画像復号化装置に入力部１０１が入力する。Ｓ２では、入力された符号化データを、算術符号復号化部１０２が算術符号復号化する。Ｓ３では、算術復号化された算術復号化データから、参照画像情報を、参照画像情報取得部１０３が取得する。Ｓ４では、算術復号化された算術復号化データを、メモリ１０５に格納する。

そして、Ｓ５では、Ｓ３で取得された参照画像情報から、参照画像キャッシュの構成を、参照画像キャッシュ構成決定部１０４が決定する。Ｓ６では、決定した構成を、参照画像キャッシュ１１０に設定する。

Ｓ７では、メモリ１０５に格納された算術復号化データを、メモリ１０５から読み出し、読み出された算術復号化データを、二値データ復号化部１０６が二値データ復号化する。Ｓ８では、参照画像情報を抽出する。Ｓ９では、Ｓ８で抽出された参照画像情報を基に、参照画素を特定する。

Ｓ１０では、参照画像キャッシュ１１０に、特定された参照画素（コピー）があるか否かを判定する。Ｓ１１では、Ｓ１０で、あると判定された場合に（Ｓ１０：ＹＥＳ）、参照画像キャッシュ１１０から、参照画素（コピー）を読み出す。Ｓ１７では、Ｓ１０で、ないと判定された場合に（Ｓ１０：ＮＯ）、外部ＤＲＡＭ１１１から、参照画素を読み出す。Ｓ１８では、Ｓ１７で読み出した参照画素を、参照画像キャッシュ１１０に書き込む。

Ｓ１２では、動き補償部１０９にて、読み出された参照画素から、動き補償の補間画素を作成する。Ｓ１３では、係数データに対して、逆量子化、及び逆直交変換をして、差分画素値を、画素値復号化部１０８が作成する。Ｓ１４では、動き補償の補間画素と、Ｓ１３で作成された差分画素値とを加算して、画素値を画素値復号化部１０８が復号化する。Ｓ１５では、Ｓ１４で復号化した画素値を、外部ＤＲＡＭ１１１に格納する。Ｓ１６では、復号化した画素値を、外部ＤＲＡＭ１１１から読み出し、読み出された画素値を、画像復号化装置から出力する。

次に、参照画像キャッシュ構成決定部１０４において、参照画像情報から、参照画像キャッシュの構成を決定する方法の詳細について示す。

参照画像キャッシュの構成を決定する第１の方法では、参照画像情報から、画像を復号化する際に必要となる参照画像の数を取得する。そして、取得された、その参照画像の数を、キャッシュのウェイ数（先述の説明参照）とする。第１の方法は、このような方式による方法である。なお、この場合、参照画像キャッシュは、セットアソシアティブ方式のキャッシュとなる。

そして、参照画像キャッシュの構成を決定する第２の方法でも、参照画像情報から、画像を復号化する際に必要となる参照画像の数を取得する。そして、取得された、その参照画像の数だけ、別々のキャッシュを作成する。第２の方法は、このような方式の方法である。

例えば、参照画像の数が、「４」であった場合、参照画像キャッシュの保存領域を４分割し、それぞれを１つのダイレクトマップ方式のキャッシュとして作成する。つまり、例えば、保存領域が、それぞれの分割領域が、１つのダイレクトマップ方式のキャッシュである４つの分割領域（４つの部分）に分割される。そして、参照画像毎に、アクセスするキャッシュ（分割領域）を指定して、キャッシュに格納する参照画像のデータも、指定されたキャッシュ（分割領域）を使用する。

そして、参照画像キャッシュの構成を決定する第３の方法でも、参照画像情報から、画像を復号化する際に必要となる参照画像の数を取得する。そして、参照画像の数だけ、キャッシュを作成する。また、それとともに、その参照画像情報から、それぞれの参照画像の参照回数を取得し、それぞれの参照回数（の大きさ）によって、その参照回数が取得された参照画像のキャッシュのエントリ数を決定する。

例えば、参照画像が、参照画像Ａと参照画像Ｂであり、参照画像Ａと参照画像Ｂとを参照する回数の間の比が、（参照画像Ａの参照回数）：（参照画像Ｂの参照回数）＝３：１であった場合が考えられる。この場合には、参照画像キャッシュ１１０の保存領域を２分割する。そして、分割された２つの分割領域に、参照画像キャッシュＡと参照画像キャッシュＢという名前をつけるとする。このとき、参照画像キャッシュＡには、全体の４分の３のエントリ数を割り当てて、参照画像Ａのデータを格納する。そして、参照画像キャッシュＢには、全体の４分の１のエントリ数を割り当てて、参照画像Ｂのデータを格納する。なお、こうして、例えば、参照回数が比較的多い参照画像（参照画像Ａ）の分割領域（参照画像キャッシュＡ）は、比較的大きく、比較的少ない参照画像の分割領域は、比較的小さくてもよい。これにより、分割領域の大きさが、その分割領域での参照回数に対応する大きさにされて、適切な大きさにできる。

参照画像キャッシュの構成を決定する第４の方法でも、参照画像情報から、画像を復号化する際に必要となる参照画像の数を取得する。そして、これとともに、それぞれの参照画像の動きベクトルのばらつきを計測する。そして、取得した、参照画像の数だけ、キャッシュを作成する。そして、計測された、それぞれの、参照画像毎の動きベクトルのばらつきの大きさによって、その大きさのばらつきが計測された参照画像のキャッシュのエントリ数を決定する。これにより、作成されるキャッシュの大きさが、ばらつきに対応する大きさにされて、適切な大きさにできる。

図３は、参照画像Ａ、参照画像Ｂ、及び復号化対象画像を示す図である。 具体的には、例えば、図３で示すように、画像を復号化する際に必要となる参照画像が２つで、その２つの参照画像が、参照画像Ａと参照画像Ｂであるとする。

そして、参照画像Ａの垂直動きベクトルｒｅｆＰｉｃＡ＿ｍｖ＿ｙの値の範囲が、−９≦ｒｅｆＰｉｃＡ＿ｍｖ＿ｙ≦１０であり、参照画像Ｂの垂直動きベクトルｒｅｆＰｉｃＢ＿ｍｖ＿ｙの値の範囲が、−２９≦ｒｅｆＰｉｃＢ＿ｍｖ＿ｙ≦３０であるとする。このとき、参照画像キャッシュの保存領域を２分割する。そして、参照画像キャッシュＡと、参照画像キャッシュＢという名前をつけるとする。このとき、上述された、ｒｅｆＰｉｃＡ＿ｍｖ＿ｙの値の範囲（−９≦ｒｅｆＰｉｃＡ＿ｍｖ＿ｙ≦１０）の大きさが２０（＝｛１０−（−９）｝＋１）で、また、ｒｅｆＰｉｃＢ＿ｍｖ＿ｙの値の範囲（−２９≦ｒｅｆＰｉｃＢ＿ｍｖ＿ｙ≦３０）の大きさ６０（＝｛３０−（−２９）｝＋１）であることから、次の動作が行われる。つまり、その動作では、参照画像キャッシュＡには、全体の４分の１のエントリ数を割り当てて、参照画像Ａのデータを格納する。そして、参照画像キャッシュＢには、全体の４分の３のエントリ数を割り当てて、参照画像Ｂのデータを格納する。

図４は、参照画像キャッシュ構成決定部１０４を示す図である。

参照画像キャッシュの構成を決定する第５の方法は、図４に示される参照画像キャッシュ構成決定部１０４で説明される。

図４で示す参照画像キャッシュ構成決定部１０４は、参照回数閾値設定部４０１と、参照回数比較部４０２と、キャッシュ構成情報作成部４０３から成る。そして、参照画像情報を入力として、キャッシュ構成情報を出力する。この参照画像キャッシュ構成決定部１０４の動作は、図５のフロー図で説明される。

図５は、参照画像キャッシュの構成を決定する第５の方法における、参照画像キャッシュ構成決定部１０４の動作のフローを示す図である。

処理の開始後、最初に、参照回数閾値設定部４０１に閾値を設定する（Ｓ５０１）。次に、参照画像毎に、参照画像単位のループ（Ｓ５０２）を処理する。このとき、参照画像がない場合には、参照画像単位のループの処理は行わずに次の処理に移動する。

参照画像単位のループの処理では、参照回数比較部４０２において、参照回数閾値設定部４０１に設定された、参照回数の閾値と、参照画像の参照回数とを比較（Ｓ５０３）する。そして、参照回数の方が大きい場合には（Ｓ５０３：ＹＥＳ）、ループの処理対象となっている参照画像の参照画像キャッシュの作成を、キャッシュ構成情報作成部４０３に指示する（Ｓ５０４）。他方、参照回数の閾値よりも、参照回数の方が小さい場合には（Ｓ５０３：ＮＯ）、ループの処理対象となっている参照画像の参照画像キャッシュを作成しないように、キャッシュ構成情報作成部４０３に指示する（Ｓ５０５）。

上記のループの処理を、全ての参照画像に対してそれぞれ行った後、キャッシュ構成情報作成部４０３は、参照回数比較部４０２から受け取った情報、及び、参照画像情報を基に、キャッシュ構成情報を作成し、出力する（Ｓ５０６）。

このようにして、画像復号化装置において、例えば、次の処理が行われてもよい。

つまり、動き補償部１０９が、画像を復号化する際に必要となる、１以上の参照画像を利用する。そして、利用される１以上の参照画像に含まれる参照画像の数（個数）は、参照画像情報により示される。なお、具体的には、動き補償部１０９が、補償信号を生成するのに際して、それらの１以上の参照画像を利用した処理を行ってもよい。

外部ＤＲＡＭ１１１が、動き補償部１０９により利用される１以上の参照画像を記憶する。

キャッシュ部（参照画像キャッシュ１１０）が、利用される１以上の参照画像の少なくとも一部のコピーを記憶する。そして、キャッシュ部が、当該１以上の参照画像のうちの当該少なくとも一部が、動き補償部１０９により利用される際に、記憶されたコピーを、動き補償部１０９に利用させる。

参照画像情報取得部１０３が、上述された、利用される参照画像の数を示す参照画像情報を取得する。

参照画像キャッシュ構成決定部１０４が、複数の構成のうちから、取得された参照画像情報により示される数に対応する構成を特定する。

すなわち、参照画像キャッシュ構成決定部１０４が、参照画像情報により第１の数が示されるときに第１の構成（例えば、第１の数のウェイ数の構成）を特定する。

ここで、特定される第１の構成は、利用される１以上の参照画像の数が、第１の数であるときに、当該１以上の参照画像のコピーが記憶されるのに適する構成である。他方、参照画像キャッシュ構成決定部１０４が、参照画像情報により、第１の構成が適さない第２の数が示されるときに、第２の数に適する第２の構成（第２の数のウェイ数の構成）を特定する。

そして、参照画像キャッシュ構成決定部１０４が、上述された１以上の参照画像が動き補償部１０９により利用される際に、特定された構成での記憶をキャッシュ部に行わせる。

なお、例えば、具体的には、参照画像キャッシュ構成決定部１０４が、特定された構成（ウェイ数など）を示すキャッシュ構成情報を生成することにより、生成されたキャッシュ構成情報により示される構成での記憶をさせて、その構成での記憶をさせてもよい。

これにより、第１の構成が利用されるのは、利用される１以上の参照画像に含まれる参照画像の数が、第１の数のときのみで、第２の数のときには、第２の構成が利用されて、利用される構成が変更される。これにより、確実に適切な構成が利用できる。そして、ひいては、第２の数が示されるときに、第１の構成でなく、第２の構成が利用されることで、キャッシュミスの回数が少なくされ、キャッシュミスが減らされる。そして、さらには、キャッシュミスから生じる、外部ＤＲＡＭ１１１へのアクセスが低減され、そのアクセスの回数が少なくできる。

なお、参照画像情報により、参照画像の数として、所定の基準数（例えば４）より多い数が示される場合には、次の動作が行われてもよい。つまり、何れの数が示されるときでも、同じ構成（例えば、ウェイ数４の構成）で記憶がされてもよい。こうすれば、ウェイ数５以上での記憶などがされないなどにより、構成が簡単にできる。

なお、具体的には、例えば、参照画像キャッシュ構成決定部１０４が、次の期間が終了することを検知してもよい。つまり、その期間とは、利用される１以上の参照画像のコピー以外の他のデータのコピーが、参照画像キャッシュ１１０により記憶され、記憶された他のデータが、動き補償部１０９により利用される期間である。つまり、当該期間が終了して、１以上の参照画像のコピーが記憶され、当該コピーが利用される期間が開始することが検知されてもよい。そして、参照画像キャッシュ構成決定部１０４等が、この検知がされるまでの間、先述された、生成されたキャッシュ構成情報を記憶してもよい。そして、参照画像キャッシュ構成決定部１０４が、この検知がされるまでは、記憶されたキャッシュ構成情報の構成以外の他の構成での記憶をさせる一方で、この検知がされた後には、記憶されたキャッシュ構成情報の構成での記憶をさせてもよい。

なお、キャッシュ部（参照画像キャッシュ１１０）の保存領域は、１以上の部分（分割領域）に分割されてもよい。例えば、参照画像キャッシュ構成決定部１０４により、参照画像情報により示される、参照画像の数と同じ数だけの１以上の部分に分割されてもよい。ここで、分割されたそれぞれの部分は、その部分に対応する１つの参照画像が記憶される部分である。

具体的には、例えば、それぞれの部分は、ウェイ１データ〜ウェイＮデータのＮ個のデータのうちの、その部分に対応するデータが記憶される領域でもよい。つまり、キャッシュ部は、セットアソシアティブ方式のキャッシュでもよい。このとき、設定されるそれぞれの構成は、その構成における上述のＮ、つまり、その構成におけるウェイ数が、何れの他の構成でのウェイ数とも異なる構成であってもよい。

また、例えば、それぞれの部分は、１つのダイレクトマップ方式のキャッシュであってもよい。

すなわち、例えば、参照画像キャッシュ構成決定部１０４が、キャッシュ部（参照画像キャッシュ１１０）の保存領域を、１以上の部分（分割領域）に分割してもよい。つまり、それぞれの部分が、ダイレクトマップ方式の１つのキャッシュであり、それぞれの部分に、当該部分に対応する１つの参照画像が記憶されてもよい。ここで、保存領域が分割された１以上の部分における、当該部分の個数は、参照画像情報により示される数と同じ数の個数である。つまり、参照画像キャッシュ構成決定部１０４が、この分割により、キャッシュを作成してもよい。つまり、参照画像毎に、当該参照画像に対応する分割領域により構成され、当該参照画像が記憶されるキャッシュ（当該参照画像のキャッシュ）が作成されてもよい。

なお、参照画像情報取得部１０３が、二値データ復号化部１０６により二値データ復号化がされる前の算術復号化データから、参照画像情報（例えば、Ｈ．２６４／ＡＶＣで規定されるｒｅｆＩｄｘ及びｍｖ）を取得してもよい。そして、取得される参照画像情報に基づいて算出される数が、利用される１以上の参照画像に含まれる参照画像の数として特定されてもよい。

なお、キャッシュ部が、次の動作をしてもよい。つまり、例えば、その動作は、外部ＤＲＡＭ１１１に記憶された１以上の参照画像のうちの、動き補償部１０９により利用される部分が、当該動き補償部１０９等により外部ＤＲＡＭ１１１から読み出される際に行われる。そして、例えば、その動作では、読み出された当該部分を取得して、その読み出しより後には、上述のコピーとして、取得された当該部分を含んだコピーが記憶されてもよい。

なお、次の画像復号化装置が構築されてもよい。

この画像復号化装置においては、動きベクトルを用いて、２つのピクチャーの間での差分値を符号化する画像符号化がされる際における、復号化を行う。そして、外部ＤＲＡＭとのメモリバンド幅が小さく、メモリコスト、電力を大幅に低減できる。

つまり、この画像復号化装置においては、符号化されたストリームを、可変長復号し、この可変長復号の結果得られた参照画像情報、動きベクトル情報を基に、参照画素データを、外部ＤＲＡＭから読み出す。そして、読み出した参照画素データで、動き補償を行い、画素値を復号化する。そして、外部ＤＲＡＭから読み出した参照画素データは、参照画像キャッシュに格納される。そして、次の参照画素データの読み出し時には、参照画像キャッシュにアクセスする。そして、読み出したい参照画素データが、参照画像キャッシュ内に存在すれば、参照画像キャッシュから、存在する、その参照画素データを読み出して、読み出された参照画素データを使用する。そして、参照画像キャッシュ内に存在しない場合には、外部ＤＲＡＭにアクセスする。こうすることで、外部ＤＲＡＭへのアクセスが削減される。

しかしながら、もしも、仮に、キャッシュの構成が固定されているならば、復号するストリームによっては、キャッシュミスが多発し、外部ＤＲＡＭへのアクセスが多くなってしまう。

そこで、この画像復号化装置においては、例えば、算術符号復号部において、参照枚数特定部が、参照枚数（と動きベクトル値）を特定する。そして、求められた参照枚数（と動きベクトル値）を入力として、参照画像キャッシュ構成決定部が、参照画像キャッシュの構成を決定する。

次に、画素値復号化部において、画素値を復号化する際に、参照画像キャッシュ構成決定部で決定された構成で、参照画像キャッシュを構築する。そして、構築された、決定された構成の参照画像キャッシュにより、動き補償に使用した参照画素データを格納する。そして、画素値復号化部では、参照画素データを取得する際に、まず、参照画像キャッシュにアクセスする。そして、キャッシュヒットした場合には、参照画像キャッシュから読み出した値を、動き補償に使用し、キャッシュミスした場合には、外部ＤＲＡＭにアクセスして、参照画素データを取得する。

上記の方法によって、算術符号復号時において、参照画像キャッシュの構成を決定する。このことにより、復号するストリームに適した参照画像キャッシュを構成することが可能となり、固定されたキャッシュ構成の参照画像キャッシュが用いられる場合と比較して、キャッシュミスをより少なくして、削減したり、キャッシュ容量を削減することが可能となる。また、これにより、同じ参照画素を外部ＤＲＡＭから何度も読み出すことを防ぎ、外部メモリへのアクセス量を小さくすることができる。さらには、メモリバンド幅低減、符号化処理の高速化、回路規模の削減が可能になる。

なお、参照枚数が１枚のときに、利用される方式を、ダイレクトマップ（WAY数＝１）の方式として、参照画像キャッシュを構成してもよい。

そして、参照枚数が２枚のときに、利用される方式を、WAY数＝２での、セットアソシアティブ方式として、参照画像キャッシュを構成してもよい。

そして、参照枚数が多数（≧５枚）の場合には、参照回数が多い画像を、２〜４枚選択して、セットアソシアティブ方式で、参照画像キャッシュを構成してもよい。

そして、参照枚数が２枚で、一方の参照画像の動きベクトルのばらつきが大きく、他方の参照画像のばらつきが小さい場合には、ばらつきが大きい方の参照画像に、より多くのキャッシュ領域を割り当ててもよい。

こうして、例えばある局面などで、次の動作が行われてもよい。

つまり、復号化装置１００（図１０参照）が、少なくとも算術符号化処理を含む符号化処理によって得られる符号化データ２１ｂ（図１の１０２ａ参照）を、復号化後のデータ２６ｃへと復号化してもよい。

入力部２１が、符号化データ２１ｂを取得してもよい。

なお、入力部２１は、例えば、図１の入力部１０１でもよいし、入力部１０１の少なくとも一部などでもよい。

なお、説明の便宜上、以下では、このような、図１０で示される要素（入力部２１など）と、図１での要素（入力部１０１）との間の対応関係について、適宜、詳しい説明が省略される。

ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）処理部（第１復号化部）２２が、取得した符号化データ２１ｂを算術復号化処理し、当該符号化データ２１ｂに用いられた符号化条件２３ａ（１０３ｂ）および算術復号化された符号化データ２４ｄ（１０２ｂ）を生成してもよい。

第１蓄積媒体２４が、第１容量を有し、第１速度で、蓄積される情報の読出しが可能な蓄積媒体でもよい。そして、この第１蓄積媒体２４が、符号化条件２３ａおよび算術復号化された符号化データ２４ｄを蓄積してもよい。

つまり、第１蓄積媒体２４は、例えば、復号化装置１００に設けられたＤＲＡＭ（Dynamic Random Access Memory）などでもよい。そして、この第１蓄積媒体２４は、例えば、復号化装置１００に設けられた、上述のＣＡＢＡＣ処理部２２などを備える集積回路１００Ｌの外部に設けられてもよい。

第２蓄積媒体２５が、上述の第１容量よりも小さい第２容量を有し、上述の第１速度よりも早い第２速度で、蓄積される情報の読出しが可能な蓄積媒体でもよい。

そして、第２蓄積媒体２５が、第２蓄積媒体２５に蓄積される既に復号化済みの画像データ２４ｅのうち一部の画像データ２４ｅＰ（がコピーされたデータ）であるキャッシュデータ２５ｄ（１１０ｄ）を蓄積してもよい。

つまり、第２蓄積媒体２５は、例えば、上述された、一部の画像データ２４ｅＰ（１１１ｄ）のコピーであるキャッシュデータ２５ｄを蓄積するキャッシュなどでもよい。

デコーダ（第２復号化部）２６が、第１蓄積媒体２４に蓄積される、復号化済みの前記画像データ２４ｅまたは第２蓄積媒体２５に蓄積されるキャッシュデータ２５ｄ（データ２５ｂ参照）に基づいて、先述された、算術復号化処理された符号化データ２４ｄを復号化処理してもよい。

つまり、このデコーダ２６、および、デコーダ２６が用いるキャッシュデータ２５ｄを蓄積する第２蓄積媒体２５は、例えば、何れも、上述された集積回路１００Ｌに設けられてもよい。

設定部（格納方法設定部）２３が、デコーダ２６における復号化処理よりも前に、次の動作をしてもよい。

つまり、その動作とは、デコーダ２６における復号化対象となる符号化データ２ｄ（例えば、算術復号化がされた後の符号化データ２４ｄ（と、される前の符号化データ２１ｂとの一方または両方））から生成された符号化条件２３ａに基づいて、第２蓄積媒体２５におけるキャッシュデータ２５ｄの格納方法を設定する動作である。

つまり、例えば、算術復号化（算術復号化処理）がされるのに際して、上述の符号化条件２３ａの情報が生成され、符号化条件２３ａが特定されてもよい。

なお、この特定は、例えば、上述の設定部２３により行われてもよいし、その他の構成により行われてもよい。

これにより、キャッシュデータ２５ｄが蓄積され、蓄積されたキャッシュデータ２５ｄを用いた処理で、符号化された符号化データ２１ｂが、復号化された後のデータ２６ｃへと復号化される（先述の特許文献１、２などを参照）。

なお、復号化装置１００は、例えば、ブルーレイディスクに記録された符号化データ２１ｂを復号化するブルーレイレコーダの少なくとも一部などでもよい。また、例えば、復号化装置１００は、テレビでもよいし、カメラでもよいし、復号化の処理をする携帯電話などでもよい。

しかしながら、キャッシュデータ２５ｄへとコピーされる、一部の画像データ２４ｅＰを含む画像データ２４ｅの少なくとも一部は、そのキャッシュデータ２５ｄが蓄積されて行われる復号化での、参照がされる参照画像（図３の参照画像１００Ｍ、１００Ｎなどを参照）などである。

つまり、この画像データ２４ｅのデータ量は、比較的大きいデータ量である。

このため、キャッシュデータ２５ｄが蓄積される際に、キャッシュミスが生じて、例えば、キャッシュ２５と第１蓄積媒体２４との間での、データの転送での転送量などの、データの転送量が、大きな転送量になってしまう恐れがある。

そして、ひいては、大きな転送量の転送がされるために、転送の処理で、大きな消費電力が消費され、消費電力が大きくなってしまう恐れがある。

そこで、キャッシュデータ２５ｄが蓄積される際の格納方法に着目される。

つまり、格納方法としては、比較的適切でない第１の格納方法（例えば、後述の図１１での格納方法）と共に、比較的適切である第２の格納方法（後述の図１２での格納方法）もある。

つまり、適切でない第１の格納方法は、その格納方法での蓄積がされた場合には、（比較的多くの）キャッシュミスが生じて、消費電力が大きくなる格納方法などである。

そして、適切である第２の格納方法は、（多くの）キャッシュミスが生じず、消費電力が小さい格納方法などである。

そこで、これら、第１の格納方法と、第２の格納方法とをそれぞれ特定する情報（符号化条件２３ａ）が生成されてもよい。

そして、生成された情報により特定される、適切でない第１の格納方法（図１１）での蓄積はされず、特定される適切な第２の格納方法（図１２）での蓄積がされてもよい。

これにより、消費電力がより小さくできる。

しかしながら、復号化装置１００における、符号化データ２１ｂが、復号化後のデータ２６ｃへと復号化される処理は、より簡単な処理であることなどが望まれる。

一方で、近年においては、Ｈ．２６４のハイプロファイルでの規格での復号化がされることがある。

つまり、例えば、復号化装置１００により行われる、符号化データ２１ｂから、復号化後のデータ２６ｃへの復号化は、Ｈ．２６４のハイプロファイルでの復号化などでもよい。

つまり、符号化データ２１ｂから、復号化後のデータ２６ｃへの復号化では、１回目のパスの処理（１段目の処理、図１０のＣＡＢＡＣ処理部２２を参照）がされた後に、２回目のパスの処理（２段目の処理、デコーダ２６参照）が行われてもよい。

しかも、例えば、２回目のパスの処理で用いられるデータが、上述された参照画像を含み、かなり大きなデータである。

そこで、生成される情報（符号化条件２３ａ）に基づいた格納方法（適切な第２の格納方法）で蓄積がされるキャッシュデータ２５ｄが、２回目のパスの処理（デコーダ２６での処理）でのみ用いられ、１回目のパスの処理（ＣＡＢＡＣ処理部２２の処理）では用いられなくてもよい。

そして、１回目のパスの処理（ＣＡＢＡＣ処理部２２の処理）で、上述された情報（符号化条件２３ａ）が特定されてもよい。

そして、１回目のパスでの処理（ＣＡＢＡＣ処理部２２）が終了した後に、２回目のパスでの処理（デコーダ２６）がされる際に、次の通りでもよい。

つまり、２回目のパスの処理の際に、キャッシュデータ２５ｄが、特定された情報により示される不適切な第１の格納方法（図１１）で蓄積されず、適切な第２の格納方法（図１２）でされてもよい。

これにより、パスの回数（処理の段数）が増えるのが回避されて、少ない回数（段数）に維持され、段数が少なくできる。

これにより、処理がより簡単にできる。

こうして、消費電力の少なさと共に、段数の少なさが両立できる。

なお、上述のように処理が簡単であるために、構成が比較的簡単にできる。

また、処理が簡単であるために、消費電力が更に小さくされて、消費電力が比較的大幅に小さくできる。

そして、例えば、設定部２３は、第１蓄積媒体２４における、キャッシュデータ２５ｄのアドレス情報（図１３に示される、第１蓄積媒体２４におけるアドレス２４Ａを参照）の一部の情報（アドレス２４Ａの一部２４Ａｍ）と、当該キャッシュデータ２５ｄを第２蓄積媒体２５に蓄積する際のアドレス情報（第２蓄積媒体２５におけるアドレス２５Ａ）と、の対応関係（対応関係のデータ２５ｔを参照）を、上述された符号化条件２３ａに基づいて設定してもよい。

つまり、例えば、上述された一部の画像データ２４ｅＰの少なくとも一部であるデータが蓄積される、第１蓄積媒体２４におけるアドレス２４Ａの一部２４Ａｍに対して、設定された対応関係が対応付ける、第２蓄積媒体２５におけるアドレス２５Ａがある。

そして、蓄積される上述のデータがコピーされたデータ（キャッシュデータ２５ｄの少なくとも一部）が、第２蓄積媒体２５における、そのデータの上述された一部２４Ａｍに対応付けられたアドレス２５Ａへと蓄積されてもよい。

そして、適切でない第１の対応関係（例えば、図１３の第１のデータ２５ｔ１の対応関係）が設定された場合に、上述された不適切な第１の格納方法での蓄積（上述の説明を参照）がされてもよい。

そして、適切である第２の対応関係（第２のデータ２５ｔ２での対応関係）が設定された場合に、適切な第２の格納方法での蓄積がされてもよい。

そして、先述の情報（符号化条件２３ａ）により、適切でない第１の対応関係（第１のデータ２５ｔ１）と、適切である第２の対応関係（第１のデータ２５ｔ２）が特定されてもよい。

そして、当該情報により特定される、適切でない第１の対応関係が設定されず、第１の格納方法での蓄積をさせない制御がされてもよい。

つまり、特定される、適切である第２の対応関係が設定されて、適切な第２の格納方法での蓄積をさせる制御がされてもよい。

これにより、単に、上述の対応関係の設定がされるだけで済み、行われる処理が、より簡単にできる。

なお、例えば、上述された、設定された対応関係により対応付けられる、第２蓄積媒体１２５のアドレス１５Ａへの蓄積をさせる制御をする蓄積制御部２５ｊ（図１３）が設けられてもよい。

この蓄積制御部２５ｊは、例えば、上述された設定部２３（図１０）の一部などでもよいし、キャッシュ２５の一部などでもよい。

なお、例えば、対応関係が設定されるとは、その対応関係を特定するデータ２５ｔが、例えば、この蓄積制御部２５ｊに設けられた記録領域などの予め定められた領域に記憶させて、記憶されたデータ２５ｔの対応関係での制御を行わせることなどでもよい。

また、例えば、設定部２３は、デコーダ２６で利用する参照画像（図３の参照画像１００Ｍ、１００Ｎなどを参照）が複数枚ある場合、参照画像の枚数（図３では２枚）に応じて、第２蓄積媒体２５における、上述された第２容量（の領域）を、（その枚数の数の分割領域などの適切な２以上の分割領域へと、）論理的に分割してもよい。

なお、例えば、上述された、復号化済みの画像データ２４ｅ（図１０）の枚数は、１枚または複数毎でもよい。そして、上述された１枚または複数毎の参照画像（参照画像１００Ｍなど）のうちのそれぞれは、それらの１または複数の画像データ２４ｅのうちの１つの画像データの画像でもよい。

そして、先述の情報（符号化条件２４ａ）により、参照画像の枚数が特定されてもよい。

そして、当該情報により特定される枚数の数と同じ数だけの分割領域への分割が行われてもよい。

これにより、参照される参照画像の枚数が１枚の場合には、２以上の分割領域への分割がされず、分割がされる前の広い領域で、その参照画像の蓄積ができる。

しかも、複数毎の場合には、２以上の分割領域への分割がされ、一方の参照画像が一方の分割領域へと蓄積された後に、他方の参照画像が、異なる他方の分割領域に蓄積される。これにより、同じ分割領域に蓄積がされて、蓄積されるデータの書換え（後述の図１１に示される書換え２５ｗを参照）が行われて、キャッシュミスが生じてしまうことが回避され、消費電力がより少なくできる。

なお、先述された、保存領域の分割の処理の説明も、適宜参照されたい。

また、例えば、設定部２３は、符号化条件２３ａから得られる、復号化済みの画像データ２４ｅ（図１０）のうち、デコーダ２６で利用されるデータ（例えば、後述の図１１における第２のデータ２４ｄ２）に関する情報（例えば、画像データ２４ｅの画像における、上述の第２のデータ２４ｄ２の画像の位置を示す情報）に基づいて、第２蓄積媒体２５に蓄積されるキャッシュデータ２５ｄの書換え（書換え２５ｗを参照）がデコーダ２６の復号化処理過程において、より少なくなるように、格納方法を設定してもよい。

この処理は、具体的には、適切な複数の形態のうちの何れの形態を有してもよい。

例えば、ある形態では、次の動作が行われてもよい。

つまり、第２蓄積媒体２５での書換え（図１１の書換え２５ｗ）は、例えば、次の場合に生じる。

デコーダ２６により利用される第１のデータ（図１１の第１のデータ２４ｄ１）が、符号化条件２３ａによって、第２蓄積媒体２５のアドレス０００（蓄積領域２５ｒ１）に格納されるよう割り当てられており、一方、デコーダ２６により利用される第２のデータ（図１１の第２のデータ２４ｄ２など）もまた、符号化条件２３ａによって、アドレス０００（蓄積領域２５ｒ１）に格納されるように割り当てられている場合である。

すでに、第１のデータが、第２蓄積媒体２５のアドレス０００に格納されているときに、第２のデータを、第２蓄積媒体２５に格納しようとしたとき、第２蓄積媒体２５での書換えが発生する。

そして、設定部２３は、上述された情報である符号化条件２３ａに基づいて、次の動作をしてもよい。

つまり、その動作では、符号化条件２３ａから特定される第２のデータ２４ｄ２（上述）が蓄積される第２蓄積媒体２５の領域が、上述の第１の領域２５ｒ１と同じである第１の格納方法（図１１での格納方法）での蓄積をさせなくてもよい。

そして、その動作は、例えば、第２のデータ２４ｄ２が蓄積される第２蓄積媒体２５における領域が、第２の領域２５ｒ２となる、第２の格納方法（図１２での格納方法）である。

なお、図１１では、第２蓄積媒体２５の図の第１列の「０００」等は３桁であったのに対し、図１２では「００」等の２桁である点を参照されたい。

これにより、第２のデータ（第２のデータ２４ｄ２）の、同じ領域への書き込み（図１１の書換え２５ｗ）がされて、その書き込みの後に、第１のデータ（データ２４ｄ１）が利用される際にキャッシュミスが生じるのが回避される。

これにより、（比較的多くの）キャッシュミスが生じるのが回避されて、消費電力が小さくできる。

また、例えば、符号化条件２３ａは、動きベクトル（図略）を含んでもよい。

そして、この動きベクトルは、この動きベクトルにより示される動きをした後の位置のデータ（例えば、上述された第２のデータ２４ｄ２）を、デコーダ２６により利用されるデータと特定してもよい。

そして、設定部２３は、生成された上述の情報（符号化条件２３ａ）に含まれる動きベクトルの位置（上述）のデータ（第２のデータ２４ｒ２）が利用される際に適さない第１の格納方法（図１１の格納方法）での蓄積をさせなくてもよい。

つまり、含まれる動きベクトルの位置のデータ（第２のデータ２４ｒ２）が利用される際に適する第２の格納方法（図１２の格納方法）での蓄積をさせてもよい。

なお、次の第１のケース、および、第２のケースが考えられる。

つまり、第１のケースでは、第２のデータ２４ｄ２が利用される復号化での参照画像の少なくとも一部（１以上の参照画像のうちの１つ）が、第１のデータ２４ｄ１の復号化での参照画像と同じである一方で、第２のケースでは違うことが考えられる。

このため、上述された第１のケースでのみ、第２のデータの領域（他方の領域）が、第１のデータの第１の領域２５ｒ１（一方の領域）と同じである場合にキャッシュミスが生じ、第２のケースでは同じ場合でも、キャッシュミスが生じないことが考えられる。

そこで、例えば、この第１のケースでのみ、先述の動作が行われ、第２のケースでは行われなくてもよい。

これにより、キャッシュミスが生じず、キャッシュミスが回避されないにも関わらず（第２のケースであるにも関わらず）、先述の動作がされるのが回避されて、無駄な動作がされず、より十分に消費電力が少なくできる。

なお、このように、第２蓄積媒体２５において、第１のデータ２４ｄ１が格納される一方の領域と、第２のデータ２４ｄ２が格納される他方の領域とがあり、他方の領域は、一方の領域と同じ領域であるか、又は、異なる領域であるかの何れかでもよい。

そして、キャッシュミスが生じる、上述された第１のケースにおいて、少なくとも一部の場合においては、例えば、第１のデータ２４ｄ１の映像に表われる被写体等（例えば車など）が、第２のデータ２４ｄ２の映像の被写体等と同じでもよい。

そして、第１のデータ２４ｄ１の第１の映像が含まれる第１の参照画像（例えば図３の参照画像１００Ｍ）における、その第１の映像の第１の位置１００Ｐ１（図３参照）が考えられる。

また、第２のデータ２４ｄ２の第２の映像が有する、第２の参照画像（例えば図３の参照画像１００Ｎ）における第２の位置１００Ｐ２も考えられる。

そして、例えば、上述の被写体等が、静止したものなどでもよい。

そこで、例えば、第２の位置１００Ｐ２は、第１の位置１００Ｐ１と同じ位置（または近傍の位置）などでもよい。

なお、この第２の位置１００Ｐ２は、具体的には、例えば、上述された動きベクトルにより示される動きをした位置などでもよい。

なお、図１４により、第１蓄積媒体２４における２つのアドレス２４Ａ（左側、右側の２つ）と、左側のアドレス２４Ａのうちの一部２４Ａｍ１と、右側のアドレス２４Ａのうちの一部２４Ａｍ２などが示される。適宜、この図１４も参照されたい。

なお、第１蓄積媒体２４は、例えば、符号化条件２３ａおよび符号化データ２４ｄのうち、符号化データ２４ｄのみを蓄積してもよい。

なお、例えば、第１のケースでは、第１のデータ２４ｄ１を用いて復号化される復号化対象画像１００Ｘ（図３）が、第２のデータ２４ｄ２を用いて復号化される復号化対象画像１００Ｘと同じで、第２のケースでは異なってもよい。そして、第１のケースでのみ、第１のデータ２４ｄ１が蓄積される領域を、第２のデータ２４ｄ２が蓄積される領域と異ならせる制御がされてもよい。これにより、無駄な処理がされず、高い性能を維持しつつも、処理が少なくできる。

なお、例えば、計測された、動きベクトルのばらつきが閾値よりも大きい場合には、より多くの箇所の参照がされ、キャッシュミスが生じ易いことが考えられる。そこで、閾値よりも大きい場合には、参照画素データキャッシュのエントリ数が、より多くされてもよい。

なお、図１に示される外部ＤＲＡＭ１１１は、具体的には、例えば、第１記録媒体１４のうちの、復号化後の画像データ２４ｅを記憶する部分などでもよい。

そして、例えば、図１に示されるメモリ１０５は、図１０に示される第１記録媒体１４のうちの、符号化データ２４ｄを蓄積する部分などでもよい。

なお、デコーダ２６の少なくとも一部は、例えば、図１における画素値復号化部１０８でもよい。そして、例えば、デコーダ２６は、この画素値復号化部１０８を含むと共に、さらに、図１の２二値データ復号化部１０６、および、動き補償部１０９、参照画像情報抽出部１０７のうちの一部または全部などを含んでもよい。

なお、図１に示されるように、画像復号化装置１００は、第１段目の処理（１回目のパスでの処理）を行う部分１００ｐと、第２段目の処理（２回目のパスでの処理）を行う部分１００ｑとを含んでもよい。

なお、メモリ１０５のうちで、二値データ復号化部１０６へとデータを送信する部分などの一部分は、第２段目の部分１００ｑに含まれてもよい。

なお、先述のように、第１の格納方法は、第２の格納方法でのウェイ数と異なるウェイ数の格納方法でもよいし、同じウェイ数の格納方法などでもよい。

なお、例えば、さらに具体的には、次の通りでもよい。

つまり、先述のように、本復号化装置１００では、Ｈ．２６４のハイプロファイルでの復号化が行われてもよい。つまり、１回目のパスでの処理（１段目の処理）の少なくとも一部は、上述のように、算術復号化の処理であり、他の不適切な処理ではない。

ここで、他の不適切な処理とは、その処理では、上述された情報が生成不能であったり、比較的適切である情報が生成不能である処理等である。

ここで、適切な情報とは、例えば、その情報に基づく格納方法での蓄積がされれば、キャッシュミスの回数が所定の閾値よりも少なく、比較的大幅に少なくなる格納方法などである。

これにより、例えば、上述の情報が特定可能にできて、上述の動作が可能にできる。また、例えば、比較的適切な情報が特定できて、上述の動作が、より適切な動作にされ、例えば、キャッシュミスの回数が、大幅に少なくできる。

こうして、本技術では、複数の構成（ＣＡＢＡＣ処理部２２、設定部２３など）が組み合わせられて、組み合わせからの相乗効果が生じる。これに対して、知られる先行例では、これら複数の構成のうちの一部または全部を欠き、相乗効果は生じない。

この点で、本技術は、先行例に対して相違する。

こうして、要するに、算術符号化及び画面間予測を用いて符号化された、動画像に関わる符号化ストリームを復号化する際、参照画像キャッシュが有効に働くことができずに、参照画像を外部メモリから取得する際のアクセス量が増大してしまう場合がある問題が解決される。つまり、画像復号化装置１００は、参照画像を蓄積する外部ＤＲＡＭ１１１と、前記参照画像を用いる動き補償部１０９と、前記参照画像を蓄積する参照画像キャッシュ１１０と、前記参照画像の参照画像情報を取得する参照画像情報取得部と、前記参照画像情報を基に、前記参照画像データキャッシュの構成を作成するのに用いるキャッシュ構成情報を生成する参照画像キャッシュ構成決定部１０４とを備える。

なお、このように、当該符号化データＡへと算術復号化がされる符号化データＡと、設定された格納方法で、当該符号化データＢのキャッシュデータが格納される符号化データＢとがある。

符号化データＢは、符号化データＡと同じ符号化データでもよい。

また、符号化データＢは、別の符号化データでもよい。

これにより、符号化データＢの符号化条件が生成不能である場合などでも、符号化データＢのキャッシュデータの格納が、（比較的）適切にされ、比較的確実に、適切な格納ができる。

本発明を、上記実施の形態に基づいて説明してきたが、本発明は、上記実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲内で種々の改良、変形が可能である。例えば、当業者が思いつく各種変形を上記の実施の形態に施したものや、異なる箇所で説明された複数の変形例の構成要素を組み合わせて構築される形態なども、本発明の範囲に含まれる。

なお、上記の機能の一部又は全部をコンピュータに実現するためのコンピュータプログラムが構築されてもよい。また、そのコンピュータプログラムが記憶された記憶媒体が構築されてもよい。また、上記の機能の一部等が実現された集積回路が構築されてもよい。

本発明は、算術符号化及び画面間予測を用いて符号化された、動画像に関わる符号化ストリームを復号化する際に行われる、参照画像の取得にかかる、外部メモリのアクセスを削減することが可能である。また、本発明は、特に、Ｈ．２６４／ＡＶＣで符号化されたデータを扱う場合に有効に作用する。

消費電力の少なさと、処理の段数の少なさとが両立できる。

２１ 入力部
２１ｂ、２４ｄ 符号化データ
２２ ＣＡＢＡＣ処理部
２３ 設定部
２３ａ 符号化条件
２３ｂ 符号化条件
２４ 第１蓄積媒体
２４ｅ 復号化後の画像データ
２４ｅＰ 一部の画像データ
２４ｄ１、２４ｄ２ データ
２５ｒ１、２５ｒ２ 領域
２５ 第２蓄積媒体
２５ｄ キャッシュデータ
２６ デコーダ
２６ｃ データ
１００ 画像復号化装置
１００Ｍ、１００Ｎ 参照画像
１００Ｍａ、１００Ｎａ 参照画像が有する性質
１００Ｐ１、１００Ｐ２ 位置
１００ＰＸ 復号化がされる位置
１０１ 入力部
１０２ 算術符号復号化部
１０３ 参照画像情報取得部
１０４ 参照画像キャッシュ構成決定部
１０５ メモリ
１０６ 二値データ復号化部
１０７ 参照画像情報抽出部
１０８ 画素値復号化部
１０９ 動き補償部
１１０ 参照画像キャッシュ
１１１ 外部ＤＲＡＭ
１１２ 出力部

Claims (10)

1. 少なくとも算術符号化処理を含む符号化処理によって得られる符号化データを復号化する復号化装置であって、
   前記符号化データを取得する取得部と、
   前記取得した符号化データを算術復号化処理し、当該符号化データに用いられた符号化条件および算術復号化された符号化データを生成する第１復号化部と、
   第１容量を有し、第１速度で、蓄積される情報の読出しが可能な蓄積媒体であって、前記符号化条件および前記算術復号化された符号化データを蓄積する第１蓄積媒体と、
   前記第１容量よりも小さい第２容量を有し、前記第１速度よりも早い第２速度で、蓄積される情報の読出しが可能な蓄積媒体であって、前記第１蓄積媒体に蓄積される既に復号化済みの画像データのうち一部の画像データであるキャッシュデータを蓄積する第２蓄積媒体と、
   前記第１蓄積媒体に蓄積される、復号化済みの前記画像データまたは前記第２蓄積媒体に蓄積される前記キャッシュデータに基づいて、前記算術復号化処理された符号化データを復号化処理する第２復号化部と、
   前記第２復号化部における現在の復号化対象の符号化データよりも前の符号化データを生成した際に得られた符号化条件に基づいて、前記第２蓄積媒体における前記キャッシュデータの格納方法を設定する格納方法設定部と、を備える、
   復号化装置。
2. 前記格納方法設定部は、前記第１蓄積媒体における、前記キャッシュデータのアドレス情報の一部の情報と、当該キャッシュデータを前記第２蓄積媒体に蓄積する際のアドレス情報と、の対応関係を前記符号化条件に基づいて設定する請求項１に記載の復号化装置。
3. 前記格納方法設定部は、前記第２復号化部で利用する参照画像が複数枚ある場合、前記参照画像の枚数に応じて前記第２容量を論理的に分割する請求項１に記載の復号化装置。
4. 前記格納方法設定部は、前記符号化条件から得られる、復号化済みの前記画像データのうち、前記第２復号化部で利用されるデータに関する情報に基づいて、前記第２蓄積媒体に蓄積されるキャッシュデータの書換えが前記第２復号化部の復号化処理過程において少なくなるように、前記格納方法を設定する請求項１に記載の復号化装置。
5. 前記第２蓄積媒体での書換えは、
   前記符号化条件から特定される、前記第２復号化部により利用される第２のデータが蓄積される、前記第２蓄積媒体の第２の領域が、第１の前記データが蓄積される第１の領域と同じである場合に生じ、
   前記格納方法設定部は、
   前記符号化条件に基づいて、当該符号化条件から特定される第２の前記データが蓄積される前記第２の領域が、前記第１の領域と同じである第１の前記格納方法での蓄積をさせず、
   前記第１の領域とは異なる第２の前記格納方法での蓄積をさせる請求項１に記載の復号化装置。
6. 前記符号化条件は、動きベクトルを含み、
   当該動きベクトルは、
   当該動きベクトルにより示される動きをした後の位置のデータを、前記第２復号化部により利用されるデータと特定し、
   前記格納方法設定部は、
   前記符号化条件に基づいて、当該符号化条件に含まれる前記動きベクトルの前記位置の前記データが利用される際に適さない第１の格納方法での蓄積をさせず、
   その際に適する第２の格納方法での蓄積をさせる請求項１に記載の復号化装置。
7. 前記格納方法設定部において、復号化する画像が参照する参照画像毎に、当該参照画像が参照される参照回数をカウントし、カウントされた前記参照回数の大きさによって、当該参照回数の前記参照画像の参照画素データキャッシュであって、前記第２蓄積媒体の少なくとも一部からなる参照画素データキャッシュのエントリ数を決める請求項１に記載の復号化装置。
8. 前記格納方法設定部において、復号化する画像が参照する参照画像毎に、動きベクトルのばらつきを計測し、計測されたばらつきの大きさによって、その大きさが計測がされた前記参照画像の参照画素データキャッシュであって、前記第２蓄積媒体の少なくとも一部からなる参照画素データキャッシュのエントリ数を決める請求項１に記載の復号化装置。
9. 参照回数閾値設定部を備え、
   前記格納方法設定部において、復号化する画像が参照する参照画像毎に、当該参照画像の参照回数をカウントし、カウントされた前記参照回数が、前記参照回数閾値設定部に設定された値より小さい場合には、当該参照回数の前記参照画像の参照画素データキャッシュであって、前記第２蓄積媒体の少なくとも一部からなる参照画素データキャッシュを作成せず、当該参照画像の画素データを前記第２蓄積媒体に蓄積させない請求項１に記載の復号化装置。
10. 少なくとも算術符号化処理を含む符号化処理によって得られる符号化データを復号化する復号化方法であって、
    前記符号化データを取得する取得ステップと、
    前記取得した符号化データを算術復号化処理し、当該符号化データに用いられた符号化条件および算術復号化された符号化データを生成する第１復号化ステップと、
    第１容量を有し、第１速度で、蓄積される情報の読出しが可能な第１蓄積媒体が、前記符号化条件および前記算術復号化された符号化データを蓄積する第１蓄積ステップと、
    前記第１容量よりも小さい第２容量を有し、前記第１速度よりも早い第２速度で、蓄積される情報の読出しが可能な第２蓄積媒体が、前記第１蓄積媒体に蓄積される既に復号化済みの画像データのうち一部の画像データであるキャッシュデータを蓄積する第２蓄積ステップと、
    前記第１蓄積ステップで蓄積される、復号化済みの前記画像データまたは前記第２蓄積ステップで蓄積される前記キャッシュデータに基づいて、前記算術復号化処理された符号化データを復号化処理する第２復号化ステップと、
    前記第２復号化ステップにおける現在の復号化対象の符号化データよりも前の符号化データを生成した際に得られた符号化条件に基づいて、前記第２蓄積ステップにおける前記キャッシュデータの蓄積における格納方法を設定する格納方法設定ステップと、を備える、
    復号化方法。

Images