JP2015226199A

JP2015226199A - 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Info

Publication number: JP2015226199A
Application number: JP2014110040A
Authority: JP
Inventors: 秀敏松村; Hidetoshi Matsumura
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-05-28
Filing date: 2014-05-28
Publication date: 2015-12-14

Abstract

【課題】異なるプリフェッチ方式を併用した場合に、外部メモリへのアクセス量とメモリ容量とを適正化できる動画像符号化装置を提供する。
【解決手段】原画像と原画像の動きベクトルを検出する際に参照される複数の参照画像のそれぞれを縮小した縮小画像及び複数の縮小参照画像を利用して、原画像の動きベクトルを階層的に検出する動画像符号化装置１００であって、縮小画像及び縮小参照画像に基づいて、縮小画像の動きベクトルを検出する縮小動きベクトル検出部１０２と、前記検出手段の出力である縮小画像の動きベクトルに基づいて、前記参照画像毎のプリフェッチ方式を決定するプリフェッチ方式決定部１０３と、を有する。
【選択図】図１

Description

本件は、動画像符号化装置、動画像符号化方法及び動画像符号化プログラムに関する。

動画像の圧縮符号化方式として、フレーム間予測を利用して情報量圧縮を行う技術が一般化している。このような技術は、例えばMoving Picture Experts Group-2（ＭＰＥＧ−２），ＭＰＥＧ−４，H.264/Advanced Video Coding（Ｈ．２６４／ＡＶＣ）等で使用されている。最新の動画圧縮の規格としてはH.265/High Efficiency Video Coding（Ｈ．２６５／ＨＥＶＣ）が規格化された。Ｈ．２６５／ＨＥＶＣは、次世代のテレビとして予定されているUltra High Definition Television（ＵＨＤＴＶ：超高解像度テレビ）に利用される事が想定されている。ＵＨＤＴＶでは４Ｋ２Ｋ（例えば４，０９６×２，１６０画素または３，８４０×２，１６０画素）や８Ｋ４Ｋ（例えば８，１９２×４，０９６画素）といった超高解像度画像が取り扱われる。

フレーム間予測を用いるためには、各符号化対象ブロックに対して、それぞれ動きベクトルを検出する。動きベクトル検出では、符号化対象ブロックごとに、複数の参照画像の中から、最も類似するブロック（以下、候補ブロックという）を網羅的に探索する。動きベクトル検出は大きな探索範囲（参照画像の一部分を切り出した一部領域）に対して、また、多くの参照画像に対して行ったほうが、より類似した候補ブロックを見つけ出す機会を増やすために望ましい。一方で、探索範囲を大きくしたり、参照画像の数を増やしたりするほど、符号化対象ブロックと候補ブロックとの類似度を演算する回数（演算量）が増加するため、参照画像を取得するための外部メモリへのアクセス量が増加する。つまり、適切な動きベクトルを検出することと、演算量・外部メモリへのアクセス量はトレードオフの関係にある。探索範囲を大きくとりながら、演算量と外部メモリへのアクセス量とを削減することが望ましい。

ここで、動きベクトル検出の演算量と外部メモリへのアクセス量を削減する技術として、階層的に動きベクトルを検出する技術が知られている。この技術では、例えば、フレームの画素を間引いて生成した縮小画像を用いて縮小動きベクトルを検出し、検出した縮小動きベクトルを拡大したベクトルを中心にした狭い探索範囲で動きベクトルを検出する。

また、隣接する符号化対象ブロックにおいて、動きベクトル検出で使用する探索範囲の多くの部分が重なるという特徴から、外部メモリへのアクセス量を低減するために、重複する探索範囲を内包する領域を保持しておくプリフェッチメモリが知られている（例えば特許文献１参照）。プリフェッチメモリには、一般的にStatic Random Access Memory（ＳＲＡＭ）が利用される。プリフェッチメモリにおける保持方式には、参照画像の一部領域を帯状の形で保持する方式が知られている（例えば特許文献２参照）。対照的に、参照画像の一部領域を箱状の形で保持する方式も知られている。尚、以下の説明では、前者の方式を帯形プリフェッチ方式といい、後者の方式を箱形プリフェッチ方式と呼ぶ。

特開２００８−６１１５１号公報特開２００９−１５２７１０号公報

ところで、帯形プリフェッチ方式を実現する場合、概ねフレームの横方向の画素数に縦方向の保持範囲（プリフェッチ範囲）を乗じた分のメモリ容量が要求される。近年、画像の高解像度が進んでいるため、帯形プリフェッチ方式を実現するＳＲＡＭの面積は、動画像を符号化する符号化ＬＳＩの面積の大部分を占有するほどに大きくなりつつあり、符号化ＬＳＩのダイサイズにも多大な影響を与えるほどになっている。著しくダイサイズの大きいＬＳＩは、例えば製造時の歩留まりなどから経済的に量産することが難しい。

一方、箱形プリフェッチ方式を実現する場合、例えば縦方向の保持範囲を帯形プリフェッチ方式と同じ範囲にすれば、ＳＲＡＭの面積は帯形プリフェッチ方式における面積ほど要求されない。このため、符号化ＬＳＩを量産可能な大きさにすることができる。ところが、箱形プリフェッチ方式の場合、外部メモリへのアクセス量が帯形プリフェッチ方式と比べて増加する。例えば、箱形プリフェッチ方式の場合、参照画像上の同じ領域を繰り返して取得するため、外部メモリへのアクセス量が帯形プリフェッチ方式と比べて結果的に増加する。

ここで、量産が要求されない製品（例えば業務用放送機器）であれば、帯形プリフェッチ方式のプリフェッチメモリを採用すればよい。逆に、量産が要求される製品（例えばデジタルビデオカメラといった一般消費者用機器）であれば、箱形プリフェッチ方式のプリフェッチメモリを採用すればよい。しかしながら、製品によっては、帯形プリフェッチ方式のプリフェッチメモリと箱形プリフェッチ方式のプリフェッチメモリを併用し、製品に適したメモリシステムの構築が求められる場合もある。この場合、外部メモリへのアクセス量とＳＲＡＭの面積、すなわちメモリ容量を適切に調整することが要求される。

そこで、１つの側面では、本件は、異なるプリフェッチ方式を併用した場合に、外部メモリへのアクセス量とメモリ容量とを適正化できる動画像符号化装置、動画像符号化方法及び動画像符号化プログラムを提供することを目的とする。

本明細書に開示の動画像符号化装置は、原画像と前記原画像の動きベクトルを検出する際に参照される複数の参照画像のそれぞれを縮小した縮小画像及び複数の縮小参照画像を利用して、前記原画像の動きベクトルを階層的に検出する動画像符号化装置であって、前記縮小画像及び前記縮小参照画像に基づいて、前記縮小画像の動きベクトルを検出する検出手段と、前記検出手段の出力である縮小画像の動きベクトルに基づいて、前記参照画像毎のプリフェッチ方式を決定する決定手段と、を有する動画像符号化装置である。

本明細書に開示の動画像符号化方法は、原画像と前記原画像の動きベクトルを検出する際に参照される複数の参照画像のそれぞれを縮小した縮小画像及び複数の縮小参照画像を利用して、前記原画像の動きベクトルを階層的に検出する動画像符号化方法であって、前記縮小画像及び前記縮小参照画像に基づいて、前記縮小画像の動きベクトルを検出し、前記検出の出力である縮小画像の動きベクトルに基づいて、前記参照画像毎のプリフェッチ方式を決定する、処理を実行する動画像符号化方法である。

本明細書に開示の動画像符号化プログラムは、原画像と前記原画像の動きベクトルを検出する際に参照される複数の参照画像のそれぞれを縮小した縮小画像及び複数の縮小参照画像を利用して、前記原画像の動きベクトルを階層的に検出する動画像符号化プログラムであって、前記縮小画像及び前記縮小参照画像に基づいて、前記縮小画像の動きベクトルを検出し、前記検出の結果である縮小画像の動きベクトルに基づいて、前記参照画像毎のプリフェッチ方式を決定する、処理をコンピュータに実行させる動画像符号化プログラムである。

本明細書に開示の動画像符号化装置、動画像符号化方法及び動画像符号化プログラムによれば、異なるプリフェッチ方式を併用した場合に、メモリ容量と外部メモリへのアクセス量を適正化できる。

図１は、動画像符号化装置と外部メモリのブロック図の一例である。図２は、帯形プリフェッチ方式の一例を説明するための図である。図３は、箱形プリフェッチ方式の一例を説明するための図である。図４は、プリフェッチ方式決定部の動作の一例を示すフローチャートである。図５は、ミスヒットの一例を説明するための図である。図６は、プリフェッチ方式決定部で実行されるプリフェッチ方式決定処理のフローチャートの一例である。図７は、帯形プリフェッチ方式と箱形プリフェッチ方式の組み合わせの一例を説明するための図である。図８は、ヒットの一例を説明するための図である。図９は、実施例を比較例と対比して説明するための図である。図１０は、プリフェッチ方式の決定手法の一例を説明するための図である。図１１は、プリフェッチ方式の決定手法の他の一例を説明するための図である。図１２は、複数の参照画像を利用した等倍動きベクトルの検出の一例を説明するための図である。図１３は、複数の参照画像を利用して等倍動きベクトルを検出する動作の一例を示すフローチャートである。図１４は、情報処理装置のハードウェア構成の一例である。

以下、本件を実施するための形態について図面を参照して説明する。

図１は、動画像符号化装置１００と外部メモリ２００のブロック図の一例である。図２は、帯形プリフェッチ方式の一例を説明するための図である。図３は、箱形プリフェッチ方式の一例を説明するための図である。

動画像符号化装置１００は、図１に示すように、縮小画生成部１０１、縮小動きベクトル検出部（縮小ＭＥ）１０２及びプリフェッチ方式決定部１０３を有する。また、動画像符号化装置１００は、帯形プリフェッチメモリ１０４、箱形プリフェッチメモリ１０５、減算部１０６、直交変換・量子化部（Ｔ・Ｑ）１０７、逆直交変換・逆量子化部（ＩＴ・ＩＱ）１０８、加算部１０９．フレーム内予測モード決定部１１０、フレーム内予測部１１１、ループ内フィルタ部１１２、等倍動きベクトル検出部（等倍ＭＥ）１１３、フレーム間予測部１１４、エントロピー符号化部１１５及びスイッチＳＷを有する。尚、動画像符号化装置１００は例えばハードウェア回路を含むLarge Scale Integration（ＬＳＩ）で実現される。

図１において、帯形プリフェッチメモリ１０４と箱形プリフェッチメモリ１０５は物理的に分かれて示されているが、例えば、１つのプリフェッチメモリの内部で一部を帯形プリフェッチメモリ１０４として機能させ、残りを箱形プリフェッチメモリ１０５と機能させるようにしてもよい。

外部メモリ２００は、縮小画メモリ２０１、原画メモリ２０２及び参照画像メモリ２０３を含んでいる。外部メモリ２００は例えばフレームメモリと呼ばれる。動画像符号化装置１００に入力された原画像フレーム（以下、単に原画像という）は原画メモリ２０２に記憶される。尚、縮小画生成部１０１と参照画像メモリ２０３とのパスは便宜上省略されている。外部メモリ２００は、ＤＲＡＭ、より詳しくはSynchronous ＤＲＡＭ（ＳＤＲＡＭ）で実現される。

縮小画生成部１０１は、原画メモリ２０２に記憶された符号化対象の原画像を読み出し、原画像を縮小した縮小符号化対象画像（以下、単に縮小画像という）を生成する。また、縮小画生成部１０１は、動画像符号化装置１００で生成されて参照画像メモリ２０３に記憶された参照画像を読み出し、参照画像を縮小した縮小参照画像を生成する。縮小画生成部１０１は、生成した縮小画像及び縮小参照画像をそれぞれ縮小画メモリ２０１に保存する。したがって、縮小画メモリ２０１には縮小画像及び縮小参照画像が記憶される。

縮小動きベクトル検出部１０２は、縮小画像及び縮小参照画像を縮小画メモリ２０１からそれぞれ読み出す。縮小動きベクトル検出部１０２は、読み出した縮小画像及び縮小参照画像を用いて、粗い精度の動きベクトル（以下、縮小動きベクトルという）を符号化対象領域毎に検出する。具体的には、縮小動きベクトル検出部１０２は、縮小参照画像の中から縮小画像における符号化対象領域と同じ大きさを有する複数の参照領域を抽出し、符号化対象領域と各参照領域との間でブロックマッチングを行って両者の類似度を表すSum of Absolute Difference（ＳＡＤ：差分絶対値和）を算出する。ＳＡＤが小さいほど類似度は高い。また、縮小動きベクトル検出部１０２は、そのＳＡＤを算出する際に使用された参照領域を採用した場合における縮小動きベクトルから求められるコストを算出する。算出したＳＡＤとコストの少なくとも一方を含む指標が最適な参照領域を選択する際の指標となる。縮小動きベクトル検出部１０２は、最良の指標が得られる参照領域を指し示す動きベクトルを縮小動きベクトルとしてプリフェッチ方式決定部１０３及び等倍動きベクトル検出部１１３に出力する。

プリフェッチ方式決定部１０３は、縮小動きベクトルに基づいて、参照画像毎のプリフェッチ方式を決定する。この結果、参照画像によっては帯形プリフェッチ方式が適用され、参照画像によっては箱形プリフェッチ方式が適用される。尚、プリフェッチ方式決定部１０３の詳細については後述する。

帯形プリフェッチ方式は、図２に示すように、参照画像１０の一部領域を帯状の形で保持する方式である。一部領域は、例えばMacroblock（ＭＢ）やCoding Tree Unit（ＣＴＵ）といった符号化対象領域と同じ位置に対応して保持される対応保持領域１１、対応保持領域１１以外に保持されている対応外保持領域１２を含んでいる。参照画像１０における一部領域の範囲が帯形プリフェッチ方式の保持範囲になる。帯形プリフェッチ方式では、探索範囲となる一部領域が原画像の動きベクトルの検出で使用されなくなるまで保持され続ける。これにより、参照画像の読み込みに要する外部メモリ２００へのアクセス量（例えばデータ転送量又はＤＲＡＭ帯域など）が最低限に抑えられる。また、参照画像１０は、一部領域以外にも、符号化対象領域の動きベクトル検出処理と並行してプリフェッチされる更新領域１３及びプリフェッチ動作で上書きされることにより破棄される破棄領域１４を含んでいる。符号化対象領域に対する符号化処理が進む度に、更新領域１３が更新され、破棄領域１４が破棄される。

したがって、図２（ａ）がｎ番目の符号化対象領域を符号化している状態を示している場合、ｎ番目の符号化対象領域の符号化が完了すると、ｎ＋１番目の符号化対象領域の符号化が開始される。このため、図２（ｂ）に示すように、図２（ａ）における更新領域１３が更新されて新たに対応外保持領域１２になり、新たな対応外保持領域１２の右側に隣接する領域が新たに更新領域１３になる。一方、図２（ａ）における破棄領域１４が破棄されて破棄領域１４の右側に隣接していた対応外保持領域１２が新たに破棄領域１４になる。

箱形プリフェッチ方式は、図３に示すように、参照画像２０の一部領域を箱状の形で保持する方式である。一部領域は、符号化対象領域と同じ位置に対応して保持される対応保持領域２１、対応保持領域２１以外に保持されている対応外保持領域２２を含んでいる。参照画像２０における一部領域の範囲が箱形プリフェッチ方式の保持範囲になる。箱形プリフェッチ方式では、連続して符号化される符号化対象領域に対する探索範囲の共通部分が保持される。これにより、参照画像の読み込みに要する外部メモリ２００へのアクセス量が抑えられる。また、参照画像２０は、一部領域以外にも、符号化対象領域の動きベクトル検出処理と並行してプリフェッチされる更新領域２３及びプリフェッチ動作で上書きされることにより破棄される破棄領域２４を含んでいる。符号化対象領域に対する符号化処理が進む度に、複数の更新領域２３が更新され、複数の破棄領域２４が破棄される。

したがって、図３（ａ）がｎ番目の符号化対象領域を符号化している状態を示している場合、ｎ番目の符号化対象領域の符号化が完了すると、ｎ＋１番目の符号化対象領域の符号化が開始される。このため、図３（ｂ）に示すように、図３（ａ）における３つの更新領域２３が更新されて新たに３つの対応外保持領域２２になり、新たな３つの対応外保持領域２２の右側に隣接する領域が新たに３つの更新領域２３になる。一方、図３（ａ）における３つの破棄領域２４が破棄されて３つの破棄領域２４の右側に隣接していた３つの対応外保持領域２２が新たに３つの破棄領域２４になる。

帯形プリフェッチメモリ１０４は、帯形プリフェッチ方式を採用するプリフェッチメモリである。したがって、参照画像メモリ２０３から読み出された参照画像１０又は参照画像２０の一部領域は帯状の形で保持される。
箱形プリフェッチメモリ１０５は、箱形プリフェッチ方式を採用するプリフェッチメモリである。したがって、参照画像メモリ２０３から読み出された参照画像１０又は参照画像２０の一部領域は箱状の形で保持される。

減算部１０６は、原画メモリ２０２から読み出された原画像から、スイッチＳＷの切り替えにより出力された後述するフレーム間予測画像又はフレーム内予測画像を減算する。減算部１０６により、原画像とフレーム間予測画像又はフレーム内予測画像との誤差画像が生成される。減算部１０６は生成した誤差画像を直交変換・量子化部１０７に出力する。

直交変換・量子化部１０７は、入力された誤差画像に対し符号化対象領域毎にDiscrete Cosine Transform（ＤＣＴ：離散コサイン変換）を実行する。これにより、各符号化対象領域は実空間領域から周波数領域に変換される。以下、周波数領域に変換された符号化対象領域をＤＣＴ係数と呼ぶ。直交変換・量子化部１０７は、各ＤＣＴ係数をそれぞれ量子化パラメータ（ＱＰ）に応じて量子化する。量子化パラメータは、視覚特性や目標ビットレートに基づくパラメータである。直交変換・量子化部１０７は、量子化した各ＤＣＴ係数を逆直交変換・逆量子化部１０８及びエントロピー符号化部１１５に出力する。

逆直交変換・逆量子化部１０８は、入力された各ＤＣＴ係数を逆量子化する。これにより、量子化前のＤＣＴ係数、すなわち周波数領域が再生される。逆直交変換・逆量子化部１０８は、各周波数領域に対しInverse Discrete Cosine Transform（ＩＤＣＴ：逆離散コサイン変換）を実行する。これにより、各周波数領域は実空間領域にそれぞれ変換される。すなわち、誤差画像が再生される。逆直交変換・逆量子化部１０８は、再生した誤差画像を加算部１０９に出力する。

加算部１０９は、入力された誤差画像と、フレーム間予測画像又はフレーム内予測画像とを加算する。これにより、ＤＣＴにより失われた高周波成分を含まない復号画像が再生される。加算部１０９は、復号画像をフレーム内予測モード決定部１１０、フレーム内予測部１１１及びループ内フィルタ部１１２に出力する。

フレーム内予測モード決定部１１０は、符号化対象領域周辺の画素値を用いた複数種類の予測モードを有する。フレーム内予測モード決定部１１０は、複数種類の予測モードの中から符号化効率を考慮して、符号化対象領域の予測に用いられる最適なフレーム内予測モードを原画像と再生画像に基づいて決定する。フレーム内予測モード決定部１１０は、決定したフレーム内予測モードをフレーム内予測部１１１及びエントロピー符号化部１１５に出力する。

フレーム内予測部１１１は、入力された復号画像に対し入力された予測モードに従ったフレーム内予測（イントラ予測）を符号化対象領域毎に行って、復号画像の予測結果としてフレーム内予測画像を生成し、スイッチＳＷに出力する。

ループ内フィルタ部１１２は、入力された復号画像のノイズを低減する。ループ内フィルタ部１１２としては、例えばデブロッキングフィルタがある。ループ内フィルタ部１１２にSample Adaptive Offset（ＳＡＯ：画素適応オフセット）を含めてもよい。ループ内フィルタ部１１２は、ノイズを低減した復号画像を参照画像メモリ２０３に保存する。これにより、復号画像が参照画像メモリに記憶される。ノイズを低減した復号画像は、等倍動きベクトル検出部１１３において参照画像として利用される。

等倍動きベクトル検出部１１３は、原画像と参照画像１０，２０をそれぞれ原画メモリ２０２及び参照画像メモリ２０３から読み出す。参照画像１０，２０はそれぞれプリフェッチ方式決定部１０３によって決定されたプリフェッチ方式に従って、帯形プリフェッチメモリ１０４か箱形プリフェッチメモリ１０５のいずれかに保持される。等倍動きベクトル検出部１１３は、読み出した原画像と保持された参照画像１０，２０に基づいて、動きベクトル（以下、等倍動きベクトルという）を検出する。等倍動きベクトル検出部１１３は、原画像の等倍動きベクトルをフレーム間予測部１１４及びエントロピー符号化部１１５に出力する。

フレーム間予測部１１４は、入力された復号画像と等倍動きベクトル検出部１１３によって検出された等倍動きベクトルとに基づいて、フレーム間予測（動き補償予測）を行い、予測結果としてのフレーム間予測画像をスイッチＳＷに出力する。

スイッチＳＷは、フレーム内予測部１１１から出力されたフレーム内予測画像とフレーム間予測部１１４から出力されたフレーム間予測画像の画質を判定し、より良い画質を有するフレーム内予測画像又はフレーム間予測画像のいずれかを減算部１０６及び加算部１０９に出力する。

エントロピー符号化部１１５は、直交変換・量子化部１０７から出力されたＤＣＴ係数と等倍動きベクトル検出部１１３から出力された等倍動きベクトルをエントロピー符号化する。エントロピー符号化には、例えばハフマン符号化や算術符号化などが利用される。エントロピー符号化部１１５は、符号化したＤＣＴ係数と等倍画像の動きベクトルを多重化し、ビットストリームとして符号出力する。

次に、図４及び図５を参照して、上述したプリフェッチ方式決定部１０３の動作について説明する。
尚、後述する動作は、プリフェッチ方式決定部１０３により実行されず、動画像符号化装置１００全体の動作を制御する制御部により実行されてもよい。当該制御部は、図示しないが、動画像符号化装置１００内に設けられる。制御部としては例えばCentral Processing Unit（ＣＰＵ）が利用される。

図４は、プリフェッチ方式決定部１０３の動作の一例を示すフローチャートである。図５は、ミスヒットの一例を説明するための図である。
プリフェッチ方式決定部１０３は、まず、２次元配列変数であるコスト［Ｐ］［Ｍ］を初期化する（ステップＳ１０１）。ここで、変数Ｐは参照する参照画像の枚数を示している。変数Ｍはプリフェッチ方式の方式数を示している。例えば、参照画像として前方参照画像と後方参照画像の２枚を使用する場合、変数Ｐ＝２となる。また、プリフェッチ方式として、帯形プリフェッチ方式と箱形プリフェッチ方式の２つの方式を使用する場合、変数Ｍ＝２となる。したがって、後述する処理によって、コスト［１］［１］（前方参照画像と帯形プリフェッチ方式），コスト［１］［２］（前方参照画像と箱形プリフェッチ方式），コスト［２］［１］（後方参照画像と帯形プリフェッチ方式）及びコスト［２］［２］（後方参照画像と箱形プリフェッチ方式）の４種類のコストが算出される。

次いで、プリフェッチ方式決定部１０３は、参照画像に関するループ処理を開始する（ステップＳ１０２）。例えば、プリフェッチ方式決定部１０３は前方参照画像を表す値「１」を変数Ｐに設定する。次いで、プリフェッチ方式決定部１０３は、プリフェッチ方式に関するループ処理を開始する（ステップＳ１０３）。例えば、プリフェッチ方式決定部１０３は帯形プリフェッチ方式を表す「１」を変数Ｍに設定する。次いで、プリフェッチ方式決定部１０３は、原画像における符号化対照領域に関するループ処理を開始する（ステップＳ１０４）。例えば、プリフェッチ方式決定部１０３は、原画像における符号化対象領域を１つ選択する。

プリフェッチ方式決定部１０３は、ここで、ミスヒットが発生したか否かを判定する（ステップＳ１０５）。具体的には、図５に示すように、符号化対象領域と類似する領域を、縮小動きベクトルＭＶ１によって示される領域５０を中心とした探索範囲ＳＡ１内において等倍動きベクトル検出を行う場合、探索範囲ＳＡ１は、対応保持領域１１及び対応外保持領域１２を含む保持範囲に完全には収まっていないため、探索範囲ＳＡ１内の一部の画素については探索できない。このように、符号化対象領域と類似する領域を探索しようとしても、一部の画素が保持範囲外に存在するために探索が行えない現象をミスヒットと呼ぶ。

プリフェッチ方式決定部１０３は、ミスヒットが発生したと判定した場合（ステップＳ１０５：ＹＥＳ）、探索範囲ＳＡ内に存在しているものの、保持範囲外である画素を外部メモリ２００から読み出すのに要するアクセス量をコストとして算出する（ステップＳ１０６）。プリフェッチ方式決定部１０３は、算出したアクセス量をコスト［１］［１］に加算する。プリフェッチ方式決定部１０３は、ミスヒットが発生しなかったと判定した場合（ステップＳ１０５：ＮＯ）、ステップＳ１０６の処理をスキップする。

プリフェッチ方式決定部１０３は、ステップＳ１０５及びステップＳ１０６の処理を終了すると、次の符号化対象領域を選択し、ステップＳ１０５及びステップＳ１０６の処理を繰り返す（ステップＳ１０７）。このような処理が繰り返されることで、最終的にコスト［１］［１］に格納されていたアクセス量が帯形プリフェッチ方式と前方参照画像を利用した場合のアクセス量になる。例えばコスト［１］［１］としてアクセス量「１００」が求められる。

プリフェッチ方式決定部１０３は、原画像における符号化対照領域に関するループ処理が終了すると、ループ変数ｍを繰り上げて、ステップＳ１０４及びＳ１０５又はステップＳ１０４乃至ステップＳ１０６の処理を繰り返す（ステップＳ１０８）。ループ変数ｍが繰り上げられることで、箱形プリフェッチ方式を表す値「２」が変数Ｍに設定される。そして、処理が繰り返されることで、最終的にコスト［１］［２］に格納されていたアクセス量が箱形プリフェッチ方式と前方参照画像を利用した場合のアクセス量になる。例えばコスト［１］［２］としてアクセス量「８０」が求められる。

プリフェッチ方式決定部１０３は、プリフェッチ方式に関するループ処理が終了すると、ループ変数ｐを繰り上げて、ステップＳ１０３乃至Ｓ１０５又はステップＳ１０３乃至Ｓ１０６の処理を繰り返す（ステップＳ１０９）。ループ変数ｐが繰り上げられることで、後方参照画像を表す値「２」が変数Ｐに設定される。そして、処理が繰り返されることで、最終的にコスト［２］［１］及びコスト［２］［２］に格納されていたそれぞれのアクセス量が帯形プリフェッチ方式と後方参照画像を利用した場合のアクセス量及び箱形プリフェッチ方式と後方参照画像を利用した場合のアクセス量になる。例えばコスト［２］［１］としてアクセス量「２０」及びコスト［２］［２］のアクセス量「３０」が求められる。

プリフェッチ方式決定部１０３は、参照画像に関するループ処理が終了すると、後述するプリフェッチ方式決定処理を実行し（ステップＳ１１０）、処理を終了する。

次に、図６及び図７を参照して、上述したプリフェッチ方式決定処理について説明する。

図６は、プリフェッチ方式決定部１０３で実行されるプリフェッチ方式決定処理のフローチャートの一例である。図７は、帯形プリフェッチ方式と箱形プリフェッチ方式の組み合わせの一例を説明するための図である。

プリフェッチ方式決定部１０３は、まず、アクセス量が最小となる組み合わせ番号min_cを空（ＮＵＬＬ）に設定し、アクセス量の総和の最小値min_sumを無限大に設定する（ステップＳ２０１）。次に、プリフェッチ方式決定部１０３は、「選択可能なプリフェッチ処理への参照画像割り当て」全てに対するループ処理を開始する（ステップＳ２０２）。例えば、メモリ容量（又はキャッシュ量）とアクセス量の制約から、図７に示すように、帯形プリフェッチ方式を実現する帯形プリフェッチメモリ１０４と箱形プリフェッチ方式を実現する箱形プリフェッチメモリ１０５を１つずつ搭載し、前方参照画像と後方参照画像の２枚の参照画像を使用して原画像を符号化する場合、選択可能な組み合わせは、以下の２つの組み合わせになる。すなわち、前方参照画像に対し帯形プリフェッチ方式を適用し、後方参照画像に対し箱形プリフェッチ方式を適用する組み合わせ番号「１」と前方参照画像に対し箱形プリフェッチ方式を適用し、後方参照画像に対し帯形プリフェッチ方式を適用する組み合わせ番号「２」の組み合わせがある。組み合わせ番号としてループ変数ｃが使用される。まず、ループ変数ｃに値「１」が設定される。すなわち、組み合わせ番号「１」に対し後述の処理が実行される。

プリフェッチ方式決定部１０３は、アクセス量の総和sumに値「０」を格納し（ステップＳ２０３）、参照画像に関するループ処理を開始する（ステップＳ２０４）。ループ変数ｐには前方参照画像を表す値「１」が設定される。プリフェッチ方式決定部１０３は、現在処理対象の「プリフェッチ処理への参照画像の割り当て」から参照画像の変数ｍを抽出する（ステップＳ２０５）。当該処理により、変数ｍとして値「１」が抽出される。

プリフェッチ方式決定部１０３は、ループ変数ｐ（＝１）と変数ｍ（＝１）に対応するコスト［１］［１］のアクセス量（「１００」）をアクセス量の総和sumに加算する（ステップＳ２０６）。これにより、アクセス量の総和sum「１００」が算出される。プリフェッチ方式決定部１０３は、参照画像に関するループ処理を終了すると（ステップＳ２０７）、ループ変数ｐを繰り上げて、ステップＳ２０４及びステップＳ２０５の処理を繰り返す。これにより、ループ変数ｐ（＝２）と変数ｍ（＝２）に対応するコスト［２］［２］のアクセス量（「３０」）がアクセス量の総和sumに加算される。したがって、アクセス量の総和sum「１３０」が算出される。

プリフェッチ方式決定部１０３は、算出したアクセス量の総和sumがアクセス量の総和の最小値min_sum未満であるか否かを判定する（ステップＳ２０８）。本実施形態では、アクセス量の総和sum「１３０」がアクセス量の総和の最小値min_sum未満であるため、プリフェッチ方式決定部１０３は、算出したアクセス量の総和sumがアクセス量の総和の最小値min_sum未満であると判定する（ステップＳ２０８：ＹＥＳ）。

プリフェッチ方式決定部１０３は、算出したアクセス量の総和sumがアクセス量の総和の最小値min_sum未満であると判定した場合、アクセス量が最小となる組み合わせ番号min_cに組み合わせ番号「１」を格納し、アクセス量の総和の最小値min_sumにアクセス量の総和sum「１３０」を格納する（ステップＳ２０９）。

プリフェッチ方式決定部１０３は、「選択可能なプリフェッチ処理への参照画像割り当て」全てに対するループ処理を終了すると（ステップＳ２１０）、ループ変数ｃを繰り上げて、ステップＳ２０３からステップＳ２０９の処理を繰り返す。これにより、ループ変数ｐ（＝１）と変数ｍ（＝２）に対応するコスト［１］［２］のアクセス量（「８０」）とループ変数ｐ（＝２）と変数ｍ（＝１）に対応するコスト［２］［１］のアクセス量（「２０」）とがアクセス量の総和sumに加算される。したがって、アクセス量の総和sum「１００」が算出される。ステップＳ２０７の判定処理において、アクセス量の総和の最小値min_sum「１３０」より算出したアクセス量の総和sum「１００」が小さいため、アクセス量が最小となる組み合わせ番号min_cに組み合わせ番号「２」が新たに格納され、アクセス量の総和の最小値min_sumにアクセス量の総和sum「１００」が新たに格納される。プリフェッチ方式決定部１０３は、アクセス量が最小となる組み合わせ番号min_c「２」をプリフェッチ方式として決定する（ステップＳ２１１）。このように、帯形プリフェッチ方式と箱形プリフェッチ方式を併用した場合に、メモリ容量を変えずに外部メモリ２００へのアクセス量が最低となるプリフェッチ方式を決定することができる。すなわち、帯形プリフェッチ方式と箱形プリフェッチ方式という異なるプリフェッチ方式を併用した場合に、メモリ容量と外部メモリへのアクセス量を適正化できる。

以上の説明では、ミスヒットした参照画像の画素を外部メモリ２００から読み出す際のアクセス量をコストとして、コストが最小になるプリフェッチ方式が決定されている。例えば、ミスヒットが発生する場合には、図８に示すように、ミスヒットが発生しない、保持範囲にヒットする別の縮小動きベクトルＭＶ２を縮小動きベクトル検出部１０２に出力させるようにしてもよい。この場合、出力された縮小動きベクトルＭＶ１（図５参照）と別の縮小動きベクトルＭＶ２のベクトル類似度に関する指標の差をコスト［Ｐ］［Ｍ］を加算するように、上述したステップＳ１０６の処理を変更する。また、例えば、ミスヒットが発生する場合には、符号化対象領域をフレーム内予測で符号化するようにしてもよい。この場合、出力された縮小動きベクトルとフレーム内予測の類似度の差をコスト［Ｐ］［Ｍ］を加算するように、上述したステップＳ１０６の処理を変更する。このように処理することで、画質の劣化度合いを最小化するプリフェッチ方式を決定することができる。

図９は、実施例を比較例と対比して説明するための図である。
まず、比較例１に示すように、２枚の参照画像をすべて帯形プリフェッチ方式で保持した場合、アクセス量は許容限界を超えないが、プリフェッチメモリのメモリ容量は許容限界を超えてしまう。逆に、比較例２に示すように、２枚の参照画像をすべて箱形プリフェッチ方式で保持した場合、プリフェッチメモリのメモリ容量は許容限界を超えないが、アクセス量は許容限界を超えてしまう。しかしながら、実施例によれば、帯形プリフェッチ方式と箱形プリフェッチ方式が併用され、２枚の参照画像のそれぞれに割り当てられるため、プリフェッチメモリのメモリ容量は許容限界を超えないし、アクセス量も許容限界を超えない。

（第２実施形態）
続いて、図１０を参照して、本件の第２実施形態について説明する。
図１０は、プリフェッチ方式の決定手法の一例を説明するための図である。
例えば、プリフェッチ方式決定部１０３は、保持範囲における縦方向の範囲が帯形プリフェッチ方式と箱形プリフェッチ方式とにおいて等しい場合、符号化対象領域の縮小動きベクトルのｘ成分の絶対値の総和を「横方向の動きベクトルの大きさの指標」として参照画像毎に算出し、該指標により動きベクトルのｘ成分の大きさがより大きいと示される参照画像を優先して、帯形プリフェッチ方式を決定する。

すなわち、縦方向の動きベクトルより横方向の動きベクトルが全体的に多い場合には、箱形プリフェッチ方式に決定されると、図１０（ｂ）に示すように、縮小動きベクトルＭＶ３に基づく探索範囲ＳＡ３は保持範囲内に収まらない可能性が高く、ミスヒットが発生する。したがって、画質の劣化やアクセス量の増加に直結する。しかしながら、帯形プリフェッチ方式に決定されると、図１０（ａ）に示すように、縮小動きベクトルＭＶ３に基づく探索範囲ＳＡ３は保持範囲内に収まる可能性が高く、ミスヒットが発生しない。したがって、画質の劣化やアクセス量の増加が発生しにくい。このように、縮小動きベクトルＭＶ３の縦方向と横方向のそれぞれの頻度や大きさを利用することで、簡易的にプリフェッチ方式を決定することができる。

（第３実施形態）
続いて、図１１を参照して、本件の第３実施形態について説明する。
図１１は、プリフェッチ方式の決定手法の他の一例を説明するための図である。
例えば、プリフェッチ方式決定部１０３は、保持範囲における縦方向の範囲が帯形プリフェッチ方式より箱形プリフェッチ方式の方を大きい場合、符号化対象領域の縮小動きベクトルのｙ成分の絶対値の総和を「縦方向の動きベクトルの大きさの指標」として参照画像毎に算出し、該指標により動きベクトルのｙ成分の大きさがより大きいと示される参照画像を優先して、箱形プリフェッチ方式を決定する。

すなわち、横方向の動きベクトルより縦方向の動きベクトルが全体的に多い場合には、帯形プリフェッチ方式に決定されると、図１１（ａ）に示すように、縮小動きベクトルＭＶ４に基づく探索範囲ＳＡ４は保持範囲内に収まらない可能性が高く、ミスヒットが発生する。したがって、画質の劣化やアクセス量の増加に直結する。しかしながら、箱形プリフェッチ方式に決定されると、図１１（ｂ）に示すように、縮小動きベクトルＭＶ４に基づく探索範囲ＳＡ４は保持範囲内に収まる可能性が高く、ミスヒットが発生しない。したがって、画質の劣化やアクセス量の増加が発生しにくい。このように、縮小動きベクトルＭＶ４の縦方向と横方向のそれぞれの頻度や大きさを利用することで、簡易的にプリフェッチ方式を決定することができる。

以上、上述した各実施形態では、帯形プリフェッチメモリ１０４と箱形プリフェッチメモリ１０５のそれぞれが１つの参照画像の一部領域を保持することを説明したが、例えば、３つの参照画像がある場合には、帯形プリフェッチメモリ１０４が２つの参照画像の一部領域を保持し、箱形プリフェッチメモリ１０５が１つの参照画像の一部領域を保持するようにしてもよいし、その逆であってもよい。また、４つの参照画像がある場合には、帯形プリフェッチメモリ１０４が３つの参照画像の一部領域を保持し、箱形プリフェッチメモリ１０５が１つの参照画像の一部領域を保持するようにしてもよいし、その逆であってもよいし、それぞれが２つの参照画像の一部領域を保持するようにしてもよい。

また、以上説明した各実施形態では、等倍動きベクトル検出部１１３は１枚の参照画像を利用して等倍動きベクトルを検出する例を説明したが、参照画像は１枚に限定されず、過去に符号化した複数の参照画像を利用して等倍動きベクトルを検出するようにすることもできる。複数枚の参照画像を利用して等倍動きベクトルを検出する場合、等倍動きベクトルの探索の際に、フレーム間予測で参照可能な全画像領域について、可能な限り、原画像とのマッチングを行うことが望ましい。

例えば、直前に符号化した３枚の画像を参照画像として利用する場合、等倍動きベクトルを検出する処理では、図１２に示すように、３枚の画像のそれぞれの内部に、等倍動きベクトルの探索を行うための探索範囲ＳＡが設定される。そして、符号化対象領域と、探索範囲ＳＡ内に含まれた、符号化対象領域と同じ大きさを有する全ての領域との類似度に関する指標（例えばＳＡＤ）が算出され、最良の指標を示す領域が選択される。最後に、その領域の属する参照画像を示すインデックスと動きベクトルが出力される。

図１３は、複数の参照画像を利用して等倍動きベクトルを検出する動作の一例を示すフローチャートである。
まず、等倍動きベクトル検出部１１３は、指標の最小（最小指標）を「無限大」に設定し、併せて、出力する等倍動きベクトル及び参照画像を示すインデックスを「なし」に設定する（ステップＳ３０１）。次に、等倍動きベクトル検出部１１３は、参照画像に関するループ処理を開始する（ステップＳ３０２）。ここで、参照画像のループ対象は、ｎ番目の画像が符号化対象である場合、（ｎ−３）番目の画像、（ｎ−２）番目の画像及び（ｎ−１）番目の画像が参照画像として利用される。

次いで、等倍動きベクトル検出部１１３は、符号化対象領域と（ｎ−３）番目から（ｎ−１）番目のいずれかの画像の探索範囲ＳＡ内の各領域とに基づく等倍動きベクトルの候補に関するループ処理を開始する（ステップＳ３０３）。次いで、等倍動きベクトル検出部１１３は、符号化対象領域と（ｎ−３）番目から（ｎ−１）番目のいずれかの画像の探索範囲ＳＡ内の各領域との指標を算出する（ステップＳ３０４）。算出する指標としては例えば以下に挙げられる指標がある。（１）等倍動きベクトルの候補によって示されるインター予測画像と符号化対象領域とのＳＡＤ、（２）等倍動きベクトルの候補によって示されるインター予測画像と符号化対象領域とのSum of Transformed Difference（ＳＡＴＤ）、（３）（１）又は（２）にさらに、動きベクトルの大きさで決まる値（例えば、等倍動きベクトルのｘ成分をＶｘ、ｙ成分をＶｙ、予め決められた係数をｋｘ，ｋｙとした場合、ｋｘ｜Ｖｘ｜＋ｋｙ｜Ｖｙ｜など）を加えたもの、（４）（１）または（２）にさらに、等倍動きベクトルを符号化する際の符号量に応じて決まる値を加えたもの、（５）（１），（２），（３）または（４）に、さらに参照画像を示すインデックスを符号化する際の符号量で決まる値を加えたもの。

ここで、等倍動きベクトル検出部１１３は、算出した指標が指標の最小を下回っているか否かを判断する（ステップＳ３０５）。等倍動きベクトル検出部１１３は、算出した指標が指標の最小を下回っていると判断した場合（ステップＳ３０５：ＹＥＳ）、指標の最小に算出した指標を格納し、出力する動きベクトルに処理対象となっている等倍動きベクトルを格納し、出力するインデックスに処理対象となっている参照画像を示すインデックスを格納する（ステップＳ３０６）。尚、等倍動きベクトル検出部１１３は、算出した指標が指標の最小を下回っていないと判断した場合（ステップＳ３０５：ＮＯ）、ステップＳ３０６の処理を実行しない。等倍動きベクトル検出部１１３は、ステップＳ３０３に対するループの終了を判断し（ステップＳ３０７）、さらに、ステップＳ３０２に対するループの終了を判断する（ステップＳ３０８）。等倍動きベクトル検出部１１３は、ステップＳ３０８の処理を完了すると、出力する動きベクトルに格納された動きベクトルを出力し、出力するインデックスに格納されているインデックスを出力する（ステップＳ３０９）。このように、上述した各実施形態では、１枚の参照画像を利用して等倍動きベクトルを検出するだけでなく、複数枚の参照画像を利用して等倍動きベクトルを検出することもできる。

（第４実施形態）
続いて、図１４を参照して、本件の第４実施形態について説明する。
図１４は、情報処理装置３００のハードウェア構成の一例である。上述した各種の動作は、ハードウェア回路による実現に代えて、情報処理装置３００によって実現されてもよい。情報処理装置３００としては、例えばPersonal Computer（ＰＣ）がある。

情報処理装置３００は、少なくともＣＰＵ３０１、ＲＡＭ３０２、Read Only Memory（ＲＯＭ）３０３及び通信Ｉ／Ｆ（インタフェース）３０４を含んでいる。ＲＡＭ３０２は、プリフェッチメモリとしてのＳＲＡＭと外部メモリ２００としてのＤＲＡＭを含んでいる。当該ＳＲＡＭはＣＰＵ３０１に含まれていてもよい。情報処理装置３００は、必要に応じて、Hard Disk Drive（ＨＤＤ）３０５、入力Ｉ／Ｆ３０６、出力Ｉ／Ｆ３０７、入出力Ｉ／Ｆ３０８、ドライブ装置３０９の少なくとも１つを含んでいてもよい。ＣＰＵ３０１，・・・，ドライブ装置３０９は、内部バス３１０によって互いに接続されている。少なくともＣＰＵ３０１とＲＡＭ３０２とが協働することによってコンピュータが実現される。情報処理装置３００に画像処理を担当するGraphics Processing Unit（ＧＰＵ）が含まれていてもよい。

入力Ｉ／Ｆ３０６には、入力装置４１０が接続される。入力装置４１０としては、例えばキーボードやマウスなどがある。
出力Ｉ／Ｆ３０７には、表示装置４２０が接続される。表示装置４２０としては、例えば液晶ディスプレイがある。
入出力Ｉ／Ｆ３０８には、半導体メモリ４３０が接続される。半導体メモリ４３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ３０８は、半導体メモリ４３０に記憶されたプログラムやデータを読み取る。
入力Ｉ／Ｆ３０６及び入出力Ｉ／Ｆ３０８は、例えばＵＳＢポートを備えている。出力Ｉ／Ｆ３０７は、例えばディスプレイポートを備えている。

ドライブ装置３０９には、可搬型記録媒体４４０が挿入される。可搬型記録媒体４４０としては、例えばCompact Disc（ＣＤ）−ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置３０９は、可搬型記録媒体４４０に記録されたプログラムやデータを読み込む。
通信Ｉ／Ｆ３０４は、例えばポートとPhysical Layer Chip（ＰＨＹチップ）とを備えている。情報処理装置３００は、通信Ｉ／Ｆ３０４を介してネットワークＮＷと接続される。

上述したＲＡＭ３０２は、ＲＯＭ３０３やＨＤＤ３０５に記憶されたプログラムを読み込む。ＲＡＭ３０２は、可搬型記録媒体４４０に記録されたプログラムを読み込む。読み込まれたプログラムをＣＰＵ３０１が実行することにより、上述した各種の動作が実行される。尚、プログラムは上述したフローチャートに応じたものとすればよい。

以上、上述した各実施形態では、参照画像メモリ２０３の参照画像を縮小画生成部１０１によって縮小した画像を縮小参照画像として用いたが、参照画像に時間的に対応する縮小画像を縮小参照画像として用いても良い。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

なお、以上の説明に関して更に以下の付記を開示する。
（付記１）原画像と前記原画像の動きベクトルを検出する際に参照される複数の参照画像のそれぞれを縮小した縮小画像及び複数の縮小参照画像を利用して、前記原画像の動きベクトルを階層的に検出する動画像符号化装置であって、前記縮小画像及び前記縮小参照画像に基づいて、前記縮小画像の動きベクトルを検出する検出手段と、前記検出手段の出力である縮小画像の動きベクトルに基づいて、前記参照画像毎のプリフェッチ方式を決定する決定手段と、を有する動画像符号化装置。
（付記２）前記決定手段は、前記縮小画像の動きベクトルを利用した前記原画像における符号化対象領域の探索範囲が前記参照画像のそれぞれにおけるプリフェッチ方式に応じた保持範囲に収まっていない度合いに基づいて、前記参照画像毎のプリフェッチ方式を決定することを特徴とする付記１に記載の動画像符号化装置。
（付記３）前記決定手段は、前記度合いに基づいて、前記動画像符号化装置の外部に設けられた記憶装置とのアクセス量に関する第１指標を前記プリフェッチ方式毎及び前記参照画像毎に算出し、前記第１指標に基づいて、前記参照画像毎のプリフェッチ方式を決定することを特徴とする付記２に記載の動画像符号化装置。
（付記４）前記決定手段は、前記縮小画像の動きベクトルを利用した前記原画像における符号化対象領域の探索範囲を決める前記縮小画像の動きベクトルと前記探索範囲が前記参照画像のそれぞれにおけるプリフェッチ方式に応じた保持範囲に収まる縮小画像の別の動きベクトルとを利用して、画質の劣化の度合いに関する第２指標を前記プリフェッチ方式毎及び前記参照画像毎に算出し、前記第２指標に基づいて、前記参照画像毎のプリフェッチ方式を決定することを特徴とする付記１に記載の動画像符号化装置。
（付記５）前記決定手段は、前記参照画像のそれぞれにおけるプリフェッチ方式に応じた保持範囲における縦方向の範囲が前記保持範囲を帯形状に保持する第１のプリフェッチ方式と前記保持範囲を箱形状に保持する第２のプリフェッチ方式とにおいて等しい場合、前記縮小画像の動きベクトルから動きベクトルの横方向の成分の大きさを示す第３指標を前記参照画像毎に算出し、前記第３指標により動きベクトルの横方向の成分の大きさがより大きいと示される参照画像を優先して、前記第１のプリフェッチ方式に決定することを特徴とする付記１に記載の動画像符号化装置。
（付記６）前記決定手段は、前記参照画像のそれぞれにおけるプリフェッチ方式に応じた保持範囲における縦方向の範囲が前記保持範囲を帯形状に保持する第１のプリフェッチ方式より前記保持範囲を箱形状に保持する第２のプリフェッチ方式の方が大きい場合、前記縮小画像の動きベクトルから動きベクトルの縦方向の成分の大きさを示す第３指標を前記参照画像毎に算出し、前記第３指標により動きベクトルの縦方向の成分の大きさがより大きいと示される参照画像を優先して、前記第２のプリフェッチ方式に決定することを特徴とする付記１に記載の動画像符号化装置。
（付記７）原画像と前記原画像の動きベクトルを検出する際に参照される複数の参照画像のそれぞれを縮小した縮小画像及び複数の縮小参照画像を利用して、前記原画像の動きベクトルを階層的に検出する動画像符号化方法であって、前記縮小画像及び前記縮小参照画像に基づいて、前記縮小画像の動きベクトルを検出し、前記検出の出力である縮小画像の動きベクトルに基づいて、前記参照画像毎のプリフェッチ方式を決定する、処理を実行する動画像符号化方法。
（付記８）前記決定する処理は、前記縮小画像の動きベクトルを利用した前記原画像における符号化対象領域の探索範囲が前記参照画像のそれぞれにおけるプリフェッチ方式に応じた保持範囲に収まっていない度合いに基づいて、前記参照画像毎のプリフェッチ方式を決定することを特徴とする付記７に記載の動画像符号化方法。
（付記９）前記決定する処理は、前記度合いに基づいて、動画像符号化装置の外部に設けられた記憶装置とのアクセス量に関する第１指標を前記プリフェッチ方式毎及び前記参照画像毎に算出し、前記第１指標に基づいて、前記参照画像毎のプリフェッチ方式を決定することを特徴とする付記８に記載の動画像符号化方法。
（付記１０）前記決定する処理は、前記縮小画像の動きベクトルを利用した前記原画像における符号化対象領域の探索範囲を決める前記縮小画像の動きベクトルと前記探索範囲が前記参照画像のそれぞれにおけるプリフェッチ方式に応じた保持範囲に収まる縮小画像の別の動きベクトルとを利用して、画質の劣化の度合いに関する第２指標を前記プリフェッチ方式毎及び前記参照画像毎に算出し、前記第２指標に基づいて、前記参照画像毎のプリフェッチ方式を決定することを特徴とする付記７に記載の動画像符号化方法。
（付記１１）前記決定する処理は、前記参照画像のそれぞれにおけるプリフェッチ方式に応じた保持範囲における縦方向の範囲が前記保持範囲を帯形状に保持する第１のプリフェッチ方式と前記保持範囲を箱形状に保持する第２のプリフェッチ方式とにおいて等しい場合、前記縮小画像の動きベクトルから動きベクトルの横方向の成分の大きさを示す第３指標を前記参照画像毎に算出し、前記第３指標により動きベクトルの横方向の成分の大きさがより大きいと示される参照画像を優先して、前記第１のプリフェッチ方式に決定することを特徴とする付記７に記載の動画像符号化方法。
（付記１２）前記決定する処理は、前記参照画像のそれぞれにおけるプリフェッチ方式に応じた保持範囲における縦方向の範囲が前記保持範囲を帯形状に保持する第１のプリフェッチ方式より前記保持範囲を箱形状に保持する第２のプリフェッチ方式の方が大きい場合、前記縮小画像の動きベクトルから動きベクトルの縦方向の成分の大きさを示す第３指標を前記参照画像毎に算出し、前記第３指標により動きベクトルの縦方向の成分の大きさがより大きいと示される参照画像を優先して、前記第２のプリフェッチ方式に決定することを特徴とする付記７に記載の動画像符号化方法。
（付記１３）原画像と前記原画像の動きベクトルを検出する際に参照される複数の参照画像のそれぞれを縮小した縮小画像及び複数の縮小参照画像を利用して、前記原画像の動きベクトルを階層的に検出する動画像符号化プログラムであって、前記縮小画像及び前記縮小参照画像に基づいて、前記縮小画像の動きベクトルを検出し、前記検出の結果である縮小画像の動きベクトルに基づいて、前記参照画像毎のプリフェッチ方式を決定する、処理をコンピュータに実行させる動画像符号化プログラム。

１００動画像符号化装置
１０２縮小動きベクトル検出部（検出手段）
１０３プリフェッチ方式決定部（決定手段）
２００外部メモリ

Claims

原画像と前記原画像の動きベクトルを検出する際に参照される複数の参照画像のそれぞれを縮小した縮小画像及び複数の縮小参照画像を利用して、前記原画像の動きベクトルを階層的に検出する動画像符号化装置であって、
前記縮小画像及び前記縮小参照画像に基づいて、前記縮小画像の動きベクトルを検出する検出手段と、
前記検出手段の出力である縮小画像の動きベクトルに基づいて、前記参照画像毎のプリフェッチ方式を決定する決定手段と、
を有する動画像符号化装置。
前記決定手段は、前記縮小画像の動きベクトルを利用した前記原画像における符号化対象領域の探索範囲が前記参照画像のそれぞれにおけるプリフェッチ方式に応じた保持範囲に収まっていない度合いに基づいて、前記参照画像毎のプリフェッチ方式を決定することを特徴とする請求項１に記載の動画像符号化装置。
前記決定手段は、前記度合いに基づいて、前記動画像符号化装置の外部に設けられた記憶装置とのアクセス量に関する第１指標を前記プリフェッチ方式毎及び前記参照画像毎に算出し、前記第１指標に基づいて、前記参照画像毎のプリフェッチ方式を決定することを特徴とする請求項２に記載の動画像符号化装置。
前記決定手段は、前記縮小画像の動きベクトルを利用した前記原画像における符号化対象領域の探索範囲を決める前記縮小画像の動きベクトルと前記探索範囲が前記参照画像のそれぞれにおけるプリフェッチ方式に応じた保持範囲に収まる縮小画像の別の動きベクトルとを利用して、画質の劣化の度合いに関する第２指標を前記プリフェッチ方式毎及び前記参照画像毎に算出し、前記第２指標に基づいて、前記参照画像毎のプリフェッチ方式を決定することを特徴とする請求項１に記載の動画像符号化装置。
前記決定手段は、前記参照画像のそれぞれにおけるプリフェッチ方式に応じた保持範囲における縦方向の範囲が前記保持範囲を帯形状に保持する第１のプリフェッチ方式と前記保持範囲を箱形状に保持する第２のプリフェッチ方式とにおいて等しい場合、前記縮小画像の動きベクトルから動きベクトルの横方向の成分の大きさを示す第３指標を前記参照画像毎に算出し、前記第３指標により動きベクトルの横方向の成分の大きさがより大きいと示される参照画像を優先して、前記第１のプリフェッチ方式に決定することを特徴とする請求項１に記載の動画像符号化装置。
前記決定手段は、前記参照画像のそれぞれにおけるプリフェッチ方式に応じた保持範囲における縦方向の範囲が前記保持範囲を帯形状に保持する第１のプリフェッチ方式より前記保持範囲を箱形状に保持する第２のプリフェッチ方式の方が大きい場合、前記縮小画像の動きベクトルから動きベクトルの縦方向の成分の大きさを示す第３指標を前記参照画像毎に算出し、前記第３指標により動きベクトルの縦方向の成分の大きさがより大きいと示される参照画像を優先して、前記第２のプリフェッチ方式に決定することを特徴とする請求項１に記載の動画像符号化装置。
原画像と前記原画像の動きベクトルを検出する際に参照される複数の参照画像のそれぞれを縮小した縮小画像及び複数の縮小参照画像を利用して、
前記原画像の動きベクトルを階層的に検出する動画像符号化方法であって、
前記縮小画像及び前記縮小参照画像に基づいて、前記縮小画像の動きベクトルを検出し、
前記検出の出力である縮小画像の動きベクトルに基づいて、前記参照画像毎のプリフェッチ方式を決定する、
処理を実行する動画像符号化方法。
原画像と前記原画像の動きベクトルを検出する際に参照される複数の参照画像のそれぞれを縮小した縮小画像及び複数の縮小参照画像を利用して、
前記原画像の動きベクトルを階層的に検出する動画像符号化プログラムであって、
前記縮小画像及び前記縮小参照画像に基づいて、前記縮小画像の動きベクトルを検出し、
前記検出の結果である縮小画像の動きベクトルに基づいて、前記参照画像毎のプリフェッチ方式を決定する、
処理をコンピュータに実行させる動画像符号化プログラム。