JP2017060019A - 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム - Google Patents
動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム Download PDFInfo
- Publication number
- JP2017060019A JP2017060019A JP2015183614A JP2015183614A JP2017060019A JP 2017060019 A JP2017060019 A JP 2017060019A JP 2015183614 A JP2015183614 A JP 2015183614A JP 2015183614 A JP2015183614 A JP 2015183614A JP 2017060019 A JP2017060019 A JP 2017060019A
- Authority
- JP
- Japan
- Prior art keywords
- reference image
- block
- area
- encoding
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】複数の領域に分割された画像を複数の符号化部により分担して符号化する際に、動き探索を効率化する。
【解決手段】動画像符号化装置４０１は、Ｎ個の領域に分割された画像を符号化する。符号化部４１１−１〜符号化部４１１−Ｎは、Ｎ個の領域それぞれを符号化し、記憶部４１２−１〜記憶部４１２−Ｎは、Ｎ個の領域それぞれに対応する。各符号化部４１１−ｉの参照画像制御部４２１は、ｉ番目の領域内のあるブロックに対する動き探索のために、記憶部４１２−ｉからの第１の参照画像の読み出しを開始するよりも先に、他の記憶部４１２−ｊからの第２の参照画像の読み出しを開始する。あるブロックは、ｉ番目の領域とｊ番目の領域との間の境界に接するブロックである。次に、予測符号化部４２２は、第１の参照画像と第２の参照画像とに基づいてあるブロックに対する動き探索を行い、動き探索の結果に基づいてあるブロックを予測符号化する。
【選択図】図４
【解決手段】動画像符号化装置４０１は、Ｎ個の領域に分割された画像を符号化する。符号化部４１１−１〜符号化部４１１−Ｎは、Ｎ個の領域それぞれを符号化し、記憶部４１２−１〜記憶部４１２−Ｎは、Ｎ個の領域それぞれに対応する。各符号化部４１１−ｉの参照画像制御部４２１は、ｉ番目の領域内のあるブロックに対する動き探索のために、記憶部４１２−ｉからの第１の参照画像の読み出しを開始するよりも先に、他の記憶部４１２−ｊからの第２の参照画像の読み出しを開始する。あるブロックは、ｉ番目の領域とｊ番目の領域との間の境界に接するブロックである。次に、予測符号化部４２２は、第１の参照画像と第２の参照画像とに基づいてあるブロックに対する動き探索を行い、動き探索の結果に基づいてあるブロックを予測符号化する。
【選択図】図４
Description
本発明は、動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムに関する。
近年、Ｈ．２６４、High Efficiency Video Coding（ＨＥＶＣ，Ｈ．２６５）等の動画像符号化技術が用いられている。動画像符号化技術では、インター予測符号化とイントラ予測符号化の２つの符号化方式が併用される。インター予測符号化は、動画像に含まれる符号化対象画像を符号化済み画像の情報を用いて符号化する符号化方式であり、イントラ予測符号化は、符号化対象画像が持つ情報のみを用いて符号化対象画像を符号化する符号化方式である。
符号化対象画像は複数のブロックに分割され、ブロック毎に符号化される。符号化対象画像は、フレーム又はピクチャと呼ばれることがある。符号化対象画像内のブロックは、マクロブロック又はCoding Tree Block（ＣＴＢ）と呼ばれることがある。
インター予測符号化では、動き探索によって符号化済み画像上でブロックマッチングが行われ、符号化対象ブロックと類似するブロックからの移動量を表す動きベクトルが求められる。そして、ブロック毎に動きベクトルと差分画像とを符号化することで、符号量を削減することが可能になる。インター予測符号化の符号化効率を向上させるためには、動き探索の精度が重要となる。
参照画像をフレームメモリから参照画像用メモリへ転送して動き探索に用いる装置も知られている（例えば、特許文献１及び特許文献２を参照）。画面を領域分割して符号化したときの境界部の画質劣化を目立たないようにする動画像圧縮符号化装置も知られている（例えば、特許文献３を参照）。
上述した従来の動画像符号化技術には、以下のような問題がある。
複数の領域に分割された画像を複数の符号化部により分担して符号化する場合、各領域内における符号化対象ブロックの位置によっては、動き探索のために、他の符号化部に対応するフレームメモリから参照画像が読み出されることがある。この場合、メモリアクセス時間が、符号化対象ブロックが属する領域に対応するフレームメモリから参照画像を読み出す時間よりも長くなり、動き探索が遅延する。
複数の領域に分割された画像を複数の符号化部により分担して符号化する場合、各領域内における符号化対象ブロックの位置によっては、動き探索のために、他の符号化部に対応するフレームメモリから参照画像が読み出されることがある。この場合、メモリアクセス時間が、符号化対象ブロックが属する領域に対応するフレームメモリから参照画像を読み出す時間よりも長くなり、動き探索が遅延する。
１つの側面において、本発明の目的は、複数の領域に分割された画像を複数の符号化部により分担して符号化する際に、動き探索を効率化することである。
１つの案では、動画像符号化装置は、複数の符号化部及び複数の記憶部を含み、複数の領域に分割された画像を符号化する。複数の符号化部は、複数の領域それぞれを符号化し、複数の記憶部は、複数の領域それぞれに対応する。
複数の符号化部のうちある符号化部は、参照画像制御部及び予測符号化部を含む。参照画像制御部は、複数の領域のうち第１の領域内の第１のブロックに対する動き探索のために、第１の記憶部からの第１の参照画像の読み出しを開始するよりも先に、第２の記憶部からの第２の参照画像の読み出しを開始する。
第１のブロックは、第１の領域と第２の領域との間の境界に接するブロックである。第１の記憶部は、複数の記憶部のうち第１の領域に対応する記憶部であり、第２の記憶部は、複数の記憶部のうち第２の領域に対応する記憶部である。
予測符号化部は、第１の参照画像と第２の参照画像とに基づいて第１のブロックに対する動き探索を行い、動き探索の結果に基づいて第１のブロックを予測符号化する。
実施形態によれば、複数の領域に分割された画像を複数の符号化部により分担して符号化する際に、動き探索を効率化することができる。
以下、図面を参照しながら、実施形態を詳細に説明する。
ＨＥＶＣでは、４Ｋ２Ｋ以上の解像度を持つ映像が符号化対象となり、メモリアクセス量の増加に伴って、動画像符号化装置の消費電力及びメモリアクセス時間も増大する傾向が見られる。この場合、動き探索のためにフレームメモリから参照画像を読み出す時間が、メモリアクセス時間の多くの部分を占めることになり、組み込み装置では、メモリアクセス時間の増加が装置全体の性能低下に繋がる。
ＨＥＶＣでは、４Ｋ２Ｋ以上の解像度を持つ映像が符号化対象となり、メモリアクセス量の増加に伴って、動画像符号化装置の消費電力及びメモリアクセス時間も増大する傾向が見られる。この場合、動き探索のためにフレームメモリから参照画像を読み出す時間が、メモリアクセス時間の多くの部分を占めることになり、組み込み装置では、メモリアクセス時間の増加が装置全体の性能低下に繋がる。
図１は、複数の領域に分割された画像の例を示している。図１の画像１０１は、Ｘ×Ｙ画素のサイズを有し、領域１１１〜領域１１４の４つの領域に分割されている。各領域は、タイルと呼ばれることもある。例えば、４Ｋ２Ｋの解像度を持つ画像の場合、Ｘ＝３８４０、Ｙ＝２１６０であってもよい。この場合、各領域は、１９２０×１０８０画素のサイズを有する。８Ｋ４Ｋの解像度を持つ画像の場合、Ｘ＝７６８０、Ｙ＝４３２０であってもよく、画像１０１を１６個の領域に分割してもよい。
このような高解像度の画像１０１を符号化する際、複数の符号化部がそれぞれの領域の画像を符号化する。各符号化部は、チップと呼ばれることもある。例えば、４個の符号化部が領域１１１〜領域１１４を分担して符号化する場合、４個の符号化部それぞれに対応する４個のフレームメモリが設けられる。
したがって、各領域内における符号化対象ブロックの位置によっては、動き探索のために、他の符号化部に対応するフレームメモリから参照画像が読み出されることがある。各領域内のブロックは、例えば、ＣＴＢである。
図２は、符号化対象ブロックの位置と参照領域との関係の例を示している。ある符号化部が境界２０１と境界２０２の間の領域を担当し、符号化対象ブロックがブロック２１１である場合、参照領域２２１に対応する参照画像が読み出される。また、符号化対象ブロックがブロック２１２である場合、参照領域２２２に対応する参照画像が読み出される。符号化対象ブロックがブロック２１３である場合、参照領域２２３に対応する参照画像が読み出され、符号化対象ブロックがブロック２１４である場合、参照領域２２４に対応する参照画像が読み出される。
参照領域２２１及び参照領域２２４は、境界２０１と境界２０２の間に存在するが、参照領域２２２の部分領域２３１は、境界２０２の外側に存在し、参照領域２２３の部分領域２３２は、境界２０１の外側に存在する。したがって、部分領域２３１及び部分領域２３２の参照画像は、他の符号化部に対応するフレームメモリから読み出され、レイテンシが大きくなる。
図３は、図２の参照領域からの参照画像読み出しと動き探索の例を示すタイミングチャートである。参照領域２２１及び参照領域２２４の参照画像は、境界２０１と境界２０２の間の領域を担当する符号化部に対応するフレームメモリに格納されているため、参照画像読み出しのメモリアクセス時間は短い。このため、ブロック２１１及びブロック２１４に対する動き探索は、遅延なく開始される。
一方、参照領域２２２及び参照領域２２３のうち部分領域２３１及び部分領域２３２の参照画像は、他の符号化部に対応するフレームメモリに格納されているため、参照画像読み出しのメモリアクセス時間が長くなる。このため、ブロック２１２及びブロック２１３に対する動き探索の開始が遅れ、メモリアクセス時間が処理遅延として表面化する。
なお、かかる問題は、Ｈ．２６４又はＨＥＶＣを用いた動画像符号化に限らず、他の符号化アルゴリズムを用いる場合においても生ずるものである。
図４は、実施形態の動画像符号化装置の構成例を示している。図４の動画像符号化装置４０１は、Ｎ個（Ｎは２以上の整数）の符号化部４１１−１〜４１１−Ｎ及びＮ個の記憶部４１２−１〜４１２−Ｎを含み、Ｎ個の領域に分割された画像を符号化する。符号化部４１１−１〜符号化部４１１−Ｎは、Ｎ個の領域それぞれを符号化し、記憶部４１２−１〜記憶部４１２−Ｎは、Ｎ個の領域それぞれに対応する。
各符号化部４１１−ｉ（ｉ＝１〜Ｎ）は、参照画像制御部４２１及び予測符号化部４２２を含む。参照画像制御部４２１は、記憶部４１２−１〜記憶部４１２−Ｎから参照画像を読み出し、予測符号化部４２２は、参照画像に基づいて動き探索を行い、ｉ番目の領域内のブロックを予測符号化する。
図５は、図４の各符号化部４１１−ｉが行う動画像符号化処理の例を示すフローチャートである。まず、参照画像制御部４２１は、ｉ番目の領域内のあるブロックに対する動き探索のために、記憶部４１２−ｉからの第１の参照画像の読み出しを開始するよりも先に、他の記憶部４１２−ｊからの第２の参照画像の読み出しを開始する（ステップ５０１）。
あるブロックは、ｉ番目の領域とｊ番目の領域との間の境界に接するブロックである。記憶部４１２−ｉは、ｉ番目の領域に対応する記憶部であり、記憶部４１２−ｊは、ｊ番目の領域に対応する記憶部である。
次に、予測符号化部４２２は、第１の参照画像と第２の参照画像とに基づいてあるブロックに対する動き探索を行い（ステップ５０２）、動き探索の結果に基づいてあるブロックを予測符号化する（ステップ５０３）。
図４の動画像符号化装置４０１によれば、複数の領域に分割された画像を複数の符号化部により分担して符号化する際に、動き探索を効率化することができる。
動画像符号化装置４０１は、様々な用途に利用される。例えば、動画像符号化装置４０１を、ビデオカメラ、映像送信装置、テレビ電話システム、コンピュータ、又は携帯電話機に組み込むことも可能である。
図６は、図４の動画像符号化装置４０１の具体例を示している。図６の動画像符号化装置４０１は、バスブリッジ６０１、メモリバス６０２−１〜メモリバス６０２−Ｎ、フレームメモリ６０３−１〜フレームメモリ６０３−Ｎ、及び符号化部４１１−１〜符号化部４１１−Ｎを含む。符号化部４１１−ｉは、メモリバス６０２−ｉを介してフレームメモリ６０３−ｉに接続され、メモリバス６０２−１〜メモリバス６０２−Ｎは、バスブリッジ６０１を介して互いに接続されている。
フレームメモリ６０３−１〜フレームメモリ６０３−Ｎは、図４の記憶部４１２−１〜記憶部４１２−Ｎに対応し、Ｎ個の領域それぞれの符号化対象画像及び参照画像を記憶する。
図７は、図６の符号化部４１１−ｉの構成例を示している。図７の符号化部４１１−ｉは、参照画像制御部４２１、予測符号化部４２２、及び原画像制御部７０１を含む。予測符号化部４２２は、動き探索部７１１、インター予測部７１２、イントラ予測部７１３、選択部７１４、差分画像生成部７１５、量子化部７１６、逆量子化部７１７、ループフィルタ部７１８、及びエントロピー符号化部７１９を含む。
参照画像制御部４２１、原画像制御部７０１、ループフィルタ部７１８、及びエントロピー符号化部７１９は、メモリバス６０２−ｉを介してフレームメモリ６０３−ｉに接続されている。
動画像符号化装置４０１は、例えば、ハードウェア回路として実装することができる。この場合、符号化部４１１−ｉの各構成要素を個別の回路として実装してもよく、符号化部４１１−ｉを１つの集積回路（チップ）として実装してもよい。
動画像符号化装置４０１に入力される符号化対象動画像に含まれる複数の画像の各々は、カラー画像であってもよく、モノクロ画像であってもよい。カラー画像の場合、画素値はＲＧＢ形式であってもよく、ＹＵＶ形式であってもよい。各画像はＮ個の領域に分割され、ｉ番目の領域の画像が符号化対象画像（原画像）としてフレームメモリ６０３−ｉに格納される。
原画像制御部７０１は、フレームメモリ６０３−ｉから原画像を読み出して、動き探索部７１１、イントラ予測部７１３、及び差分画像生成部７１５へ転送する。参照画像制御部４２１は、フレームメモリ６０３−ｉ又はｊ番目の領域に対応するフレームメモリ６０３−ｊから参照画像を読み出して、動き探索部７１１へ転送する。参照画像としては、原画像よりも先に符号化済みの画像に対応する再構成画像を用いることができる。
予測符号化部４２２内の動き探索部７１１は、参照画像を用いて、原画像内の符号化対象ブロックの動きベクトルを検出し、検出した動きベクトルをインター予測部７１２及び参照画像制御部４２１へ出力する。
動き探索部７１１は、原画像及び参照画像を所定のスケールで縮小した低解像度の画像（縮小画像）を用いて、符号化対象ブロックの動きベクトルを検出することもできる。この場合、原画像及び参照画像の縮小画像は、あらかじめフレームメモリ６０３−ｉに格納されている。
インター予測部７１２は、動き探索部７１１が検出した動きベクトルに基づいて、インター予測を行い、インター予測画像を生成する。イントラ予測部７１３は、逆量子化部７１７から出力される再構成画像を用いて、イントラ予測を行い、イントラ予測画像を生成する。
選択部７１４は、インター予測画像又はイントラ予測画像のうちいずれか一方の予測画像を選択して、差分画像生成部７１５及び逆量子化部７１７へ出力する。差分画像生成部７１５は、選択部７１４から出力される予測画像と符号化対象ブロックとの差分を表す差分画像を生成する。
量子化部７１６は、差分画像生成部７１５が生成する差分画像の直交変換及び量子化を行って、符号化ブロック画像（量子化後の係数情報）を生成し、生成した符号化ブロック画像をループフィルタ部７１８及びエントロピー符号化部７１９へ出力する。このとき、動きベクトル又はイントラ予測モード等の予測情報も、エントロピー符号化部７１９へ出力される。
逆量子化部７１７は、符号化ブロック画像の逆量子化及び逆直交変換を行って、差分画像を生成する。そして、逆量子化部７１７は、生成した差分画像及び予測画像から再構成画像を生成し、生成した再構成画像をイントラ予測部７１３及びループフィルタ部７１８へ出力する。
ループフィルタ部７１８は、再構成画像に対して、ブロック境界の近傍画素を用いてフィルタ処理を行うことで符号化ノイズを低減し、フィルタ処理後の再構成画像をフレームメモリ６０３−ｉに格納する。フレームメモリ６０３−ｉに格納された再構成画像は、原画像よりも後に符号化される画像に対する参照画像として用いることができる。
ループフィルタ部７１８は、再構成画像を所定のスケールで縮小して縮小画像を生成し、再構成画像の縮小画像をフレームメモリ６０３−ｉに格納することもできる。フレームメモリ６０３−ｉに格納された縮小画像は、参照画像の縮小画像として用いることができる。
エントロピー符号化部７１９は、量子化部７１６から出力される複数のブロックの符号化ブロック画像及び予測情報をエントロピー符号化し、原画像の符号化結果である符号化ストリーム（ビットストリーム）を生成する。そして、エントロピー符号化部７１９は、生成した符号化ストリームをフレームメモリ６０３−ｉに格納する。
動画像符号化装置４０１は、フレームメモリ６０３−１〜フレームメモリ６０３−Ｎに格納されたＮ個の符号化ストリームを、動画像復号装置（不図示）へ出力する。
図８は、図７の参照画像制御部４２１の構成例を示している。図８の参照画像制御部４２１は、バッファメモリ制御部８０１、参照画像決定部８０２、動きベクトル記憶部８０３、リクエスト生成部８０４、リクエスト送出部８０５、リクエスト送出部８０６、及びバッファメモリ８０７を含む。リクエスト送出部８０５、リクエスト送出部８０６、及びバッファメモリ８０７は、メモリバス６０２−ｉに接続されている。
参照画像決定部８０２は、動きベクトル記憶部８０３が記憶している符号化済みブロックの動きベクトルに基づいて、ｉ番目の領域内の領域端ブロックに対する動き探索に用いられる参照画像のうち、領域外の参照画像の範囲を決定する。そして、参照画像決定部８０２は、領域外の参照画像の範囲をバッファメモリ制御部８０１及びリクエスト生成部８０４へ出力する。
領域端ブロックは、ｉ番目の領域と、ｉ番目の領域に隣接するｊ番目の領域との間の境界に接するブロックである。領域内の参照画像は、ｉ番目の領域に含まれる参照画像であり、メモリバス６０２−ｉを介してフレームメモリ６０３−ｉから読み出される。領域外の参照画像は、ｊ番目の領域に含まれる参照画像であり、メモリバス６０２−ｉ、バスブリッジ６０１、及びメモリバス６０２−ｊを介して、フレームメモリ６０３−ｊから読み出される。
バッファメモリ制御部８０１は、領域外の参照画像の範囲に応じて、バッファメモリ８０７の記憶領域を領域内及び領域外の参照画像に対して割り当て、それぞれの参照画像に対する割当量をリクエスト生成部８０４へ出力する。
このとき、バッファメモリ制御部８０１は、領域外の参照画像のデータ量を推定し、推定したデータ量に基づいて、ｉ番目の領域内で、領域外の参照画像の読み出しを開始するブロックの位置を決定してもよい。また、バッファメモリ制御部８０１は、過去のバッファメモリ８０７の使用実績に基づいて、領域外の参照画像の読み出しを開始するブロックの位置を決定してもよい。バッファメモリ制御部８０１は、決定したブロックの位置をリクエスト送出部８０５へ出力する。
リクエスト生成部８０４は、符号化済みブロックの動きベクトルと、領域外の参照画像の範囲と、それぞれの参照画像に対するバッファメモリ８０７の割当量とに基づいて、領域内及び領域外の参照画像の読み出し範囲を決定する。そして、リクエスト生成部８０４は、領域内の参照画像の読み出し範囲に基づいて、領域内の参照画像を読み出すための領域内リクエストを生成して、リクエスト送出部８０６へ出力する。また、リクエスト生成部８０４は、領域外の参照画像の読み出し範囲に基づいて、領域外の参照画像を読み出すための領域外リクエストを生成して、リクエスト送出部８０５へ出力する。
リクエスト送出部８０５は、符号化対象ブロックの位置が、バッファメモリ制御部８０１が決定したブロックの位置に移動したとき、領域外リクエストをフレームメモリ６０３−ｊへ送出する。一方、リクエスト送出部８０６は、領域内リクエストをフレームメモリ６０３−ｉへ送出する。
バッファメモリ８０７は、フレームメモリ６０３−ｉ又はフレームメモリ６０３−ｊから出力される領域内又は領域外の参照画像を受信し、受信した参照画像を記憶する。動き探索部７１１は、バッファメモリ８０７が記憶する参照画像を用いて、符号化対象ブロックの動きベクトルを検出し、検出した動きベクトルを動きベクトル記憶部８０３に格納する。動きベクトル記憶部８０３に格納された動きベクトルは、符号化済みブロックの動きベクトルとして用いることができる。
参照画像制御部４２１は、バッファメモリ８０７内に領域内及び領域外の参照画像の記憶領域を動的に確保し、レイテンシの大きな領域外の参照画像又は転送速度の低い領域外の参照画像を十分な時間をかけて先読みする。このとき、バッファメモリ制御部８０１は、領域内及び領域外の参照画像に対する記憶領域の割当量と、領域外の参照画像の先読み期間とを動的に変更する。また、リクエスト生成部８０４は、領域内及び領域外の参照画像の読み出し範囲を動的に変更する。
図９は、バッファメモリ制御部８０１が行うバッファメモリ制御の例を示している。領域外の参照画像の範囲が小さい場合、バッファメモリ制御部８０１は、バッファメモリ８０７の記憶領域のうち少ない記憶領域９０２を、領域外の参照画像に対して割り当て、残りの記憶領域９０１を領域内の参照画像に対して割り当てる。
一方、領域外の参照画像の範囲が大きい場合、バッファメモリ制御部８０１は、記憶領域９０２よりも多くの記憶領域９０４を領域外の参照画像に対して割り当て、残りの記憶領域９０３を領域内の参照画像に対して割り当てる。これにより、領域外の参照画像の範囲に応じてバッファメモリ８０７の割当量を増減することができる。
また、バッファメモリ制御部８０１は、ｉ番目の領域に対応する領域９１０の外側（領域外）の参照画像９１２及び９１３に対して、先読み期間９１１を設定する。これにより、参照画像制御部４２１は、十分な時間をかけて領域外の参照画像９１２及び９１３を読み出し、バッファメモリ８０７の記憶領域９０２に格納することができる。バッファメモリ制御部８０１は、領域外の参照画像のデータ量が少ない場合、短い先読み期間９２１を設定し、領域外の参照画像のデータ量が多い場合、長い先読み期間９２２を設定してもよい。
図１０は、バッファメモリ制御部８０１、参照画像決定部８０２、及びリクエスト生成部８０４が行う読み出し範囲制御の例を示している。参照画像決定部８０２は、符号化済みブロックの動きベクトルに基づいて、画質向上が期待できる領域外の参照画像の範囲を予測する。例えば、参照画像決定部８０２は、領域９１０内の右端の領域端ブロック１００１に対しては、領域外の参照画像の範囲１０１１を設定し、左端の領域端ブロック１００２に対しては、領域外の参照画像の範囲１０１２を設定する。
リクエスト生成部８０４は、符号化済みブロックの動きベクトルと、領域外の参照画像の範囲と、領域内及び領域外の参照画像に対するバッファメモリ８０７の割当量とに基づいて、領域内及び領域外の参照画像の読み出し範囲を決定する。このとき、バッファメモリ制御部８０１は、バッファメモリ８０７の空き容量に応じて、領域内の参照画像に対するバッファメモリ８０７の割当量を変更することもできる。
例えば、領域９１０内のブロック１０２１が符号化対象ブロックであり、バッファメモリ８０７の空き容量が小さい場合、リクエスト生成部８０４は、領域内の参照画像の読み出し範囲１０３１を縮小して読み出し範囲１０４１を設定する。一方、ブロック１０２２が符号化対象ブロックであり、バッファメモリ８０７の空き容量が大きい場合、リクエスト生成部８０４は、領域内の参照画像の読み出し範囲１０３２を拡大して、読み出し範囲１０４２を設定する。読み出し範囲１０４１及び読み出し範囲１０４２としては、画質向上が期待できる範囲が選択される。
図１１は、符号化対象ブロックの位置に応じたバッファメモリ８０７の割当量の変化の例を示している。まず、符号化対象ブロックが領域９１０内のブロック１１０１である場合、先読み期間１１１１が設定され、バッファメモリ８０７の記憶領域１１２１が領域外の参照画像に対して割り当てられ、残りの記憶領域１１２２が領域内の参照画像に対して割り当てられる。
次に、符号化対象ブロックの位置がブロック１１０２の位置に移動すると、バッファメモリ８０７の全記憶領域１１２３が領域内の参照画像に対して割り当てられる。これにより、領域外の参照画像の読み出しが開始されるまでの期間において、領域内の参照画像の読み出し範囲を拡大し、バッファメモリ８０７を効率的に使用することができる。
次に、符号化対象ブロックの位置が先読み期間１１１１の先頭のブロック１１０３の位置に移動すると、右側の領域外の参照画像の範囲１１１２に基づいて、バッファメモリ８０７の記憶領域１１２５が領域外の参照画像に対して割り当てられる。そして、残りの記憶領域１１２４が領域内の参照画像に対して割り当てられる。
次に、符号化対象ブロックの位置がブロック１１０４の位置に移動すると、左側の領域外の参照画像の範囲１１１３に基づいて、バッファメモリ８０７の記憶領域１１２６が領域外の参照画像に対して割り当てられる。そして、記憶領域１１２５及び記憶領域１１２６を除いた残りの記憶領域１１２７が、領域内の参照画像に対して割り当てられる。
次に、符号化対象ブロックの位置が先読み期間１１１１の次のブロック１１０５の位置に移動すると、バッファメモリ８０７の記憶領域１１２６が領域外の参照画像に対して割り当てられ、残りの記憶領域１１２８が領域内の参照画像に対して割り当てられる。
次に、符号化対象ブロックの位置がブロック１１０６の位置に移動すると、再び、バッファメモリ８０７の全記憶領域１１２３が領域内の参照画像に対して割り当てられる。これにより、次の領域外の参照画像の読み出しが開始されるまでの期間において、領域内の参照画像の読み出し範囲を拡大することができる。
図１２は、図６の動画像符号化装置４０１が行う動画像符号化処理の具体例を示すフローチャートである。動画像符号化装置４０１内の符号化部４１１−ｉは、符号化対象動画像に含まれる各画像内のｉ番目の領域に対して、ステップ１２０１〜ステップ１２１０の処理を行う。また、符号化部４１１−ｉは、ｉ番目の領域内の各ブロックに対してステップ１２０１〜ステップ１２０９の処理を行う。
まず、参照画像制御部４２１は、フレームメモリ６０３−ｉから領域内の参照画像を読み出して、バッファメモリ８０７に格納する（ステップ１２０１）。符号化対象ブロックが先読み期間内のブロックである場合、参照画像制御部４２１は、さらにフレームメモリ６０３−ｊから領域外の参照画像を読み出して、バッファメモリ８０７に格納する。
次に、動き探索部７１１は、原画像及び参照画像の縮小画像を用いた動き探索を行って、符号化対象ブロックの動きベクトルを検出する（ステップ１２０２）。次に、動き探索部７１１は、縮小画像から検出した動きベクトルに基づいて、参照画像の探索範囲を決定する（ステップ１２０３）。そして、動き探索部７１１は、探索範囲に対応する元の解像度の参照画像と、元の解像度の原画像とを用いた動き探索を行って、符号化対象ブロックの動きベクトルを検出する。
次に、インター予測部７１２は、動きベクトルに基づいてインター予測を行い、インター予測画像を生成し（ステップ１２０４）、イントラ予測部７１３は、再構成画像を用いてイントラ予測を行い、イントラ予測画像を生成する（ステップ１２０５）。
次に、選択部７１４は、インター予測画像又はイントラ予測画像を選択する（ステップ１２０６）。そして、差分画像生成部７１５、量子化部７１６、及びエントロピー符号化部７１９は、選択された予測画像を用いて、符号化対象ブロックに対応する符号化ストリームを生成する（ステップ１２０７）。
次に、逆量子化部７１７は、量子化部７１６が生成した符号化ブロック画像から差分画像を生成し（ステップ１２０８）、生成した差分画像及び予測画像から再構成画像を生成する（ステップ１２０９）。
ｉ番目の領域内の全ブロックに対してステップ１２０１〜ステップ１２０９の処理が終了すると、ループフィルタ部７１８は、各ブロックの再構成画像に対してフィルタ処理を行う（ステップ１２１０）。そして、ループフィルタ部７１８は、フィルタ処理後の再構成画像をフレームメモリ６０３−ｉに格納するとともに、再構成画像を所定のスケールで縮小して縮小画像を生成し、再構成画像の縮小画像をフレームメモリ６０３−ｉに格納する。
図１３は、図１２のステップ１２０１における参照画像読み出し処理の例を示すフローチャートである。まず、参照画像決定部８０２は、符号化対象ブロックがｉ番目の領域内の水平方向のブロックラインに含まれる左端の領域端ブロックであるか否かをチェックする（ステップ１３０１）。
符号化対象ブロックが左端の領域端ブロックである場合（ステップ１３０１，ＹＥＳ）、参照画像決定部８０２は、符号化済みブロックの動きベクトルに基づいて、領域外の参照画像の範囲を決定する（ステップ１３０２）。
次に、バッファメモリ制御部８０１は、領域外の参照画像の先読み期間を決定し（ステップ１３０３）、領域内及び領域外の参照画像に対するバッファメモリ８０７の割当量を決定する（ステップ１３０４）。
次に、リクエスト生成部８０４は、領域内の参照画像の読み出し範囲を決定し、領域内リクエストを生成する（ステップ１３０５）。そして、リクエスト送出部８０６は、領域内リクエストをフレームメモリ６０３−ｉへ送出する（ステップ１３０６）。
次に、リクエスト生成部８０４は、領域外の参照画像の読み出し範囲を決定し、領域外リクエストを生成する（ステップ１３０７）。
符号化対象ブロックが左端の領域端ブロックではない場合（ステップ１３０１，ＮＯ）、参照画像制御部４２１は、ステップ１３０４以降の処理を行う。
図１４は、図１２の動画像符号化処理と非同期に行われる領域外リクエスト発行処理の例を示すフローチャートである。まず、リクエスト送出部８０５は、符号化対象ブロックの位置が先読み期間内であるか否かをチェックする（ステップ１４０１）。符号化対象ブロックの位置が先読み期間内ではない場合（ステップ１４０１，ＮＯ）、リクエスト送出部８０５は、次の符号化対象ブロックについてステップ１４０１の処理を繰り返す。
一方、符号化対象ブロックの位置が先読み期間内である場合（ステップ１４０１，ＹＥＳ）、リクエスト送出部８０５は、領域外リクエストをフレームメモリ６０３−ｊへ送出する（ステップ１４０２）。そして、リクエスト送出部８０５は、次の符号化対象ブロックについてステップ１４０１以降の処理を繰り返す。
図１５は、図１２の動画像符号化処理と非同期に行われる参照画像格納処理の例を示すフローチャートである。まず、バッファメモリ制御部８０１は、バッファメモリ８０７がメモリバス６０２−ｉから参照画像の画素を受信したか否かをチェックする（ステップ１５０１）。バッファメモリ８０７が参照画像の画素を受信していない場合（ステップ１５０１，ＮＯ）、バッファメモリ制御部８０１は、ステップ１５０１の処理を繰り返す。
一方、バッファメモリ８０７が参照画像の画素を受信した場合（ステップ１５０１，ＹＥＳ）、バッファメモリ制御部８０１は、受信した画素をバッファメモリ８０７に格納する（ステップ１５０２）。受信した画素の座標値がｉ番目の領域内の座標値であれば、その画素は領域内の参照画像に割り当てられた記憶領域に格納される。一方、受信した画素の座標値がｉ番目の領域の外部の座標値であれば、その画素は領域外の参照画像に割り当てられた記憶領域に格納される。そして、バッファメモリ制御部８０１は、ステップ１５０１以降の処理を繰り返す。
図１６は、図９の領域９１０内のブロックラインの例を示している。ブロックライン内における符号化対象ブロックの位置に応じて、領域外の参照画像を読み出すか否かが決定される。符号化対象ブロックがブロックラインの先頭のブロック１６０１である場合、領域外の参照画像の先読み期間１６０３が決定される。
符号化対象ブロックが、ブロックライン内の先読み期間１６０３よりも前の期間１６０２に含まれるいずれかのブロックである場合、領域内の参照画像のみが読み出される。一方、符号化対象ブロックが、先読み期間１６０３に含まれるいずれかのブロックである場合、領域内及び領域外の参照画像が読み出される。
図１７は、図１６の領域９１０内のブロックの個数の例を示している。ｂｎｕｍ＿ｘは、領域９１０のｘ方向（水平方向）のブロックの個数を表し、Ｂは、先読み期間１６０３に含まれるブロックの個数を表す。
図１８は、参照画像の範囲を決定するために用いられる平均動きベクトルの例を示している。符号化対象ブロック１８０１に対する参照画像の範囲を決定する際、隣接する符号化済みブロックの動きベクトルを平均することで、平均動きベクトルｍｖμが求められる。
図１８の例では、左上隣接ブロック１８０２の動きベクトル１８１２、上隣接ブロック１８０３の動きベクトル１８１３、及び左隣接ブロック１８０４の動きベクトル１８１４を平均することで、平均動きベクトル１８１１が求められる。そして、平均動きベクトル１８１１に基づいて、符号化対象ブロック１８０１に対する参照画像の範囲が決定される。動きベクトル１８１２〜動きベクトル１８１４の一部を用いて平均動きベクトル１８１１を求めてもよい。
図１９〜図２７は、図１３の参照画像読み出し処理の例を示している。図１９は、符号化対象ブロックが左端の領域端ブロックである場合の参照画像読み出し処理の例を示している。
符号化対象ブロックが左端の領域端ブロック１９０１である場合、ステップ１３０２において、参照画像決定部８０２は、隣接する符号化済みブロックの動きベクトルに基づいて、領域外の参照画像の範囲を予測する。
このとき、参照画像決定部８０２は、同じブロックライン内の右端の領域端ブロック１９０２の左上隣接ブロック１９０３の動きベクトル１９１１と、上隣接ブロック１９０４の動きベクトル１９１２とから、平均動きベクトル１９１３を求める。次に、参照画像決定部８０２は、領域端ブロック１９０２を平均動きベクトル１９１３に従って移動させ、移動後の領域端ブロック１９０２を所定画素数だけ拡大して、探索範囲を生成する。そして、参照画像決定部８０２は、生成した探索範囲内の画素のうち領域外に存在する画素を、領域端ブロック１９０２に対する領域外の参照画像の範囲１９２１に決定する。
同様にして、参照画像決定部８０２は、次のブロックライン内の左端の領域端ブロック１９０５に対する、領域外の参照画像の範囲１９２２を決定する。ただし、領域端ブロック１９０５の左上隣接ブロックは領域外に存在する。また、上隣接ブロック１９０１は符号化対象ブロックであるため、上隣接ブロック１９０１の動きベクトルは未だ検出されていない。この場合、参照画像決定部８０２は、ブロック１９０１の上隣接ブロックの動きベクトルを、領域端ブロック１９０５に対する平均動きベクトルとして用いてもよい。
次に、バッファメモリ制御部８０１は、ステップ１３０３において、領域外の参照画像の先読み期間１９３１に含まれるブロックの個数Ｂを決定し、１ブロックの処理時間中に読み出す領域外の参照画像の最大画素数Ａを決定する。最大画素数Ａは、領域外の参照画像の範囲（範囲１９２１及び範囲１９２２）の画素数ｒｎｕｍを用いて、例えば、次式により求めることができる。
Ａ＝ｒｎｕｍ／Ｂ （１）
Ａ＝ｒｎｕｍ／Ｂ （１）
先読み期間１９３１の決定方法としては、例えば、以下の３つのモードが考えられる。
（１）モード０
バッファメモリ制御部８０１は、あらかじめ決められた所定期間を先読み期間として設定し、先読み期間内のブロックの個数Ｂとして固定値Ｂ’を用いる。固定値Ｂ’は、パラメータチューニングにより決定してもよい。この場合、動画像符号化装置４０１の性能測定を行った結果に基づいて、最も性能が高くなる値が固定値Ｂ’として選択される。
また、メモリバス６０２−１〜メモリバス６０２−Ｎの性能又は目標スループットに応じて、固定値Ｂ’を決定してもよい。この場合、性能に対する余裕が大きくなるほどＢ’は小さくなる。言い換えれば、１ブロックの処理時間が大きいほど、先読み期間を短く設定することができる。
（１）モード０
バッファメモリ制御部８０１は、あらかじめ決められた所定期間を先読み期間として設定し、先読み期間内のブロックの個数Ｂとして固定値Ｂ’を用いる。固定値Ｂ’は、パラメータチューニングにより決定してもよい。この場合、動画像符号化装置４０１の性能測定を行った結果に基づいて、最も性能が高くなる値が固定値Ｂ’として選択される。
また、メモリバス６０２−１〜メモリバス６０２−Ｎの性能又は目標スループットに応じて、固定値Ｂ’を決定してもよい。この場合、性能に対する余裕が大きくなるほどＢ’は小さくなる。言い換えれば、１ブロックの処理時間が大きいほど、先読み期間を短く設定することができる。
（２）モード１
バッファメモリ制御部８０１は、領域端ブロックの周辺の動きベクトルに基づいて先読み期間を決定する。この場合、バッファメモリ制御部８０１は、例えば、参照画像決定部８０２が求めた領域外の参照画像の範囲の画素数ｒｎｕｍを用いて、次式により先読み期間内のブロックの個数Ｂを決定することができる。
Ｂ＝ＭＩＮ（ｂｎｕｍ＿ｘ，ＣＥＩＬ（ｒｎｕｍ／Ｃ）） （２）
バッファメモリ制御部８０１は、領域端ブロックの周辺の動きベクトルに基づいて先読み期間を決定する。この場合、バッファメモリ制御部８０１は、例えば、参照画像決定部８０２が求めた領域外の参照画像の範囲の画素数ｒｎｕｍを用いて、次式により先読み期間内のブロックの個数Ｂを決定することができる。
Ｂ＝ＭＩＮ（ｂｎｕｍ＿ｘ，ＣＥＩＬ（ｒｎｕｍ／Ｃ）） （２）
式（２）の係数Ｃは、メモリバス６０２−１〜メモリバス６０２−Ｎを介して領域外の参照画像を転送する際の転送スループットを表し、固定値であってもよく、可変であってもよい。例えば、動画像符号化装置４０１の動作時の転送スループットを計測してフィードバックする場合、係数Ｃは可変になる。ＣＥＩＬ（Ｒ）は、実数Ｒ以上の最小の整数を表す関数である。
（３）モード２
バッファメモリ制御部８０１は、バッファメモリ８０７の使用実績に基づいて先読み期間を決定する。この場合、バッファメモリ制御部８０１は、例えば、過去のある時点におけるバッファメモリ８０７の空き容量Ｓを用いて、次式により先読み期間内のブロックの個数Ｂを決定することができる。
Ｂ＝ＦＬＯＯＲ（Ｓ＊Ｄ） （３）
バッファメモリ制御部８０１は、バッファメモリ８０７の使用実績に基づいて先読み期間を決定する。この場合、バッファメモリ制御部８０１は、例えば、過去のある時点におけるバッファメモリ８０７の空き容量Ｓを用いて、次式により先読み期間内のブロックの個数Ｂを決定することができる。
Ｂ＝ＦＬＯＯＲ（Ｓ＊Ｄ） （３）
式（３）の補正値Ｄは、固定値Ｂ’と同様に、パラメータチューニングにより決定してもよく、目標スループットに応じて決定してもよい。ＦＬＯＯＲ（Ｒ）は、実数Ｒ以下の最大の整数を表す関数である。
図２０は、モード０の先読み期間の例を示している。この場合、先読み期間１９３１内のブロックの個数Ｂとして固定値Ｂ’が用いられ、符号化対象ブロックの位置が、領域９１０内で所定期間の先頭のｘ座標に対応する位置２００１に移動したとき、領域外の参照画像の読み出しが開始される。
図２１は、モード１の先読み期間の例を示している。符号化対象ブロックが領域端ブロック２１０１である場合、参照画像決定部８０２は、領域端ブロック２１０２の隣接ブロック２１０３及び２１０４の動きベクトル２１１１及び２１１２から平均動きベクトル２１１３を求める。次に、参照画像決定部８０２は、平均動きベクトル２１１３に基づいて、領域端ブロック２１０２に対する領域外の参照画像の範囲２１２１を決定する。同様にして、参照画像決定部８０２は、領域端ブロック２１０５に対する領域外の参照画像の範囲２１２２を決定する。
次に、バッファメモリ制御部８０１は、範囲２１２１及び範囲２１２２の画素数ｒｎｕｍを用いて、式（２）により先読み期間２１３１内のブロックの個数Ｂを決定する。
符号化対象ブロックが領域端ブロック２１０６である場合、参照画像決定部８０２は、領域端ブロック２１０７の隣接ブロック２１０８及び２１０９の動きベクトル２１１４及び２１１５から平均動きベクトル２１１６を求める。次に、参照画像決定部８０２は、平均動きベクトル２１１６に基づいて、領域端ブロック２１０７に対する領域外の参照画像の範囲２１２３を決定する。同様にして、参照画像決定部８０２は、領域端ブロック２１１０に対する領域外の参照画像の範囲２１２４を決定する。
次に、バッファメモリ制御部８０１は、範囲２１２３及び範囲２１２４の画素数ｒｎｕｍを用いて、式（２）により先読み期間２１３２内のブロックの個数Ｂを決定する。
平均動きベクトル２１１６は平均動きベクトル２１１３よりも大きいため、領域外の参照画像の範囲２１２３は、領域外の参照画像の範囲２１２１よりも大きい。同様に、領域外の参照画像の範囲２１２４は、領域外の参照画像の範囲２１２２よりも大きい。このため、範囲２１２３及び範囲２１２４の画素数ｒｎｕｍは、範囲２１２１及び範囲２１２２の画素数ｒｎｕｍよりも多くなり、先読み期間２１３２内のブロックの個数Ｂは、先読み期間２１３１内のブロックの個数Ｂよりも多くなる。
このように、先読み対象となる領域端ブロックの周辺の動きベクトルにおける領域外の方向の成分が大きいほど、先読み期間が長くなり、領域外の参照画像の読み出しが早く開始される。これにより、領域外の参照画像の画素数に応じて、読み出し時間を制御することができる。
図２２は、モード２の先読み期間の例を示している。符号化対象ブロックが領域端ブロック２２０１である場合、参照画像決定部８０２は、領域端ブロック２２０２の隣接ブロック２２０３及び２２０４の動きベクトル２２１１及び２２１２から平均動きベクトル２２１３を求める。次に、参照画像決定部８０２は、平均動きベクトル２２１３に基づいて、領域端ブロック２２０２に対する領域外の参照画像の範囲２２２１を決定する。
次に、バッファメモリ制御部８０１は、バッファメモリ８０７の空き容量Ｓを用いて、式（３）により先読み期間２２３１内のブロックの個数Ｂを決定する。空き容量Ｓとしては、領域９１０内の左上のブロックから符号化対象ブロックの直前のブロック２２０４までのいずれかのブロックが符号化された時点における、バッファメモリ８０７の空き容量を用いることができる。
例えば、ある時点において、バッファメモリ８０７の全記憶領域２２４１が領域内の参照画像に対して割り当てられており、そのうち記憶領域２２４２が実際に使用されている場合、残りの記憶領域２２４３の容量が空き容量Ｓとして用いられる。
符号化対象ブロックが領域端ブロック２２０５である場合、参照画像決定部８０２は、領域端ブロック２２０６の隣接ブロック２２０７及び２２０８の動きベクトル２２１４及び２２１５から平均動きベクトル２２１６を求める。次に、参照画像決定部８０２は、平均動きベクトル２２１６に基づいて、領域端ブロック２２０６に対する領域外の参照画像の範囲２２２２を決定する。
次に、バッファメモリ制御部８０１は、バッファメモリ８０７の空き容量Ｓを用いて、式（３）により先読み期間２２３２内のブロックの個数Ｂを決定する。例えば、ある時点において、バッファメモリ８０７の全記憶領域２２４１が領域内の参照画像に対して割り当てられており、そのうち記憶領域２２４４が実際に使用されている場合、残りの記憶領域２２４５の容量が空き容量Ｓとして用いられる。
記憶領域２２４５の容量は、記憶領域２２４３の容量よりも小さいため、先読み期間２２３２内のブロックの個数Ｂは、先読み期間２２３１内のブロックの個数Ｂよりも少なくなる。このように、バッファメモリ８０７の空き容量Ｓが大きいほど、先読み期間が長くなり、領域外の参照画像の読み出しが早く開始される。これにより、バッファメモリ８０７の使用実績に応じて、読み出し時間を制御することができる。
次に、バッファメモリ制御部８０１は、ステップ１３０４において、現在の符号化対象ブロックの処理時間中に読み出す領域外の参照画像の画素数Ｅを決定する。
符号化対象ブロックが先読み期間外に存在する場合、Ｅ＝０である。符号化対象ブロックが先読み期間内に存在する場合、画素数Ｅは、領域外の参照画像の範囲の画素数ｒｎｕｍのうち未だ読み出していない残りの画像数ｐｎｕｍを用いて、例えば、次式により求めることができる。
Ｅ＝ＭＩＮ（Ａ，ｐｎｕｍ） （４）
Ｅ＝ＭＩＮ（Ａ，ｐｎｕｍ） （４）
そして、バッファメモリ制御部８０１は、バッファメモリ８０７の画素数Ｅに相当する記憶領域を、領域外の参照画像に対して割り当て、残りの記憶領域を領域内の参照画像に対して割り当てる。領域内の参照画像に対する割当量Ｆは、バッファメモリ８０７の全記憶領域の画素数Ｇを用いて、例えば、次式により求めることができる。
Ｆ＝Ｇ−Ｅ （５）
Ｆ＝Ｇ−Ｅ （５）
式（５）の画素数Ｇは、例えば、１ブロックの処理時間中に読み出し可能な領域内の参照画像の画素数に対応する。バッファメモリ制御部８０１は、領域外の参照画像に対する割当量Ｅ及び領域内の参照画像に対する割当量Ｆを、リクエスト生成部８０４へ出力する。
次に、リクエスト生成部８０４は、ステップ１３０５において、符号化対象ブロックに隣接する符号化済みブロックの動きベクトルに基づいて、領域内の参照画像の読み出し範囲を決定する。
このとき、リクエスト生成部８０４は、符号化対象ブロックの左上隣接ブロック、上隣接ブロック、及び左隣接ブロックの動きベクトルから、平均動きベクトルｍｖμを求める。次に、リクエスト生成部８０４は、符号化対象ブロックをｍｖμに従って移動させ、移動後の符号化対象ブロックを所定画素数だけ拡大して、探索範囲を生成する。
ただし、符号化対象ブロックが図１９の領域端ブロック１９０１である場合、領域端ブロック１９０１の左上隣接ブロック及び左隣接ブロックは領域外に存在する。この場合、リクエスト生成部８０４は、領域端ブロック１９０１の上隣接ブロックの動きベクトルを、領域端ブロック１９０１に対する平均動きベクトルｍｖμとして用いてもよい。
次に、リクエスト生成部８０４は、生成した探索範囲の画素数と、領域内の参照画像に対する割当量Ｆとを比較する。割当量Ｆが探索範囲の画素数よりも少ない場合、リクエスト生成部８０４は、平均動きベクトルｍｖμの方向から遠い画素を探索範囲から除くことで、探索範囲を縮小する。一方、割当量Ｆが探索範囲の画素数よりも多い場合、リクエスト生成部８０４は、平均動きベクトルｍｖμの方向に存在する画素を探索範囲に加えることで、探索範囲をさらに拡大する。
次に、リクエスト生成部８０４は、縮小又は拡大後の探索範囲を、符号化対象ブロックに対する領域内の参照画像の読み出し範囲に決定する。これにより、読み出し可能な割当量Ｆに合わせた読み出し範囲を設定することができる。そして、リクエスト生成部８０４は、領域内の参照画像の読み出し範囲から参照画像を読み出す領域内リクエストを生成する。
次に、リクエスト生成部８０４は、ステップ１３０７において、領域外の参照画像の範囲のうち未だ読み出していない部分から、領域外の参照画像に対する割当量Ｅだけの画素を読み出す、領域外リクエストを生成する。
図２３は、符号化対象ブロックが領域端以外のブロックである場合の参照画像読み出し処理の例を示している。符号化対象ブロックがブロック２３０１である場合、バッファメモリ８０７の全記憶領域２２４１が領域内の参照画像に対して割り当てられ、領域内の参照画像の読み出しのみが行われる。領域内の参照画像の読み出し範囲２３１１のうち左半分２３１２の参照画像は、直前のブロックを符号化する際に読み出されており、再利用することができる。このため、右半分２３１３の参照画像のみが読み出される。
図２４は、符号化対象ブロックが先読み期間の先頭ブロックである場合の参照画像読み出し処理の例を示している。符号化対象ブロックが先読み期間１９３１の先頭ブロック２４０１である場合、バッファメモリ８０７の記憶領域２４４１が領域内の参照画像に対して割り当てられ、残りの記憶領域２４４２が領域外の参照画像に対して割り当てられる。
リクエスト生成部８０４は、ブロック２４０１の上隣接ブロック２４０２及び左隣接ブロック２４０３の動きベクトル２４１１及び２４１２から平均動きベクトル２４１３を求め、平均動きベクトル２４１３に基づいて探索範囲２４２１を生成する。リクエスト生成部８０４は、さらにブロック２４０１の左上隣接ブロック（不図示）の動きベクトルを加えて、平均動きベクトル２４１３を求めてもよい。
次に、リクエスト生成部８０４は、平均動きベクトル２４１３の方向に存在する画素をなるべく残しながら、探索範囲２４２１を縮小して、読み出し範囲２４２２を生成する。この場合、読み出し範囲２４２２の右半分から領域内の参照画像が読み出されるとともに、領域外の参照画像の範囲１９２１から最大画素数Ａの参照画像２４３１が読み出される。
図２５は、符号化対象ブロックが先読み期間の２番目のブロックである場合の参照画像読み出し処理の例を示している。符号化対象ブロックが先読み期間１９３１の２番目のブロック２５０１である場合、バッファメモリ８０７の記憶領域２５４１が領域内の参照画像に対して割り当てられ、残りの記憶領域２５４２が領域外の参照画像に対して割り当てられる。
リクエスト生成部８０４は、ブロック２５０１の上隣接ブロック２５０２及び左隣接ブロック２５０３の動きベクトル２５１１及び２５１２から平均動きベクトル２５１３を求め、平均動きベクトル２５１３に基づいて探索範囲２５２１を生成する。リクエスト生成部８０４は、さらにブロック２５０１の左上隣接ブロック（不図示）の動きベクトルを加えて、平均動きベクトル２５１３を求めてもよい。
次に、リクエスト生成部８０４は、平均動きベクトル２５１３の方向に存在する画素をなるべく残しながら、探索範囲２５２１を縮小して、読み出し範囲２５２２を生成する。この場合、読み出し範囲２５２２の右半分から領域内の参照画像が読み出されるとともに、領域外の参照画像の範囲１９２１から最大画素数Ａの参照画像が読み出される。これにより、最大画素数Ａの２倍の参照画像２５３１が読み出し済みとなる。
図２６は、符号化対象ブロックが先読み期間の末尾のブロックである場合の参照画像読み出し処理の例を示している。符号化対象ブロックが先読み期間１９３１の末尾のブロック１９０２である場合、バッファメモリ８０７の記憶領域２６１２が領域内の参照画像に対して割り当てられる。また、記憶領域２６１３が領域外の参照画像の範囲１９２１に対して割り当てられ、記憶領域２６１１が領域外の参照画像の範囲１９２２に対して割り当てられる。ブロック１９０２の符号化が終了した時点で、範囲１９２１及び範囲１９２２の参照画像の読み出しが完了する。
図２７は、符号化対象ブロックが次のブロックラインの左端の領域端ブロックである場合の参照画像読み出し処理の例を示している。符号化対象ブロックが領域端ブロック１９０５である場合、参照画像決定部８０２は、再び隣接する符号化済みブロックの動きベクトルに基づいて、領域外の参照画像の範囲を予測する。
このとき、参照画像決定部８０２は、右端の領域端ブロック２７０１の左上隣接ブロック２７０２の動きベクトル２７１１と、上隣接ブロック１９０２の動きベクトル２７１２とから、平均動きベクトル２７１３を求める。次に、参照画像決定部８０２は、平均動きベクトル１９１３に基づいて、領域端ブロック２７０１に対する領域外の参照画像の範囲２７２１を決定する。同様にして、参照画像決定部８０２は、次のブロックライン内の左端の領域端ブロック２７０３に対する、領域外の参照画像の範囲２７２２を決定する。
そして、バッファメモリ制御部８０１は、領域外の参照画像の先読み期間２７３１に含まれるブロックの個数Ｂを決定し、式（１）により最大画素数Ａを決定する。この場合、バッファメモリ８０７の全記憶領域２２４１が領域内の参照画像に対して割り当てられる。
図２８は、先読み期間を適用した図２の参照領域からの参照画像読み出しと動き探索の例を示すタイミングチャートである。参照領域２２２及び２２３の参照画像のうち、領域内の参照画像２８０１及び２８０２の読み出しは、ブロック２１２及び２１３に対する動き探索の直前に開始される。一方、部分領域２３１及び２３２からの領域外の参照画像の読み出しは、ブロック２１２及び２１３に対する動き探索よりも先読み期間だけ先行して開始される。
このため、領域外の参照画像の読み出しにかかるメモリアクセス時間が隠蔽され、他の符号化部に対応するフレームメモリから参照画像を読み出す場合であっても、動き探索を遅延なく開始することができる。
図４及び図６の動画像符号化装置４０１、図７の符号化部４１１−ｉ、及び図８の参照画像制御部４２１の構成は一例に過ぎず、動画像符号化装置４０１の用途や条件に応じて一部の構成要素を省略又は変更してもよい。
例えば、図７の符号化部４１１−ｉにおいて、差分画像生成部７１５が生成する差分画像の直交変換及び量子化の代わりに、別の変換アルゴリズムを使用する場合、量子化部７１６及び逆量子化部７１７を別の構成要素に変更することができる。また、エントロピー符号化の代わりに別の符号化アルゴリズムを使用する場合、エントロピー符号化部７１９を別の符号化部に変更することができる。逆量子化部７１７が生成する再構成画像においてノイズがあまり発生しない場合、ループフィルタ部７１８を省略することができる。
図８の参照画像制御部４２１において、リクエスト生成部８０４が領域内リクエスト及び領域外リクエストを直接送出する場合、リクエスト送出部８０５及びリクエスト送出部８０６を省略することができる。
図５及び図１２〜図１５に示したフローチャートは一例に過ぎず、動画像符号化装置４０１の構成や条件に応じて一部の処理を省略又は変更してもよい。例えば、図１２の動画像符号化処理において、縮小画像を用いた動き探索を行わない場合、ステップ１２０２の処理を省略することができる。
ステップ１２０４の処理とステップ１２０５の処理とを入れ替えてもよく、これらの処理を並列に行ってもよい。ループフィルタ部７１８を省略する場合、ステップ１２１０の処理を省略することができる。
図１３のステップ１３０１において、参照画像決定部８０２は、符号化対象ブロックがブロックラインに含まれる左端以外の所定位置のブロックであるか否かをチェックしてもよい。この場合、符号化対象ブロックの位置が所定位置に移動したときに、ステップ１３０２及びステップ１３０３の処理が行われる。
ステップ１３０２において、参照画像決定部８０２は、領域端ブロックに隣接する符号化済みブロックの動きベクトルの平均動きベクトルの代わりに、別の動きベクトルに基づいて参照画像の範囲を決定してもよい。例えば、隣接する符号化済みブロックの動きベクトルの重み付き平均を用いてもよく、いずれか１つの動きベクトルを選択して用いてもよい。
同様に、ステップ１３０５において、リクエスト生成部８０４は、符号化対象ブロックに隣接する符号化済みブロックの動きベクトルの平均動きベクトルの代わりに、別の動きベクトルに基づいて探索範囲を決定してもよい。
ステップ１３０３において、バッファメモリ制御部８０１は、モード０〜モード２以外の別の決定方法により、先読み期間を決定してもよい。バッファメモリ制御部８０１は、式（１）以外の計算式により最大画素数Ａを求めてもよく、式（２）以外の計算式によりモード１におけるブロックの個数Ｂを求めてもよく、式（３）以外の計算式によりモード２におけるブロックの個数Ｂを求めてもよい。
ステップ１３０４において、バッファメモリ制御部８０１は、式（４）以外の計算式により領域外の参照画像に対する割当量Ｅを求めてもよく、式（５）以外の計算式により領域内の参照画像に対する割当量Ｆを求めてもよい。
図１の分割方法は一例に過ぎず、動画像符号化装置４０１の構成や条件に応じて別の分割方法を用いてもよい。例えば、領域の個数は、画像の解像度に応じて増減することができる。図２のブロック及び参照領域は一例に過ぎず、動画像符号化装置４０１の構成や条件に応じて別のブロック又は参照領域を用いてもよい。
図９〜図１１及び図１６〜図２７のブロック、先読み期間、バッファメモリの記憶領域、動きベクトル、領域外の参照画像の範囲、領域内の参照画像の読み出し範囲等は一例に過ぎない。動画像符号化装置４０１の構成や条件に応じて、別のブロック等を用いてもよい。
図４、図６、及び図７の符号化部４１１−ｉは、ハードウェア回路として実装することもでき、図２９に示すような情報処理装置（コンピュータ）を用いて実現することもできる。
図２９の情報処理装置２９０１は、プロセッサ２９１１、メモリ２９１２、及びネットワーク接続装置２９１３を含む。これらの構成要素はバス２９１４により互いに接続されている。
メモリ２９１２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリである。メモリ２９１２は、動画像符号化処理に用いられるプログラム及びデータを格納する。メモリ２９１２は、図８の動きベクトル記憶部８０３及びバッファメモリ８０７として用いることもできる。
プロセッサ２９１１は、例えば、メモリ２９１２を利用してプログラムを実行することにより、図４及び図７の参照画像制御部４２１及び予測符号化部４２２として動作する。プロセッサ２９１１は、図７の原画像制御部７０１、動き探索部７１１、インター予測部７１２、イントラ予測部７１３、選択部７１４、及び差分画像生成部７１５としても動作する。プロセッサ２９１１は、量子化部７１６、逆量子化部７１７、ループフィルタ部７１８、及びエントロピー符号化部７１９としても動作する。
プロセッサ２９１１は、図８のバッファメモリ制御部８０１、参照画像決定部８０２、リクエスト生成部８０４、リクエスト送出部８０５、及びリクエスト送出部８０６としても動作する。
ネットワーク接続装置２９１３は、メモリバス６０２−ｉに接続され、通信に伴うデータ変換を行う通信インタフェースである。メモリバス６０２−ｉを、Local Area Network（ＬＡＮ）、インターネット等の通信ネットワークに接続することも可能である。この場合、情報処理装置２９０１は、プログラム及びデータを外部の装置からネットワーク接続装置２９１３を介して受信し、それらをメモリ２９１２にロードして使用することもできる。
媒体駆動装置２９０２は、情報処理装置２９０１に接続されて可搬型記録媒体２９０３を駆動し、その記録内容にアクセスする。可搬型記録媒体２９０３は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体２９０３は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、又はUniversal Serial Bus（ＵＳＢ）メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体２９０３にプログラム及びデータを格納しておき、それらをメモリ２９１２にロードして使用することができる。
このように、プログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ２９１２又は可搬型記録媒体２９０３のような、物理的な（非一時的な）記録媒体である。なお、情報処理装置２９０１が可搬型記録媒体２９０３にアクセスしない場合は、媒体駆動装置２９０２を省略することができる。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
図１乃至図２９を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
複数の領域に分割された画像を符号化する動画像符号化装置であって、
前記複数の領域それぞれを符号化する複数の符号化部と、
前記複数の領域それぞれに対応する複数の記憶部と、
を備え、
前記複数の符号化部のうちある符号化部は、
前記複数の領域のうち第１の領域と第２の領域との間の境界に接する、前記第１の領域内の第１のブロックに対する動き探索のために、前記複数の記憶部のうち前記第１の領域に対応する第１の記憶部からの第１の参照画像の読み出しを開始するよりも先に、前記複数の記憶部のうち前記第２の領域に対応する第２の記憶部からの第２の参照画像の読み出しを開始する参照画像制御部と、
前記第１の参照画像と前記第２の参照画像とに基づいて前記第１のブロックに対する前記動き探索を行い、前記動き探索の結果に基づいて前記第１のブロックを予測符号化する予測符号化部と、
を含むことを特徴とする動画像符号化装置。
（付記２）
前記参照画像制御部は、
前記複数の記憶部から読み出される参照画像を記憶するバッファメモリと、
前記第１の領域内の符号化対象ブロックの位置に応じて、前記第１の記憶部から読み出される前記第１の参照画像に対する前記バッファメモリの割当量と、前記第２の記憶部から読み出される前記第２の参照画像に対する前記バッファメモリの割当量とを制御するバッファメモリ制御部と、
を含むことを特徴とする付記１記載の動画像符号化装置。
（付記３）
前記参照画像制御部は、前記複数の領域のうち前記第１の領域と第３の領域との間の境界に接する、前記第１の領域内の第２のブロックを、前記第１のブロックよりも先に符号化する際、前記第２の参照画像のデータ量を推定し、推定したデータ量に基づいて前記第２の参照画像の読み出しを開始する第３のブロックの位置を決定することを特徴とする付記１又は２記載の動画像符号化装置。
（付記４）
前記参照画像制御部は、前記複数の領域のうち前記第１の領域と第３の領域との間の境界に接する、前記第１の領域内の第２のブロックを、前記第１のブロックよりも先に符号化する際、前記バッファメモリの使用実績に基づいて、前記第２の参照画像の読み出しを開始する第３のブロックの位置を決定することを特徴とする付記１又は２記載の動画像符号化装置。
（付記５）
画像内の複数の領域それぞれを符号化する複数の符号化部と、前記複数の領域それぞれに対応する複数の記憶部とを備え、前記複数の領域に分割された前記画像を符号化する動画像符号化装置において、
前記複数の符号化部のうちある符号化部が、
前記複数の領域のうち第１の領域と第２の領域との間の境界に接する、前記第１の領域内の第１のブロックに対する動き探索のために、前記複数の記憶部のうち前記第１の領域に対応する第１の記憶部からの第１の参照画像の読み出しを開始するよりも先に、前記複数の記憶部のうち前記第２の領域に対応する第２の記憶部からの第２の参照画像の読み出しを開始し、
前記第１の参照画像と前記第２の参照画像とに基づいて前記第１のブロックに対する前記動き探索を行い、
前記動き探索の結果に基づいて前記第１のブロックを予測符号化する、
ことを特徴とする動画像符号化方法。
（付記６）
前記ある符号化部は、
前記複数の記憶部から読み出される参照画像を記憶するバッファメモリを含み、
前記第１の領域内の符号化対象ブロックの位置に応じて、前記第１の記憶部から読み出される前記第１の参照画像に対する前記バッファメモリの割当量と、前記第２の記憶部から読み出される前記第２の参照画像に対する前記バッファメモリの割当量とを制御する、
ことを特徴とする付記５記載の動画像符号化方法。
（付記７）
前記ある符号化部は、前記複数の領域のうち前記第１の領域と第３の領域との間の境界に接する、前記第１の領域内の第２のブロックを、前記第１のブロックよりも先に符号化する際、前記第２の参照画像のデータ量を推定し、推定したデータ量に基づいて前記第２の参照画像の読み出しを開始する第３のブロックの位置を決定することを特徴とする付記５又は６記載の動画像符号化方法。
（付記８）
前記ある符号化部は、前記複数の領域のうち前記第１の領域と第３の領域との間の境界に接する、前記第１の領域内の第２のブロックを、前記第１のブロックよりも先に符号化する際、前記バッファメモリの使用実績に基づいて、前記第２の参照画像の読み出しを開始する第３のブロックの位置を決定することを特徴とする付記５又は６記載の動画像符号化方法。
（付記９）
画像内の複数の領域それぞれを符号化する複数のプロセッサと、前記複数の領域それぞれに対応する複数の記憶部とを備え、前記複数の領域に分割された前記画像を符号化する動画像符号化装置において、
前記複数のプロセッサのうちあるプロセッサに、
前記複数の領域のうち第１の領域と第２の領域との間の境界に接する、前記第１の領域内の第１のブロックに対する動き探索のために、前記複数の記憶部のうち前記第１の領域に対応する第１の記憶部からの第１の参照画像の読み出しを開始するよりも先に、前記複数の記憶部のうち前記第２の領域に対応する第２の記憶部からの第２の参照画像の読み出しを開始し、
前記第１の参照画像と前記第２の参照画像とに基づいて前記第１のブロックに対する前記動き探索を行い、
前記動き探索の結果に基づいて前記第１のブロックを予測符号化する、
処理を実行させる動画像符号化プログラム。
（付記１０）
前記動画像符号化装置は、前記あるプロセッサによって前記複数の記憶部から読み出される参照画像を記憶するバッファメモリを含み、
前記あるプロセッサは、前記第１の領域内の符号化対象ブロックの位置に応じて、前記第１の記憶部から読み出される前記第１の参照画像に対する前記バッファメモリの割当量と、前記第２の記憶部から読み出される前記第２の参照画像に対する前記バッファメモリの割当量とを制御する、
ことを特徴とする付記９記載の動画像符号化プログラム。
（付記１１）
前記あるプロセッサは、前記複数の領域のうち前記第１の領域と第３の領域との間の境界に接する、前記第１の領域内の第２のブロックを、前記第１のブロックよりも先に符号化する際、前記第２の参照画像のデータ量を推定し、推定したデータ量に基づいて前記第２の参照画像の読み出しを開始する第３のブロックの位置を決定することを特徴とする付記９又は１０記載の動画像符号化プログラム。
（付記１２）
前記あるプロセッサは、前記複数の領域のうち前記第１の領域と第３の領域との間の境界に接する、前記第１の領域内の第２のブロックを、前記第１のブロックよりも先に符号化する際、前記バッファメモリの使用実績に基づいて、前記第２の参照画像の読み出しを開始する第３のブロックの位置を決定することを特徴とする付記９又は１０記載の動画像符号化プログラム。
（付記１）
複数の領域に分割された画像を符号化する動画像符号化装置であって、
前記複数の領域それぞれを符号化する複数の符号化部と、
前記複数の領域それぞれに対応する複数の記憶部と、
を備え、
前記複数の符号化部のうちある符号化部は、
前記複数の領域のうち第１の領域と第２の領域との間の境界に接する、前記第１の領域内の第１のブロックに対する動き探索のために、前記複数の記憶部のうち前記第１の領域に対応する第１の記憶部からの第１の参照画像の読み出しを開始するよりも先に、前記複数の記憶部のうち前記第２の領域に対応する第２の記憶部からの第２の参照画像の読み出しを開始する参照画像制御部と、
前記第１の参照画像と前記第２の参照画像とに基づいて前記第１のブロックに対する前記動き探索を行い、前記動き探索の結果に基づいて前記第１のブロックを予測符号化する予測符号化部と、
を含むことを特徴とする動画像符号化装置。
（付記２）
前記参照画像制御部は、
前記複数の記憶部から読み出される参照画像を記憶するバッファメモリと、
前記第１の領域内の符号化対象ブロックの位置に応じて、前記第１の記憶部から読み出される前記第１の参照画像に対する前記バッファメモリの割当量と、前記第２の記憶部から読み出される前記第２の参照画像に対する前記バッファメモリの割当量とを制御するバッファメモリ制御部と、
を含むことを特徴とする付記１記載の動画像符号化装置。
（付記３）
前記参照画像制御部は、前記複数の領域のうち前記第１の領域と第３の領域との間の境界に接する、前記第１の領域内の第２のブロックを、前記第１のブロックよりも先に符号化する際、前記第２の参照画像のデータ量を推定し、推定したデータ量に基づいて前記第２の参照画像の読み出しを開始する第３のブロックの位置を決定することを特徴とする付記１又は２記載の動画像符号化装置。
（付記４）
前記参照画像制御部は、前記複数の領域のうち前記第１の領域と第３の領域との間の境界に接する、前記第１の領域内の第２のブロックを、前記第１のブロックよりも先に符号化する際、前記バッファメモリの使用実績に基づいて、前記第２の参照画像の読み出しを開始する第３のブロックの位置を決定することを特徴とする付記１又は２記載の動画像符号化装置。
（付記５）
画像内の複数の領域それぞれを符号化する複数の符号化部と、前記複数の領域それぞれに対応する複数の記憶部とを備え、前記複数の領域に分割された前記画像を符号化する動画像符号化装置において、
前記複数の符号化部のうちある符号化部が、
前記複数の領域のうち第１の領域と第２の領域との間の境界に接する、前記第１の領域内の第１のブロックに対する動き探索のために、前記複数の記憶部のうち前記第１の領域に対応する第１の記憶部からの第１の参照画像の読み出しを開始するよりも先に、前記複数の記憶部のうち前記第２の領域に対応する第２の記憶部からの第２の参照画像の読み出しを開始し、
前記第１の参照画像と前記第２の参照画像とに基づいて前記第１のブロックに対する前記動き探索を行い、
前記動き探索の結果に基づいて前記第１のブロックを予測符号化する、
ことを特徴とする動画像符号化方法。
（付記６）
前記ある符号化部は、
前記複数の記憶部から読み出される参照画像を記憶するバッファメモリを含み、
前記第１の領域内の符号化対象ブロックの位置に応じて、前記第１の記憶部から読み出される前記第１の参照画像に対する前記バッファメモリの割当量と、前記第２の記憶部から読み出される前記第２の参照画像に対する前記バッファメモリの割当量とを制御する、
ことを特徴とする付記５記載の動画像符号化方法。
（付記７）
前記ある符号化部は、前記複数の領域のうち前記第１の領域と第３の領域との間の境界に接する、前記第１の領域内の第２のブロックを、前記第１のブロックよりも先に符号化する際、前記第２の参照画像のデータ量を推定し、推定したデータ量に基づいて前記第２の参照画像の読み出しを開始する第３のブロックの位置を決定することを特徴とする付記５又は６記載の動画像符号化方法。
（付記８）
前記ある符号化部は、前記複数の領域のうち前記第１の領域と第３の領域との間の境界に接する、前記第１の領域内の第２のブロックを、前記第１のブロックよりも先に符号化する際、前記バッファメモリの使用実績に基づいて、前記第２の参照画像の読み出しを開始する第３のブロックの位置を決定することを特徴とする付記５又は６記載の動画像符号化方法。
（付記９）
画像内の複数の領域それぞれを符号化する複数のプロセッサと、前記複数の領域それぞれに対応する複数の記憶部とを備え、前記複数の領域に分割された前記画像を符号化する動画像符号化装置において、
前記複数のプロセッサのうちあるプロセッサに、
前記複数の領域のうち第１の領域と第２の領域との間の境界に接する、前記第１の領域内の第１のブロックに対する動き探索のために、前記複数の記憶部のうち前記第１の領域に対応する第１の記憶部からの第１の参照画像の読み出しを開始するよりも先に、前記複数の記憶部のうち前記第２の領域に対応する第２の記憶部からの第２の参照画像の読み出しを開始し、
前記第１の参照画像と前記第２の参照画像とに基づいて前記第１のブロックに対する前記動き探索を行い、
前記動き探索の結果に基づいて前記第１のブロックを予測符号化する、
処理を実行させる動画像符号化プログラム。
（付記１０）
前記動画像符号化装置は、前記あるプロセッサによって前記複数の記憶部から読み出される参照画像を記憶するバッファメモリを含み、
前記あるプロセッサは、前記第１の領域内の符号化対象ブロックの位置に応じて、前記第１の記憶部から読み出される前記第１の参照画像に対する前記バッファメモリの割当量と、前記第２の記憶部から読み出される前記第２の参照画像に対する前記バッファメモリの割当量とを制御する、
ことを特徴とする付記９記載の動画像符号化プログラム。
（付記１１）
前記あるプロセッサは、前記複数の領域のうち前記第１の領域と第３の領域との間の境界に接する、前記第１の領域内の第２のブロックを、前記第１のブロックよりも先に符号化する際、前記第２の参照画像のデータ量を推定し、推定したデータ量に基づいて前記第２の参照画像の読み出しを開始する第３のブロックの位置を決定することを特徴とする付記９又は１０記載の動画像符号化プログラム。
（付記１２）
前記あるプロセッサは、前記複数の領域のうち前記第１の領域と第３の領域との間の境界に接する、前記第１の領域内の第２のブロックを、前記第１のブロックよりも先に符号化する際、前記バッファメモリの使用実績に基づいて、前記第２の参照画像の読み出しを開始する第３のブロックの位置を決定することを特徴とする付記９又は１０記載の動画像符号化プログラム。
１０１ 画像
１１１〜１１４、９１０ 領域
２０１、２０１ 境界
２１１〜２１４、１０２１、１０２２、１１０１〜１１０６、１６０１、１９０１〜１９０５、２１０１〜２１１０、２２０１〜２２０７、２３０１、２４０１〜２４０３、２５０１〜２５０３、２７０１〜２７０３ ブロック
２２１〜２２４ 参照領域
２３１、２３２ 部分領域
４０１ 動画像符号化装置
４１１−１〜４１１−Ｎ 符号化部
４１２−１〜４１１２−Ｎ 記憶部
４２１ 参照画像制御部
４２２ 予測符号化部
６０１ バスブリッジ
６０２−１〜６０２−Ｎ メモリバス
６０３−１〜６０３−Ｎ フレームメモリ
７０１ 原画像制御部
７１１ 動き探索部
７１２ インター予測部
７１３ イントラ予測部
７１４ 選択部
７１５ 差分画像生成部
７１６ 量子化部
７１７ 逆量子化部
７１８ ループフィルタ部
７１９ エントロピー符号化部
８０１ バッファメモリ制御部
８０２ 参照画像決定部
８０３ 動きベクトル記憶部
８０４ リクエスト生成部
８０５、８０６ リクエスト送出部
８０７ バッファメモリ
９０１〜９０４、１１２１、１１２２、１１２４〜１１２８、２２４２〜２２４５、２４４１、２４４２、２５４１、２５４２、２６１１〜２６１３ 記憶領域
９１１、９２１、９２２、１１１１、１６０３、１９３１、２１３１、２１３２、２２３１、２２３２、２７３１ 先読み期間
９１２、９１３、２４３１、２５３１、２８０１、２８０２ 参照画像
１００１、１００２ 領域端ブロック
１０１１、１０１２、１１１２、１１１３、１９２１、１９２２、２１２１〜２１２４、２２２１、２２２２、２７２１、２７２２ 領域外の参照画像の範囲
１０３１、１０３２、１０４１、１０４２、２３１１、２４２２、２５２２ 読み出し範囲
１１２３、２２４１ 全記憶領域
１６０２ 期間
１８０１ 符号化対象ブロック
１８０２ 左上隣接ブロック
１８０３ 上隣接ブロック
１８０４ 左隣接ブロック
１８１１、１９１３、２１１３、２１１６、２２１３、２２１６、２４１３、２５１３、２７１３ 平均動きベクトル
１８１２〜１８１４、１９１１、１９１２、２１１１、２１１２、２１１４、２１１５、２２１１、２２１２、２２１４、２２１５、２４１１、２４１２、２５１１、２５１２、２７１１、２７１２ 動きベクトル
２００１ 位置
２３１２ 左半分
２３１３ 右半分
２４２１、２５２１ 探索範囲
２９０１ 情報処理装置
２９０２ 媒体駆動装置
２９０３ 可搬型記録媒体
２９１１ プロセッサ
２９１２ メモリ
２９１３ ネットワーク接続装置
２９１４ バス
１１１〜１１４、９１０ 領域
２０１、２０１ 境界
２１１〜２１４、１０２１、１０２２、１１０１〜１１０６、１６０１、１９０１〜１９０５、２１０１〜２１１０、２２０１〜２２０７、２３０１、２４０１〜２４０３、２５０１〜２５０３、２７０１〜２７０３ ブロック
２２１〜２２４ 参照領域
２３１、２３２ 部分領域
４０１ 動画像符号化装置
４１１−１〜４１１−Ｎ 符号化部
４１２−１〜４１１２−Ｎ 記憶部
４２１ 参照画像制御部
４２２ 予測符号化部
６０１ バスブリッジ
６０２−１〜６０２−Ｎ メモリバス
６０３−１〜６０３−Ｎ フレームメモリ
７０１ 原画像制御部
７１１ 動き探索部
７１２ インター予測部
７１３ イントラ予測部
７１４ 選択部
７１５ 差分画像生成部
７１６ 量子化部
７１７ 逆量子化部
７１８ ループフィルタ部
７１９ エントロピー符号化部
８０１ バッファメモリ制御部
８０２ 参照画像決定部
８０３ 動きベクトル記憶部
８０４ リクエスト生成部
８０５、８０６ リクエスト送出部
８０７ バッファメモリ
９０１〜９０４、１１２１、１１２２、１１２４〜１１２８、２２４２〜２２４５、２４４１、２４４２、２５４１、２５４２、２６１１〜２６１３ 記憶領域
９１１、９２１、９２２、１１１１、１６０３、１９３１、２１３１、２１３２、２２３１、２２３２、２７３１ 先読み期間
９１２、９１３、２４３１、２５３１、２８０１、２８０２ 参照画像
１００１、１００２ 領域端ブロック
１０１１、１０１２、１１１２、１１１３、１９２１、１９２２、２１２１〜２１２４、２２２１、２２２２、２７２１、２７２２ 領域外の参照画像の範囲
１０３１、１０３２、１０４１、１０４２、２３１１、２４２２、２５２２ 読み出し範囲
１１２３、２２４１ 全記憶領域
１６０２ 期間
１８０１ 符号化対象ブロック
１８０２ 左上隣接ブロック
１８０３ 上隣接ブロック
１８０４ 左隣接ブロック
１８１１、１９１３、２１１３、２１１６、２２１３、２２１６、２４１３、２５１３、２７１３ 平均動きベクトル
１８１２〜１８１４、１９１１、１９１２、２１１１、２１１２、２１１４、２１１５、２２１１、２２１２、２２１４、２２１５、２４１１、２４１２、２５１１、２５１２、２７１１、２７１２ 動きベクトル
２００１ 位置
２３１２ 左半分
２３１３ 右半分
２４２１、２５２１ 探索範囲
２９０１ 情報処理装置
２９０２ 媒体駆動装置
２９０３ 可搬型記録媒体
２９１１ プロセッサ
２９１２ メモリ
２９１３ ネットワーク接続装置
２９１４ バス
Claims (6)
- 複数の領域に分割された画像を符号化する動画像符号化装置であって、
前記複数の領域それぞれを符号化する複数の符号化部と、
前記複数の領域それぞれに対応する複数の記憶部と、
を備え、
前記複数の符号化部のうちある符号化部は、
前記複数の領域のうち第１の領域と第２の領域との間の境界に接する、前記第１の領域内の第１のブロックに対する動き探索のために、前記複数の記憶部のうち前記第１の領域に対応する第１の記憶部からの第１の参照画像の読み出しを開始するよりも先に、前記複数の記憶部のうち前記第２の領域に対応する第２の記憶部からの第２の参照画像の読み出しを開始する参照画像制御部と、
前記第１の参照画像と前記第２の参照画像とに基づいて前記第１のブロックに対する前記動き探索を行い、前記動き探索の結果に基づいて前記第１のブロックを予測符号化する予測符号化部と、
を含むことを特徴とする動画像符号化装置。 - 前記参照画像制御部は、
前記複数の記憶部から読み出される参照画像を記憶するバッファメモリと、
前記第１の領域内の符号化対象ブロックの位置に応じて、前記第１の記憶部から読み出される前記第１の参照画像に対する前記バッファメモリの割当量と、前記第２の記憶部から読み出される前記第２の参照画像に対する前記バッファメモリの割当量とを制御するバッファメモリ制御部と、
を含むことを特徴とする請求項１記載の動画像符号化装置。 - 前記参照画像制御部は、前記複数の領域のうち前記第１の領域と第３の領域との間の境界に接する、前記第１の領域内の第２のブロックを、前記第１のブロックよりも先に符号化する際、前記第２の参照画像のデータ量を推定し、推定したデータ量に基づいて前記第２の参照画像の読み出しを開始する第３のブロックの位置を決定することを特徴とする請求項１又は２記載の動画像符号化装置。
- 前記参照画像制御部は、前記複数の領域のうち前記第１の領域と第３の領域との間の境界に接する、前記第１の領域内の第２のブロックを、前記第１のブロックよりも先に符号化する際、前記バッファメモリの使用実績に基づいて、前記第２の参照画像の読み出しを開始する第３のブロックの位置を決定することを特徴とする請求項１又は２記載の動画像符号化装置。
- 画像内の複数の領域それぞれを符号化する複数の符号化部と、前記複数の領域それぞれに対応する複数の記憶部とを備え、前記複数の領域に分割された前記画像を符号化する動画像符号化装置において、
前記複数の符号化部のうちある符号化部が、
前記複数の領域のうち第１の領域と第２の領域との間の境界に接する、前記第１の領域内の第１のブロックに対する動き探索のために、前記複数の記憶部のうち前記第１の領域に対応する第１の記憶部からの第１の参照画像の読み出しを開始するよりも先に、前記複数の記憶部のうち前記第２の領域に対応する第２の記憶部からの第２の参照画像の読み出しを開始し、
前記第１の参照画像と前記第２の参照画像とに基づいて前記第１のブロックに対する前記動き探索を行い、
前記動き探索の結果に基づいて前記第１のブロックを予測符号化する、
ことを特徴とする動画像符号化方法。 - 画像内の複数の領域それぞれを符号化する複数のプロセッサと、前記複数の領域それぞれに対応する複数の記憶部とを備え、前記複数の領域に分割された前記画像を符号化する動画像符号化装置において、
前記複数のプロセッサのうちあるプロセッサに、
前記複数の領域のうち第１の領域と第２の領域との間の境界に接する、前記第１の領域内の第１のブロックに対する動き探索のために、前記複数の記憶部のうち前記第１の領域に対応する第１の記憶部からの第１の参照画像の読み出しを開始するよりも先に、前記複数の記憶部のうち前記第２の領域に対応する第２の記憶部からの第２の参照画像の読み出しを開始し、
前記第１の参照画像と前記第２の参照画像とに基づいて前記第１のブロックに対する前記動き探索を行い、
前記動き探索の結果に基づいて前記第１のブロックを予測符号化する、
処理を実行させる動画像符号化プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015183614A JP6610115B2 (ja) | 2015-09-17 | 2015-09-17 | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015183614A JP6610115B2 (ja) | 2015-09-17 | 2015-09-17 | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017060019A true JP2017060019A (ja) | 2017-03-23 |
| JP6610115B2 JP6610115B2 (ja) | 2019-11-27 |
Family
ID=58390521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015183614A Active JP6610115B2 (ja) | 2015-09-17 | 2015-09-17 | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6610115B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020113934A (ja) * | 2019-01-15 | 2020-07-27 | 日本電信電話株式会社 | 参照領域決定装置及びプログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07274180A (ja) * | 1994-03-31 | 1995-10-20 | Toshiba Corp | 映像信号符号化方法、映像信号復号方法、映像信号符号化装置及び映像信号復号装置 |
| JPH10327416A (ja) * | 1997-05-22 | 1998-12-08 | Toshiba Corp | 動画像符号化装置 |
-
2015
- 2015-09-17 JP JP2015183614A patent/JP6610115B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07274180A (ja) * | 1994-03-31 | 1995-10-20 | Toshiba Corp | 映像信号符号化方法、映像信号復号方法、映像信号符号化装置及び映像信号復号装置 |
| JPH10327416A (ja) * | 1997-05-22 | 1998-12-08 | Toshiba Corp | 動画像符号化装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020113934A (ja) * | 2019-01-15 | 2020-07-27 | 日本電信電話株式会社 | 参照領域決定装置及びプログラム |
| JP7201906B2 (ja) | 2019-01-15 | 2023-01-11 | 日本電信電話株式会社 | 参照領域決定装置及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6610115B2 (ja) | 2019-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10291925B2 (en) | Techniques for hardware video encoding | |
| US9807410B2 (en) | Late-stage mode conversions in pipelined video encoders | |
| US9473778B2 (en) | Skip thresholding in pipelined video encoders | |
| CN106604036B (zh) | 数据编码设备和数据编码方法 | |
| US20200359034A1 (en) | Techniques for hardware video encoding | |
| JP2009513056A (ja) | 適応型走査を用いる動画の符号化／復号化装置及びその方法 | |
| JP5340172B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP5995583B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、及びプログラム | |
| JP6875821B2 (ja) | 画像符号化装置、撮像装置、画像符号化方法およびプログラム | |
| US20180184089A1 (en) | Target bit allocation for video coding | |
| US11025913B2 (en) | Encoding video using palette prediction and intra-block copy | |
| JP5238882B2 (ja) | 画像符号化装置、方法、集積回路、プログラム | |
| JP2007142907A (ja) | 画像符号化装置および画像符号化方法 | |
| KR20130130695A (ko) | 복수의 프로세서를 사용하여 비디오 프레임을 인코딩하는 방법 및 시스템 | |
| TWI583180B (zh) | 具有上下文切換之視訊編碼器 | |
| TWI816684B (zh) | 視訊編碼器件以及編碼器 | |
| US10142633B2 (en) | Flexible coding unit ordering and block sizing | |
| JP6610115B2 (ja) | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム | |
| KR102476204B1 (ko) | 멀티 코덱 인코더 및 이를 포함하는 멀티 코덱 인코딩 시스템 | |
| TWI493942B (zh) | 動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式 | |
| US10951900B2 (en) | Speeding up small block intra-prediction in video coding | |
| WO2023102868A1 (en) | Enhanced architecture for deep learning-based video processing | |
| JP6331972B2 (ja) | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム | |
| JP2021022865A (ja) | 動きベクトル検出装置及びその制御方法、符号化装置、撮像装置、及び、プログラム | |
| JP2014075708A (ja) | 動画像符号化装置及び動画像符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180514 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191014 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6610115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |